CN111986640A

CN111986640A - 用于车辆的内部的声学控制的系统和方法

Info

Publication number: CN111986640A
Application number: CN202010433311.2A
Authority: CN
Inventors: 大卫·迈克尔·赫尔曼; 农西奥·德西亚; 尼古拉斯·朔伊夫勒; 斯蒂芬·杰伊·奥里斯
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2019-05-21
Filing date: 2020-05-20
Publication date: 2020-11-24
Also published as: US10755691B1; DE102020113756A1

Abstract

本公开提供了“用于车辆的内部的声学控制的系统和方法”。公开了用于车辆的内部的声学控制的系统、方法和计算机可读介质。示例方法可包括：检测在车辆的车舱外部的环境声音并从所述环境声音确定至少一个第一声音，其中所述车舱被配置为将所述环境声音的音量减小到低于阈值；确定位置信息，所述位置信息包括所述第一声音相对于所述车辆的方向和距离；以及基于所述第一声音和所述位置信息来生成第二声音，所述第二声音再现所述第一声音的频谱特征。

Description

用于车辆的内部的声学控制的系统和方法

技术领域

本公开涉及用于声学控制的系统和方法，并且更具体地，涉及用于车辆的内部的声学控制的方法和系统。

背景技术

现今的车辆的车舱越来越安静。特别地，车辆可使用声音阻尼材料来使车辆的内部与外部与噪声隔离。另外地，车辆可包括噪声降低系统，以帮助提供更安静的驾驶体验。然而，对于降低的噪声的类型，降低车舱噪声可能不具选择性。例如，被动或主动噪声降低技术可能会不加区别地减弱环境声音。因此，驾驶员或乘客可能想听到的声音可能就与乘员可能不想听到的声音一样被减弱。因此，需要的是用于提供车辆的内部的声学控制的系统和方法。

发明内容

公开了用于车辆的内部的声学控制的系统、方法和计算机可读介质。示例方法可包括：检测在车辆的车舱外部的环境声音并从所述环境声音确定至少一个第一声音，其中所述车舱被配置为将所述环境声音的音量减小到低于阈值；确定位置信息，所述位置信息包括所述第一声音相对于所述车辆的方向和距离；以及基于所述第一声音和所述位置信息来生成第二声音，所述第二声音再现所述第一声音的频谱特征。

附图说明

图1示出了根据本公开的示例实施例的用于提供车辆的内部的声学控制的示例环境背景的图。

图2示出了根据本公开的示例实施例的一个示例场景，其中车辆的内部的声学控制可向驾驶员提供增加的情景感知。

图3示出了根据本公开的示例实施例的向乘客提供地图绘制能力以改进对图2中描述的示例场景的驾驶员的情景感知的图。

图4示出了根据本公开的示例实施例的示例场景，其中所公开的系统和方法可执行声学三边测量以定位外部声源。

图5示出了描述根据本公开的示例实施例的用于提供车辆的内部的声学控制的方法的示例过程流程。

图6是根据本公开的一个或多个实施例的可用于提供车辆的内部的声学控制的一个或多个服务器的示例服务器架构的示意图。

具体实施方式

概述

据称，车辆与外部环境在声学上越来越隔离，以改善用户的车舱体验在一些情况下，声学隔离和阻尼降低了与发动机声音相关联的声级，这可能是车辆的乘员不期望的。因此，车辆的车舱内部扬声器可用于模拟某些声音，例如人工发动机声音。可执行该声音模拟，以便向乘员提供他们可能习惯或期望感知的声学反馈。特别地，可针对一般可能更安静的电动车辆来实施发动机声音模拟，因为(1)电动车辆使用了电动马达，以及(2)与基于矿物燃料的车辆相比，此类车辆的内部提供了增加的声音隔离。

然而，在这种声学上隔离的环境(例如，电动车辆车舱)中，驾驶员可能具有降低的情景感知。例如，驾驶员可能无法充分地听到其他驾驶员的紧急鸣笛和鸣喇叭声音，这些声音一般用于提醒驾驶员注意变化的道路环境。此外，常规的系统可同时地滤出乘员可能会感到愉悦的声音(例如，鸟类呜叫声、海洋声音等)。可能要求乘员打开窗户才能听到此类声音，从而不幸地限制车辆的冷却和/或加热机构。另外地，打开车辆的车窗可能造成从穿过车辆车舱的高风速生成或从风振颤生成令人讨厌的噪声。

现今的车辆可能配备有过多的传感器。此类传感器包括但不限于传声器、相机、内部车辆传感器(例如，发动机传感器、牵引力控制传感器、加速度传感器、雨传感器等)和基于远程信息处理的传感器(例如，5G连接性传感器、车辆对外界(V2X)传感器等)。车辆也越来越多地彼此连接并连接到基础设施部件(例如，使用V2X协议)。因此，车辆可使用此类传感器来直接地或间接地检测环境声音，诸如鸣笛或鸣喇叭声音。在一些示例中，所公开的系统可基于检测到的环境声音来生成模拟的声音并将其呈现给车辆的乘员。此外，所公开的系统可基于检测到的声音来生成如下声音：(1)给定的类型(例如，道路声音、发动机声音、鸣笛声音等)和(2)具有某些特性(例如，音量、音高等)。在一些情况下，所公开的系统可基于考虑到多普勒频移的效应来生成声音。此类模拟的声音的生成可基于用户偏好和/或安全考虑。在一些示例中，可通过使用任何合适的数字信号处理(DSP)算法和/或基于人工智能(AI)的技术(诸如深度神经网络)来执行模拟的声音的生成和呈现。

在一些示例中，所公开的系统可从单个或多个音频通道检测和提取环境声音。例如，可使用具有预定数量和空间布置的传声器阵列来执行对声音的检测。此外，环境声音可为固定的并在空间中定位(例如，具有明确地表征的方向和位置)，或者可包括不太在空间上定位的环境声音。在其他情况下，环境声音可与相对于车辆具有速度或加速度的移动对象相关联。因此，所公开的系统还可确定与环境声音相关联的各种其他性质(诸如声源和/或车辆的相对或绝对速度向量)。在一些情况下，所公开的系统可确定诸如鸣笛的声音的多普勒频移。

根据用户偏好或原始设备制造商(OEM)确定的设置，所公开的系统可使用这些环境声音和它们的属性来提醒乘员注意外界，以改善乘员的情景感知。例如，环境声音可通过使用车辆的车舱扬声器模拟虚拟地投射的声音的方式在车辆的车舱内播放，使得声音的感知位置类似于声音的实际现实世界位置。此外，所公开的系统可(1)修改声学信号以包括多普勒频移效应，并且可(2)基于如经由在车辆装置或用户装置(例如，移动电话)上运行的应用程序输入的用户偏好来修改声学信号的强度。

所公开的系统还可基于检测到的环境声音来呈现视觉警报，除了环境声音之外或作为其代替，视觉警报被呈现给车辆乘员。所公开的系统可生成并在车辆的抬头显示器、中央控制台显示器等上呈现此类视觉警报。所公开的系统还可在示出车辆的当前位置的车载地图信息旁边呈现视觉警报。例如，所公开的系统可在虚拟地图上呈现视觉警报以指示声音的位置以及其他驾驶信息(例如，车辆的航向、速度等)。

说明性示例

本文描述了本公开的实施例。然而，应理解，所公开的实施例仅是示例，并且其他实施例可采取各种和可选形式。附图不一定按比例绘制；一些特征可能被夸大或最小化以示出特定部件的细节。因此，本文所公开的具体结构和功能细节不应被解释为限制性的，而是仅作为教导本领域的技术人员以各个方式采用本发明的代表性基础。如本领域的普通技术人员将理解，参考附图中的任一个来示出和描述的各种特征可与一个或多个其他附图中示出的特征组合以产生未明确地示出或描述的实施例。所示出的特征的组合提供典型的应用的代表性实施例。然而，对于特定应用或实现方式，可能期望与本公开的教导一致的对特征的各种组合和修改。

所公开的系统可检测在车辆的车舱外部的声音、确定与外部声音相关联的相应的方向和位置。因此，所公开的系统可在车辆车舱内模拟外部声音。在一些示例中，所公开的系统可例如使用多声道和多区域车辆音频系统来模拟检测到的声音的方向性和位置。所公开的系统可包括用于检测用户期望的环境声音并滤出用户不期望的环境声音的系统和方法。

在一些示例中，所公开的系统可配置物理接口和/或人机界面(HMI)以接受各种用户选择的参数。例如，所公开的系统可使用界面来允许用户确定要从车辆车舱滤出的期望和不期望的环境声音。在一些示例中，所公开的系统可提供用于对外部声音的临界度(其可至少部分地通过用户输入来告知)进行优先级排序的技术。例如，与用户优选的环境声音(例如，鸟类呜叫声)相比，所公开的系统可确定与来自紧急车辆的鸣笛相关联的更高的优先级。所公开的系统可经由与对外部音频进行采样的其他车辆的V2V通信来执行实时声学三边测量，如下文结合图4进一步示出和描述。可使用包括道路几何形状的地图匹配并使用车载地图数据库来改进三边测量。

图1示出了根据本公开的示例实施例的环境背景的图。图1表示包括车辆102的环境背景100。在一些示例中，车辆102可包括自主车辆(AV)。

在一些示例中，所公开的系统可包括具有传感器的车辆102。传感器可包括但不限于传声器、相机、车辆系统(发动机、牵引力控件、制动器、加速度计、雨传感器等)。车辆102可包括音频DSP能力，该音频DSP能力可结合车辆内的多个扬声器在车舱内的任何方向上投射虚拟声音。车辆102可具有各种无线连接能力，例如以使得能够间接地测量各种环境对象。在一些示例中，一种无线连接能力可包括V2X通信能力。车辆102可具有位置确定能力(例如，全球定位系统(GPS)能力)以及接收和处理地图绘制信息的能力。这些能力在下文进一步讨论。

在一些示例中，车辆102可包括音频检测能力。所公开的系统可包括基于车辆的传声器。在一些示例中，基于车辆的传声器可包括外部传声器。外部传声器可用于检测感兴趣的声学信号(例如，鸟呜叫声音106)并从由传声器检测到的信号提取与感兴趣的声学信号相对应的声音。在其他示例中，所公开的系统可使用基于AI的技术来增强外部传声器对声音的检测和提取。例如，所公开的系统可使用神经网络来检测用于声音提取的音频事件以及经由传声器从环境获得的音频信号。在其他示例中，所公开的系统可使用在时间或空间上并经由传声器获得的多个音频样本来执行声学三边测量，如下文结合图4进一步示出和描述。

在一些示例中，车辆102可包括未示出的相机(例如，基于车辆的相机)。相机可用于检测与紧急车辆相关联的闪光灯和其他信号，如下文结合图2至图3进一步描述。该相机还可用于检测车辆的环境中的其他发出声音的视觉指示器。在一些示例中，车辆可包括在内部瞄准驾驶员和/或乘员的相机，该相机可监测驾驶员和/或乘员以提高安全性并改善用户体验。在这种系统中，从内部相机获得(并然后使用计算机视觉技术来处理)的数据可用于修改或增强声音提取和过滤的行为。该修改或增强可用于提高安全性、提高驾驶员意识并避免驾驶员分心。

在其他示例中，车辆102可执行与其他车辆或基础设施部件的基于光的通信。例如，其他车辆可包括前灯，这些前灯可在一段时间内闪烁光图案。车辆102可使用光学装置(诸如光电二极管和/或基于互补金属氧化物半导体(CMOS)的卷帘快门相机(未示出))来对随位置和时间而变化的光图案进行解码，以指示车辆102正在执行某个动作，诸如鸣喇叭，或向其他车辆或基础设施元件提供其他信息。然后，所公开的系统可使用该信息来生成与所观察到的动作的特征相对应的模拟的声音，该模拟的声音可被呈现给乘员104。在一些示例中，可根据需要来执行对所呈现的声音、多普勒频移、定向和/或警报信息的各种其他修改。

所公开的系统还可使用相机来检测各种路况，例如，相机可用于确定道路是湿的还是干的。相机可用于确定天气状况。例如，相机可用于识别车辆102的挡风玻璃上的被吹落的树叶和/或雨。然后，所公开的系统可使用这种信息来确定天气是下雨。然后，所公开的系统可使用该信息来生成与天气状况的特征(例如，降雨)相对应的模拟的声音，该模拟的声音可被呈现给乘员。在一些示例中，可基于用户定义的偏好来修改(例如，阻尼)基于天气的声音以适应乘员的感受。例如，可激活AEB以显示变化的轮胎声音诸如与轮胎在雪、冰、水、树叶等上移动相对应的刺耳且嘎吱作响的声音。在其他示例中，所公开的系统可被配置为处于竞赛模式并可生成声音以指示特定轮胎可能正在打滑，而其他轮胎具有足够的牵引力。

车辆102可配备有V2X通信能力。在一些示例中，在车辆102附近的其他车辆可在V2X传输中将声音发出(鸣笛、鸣喇叭)的直接警报提供到车辆102。其他车辆可检测它们自己周围的声音发出并与车辆共享这种信息。这种信息的非限制性示例可包括与声学三边测量相关联的信息。这种信息可使用多个车辆来确定定位(例如，声音起源和/或方向性确定)，以及确定与检测到的声音相关联的声音强度和多普勒频移效应。在其他示例中，该信息可用于改进从环境的声音提取，并且特别地，改进对背景噪声(诸如道路噪声、风噪声等)的声音提取。在一些示例中，所公开的系统可使用任何合适的安全技术(例如，加密技术)来保护V2X通信和/或检测到和生成的音频。例如，这种安全通信以及检测到和生成的音频可用于保护车辆和相关联的系统免受涉及恶意行动者的情况影响。例如，此类行动者可将欺诈性音频文件或V2X指令传输到车辆的检测系统。因此，所公开的系统可检测欺诈性音频文件或V2X指令。此外，所公开的系统可例如通过将与V2X发送方相关联的加密密钥列入黑名单来将V2X发送方的源列入黑名单。

如所指出，车辆102可包括各种基于车辆的传感器。此类传感器的非限制性示例可包括雨刮器雨传感器和牵引力控制传感器。所公开的系统可使用雨传感器来检测高于某个阈值的雨并在车辆的车舱内播放雨警报或环境声音。所公开的系统还可使用牵引力控制传感器来当车辆在结冰地形上行驶、在水上飞机上等时确定牵引力的损失，并且在车舱内生成基于音频的警报。在一些示例中，所公开的系统可使用ADAS和/或AV应用程序来生成车辆感测到的内容的描述和关于所公开的系统为何执行某些动作(例如，因下雨而减速)的解释。所公开的系统可经由显示器或经由音频向用户呈现描述和/或解释，并且可出于审计目的而将描述和/或解释存储在存储设备中。

车辆102可与各种导航或地图绘制数据库通信。所公开的系统可使用此类数据库来获得与车辆正在行驶的区域相关联的信息。例如，所公开的系统可使用数据库来确定城市环境相对于农村环境的本底噪声水平。然后，所公开的系统可基于在车辆正在行驶的环境中的确定的本底噪声水平来滤出环境或背景声音。在其他示例中，所公开的系统可使用数据库来确定火车轨道、地下通道、天桥、野生生物区域、海洋环境等的存在。因此，数据库可用于帮助车辆102在环境中导航并确定与环境相关联的声音信息。例如，所公开的系统可使用地图数据来确定与进入火车轨道上的火车相关联的声音，并且由此(例如，经由在车舱中播放的音频警报)向车辆102的乘客通知火车穿过车辆的路径的可能性。在其他情况下，火车可能会在跨线桥上行驶。此外，可基于地图信息来识别跨线桥。所公开的系统可确定因火车和车辆的路线之间的高度差，车辆与火车可能没有相互作用。在这种情况下，车辆可确定不向车辆中的驾驶员/乘客呈现音频或相关信息，并且因此，使呈现给车辆的驾驶员和/或乘客的音频中不包括火车声音。

车辆102可具有各种无线连接和/或物联网(IoT)能力以确定可用于定制车辆内部声学环境的各种环境数据和/或信息。此类数据和/或信息的非限制性示例可包括天气信息，诸如风、雨、雪信息等。例如，车辆102可与设置在车辆正在行驶的环境的各种基础设施部件上的各种IOT装置通信并获得关于环境的声学本质的任何相关信息。该信息可用于在车辆的内部生成模拟这种声学环境的声音。

所公开的系统可包括能够基于逻辑和算法来执行操作的处理器。在一些示例中，所公开的系统可执行传感器分析。特别地，所公开的系统可执行传感器分析，以基于所采样的实时传感器数据来确定本底噪声基线。在一些示例中，所公开的系统可检测车辆中正在进行的对话或电话呼叫的存在。因此，所公开的系统可确定在这种对话或电话呼叫正在进行时不呈现某些声音类型(例如，海洋噪声、鸟鸣噪声等)。所公开的系统还可使用外部数据库上的众包地理位置数据或信息来执行与参考的本底噪声基线的比较。该众包地理位置数据和/或信息可从基于云的数据库(例如，公共云数据库、专用云数据库和/或混合云数据库)获得。

车辆102可包括可执行对由车辆102和/或任何相关联的装置获得的图像和音频的传感器融合以确定声音类型、方向性、距离等的系统。例如，系统可执行声学三边测量。在一些示例中，可使用三个或更多个传声器来执行声学三边测量。传声器可存在于一辆车辆上或可存在于单独的车辆上。在其他示例中，传声器可分布在不同的车辆之间，所述不同的车辆可使用V2X通信来传达检测到的声音。声学三边测量可以允许声源识别和声学信号提取。在其他示例中，所公开的系统可对声音类型进行分类以提醒用户紧急环境状况。所公开的系统还可使得用户能够经由HMI菜单103来修改反映期望的和不期望的声音的偏好设置。所公开的系统可在某些临界状况(诸如潜在碰撞状况)下提供警报，诸如警报声音。所公开的系统可允许用户控制环境声音呈现偏好，诸如优选的背景噪声水平。所公开的系统还可允许用户指定期望的和不期望的声音。如所指出，车辆102可使得多种音频和警报能够被呈现给用户。例如，车辆102可启用音频警报、环境声学噪声、视觉警报、触觉反馈、车辆位置的视觉指示(例如，在车辆的HUD或中央控制台显示器上)等。

车辆102可包括任何合适的车辆，诸如摩托车、汽车、卡车、休闲车等，并且可配备有使得它能够通过网络(诸如局域网(LAN))进行通信的合适硬件和软件。

如所指出，车辆102可包括多种传感器，所述多种传感器可帮助车辆确定车辆所在的环境。传感器可包括雷达、激光雷达、相机、磁力计、超声、气压计等(下文将描述)。在一个实施例中，车辆102的传感器和其他装置可通过一个或多个网络连接进行通信。合适的网络连接的示例包括控制器局域网(CAN)、面向媒体的系统传递(MOST)、本地互连网络(LIN)、蜂窝网络、Wi-Fi网络和其他适当的连接，诸如符合已知的标准和规范(例如，一个或多个电气和电子工程师协会(IEEE)标准等)的那些连接。

如所指出，除了基于卫星的位置确定装置之外，车辆102还可包括各种位置确定装置。这些装置可用于识别车辆的位置、在地图(例如，HD地图)上跟踪车辆、跟踪在车辆附近的其他车辆、向其他车辆提供给定车辆的位置更新，并且一般支持本文所描述的操作。例如，车辆102可包括磁性定位装置，诸如磁力计，其可提供室内位置确定能力。磁性定位可基于建筑物内的铁，所述铁会使地球的磁场发送局部变化。在车辆102中的装置内的未优化的罗盘芯片可感测并记录这些磁性变化以映射室内位置。在一个实施例中，磁性定位装置可用于确定车辆102的高度。可选地或另外地，气压计装置可用于确定车辆102的高度。在另一个实施例中，气压计和压力高度计可为车辆的一部分并可测量由车辆102的海拔变化引起的压力变化。

在一个实施例中，车辆102可使用一个或多个惯性测量装置(未示出)来确定相应的车辆的位置，以便跟踪车辆和/或相对于地图(例如，HD地图)来确定车辆的环境中的各种声源的位置。车辆102可使用航迹推算和其他方法来使用由车辆102携带的惯性测量单元对车辆进行定位，有时参考地图或其他附加的传感器来约束惯性导航所遇到的固有传感器漂移。在一个实施例中，可在车辆的惯性测量单元中使用一个或多个基于微机电系统(MEMS)的惯性传感器；然而，MEMS传感器可能受内部噪声的影响，所述内部噪声可能造成位置误差随时间而三次方地增长。在一个实施例中，为了减少此类装置中的误差增长，可通过在与车辆102中的各种装置相关联的软件模块上实现软件算法来使用基于卡尔曼滤波的方法。

在一个实施例中，惯性测量可覆盖车辆102的一个或多个运动差异，并且因此位置可通过在软件模块中执行积分函数来确定，并且相应地可能要求积分常数来提供结果。此外，考虑到所有涉及的传感器和装置的噪声模型，可将车辆102的位置估计确定为可按任何时间步长重新计算的二维或三维概率分布的最大值。基于车辆的运动，惯性测量装置可能够通过一种或多种人工智能算法(例如，一种或多种机器学习算法(例如卷积神经网络))来估计车辆的位置。所公开的系统可结合位置确定信号使用上文提到的装置中的任一个来确定车辆的位置、确定其他车辆的位置和/或确定车辆环境中的各种声源的位置。

在一些示例中，所公开的系统可结合某些基础设施部件使用室内定位系统(IPS)来以增加的准确度确定声源和/或车辆的位置。此外，IPS可用于在地图(例如，HD地图)上确定车辆的位置，例如，在卫星导航信号不充分的位置。特别地，IPS可指用于使用光、无线电波、磁场、声学信号或由移动装置(例如，用户装置或车辆装置)收集的其他感测信息来定位在建筑物(诸如停车场)内的对象(例如，车辆102)的系统。IPS可使用不同的技术，包括距在附近的锚定节点(具有已知的固定位置的节点，例如Wi-Fi和/或Li-Fi接入点或蓝牙信标、磁性定位和/或航迹推算)的距离测量。此类IPS可主动地定位移动装置和标签或提供环境位置或环境背景以使装置能被感测到。在一个实施例中，IPS系统可确定至少三个独立的测量值以明确地找到特定车辆102或声源的位置。

在一些示例中，车辆天线可包括任何合适的通信天线。合适的通信天线的一些非限制性示例包括Wi-Fi天线、电气和电子工程师协会(IEEE)802.11系列标准兼容天线、定向天线、非定向天线、偶极天线、折叠偶极天线、贴片天线、多输入多输出(MIMO)天线等。通信天线可通信地耦合到无线电部件以向车辆传输信号和/或从车辆接收信号，诸如通信信号。例如，所公开的系统可基于对声源的状态的确定来向其他车辆传输信号以告知其他车辆采取至少一个动作(例如，制动、加速、转弯等)。

在一些示例中，车辆102可具有车载单元(未示出)，所述车载单元可包括微控制器和可在没有主计算机的情况下在应用程序中彼此通信的装置。车载单元可使用基于消息的协议来执行内部通信。此外，车载单元可致使收发器向基础设施部件和其他车辆的车载单元传输消息(例如，车辆对外界V2X消息)和从基础设施部件和其他车辆的车载单元接收消息。

此外，车辆102的各种装置和/或基础设施部件(例如，智能交通信号、路边单元、IPS系统等)可包括用于在与由车辆装置中的任一个利用来彼此通信和/或与基础设施部件通信的通信协议相对应的带宽和/或信道中传输和/或接收射频(RF)信号的任何合适的无线电和/或收发器。无线电部件可包括用于根据预先确立的传输协议来调制和/或解调通信信号的硬件和/或软件。无线电部件还可具有硬件和/或软件指令以经由如按电气和电子工程师协会(IEEE)802.11标准进行标准化的一个或多个Wi-Fi和/或Wi-Fi直连协议进行通信。在某些示例实施例中，与通信天线协作的无线电部件可被配置为经由2.4GHz信道(例如，802.11b、802.11g、802.11n)、5GHz信道(例如，802.11n、802.11ac)或60GHZ信道(例如，802.11ad)进行通信。在一些实施例中，非Wi-Fi协议可用于装置之间的通信，诸如蓝牙、专用短程通信(DSRC)、超高频(UHF)(例如，IEEE 802.11af、IEEE 802.22)、空白频带(例如，空白空间)或其他分组无线电通信。无线电部件可包括适合于经由通信协议进行通信的任何已知的接收器和基带。无线电部件可还包括低噪声放大器(LNA)、附加的信号放大器、模拟-数字(A/D)转换器、一个或多个缓冲器和数字基带。

典型地，当示例车辆102与另一辆车辆(未示出)建立通信和/或与基础设施部件装置建立通信时，车辆102可通过发送数据帧(例如，可包括各种字段(诸如帧控制字段、持续时间字段、地址字段、数据字段和校验和字段)的数据帧)在下行链路方向上进行通信。数据帧的前面可为一个或多个前导码，所述前导码可为一个或多个标头的部分。这些前导码可用于允许用户装置从车辆装置检测新导入数据帧。前导码可为在网络通信中用来使两个或更多个装置之间(例如，在车辆102装置与基础设施部件之间和/或在分开的车辆的装置之间)的传输定时同步的信号。如所指出，数据帧可用于在车辆之间传输信息，使得给定的车辆可由于检测到声源的开或关状态或确定其他车辆的位置(例如，基于三边测量)而执行至少一个动作。此类动作的非限制性示例包括制动、转弯、加速、避开危险等。

在另一方面，环境背景100可包括一个或多个卫星130和一个或多个蜂窝塔132。卫星130和/或蜂窝塔132可用于获得位置信息和/或从各种数据库(诸如具有HD地图的数据库)获得信息。在其他方面，所公开的系统可传输与声源和/或车辆相关联的信息(例如，声源的相应位置、声源的相应状态等)。如所指出，车辆102可具有收发器，所述收发器继而可包括可从一个或多个卫星130接收位置信号(例如，全球导航卫星系统(GNSS)信号)的一个或多个位置接收器(例如，GNSS接收器)。在另一个实施例中，接收器可指可从卫星(例如，卫星130)接收信息并计算车辆的地理位置的装置。

在一些示例中，车辆(例如，诸如车辆102)可被配置为使用网络无线地或有线地通信。如所指出，可在车辆之间执行通信，例如，以基于声源的状态来告知给定的车辆要采取的动作。网络可包括但不限于不同类型的合适的通信网络的组合中的任一种，所述合适的通信网络诸如例如广播网络、公共网络(例如，互联网)、专用网络、无线网络、蜂窝网络或任何其他合适的专用网络和/或公共网络。此外，通信网络中的任一者可具有与其相关联的任何合适的通信范围并可包括例如全球网络(例如，互联网)、城域网(MAN)、广域网(WAN)、局域网(LAN)或个人局域网(PAN)。另外，通信网络中的任一者可包括可在其上载送网络流量的任何类型的介质，包括但不限于同轴电缆、双绞线、光纤、混合纤维同轴(HFC)介质、微波地面收发器、射频通信介质、空白空间通信介质、超高频通信介质、卫星通信介质或它们的任何组合。

在一些示例中，所公开的系统可分析与车辆的环境、给定环境中的先前车辆位置、声源位置、关于运输网络的基础设施更新(例如，因施工或其他活动而造成的声源)等相关联的地图信息。数据库可由下文结合图6进一步讨论的任何合适的系统控制，所述合适的系统包括数据库管理系统(DBMS)。DBMS可使用多种数据库模型(例如，关系模型、对象模型等)中的任一种并可支持多种查询语言中的任一种，以从数据库获得信息。在一些示例中，数据库可包括基于云的数据库或基于车辆的数据库。

现在在示例非限制性场景的背景下描述本公开的某些实施例。该场景可包括乘坐豪华车辆行驶的用户，所述用户具有指示对与自然相关联的声音的喜爱的偏好。用户可向所公开的系统提供指示对大体安静的车辆车舱的偏好的输入。然而，用户也可指示期望听到某些环境声音，诸如沿乡间小路的鸟类呜叫。

在该示例场景中，所公开的系统(例如，车辆和/或基于车辆的装置)可检测与外部环境相关联的基本本底噪声。所公开的系统可使用噪声消除技术来减少外部不想要的(例如，道路噪声、发动机噪声、交通等)。在一些情况下，所公开的系统可基于先前指示的用户偏好来执行对不喜欢的声音的噪声抑制。所公开的系统可使用对预定的声级偏好的用户选择或用户定制的声级偏好来执行噪声降低。在其他示例中，系统可使用来自用户的反馈以及使用机器学习算法(诸如高斯过程)来学习用户的声音偏好。所公开的系统可使用车辆的内部和外部传声器以及基于AI的技术(例如，机器学习和/或深度学习技术)来允许对外部声音的近实时声学标记识别。例如，所公开的系统可使用此类技术来识别车辆当前所在的区域的最常见的鸟类及其相关联的呜叫。例如，所公开的系统可从可经由车辆的通信系统并使用相关联的车辆天线访问的外部数据库查找所述鸟类和相关联的呜叫。可使用与外部数据库的通信和/或经由GPS接收器来确定位置。然后，所公开的系统可在车辆的车舱中播放与这种鸟类的识别出的呜叫匹配的模拟的呜叫。

在一些示例中，所公开的系统可使用车辆的相机并使用基于AI的技术(例如，机器学习和/或深度学习技术)来允许对某些外部对象的近实时视觉识别。在一些示例中，所公开的系统可使用视觉识别来将与对象相关联的信息呈现给用户。例如，所公开的系统可允许视觉识别车辆当前导航的区域中的最常见的鸟类。所公开的系统可从外部数据库获得与鸟类相关联的信息，并且然后可将与此类鸟类相关联的信息与所述鸟类的图片和/或视频一起呈现给车辆的乘员。在一些示例中，该信息可被呈现在车辆的任何合适的显示器上。可选地或另外地，该信息可例如使用文本到语音引擎经由音频在车辆的扬声器处呈现。在其他示例中，所公开的系统可使用车辆的信息娱乐系统来处理和过滤外部声音，从而允许对声音(例如，目标的鸟鸣)的一部分的近实时回放。

现在在另一个示例非限制性场景的背景下描述本公开的其他实施例。该场景可包括在风景优美的海岸公路上行驶的豪华车辆。此外，豪华车辆的乘员可能更喜欢大体安静的车辆车舱。然而，乘员在他们的驾驶期间可能更喜欢听到海洋的自然声音。

在这个示例中，所公开的系统可检测与外部环境相关联的基本本底噪声。所公开的系统可使用噪声消除技术来减少外部不想要的(例如，道路噪声、发动机噪声、交通等)。所公开的系统可使用对预定的声级偏好的用户选择或用户定制的声级偏好来执行噪声降低。

继续该示例，所公开的系统可使用导航和地图数据来确定车辆相对于海洋和/或航道的当前位置。例如，所公开的系统可确定车辆的位置与海洋和/或航道之间的距离并计算该距离对声音分贝级的影响。所公开的系统可类似地识别风和天气信息，以确定外部环境对现实世界音频反馈的可能的影响。所公开的系统还可使用该信息来确定海洋和/或航道的声音分贝级与距海洋和/或航道的距离之间的关系。

在另一个示例中，驾驶员可为有造诣的受古典主义训练的小提琴家(例如，名字为“Meira”)。所公开的系统可学习(例如，经由机器学习)驾驶员的偏好，使得当用户驾驶到此类声音的附近时，所公开的系统滤出驾驶员不喜欢的外部音乐(例如，中世纪歌演唱)并呈现驾驶员所喜爱的提取声音(例如，肖斯塔科维奇D小调第5交响曲、普罗科菲耶夫D大调第一小提琴协奏曲、舒伯特D小调第14弦乐四重奏、西贝柳斯D小调小提琴协奏曲等)。

所公开的系统可使用车辆的内部和外部传声器以及基于AI的技术(例如，机器学习和/或深度学习技术)来允许对外部声音的近实时声学标记识别。例如，所公开的系统可使用此类技术来识别典型的波浪和海流声音。然后，所公开的系统可在车辆的车舱中播放与所识别的典型的波浪和海流声音匹配的模拟的波浪和海流声音。所公开的系统可使用车辆的相机并使用基于AI的技术来允许对可见的沿海区域以及海浪的状态、间隔和层级的近实时视觉识别，以允许音频处理的适当同步。所公开的系统可使用车辆的信息娱乐系统处理和过滤能力来允许对目标的波浪和海流声音的近实时回放。

在某些方面，所公开的系统可与被指定为处于竞赛模式或运动操作模式的车辆一起操作。在这些情况下，所公开的系统可减少或消除在通往轨道的途中的道路或发动机噪声，但是当在轨道处时允许听到所有道路和发动机噪声或者放大来自其他车辆的其他发动机噪声以增强驾驶员或乘客的听觉体验。在一些示例中，与传统的车辆相比，所公开的系统还可增强道路噪声。例如，车轮可能达到其牵引极限，使得可能发生打滑而生成刺耳噪声。这种刺耳声音可通过车辆的车身传播，使得确定哪个单独的车轮失去了牵引力可能难以相对于本底噪声和其他阻尼效果进行确定。所公开的实施例可使得车辆能够从车辆控制模块并经由对单独的车轮的音频检测来检测车轮打滑。此外，所公开的系统可呈现改进的音频信号(例如，去噪的或人工的音频信号)，以改进驾驶员的情景感知。

在其他方面，所公开的系统可为聋人和听力丧失的个体提供帮助。例如，所公开的系统可用重要道路声音的视觉警报来提醒无法听到外部声音的那些人。例如，可通过视觉警报来向聋的乘客提醒紧急车辆的位置、速度和接近度。

现在在另一个示例非限制性场景的背景下描述本公开的另一个实施例。图2示出了根据本公开的示例实施例的一个示例场景，其中车辆的内部的声学控制可向驾驶员提供增加的情景感知。该场景可包括在十字路口208上接近活动的紧急车辆206的车辆202。在车辆202附近也可能有其他车辆(例如，车辆204)。在这种情况下，车辆的乘员可能更喜欢安静的车辆车舱。然而，车辆的乘员可能还需要意识到任何在附近的活动的紧急车辆(诸如活动的紧急车辆206)的存在、航向和/或速度。

在这种情况下，所公开的系统可检测与外部环境相关联的基本本底噪声。所公开的系统可使用噪声消除技术来减少外部不想要的(例如，道路噪声、发动机噪声、交通等)。所公开的系统可再次使用对预定的声级偏好的用户选择或用户定制的声级偏好来执行噪声降低。

在一些实施例中，车辆202可使用任何合适的V2V协议来检测在车辆202的预定半径内的附近紧急车辆(例如，活动的紧急车辆206)。所公开的系统可使用车辆202的内部和外部传声器以及基于AI的技术来允许对外部声音的近实时声学标记识别。例如，所公开的系统可使用此类技术来识别典型的紧急车辆206声音和鸣笛模式。

所公开的系统可使用车辆202的相机并使用基于AI的技术来允许对某些外部对象(诸如活动的紧急车辆206)的近实时视觉识别。在一些示例中，所公开的系统可使用视觉识别来将与对象相关联的信息呈现给用户。例如，所公开的系统可允许视觉识别与活动的紧急车辆206相关联的可见紧急车辆灯和标记颜色以及定时模式。然后，所公开的系统可向车辆202的乘员呈现与活动的紧急车辆206相关联的信息以及紧急车辆206的图片和/或视频。在一些示例中，该信息可被呈现在车辆202的任何合适的显示器上。

在一些示例中，所公开的系统还可使用车辆202的相机来确定与活动的紧急车辆206相关联的可见紧急车辆照明的距离和路径。在其他示例中，所公开的系统可使用车辆202的信息娱乐系统来处理和过滤外部声音，从而允许对活动的紧急车辆206鸣笛的近实时回放。所公开的系统可播放模拟的紧急鸣笛以包括鸣笛的方向性以及包括多普勒效应，以增加用户对鸣笛声音位置的真实感和直观性的感知。与回放活动的紧急车辆206的鸣笛一起，车辆202的内部HMI还可指示所识别的活动的紧急车辆206的方向和路径，以提高安全性和意识，如下文结合图3示出和描述。特别地，与车辆202相关联的抬头显示器或信息娱乐显示器可用于显示活动的紧急车辆206的位置并提供警告通知。

如所指出，所公开的系统可实现外部声源的声学三边测量。在一些示例中，此类外部声源可能没有足够的对应的视觉提示。例如，外部声源可包括鸣喇叭声、来自指挥交通的交警的口哨声等。所公开的系统可使用声学三边测量来促进对声源的基于视觉的识别。在一些示例中，三边测量的特定形式可与外部环境的声学采样一起使用，以尝试缩窄声音所源自的方向。这种三边测量可能对于识别来自无法经由V2V协议进行通信的车辆的声音的位置是有用的。此类车辆(例如，较旧的紧急车辆)可能无法正确地识别它们自己。然而，此类车辆可能被挡住或缺少视觉提示而不能被驾驶员或车辆相机视觉地识别。

因此，所公开的系统可使用基于车辆的传声器来识别此类声源。特别地，所公开的系统可使用传声器来对外部声音进行采样。可选地或另外地，所公开的系统可使用外部装置和/或经由V2V通信来接收经采样且标准化的外部声音。所公开的系统可处理外部声音、经由声音的声学标记来表征声音，并且分析外部声音以估计如所采样的近似声压级。此外，所公开的系统可将该信息广播到在附近的任何其他具有V2V能力的车辆。

在一些示例中，如果由具有V2V能力的车辆接收到至少三个这种类型的消息，则可确定声音的起源点的大致位置。所公开的系统可使用三边测量技术和地图数据库来执行这种确定。地图数据库可包括被表征为最有可能从车辆(例如，鸣喇叭、发出嘎吱声的轮胎等)发出的声音。

在一个示例场景中，具有声学三边测量能力的车辆可从广播具有对应的采样声音的声压级和采样声音的特征类型的消息的其他两个车辆接收V2V消息。接收车辆可将V2V信息与其自己的采样和特征信息配对，以确定声音所源自的位置。特别地，由于接收车辆知道其自己的位置以及其他两个车辆的位置，因此该车辆可使用三边测量技术来进行位置确定。此外，在车辆发出的声音的情况下，所公开的系统还可结合道路几何形状的相关知识(例如，如从外部数据库确定)来进行位置确定。

图3示出了根据本公开的示例实施例的向乘客提供地图绘制能力以改进对图2中描述的示例场景的驾驶员的情景感知的图300。如所指出，所公开的系统还可基于检测到的环境声音来呈现视觉警报，除了环境声音之外或作为其代替，视觉警报被呈现给车辆乘员。所公开的系统可生成并在车辆的抬头显示器、中央控制台显示器等上呈现此类视觉警报306。所公开的系统还可在示出车辆的当前位置的车载地图信息302旁边呈现视觉警报。例如，所公开的系统可在虚拟地图上呈现视觉警报以指示声音的位置以及其他驾驶信息(例如，车辆的航向、速度等)。

图4示出了根据本公开的示例实施例的示例场景，其中所公开的系统和方法可执行声学三边测量以定位外部声源。图400示出了在十字路口401处的四辆车辆(车辆404、406、408和410)，其中三辆车辆(车辆406、408和410)具有V2V能力，而一辆车辆(车辆404)不具有V2V能力。如下所述，可能不具有V2V能力的车辆404仍可被识别为喇叭声音的起源。具有V2V能力的车辆中的任一者都可广播它们自己的消息，以将它们自己标识为鸣喇叭的车辆。然而，通过声学三边测量，具有V2V能力的车辆可共同地对音频进行采样、表征并彼此广播采样电平，以使它们中的任一者进行它们自己对音频源的位置的确定。

位置确定过程可包括处理三个样本的广播的数据和GPS位置，以产生其中声音的起源点可存在的可能范围。这可由图4的圆圈403、405和407表示，所述圆圈可表示每个相应的车辆的外部传声器可在其中对音频进行采样的区域。在十字路口南侧的车辆410可对声音进行采样、经由声音的声学标记将声音表征为车辆喇叭，并且可确定声音是以给定的振幅(例如，约65dB)被采样的。

继续该示例，在十字路口401西侧的车辆406可执行同一过程，以确定声音具有不同的振幅，例如，约70dB的振幅。在十字路口401东侧的车辆408可从其他两个车辆获取数据并将该数据与其自己的约60dB的样本组合以确定鸣喇叭的车辆404可能在十字路口401西侧。交叉点412的汇聚可大致在道路的一侧，但是经由车载地图数据库对道路几何形状的了解可能造成东侧车辆408能够确定(经由地图识别)鸣喇叭的车辆404最有可能是在十字路口401西侧的具有V2V能力的车辆406正后方的车辆。对于具有在给定的采样车辆的任一侧上分开的多个传声器的车辆，距离范围和声源定向可能更精确且不易出错。然而，单个传声器仍可用来自如图400所描绘的至少两个其他车辆的数据正确地确定源位置。

如所指出，通过声学三边测量来自己确定鸣喇叭的车辆404位置的其他车辆(车辆406、408和/或410)中的任一者可随后广播对应的信息来与其他车辆共享。所公开的系统可对这些所确定的位置的值求平均以进一步提高位置确定的准确度和置信度。

图5示出了描述根据本公开的示例实施例的在车辆中生成定制的声学环境的方法的示例过程流程。在框502处，该方法可包括检测在车辆的车舱外部的环境声音并从环境声音确定至少一个第一声音，其中车舱被配置为将环境声音的音量减小到低于阈值。在一些示例中，确定第一声音可包括：从环境声音确定多个声音和相应的声音类型；以及从环境声音滤出具有预定声音类型的声音。此外，确定声音类型可包括向声音分配相应的优先级。例如，滤出声音还包括滤出具有低于相应的阈值的优先级的声音。

在框504处，该方法可包括确定位置信息，该位置信息包括第一声音相对于车辆的方向和距离。在一些示例中，确定位置信息可包括使用与被配置为检测环境声音的其他车辆的V2V通信来执行声学三边测量。此外，确定位置信息可包括确定与第一声音相关联的多普勒频移。

在框506处，该方法可包括基于第一声音和位置信息来生成第二声音，所述第二声音再现第一声音的频谱特征。在一个示例中，频谱特征可包括信号的基于频率的特征。特别地，可通过使用傅立叶变换算法将基于时间的信号(例如，音频信号)转换到频域来确定此类频谱特征。此类频谱特征的非限制性示例可包括基本频率、一个或多个频率分量、频谱密度、频谱滚降等。频谱特征的各种组合可用于识别音频信号的特定部分的音符、音高、音色、低音、节奏、旋律等。

在其他实施例中，生成第二声音可包括使与第一声音相关联的噪声减小可基于用户偏好的量。

在框508处，该方法可包括致使第二声音的至少一部分在车舱的扬声器上播放。在一些示例中，致使播放第二声音的至少所述部分可包括投射第二声音，使得第二声音具有与第一声音类似的感知位置。此外，该方法可包括致使基于第二声音的图像呈现在与车舱相关联的显示器上。在其他示例中，该方法可包括获得在车舱外部的环境的图像并基于对图像的分析来确定状况(例如，紧急状况)。因此，所公开的系统可停止播放第二声音的部分并可基于图像来在扬声器上播放第三声音。

如所指出，本文所描述的装置和系统(以及它们的各种部件)的实施例可采用AI来促进将本文所描述的一个或多个特征(例如，在执行从由车辆的传声器捕获的音频的声音检测和辨识并执行声音定位中)自动化。部件可采用各种基于AI的方案来实施本文所公开的各种实施例/示例。为了提供或帮助本文所描述的许多确定(例如，确定、断定、推断、计算、预测、预后、估计、推导、预报、检测、计算)，本文所描述的部件可检查其被授予访问权限的数据的整体或子集并可提供用于从如经由事件和/或数据捕获的一组观察推理或确定系统状态、环境等。例如，确定可用于识别具体背景或动作，或者可生成对状态的概率分布。确定可为概率性的；也就是说，基于对数据和事件的考虑来计算对感兴趣的状态的概率分布。确定还可指代用于从一组事件和/或数据构成更高级事件的技术。

此类确定可能造成从一组观察到的事件和/或存储的事件数据构造新事件或动作，而不论所述事件是否在时间上紧密接近地相关并且不论所述事件和数据是否来自一个或若干事件和数据源(例如，不同的传感器输入)。本文所公开的部件可结合执行与所要求保护的主题相结合的自动和/或所确定的动作来采用各种分类(经显式训练的(例如，经由训练数据)以及经隐式训练的(例如，经由观察行为、偏好、历史信息、接收外部信息等))方案和/或系统(例如，支持向量机、神经网络、专家系统、贝叶斯置信网络、模糊逻辑、数据融合引擎等)。因此，分类方案和/或系统可用于自动地学习和执行多个功能、动作和/或确定。

分类器可将输入属性向量z＝(z1，z2，z3，z4，...，zn)映射到输入属于某个类别的置信度，如按照f(z)＝置信度(类别)。这种分类可采用基于概率和/或统计的分析(例如，考虑到分析效用和成本)来确定要自动地执行的动作。支持向量机(SVM)可为可采用的分类器的示例。SVM通过在可能输入的空间中找到超曲面来操作，其中超曲面尝试将触发标准与非触发事件分开。直观地，这使分类对于接近但与训练数据不同的测试数据来说是正确的。其他有向和无向模型分类方法包括例如朴素贝叶斯、贝叶斯网络、决策树、神经网络、模糊逻辑模型和/或可采用提供不同的独立性模式的概率分类模型。如本文所使用的分类还包括用于开发优先级模型的统计回归。

图6是根据本公开的一个或多个实施例的用于一个或多个服务器600的示例服务器架构的示意图。图6的示例中所示的服务器600可对应于可由车辆(例如，如上文结合图1示出和描述的车辆102中的任一个)在与车辆相关联的网络上使用的服务器。在一个实施例中，服务器600可包括基于云的服务器，该基于云的服务器可用于存储和传输信息(例如，包括光源位置的HD地图信息，诸如交通信号、交通信息等)。在各种实施例中，单独的部件中的一些或全部可为任选的和/或不同的。在一些实施例中，图6所描述的服务器中的至少一个可位于自主车辆处。

服务器600可与AV 640以及一个或多个用户装置650进行通信。AV 640可与一个或多个用户装置650进行通信646。此外，服务器600、AV 640和/或用户装置650可被配置为经由一种或多种网络642进行通信。AV 640可另外地经由连接协议(诸如蓝牙或NFC)通过一种或多种网络642与用户装置650进行无线通信。此类网络642可包括但不限于任一种或多种不同类型的通信网络，诸如，例如有线网络、公共网络(例如，互联网)、专用网络(例如，帧中继网络)、无线网络、蜂窝网络、电话网络(例如，公共交换电话网络)，或任何其他合适的专用或公共分组交换或电路交换网络。此外，此类网络可具有与其相关联的任何合适的通信范围。另外，此类网络可包括通信链路和相关联的连网装置(例如，链路层交换机、路由器等)，以在任何合适类型的介质上传输网络流量，所述合适类型的介质包括但不限于同轴电缆、双绞线(例如，双绞铜线)、光纤、HFC介质、微波介质、射频通信介质、卫星通信介质或它们的任何组合。

在说明性配置中，服务器600可包括一个或多个处理器602、一个或多个存储器装置604(在本文中也被称为存储器604)、一个或多个输入/输出(I/O)接口606、一个或多个网络接口608、一个或多个传感器或传感器接口610、一个或多个收发器612、一个或多个任选的显示部件614、一个或多个任选的扬声器/相机/传声器616和数据存储设备620。服务器600还可包括功能性地耦合服务器600的各种部件的一个或多个总线618。服务器600还可包括一个或多个天线630，所述一个或多个天线可包括但不限于用于向蜂窝网络基础设施传输信号或从蜂窝网络基础设施接收信号的蜂窝天线、用于从GNSS卫星接收GNSS信号的GNSS天线、用于传输或接收蓝牙信号的蓝牙天线、用于传输或接收NFC信号的NFC天线等。将在下文更详细地描述这些各种部件。

总线618可包括系统总线、存储器总线、地址总线或消息总线中的至少一者，并且可允许在服务器600的各种部件之间交换信息(例如，数据(包括计算机可执行代码)、信令等)。总线618可包括但不限于存储器总线或存储器控制器、外围总线、加速图形端口等。总线618可与任何合适的总线架构相关联。

服务器600的存储器604可包括：易失性存储器(当被供电时维持其状态的存储器)，诸如RAM；和/或非易失性存储器(即使当未被供电时也维持其状态的存储器)，诸如只读存储器(ROM)、快闪存储器、铁电RAM(FRAM)等。持久性数据存储设备，如在本文中使用该术语时，可包括非易失性存储器。在某些示例实施例中，易失性存储器可实现比非易失性存储器更快的读/写访问。然而，在某些其他示例实施例中，某些类型的非易失性存储器(例如，FRAM)可实现比某些类型的易失性存储器更快的读/写访问。

数据存储设备620可包括可移动存储设备和/或不可移动存储设备，包括但不限于磁性存储设备、光盘存储设备和/或磁带存储设备。数据存储设备620可提供计算机可执行指令和其他数据的非易失性存储。

数据存储设备620可存储可加载到存储器604中并可由处理器602执行以致使处理器602执行或发起各种操作的计算机可执行代码、指令等。数据存储设备620可另外地存储可被复制到存储器604以供处理器602在执行计算机可执行指令期间使用的数据。更具体地，数据存储设备620可存储一个或多个操作系统(O/S)622；一个或多个数据库管理系统(DBMS)624；以及一个或多个程序模块、应用程序、引擎、计算机可执行代码、脚本等。这些部件中的一些或全部可为子部件。被描绘为存储在数据存储设备620中的部件中的任一个都可包括软件、固件和/或硬件的任何组合。软件和/或固件可包括可被加载到存储器604中以供处理器602中的一个或多个执行的计算机可执行代码、指令等。被描绘为存储在数据存储设备620中的部件中的任一个都可支持参考本公开中先前命名的对应部件描述的功能性。

处理器602可被配置为访问存储器604并执行加载在其中的计算机可执行指令。例如，处理器602可被配置为执行服务器600的各种程序模块、应用程序、引擎等的计算机可执行指令，以致使或促进根据本公开的一个或多个实施例执行各种操作。处理器602可包括能够接受数据作为输入、根据所存储的计算机可执行指令处理输入数据并生成输出数据的任何合适的处理单元。处理器602可包括任何类型的合适的处理单元。

现在参考被描绘为存储在数据存储设备620中的其他说明性部件，O/S 622可从数据存储设备620加载到存储器604中并可提供在服务器600上执行的其他应用程序软件与服务器600的硬件资源之间的接口。

DBMS 624可被加载到存储器604中并可支持用于访问、检索、存储和/或操纵存储在存储器604中的数据和/或存储在数据存储设备620中的数据的功能性。DBMS 624可使用多种数据库模型(例如，关系模型、对象模型等)中的任一种并可支持多种查询语言中的任一种。

现在参考服务器600的其他说明性部件，输入/输出(I/O)接口606可促进服务器600从一个或多个I/O装置接收输入信息以及从服务器600向一个或多个I/O装置输出信息。I/O装置可包括多种部件中的任一种，诸如：具有触摸表面或触摸屏的显示器或显示屏幕；用于产生声音的音频输出装置，诸如扬声器；音频捕获装置，诸如传声器；图像和/或视频捕获装置，诸如相机；触觉单元；等等。I/O接口606还可包括与天线630中的一个或多个的连接，以经由无线局域网(WLAN)(诸如Wi-Fi)无线电、蓝牙、ZigBee和/或无线网络无线电(诸如能够与诸如长期演进(LTE)网络、WiMAX网络、3G网络、ZigBee网络等无线通信网络通信的无线电)连接到一种或多种网络。

服务器600还可包括一个或多个网络接口608，服务器600可经由所述网络接口与多种其他系统、平台、网络、装置等中的任一者进行通信。网络接口608可实现例如经由一种或多种网络与一个或多个无线路由器、一个或多个主机服务器、一个或多个网络服务器等通信。

传感器/传感器接口610可包括任何合适的类型的感测装置或可能够与其对接，所述感测装置诸如例如惯性传感器、力传感器、热传感器、光电池等。

显示部件614可包括一个或多个显示层，诸如LED或LCD层、触摸屏层、保护层和/或其他层。扬声器/相机/传声器616的任选的相机可为被配置为捕获环境光或图像的任何装置。扬声器/相机/传声器616的任选的传声器可为被配置为接收模拟声音输入或语音数据的任何装置。扬声器/相机/传声器616的传声器可包括用于捕获声音的传声器。

应了解，图6中描绘为存储在数据存储设备620中的程序模块、应用程序、计算机可执行指令、代码等仅是说明性的而不是穷举的，并且被描述为由任何特定模块支持的处理可任选地分布在多个模块上或由不同模块执行。

还应了解，在不脱离本公开的范围的情况下，服务器600可包括除了所描述或描绘的那些之外的可选和/或附加硬件、软件或固件部件。

用户装置650可包括一个或多个计算机处理器652、一个或多个存储器装置654以及一个或多个应用程序，诸如车辆应用程序656。其他实施例可包括不同的部件。

处理器652可被配置为访问存储器654并执行加载在其中的计算机可执行指令。例如，处理器652可被配置为执行装置的各种程序模块、应用程序、引擎等的计算机可执行指令，以致使或促进根据本公开的一个或多个实施例执行各种操作。处理器652可包括能够接受数据作为输入、根据所存储的计算机可执行指令处理输入数据并生成输出数据的任何合适的处理单元。处理器652可包括任何类型的合适的处理单元。

存储器654可包括易失性存储器(当被供电时维持其状态的存储器)。持久性数据存储设备，如在本文中使用该术语时，可包括非易失性存储器。在某些示例实施例中，易失性存储器可实现比非易失性存储器更快的读/写访问。然而，在某些其他示例实施例中，某些类型的非易失性存储器(例如，FRAM)可实现比某些类型的易失性存储器更快的读/写访问。

现在参考由用户装置650支持的功能性，AV应用程序656可为可由处理器652执行的移动应用程序，所述移动应用程序可用于呈现选项和/或接收与所公开的实施例有关的信息的用户输入。另外，用户装置650可经由网络642和/或直接连接(其可为无线或有线连接)与AV 640进行通信。用户装置650可包括相机、扫描仪、生物读取器等以捕获用户的生物特征数据，对生物特征数据执行某些处理步骤，诸如从所捕获的生物特征数据中提取特征，然后将这些所提取的特征传达到一个或多个远程服务器，诸如基于云的服务器中的一者或多者。

自主车辆640可包括一个或多个计算机处理器660、一个或多个存储器装置662、一个或多个传感器664以及一个或多个应用程序，诸如自主驾驶应用程序666。其他实施例可包括不同的部件。这些部件的组合或子组合可与图6中的控制器606成一体。

处理器660可被配置为访问存储器662并执行加载在其中的计算机可执行指令。例如，处理器660可被配置为执行装置的各种程序模块、应用程序、引擎等的计算机可执行指令，以致使或促进根据本公开的一个或多个实施例执行各种操作。处理器660可包括能够接受数据作为输入、根据所存储的计算机可执行指令处理输入数据并生成输出数据的任何合适的处理单元。处理器660可包括任何类型的合适的处理单元。

存储器662可包括：易失性存储器(当被供电时维持其状态的存储器)，诸如随机存取存储器(RAM)；和/或非易失性存储器(即使当未被供电时也维持其状态的存储器)，诸如只读存储器(ROM)、快闪存储器、铁电RAM(FRAM)等。持久性数据存储设备，如在本文中使用该术语时，可包括非易失性存储器。在某些示例实施例中，易失性存储器可实现比非易失性存储器更快的读/写访问。然而，在某些其他示例实施例中，某些类型的非易失性存储器(例如，FRAM)可实现比某些类型的易失性存储器更快的读/写访问。

示例实施例

在一些情况下，以下示例可通过本文所描述的系统和方法来共同地或分开地实现。

示例1可包括一种装置，所述装置包括：至少一个存储器装置，所述至少一个存储器装置存储计算机可执行指令；以及至少一个处理器，所述至少一个处理器被配置为访问所述至少一个存储器装置，其中所述至少一个处理器被配置为执行所述计算机可执行指令以：从在车辆的车舱外部的环境声音确定至少一个第一声音，其中所述车舱被配置为将所述环境声音的音量减小到低于阈值；确定位置信息，所述位置信息包括所述第一声音相对于所述车辆的方向和距离；基于所述第一声音和所述位置信息来生成第二声音，所述第二声音再现所述第一声音的频谱特征；以及致使所述第二声音的至少一部分在所述车舱的扬声器上播放。

示例2可包括示例1和/或本文的某一其他示例的装置，其中生成所述第二声音包括使与所述第一声音相关联的噪声减小基于用户偏好的量。

示例3可包括示例1和/或本文的某一其他示例的装置，其中确定所述第一声音包括：从所述环境声音确定多个声音和相应的声音类型；以及从所述环境声音滤出具有预定声音类型的声音。

示例4可包括示例3和/或本文的某一其他示例的装置，其中确定所述声音类型包括向所述声音分配相应的优先级，并且其中滤出声音还包括滤出具有低于相应的阈值的优先级的声音。

示例5可包括示例1和/或本文的某一其他示例的装置，其中确定所述位置信息包括使用与被配置为检测所述环境声音的其他车辆的车辆对车辆(V2V)通信来执行声学三边测量。

示例6可包括示例1和/或本文的某一其他示例的装置，其中确定所述位置信息包括确定与所述第一声音相关联的多普勒频移。

示例7可包括示例1和/或本文的某一其他示例的装置，其中致使播放所述第二声音的至少所述部分包括投射所述第二声音，使得所述第二声音具有与所述第一声音类似的感知位置。

示例8可包括示例1和/或本文的某一其他示例的装置，所述装置还包括致使基于所述第二声音的图像呈现在与所述车舱相关联的显示器上。

示例9可包括示例1和/或本文的某一其他示例的装置，其中所述计算机可执行指令还包括用于以下操作的计算机可执行指令：获得在所述车舱外部的环境的至少一个图像；基于对所述图像的分析来确定紧急状况；致使停止播放所述第二声音的所述部分；以及致使基于所述图像来在所述扬声器上播放第三声音。

示例10可包括一种方法，所述方法包括：检测在车辆的车舱外部的环境声音并从所述环境声音确定至少一个第一声音，其中所述车舱被配置为将所述环境声音的音量减小到低于阈值；确定位置信息，所述位置信息包括所述第一声音相对于所述车辆的方向和距离；以及基于所述第一声音和所述位置信息来生成第二声音，所述第二声音再现所述第一声音的频谱特征。

示例11可包括示例10和/或本文的某一其他示例的方法，其中生成所述第二声音包括使与所述第一声音相关联的噪声减小基于用户偏好的量。

示例12可包括示例10和/或本文的某一其他示例的方法，其中确定所述第一声音包括：从所述环境声音确定多个声音和相应的声音类型；以及从所述环境声音滤出具有预定声音类型的声音。

示例13可包括示例10和/或本文的某一其他示例的方法，其中确定所述位置信息包括使用与被配置为检测所述环境声音的其他车辆的车辆对车辆(V2V)通信来执行声学三边测量。

示例14可包括示例10和/或本文的某一其他示例的方法，所述方法还包括致使基于所述第二声音的图像呈现在与所述车舱相关联的显示器上。

示例15可包括示例10和/或本文的某一其他示例的方法，所述方法还包括：获得在所述车舱外部的环境的至少一个图像；基于对所述图像的分析来确定状况；致使停止播放所述第二声音的部分；以及致使基于所述图像来在扬声器上播放第三声音。

示例16可包括一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储计算机可执行指令，所述计算机可执行指令当由处理器执行时致使所述处理器执行操作，所述操作包括：从在车辆的车舱外部的环境声音确定至少一个第一声音，其中所述车舱被配置为将所述环境声音的音量减小到低于阈值；确定位置信息，所述位置信息包括所述第一声音相对于所述车辆的方向和距离；以及基于所述第一声音和所述位置信息来生成第二声音，所述第二声音再现所述第一声音的频谱特征。

示例17可包括示例16和/或本文的某一其他示例的非暂时性计算机可读介质，其中生成所述第二声音包括使与所述第一声音相关联的噪声减小基于用户偏好的量。

示例18可包括示例16和/或本文的某一其他示例的非暂时性计算机可读介质，其中确定所述第一声音包括：从所述环境声音确定多个声音和相应的声音类型；以及从所述环境声音滤出具有预定声音类型的声音。

示例19可包括示例16和/或本文的某一其他示例的非暂时性计算机可读介质，其中确定所述位置信息包括使用与被配置为检测所述环境声音的其他车辆的车辆对车辆(V2V)通信来执行声学三边测量。

示例20可包括示例16和/或本文的某一其他示例的非暂时性计算机可读介质，所述非暂时性计算机可读介质还包括用于以下操作的计算机可读指令：获得在所述车舱外部的环境的至少一个图像；基于对所述图像的分析来确定状况；致使停止播放所述第二声音的部分；以及致使基于所述图像来在扬声器上播放第三声音。

尽管已经描述了本公开的具体实施例，但是本领域的普通技术人员将认识到，许多其他修改和替代实施例都在本公开的范围内。例如，可通过任何其他装置或部件来执行关于特定装置或部件所描述的功能性和/或处理能力中的任一者。此外，虽然已经根据本公开的实施例描述了各种说明性实现方式和架构，但是本领域的普通技术人员将了解，本文所描述的说明性实现方式和架构的许多其他修改也在本公开的范围内。

框图和流程图的框支持用于执行指定功能的构件的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令手段。还将理解，框图和流程图中的每个框以及框图和流程图中的框的组合可由执行指定功能、元件或步骤的专用基于硬件的计算机系统、或专用硬件和计算机指令的组合来实现。

可用多种编程语言中的任一种对软件部件进行编码。说明性编程语言可为低级编程语言，诸如与特定硬件架构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件部件可能要求通过汇编器来转换为可执行机器代码，之后通过硬件架构和/或平台执行。

可将软件部件存储为文件或其他数据存储结构。可将类似类型或功能上相关的软件部件一起存储在诸如例如特定目录、文件夹或库中。软件部件可为静态的(例如，预先确立的或固定的)或动态的(例如，在执行时创建或修改的)。

通过多种机制中的任一种，软件部件可调用其他软件部件或由其他软件部件调用。被调用的或进行调用的软件部件可包括其他定制开发的应用软件、操作系统功能性(例如，装置驱动器、数据存储(例如，文件管理)例程、其他常见例程和服务等)或第三方软件部件(例如，中间件、加密或其他安全性软件、数据库管理软件、文件传输或其他网络通信软件、数学或统计软件、图像处理软件和格式转换软件)。

与特定解决方案或系统相关联的软件部件可驻留在单个平台上并在单个平台上执行，或者可跨多个平台分布。所述多个平台可与一个以上硬件供应商、基础芯片技术或操作系统相关联。此外，与特定解决方案或系统相关联的软件部件最初可用一种或多种编程语言来编写，但是可调用以另一种编程语言编写的软件部件。

计算机可执行程序指令可加载到专用计算机或其他特定机器、处理器或其他可编程数据处理设备上以产生特定机器，使得在计算机、处理器或其他可编程数据处理设备上执行指令致使执行在流程图中指定的一个或多个功能或操作。这些计算机程序指令还可存储在计算机可读存储介质(CRSM)中，其在执行时可指导计算机或其他可编程数据处理设备以特定方式起作用，使得存储在计算机可读存储介质中的指令产生包括实现在流程图中指定的一个或多个功能或操作的指令手段的制品。计算机程序指令也可加载到计算机或其他可编程数据处理设备上，以致使在计算机或其他可编程设备上执行一系列操作元件或步骤来产生计算机实现的过程。

尽管已经用特定于结构特征和/或方法动作的语言描述了实施例，但是应理解，本公开不一定受限于所描述的具体特征或动作。而是，将具体特征和动作公开为实现实施例的说明性形式。除非另有具体地陈述或另外在背景中如所使用的那样理解，否则条件性语言(诸如尤其是“能够”、“能”、“可能”或“可”)通常旨在表达某些实施例可包括而其他实施例不包括某些特征、元件和/或步骤。因此，这种条件性语言一般不旨在暗示特征、元件和/或步骤无论如何都是一个或多个实施例所要求的，或者一个或多个实施例都一定包括用于在有或没有用户输入或提示的情况下决定任何特定实施例中是否包括或将要执行这些特征、元件和/或步骤的逻辑。

根据本发明，提供了一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储计算机可执行指令，所述计算机可执行指令当由处理器执行时致使所述处理器执行操作，所述操作具有：从在车辆的车舱外部的环境声音确定至少一个第一声音，其中所述车舱被配置为将所述环境声音的音量减小到低于阈值；确定位置信息，所述位置信息包括所述第一声音相对于所述车辆的方向和距离；以及基于所述第一声音和所述位置信息来生成第二声音，所述第二声音再现所述第一声音的频谱特征。

根据一个实施例，生成所述第二声音包括使与所述第一声音相关联的噪声减小基于用户偏好的量。

根据一个实施例，确定所述第一声音包括：从所述环境声音确定多个声音和相应的声音类型；以及从所述环境声音滤出具有预定声音类型的声音。

根据一个实施例，确定所述位置信息包括使用与被配置为检测所述环境声音的其他车辆的车辆对车辆(V2V)通信来执行声学三边测量。

根据一个实施例，本发明的特征还在于用于以下操作的计算机可读指令：获得在所述车舱外部的环境的至少一个图像；基于对所述图像的分析来确定状况；致使停止播放所述第二声音的部分；以及致使基于所述图像来在扬声器上播放第三声音。

Claims

1.一种装置，所述装置包括：

至少一个存储器装置，所述至少一个存储器装置存储计算机可执行指令；以及

至少一个处理器，所述至少一个处理器被配置为访问所述至少一个存储器装置，其中所述至少一个处理器被配置为执行所述计算机可执行指令以：

从在车辆的车舱外部的环境声音确定至少一个第一声音，其中所述车舱被配置为将所述环境声音的音量减小到低于阈值；

确定位置信息，所述位置信息包括所述第一声音相对于所述车辆的方向和距离；

基于所述第一声音和所述位置信息来生成第二声音，所述第二声音再现所述第一声音的频谱特征；以及

致使所述第二声音的至少一部分在所述车舱的扬声器上播放。

2.如权利要求1所述的装置，其中生成所述第二声音包括使与所述第一声音相关联的噪声减小基于用户偏好的量。

3.如权利要求1所述的装置，其中确定所述第一声音包括：

从所述环境声音确定多个声音和相应的声音类型；以及

从所述环境声音滤出具有预定声音类型的声音。

4.如权利要求3所述的装置，其中确定所述声音类型包括向所述声音分配相应的优先级，并且其中滤出声音还包括滤出具有低于相应的阈值的优先级的声音。

5.如权利要求1所述的装置，其中确定所述位置信息包括使用与被配置为检测所述环境声音的其他车辆的车辆对车辆(V2V)通信来执行声学三边测量。

6.如权利要求1所述的装置，其中确定所述位置信息包括确定与所述第一声音相关联的多普勒频移。

7.如权利要求1所述的装置，其中致使播放所述第二声音的至少所述部分包括投射所述第二声音，使得所述第二声音具有与所述第一声音类似的感知位置。

8.如权利要求1所述的装置，所述装置还包括致使基于所述第二声音的图像呈现在与所述车舱相关联的显示器上。

9.如权利要求1所述的装置，其中所述计算机可执行指令还包括用于以下操作的计算机可执行指令：

获得在所述车舱外部的环境的至少一个图像；

基于对所述图像的分析来确定紧急状况；

致使停止播放所述第二声音的所述部分；以及

致使基于所述图像来在所述扬声器上播放第三声音。

10.一种方法，所述方法包括：

检测在车辆的车舱外部的环境声音并从所述环境声音确定至少一个第一声音，其中所述车舱被配置为将所述环境声音的音量减小到低于阈值；

确定位置信息，所述位置信息包括所述第一声音相对于所述车辆的方向和距离；以及

基于所述第一声音和所述位置信息来生成第二声音，所述第二声音再现所述第一声音的频谱特征。

11.如权利要求10所述的方法，其中生成所述第二声音包括使与所述第一声音相关联的噪声减小基于用户偏好的量。

12.如权利要求10所述的方法，其中确定所述第一声音包括：

从所述环境声音确定多个声音和相应的声音类型；以及

从所述环境声音滤出具有预定声音类型的声音。

13.如权利要求10所述的方法，其中确定所述位置信息包括使用与被配置为检测所述环境声音的其他车辆的车辆对车辆(V2V)通信来执行声学三边测量。

14.如权利要求10所述的方法，所述方法还包括致使基于所述第二声音的图像呈现在与所述车舱相关联的显示器上。

15.如权利要求10所述的方法，所述方法还包括：

获得在所述车舱外部的环境的至少一个图像；

基于对所述图像的分析来确定状况；

致使停止播放所述第二声音的部分；以及

致使基于所述图像来在扬声器上播放第三声音。