CN113581071A - 用于外部环境感测和渲染的系统和方法 - Google Patents

用于外部环境感测和渲染的系统和方法 Download PDF

Info

Publication number
CN113581071A
CN113581071A CN202110440918.8A CN202110440918A CN113581071A CN 113581071 A CN113581071 A CN 113581071A CN 202110440918 A CN202110440918 A CN 202110440918A CN 113581071 A CN113581071 A CN 113581071A
Authority
CN
China
Prior art keywords
vehicle
sound
external
source
speakers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110440918.8A
Other languages
English (en)
Inventor
C.M.特雷斯坦
M.威利斯
R.温顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Ltd
Harman International Industries Inc
Original Assignee
Harman International Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman International Industries Inc filed Critical Harman International Industries Inc
Publication of CN113581071A publication Critical patent/CN113581071A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/08Arrangements for producing a reverberation or echo sound
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field

Abstract

提出了用于在车辆中产生声音的系统和方法。在一个示例中,在车辆外部产生的一个或多个声音可以促进车辆内声音的产生。可以以指示在车辆外部产生的声音的来源的方向的方式产生在车辆内产生的声音。

Description

用于外部环境感测和渲染的系统和方法
相关申请的交叉引用
本申请要求2020年5月1日提交的名称为“用于外部环境感测和渲染的系统和方法(SYSTEMS AND METHODS FOR EXTERNAL ENVIRONMENT SENSING AND RENDERING)”的美国临时申请号63/019,103的优先权。上述申请的全部内容据此以引用方式并入以用于所有目的。
背景技术
本公开涉及对车辆外部的声音进行响应的车辆系统。
发明内容
在道路上行驶的车辆可能会遇到可能从车辆外部的来源产生的声音。例如,诸如牵引拖车、垃圾车、碎石运输车等大型卡车在车辆前方、侧面或后面通过时,可能会在车辆附近产生可听见的声音。此外,紧急车辆可能会不时地通过车辆,其中紧急车辆的警报器在激活状态下运行。然而,由于车辆内的车辆隔音,这些外部声音可能并不总是像车辆的人类驾驶员所希望的那样明显。因此,人类驾驶员的态势感知可能不如期望的那样敏锐。
发明人已经意识到前面提到的问题,并且已经开发了至少部分地解决上述问题的系统和方法。特别地,发明人已经开发了一种用于在车辆中产生声音的方法,该方法包括:根据车辆与车辆外部的声音的来源之间的角度,经由一个或多个扬声器在车辆内部产生声音。
通过根据车辆与车辆外部的声音的来源之间的角度在车辆内产生声音,车辆的扬声器可以通知车辆驾驶员指向车辆外部的声音的来源的方向。例如,如果紧急车辆正从车辆的前右侧接近车辆,则车辆内部的前右侧中的扬声器可产生声音,该声音通知车辆乘员紧急车辆的方向。例如,可以将车辆外部的声音映射到空间中的虚拟点,并且可以基于空间中的虚拟点在车辆内部再现通知声音,例如听起来好像它来自该虚拟点。另外,车辆内产生的声音可以指示车辆外部的声音的预期来源。以这种方式,可以将正在接近的声源以及声音的预期来源的方向通知给车辆乘员。
本说明书可以提供几个优点。具体地,该方法可以改善车辆内乘客的态势感知。另外,该方法可以将车辆乘员的注意力引向车辆外部的位置,使得车辆乘员可以更快地识别声音的来源。此外,该方法可以包括,其中车辆的导航系统根据外部车辆的噪声提供替代的行驶路线,使得车辆可以更快地到达其目的地。
单独地或结合附图,本描述的以上优点和其他优点以及特征将容易从以下具体实施方式中变得显而易见。
应当理解,提供以上概述来以简化的形式介绍在具体实施方式中进一步描述的概念选择。这并不意味着识别所要求保护的主题的关键或必要特征,所要求保护的主题的范围由具体实施方式之后的权利要求唯一地限定。此外,所要求保护的主题并不限于解决上述或本公开内容的任何部分中指出的任何缺点的实施方式。
附图说明
图1示出了根据本公开的一个或多个实施方案的车厢的示例性局部视图;
图2示出了根据本公开的一个或多个实施方案的示例性车载计算系统;
图3示出了根据本公开的一个或多个实施方案的车辆中的示例性声音处理系统;
图4A-4C示出了响应于车辆外部的声源的角度和距离而被激活的扬声器的示意图;并且
图5-7示出了用于经由音频或信息娱乐系统在车辆内产生声音的示例方法的流程图。
具体实施方式
本公开涉及根据车辆外部的声音在车辆乘客厢内产生声音。可以以指示车辆外部的声源的方向、声源的类型以及到声源的距离的方式来产生在车辆内产生的声音。例如,可以基于到车辆外部的声源的距离来调整车辆内的音量或声音输出功率水平(例如,分贝(dB))。另外,外部声源相对于车辆的角度和距离可以被传递到导航系统,该导航系统可以基于外部声源信息来改变行驶路线。
如图1-图3所示,根据本公开的系统可以是车辆的一部分,并且可以经由车载计算系统来执行根据本公开的方法。
图1示出了用于音频定制系统的一种类型的环境的示例性局部视图:车辆102的车厢100的内部,驾驶员和/或一个或多个乘客可以坐在其中。图1的车辆102可以是包括驱动轮(未示出)和内燃发动机104的机动车辆。内燃发动机104可以包括一个或多个燃烧室,该一个或多个燃烧室可以经由进气通道接收进气并且经由排气通道排出燃烧气体。除其他类型的车辆之外,车辆102可以是公路汽车。在一些示例中,车辆102可以包括混合动力推进系统,该混合动力推进系统包括能量转换装置,该能量转换装置可操作以从车辆运动和/或发动机吸收能量并将吸收的能量转换成适合于由能量存储装置存储的能量形式。车辆102可以包括全电动车辆,其结合有燃料电池、太阳能捕获元件和/或用于为车辆提供动力的其他能量存储系统。
如图所示,仪表板106可以包括车辆102的人类驾驶员(也称为用户)可访问的各种显示器和控件。例如,仪表板106可以包括车载计算系统109(例如,信息娱乐系统)的触摸屏108、音频系统控制面板和仪表组110。触摸屏108可以接收用户输入到车载计算系统109,以控制音频输出、视觉显示输出、用户偏好、控制参数选择等。虽然在图1中所示的示例性系统包括可以经由车载计算系统109的用户界面(诸如不具有单独的音频系统控制面板的触摸屏108)来执行的音频系统控件,但在其他实施方案中,车辆可以包括音频系统控制面板,其可以包括用于诸如无线电、光盘播放器、MP3播放器等的常规车辆音频系统的控件。音频系统控件可以包括用于经由车辆扬声器系统的扬声器112控制音频输出的一个或多个方面的特征。例如,车载计算系统或音频系统控件可以控制音频输出的音量、车辆扬声器系统的各个扬声器之间的声音分布、音频信号的均衡和/或音频输出的任何其他方面。在另外的示例中,车载计算系统109可以基于直接经由触摸屏108接收的用户输入或基于经由外部装置150和/或移动装置128接收的有关用户的数据(诸如用户的物理状态和/或环境)来调整无线电台选择、播放列表选择、音频输入源(例如,来自无线电或CD或MP3)等。
另外,车载计算系统109可以响应于来自外部声音的声音处理器113的输出来调整音频输出音量或功率输出水平、哪些扬声器被激活以及用于在扬声器处产生声音的信号。车辆的音频系统可以包括联接到多个扩音器(未示出)的放大器(未示出)。外部声音的声音处理器113可以经由可为有线或无线的(如参考通信链路130所讨论的)通信链路138连接到车载计算系统,并且被配置为在外部声音的声音处理器113和车载计算系统之间提供双向通信。
在一些实施方案中,车载计算系统109的一个或多个硬件元件,诸如触摸屏108、显示屏111、各种控制盘、旋钮和按钮、存储器、处理器以及任何接口元件(例如,连接器或端口)可以形成安装在车辆的仪表板106中的集成式头部单元。头部单元可以固定地或可移除地附接在仪表板106中。在附加或替代实施方案中,车载计算系统109的一个或多个硬件元件可以是模块化的,并且可以安装在车辆的多个位置中。
车厢100可包括用于监测车辆、用户和/或环境的一个或多个传感器。例如,车厢100可包括一个或多个座椅安装的压力传感器,其被配置为测量施加到座椅的压力以确定用户的存在;门传感器,其被配置为监测门的活动;湿度传感器,其用于测量车厢的湿度;传声器,其用于接收语音命令形式的用户输入,使用户能够进行电话呼叫和/或测量车厢100中的环境噪声等。应当理解,上述传感器和/或一个或多个附加或替代传感器可定位在车辆的任何合适位置。例如,传感器可以定位在发动机舱中、车辆的外表面上和/或其他合适的位置中,以提供关于车辆的操作、车辆的环境条件、车辆的用户等的信息。还可以从车辆外部/与车辆分离(即,不是车辆系统的一部分)的传感器(诸如,联接到外部装置150和/或移动装置128的传感器)接收关于车辆的环境条件、车辆状态或车辆驾驶员的信息。
车厢100还可以包括一个或多个用户对象,诸如移动装置128,它们在行驶之前、期间和/或之后存储在车辆中。移动装置128可以包括智能电话、平板电脑、膝上型计算机、便携式媒体播放器和/或任何合适的移动计算装置。移动装置128可以经由通信链路130连接到车载计算系统。通信链路130可以是有线的(例如,经由通用串行总线[USB]、移动高清晰度链路[MHL]、高清晰度多媒体接口[HDMI]、以太网等)或无线的(例如,经由蓝牙、WIFI、WIFI直连、近场通信[NFC]、蜂窝连接等),并被配置为在移动装置和车载计算系统之间提供双向通信。移动装置128可以包括用于连接至一个或多个通信链路(例如,上述示例性通信链路中的一个或多个)的一个或多个无线通信接口。无线通信接口可以包括一个或多个物理装置,诸如联接到用于承载传输或接收数据的数据线的天线或端口,以及用于根据移动装置中的其他装置来操作物理装置的一个或多个模块/驱动器。例如,通信链路130可以将传感器和/或控制信号从各种车辆系统(诸如车辆音频系统、气候控制系统等)和触摸屏108提供给移动装置128,并且可以将控制和/或显示信号从移动装置128提供给车载系统和触摸屏108。通信链路130还可以从车载电源向移动装置128提供电力,以便为移动装置的内部电池充电。
车载计算系统109还可以通信地联接到由用户操作和/或访问但位于车辆102外部的附加装置,诸如一个或多个外部装置150。在所描绘的实施方案中,外部装置位于车辆102的外部,但是应当理解,在替代实施方案中,外部装置可以位于车厢100内部。外部装置可以包括服务器计算系统、个人计算系统、便携式电子装置、电子腕带、电子头带、便携式音乐播放器、电子活动跟踪装置、计步器、智能手表、GPS系统等。外部装置150可以经由可以是有线或无线的(如参考通信链路130所讨论的)通信链路136连接到车载计算系统,并且被配置为在外部装置和车载计算系统之间提供双向通信。例如,外部装置150可以包括一个或多个传感器,并且通信链路136可以将来自外部装置150的传感器输出传输到车载计算系统109和触摸屏108。外部装置150还可以存储和/或接收关于上下文数据、用户行为/偏好、操作规则等的信息,并且可以将此类信息从外部装置150传输到车载计算系统109和触摸屏108。
车载计算系统109可以分析从外部装置150、移动装置128、外部声音的声音处理器113和/或其他输入源接收的输入,并选择各种车载系统(诸如气候控制系统或音频系统)的设置,经由触摸屏108和/或扬声器112提供输出,与移动装置128和/或外部装置150进行通信和/或基于评估执行其他操作。在一些实施方案中,评估的全部或一部分可以由移动装置128和/或外部装置150执行。
在一些实施方案中,一个或多个外部装置150可以经由移动装置128和/或另一个外部装置150间接地通信联接到车载计算系统109。例如,通信链路136可以将外部装置150通信地联接到移动装置128,使得来自外部装置150的输出被中继到移动装置128。然后,可以将从外部装置150接收的数据与移动装置128收集的数据在移动装置128处进行聚合,然后将经聚合的数据经由通信链路130传输到车载计算系统109和触摸屏108。类似的数据聚合可以在服务器系统处发生,然后经由通信链路136/130传输到车载计算系统109和触摸屏108。
图2示出了配置和/或集成在车辆102内部的车载计算系统109的框图。在一些实施方案中,车载计算系统109可以执行本文描述的一种或多种方法。在一些示例中,车载计算系统109可以是车辆信息娱乐系统,其被配置为向车辆用户提供基于信息的媒体内容(音频和/或视觉媒体内容,包括娱乐内容、导航服务等)以增强操作者的车载体验。车辆信息娱乐系统可以包括或联接到各种车辆系统、子系统、硬件部件以及集成在或可集成到车辆102中的软件应用和系统,以增强驾驶员和/或乘客的车载体验。
车载计算系统109可以包括一个或多个处理器,该一个或多个处理器包括操作系统处理器214和接口处理器220。操作系统处理器214可以在车载计算系统上执行操作系统,并且控制车载计算系统的输入/输出、显示、回放和其他操作。接口处理器220可以经由车辆间系统通信模块222与车辆控制系统230和外部声音的声音处理器113交接。
例如通过车辆控制系统230,车辆间系统通信模块222可以将数据输出到其他车辆系统231和车辆控制元件261,同时还接收从其他车辆部件和系统231、261输入的数据。当输出数据时,车辆间系统通信模块222可以经由总线提供与车辆的任何状态、车辆周围环境或连接至车辆的任何其他信息源的输出相对应的信号。车辆数据输出可包括例如模拟信号(诸如当前速度)、由各个信息源(诸如时钟、温度计、位置传感器诸如全球定位系统[GPS]传感器等)提供的数字信号、通过车辆数据网络(诸如可以通过其传送发动机相关信息的发动机CAN总线、可以通过其传送气候控制相关信息的气候控制CAN总线以及通过其在车辆中的多媒体部件之间传送多媒体数据的多媒体数据网络)传播的数字信号。例如,车载计算系统109可以从发动机CAN总线检索由车轮传感器估计的车辆的当前速度,经由车辆的电池和/或动力分配系统检索车辆的动力状态,检索车辆的点火状态等。另外,在不脱离本公开的范围的情况下,也可以使用诸如以太网的其他交接方式。
非易失性存储装置208可以包括在车载计算系统109中,从而以非易失性形式存储诸如可由处理器214和220执行的指令之类的数据。存储装置208可以存储包括预先录制的声音的应用数据,以使得车载计算系统109能够运行用于连接到基于云的服务器和/或收集信息以传输到基于云的服务器的应用。该应用可以检索由车辆系统/传感器、输入装置(例如,用户界面218)收集的信息、存储在易失性219A或非易失性存储装置(例如,存储器)219B、与车载计算系统通信的装置(例如,经由蓝牙链路连接的移动装置)等中的数据。车载计算系统109还可包括易失性存储器219A。易失性存储器219A可以是随机存取存储器(RAM)。诸如非易失性存储装置208和/或非易失性存储器219B之类的非暂时性存储装置可以存储指令和/或代码,该指令和/或代码在由处理器(例如,操作系统处理器214和/或接口处理器220)执行时控制车载计算系统109执行本公开中描述的一个或多个动作。
传声器202可以包括在车载计算系统109中,以接收来自用户的语音命令、以测量车辆中的环境噪声、以确定是否根据车辆的声学环境来调谐来自车辆扬声器的音频,等等。语音处理单元204可以处理语音命令,诸如从传声器202接收的语音命令。在一些实施方案中,车载计算系统109还能够使用包括在车辆的音频系统232中的传声器来接收语音命令并采样周围的车辆噪声。
车载计算系统109的传感器子系统210中可以包括一个或多个附加传感器。例如,传感器子系统210可以包括相机,诸如用于帮助用户停车的后视相机和/或用于识别用户(例如,使用面部识别和/或用户手势)的车厢相机。车载计算系统109的传感器子系统210可以与各种车辆传感器通信并从其接收输入,并且可以进一步接收用户输入。例如,由传感器子系统210接收的输入可以包括变速器挡位位置、变速器离合器位置、油门踏板输入、制动器输入、变速器选择器位置、车速、发动机转速、通过发动机的空气流量、环境温度、进气温度等等,以及来自气候控制系统传感器的输入(诸如传热流体温度、防冻液温度、风扇速度、乘客舱温度、所需的乘客舱温度、环境湿度等)、来自检测由用户发出的语音命令的音频传感器、从车辆的钥匙扣接收命令并可选地跟踪其地理位置/接近度的钥匙扣传感器等的输入。虽然某些车辆系统传感器可以单独与传感器子系统210通信,但其他传感器可以与传感器子系统210和车辆控制系统230两者通信,或者可以经由车辆控制系统230与传感器子系统210间接通信。
车载计算系统109的导航子系统211可以生成和/或接收导航信息,诸如位置信息(例如,经由GPS传感器和/或来自传感器子系统210的其他传感器)、路线引导、交通信息、兴趣点(POI)识别,和/或为驾驶员提供其他导航服务。导航子系统211可以包括输入端/输出端280,其包括模数转换器、数字输入端、数字输出端、网络输出端、射频发射装置等。外部声音的声音处理器113还可以包括中央处理单元281、易失性存储器282和非易失性(例如,非暂时性存储器)283。
车载计算系统109的外部装置接口212可以与位于车辆102外部的一个或多个外部装置150联接和/或通信。尽管外部装置被示为位于车辆102的外部,但是应该理解,它们可以临时地容纳在车辆102中,诸如当用户在操作车辆102的同时操作外部装置时。换句话说,外部装置150不与车辆102成一体。外部装置150可以包括移动装置128(例如,经由蓝牙、NFC、WIFI直连或其他无线连接来连接)或替代的启用蓝牙的装置252。移动装置128可以是移动电话、智能电话、可经由有线和/或无线通信与车载计算系统通信的可穿戴装置/传感器、或其他便携式电子装置。其他外部装置包括外部服务246。例如,外部装置可以包括与车辆分离并且位于车辆外部的车辆外装置。其他外部装置还包括外部存储装置254,诸如固态驱动器、笔式驱动器、USB驱动器等。外部装置150可以无线或经由连接器与车载计算系统109通信,而不脱离本公开的范围。例如,外部装置150可以通过网络260、通用串行总线(USB)连接、直接有线连接、直接无线连接和/或其他通信链路通过外部装置接口212与车载计算系统109进行通信。
外部装置接口212可以提供通信接口,以使车载计算系统能够与和驾驶员的联系人相关联的移动装置进行通信。例如,外部装置接口212可以使得能够建立电话呼叫和/或将文本消息(例如,SMS、MMS等)发送(例如,经由蜂窝通信网络)到与驾驶员的联系人相关联的移动装置。外部装置接口212可以附加地或替代地提供无线通信接口,以使车载计算系统能够经由WIFI直连与车辆中的一个或多个装置(例如,驾驶员的移动装置)同步数据。
一个或多个应用244可以在移动装置128上操作。作为示例,移动装置应用244可以被操作以聚合关于用户与移动装置的交互的用户数据。例如,移动装置应用244可以聚合有关用户在移动装置上收听的音乐播放列表、电话呼叫日志(包括用户接受的电话呼叫的频率和持续时间)、位置信息(包括用户常去的位置和在每个位置处花费的时间量)等的数据。收集的数据可以由应用244通过网络260传输到外部装置接口212。另外,可以在移动装置128处经由外部装置接口212从车载计算系统109接收特定用户数据请求。特定数据请求可以包括用于确定用户的地理位置、用户所在位置的环境噪声水平和/或音乐流派、用户所在位置的环境天气状况(温度、湿度等)等的请求。移动装置应用244可以向移动装置128的部件(例如,传声器、放大器等)或其他应用(例如,导航应用)发送控制指令,以使请求的数据能够在移动装置上收集或能够对部件进行请求的调整。然后,移动装置应用244可以将收集到的信息中继回车载计算系统109。
同样,一个或多个应用248可以在外部服务246上运行。作为示例,外部服务应用248可以被操作为聚合和/或分析来自多个数据源的数据。例如,外部服务应用248可以聚合来自用户的一个或多个社交媒体帐户的数据、来自车载计算系统的数据(例如,传感器数据、日志文件、用户输入等)、来自互联网查询的数据(例如,天气数据、POI数据)等。所收集的数据可以传输到另一个装置和/或由应用进行分析,以确定驾驶员、车辆和环境的背景,并根据该背景执行动作(例如,向其他装置请求/发送数据)。
车辆控制系统230可以包括用于控制涉及不同的车载功能的各种车辆系统231的各方面的控件。这些可以包括例如控制用于向车辆乘员提供音频娱乐的车辆音频系统232的各方面、用于满足车辆乘员的车厢冷却或加热需求的气候控制系统234的各方面以及用于使车辆乘员能够与他人建立电信联系的电信系统236的各方面。
音频系统232可以包括一个或多个声学再现装置,包括电磁换能器诸如扬声器235。车辆音频系统232可以是无源的或有源的,诸如通过包括功率放大器。在一些示例中,车载计算系统109可以是声学再现装置的唯一音频源,或者可以存在连接到音频再现系统的其他音频源(例如,诸如移动电话之类的外部装置)。任何此类外部装置到音频再现装置的连接可以是模拟的、数字的或模拟和数字技术的任意组合。
气候控制系统234可被配置为在车辆102的车厢或乘客舱内提供舒适的环境。气候控制系统234包括能够控制通风的部件,诸如通风口、加热器、空调、集成的加热器和空调系统等。与加热和空调设置关联的其他部件可包括能够清理挡风玻璃的挡风玻璃除霜和除雾系统和用于清洁通过新鲜空气入口进入乘客舱的外部空气的通风空气过滤器。
车辆控制系统230还可包括用于调节与车辆的车厢内的发动机和/或辅助元件有关的各种车辆控件261(或车辆系统控制元件)的设置的控件,诸如方向盘控件262(例如,方向盘安装的音频系统控件、巡航控件、挡风玻璃雨刷器控件、前大灯控件、转向灯控件等)、仪表板控件、传声器、加速器/制动器/离合器踏板、变速杆、在驾驶员或乘客门中的门/窗控件、座椅控件、车厢照明控件、音频系统控件、车厢温度控件等。车辆控件261还可以包括内部发动机和车辆操作控件(例如,发动机控制器模块、致动器、阀门等),它们被配置为通过车辆的CAN总线接收指令,以改变发动机、排气系统、变速器和/或其他车辆系统中的一者或多者的运行。控制信号还可以控制在车辆音频系统232的一个或多个扬声器235处的音频输出。例如,控制信号可以调整音频输出特性,诸如音量、均衡、音频图像(例如,音频信号的配置以产生对于用户来说看起来源自一个或多个定义位置的音频输出)、多个扬声器中的音频布置等。类似地,控制信号可以控制气候控制系统234的通风口、空调和/或加热器。例如,控制信号可以增加向车厢的特定部分的冷却空气的输送。
定位在车辆外部的控制元件(例如,用于安全系统的控件)也可以诸如经由通信模块222连接至计算系统109。车辆控制系统的控制元件可以物理地和永久地定位在车辆上和/或车辆中,以接收用户输入。除了从车载计算系统109接收控制指令之外,车辆控制系统230还可以从用户操作的一个或多个外部装置150(诸如从移动装置128)接收输入。这允许基于从外部装置150接收的用户输入来控制车辆系统231和车辆控件261的各方面。
车载计算系统109还可以包括天线206。天线206被示出为单个天线,但是在一些实施方案中可以包括一个或多个天线。车载计算系统可以经由天线206获得宽带无线互联网访问,并且可以进一步接收诸如无线电、电视、天气、交通等的广播信号。车载计算系统可以经由一个或多个天线206接收诸如GPS信号的定位信号。车载计算系统还可以经由FR,诸如经由天线206或经由红外或通过适当的接收装置的其他手段,来接收无线命令。在一些实施方案中,天线206可以被包括为音频系统232或电信系统236的一部分。另外,天线206可以经由外部装置接口212向外部装置150(诸如向移动装置128)提供AM/FM无线电信号。
可由用户经由用户界面218控制车载计算系统109的一个或多个元件。用户界面218可以包括呈现在诸如图1的触摸屏108的触摸屏上的图形用户界面,和/或用户致动的按钮、开关、旋钮、转盘、滑块等。例如,用户致动的元件可包括方向盘控件、门和/或窗控件、仪表板控件、音频系统设置、气候控制系统设置等。用户还可以通过用户界面218与车载计算系统109和移动装置128的一个或多个应用进行交互。除了在用户界面218上接收用户的车辆设置偏好之外,还可以在用户界面218上向用户显示由车载控制系统选择的车辆设置。通知和其他消息(例如,接收到的消息)以及导航辅助可以在用户界面的显示器上显示给用户。可以经由对用户界面的用户输入来执行用户偏好/信息和/或对所呈现的消息的响应。
外部声音的声音处理器113可以电联接到车辆102外部的多个传声器288(例如,外部传声器)。外部声音的声音处理器113可以接收从每个外部传声器288输出的信号,并将该信号转换为车辆102外部的声源的角度值、距离值和类型标识符。外部声音的声音处理器113可以经由通信链路138将角度数据、距离数据和声源类型数据输出到车载计算系统109。但是,在其他示例中,可以将可由外部声音的声音处理器113执行的任务和功能集成到车载计算系统109中。另外,在此类示例中,外部传声器288可以与车载计算系统109直接电通信。图6的方法的描述提供了关于可以经由外部声音的声音处理器113执行的任务和功能的附加细节。
外部声音的声音处理器113可以包括输入端/输出端290,其包括模数转换器、数字输入端、数字输出端、网络输出端、射频发射装置等。外部声音的声音处理器113还可以包括中央处理单元291、易失性存储器292和非易失性(例如,非暂时性存储器)293。
图3是车辆102的框图,车辆102可以包括车载计算系统109、音频或声音处理系统232以及外部声音的声音处理器113。车辆102具有前侧340、后侧342、左侧343和右侧344。车辆102还包括门304、驾驶员座椅309、乘客座椅310和后座312。虽然示出了包括门304-1、304-2、304-3和304-4的四门车辆,但是处理器和系统109、232和113可以用于具有更多或更少门的车辆中。车辆102可以是汽车、卡车、船等。尽管仅示出了一个后座,但是较大的车辆可具有多排后座。较小的车辆可只有一个或多个座椅。虽然示出了特定的示例配置,但是可以使用其他配置,包括具有更少或更多部件的那些配置。
音频系统232(其可以包括用于接收、处理和/或向车辆的一个或多个扬声器输出音频的放大器和/或其他音频处理装置)可以改善环绕声系统的空间特性。音频系统232支持使用各种音频部件,诸如无线电、CO、DVD、它们的衍生物等。音频系统232可以使用2声道源材料,诸如直接左和右、5.1声道、6.2声道、7声道、12声道,和/或来自矩阵解码器的数字编码/解码离散源材料的任何其他源材料,等等。音频系统232利用仅用于TI/HWL声音并且与用于剩余声音的声道分开的声道,该剩余声音包括剩余警告、媒体、导航和电话/远程信息处理声音中的一者或多者。
源材料的振幅和相位特性以及聆听环境中特定声场特性的再现在成功再现环绕声场中都起着关键作用。例如,声音可以在空间上映射到音频系统232,使得声音被感知为源自与声音的检测到的真实源位置有关但有所修改的不同空间位置。
在至少一个示例中,音频系统232可以通过控制声音延迟时间、环绕上混器参数(例如,环绕声、混响空间广度、混响时间、混响增益等)、振幅、相位以及离散和无源解码器环绕信号和/或直接双通道输出信号之间的混合比来改善环绕声场的再现。可以在离散和无源解码器输出信号之间控制振幅、相位和混合比。通过重新定向直接、无源和有源混合和转向参数,可以改善所有座椅位置的空间声场再现,尤其是在车辆环境中。
可以根据噪声和其他环境因素来自适应地修改混合和转向比以及频谱特性。在车辆中,来自数据总线、传声器和其他换能装置的信息可用于控制混合和转向参数。
车辆102具有前中置扬声器(CTR扬声器)324、左前扬声器(FL扬声器)313、右前扬声器(FR扬声器)315以及至少一对环绕扬声器。
环绕扬声器可以是左侧扬声器(LS扬声器)317和右侧扬声器(RS扬声器)319、左后扬声器(LR扬声器)329和右后扬声器(RR扬声器)330,或扬声器组的组合。可以使用其他扬声器。尽管未示出,但可能会出现一个或多个专用低音炮或其他驱动器。可能的低音炮安装位置包括行李厢305、座椅下方或后窗台板308。车辆102还可以具有安装在内部中的一个或多个传声器350。
每个CTR扬声器、FL扬声器、FR扬声器、LS扬声器、RS扬声器、LR扬声器和RR扬声器可包括具有预定频率响应范围的一个或多个换能器,诸如高音扬声器、中音扬声器或低音扬声器。高音扬声器、中音扬声器或低音扬声器可以在基本上相同的位置或不同的位置彼此相邻安装。例如,FL扬声器313可以是位于门304-1中或其他地方的高音扬声器,其高度大致等于侧视镜或更高。FR扬声器315可具有与车辆右侧(例如,在门304-2中)的FL扬声器313类似的布置。
LR扬声器329和RR扬声器330可各自为安装在后窗台板308中的低音扬声器。CTR扬声器324可以安装在前仪表盘307中、车顶中、后视镜上方或附近,或车辆102中的其他位置。在其他示例中,具有其他频率响应范围的扩音器的其他配置是可能的。在一些实施方案中,可以将附加扬声器添加到车辆的上柱,以增强声像的高度。例如,上柱可以包括汽车窗户区域的竖直或接近竖直的支撑。在一些示例中,可以将附加扬声器添加到“A”柱的朝向车辆前方的上部区域。
车辆102包括纵向轴线345和横向轴线346。声源(例如,警报器、发动机、报警器等)的位置可以参考纵向轴线345、横向轴线346或车辆102的其他位置。在该示例中,经由矢量350示出了到外部噪声源399(例如,车辆、发动机、警报器、报警器、喇叭等)的距离。纵向轴线(例如,车辆的位置)与外部噪声源399之间的角度θ通过角度θ示出,并且如由引导段347指示。可以经由外部声音处理器113来确定角度θ和从车辆102到外部噪声源399的距离,该外部声音处理器处理表示经由定位于车辆102的前侧340和后侧342附近的外部传声器288接收的声音的信号355。例如,基于经由外部声音处理器113确定的角度θ和从车辆102到外部噪声源399的距离,可以将外部声音399映射到虚拟空间中与确定的实际角度和距离(例如,的特定比例)直接相关的不同位置。作为示例,控制器可以将外部声音399映射到描述车辆周围空间的虚拟空间地图,诸如虚拟声源区域360。
外部声源399可以在虚拟声源区域360内,并且外部声源399在虚拟声源区域360内的位置可被确定或基于其相对于车辆102的角度θ和距离350。在该示例中,虚拟声源区域360围绕车辆102,但是在其他示例中,虚拟声源区域可以仅在车辆102的前方延伸。车载计算系统109可根据外部声源399在虚拟声源区域360内的位置,命令音频系统232通过位于虚拟扬声器区域362内的一个或多个扬声器播放声音。在一个示例中,虚拟声源区域360内的各个外部声源位置可以被映射到虚拟扬声器区域362中的扬声器的各个位置。虚拟扬声器区域362包括扬声器329、330、317、319、313、324和315。因此,外部声源399的位置可以被实时地连续跟踪,并且外部声源399的位置可以被应用以经由映射到外部声源399的位置的一个或多个扬声器产生与外部声源399的类型相关联的声音。例如,当外部声源位于车辆102的侧面的右后方时,扬声器329可以产生与外部声源399的类型相关联的声音。同样地,当外部声源位于车辆102的侧面的左后方时,扬声器330可以产生与外部声源399的类型相关联的声音。
在另一个示例中,不是将空间位置映射到离散的扬声器,而是可以将外部声源399连续地映射到虚拟扬声器区域362,并且可以调整每个扬声器以便再现声音的感知空间位置。具体地,在虚拟声源区域360和虚拟扬声器区域362之间可以存在1:1的映射,使得可以由音频系统232来再现外部声源399的位置。作为示例,车载计算系统109可以确定外部声源399在虚拟声源区域360中的位置。此外,车载计算系统109可以确定虚拟扬声器区域362中的对应位置,使得可以在虚拟扬声器区域362中再现外部声源399的空间位置。例如,车载计算系统可以基于外部声源399的空间位置来调整虚拟扬声器区域362的每个扬声器的音频增益、平移设置和其他音频设置。作为一个示例,为了映射外部声源399的空间位置,基于与车辆102的角度θ和距离350,多个扬声器可以产生与外部声源399的类型相关联的声音。
在一个示例中,车辆导航系统可以包括位于车辆102前方的两个虚拟方向区域361A和361B。车辆导航系统可以请求驾驶员驾驶到两个虚拟方向区域361A(例如,右转)和361B(例如,左转)中的一者,使得车辆可以到达预期目的地。因此,车辆导航系统可以请求车辆驾驶员向右转(例如,向361A)或向左转(例如,向361B)。导航系统211可以命令音频系统232根据所请求的虚拟方向区域361A和361B通过虚拟扬声器区域363A和363B内的左前扬声器313或右前扬声器315播放声音。右虚拟方向区域361A可以经由虚拟扬声器区域363B映射到右前扬声器315,使得当导航系统请求车辆驾驶员向右转时,可以通过右前扬声器315播放口头驾驶指令。类似地,左虚拟方向区域361B可以经由虚拟扬声器区域363A映射到左前扬声器313,使得当导航系统请求车辆驾驶员向左转时,可以通过左前扬声器313播放口头驾驶指令。
因此,图1至图3的系统提供了一种车辆的声音系统,其包括:一个或多个扬声器;车辆外部的一个或多个传声器;和电联接到一个或多个扬声器的控制器,该一个或多个扬声器包括存储在非暂时性存储器中的可执行指令,该指令使控制器响应于经由一个或多个传声器的输出产生的距离和角度在车辆内部产生声音。该系统还包括声音处理器,该声音处理器电联接到一个或多个传声器,该声音处理器将距离和角度输出到控制器。该系统包括:其中该距离是从车辆到车辆外部的声源的距离,并且其中该角度是从车辆的位置到车辆外部的声源的角度。该系统还包括导航系统,该导航系统被配置为显示车辆的行驶路线并响应于角度和距离中的至少一者来调整车辆的行驶路线。该系统还包括附加的可执行指令,以响应于分配给在车辆外部产生的声音的类型而在车辆内部产生声音。例如,该系统可以确定外部声源区域与虚拟扬声器区域之间的1:1映射,并基于该映射在车辆内部产生声音。该系统包括其中分配给在车辆外部产生的声音的类型至少包括紧急车辆声音。
现在转到图4A,示出了示出图5至图7的方法的一部分的示意性示例。在该示例中,外部噪声源399是位于车辆102的前方和左侧的卡车。卡车399可以发出发动机噪声和轮胎噪声,这些噪声可以经由位于车辆102前侧340的传声器288检测到。
在该示例中,由于噪声源399是从车辆102的左前侧接近的车辆102,所以命令音频系统232输出映射到虚拟扬声器区域362的左前侧的声音或口头提示。具体地,可以平移与卡车相关联的声音或口头提示,使得它们被感知为源自车辆的左前侧。作为示例,可以基于音频平移与感知的空间位置之间的已知关系,诸如本领域中已知的环绕声技术(例如,诸如5.1环绕声、7.1环绕声、ambisonic环绕声等),在车辆中的多个扬声器之间平移声音或口头提示。作为一个非限制性示例,左前扬声器313(阴影所示)可以具有车辆中多个扬声器的最高音频增益(例如,声音或口头提示可以向左前平移),而前中置扬声器324和右前扬声器315中的声音或口头提示可能会更安静。在一些示例中,音频系统232的附加扬声器也可以用于输出声音或口头提示。
另外,可以命令音频系统232减小其正在播放的与接近车辆102的噪声源399不相关的任何声音的音量。此外,可以命令音频系统232调整正在播放的与正在接近的噪声源399相关联或基于其的声音的音量。例如,随着噪声源399越来越靠近车辆102,可以提高音频系统232正在播放的与正在接近的噪声源399相关联或基于其的声音的音量。在一些示例中,噪声源399的距离与由音频系统232正在播放的声音的音量之间的关系可以是线性关系,而在其他示例中,该关系可以是非线性关系。而且,可以响应于经由内部传声器350在乘客舱内检测到的来自噪声源399的噪声量来调整由音频系统232正在播放的与正在接近的噪声源399相关联或基于其的声音的音量。例如,如果来自噪声源399的噪声随着噪声源399越来越靠近车辆102而相对大声,则可以降低音频系统232正在播放的与正在接近的噪声源399相关联或基于其的声音的音量。例如,如果来自噪声源399的噪声随着噪声源399越来越靠近车辆102而相对安静,则可以提高音频系统232正在播放的与正在接近的噪声源399相关联或基于其的声音的音量。
扬声器(例如,诸如313、324和315)和音频系统232的控制可以经由外部声音的声音处理器113来控制,该外部声音的声音处理器113处理经由传声器288生成的信号以确定相对于车辆纵向轴线345的角度θ、如矢量410所示的从车辆102到噪声源399的距离,以及噪声源的类型。角度θ、距离和噪声源的类型可以从外部声音的声音处理器113提供给车载计算系统109。车载计算系统109可以命令音频系统232根据角度θ、距离和噪声源的类型来经由特定的扬声器或一组扬声器播放预定的声音。
以此方式,在车辆中播放的声音可以将人类驾驶员的注意力引向车辆外部的噪声源,使得可以改善人类驾驶员的态势感知。另外,可以调整从车辆的内部扬声器输出的声音,以补偿噪声源与车辆之间的距离,使得乘客厢中的声音可不会变得令人讨厌。
现在参考图4B,示出了示出图5至图7的方法的一部分的第二示意性示例。在该示例中,外部噪声源399是位于车辆102的正前方的卡车。卡车399可以发出发动机噪声和轮胎噪声,这些噪声可以经由位于车辆102前侧340的传声器288检测到。
在该示例中,再次命令音频系统向最靠近噪声源399的扬声器输出声音或口头提示。由于噪声源399位于车辆102的正前方,因此命令音频系统232播放映射到虚拟扬声器区域362的前方中心的声音或口头提示。具体地,可以平移与卡车相关联的声音或口头提示,使得它们被感知为源自车辆的前方中心。例如,可以基于音频平移与感知的空间位置之间的已知关系,在车辆中的多个扬声器之间平移声音或口头提示。作为一个非限制性示例,前中置扬声器324(阴影所示)可以具有车辆中多个扬声器的最高音频增益(例如,声音或口头提示可以向前方中心平移),而左前扬声器313和右前扬声器315中的声音或口头提示可能会更安静。如关于图4A所讨论的,音频系统还可以响应噪声源399的角度和距离。
现在参考图4C,示出了示出图5至图7的方法的一部分的第三示意性示例。在该示例中,外部噪声源399是位于车辆102的右前方的卡车。卡车399可以发出发动机噪声和轮胎噪声,这些噪声可以经由位于车辆102前侧340的传声器288检测到。
在该示例中,命令音频系统输出映射到虚拟扬声器区域362的右前方的声音或口头提示。具体地,可以平移与卡车相关联的声音或口头提示,使得它们被感知为源自车辆的前方中心。例如,可以基于音频平移与感知的空间位置之间的已知关系,在车辆中的多个扬声器之间平移声音或口头提示。作为一个非限制性示例,右前扬声器315(阴影所示)可以具有车辆中多个扬声器的最高音频增益(例如,声音或口头提示可以向右前平移),而左前扬声器313和前中置扬声器324中的声音或口头提示可能会更安静。如关于图4A所讨论的,音频系统还可以响应噪声源399的角度和距离。
因此,从图4A至图4C可以观察到,随着外部噪声源的位置相对于车辆102改变,可以调整播放与噪声源399有关的声音或口头提示的扬声器,以逐渐指示噪声源399的位置。此外,可以响应于噪声源的类型和到噪声源399的距离来调节从车辆扬声器输出的音量。
图5-7示出了用于调节音频输出(例如,在车辆中)的示例方法500-700的流程图。方法500-700可以由计算系统109和/或计算系统和音频系统的组合(其可以包括集成在车辆中的一个或多个计算系统)来执行。外部声音的声音处理器113也可以被包括在执行图5至图7的方法的系统中。例如,方法500-700可以通过执行车载计算系统109的非暂时性存储器中存储的指令来进行,单独地或与包括存储在非暂时性存储器中的可执行指令的一个或多个其他车辆系统(例如,音频控制器、外部声音的声音处理器、CAN总线、发动机控制器等)组合地。结合本文描述的其他系统的计算系统109可以执行方法500-700,该方法500-700包括在现实世界中调整致动器(例如,扬声器),并且在内部执行最终作为调整现实世界中的致动器的基础的操作。可以可选地执行方法500-700中包括的一个或多个步骤。
在502处,方法500基于在车辆外部检测到的声音来判断车辆系统是否要在车辆内部产生声音。方法500可以从人机界面(例如,触摸屏108)接收指示车辆乘员是否希望被通知车辆外部声音的输入。在其他示例中,方法500可以判断车辆工况是否指示将车辆外部的声音通知给车辆乘员的愿望或有用性。例如,如果车辆在市区行驶,答案可能为是。但是,如果车辆不在道路上行驶,答案可能为否。如果方法500判断答案为是,则方法500前进到504。否则,答案为否,并且方法500前进到520。
在520处,方法500不监测外部车辆声音,并且可以关闭外部声音的声音处理器或将其设置为低功耗状态。方法500前进到522。
在522处,方法500基于由车辆乘员提供的选择或自动选择,经由扬声器在乘客厢内产生音频输出。例如,如果车辆乘客选择特定的音乐流派或艺术家,则音频系统以车辆乘员或自动控件选择的音量水平播放来自该流派或艺术家的选择。此外,被激活并输出声音的扬声器和未输出声音的扬声器可以基于用户选择的声场和模式(例如,体育场、环绕声、立体声、单声道等)。方法500还可根据车辆乘员提供的选择或自动选择来提供视觉输出。例如,方法500可以根据所选择的艺术家或音乐流派经由触摸屏显示音乐视频。方法500前进到退出。
在504处,方法500监测和采样车辆外部的声音,如在图6的描述中进一步详细描述的。方法500前进到506。
在506处,方法500判断外部声音是否与向车辆导航子系统报告有关。如果车辆导航子系统被激活并且显示车辆的请求的行驶路线,则方法500可以判断外部声音与向车辆导航子系统报告有关。另外,方法500还可考虑其他因素和车辆工况以确定外部声音是否与向车辆导航子系统报告有关。例如,如果车辆在车辆可能容易改变方向的城市街道上行驶,则方法500可以判断外部声音与向导航子系统报告有关。然而,如果车辆在具有限制出口的道路(例如,高速公路)上行驶,则方法500可能不判断外部声音与向导航子系统报告有关。在其他示例中,方法500可以基于外部声音的类型判断外部声音是否与向车辆导航子系统报告有关。例如,方法500可以认为来自紧急车辆的声音与通知车辆导航子系统有关,而来自牵引拖车的声音与通知车辆导航子系统无关。在一些示例中,可以向车辆导航子系统通知被确定为在车辆的预定距离内的噪声源。如果方法500判断车辆外部的噪声或声音被判断为与向导航子系统报告有关,则答案为是,并且方法500前进到530。否则,答案为否,并且方法500前进到508。
在530处,方法500响应于所监测的外部声音来调整导航子系统的输出,如在图7的描述中所讨论的。方法500前进到508。
在508处,方法500判断外部声音是否与调整车辆音频系统的输出有关。如果外部声音在预定频率范围和功率水平内,则方法500可以判断外部声音与调整音频系统有关。另外,方法500可以基于针对外部声音通知的用户选择判断被确定为源自紧急车辆的外部声音与调整车辆的音频系统有关,但是牵引拖车的声音与调整车辆的音频系统无关。在其他示例中,方法500可以判断被确定为源自紧急车辆的声音和牵引拖车的声音与调整车辆的音频系统有关。如果方法500判断车辆外部的噪声或声音被判断为与向车辆的音频系统报告有关,则答案为是,并且方法500前进到510。否则,答案为否,并且方法500前进到540。
在540处,方法500继续根据选择的偏好和声音水平经由扬声器产生音频系统输出。特别地,方法500基于车辆乘员提供的对音频系统或车载计算系统的选择或对音频系统或车载计算系统的自动选择来在乘客厢内产生音频输出。方法500前进到退出。
在512处,方法500响应于车辆的位置与声源的位置之间的角度(例如,图4A中的θ)、从车辆到外部噪声源的距离(例如,图4A中的矢量410)和在504处确定的指示的外部声音的类型而经由扬声器在乘客舱内产生相关的声音和/或可听见的口头提示。例如,方法500可以产生相关的声音和/或可听见的口头提示,并且可以基于外部声音到车辆音频系统的1:1虚拟映射经由车辆音频系统来再现它们。作为示例,基于声源的位置以及从车辆到外部声源的距离,方法500可以将外部声源映射到虚拟声空间中的点。
在一个示例中,当在车辆外部检测到警笛声时,方法500可以根据预先录制的警笛声在乘客厢内产生警笛声。在车辆外部检测到卡车声音时,方法500也可以根据预先录制的卡车声音在乘客厢内产生卡车声音。同样,在车辆外部检测到的其他声音可为在乘客厢中产生类似声音的基础。方法500可以根据当前车辆与外部声音的来源之间的距离来调整在乘客厢内产生的声音的混响,使得车辆乘员可以感知到外部声音的来源正在接近当前车辆或正在驶离当前车辆。方法500可以根据当前车辆与外部声音的来源之间的距离来调整混响增益和时间。另外,在一些示例中,方法500可以响应于确定的声音类型而输出预定的口头提示。例如,方法500可以使音频系统生成口头警告,诸如“注意紧急车辆正在接近”或“注意牵引拖车正在接近”。方法500还可以指示距离和外部噪声的来源正从哪个方向接近。例如,方法500可以生成口头警告,诸如“注意紧急车辆正从左方50米处接近”或“注意紧急车辆正从后方100米处接近”。
方法500还可以基于检测到的外部声音来调整和控制哪个扬声器输出声音。特别地,方法500可以调整和控制哪个扬声器输出声音,以便模拟外部声音的空间位置。例如,如上所述,方法500可以将外部声源映射到车辆的虚拟声空间中的点,并且可以调整和控制每个扬声器,使得相关的声音和/或可听见的口头提示从车辆的虚拟声空间中的同一点发出。例如,如图4A至图4C所示并且如在其随附描述中所描述的,方法500可以经由最靠近外部声音的起源或来源的扬声器在乘客厢中产生声音。具体地,方法500可以将相关的声音和/或口头音频提示平移到车辆的虚拟声空间中的正确点。另外,方法500可以根据车辆与外部声音的起源或来源之间的距离来调节从扬声器输出的声音的音量。例如,如果外部声音的来源正在接近车辆,则基于外部声音在车辆中产生的声音的音量可增大。如果外部声音的来源正远离车辆移动,则基于外部声音在车辆中产生的声音的音量可降低。此外,可以响应于车辆与外部声源之间的角度以及车辆与外部声源之间的距离来调整输出基于外部声音在车辆中产生的声音的扬声器的实际总数。例如,如果产生噪声的车辆距当前车辆相对较长的距离,则单个扬声器可以基于产生噪声的车辆噪声输出来输出噪声。然而,如果产生噪声的车辆相对靠近本车辆,则两个或更多个扬声器可以基于产生噪声的车辆噪声输出来输出声音。此外,如果产生噪声的车辆正以第一角度从左侧接近本车辆,则一个扬声器可以基于第一角度输出声音。然而,如果产生噪声的车辆正以第二角度从左侧接近本车辆,则两个扬声器可以基于第二角度输出声音。
方法500还可以根据经由传声器在乘客厢内检测到的外部声音的声功率水平来调节基于外部声音在车厢中输出声音的扬声器的音量。例如,如果外部声源正在接近本车辆并且车辆中的传声器检测到来自外部声源的高功率水平或声音水平的声音,则方法500可以在乘客厢中产生与处于较低音量或功率水平的外部声音相关或基于其的声音。然而,如果外部声源正在接近本车辆并且车辆中的传声器检测到来自外部声源的较低功率水平或声音水平的声音,则方法500可以在乘客厢中产生与处于较高音量或功率水平的外部声音相关或基于其的声音。
方法500还可将不同水平的优先级分配给如在504处确定的不同的声音类型。例如,与牵引拖车声音类型相比,可以为紧急声音类型分配较高优先级。方法500可以产生可能与较高优先级声音类型相关的声音,而不产生可能与较低优先级声音类型相关的声音,使得可以避免驾驶员混乱。
方法500可以产生与检测到的外部声音相关或与之相关联的声音,直到车辆乘员确认已经接收到对外部声源的通知为止。此外,方法500可以重复地产生声音,直到车辆乘员确认已经接收到对外部声源的通知为止。在乘客厢中产生与外部声音相关的声音之后,方法500前进到退出。
现在参考图6,示出了一种用于监测车辆外部的声音的方法。方法600可以被包括为图5的方法的一部分。进一步地,图6的方法可以作为存储在非暂时性存储器中的可执行指令被包括在本文描述的一个或多个系统(例如,外部声音的声音处理器)中。
在602处,方法600监测安装到车辆的外部传声器(例如,图2的288)的输出。在一个示例中,传声器输出模拟信号,该模拟信号经由外部声音的声音处理器的模数转换器被采样。采样的信号数据可以被存储到控制器易失性存储器。在其他示例中,传声器可以输出输入到外部信号的声音处理器或车载计算系统的数字数据。方法600前进到604。
在604处,方法600可以将时域中的来自传声器的数据转换为频域。例如,方法600可以应用傅立叶变换来确定不同频率下的信号的频率和大小或功率水平。频率和功率水平可以存储到控制器易失性存储器以进行进一步处理。方法600前进到606。
在606处,方法从采样的传声器数据中按类型选择和分类各个声音。由于不同的声音可能以不同的频率出现,因此传声器数据中的频率可能是指示性的,也可能是产生由外部传声器拾取的声音的一种类型的声源。例如,紧急警笛声可以较高的频率发生,而柴油发动机的声音可以较低的频率发生。方法600可以将从传声器数据中检测到的频率与存储在控制器存储器中并与特定声源相关联的预定频率进行比较。如果从传声器数据确定的频率或频率范围与存储在控制器存储器中的频率或频率范围类型匹配,则可以确定正在经由已知的或预定的声音产生源产生外部声音。例如,如果利用预定量的时间采样数据(例如,超过4秒)检测到500至1500Hz之间的频率,则该频率可以指示扫频警报器。相反,来自柴油发动机的声音的频率可以在预定时间内相对恒定,因此可以以这种方式对柴油发动机的声音进行分类。这样,可以为特定的声音分配类型(例如,紧急情况、牵引拖车、儿童、倒车车辆等)。方法600可以以此方式一次存储和识别多于一个的声源。方法600前进到608。
在608处,方法600确定当前车辆与外部声音的来源之间的角度。在一个示例中,方法600确定两个或更多个传声器之间的声音频率的相位变化,以确定当前车辆与外部声音的来源之间的角度。此外,方法600可以基于经由一个或多个外部传声器捕获的声音之间的相位差来确定当前车辆与外部声音的来源之间的距离。方法600前进到610。
在610处,方法600输出当前车辆与外部声音的来源之间的角度和距离。方法600还可以指示声源的类型(例如,紧急车辆、警报器、喇叭、牵引拖车等)或与外部声音的来源相关联的声源类型。在一些情况下,方法600可以将如根据外部传声器数据确定的多个声音的角度、距离和声源类型数据输出到其他系统和处理器。方法600前进到退出。
现在参考图7,示出了用于根据外部声音调整导航系统输出的方法。方法700可以被包括为图5的方法的一部分。进一步地,图7的方法可以作为存储在非暂时性存储器中的可执行指令被包括在本文描述的一个或多个系统(例如,导航子系统)中。
在702处,方法700可以经由全球定位系统和/或存储在控制器存储器中的地理地图来确定当前车辆的当前地理位置。另外,方法700基于经由车辆乘员或自主驾驶员输入的所请求的目的地来确定当前的行驶路线。当前行驶路线可以基于最短距离、最短行驶时间或其他要求。当前行驶路线可以是不基于当前车辆外部的声音的行驶路线。
当行驶路线包括即将到来的右转弯时,方法700还可以通过经由右前扬声器315输出的口头可听见的命令来请求车辆的人类驾驶员向右转弯。类似地,当行驶路线包括即将到来的左转弯时,方法700还可以通过经由左前扬声器313输出的口头可听见的命令来请求车辆的人类驾驶员向左转弯。因此,方法700将对即将到来的右转弯的请求映射到右前扬声器315。方法700将对即将到来的左转弯的请求映射到左前扬声器313。方法700前进到704。
在704处,方法700判断当前行驶路线上是否存在在车辆的预定距离内(例如,在车辆与外部声音的来源之间)的出口。如果存在,则答案为是,并且方法700前进到706。否则,答案为否,并且方法700前进到720。
在720处,方法700将当前行驶路线的显示维持在车辆中的显示器上。方法700前进到退出。
在706处,方法700基于与外部检测到的声源和所请求的目的地的角度来确定替代行驶路线。例如,如果当前行驶路线在车辆的正前方,但外部声音被确定为在车辆的正前方,则替代行驶路线可指示车辆驾驶员向右转,然后向左转,然后向左转,然后再次右转,以指引驾驶员绕开声源。方法700前进到708。
在708处,方法700判断驾驶员或车辆乘员是否接受替代行驶路线。如果存在,则答案为是,并且方法700前进到710。否则,答案为否,并且方法700前进到720。
在710处,方法700经由车载显示器显示替代行驶路线。方法700前进到退出。
因此,图5至图7的方法提供了一种用于在车辆中产生声音的方法,该方法包括:根据车辆的位置与车辆外部的声音的来源之间的角度,经由一个或多个扬声器以在车辆内部产生声音。该方法包括其中产生的声音包括产生指示车辆外部的声音的来源的声音。该方法包括其中产生声音包括产生指示声音的方向和与车辆外部的声音的来源相关联的声音类型的口头声音。该方法还包括将角度从声音处理器接收到车载计算系统,并经由该车载计算系统产生声音。该方法还包括随着车辆与车辆外部的声音的来源之间的角度改变,调整由一个或多个扬声器中的哪个扬声器输出所产生的声音。该方法包括其中产生声音包括根据车辆与车辆外部的声音的来源之间的距离将混响应用于信号。该方法还包括响应于经由车辆外部的声音的来源产生的声音的一个或多个属性来产生声音。该方法还包括调整经由一个或多个扬声器产生的其他声音的一个或多个属性。该方法包括其中经由一个或多个扬声器产生的其他声音的一个或多个属性包括经由一个或多个扬声器产生的其他声音的音量。
图5至图7的方法还提供了一种用于在车辆中产生声音的方法,该方法包括:根据车辆的位置与车辆外部的声音的来源之间的角度,调整多个扬声器以在车辆内部产生声音。该方法还包括响应于在车辆内感测到的车辆外部的声音的属性来调整所产生的声音的属性。该方法包括其中所产生的声音的属性是第一音量或声音功率水平,并且其中车辆外部的声音的属性是第二音量或功率水平。该方法包括其中调整由多个扬声器中的哪一个在车辆内部产生声音包括增加包括在产生声音的多个扬声器中的扬声器的实际总数。该方法还包括响应于在车辆外部产生声音的来源的类型来调节车辆内产生的声音。该方法还包括:将经由导航系统生成的第一请求转向方向映射到第一扬声器,将经由导航系统生成的第二请求转向方向映射到第二扬声器,以及将外部声音的通知映射到包括第一扬声器、第二扬声器和多个附加扬声器的映射。
已经呈现了对实施方案的描述以用于说明和描述目的。对实施方案的适当的修改和变化可以根据以上描述来进行,或者可以从实践所述方法中获得。可以通过利用一个或多个逻辑装置(例如,处理器)结合一个或多个附加硬件元件(诸如存储装置、存储器、图像传感器/镜头系统、光传感器、硬件网络接口/天线、开关、致动器、时钟电路等)执行存储的指令来执行该方法。除了在本申请中描述的顺序、并行和/或同时地之外,还可以以各种顺序执行所描述的方法和相关联的动作。此外,可以重复地执行所描述的方法。所描述的系统本质上是示例性的,并且可以包括附加元件和/或省略元件。本公开的主题包括各种系统和配置以及所公开的其他特征、功能和/或特性的所有新颖的和非显而易见的组合和子组合。
如在本申请中使用的,以单数形式叙述并且以单词“一个”或“一种”开始的元件或步骤应被理解为不排除多个所述元件或步骤,除非陈述了这种排除。此外,对本公开的“一个实施方案”或“一个示例”的引用无意被解释为排除也包含所述特征的另外的实施方案的存在。术语“第一”、“第二”和“第三”等仅用作标签,并不旨在对其对象施加数字要求或特定的位置顺序。所附权利要求特别指出了来自以上公开的主题,该主题被认为是新颖且非显而易见的。

Claims (15)

1.一种用于在车辆中产生声音的方法,其包括:
根据所述车辆的位置与车辆外部的声音的来源之间的角度,经由一个或多个扬声器在所述车辆的内部产生声音。
2.根据权利要求1所述的方法,其中产生声音包括产生指示所述车辆外部的所述声音的所述来源的声音。
3.根据上述权利要求中任一项所述的方法,其中产生声音包括产生口头声音,该口头声音指示所述声音的方向和与所述车辆外部的所述声音的所述来源相关联的声音类型。
4.根据上述权利要求中任一项所述的方法,其还包括将所述角度从声音处理器接收到车载计算系统,并经由所述车载计算系统产生所述声音。
5.根据上述权利要求中任一项所述的方法,其还包括随着所述车辆与所述车辆外部的所述声音的所述来源之间的角度改变,调整由所述一个或多个扬声器中的哪个扬声器输出所产生的声音。
6.根据上述权利要求中任一项所述的方法,其中产生声音包括根据所述车辆与所述车辆外部的所述声音的所述来源之间的距离将混响应用于信号。
7.根据上述权利要求中任一项所述的方法,其还包括响应于经由所述车辆外部的所述声音的所述来源产生的声音的一个或多个属性来产生所述声音。
8.根据上述权利要求中任一项所述的方法,其还包括调整经由所述一个或多个扬声器产生的其他声音的一个或多个属性。
9.根据权利要求8或上述权利要求中任一项所述的方法,其中经由所述一个或多个扬声器产生的所述其他声音的所述一个或多个属性包括经由所述一个或多个扬声器产生的所述其他声音的音量。
10.一种车辆的声音系统,其包括:
一个或多个扬声器;
所述车辆的外部的一个或多个传声器;和
电耦接到所述一个或多个扬声器的控制器,所述一个或多个扬声器包括存储在非暂时性存储器中的可执行指令,所述可执行指令使所述控制器响应于经由所述一个或多个传声器的输出产生的距离和角度在所述车辆的内部产生声音。
11.根据权利要求10所述的声音系统,其还包括声音处理器,所述声音处理器电耦接到所述一个或多个传声器,所述声音处理器将所述距离和所述角度输出到所述控制器。
12.根据权利要求10-11中任一项所述的声音系统,其中所述距离是从所述车辆到所述车辆的外部的声源的距离,并且其中所述角度是从所述车辆的位置到所述车辆的外部的所述声源的角度。
13.根据权利要求10-12中任一项所述的声音系统,其还包括导航系统,所述导航系统被配置为显示所述车辆的行驶路线并响应于所述角度和所述距离中的至少一者来调整所述车辆的行驶路线。
14.根据权利要求10-13中任一项或权利要求12所述的声音系统,其还包括附加的可执行指令,以响应于分配给在所述车辆的外部产生的声音的类型而在所述车辆的内部产生所述声音。
15.根据权利要求10-14中任一项所述的声音系统,其中分配给在所述车辆的外部产生的所述声音的所述类型至少包括紧急车辆声音。
CN202110440918.8A 2020-05-01 2021-04-23 用于外部环境感测和渲染的系统和方法 Pending CN113581071A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063019103P 2020-05-01 2020-05-01
US63/019,103 2020-05-01

Publications (1)

Publication Number Publication Date
CN113581071A true CN113581071A (zh) 2021-11-02

Family

ID=78243085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110440918.8A Pending CN113581071A (zh) 2020-05-01 2021-04-23 用于外部环境感测和渲染的系统和方法

Country Status (3)

Country Link
US (1) US20210345043A1 (zh)
CN (1) CN113581071A (zh)
DE (1) DE102021110593A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11608055B2 (en) * 2020-06-04 2023-03-21 Nxp Usa, Inc. Enhanced autonomous systems with sound sensor arrays
JP7347368B2 (ja) * 2020-08-20 2023-09-20 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3665105A (en) * 1970-03-09 1972-05-23 Univ Leland Stanford Junior Method and apparatus for simulating location and movement of sound
US20030007648A1 (en) * 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
US9763003B2 (en) * 2011-01-12 2017-09-12 Staten Techiya, LLC Automotive constant signal-to-noise ratio system for enhanced situation awareness
US11485231B2 (en) * 2019-12-27 2022-11-01 Harman International Industries, Incorporated Systems and methods for providing nature sounds

Also Published As

Publication number Publication date
DE102021110593A1 (de) 2021-11-04
US20210345043A1 (en) 2021-11-04

Similar Documents

Publication Publication Date Title
CN106488359B (zh) 车辆音频系统的定制方法与设备
US10324683B2 (en) Control for vehicle sound output
US11485231B2 (en) Systems and methods for providing nature sounds
EP3843422B1 (en) Systems and methods for adjusting activity control parameters
US9800664B2 (en) Wireless connection management
US10999419B1 (en) Systems and methods for in-vehicle voice calls
US11818538B2 (en) System and method for managing content of in vehicle infotainment systems
US20210345043A1 (en) Systems and methods for external environment sensing and rendering
US11172304B2 (en) Systems and methods for vehicle audio source input channels
WO2020120754A1 (en) Audio processing device, audio processing method and computer program thereof
KR20210084243A (ko) 차량 텔레매틱스 유닛을 위한 안테나 시스템
KR20210151089A (ko) 차량 시스템의 음성 제어
US11902767B2 (en) Combining prerecorded and live performances in a vehicle
WO2023126774A1 (en) Methods and systems for personalized adas intervention
WO2024010998A1 (en) System and method for low-profile audio device with force‑cancelling transducer
WO2023126861A1 (en) Methods and systems for navigation guidance based on driver state events
WO2023126856A1 (en) Methods and systems for driver monitoring using in-cabin contextual awareness

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination