CN108058663A - 车辆声音处理系统 - Google Patents
车辆声音处理系统 Download PDFInfo
- Publication number
- CN108058663A CN108058663A CN201711082872.7A CN201711082872A CN108058663A CN 108058663 A CN108058663 A CN 108058663A CN 201711082872 A CN201711082872 A CN 201711082872A CN 108058663 A CN108058663 A CN 108058663A
- Authority
- CN
- China
- Prior art keywords
- sound field
- event
- vehicle
- dimensional sound
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 51
- 230000006870 function Effects 0.000 claims abstract description 20
- 230000003247 decreasing effect Effects 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 9
- 230000007613 environmental effect Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000003491 array Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 238000012986 modification Methods 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012732 spatial analysis Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
Landscapes
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Circuit For Audible Band Transducer (AREA)
- Stereophonic System (AREA)
Abstract
本申请涉及一种车辆声音处理系统，所述系统包括：传感器阵列，其被配置来检测位于所述车辆外部的对象的信号；存储器，其被配置来存储控制指令；处理单元，其连接到所述传感器阵列，并且被配置来从所述存储器读取所述控制指令并基于所述控制指令执行以下步骤：基于所述检测到的信号确定所述车辆外部的所述对象的所述位置，在所述车辆内部产生3维声场，以及在所述3维声场中将表示所述检测到的对象的声音事件放置在所述3维声场中的虚拟位置处，使得当具有所述声音事件的所述3维声场输出到车辆乘客时，所述车辆乘客将所述声音事件定位在所述对象的所述确定位置处。此外，提供一种缩放功能，用其减小或增大所述声音事件的所述虚拟位置相对于所述车辆乘客的距离。
Description
技术领域
本申请涉及一种车辆声音处理系统并且涉及一种用于产生三维声场的方法。此外，提供一种包括程序代码的计算机程序和一种载体。
背景技术
诸如汽车、货车等机动车辆越来越多地使用辅助驾驶员驾驶机动车辆的驾驶员辅助系统。此外，未来将开发应自主驾驶的车辆。为此，车辆使用提供在车辆中的传感器阵列，其从车辆环境中采集信号以确定位于车辆环境中的对象。此外，由于使用噪声消除系统，预计未来车辆客舱将会很安静。因此，车辆内部的乘员或乘客在声学上与外部隔离，并且很少注意实际驾驶过程。因此，基于车辆乘客所提供的输入或通过驾驶情况需要的事实，通知车辆乘客关于车辆外部发生的某些事件将是有帮助的。在这种情况下，提供将车辆乘客的注意力吸引到位于车辆外部的某一对象的可能性将是特别有帮助的。
发明内容
根据第一方面，本申请提供一种车辆声音处理系统，其包括被配置来检测位于车辆外部的对象的信号的传感器阵列。此外，车辆声音处理系统包括被配置来存储控制指令的存储器和连接到传感器阵列并被配置来从存储器读取控制指令的处理单元，其中处理单元被配置来基于控制指令执行基于检测到的信号确定车辆外部对象的位置的步骤。
此外，在车辆内部产生三维声场，并且在三维声场中将表示检测到的对象的声音事件放置在三维声场中的虚拟位置处，使得当具有声音事件的三维声场输出到车辆乘客，车辆乘客将声音事件定位在对象的确定位置处。此外，提供一种缩放功能，用其减小或增大声音事件的虚拟位置相对于车辆乘客的距离。
车辆声音处理系统提供在车辆内部产生三维声场的可能性，使得听众的感知是位于车辆外部的对象的声音来自对象所实际位于的位置。这可有助于通知驾驶员危害情况。在具有缩放功能的情况下，可通过提供好像对象像现实中一样位于更靠近车辆的位置的感觉来将车辆乘客的注意力吸引到车辆外部的这个对象。缩放功能有助于强调可能的危险情况，使得诸如驾驶员的车辆乘客可相应地作出反应。可通过例如按实际距离的预定义百分比减小或增大听众感知对象的距离来自动控制缩放功能。此外，用户有可能用应如何调整对象在声场中的距离的指示来主动控制缩放功能。
此外，提供用于产生三维声场、包括上文所讨论的步骤的对应方法。
另外，提供一种包括由车辆声音处理系统的至少一个处理单元执行的程序代码的计算机程序，其中程序代码的执行致使至少一个处理单元执行上文讨论和下文更详细讨论的方法。另外，提供一种包括计算机程序的载体。
应理解，在不脱离本申请的范围的情况下，上文所提及的特征和下文有待解释的特征不但可以所指示的相应组合使用，而且还可以其他组合或孤立地使用。除非另有明确提及，否则上文所提及的方面的特征可彼此组合。
附图说明
根据结合附图阅读的以下详细描述，本申请的前述和另外的特征和效果将变得显而易见，在附图中，类似的附图标号是指类似的元件。
图1示出包括检测车辆环境的传感器阵列的车辆的示意图。
图2示出被配置成为车辆乘客产生三维声场的车辆声音处理系统的示例性示意图。
图3示出根据由图1的传感器阵列检测到的信号进行以便产生三维声场的处理步骤的示意图。
图4示出由图2所示的车辆声音处理系统进行以将车辆乘客的注意力吸引到车辆外部的某一事件的方法的示例性流程图。
图5示出被配置来将车辆乘客的注意力吸引到车辆外部的某一事件的车辆声音处理系统的另一个示意图。
具体实施方式
下面将参考附图描述本申请。应理解，以下描述不具有任何限制意义。本申请的范围并不意图受限于下文所描述的实例或仅用于说明的附图。
附图应看作是示意图，并且附图所示的元件未必按比例示出。更确切地，各种元件被图示以使得其功能和一般用途对于本领域技术人员而言变得显而易见。附图所示出和下文所描述的功能框、装置、部件或者物理或功能单元之间的任何连接或耦合也可通过间接连接或耦合实现。部件之间的耦合可通过有线或无线连接来建立。功能框可以硬件、软件、固件或其组合实现。
图1示意性地示出车辆10，其包括提供在车辆上以监测车辆外部的环境和空间的传感器20阵列。传感器20阵列可包括外部麦克风阵列和/或被配置来从车辆环境拍摄图像的图像传感器阵列。传感器阵列还可包括雷达元件、激光器、PMD传感器或可确定位于车辆外部的对象位置的任何其他元件。
图2示出位于车辆10中的车辆声音处理系统100的更详细的视图。声音处理系统包括接口110，其被提供用于使用有线或无线传输将数据或控制消息发送到车辆内部或外部的其他实体。举例来说，提供接口110以接收由传感器20阵列获取的传感器信号。此外，提供包括一个或多个处理器并且可进行存储在存储器130上的指令的处理单元120，其中存储器可包括只读存储器、随机存取存储器、大容量存储器、硬盘等。存储器还可包括由处理单元120执行的合适的程序代码，以便实现上文描述或下文更详细描述的声音处理系统的功能性。此外，提供人机接口140，车辆声音处理系统的用户(诸如驾驶员或任何其他车辆乘客)可利用所述人机接口140来控制声音处理系统。
图2还示意性地示出外部麦克风20阵列，其中在所示的实施方案中可提供数量为N个的麦克风。此外，示意性地示出扬声器30阵列，其用于输出由处理单元120产生的声场。扬声器30可实现为环绕声音系统，诸如5.1系统。扬声器和扬声器的数量设计成使得声音可由作为三维声场的扬声器输出。处理单元120被配置来执行声学场景分析和判读以及声音的聚类，如下文将更详细地描述。此外，处理单元能够决定车辆外部发生的哪些声音事件包括在待输出到车辆乘客的三维声场中。
图3示出根据由传感器20阵列检测到的信号进行的处理步骤的更详细的视图。下面假设使用检测音频信号的麦克风阵列。外部麦克风阵列检测到完整的外部噪声和声音。预处理模块310过滤输入信号，使得较高级处理框可根据所述信号工作。举例来说，从信号中检测和提取噪声，例如麦克风在移动环境中检测声音时发生的噪声。提供对象检测框320，提取检测到的声音的信号特征并将其分类成某些声学对象，诸如其他车辆、具有警笛的车辆等。在这种情况下，进行声学场景分析。声学场景分析包括进行空间分析和内容分析的步骤。进行空间分析的不同选择是本领域已知的。举例来说，在第23届EUSIPCO上，Keisuke Imoto和Nobutaka Ono在“SPATIAL-FEATURE-BASED ACOUSTIC SCENE ANALYSISUSING DISTRIBUTED MICROPHONE ARRAY”中描述了一种可能的实现方式。2013年10月20-23日，在关于Applications of Signal Processing to Audio and Acoustics的2013IEEE研讨会上，J.T.Geiger等人在“LARGE-SCLAE AUDIO FEATURE EXTRACTION AND SVM FORACOUSTIC SCENE CLASIFICATION”中描述了内容分析的可能实现方式。此外，在框320中进行位置检测，其中由对象检测识别的不同对象被定位和追踪。对于每个检测到的对象，确定空间中精确且唯一的位置(例如，x、y、z位置)。下一个功能框330是被配置来产生声学场景的框，其中由麦克风阵列检测到的对象可与用户想要放置在待由扬声器30输出的声场中的任何其他虚拟或合成对象组合。用户可使用人机接口140来添加虚拟声音对象。在这种情况下，可能有不同的选择。举例来说，当传感器阵列另外包括图像传感器并且图像传感器在车辆环境中检测到可能对车辆有危害的对象时，可将虚拟声音对象放置在三维声场中，即使车辆外部的对象并未产生声音。举例来说，对象可以是位于车辆前方、打算在车辆前方穿过道路的儿童，或者对象可以是任何其他对象，诸如位于道路上的石头或木材片以及可能对车辆有危害的对象。在这种情况下，对象是由传感器在车辆外部检测到但是并未产生声音或产生的声级并非高得足以使得车辆乘客注意所检测到的对象的虚拟对象。此外，虚拟对象有可能是未被监测车辆环境的传感器中的任何一个检测到的对象，但是可以是诸如目前通过电话与车辆乘客通话的另一个人的对象。声音处理系统可通过输入/输出单元110从车辆网络接收信号来检测，用所述车辆网络通知系统100正在车辆中进行语音呼叫。可使用人机接口140在三维声场中将位于线路另一端处的人放置在预定义位置处或在由车辆乘客输入的位置处，使得车辆乘客感知到声音好像源自用户定义的某一位置。
当图像传感器用于检测车辆外部的信号时，模块310和320可包括图像后处理技术，通过所述技术可检测对象连同其在空间中的位置。根据是否使用图像传感器补充或代替麦克风的事实，提供用于图像后处理的模块来补充模块310和320或代替这些模块。
当待定位在声场中的不同对象的位置已知时，可基于已知技术(诸如高保真度立体声响复制或波场合成)产生3D声场。
总之，在声学场景生成模块330产生三维声场期间，在车辆外部检测到的真实对象和虚拟对象被组合到混合世界。另外，提供可修改真实对象或虚拟对象的位置的缩放功能。举例来说，麦克风阵列可能已经检测到紧急车辆的警笛，并且可基于由不同麦克风20检测到的信号检测这个紧急车辆的位置。然后这个对象被定位在三维声场中的虚拟位置处，使得当三维声场输出到用户时，用户将声音事件定位在确定位置处。现在缩放功能提供增大或减小声音事件的虚拟位置相对于车辆乘客的距离的可能性。举例来说，如果向驾驶员警告车辆外部的某一对象，则可减小距离，使得驾驶员感觉对象位于比其现实中的位置更靠近车辆的位置。缩放功能可由车辆乘客使用人机接口140进行调整。举例来说，用户可确定某一组对象或被认为是对车辆有危害的对象的任何对象应在三维声场中位于比现实中更近的位置，例如比现实中离车辆近10％、20％或任何其他百分比或绝对距离。最终，提供产生三维声场的三维音频呈现模块340。由模块340输出的信号可输出到车辆扬声器30。
存储器还可存储表示待定位在三维声场中的不同对象的某些声音文件。举例来说，可提供输出由玩耍时的儿童产生的声音的声音文件。然后可使用这种声音文件并将其放置在三维声场中的期望位置处，以便警告驾驶员在车辆外部的某一位置处检测到儿童，即使并未从儿童那检测到声音。其他声音文件可存储在存储器中，所述声音文件可由声音处理系统使用，以便将某些对象定位在声场内。
图4总结由上文结合图2和图3讨论的声音处理系统100进行的一些步骤。所述方法在步骤S40中开始，并且在步骤S41中检测车辆外部的信号。检测到的信号可包括由麦克风阵列检测到的音频信号。此外或作为替代，检测到的信号可包含由图像传感器阵列检测到的图像信号。在上文所讨论和图4中未示出的一些预处理之后，在步骤S42处，基于检测到的信号确定至少一个对象的位置。当信号包括音频信号时，诸如波束形成的方法可用于将对象定位在空间中。当信号包括图像信号时，本领域已知的图像后处理算法可用于识别对象和在空间中的对应位置。对于检测到的每个对象，确定在车辆外部的空间中的精确位置。当所有对象都定位在期望位置时，确定哪些对象应包括在声场中，并且可在步骤S43中产生体现待包括在声场中的不同对象的三维声场，并且在步骤S42中确定了所述对象的位置。在这个步骤中，只有预定义声音事件(例如，警笛)才可包括在待输出到车辆乘客的声场中。在另一个选择中，系统可被配置成使得由麦克风检测到的所有对象都包括在声场中，并且都输出到车辆客舱而不去除任何对象或者不从检测到的声音信号中去除任何声音分量(期望噪声)且不削弱检测到的声音信号。因此，车辆乘客感觉自己位于声音信号未被车辆客舱削弱的车辆外部。
产生三维声场，使得用户感觉声音来自对象在真实世界中实际位于的空间中的某点。上文讨论了用于确定3维声场的不同选择。此外，还知道在空间中产生的声音生成传播到车辆乘客的耳朵的声波。到达双耳的信号也经受由与车辆乘客的身体交互作用所致的滤波过程。可使用头部相关传递函数(HRTF)准确地测量声音从空间中的定义位置到耳道的变换。如本领域已知，为了产生三维声场，进行天然听觉的模仿。此外，三维声场的产生将确定位置与距离、运动或环境线索相组合，使得可产生场景的完全模拟。在步骤S44中，将声音事件放置在3D声场中的虚拟位置处，所述3D声场被确定成使得用户感觉从检测到的位置听到声音事件。
另外，将待输出的每个声音事件都放置在期望的虚拟位置处，当被转变成三维声场时，所述虚拟位置对应于用户期望在所定义的位置处听到位于真实世界中的对象的位置。最后，在步骤S45中，确定使用哪个缩放功能来移动对象中的一个，使其离车辆更近或更远。用缩放功能将三维声场中的虚拟位置调整成使得用户感知到声音好像来自比现实中更靠近用户的位置。在另一个实施方案中，虚拟位置的距离也可被增大，使得听众从空间中的某点感知到位于比现实中更远的位置的对象。所述方法在步骤S46中结束。
图5示出另一车辆的声音处理系统的另一个示意图。系统500包括用于检测位于车辆外部的对象的信号的模块510。另外，提供模块520，用其确定由模块510确定的不同对象的位置。提供模块530，其在三维空间中产生声场，并且在三维声场中将声音事件放置在如上文所讨论的位置处。另外，提供模块540，可用其减小或增大声音事件的虚拟位置。如上文所讨论，用这个模块有可能将听众印象中的对象移动到比在真实世界中更靠近车辆的位置。
从上文所述可得出一些一般性结论：
声音处理系统可包括可由车辆乘客操作的接口，并且可用所述接口调整三维声场和声音事件。接口或人机接口140为车辆乘客提供修改由缩放功能提供的距离的可能性。当检测到虚拟位置的位置已经被处理单元或用户修改时，处理单元被配置来确定声音事件的新虚拟位置，并且被配置来在三维声场中将声音事件放置在新虚拟位置处。使用所述接口，车辆乘客可在听觉印象中将在车辆外部检测到的对象移动到与车辆外部对象的真实位置相比更靠近车辆的位置。此外，有可能使用接口在三维声场中将未被传感器阵列检测到的至少一个虚拟声音事件放置在所定义的位置处，其中，当检测到虚拟声音事件被放置在所定义的位置处时，产生三维声场，使得其在所定义的位置处包括至少一个虚拟声音事件。
传感器阵列可包括麦克风阵列、图像检测器阵列或两者或允许确定位于车辆外部的对象的位置的任何其他传感器阵列。
当包括麦克风阵列的传感器阵列在车辆外部检测到多个声音事件时，处理单元可被以只在三维声场中表示预定义声音事件的方式配置成使得多个声音事件被识别和过滤。这意味着一些所识别的信号并未被图3的模块320发送，在所述模块320中不同的声音事件被分类。举例来说，系统或特别地模块320可滤除除紧急车辆所产生的声音(诸如警笛)之外的所有信号。此外，比预定义阈值更大的声音信号也可发送到其他处理模块并包括在三维声场中。另外，用户可通过指示应包括在三维声场中的声音事件来控制未被系统滤除的声音事件。
此外，车辆声音处理系统能够将并未产生声音的对象包括到三维声场中。当例如基于图像数据(诸如道路上的对象或者道路上或道路旁边的儿童)确定车辆外部对象的位置时，可产生表示由图像传感器检测到的对象的虚拟声音事件。此外，基于确定位置在三维声场中确定虚拟声音事件的位置，并且在三维声场中将虚拟声音事件放置在确定位置处。由声音事件产生的声音可存储在预定义声音文件中，或者可由处理单元产生。举例来说，可产生警报信号，使得车辆乘客感知到声音好像源自对象被检测到的位置。
此外，麦克风阵列有可能从包括多个不同对象的完整车辆环境中检测到环境信号，其中多个对象都被放置在3维声场中，而不滤除多个不同对象中的任何一个并且不削弱由多个不同对象发出的声音信号。此时，车辆乘客感觉自己坐在车辆外部并且听到未被车辆客舱削弱的环境声音。
总之，所公开的技术使得能够直观地通知用户位于车辆外部的对象。通过控制对象在三维声场中的距离并且因此控制用户的感知，可以有效的方式通知车辆乘客、特别是驾驶员可能的危害情况和车辆外部所检测到的对象。
上述实例的各方面可体现为系统、方法或计算机程序产品。可使用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是电子、磁性、光学、电磁、红外或半导体系统设备或装置或者前述设备或装置的任何合适组合。计算机可读存储介质的更具体的实例可包括具有一根或多根电线的电连接、便携式计算机软盘、硬盘、随机存取存储器、只读存储器、可擦除可编程只读存储器、光学纤维、CDROM、光学存储装置或可包含或存储用于与指令执行系统一起使用的程序的任何有形介质。
上文所讨论的流程图或框图示出根据本申请的各种实例的系统、方法和计算机程序产品的可能实现方式的架构、功能性和操作。流程图或框图中的每个框可表示代码的模块、区段或部分，其包括用于实现所指定逻辑功能的一个或多个可执行指令。
Claims (16)
1.一种车辆声音处理系统，其包括
-传感器阵列，其被配置来检测位于所述车辆外部的对象的信号，
-存储器，其被配置来存储控制指令，
-处理单元，其连接到所述传感器阵列，并且被配置来从所述存储器读取所述控制指令并基于所述控制指令执行以下步骤：
-基于所述检测到的信号确定所述车辆外部的所述对象的所述位置，
-在所述车辆内部产生3维声场，并且在所述3维声场中将表示所述检测到的对象的声音事件放置在所述3维声场中的虚拟位置处，使得当具有所述声音事件的所述3维声场输出到车辆乘客时，所述车辆乘客将所述声音事件定位在所述对象的所述确定位置处，
-提供缩放功能，用其减小或增大所述声音事件的所述虚拟位置相对于所述车辆乘客的距离。
2.根据权利要求1所述的车辆声音处理单元，其还包括可由所述车辆乘客操作的接口，可用所述接口调整所述3维声场和所述声音事件。
3.根据权利要求2所述的车辆声音处理系统，其中所述接口提供修改由所述缩放功能提供的所述距离的可能性，其中在检测到所述虚拟位置的所述距离已经被修改时，所述处理单元被配置来确定所述声音事件的新虚拟位置并在所述3维声场中将所述声音事件放置在所述新虚拟位置处。
4.根据权利要求2或3所述的车辆声音处理系统，其中所述接口提供在所述3维声场中将未被所述传感器阵列检测到的至少一个虚拟声音事件放置在所定义的位置处的可能性，其中在检测到虚拟声音事件被放置在所定义的位置处时，所述处理单元被配置来产生在所定义的位置处包括所述至少一个虚拟声音事件的所述3维声场。
5.根据权利要求1所述的车辆声音处理系统，其中所述传感器阵列包括麦克风阵列和图像检测器阵列中的至少一个。
6.根据权利要求1所述的车辆声音处理系统，其中所述传感器阵列包括被配置来在所述车辆外部检测多个声音事件的麦克风阵列，所述处理单元被配置来以只在所述3维声场中表示预定义声音事件的方式识别所述多个声音事件，并且过滤所述多个声音事件。
7.根据权利要求1所述的车辆声音处理系统，其还包括至少一个图像传感器，其中所述处理单元被配置来
-基于由所述至少一个图像传感器产生的图像数据确定所述车辆外部的所述对象的所述位置，
-产生表示由所述图像传感器检测到的所述对象的虚拟声音事件，
-基于所述确定的位置确定所述虚拟声音事件在所述3维声场中的位置，并且
-在所述3维声场中将所述虚拟声音事件放置在所述确定的位置处。
8.一种用于产生3维声场的方法，其包括以下步骤：
-用传感器阵列检测位于所述车辆外部的对象的信号，
-基于检测到的信号确定所述车辆外部的所述对象的所述位置，
-在所述车辆内部产生3维声场，并且在所述3维声场中将表示所述检测到的对象的声音事件放置在所述3维声场中的虚拟位置处，使得当具有所述声音事件的所述3维声场输出到车辆乘客时，所述车辆乘客将所述声音事件定位在所述对象的所述确定位置处，
-激活缩放功能，用其减小或增大所述声音事件的所述虚拟位置相对于所述车辆乘客的距离。
9.根据权利要求8所述的方法，其进一步提供可由所述车辆乘客操作的接口，可用所述接口调整所述3维声场和所述声音事件，其中在检测到所述虚拟位置的所述距离已经被修改时，确定所述声音事件的新虚拟位置，并且在所述3维声场中将所述声音事件放置在所述新虚拟位置处。
10.根据权利要求9所述的方法，其中所述虚拟位置的所述距离基于所述车辆乘客的输入而调整。
11.根据权利要求8所述的方法，其还包括以下步骤：基于所述车辆乘客的输入，在所述3维声场中将未被所述传感器阵列检测到的至少一个虚拟声音对象放置在所定义的位置处，其中在检测到虚拟声音事件被放置在所定义的位置处时，产生在所定义的位置处包括所述至少一个虚拟声音事件的所述3维声场。
12.根据权利要求8所述的方法，其中麦克风阵列在所述车辆外部检测到多个声音事件，并且以只在所述3维声场中表示预定义声音事件的方式识别和过滤所述多个声音事件。
13.根据权利要求8所述的方法，其包括以下步骤
-基于由至少一个图像传感器产生的图像数据确定所述车辆外部的所述对象的所述位置，
-产生表示由所述图像传感器检测到的所述对象的虚拟声音事件，
-基于所述确定的位置确定所述虚拟声音事件在所述3维声场中的位置，以及
-在所述3维声场中将所述虚拟声音事件放置在所述确定的位置处。
14.根据权利要求8所述的方法，其中所述麦克风阵列从包括多个不同对象的完整车辆环境中检测到环境信号，其中所述多个对象都被放置在所述3维声场中，而不滤除所述多个不同对象中的任何一个并且不削弱由所述多个不同对象发出的所述声音信号。
15.一种计算机程序，其包括由车辆声音处理系统(100)的至少一个处理器(120)执行的程序代码，其中所述程序代码的执行致使所述至少一个处理器执行根据权利要求8的方法。
16.一种载体，其包括如权利要求14所述的计算机程序，其中所述载体是电子信号、光信号、无线电信号或计算机可读存储介质中的一者。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP16197662.6A EP3319343A1 (en) | 2016-11-08 | 2016-11-08 | Vehicle sound processing system |
| EP16197662.6 | 2016-11-08 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108058663A true CN108058663A (zh) | 2018-05-22 |
| CN108058663B CN108058663B (zh) | 2023-07-11 |
Family
ID=57249740
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711082872.7A Active CN108058663B (zh) | 2016-11-08 | 2017-11-07 | 车辆声音处理系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10063988B2 (zh) |
| EP (1) | EP3319343A1 (zh) |
| CN (1) | CN108058663B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110281950A (zh) * | 2019-07-08 | 2019-09-27 | 睿镞科技(北京)有限责任公司 | 基于三维声像传感器的载运工具控制与可视化环境体验 |
| CN110871807A (zh) * | 2018-09-04 | 2020-03-10 | 卡特彼勒路面机械公司 | 用于使用检测到的声音操作移动式机器的系统和方法 |
| CN112124294A (zh) * | 2019-06-24 | 2020-12-25 | 通用汽车环球科技运作有限责任公司 | 检测到车辆环境中的事件时适应车辆的驾驶条件的系统和方法 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10319228B2 (en) | 2017-06-27 | 2019-06-11 | Waymo Llc | Detecting and responding to sirens |
| GB2566935B (en) * | 2017-09-20 | 2021-09-22 | Ford Global Tech Llc | Selective sound system and method for a vehicle |
| US10499180B1 (en) * | 2018-05-17 | 2019-12-03 | Zoox, Inc. | Three-dimensional sound for passenger notification |
| US10361673B1 (en) | 2018-07-24 | 2019-07-23 | Sony Interactive Entertainment Inc. | Ambient sound activated headphone |
| WO2020234993A1 (ja) * | 2019-05-21 | 2020-11-26 | 日本電信電話株式会社 | 通知装置、通知方法、プログラム |
| US11485231B2 (en) * | 2019-12-27 | 2022-11-01 | Harman International Industries, Incorporated | Systems and methods for providing nature sounds |
| US11958505B2 (en) | 2020-07-21 | 2024-04-16 | Waymo Llc | Identifying the position of a horn honk or other acoustical information using multiple autonomous vehicles |
| DE102021124492A1 (de) | 2021-09-22 | 2023-03-23 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und vorrichtung zur aufmerksamkeitssteuerung eines fahrers in einem fahrzeug |
| US11943581B2 (en) * | 2021-09-30 | 2024-03-26 | Google Llc | Transparent audio mode for vehicles |
| DE102022104786A1 (de) | 2022-03-01 | 2023-09-07 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur ausgabe eines hinweis-signals in einem kraftfahrzeug und vorrichtung für ein kraftfahrzeug |
| DE102022134239A1 (de) | 2022-12-20 | 2024-06-20 | Bayerische Motoren Werke Aktiengesellschaft | Fortbewegungsmittel, Fahrerassistenzsystem und Verfahren zur Anzeige eines sich bewegenden Umgebungsobjektes für einen Anwender eines Fortbewegungsmittels |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060001532A1 (en) * | 2004-06-30 | 2006-01-05 | Denso Corporation | Vehicle alarm sound outputting device and program |
| EP2011711A1 (en) * | 2007-07-04 | 2009-01-07 | Harman Becker Automotive Systems GmbH | Method and apparatus for conveying information to an occupant of a motor vehicle |
| US20150137998A1 (en) * | 2013-11-21 | 2015-05-21 | Harman International Industries, Incorporated | Using external sounds to alert vehicle occupants of external events and mask in-car conversations |
| EP2891955A1 (en) * | 2014-01-03 | 2015-07-08 | Harman International Industries, Incorporated | In-vehicle gesture interactive spatial audio system |
| US20160227340A1 (en) * | 2015-02-03 | 2016-08-04 | Qualcomm Incorporated | Coding higher-order ambisonic audio data with motion stabilization |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8319620B2 (en) * | 2008-06-19 | 2012-11-27 | Personics Holdings Inc. | Ambient situation awareness system and method for vehicles |
| US8232872B2 (en) * | 2009-12-03 | 2012-07-31 | GM Global Technology Operations LLC | Cross traffic collision alert system |
| IL223086A (en) * | 2012-11-18 | 2017-09-28 | Noveto Systems Ltd | System and method for creating sonic fields |
| US9746554B2 (en) * | 2013-04-09 | 2017-08-29 | Valeo Radar Systems, Inc. | Radar imaging system and related techniques |
| US9411882B2 (en) * | 2013-07-22 | 2016-08-09 | Dolby Laboratories Licensing Corporation | Interactive audio content generation, delivery, playback and sharing |
| US20150336575A1 (en) * | 2014-05-21 | 2015-11-26 | GM Global Technology Operations LLC | Collision avoidance with static targets in narrow spaces |
| US9733348B2 (en) * | 2014-07-03 | 2017-08-15 | GM Global Technology Operations LLC | Vehicle radar with beam adjustment |
| US20170098452A1 (en) * | 2015-10-02 | 2017-04-06 | Dts, Inc. | Method and system for audio processing of dialog, music, effect and height objects |
| EP3209036A1 (en) * | 2016-02-19 | 2017-08-23 | Thomson Licensing | Method, computer readable storage medium, and apparatus for determining a target sound scene at a target position from two or more source sound scenes |
| US10089063B2 (en) * | 2016-08-10 | 2018-10-02 | Qualcomm Incorporated | Multimedia device for processing spatialized audio based on movement |
-
2016
- 2016-11-08 EP EP16197662.6A patent/EP3319343A1/en not_active Ceased
-
2017
- 2017-11-06 US US15/803,910 patent/US10063988B2/en active Active
- 2017-11-07 CN CN201711082872.7A patent/CN108058663B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060001532A1 (en) * | 2004-06-30 | 2006-01-05 | Denso Corporation | Vehicle alarm sound outputting device and program |
| EP2011711A1 (en) * | 2007-07-04 | 2009-01-07 | Harman Becker Automotive Systems GmbH | Method and apparatus for conveying information to an occupant of a motor vehicle |
| US20150137998A1 (en) * | 2013-11-21 | 2015-05-21 | Harman International Industries, Incorporated | Using external sounds to alert vehicle occupants of external events and mask in-car conversations |
| EP2891955A1 (en) * | 2014-01-03 | 2015-07-08 | Harman International Industries, Incorporated | In-vehicle gesture interactive spatial audio system |
| US20160227340A1 (en) * | 2015-02-03 | 2016-08-04 | Qualcomm Incorporated | Coding higher-order ambisonic audio data with motion stabilization |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110871807A (zh) * | 2018-09-04 | 2020-03-10 | 卡特彼勒路面机械公司 | 用于使用检测到的声音操作移动式机器的系统和方法 |
| CN110871807B (zh) * | 2018-09-04 | 2023-11-14 | 卡特彼勒路面机械公司 | 用于使用检测到的声音操作移动式机器的系统和方法 |
| CN112124294A (zh) * | 2019-06-24 | 2020-12-25 | 通用汽车环球科技运作有限责任公司 | 检测到车辆环境中的事件时适应车辆的驾驶条件的系统和方法 |
| CN112124294B (zh) * | 2019-06-24 | 2024-05-24 | 通用汽车环球科技运作有限责任公司 | 检测到车辆环境中的事件时适应车辆的驾驶条件的系统和方法 |
| CN110281950A (zh) * | 2019-07-08 | 2019-09-27 | 睿镞科技(北京)有限责任公司 | 基于三维声像传感器的载运工具控制与可视化环境体验 |
| CN110281950B (zh) * | 2019-07-08 | 2020-09-04 | 睿镞科技(北京)有限责任公司 | 基于三维声像传感器的载运工具控制与可视化环境体验 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108058663B (zh) | 2023-07-11 |
| US20180132052A1 (en) | 2018-05-10 |
| EP3319343A1 (en) | 2018-05-09 |
| US10063988B2 (en) | 2018-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108058663A (zh) | 车辆声音处理系统 | |
| US20200154220A1 (en) | Vehicular sound processing system | |
| CN104581513B (zh) | 用于将用户引导向所关注的事件的系统和方法 | |
| CN107533839B (zh) | 一种对周围环境音的处理方法及设备 | |
| US10351148B2 (en) | System and method for sound direction detection in a vehicle | |
| US9743213B2 (en) | Enhanced auditory experience in shared acoustic space | |
| CN107985225A (zh) | 提供声音追踪信息的方法、声音追踪设备及具有其的车辆 | |
| US20140294210A1 (en) | Systems, methods, and apparatus for directing sound in a vehicle | |
| CN102256192A (zh) | 声音信号的分离 | |
| US9571057B2 (en) | Altering audio signals | |
| CN110310514A (zh) | 对听力受损的驾驶员的支持 | |
| US20150258930A1 (en) | Driving support apparatus and driving support system | |
| WO2018096599A1 (en) | Environment-aware monitoring systems, methods, and computer program products for immersive environments | |
| DE102020213185A1 (de) | Unterstützung eines Fahrers bei der Wahrnehmung von Außengeräuschen | |
| JP2005304014A (ja) | 音情報を伝搬する方法及びシステム | |
| DE102015015130A1 (de) | Verfahren zum Betreiben eines Kraftfahrzeugs und Kraftfahrzeug | |
| KR20210097257A (ko) | 차량주변 이상 신호 알림 시스템 및 방법 | |
| CN113997863B (zh) | 数据处理方法、装置和车辆 | |
| KR101842612B1 (ko) | 딥러닝을 이용한 관심 음향 인식 방법 및 장치 | |
| KR101575437B1 (ko) | 차량 내부의 스피커를 통한 경고음 출력의 제어 방법 및 이를 위한 장치 | |
| US20220014865A1 (en) | Apparatus And Method To Provide Situational Awareness Using Positional Sensors And Virtual Acoustic Modeling | |
| CN110139205B (zh) | 用于辅助信息呈现的方法及装置 | |
| WO2020239542A1 (en) | A helmet and a method for playing desired sound in the same | |
| JP2021150835A (ja) | 音データ処理装置および音データ処理方法 | |
| Karam | Evaluating tactile-acoustic devices for enhanced driver awareness and safety: an exploration of tactile perception and response time to emergency vehicle sirens |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |