CN116323366A - 用于提供三维立体声音的方法、装置和计算机可读存储介质 - Google Patents

用于提供三维立体声音的方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN116323366A
CN116323366A CN202180069110.1A CN202180069110A CN116323366A CN 116323366 A CN116323366 A CN 116323366A CN 202180069110 A CN202180069110 A CN 202180069110A CN 116323366 A CN116323366 A CN 116323366A
Authority
CN
China
Prior art keywords
hazard
vehicle
detected
detected hazard
data signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180069110.1A
Other languages
English (en)
Inventor
B·胡克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Telematik und Akustik GmbH
Original Assignee
Valeo Telematik und Akustik GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Telematik und Akustik GmbH filed Critical Valeo Telematik und Akustik GmbH
Publication of CN116323366A publication Critical patent/CN116323366A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0217—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for loud-speakers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开涉及一种方法、装置和计算机可读存储介质，用于向车辆提供三维立体声音，以促进主动安全和对危险的意识。例如，本公开描述了一种用于提供三维立体声音的方法，包括从位于车辆外部周围的传感器接收数据信号，基于接收的数据信号检测危险，确定检测到的危险的特征，基于确定的检测到的危险的特征产生警报，以及经由布置在车辆内部周围的扬声器将产生的警报作为三维立体声音输出，输出的警报将确定的检测到的危险的特征传达给车辆驾驶员。

Description

用于提供三维立体声音的方法、装置和计算机可读存储介质
技术领域
本公开涉及机动车辆运行期间的威胁检测。
背景技术
目前，当识别出潜在危险时，车辆安全系统仅仅提供基本的警报。当邻近车辆位于驾驶员的“盲点”时，车辆扬声器发出的蜂鸣声就是典型的示例。然而，这种警报并不排除驾驶员视觉定位邻近车辆并确定其威胁等级的需要。因此，人类驾驶员在很大程度上仍依赖于他们自己的能力来识别危险并确定这些危险与其行进路线的相关性。在许多情况下，可以通过听觉初步定位的危险必须通过视觉再次确认，以便驾驶员能够对危险造成的潜在威胁做出适当的反应。这种冗余不仅不必要地分散了驾驶员对道路的注意力，而且未能利用人类生理学和神经学的能力对潜在危险发出警报并作出反应。因此，需要一种在最小程度地影响驾驶员注意力的同时提供定向警报的方法。
前述“背景技术”描述是为了总体上呈现本公开的背景。在本背景技术部分中描述的程度上，发明人的工作，以及在提交时可能不符合现有技术的描述的各方面，既不明确也不暗示地被认为是对抗本发明的现有技术。
发明内容
本公开涉及包括处理电路的方法、装置和计算机可读存储介质，该处理电路配置为执行用于在车辆环境内提供三维声音的方法。
根据一实施例，本公开还涉及一种用于提供三维立体声音的方法，包括从位于车辆外部周围的传感器接收数据信号，基于接收的数据信号检测危险，确定检测到的危险的特征，由处理电路基于确定的检测到的危险的特征产生警报，以及经由布置在车辆内部周围的扬声器将产生的警报作为三维立体声音输出，输出的警报将确定的检测到的危险的特征传达给车辆驾驶员。
根据一实施例，本公开还涉及一种用于提供三维立体声音的装置，包括处理电路，该处理电路配置为从位于车辆外部周围的传感器接收数据信号，基于接收的数据信号检测危险，确定检测到的危险的特征，基于确定的检测到的危险的特征产生警报，并且经由布置在车辆内部周围的扬声器将产生的警报作为三维立体声音输出，输出的警报将确定的检测到的危险的特征传达给车辆驾驶员。
根据一实施例，本公开还涉及一种存储计算机可读指令的非暂时性计算机可读存储介质，当由计算机执行时，所述指令使计算机执行用于提供三维立体声音的方法，该方法包括从位于车辆外部周围的传感器接收数据信号，基于接收的数据信号检测危险，确定检测到的危险的特征，基于确定的检测到的危险的特征产生警报，以及经由布置在车辆内部周围的扬声器输出所产生的警报作为三维立体声音，输出的警报将确定的检测到的危险的特征传达给车辆驾驶员。
前面的段落已经通过一般介绍的方式提供，并且不打算限制下面权利要求的范围。通过参考以下结合附图的详细描述，将会更好地理解所描述的实施例以及进一步的优点。
附图说明
当结合附图考虑时，通过参考下面的详细描述，将容易获得对本公开及其许多伴随优点的更完整理解，同时变得更好理解，其中：
图1是根据本公开的示例性实施例的车辆的车内通信系统的图示；
图2是根据本公开的示例性实施例的用于提供三维立体声音的方法的流程图；
图3A是根据本公开的示例性实施例的车辆的车辆传感器的示意图；
图3B是根据本公开的示例性实施例的车辆外部的车辆传感器的图示；
图4是根据本公开的示例性实施例的用于提供三维立体声音的方法的子过程的流程图；
图5A是根据本公开的示例性实施例的用于提供三维立体声音的方法的子过程的流程图；
图5B是根据本公开的示例性实施例的用于提供三维立体声音的方法的子过程的流程图；
图5C是根据本公开的示例性实施例的用于提供三维立体声音的方法的子过程的流程图；
图5D是根据本公开的示例性实施例的用于提供三维立体声音的方法的子过程的流程图；
图5E是根据本公开的示例性实施例的用于提供三维立体声音的方法的子过程的流程图；
图6A是根据本公开的示例性实施例的用于提供三维立体声音的方法的子过程的流程图；
图6B是根据本公开的示例性实施例的用于提供三维立体声音的方法的子过程的流程图；
图6C是根据本公开的示例性实施例的用于提供三维立体声音的方法的子过程的流程图；
图7是根据本公开的示例性实施例的用于提供三维立体声音的方法的子过程的流程图；
图8是根据本公开的示例性实施例的用于提供三维立体声音的方法的实施方式的流程图；
图9是根据本公开的示例性实施例的用于提供三维立体声音的方法的实施方式的流程图；
图10是根据本公开的示例性实施例的用于提供三维立体声音的方法的实施方式的示意图；以及
图11是根据本公开的示例性实施例的采用车内通信系统的车辆的硬件配置的示意图。
具体实施方式
这里使用的术语“一个”被定义为一个或多于一个。这里使用的术语“多个”被定义为两个或多于两个。这里使用的术语“另一个”被定义为至少第二个或更多个。这里使用的术语“包括”和/或“具有”被定义为包含(即开放式语言)。本文件中对“一个实施例”、“某些实施例”、“一实施例”、“实施方式”、“示例”或类似术语的引用意味着结合该实施例描述的特定特征、结构或特性包括在本公开的至少一个实施例中。因此，这种短语的出现或在本说明书各处的出现不一定都指同一实施例。此外，特定的特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合，而没有限制。
尽管现代车辆安全系统配置为响应于潜在危险的存在而提供听觉警报，但这些听觉警报不能充分地为驾驶员定向，而是依赖于驾驶员对潜在危险的位置和威胁等级的确认。
因此，本公开描述了一种用于向车辆驾驶员提供三维立体声音的方法，以便向驾驶员发出危险的空间警报，提供警报使得传达危险的威胁等级以及危险的其他相关特征。以这种方式，驾驶员可被定向并意识到危险的类型、危险位置和危险的威胁等级等。换句话说，本公开的动机是使驾驶员本能地并且如驾驶员的听觉系统所感知的那样相信威胁存在并且存在于相对于驾驶员所操作的车辆的特定方向上。
由于听觉系统相对于包括视觉在内的其他感觉对杏仁核具有优先权，并且由于杏仁核涉及恐惧处理，所以提供听觉警告是提醒驾驶员迫近的威胁和/或危险的最令人信服的方式。考虑到可以随后通过视觉皮层确认的危险，这是可以理解的，其中听觉系统“启动”人类防御系统对可能的危险保持警惕。
除此之外，可以理解，迫近的声音可被感知为比后退的声音传播得更快。人类听觉和感知的这一特性使得可以感觉到即将到来的危险比实际情况更近。这样，当与人的视觉相比时，人的听觉允许有“额外的”时间来对即将到来的危险做出反应，因为人的听觉可以不由自主地对危险做出反应。
因此，本公开描述了一种用于提供三维立体声音的方法，使得根据所确定的危险的威胁等级的严重性和危险的位置，在空间上感知可能的危险。被确定为具有高威胁等级的检测到的危险可通过音频系统和分区矩阵的回放传达给驾驶员，该传达包括对应于检测到的危险的声音，该声音已经用合成效果修改，使得检测到的危险看起来更靠近驾驶员，或者看起来以比实际更快的速度行进。回放效果还可以反映危险相对于驾驶员车辆的位置，并且与看起来静止或更远的声音相比，提高了反应时间。
在一实施例中，本公开描述了使用车辆车厢内的空间相关扬声器直接回放外部音频。例如，在有多个骑行者、行人、施工车辆等的城市驾驶期间，从位于车辆周围和外部的麦克风获取音频并通过与接收外部音频的麦克风的位置相关的扬声器在车辆内部直接播放他们的信号可能是有益的。由布置在车辆后部和右侧的外部麦克风接收的音频可以通过布置在车辆车厢后部和右侧的扬声器播放。
根据一实施例，本公开的方法可以在紧急车辆的警笛的背景下实施。紧急车辆的警笛可以由车辆的电子控制单元通过位于车辆外部周围的麦克风阵列识别为可能的危险。使用来自麦克风阵列的音频信号，可以识别警笛的源角度和距离，并且基于紧急车辆的类型，可以在车辆车厢内再现对应于紧急车辆类型的类似警笛的记录，以向驾驶员声学传达紧急车辆正在接近的角度和距离。通过在三维立体声音中精确地再现警笛的声音，可以给驾驶员分配足够的时间来适当地响应紧急车辆的存在和行进矢量或行进方向。将参考图8更详细地描述这样的示例。
根据实施例，本公开的方法可以在车辆驾驶员的“盲点”中的邻近车辆的情况下实施。邻近车辆可以由车辆传感器识别，并且听觉刺激可以由车辆的电子控制单元提供，使得邻近车辆的存在被传达给作为过往车辆的车辆的驾驶员，以使驾驶员相信邻近车辆存在于他们的“盲点”中的方式被放大和空间保存。因此，可以在听觉上“看到”邻近车辆，而不需要在视觉上观察。
考虑到采用简单听觉刺激(例如嘟嘟声)来警告驾驶员在其“盲点”中存在邻近车辆的现有方法，可以进一步理解上述实施例。为了不仅仅了解邻近车辆在其“盲点”中的存在，这些方法要求驾驶员视觉上确认邻近车辆，从而评估邻近车辆造成的威胁等级。然而，通过实施本公开的方法，可以向驾驶员提供空间意识，并且驾驶员的注意力可以保持在道路上，同时完全理解存在于其“盲点”中的邻近车辆所造成的威胁等级。将参考图9更详细地描述这样的示例。
根据实施例，本公开的方法可以由车辆的电子控制单元来执行，并且可以与包括例如车内通信系统的其他车辆系统相结合。在一实施例中，车辆的电子控制单元与远程处理电路协同执行本公开的方法，该远程处理电路配置为访问包括服务器在内的外围设备，以便处理来自车辆传感器的数据并向车辆驾驶员提供主动安全。
根据一实施例，在向车辆驾驶员传达威胁意识时，本公开的方法利用了人类听觉系统的快速认知能力。当由车辆传感器检测到危险时，在一示例中，车辆传感器包括相机、麦克风、LIDAR检测器、雷达检测器等，可以使用空间音频(即三维立体声音)向驾驶员呈现危险，从而向驾驶员提供关于危险类型、危险的威胁等级、对危险做出反应所需的时间量以及危险的相对位置、方向和方位(即行进矢量)的完整情况。
根据一实施例，本公开的方法包括检测车辆外部的危险，并随后将危险识别为紧急车辆、摩托车、静态障碍物、行人、大型动物、在“盲点”中的邻近车辆等。一旦检测到危险，可以使用分类器或相关性来识别每个检测到的危险，以确定它们的类型和对驾驶员的潜在威胁等级。然后，可以通过危险的音频表示使车辆驾驶员知道所检测和识别的危险。这可以是由危险产生的声音的直接再现、对应于检测到的危险的预先记录或合成的声音或者任一的修改再现，其中修改包括通过空间音频系统的放大或缩小，以传达危险的相对位置和危险的威胁等级的严重性。为此，可以在车内播放再现的声音，以便在空间上模拟检测和识别的危险。
根据一实施例，本公开描述了一种用于提供三维立体声音的方法，包括从位于车辆外部周围的传感器接收数据信号，基于接收的数据信号检测危险，确定检测到的危险的特征，由处理电路基于确定的检测到的危险的特征产生警报，并且经由布置在车辆内部周围的扬声器将产生的警报作为三维立体声音输出，输出的警报将确定的检测到的危险的特征传达给车辆驾驶员。
根据本公开的实施例，该方法导致改善的驾驶员反应时间和消除驾驶员通过其他感觉确认危险的需要。
现在转向附图，将根据示例性实施例来描述本公开。图1是包括车内通信系统102的车辆101的图示。车辆101可以包括电子控制单元(ECU)160，其配置为与车内通信系统102协作执行本公开的方法，例如用于响应于潜在危险提供三维立体声音的方法。ECU160可以与车辆101的多个麦克风106和车辆101的多个扬声器105通信并对其进行控制，以便与车内通信系统102协作向车辆101的驾驶员103提供三维立体声音。车辆101的多个麦克风106中的每个可以安装在车辆101的整个车厢108中，包括在车辆101的顶篷内。如图1的示例性实施例所示，多个乘客104可以在车辆101中，包括驾驶员103。
在车辆101的车内通信系统102的标准操作下，来自车辆101的多个乘客104中的每个的语音可被增强并传送给车辆101的多个乘客104中的每个其他乘客，以确保通信不受阻碍并且所有乘客都有机会参与车辆对话。为此，可以保持来自多个乘客104中的每个的增强和传输的语音的空间锐度，使得在一示例中，来自车辆后部的乘客的语音被车辆前部的驾驶员感知，就好像声音是从车辆后部发出的一样。
如在本公开内应用，车内通信系统102可以用于向车辆101的驾驶员103传送音频，以便传达由位于车辆101外部周围的车辆传感器检测到的潜在危险的存在和移动。以这种方式，由ECU160经由车内通信系统102提供的三维立体声音或空间音频可以用于空间定位并向车辆101的驾驶员103传达危险的威胁。
根据示例性实施例，图2提供了如上所述的用于提供三维立体声音的方法的高级流程图。
在步骤220，来自车辆传感器的数据信号可以由车辆的ECU接收。如图3A所示，车辆传感器可以位于车辆外部周围，或者可以位于车辆内部。位于车辆外部周围的车辆传感器可以包括麦克风、相机等。可以理解的是，为了执行本公开的方法，只需要一种类型的车辆传感器，并且因此只需要一种类型的数据信号。然而，在实施例中可以使用多个数据信号，以解决车辆传感器可靠性和车辆传感器置信水平的可变性。
可以评估从车辆传感器接收的数据信号，以确定危险的可能存在。在子过程225，可以评估接收的数据信号以确定是否存在危险。如果在从车辆传感器接收的数据信号中检测到危险，由于与预期数据信号的偏差，对应于检测到的危险的接收数据信号被进一步评估，如将参考图4进一步详细解释。
在子过程230，可以进一步评估与检测到的危险相对应的接收数据信号，以确定检测到的危险的特征。这些特征可以包括危险类型、危险位置、行进矢量(即速度、方向)以及由此确定的危险的威胁等级。通过理解检测到的危险的上述确定特征，ECU可以产生适当的警报以将这些特征传达给车辆驾驶员。将参考图5A至图5E更详细地描述子过程230。
已经确定了检测到的危险的特征，可以在子过程235产生警报。所产生的警报可以是空间定向的警报，其向驾驶员指示危险位于特定方向并且以特定速度在特定方向上移动，而无需视觉确认。例如，当在车辆的左后方的相对位置检测到危险时，可以从车辆的左后扬声器展现所产生的警报。所产生的警报也可以是由检测到的危险产生的声音的直接再现的声音、由检测到的危险产生的声音的记录或者对应于检测到的危险并旨在指示危险类型的另一种声音，如将参考图7描述。此外，所产生的警报可以是经过修改的声音，以便传达检测到的危险的威胁等级。例如，如果检测到的危险具有高威胁等级，则产生的警报可以是迫近的声音，以指示检测到的危险的严重性，并为驾驶员提供足够的时间来响应检测到的危险。将参考图6A更详细地讨论警报产生。
在步骤250，所产生的警报可以由ECU通过车内通信系统以三维立体声音输出给车辆驾驶员。输出的警报可以针对检测到的危险在空间上定向驾驶员，并且同时传达检测到的危险的类型和威胁等级。将参考图6B和图6C更详细地讨论所产生的警报的这种输出。
已经参考图2介绍了本公开的方法，现在将更详细地描述该方法的每个步骤和子过程。首先转到图3A，在步骤220接收的数据信号可以从车辆传感器307接收。在一示例中，车辆传感器307可以位于车辆外部周围，以便捕捉车辆的外部环境，包括可能存在的任何潜在危险。这些车辆传感器307可包括雷达311、LIDAR312、超声波传感器313(即声纳)、相机314、外部麦克风315和激光扫描仪318。在一实施例中，外部麦克风315的一部分可以形成麦克风阵列，并且可以配置成执行到达方向评估。每个麦克风可以是全向麦克风、单向麦克风、双向麦克风等，视情况而定。雷达311和LIDAR312可用于确定到潜在危险的中远程距离。声纳313可用于确定到潜在危险(例如驾驶“盲点”中的邻近车辆)的短程距离。相机314可用于距离测量以及识别潜在的危险，从而可以产生适当的警报。激光扫描仪318可用于获取车辆外部环境的地图，尤其允许检测摩托车、行人、静态障碍物等。在一示例中，车辆传感器307可以包括位于车辆内部周围的传感器，并且可以配置为与位于车辆外部周围的车辆传感器307集成，以便提供情况并确定检测到的危险的特征。作为示例，这些车辆传感器307可以包括加速度计316、陀螺仪317和与惯性运动单元相关的其他类似设备，以及全球定位系统接收器，例如用于确定车辆地理位置的全球导航卫星系统(GNSS)319接收器。
位于车辆外部周围的车辆传感器可以如图3B的示例性图示那样布置。车辆301可以配备有多个车辆传感器307，包括一个或多个相机314、一个或多个LIDAR312、一个或多个雷达311、多个超声波传感器313和多个麦克风315。在一示例中，多个车辆传感器307中的一个或多个可以位于车辆的轮舱后面。此外，多个车辆传感器307中的一个或多个可以位于车辆301的外部金属壳的内表面上，以便在没有风污染、水、冰堆积等影响的情况下捕获声音输入(例如语音、警笛、接近的车辆)。车辆传感器307也可以位于车辆301的内部周围，车辆传感器307包括一个或多个加速度计316和一个或多个陀螺仪317，陀螺仪317配置为与位于车辆301外部周围的车辆传感器307集成，以提供关于由车辆传感器307生成并由车辆301的ECU接收的数据信号的情况信息。此外，车辆传感器的类型不限于上面描述的那些，并且可以包括压电换能器等。
作为图3A和图3B的车辆传感器307的实施方式，子过程225参考图4在示例性实施例中描述，其中来自车辆传感器307的数据信号由车辆301的ECU接收。
在子过程225的步骤426，并且已经在步骤220接收到来自车辆传感器的数据信号，接收的数据信号可以与来自基线数据信号数据库429的基线数据信号进行比较，以识别与预期数据信号的偏差。基线数据信号数据库429可以在车辆本地，或者可以通过与远程云计算环境的无线通信来访问。基线数据信号可以是在正常条件下获取的数据信号，并且可以对应于多个车辆传感器的相应车辆传感器类型。此外，为了减少ECU的处理电路的处理负担，可以计算接收的数据信号的时间平均。时间平均可以在适合于提供可以检测危险的足够粒度的时间间隔上执行。例如，时间间隔可以是一秒、两秒或五秒。时间平均数据可以与来自基线数据信号数据库429的类似截断数据进行比较，以识别可能指示危险的偏差。时间平均也可以减轻引入到数据信号中的噪声的影响。
在一实施例中，在子过程225的步骤426的比较可以针对从车辆的每个车辆传感器接收的数据信号来执行。每个车辆传感器可以与置信水平相关。因此，在一实施例中，在子过程225的步骤426的比较可以针对从每个车辆传感器接收的信号来执行，数据信号基于每个车辆传感器的相应置信水平来调整。可以由此生成组合偏差分数，从而考虑可能的错误值，并且在子过程225的步骤426的比较可以在组合偏差分数和基线组合偏差分数之间。
在一实施例中，在子过程225的步骤426的比较可以针对从车辆传感器中具有最大置信水平的单个车辆传感器接收的数据信号来执行。在一示例中，数据信号可以是来自麦克风阵列的麦克风的数据信号。
因此，在子过程225的步骤427，可以确定接收的数据信号是否明显不同于从基线数据信号数据库429获取的相应基线数据信号。如果确定接收的数据信号与相应基线数据信号的偏差值小于预定偏差阈值，则可以确定不存在危险，子过程225返回到步骤426。可替代地，如果确定接收的数据信号与相应基线数据信号的偏差值大于预定偏差阈值，则可以确定存在危险，并且子过程225进行到步骤430。在一实施例中，在子过程225的步骤427的确定仅针对具有最大置信水平的车辆传感器执行。在另一实施例中，在子过程225的步骤427的确定针对来自车辆的每个车辆传感器的调整后的数据信号执行。在这种情况下，如果大多数车辆传感器在子过程225的步骤427满足预定偏差阈值，则可以确定存在危险，子过程225进行到步骤430。
在子过程225的步骤430，对应于检测到的危险的接收的数据信号可被标记为包括检测到的危险，并且可以根据子过程230的方法被进一步处理，如图5A至图5E所示。
根据示例性实施例，图5A是描述子过程230的流程图，其中可以确定检测到的危险的特性特征。在一示例中，可以通过至少一个特征提取模型的组合来确定检测到的危险的特有特征，该特征提取模型考虑了环境约束情况下的车辆传感器的置信水平。
在子过程230的子过程531，在步骤430标记为检测到的危险的数据信号可以由ECU接收，并且可以确定检测到的危险的类型，如图5B所示。与检测到的危险相关的接收数据信号可以与参考数据信号数据库进行比较，以识别高度相关的参考数据信号。可以根据与高度相关的参考数据信号相关的危险类型来识别检测到的危险类型。在一实施例中，可以通过实施分类器来执行识别，所述分类器被训练成根据与已知危险相关的签名来标记接收的数据信号。
根据一实施例，接收的数据信号可以与多个车辆传感器中的一个相关，并且危险类型的身份可以通过对多个车辆传感器中的另一个或多个传感器的额外分析来确认。识别了检测到的危险的类型后，可以在子过程230的子过程532确定危险的一个或多个位置特征，如图5D所示。一个或多个位置特征可用于针对检测到的危险在空间上定向驾驶员，并且可包括检测到的危险的位置、检测到的危险的行进矢量以及驾驶员对检测到的危险做出反应所需的时间等。检测到的危险的行进矢量可以是指示检测到的危险移动的速度和方向的矢量，从而可以确定其相对于驾驶员操作的车辆的位置。在子过程230的子过程533，可以确定危险的威胁等级。该确定可以部分基于所确定的危险类型(子过程230的子过程531)和所确定的危险位置特征(子过程230的子过程532)。总的来说，危险的威胁等级的确定可以基于危险的行进矢量和驾驶员操作的车辆的行进矢量可能导致危险的路径与车辆的路径相交的概率。以这种方式，危险的威胁等级的严重性可以指示ECU何时以及如何警告车辆驾驶员，以确保驾驶员有足够的意识和时间来应对危险。稍后讨论，在子过程230确定的检测到的危险的特征可被提供给ECU，以便在子过程235产生一致的警报。
根据一实施例，图5B提供了描述本公开方法的子过程230的子过程531的方法的流程图，其中可以通过与参考数据信号进行比较来识别检测到的危险的接收的数据信号。
在子过程531的步骤541，在步骤430接收的标记为危险的数据信号可以与从参考数据信号数据库542获取的参考数据信号进行比较。参考数据信号数据库542可以在车辆本地，或者可以通过与远程云计算环境的无线通信来访问。参考数据信号数据库542的每个参考数据信号可以与一种类型危险相关。危险类型可以是一组危险中的一种，其中包括紧急车辆、邻近车辆、过往车辆、动物、行人和骑行者。与检测到的危险相关的数据信号和参考数据信号数据库的每个参考数据信号的比较可以是它们之间的相关性。
在一实施例中，上述处理可以在车辆本地执行，或者通过云计算环境远程执行，并且可以基于处理的计算强度以及危险的预期时间和驾驶员反应时间。例如，如果检测到的危险非常接近车辆，云计算可能无法提供所需的快速评估，以便车辆操作者有时间做出响应。此外，可以理解，某些分类器需要比其他分类器更长的处理时间，并且威胁检测等待时间可能超过驾驶员反应时间要求，从而使得检测无用。以这种方式，如果确定相应的处理没有价值，则可以从进一步的考虑中排除某些车辆传感器。
换句话说，计算密集型过程，例如基于图像的语义图像分割，可能引入实时不可行的等待时间，因此，在识别和定位危险时可能不考虑来自这些过程的相关性。可替代地，例如，如果确定可以在适于驾驶员反应的给定时间段内执行过程，则可以在危险的识别和定位中考虑相应的相关性。
为了简单起见，子过程531的步骤541将被假设为已经考虑到来自一个车辆传感器的一个数据信号而被执行，尽管接下来将进一步讨论考虑多个数据信号的情况。因此，根据一实施例，在子过程531的步骤543，数据信号和参考数据信号数据库的具有最大相关值的参考数据信号之间的相关性可被选择作为检测到的危险的可能身份。
在子过程531的步骤544，可以将所选相关的相关值与预定相关值阈值进行比较，以确定检测到的危险的身份是否可靠。如果确定所选相关的相关值低于预定相关值阈值，子过程531可以返回到本公开的方法的步骤426。检测到的危险可能是误报，这是特定类型的车辆传感器在某些外部环境条件下不准确的结果。可替代地，检测到的危险可能是未知的危险类型。在这种情况下，参考数据信号数据库542可被扩展以包括额外类型的先前未知的危险。可替代地，如果确定所选相关的相关值高于预定相关值阈值，则确定检测到的危险的身份是与相关的参考数据信号相关的身份。因此，在子过程531的步骤545，与检测到的危险相关的接收的数据信号可被识别为代表与相关参考数据信号相关的危险类型。
在一实施例中，如上关于图5B所述，危险类型的识别可以通过实施一个或多个分类器来执行，分类器被训练来识别接收的数据信号内的危险的签名。这种分类器可以根据已知的机器学习方法来训练，包括例如支持向量机，其中接收的数据信号可被分类为匹配已知危险的签名。可以理解，参照图5E可以实现类似的方法，其中可以训练分类器，以基于危险类型和危险的位置特征来确定危险的威胁等级。
参考图5C，将图5B的一般描述的流程图描述为在示例性的单一数据信号类型内实现。在子过程531’(类似于图5B中描述的子过程531)的步骤551，在步骤430接收并标记为检测到的危险的数据信号可被识别为从位于车辆外部周围的麦克风阵列接收的数据。因此，在子过程531’的步骤552，麦克风数据信号可以与从参考数据信号数据库542获取的参考麦克风数据信号进行比较。在一示例中，参考数据信号数据库542的参考麦克风数据信号可以包括对应于特定类型的危险的数据信号。在一示例中，数据信号可以是与救护车、警车和消防队车辆使用的不同警笛相关的声音信号。在一示例中，数据信号可以是与邻近车辆或过往车辆相关的声学信号，并且可以反映过往车辆的变化的声学指纹或特征。如在子过程531的步骤541中，该比较可以是麦克风数据信号和从参考数据信号数据库542获取的每个参考麦克风数据信号之间的相关性。可以在子过程531’的步骤554选择麦克风数据信号和参考麦克风数据信号的最大相关值。如果在子过程531’的步骤555确定所选相关值低于预定相关值阈值，则子过程531’返回到本公开的方法的步骤426。在另一实施例中，当选择的相关值低于预定相关值阈值时，子过程531’可以另外评估从多个车辆传感器中的其他传感器接收的数据信号，以便确认危险的身份。为此，来自多个车辆传感器的相机的数据信号可用于确认基于从麦克风阵列的麦克风接收的数据信号确定的危险的身份。可替代地，返回到子过程531’的步骤555，如果确定所选的相关值高于预定相关值阈值，则子过程531’进行到步骤556，其中被标记为检测到的危险的接收的麦克风数据信号可以被确信地识别为与参考数据信号数据库542的参考麦克风数据信号相关的危险类型，并且与该危险类型相关。在一示例中，检测到的危险可被确信地识别为救护车的警笛。
同时，可在子过程532中确定检测到的危险的位置特征，参考图5D的示例性流程图进行描述。
在子过程532的步骤581，可基于在步骤430接收的与检测到的危险相关的数据信号来确定检测到的危险的位置和行进矢量。在一实施例中，假设用于危险检测的数据信号由多个车辆传感器中的单个传感器获取，检测到的危险的位置和行进矢量可以根据接收的数据信号和/或与从多个车辆传感器中的一个或多个其余车辆传感器582接收的数据信号相协调来确定。例如，虽然从麦克风阵列的麦克风接收的数据信号可以是检测危险的唯一基础，但在确定检测到的危险的位置和行进矢量时，麦克风数据信号可以由来自雷达、LIDAR、加速度计、陀螺仪及其组合的数据信号来补充。根据一实施例，检测到的危险的位置可以通过诸如雷达和LIDAR的测距技术来确定，并且检测到的危险的行进矢量可以通过经由雷达和LIDAR的连续测量以及通过整合相机信号来确定，其中检测到的危险已经经由图像分类或类似方法来识别。
在子过程532的步骤583，驾驶员对检测到的危险做出反应所需的时间可以基于检测到的危险的确定位置和确定的检测到的危险的行进矢量来确定。这些确定可以由来自多个车辆传感器584的附加数据来补充。在一实施例中，确定的反应时间可以是对车辆驾驶员意识到、响应和避免检测到的危险所需的时间的估计。为此，所确定的反应时间可以基于对检测到的危险的行进路径何时可能与驾驶员操作的车辆的行进路径相交的估计。在确定该时间长度时，可以在子过程235中产生警报，从而给驾驶员额外的时间来响应，如果必要的话。
已经确定了检测到的危险的身份和检测到的危险的位置特征，可以在子过程230的子过程533确定检测到的危险的威胁等级。图5E提供了用于确定检测到的危险的威胁等级的子过程的示例性流程图。
最初，可以接收危险识别数据信号545和危险位置特征532作为接收的危险特征数据。然后，在步骤591，接收的危险特征数据可以与参考数据库592的参考危险特征数据进行比较，以确定危险类型、危险的位置、危险的行进矢量和对危险的必要驾驶员反应时间之间的关系，以便确定危险的相应威胁等级。该比较可以是接收的危险特征数据和参考数据库592的参考危险特征数据之间的相关性。参考数据库592可以是这样的数据库，其中根据相应的威胁等级严重性来标记危险类型和危险的位置特征的组合。例如，参考数据库中的示例性条目可以是作为危险类型的警察，以及作为危险的位置特征的行进矢量的垂直于和朝向由驾驶员操作的车辆的行进路径的高速运动。“警察”和“垂直于和朝向驾驶员的车辆行进路径的高速运动”可被标记为高严重性威胁等级。然而，可以理解的是，威胁等级严重性可以在适合于以适当的粒度传达由危险造成的威胁的严重性的任何尺度上进行评估。
在一实施例中，在子过程533的步骤591执行的接收的危险特征数据和参考数据库592的参考危险特征数据的比较可以是接收的危险特征数据和参考数据库592的多个参考危险特征数据的比较。因此，在子过程533的步骤593，可以选择接收的危险特征数据和参考数据库592的参考危险特征数据之间的最大相关性。理解到参考数据库592中的参考危险特征数据的每个条目被标记为或对应于威胁等级严重性，可以基于所选择的相关性将威胁等级严重性分配给接收的危险特征数据。为此，在子过程533的步骤594，可以从参考数据库592中获取与参考数据库592中的每个参考危险特征数据条目相关的危险的威胁等级，并将其分配给接收的危险特征数据。
可以理解，子过程225和子过程230主要是为了简单起见，从单一类型的车辆传感器的角度来描述的。然而，根据本公开的实施例，在确定危险的存在以及随后的危险的类型和位置特征时，可以考虑从多个车辆传感器接收的信号。为此，当确定与潜在危险相关的参数时，可以考虑多个车辆传感器的可变可靠性和置信水平，其可以基于车辆参数和/或外部天气条件而改变。
因为它涉及子过程230，所以可以从多个车辆传感器接收数据信号。子过程230的子过程531可以考虑来自多个车辆传感器的数据信号及其各自的可靠性。例如，在子过程531的步骤541，从多个车辆传感器中的每个接收的数据信号可以与来自参考数据信号数据库542的参考数据信号进行比较。意识到车辆传感器中的每个都可能受到诸如车辆速度、环境光和天气条件的外部因素的可变影响，子过程531的步骤541可以考虑车辆传感器的可变可靠性水平。
根据一实施例，该比较可以包括风险评估/分类器可靠性矩阵，该矩阵可以通过分配值乘数来影响相关值。值乘数可以基于历史数据、精算科学等，并且可以反映在某些实时外部因素的情况下错误识别危险类型的风险和车辆传感器的可靠性。在给定条件下较高风险和/或较不可靠的车辆传感器可被分配大于1的值乘数，而在给定条件下低风险车辆传感器和/或更可靠的车辆传感器可被分配0和1之间的值乘数。在一实施例中，风险评估/分类器可靠性矩阵可以结合每个车辆传感器的置信水平作为影响值乘数。
在一实施例中，风险评估/分类器可靠性矩阵可以在子过程531的步骤541期间通过逐元素乘法来实现。换句话说，通过将每个接收的数据信号与参考数据信号数据库中的每个参考数据信号进行比较而得到的相关矩阵可以乘以风险评估/分类器可靠性矩阵。相关矩阵可包括行和列，其中每行是车辆传感器类型的分类器，每列是危险类型，相关矩阵内的条目是基于从车辆传感器接收的数据信号和对应于给定危险的参考数据信号之间的比较而分配的初始相关值。
风险评估/分类器可靠性矩阵和相关矩阵的逐元素乘法产生在这样的矩阵中，其在矩阵的每个单元中具有调整的相关值。在一实施例中，子过程531的步骤541可以前进到步骤543，并且可以选择矩阵的最大相关单元用于进一步处理。在另一实施例中，给定列内的调整的相关值可被求和以确定危险类型的组合总分数，该组合总分数说明了来自每个车辆传感器的调整的相关。然后，可以将危险类型的组合总分数与组合总分数阈值进行比较。在一实施例中，可以为每种车辆传感器类型呈现调整的相关值和布尔结果。以这种方式，可以评估跨多个传感器的调整的相关性分数的组合如何影响识别危险类型的置信度。这种分析可以通过卡尔曼滤波、贝叶斯统计方法等来执行。
根据该实施例，上述风险评估/分类器可靠性矩阵可以部分基于实时变化的道路状况。例如，风险评估/分类器可靠性矩阵的每个单元的值反映了车辆传感器在诸如车辆速度、环境光和天气等实时外部因素的情况下的可靠性。例如，可以理解，车辆速度与所需的驾驶员反应时间成反比，并且取决于麦克风的位置，麦克风数据会随着车辆速度的增加而被破坏。此外，增加的车辆速度会引入风假象，并且来自主车辆的增加的噪声场会阻碍和/或掩盖由邻近车辆的麦克风捕获的噪声。还可以理解，较低水平的环境光可能在相机图像中引入较高水平的噪声，这将限制对一些危险的检测精度。较高水平的环境光可能导致较低的对比度、更多的镜头眩光和较低的动态范围。此外，可以理解，不利的天气事件会对成像能力和/或音频捕获能力产生负面影响。在这些事件中，包括相机在内的某些传感器可能会受到较低能见度的影响，尤其是下雨会增加轮胎/道路噪声的音量，从而进一步限制麦克风的检测精度和/或范围。在一实施例中，风险评估/分类器可靠性矩阵的每个单元的值也可以反映所需的处理时间。某些分类器比其他分类器需要更长的处理时间。这样，危险检测延迟时间可能超过驾驶员反应时间要求，导致检测没有价值。这些延迟时间也会受到危险的速度和威胁等级的影响。此外，同时云计算过程不够快，本地处理的带宽对于某些分类器可能太有限，使得某些车辆传感器无用。
现在转到图6A，可以评估图5A至图5E的危险特征数据，包括危险类型、危险的位置特征和危险的威胁等级，以便在子过程235向车辆驾驶员产生警报。为此，如下所述，可以评估每个危险特征数据，以便确定应该产生的相应警报，以向车辆驾驶员通知危险，如将参考图7所述。
在子过程235的步骤636，可以评估接收的危险识别数据信号545或危险类型。通过评估接收的危险识别数据信号545，可以确定要提供给车辆驾驶员的警报类型。在一实施例中，警报类型可以是由位于车辆外部周围的麦克风获取的识别的危险的声音的直接再现。在一实施例中，警报类型可以是模仿所识别的危险的自然声音的预先记录声音的再现。在一实施例中，警报类型可以是对应于所识别的危险的另一种声音，其可被车辆驾驶员理解。
在子过程225的步骤637，可以评估接收的危险位置特征532。通过评估接收的危险位置特征532，可以修改在步骤636识别的警报类型，以便控制驾驶员对警报的感知。为此，可以利用车内通信系统的三维立体声音，以受控的方式向驾驶员发出警报。在一实施例中，并且假设已知的位置、已知的行进矢量和与接收的数据信号一致的已知的必要驾驶员反应时间，可以产生警报以便定向驾驶员，使得音频回放被感知为来自具有已知运动的已知方向并且在对必要驾驶员反应时间敏感的时间。
在子过程225的步骤638，可以评估接收的危险威胁等级594或威胁等级严重性。通过评估接收的危险威胁等级594，可以确定警报的放大或缩小是适当的。例如，如果检测和识别的危险被确定为具有高威胁等级，则放大产生的警报可能是适当的，以便吸引车辆驾驶员的注意并传达该危险所造成的威胁等级的严重性。可替代地，如果检测和识别的危险被确定为低威胁等级，则可能适当的是减弱产生的警报，以便传达对该危险相对缺乏关注。在一示例中，如将参考图6B和图6C的示例描述。
根据一实施例，可以在子过程225的步骤636、步骤637和步骤638执行上述评估，以便允许基于在步骤635确定的特征产生警报。为此，图6B和图6C提供了子过程225的上述步骤的评估的示例性流程图，其中已经检测和识别了危险，并且可以评估危险类型、危险位置特征和危险威胁等级，以确定应如何产生警报。
根据示例性实施例，参考图6B，子过程225可以基于确定的危险特征产生警报。如图6B所示，在子过程225的步骤636评估的危险类型可以是行人，在子过程225的步骤637评估的危险的位置特征可以指示危险位于车辆的右前方并且垂直于和朝向车辆行进，并且在子过程225的步骤638评估的危险的威胁等级可被确定为高严重性。可以理解的是，虽然行走行人通常不会产生车辆驾驶员可直接感知的可听见的声音，但车辆的ECU仍可以产生模仿行走行人的声音的声音，或者可以产生对应于行走行人的另一种声音，使得车辆驾驶员理解并意识到危险是行走行人。可替代地，在涉及行人的较高威胁情况下，可以通过音频系统播放预先录制的语音和/或句子，直接提醒驾驶员即将到来的威胁。与行走行人相关的声音和/或他们焦虑的话语可以通过车内通信系统以三维立体声音产生，使得驾驶员在空间上意识到行走行人相对于车辆的位置。此外，三维立体声音可以基于行走行人的位置和行进矢量实时调整。为了向车辆驾驶员提供关于行走行人的关注级别的完整情况，与行走行人相关的高威胁等级可能导致所产生的警报被放大，以便确保车辆驾驶员意识到行走行人的存在。高威胁等级可以基于确定车辆的路径和行走行人的路径在碰撞的过程中。然后，在步骤650，上述方法可以经由空间音频输出为迫近声音639，其中，使行走行人对车辆的驾驶员有空间意识，并且车辆的驾驶员被置于关于与其的潜在碰撞的警报中。
这种示例性实施例可以与图6C的示例性实施例进行比较和对比。如图6C所示，在子过程225的步骤636评估的危险类型可以是火车，在子过程225的步骤637评估的危险的位置特征可以指示危险位于车辆的右前方并且垂直于和远离车辆行进，并且在子过程225的步骤638评估的危险的威胁等级可被确定为低严重性。在这种情况下，火车产生各种广泛欣赏和可识别的声音，因此，火车发出的声音的直接再现或预先录制的火车声音的再现可以作为所产生的警报的一部分而产生。基于对火车的位置特征的评估，所产生的警报可以经由车内通信系统以三维立体声音产生，使得车辆的驾驶员在空间上意识到火车相对于车辆的位置，并且此外意识到火车相对于车辆的行进方向。当火车的位置和行进矢量改变时，三维立体声音可以实时调整。为了向车辆驾驶员提供关于对火车的关注程度的完整情况，与火车相关的低威胁等级可能导致所产生的警报是渐减警报，以便警告驾驶员火车的存在，而无需不必要地警示他们。这种威胁评估可以基于这样的认识，即火车正远离车辆行进，并且预期没有行进路径的交叉。然后，在步骤650，可以经由空间音频将上述方法输出为后退声音640，其中，使火车对车辆驾驶员具有空间意识，并且警告车辆驾驶员与其相关的相对较低的关注。
如上所述，在本公开的方法的步骤250，所产生的警报可以三维立体声音输出给车辆驾驶员，并且所产生的警报可以部分基于检测到的危险的类型。例如，参考图7，以三维立体声音输出的所产生的警报可以是所识别的危险796的原始声音信号的直接再现、对应于所识别的危险797的存储的音频文件的再现或者模仿所识别的危险的自然声音的存储的音频文件的再现。所识别的危险796的原始声音信号可以是由位于车辆外部周围的车辆传感器的麦克风获取的声音信号的直接再现。对应于识别的危险797的存储的音频文件可以是经常与识别的危险相关的声音，但不是识别的危险的声音的再现。存储的模仿所识别的危险的自然声音的音频文件798可以是预先录制的原始声音或者旨在模仿所识别的危险的自然声音的合成声音的音频文件。
根据实施例，图8和图9是本公开的方法的示例性实施方式。例如，图8描述了对来自紧急车辆的警笛的检测，而图9例如描述了对驾驶员“盲点”中的邻近车辆或过往车辆的检测。
参考图8，在步骤820，ECU可以接收来自位于车辆外部周围的车辆传感器的麦克风的数据信号。在子过程825，可以在接收的数据信号内检测危险。在子过程830，可以识别检测到的危险，并且可以确定检测到的危险的位置特征，以及检测到的危险的威胁等级。这包括将危险识别为救护车的警笛。这也包括确定救护车的位置特征。在一实施例中，从车辆传感器的麦克风接收的数据信号可以用于确定警笛的到达方向并确定救护车的位置。使用基于时间的分析，可以类似地确定救护车的行进矢量，基于救护车和驾驶员操作的车辆的相对位置来确定车辆驾驶员对救护车的必要反应时间。然后，救护车的威胁等级可以在驾驶员操作的车辆的行进路径的情况下确定。例如，可以确定救护车正朝向由驾驶员操作的车辆的行进路径行进，但是预计在至少20秒内不会与行进路径相交。由于驾驶员的必要反应时间远小于到达相交的时间，救护车的威胁等级可被确定为中等严重性。因此，在子过程835，可以基于所确定的特征产生警报。这种产生的警报可以是救护车警笛的直接再现，并且可被空间保留，使得车辆驾驶员在空间上意识救护车的位置和行进路径。由于救护车的威胁等级为中等严重性，因此不放大或缩小救护车的警笛可能是合适的。因此，在步骤850，可以经由车内通信系统以三维立体声音向车辆的驾驶员输出所产生的警报，并且可以使驾驶员在空间上意识到与救护车相关的位置、移动和危险。
类似地，参考图9，在步骤920，ECU可以接收来自位于车辆外部周围的车辆传感器的麦克风的数据信号。在子过程925，可以在接收的数据信号内检测到危险。在子过程930，可以识别检测到的危险，并且可以确定检测到的危险的位置特征，以及检测到的危险的威胁等级。这包括识别车辆驾驶员“盲点”内的邻近车辆或过往车辆的危险。在一实施例中，危险的检测和识别可以通过从位于车辆外部周围的车辆传感器的超声波传感器接收的数据信号来确认。此外，子过程930包括确定邻近车辆的位置特征。在一实施例中，从车辆传感器的麦克风接收的数据信号可以用于确定邻近车辆的位置，并且使用基于时间的分析来确定邻近车辆的行进矢量。考虑一种假设情况，其中车辆驾驶员希望将车道改变到邻近车辆的车道，车辆驾驶员的必要反应时间可以基于邻近车辆和驾驶员操作的车辆的相对位置来确定。然后可以在驾驶员操作的车辆的行进路径的情况下确定邻近车辆的威胁等级。例如，可以确定邻近车辆正在平行于驾驶员操作的车辆的行进路径行进，并且将很快紧邻驾驶员操作的车辆。由于驾驶员的必要反应时间可与如果需要变道时可用于响应邻近车辆的时间量相当，所以邻近车辆的威胁等级可被确定为高严重性。因此，在子过程935，可以基于所确定的特征产生警报。这种产生的警报可以是存储的车辆声音(例如发动机、轮胎/道路噪声)的音频文件的再现，并且可以在空间上呈现，使得车辆的驾驶员敏锐地意识到邻近车辆的位置和行进路径。在一示例中，不需要视觉确认，车辆的驾驶员可以意识到邻近车辆正在右侧从车辆的后部快速通过到车辆的前部，车辆的再现的预先录制声音以三维立体声音输出给车辆的驾驶员，使得邻近车辆相对于其的确切位置是已知的。此外，由于邻近车辆的威胁等级被认为是高严重性，放大预先录制的声音可能适于警告驾驶员邻近车辆的存在和运动，并提供可能危险的提前通知。因此，在步骤950，可以经由车内通信系统以三维立体声音向车辆的驾驶员输出所产生的警报，并且可以使驾驶员在空间上意识到与邻近车辆相关的位置、移动和危险。
图10是根据本公开的实施例的本公开的方法的示例性示意图。
在步骤1020，可以从多个车辆传感器接收数据信号，包括雷达、激光扫描仪、相机、麦克风和全球定位接收器，例如全球导航卫星系统(GNSS)接收器。子过程1025和子过程1030可在车辆的ECU1060内执行，以确定危险的空间来源和到达方向，并确定危险的识别和威胁等级。危险的这些特征，包括角度、距离、威胁等级和危险类型，可以提供给子过程1035。特别地，危险的角度和距离或位置特征可以提供给空间分区矩阵，以确保以空间精确的方式向车辆驾驶员提供产生的警报。威胁等级和危险类型可以提供给感知引擎和威胁增强引擎，从它们之间的源文件库中获取与危险类型相关的声音文件。因此，与危险类型相关的声音文件可以三维立体声音的形式并以驾驶员可以根据需要感知所产生的警报的方式在适当增强的情况下输出给车辆驾驶员。在一实施例中，所产生的警报可以由ECU通过车内通信系统提供给驾驶员。
如上所述，本公开的方法可以在车辆的ECU的情况下实施。因此，图11是可以实施的电子控制单元(ECU)1160的示例性实施例的硬件部件的示意图。应当注意，图11仅旨在提供各种部件的概括说明，其中的任何一个或全部都可被适当地利用。可以注意到，在一些情况下，图11所示的部件可以位于单个物理设备中和/或分布在可以位于不同物理位置的各种联网设备中。此外，可以理解，在一实施例中，ECU1160可以配置为处理数据(即音频信号)并控制车内通信系统的操作。在另一实施例中，ECU1160可以配置为与远程处理电路通信，该远程处理电路配置为与ECU1160协作，处理数据并控制车内通信系统的操作。远程处理电路可以是中央服务器或与车辆的ECU1160分离的其他处理电路。ECU1160示出为包括可以通过总线1167电耦合的硬件元件(或者可以其他方式通信，视情况而定)。硬件元件可以包括处理电路1161，其可以包括但不限于一个或多个处理器、一个或多个专用处理器(例如数字信号处理(DSP)芯片、图形加速处理器、专用集成电路(ASIC)等)和/或其他处理结构或装置。上述处理器可被专门编程以执行包括图像处理和数据处理的操作。根据期望的功能，一些实施例可以具有单独的DSP1163。
根据一实施例，ECU1160可以包括一个或多个输入设备控制器1170，其可以控制但不限于车载触摸屏、触摸板、麦克风、按钮、拨号盘、开关等。在一实施例中，一个或多个输入设备控制器1170之一可以配置成控制麦克风，并且可以配置成从本公开的麦克风阵列中的一个或多个麦克风接收音频信号输入1168。因此，ECU1160的处理电路1161可以响应于接收的音频信号输入1168执行本公开的过程。
在一实施例中，麦克风阵列的每个麦克风可以由中央数字信号处理器通过数字音频总线来控制。在一示例中，每个麦克风可以是驻极体、MEMS或其他类似类型的麦克风，其中每个麦克风的输出可以是模拟的或数字的。在一示例中，集中式数字信号处理器可以是位于每个听觉设备处的一个或多个分布式本地数字信号处理器。在一示例中，数字音频总线可以用于传输接收到的音频信号。因此，数字音频总线可以是允许传输麦克风数字音频信号的数字音频总线，例如来自Analog Devices公司的A2B总线。
根据一实施例，ECU1160还可以包括一个或多个输出设备控制器1162，其可以无限制地控制显示器、诸如LED的视觉指示器、扬声器等。例如，一个或多个输出设备控制器1162可以配置成控制车辆的扬声器的音频输出1175，使得音频输出1175水平相对于环境车辆车厢噪声、乘客谈话等被控制。
ECU1160还可以包括无线通信集线器1164或连接集线器，其可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组(例如蓝牙设备、IEEE 802.11设备、IEEE 802.16.4设备、WiFi设备、WiMax设备、包括4G、5G等的蜂窝通信设施)等。如部分所述，无线通信集线器1164可以允许与网络、无线接入点、其他计算机系统和/或本文所述的任何其他电子设备交换数据。该通信可以经由发送和/或接收无线信号1166的一个或多个无线通信天线1165来执行。
取决于期望的功能，无线通信集线器1164可以包括单独的收发器，以与基站收发器(例如蜂窝网络的基站)和/或接入点进行通信。这些不同的数据网络可以包括各种网络类型。另外，无线广域网(WWAN)可以是码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、WiMax(IEEE 802.16)等。CDMA网络可以实现一种或多种无线接入技术(RAT),例如cdma2000、宽带CDMA(W-CDMA)等。Cdma2000包括IS-95、IS-2000和/或IS-856标准。TDMA网络可以实现全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或一些其他RAT。OFDMA网络可以采用LTE、高级LTE等，包括4G和5G技术。
ECU1160还可以包括传感器控制器1174。这种控制器可以控制车辆的一个或多个传感器，但不限于此，包括一个或多个加速计、陀螺仪、相机、雷达、LIDAR、里程计传感器和超声波传感器，以及磁力计、高度计、麦克风、近程传感器、光传感器等。在一示例中，一个或多个传感器包括配置成测量环境车辆车厢噪声的麦克风，所测量的环境车辆车厢噪声被提供给处理电路1161，用于结合在本公开的方法中。
ECU1160的实施例还可包括卫星定位系统(SPS)接收器1171，其能够使用SPS天线1172从一个或多个SPS卫星接收信号1173。SPS接收器1171可使用各种技术从SPS系统的卫星中提取设备的位置，诸如全球导航卫星系统(GNSS)(例如全球定位系统(GPS))、欧盟的伽利略、俄罗斯的全球导航卫星系统(GLONASS)、日本的准天顶卫星系统(QZSS)、印度的印度区域导航卫星系统(IRNSS)、中国的北斗等。此外，SPS接收器1171可由各种增强系统(例如基于卫星的增强系统(SBAS))使用，这些增强系统可以与一个或多个全球和/或区域性导航卫星系统相关或以其他方式能够与其一起使用。作为示例而非限制，SBAS可包括提供完整性信息、差分修正等的增强系统，例如广域增强系统(WAAS)、欧洲地球静止导航覆盖服务(EGNOS)、多功能卫星增强系统(MSAS)、GPS辅助地理增强导航或GPS和地理增强导航系统(GAGAN)等。因此，如本文所用，SPS可包括一个或多个全球和/或区域性导航卫星系统和/或增强系统的任何组合，并且SPS信号可包括SPS、类SPS和/或与这一个或多个SPS相关的其他信号。
ECU1160还可以包括存储器1169和/或与之通信。存储器1169可以包括但不限于本地和/或网络可访问存储器、磁盘驱动器、驱动器阵列、光存储设备、固态存储设备，例如随机存取存储器(“RAM”)和/或可以是可编程的、可闪存更新的只读存储器(“ROM”)等。这种存储设备可配置成实现任何适当的数据存储，包括但不限于各种文件系统、数据库结构等。
ECU1160的存储器1169还可以包括软件元件(未示出)，包括操作系统、设备驱动器、可执行库和/或嵌入在计算机可读介质中的其他代码，例如一个或多个应用程序，其可以包括由各种实施例提供的计算机程序，和/或可被设计成实施由其他实施例提供的方法，和/或配置系统，如本文所述。然后，在一方面，这样的代码和/或指令可用于配置和/或适配通用计算机(或其他设备)来根据所描述的方法执行一个或多个操作，从而产生专用计算机。
对于本领域技术人员来说，显然可以根据特定的要求进行实质性的改变。例如，也可以使用定制的硬件，和/或特定的元件可以在硬件、软件(包括便携式软件，例如小应用程序等)中实现，或者两者都有。此外，可以使用到诸如网络输入/输出设备的其他计算设备的连接。
参考附图，可以包括存储器的部件可以包括非暂时性机器可读介质。这里使用的术语“机器可读介质”和“计算机可读介质”指的是参与提供使机器以特定方式运行的数据的任何存储介质。在上文提供的实施例中，各种机器可读介质可能涉及向处理单元和/或其他设备提供指令/代码以供执行。另外或可替代地，机器可读介质可用于存储和/或携带这样的指令/代码。在许多实施方式中，计算机可读介质是物理和/或有形的存储介质。这种介质可以采取多种形式，包括但不限于非易失性介质、易失性介质和传输介质。计算机可读介质的常见形式包括例如磁性和/或光学介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储器芯片或盒、下文描述的载波或计算机可以从中读取指令和/或代码的任何其他介质。
这里讨论的方法、装置和设备是示例。各种实施例可以适当地省略、替代或添加各种过程或部件。例如，关于某些实施例描述的特征可以结合在各种其他实施例中。实施例的不同方面和元素可以类似的方式组合。这里提供的附图的各种部件可以用硬件和/或软件来实现。此外，技术在发展，因此，许多元素是示例，并不将本公开的范围限于那些特定的示例。
显然，根据上述教导，许多修改和变化是可能的。因此，应当理解，在所附权利要求的范围内，本发明可以不同于这里具体描述的方式实施。
本公开的实施例也可以如以下括号中所述。
(1)一种用于提供三维立体声音的方法，包括从位于车辆外部周围的传感器接收数据信号，基于接收的数据信号检测危险，确定检测到的危险的特征，由处理电路基于确定的检测到的危险的特征产生警报，并且经由布置在车辆内部周围的扬声器将产生的警报作为三维立体声音输出，输出的警报将确定的检测到的危险的特征传达给车辆驾驶员。
(2)根据(1)的方法，其中，传感器中的至少一个是麦克风，并且所述产生将警报产生为在至少一个麦克风处接收的原始声学信号的再现。
(3)根据(1)或(2)的方法，其中，所述产生基于从音频文件数据库获取的音频文件产生警报，音频文件对应于检测到的危险。
(4)根据(1)至(3)中任一项的方法，其中，与检测到的危险相对应的音频文件是模仿检测到的危险的自然声音的音频文件。
(5)根据(1)至(4)中任一项的方法，其中，所述检测通过基于标记数据信号的参考数据库将接收的数据信号分类为危险来检测危险。
(6)根据(1)至(5)中任一项的方法，其中，确定的检测到的危险的特征包括危险类型、检测到的危险的相对位置、避免检测到的危险所需的反应时间、检测到的危险的行进矢量以及检测到的危险的威胁等级。
(7)根据(1)至(6)中任一项的方法，其中，所述产生基于确定的检测到的危险的威胁等级的严重性来产生警报。
(8)根据(1)至(7)中任一项的方法，其中，根据确定的检测到的危险的威胁等级的严重性增强或减弱所产生的警报的幅度。
(9)一种用于提供三维立体声音的装置，包括处理电路，该处理电路配置为从位于车辆外部周围的传感器接收数据信号，基于接收的数据信号检测危险，确定检测到的危险的特征，基于确定的检测到的危险的特征产生警报，并且经由布置在车辆内部周围的扬声器将产生的警报作为三维立体声音输出，输出的警报将确定的检测到的危险的特征传达给车辆驾驶员。
(10)根据(9)的装置，其中，处理电路配置为通过基于标记数据信号的参考数据库将接收的数据信号分类为危险来检测危险。
(11)根据(9)或(10)的装置，其中，确定的检测到的危险的特征包括危险类型、检测到的危险的相对位置、避免检测到的危险所需的反应时间、检测到的危险的行进矢量以及检测到的危险的威胁等级。
(12)根据(9)至(11)中任一项的装置，其中，处理电路配置为基于确定的检测到的危险的威胁等级的严重性来产生警报。
(13)一种存储计算机可读指令的非暂时性计算机可读存储介质，当由计算机执行时，所述指令使计算机执行用于提供三维立体声音的方法，所述方法包括从位于车辆外部周围的传感器接收数据信号，基于接收的数据信号检测危险，确定检测到的危险的特征，基于确定的检测到的危险的特征产生警报，以及经由布置在车辆内部周围的扬声器输出所产生的警报作为三维立体声音，输出的警报将确定的检测到的危险的特征传达给车辆驾驶员。
(14)根据(13)的非暂时性计算机可读存储介质，其中，确定的检测到的危险的特征包括危险类型、检测到的危险的相对位置、避免检测到的危险所需的反应时间、检测到的危险的行进矢量以及检测到的危险的威胁等级。
(15)根据(13)或(14)的非暂时性计算机可读存储介质，其中，所述产生基于确定的检测到的危险的威胁等级的严重性来产生警报。
因此，前述讨论仅公开和描述了本发明的示例性实施例。本领域技术人员将理解，在不脱离本发明的精神或基本特征的情况下，本发明可以其他特定形式实施。因此，本发明的公开旨在说明，而不是限制本发明以及其他权利要求的范围。本公开，包括本文教导的任何容易辨别的变型，部分地限定了前述权利要求术语的范围，使得没有发明主题致力于公众。

Claims (15)

1.一种用于提供三维立体声音的方法，包括：
从位于车辆外部周围的传感器接收数据信号；
基于接收的数据信号检测危险；
确定检测到的危险的特征；
由处理电路基于确定的检测到的危险的特征产生警报；以及
经由布置在车辆内部周围的扬声器将所产生的警报作为三维立体声音输出，输出的警报将确定的检测到的危险的特征传达给车辆驾驶员。
2.根据权利要求1所述的方法，其中，至少一个传感器是麦克风，并且所述产生产生作为在至少一个麦克风处接收的原始声学信号的再现的所述警报。
3.根据权利要求1所述的方法，其中，所述产生基于从音频文件数据库获取的音频文件产生所述警报，所述音频文件对应于检测到的危险。
4.根据权利要求3所述的方法，其中，对应于检测到的危险的所述音频文件是模仿检测到的危险的自然声音的音频文件。
5.根据权利要求1所述的方法，其中，所述检测通过以下方式检测危险：
基于标记数据信号的参考数据库将接收的数据信号分类为危险。
6.根据权利要求1所述的方法，其中，确定的检测到的危险的特征包括危险类型、检测到的危险的相对位置、避免检测到的危险所需的反应时间、检测到的危险的行进矢量以及检测到的危险的威胁等级。
7.根据权利要求6所述的方法，其中，所述产生基于确定的检测到的危险的威胁等级的严重性产生所述警报。
8.根据权利要求7所述的方法，其中，根据确定的检测到的危险的威胁等级的严重性增强或减弱产生的警报的幅度。
9.一种用于提供三维立体声音的装置，包括：
处理电路，其配置为：
从位于车辆外部周围的传感器接收数据信号，
基于接收的数据信号检测危险，
确定检测到的危险的特征，
基于确定的检测到的危险的特征产生警报，以及
经由布置在车辆内部周围的扬声器将所产生的警报作为三维立体声音输出，输出的警报将确定的检测到的危险的特征传达给车辆驾驶员。
10.根据权利要求9所述的装置，其中，所述处理电路配置为通过以下方式检测危险：
基于标记数据信号的参考数据库将接收的数据信号分类为危险。
11.根据权利要求9所述的装置，其中，确定的检测到的危险的特征包括危险类型、检测到的危险的相对位置、避免检测到的危险所需的反应时间、检测到的危险的行进矢量以及检测到的危险的威胁等级。
12.根据权利要求11所述的装置，其中，所述处理电路配置为基于确定的检测到的危险的威胁等级的严重性产生所述警报。
13.一种存储计算机可读指令的非暂时性计算机可读存储介质，当由计算机执行时，所述指令使计算机执行用于提供三维立体声音的方法，所述方法包括：
从位于车辆外部周围的传感器接收数据信号；
基于接收的数据信号检测危险；
确定检测到的危险的特征；
基于确定的检测到的危险的特征产生警报；以及
经由布置在车辆内部周围的扬声器将所产生的警报作为三维立体声音输出，输出的警报将确定的检测到的危险的特征传达给车辆驾驶员。
14.根据权利要求13所述的非暂时性计算机可读存储介质，其中，确定的检测到的危险的特征包括危险类型、检测到的危险的相对位置、避免检测到的危险所需的反应时间、检测到的危险的行进矢量以及检测到的危险的威胁等级。
15.根据权利要求14所述的非暂时性计算机可读存储介质，其中，所述产生基于确定的检测到的危险的威胁等级的严重性产生所述警报。
CN202180069110.1A 2020-10-08 2021-08-19 用于提供三维立体声音的方法、装置和计算机可读存储介质 Pending CN116323366A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/066,250 2020-10-08
US17/066,250 US11812245B2 (en) 2020-10-08 2020-10-08 Method, apparatus, and computer-readable storage medium for providing three-dimensional stereo sound
PCT/EP2021/072995 WO2022073676A1 (en) 2020-10-08 2021-08-19 Method, apparatus, and computer-readable storage medium for providing three-dimensional stereo sound

Publications (1)

Publication Number Publication Date
CN116323366A true CN116323366A (zh) 2023-06-23

Family

ID=77564098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180069110.1A Pending CN116323366A (zh) 2020-10-08 2021-08-19 用于提供三维立体声音的方法、装置和计算机可读存储介质

Country Status (5)

Country Link
US (1) US11812245B2 (zh)
EP (1) EP4226652A1 (zh)
JP (1) JP2023544641A (zh)
CN (1) CN116323366A (zh)
WO (1) WO2022073676A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3989202A1 (en) * 2020-10-20 2022-04-27 Aptiv Technologies Limited Method for notifying hazards to a driver of a motor vehicle and device for implementing the same
US20220234501A1 (en) * 2021-01-25 2022-07-28 Autobrains Technologies Ltd Alerting on Driving Affecting Signal
US20220351619A1 (en) * 2021-04-29 2022-11-03 Abdelrahim Osama Amer Emergency Vehicle Audio Detector Apparatus

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7418346B2 (en) * 1997-10-22 2008-08-26 Intelligent Technologies International, Inc. Collision avoidance methods and systems
JP4019952B2 (ja) * 2002-01-31 2007-12-12 株式会社デンソー 音響出力装置
AU2003903414A0 (en) 2003-07-04 2003-07-17 Vast Audio An in-the-canal earphone for augmenting normal hearing with the capability of rendering virtual spatial audio concurrently with the real sound environment
JP4967927B2 (ja) 2007-08-27 2012-07-04 日産自動車株式会社 車両用聴覚モニタ装置
US8831255B2 (en) 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
US9412273B2 (en) * 2012-03-14 2016-08-09 Autoconnect Holdings Llc Radar sensing and emergency response vehicle detection
US9544692B2 (en) * 2012-11-19 2017-01-10 Bitwave Pte Ltd. System and apparatus for boomless-microphone construction for wireless helmet communicator with siren signal detection and classification capability
US9727129B2 (en) 2013-06-28 2017-08-08 Harman International Industries, Incorporated System and method for audio augmented reality
US9469247B2 (en) * 2013-11-21 2016-10-18 Harman International Industries, Incorporated Using external sounds to alert vehicle occupants of external events and mask in-car conversations
JP2019530061A (ja) * 2016-08-10 2019-10-17 ジーボ インコーポレーテッドＸｅｖｏ Ｉｎｃ． 推測注意モデルを用いて収集され格納されたメタデータを通して情報を提供する方法及び装置
US10467488B2 (en) * 2016-11-21 2019-11-05 TeleLingo Method to analyze attention margin and to prevent inattentive and unsafe driving
GB2566935B (en) * 2017-09-20 2021-09-22 Ford Global Tech Llc Selective sound system and method for a vehicle
JP2020154795A (ja) * 2019-03-20 2020-09-24 パナソニックＩｐマネジメント株式会社 出力制御装置、出力制御方法、および出力制御プログラム

Also Published As

Publication number Publication date
WO2022073676A1 (en) 2022-04-14
EP4226652A1 (en) 2023-08-16
JP2023544641A (ja) 2023-10-24
US11812245B2 (en) 2023-11-07
US20220116709A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
EP3759700B1 (en) Method for determining driving policy
US11231905B2 (en) Vehicle with external audio speaker and microphone
US11812245B2 (en) Method, apparatus, and computer-readable storage medium for providing three-dimensional stereo sound
US9177478B2 (en) Vehicle contact avoidance system
US9417838B2 (en) Vehicle safety system using audio/visual cues
US20180211528A1 (en) Vehicle acoustic-based emergency vehicle detection
US9437111B2 (en) Boundary detection system
US10424176B2 (en) AMBER alert monitoring and support
US8493198B1 (en) Vehicle and mobile device traffic hazard warning techniques
EP3150436A2 (en) Hazard indicating system and method
JP6384419B2 (ja) 動物種類判定装置
CN107487258A (zh) 盲区检测系统和方法
CN107487333A (zh) 盲区检测系统和方法
JP2020091790A (ja) 自動運転システム
JP6826940B2 (ja) 電子機器、路側機、動作方法および制御プログラムならびに交通システム
US11713046B2 (en) Driving assistance apparatus and data collection system
US11269069B2 (en) Sensors for determining object location
US11801843B2 (en) Method, system, and computer program product for determining safety-critical traffic scenarios for driver assistance systems (DAS) and highly automated driving functions (HAD)
KR20180112336A (ko) 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법
CN210617998U (zh) 一种用于货运和客运车辆的盲区检测设备
US20220272448A1 (en) Enabling environmental sound recognition in intelligent vehicles
US20220135065A1 (en) Notification control device for vehicle and notification control method for vehicle
CN110381831B (zh) 车辆事件识别
CN113393687B (zh) 驾驶辅助装置、驾驶辅助方法、车辆和介质
JP2019074862A (ja) 推奨運転出力装置、推奨運転出力システム、及び推奨運転出力方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination