CN112124294A - 检测到车辆环境中的事件时适应车辆的驾驶条件的系统和方法 - Google Patents

Abstract

提供了用于适应车辆的驾驶条件的方法和系统。该系统包括非暂时性计算机可读介质，具有在其上存储的车辆的预编程驾驶操纵。该系统还包括处理器，其配置为获得车辆环境中的声源的音频数据。处理器还配置为基于音频数据确定声源的接收方向。处理器还配置为基于预编程或更新驾驶操纵以及确定的声源的接收方向来确定声源是否位于车辆的操纵内。此外，处理器配置为确定车辆与声源之间的范围，以便确定声源位于车辆的驾驶路径内。

Description

检测到车辆环境中的事件时适应车辆的驾驶条件的系统和 方法

技术领域

技术领域总体上涉及用于控制部分或完全自主车辆的控制系统，更特别地涉及用于在检测到车辆环境中的事件时适应车辆的驾驶条件的系统、车辆及方法。

背景技术

车辆的驾驶场景通常包括驾驶员必须相互作用的许多不同情况，例如以避免车辆与车辆周围的物体之间发生碰撞。这样的驾驶场景可能涉及车辆直线向前驾驶、左转或右转或者复杂的停车操纵，其中车辆随后在前进和后退驾驶之间变化。这些驾驶操纵可以由车辆部分或完全自主地执行，特别是使用配置为驱动这种操纵的车辆系统的处理器。然而，可能发生复杂和意外的驾驶场景或事件，这使得自主车辆系统难以预测这种驾驶场景的可能变化或确定是否需要对车辆系统进行干预以避免危险情况，例如避免车辆与附近物体的碰撞。

因此，期望在控制车辆时考虑并评估车辆环境中的声源，以增加对于乘客和周围人员或物体的安全性。另外，期望改善用于检测用来控制车辆的环境参数的传感器的冗余性。此外，结合附图以及前述技术领域和背景技术，根据随后的详细描述和所附权利要求，本发明的其他期望特征和特性将变得显而易见。

发明内容

提供了一种用于在检测到车辆环境中的事件时适应车辆的驾驶条件的系统。该系统包括非暂时性计算机可读介质，具有在其上存储的车辆的预编程驾驶操纵，其中预编程驾驶操纵指示车辆的驾驶路径。该系统还包括处理器，其配置为获得车辆环境中声源的音频数据。处理器还配置为基于音频数据确定声源的接收方向，接收方向指示声源相对于车辆的方向。处理器还配置为基于预编程驾驶操纵和确定的声源的接收方向来确定声源是否位于车辆的驾驶路径内。此外，处理器配置为如果确定声源位于车辆的驾驶路径内，则确定车辆与声源之间的范围。处理器配置为基于确定的范围控制车辆，例如通过改变车辆的速度或车辆的驾驶方向。基于确定的范围控制车辆可以包括在开始车辆的控制之前的确定的范围的其他处理步骤。处理器还可以配置为对驾驶操纵进行重新编程和/或使车辆停止。因此，可以产生指示车辆的即将驾驶路径的更新驾驶操纵。驾驶路径的更新可以实时进行。

在一实施例中，处理器还配置为仅在确定声源位于车辆的驾驶路径内时才确定车辆与声源之间的范围。

在一实施例中，非暂时性计算机可读介质存储一组音频模型，每个音频模型指示相应的声学场景，其中处理器还配置为基于获得的声源的音频数据和该组音频模型来确定声源的类型。

在一实施例中，非暂时性计算机可读介质还存储一组音频模型，每个音频模型指示相应的声学场景，其中处理器还配置为基于获得的声源的音频数据和该组音频模型来确定当前驾驶场景的紧急性估计，其中肯定紧急性估计指示声源与车辆的即将发生的碰撞事件。

在一实施例中，处理器还配置为：如果紧急性估计的结果是不确定的，则获得声源的第二音频数据；并且随后基于获得的声源的第二音频数据和该组音频模型来确定另一驾驶场景的第二紧急性估计。

在一实施例中，处理器还配置为获得车辆环境中的声源的其他传感器数据，以及基于声源的其他传感器数据与声源的音频数据的融合来提供融合数据。

在一实施例中，其他传感器数据是从相机、激光雷达和/或雷达获得的。

在一实施例中，处理器还配置为基于融合数据来验证当前驾驶场景的紧急性估计。

在一实施例中，处理器还配置为基于验证的当前驾驶场景的紧急性估计来控制车辆，其中通过处理器控制车辆包括改变车辆的驾驶路径或使车辆停止。

在一实施例中，声源是人、另一车辆、动物和/或扬声器。然而，应注意，发出声学噪声、音调或信号的任何其他声源都可被视为声源。

在一实施例中，该系统还包括音频传感器装置，其具有多个音频传感器阵列，其中音频传感器装置中的多个音频传感器阵列中的每个位于车辆的不同位置。

在一实施例中，音频传感器装置包括两个音频传感器阵列，两个音频传感器阵列中的每个具有两个音频传感器，例如麦克风。

在一实施例中，处理器还配置为使用两个音频传感器阵列基于三角测量来确定车辆与声源之间的范围。

在一实施例中，处理器还配置为获得车辆环境中的多个声源的音频数据，基于音频数据确定每个声源的接收方向，接收方向指示声源相对于车辆的相应方向，并且基于预编程驾驶操纵和确定的每个声源的接收方向来针对每个声源确定声源是否位于车辆的驾驶路径内。对于每个声源，可以使用两个或更多个音频传感器阵列来确定两个或更多个接收方向，其中然后至少两个接收方向可以用于定位声源。

在一实施例中，处理器还配置为选择被确定为位于车辆的驾驶路径内的声源，并且确定车辆与每个选择的声源之间的范围，并丢弃被确定为不在车辆的驾驶路径内的声源。

在一实施例中，处理器还配置为从选择的声源与车辆之间的确定的范围中确定最小范围，并且从多个声源中选择最接近车辆的单个声源。

在一实施例中，该系统还包括具有多个音频传感器阵列的音频传感器装置，其中处理器还配置为从选择的最接近车辆的单个声源中选择接收最大信噪比的一个音频传感器阵列，并且为来自所选音频传感器阵列的音频传感器的音频信号选择音频通道。

在一实施例中，处理器还配置为基于音频信号和存储在非暂时性计算机可读介质上的一组音频模型来确定当前驾驶场景的紧急性估计。

提供了一种用于在检测到车辆环境中的事件时适应驾驶条件的车辆。该车辆包括非暂时性计算机可读介质，具有在其上存储的车辆的预编程驾驶操纵，其中预编程驾驶操纵指示车辆的驾驶路径。该系统还包括处理器，其配置为获得车辆环境中声源的音频数据，基于音频数据确定声源的接收方向，接收方向指示声源相对于车辆的方向，基于预编程驾驶操纵和确定的声源的接收方向来确定声源是否位于车辆的驾驶路径内，并且如果确定声源位于车辆的驾驶路径内，则确定车辆与声源之间的范围。处理器配置为基于确定的范围控制车辆。除了或代替使用预编程操纵，还可以使用更新操纵来应用声源的接收方向的确定和声源是否位于车辆的驾驶路径内的确定以及车辆与声源之间的范围的确定。

提供了一种用于在检测到车辆环境中的事件时适应车辆的驾驶条件的方法。该方法包括以下步骤：在非暂时性计算机可读介质上存储车辆的预编程驾驶操纵，其中预编程驾驶操纵指示车辆的驾驶路径。该方法还包括以下步骤：通过处理器获得车辆环境中的声源的音频数据。该方法还包括以下步骤：通过处理器基于音频数据来确定声源的接收方向，接收方向指示声源相对于车辆的方向。该方法还包括以下步骤：通过处理器基于预编程驾驶操纵和确定的声源的接收方向来确定声源是否位于车辆的驾驶路径内。该方法还包括以下步骤：通过处理器，如果确定声源位于车辆的驾驶路径内，则确定车辆与声源之间的范围。该方法还包括以下步骤：基于确定的范围来控制车辆。

附图说明

在下文中将结合以下附图描述示例性实施例，其中相同的标号表示相同的元件，并且其中：

图1是根据实施例的具有用于在检测到车辆环境中的事件时适应车辆的驾驶条件的系统的车辆；

图2是示出根据实施例的用于在检测到车辆环境中的事件时适应车辆的驾驶条件的系统的系统架构的示意图；

图3A和3B示出了根据实施例的用于在检测到车辆环境中的事件时适应车辆的驾驶条件的方法的框图；

图4是根据实施例的图1的车辆的驾驶场景；

图5是根据另一实施例的图1的车辆的驾驶场景；

图6是根据另一实施例的具有单个音频传感器阵列的图1的车辆的音频传感器装置；

图7是根据实施例的具有两个后音频传感器阵列的图1的车辆的音频传感器装置；

图8是根据实施例的具有两个居中布置的音频传感器阵列的图1的车辆的音频传感器装置；

图9是根据实施例的具有两个前音频传感器阵列的图1的车辆的音频传感器装置；以及

图10是根据实施例的具有四个音频传感器阵列的图1的车辆的音频传感器装置。

具体实施方式

以下详细描述本质上仅是示例性的，并不旨在限制应用和使用。此外，无意受在前述技术领域、背景技术、发明内容或以下详细描述中提出的任何明示或暗示的理论约束。如本文所用，术语模块是指单独或以任何组合的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备，包括但不限于：专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或组)和存储器、组合逻辑电路和/或提供所描述功能的其他合适部件。

这里可以根据功能和/或逻辑块部件以及各种处理步骤来描述本公开的实施例。应当理解，可以通过配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实现这样的块部件。例如，本公开的实施例可以采用各种集成电路部件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。另外，本领域技术人员将理解，可以结合任何数量的系统来实践本公开的实施例，并且本文描述的车辆系统仅仅是本公开的示例性实施例。

为了简洁起见，与信号处理、数据传输、信令、控制和系统的其他功能方面(以及系统的各个操作部件)有关的常规技术在此处可能不会详细描述。此外，本文包含的各个附图中所示的连接线旨在表示各个元件之间的示例功能关系和/或物理联接。应当注意，在本公开的实施例中可以存在许多替代或附加的功能关系或物理连接。

参考图1，示出了根据各种实施例的车辆10。车辆10通常包括底盘12、车身14、前轮16和后轮18。主体14布置在底盘12上并且基本上包围车辆10的部件。主体14和底盘12可以共同形成框架。车轮16和18每个在车身14的相应角部附近旋转地联接至底盘12。

在各个实施例中，车辆10可以是自主车辆。自主车辆10例如是被自动控制以将乘客从一个位置运送到另一个位置的车辆。车辆10在所示实施例中描述为乘用车，但应当理解，也可以使用任何其他车辆，包括摩托车、卡车、运动型多用途车(SUV)、休闲车(RV)、轮船、飞机等。在示例性实施例中，自主车辆10是所谓的四级或五级自动化系统。四级系统表示“高度自动化”，是指自动驾驶系统对动态驾驶任务的所有方面的驾驶模式特定性能，即使驾驶员没有适当地响应干预要求。五级系统表示“完全自动化”，是指自动驾驶系统在可由人类驾驶员管理的所有道路和环境条件下对动态驾驶任务的所有方面的全时性能。然而，应当理解，自主车辆10可以具有从二级系统到五级系统的任何自动化级别。

如图所示，自主车辆10通常包括推进系统20、传动系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储装置32、至少一个控制器34和通信系统36。在各个实施例中，推进系统20可以包括内燃机、诸如牵引马达的电机和/或燃料电池推进系统。传动系统22配置成根据可选择的速比将动力从推进系统20传递至车轮16和18。根据各个实施例，传动系统22可包括有级传动比自动变速器、无级变速器或其他合适的变速器。制动系统26配置成向车轮16和18提供制动扭矩。在各个实施例中，制动系统26可以包括摩擦制动、线制动、诸如电机的再生制动系统和/或其他合适的制动系统。转向系统24影响车轮16和18的位置。尽管出于说明性目的示出为包括方向盘，但在本公开范围内预期的一些实施例中，转向系统24可以不包括方向盘。

传感器系统28包括一个或多个感测设备40a-40n，其感测自主车辆10的外部环境和/或内部环境的可观察到的状况。感测设备40a-40n可以包括但不限于雷达、激光雷达(光检测和测距)、声学传感器、全球定位系统、光学相机、热相机、超声传感器和/或其他传感器。例如，感测设备包括诸如麦克风等的声学传感器。致动器系统30包括一个或多个致动器设备42a-42n，其控制一个或多个车辆特征，比如但不限于推进系统20、传动系统22、转向系统24和制动系统26。在各个实施例中，车辆特征还可以包括内部和/或外部车辆特征，比如但不限于门、行李箱和舱室特征，比如通风、音乐、照明等(未编号)。

通信系统36配置为与其他实体48进行无线通信，比如但不限于其他车辆(“V2V”通信)、基础设施(“V2I”通信)、远程系统和/或个人设备。在示例性实施例中，通信系统36是无线通信系统，其配置为使用IEEE 802.11标准或通过使用蜂窝数据通信经由无线局域网(WLAN)进行通信。然而，在本公开的范围内还考虑了诸如专用短程通信(DSRC)信道之类的附加或替代通信方法。DSRC信道是指专门为汽车使用而设计的单向或双向短程到中程无线通信信道以及一组相应的协议和标准。

数据存储设备32存储用于自动控制车辆10的数据。在各个实施例中，数据存储设备32存储可导航环境的所定义的地图。在各个实施例中，所定义的地图可由远程系统预先定义并从远程系统获得。例如，所定义的地图可以由远程系统组装并传送到自主车辆10(无线和/或以有线的方式)并且存储在数据存储设备32中。可以理解，数据存储设备32可以是控制器34的一部分，与控制器34分离，或者是控制器34的一部分和分离系统的一部分。

控制器34包括至少一个处理器44和计算机可读存储设备或介质46。计算机可读存储介质46和/或存储设备32可以存储车辆10的预编程驾驶操纵，其中该预编程驾驶操纵可以指示车辆10的即将驾驶路径。处理器44可以是任何定制的或可商购的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关的多个处理器中的辅助处理器、基于半导体的微处理器(形式为微芯片或芯片组)、宏处理器、其任何组合或通常用于执行指令的任何设备。例如，计算机可读存储设备或介质46可以包括只读存储器(ROM)、随机存取存储器(RAM)和保持活动存储器(KAM)中的易失性和非易失性存储。KAM是持久性或非易失性存储器，其可以在处理器44掉电时用于存储各种操作变量。可以使用许多已知的存储设备中的任何一种来实现计算机可读存储设备或介质46，比如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪存或能够存储数据的任何其他电、磁、光或组合存储设备，其中一些表示可执行指令，由控制器34在控制自主车辆10时使用。

指令可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。当由处理器44执行时，指令从传感器系统28接收并处理信号，执行用于自动控制自主车辆10的部件的逻辑、计算、方法和/或算法，并且基于逻辑、计算、方法和/或算法生成至致动器系统30的控制信号以自动控制自主车辆10的部件。尽管在图1中仅示出了一个控制器34，但自主车辆10的实施例可包括任意数量的控制器34，它们通过任何合适的通信介质或通信介质的组合进行通信，并且配合以处理传感器信号，执行逻辑、计算、方法和/或算法，并且产生控制信号以自动控制自主车辆10的特征。

在各种实施例中，体现了控制器34的一个或多个指令。控制器包括非暂时性计算机可读介质46，其存储车辆10的预编程驾驶操纵，该预编程驾驶操纵指示车辆10的驾驶路径，并且特别指示车辆10将沿其行进的驾驶路径。控制器还包括处理器44，其配置为获得车辆10的环境中的至少一个声源41的音频数据。声源41可以是发射例如通过空气从声源41传播到车辆10的声波或音波的任何声源。将参考图2更详细地描述控制器34，特别是处理器44的功能。

图2是示出用于适应图1所示的车辆10的驾驶条件的系统1的系统架构的示意图。系统1可以集成在车辆10中，其中车辆10是自主车辆(AV)。车辆10包括音频传感器装置40，其包括音频传感器阵列40a-40d，用于感测来自车辆10的环境中的声源41的声信号41a，例如音波或声波。每个音频传感器阵列40a-40d布置在车辆10处、上或内的不同位置。每个音频传感器阵列40a-40d可包括一个或多个音频传感器，例如麦克风。在图2所示的示例中，声源41是在环境中喊叫或产生噪声的人。音频传感器阵列40a-40d从人接收声信号41a并产生声信号数据41b，其被提供给处理器44。注意，为了清楚起见，处理器44以及AV车辆控制器或操纵系统模块30描述为与车辆10分开，然而应当理解的是，示例性实施例的处理器44以及AV控制器或操纵系统模块30是车辆10的一部分或集成到车辆10中。将参考图6至10描述不同的传感器阵列装置。

在示例性实施例中，处理器44包括阵列处理模块44a，其配置为基于来自音频传感器阵列40a-40d的声信号数据41b获得声源41的音频数据。基于这些音频数据，处理器44确定声源41的接收方向，其中该接收方向指示至少一个声源41相对于车辆10的方向。接收方向例如可以参考车辆10的纵向轴线来测量。因此，接收方向例如使用三维坐标来指示声源41相对于车辆10的位置。特别地，两个接收方向可以指示声源41的位置。因此，至少两个音频传感器阵列40a-40d可以用于为至少两个音频传感器阵列40a-40d中的每个确定声源41的接收方向，以便确定声源41的位置。可以使用三维坐标来确定声源41的位置，其中可以忽略位于道路上方的声源41，其中还可以考虑位于道路上的声源41。在示例性实施例中，所有音频传感器阵列40a-40d用于确定即定位声源41。这意味着每个音频传感器阵列40a-40d确定声源41的一个接收方向，从而对于每个音频传感器阵列40a-40d，获得声源41的一个相应的接收方向。然后将这些接收方向用于定位声源41，并估计声源41是否位于驾驶路径中，即估计是否可以排除声源位于驾驶路径内。定位由处理器44的定位模块44b执行。定位还可以使用来自阵列间能量差的信息，其是基于由每个音频传感器阵列40a-40d接收的音频信号41a的强度而计算的。以这种方式，可以确定声源41相对于车辆10的接收方向，因此可以定位声源41，使得可以例如使用三维坐标来确定声源41相对于车辆10的位置。然而，可能优选的是基于两个接收方向来确定定位。能量差可另外用于消除假设的方向。描述的过程可被称为声源41的低等待时间短程操纵相关定位。

在示例性实施例中，声源41的定位可以通过处理器44的定位模块44b基于阵列间能级差消除而进行。该阵列间能级差消除可以包括基于所考虑的声源41的声强或能量确定的定位，即找到通过不同的音频传感器阵列40a-40d从其接收到最强声信号41a的声源41。

在示例性实施例中，处理器44基于预编程驾驶操纵或更新驾驶操纵以及确定的声源41的接收方向来估计声源41是否位于车辆10的驾驶路径(未示出)内。如果声源41定位成使得如果声源41不移开并且车辆10在没有控制干预的情况下继续遵循预编程驾驶操纵而将在车辆10和声源41之间发生碰撞事件，则声源41位于驾驶路径内。在这种情况下，即当估计声源41在车辆10的驾驶路径内或与之相交且因此处理器44估计声源41位于车辆10的驾驶路径内时，处理器44进一步确定车辆10和声源41之间的范围，以确认声源41确定地位于车辆10的驾驶路径内。优选地，处理器44仅在确定声源41位于车辆10的驾驶路径内时才确定车辆10和声源41之间的范围。因此，范围确定可以用于提供声源41是否确实位于车辆10的驾驶路径内的确认，其中事先确定的接收方向仅可以指示哪些声源41不确定地在车辆10的驾驶路径内。因此，可以在范围确定中仅考虑那些在使用接收方向进行定位之后未被排除在驾驶路径内的声源41。

在示例性实施例中，基于确定的接收方向的定位可能提供关于是否声源41可以被排除在车辆10的驾驶路径内或者是否声源41不可被排除在车辆10的驾驶路径内的信息。这意味着执行是否有声源41位于驾驶路径内的机会的第一估计。如果是，则确定车辆10和声源41之间的范围以确定地确定声源41是否位于驾驶路径内。如果声源41的接收方向没有指示声源41位于驾驶路径内，则处理器44不进行范围确定，即某些接收方向可以指示声源41肯定不在操纵路径中且这些不再被考虑。因此，有可能仅在确定范围之后才可以确定地确定声源是否在驾驶路径中。

在示例性实施例中，处理器44使用至少两个音频传感器阵列40a-40d基于三角测量来确定车辆10与至少一个声源41之间的范围。以这种方式，可以在某个时间点确定车辆10和声源41之间的范围，例如距离。

在示例性实施例中，处理器44还可以获得车辆10的环境中的多个不同声源41的音频数据，并基于音频数据确定多个声源41中的每个的接收方向。特别地，处理器44确定每个声源41的位置。接收方向因此指示多个声源41相对于车辆10的相应方向，从而提供每个声源41的位置。然后，处理器44基于预编程驾驶操纵和确定的多个声源41中的每个声源的接收方向即位置来为每个声源41确定其是否位于车辆10的驾驶路径内。处理器44选择被确定为位于车辆10的驾驶路径内的那些声源41，使得处理器44然后可以确定车辆10与每个所选声源41之间的范围。特别地，确定位于即将驾驶路径上的每个声源41(所选声源41)和车辆10之间的范围或距离。未被选择且因此不在车辆10的驾驶路径内的其他声源41被丢弃。换句话说，处理器44因此选择操纵方向上的所有声峰，即位于车辆10的驾驶路径内的所有声源41，并丢弃所有其他峰，即不位于车辆10的驾驶路径内的所有声源41。

在示例性实施例中，处理器44从所选声源41与车辆10之间的确定范围中确定最小范围。换句话说，仅被确定为位于车辆10的驾驶路径内且因此已经针对其确定范围的所选声源41根据其范围而被比较，使得来自多个声源41中的最接近车辆10的单个声源41被选择。

在示例性实施例中，处理器44例如处理器44的阵列选择模块44c选择音频传感器阵列40a-40d中的单个，例如阵列40c。通过确定哪个音频传感器阵列40a-40d从已被选择为最接近车辆10的所选单个声源41接收最大信噪比来进行选择。换句话说，可以选择接收最高声信号和最低声学噪声的音频传感器阵列40c。结果是，所选的单个音频传感器阵列40c被处理器44进一步用于朝向最接近车辆10的所选声源41形成波束，即为来自所选音频传感器阵列40c的音频传感器例如来自单个音频传感器的音频信号选择音频通道。这可以由处理器44的空间对象分离模块44d执行。

在示例性实施例中，非暂时性计算机可读介质46除了预编程驾驶操纵之外还存储预训练音频模型。音频模型可以描述不同的声学场景或不同类型或布置的声源的特征。然后，处理器44特别是模式识别模块44e能够将所选的音频信号分配给存储在非暂时性计算机可读介质46上的至少一个预训练音频模型。这可以理解为在所选音频信号和被执行以获得确定概率的预训练音频模型之间的比较，基于该概率可以假定所选音频信号属于特定的预训练音频模型。换句话说，所选的音频信号被分类。该过程可以由模式识别模块44e的类型和紧急性分类器模块44f执行。因此，可以应用预定的概率阈值，其指示必须达到哪个概率以指示已经正确识别了驾驶场景，尤其是声源41。然后，处理器44可以基于比较和概率计算来确定至少一个声源41的类型。然后，处理器44还可以基于比较和概率计算，通过分析涉及车辆10和周围声源41的驾驶情况来确定当前驾驶场景的紧急性估计。肯定紧急性估计可以指示声源41和车辆10之间的即将发生的碰撞事件。紧急性估计可以因此取决于车辆控制系统需要多么紧急的干预以避免碰撞事件。这可以基于所选音频数据和音频模型的比较来确定，该比较提供对于某些当前驾驶场景特别是描述车辆10和声源41的定位和运动的当前情况的概率的指示。基于这种概率方法，可以确定将如何紧急地改变情况，以避免即将来临的危险情况，甚至避免声源41与车辆10之间的碰撞。非暂时性计算机可读介质46以及类型和紧急性分类器模块44f都是处理器44的模式识别模块44e的一部分。紧急性估计可以包括基于多普勒冲击下的音高变化对音频数据进行紧急性相关的处理。

在示例性实施例中，处理器44迭代地重复上述过程，直到可以进行明确的即可确定的类型和/或紧急性估计。如果可以进行肯定紧急性估计或否定紧急性估计，则存在可确定的紧急性估计。肯定紧急性估计可以指示声源41与车辆10之间可能即将发生的碰撞事件，并且可能需要对该紧急性估计进行进一步验证以为车辆10提供控制干预。否定紧急性估计可以指示碰撞事件可被排除。如果紧急性估计的结果不确定或不清楚，例如当需要相同选择的音频信号或另一选择的音频信号的分类来执行紧急性判断即做出肯定或否定紧急性估计时，则处理器44将获得至少一个声源41的第二音频数据。可以由紧急性判断模块44g执行紧急性估计是否是肯定的、否定的或不确定的判断。如果紧急性估计的结果是不确定的，则可以基于获得的至少一个声源41的第二音频数据和该组音频模型来执行对环境的另一声学感测，以接收其他音频信号并获得另一驾驶场景的相应第二音频信号。

在示例性实施例中，处理器44获得车辆10的环境中的至少一个声源41的其他传感器数据。这些其他传感器数据可以是来自相机47a或激光雷达传感器47b的光学数据或者来自雷达传感器47c的数据。处理器44具有传感器数据融合模块44h，其基于至少一个声源41的其他传感器数据与至少一个声源41的所选音频数据特别是来自所选音频通道的所选音频信号的融合来提供融合数据。数据融合可以提供对紧急性估计的正确性的验证，其基于从音频传感器即音频传感器阵列装置40获得的音频数据。处理器44因此基于融合数据来验证当前驾驶场景的紧急性估计。如果通过其他传感器数据和数据融合确认了紧急性估计，则处理器44基于验证的当前驾驶场景的紧急性估计来控制车辆10。

在示例性实施例中，车辆10由处理器44特别是由操纵系统模块30的AV控制器控制或操纵。控制和操纵可包括改变车辆10的驾驶路径或使车辆10停止。改变驾驶路径可以包括向左转或向右转等。

在示例性实施例中，系统1为基于传感器的环境检测提供改进的冗余，并且可以补偿由于传感器或决策逻辑故障、障碍物、盲点和总体上人类行为而发生的意外事件。在操纵或停放车辆10时，系统1适于处理由人例如行人的喊叫或哭泣指示的意外事件。然而，进一步的应用也是可能的，比如处理环境中喇叭或刺耳声指示的意外事件。系统1提高了操纵AV的安全性，特别是AV的驾驶员和乘客的安全性，还改善了车辆10的环境中的人的安全性。

在示例性实施例中，系统1提供了低等待时间分类，其包括基于声源41相对于车辆10的方向、车辆的操纵、声源41和车辆10之间的范围以及指示改变车辆10的驾驶条件的要求的紧急性估计的传感器阵列检测的推定事件的连续评估。可以增加并且迭代地执行估计的持续时间，直到达到预定的检测置信度。将参考图3A和3B进一步详细描述。

在示例性实施例中，系统1还提供依赖于操纵的空间扫描。其中，可以仅在操纵方向上对事件进行增量评估，即仅针对位于车辆10的驾驶路径中的声源41进行评估。之后，仅对位于操纵方向(DoA处于操纵方向)上的声源进行范围估计。此外，仅当声源41和范围被确定为在操纵方向上时才应用波束形成。

在示例性实施例中，系统1还提供用于检测短程事件的架构。提供了一种分布式麦克风架构，例如参照图6至10进行描述。一些事件可以通过音频传感器装置40的音频传感器阵列40a-40d之间的能量差来过滤，其中能量差基于从声源41接收的不同声信号41a的不同强度。通过应用此，有可能将汽车用作阻挡元件，以消除某些声源41，因此不考虑将其用于紧急性估计。

图3A和3B示出了用于在检测到车辆10的环境中的事件时适应车辆10的驾驶条件的示例性方法的流程图的框图。该方法由图1和2的系统1的处理器44执行。在下面，M代表一个音频传感器阵列中麦克风的数量，N代表音频传感器阵列的数量，n代表音频传感器阵列的索引，P代表在操纵方向上的声源(即峰值)的接收方向的数量，D代表在消除阵列间能级差之后在操纵方向上的声源(即峰值)的接收方向的数量，d代表峰值索引，SU代表“声音紧急标记”的布尔值。

在示例性实施例中，在步骤200，将n设定为“0”并且将SU设定为“0”。在步骤200，该方法开始于从车辆的环境收集声信号的样本。N个音频传感器阵列用于从环境中获得这些声信号样本。其中，提供用于接收来自环境的声信号的音频通道的数量由N乘以M来确定。在图2所示的步骤210的迭代过程开始时，参数n递增。在步骤210，针对每个第n个音频传感器阵列单独确定声信号的接收方向。换句话说，步骤210对第n个音频传感器阵列应用DoA(到达方向)-估计。在通过第n个音频传感器阵列在步骤210获得接收方向之后，在步骤220中确定环境中的声信号即峰值是否在车辆的操纵方向上。如果否，则在步骤230清除音频缓冲器，并且该过程再次从步骤200开始，其中n现在被设定为“1”。如果是，则过程继续进行到步骤240，其中确定n是否等于N。如果否，即如果尚未对每个第n个音频传感器阵列进行DoA估计，则n再次递增，并且在步骤210，再次确定下一个音频传感器阵列的声信号(峰值)的接收方向。如果是，则在步骤250将d设定为“0”。在步骤260，确定不同音频传感器阵列之间的阵列间能量差，其可以包括确定不同的N个音频传感器阵列的声强度或能量水平。在步骤260，可以消除例如丢弃被估计不位于操纵方向内且因此不在车辆的驾驶路径内的所有声源，并且在步骤270，选择被估计在车辆的驾驶路径内的所有其他声源以供进一步考虑。在步骤270，为可能位于车辆的操纵方向上即没有被确认位于车辆的驾驶路径之外的所有声源估计或确定范围。在步骤280，在确定车辆与位于驾驶路径内的每个声源之间的范围或距离之后，根据与车辆的接近度对声源的范围进行分类。在步骤290，选择最接近车辆的操纵的声源，并且参数d递增，即被设定为“1”。在步骤290，这是选择单个声源。在步骤290之后，仍然是从其获得音频数据的所有音频通道(N乘以M)。然而，在步骤300，选择具有最高信噪比的音频传感器阵列，使得只有一个具有M个音频传感器(麦克风)的音频传感器阵列被激活以用于进一步处理。由于相对于所选信噪比更低的信噪比而未选择的其他音频传感器阵列不在进一步处理中使用。然后，在步骤310，所选的音频传感器阵列为来自音频传感器(麦克风)之一的音频信号选择音频通道。此过程也称为朝向最靠近车辆的所选声源的方向进行波束形成。结果是在步骤320的随后紧急性估计中仅考虑一个声源，从而将分类应用于干净信号。特别地，在步骤320，使用声学音频数据经由选择的音频通道和预先存储在非暂时性计算机可读介质上的一组音频模型来对声源进行分类。在这些数据之间进行比较，并执行用于确定某个声源和/或某个驾驶场景的存在的概率方法。基于此概率方法，在步骤330进行紧急性判断。如果紧急性判定为肯定，则在步骤340将参数SU设定为“1”，这导致紧急场景指示(声音紧急标志)，并且在步骤350，基于与来自其他传感器的其他传感器数据的数据融合，执行对该紧急场景指示的验证。如果紧急性判定为否定，则不做出紧急场景指示(声音紧急标志)，并且保留SU设定为“0”。然而，也在步骤350通过数据融合来验证这种指示的验证。其他传感器数据是通过不同传感器类型的传感器比如光学传感器从最接近车辆的所选声源获得的。在步骤350的验证基于所选声源的其他传感器数据与经由所选(波束形成的)音频通道接收的所选声源的音频数据的融合。验证可以验证声源相对于车辆的位置和/或声源的类型。此后，在步骤360，基于通过数据融合的验证结果，执行针对存在特定声源和/或特定驾驶场景的另一概率方法。如果通过数据融合确认给出紧急场景，则在步骤370将执行系统特别是AV控制器的控制干预。如果在步骤360中不符合步骤350的验证，则在步骤380确定参数d是否等于参数D，即是否已经检查驾驶路径内的所有声源的紧急性。特别地，如果在步骤380中d不等于D，则将从步骤290开始再次考虑下一个接近的声源。如果已经检查位于驾驶路径内的所有声源，且因此d等于D，则在步骤390检查SU是否已被设定为“1”，例如由于肯定紧急性估计。在这种情况下，在步骤400清除音频缓冲器，并且SU再次被设定为“0”。如果在步骤330没有做出肯定紧急性估计并且SU在步骤380仍被设定为“0”，则直接从步骤200再次继续，该方法将从头开始。

在示例性实施例中，图1和2的车辆10和/或系统1可以配置为执行图3A和3B的上述方法。

在示例性实施例中，图3A和3B的步骤200至310以及步骤380至400可被概括为依赖于操纵的空间音频扫描。步骤320、330和340一起可被概括为低等待时间清晰情况音频分类。步骤350、360和370可被概括为鲁棒紧急性检测。所描述的方法基于麦克风系统和算法，用于实现事件的检测，例如具有低等待时间、短范围和紧急性。

图4是图1的车辆10的示例性驾驶场景，其中车辆10包括参考图2描述的系统1(未示出)。该驾驶场景可以代表在最低等待时间模式下的所谓的依赖于操纵的空间扫描。四个声源411、412、413和414位于车辆10的环境中。在图4的示例中，车辆10的音频传感器装置40包括四个音频传感器阵列。然而，将理解，装置40可具有不同数量的音频传感器阵列。首先，使用音频传感器装置40的所有音频传感器阵列确定每个声源411、412、413和414相对于车辆10的接收方向(DoA)。因此，对于每个声源411、412、413和414，接收方向可以使用两个或更多个音频传感器阵列来确定。以这种方式，可以基于各个音频传感器阵列的相应两个或更多个接收方向来确定每个声源411、412、413和414的位置。然后，在下一步骤，基于存储在车辆处理器(未示出)的内存中的预编程驾驶操纵和确定的声源411、412、413和414的接收方向，确定声源411、412、413和414是否以及哪个位于车辆的驾驶路径15内。对于声源411和412，估计它们不位于车辆10的驾驶路径15内。对于声源413和414，估计它们可以位于车辆10的驾驶路径15内，从而选择并进一步考虑两个声源413和414。在这一点上，可能还不能确定地确定声源413和414中的哪个真正位于驾驶路径15内。为了确定地确定这些声源413和414中的哪个位于驾驶路径15内，范围确定可能是必要的。车辆10与每个所选声源413和414之间的范围由音频传感器装置40的所有音频传感器阵列确定。以这种方式，确定仅声源414位于车辆10的驾驶路径内。选择接收最大信噪比的两个阵列，以执行车辆10与每个所选声源413和414之间的范围计算。然后，执行波束形成，即选择用于从声源414接收的音频信号的单个音频通道。之后，通过使用经由所选音频通道的声学音频数据和预先存储在内存中的一组音频模型来执行紧急性估计，例如紧急性分类。如果紧急性估计提供指示需要紧急干预的肯定结果，例如如果检测到如果不提供车辆控制系统的干预则很可能发生声源414与车辆之间的碰撞，则车辆10的AV控制器34将通过停止车辆10或通过改变操纵方向来控制车辆10以避免这种碰撞。

图5是图1的车辆10的另一示例性驾驶场景，其中车辆10包括参考图2描述的系统1(未示出)。这种驾驶场景可以代表所谓的依赖于操纵的警告其他来源模式。四个声源411、412、413和414位于车辆10的环境中。在图5的示例中，车辆10的音频传感器装置40包括四个音频传感器阵列。然而，将理解，装置40可具有不同数量的音频传感器阵列。首先，使用音频传感器装置40的所有音频传感器阵列确定每个声源411、412、413和414相对于车辆10的每个音频传感器阵列的接收方向(DoA)。声源411和412被估计不位于车辆10的驾驶路径15内，然而，仍执行波束形成，即针对由声源411和由声源412接收的每个音频信号选择单个音频通道。之后，通过针对每个声源411和412使用经由所选音频通道的声学音频数据和预先存储在内存中的一组音频模型来执行紧急性估计，例如紧急性分类。对于声源411，确定紧急场景并将低警报消息发送到AV控制器34。对于声源412，紧急性估计为否定，并且没有警报消息发送到AV控制器34。对于声源413和声源414，使用音频传感器装置的所有音频传感器阵列估计它们位于车辆10的驾驶路径内。之后，为每个声源413和414选择接收最大信噪比的那些阵列。然后，执行车辆10与每个所选声源413和414之间的范围计算。对于声源313，然后确定其不位于车辆10的驾驶路径15内。相反，对于声源414，确定其位于车辆10的驾驶路径15内，即确定声源414位于车辆操纵中。然后，执行波束形成，即针对由声源414接收的音频信号和针对由声源413接收的音频信号选择相应的单个音频通道。之后，对于每个声源413和414，通过使用经由相应的所选音频通道的声学音频数据和预先存储在内存中的一组相应音频模型来执行紧急性估计，例如紧急性分类。对于声源413，该紧急性估计为否定，并且低警报消息被发送到AV控制器34。相反，对于声源414，紧急性估计提供指示需要紧急干预的肯定结果。在这种情况下，关键消息被发送到车辆10的AV控制器34，其将通过停止车辆10或通过改变操纵方向来控制车辆10以避免与声源414发生碰撞。

图6是具有单个音频传感器阵列40a的音频传感器装置40。

图7是具有两个后音频传感器阵列40a和40b的图1的车辆10的音频传感器装置40。这种布置在向后方向上提供了良好的方向和范围确定。

图8是具有两个居中布置的音频传感器阵列40a和40b的图1的车辆10的音频传感器装置40。这种布置在向前和向后方向上提供了合理的方向和范围确定。

图9是具有两个前音频传感器阵列40a和40b的图1的车辆10的音频传感器装置40。这种布置在向前方向上提供了良好的方向和确定。

图10是具有四个音频传感器阵列40a-40d的图1的车辆10的音频传感器装置40。这种布置在所有方向上提供了良好的方向和确定。

尽管在前面的详细描述中已经提出了至少一个示例性实施例，但应当理解，存在大量的变型。还应当理解，一个或多个示例性实施例仅是示例，并且无意以任何方式限制本公开的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实施一个或多个示例性实施例的便利路线图。应当理解，在不脱离所附权利要求及其合法等同物所阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (10)

1.一种用于在检测到车辆环境中的事件时适应车辆的驾驶条件的系统，包括：

非暂时性计算机可读介质，具有在其上存储的车辆的预编程驾驶操纵，其中预编程驾驶操纵指示车辆的驾驶路径；

处理器，其配置为获得车辆环境中至少一个声源的音频数据，

基于音频数据确定至少一个声源的接收方向，所述接收方向指示至少一个声源相对于车辆的方向；

基于预编程驾驶操纵和确定的至少一个声源的接收方向，确定至少一个声源是否位于车辆的驾驶路径内；

如果确定至少一个声源位于车辆的驾驶路径内，则确定车辆与至少一个声源之间的范围；以及

基于确定的范围控制车辆。

2.根据权利要求1所述的系统，

其中，所述处理器还配置为仅在确定至少一个声源位于车辆的驾驶路径内时才确定车辆与至少一个声源之间的范围。

3.根据权利要求1所述的系统，

其中，所述非暂时性计算机可读介质还存储一组音频模型，每个音频模型指示相应的声学场景；

其中，所述处理器还配置为基于获得的至少一个声源的音频数据和该组音频模型来确定至少一个声源的类型。

4.根据权利要求1所述的系统，

其中，所述非暂时性计算机可读介质还存储一组音频模型，每个音频模型指示相应的声学场景；

其中，所述处理器还配置为基于获得的至少一个声源的音频数据和该组音频模型来确定当前驾驶场景的紧急性估计，

其中，肯定紧急性估计指示至少一个声源与车辆的即将发生的碰撞事件。

5.根据权利要求4所述的系统，

其中，所述处理器还配置为：如果所述紧急性估计的结果是不确定的，则获得至少一个声源的第二音频数据；并且随后基于获得的至少一个声源的第二音频数据和该组音频模型来确定另一驾驶场景的第二紧急性估计。

6.根据权利要求4所述的系统，

其中，所述处理器还配置为获得车辆环境中的至少一个声源的其他传感器数据，以及

基于至少一个声源的其他传感器数据与至少一个声源的音频数据的融合来提供融合数据。

7.根据权利要求6所述的系统，

其中，所述处理器还配置为基于融合数据来验证当前驾驶场景的紧急性估计。

8.根据权利要求7所述的系统，

其中，所述处理器还配置为基于验证的当前驾驶场景的紧急性估计来控制车辆，

其中，通过处理器控制车辆包括改变车辆的驾驶路径和使车辆停止中的一个。

9.根据权利要求1所述的系统，还包括：

音频传感器装置，其具有多个音频传感器阵列，其中，所述音频传感器装置中的多个音频传感器阵列中的每个位于车辆的不同位置。

10.一种用于在检测到车辆环境中的事件时适应车辆的驾驶条件的方法，包括：

在非暂时性计算机可读介质上存储车辆的预编程驾驶操纵，其中预编程驾驶操纵指示车辆的驾驶路径；

通过处理器获得车辆环境中的至少一个声源的音频数据；

通过处理器基于音频数据来确定至少一个声源的接收方向，所述接收方向指示至少一个声源相对于车辆的方向；

通过处理器基于预编程驾驶操纵和确定的至少一个声源的接收方向来确定至少一个声源是否位于车辆的驾驶路径内；

通过处理器，如果确定至少一个声源位于车辆的驾驶路径内，则确定车辆与至少一个声源之间的范围；以及

通过处理器基于确定的范围来控制车辆。

Images