CN112601688A - 对自主车辆的声音的检测和响应 - Google Patents

Abstract

该技术涉及针对具有自主驾驶模式的车辆(100)对声音进行检测和做出响应。在一示例中，可以接收与在车辆的一个或多个麦克风(152)处接收到的声音相对应的可听信号。可以接收由识别车辆环境中的对象的车辆感知系统(172)所生成的传感器数据。可以通过将可听信号输入分类器来确定声音的类型。可以基于所确定的声音类型来确定一组附加信号。传感器数据可以被处理以便识别出该一组附加信号中的一个或多个附加信号。可以在自主驾驶模式下控制车辆，以便基于一个或多个附加信号和声音的类型来对该声音做出响应。

Description

对自主车辆的声音的检测和响应

相关申请的交叉引用

本申请要求2018年8月22日提交的申请序列号16/108,411的权益，其公开内容通过引用合并于此。

背景技术

自主车辆，例如不需要驾驶人员的车辆，可以用于帮助将乘客或物品从一个位置运输到另一位置。这样的车辆可以在完全自主模式下操作，其中乘客可以提供一些初始输入，例如接送或目的地位置，并且车辆将自身操纵到该位置。为了安全地做到这一点，这些车辆必须能够检测和识别环境中的对象并快速做出反应。通常，这些对象是从可以由诸如激光雷达(LIDAR)、无线电雷达或摄像头之类的传感器感知的信息中识别出来的。

在某些情况下，声音可能是确定车辆应如何响应其环境的至关重要的信号。例如，铁路道口铃声、火车汽笛声、从卡车倒车发出的蜂鸣声、人行横道的嘈杂声等，都可以为驾驶员提供可能发生的情况的重要背景线索，并且在许多情况下，在驾驶人员能够视觉地感知该情况之前。因此，能够检测并响应这样的行进对于确保安全有效的自主驾驶尤为重要。

发明内容

本公开的一个方面提供了一种针对具有自主驾驶模式的车辆对声音进行检测并做出响应的方法。该方法包括接收与在车辆的一个或多个麦克风处接收的声音相对应的可听信号；以及接收由识别车辆环境中的对象的车辆的感知系统所生成的传感器数据，该感知系统包括一个或多个传感器；通过将可听信号输入分类器中来确定声音类型；基于所确定的声音类型来识别一组附加信号；处理该传感器数据，以便识别出该一组附加信号中的一个或多个附加信号；和在自主驾驶模式下控制车辆，以便基于一个或多个附加信号和声音类型来对该声音做出响应。

在一个示例中，该方法还包括响应于将可听信号输入到分类器中，接收声音类型的似然值，并确定该似然值满足阈值，其中在确定该似然值满足该所述阈值时执行对一个或多个附加信号的识别。在该示例中，该方法还包括基于所识别的一个或多个附加信号来增加所述似然值，以及其中，进一步基于增加的似然值来控制所述车辆。另外，该方法还包括确定增加的似然值满足第二阈值似然值，以及其中进一步基于确定增加的似然值满足所述第二阈值似然值来控制所述车辆。在另一示例中，该方法还包括确定所述一个或多个附加信号是附加信号的预定组合，并且其中进一步基于确定所述一个或多个附加信号是附加信号的预定组合来控制所述车辆。在另一示例中，该方法还包括使用与驾驶决策有关的声音的示例来训练所述分类器。在该示例中，与驾驶有关的声音包括可能会引起所述车辆的行为改变的声音。在另一示例中，声音类型是火车汽笛声，并且一个或多个附加信号包括在车辆的当前位置的预定距离内的、车辆的预先存储的地图信息中所识别的闪光灯、闸门、火车、火车站中的一个或多个，或在车辆的当前位置的预定距离内的、车辆的预先存储的地图信息中所识别的铁路道口。在另一示例中，声音类型是反向蜂鸣声，并且一个或多个附加信号包括给定尺寸的车辆或闪光灯中的一个或多个。在另一示例中，声音的类型是人行横道嘈杂声，并且一个或多个附加信号包括人行横道、步行标志或闪光灯中的一个或多个。在另一示例中，该方法还包括在识别所述一个或多个附加信号之前，以自主驾驶模式控制所述车辆，以便基于所述声音类型执行初始响应。

本公开的另一方面提供了一种针对具有自主驾驶模式的车辆对声音进行检测并做出响应的系统，该系统包括：一个或多个处理器，该一个或多个处理器被配置为：接收与在车辆的一个或多个麦克风处接收到的声音相对应的可听信号；接收由识别车辆环境中的对象的车辆感知系统所生成的传感器数据，该感知系统包括一个或多个传感器；通过将可听信号输入分类器中来确定声音类型；基于所确定的声音类型识别一组附加信号；处理该传感器数据，以便识别出该一组附加信号中的一个或多个附加信号；和在自主驾驶模式下控制车辆，以便基于一个或多个附加信号和声音类型来对该声音做出响应。

在一个示例中，一个或多个处理器还被配置为：响应于将可听信号输入到分类器中，接收声音类型的似然值；和确定该似然值满足一阈值，其中在确定该似然值满足该所述阈值时执行对一个或多个附加信号的识别。在该示例中，一个或多个处理器还被配置为基于所识别的一个或多个附加信号来增加似然值，并且，进一步基于增加的似然值来控制所述车辆。另外，一个或多个处理器还被配置为确定增加的似然值满足第二阈值似然值，以及其中进一步基于确定增加的似然值满足所述第二阈值似然值来控制所述车辆。附加地或替代地，所述一个或多个处理器还被配置为确定所述一个或多个附加信号是附加信号的预定组合，以及其中进一步基于确定所述一个或多个附加信号是附加信号的预定组合来控制所述车辆。在另一示例中，声音的类型是铁路警告铃，以及一个或多个附加信号包括在车辆的当前位置的预定距离内的、车辆的预先存储的地图信息中所识别的闪光灯、闸门、火车、火车站中的一个或多个，或者在车辆的当前位置的预定距离内的、车辆的预先存储的地图信息中所识别的铁路道口。在另一示例中，声音的类型是反向蜂鸣声，并且一个或多个附加信号包括给定尺寸的车辆或闪光灯中的一个或多个。在另一示例中，声音类型是人行横道嘈杂声，并且一个或多个附加信号包括人行横道、步行标志或闪光灯中的一个或多个。在另一示例中，该系统还包括车辆、感知系统以及一个或多个麦克风。

附图说明

图1是根据本公开的方面的示例性车辆的功能图；

图2是根据本公开的方面的地图信息的示例表示；

图3是根据本公开的方面的车辆的示例性外部视图；

图4是根据本公开的方面的与图2的地图信息相对应的一段道路的示例图；

图5是根据本公开的一些方面的流程图。

具体实施方式

综述

该技术涉及针对自主车辆或以自主驾驶模式操作的车辆对声音进行检测和响应。为了这样做，除了使用激光、雷达、声纳、摄像头或其他传感器来检测环境中对象的感知系统外，自主车辆还可配备有布置在车辆的不同位置上的一系列麦克风或麦克风阵列。感知系统可以向车辆的计算设备提供传感器数据，包括来自各种传感器的已处理和“原始”数据。

一旦由车辆的计算设备接收到，麦克风的输出就可以被输入到分类器中。为了训练分类器，与驾驶决策有关的声音的示例可以例如由操作人员或以其他方式收集和标记，并用于训练分类器。一旦训练完成，分类器就可以用于识别在麦克风处接收到的声音的类型以及用于每种类型声音的置信度或似然值。

每种类型的声音可以与一组附加信号或信息相关联。一旦分类器在第一似然阈值处识别出特定类型的声音，则车辆的计算设备就可以开始分析来自感知系统的传感器数据，以便识别与特定类型的声音相关的一组附加信号中的一个或多个附加信号。通过使用第一似然阈值，这可以避免车辆的计算设备尝试搜索非常不可能实际发生并且将造成计算资源浪费的附加信号。

所识别的附加信号的已识别组中的每个附加信号可以用于增加似然值，按照该似然值识别的经识别声音类型实际上是真实声音。另外，这些附加信号可用于识别什么对象实际正在发出该声音。一旦满足第二似然阈值，车辆的计算设备就可以主动控制车辆，以便控制车辆对声音进行响应。第二似然阈值可以大于第一似然阈值、至少一个附加信号的识别和/或附加信号的特定或预定组合的识别。响应可以包括，通过以自主驾驶模式控制车辆以便让行于该对象或者以简单地驾驶模式谨慎地控制车辆，从而对被识别为发出该声音的对象做出响应。

本文所述的特征允许以自主模式驾驶的车辆自动地检测并对声音做出响应。这不仅对在与一些情况相关的对象被遮挡时且甚至在这样的情况对其他传感器(例如激光雷达和摄像头)是“可见的”之前允许车辆对这样的情况作出反应，而且通过这样做，还使车辆有更多时间对这些情况作出响应。反过来，这可以使车辆在道路上显著地更加安全。

示例系统

如图1所示，根据本公开的一个方面的车辆100包括各种部件。尽管本公开的某些方面对于特定类型的车辆是特别有用的，但是该车辆可以是任何类型的车辆，包括但不限于轿车、卡车、摩托车、公共汽车、房车等。该车辆可以具有一个或多个计算设备，例如包含一个或多个处理器120、存储器130和通常在通用计算设备中存在的其他部件的计算设备110。

存储器130存储可由一个或多个处理器120访问的信息，包括可由处理器120执行或以其他方式使用的指令132和数据134。存储器130可以是能够存储可由处理器访问的信息的任何类型，包括计算设备可读介质或其他存储数据的介质，这些数据可以借助电子设备读取，例如硬盘、存储卡、ROM、RAM、DVD或其他光盘，以及其他可写和只读的存储器。系统和方法可以包括前述的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。

指令132可以是将由处理器直接执行(例如，机器代码)或间接执行(例如，脚本)的任何指令集。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这方面，术语“指令”和“程序”在本文中可以互换使用。指令可以以对象代码格式存储以供处理器直接处理，或者以任何其他计算设备语言存储，包括按需解释或预先编译的独立源代码模块的脚本或集合。指令的功能、方法和例程将在下面更详细地说明。

数据134可以根据指令132由处理器120进行检索、存储或修改。作为示例，存储器130的数据134可以存储预定义的场景。给定场景可以识别一组场景要求，包括对象的类型，该对象相对于车辆的位置范围以及其他因素，例如自主车辆是否能够围绕该对象进行操纵、该对象是否正在使用转向信号、与对象的当前位置相关的交通信号灯的状态、对象是否正在接近停车标志等。要求可包括离散值——例如“右转弯信号打开”或“位于仅可右转弯车道中”，或值的范围——例如“使行驶方向以与车辆100的当前路径偏离30至60度的角度取向”。在一些示例中，预定场景可以包括针对多个对象的类似信息。

一个或多个处理器120可以是任何常规处理器，例如可商购获得的CPU。可替代地，一个或多个处理器可以是专用设备，例如ASIC或其他基于硬件的处理器。尽管图1在功能上将处理器、存储器和计算设备110的其他元件示出为在同一框内，但是本领域普通技术人员将理解，处理器、计算设备或存储器实际上可以包括可以或可以不存储在同一物理壳体内的多个处理器、计算设备或存储器。类似地，存储器可以是位于与计算设备110的壳体不同的壳体中的硬盘驱动器或其他存储介质。因此，参照处理器或计算设备将被理解为包括可以或可以不并行运行的处理器或计算设备或存储器的集合。

计算设备110可以是通常与诸如上述处理器和存储器的计算设备以及用户输入150(例如，鼠标、键盘、触摸屏和/或麦克风)以及各种电子显示器(例如，具有屏幕的监视器或可用于显示信息的任何其他电气设备)结合使用的所有部件。在该示例中，车辆包括布置在车辆上的不同位置处的一系列麦克风152或麦克风阵列。如图所示，麦克风阵列被描绘为与感知系统172分离并且被合并到计算系统110中。然而，所有或一些麦克风152可以被合并到感知系统172中或者可以被配置为单独的系统。在这方面，麦克风可以被认为是独立的计算设备，经由将信号发送到计算设备110的微控制器来操作该计算设备。

在一个示例中，计算设备110可以是结合到车辆100中的自主驾驶计算系统。自主驾驶计算系统能够与车辆的各种部件进行通信。例如，返回图1，计算设备110可以与车辆100的各种系统通信，例如减速系统160(用于控制车辆的制动)、加速系统162(用于控制车辆的加速)、转向系统164(用于控制车轮的取向和车辆的方向)、发信号系统166(用于控制转向信号)、导航系统168(用于将车辆导航到某个位置或对象周围)、定位系统170(用于确定车辆的位置)、感知系统172(用于检测车辆环境中的对象)和动力系统174(例如，电池和/或汽油或柴油动力发动机)，以便在自主驾驶模式下根据存储器130的指令132控制车辆100的运动、速度等，该自主驾驶模式不要求或不需要来自车辆乘客的连续或周期性输入。同样，尽管这些系统显示为在计算设备110外部，但实际上，这些系统也可以合并到计算设备110中，再次作为用于控制车辆100的自主驾驶计算系统。

计算设备110可以通过控制各种部件来控制车辆的方向和速度。举例来说，计算设备110可以使用来自地图信息和导航系统168的数据完全自主地将车辆导航到目的地位置。计算设备110可以使用定位系统170来确定车辆的位置和感知系统172，以在需要安全到达该位置时检测该对象并对该对象响应。为了这样做，计算设备110可以使车辆加速(例如，通过增加由加速系统162提供给发动机的燃料或其他能量)、减速(例如，通过减少供应给发动机的燃料、换档和/或通过减速系统160施加制动)、改变方向(例如，通过由转向系统164使车辆100的前轮或后轮转向)和针对这样的改变发出信号(例如，通过点亮发信号系统166的转向信号)。因此，加速系统162和减速系统160可以是传动系统的一部分，该传动系统包括在车辆的发动机和车辆的车轮之间的各种部件。同样，通过控制这些系统，计算设备110还可以控制车辆的传动系统，以便自主地操纵车辆。

作为示例，计算设备110可以与减速系统160和加速系统162交互，以便控制车辆的速度。类似地，计算设备110可以使用转向系统164来控制车辆100的方向。例如，如果车辆100配置为在道路上使用，例如轿车或卡车，则转向系统可以包括控制车轮角度以使车辆转向的部件。发信号系统166可以由计算设备110使用，以便例如在需要时通过点亮转向信号灯或刹车灯来向其他驾驶员或车辆发出信号，以告知车辆的意图。

计算设备110可以使用导航系统168来确定并遵循到达一位置的路线。在这方面，导航系统168和/或数据134可以存储地图信息，例如计算设备110可以使用的高度详细的地图，以导航或控制车辆。作为示例，这些地图可以识别道路、车道标记、交叉路口、人行横道、限速、交通信号灯、建筑物、标志、实时交通信息、植被或其他这样的对象和信息的形状和高度。车道标记可以包括诸如实线或虚线的双或单车道线、实线或虚线的车道线、反光器等特征。给定的车道可以与左右车道线或定义车道边界的其他车道标记关联。因此，大多数车道可以由一个车道线的左边缘和另一车道线的右边缘界定。

图2是一段道路的地图信息200的示例。地图信息200包括这样的信息，其识别出与交叉路口202和铁路道口204接近的各种道路特征的形状、位置和其他特点。在该示例中，地图信息200信息定义车道标记210-214、铁路道口闸门220、222、人行横道230、232，人行道240、停车标志250,252的形状和位置，以及车道260、262的形状和交通方向等。尽管地图信息200的示例仅包括一些道路要素，例如车道线、路肩区域、交叉路口以及车道和取向，但是地图信息200还可以识别各种其他道路特征，例如交通信号灯，人行横道，人行道，停车标志，让行标志、限速标志、道路标志、减速带等。尽管未示出，但是地图信息还可以包括识别速度限制和其他合法交通要求的信息，例如在给出停车标志的位置或交通信号灯的状态等的情况下，哪辆车拥有通行权。

尽管详细的地图信息在本文中被描述为基于图像的地图，但是该地图信息不必完全基于图像(例如，光栅)。例如，详细地图信息可以包括一个或多个道路图或信息的图形网络，例如道路、车道、交叉路口以及这些特征之间的连接。每个特征可以存储为图形数据，并且可以与这样的信息相关联，诸如地理位置以及是否关联于其他相关特征，例如，停车标志可以关联于道路和交叉路口等。在一些示例中，相关联的数据可以包括路线图的基于网格的索引，以允许高效地查找某些道路图特征。

感知系统172还包括一个或多个部件，用于检测车辆外部的对象，例如其他车辆、道路上的障碍物、交通灯信号、标志、树木等。例如，感知系统172可以包括一个或多个激光雷达传感器、声纳设备、无线电雷达单元、摄像头和/或记录可由计算设备110处理的传感器数据的任何其他检测设备。感知系统的传感器可以检测对象及其特点，例如位置、取向、大小、形状、类型(例如，车辆、人或行人、骑自行车的人等)、行驶方向和移动速度等。来自传感器和/或上述特点的原始数据可以被量化或安排到描述性函数、向量和/或边界框中，并且在其由感知系统172生成时作为传感器数据被周期性地且连续地发送至计算设备110，以进一步处理。如在下面进一步详细讨论的，计算设备110可以使用定位系统170来确定车辆的位置以及使用感知系统172以在需要时来检测并响应对象以安全地到达该位置。

例如，图3是车辆100的示例外部视图。在该示例中，车顶壳体310和圆顶壳体312可以包括激光雷达传感器以及各种摄像头和雷达单元。另外，位于车辆100的前端的壳体320和在车辆的驾驶员和乘客侧的壳体330、332可以分别存储激光雷达传感器。例如，壳体330位于驾驶员门360的前面。车辆100还包括用于雷达单元和/或摄像头的壳体340、342，其也位于车辆100的车顶上。附加雷达单元和摄像头(未示出)可以位于车辆100的前端和后端和/或沿车顶或车顶壳体310的其他位置。

图3还包括布置在车辆上不同位置的麦克风152(或152a-152d)。这些麦克风可以认为是“无源麦克风”，因为这些麦克风不需要包括发射器(例如声纳设备中使用的发射器)。每个麦克风可以是单个麦克风或者较大麦克风阵列的一部分。在这方面，如上所述的，麦克风152(包括152a-152d)实际上可以包括一个或多个麦克风或麦克风阵列。然而，由于麦克风是有方向性的，换句话说，车辆的前端的阵列不能很好地听到车辆后面的声音，因此可以使用多于一组的麦克风或阵列。在这一方面，第二组麦克风152b可以位于车辆100的后部。也可以使用附加的麦克风阵列，诸如麦克风152c和152d，其被取向成远离车辆的侧面(车辆100的左和右或“驾驶员”侧和“乘客”侧)。

尽管在附图中未示出，但是附加地或替代地，麦克风阵列可以放置成使麦克风围绕车辆的车顶面板，例如围绕壳体312的圆周(此处描述为圆顶)。这可以同时实现两个目标(相对于车辆朝向不同方向取向的紧密隔开的麦克风阵列)，但是麦克风阵列必须放置成以便限制圆顶内传感器的遮挡。

存储器130可以存储各种软件模块和模型。这些模型包括经过学习的模型，例如，能利用机器学习的模型，例如分类器。首先，这些模型可以包括分类器。一旦被训练，分类器就可以用于识别在麦克风处接收到的声音的类型以及每种类型声音是真实声音的置信度或似然值。为了训练分类器，与驾驶决策相关的声音示例可以例如由操作人员或其他方式收集和标记，并且用于训练分类器。例如，与驾驶有关的声音可以包括可能引起车辆行为改变的声音(即，停车、让行、驾驶得更慢等)。这样的声音的示例类型可以包括火车汽笛声、火车铃、铁路警告汽笛、铁路警告铃、与火车相关的其他声音、卡车的反向蜂鸣声、人行横道嘈杂声、车辆鸣笛声、车辆发动机转速噪声、轮胎刺耳噪声、人群噪声等。这些声音不必但可包括鸣笛和/或紧急警笛声。用于训练该模型的示例的长度可以相当短，例如至少与标记的声音一样长，或者对于更持久的声音甚至更长。

存储器130还可以存储关联特征。每种类型的声音可以与一组附加信号或信息相关联。例如，与铁路道口铃声、火车汽笛或其他与火车相关的声音对应的一种声音类型可以与一组附加信号相关联，该一组附加信号包括作为车辆的预存地图信息中的闪光灯、闸门、火车、附近的火车站或铁路道口等。作为另一个例子，与反向蜂鸣声对应的一种声音类型可以与一组附加信号相关联，该一组附加信号包括大型车辆(即卡车或公共汽车)、闪光灯等。作为另一个例子，与人行横道嘈杂声对应的一种声音类型可以与一组附加信号相关联，该一组附加信号包括附近的行人、人行横道、步行标志、闪光灯或其他灯等。作为另一示例，与人群噪声相对应的一种声音类型可以与包括一大群人的一组附加信号相关联。作为另一个示例，与轮胎刺耳噪声或摩托车发动机转速对应的一种声音类型可以与包括摩托车的一组附加信号相关联。这些关联可以以任何数量的方式存储，包括例如表格、数据库等。

存储器130还可以包括第二模型，该第二模型可以用于估计警笛噪声的方位。例如，可以测量到达每个麦克风的警笛噪声的时机，以提供关于警笛源的可能方位或相对方向的测量，或者更确切地说，关于可能方位的概率分布的测量。

存储器130还可包括第三模型。该第三模型可以使用先前由第一模型确定为包括警笛噪声的麦克风输出，以及警笛噪声的时机和幅值作为输入。关于幅值，警笛的高频谐波的存在和强度也可以提供某种距离的指示，因为频率以不同的速率降低。在一些示例中，模型还可以使用估计的方位和估计的距离作为输入。在这方面，第三模型可以包括使用全部或一些前述输入来提供警笛源的可能距离上的概率分布的模型。

存储器130还可包括第四模型。该第四模型可以使用随时间收集的警笛噪声和时机来估计警笛噪声源的可能相对速度的概率分布。例如，使用随时间的方位变化可以提供相对速度的估计。另外地或可替代地，该模型可以包括神经网络，该神经网络被训练为从警笛声的片段预测相对速度的似然性。该片段可以是任何时间量，例如0.5秒、1.0秒、2.0秒、3.0秒、4.0秒或更多或更少。网络可以从幅值变化以及谐波变化中提取相对速度，在某些情况下还可以从警笛频率的多普勒频移中提取相对速度。

本文描述的示例利用单独的模型，但是，这些模型可以被实现为单个分类器，以检测声音的类型，估计方位，估计距离以及估计相对速度。另外，上述模型中的一个或多个可以包括经过学习的模型，例如，利用机器学习的模型，例如分类器、一个或多个神经网络，或跟踪器(例如卡尔曼滤波器，或考虑随时间变化的估计方位和估计距离和/或相应的概率分布的器件)、和输出其他状态估计值(例如估计的相对速度)的模型。在又一些其他示例中，可以使用诸如通用交叉关联相位变换(generalized cross correlation phasetransform)之类的各种算法来确定估计的方位。在另一个示例中，可以从由麦克风所感测到的压力的幅值解析地计算估计的距离，因为使用该知识，在固定距离处和该压力下的警笛音量范围以1/距离的速率下降。

示例方法

除了上述和附图中示出的操作之外，现在将描述各种操作。应当理解，以下操作不必以下面描述的精确顺序执行。而是，可以以不同的顺序或同时地处理各个步骤，并且还可以添加或省略步骤。

如上所述的，计算设备110可以控制车辆100通过其环境的运动。图4是在与地图信息200的区域相对应的道路400的一部分上操纵的车辆100的示例。在这方面，交叉路口402对应于交叉路口202，铁路道口404对应于铁路道口204，车道标记410-414对应对于车道标记210-214，铁路道口闸门420、422对应于铁路道口闸门220、222，人行横道430、432对应于人行横道230、232，人行道440对应于人行道240，停车标志450、452对应于停车标志250、252，车道460、462对应于车道260、262等。因此，在此示例中，车辆100正沿着轨迹470从车道460接近交叉路口402，该轨迹能将车辆100带入交叉路口402，以通过在交叉路口402进行向左转来继续朝向车道462行进。

在该示例中，车辆的感知系统172可以向计算设备110提供关于车辆的环境的信息。感知系统172可以向车辆的计算设备110提供传感器数据，该传感器数据包括来自各种传感器的经处理的和“原始”数据。因此，传感器数据可以包括诸如车道标记410、铁路闸门420、人行横道430、432、停车标志450、452等之类的对象以及诸如车辆480之类的其他道路使用者的位置。这些不同的对象的特点(包括它们的形状、位置、行驶方向、速度等)可以由感知系统172提供给计算设备110。

一旦由车辆的计算设备110接收到，则麦克风的输出就可以被输入到存储器130的上述分类器中。在某些情况下，来自车辆的麦克风的所有原始音频信号都可以被输入到分类器中。被分析的音频信号的长度可以非常短或非常长。当然，不同类型的声音最好由不同的输入长度来提供，因此该长度可以针对分类器能够识别的所有类型的声音或用于每个分类的不同输入长度进行优化(如果以二进制方式询问是否有声音)。如上所述的，分类器的输出可以识别在麦克风处接收到的声音的类型以及用于每种识别出的声音类型的置信度或似然值。

可以将识别出的声音类型的似然值与第一阈值似然值进行比较。如果第一阈值似然值被给定的识别出的声音类型所满足，则与给定的识别出的声音类型相关联的该组附加信号也可以从存储器130的上述关联特征中被识别出。

车辆的计算设备然后可以开始分析传感器数据以及地图信息，以便识别出所识别的该组附加信号中的一个或多个附加信号。例如，如果分类器以满足第一阈值似然值的似然值识别出铁路警告铃，则车辆的计算设备110可以开始主动搜索激光雷达传感器数据和/或摄像头图像，以寻找火车或闪光灯。例如，计算设备110可以使用地图信息200来识别铁路道口闸门220/620的闪光灯。例如，这可以使用各种分类器和/或图像处理技术来实现。车辆的计算设备也可以搜索地图信息，以识别附近是否有铁路道口。作为示例，计算设备110可以使用地图信息200来识别铁路道口204。

对于另一实例，如果分类器以满足第一阈值似然值的似然值识别出反向蜂鸣声，则车辆的计算设备110可以开始主动搜索激光雷达传感器数据和/或摄像头图像，以寻找大型车辆。例如，计算设备110可以使用从感知系统172接收的传感器数据来便识别对应于大型卡车的车辆480。例如，这可以使用各种分类器和/或图像处理技术来实现。

在另一实例中，如果分类器以满足第一阈值似然值的似然值识别人行横道嘈杂声，则车辆的计算设备110可以开始主动搜索激光雷达传感器数据和/或摄像头图像，以寻找附近的行人。车辆的计算设备还可以搜索地图信息，以识别附近是否有行人、步行标志、闪光灯或其他灯。作为示例，计算设备110可以使用地图信息200来识别人行横道430和432。

从传感器数据中识别出的识别出的一组附加信号中的每个附加信号可以用于增加该似然值。反过来，这可以指示由分类器识别的特定类型的声音更有可能是“真实”声音。通过使用第一阈值，可以避免车辆的计算设备尝试搜索不太可能实际发生并会浪费计算资源的附加信号。

另外，声音、地图信息以及任何识别出的附加信号可以用于识别实际上是什么对象正在发出声音。例如，声音和任何其他信号都可以用作第二模型的输入，以便提供有关警笛源的可能方位或相对方向的测量值，或者更确切地有关可能方位上的概率分布的测量值。另外，声音、幅值和时机可以输入到第三模型中，以提供在警笛源的可能距离的概率分布。第四模型可以用于估计警笛噪声源的可能速度的概率分布。来自模型的信息可以被提供给车辆的一个或多个计算设备110。这些计算设备110可以使用估计的方位、估计的距离、估计的相对速度以及附加信息来识别产生声音的车辆环境中的特定对象。

可以将识别出的声音类型的似然值与第二阈值似然值进行比较。一旦给定的已识别声音类型满足了第二阈值似然值，则车辆的计算设备就可以根据实际正在发出声音的对象的位置来主动控制车辆，以便对该声音做出响应。第二似然阈值可以大于第一似然阈值、至少一个附加信号的识别和/或附加信号的特定组合的识别。

计算设备110可以通过在自主驾驶模式下控制车辆100而做出响应，以便对声音做出反应。例如，响应可以包括通过让行于被识别为发出声音的对象或简单地谨慎采用驾驶模式而对该对象进行响应。车辆的实际行为可以由车辆软件和车辆环境中各种其他对象的约束条件来限定。另外，当确定如何最好地对该对象做出响应时，还可以考虑如从传感器数据确定的正在产生声音的对象的被观察运动，如果有的话，从而进一步提高了响应的有效性。当然，如果正在发出声音的对象位于车辆后方且未接近车辆，则车辆的计算设备可以会简单地忽略该声音(即，该对象已经经过并且与驾驶决策无关)。

在一些示例中，一旦满足第一阈值似然值，计算设备110就可以开始引起车辆100对声音做出反应。同时，计算设备可以继续尝试如上所述识别附加信号。例如，如果分类器将声音识别为火车汽笛声达到了满足第一阈值的似然值，则车辆的计算设备可能会自动将车辆减速以作为初始响应或初始安全措施。作为另一个实例，如果分类器将声音识别为反向蜂鸣声达到满足第一阈值的似然值，则车辆的计算设备可以自动让行于所有较大的车辆，作为初始响应。似然值越大，车辆的反应将“越强”或更有信心。一旦识别出附加信号，这些信号可以用于确定是忽略声音还是继续对该声音做出响应。

图5是可以由一个或多个处理器(例如计算设备110的一个或多个处理器120)执行的流程图500，以便针对具有自主驾驶模式的车辆对声音进行检测和并做出响应。在框510处，接收与在车辆的一个或多个麦克风处接收的声音相对应的可听信号。在框520处，接收由识别车辆环境中的对象的车辆感知系统所生成的传感器数据。感知系统包括一个或多个传感器。在框530处，通过将可听信号输入到分类器中来确定声音的类型。在框540处，基于所确定的声音类型来识别一组附加信号。在框550处，处理传感器数据以便识别该一组附加信号中的一个或多个附加信号。在框560处，在自主驾驶模式下控制车辆，以便基于一个或多个附加信号和声音类型来对该声音做出响应。

本文所述的特征允许车辆在自主模式下驾驶对声音做出自动进行检测并制品厂就响应。这不仅允许车辆对与这样的情况相关的对象被遮挡时并且甚至在这样的情况对其他传感器(例如激光雷达和摄像头)“可见”之前的情况做出反应，而且这样做还使车辆有更多时间响应这种情况。反过来，这可以使车辆在道路上更加安全。

除非另有说明，前述替代示例不是互相排斥的，而是可以以各种组合实施以实现独特的优点。由于可以在不脱离权利要求所限定的主题的情况下利用以上讨论的特征的这些和其他变形以及组合，因此，对实施例的前述描述应当通过说明的方式而不是通过由权利要求所限定的主题的方式来进行。另外，本文描述的示例的提供以及用短语表达为“诸如”、“包括”等的用语不应被解释为将权利要求的主题限制于特定示例；相反，这些示例仅旨在说明许多可能的实施例之一。此外，在不同附图中的相同附图标记可以识别相同或相似的元件。

Claims (20)

1.一种针对具有自主驾驶模式的车辆对声音进行检测并做出响应的方法，该方法包括：

接收与在车辆的一个或多个麦克风处接收的声音相对应的可听信号；

接收由识别车辆环境中的对象的车辆感知系统所生成的传感器数据，该感知系统包括一个或多个传感器；

通过将可听信号输入分类器中来确定声音类型；

基于所确定的声音类型来识别一组附加信号；

处理该传感器数据，以便识别出该一组附加信号中的一个或多个附加信号；和

在自主驾驶模式下控制车辆，以便基于一个或多个附加信号和声音类型来对该声音做出响应。

2.根据权利要求1所述的方法，还包括：

响应于将可听信号输入到分类器中，接收声音类型的似然值；和

确定该似然值满足一阈值，其中在确定该似然值满足该所述阈值时执行对一个或多个附加信号的识别。

3.根据权利要求2所述的方法，还包括基于所识别的一个或多个附加信号来增加所述似然值，以及其中，进一步基于增加的似然值来控制所述车辆。

4.根据权利要求3所述的方法，还包括，确定增加的似然值满足第二阈值似然值，以及其中进一步基于确定增加的似然值满足所述第二阈值似然值来控制所述车辆。

5.根据权利要求1所述的方法，还包括，确定所述一个或多个附加信号是附加信号的预定组合，并且其中进一步基于确定所述一个或多个附加信号是附加信号的预定组合来控制所述车辆。

6.根据权利要求1所述的方法，还包括，使用与驾驶决策有关的声音的示例来训练所述分类器。

7.根据权利要求6所述的方法，其中与驾驶有关的声音包括可能会引起所述车辆的行为改变的声音。

8.根据权利要求1所述的方法，其中，声音类型是火车汽笛声，并且一个或多个附加信号包括在车辆的当前位置的预定距离内的、车辆的预先存储的地图信息中所识别的闪光灯、闸门、火车、火车站中的一个或多个，或在车辆的当前位置的预定距离内的、车辆的预先存储的地图信息中所识别的铁路道口。

9.根据权利要求1所述的方法，其中，声音类型是反向蜂鸣声，并且一个或多个附加信号包括给定尺寸的车辆或闪光灯中的一个或多个。

10.根据权利要求1所述的方法，其中，声音类型是人行横道嘈杂声，并且一个或多个附加信号包括人行横道、步行标志或闪光灯中的一个或多个。

11.根据权利要求1所述的方法，还包括在识别所述一个或多个附加信号之前，以自主驾驶模式控制所述车辆，以便基于所述声音类型执行初始响应。

12.一种针对具有自主驾驶模式的车辆对声音进行检测并做出响应的系统，该系统包括：

一个或多个处理器，该一个或多个处理器被配置为：

接收与在车辆的一个或多个麦克风处接收到的声音相对应的可听信号；

接收由识别车辆环境中的对象的车辆感知系统所生成的传感器数据，该感知系统包括一个或多个传感器；

通过将可听信号输入分类器中来确定声音类型；

基于所确定的声音类型识别一组附加信号；

处理该传感器数据，以便识别出该一组附加信号中的一个或多个附加信号；和

在自主驾驶模式下控制车辆，以便基于一个或多个附加信号和声音类型来对该声音做出响应。

13.根据权利要求12所述的系统，其中，一个或多个处理器还被配置为：

响应于将可听信号输入到分类器中，接收声音类型的似然值；和

确定该似然值满足一阈值，其中在确定该似然值满足该所述阈值时执行对一个或多个附加信号的识别。

14.根据权利要求13所述的系统，其中，一个或多个处理器还被配置为基于所识别的一个或多个附加信号来增加似然值，并且，进一步基于增加的似然值来控制所述车辆。

15.根据权利要求14所述的系统，其中，一个或多个处理器还被配置为确定增加的似然值满足第二阈值似然值，以及其中进一步基于确定增加的似然值满足所述第二阈值似然值来控制所述车辆。

16.根据权利要求12所述的系统，其中，一个或多个处理器还被配置为确定所述一个或多个附加信号是附加信号的预定组合，以及其中进一步基于确定所述一个或多个附加信号是附加信号的预定组合来控制所述车辆。

17.根据权利要求12所述的系统，其中，声音的类型是铁路警告铃，以及一个或多个附加信号包括在车辆的当前位置的预定距离内的、车辆的预先存储的地图信息中所识别的闪光灯、闸门、火车、火车站中的一个或多个，或者在车辆的当前位置的预定距离内的、车辆的预先存储的地图信息中所识别的铁路道口。

18.根据权利要求12所述的系统，其中，声音类型是反向蜂鸣声，并且一个或多个附加信号包括给定尺寸的车辆或闪光灯中的一个或多个。

19.根据权利要求12所述的系统，其中，声音类型是人行横道嘈杂声，并且一个或多个附加信号包括人行横道、步行标志或闪光灯中的一个或多个。

20.根据权利要求12所述的系统，还包括车辆、感知系统以及一个或多个麦克风。

Images