CN107709079B - 在车辆中使用的用于检测外部事件的系统和方法 - Google Patents

Abstract

随着汽车奢侈品不断增加，由于诸如噪声消除和双绝缘窗户等零件，驾驶员与外部世界的隔离已经增加。这些零件有益于增加驾驶员舒适度和放松程度，但却大大降低了驾驶员对在车辆外部发生的事件的意识。

Description

在车辆中使用的用于检测外部事件的系统和方法

背景技术

随着汽车奢侈品不断增加，由于诸如噪声消除和双绝缘窗户等零件，驾驶员与外部世界的隔离已经增加。这些零件有益于增加驾驶员舒适度和放松程度，但却大大降低了驾驶员对在车辆外部发生的事件的意识。

发明内容

本公开涉及在车辆中使用的用于检测外部事件的系统和方法。

本发明公开了一种车辆，其包括：麦克风，其被定位成接收来源于车辆外部的声音；模数转换器，其被配置为将由麦克风接收的声音转换为数字音频信号；存储器，其存储声音处理软件和一个或多个已知音频；以及硬件处理器，其被配置为执行声音处理软件，以执行：将数字音频信号与存储在存储器中的一个或多个已知音频进行比较；响应于比较，确定数字音频信号和存储在存储器中的一个或多个已知音频中的第一音频之间的匹配；以及响应于数字音频信号和第一音频之间的匹配的确定，采取动作。

本发明还公开了一种车辆，其还包括显示器，其中动作的采取包括在显示器上显示消息。

本发明还公开了一种车辆，其还包括扬声器，其中动作的采取包括使用扬声器播放音频。

本发明还公开了一种车辆，其还包括安全带，其中动作的采取包括拉紧安全带。

本发明还公开了一种车辆，其中硬件处理器还被配置为执行声音处理软件，以执行：确定声音的功率水平；以及基于功率水平计算声音的来源距车辆的距离。

本发明还公开了一种车辆，其中硬件处理器还被配置为执行声音处理软件，以执行：确定声音的方向；以及基于方向计算声音的来源相对于车辆的位置。

本发明还公开了一种车辆，其中声音包括由紧急车辆产生的警报器声音。

本发明公开了由车辆使用的方法，车辆包括被定位成接收来源于车辆外部的声音的麦克风和存储一个或多个已知音频的存储器，方法包括：使用麦克风接收来源于车辆外部的声音；使用硬件处理器将声音与存储在存储器中的一个或多个已知音频进行比较；响应于比较，使用硬件处理器确定声音和存储在存储器中的一个或多个已知音频中的第一音频之间的匹配；以及响应于数字声音和第一音频之间的匹配的确定，使用硬件处理器采取动作。

本发明还公开了由车辆使用的方法，其中车辆还包括显示器，并且其中动作的采取包括在显示器上显示消息。

本发明还公开了由车辆使用的方法，其中车辆还包括扬声器，并且其中动作的采取包括使用扬声器显示音频。

本发明还公开了由车辆使用的方法，其中车辆还包括安全带，并且其中动作的采取包括拉紧安全带。

本发明还公开了由车辆使用的方法，还包括：确定声音的功率水平；以及基于功率水平计算声音的来源距车辆的距离。

本发明还公开了由车辆使用的方法，还包括：确定声音的方向；以及基于方向计算声音的来源相对于车辆的位置。

本发明还公开了由车辆使用的方法，其中声音包括由紧急车辆产生的警报器声音。

本发明公开了一种车辆，其包括：麦克风，其被定位成接收来源于车辆外部的声音；存储器，其存储声音处理软件和一个或多个已知音频；以及硬件处理器，其被配置为执行声音处理软件，以执行：将声音与存储在存储器中的一个或多个已知音频进行比较；响应于比较，确定声音和存储在存储器中的一个或多个已知音频中的第一音频之间的匹配；以及响应于数字声音和第一音频之间的匹配的确定，采取动作。

本发明还公开了一种车辆，车辆还包括显示器，其中动作的采取包括在显示器上显示消息。

本发明还公开了一种车辆，车辆还包括扬声器，其中动作的采取包括使用扬声器显示音频。

本发明还公开了一种车辆，车辆还包括安全带，其中动作的采取包括拉紧安全带。

本发明还公开了一种车辆，其中硬件处理器还被配置为执行声音处理软件，以执行：确定声音的功率水平；以及基于功率水平计算声音的来源距车辆的距离。

本发明还公开了一种车辆，其中硬件处理器还被配置为执行声音处理软件，以执行：确定声音的方向；以及基于方向计算声音的来源相对于车辆的位置。

附图说明

图1呈现了两个车辆停在红色交通灯后面的交叉路口的示例性图示；

图2呈现了当交通灯变成绿色时图1的交叉路口；

图3呈现了根据本公开的一个实施方式的包括用于检测外部事件并且响应于外部事件而采取一个或多个动作的系统的示例性车辆；

图4呈现了根据本公开的一个实施方式的具有多个麦克风和/或相机的图3的车辆；

图5呈现了根据本公开的一个实施方式的响应于检测到紧急车辆而在其显示器上显示消息的图3的车辆；

图6呈现了根据本公开的一个实施方式的用于检测车辆外部的声音并且响应于车辆外部的声音而采取一个或多个动作的示例性方法的流程图；以及

图7呈现了根据本公开的一个实施方式的用于检测车辆外部的图像并且响应于车辆外部的图像而采取一个或多个动作的示例性方法的流程图。

具体实施方式

下列描述包含与本公开中的实施方式相关的具体信息。本申请中的附图以及它们随附的详细描述仅涉及示例性实施方式。除非另外所述，否则附图中的相同或对应元件可以由相同或对应的附图标号指示。此外，本申请中的附图和说明通常不是按比例绘制的，并且不意在对应于实际的相对尺寸。

图1呈现了图示100，其示出其中车辆110和车辆150已经在交通灯172处停在红灯后面的交叉路口，并且还示出进入的紧急车辆160。如图1中所示，车辆150已经遮挡车辆110的驾驶员的视线。例如，车辆150可以是运动型多功能车辆(SUV)，其基本上阻挡车辆110的驾驶员的右侧视野。另外，车辆110可以使其窗户和天窗关闭，同时音乐音量升高并且其空气调节风扇高速运行。因此，车辆110的驾驶员将不能够听到任何或大部分外部噪声。图1还示出紧急车辆160由于紧急事件以快速接近由交通灯171和172指定的交叉路口，同时紧急车辆160打开其灯和警报器。

图2呈现了图示200，其示出当与图1的交通灯172对应的交通灯272变成绿色时图1的交叉路口。如上所述，由于车辆110的驾驶员受阻挡的视野并且还由于外部噪声阻断，车辆110的驾驶员既不能够看到也不能够听到进入的紧急车辆160。因此，当交通灯272变成绿色时，车辆110的驾驶员继续前行以横穿交叉路口，并未意识到进入的紧急车辆160，这将导致车辆110和紧急车辆160之间的碰撞。

尽管在诸如碰撞减轻制动系统(CMBS)和盲点检测(BSD)等事故避免技术方面取得进展，但是车辆110的驾驶员将仍然不能够避免上述事故。例如，等到紧急车辆160在车辆110的盲点检测器的范围内时，车辆110的驾驶员将具有很少的机会来避免事故。

现在转向图3，图3呈现了根据本公开的一个实施方式的包括用于检测外部事件并且响应于外部事件而采取一组动作的系统311的车辆310的示例性图示。车辆310可以是任何类型的车辆，诸如汽车、摩托车、自行车、船舶等。系统311包括麦克风330、相机362、音频模数转换器312、视频模数转换器364、硬件处理器313和存储器314。麦克风330是用于接收声音或音频频率380并将音频频率380转换为模拟音频信号的声电换能器或传感器。相机362可以是任何相机，其能够拍摄车辆310外部的物体和周围事物(诸如紧急车辆360、人、交通灯、街道标志、商店名称、建筑物等)的静止图片或图像或者视频的移动图片。音频模数转换器312是用于将由音频频率380产生的模拟音频信号转换为以供硬件处理器313使用的数字音频信号的软件或硬件装置。视频模数转换器364是用于将由相机362获得的图像或视频转换为以供硬件处理器313使用的数字图像信号的软件或硬件装置。

硬件处理器313可以是在计算装置中使用的任何微处理器或类似硬件处理器。硬件处理器313能够访问用于存储所接收的输入的存储器314，或者执行存储在存储器314中的命令、过程或程序。存储器314是非临时性硬件存储装置，其能够存储以供硬件处理器313执行的命令、过程和程序，诸如软件应用程序。如图3中所示，存储器314包括音频数据库316，其存储与例如警报器的声音、汽车喇叭、语音命令等对应的各种已知音频。存储器314还包括以供硬件处理器313执行以将从音频模数转换器312接收的数字音频信号与存储在存储器314的音频数据库316中的已知音频进行比较的声音处理软件315。声音处理软件315还包括响应于基于比较确定数字音频信号与已知音频之间的匹配而被执行的一个或多个动作。

在一个实施方式中，硬件处理器313可以被配置为基于外部声音或音频频率380从音频模数转换器312接收数字音频信号。在接收数字音频信号之后，硬件处理器313执行声音处理软件315，以将数字音频信号与存储在存储器314中的已知音频进行比较，从而确定是否能够发现匹配。例如，响应于确定音频频率380对应于由紧急车辆使用的警报器，硬件处理器313可以执行声音处理软件315中的一个或多个动作，以改变车辆310中的许多装置或部件的设置。这些装置或部件可以包括显示器317、扬声器318、HVAC风扇319、安全带320、灯321、窗户322、方向盘323等。另外，在一个实施方式中，基于声音处理软件315可以计算声音的来源距车辆310的距离，声音处理软件315可以由硬件处理器313使用以确定由麦克风330接收的音频频率380的功率水平。例如，如果警报器的功率水平经测量为80dB，则显示器317可以显示紧急车辆是50英尺远，并且如果警报器的功率水平经测量为50dB，则显示器317可以显示紧急车辆是100英尺远。在另一个实施方式中，基于声音处理软件315可以计算音频频率380的来源的位置，硬件处理器313可以执行声音处理软件315，以使用多个麦克风诸如用作麦克风阵列的麦克风431-437来确定音频频率380的方向。在一个实施方式中，麦克风330可以用于检测警报器，并且相机362可以响应于声音而启用，以查找和定位紧急车辆并提供其行进方向和距车辆310的距离。

除了音频数据库316和声音处理软件315之外，存储器314还包括图像处理软件366和图像数据库368。图像数据库368存储与各种物体对应的各种已知图像，包括紧急车辆的图像、人和动物形状、交通灯、街道标志、商店名称、建筑物等的图像。存储器314还包括用于使用各种已知图像处理和检测技术来将从视频模数转换器364接收的数字图像信号与存储在存储器314的图像数据库368中的已知图像进行比较的图像处理软件366。图像处理软件366还包括响应于基于比较确定数字图像信号与已知图像之间的匹配而被执行的一个或多个动作。

在一个实施方式中，硬件处理器313可以被配置为基于由相机362捕捉的紧急车辆360的图像从视频模数转换器364接收数字图像信号。在接收数字图像信号之后，硬件处理器313执行图像处理软件366，以处理数字图像信号并将数字图像信号与存储在存储器314中的已知图像进行比较，从而确定是否能够发现匹配。响应于确定数字图像对应于紧急车辆，硬件处理器313执行图像处理软件366，以改变车辆310中的许多装置或部件的设置。这些装置或部件可以包括显示器317、扬声器318、HVAC风扇319、安全带320、灯321、窗户322、方向盘323等。在一个实施方式中，麦克风330可以用于检测警报器，并且相机362可以响应于声音而启用，以定位紧急车辆并提供其行进方向和距车辆310的距离。

显示器317可以是仪表盘或中心显示器，其可以显示速度计、燃料表、转速计、油压表等。显示器317还可以在硬件处理器313的控制下显示消息或警告信号灯。扬声器318可以是连接到车辆声音系统的扬声器，所述车辆声音系统可被用于播放音频消息、警告和音乐。HVAC风扇319可以是可以由硬件处理器313控制的在车辆中用于冷却、加热或循环车辆310内部的空气的任何风扇。安全带320可以是可以由硬件处理器313控制的智能安全带系统。例如，安全带320可以在硬件处理器313的控制下并响应于使用麦克风330和/或相机362对紧急事件的检测而拉紧或松动。灯321包括位于车辆310的外部上的多个灯，包括前灯、尾灯和闪光灯；以及位于车辆310的内部上的灯，包括显示器317上的闪光灯等。灯321也可以响应于使用麦克风330和/或相机362对紧急事件的检测而由硬件处理器313控制。例如，硬件处理器313可以响应于检测到紧急事件而使一个或多个灯321打开。窗户322可以是包括天窗的自动窗户，其中电动马达与系统311通信以响应于从硬件处理器313接收命令而自动打开和关闭窗户。窗户322也可以响应于使用麦克风330和/或相机362对紧急事件的检测而由硬件处理器313控制。例如，硬件处理器313可以响应于检测到紧急事件而使一个或多个窗户322摇下。方向盘323也可以响应于使用麦克风330和/或相机362对紧急事件的检测而由硬件处理器313控制。例如，硬件处理器313可以响应于检测到紧急事件而使方向盘323振动。

在一个实施方式中，可以选择性地启用和禁用系统311及其警告动作。例如，听力受损或者听力困难的驾驶员可以选择性地启用系统311用于监控外部事件，并且还可以响应于硬件处理器313检测到外部事件而使用部件317-323来选择性地启用动作中的一个或多个来警告驾驶员。

图4呈现了根据本公开的一个实施方式的具有用于接收车辆310外部的声音和图像的一个或多个麦克风和/或相机的车辆410。例如，如图4中所示，一个或多个麦克风431/432/434/435可以放置在车辆410的前后保险杠或任何拐角中。此外，一个或多个麦克风433/436可以放置在车辆410的每一侧上。本领域的普通技术人员应当理解，一个或多个麦克风可以策略性地放置在车辆410的各种位置处，用于检测车辆410外部的声音。例如，在一个实施方式中，一个或多个麦克风431/432/434/435可以整合到车辆410的停车传感器中。在一个实施方式中，麦克风437可以整合到车辆410的无线电天线中。本领域的普通技术人员应当理解，在其他实施方式中，麦克风437可以策略性地放置在车辆410的顶部上的其他位置处。麦克风431-437可以用于检测音频频率480和紧急车辆460，紧急车辆460的距离基于功率水平，并且紧急车辆的位置基于由麦克风431-437中的每个麦克风检测的各种功率水平。例如，如图4中所示，与麦克风432相比，麦克风432检测更高的音频频率480的功率水平，其指示音频频率480的方向。

车辆410也可以配备有相机461和463。相机中的每个被配置为接收静止图像和/或移动图像，诸如紧急车辆的图像、人的图像等。相机461和463可以策略性地放置在车辆410的不同位置处，以覆盖用于拍摄图像的较大区域。

图5图解了显示第一车辆510、第二车辆550和紧急车辆560的图示500，其中第一车辆510对应于图3的车辆310，并配备有连接到麦克风537的硬件处理器513、显示器517和存储已知音频的存储器514。图5描绘了与图1的情况类似的情况，其中第一车辆510被第二车辆550阻挡，并且第一车辆510的驾驶员不能够看到或听到进入的紧急车辆560。

在图5的实施方式中，第一车辆510的麦克风537接收具有一个或多个音频频率的声音，所述一个或多个音频频率由音频模数转换器(未示出)转换为数字音频信号。在此类实施方式中，硬件处理器513可以通过将由紧急车辆560产生的音频频率与存储在存储器514中的一个或多个已知音频进行比较来确定音频频率对应于紧急车辆的警报器声音。响应于作出此判定，在一个实施方式中，第一车辆510的硬件处理器513可以在第一车辆510的显示器517上显示“检测到紧急车辆”消息。因此，与车辆110的驾驶员不同，第一车辆510的驾驶员将被警告进入的紧急车辆560。

在本公开的一个实施方式中，由第一车辆510接收的音频频率可以包括语音命令。在此类实施方式中，语音命令可以由在第一车辆510外部的车辆510的驾驶员发出。语音命令能够使用连接到麦克风537的硬件处理器513和存储一个或多个已知音频命令的存储器514进行检测。例如，能够使用驾驶员携带的智能钥匙无线地检测驾驶员相对于车辆510的存在或接近。一旦检测到智能钥匙的存在或接近，硬件处理器513可以开始处理从麦克风537接收的音频信号。使用话音/语音识别，硬件处理器513可以识别由驾驶员发出的音频命令，诸如打开/关闭窗户、打开/关闭天窗、开启/锁定门、开启后备箱、发动机打开/关闭、打开空气调节、播放音乐等。

在一个实施方式中，第一车辆510在一个实施方式中可以检测多个智能钥匙，其中多个智能钥匙中的每个智能钥匙与不同的驾驶员相关联。响应于检测到特定智能钥匙，车辆510从存储器检索与特定智能钥匙相关联的简档。因此，硬件处理器513识别与特定智能钥匙相关联的驾驶员的语音，并遵循由与特定智能钥匙相关联的驾驶员编程的语音命令。然而，如果具有智能钥匙的人的语音不匹配在存储在存储器514中的智能钥匙的简档中存储的语音，则硬件处理器513可以不遵循该人的语音命令。

图6呈现了图解由车辆使用的用于响应于接收和检测来源于车辆外部的音频声音而采取一个或多个动作的示例性方法的流程图600。流程图600在步骤605处以车辆310使用一个或多个麦克风330接收来源于车辆310外部的声音开始。在一个实施方式中，声音可以包括由紧急车辆，例如警察巡逻车或摩托车、消防车、救护车等发出的警报器的声音。在另一个实施方式中，声音可以包括汽车喇叭(不管是单个喇叭还是重复喇叭)、人的尖叫声或呼喊声以及事故的声音。在又另一个实施方式中，声音可以包括由车辆310的驾驶员在车辆外部讲话的语音命令。

在610处，车辆310继续将由麦克风330接收的声音转换为数字音频信号。音频模数转换器312接收来源于车辆外部的声音的音频频率380并将音频频率380转换为数字音频信号以供硬件处理器313使用。在615处，车辆310继续将声音与存储在存储器314中的一个或多个已知音频进行比较。如结合图3所描述的，硬件处理器313执行声音处理软件315，以将音频频率380与存储在存储器314的音频数据库316中的具有一个或多个音频频率的已知音频进行比较。存储在音频数据库316中的已知音频可以包括警报器、汽车喇叭、语音命令、人的尖叫声或呼喊声、大的事故的声音等各种声音。在一个实施方式中，硬件处理器313可以使用麦克风330连续地或间断地搜索由紧急车辆发射的音频频率(或任何其他已知音频，诸如上面提到的那些音频)。由声音处理软件315执行的比较可以是检测一个或多个音频频率以及考虑某些频率和其间的静音的一个或多个持续时间的组合。

在620处，车辆310继续响应于比较而确定声音和存储在存储器314中的一个或多个已知音频中的第一音频之间的匹配。在将声音与存储在存储器314中的已知音频进行比较之后，声音处理软件315可以确定匹配，例如，声音处理软件315可以确定音频频率380匹配紧急车辆警报器的音频。在一个实施方式中，基于比较，声音处理软件315也可以确定紧急车辆的类型。例如，声音处理软件315可以通过不仅考虑音频频率而且考虑到某些频率和其间的静音的一个或多个持续时间来确定音频频率380匹配救护车的警报器的音频频率。

在一个实施方式中，除了确定例如音频频率380匹配救护车的警报器的声音以外，声音处理软件315也可以计算救护车距车辆310的距离。基于由麦克风330接收的音频频率380的功率水平，声音处理软件315可以计算到救护车是在车辆310的200英尺内。在一个实施方式中，基于紧急车辆距车辆310的距离，声音处理软件315可以采取更多动作来警告车辆310的驾驶员。

在另一个实施方式中，硬件处理器313可以执行声音处理软件315，以确定由麦克风330接收的音频频率380的方向。基于正接收音频频率480的方向，声音处理软件315然后可以计算音频频率380的来源的位置。例如，如果与附接到车辆310的其他部分的麦克风相比，附接到车辆310的后部的一个或多个麦克风接收具有更高的功率水平的音频频率，则声音处理系统315然后可以确定音频频率正在由正试图命令车辆310停在一边的后面的警察巡逻车产生。

在另一个实施方式中，声音处理软件315可以确定在音频频率380和存储在存储器314中的已知音频之间的一个以上的匹配。例如，声音处理软件315可以检测到两个不同警报器的声音，一个警报器的声音来源于消防车且另一个警报器的声音来源于警察巡逻车。在此类实施方式中，声音处理软件315可以确定紧急车辆中的每个与车辆310之间的距离并确定紧急车辆的位置。例如，如果消防车正在朝向车辆310行进且距离更近，则声音处理软件315可以首先向驾驶员警告消防车并且随后向驾驶员警告距离车辆310较远的警察巡逻车。

在625处，车辆310继续响应于确定声音和第一音频之间的匹配而采取动作。一旦声音处理软件315确定例如紧急车辆是在车辆310的附近，硬件处理器313就继续执行声音处理软件315以改变车辆310内的一个或多个装置或部件的设置。例如，当扬声器318正在用高音量播放音乐，HVAC系统319正在用高风扇速度循环空气，安全带320在其正常状态下，并且窗户320全部关闭时，车辆310可以正在朝向交叉路口行进。在检测到附近的紧急车辆之后，硬件处理器313可以执行动作630-665中的一个或多个。动作630-665分别包括在630处在显示器317上显示诸如“消防车从东北200英尺远接近”的消息、在635处降下窗户323、在640处降低扬声器318的音量或使扬声器318静音、在645处使用扬声器318播放诸如“警告……警察巡逻车从后面接近”的音频消息、在650处拉紧安全带321的安全带织带、在655处降低HVAC系统的风扇的速度、在660处闪烁显示器317上的灯321或者打开在车辆310的外部上的闪光灯、以及在665处振动方向盘323。车辆310的各种装置和部件的设置的这些动作或变化可以以任何顺序发生。

另外，声音处理软件315可以以不同方式对不同程度的紧急情况作出反应。例如，如果救护车是在1000英尺远，声音处理软件315甚至可以不警告驾驶员紧急情况。另一方面，如果救护车是在车辆310的200英尺内并且正在朝向车辆310行进，则声音处理软件315可以采取上面所列的全部或大部分动作。是否采取这些动作中的一个或多个取决于可以由声音处理软件315分配给该情况的紧急情况等级。因此，分配给紧急情况的等级可以是紧急车辆距车辆310的距离和紧急车辆的位置的函数。

在不再检测到需要声音处理软件315进行响应的警报器的声音或其他音频频率或者声音处理软件315确定警告驾驶员是不必要的之后，硬件处理器313可以将改变的设置中的一个或全部恢复到它们改变之前的状态。例如，在未检测到警报器的声音或者确定救护车离车辆310越来越远之后，硬件处理器313可以调高扬声器318的音量，调高HVAC系统318的风扇速度，或者松开安全带310的安全带织带等。然而，在一个实施方式中，在不再检测到紧急情况或者确定紧急情况不太危险之后，硬件处理器313甚至可以维持一个或多个装置或部件的改变的设置达某一时间。

在音频频率380包括车辆310的驾驶员的语音命令的实施方式中，车辆310可以响应于检测到驾驶员的语音而采取的动作可以包括打开/关闭窗户、打开/关闭天窗、开启/锁定门、开启后备箱、发动机打开/关闭、打开空气调节、播放音乐等。在此类实施方式中，这些语音命令可以使用在汽车内部的麦克风记录驾驶员语音而预先存储在存储器314中。如结合图5所描述的，能够使用驾驶员携带的智能钥匙无线地检测驾驶员相对于车辆310的存在或接近。为了确保检测，智能钥匙可以需要在车辆310的具体范围内。一旦检测到智能钥匙的存在或接近，硬件处理器313可以开始搜索语音命令并且随后处理从麦克风330接收的任何音频信号。

图7呈现了图解由车辆使用的用于响应于接收和检测在车辆外部的事件的图像而采取一个或多个动作的方法的流程图700。流程图700在步骤705处以车辆310使用一个或多个相机360捕捉位于车辆310外部的物体的图像开始。在一个实施方式中，图像可以包括紧急车辆(例如警察巡逻车或摩托车、消防车、救护车等)的图像。在另一个实施方式中，图像可以包括人和动物的图像。如结合图3所描述的，相机362可以是用于电子采集车辆310周围的场景的图像的相机。

在710处，车辆310继续将由相机362接收的图像转换为数字图像信号。视频模数转换器364捕捉车辆310外部的物体的图像，诸如紧急车辆360的图像，并且将所捕捉的图像转换为数字图像信号以供硬件处理器313使用。在715处，车辆310继续将数字图像信号与存储在存储器314的图像数据库368中的一个或多个已知图像进行比较。如结合图3所描述的，硬件处理器313执行图像处理软件366，以将紧急车辆360的图像与存储在存储器314的图像数据库366中的已知图像进行比较。存储在图像数据库366中的已知图像可以包括紧急车辆以及人、交通灯、街道标志、商店名称、建筑物等的图像。在一个实施方式中，硬件处理器313可以使用相机362连续地或间断地捕捉图像。

在720处，车辆310继续响应于比较而确定在紧急车辆360的图像和存储在存储器314中的一个或多个已知图像中的第一图像之间的匹配。在将紧急车辆360的图像与存储在存储器314中的已知图像进行比较之后，图像处理软件366可以确定紧急车辆360的图像和图像数据库366中的紧急车辆的图像之间的匹配。在一个实施方式中，使用已知图像检测技术，图像处理软件366也可以确定紧急车辆的类型。例如，图像处理软件366可以确定由相机362捕捉的图像匹配救护车的图像。

在一个实施方式中，除了确定紧急车辆的类型以外，图像处理软件366还可以计算救护车距车辆310的距离。基于救护车在图像360中的尺寸的大小程度，图像处理软件366可以分别确定救护车是近的或远的。在另一个实施方式中，硬件处理器313可以执行图像处理软件366，以计算救护车相对于车辆310的位置。例如，在一个实施方式中，如果附接到车辆310的右侧的相机捕捉到救护车的图像而附接到车辆310的左侧的相机未捕捉到图像，则图像处理软件366可以确定救护车正在从车辆310的右侧接近。此外，图像处理软件366可以捕捉救护车的一系列图像，并且通过将救护车在每个图像中的距离和位置与救护车在一个或多个先前图像中的距离和位置进行比较，图像处理软件366可以确定救护车的行进方向。

在又一个实施方式中，图像处理软件366可以确定在由相机362捕捉的图像和存储在存储器314中的已知图像之间的一个以上匹配。例如，图像处理软件366可以检测到救护车和消防车都存在于所捕捉的图像中。在此类实施方式中，图像处理软件366可以确定紧急车辆中的每一个与车辆310之间的距离并且还可确定紧急车辆的位置。因此，图像处理软件366可以首先向车辆310的驾驶员警告更迫在眉睫的危险。例如，如果消防车正在朝向车辆310行进并且距离更近，则图像处理软件366可以首先向驾驶员警告消防车，并且随后向驾驶员警告离车辆310较远的警察巡逻车。

在725处，车辆310继续响应于确定在紧急车辆360的图像和存储在存储器314中的第一已知图像之间的匹配而采取一个或多个动作。一旦图像处理软件366确定例如紧急车辆是在车辆310的附近，硬件处理器313就继续执行图像处理软件366，以通过改变车辆310内的一个或多个装置或部件的设置来采取一个或多个动作。例如，在一个实施方式中，当扬声器318正在用高音量播放音乐，HVAC系统319正在用高风扇速度循环空气，安全带320在其正常状态下，并且窗户320全部关闭时，车辆310可以正在朝向交叉路口行进。

在检测到附近的紧急车辆之后，硬件处理器313可以通过执行动作730-765中的一个或多个来向驾驶员警告紧急车辆。动作730-765分别包括在730处在显示器317上显示诸如“消防车从东北200英尺远接近”的消息、在735处降低扬声器318的音量或使扬声器318静音、在740处使用扬声器318播放诸如“警告……警察巡逻车从后面接近”的音频消息、在745处降下窗户323、在750处拉紧安全带321的安全带织带、在755处降低HVAC系统的风扇的速度、在760处闪烁显示器317上的灯321或者打开车辆310的外部上的闪光灯、以及在765处振动方向盘323。车辆310的各种装置和部件的设置的这些动作或变化可以以任何顺序发生。

从以上描述中显而易见的是，能够使用各种技术来实现本申请中所描述的概念而不脱离这些概念的范围。此外，虽然已经参考某些实施方式描述了所述概念，但本领域的普通技术人员将认识到在不脱离这些概念的范围的情况下，可以在形式和细节上作出改变。因此，所描述的实施方式在所有方面应当被视为是说明性的且不是限制性的。还应该理解，本申请不限于上面描述的特定实施方式，但是在不脱离本公开的范围的情况下，许多重新布置、修改和替代都是可能的。

Claims (17)

1.一种车辆，其包括：

麦克风，其被定位成接收来源于所述车辆外部的声音；

相机，其被定位成接收来源于所述车辆外部的图像；

第一模数转换器，其被配置为将由所述麦克风接收的所述声音转换为数字音频信号；

第二模数转换器，其被配置为将由所述相机接收的所述图像转换为数字图像信号；

存储器，其存储声音处理软件、已知音频，图像处理软件、和已知图像；以及

硬件处理器，其被配置为执行所述声音处理软件和所述图像处理软件，以执行：

将所述数字音频信号和所述数字图像信号各自与所述已知音频和所述已知图像进行比较；

响应于所述比较，确定所述数字音频信号和所述数字图像信号各自与所述已知音频中的第一音频和所述已知图像中的第一图像之间至少一个的匹配；以及

响应于所述匹配的所述确定，采取动作；

其中所述硬件处理器进一步配置为响应于确定所述数字音频信号中的一个与所述已知音频之间的匹配能够使所述相机接收所述图像。

2.根据权利要求1所述的车辆，还包括显示器和扬声器，其中所述动作的所述采取包括在所述显示器上显示消息和使用所述扬声器播放音频中至少一个。

3.根据权利要求1所述的车辆，还包括安全带，其中所述动作的所述采取包括拉紧所述安全带。

4.根据权利要求1所述的车辆，其中所述硬件处理器还被配置为执行所述声音处理软件，以执行：

确定所述声音的功率水平；以及

基于所述功率水平计算所述声音的来源距所述车辆的距离。

5.根据权利要求1所述的车辆，其中所述硬件处理器还被配置为执行所述声音处理软件，以执行：

确定所述声音的方向；以及

基于所述方向计算所述声音的来源相对于所述车辆的位置。

6.根据权利要求1所述的车辆，其中所述声音包括由紧急车辆产生的警报器声音。

7.一种由车辆使用的方法，所述车辆包括存储已知音频和已知图像的存储器，所述方法包括：

使用麦克风接收来源于所述车辆外部的声音；

使用相机接收来源于所述车辆外部的图像；

使用硬件处理器将所述声音和所述图像各自与所述已知音频和所述已知图像进行比较；

响应于所述比较，使用所述硬件处理器确定所述声音和所述图像各自与所述已知音频中的第一音频和所述已知图像中的第一图像之间至少一个的匹配；以及

响应于所述匹配的所述确定，使用所述硬件处理器采取动作；

其中所述硬件处理器响应于确定所述声音中一个与所述已知音频之间的匹配能够使所述相机接收所述图像。

8.根据权利要求7所述的方法，其中所述车辆还包括显示器和扬声器，并且其中所述动作的所述采取包括在所述显示器上显示消息和使用所述扬声器播放音频中至少一个。

9.根据权利要求7所述的方法，其中所述车辆还包括安全带，并且其中所述动作的所述采取包括拉紧所述安全带。

10.根据权利要求7所述的方法，还包括：

确定所述声音的功率水平；以及

基于所述功率水平计算所述声音的来源距所述车辆的距离。

11.根据权利要求7所述的方法，还包括：

确定所述声音的方向；以及

基于所述方向计算所述声音的来源相对于所述车辆的位置。

12.根据权利要求7所述的方法，其中所述声音包括由紧急车辆产生的警报器声音。

13.一种车辆，其包括：

麦克风，其被定位成接收来源于所述车辆外部的声音；

相机，其被定位成接收来源于所述车辆外部的图像

存储器，其存储声音处理软件、已知音频、图像处理软件、和已知图像；以及

硬件处理器，其被配置为执行所述声音处理软件和所述图像处理软件，以执行：

将所述声音和所述图像各自与所述已知音频和所述已知图像进行比较；

响应于所述比较，确定所述声音和所述图像各自与所述已知音频中的第一音频和所述已知图像中的第一图像之间至少一个的匹配；以及

响应于所述匹配的所述确定，采取动作；

其中所述硬件处理器进一步配置为响应于确定所述声音中一个与所述已知音频之间的匹配能够使所述相机接收所述图像。

14.根据权利要求13所述的车辆，所述车辆还包括显示器和扬声器，其中所述动作的所述采取包括在所述显示器上显示消息和使用所述扬声器播放音频中至少一个。

15.根据权利要求13所述的车辆，所述车辆还包括安全带，其中所述动作的所述采取包括拉紧所述安全带。

16.根据权利要求13所述的车辆，其中所述硬件处理器还被配置为执行所述声音处理软件，以执行：

确定所述声音的功率水平；以及

基于所述功率水平计算所述声音的来源距所述车辆的距离。

17.根据权利要求13所述的车辆，其中所述硬件处理器还被配置为执行所述声音处理软件，以执行：

确定所述声音的方向；以及

基于所述方向计算所述声音的来源相对于所述车辆的位置。

Images