CN107128304A - 使用听觉数据的碰撞避免 - Google Patents

使用听觉数据的碰撞避免 Download PDF

Info

Publication number
CN107128304A
CN107128304A CN201710091567.8A CN201710091567A CN107128304A CN 107128304 A CN107128304 A CN 107128304A CN 201710091567 A CN201710091567 A CN 201710091567A CN 107128304 A CN107128304 A CN 107128304A
Authority
CN
China
Prior art keywords
frequency characteristics
audio frequency
vehicle
source
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710091567.8A
Other languages
English (en)
Inventor
哈珀丽特辛格·班瓦伊特
吉内什·J·杰恩
韩正圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN107128304A publication Critical patent/CN107128304A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves

Abstract

用于自主车辆的控制器从一个或多个麦克风接收音频信号。音频信号被输入到对音频特征的源进行分类的机器学习模型。例如，特征可以被分类为源自车辆。基于来自多个麦克风的信号中的音频特征的相对延迟来确定音频特征的源的方向。在音频特征被以高于阈值的置信度分类为源自车辆的情况下，相对于音频特征的源的方向执行碰撞避让。音频特征的源的方向可以与车辆图像和/或地图数据相关，以增加音频特征的源是其发动机运行的停放的车辆的置信度得分。然后可以用停放的车辆的潜在路径执行碰撞避让。

Description

使用听觉数据的碰撞避免
技术领域
本发明涉及在自主车辆中执行障碍物避让。
背景技术
自主车辆配备有检测其环境的传感器。算法评估传感器的输出并识别障碍物。导航系统然后可以操纵车辆、制动和/或加速以避让识别的障碍物并到达期望的目的地。传感器可以包括两个成像系统(例如摄像机)，以及雷达或激光雷达传感器。
本文公开的系统和方法提供了用于检测障碍物的改进方法。
发明内容
根据本发明，提供一种用于自主车辆的系统，包含：
安装到自主车辆的两个或更多个麦克风；
控制器，该控制器用于执行：
预处理器，该预处理器被编程为检测来自两个或更多个麦克风的两个或更多个音频流中的音频特征；
碰撞避让模块，该碰撞避让模块被编程为对音频特征和到音频特征的源的方向进行分类，并且如果声源的类别是停放的车辆，则避让停放的车辆的潜在路径。
根据本发明的一个实施例，碰撞避让模块进一步被编程为通过致动自主车辆的转向致动器、加速器致动器和制动致动器中的至少一个来调用相对于音频特征的源的方向的障碍物避让，以有效避让与音频特征的源的碰撞。
根据本发明的一个实施例，系统进一步包含安装到自主车辆的至少一个摄像机；
其中碰撞避让模块进一步被编程以：
评估至少一个摄像机的图像流中的车辆的图像是否位于由音频特征的源的方向产生的角度公差内；和
如果车辆的图像在由音频特征的源的方向产生的角度公差内，则增加指示音频特征的源是停放的车辆的置信度值。
根据本发明的一个实施例，碰撞避让模块进一步被编程为：
检索自主车辆的当前位置的地图数据；
评估地图数据是否指示在由音频特征的源的方向产生的角度公差内的至少一个停放区域；和
如果地图数据指示在由音频特征的源的方向产生的角度公差内的至少一个停车区域，则增加指示音频特征的源是停放的车辆的置信度值。
根据本发明的一个实施例，碰撞避让模块进一步被编程为：
通过将音频特征输入到机器学习模型中来对音频特征进行分类，机器学习模型被编程为输出置信度得分；
根据置信度得分增加置信度值。
根据本发明的一个实施例，机器学习模型是深度神经网络。
根据本发明的一个实施例，碰撞避让模块进一步被编程为：
接收来自安装到自主车辆的一个或多个传感器的成像输出；
识别成像输出中的潜在障碍物的集合；
评估自主车辆与潜在障碍物集合和音频特征的源之间的可能碰撞；和
激活自主车辆的转向致动器、加速器致动器和制动致动器中的至少一个，以有效避让与潜在障碍物集合的碰撞。
根据本发明的一个实施例，一个或多个传感器包括摄像机、LIDAR传感器和RADAR传感器中的至少一个。
根据本发明的一个实施例，碰撞避让模块进一步被编程为通过对两个或更多个音频流进行滤波以获得两个或更多个已滤波的信号来识别音频特征，每个已滤波的信号包括可听见的特征中的一个或多个。
根据本发明的一个实施例，碰撞避让模块进一步被编程为通过从两个或更多个音频流中去除环境噪声来对两个或更多个音频流进行滤波。
根据本发明，提供一种用于在自主车辆中进行障碍物检测的方法，方法包含：
由包括一个或多个处理设备的控制器从安装到自主车辆的两个或更多个麦克风接收两个或更多个音频流；
由控制器检测两个或更多个音频流中的音频特征；
由控制器根据音频特征检测声源的方向；
由控制器根据音频特征识别声源的类别；和
由控制器确定声源的类别是停放的车辆，
响应于确定声源的类别是车辆而调用关于停放的车辆的潜在路径的障碍物避让。
根据本发明的一个实施例，方法进一步包含通过致动自主车辆的转向致动器、加速器致动器和制动致动器中的至少一个来调用相对于声源的方向的障碍物避让，以有效避免与声源碰撞。
根据本发明的一个实施例，方法进一步包含：
由控制器接收来自安装到自主车辆的至少一个摄像机的至少一个图像流；
由控制器确定在至少一个摄像机的图像流中的车辆的图像位于由声源的方向产生的角度公差内；
响应于确定至少一个摄像机的图像流中的车辆的图像位于由声源的方向产生的角度公差内而增加指示声源是停放的车辆的置信度值。
根据本发明的一个实施例，方法进一步包含：
由控制器检索自主车辆的当前位置的地图数据；
由控制器确定地图数据指示在由音频特征的源的方向产生的角度公差内的至少一个停放区域；和
响应于确定地图数据指示在由音频特征的源的方向产生的角度公差内的至少一个停车区域而增加指示音频特征的源是停放的车辆的置信度值。
根据本发明的一个实施例，方法进一步包含：
由控制器通过将音频特征输入到机器学习模型中来对音频特征进行分类，机器学习模型被编程为输出置信度得分；
由控制器根据置信度得分增加置信度值。
根据本发明的一个实施例，机器学习模型是深度神经网络。
根据本发明的一个实施例，方法进一步包含：
由控制器接收来自安装到自主车辆的一个或多个传感器的成像输出；
由控制器识别成像输出中的潜在障碍物的集合；
由控制器评估自主车辆与潜在障碍物集合和音频特征的源之间的可能碰撞；和
激活自主车辆的转向致动器、加速器致动器和制动致动器中的至少一个，以有效避让与潜在障碍物集合的碰撞。
根据本发明的一个实施例，一个或多个传感器包括摄像机、LIDAR传感器和RADAR传感器中的至少一个。
根据本发明的一个实施例，识别可听见的特征包含由控制器对两个或更多个音频流进行滤波，以获得两个或更多个已滤波的信号，每个已滤波的信号包括可听见的特征中的一个或多个。
根据本发明的一个实施例，对两个或更多个音频流进行滤波进一步包含从两个或更多个音频流中去除环境噪声。
附图说明
为了容易理解本发明的优点，将通过参照附图中示出的具体实施例来呈现上面简要描述的本发明的更具体的描述。应当理解的是，这些附图仅描绘了本发明的典型实施例，因此不应被认为是对其范围的限制，本发明将通过使用附图以附加的特征和细节来描述和解释，其中：
图1是用于实现本发明的实施例的系统的示意性框图；
图2是适合于实现根据本发明实施例的方法的示例计算设备的示意性框图；
图3是示出了使用听觉数据的障碍物检测的示意图；
图4是使用听觉数据执行障碍物检测的部件的示意性框图；和
图5是根据本发明的实施例的用于基于听觉数据执行碰撞避让的方法的过程流程图。
具体实施方式
将容易理解的是，如在本文的附图中总体地描述和示出的本发明的部件可以以各种各样的不同结构来布置和设计。因此，如图所示的本发明的实施例的以下更详细的描述不旨在限制所要求保护的本发明的范围，而是仅代表根据本发明当前设想的实施例的某些示例。通过参照附图将最好地理解当前描述的实施例，其中相同的部件始终由相同的附图标记表示。
根据本发明的实施例可以实现为装置、方法或计算机程序产品。因此，本发明可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或者结合软件和硬件方面的实施例的形式，这些实施例在本文中通常可以被称为作为“模块”或“系统”。此外，本发明可以采取体现在具有在介质中实现的计算机可用程序代码的任何有形表达介质中的计算机程序产品的形式。
可以使用一个或多个计算机可用或计算机可读介质的任何组合。例如，计算机可读介质可以包括便携式计算机磁盘、硬盘、随机存取存储器(RAM)设备、只读存储器(ROM)设备、可擦除可编程只读存储器(EPROM或闪存)设备、便携式光盘只读存储器(CDROM)、光存储设备和磁存储设备。在所选择的实施例中，计算机可读介质可以包含任何非暂时性的可以包含、存储、传送、传播或传输由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序的任何非暂态介质。
用于执行本发明的操作的计算机程序代码可以以一种或多种编程语言的任何组合来编写，所述编程语言包括诸如Java、Smalltalk、C++等的面向对象的编程语言和诸如“C”编程语言或类似的编程语言的传统的过程编程语言。程序代码可以作为独立的软件包，在独立的硬件单元上、部分地在与计算机隔开一定距离的远程计算机上、或者完全在远程计算机或服务器上在计算机系统上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到计算机，或者可以连接到外部计算机(例如，通过使用因特网服务提供商的因特网)。
下面参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解的是，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以通过计算机程序指令或代码来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令，创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。
这些计算机程序指令还可以存储在非暂时性计算机可读介质中，该非暂时性计算机可读介质可以指示计算机或其他可编程数据处理装置以特定方式运行，使得存储在计算机可读介质中的指令产生包括实现在流程图和/或框图的一个或多个框中指定的功能/动作的指令装置的制品。
计算机程序指令还可以被加载到计算机或其他可编程数据处理装置上，以使得在计算机或其他可编程装置上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机或其他可编程装置上执行的指令提供用于实现流程图和/或框图的一个或多个框中指定的功能/动作的过程。
参照图1，控制器102可以容纳在车辆内。车辆可以包括本领域已知的任何车辆。车辆可具有本领域中已知的任何车辆的所有结构和特征，包括车轮、连接到车轮的传动系、连接到传动系的发动机、转向系统、制动系统以及本领域中已知的包括在车辆中的其它系统。
如本文更详细地讨论的，控制器102可以执行自主导航和碰撞避让。特别地，可以分析图像数据和音频数据以识别障碍物。具体地，如下面关于图3和图4详细描述的，音频数据可以用于识别不在一个或多个摄像机或其他成像传感器的视野中的车辆。
控制器102可以从一个或多个成像设备104接收一个或多个图像流。例如，一个或多个摄像机可以安装到车辆并输出由控制器102接收的图像流。控制器102可以接收一个或更多个来自一个或多个麦克风106的音频流。例如，一个或多个麦克风或麦克风阵列可以安装到车辆并输出由控制器102接收的音频流。麦克风106可以包括具有随角度变化的灵敏度的定向麦克风。
控制器102可以执行碰撞避让模块108，碰撞避让模块108接收图像流和音频流并识别可能的障碍物并采取措施以避让它们。在本文公开的实施例中，仅使用图像和音频数据来执行碰撞避让。然而，也可以使用用于检测障碍物的其它传感器，例如RADAR(无线电检测和测距)、LIDAR(光检测和测距)、SONAR(声音导航和测距)等。因此，由控制器102接收的“图像流”可以包括以下中的一个或两个：由摄像机检测的光学图像、和使用一个或多个其他感测设备感测的对象和拓扑结构。控制器102然后可以分析图像和所感测的对象和拓扑结构，以便识别潜在的障碍物。
碰撞避让模块108可以包括音频检测模块110a。音频检测模块110a可以包括音频预处理模块112a，音频预处理模块112a被编程为处理一个或多个音频流，以便识别可以对应于车辆的特征。音频检测模块110a还可以包括机器学习模块112b，机器学习模块112b实现评估来自预处理模块112a的经处理的音频流中的特征并尝试分类音频特征的模型。机器学习模块112b可以输出指示分类是正确的这样的可能性的置信度得分。以下相对于图5的方法500更详细地描述音频检测模块110a的模块112a、112b的功能。
音频检测模块110a还可以包括图像相关模块112c，图像相关模块112c被编程为评估来自一个或多个成像设备104的图像输出，并且尝试在由对应于诸如正在运行但不移动的停放的车辆这样的车辆的声音源的估算方向产生的角度公差内识别图像数据中的车辆。如果指示车辆在角度公差内，则声音对应于车辆的置信度增加。
音频检测模块110a还可以包括地图相关模块112d。地图相关模块112d评估地图数据以确定停车位、车道或其他停车区域是否位于由与其发动机运行的车辆，特别是停放的车辆相对应的声音源的方向产生的角度公差内。如果是，则声音对应于其发动机运行的停放的车辆的置信度增加。
碰撞避让模块108还可以包括障碍物识别模块110b、碰撞预测模块110c和决策模块110d。障碍物识别模块110b分析一个或多个图像流并识别潜在障碍物，包括人、动物、车辆、建筑物、路边、以及其他物体和结构。特别地，障碍物识别模块110b可以识别图像流中的车辆图像。
碰撞预测模块110c基于车辆当前轨迹或当前预期路径预测哪些障碍物图像可能与车辆碰撞。碰撞预测模块110c可以评估与障碍物识别模块110b识别的物体以及使用音频检测模块110a检测到的障碍物的碰撞的可能性。具体地，通过音频检测模块110a使车辆发动机运行被标识为具有高于阈值置信度的车辆可以被添加到潜在障碍物的集合，特别是这种车辆的潜在移动。决策模块110d可做出停止、加速、转弯等以便避让障碍物的决定。碰撞预测模块110c预测潜在碰撞的方式以及决策模块110d采取措施以避让潜在碰撞的方式可以根据自主车辆领域中已知的任何方法或系统。
决策模块110d可以通过致动控制车辆的方向和速度的一个或多个致动器114来控制车辆的轨迹。例如，致动器114可以包括转向致动器116a、加速器致动器116b和制动致动器116c。致动器116a-116c的结构可以根据自主车辆领域中已知的这种致动器的任何实施方式。
控制器102可以是网络启用的并且通过网络118检索信息。例如，可以从服务器系统122访问地图数据120，以便识别容纳控制器102的自主车辆附近的潜在泊车空间。
图2是示出了示例计算设备200的框图。计算设备200可以用于执行各种过程，诸如本文所讨论的那些过程。控制器102可以具有计算设备200的一些或全部属性。
计算设备200包括一个或多个处理器202、一个或多个存储器设备204、一个或多个接口206、一个或多个大容量存储设备208、一个或多个输入/输出(I/O)设备210和显示设备230，所有这些都连接到总线212。处理器202包括执行存储在存储器设备204和/或大容量存储设备208中的指令的一个或多个处理器或控制器。处理器202还可以包括各种类型的计算机可读介质，诸如高速缓存存储器。
存储器装置204包括各种计算机可读媒体，例如易失性存储器(例如，随机存取存储器(RAM)214)和/或非易失性存储器(例如，只读存储器(ROM)216)。存储器设备204还可以包括可重写ROM，诸如闪存。
大容量存储设备208包括各种计算机可读介质，诸如磁带、磁盘、光盘、固态存储器(例如，闪存)等等。如图2所示，特定的大容量存储设备是硬盘驱动器224。各种驱动器也可以包括在大容量存储设备208中，以使得能够从各种计算机可读介质读取和/或写入到各种计算机可读介质中。大容量存储设备208包括可移动介质226和/或不可移动介质。
I/O设备210包括允许将数据和/或其它信息输入到计算设备200或从计算设备200检索的各种设备。示例I/O设备210包括光标控制设备、键盘、键板、麦克风、监视器或其它显示设备、扬声器、打印机、网络接口卡、调制解调器、透镜、电荷耦合器(CCD)或其它图像捕获设备等。
显示设备230包括能够向计算设备200的一个或多个用户显示信息的任何类型的设备。显示设备230的示例包括监视器、显示终端、视频投影设备等。
接口206包括允许计算设备200与其他系统、设备或计算环境交互的各种接口。示例接口206包括任何数量的不同网络接口220，诸如到局域网(LAN)、广域网(WAN)、无线网络和因特网的接口。其它接口包括用户接口218和外围设备接口222。接口206还可以包括一个或多个外围接口，例如用于打印机、定点设备(鼠标、轨迹板等)、键盘和类似物。
总线212允许处理器202、存储器设备204、接口206、大容量存储设备208、I/O设备210、和显示设备230彼此通信以及与连接到总线212的其它设备或部件通信。总线212表示若干类型的总线结构中的一个或多个，诸如系统总线、外设部件互连标准(PCI)总线、IEEE1394总线、通用串行总线(USB总线)等。
为了说明的目的，程序和其它可执行程序部件在本文中被示为离散框，但是应当理解的是，这样的程序和部件可以在不同时间驻留在计算设备200的不同存储部件中，并且由处理器202执行。或者，本文所描述的系统和过程可以以硬件，或硬件、软件和/或固件的组合来实现。例如，一个或多个专用集成电路(ASIC)可以被编程以执行本文描述的系统和过程中的一个或多个。
现在转到图3，在许多情况下，可能妨碍容纳控制器102的车辆(以下称为车辆300)目视检测潜在障碍物302，例如另一车辆、骑车人、行人等。例如，障碍物302可能被诸如停放的车辆、建筑物、树木、标志等的遮蔽物体从驾驶员或图像传感器104的视线遮蔽。因此，成像装置104在检测这样的障碍物时可能不是有效的。另外，停放的车辆不移动，因此可能不被成像传感器104检测为潜在危险。然而，如果停放的车辆的发动机正在运行，则车辆300事实上可能要移动到车辆300的路径中。
车辆300可足够接近以检测由被遮蔽的车辆304或停放的车辆304产生的声音。尽管本文公开的方法在存在遮蔽物体的情况下特别有用，但是本文所述的障碍物的识别可以在图像数据可用的情况下执行，并且例如可以确认对于成像设备104也可见的障碍物的位置。同样，可以使用如下面更详细描述的成像设备104来确认车辆发动机运行的停放的车辆的存在。
参照图4，麦克风106可以包括多个麦克风106a-106d。每个麦克风106a-106d的输出信号可以被输入到相应的预处理模块112a-1-112a-4。每个预处理模块112a-1-112a-4的输出可以由噪声消除滤波器400a-400d进一步处理。噪声消除模块400a-400d的输出然后可以被输入到机器学习模块112b。具体地，噪声消除模块400a-400d的输出可以被输入到机器学习模型402，机器学习模型402将输出中的特征分类为对应于特定车辆。机器学习模型112b可以进一步输出分类中的置信度。
预处理模块112a-1-112a-4可以处理来自麦克风106a-106d的原始输出，并产生输入到噪声消除模块400a-400d或直接到机器学习模块112b的经处理的输出。经处理的输出可以是原始输出的已滤波的版本，经处理的输出相对于原始输出具有增强的音频特征。增强的音频特征可以是可能对应于车辆的原始输出的段、频带或其他分量。因此，预处理模块112a-1-112a-4可以包括带通滤波器，该带通滤波器在对应于由车辆和车辆发动机产生的声音的频带中穿过原始输出的一部分，同时阻止该频带外的原始输出的部分。预处理模块112a-1-112a-4可以是数字滤波器，该数字滤波器具有被选择以传递具有对应于车辆发动机或其它车辆噪声的频谱内容和/或时域剖面的信号的系数，诸如具有将通过车辆产生的声音同时衰减其他声音的实验选择的系数的自适应滤波器。预处理模块112a-1-112a-4的输出可以是时域信号或频域信号，或者两者。预处理模块112a-1-112a-4的输出可以包括多个信号，包括在时域和频域中的一个或两个中的信号。例如，作为使用不同通带滤波器进行滤波的结果的信号可以在频域或时域中输出。
噪声消除模块400a-400d可以包括本领域已知的任何噪声消除滤波器或实现本领域已知的任何噪声消除方法。具体地，噪声消除模块400a-400d还可以进一步将车辆300的速度、车辆300的发动机的转速或描述发动机的状态的其它信息、车辆300的通风风扇的速度或其他信息作为输入。该信息可以由噪声消除模块400a-400d使用以去除由发动机和风扇以及车辆风噪声引起的噪声。
机器学习模型402可以是深度神经网络，然而可以使用其他类型的机器学习模型，诸如决策树、聚类、贝叶斯(Bayesian)网络、遗传或其他类型的机器学习模型。机器学习模型402可以在各种类型的情况下用各种类型的噪声训练。特别地，使用麦克风阵列106a-106d(或具有类似规格的阵列)记录的声音可以从任何源在各种相对位置、相对速度以及有和没有背景噪声的情况下被记录。
然后可以训练机器学习模型402以识别来自已知源的声音。例如，可以使用在上述各种情况下使用麦克风106a-106d各自对音频记录进行配对的<音频输入，声源类别>条目和声源的类别来训练模型。然后，机器学习算法可以使用这些条目来训练机器学习模型402以输出用于给定音频输入的声源的类别。机器学习算法可以针对各种类别的声源训练机器学习模型402。因此，可以针对每一类声源和用其训练的模型或者为每一类声源训练的单独模型生成一组训练条目。机器学习模型402可以输出决策和该决策的置信度得分。因此，机器学习模型402可以产生指示输入信号是否对应于特定类别的输出以及该输出是正确的这样的置信度得分。
机器学习模块112b还可以包括麦克风阵列处理模块404。麦克风阵列处理模块404可以评估来自各种麦克风106a-106d的音频特征的到达定时，以便估算到达音频特征的源的方向。例如，音频特征可以是在噪声消除模块400a-400d的输出中的时间T1、T2、T3和T4处开始的车辆的声音。因此，知道麦克风106a-106d的相对位置和声音的速度S，可以确定从麦克风106a-106d到源的距离差，例如，D2＝S/(T2-T1)，D3＝S/(T3-T1)，D4＝S/(T4-T1)，其中D2、D3、D4是音频特征相对于参照麦克风(在该示例中为麦克风106a)行进的距离的估算差。
例如，声音源的角度A可以计算为Asin(D2/R2)、Asin(D3/R3)和Asin(D4/R4)的平均值，其中R2是麦克风106a和麦克风106b之间的间隔，R3是麦克风106c和麦克风106a之间的间隔，R4是麦克风106d和麦克风106a之间的间隔。该方法假定声音源与麦克风106a-106d具有大的距离，使得入射声波可被近似为平面波。也可以使用用于基于本领域已知的不同到达时间来识别声音的方向的其它方法。同样，不是简单地确定方向，而是可以估算角度的扇区或范围，即关于任何估算方向的不确定性的范围，在不确定性的范围的情况下，限制所使用的方向估算技术的精度。
然后可以提供由麦克风阵列处理模块404估算的方向以及由机器学习模型402生成的分类和置信度得分作为来自机器学习模块112b的输出。例如，障碍物识别模块110b可以将具有位于所估算的方向的所识别的类别的车辆添加到潜在障碍物的集合，所述潜在障碍物的集合包括通过其他手段(例如使用成像装置104)识别的任何障碍物。碰撞预测模块110c然后可以执行识别与潜在障碍物的集合的潜在碰撞，并且决策模块110d然后可以确定要执行的措施(诸如使车辆转弯、应用制动、加速等)以避让潜在的碰撞。
图5示出了可以由控制器102通过处理来自麦克风106a-106d的音频信号执行的方法500。方法500可以包括使用麦克风106a-106d生成502表示检测到的声音的音频信号、以及预处理504音频信号以增强音频特征。这可以包括执行上面关于预处理模块112a-1-112a-4所描述的任何滤波功能。具体地，预处理504可以包括在时域或频域中生成一个或多个预处理信号，每个输出可以是来自麦克风106a-106d之一的音频信号的带通滤波版本，或者可以使用其它技术(例如使用自适应滤波器或其他音频处理技术)对输出进行滤波或以其他方式处理。预处理504还可以包括如上文关于噪声消除模块400a-400d所描述的在预处理模块112a-1-112a-4的输入或输出上执行噪声消除。
方法500还可以包括将预处理的信号输入506到机器学习模型402中。然后，机器学习模型402将声音来源分类508，即，将根据机器学习模型402来处理预处理信号中的音频特征的属性，然后机器学习模型402将输出一个或多个分类和用于一个或多个分类的置信度分数。
方法500还可以包括估算510声音来源的方向。如上所述，这可以包括调用麦克风阵列处理模块404的功能以评估音频特征在预处理输出中的到达时间的差异，以确定到音频特征的发起者的方向或到音频特征的发起者的可能的角度范围。
方法500还可以包括尝试使用一个或多个其他信息源来验证在步骤508执行的分类。例如，方法500可以包括尝试将与声音来源的方向与位于与声音来源的方向相对应的位置处的成像传感器104的输出内的车辆图像相关。例如，可以在步骤512识别位于包括方向的角度区域内的任何车辆图像。如果在角度区域内在成像传感器104的图像流中发现车辆图像，则可以增加置信度值。
方法500可以包括尝试514将声音来源的方向与地图数据相关。例如，如果发现地图数据指示停车位或其他合法停车区域位于自主车辆附近(例如在阈值半径内)并且在包括声音来源的方向的角度区域内，则置信度值可以增加，否则置信度值不会基于地图数据增加。用于确定停车区域是否在与声音来源的方向的公差内的角度区域可以与在步骤512中使用的角度区域相同或不同。
可以基于来自分类步骤508的置信度得分进一步增加置信度值。特别地，置信度得分可以与置信度得分的大小成比例或者作为置信度得分的大小的函数而增加。如本文所述，可以检测其发动机运行的停放的车辆。因此，在分类步骤508指示检测到停放的车辆发动机运行的声音的情况下，随后将基于步骤508以及基于步骤512和514的置信度得分来增加置信度值。
方法500可以包括评估516步骤508的置信度得分是否超过阈值。例如，在步骤508没有分类具有高于阈值的置信度得分的情况下，方法500可以包括确定作为分类的基础的音频特征可能不对应于车辆。否则，如果置信度得分超过阈值，则方法500可以包括将潜在障碍物添加518到通过其他手段(例如使用成像装置104)识别的障碍物的集合。潜在障碍物可以被定义为位于在步骤510确定的方向或角度的范围内的潜在障碍物。
对于指示其发动机运行的停放的车辆的分类，如果基于所有步骤508、512和514的置信度值超过对应于停放的车辆的阈值，则步骤516可以包括确定停放的车辆是潜在障碍物并且可以从其当前位置移动。具体地，可以将停放的车辆的潜在路径或一系列潜在路径添加518到潜在障碍物的集合。例如，由于到停放的车辆的估算方向是已知的，因此停放的车辆到估算方向的任一侧的潜在移动可以被认为是潜在障碍物。
在步骤516的任一结果中，使用其他感测系统(例如成像装置104)检测障碍物，并且使用这些感测系统检测到的障碍物被添加520到障碍物的集合。相对于障碍物集合执行522碰撞避让。如上所述，这可以包括检测潜在的碰撞并激活转向致动器116a、加速器致动器116b和制动致动器116c中的一个或多个，以避让障碍物集合的障碍物，以及将车辆引导到预期目的地。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其它具体形式实施。所描述的实施例在所有方面都被认为仅是说明性的，而不是限制性的。因此，本发明的范围由所附权利要求书指示，而不是由前面的描述指示。在权利要求的等同物的含义和范围内的所有改变将被包括在其范围内。

Claims (20)

1.一种用于自主车辆的系统，包含：
安装到所述自主车辆的两个或更多个麦克风；
控制器，所述控制器用于执行：
预处理器，所述预处理器被编程为检测来自所述两个或更多个麦克风的两个或更多个音频流中的音频特征；
碰撞避让模块，所述碰撞避让模块被编程为对所述音频特征和所述音频特征的源的方向进行分类，并且如果所述声源的类别是停放的车辆，则避让所述停放的车辆的潜在路径。
2.根据权利要求1所述的系统，其中所述碰撞避让模块进一步被编程为通过致动所述自主车辆的转向致动器、加速器致动器和制动致动器中的至少一个来调用相对于所述音频特征的所述源的所述方向的障碍物避让，以有效避让与所述音频特征的所述源的碰撞。
3.根据权利要求1所述的系统，进一步包含安装到所述自主车辆的至少一个摄像机；
其中所述碰撞避让模块进一步被编程以：
评估所述至少一个摄像机的图像流中的车辆的图像是否位于由所述音频特征的所述源的所述方向产生的角度公差内；和
如果所述车辆的所述图像在由所述音频特征的所述源的所述方向产生的所述角度公差内，则增加指示所述音频特征的所述源是所述停放的车辆的置信度值。
4.根据权利要求3所述的系统，其中所述碰撞避让模块进一步被编程为：
检索所述自主车辆的当前位置的地图数据；
评估所述地图数据是否指示在由所述音频特征的所述源的所述方向产生的所述角度公差内的至少一个停放区域；和
如果所述地图数据指示在由所述音频特征的所述源的所述方向产生的所述角度公差内的至少一个停车区域，则增加指示所述音频特征的所述源是所述停放的车辆的所述置信度值。
5.根据权利要求4所述的系统，其中所述碰撞避让模块进一步被编程为：
通过将所述音频特征输入到机器学习模型中来对所述音频特征进行分类，所述机器学习模型被编程为输出置信度得分；
根据所述置信度得分增加所述置信度值。
6.根据权利要求5所述的系统，其中所述机器学习模型是深度神经网络。
7.根据权利要求1所述的系统，其中所述碰撞避让模块进一步被编程为：
接收来自安装到所述自主车辆的一个或多个传感器的成像输出；
识别所述成像输出中的潜在障碍物的集合；
评估所述自主车辆与所述潜在障碍物集合和所述音频特征的所述源之间的可能碰撞；和
激活所述自主车辆的转向致动器、加速器致动器和制动致动器中的至少一个，以有效避让与所述潜在障碍物集合的碰撞。
8.根据权利要求7所述的系统，其中所述一个或多个传感器包括摄像机、LIDAR传感器和RADAR传感器中的至少一个。
9.根据权利要求1所述的系统，其中，所述碰撞避让模块进一步被编程为通过对所述两个或更多个音频流进行滤波以获得两个或更多个已滤波的信号来识别所述音频特征，每个所述已滤波的信号包括所述可听见的特征中的一个或多个。
10.根据权利要求9所述的系统，其中所述碰撞避让模块进一步被编程为通过从所述两个或更多个音频流中去除环境噪声来对所述两个或更多个音频流进行滤波。
11.一种用于在自主车辆中进行障碍物检测的方法，所述方法包含：
由包括一个或多个处理设备的控制器从安装到所述自主车辆的两个或更多个麦克风接收两个或更多个音频流；
由所述控制器检测所述两个或更多个音频流中的音频特征；
由所述控制器根据所述音频特征检测声源的方向；
由所述控制器根据所述音频特征识别所述声源的类别；和
由所述控制器确定所述声源的所述类别是停放的车辆，
响应于确定所述声源的所述类别是车辆而调用关于所述停放的车辆的潜在路径的障碍物避让。
12.根据权利要求11所述的方法，进一步包含通过致动所述自主车辆的转向致动器、加速器致动器和制动致动器中的至少一个来调用相对于所述声源的所述方向的障碍物避让，以有效避让与所述声源碰撞。
13.根据权利要求11所述的方法，进一步包含：
由所述控制器接收来自安装到所述自主车辆的至少一个摄像机的至少一个图像流；
由所述控制器确定在所述至少一个摄像机的所述图像流中的车辆的图像位于由所述声源的所述方向产生的角度公差内；
响应于确定所述至少一个摄像机的所述图像流中的所述车辆的所述图像位于由所述声源的所述方向产生的所述角度公差内而增加指示所述声源是所述停放的车辆的置信度值。
14.根据权利要求13所述的方法，进一步包含：
由所述控制器检索所述自主车辆的当前位置的地图数据；
由所述控制器确定所述地图数据指示在由所述音频特征的源的所述方向产生的所述角度公差内的至少一个停放区域；和
响应于确定所述地图数据指示在由所述音频特征的所述源的所述方向产生的所述角度公差内的至少一个停车区域而增加指示所述音频特征的所述源是所述停放的车辆的所述置信度值。
15.根据权利要求14所述的方法，进一步包含：
由所述控制器通过将所述音频特征输入到机器学习模型中来对所述音频特征进行分类，所述机器学习模型被编程为输出置信度得分；
由所述控制器根据所述置信度得分增加所述置信度值。
16.根据权利要求15所述的方法，其中所述机器学习模型是深度神经网络。
17.根据权利要求11所述的方法，进一步包含：
由所述控制器接收来自安装到所述自主车辆的一个或多个传感器的成像输出；
由所述控制器识别所述成像输出中的潜在障碍物的集合；
由所述控制器评估所述自主车辆与所述潜在障碍物集合和所述音频特征的所述源之间的可能碰撞；和
激活所述自主车辆的转向致动器、加速器致动器和制动致动器中的至少一个，以有效避让与所述潜在障碍物集合的碰撞。
18.根据权利要求17所述的方法，其中所述一个或多个传感器包括摄像机、LIDAR传感器和RADAR传感器中的至少一个。
19.根据权利要求11所述的方法，其中识别所述可听见的特征包含由所述控制器对所述两个或更多个音频流进行滤波，以获得两个或更多个已滤波的信号，每个所述已滤波的信号包括所述可听见的特征中的一个或多个。
20.根据权利要求19所述的方法，其中对所述两个或更多个音频流进行滤波进一步包含从所述两个或更多个音频流中去除环境噪声。
CN201710091567.8A 2016-02-26 2017-02-20 使用听觉数据的碰撞避免 Pending CN107128304A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/054,602 2016-02-26
US15/054,602 US9996080B2 (en) 2016-02-26 2016-02-26 Collision avoidance using auditory data

Publications (1)

Publication Number Publication Date
CN107128304A true CN107128304A (zh) 2017-09-05

Family

ID=58544240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710091567.8A Pending CN107128304A (zh) 2016-02-26 2017-02-20 使用听觉数据的碰撞避免

Country Status (6)

Country Link
US (1) US9996080B2 (zh)
CN (1) CN107128304A (zh)
DE (1) DE102017103374A1 (zh)
GB (1) GB2549380A (zh)
MX (1) MX2017002567A (zh)
RU (1) RU2017105832A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410540A (zh) * 2018-11-21 2019-03-01 昆明理工大学 一种基于物联网的老人安全出行手环控制系统
CN111650557A (zh) * 2019-03-04 2020-09-11 丰田自动车株式会社 驾驶辅助系统
CN112124294A (zh) * 2019-06-24 2020-12-25 通用汽车环球科技运作有限责任公司 检测到车辆环境中的事件时适应车辆的驾驶条件的系统和方法
CN112629872A (zh) * 2019-09-24 2021-04-09 沃尔沃汽车公司 低撞击力碰撞检测
CN113720343A (zh) * 2021-08-16 2021-11-30 中国科学院上海微系统与信息技术研究所 基于动态数据实时适应的航向预测方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106080590B (zh) * 2016-06-12 2018-04-03 百度在线网络技术（北京）有限公司 车辆控制方法和装置以及决策模型的获取方法和装置
US10045110B2 (en) * 2016-07-06 2018-08-07 Bragi GmbH Selective sound field environment processing system and method
DE102016212505A1 (de) * 2016-07-08 2018-01-11 Robert Bosch Gmbh Bestimmung von seitlich entfernten Parklücken
US10976748B2 (en) * 2018-08-22 2021-04-13 Waymo Llc Detecting and responding to sounds for autonomous vehicles
DE102018007830A1 (de) 2018-10-04 2019-03-28 Daimler Ag Verfahren zur Erfassung von Außengeräuschen
KR102626835B1 (ko) 2018-10-08 2024-01-18 삼성전자주식회사 경로를 결정하는 방법 및 장치
DE102018222780A1 (de) * 2018-12-21 2020-06-25 Forschungsgesellschaft Kraftfahrwesen Mbh Aachen (Fka) Kalibrierung eines Fahrzeugmikrophons
CN109801638B (zh) * 2019-01-24 2023-10-13 平安科技（深圳）有限公司 语音验证方法、装置、计算机设备及存储介质
DE102019202634B3 (de) 2019-02-27 2020-07-23 Zf Friedrichshafen Ag Verfahren, Steuergerät für ein automatisiert betreibbares Straßenfahrzeug, Computerprogrammprodukt zum Erkennen von Objekten im Straßenverkehr und automatisiert betreibbares Straßenfahrzeug für Mobilitätsdienstleistungen
DE102019205011A1 (de) * 2019-04-08 2020-10-08 Zf Friedrichshafen Ag Verarbeitungseinheit, Fahrerassistenzsystem und Verfahren zur Geräuscherkennung von Umfeldgeräuschen
US11209831B2 (en) 2019-05-03 2021-12-28 Ford Global Technologies, Llc Object sound detection
DE102019215668A1 (de) * 2019-10-11 2021-04-15 Zf Friedrichshafen Ag Verfahren zur Erfassung und Interpretation von Schallereignissen bei einem autonom fahrenden Fahrzeug
CN112818806A (zh) * 2021-01-27 2021-05-18 国网四川省电力公司电力科学研究院 一种基于深度学习的变电站巡检机器人辅助导航方法
GB2611559A (en) * 2021-10-08 2023-04-12 Virtual Vehicle Res Gmbh Method and device to detect traffic hazards based on sound events

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008027692A1 (de) * 2008-06-11 2009-12-17 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung eines Fahrers eines Fahrzeugs bei einem Parkvorgang
US20120288138A1 (en) * 2011-05-10 2012-11-15 GM Global Technology Operations LLC System and method for traffic signal detection
CN104221066A (zh) * 2012-03-30 2014-12-17 丰田自动车株式会社 驾驶辅助装置
CN204196777U (zh) * 2014-10-30 2015-03-11 长城汽车股份有限公司 驾驶路况识别控制系统及车辆
CN104620259A (zh) * 2012-09-10 2015-05-13 哈曼国际工业有限公司 使用音频/视觉线索的车辆安全系统
CN104843001A (zh) * 2014-02-14 2015-08-19 福特全球技术公司 密集车辆环境中的自主控制

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5798983A (en) * 1997-05-22 1998-08-25 Kuhn; John Patrick Acoustic sensor system for vehicle detection and multi-lane highway monitoring
DE10136981A1 (de) * 2001-07-30 2003-02-27 Daimler Chrysler Ag Verfahren und Vorrichtung zur Ermittlung eines stationären und/oder bewegten Objektes
US7697698B2 (en) 2003-08-22 2010-04-13 William Sumner Brown Sound-based vehicle safety system
DE602007011807D1 (de) 2006-11-09 2011-02-17 Panasonic Corp Schallquellenpositionsdetektor
US7969821B2 (en) * 2007-01-17 2011-06-28 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for locating a wave source within a defined area
CN101980890B (zh) 2008-09-26 2013-04-24 松下电器产业株式会社 死角车辆检测装置以及检测方法
US9250315B2 (en) * 2009-03-04 2016-02-02 Toyota Motor Engineering & Manufacturing North America, Inc. Collision avoidance system and method
JP2011232293A (ja) 2010-04-30 2011-11-17 Toyota Motor Corp 車外音検出装置
DE102011076466A1 (de) * 2011-05-25 2012-11-29 Siemens Ag Vorrichtung zur Überwachung der Fahrzeugumgebung
JP6001248B2 (ja) * 2011-09-20 2016-10-05 トヨタ自動車株式会社 音源検出装置
CN104335263B (zh) * 2012-05-25 2016-08-31 丰田自动车株式会社 接近车辆检测装置及驾驶辅助系统
JP5867352B2 (ja) 2012-09-24 2016-02-24 トヨタ自動車株式会社 走行音を用いた車両検出装置
US8676427B1 (en) * 2012-10-11 2014-03-18 Google Inc. Controlling autonomous vehicle using audio data
DE102013209298A1 (de) 2013-05-21 2014-11-27 Bayerische Motoren Werke Aktiengesellschaft System und Verfahren zum Erkennen von einem potentiell frei werdenden Parkplatz
CN104908645A (zh) 2015-06-08 2015-09-16 上海斐讯数据通信技术有限公司 一种行车辅助驾驶系统及其工作方法
US9937922B2 (en) * 2015-10-06 2018-04-10 Ford Global Technologies, Llc Collision avoidance using auditory data augmented with map data
US9873428B2 (en) * 2015-10-27 2018-01-23 Ford Global Technologies, Llc Collision avoidance using auditory data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008027692A1 (de) * 2008-06-11 2009-12-17 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung eines Fahrers eines Fahrzeugs bei einem Parkvorgang
US20120288138A1 (en) * 2011-05-10 2012-11-15 GM Global Technology Operations LLC System and method for traffic signal detection
CN104221066A (zh) * 2012-03-30 2014-12-17 丰田自动车株式会社 驾驶辅助装置
CN104620259A (zh) * 2012-09-10 2015-05-13 哈曼国际工业有限公司 使用音频/视觉线索的车辆安全系统
CN104843001A (zh) * 2014-02-14 2015-08-19 福特全球技术公司 密集车辆环境中的自主控制
CN204196777U (zh) * 2014-10-30 2015-03-11 长城汽车股份有限公司 驾驶路况识别控制系统及车辆

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨铁军: "《产业专利分析报告 第33册 智能识别》", 30 June 2015 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410540A (zh) * 2018-11-21 2019-03-01 昆明理工大学 一种基于物联网的老人安全出行手环控制系统
CN111650557A (zh) * 2019-03-04 2020-09-11 丰田自动车株式会社 驾驶辅助系统
CN112124294A (zh) * 2019-06-24 2020-12-25 通用汽车环球科技运作有限责任公司 检测到车辆环境中的事件时适应车辆的驾驶条件的系统和方法
CN112629872A (zh) * 2019-09-24 2021-04-09 沃尔沃汽车公司 低撞击力碰撞检测
US11541882B2 (en) 2019-09-24 2023-01-03 Volvo Car Corporation Low-impact collision detection
CN113720343A (zh) * 2021-08-16 2021-11-30 中国科学院上海微系统与信息技术研究所 基于动态数据实时适应的航向预测方法

Also Published As

Publication number Publication date
DE102017103374A1 (de) 2017-08-31
MX2017002567A (es) 2018-08-15
GB201703031D0 (en) 2017-04-12
US20170248955A1 (en) 2017-08-31
US9996080B2 (en) 2018-06-12
GB2549380A (en) 2017-10-18
RU2017105832A (ru) 2018-08-22

Similar Documents

Publication Publication Date Title
CN107128304A (zh) 使用听觉数据的碰撞避免
CN107031628B (zh) 使用听觉数据的碰撞规避
CN107527092B (zh) 使用听觉数据训练用于碰撞躲避的算法
CN106560365B (zh) 使用经地图数据增强的听觉数据的碰撞避免
CN107031622B (zh) 用于碰撞避免的训练算法
CN107031624B (zh) 钻车缝摩托车的检测
US10817736B2 (en) System and methods for identifying unoccupied parking positions
RU2694154C2 (ru) Формирование моделированных данных датчиков для обучения и проверки достоверности моделей обнаружения
US10131348B2 (en) Information processor and movable body apparatus
KR102176098B1 (ko) 음원 인식 방법 및 장치
US20120155711A1 (en) Apparatus and method for analyzing video
US20230192073A1 (en) Methods and systems for parking a vehicle
CN116324659A (zh) 自主载具的紧急警笛检测
KR102226405B1 (ko) 음원 인식 방법 및 장치, 그리고 컴퓨터 판독가능 저장매체
KR20200128467A (ko) 기록매체
JP2024004717A (ja) 異常情報出力装置及び異常情報出力方法
US20180336913A1 (en) Method to improve temporarily impaired speech recognition in a vehicle
JP2024004716A (ja) 異常情報出力装置及び異常情報出力方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination