CN106560365B - 使用经地图数据增强的听觉数据的碰撞避免 - Google Patents

使用经地图数据增强的听觉数据的碰撞避免 Download PDF

Info

Publication number
CN106560365B
CN106560365B CN201610864223.1A CN201610864223A CN106560365B CN 106560365 B CN106560365 B CN 106560365B CN 201610864223 A CN201610864223 A CN 201610864223A CN 106560365 B CN106560365 B CN 106560365B
Authority
CN
China
Prior art keywords
vehicle
predicted location
predicted
sound
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610864223.1A
Other languages
English (en)
Other versions
CN106560365A (zh
Inventor
布里勒·赖夫
玛德琳·J·吴
尼锡卡·锡瓦尚卡尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN106560365A publication Critical patent/CN106560365A/zh
Application granted granted Critical
Publication of CN106560365B publication Critical patent/CN106560365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B62D15/0265—Automatic obstacle avoidance by steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/28—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves by co-ordinating position lines of different shape, e.g. hyperbolic, circular, elliptical or radial
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/10—Transducer, e.g. piezoelectric elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/20—Data confidence level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Navigation (AREA)

Abstract

一种用于自主车辆的控制器，接收来自一个或多个麦克风的音频信号以及识别声音。控制器还识别声源的估计位置和声音类型，即声音是否是车辆和/或车辆类型。控制器分析地图数据以及从估计位置的偏差内试图识别地标。如果找到的地标对应于估计位置和声源类型，那么声源在那个位置且是那种类型声源的确定性增加。然后，以使用地图数据增强的确定性，执行关于声源位置及其类型的碰撞避免。碰撞避免可以包括为了避开声源位置自动地驱使制动器执行器、转向器执行器和加速器执行器。

Description

使用经地图数据增强的听觉数据的碰撞避免
技术领域
本发明涉及在自主车辆中的执行障碍物避免。
背景技术
自主车辆装备有检测其环境的传感器。算法评估传感器的输出以及识别障碍物。然后导航系统可以转向车辆、制动和/或加速以既避开识别的障碍物又达到需要的目的地。传感器可以既包括例如摄像机的成像系统，也包括RADAR(雷达)或LIDAR(激光雷达)传感器。
公开在此处的系统和方法提供一种用于检测障碍物的改善方法。
发明内容
根据本发明，提供一种用于自主车辆的控制器，包含：
一个或多个处理装置，一个或多个处理装置编程为：
接收来自一个或多个麦克风的一个或多个音频流；
检索自主车辆周围区域的地图数据；以及
如果一个或多个音频流和地图数据表明其它车辆接近自主车辆的高概率，则启动针对其它车辆可能位置的障碍物规避。
根据本发明的一个实施例，其中一个或多个处理装置还编程为通过驱使能有效避开其它车辆的可能位置的自主车辆的转向执行器、加速器执行器以及制动器执行器中的至少一个，来启动针对其它车辆可能位置的障碍物规避。
根据本发明的一个实施例，其中一个或多个处理装置还编程为：
在一个或多个音频流中检测可能来自车辆的声音；
识别可能来自车辆的声音的第一预测位置；以及
使用地图数据选择其他车辆的可能位置，该可能位置选自接近第一预测位置的区域。
根据本发明的一个实施例，其中：
一个或多个麦克风是麦克风阵列并且一个或多个音频流是来自麦克风阵列的多个音频流；
一个或多个处理装置还编程为通过比较在多个音频流中的可能来自车辆的声音的到达时间和强度中的至少一个，来识别可能来自车辆的声音的第一预测位置。
根据本发明的一个实施例，其中一个或多个麦克风是定向麦克风。
根据本发明的一个实施例，其中一个或多个处理装置还编程为：
识别接近第一预测位置的区域的地标；
在接近第一预测位置的区域的地标中通过地图数据识别车辆特定地标；以及
选择车辆特定地标作为其它车辆的可能位置。
根据本发明的一个实施例，其中车辆特定地标是停车场和紧急车辆车站(emergency vehicle station)中的至少一个。
根据本发明的一个实施例，其中一个或多个处理装置还编程为：
从可能来自车辆的声音识别预测车辆类型；
如果预测车辆类型对应于车辆特定地标，则确认预测车辆类型。
根据本发明的一个实施例，其中一个或多个处理装置还编程为：
如果预测车辆类型对应于车辆特定地标且车辆特定地标是紧急车辆车站，则实行靠边停车并且停止自主车辆。
根据本发明的一个实施例，其中其他车辆的可能位置不在自主车辆成像系统的视线内。
根据本发明，提供一种自主车辆，包含：
车辆，车辆包括发动机和选择性连接到发动机的车轮；
转向执行器、加速器执行器以及制动器执行器的至少一个；
一个或多个麦克风；
控制器，控制器可操作地连接到一个或多个麦克风和转向执行器、加速器执行器以及制动器执行器中的至少一个，控制器包括一个或多个处理装置，一个或多个处理装置编程为：
接收来自一个或多个麦克风的一个或多个音频流；
检索自主车辆周围区域的地图数据；以及
如果一个或多个音频流和地图数据表明其它车辆接近自主车辆的高概率，则启动针对其它车辆可能位置的障碍物规避。
根据本发明的一个实施例，其中一个或多个处理装置还编程为通过驱使能有效避开其它车辆的可能位置的自主车辆的转向执行器、加速器执行器以及制动器执行器中的至少一个，来启动针对其它车辆可能位置的障碍物规避。
根据本发明的一个实施例，其中一个或多个处理装置还编程为：
在一个或多个音频流中检测可能来自车辆的声音；
识别可能来自车辆的声音的第一预测位置；以及
使用地图数据选择其它车辆的可能位置，该可能位置选自接近第一预测位置的区域。
根据本发明的一个实施例，其中：
一个或多个麦克风是麦克风阵列且一个或多个音频流是来自麦克风阵列的多个音频流；
一个或多个处理装置还编程为通过比较多个音频流中可能来自车辆的声音的到达时间和强度中的至少一个识别可能来自车辆的声音的第一预测位置。
根据本发明的一个实施例，其中一个或多个麦克风是定向麦克风。
根据本发明的一个实施例，其中一个或多个处理装置还编程为：
识别接近第一预测位置的区域中的地标；
在接近第一预测位置的区域的地标中通过地图数据识别车辆特定地标；以及
选择车辆特定地标作为其它车辆的可能位置。
根据本发明的一个实施例，其中车辆特定地标是停车场和紧急车辆车站中的至少一个。
根据本发明的一个实施例，其中一个或多个处理装置还编程为：
从可能来自车辆的声音识别预测车辆类型；
如果预测车辆类型对应于车辆特定地标，则确认预测车辆类型。
根据本发明的一个实施例，其中一个或多个处理装置还编程为：
如果预测车辆类型对应于车辆特定地标并且车辆特定地标是紧急车辆车站，则实行靠边停车并且停止自主车辆。
根据本发明的一个实施例，其中其他车辆的可能位置不在自主车辆成像系统的视线内。
附图说明
为了很容易理解本发明的优点，上面简要描述的本发明的更具体的描述将通过参考在附图中示出具体实施例来呈现。应理解这些附图仅描述本发明的典型实施例，因此不被认为是对其范围的限制，本发明将通过使用附图另外具体和详细地进行描述和解释，其中：
图1是用于本发明实施的实施例的系统的原理框图；
图2是适用于实施根据本发明实施例的方法的实例计算装置的原理框图；
图3A和3B是说明使用听觉和地图数据的障碍物检测的图；以及
图4是根据本发明的实施例的基于听觉和地图数据执行碰撞避免的方法的流程图。
具体实施方式
将容易理解，本发明的组件，如大体在本文的附图中描述和示出的，可以布置并设计为各种不同的结构。因此，以下附图中所示的本发明的实施例的更详细说明并非意在限制要求保护的本发明的范围，而仅仅表示根据本发明的目前预期实施例的某些实例。目前描述的实施例将通过参考附图得到最好的理解，其中相同的部件始终由相同的附图标记指示。
根据本发明的实施例可以实现为装置、方法或计算机程序产品。因此，本发明可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码(micro-code)等)，或者结合软件和硬件方面的实施例的形式，其可以全部在本文中统称为“模块”或“系统”。而且，本发明可以采取包含在任何有形表达媒介中的计算机程序产品的形式，该计算机程序产品具有包含在媒介中的计算机可用程序代码。
可以使用一种或多种计算机可用或计算机可读介质的任何组合。例如，计算机可读介质可以包括一种或多种便携式计算机磁盘、硬盘、随机存取存储器(random accessmemory，RAM)装置、只读存储器(read-only memory，ROM)装置、可擦除可编程只读存储器(EPROM(erasableprogrammable read-only memory)或闪存)装置、便携式光盘只读存储器(compact disc read-only memory，CDROM)、光学存储装置和磁性存储装置。在选定的实施例中，计算机可读介质可以包含任何非暂时性介质，该非暂时性介质可以包含、存储、通信、传播或传输由指令执行系统、装置或设备所使用的程序或与其有关的程序。
用于实施本发明操作的计算机程序代码可以以一种或多种编程语言的任何组合来编写，编程语言包括如Java、Smalltalk、C++等的面向对象的编程语言以及如“C”编程语言或类似编程语言的常规程序编程语言。程序代码可以作为独立的软件包完全在计算机系统上执行，该软件包处在独立硬件单元上、部分处在与计算机隔开一定距离的远程计算机上或全部处在远程计算机或服务器上。在后者的情形中，远程计算机可以通过任何类型的网络连接到计算机，网络包括局域网(LAN)或广域网(WAN)或连接可以通向外部计算机的连接(如通过使用互联网服务商的互联网)。
本发明在下文中参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图进行了描述。应理解的是，流程图和/或框图中的每个框和流程图和/或框图中的框的组合可以由计算机程序指令或代码实施。可以将这些计算机程序指令提供给通用计算机、专用计算机或用于产生机器的其它可编程数据处理装置的处理器，以使通过计算机或其它可编程数据处理装置的处理器执行的指令产生用于实施流程图和/或框图的一个或多个框中设定的功能/动作的手段。
这些计算机程序指令也可以存储在非暂时性计算机可读介质中，该指令可以指示计算机或其它可编程数据处理装置以特定方式运行，以使存储在计算机可读介质中的指令产生制品，该指令包括实施流程图和/或框图的一个或多个框中设定的功能/动作的指令手段。
计算机程序指令也可以加载在计算机或其它可编程数据处理装置中，以引起一系列的操作步骤在计算机或其它可编程装置中实施，以产生计算机实施过程，从而使在计算机或其它可编程装置中执行的指令提供用于实施流程图和/或框图的一个或多个框中设定的功能/动作的过程。
参考图1，控制器102可以装载在车辆中。车辆可以包括本领域已知的任何车辆。车辆可以具有本领域已知任何车辆全部结构和特征，包括车轮、连接到车轮的传动系统、连接到传动系统的发动机、转向系统、制动系统以及本领域已知的包括在车辆中的其他系统。
如此处详细的论述，控制器102可以执行自主导航和碰撞避免。特别地，听觉和地图数据可以被分析以识别可能障碍物。
控制器102可以包括或访问装载在车辆中或另外由控制器102可访问的数据库104。数据库104可以包括足以使用地图数据实现障碍物识别的数据。例如，声音数据106可以包含描述由一个或多个车辆类型或者其他可能障碍物产生的声音的数据。例如，声音数据106可以包括由一个或多个类型车辆、动物(例如狗叫声)、人交谈等产生的声音样本。另外，声音数据106可以包含描述这样声音的数据，例如这样声音的频谱或者源自这样声音记录的其他数据。
数据库104可以还包括地图数据108。地图数据108可以包括车辆区域内的地图，例如车辆位于的城市、州或乡村。地图可以包括说明道路、地标、企业、公共建筑等的数据。特别地，地图数据108可以包括紧急车辆车站的位置(消防站、具有救护服务的医院、警察局等)。
在一些实施例中，控制器102可以周期性的连接到例如互联网或其他网络的网络110。控制器102可以从一个或多个服务器112检索储存在数据库104中一些或全部数据，该服务器112托管或者访问存储这样信息的数据库114。例如，一个或多个车辆或其他可能障碍物的声音特征(sound signature)或声音样本可以来源于数据库114。同样，现有地图数据108可以从数据库114周期性检索。
控制器102可以接收来自一个或多个成像装置116的一个或多个图像流。例如，一个或多个摄像机可以安装到车辆且输出由控制器102接收的图像流。
控制器102可以还接收来自一个或多个麦克风118的音频信号。一个或多个麦克风118可以是彼此偏移的麦克风阵列，如此声音的振幅和到达时间上的差异可以被用于确定声音源头方向和到声音距离的其中一个或两个。一个或多个麦克风可以是对源于特定方向的声音更加敏感的定向麦克风。麦克风118和用于获得到声源的距离和方向的其中一个或两个的电路或算法，可以根据SONAR(声纳)的本领域已知的任何方法或者本领域已知的用于识别声源位置的任何其他方法。
控制器可以执行碰撞避免模块120，碰撞避免模块120接收图像流和音频信号且识别可能障碍物且采取措施来避开障碍物。在此处公开的实施例中，仅图像和音频数据用于执行碰撞避免。然而，检测障碍物的例如RADAR、LIDAR、SONAR等其他传感器同样可以被使用。
碰撞避免模块120可以包括障碍物识别模块122a，障碍物识别模块122a分析一个或多个图像流且识别包括人、动物、车辆、建筑物、路缘和其他物体和结构的可能障碍物。特别地，障碍物识别模块122a可以在一个或多个图像流中识别车辆图像。障碍物识别模块122a可以包括声音处理模块124，声音处理模块124使用音频信号结合地图数据108和可能地声音数据106识别可能障碍物。将听觉和地图数据用于识别可能障碍物的方法在以下较为详细的描述。
碰撞避免模块120可以还包括碰撞预测模块122b，碰撞预测模块122b基于障碍物现在轨道或现在计划的道路预测哪一个障碍物图像可能与车辆碰撞。决策模块122c可以为了避免障碍物而做出停止、加速、转弯等的决定。碰撞预测模块122b预测可能碰撞的方式和决策模块122c采取行动以避免可能碰撞的方式可以是根据自主车辆本领域已知的任何方法或系统。
决策模块122c可以由驱动一个或多个控制车辆方向和车速的执行器126来控制车辆轨迹。例如，执行器126可以包括转向执行器128a、加速器执行器128b以及制动器执行器128c。执行器128a-128c的配置可以是根据自主车辆的本领域已知这样执行器的任何实施例。
图2是示出了实例计算装置200的框图。计算装置200可以用于执行例如此处讨论的各种程序。控制器102可以具有一些或全部计算装置200的特性。
计算装置200包括全部连接到总线212的一个或多个处理器202，一个或多个存储装置204、一个或多个接口206、一个或多个大容量存储装置208、一个或多和输入/输出(Input/Output，I/O)装置210和显示装置230。处理器202包括执行存储在存储装置204和/或大容量存储装置208中的指令的一个或多个处理器或控制器。处理器202同样可以包括各种类型的计算机可读媒介，例如高速缓存。
存储装置204包括例如易失性存储器(例如随机存储存储器(RAM)214)和/或非易失性存储器(例如只读存储器(ROM)216)的各种计算机可读媒介。存储装置204可以同样包括可再写ROM，例如闪存。
大容量存储装置208包括各种计算机可读媒介，例如磁带、磁盘、光盘、固态存储器(例如闪存)等等。如图2所示，具体的大容量存储装置是硬盘驱动器224。各种驱动器可以同样被包括进大容量存储装置208以能够从各种计算机可读媒介读取和/或写入各种计算机可读媒介。大容量存储装置208包括可移除媒介226和/或非移除性媒介。
I/O装置210包括允许数据和/或其他信息被输入到计算装置200或从计算装置200中被检索的各种装置。实例I/O装置210包括光标控制装置、键盘、小键盘、麦克风、监视器或其他显示装置、扬声器、打印机、网络接口卡、调制解调器、镜头、CCD(charge-coupleddevices，电荷耦合装置)或其他图像捕捉装置等。
显示装置230包括能够显示信息给计算装置200的一个或更多用户的任何类型装置。显示装置230的实例包括监视器、显示终端、视频投影装置等。
接口206包括允许计算装置200与其他系统、装置或计算环境相互作用的各种接口。实例接口206包括任何数量的不同网络接口220，例如连接到本地局域网(local areanetworks，LANs)、广域网(wide area networks，WANs)、无线网和互联网的接口。其他接口包括用户界面218和外围装置接口222。接口206可以同样包括一个或多个外部接口，例如用于打印机、定点装置(鼠标、触式控制板等)、键盘等的接口。
总线212允许处理器202、存储装置204、接口206、大容量存储装置208、I/O装置210和显示装置230来相互通信，同时与连接到总线212其他装置或部件通信。总线212代表几个类型总线结构的其中一个或多个，例如系统总线、PCI总线、IEEE 1394总线、USB总线等。
为了说明的目的，程序或其他可执行程序部件以分立的框显示在此处，尽管可以理解的是这样的程序和部件可以在不同的时间驻留于计算装置200不同存储组件中，以及由处理器202执行。另外，此处描述的系统和程序可以在硬件、或硬件、软件和/或固件的结合中实施。例如，一个或多个专用集成电路(application specific integratedcircuits，ASIC)可以被编程为执行此处描述的一个或多个系统和程序。
现转到图3A和3B，在很多实例中车辆装载的控制器102(在下文中车辆300)可能因例如建筑物、树、路标等的挡住物体304而无法视觉检测可能物体，例如另一个车辆302。因此，成像装置116在检测这样物体上不是有效的。然而，车辆300可能足够近以检测由其他车辆302或其他障碍物产生的声音。尽管此处公开的方法在存在挡住物体304的情况下是特别有用的，此处描述的障碍物的识别可以在图像数据是可获得的情况中执行且可以例如确认同样对于成像装置116是可见的障碍物位置。
从其他车辆302或其他障碍物检测的音频信号，如图3A中显示的，可以与图3B中显示的地图数据比较。例如，车辆300的位置306可以使用安装在车辆300中的GPS(globalpositioning system，全球定位系统)接收器在地图上识别，和可以从地图数据中识别位置306区域中的地标。挡住物体304的身份和位置同样可以被识别。与车辆302或者其他障碍物对应的地标308可以从地图数据中选择，以对应到使用一个或多个麦克风118检测的声源相应的方向和距离中的一个或两个。例如，到使用一个或多个麦克风118检测的声源的方向和或位置可以具有与此相关的不确定性和偏差。与声源相应的地标308可以被选择，这是由于地标308位于距由来自麦克风118的音频信号确定的声源方向和/或位置的偏差内。
例如，在对应声源的地标308被确定是停车场，可以推论的是车辆正在离开停车场且可以采取措施去避开它。同样地，在地标308是紧急车辆车站且被检测的声音是警笛，可以推论的是紧急车辆正在离开车站且可以采取措施靠边停车或者另外采取措施避开它。如果车辆300行驶在第一道路上且地标308是与第一道路相交的第二道路，可以推论的是在第二道路上的车辆会即将转到第一道路上。
图4示出了可以由控制器通过处理来自一个或多个麦克风118的音频信号执行的方法400。
方法400可以包括检测402声音和确定404一个或多个可能声源。例如声音的波形或频谱可以与声音数据106中一个或多个源头中的一些比较。具有超过阈值条件的与检测声音的相似性的候选声源404可以被识别。候选声源可以被评估为车辆、人、动物或其他产生声音物体，针对其存储有声音数据106。
方法400的一些或全部剩下步骤可以针对全部检测402的声音或仅针对对应于车辆或其他可能物体的声音被执行。因此，如果，在步骤404，找到的声音与车辆或其他可能物体不匹配，那么方法400剩下步骤可以被省略。
方法400可以包括评估406到声源的距离和评估408到声源的方向的其中一个或两个。在一些实例中，通过确定声音到达偏移的麦克风108的时间差异，到源头的距离和到源头的方向均可以同时被确定，即得到位置估算。在其他实施例中，分立麦克风118或处理步骤用于评估406、408到声源的距离和方向。
方法400可以包括，检索410在包括如步骤406和408确定的声源的评估位置的区域中的地图数据。以及评估412地图数据是否包括对应于声源的位置和候选源头的地标。例如，距离声源位置最近的地标可以被识别412。例如，在候选声源在步骤404确定是车辆和停车场在距步骤406和408确定的位置的特定偏差内，那么可以确定停车场是与在步骤402检测的声音对应的地标。如上所述，偏差可以是对应于在确定分别的声源的位置、方向和距离上的不确定性的角度和距离的区域或范围。在另一个实例中，紧急车辆车站是在距声源的偏差内且候选声源是紧急车辆，那么可以在步骤412确定对应于在步骤402检测的声音的地标是紧急车辆车站。
如果相应地标在步骤412中识别，那么方法400可以包括增加414表明车辆位于在步骤406、408确定的位置的确定性或置信度。例如，碰撞避免算法可以识别可能障碍物。障碍物可以具有与此相关的置信度，其表明图像中或在音频信号中检测的物体实际对应于车辆的可能性。只有具有高于阈值的置信度的那些障碍物则可以被考虑进行碰撞避免。
另外，增加414确定性可以增加可用于避免在声源处的车辆的选项。例如，如果车辆被检测到但是至于它的位置存在低确定性，碰撞避免模块120可以使车辆慢下来，以避免在可能位置的宽范围内的可能碰撞。然而，如果在声源处的车辆的位置可以高度确定(即如在步骤414增加的)，那么碰撞避免模块120仅仅需要调整速度和方向以避开该已知位置以及任何其它识别的障碍物。
方法400可以还包括基于在步骤412识别的地标增加416关于声音的候选声源的确定性。例如，如果声音的候选声源是紧急车辆以及步骤412确定的地标被断定是紧急车辆车站，那么声源实际上是紧急车辆车站的置信度可以被增加416。碰撞避免模块120可以因此采取措施以靠边停车或以其他方式避开紧急车辆。
在步骤412的另一结果中，针对被检测的障碍物执行418碰撞避免。如上所述，增加414、416关于位置和声源的确定性可以被碰撞避免模块120使用以避免碰撞。然而，在步骤402检测的声源在碰撞避免418期间不是必须被忽略，相反地其可能位置会更大。尤其是在步骤404确定的候选声源是车辆或人的情况下。
本发明可以在不脱离其精神或实质特征的情况下以其他具体形式实施。描述的实施例关于其所有方面都应认为是示例性的而非限制性的。因此本发明的保护范围是由所附权利要求确定的，而不是前述说明书。在与权利要求的等同物的含义和范围内的所有变化都应被包含在本发明的保护范围内。

Claims (16)

1.一种用于自主车辆的控制器，包含：
一个或多个处理装置，所述一个或多个处理装置编程为：
接收来自一个或多个麦克风的一个或多个音频流；
检索自主车辆周围区域的地图数据；
在所述一个或多个音频流中检测可能来自车辆的声音；
识别所述可能来自车辆的声音的第一预测位置；
根据所述一个或多个音频流计算与所述第一预测位置相关的置信度；
检索接近所述第一预测位置的区域的地图数据；
如果所述地图数据指示车辆特定地标在距所述第一预测位置的阈值距离内，则增加所述置信度；以及
如果所述置信度超过阈值条件，则执行针对所述第一预测位置的障碍物规避。
2.如权利要求1所述的控制器，其中所述一个或多个处理装置还编程为通过驱使能有效避开所述第一预测位置的所述自主车辆的转向执行器、加速器执行器以及制动器执行器的至少一个，来启动针对所述第一预测位置的障碍物规避。
3.如权利要求1所述的控制器，其中：
所述一个或多个麦克风是麦克风阵列并且所述一个或多个音频流是来自所述麦克风阵列的多个音频流；
所述一个或多个处理装置还编程为通过比较所述多个音频流中的所述可能来自车辆的声音的到达时间和强度中的至少一个，来识别所述可能来自车辆的声音的所述第一预测位置。
4.如权利要求1所述的控制器，其中所述一个或多个麦克风是定向麦克风。
5.如权利要求1所述的控制器，其中所述车辆特定地标是停车场和紧急车辆车站的至少一个。
6.如权利要求5所述的控制器，其中所述一个或多个处理装置还编程为：
从可能来自车辆的声音识别预测车辆类型；
如果所述预测车辆类型对应于所述车辆特定地标，则确认所述预测车辆类型。
7.如权利要求6所述的控制器，其中所述一个或多个处理装置还编程为：
如果所述预测车辆类型对应于所述车辆特定地标并且所述车辆特定地标是紧急车辆车站，则实行靠边停车并且停止所述自主车辆。
8.如权利要求1所述的控制器，其中所述第一预测位置不在所述自主车辆成像系统的视线内。
9.一种自主车辆，包含：
车辆，所述车辆包括发动机和选择性连接到所述发动机的车轮；
转向执行器、加速器执行器以及制动器执行器的至少一个；
一个或多个麦克风；
控制器，所述控制器可操作地连接到所述一个或多个麦克风和所述转向执行器、所述加速器执行器以及所述制动器执行器中的所述至少一个，所述控制器包括一个或多个处理装置，所述一个或多个处理装置编程为：
接收来自所述一个或多个麦克风的一个或多个音频流；
检索所述自主车辆周围区域的地图数据；以及
在所述一个或多个音频流中检测可能来自车辆的声音；
识别所述可能来自车辆的声音的第一预测位置；
根据所述一个或多个音频流计算与所述第一预测位置相关的置信度；
检索接近所述第一预测位置的区域的地图数据；
如果所述地图数据指示车辆特定地标在距所述第一预测位置的阈值距离内，则增加所述置信度；以及
如果所述置信度超过阈值条件，则执行针对所述第一预测位置的障碍物规避。
10.如权利要求9所述的自主车辆，其中所述一个或多个处理装置还编程为通过驱使能有效避开所述第一预测位置的所述自主车辆的所述转向执行器、所述加速器执行器以及所述制动器执行器中的所述至少一个，来启动针对所述第一预测位置的障碍物规避。
11.如权利要求9所述的自主车辆，其中：
所述一个或多个麦克风是麦克风阵列并且所述一个或多个音频流是来自所述麦克风阵列的多个音频流；
所述一个或多个处理装置还编程其通过比较所述多个音频流中所述可能来自车辆的声音的到达时间和强度中的至少一个来识别所述可能来自车辆的声音的所述第一预测位置。
12.如权利要求9所述的自主车辆，其中所述一个或多个麦克风是定向麦克风。
13.如权利要求9所述的自主车辆，其中所述车辆特定地标是停车场和紧急车辆车站中的至少一个。
14.如权利要求13所述的自主车辆，其中所述一个或多个处理装置还编程为：
从所述可能来自车辆的声音识别预测车辆类型；
如果所述预测车辆类型对应于所述车辆特定地标，则确认所述预测车辆类型。
15.如权利要求14所述的自主车辆，其中所述一个或多个处理装置还编程为：
如果所述预测车辆类型对应于所述车辆特定地标并且所述车辆特定地标是紧急车辆车站，则实行靠边停车且停止所述自主车辆。
16.如权利要求9所述的自主车辆，其中所述第一预测位置不在所述自主车辆成像系统的视线内。
CN201610864223.1A 2015-10-06 2016-09-29 使用经地图数据增强的听觉数据的碰撞避免 Active CN106560365B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/876,269 2015-10-06
US14/876,269 US9937922B2 (en) 2015-10-06 2015-10-06 Collision avoidance using auditory data augmented with map data

Publications (2)

Publication Number Publication Date
CN106560365A CN106560365A (zh) 2017-04-12
CN106560365B true CN106560365B (zh) 2021-06-22

Family

ID=57571233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610864223.1A Active CN106560365B (zh) 2015-10-06 2016-09-29 使用经地图数据增强的听觉数据的碰撞避免

Country Status (6)

Country Link
US (2) US9937922B2 (zh)
CN (1) CN106560365B (zh)
DE (1) DE102016118902A1 (zh)
GB (1) GB2545053A (zh)
MX (1) MX2016013080A (zh)
RU (1) RU2016138295A (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2902430C (en) 2013-03-15 2020-09-01 Uber Technologies, Inc. Methods, systems, and apparatus for multi-sensory stereo vision for robotics
US10338225B2 (en) 2015-12-15 2019-07-02 Uber Technologies, Inc. Dynamic LIDAR sensor controller
US9996080B2 (en) * 2016-02-26 2018-06-12 Ford Global Technologies, Llc Collision avoidance using auditory data
US10281923B2 (en) 2016-03-03 2019-05-07 Uber Technologies, Inc. Planar-beam, light detection and ranging system
US20170329332A1 (en) * 2016-05-10 2017-11-16 Uber Technologies, Inc. Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object
US9952317B2 (en) * 2016-05-27 2018-04-24 Uber Technologies, Inc. Vehicle sensor calibration system
US10479376B2 (en) 2017-03-23 2019-11-19 Uatc, Llc Dynamic sensor selection for self-driving vehicles
US10775488B2 (en) 2017-08-17 2020-09-15 Uatc, Llc Calibration for an autonomous vehicle LIDAR module
US10746858B2 (en) 2017-08-17 2020-08-18 Uatc, Llc Calibration for an autonomous vehicle LIDAR module
US10569784B2 (en) 2017-09-28 2020-02-25 Waymo Llc Detecting and responding to propulsion and steering system errors for autonomous vehicles
SE541252C2 (en) 2017-10-10 2019-05-14 Kai Elodie Abiakle Method for stopping a vehicle
US10495722B2 (en) * 2017-12-15 2019-12-03 Walmart Apollo, Llc System and method for automatic determination of location of an autonomous vehicle when a primary location system is offline
US10914820B2 (en) 2018-01-31 2021-02-09 Uatc, Llc Sensor assembly for vehicles
CN110329260A (zh) * 2018-03-28 2019-10-15 比亚迪股份有限公司 车辆行驶控制方法、系统和辅助驾驶控制器
US20180224860A1 (en) * 2018-04-02 2018-08-09 GM Global Technology Operations LLC Autonomous vehicle movement around stationary vehicles
US11545032B2 (en) * 2018-05-25 2023-01-03 Sony Corporation Roadside apparatus and vehicle-side apparatus for road-to-vehicle communication, and road-to-vehicle communication system
US10976748B2 (en) * 2018-08-22 2021-04-13 Waymo Llc Detecting and responding to sounds for autonomous vehicles
US10800409B2 (en) * 2018-09-04 2020-10-13 Caterpillar Paving Products Inc. Systems and methods for operating a mobile machine using detected sounds
JP7147513B2 (ja) * 2018-11-29 2022-10-05 トヨタ自動車株式会社 情報提供システム、サーバ、車載装置及び情報提供方法
US11257242B2 (en) * 2018-12-31 2022-02-22 Wipro Limited Method and device for determining operation of an autonomous device
US11567510B2 (en) 2019-01-24 2023-01-31 Motional Ad Llc Using classified sounds and localized sound sources to operate an autonomous vehicle
DE102019202634B3 (de) * 2019-02-27 2020-07-23 Zf Friedrichshafen Ag Verfahren, Steuergerät für ein automatisiert betreibbares Straßenfahrzeug, Computerprogrammprodukt zum Erkennen von Objekten im Straßenverkehr und automatisiert betreibbares Straßenfahrzeug für Mobilitätsdienstleistungen
JP7120077B2 (ja) * 2019-02-27 2022-08-17 トヨタ自動車株式会社 運転支援システム
JP7133155B2 (ja) * 2019-03-04 2022-09-08 トヨタ自動車株式会社 運転支援システム
CN110040134B (zh) * 2019-03-13 2020-06-16 重庆邮电大学 考虑环境因素的车辆碰撞时间计算方法
JP7147648B2 (ja) * 2019-03-20 2022-10-05 トヨタ自動車株式会社 運転支援装置
US11209831B2 (en) 2019-05-03 2021-12-28 Ford Global Technologies, Llc Object sound detection
US11433886B2 (en) * 2019-06-24 2022-09-06 GM Global Technology Operations LLC System, vehicle and method for adapting a driving condition of a vehicle upon detecting an event in an environment of the vehicle
GB201910864D0 (en) * 2019-07-30 2019-09-11 Blackberry Ltd Processing data for driving automation system
US11328592B2 (en) * 2019-08-14 2022-05-10 Toyota Motor North America, Inc. Systems and methods for roadway obstruction detection
US11788859B2 (en) 2019-12-02 2023-10-17 Here Global B.V. Method, apparatus, and computer program product for road noise mapping
US11393489B2 (en) * 2019-12-02 2022-07-19 Here Global B.V. Method, apparatus, and computer program product for road noise mapping
US11295757B2 (en) 2020-01-24 2022-04-05 Motional Ad Llc Detection and classification of siren signals and localization of siren signal sources
US11851049B1 (en) * 2020-02-28 2023-12-26 Zoox, Inc. System to detect impacts
US11483649B2 (en) 2020-08-21 2022-10-25 Waymo Llc External microphone arrays for sound source localization
CN112298173B (zh) * 2020-11-06 2021-12-21 吉林大学 一种面向智能驾驶的车辆安全行驶控制系统及控制方法
US11364910B1 (en) 2021-08-26 2022-06-21 Motional Ad Llc Emergency vehicle detection system and method
GB2611559A (en) * 2021-10-08 2023-04-12 Virtual Vehicle Res Gmbh Method and device to detect traffic hazards based on sound events

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101475002A (zh) * 2008-01-04 2009-07-08 威伯科有限公司 用于汽车以避免碰撞或降低碰撞严重度的装置和方法
CN102272624A (zh) * 2009-07-02 2011-12-07 松下电器产业株式会社 车辆位置检测装置及车辆位置检测方法
US8521352B1 (en) * 2012-05-07 2013-08-27 Google Inc. Controlling a vehicle having inadequate map data
US8676427B1 (en) * 2012-10-11 2014-03-18 Google Inc. Controlling autonomous vehicle using audio data
CN104228672A (zh) * 2013-06-10 2014-12-24 现代自动车株式会社 感测车辆轻微碰撞的装置和方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5170352A (en) * 1990-05-07 1992-12-08 Fmc Corporation Multi-purpose autonomous vehicle with path plotting
JPH0592767U (ja) 1992-05-18 1993-12-17 株式会社豊田中央研究所 接近車両認識装置
JPH06231388A (ja) * 1993-01-29 1994-08-19 Sadayoshi Iwabuchi 車搭載用の緊急車両有無通知装置
US5878147A (en) * 1996-12-31 1999-03-02 Etymotic Research, Inc. Directional microphone assembly
US6084973A (en) * 1997-12-22 2000-07-04 Audio Technica U.S., Inc. Digital and analog directional microphone
US6529831B1 (en) * 2000-06-21 2003-03-04 International Business Machines Corporation Emergency vehicle locator and proximity warning system
US7116792B1 (en) * 2000-07-05 2006-10-03 Gn Resound North America Corporation Directional microphone system
US7602413B2 (en) * 2002-10-18 2009-10-13 Sony Corporation Information processing system and method, information processing apparatus, image-capturing device and method, recording medium, and program
US7209831B2 (en) * 2003-12-29 2007-04-24 United States Of America As Represented By The Secretary Of The Navy GPS collision avoidance apparatus
US7840308B2 (en) * 2004-09-10 2010-11-23 Honda Motor Co., Ltd. Robot device control based on environment and position of a movable robot
US8350720B2 (en) * 2006-06-21 2013-01-08 Dave Thomas Method and apparatus for object recognition and warning system of a primary vehicle for nearby vehicles
JP5040237B2 (ja) * 2006-09-29 2012-10-03 株式会社デンソー 車両走行判定装置
JP4967927B2 (ja) 2007-08-27 2012-07-04 日産自動車株式会社 車両用聴覚モニタ装置
DE102007058542A1 (de) 2007-12-06 2009-06-10 Robert Bosch Gmbh Fahrerassistenzsystem zur Überwachung der Fahrsicherheit und korrespondierendes Verfahren zur Erfassung und Bewertung einer Fahrzeugbewegung
US7791499B2 (en) * 2008-01-15 2010-09-07 Qnx Software Systems Co. Dynamic siren detection and notification system
JP5303998B2 (ja) 2008-04-03 2013-10-02 日産自動車株式会社 車外情報提供装置及び車外情報提供方法
EP2224425B1 (en) * 2009-02-26 2012-02-08 Honda Research Institute Europe GmbH An audio signal processing system and autonomous robot having such system
US8532863B2 (en) * 2009-09-28 2013-09-10 Sri International Audio based robot control and navigation
JP2011232292A (ja) 2010-04-30 2011-11-17 Toyota Motor Corp 車外音検出装置
US8976040B2 (en) * 2012-02-16 2015-03-10 Bianca RAY AVALANI Intelligent driver assist system based on multimodal sensor fusion
US8571743B1 (en) * 2012-04-09 2013-10-29 Google Inc. Control of vehicles based on auditory signals
WO2013175637A1 (ja) 2012-05-25 2013-11-28 トヨタ自動車株式会社 接近車両検出装置及び運転支援システム
GB2511748B (en) * 2013-03-11 2015-08-12 Jaguar Land Rover Ltd Emergency braking system for a vehicle
JP2014211756A (ja) * 2013-04-18 2014-11-13 トヨタ自動車株式会社 運転支援装置
GB2521415B (en) * 2013-12-19 2020-03-04 Here Global Bv An apparatus, method and computer program for controlling a vehicle
US20150283703A1 (en) * 2014-04-03 2015-10-08 Brain Corporation Apparatus and methods for remotely controlling robotic devices
US9766625B2 (en) * 2014-07-25 2017-09-19 Here Global B.V. Personalized driving of autonomously driven vehicles
US9528838B2 (en) * 2014-12-09 2016-12-27 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to intersection priority
US9478139B2 (en) * 2014-12-25 2016-10-25 Automotive Research & Testing Center Driving safety system and barrier screening method thereof
US20160217689A1 (en) * 2015-01-26 2016-07-28 Autoliv Asp, Inc. Supplemental automotive safety method and system
US9718468B2 (en) * 2015-10-13 2017-08-01 Verizon Patent And Licensing Inc. Collision prediction system
JP6303217B2 (ja) * 2015-10-28 2018-04-04 本田技研工業株式会社 車両制御装置、車両制御方法、および車両制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101475002A (zh) * 2008-01-04 2009-07-08 威伯科有限公司 用于汽车以避免碰撞或降低碰撞严重度的装置和方法
CN102272624A (zh) * 2009-07-02 2011-12-07 松下电器产业株式会社 车辆位置检测装置及车辆位置检测方法
US8521352B1 (en) * 2012-05-07 2013-08-27 Google Inc. Controlling a vehicle having inadequate map data
US8676427B1 (en) * 2012-10-11 2014-03-18 Google Inc. Controlling autonomous vehicle using audio data
CN104228672A (zh) * 2013-06-10 2014-12-24 现代自动车株式会社 感测车辆轻微碰撞的装置和方法

Also Published As

Publication number Publication date
US20170096138A1 (en) 2017-04-06
MX2016013080A (es) 2017-04-27
DE102016118902A1 (de) 2017-04-06
GB2545053A (en) 2017-06-07
RU2016138295A (ru) 2018-03-28
GB201616938D0 (en) 2016-11-16
CN106560365A (zh) 2017-04-12
US9937922B2 (en) 2018-04-10
US20180186369A1 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
CN106560365B (zh) 使用经地图数据增强的听觉数据的碰撞避免
CN107527092B (zh) 使用听觉数据训练用于碰撞躲避的算法
US9996080B2 (en) Collision avoidance using auditory data
CN107031628B (zh) 使用听觉数据的碰撞规避
CN107031622B (zh) 用于碰撞避免的训练算法
US9598076B1 (en) Detection of lane-splitting motorcycles
RU2694154C2 (ru) Формирование моделированных данных датчиков для обучения и проверки достоверности моделей обнаружения
US10678240B2 (en) Sensor modification based on an annotated environmental model
US10817736B2 (en) System and methods for identifying unoccupied parking positions
US20180126984A1 (en) Object tracking using sensor fusion within a probabilistic framework
US11157655B2 (en) Determining vehicle data integrity
WO2019006743A1 (zh) 一种用于控制车辆行驶的方法与设备
JP7194130B2 (ja) 緊急車両をリアルタイムで検出し、緊急車両によって発生すると予想される状況に対処するための走行経路を計画する方法及び装置
US11270689B2 (en) Detection of anomalies in the interior of an autonomous vehicle
JP2016130966A (ja) 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
US11508118B2 (en) Provisioning real-time three-dimensional maps for autonomous vehicles
JP2020086754A (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
KR20230051412A (ko) 차량을 찾고 액세스하기 위한 기술
CN109765886B (zh) 车辆跟随的目标轨迹识别方法
US11679771B2 (en) Vehicle event identification
JP6755095B2 (ja) 余裕度判定装置、余裕度判定方法および運転支援システム
KR20200128467A (ko) 기록매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant