CN107031622B - 用于碰撞避免的训练算法 - Google Patents

用于碰撞避免的训练算法 Download PDF

Info

Publication number
CN107031622B
CN107031622B CN201710055943.8A CN201710055943A CN107031622B CN 107031622 B CN107031622 B CN 107031622B CN 201710055943 A CN201710055943 A CN 201710055943A CN 107031622 B CN107031622 B CN 107031622B
Authority
CN
China
Prior art keywords
vehicle
machine learning
model
sensor
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710055943.8A
Other languages
English (en)
Other versions
CN107031622A (zh
Inventor
艾希莉·伊丽莎白·米克斯
吉内什·J·杰恩
哈珀丽特辛格·班瓦伊特
韩正圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN107031622A publication Critical patent/CN107031622A/zh
Application granted granted Critical
Publication of CN107031622B publication Critical patent/CN107031622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1916—Validation; Performance evaluation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Feedback Control In General (AREA)

Abstract

通过定义包括车辆和典型驾驶环境的模型的场景来训练机器学习模型。主体车辆的模型添加至场景并且在该主体车辆上定义传感器位置。模拟在传感器位置上通过传感器的场景的感知。场景进一步地包括钻车缝车辆的模型。钻车缝车辆的位置以及传感器感知场景的模拟输出输入至机器学习算法，该机器学习算法基于传感器输出来训练模型以检测钻车缝车辆的位置。车辆控制器然后合并机器学习模型并且基于输入至机器学习模型的实际传感器输出来估算钻车缝车辆的存在和/或位置。

Description

用于碰撞避免的训练算法
技术领域
本发明涉及在自主车辆中执行障碍物避让。
背景技术
在比如加利福尼亚州(CA)的旧金山或英国(UK)伦敦这样的许多拥挤的城市地区中，骑摩托车的人通常通过在车道之间行驶而超过在交通中缓慢或停止的车辆，即钻车缝(lane-splitting)。这是非常危险的驾驶活动，因为相邻车辆中的驾驶员很难检测到这样的活动，特别是当车道合并时。甚至对于未来的自主车辆来说，其可能具有内置360度感测系统，识别比如以相当高的相对速度变换车道的摩托车这样的快速移动物体将是挑战。这种困难因此将对总体感测套件和算法提出挑战。在物体或车辆挡住感测系统的情况下是进一步有问题的。
在此公开的系统和方法提供用于检测钻车缝车辆的方法。
发明内容
根据本发明的一方面，提供一种方法，该方法包含：
通过计算机系统定义三维(3D)模型；
通过计算机系统根据在3D模型中来自钻车缝车辆的入射到主体车辆的两个或两个以上的传感器位置上的声音来模拟两个或两个以上传感器输出；
通过计算机系统使用在3D模型中钻车缝车辆随着时间消逝的位置以及两个或两个以上传感器输出来训练机器学习模型。
根据本发明的一实施例，本发明方法进一步地包含：
定义在主体车辆上的一个或多个摄像机位置；
模拟在一个或多个摄像机位置上的图像的检测；以及
使用图像以及两个或两个以上传感器输出来训练机器学习模型。
根据本发明的一实施例，本发明方法进一步地包含：
定义在主体车辆上的RADAR传感器位置；
根据3D模型模拟RADAR传感器输出；以及
使用图像、RADAR传感器输出、以及两个或两个以上的传感器输出的全部来训练机器学习模型。
根据本发明的一实施例，本发明方法进一步地包含：
定义在主体车辆上的LIDAR传感器位置；
模拟根据3D模型的LIDAR传感器位置检测到的点云的顺序；以及
使用图像、RADAR传感器输出、点云的顺序、以及两个或两个以上传感器输出的全部来训练机器学习模型。
根据本发明的一实施例，其中定义3D模型进一步地包括定义多个车辆、钻车缝车辆以及主体车辆的速度。
根据本发明的一实施例，其中机器学习模型是深度神经网络。
根据本发明的一实施例，其中根据入射到两个或两个以上传感器位置上的多个车辆的声音来模拟两个或两个以上传感器输出包含模拟多普勒效应和声音的传播距离。
根据本发明的一实施例，其中将钻车缝车辆建模为发出摩托车的发动机噪声特性的钻车缝摩托车。
根据本发明的一实施例，本发明方法进一步地包含：
提供包括车辆控制器和两个或两个以上麦克风的车辆；
用机器学习模型编程车辆控制器；
通过车辆控制器从两个或两个以上麦克风接收两个或两个以上音频流；
通过车辆控制器将两个或两个以上音频流输入至机器学习模型；
(a)通过车辆控制器确定机器学习模型指示两个或两个以上音频流目前指示存在钻车缝车辆；
响应于(a)而执行以下中的至少一个：输出警报和抑制引起车辆进入车道间区域。
根据本发明的一实施例，本发明方法进一步地包含：
(b)在(a)之后通过车辆控制器确定机器学习模型指示两个或两个以上音频流目前不指示存在钻车缝车辆；
响应于(b)而通过车辆控制器中断输出警报并且通过车辆控制器允许至车道间区域中的运动。
根据本发明的另一方面，提供一种包含一个或多个处理器以及连接至一个或多个处理器的一个或多个存储设备的系统，该一个或多个存储设备存储对以下有效的可执行代码：
定义包括道路和定位在道路上的多个车辆、钻车缝车辆、以及包括两个或两个以上传感器位置的主体车辆的三维模型；
根据来自多个车辆的入射到两个或两个以上传感器位置上的声音来模拟两个或两个以上传感器输出；以及
使用钻车缝车辆随着时间消逝的位置以及两个或两个以上传感器输出来训练机器学习模型。
根据本发明的一实施例，其中可执行代码进一步有效地使一个或多个处理器：
定义在主体车辆上的一个或多个摄像机位置；
模拟在一个或多个摄像机位置上的图像的检测；以及
使用图像以及两个或两个以上传感器输出二者来训练机器学习模型。
根据本发明的一实施例，其中可执行代码进一步有效地使一个或多个处理器：
定义在主体车辆上的RADAR传感器位置；
根据3D模型模拟RADAR传感器输出；以及
使用图像、RADAR传感器输出以及两个或两个以上传感器输出的全部来训练机器学习模型。
根据本发明的一实施例，其中可执行代码进一步有效地使一个或多个处理器：
定义在主体车辆上的LIDAR传感器位置；
模拟根据3D模型的LIDAR传感器位置检测到的点云的顺序；以及
使用图像、RADAR传感器输出、点云的顺序、以及两个或两个以上传感器输出的全部来训练机器学习模型。
根据本发明的一实施例，其中可执行代码进一步有效地使一个或多个处理器通过定义关于多个车辆、钻车缝车辆以及主体车辆的速度来定义3D模型。
根据本发明的一实施例，其中机器学习模型是深度神经网络。
根据本发明的一实施例，其中可执行代码进一步有效地使一个或多个处理器根据多个车辆的入射到两个或两个以上传感器位置上的声音通过模拟多普勒效应和声音的传播距离来模拟两个或两个以上传感器输出。
根据本发明的一实施例，其中可执行代码进一步有效地使一个或多个处理器将钻车缝车辆建模为发出摩托车的发动机噪声特性的钻车缝摩托车。
根据本发明的一实施例，本发明系统进一步地包含含有车辆控制器以及两个或两个以上麦克风的车辆；
其中用机器学习模型编程车辆控制器；
其中车辆控制器进一步地被编程为：
从两个或两个以上麦克风接收两个或两个以上音频流；
将两个或两个以上音频流输入至机器学习模型；
如果机器学习模型指示两个或两个以上音频流目前指示存在钻车缝车辆，则通过车辆控制器输出警报和/或通过车辆控制器抑制将车辆移动至车道间区域。
根据本发明的一实施例，进一步地包含：
如果机器学习模型指示两个或两个以上音频流目前指示不存在钻车缝车辆，则执行至少以下中的一种：通过车辆控制器抑制输出警报以及通过车辆控制器允许至车道间区域的运动。
附图说明
为了使本发明的优点将容易理解，通过参考在附图中说明的特定实施例将表达在上面简单描述的本发明的更特别的描述。理解的是这些附图仅描述本发明的典型实施例并且因此不认为是本发明的保护范围的限制，本发明将通过使用附图用附加特征和细节进行描述和解释。
图1A和1B是用于实施本发明的实施例的系统的示意性框图；
图2是适合于实施根据本发明的实施例的方法的示例计算设备的示意性框图；
图3是根据本发明的实施例的用于训练模型以检测钻车缝车辆的方法的程序流程图；
图4A和4B是根据本发明的实施例的用于训练模型的场景的示意性框图；以及
图5是根据本发明的实施例的用于检测钻车缝车辆的方法的程序流程图。
具体实施方式
将容易理解的是本发明的部件——如在此在附图中总体上描述和说明的——可以在多种不同的配置中设置和设计。因此，本发明的实施例的下面更详细的描述——如附图所表示的——不旨在限制如声称的本发明的保护范围，但仅表示根据本发明的目前预期实施例的特定示例。参考附图将更好地理解目前描述的实施例，其中相同部件自始至终由相同附图标记表示。
根据本发明的实施例可以具体体现为装置、方法或计算机程序产品。因此，本发明可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或可以全部在此总体上被称为“模块”或“系统”结合软件和硬件方面的实施例的形式。此外，本发明可以采取以任何有形介质的表达的方式具体体现的计算机程序产品的形式，该计算机程序产品具有在介质中具体体现的计算机可用程序代码。
可以使用一个或多个计算机可用或计算机可读介质的任何组合。例如，计算机可读介质可以包括便携式计算机磁盘、硬盘、随机存取存储器(RAM)设备、只读存储器(ROM)设备、可擦除可编程只读存储器(EPROM或闪速存储器)设备、便携式光盘只读存储器(CDROM)、光存储设备、以及磁存储设备中的一个或多个。在选择的实施例中，计算机可读介质可以包含任何非暂时性介质，该非暂时性介质可以包含、存储、传递、传送或传输由指令执行系统、装置或设备使用或与指令执行系统、装置或设备有关的程序。
用于执行本发明的操作的计算机程序代码可以以一个或多个编程语言的任何组合的方式写入，该编程语言包括比如Java,Smalltalk,C++等这样的面对对象的编程语言以及比如“C”编程语言或类似的编程语言这样的传统程序编程语言。程序代码可以作为独立的软件包而完全在计算机系统上执行、在独立的硬件单元上执行、部分地在与计算机隔开一定距离的远程计算机上执行、或完全在远程计算机或服务器上执行。在后面的场景中，远程计算机可以通过任何类型的网络连接至计算机，包括局域网(LAN)或广域网(WAN)或可以连接至外部计算机(例如，使用因特网服务提供商通过因特网)。
下面参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图描述本发明。将要理解的是，可以通过计算机程序指令或代码实施流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的结合。这些计算机程序指令可以提供至通用计算机、专用计算机、或产生机器的其他可编程数据处理装置的处理器，使得指令——其通过计算机或其他可编程数据处理装置的处理器执行——创建用于实施流程图和/或框图框或多个框中详细说明的功能/措施的方法。
这些计算机程序指令也可以存储在非暂时性计算机可读介质中，该介质可以指导计算机或其他可编程数据处理装置以特定的方式起作用，使得存储在计算机可读介质中的指令产生包括指令方法的制造的文章，该指令方法实施在流程图和/或框图框或多个框中详细说明的功能/措施。
计算机程序指令也可以加载至计算机或其他可编程数据处理装置以使一系列操作步骤在计算机或其他可编程装置上执行以产生计算机可实施的程序使得在计算机或其他可编程装置上执行的指令提供用于实施在流程图和/或框图框或多个框中详细说明的功能/措施的程序。
参考图1，网络环境100可以包括服务器系统102，该服务器系统102可以聚集或访问数据库104，该数据库104包括足够定义用于检测系统的训练的场景的数据。特别是，数据库104可以存储包括例如车辆的车身形状、轮胎和任何其他可见部件这样的车辆的几何结构数据108a的车辆模型106a。几何结构数据108a可以进一步地包括比如硬度或材料类型这样的材料数据。模型106可以进一步地包括声音配置文件108b，该声音配置文件108b包括在例如不同的速度和在不同的速度下的不同加速度水平这样的某些环境下由车辆产生的音频文件或声音的其他数据特征。车辆模型106a可以进一步地包括动态模型108c，该动态模型108c指示例如转弯半径、加速度配置文件(在特定速度下的最大加速度)等这样的车辆的操作极限。车辆模型106a可以基于实际车辆并且可以使用从测量实际车辆获取的数据来填充域108a-108c。
在某些实施例中，数据库104可以存储用于车辆的车辆模型106b，该车辆包含一个或多个用于障碍物检测的传感器。如下所述，这些传感器的输出可以输入至使用数据库104的模型训练的模型。因此，车辆模型106b可以另外包括指示车辆上的传感器的位置、传感器的方向以及传感器的一个或多个描述符的传感器模型108d。例如，关于麦克风，传感器模型108d可以包括增益、信噪比、灵敏度曲线(灵敏度与频率)等。关于摄像机，传感器模型108d可以包括摄像机的视野、分辨率、变焦、帧速率、或其他操作极限。关于LIDAR(激光雷达)或RADAR(雷达)传感器，传感器模型108d可以包括系统的分辨率、视野和扫描速率。
数据库104可以包括环境模型106c，该环境模型106c包括各种景观的模型，比如具有十字路口、建筑物、行人、树等的城市街道的模型。模型可以定义景观中的物体的几何结构和位置并且可以进一步地包括比如对激光、RADAR(雷达)、声音、光等的反射率这样的其他方面以便通过传感器实现物体的感知的模拟。
数据库104可以存储机器学习模型110。可以使用根据在此描述的方法的模型106a-106c训练机器学习模型110。机器学习模型110可以是深度神经网络、贝叶斯网络(Bayesian network)或其他类型的机器学习模型。
服务器系统102可以执行训练引擎112。训练引擎112可以包括场景模块114a。场景模块114a可以检索模型106a-106c并且生成沿着道路的模型移动的车辆的模型的场景。场景模块114a可以手动地生成这些场景或接收详细说明车辆的初始位置、车辆的速度等的人的输入。在某些实施例中，可以基于实际位置的视频或其他测量对场景建模，例如位置的观察、在位置中车辆的运动、其他物体的位置等。如上所述，在此公开的系统和方法提供用于检测钻车缝车辆的方法。因此，车辆模型106a中的一个可以是能够钻车缝的车辆，例如，摩托车、自行车等。因此，场景模块114a可以添加钻车缝车辆的模型至在车辆之间的车道间区域中移动并且比车辆移动的更快的场景。
训练引擎112可以包括传感器模拟模块114b。特别是，关于场景以及包括传感器模型数据108d的包括在场景中的车辆，如下面更详细地描述，可以通过传感器模拟模块114b模拟通过传感器的场景的感知。
训练引擎112可以包括机器学习模块114c。机器学习模块114c可以训练机器学习模型110。例如，机器学习模型110可以被训练以通过输入模拟的传感器输出以及场景中钻车缝车辆的模型的位置来识别钻车缝车辆的位置。特别是，传感器输出可以提供为输入数据集并且钻车缝车辆的相对位置可以提供为用于输入数据集的期望输出。
参考图1B，机器学习模型110可以用于在可以并入到比如自主车辆或人类操作的车辆这样的车辆中的图示系统120中执行障碍物检测。例如，系统120可以包括容纳在车辆内的控制器122。车辆可以包括本领域已知的任何车辆。车辆可以具有本领域已知的任何车辆的所有结构和特征，包括车轮、连接至该车轮的传动系、连接至该传动系的发动机、转向系统、制动系统以及包括在车辆中的本领域已知的其他系统。
如在此更详细地讨论，控制器122可以执行自主导航和碰撞避免。特别是，可以分析图像数据和音频数据来识别障碍物。特别是，传感器输出可以用于识别不在一个或多个摄像机或其他图像传感器的视野中的车辆，如下面参考图3详细地描述。
控制器122可以从一个或多个图像设备124接收一个或多个图像流。例如，一个或多个摄像机可以安装至车辆并且输出由控制器122接收的图像流。控制器122可以从一个或多个麦克风126接收一个或多个音频流。例如，一个或多个麦克风或麦克风阵列可以安装至车辆并且输出由控制器122接收的音频流。麦克风126可以包括具有随着角度而变化的灵敏度的定向麦克风。在某些实施例中，系统120可以包括连接至控制器122的其他传感器128，比如LIDAR、RADAR、SONAR(声纳)等。感测设备124、126、128的位置和方向可以相应于在传感器模型108d中建模的用于训练机器学习模型110的那些。
控制器122可以执行接收图像流、音频流并且识别可能的障碍物以及采取措施以避让它们的碰撞避免模块130。碰撞避免模块130可以进一步地从传感器128接收输出。碰撞避免模块130然后分析图像设备124、麦克风126和传感器128的输出以便识别潜在的障碍物。
碰撞避免模块130可以包括机器学习模块132a，该机器学习模块132a接收图像设备124、麦克风126和传感器128的输出并且输出关于该输出是否指示存在钻车缝车辆以及钻车缝摩托车的方向和或至钻车缝摩托车的距离的估算值。
碰撞避免模块130可以进一步地包括障碍物识别模块132b、碰撞预测模块132c、以及决策模块132d。障碍物识别模块132b分析一个或多个图像流并且识别潜在的障碍物，包括人、动物、车辆、建筑物、路缘、以及其他物体和结构。特别是，障碍物识别模块132b可以识别图像流中的车辆图像。
碰撞预测模块132c基于障碍物图像的当前轨迹或当前预期路径来预测哪个障碍物图像可能与车辆碰撞。碰撞预测模块132c可以评估与由障碍物识别模块132b识别的物体以及使用机器学习模块132a检测到的障碍物的碰撞的可能性。决策模块132d可以做出停止、加速、转向等的决策以便避让障碍物。碰撞预测模块132c预测潜在碰撞的方式和决策模块132d采取措施以避免潜在碰撞的方式可以根据本领域中已知的自主车辆的任何方法或系统。
决策模块132d可以通过致动一个或多个控制车辆的方向和速度的致动器136来控制车辆的轨迹。例如，致动器136可以包括转向致动器138a、加速致动器138b和制动致动器138c。致动器138a-138c的配置可以根据本领域已知的自主车辆的这样的致动器的任何实施方式。
图2是说明示例计算设备200的框图。计算设备200可以用于执行比如在此讨论的那些程序这样的各种程序。服务器系统102和控制器122可以具有计算设备200的部分或全部属性。
计算设备200包括一个或多个处理器202、一个或多个存储设备204、一个或多个接口206、一个或多个大容量存储设备208、一个或多个输入/输出(I/O)设备210、以及显示设备230，全部设备连接至总线212。处理器202包括执行存储在存储设备204和/或大容量存储设备208中的指令的一个或多个处理器或控制器。处理器202也可以包括各种类型的计算机可读介质，比如高速缓冲存储器。
存储设备204包括各种计算机可读介质，比如易失存储器(例如，随机存取存储器(RAM)214)和/或非易失性存储器(例如，只读存储器(ROM)216)。存储设备204也可以包括可重写ROM，比如闪速存储器。
大容量存储设备208包括各种计算机可读介质，比如磁带、磁盘、光盘、固态存储器(例如，闪速存储器)等。如图2所示，特殊的大容量存储设备是硬盘驱动器224。各种驱动器也可以包括在大容量存储设备208中以实现从各种计算机可读介质读取和/或写入各种计算机可读介质。大容量存储设备208包括可移动介质226和/或不可移动介质。
I/O设备210包括允许数据和/或其他信息输入至计算设备200或从计算设备200检索数据和/或其他信息的各种设备。示例I/O设备210包括光标控制设备、键盘、小型键盘、麦克风、监测器、或其他显示设备、扬声器、打印机、网络接口卡、调制解调器、透镜、CCD(电荷耦合器件)或其他图像捕捉设备等。
显示设备230包括能够向计算设备200的一个或多个用户显示信息的任何类型的设备。显示设备230的示例包括监测器、显示终端、视频投影设备等。
接口206包括允许计算设备200与其他系统、设备或计算环境交互的各种接口。示例接口206包括任何数量的不同网络接口220，比如至局域网(LAN)、广域网(WAN)、无线网络、以及因特网的接口。其他接口包括用户接口218和外围设备接口222。接口206也可以包括比如用于打印机、定位设备(鼠标、轨迹板等)、键盘等的接口这样的一个或多个外围接口。
总线212允许处理器202、存储设备204、接口206、大容量存储设备208、I/O设备210、以及显示设备230彼此通信，以及与连接至总线212的其他设备或部件通信。总线212代表比如系统总线、PCI总线(外设部件互连总线)、IEEE1394总线、USB总线(通用串行总线)等这样的几种类型的总线结构中的一个或多个。
为了说明的目的，程序和其他可执行的程序部件在此显示为离散框，虽然应当理解的是，这样的程序和部件可以在不同的时间存在于计算设备200的不同存储部件中，并且由处理器202执行。可选地，在此描述的系统和程序可以在硬件、或硬件、软件和/或固件的组合中实施。例如，一个或多个专用集成电路(ASIC)可以被编程为执行在此描述的系统和程序中的一个或多个。
参考图3，图示的方法300可以通过服务器系统102执行以便训练机器学习模型110。方法300可以包括定义302场景模型。例如，如图4A和4B所示，包括道路400的环境模型可以与置于道路400的车道内并且具有在场景模型的传播期间可以从一时间步长至下一时间步长变化的速度和加速度的车辆402的模型结合。钻车缝车辆404可以在模型中置于车辆402的车道之间并且同样具有可以从一时间步长至下一时间步长变化的速度和加速度。在某些场景中，钻车缝车辆比周围车辆402显著更快地行驶。
主体车辆406也可以置于模型中并且可以具有从一时间步长至下一时间步长变化的速度和加速度。可以从主体车辆406的视角模拟通过麦克风、图像设备和/或其他传感器的场景的感知。特别是，可以根据传感器模型108d定义图像设备408a-408c、麦克风410a、410b以及其他传感器412(例如，LIDAR、RADAR、SONAR)在主体车辆406上的位置和方向。
方法300可以包括完成304场景模型动力学。特别是，模型中的每个车辆402、404、406可以具有预定义的速度或位置曲线，该速度或位置曲线定义速度和/或曲线如何随着时间的消逝而变化。因此，完成304场景可以包括模拟其中关于每个时间步长的多个离散时间步长，每个车辆402、404、406根据预定义的速度或位置曲线而移动至模型内不同的位置。
方法300可以进一步地包括模拟306场景的传感器感知。例如，关于每个时间步长，可以从特殊传感器的视角捕捉模型的状态(例如，在那个时间步长的车辆402、404、406的位置和速度)。特别是，根据传感器模型108d的传感器在主体车辆406上的位置以及如在传感器模型108d中定义的传感器的操作能力可以用于模拟传感器输出。
例如，关于每个图像设备，可以生成从主体车辆406上的图像设备的视角的场景的渲染。关于麦克风，可以模拟在时间步长期间当从车辆402、404、406传播至主体车辆上的麦克风的位置时入射到麦克风上的声音。模拟声音可以包括简单地模拟从声音的源行进的时间以及任何多普勒效应。模拟声音可以进一步地包括模拟离开车辆、地面或建筑物的可以到达麦克风位置的反射。
关于LIDAR传感器，可以从LIDAR传感器的视角模拟点云，在此情况下，点云的点是在LIDAR传感器的视野中的环境的结构或场景的车辆402、404、406的点。在某些LIDAR系统中，测量的点可以包括三维坐标和反射率值。在某些实施例中，模型106a、106b可以包括用于其外表面的反射率值。因此，关于在LIDAR系统的视角中的点云的点，可以包括含有每个点的结构的反射率值。也可以包括通过各种其他传感器的场景模型的感知。关于RADAR或SONAR系统，可以模拟关于每个时间步长的从场景的物体和车辆的反射。
各种传感器可以具有与更新场景模型的时间步长不同的帧或扫描速率。因此，可以产生比时间步长的数量更多或更少的输出。例如，关于声音，为了准确地模拟声音的检测所需的样本的数量可以大于时间步长。因此，可以关于每个时间步长取多个样本。例如，时间步长可以再分为更小的时间步长并且可以记录传播通过场景模型和入射到麦克风位置上的模拟的声音样本。以相似的方式，可以在小于或大于时间步长的不同的时期模拟来自图像设备的图像、来自LIDAR的点云、来自RADAR或SONAR的反射。
在步骤306的传感器感知的模拟的结果可以是传感器输出的流，例如，在不同时间点的一系列图像、音频信号、一组点云、一组反射等。传感器输出的流可以输入308至机器学习算法。同样，钻车缝车辆404的位置可以输入310至机器学习算法。
例如，关于每个时间步长，关于那个时间步长模拟的每种类型的传感器的一个或多个传感器输出可以输入308至机器学习算法。同样，在那个时间步长的钻车缝车辆404的位置可以输入至模型，例如在那个时间步长的场景模型中的车辆404至车辆406的相对位置。关于音频信号，时间步长对于有意义的分析来说可能太短。因此，在步骤308中关于每个时间步长之前和/或之后的多个时间步长，即包括每个时间步长的时间步长的窗口，模拟的声音样本可以输入至模型。
然后可以通过更新关于每个时间步长的传感器输出输入308以及在每个时间步长的车辆404位置的模型110来生成312机器学习模型110。可以根据本领域已知的机器学习的任何方式执行机器学习算法训练模型110的方式。同样，传感器输出可以以连续的方式而不是作为单独的时间步长的离散数据集输入至机器学习算法。
方法300的结果是被训练成关于数据的输入流输出以下中的至少一种的机器学习模型110：(a)是否感知到车辆附近的钻车缝车辆，(b)若有的话，朝着钻车缝车辆的方向，以及(c)钻车缝车辆的位置。许多机器学习算法进一步地输出指示模型的输出是正确的概率的程度的置信度得分。因此，对于(a)-(c)中任何一个，也可以通过模型输出相应的置信度得分。
图5说明使用如根据方法300训练的机器学习模型110的方法500。方法500可以通过处理来自图像设备124、麦克风126和/或其他传感器128的输出而由控制器122执行。方法500可以包括接收502传感器输出。如上所述，图像设备可以产生图像流，麦克风126可以产生音频信号，LIDAR传感器可以产生点云，并且RADAR和SONAR可以分别记录音频和声音的反射。因此可以接收502这些输出的部分或全部。
方法500可以进一步地包括输入504传感器输出至机器学习模型110并且接收506——作为机器学习模型110的输出——以下中的部分或全部：(a)钻车缝车辆是否在包含控制器122的车辆附近，(b)若有的话，朝着钻车缝车辆的方向，(c)相对于包含控制器122的车辆的钻车缝车辆的位置，以及(d)关于(a)至(c)中的一个或多个的置信度得分。
如果没有发现508钻车缝车辆在附近的置信度得分超过预定的阈值，例如根据在70％和99％之间的值，那么可以忽略机器学习模型110的输出。如果发现508关于(a)至(c)中的一个或多个的置信度得分超过阈值，那么钻车缝车辆添加510至一组潜在障碍物。特别是，可以添加510在车道间区域中接近的潜在障碍物。
在步骤508的任一结果中，使用感测系统以传统的方式检测512障碍物：可以在来自图像设备124的图像中识别车辆和障碍物，可以在来自LIDAR传感器的点云中识别障碍物，可以根据RADAR或SONAR系统等检测到的反射识别接近车辆。使用各种设备124、126、128检测到的障碍物516也添加至障碍物集。关于障碍物集执行514碰撞避免。如上所述，这可以包括检测潜在的碰撞并且激活转向致动器138a、加速致动器138b、和制动致动器138c中的一个或多个以便避让障碍物集中的障碍物以及引导车辆至预期目的地。在障碍物集包括在步骤508中确定存在钻车缝车辆的情况下，执行514碰撞避免可以包括抑制执行车道变换或至车道间区域——特别是在钻车缝车辆所在的车辆的一侧上——的其他运动。一旦不再检测到钻车缝车辆，为了转弯、车道变换等的目的，可以允许至车道间区域的运动。
在某些实施例中，响应于在步骤508中钻车缝车辆的检测，可以输出闪光、可听音调、口头消息、显示器上的文本或指示钻车缝车辆正在接近以及钻车缝车辆在车辆的哪一侧的事实中的一个或两个的类似提示形式的警报。一旦不再检测到钻车缝车辆，警报可以中断。
本发明可以在不背离本发明的精神或基本特征的情况下以其他特定形式具体体现。描述的实施例在所有方面仅被认为是说明性的，而不是限制性的。因此，本发明的保护范围仅由所附权利要求指示，而不是通过上述描述。在权利要求的等同物的意义和保护范围内的所有变化包含在它们的保护范围内。

Claims (20)

1.一种方法，所述方法包含：
通过计算机系统定义三维(3D)模型，所述三维(3D)模型包括道路、建筑物和定位在所述道路上的多个车辆、钻车缝车辆、以及包括两个或两个以上传感器位置的主体车辆；
通过所述计算机系统根据在所述3D模型中来自钻车缝车辆的入射到主体车辆的两个或两个以上的传感器位置上的声音来模拟两个或两个以上传感器输出，所述模拟包含模拟所述主体车辆和所述钻车缝车辆的运动和对来自所述钻车缝车辆、来自所述道路、来自所述建筑物和来自所述多个车辆的声音的反射建模；
通过所述计算机系统使用在所述3D模型中所述钻车缝车辆随着时间消逝的位置以及所述两个或两个以上传感器输出来训练机器学习模型；
通过所述机器学习模型输出：(i)是否感知到所述主体车辆附近的所述钻车缝车辆、(ii)若有的话，朝着所述钻车缝车辆的方向、(iii)所述钻车缝车辆的位置、以及(iv)关于(i)至(iii)中的一个或多个的置信度得分；
确定所述置信度得分是否超过阈值；
在所述置信度得分超过阈值的情况下，所述钻车缝车辆被添加至一组潜在障碍物。
2.如权利要求1所述的方法，进一步地包含：
定义在所述主体车辆上的一个或多个摄像机位置；
模拟在所述一个或多个摄像机位置上的图像的检测；以及
使用所述图像以及所述两个或两个以上传感器输出来训练所述机器学习模型。
3.如权利要求2所述的方法，进一步地包含：
定义在所述主体车辆上的雷达 传感器位置；
根据所述3D模型模拟雷达 传感器输出；以及
使用所述图像、所述雷达 传感器输出、以及所述两个或两个以上的传感器输出的全部来训练所述机器学习模型。
4.如权利要求3所述的方法，进一步地包含：
定义在所述主体车辆上的激光雷达 传感器位置；
模拟根据所述3D模型的所述激光雷达 传感器位置检测到的点云的顺序；以及
使用所述图像、所述雷达 传感器输出、所述点云的顺序、以及所述两个或两个以上传感器输出的全部来训练所述机器学习模型。
5.如权利要求1所述的方法，其中定义所述3D模型进一步地包括定义所述多个车辆、所述钻车缝车辆以及所述主体车辆的速度。
6.如权利要求1所述的方法，其中所述机器学习模型是深度神经网络。
7.如权利要求1所述的方法，其中根据入射到所述两个或两个以上传感器位置上的所述多个车辆的所述声音来模拟所述两个或两个以上传感器输出包含模拟多普勒效应和所述声音的传播距离。
8.如权利要求1所述的方法，其中将所述钻车缝车辆建模为发出摩托车的发动机噪声特性的钻车缝摩托车。
9.如权利要求1所述的方法，进一步地包含：
提供包括车辆控制器和两个或两个以上麦克风的车辆；
用所述机器学习模型编程所述车辆控制器；
通过所述车辆控制器从所述两个或两个以上麦克风接收两个或两个以上音频流；
通过所述车辆控制器将所述两个或两个以上音频流输入至所述机器学习模型；
(a)通过所述车辆控制器确定所述机器学习模型指示所述两个或两个以上音频流目前指示存在钻车缝车辆；
响应于(a)而执行以下中的至少一个：输出警报和抑制引起所述车辆进入车道间区域。
10.如权利要求9所述的方法，进一步地包含：
(b)在(a)之后通过所述车辆控制器确定所述机器学习模型指示所述两个或两个以上音频流目前不指示存在钻车缝车辆；
响应于(b)而通过所述车辆控制器中断输出所述警报并且通过所述车辆控制器允许至所述车道间区域中的运动。
11.一种包含一个或多个处理器以及连接至所述一个或多个处理器的一个或多个存储设备的系统，所述一个或多个存储设备存储对以下有效的可执行代码：
定义包括道路、建筑物和定位在所述道路上的多个车辆、钻车缝车辆、以及包括两个或两个以上传感器位置的主体车辆的三维模型；
根据来自所述多个车辆的入射到所述两个或两个以上传感器位置上的声音来模拟两个或两个以上传感器输出，所述模拟包含模拟所述主体车辆和所述钻车缝车辆的运动和对来自所述钻车缝车辆、来自所述道路、来自所述建筑物和来自所述多个车辆的声音的反射建模；
使用所述钻车缝车辆随着时间消逝的位置以及所述两个或两个以上传感器输出来训练机器学习模型；
通过所述机器学习模型输出：(i)是否感知到所述主体车辆附近的所述钻车缝车辆、(ii)若有的话，朝着所述钻车缝车辆的方向、(iii)所述钻车缝车辆的位置、以及(iv)关于(i)至(iii)中的一个或多个的置信度得分；
确定所述置信度得分是否超过阈值；以及
在所述置信度得分超过阈值的情况下，所述钻车缝车辆被添加至一组潜在障碍物。
12.如权利要求11所述的系统，其中所述可执行代码进一步有效地使所述一个或多个处理器：
定义在所述主体车辆上的一个或多个摄像机位置；
模拟在所述一个或多个摄像机位置上的图像的检测；以及
使用所述图像以及所述两个或两个以上传感器输出二者来训练所述机器学习模型。
13.如权利要求12所述的系统，其中所述可执行代码进一步有效地使所述一个或多个处理器：
定义在所述主体车辆上的雷达 传感器位置；
根据所述3D模型模拟雷达 传感器输出；以及
使用所述图像、所述雷达 传感器输出以及所述两个或两个以上传感器输出的全部来训练所述机器学习模型。
14.如权利要求13所述的系统，其中所述可执行代码进一步有效地使所述一个或多个处理器：
定义在所述主体车辆上的激光雷达 传感器位置；
模拟根据所述3D模型的所述激光雷达 传感器位置检测到的点云的顺序；以及
使用所述图像、所述雷达 传感器输出、所述点云的顺序、以及所述两个或两个以上传感器输出的全部来训练所述机器学习模型。
15.如权利要求11所述的系统，其中所述可执行代码进一步有效地使所述一个或多个处理器通过定义关于所述多个车辆、所述钻车缝车辆以及所述主体车辆的速度来定义所述3D模型。
16.如权利要求11所述的系统，其中所述机器学习模型是深度神经网络。
17.如权利要求11所述的系统，其中所述可执行代码进一步有效地使所述一个或多个处理器根据所述多个车辆的入射到所述两个或两个以上传感器位置上的所述声音通过模拟多普勒效应和所述声音的传播距离来模拟所述两个或两个以上传感器输出。
18.如权利要求11所述的系统，其中所述可执行代码进一步有效地使所述一个或多个处理器将所述钻车缝车辆建模为发出摩托车的发动机噪声特性的钻车缝摩托车。
19.如权利要求11所述的系统，进一步地包含含有车辆控制器以及两个或两个以上麦克风的车辆；
其中用所述机器学习模型编程所述车辆控制器；
其中所述车辆控制器进一步地被编程为：
从所述两个或两个以上麦克风接收两个或两个以上音频流；
将所述两个或两个以上音频流输入至所述机器学习模型；
如果所述机器学习模型指示所述两个或两个以上音频流目前指示存在钻车缝车辆，则通过所述车辆控制器输出警报和/或通过所述车辆控制器抑制将所述车辆移动至车道间区域。
20.如权利要求19所述的系统，进一步地包含：
如果所述机器学习模型指示所述两个或两个以上音频流目前指示不存在钻车缝车辆，则执行至少以下中的一种：通过所述车辆控制器抑制输出所述警报以及通过所述车辆控制器允许至所述车道间区域的运动。
CN201710055943.8A 2016-01-26 2017-01-25 用于碰撞避免的训练算法 Active CN107031622B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/007,024 2016-01-26
US15/007,024 US10474964B2 (en) 2016-01-26 2016-01-26 Training algorithm for collision avoidance

Publications (2)

Publication Number Publication Date
CN107031622A CN107031622A (zh) 2017-08-11
CN107031622B true CN107031622B (zh) 2022-04-12

Family

ID=58462924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710055943.8A Active CN107031622B (zh) 2016-01-26 2017-01-25 用于碰撞避免的训练算法

Country Status (6)

Country Link
US (1) US10474964B2 (zh)
CN (1) CN107031622B (zh)
DE (1) DE102017101106A1 (zh)
GB (1) GB2547997A (zh)
MX (1) MX2017001202A (zh)
RU (1) RU2017100440A (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9701307B1 (en) * 2016-04-11 2017-07-11 David E. Newman Systems and methods for hazard mitigation
CN109643125B (zh) 2016-06-28 2022-11-15 柯尼亚塔有限公司 用于训练自动驾驶系统的逼真的3d虚拟世界创造与模拟
KR20180060784A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 비정상 객체 판단 방법 및 장치
US11157014B2 (en) * 2016-12-29 2021-10-26 Tesla, Inc. Multi-channel sensor simulation for autonomous control systems
US10061322B1 (en) * 2017-04-06 2018-08-28 GM Global Technology Operations LLC Systems and methods for determining the lighting state of a vehicle
US10481044B2 (en) * 2017-05-18 2019-11-19 TuSimple Perception simulation for improved autonomous vehicle control
US11487988B2 (en) * 2017-08-31 2022-11-01 Ford Global Technologies, Llc Augmenting real sensor recordings with simulated sensor data
CN107745711B (zh) * 2017-09-05 2021-01-05 百度在线网络技术（北京）有限公司 一种在自动驾驶模式下确定路线的方法和装置
US10384346B2 (en) * 2017-09-08 2019-08-20 Niantic, Inc. Collision detection, estimation, and avoidance
WO2019113510A1 (en) * 2017-12-07 2019-06-13 Bluhaptics, Inc. Techniques for training machine learning
US10755115B2 (en) * 2017-12-29 2020-08-25 Here Global B.V. Method, apparatus, and system for generating synthetic image data for machine learning
US10831636B2 (en) 2018-01-08 2020-11-10 Waymo Llc Software validation for autonomous vehicles
JP6806107B2 (ja) * 2018-03-20 2021-01-06 日本電気株式会社 障害物認識支援装置、障害物認識支援方法、プログラム
US11966838B2 (en) * 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
US10845818B2 (en) * 2018-07-30 2020-11-24 Toyota Research Institute, Inc. System and method for 3D scene reconstruction of agent operation sequences using low-level/high-level reasoning and parametric models
US10800409B2 (en) * 2018-09-04 2020-10-13 Caterpillar Paving Products Inc. Systems and methods for operating a mobile machine using detected sounds
EP3864579A4 (en) * 2018-10-11 2022-06-08 Bayerische Motoren Werke Aktiengesellschaft SNAPSHOT TRAINING A STREET MODEL
KR20200051278A (ko) 2018-11-05 2020-05-13 삼성전자주식회사 인공 신경망에서의 작업 관리 방법 및 이를 포함하는 시스템
DE102019101127A1 (de) 2019-01-17 2020-07-23 Valeo Schalter Und Sensoren Gmbh Verfahren zum Verarbeiten mittels Ultraschall erhaltener Daten
WO2020164732A1 (en) * 2019-02-15 2020-08-20 Siemens Industry Software And Services B.V. A method for computer-implemented simulation of sensor data of a vehicle
CN113392809B (zh) * 2019-02-21 2023-08-15 百度在线网络技术（北京）有限公司 一种自动驾驶信息处理方法、装置及存储介质
US11577741B1 (en) * 2019-04-05 2023-02-14 Zoox, Inc. Systems and methods for testing collision avoidance systems
EP3963559A4 (en) * 2019-04-29 2023-01-18 Volkswagen Aktiengesellschaft VEHICLE CONTROL DEVICE AND VEHICLE CONTROL SYSTEM
CN112560324B (zh) * 2019-09-24 2024-06-04 北京百度网讯科技有限公司 用于输出信息的方法和装置
US11584377B2 (en) * 2019-11-21 2023-02-21 Gm Cruise Holdings Llc Lidar based detection of road surface features
CN114902282A (zh) * 2019-12-23 2022-08-12 空中客车A^3有限责任公司 用于有效感测碰撞威胁的系统和方法
JP7443177B2 (ja) * 2020-07-16 2024-03-05 トヨタ自動車株式会社 衝突回避支援装置
CN112130470B (zh) * 2020-09-27 2022-04-12 西安电子科技大学芜湖研究院 一种整车控制器便携式硬件在环仿真系统
US11645360B2 (en) 2020-09-30 2023-05-09 Ford Global Technologies, Llc Neural network image processing
CN112270251B (zh) * 2020-10-26 2021-07-06 清华大学 一种基于互信息的自适应多传感器数据融合方法及系统
US11697370B2 (en) * 2021-01-28 2023-07-11 GM Global Technology Operations LLC Augmented audio output by an electric vehicle
EP4320019A1 (en) * 2021-04-07 2024-02-14 Ridecell, Inc. A systematic approach towards system identification based yaw rate estimation with low-cost imu+gps units
US20230080540A1 (en) * 2021-09-16 2023-03-16 Aurora Operations, Inc. Lidar simulation system
US11550851B1 (en) * 2022-02-10 2023-01-10 Motional Ad Llc Vehicle scenario mining for machine learning models
TWI832203B (zh) * 2022-04-08 2024-02-11 富智捷股份有限公司 驗證系統及方法
FR3138402B1 (fr) * 2022-07-27 2024-06-14 Psa Automobiles Sa Sécurisation de la conduite autonome d’un véhicule automobile vis-à-vis d’une moto qui remonte les files

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521579A (en) * 1993-04-26 1996-05-28 Mercedes-Benz Ag Method for providing guiding assistance for a vehicle in changing lane

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619616A (en) * 1994-04-25 1997-04-08 Minnesota Mining And Manufacturing Company Vehicle classification system using a passive audio input to a neural network
US6236908B1 (en) * 1997-05-07 2001-05-22 Ford Global Technologies, Inc. Virtual vehicle sensors based on neural networks trained using data generated by simulation models
US5798983A (en) * 1997-05-22 1998-08-25 Kuhn; John Patrick Acoustic sensor system for vehicle detection and multi-lane highway monitoring
US6778073B2 (en) * 2001-06-26 2004-08-17 Medius, Inc. Method and apparatus for managing audio devices
JP2006072830A (ja) 2004-09-03 2006-03-16 Aisin Aw Co Ltd 運転支援システム及び運転支援モジュール
US7574018B2 (en) 2005-12-07 2009-08-11 Trw Automotive U.S. Llc Virtual reality scene generator for generating training images for a pattern recognition classifier
US7444241B2 (en) * 2005-12-09 2008-10-28 Gm Global Technology Operations, Inc. Method for detecting or predicting vehicle cut-ins
US9302678B2 (en) * 2006-12-29 2016-04-05 Robotic Research, Llc Robotic driving system
DE102008001256A1 (de) * 2008-04-18 2009-10-22 Robert Bosch Gmbh Verkehrsobjekt-Erkennungssystem, Verfahren zum Erkennen eines Verkehrsobjekts und Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems
US8224097B2 (en) * 2008-06-12 2012-07-17 Sri International Building segmentation for densely built urban regions using aerial LIDAR data
DE102009047012A1 (de) * 2009-11-23 2011-05-26 Robert Bosch Gmbh Verfahren zur Erfassung von Objekten
EP2728563A4 (en) 2011-06-13 2015-03-04 Toyota Motor Co Ltd DRIVER ASSISTING DEVICE AND DRIVER ASSISTING METHOD
EP2798633B1 (en) * 2011-12-29 2018-05-16 Intel Corporation Acoustic signal modification
US8504233B1 (en) * 2012-04-27 2013-08-06 Google Inc. Safely navigating on roads through maintaining safe distance from other vehicles
US8473144B1 (en) * 2012-10-30 2013-06-25 Google Inc. Controlling vehicle lateral lane positioning
CN105074793A (zh) 2013-03-15 2015-11-18 凯利普公司 用于车辆路径规划和交通管理的车道级车辆导航
US20140354684A1 (en) 2013-05-28 2014-12-04 Honda Motor Co., Ltd. Symbology system and augmented reality heads up display (hud) for communicating safety information
US9988047B2 (en) * 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
US9248832B2 (en) 2014-01-30 2016-02-02 Mobileye Vision Technologies Ltd. Systems and methods for detecting traffic signal details
US9779314B1 (en) 2014-08-21 2017-10-03 Waymo Llc Vision-based detection and classification of traffic lights
US20160210383A1 (en) 2015-01-21 2016-07-21 Ford Global Technologies, Llc Virtual autonomous response testbed
US20160306357A1 (en) * 2015-04-17 2016-10-20 Delphi Technologies, Inc. Automated vehicle system with position bias for motorcycle lane splitting
US9747506B2 (en) * 2015-10-21 2017-08-29 Ford Global Technologies, Llc Perception-based speed limit estimation and learning
US9598076B1 (en) * 2015-10-22 2017-03-21 Ford Global Technologies, Llc Detection of lane-splitting motorcycles
US9873428B2 (en) * 2015-10-27 2018-01-23 Ford Global Technologies, Llc Collision avoidance using auditory data
US20170228606A1 (en) 2016-02-09 2017-08-10 Haike Guan Information processing apparatus, information processing method, and recording medium

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521579A (en) * 1993-04-26 1996-05-28 Mercedes-Benz Ag Method for providing guiding assistance for a vehicle in changing lane

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Audio Surveillance of Roads: A System for Detecting Anomalous Sounds;Pasquale Foggia 等;《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》;20151105;第17卷(第1期);第1页至第9页 *

Also Published As

Publication number Publication date
GB201701278D0 (en) 2017-03-08
US20170213149A1 (en) 2017-07-27
US10474964B2 (en) 2019-11-12
RU2017100440A (ru) 2018-07-11
CN107031622A (zh) 2017-08-11
DE102017101106A1 (de) 2017-07-27
GB2547997A (en) 2017-09-06
MX2017001202A (es) 2018-07-25

Similar Documents

Publication Publication Date Title
CN107031622B (zh) 用于碰撞避免的训练算法
CN107527092B (zh) 使用听觉数据训练用于碰撞躲避的算法
RU2694154C2 (ru) Формирование моделированных данных датчиков для обучения и проверки достоверности моделей обнаружения
US11487988B2 (en) Augmenting real sensor recordings with simulated sensor data
US11455565B2 (en) Augmenting real sensor recordings with simulated sensor data
JP7153071B2 (ja) 自律型車両のための歩行者行動予測
CN107031628B (zh) 使用听觉数据的碰撞规避
CN107031624B (zh) 钻车缝摩托车的检测
CN108062095B (zh) 在概率框架内使用传感器融合的物体追踪
US20180211120A1 (en) Training An Automatic Traffic Light Detection Model Using Simulated Images
US10849543B2 (en) Focus-based tagging of sensor data
JP2023515494A (ja) 組み合わされたトラック信頼度及び分類モデル
JP2016136378A (ja) 自己の乗り物のドライバを支援する方法およびシステム
CN113228040A (zh) 多级对象行进方向估计
US11914390B2 (en) Distinguishing between direct sounds and reflected sounds in an environment
JP7043376B2 (ja) 情報処理装置、車両制御装置および移動体制御方法
US20230400859A1 (en) Predicting Jaywaking Behaviors of Vulnerable Road Users
US11625042B2 (en) Detecting occluded objects using sound
CN112447065B (zh) 一种轨迹规划方法及装置
US20210118301A1 (en) Systems and methods for controlling vehicle traffic
US11810365B1 (en) Perception error modeling
JP7143538B2 (ja) 運転支援装置および運転支援方法
US20230082365A1 (en) Generating simulated agent trajectories using parallel beam search
WO2021202338A1 (en) Distinguishing between direct sounds and reflected sounds in an environment
CN117152993A (zh) Ar设备控制方法、车载ar设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant