CN112598915A - 使用道路拓扑和交通参与者目标状态的车辆轨迹预测 - Google Patents

使用道路拓扑和交通参与者目标状态的车辆轨迹预测 Download PDF

Info

Publication number
CN112598915A
CN112598915A CN202011055125.6A CN202011055125A CN112598915A CN 112598915 A CN112598915 A CN 112598915A CN 202011055125 A CN202011055125 A CN 202011055125A CN 112598915 A CN112598915 A CN 112598915A
Authority
CN
China
Prior art keywords
traffic
vehicle
image
predicted trajectory
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011055125.6A
Other languages
English (en)
Inventor
K·M·钦尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN112598915A publication Critical patent/CN112598915A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D6/00—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • B62D6/002—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits computing target steering angles for front or rear wheels
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Computer Interaction (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及使用道路拓扑和交通参与者目标状态的车辆轨迹预测。用于控制车辆的系统、方法和装置。在一个示例中，系统包括电子处理器，该电子处理器被构造成：经由摄像机捕获第一图像；在第一图像内确定道路交通因子；以及基于来自车辆的一个或多个传感器的传感器信息生成描绘车辆周围的环境的第二图像。所述第二图像包括该道路交通因子。电子处理器还被构造成基于检测到的道路交通因子和第二图像确定邻近车辆的交通参与者的预测轨迹；以及基于预测轨迹生成用于车辆的转向命令。

Description

使用道路拓扑和交通参与者目标状态的车辆轨迹预测
技术领域
本发明涉及使用道路拓扑和交通参与者目标状态的车辆轨迹预测。
背景技术
现代车辆包括各种部分自主的驾驶功能，例如自适应巡航控制、防撞系统、自动泊车等。自主驾驶系统的一个方面是行为规划/预测。
发明内容
如上文提到的，自主驾驶系统的一个方面是行为规划/预测。在神经网络中，传感器信息常常由感知模块处理。在感知模块中处理传感器信息之后，下一步骤是利用处理后的信息来确定车辆要遵循的轨迹。当确定车辆轨迹时，也考虑其他交通参与者（道路上的其他车辆/车辆周围的环境）的未来轨迹。许多当前行为预测算法考虑交通参与者的当前状态来预测其未来轨迹。然而，这可能不是确保确定准确的预测轨迹的足够信息。
在确定交通参与者的未来轨迹时可考虑的因素包括道路拓扑、交通标志/规则等。交通参与者的未来行为在某种程度上取决于这些特征。因此，除了其他之外，本文中的实施例描述了一种用于基于预测邻近车辆的交通参与者的轨迹同时考虑可能影响某些未来轨迹的可能性的具体交通因素来驾驶车辆的系统和方法。除了其他之外，除了在车辆周围的环境内的一个或多个交通参与者的过去动态之外，实施例还以简单的图像格式向神经网络提供交通标志、车道标线等的指示。使用简单的图像格式简化并改进了在车辆的周围环境中的目标的分类的准确性。交通参与者的预测轨迹的准确性也得以改进。
附图说明
附图（其中贯穿分开的视图，同样的附图标记指代相同或功能上类似的元件）连同以下详细描述被并入说明书中并形成说明书的一部分，并且用于进一步说明包括要求保护的发明的构思的实施例和解释那些实施例的各种原理和优点。
图1是根据一个实施例的用于驾驶车辆的系统的框图。
图2是根据一个实施例的图1的系统的电子控制器的框图。
图3是根据一个实施例的使用图2的控制器驾驶图1的车辆的方法的流程图。
图4是根据一个实施例的图像，该图像由被包括在图1的系统的车辆中的车辆控制系统的图2框图的控制器生成。
图5是根据一个实施例的图示行为预测过程的流程图，该行为预测过程由图1的系统在执行图3的方法期间实施。
技术人员将了解的是，图中的元件是为了简单性和清晰性而图示的，并且不必然按比例绘制。例如，图中的一些元件的尺寸可相对于其他元件被放大，以帮助改进对本发明的实施例的理解。
设备和方法部件在适当的情况下由附图中的常规符号表示，仅示出与理解本发明的实施例有关的那些具体细节，以便不会用对于受益于本文中的描述的本领域普通技术人员将容易显而易见到的细节使本公开模糊。
具体实施方式
一个示例实施例提供一种用于驾驶车辆的系统。该系统包括电子处理器，该电子处理器被构造成：经由摄像机捕获第一图像；在第一图像内确定道路交通因子；基于来自车辆的一个或多个传感器的传感器信息生成描绘车辆周围的环境的第二图像，所述第二图像包括该道路交通因子；基于检测到的道路交通因子和第二图像确定邻近车辆的交通参与者的预测轨迹；以及基于预测轨迹生成用于车辆的转向命令。
另一个实施例提供一种用于控制车辆的装置。该装置包括通信地联接到电子处理器的一个或多个传感器，包括摄像机，该电子处理器被构造成：经由摄像机捕获第一图像；在第一图像内确定道路交通因子；基于来自车辆的所述一个或多个传感器的传感器信息生成描绘车辆周围的环境的第二图像，所述第二图像包括该道路交通因子；基于检测到的道路交通因子和第二图像确定邻近车辆的交通参与者的预测轨迹；以及基于预测轨迹生成用于车辆的转向命令。
另一个实施例提供一种控制车辆的方法。该方法包括：经由摄像机捕获第一图像；在第一图像内确定道路交通因子；基于来自车辆的一个或多个传感器的传感器信息生成描绘车辆周围的环境的第二图像，所述第二图像包括该道路交通因子；基于检测到的道路交通因子和第二图像确定邻近车辆的交通参与者的预测轨迹；以及基于预测轨迹生成用于车辆的转向命令。
在详细解释任何实施例之前，将理解的是，本公开并不旨在在其应用方面限制于在以下描述中阐述或在以下附图中图示的部件的构造和布置的细节。实施例能够具有其他构型并且能够以各种方式实践或实施。
可使用多个基于硬件和软件的装置以及多个不同的结构部件来实施各种实施例。另外，实施例可包括硬件、软件和电子部件或模块，出于讨论的目的，以上各者可被图示和描述为如同大多数部件仅在硬件中实施那样。然而，本领域普通技术人员基于对该详细描述的阅读将认识到，在至少一个实施例中，本发明的基于电子的方面可在可由一个或多个处理器执行的软件（例如，存储在非暂时性计算机可读介质上）中实施。例如，说明书中描述的“控制单元”和“控制器”能够包括一个或多个电子处理器、一个或多个存储器模块（包括非暂时性计算机可读介质）、一个或多个通信接口、一个或多个专用集成电路（ASIC）、以及连接各种部件的各种连接（例如，系统总线）。
图1图示了用于自主驾驶的系统100。系统100包括车辆102。车辆102可涵盖车辆的各种类型和设计。例如，车辆102可以是汽车、摩托车、卡车、公共汽车、半牵引车等。车辆102包括至少一些自主功能，但是也可能需要驾驶员或操作员来执行驾驶功能。
在所图示的示例中，系统100包括若干个硬件部件，包括电子控制器104、输入/输出（I/O）接口106、制动系统108、转向系统109、加速系统110、其他车辆系统111、摄像机112和附加传感器114。
电子控制器104、制动系统108、转向系统109、加速系统110、图像传感器112、附加传感器114和其他车辆系统111，以及系统100的其他各种模块和部件由或通过实现其间的通信的一条或多条控制或数据总线（例如，CAN总线）彼此联接。考虑到本文中提供的描述，将控制和数据总线用于各种模块和部件之间的互连以及各种模块和部件当中的信息交换对于本领域技术人员将是显而易见的。
摄像机112被构造成根据其相应的视野来捕获车辆102周围的环境的一个或多个图像。尽管本文中就摄像机图像进行了描述，但是应理解的是，在一些实施例中，摄像机112可以是（或包括）热成像装置、雷达装置、声纳装置等中的一者或多者。在一些实施例中，摄像机112包括多种类型的成像装置/传感器，这些成像装置/传感器中的每一者可位于车辆102的内部或外部上的不同位置处。尽管就单个摄像机112进行了描述，但是应理解的是，在一些实施例中，摄像机112可以是多图像传感器。
电子控制器104经由各种有线或无线连接通信地连接到转向系统109、制动系统108、其他车辆系统111、摄像机112和附加传感器114。例如，在一些实施例中，电子控制器104经由专用线直接联接到车辆102的上文列出的部件中的每一者。在其他实施例中，电子控制器104经由共享通信链路（诸如，车辆通信总线（例如，控制器局域网（CAN）总线）或无线连接通信地联接到部件中的一者或多者。应理解的是，车辆102的部件中的每一者可使用各种通信协议与电子控制器104通信。图1中图示的实施例仅提供车辆102的部件和连接的一个示例。因此，车辆102的部件和连接可以以不同于本文中图示和描述的那些方式的方式构造。
图2是图1的系统100的电子控制器104的一个示例实施例的框图。电子控制器104包括多个电气和电子部件，所述多个电气和电子部件向电子控制器104内的部件和模块提供电力、操作控制和保护。除了其他之外，电子控制器104还包括电子处理器200（诸如，可编程电子微处理器、微控制器或类似装置）和存储器205（例如，非暂时性机器可读存储器）。电子处理器200通信地连接到存储器205。与存储器205和通信接口210协调配合的电子处理器200被构造成除了其他之外还实施本文中描述的方法。
在一些实施例中，电子控制器104包括向电子控制器104内的部件和模块提供电力、操作控制和保护的多个电气和电子部件。电子控制器104可以是或可包括一个或多个电子控制单元，包括例如发动机控制模块、动力系控制模块、变速器控制模块、通用电子模块等。电子控制器104可含有子模块，这些子模块包括附加的电子处理器、存储器或专用集成电路（ASIC）以便处理通信功能、信号的处理以及下文列出的方法的应用。在其他实施例中，电子控制器104包括附加的、更少的或不同的部件。电子处理器200和存储器205、以及其他各种模块由一条或多条控制或数据总线连接。在一些实施例中，电子控制器104部分地或完全地在硬件中实施（例如，使用现场可编程门阵列（“FPGA”）、专用集成电路（“ASIC”）或其他装置）。
存储器205能够包括一种或多种非暂时性计算机可读介质，并且包括程序存储区域和数据存储区域。如本申请中所使用的，“非暂时性计算机可读介质”包括所有计算机可读介质，但是并不由暂时性传播信号组成。程序存储区域和数据存储区域能够包括不同类型的存储器的组合，例如，只读存储器（“ROM”）、随机存取存储器（“RAM”）、电可擦除可编程只读存储器（“EEPROM”）、闪存存储器或其他合适的数字存储装置。电子处理器200连接到存储器205并执行软件，该软件包括固件、一个或多个应用程序、程序数据、过滤器、规则、一个或多个程序模块以及其他可执行指令。除了其他之外，电子处理器200还从存储器205取回并执行与本文中描述的控制过程和方法有关的指令。在其他实施例中，电子控制器104可包括附加的、更少的或不同的部件。
电子控制器104的存储器205包括软件，该软件在由电子处理器200执行时引起电子处理器200执行图3中所图示的方法300。例如，图2中所图示的存储器205包括神经网络215和目标检测软件220。神经网络215可以是深度神经网络（例如，卷积神经网络（CNN）或递归神经网络（RNN））。神经网络215包括一个或多个输入通道，从而允许神经网络215同时分析来自摄像机112的图像数据（以及在一些实施例中来自附加传感器114的传感器数据）以对车辆的周围环境中的目标和由该目标执行的动作进行分类。目标可以是例如车辆102所在的道路上的参与者（另一车辆/驾车者），在这种情况下，应确定道路参与者的动作。在一些实施例中，使用道路上的一个或多个参与者的图像和/或对应于道路上的一个或多个参与者的传感器数据的训练集合来训练神经网络215对目标和它们正执行的动作进行分类。
在一些实施例中，当执行目标检测软件220时，电子处理器200使用机器学习技术以在从摄像机112接收的图像中检测可能影响车辆102的移动的目标。例如，目标检测软件220可包括卷积神经网络，该卷积神经网络已被训练来识别车辆、人、动物、以上各者的组合等。目标检测软件220也可利用其他类型的传感器数据。
如上文提到的，在确定车辆的未来轨迹时，系统100可基于在车辆周围的环境内的其他交通参与者的移动轨迹来确定适当的轨迹。如下文更详细地解释的，电子控制器104被构造成生成描绘车辆周围的环境的图像，该图像包括道路交通因子，除了在预测其他交通参与者的轨迹时将考虑的交通参与者之外，所述道路交通因子还包括交通标志和道路线。
返回图1，制动系统108、转向系统109和加速系统110各自包括在车辆102的移动的自主控制或手动控制中所涉及的部件。电子控制器104可被构造成控制系统108、109和110中的一者或多者的一些或全部功能，以便转向和驾驶车辆。在一些实施例中，控制器104可对系统108、109和110具有有限的控制，并且可由车辆102的驾驶员控制一些或全部驾驶。
其他车辆系统111包括控制器、传感器、致动器等以便控制车辆102的操作的方面（例如，加速、制动、换挡等）。其他车辆系统111被构造成将与车辆102的操作有关的数据发送到电子控制器104以及从电子控制器104接收与车辆102的操作有关的数据。
图3图示了基于车辆102的预测轨迹驾驶车辆的示例方法300。在步骤305处，电子处理器200经由摄像机（例如，摄像机112）捕获第一图像并在第一图像内确定道路交通因子（框308）。电子处理器200基于来自车辆的一个或多个传感器（摄像机112和/或附加传感器114）的传感器信息生成描绘车辆102周围的环境的第二图像（框310），下文关于图3更详细地解释该第二图像。
道路交通因子在其在车辆102周围的环境内的存在（例如，动作或重要性）可影响（impact/influence）邻近车辆102的一个或多个交通参与者的未来轨迹的目标中。术语邻近应被理解为在车辆102的预定范围内。在一个示例中，该范围在车辆102的24英尺内，例如经由视频或图像分析、超声波距离感测或无线电信号传输范围来确定。在一些实施例中，基于车辆102的速度调整预定范围。例如，当车辆102以高速公路速度（例如，每小时大约60英里）移动时，预定范围可大于当车辆以居民区速度（例如，每小时大约30英里）移动时的预定范围。例如，道路交通因子可以是在交通参与者的预定范围内的交通标志、交通信号灯、道路标线和/或目标的轨迹。关于交通标志、交通信号灯和道路标线，在车辆102周围的环境内邻近车辆102的交通参与者的预测轨迹的确定中考虑每一者的具体重要性。例如，当电子处理器200利用目标检测软件220用（一个或多个）图像传感器112来检测车辆102前方的环境内的停车标志时，电子处理器200可预测以下情况（或向以下情况的可能性增加附加权重）：沿同一大体方向行驶的邻近车辆102的一个或多个车辆参与者将减速并在停车标志前停车。在交通参与者的预定范围（例如，大约5英尺）内的目标可以是其位置和/或具体轨迹影响交通参与者的未来轨迹的目标。目标可以是例如行人或障碍物（诸如，树枝、停止的车辆或其他目标）。目标可定位或正移动到与交通参与者的当前轨迹相交的位置，从而使得交通参与者可能将改变其轨迹。可经由目标检测软件220（例如，CNN）使用目标识别技术来确定道路交通因子以及车辆102周围的环境内的其他目标。
在框315处，电子处理器200被构造成基于检测到的道路因子（和图像，如下文更详细地解释的）来确定邻近车辆102的交通参与者的预测轨迹。在一些实施例（例如，如下文在图5中所示）中，电子处理器200使用深度学习网络基于检测到的道路因子和图像确定预测轨迹。在框320处，电子处理器200基于图像400和（一条或多条）预测轨迹生成用于车辆102的转向命令。转向命令可以是由电子处理器200经由制动、加速和/或转动车辆102（例如，经由制动系统108、转向系统109和/或加速系统110）实施的自动/半自动驾驶功能。
图4是在图3的方法300的框310处生成的示例图像400。图像400图示了车辆102周围的交通环境。在所提供的示例中，图像400以静态图像的形式描绘了车辆102周围的环境的道路拓扑（车道、道路曲率、交通的方向、交通参与者的轨迹等）。在所图示的实施例中，道路线被描绘为实心黑线402A-402E。可使用不同图案和/或颜色的标线来指示不同类型的道路车道（例如，车道标线是否指示沿相同或相反方向的交通可经过，是否存在自行车道等）。道路车道404A-404E包括指示指定交通方向的视觉图案/颜色（例如，车道404A和404B两者都包括指示第一交通方向的水平条纹图案，同时车道404C-404E包括指示第二交通方向的对角条纹图案）。图像400还经由道路线402E的弯曲描绘了车道404E的即将到来的曲率406。
图像400包括一个或多个交通参与者408A-408D及其相应的先前位置（形成相应的先前轨迹410A-410D），这些先前位置经由电子处理器200基于来自摄像机112（和/或附加传感器114）的数据确定。类似于车道和线标志（line marking），每个交通参与者可由特定颜色/图案或形状指示。在一些实施例中，交通参与者的特定图像表示可基于其先前的轨迹、车辆的类型或其他特性。如图4中所示，可经由梯度来图示轨迹410A-410D，该梯度的最浅部分（由间距更大的半色调线指示）是最早的先前位置，且最深部分（由间距更密集的半色调线指示）是最新的位置。可由处理器200基于来自摄像机112和/或附加传感器114的先前传感器信息来确定轨迹410A-410D。在一些实施例中，处理器200在轨迹410A-410D的确定中利用高斯模糊。
图5是图示根据一些实施例的由电子处理器200的神经网络215利用的预测过程的流程图500。在上文描述的方法300的框315处，可由处理器200利用该过程。如图5中所图示的，在一些实施例中，神经网络215可以是行为预测深度神经网络。为了易于描述，就单个交通参与者（在此为交通参与者408D）来描述流程图500。应理解的是，可将类似的过程应用于附加的交通参与者（例如，图4的那些交通参与者）。
图像400被提供为神经网络215的输入。在一些实施例中，向神经网络215提供图像400的修改型式。图像400的修改型式可包括最邻近车辆102和/或其先前轨迹指示它们正与车辆102的当前轨迹相交或将与车辆102的当前轨迹相交的交通参与者信息。修改后的图像中的交通参与者可例如处在或进入与车辆102处于其中的当前车道相同的车道中，或在车辆102的特定半径内处于与车辆102处于其中的当前车道相邻的车道中。
例如，在所图示的实施例中，向神经网络215提供的图像是图像400的修改后的图像502。修改后的图像502是图像400的修订后的型式，其包括单个交通参与者（在此为参与者408C）。应理解的是，当确定其他交通参与者的未来轨迹时，可类似地修改图像400以省略其他交通参与者。应理解的是，尽管本文中就修改后的图像502进行了描述，但是流程图500中所图示的过程可类似地利用图像400。修订后的图像502省略了图像400的交通参与者408A和408B（图4），因为它们处于车道404A和404B中，所述车道404A和404B是车辆102处于其中的车道404D的相反交通方向。即使交通参与者408D正在车道404E（该车道与车道404D相邻，并且具有相同的交通方向）中行驶，其也被省略，因为曲率406指示车道404在前面与车道404D分开。交通参与者408C（及其对应的过去轨迹410C）被包括在修改后的图像502中，因为它邻近车辆102并且，考虑到其先前轨迹410C，其正从相邻车道404C朝向车道404D移动，从而与车辆102的当前轨迹相交。在一些实施例中，修改后的图像502包括关于多于一个交通参与者的视觉信息。道路拓扑信息可类似地基于其与车辆102的接近度而被省略/修改。
除了图像502之外，可能不能单独从图像502获得关于图像502的交通参与者的目标状态信息504。这样的信息可包括例如速度（车辆102的速度和方向）和/或加速度（车辆102的速度随时间的变化）。因此，在一些实施例中，基于交通参与者的速度和加速度中的任一者或两者来确定预测轨迹。
在一些实施例中，基于第二交通参与者的预测轨迹确定邻近车辆102的交通参与者的预测轨迹。例如，如果在车道404D中在交通参与者408C前面存在处理器200预测将放慢速度的另一个交通参与者，则在确定交通参与者408C的未来轨迹时可考虑该预测（例如，其降低了参与者408C将进入车道404D的可能性）。
基于图像502和目标状态信息504，行为预测神经网络215确定图像502内的交通参与者（在所图示的实施例中为交通参与者408C）的一个或多个预测（未来）轨迹。在确定期间，神经网络215考虑到可能影响图像502中所图示的特定交通参与者的未来轨迹的一个或多个检测到的交通因子。例如，如果在车道404C和404D的正前方存在停车标志，则处理器200可经由神经网络215确定交通参与者408C将在不久的将来放慢速度（取决于距停车标志的距离）。
在所图示的实施例中，确定具有最佳成本函数508（准确的最大可能性）的标签506（若干条可能的未来轨迹中的一个）。换言之，处理器200基于检测到的道路交通因子和图像确定邻近车辆102的交通参与者的预测轨迹。因此，如上文描述的，电子处理器200基于预测轨迹（和图像400）生成用于车辆102的适当的转向命令。
在前述说明书中，已描述了具体实施例。然而，本领域普通技术人员了解的是，能够做出各种改型和改变而不脱离如所附权利要求中阐述的本发明的范围。因此，说明书和附图将在说明性而非限制性的意义上被看待，并且所有这样的改型均旨在被包括在本教导的范围内。
在本文件中，诸如第一和第二、顶部和底部等的关系术语可仅用于将一个实体或动作与另一个实体或动作区分开而不必然需要或暗示这样的实体或动作之间存在任何实际的这样的关系或次序。术语“包括（comprises/comprising）”、“具有（has/having）”、“包括（includes/including）”、“包含（contains/containing）”或其任何其他变型旨在涵盖非排他性包括，使得包括、具有、包括、包含一系列元素的过程、方法、物品或设备不仅包括那些元素，而且可包括未明确列出或者为这样的过程、方法、物品或设备所固有的其他元素。在没有更多约束的情况下，继之以“包括...一”、“具有...一”、“包括...一”或“包含...一”的元素不排除在包括、具有、包括、包含该元素的过程、方法、物品或设备中存在附加的相同元素。除非本文中另有其他明确陈述，否则术语“一”和“一个”被限定为一个或多个。术语“大致”、“基本”、“大约”、“约”或其任何其他型式被限定为接近于本领域普通技术人员所理解的那样，并且在一个非限制性实施例中，该术语被限定为在10％以内，在另一个实施例中在5％以内，在另一个实施例中在1％以内，且在另一个实施例中在0.5％以内。如本文中使用的术语“联接”被限定为连接，不过不必然是直接的且不必然是机械的。以某种方式“构造”的装置或结构至少以该方式构造，但也可能以未列出的方式构造。
在所附权利要求中阐述了各种特征、优点和实施例。

Claims (15)

1.一种用于控制车辆的系统，所述系统包括：
电子处理器，所述电子处理器被构造成：
经由摄像机捕获第一图像；
在所述第一图像内确定道路交通因子；
基于来自所述车辆的一个或多个传感器的传感器信息生成描绘所述车辆周围的环境的第二图像，所述第二图像包括所述道路交通因子；
基于检测到的所述道路交通因子和所述第二图像确定邻近所述车辆的交通参与者的预测轨迹；以及
基于所述预测轨迹生成用于所述车辆的转向命令。
2.根据权利要求1所述的系统，其中，所述电子处理器使用深度学习网络基于检测到的所述道路因子和所述第二图像确定所述预测轨迹。
3.根据权利要求1所述的系统，其中，所述电子处理器还被构造成基于所述交通参与者的速度和加速度中的任一者或两者来确定所述预测轨迹。
4.根据权利要求1所述的系统，其中，所述道路交通因子是选自由以下各项组成的集合中的至少一项：交通标志、交通信号灯、道路标线、以及邻近所述交通参与者的目标的轨迹。
5.根据权利要求1所述的系统，其中，所述电子处理器还被构造成基于第二交通参与者的预测轨迹确定邻近所述车辆的交通参与者的预测轨迹。
6.一种用于控制车辆的装置，所述装置包括：
通信地联接到电子处理器的一个或多个传感器，包括摄像机，所述电子处理器被构造成：
经由所述摄像机捕获第一图像；
在所述第一图像内确定道路交通因子；
基于来自所述车辆的一个或多个传感器的传感器信息生成描绘所述车辆周围的环境的第二图像，所述第二图像包括所述道路交通因子；
基于检测到的所述道路交通因子和所述第二图像确定邻近所述车辆的交通参与者的预测轨迹；以及
基于所述预测轨迹生成用于所述车辆的转向命令。
7.根据权利要求6所述的装置，其中，所述电子处理器使用深度学习网络基于检测到的道路因子和所述第二图像确定所述预测轨迹。
8.根据权利要求6所述的装置，其中，所述电子处理器还被构造成基于所述交通参与者的速度和加速度中的任一者或两者来确定所述预测轨迹。
9.根据权利要求6所述的装置，其中，所述道路交通因子是选自由以下各项组成的集合中的至少一项：交通标志、交通信号灯、道路标线、以及邻近所述交通参与者的目标的轨迹。
10.根据权利要求6所述的装置，其中，所述电子处理器还被构造成基于第二交通参与者的预测轨迹确定邻近所述车辆的交通参与者的预测轨迹。
11.一种用于控制车辆的方法，所述方法包括：
经由摄像机捕获第一图像；
在所述第一图像内确定道路交通因子；
基于来自所述车辆的一个或多个传感器的传感器信息生成描绘所述车辆周围的环境的第二图像，所述第二图像包括所述道路交通因子；
基于检测到的所述道路交通因子和所述第二图像确定邻近所述车辆的交通参与者的预测轨迹；以及
基于所述预测轨迹生成用于所述车辆的转向命令。
12.根据权利要求11所述的方法，其中，所述预测轨迹是使用深度学习网络基于检测到的道路因子和所述第二图像确定的。
13.根据权利要求11所述的方法，其中，所述预测轨迹是基于所述交通参与者的速度和加速度中的任一者或两者确定的。
14.根据权利要求11所述的方法，其中，所述道路交通因子是选自由以下各项组成的集合中的至少一项：交通标志、交通信号灯、道路标线、以及邻近所述交通参与者的目标的轨迹。
15.根据权利要求11所述的方法，其中，邻近所述车辆的交通参与者的预测轨迹是基于第二交通参与者的预测轨迹确定的。
CN202011055125.6A 2019-10-01 2020-09-30 使用道路拓扑和交通参与者目标状态的车辆轨迹预测 Pending CN112598915A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/590112 2019-10-01
US16/590,112 US11591012B2 (en) 2019-10-01 2019-10-01 Vehicle trajectory prediction using road topology and traffic participant object states

Publications (1)

Publication Number Publication Date
CN112598915A true CN112598915A (zh) 2021-04-02

Family

ID=74873157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011055125.6A Pending CN112598915A (zh) 2019-10-01 2020-09-30 使用道路拓扑和交通参与者目标状态的车辆轨迹预测

Country Status (3)

Country Link
US (1) US11591012B2 (zh)
CN (1) CN112598915A (zh)
DE (1) DE102020211971A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114715145A (zh) * 2022-04-29 2022-07-08 阿波罗智能技术(北京)有限公司 一种轨迹预测方法、装置、设备及自动驾驶车辆

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837298B (zh) * 2021-09-28 2023-07-18 中国科学技术大学先进技术研究院 基于深度学习的智能车辆周边行人行为预测方法和系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2679682A1 (fr) * 1991-07-22 1993-01-29 Inrets Procede pour detecter les changements de l'etat d'occupation d'une voie.
JPH08178679A (ja) * 1994-12-19 1996-07-12 Honda Motor Co Ltd 車載用表示装置
CN1946603A (zh) * 2004-04-27 2007-04-11 罗伯特·博世有限公司 用于显示驾驶员信息的方法
US20140379247A1 (en) * 2013-06-24 2014-12-25 Google Inc. Use of Environmental Information to aid Image Processing for Autonomous Vehicles
CN108475057A (zh) * 2016-12-21 2018-08-31 百度（美国）有限责任公司 基于车辆周围的情境预测车辆的一个或多个轨迹的方法和系统
WO2018180040A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 映像処理装置、映像解析システム、方法およびプログラム
US20190049970A1 (en) * 2017-08-08 2019-02-14 Uber Technologies, Inc. Object Motion Prediction and Autonomous Vehicle Control
CN109429518A (zh) * 2017-06-22 2019-03-05 百度时代网络技术（北京）有限公司 基于地图图像的自动驾驶交通预测
US20190072965A1 (en) * 2017-09-07 2019-03-07 TuSimple Prediction-based system and method for trajectory planning of autonomous vehicles
US20190113930A1 (en) * 2016-03-28 2019-04-18 Honda Motor Co., Ltd. Vehicle control system, vehicle control method, and vehicle control program
CN109841088A (zh) * 2017-11-24 2019-06-04 奥迪股份公司 车辆驾驶辅助系统及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8478642B2 (en) 2008-10-20 2013-07-02 Carnegie Mellon University System, method and device for predicting navigational decision-making behavior
WO2014054288A1 (ja) * 2012-10-03 2014-04-10 株式会社デンソー 車両用ナビゲーションシステム
US9898759B2 (en) 2014-03-28 2018-02-20 Joseph Khoury Methods and systems for collecting driving information and classifying drivers and self-driving systems
EP2950294B1 (en) 2014-05-30 2019-05-08 Honda Research Institute Europe GmbH Method and vehicle with an advanced driver assistance system for risk-based traffic scene analysis
US10134279B1 (en) 2017-05-05 2018-11-20 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for visualizing potential risks
WO2018229549A2 (en) * 2017-06-16 2018-12-20 Nauto Global Limited System and method for digital environment reconstruction
US10739775B2 (en) 2017-10-28 2020-08-11 Tusimple, Inc. System and method for real world autonomous vehicle trajectory simulation
US20200249674A1 (en) * 2019-02-05 2020-08-06 Nvidia Corporation Combined prediction and path planning for autonomous objects using neural networks
US11323633B2 (en) * 2019-07-01 2022-05-03 Bendix Commercial Vehicle Systems, Llc Automated creation of a freeform mask for automotive cameras
US11691650B2 (en) * 2019-07-08 2023-07-04 Uatc, Llc Systems and methods for generating motion forecast data for a plurality of actors with respect to an autonomous vehicle

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2679682A1 (fr) * 1991-07-22 1993-01-29 Inrets Procede pour detecter les changements de l'etat d'occupation d'une voie.
JPH08178679A (ja) * 1994-12-19 1996-07-12 Honda Motor Co Ltd 車載用表示装置
CN1946603A (zh) * 2004-04-27 2007-04-11 罗伯特·博世有限公司 用于显示驾驶员信息的方法
US20140379247A1 (en) * 2013-06-24 2014-12-25 Google Inc. Use of Environmental Information to aid Image Processing for Autonomous Vehicles
US20190113930A1 (en) * 2016-03-28 2019-04-18 Honda Motor Co., Ltd. Vehicle control system, vehicle control method, and vehicle control program
CN108475057A (zh) * 2016-12-21 2018-08-31 百度（美国）有限责任公司 基于车辆周围的情境预测车辆的一个或多个轨迹的方法和系统
WO2018180040A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 映像処理装置、映像解析システム、方法およびプログラム
US20190392589A1 (en) * 2017-03-31 2019-12-26 Nec Corporation Video image processing device, video image analysis system, method, and program
CN109429518A (zh) * 2017-06-22 2019-03-05 百度时代网络技术（北京）有限公司 基于地图图像的自动驾驶交通预测
US20190049970A1 (en) * 2017-08-08 2019-02-14 Uber Technologies, Inc. Object Motion Prediction and Autonomous Vehicle Control
US20190072965A1 (en) * 2017-09-07 2019-03-07 TuSimple Prediction-based system and method for trajectory planning of autonomous vehicles
CN109841088A (zh) * 2017-11-24 2019-06-04 奥迪股份公司 车辆驾驶辅助系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114715145A (zh) * 2022-04-29 2022-07-08 阿波罗智能技术(北京)有限公司 一种轨迹预测方法、装置、设备及自动驾驶车辆

Also Published As

Publication number Publication date
US11591012B2 (en) 2023-02-28
DE102020211971A1 (de) 2021-04-01
US20210094612A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
US10345822B1 (en) Cognitive mapping for vehicles
EP3588226B1 (en) Method and arrangement for generating control commands for an autonomous road vehicle
CN113492851B (zh) 车辆控制装置、车辆控制方法以及车辆控制用计算机程序
US9400897B2 (en) Method for classifying parking scenarios for a system for parking a motor vehicle
CN107590768B (zh) 用于对用于运输工具的位置和/或方向的传感器数据进行处理的方法
US11308717B2 (en) Object detection device and object detection method
US9708004B2 (en) Method for assisting a driver in driving an ego vehicle and corresponding driver assistance system
CN111382768A (zh) 多传感器数据融合方法和装置
CN106335509A (zh) 车辆的驾驶辅助装置
DE112016000421T5 (de) Fahrzeuggeschwindigkeitsregelvorrichtung und geschwindigkeitsregelverfahren
WO2021026120A1 (en) Using captured video data to identify active turn signals on a vehicle
CN108349533B (zh) 用于确定用于停放机动车辆的停车区的方法、驾驶员辅助系统和机动车辆
CN113228131B (zh) 用于提供周围环境数据的方法和系统
US20200074851A1 (en) Control device and control method
US20200160552A1 (en) Object detection device, object detection method, and computer program for detecting object
JP7472832B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP7115502B2 (ja) 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
US20220237889A1 (en) Analysis of dynamic spatial scenarios
CN112598915A (zh) 使用道路拓扑和交通参与者目标状态的车辆轨迹预测
CN115171371B (zh) 一种协作式道路交叉口通行方法及装置
JP2021128705A (ja) 物体状態識別装置
CN116930970A (zh) 用于组合检测物体的系统和方法
JP6330868B2 (ja) 車両制御装置
CN115257790A (zh) 传感器异常推定装置
US11610412B2 (en) Vehicle neural network training

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination