CN110857085A - 车辆路径规划 - Google Patents

车辆路径规划 Download PDF

Info

Publication number
CN110857085A
CN110857085A CN201910752851.4A CN201910752851A CN110857085A CN 110857085 A CN110857085 A CN 110857085A CN 201910752851 A CN201910752851 A CN 201910752851A CN 110857085 A CN110857085 A CN 110857085A
Authority
CN
China
Prior art keywords
vehicle
data
probability
computing device
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910752851.4A
Other languages
English (en)
Inventor
大卫·迈克尔·赫尔曼
小斯蒂芬·杰伊·奥里斯
大卫·约瑟夫·奥里斯
尼古拉斯·亚历山大·朔伊夫勒
农西奥·德西亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN110857085A publication Critical patent/CN110857085A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/08—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of electric propulsion units, e.g. motors or generators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/06—Combustion engines, Gas turbines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/08—Electric propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了“车辆路径规划”。一种计算系统可以被编程为确定第一车辆的位置、速度和方向。所述计算机还能够被编程为基于识别所述第一车辆和驾驶环境来确定所述第一车辆的预测的位置、速度和方向的概率。所述计算机还能够被编程为基于所述确定的所述第一车辆的预测的位置、速度和方向的概率来操作第二车辆。

Description

车辆路径规划
技术领域
本公开总体上涉及车辆传感器和车辆导航。
背景技术
车辆可以被配备成以自主模式和乘员驾驶模式两个模式操作。车辆可以配备有计算装置、网络、传感器和控制器以获取关于车辆环境的信息并基于该信息来操作车辆。车辆的安全和舒适操作可以取决于获取关于车辆环境的准确且及时的信息。车辆传感器可以提供关于在车辆环境中要行驶的路线和要避开的对象的数据。车辆的安全且有效的操作可以取决于当车辆正在道路上操作时获取关于车辆环境中的路线和对象的准确且及时的信息。
发明内容
车辆可以被配备成以自主模式和乘员驾驶模式两个模式操作。就半自主或完全自主模式而言，意指其中车辆可以由计算装置进行导引的操作模式，所述计算装置作为具有传感器和控制器的车辆信息系统的一部分。所述车辆可以有人占用或者无人占用，但在任一情况下，可以在没有乘员辅助的情况下完全或部分地驾驶车辆。出于本公开的目的，自主模式被定义为其中车辆推进(例如，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一者由一个或多个车辆计算机控制的模式；在半自主模式中，一个或多个车辆计算机控制车辆推进、制动和转向中的一者或两者。在非自主车辆中，这些都不由计算机控制。
车辆中的计算装置可以被编程为获取关于车辆的外部环境的数据并且使用所述数据来确定要用于以自主或半自动模式操作车辆的轨迹，例如，其中所述计算装置可以向控制器提供信息以在包括其他车辆在内的交通道路上操作车辆。基于传感器数据，计算装置可以确定车辆在存在其他车辆和行人的情况下在道路上行驶到达目的地的安全路径，其中路径被定义为随着车辆从道路上的第一位置移动到道路上的第二位置而将车辆的连续位置进行连接的线路，并且安全路径被定义为将车辆保持在道路内并且不包括与对象(包括例如其他车辆和行人)发生碰撞的路径。
第一车辆中的计算装置可以被编程为识别第二车辆和车辆环境，所述车辆环境包括相对于所述第一车辆的位置。基于所述第二车辆的身份，可以选择包括车辆风格矢量的风格库并使用所述风格库来处理车辆传感器数据(包括由车辆视频传感器利用深度神经网络获取的图像)，以基于第二车辆的身份和车辆环境(包括第二车辆相对于第一车辆的位置)来预测第二车辆的一个或多个轨迹。计算装置可以在操作第一车辆的同时监测第二车辆的操作以确定观察到的第二车辆的轨迹。可以将观察到的轨迹与预测的轨迹进行比较，并可以将结果用于重训练深度神经网络的风格库部分。
本文公开一种方法，所述方法包括：基于识别第一车辆和驾驶环境来确定所述第一车辆的预测的位置、速度和方向的概率；以及基于确定的所述第一车辆的预测的位置、速度和方向的概率来操作第二车辆。可以基于车辆传感器数据来预测所述第一车辆的所述位置、速度和方向。处理车辆传感器数据可以包括：利用卷积神经网络将彩色视频数据分段以确定包括车辆的移动对象。可以基于确定所述第二车辆的规划路径多项式来操作所述第二车辆。可以由深度神经网络基于所述第一车辆的所述身份和所述驾驶环境来确定所述规划路径多项式。
可以将所述驾驶环境作为认知地图输入到所述深度神经网络，所述认知地图包括第一车辆的位置、速度和方向。可以将所述第一车辆的所述身份作为所述深度神经网络的隐藏层的数据输入到所述深度神经网络。可以基于包括视频传感器数据的车辆传感器数据来识别所述第一车辆。可以基于车辆对车辆通信或车辆对基础设施的通信来识别所述第一车辆。确定第一车辆的预测的位置、速度和方向的概率可以包括：确定所述第一车辆相对于所述第二车辆的位置。可以基于视频、激光雷达或雷达传感器数据来确定所述第一车辆的位置。确定第一车辆的预测的位置、速度和方向的概率可以基于确定路径多项式及其概率。所述路径多项式及其概率可以包括在认知图中。
本发明还公开一种计算机可读介质，其存储用于执行上述方法步骤中的一些或全部的程序指令。还公开一种被编程用于执行上述方法步骤中的一些或全部的计算机，所述计算机包括计算机设备，所述计算机设备被编程为基于识别第一车辆和驾驶环境来确定所述第一车辆的预测的位置、速度和方向的概率；以及基于确定的所述第一车辆的预测的位置、速度和方向的概率来操作第二车辆。可以基于车辆传感器数据来预测所述第一车辆的所述位置、速度和方向。处理车辆传感器数据可以包括：利用卷积神经网络将视频数据分段以确定包括车辆的移动对象。可以基于确定所述第二车辆的规划路径多项式来操作所述第二车辆。可以由深度神经网络基于所述第一车辆的所述身份和所述驾驶环境来确定所述规划路径多项式。
所述计算机装置还可以被编程为将所述驾驶环境输入到所述深度神经网络并输出包括第一车辆的位置、速度和方向的认知地图。可以将所述第一车辆的所述身份作为所述深度神经网络的隐藏层的数据输入到所述深度神经网络。可以基于包括视频传感器数据的车辆传感器数据来识别所述第一车辆。所述第一车辆可以基于车辆对车辆通信或车辆对基础设施的通信。确定第一车辆的预测的位置、速度和方向的概率可以包括：确定所述第一车辆相对于所述第二车辆的位置。可以基于视频、激光雷达或雷达传感器数据来确定所述第一车辆的位置。确定第一车辆的预测的位置、速度和方向的概率可以基于确定路径多项式及其概率。所述路径多项式及其概率可以包括在认知图中。
附图说明
图1是示例性交通基础设施系统的框图。
图2是包括视频传感器的示例性车辆的图。
图3是包括雷达传感器和激光雷达传感器的示例性车辆的图。
图4是包括深度贝叶斯神经网络的示例性深度神经网络的图。
图5是示例性深度贝叶斯神经网络的图。
图6是示例性交通场景的图。
图7是用于操作车辆的示例性过程的流程图。
具体实施方式
图1是交通基础设施系统100的图，该交通基础设施系统包括可以自主(为避免疑义，“自主”本身在本公开中意指“自主”而非“半自主”)模式和乘员驾驶(也称为非自主)模式操作的车辆110。车辆110还包括用于在自主操作期间执行计算以导引车辆110的一个或多个计算装置115。计算装置115可以从传感器116接收关于车辆的操作的信息。计算装置115可以自主模式、半自主模式或非自主模式来操作车辆110。
计算装置115包括例如已知的处理器和存储器。此外，存储器包括一种或多种形式的计算机可读介质，并且存储指令，所述指令可由处理器执行以用于执行包括如本文所公开的各种操作。例如，计算装置115可以包括编程以操作车辆制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆110的加速度)、转向、气候控制、内部和/或外部灯等中的一项或多项，以及确定计算装置115(而不是操作人员)是否以及何时控制此类操作。
计算装置115可以包括一个以上计算装置，例如，包括在车辆110中用于监测和/或控制各种车辆部件的控制器(例如，动力传动系统控制器112、制动控制器113、转向控制器114等)等，或例如经由如下文进一步描述的车辆通信总线耦合到所述一个以上计算装置。计算装置115通常被布置用于在车辆通信网络(例如，包括车辆110中的通信总线，诸如控制器局域网(CAN)等)上通信；车辆110网络可以另外地或替代地包括诸如已知的有线或无线通信机制，例如以太网或其他通信协议。
计算装置115可以经由车辆网络向车辆中的各种装置(例如，控制器、致动器、传感器(包括传感器116)等)传输消息和/或从所述各种装置接收消息。替代地或另外地，在计算装置115实际上包括多个装置的情况下，可以使用车辆通信网来在本公开中表示为计算装置115的装置之间进行通信。此外，如下文所提及，各种控制器或诸如传感器116的感测元件可经由车辆通信网络向计算装置115提供数据。
另外，计算装置115可以被配置用于经由网络130通过车辆对基础设施(V-to-I)接口111与远程服务器计算机120(例如，云服务器)进行通信，如下所述，所述接口包括允许计算装置115经由诸如无线因特网(Wi-Fi)或蜂窝网络的网络130与远程服务器计算机120通信的硬件、固件和软件。因此，V-to-I接口111可以包括处理器、存储器、收发器等，它们被配置为利用各种有线和/或无线联网技术，例如蜂窝网络、
Figure BDA0002167774380000051
以及有线和/或无线分组网络。计算装置115可以被配置用于使用例如在附近车辆110之间以自组网为基础形成或通过基于基础设施的网络形成的车辆对车辆(V-to-V)网络(例如，根据专用短距离通信(DSRC)等)通过V-to-I接口111与其他车辆110通信。计算装置115还包括例如已知的非易失性存储器。计算装置115可以通过将信息存储在非易失性存储器中来记录信息，以用于稍后经由车辆通信网络和通向服务器计算机120或用户移动装置160的车辆到基础设施(V-to-I)接口111来进行检索和传输。
如上文已经提及，编程通常包括在存储于存储器中并可由计算装置115的处理器执行的指令中，所述编程用于在没有人类操作员干预的情况下操作一个或多个车辆110部件(例如，制动、转向、推进等)。使用在计算装置115中接收到的数据(例如，来自传感器116、服务器计算机120等的传感器数据)，计算装置115可以在没有驾驶员操作车辆110的情况下作出各种确定和/或控制各种车辆110部件和/或操作。例如，计算装置115可以包括编程以调节车辆110操作行为(即，车辆110操作的物理表现)，诸如速度、加速度、减速度、转向等，以及策略性行为(即，通常以预期用于实现路线的安全且有效遍历的方式控制操作行为)，诸如车辆之间的距离和/或车辆之间的时间量、变道、车辆之间的最小间隙、最小左转路径值、到达特定位置的时间和穿过十字路口(无信号)的十字路口最小到达时间。
如本文所用的术语控制器包括通常被编程为控制特定车辆子系统的计算装置。示例包括动力传动系统控制器112、制动控制器113以及转向控制器114。控制器可以是诸如已知的电子控制单元(ECU)，可能包括如本文所述的附加编程。控制器可以通信地连接到计算装置115并从计算装置接收指令以根据指令致动子系统。例如，制动控制器113可以从计算装置115接收指令以操作车辆110的制动器。
用于车辆110的一个或多个控制器112、113、114可以包括已知的电子控制单元(ECU)等，作为非限制性示例，包括一个或多个动力传动系统控制器112、一个或多个制动控制器113和一个或多个转向控制器114|。控制器112、113、114中的每一个可以包括相应的处理器和存储器以及一个或多个致动器。控制器112、113、114可以被编程并且连接到车辆110通信总线(诸如控制器局域网(CAN)总线或局部互连网络(LIN)总线)以从计算机115接收指令并且基于指令控制致动器。
传感器116可以包括已知经由车辆通信总线提供数据的各种装置。例如，固定到车辆110的前保险杠(未示出)的雷达可以提供从车辆110到车辆110前面的下一辆车的距离，或者设置在车辆110中的全球定位系统(GPS)传感器可以提供车辆110的地理坐标。由雷达和/或其他传感器116提供的一个或多个距离和/或由GPS传感器提供的地理坐标可以由计算装置115使用来自主地或半自主地操作车辆110。
车辆110通常是能够自主和/或半自主操作并且具有三个或更多个车轮的基于地面的自主车辆110(例如，客车、轻型载货汽车等)。车辆110包括一个或多个传感器116、V-to-I接口111、计算装置115和一个或多个控制器112、113、114。传感器116可以收集与车辆110和车辆110正在操作所处的环境相关的数据。作为示例但不限于，传感器116可以包括例如高度计、相机、激光雷达、雷达、超声传感器、红外传感器、压力传感器、加速度计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、机械传感器(诸如开关)等。传感器116可以用于感测车辆110正在操作所处的环境，例如，传感器116可以检测诸如天气状况(降雨、外部环境温度等)等现象、道路坡度、道路位置(例如，使用道路边缘、车道标记等)或目标对象(诸如邻近车辆110)的位置。传感器116还可以用来收集数据，包括与车辆110的操作(诸如速率、横摆率、转向角度、发动机转速、制动压力、油压力、施加到车辆110中的控制器112、113、114的功率电平、部件之间的连接性和车辆110的部件的准确和及时性能)相关的动态车辆110数据。
图2是包括视频传感器202、204、206、208的示例性车辆110的图，所述视频传感器在本文中单独地且共同地称为视频传感器210。每个视频传感器202、204、206、208分别具有对应的视野212、214、216、218，所述视野在本文单独地且共同地称为视野220。视野220指示视频传感器210可在其内获取焦点对准数据的3D空间中的体积，该焦点对准数据被投影到与假设的道路表面平行的2D平面上。可以通过将关于视野220相对于车辆110的方向和尺寸的信息以及对象与车辆110位于相同的道路表面上的假设相结合来确定车辆110周围的对象的位置。基于视频传感器210的光轴的3D姿态(方向)、透镜的放大倍数(尺寸)以及对象使其3D轮廓的底部与车辆110接触共同道路表面的假设，可以确定对象的3D方向和与对象的距离。3D姿态是3D位置，例如，x、y和z空间坐标以及相对于诸如纬度、经度和高度的坐标系的侧倾、俯仰和偏航旋转坐标。
计算装置115可以将由视频传感器210获取的图像以及包括第二车辆的身份和环境数据(包括在图像中)的环境数据(包括哪个视频传感器210获取了图像、以及何时获取图像)输入到深度神经网络中。例如，计算装置115可以使用物理上位于车辆110中的计算资源或物理上位于服务器计算机120处的计算资源来处理图像和环境数据。身份可以包括可能要驾驶第二车辆的人类驾驶员的身份。通过利用描述人类驾驶员的驾驶风格的风格矢量对深度神经网络的风格库部分进行编程而基于人类驾驶员的身份来对深度神经网络进行编程。下面关于图5更完整地描述了风格库和风格矢量。风格库将来自编码卷积神经网络的图像和环境信息转换为对第二车辆运动的预测，以输出到解码卷积神经网络，从而产生具有发生概率的路径多项式，其中最可能的路径多项式伴随左和右更少可能的路径多项式，如关于图6所描述。
图3是包括雷达传感器302、304、306、308、310(统称为雷达传感器312)和激光雷达传感器314、316的车辆110的图。雷达传感器312和激光雷达传感器314、316各自分别具有它们在其内可以获取可用数据的视野318、320、322、324、326、328、330(单独地和共同地称为332)。雷达传感器312和激光雷达传感器314、316获取关于车辆110周围环境中的对象的距离或范围数据。通过处理雷达数据或激光雷达数据以确定第二车辆相对于车辆110的位置，计算装置115监测第二车辆的操作以确定例如第二车辆的位置、速度和方向。可以将位置、速度和方向数据与由关于图4和图5所描述的深度神经网络(DNN)400所做出的对第二车辆位置、速度和方向的预测进行比较。计算装置115可以确定第二车辆的行为是否遵循该预测。在第二车辆的行为不遵循该预测的示例中，可以基于观察到的行为来重训练DNN 400。
计算装置115可以通过基于在真实世界x、y和z空间坐标以及侧倾、俯仰和偏航旋转坐标中确定车辆110的3D姿态而将雷达数据和激光雷达数据与地图数据相结合来确定雷达数据和激光雷达数据中的对象的距离和方向。例如，可以利用来自GPS和基于加速度计的惯性导航系统(INS)传感器116的数据来确定车辆110的真实世界3D姿态。地图数据可以存储在计算装置115存储器处，或者可以经由V-to-I接口111从服务器计算机120下载，例如，从互联网下载的谷歌TM或OpenStreetMap(英国剑桥开放街道地图基金会(Open Street MapFoundation,Cambridge,United Kingdom))地图。利用地图数据，可以将车辆110的3D姿态(位置和方向)以及关于视野332、雷达数据或激光雷达数据的信息投影到认知地图上，该认知地图是车辆110周围环境的俯视地图。下面关于图6讨论了认知地图。可以将投影到认知地图上的雷达和激光雷达数据与地图数据相关联，以确定道路、车道和以及相对于像其他车辆和行人的对象的距离和方向以及速度。
图4是深度神经网络(DNN)400的图。DNN输入由视频传感器210获取的图像数据402。DNN 400包括编码卷积神经网络(ENC)404、风格库(SB)408和解码卷积网络(DEC)412。在图像数据402中编码的是关于环境的信息，包括关于视频传感器210的视野220的方向和尺寸的信息。将图像数据402输入到编码卷积神经网络(ENC)404，其中根据通过训练生成的编程应用空间滤波器以输入图像数据的多个卷积层散布有多个下采样层，该多个下采样层降低卷积层的空间分辨率，同时同样根据通过训练生成的程序保留中间结果信息。由于输入图像402包括编码环境信息(该编码环境信息包括视野220尺寸和方向)，因此ENC 404可以对图像数据进行窗口化和编码以生成车辆提示，即，描述第二车辆相对于车辆110的姿态和位置的数据。将描述第二车辆的姿态及其相对于车辆110的位置的车辆提示作为车辆提示406传送到风格库408，其中车辆提示包括在x和y的分辨率降低的阵列中，同时位深度增大以将包括多个车辆提示406的多个车辆提示包括在内。
SB 408输入车辆提示406并对它们进行处理以生成描述预测的车辆运动的运动提示410，这些运动提示包括预测的路径多项式，所述预测的路径多项式包括对应的概率，其中所述对应的概率是第二车辆将沿着该预测的路径多项式行进的估计概率，该预测的路径多项式包括编程信息(该编程信包括在风格矢量中)，其中引导DNN 400的SB 408层的计算的参数被收集到具有由用户输入确定的多个位的风格矢量中。位越多，人类驾驶员的驾驶风格就表示得越准确。位的示例性数量为约500。当计算装置115识别出第二车辆的可能的人类驾驶员时，可以访问属于该人类驾驶员的风格并将其下载到SB 408中。风格矢量可以表示人类驾驶员的驾驶风格，或者在车辆由计算装置以完全自主模式或部分自主模式的操作的示例中，可以表示作为自动驾驶辅助系统(ADAS)操作的计算装置的驾驶风格。对于DNN400，风格矢量可以是一个单独权重层和一个计算节点层的偏差，而变分自动编码器可以具有两个风格矢量，即平均值矢量和标准偏差矢量。贝叶斯NN可以在风格矢量中具有计算节点分布。
通过经由联合地训练ENC 404、SB 408和DEC 412而训练DNN400以输出路径多项式以及以输出概率，来确定风格矢量。风格矢量是包括SB 408的编码编程数据的位矢量。一旦DNN 400被训练以输出路径多项式和人类驾驶员的驾驶风格的概率，就可以将定义SB 408的编程的位一起收集在矢量中并上传到计算装置115的存储器，从而捕获人类驾驶员的驾驶风格。例如，风格矢量可以包括300到500位，并且可以包括人类不容易解译的位模式。可以训练DNN 400以通过根据所选择的损失函数将反馈结果与地面实况相结合来输出适当的认知地图414，该认知地图包括路径多项式和概率，该损失函数惩罚不良结果并奖励与地面实况类似的结果。地面实况是对应于认知地图414的数据，其从独立于DNN 400图像输入的源获取，例如激光雷达传感器数据或雷达传感器数据。在利用多个图像402和对应的地面实况进行重复试验时，可以训练DNN 400以基于输入图像402输出正确的认知地图414。一旦经过训练，就可以从SB 408上传来自SB 408的称为风格矢量的参数并将所述参数存储在计算装置115存储器中，或经由V-to-I接口111将所述参数上传到服务器计算机120并将所述参数从计算装置115存储器或服务器计算机120下载到SB 408。风格矢量可以由个体人类驾驶员或人类驾驶员或ADAS驾驶员组编索引和存储，并且在计算装置115的请求下定位并下载到SB 408中。例如，每个人类驾驶员都可以具有由计算装置115存储在按照身份编索引的矩阵中的唯一风格矢量。
在一些示例中，计算装置115可能不识别单独的人类驾驶员。在这些示例中，风格矢量可以是与第二车辆的一个或多个人类驾驶员相关联的一个或多个风格矢量的平均值或其他组合。一种简单的方法是假设风格矩阵中每个要素的正态概率分布。这种方法被称为变分自动编码器，其中风格矢量的每个要素都由可以从中采样的平均值和标准偏差要素组成。这可能导致风格矢量的大的变化，这将导致在路径多项式预测中发生置信度较小的预测。用于具有低驱动器计数(例如，2至4个)的车辆110的另一种方法通过使用贝叶斯神经网络将概率分布视为由高斯混合或其他分布组成。可以使用所收集的数据经由贝叶斯推断来计算真实概率分布。可以通过假设一个简单的概率分布，但使用贝叶斯分析检测估计分布中的变化点的出现来将这两种方法进行组合，这将指示每个车辆的新的一个或多个驾驶员。最后，基于新数据更新后验信念的过程(例如，根据观察到的行为重训练DNN 400)将提供灵活的风格矢量，该风格矢量可以解释驾驶风格随着时间推移的自然改进或变化。
在另一示例中，关于车辆的人类驾驶员的信息对于计算装置115不可用。在这些示例中，计算装置115可以确定第二车辆类型，并且可以基于第二车辆类型确定表示给定该类型车辆的可能驾驶风格的通用风格矢量。例如，大型卡车可以具有一组可能的驾驶风格，而跑车可以具有一组不同的可能驾驶风格。每种类型的可识别车辆都可以具有基于利用多个图像训练DNN 400的默认风格矢量以及关于驾驶风格的对应地面实况。一旦风格矢量被下载到SB 408中，SB 408就可以处理输入图像和环境数据或者从输入图像和环境数据导出的特征以形成输出运动提示410，该输出运动提示描述第二车辆运动到编码卷积神经网络412的概率。下面结合图5描述SB 408。
将运动提示410输入到DEC 412，该DEC对运动提示进行上采样，确定路径多项式和概率并将它们投影到认知地图414上。DEC 412是上采样认知神经网络，其输入从SB 408输出的运动提示410。上采样认知神经网络包括多个卷积层，该多个卷积层利用通过训练确定的卷积核来过滤运动提示414数据。卷积层散布有多个上采样层，该多个上采样层以适当的分辨率使用来自ENC 404的信息，以例如经由跳层连接来引导上采样。输出认知图414可以包括像其他车辆和行人的道路和对象，并且将参考图6进行讨论。可以将多于一个具有其自己的风格矢量的车辆的多于一个计算链接(并行和按顺序)，以使用先前预测位置结果中的每一个来理解认知地图中的车辆驾驶员在每个增量时间步长的交互。
图5是示例性SB 408的图。SB 408是包括层504、510、518、524的深度神经网络，所述层各自具有计算节点502、508、514、522。将车辆提示406输入到第一层504计算节点502，其中各自计算车辆提示406的要素并通过连接506传送到下一层510的计算节点508。第一层504的计算节点502通过连接506完全连接到下一层510的计算节点508，这意味着来自层504的任何输出值可以输入到下一层510的任何计算节点508。以类似的方式，层510的计算节点508通过连接512完全连接到层518的计算节点514，并且层518的计算节点514通过连接520完全连接到输出层524的计算节点522。这些连接506、512、520允许SB 408计算输入值和中间值的任何组合的函数。一旦SB 408已被训练以使用如上所述的地面实况而基于输入的车辆提示406来输出适当的运动提示410，就可以将控制这些计算的参数收集在一起以形成风格矢量。包括在风格矢量中的位对应于SB 408的计算节点502、508、514、522使用来处理输入车辆提示406的参数，并且可以是例如浮点数。
SB 408通过确定与基于输入车辆提示406而确定的中间结果相关联的贝叶斯概率来处理输入车辆提示406。贝叶斯神经网络SB 408将为我们提供对层的计算节点的概率理解，例如对网络权重和最终输出提示的置信度的理解。输入层504的计算节点502将输入车辆提示406变换为描述例如车辆提示406发生的概率的概率分布。后续层510、518、524的计算节点508、514、522基于输入概率分布来计算贝叶斯概率。贝叶斯概率是根据方程式P＝(a|b)确定的概率P，其中概率P等于事件a发生的概率，基于与以对应于b发生概率的概率分布为条件的a相对应的概率分布。这假设在确定a发生的概率之前，确定与b发生的概率相对应的概率分布。以这种方式，可以使用经由连接506、512、520传送的概率分布将关于对应于车辆提示406的先前状态的信息以及因此关于先前驾驶行为的信息并入在计算节点502、508、514、522中。将确定哪些输入概率分布和哪些贝叶斯概率将作为变换的概率分布输出的参数作为位保存为风格矢量中。如上所述训练DNN 400导致参数被选择作为位保存在风格矢量中。可以由计算装置115从DNN 400上传训练的风格矢量并存储在存储器中，按照与计算装置115确定的人类驾驶员的身份相对应的身份编索引。
SB 406并入有贝叶斯框架，其中驾驶风格矢量表示对应于概率分布。类似地，神经网络参数可以包括每个神经元上的概率分布权重和偏差。这种添加有三个有用的结果。第一个优点是驾驶风格矢量可以并入有在人类的驾驶风格中看到的自然变化以及当在多个驾驶员间共用车辆时考虑的变化。其次，结果是预测未来车辆轨迹的概率空间。因此，可以考虑最可能的路径并且可以更好地预测低概率轨迹极值。第三，驾驶风格矢量表示可以假设无信息的先验假设或矢量概率分布的非常大的变化。因此，可以学习共同的驾驶风格行为，例如驾驶员是否倾向于高精度地使用转弯信号(该特定风格分量的概率分布可以被视为等同于人的真实驾驶风格)。另一方面，对于给定驾驶员尚未监测的驾驶风格行为(例如，可能包括在结冰条件下或在雾中驾驶等)可以具有非常大的不确定性。这将导致可测量的预测置信度，其可用于针对观察到的驾驶环境和其中特定驾驶员的驾驶风格尚未被观察到的驾驶环境两者通知运动规划。本文讨论的技术通过提供更好和更准确的方法来预测未来的人类驾驶员路径多项式来改进车辆110的操作。
图6是示例性认知地图414的图。认知地图是车辆110周围的环境的俯视图。可以由计算装置115通过获取和处理视频数据、雷达数据、激光雷达数据或者V-to-V或V-to-I联网数据中的一个或多个来创建认知地图414，其中车辆110姿态数据和地图数据用于确定车辆110周围环境中对象的位置，所述环境包括道路600、车道602、604、606和车辆110、以及第二车辆608和第三车辆610。可以使认知地图414的坐标系统在车辆110处居中并且随着车辆110在车道602中的道路600上操作而与车辆一起移动。认知地图414中包括用于车辆110的路径多项式612。路径多项式612是由车辆110的3D姿态矢量的多项式函数指定的路径的图示，所述姿态矢量描述车辆110的预测位置。计算装置115可以确定发送到控制器112、113、114的命令以控制车辆110动力传动系统、转向和制动以操作车辆110使其在预测时间到达路径多项式612的预测位置，从而操作车辆110使其达到目标状态，例如，以预测的速度和航向到达道路600上的目的地位置。
计算装置115可以创建认知地图414，该认知地图开始于确定车辆110位置，包括车辆110的3D姿态，如上面关于图3所讨论的。计算装置可以使用3D姿态来定位表示车辆110周围的区域的地图数据，并且创建认知地图414，该认知地图基于车辆110的路径多项式612(包括表示车辆110位于中心处的图标)以车辆110为中心并定向。计算装置115可以包括道路600和车道602、604、606，其基于通过处理视频数据、雷达数据或激光雷达数据中的一个或多个而改进的地图数据，以确定道路600和车道602、604、606的位置。可以使用包括深度神经网络的机器视觉技术来处理视频数据、雷达数据或激光雷达数据，以处理输入传感器数据并输出具有来自车辆110的距离和方向的确定特征。
计算装置115可以使用认知地图414来操作车辆110。计算装置115可以确定路径多项式612，其中路径多项式是包括车辆110的预测的姿态矢量的多项式函数。计算装置115可以创建发送到控制器112、113、114的命令，以控制车辆110的动力传动系统、转向和制动，以使车辆110实现预测的姿态矢量，该预测的姿态矢量定义车辆位置、方向和速度，从而沿着路径多项式612操作车辆110。计算装置115可以确定分别与车辆110车道602相邻的车道604、606中的第二车辆608和第三车辆610的存在。计算装置115可以基于关于交通中车辆的先前行为的经验数据和关于由观察者识别和记录的不同驾驶行为的数量和类型的用户输入，分别预测第二车辆608和第三车辆610的路径多项式614、620。在真实世界驾驶中，基于上述标准的给定车辆的可能路径多项式616、618、622、624的范围是如此之大以致于如果路径多项式614、620被添加到每个可能的路径多项式616、618、622、624的认知地图414，则认知地图414可填充有其他车辆的路径多项式614、616、618、620、622、624，因此阻碍计算装置115能够确定车辆110的不干扰另一车辆的路径多项式614、620的路径多项式612。通过干扰另一车辆的路径多项式614、616、618、620、622、624，这意味着计算装置115可以预测路径多项式612上的操作车辆110将以高概率(>90％)导致例如在车辆110和第二车辆608或第三车辆608之间发送碰撞或近距离碰撞。
本文讨论的技术通过基于根据识别车辆110周围环境中的第二车辆608或第三车辆610的驾驶员或驾驶员类型而选择风格矢量来预测路径多项式614、620来改进认知地图414，从而对SB 408进行编程以产生允许DNN 400输出认知地图414的运动提示410。认知地图414包括关于高概率第二车辆608或第三车辆610路径多项式614、620和低概率路径多项式616、618、622、624的信息。在这种背景下的“高概率”意味着计算装置115已经确定第二车辆608或第三车辆610在路径多项式614、620上操作的概率将大于90％。在这种背景下的“低概率”意味着计算装置115已经确定第二车辆608或第三车辆610分别在路径多项式616、618、622、624中的一个或者在路径多项式616、618、622、624与路径多项式614、620之间的在路径多项式上操作的概率大于50％，其中概率在低和高之间。
可以由DEC 412的DNN 400层通过使用不同分辨率的地面实况认知地图414训练DEC 412来创建认知地图414，以用作原型来引导DEC 412的上采样层。DEC 412的上采样层将原型认知地图414与SB 408输出的运动提示410相结合以使认知地图414填充有关于第二车辆608或第三车辆610路径多项式614、616、618、620、622、624的信息。DNN 400可以通过对视频传感器210各自周期性地采样并处理输入图像和环境数据402以对车辆110周围的环境进行采样来处理输入图像和环境数据402。可以这种方式对车辆110周围的环境周期性地采样，以向认知地图414提供由视频传感器210的视野220覆盖的车辆110周围的环境的完整视图。在本文描述的技术的示例中，可以由附加的神经网络预处理图像和环境数据，以提取特征以供DNN 400处理。例如，神经网络可以执行对象检测并将车辆定位到认知地图上。对图像数据和其他传感器数据的处理可以提供可以包括在认知地图中的诸如天气数据、环境照明数据、制动灯激活数据等的其他数据。在本文讨论的技术的示例中，该认知地图可以用作对DNN 400的输入。
在其中多个车辆在车辆110附近行驶的示例中，DNN 400可以用于估计多个车辆的人类驾驶员或ADAS驾驶员的最可能的驾驶行为以及在进入未来的每个时间增量操作车辆110的路径多项式。然后，这将通过车辆110与多个车辆的交互来更新，以预测多个车辆的轨迹的下一个时间步长直到期望的未来持续时间(例如，0.5秒时间步长和进入未来最多10秒)。这将提供多个车辆中最可能的路径多项式的信息，并且允许计算装置115执行运动规划，同时提供避开未来可能影响将来不可访问的物理空间的车辆轨迹。
图7是关于图1至图6所描述的用于基于识别第一车辆和驾驶环境而操作车辆、确定第二车辆运动的概率以及根据确定的概率操作第二车辆的过程700的流程图。例如，可以由计算装置115的处理器从传感器116获得信息作为输入并经由控制器112、113、114执行命令和发送控制信号来实施过程700。过程700包括以所公开的次序采用的多个框。过程700还包括具有更少框的实施方式，或者可以包括按照不同次序采用的框。
过程700开始于框702，其中包括在车辆110中的计算装置115可以识别第一车辆并确定驾驶环境。框702开始于检测第一车辆并使用来自视频传感器、激光雷达传感器和雷达传感器的数据来随时间跟踪该第一车辆的位置。另外，可以由计算装置115经由V-to-V联网从第一车辆或经由V-to-I联网从交通基础设施服务器计算机120获得关于第一车辆的数据。可以使用传感器融合技术将来自视频传感器、激光雷达传感器、雷达传感器和网络的数据相结合，所述技术补偿不同的传感器视野和分辨率，从而构建包括视频数据、激光雷达数据、雷达数据和V-to-V数据的单个地图。例如，通过传感器融合将多个传感器数据源相结合可以避免出现基于干扰或其他误差源的联网定位精度可能较差的错误。可以使用像卡尔曼滤波器的移动窗口滤波器对来自通过网络检测到但不在传感器范围内的车辆的网络源的数据进行滤波，这可以减少由于网络定位较差导致的不稳定或嘈杂的定位信号。
长期车辆跟踪的主要方法是使用联网来跟踪车辆。如果联网不可用或车辆未配备网络接口，则可以使用机器视觉技术来在视频传感器数据中识别牌照。在另一示例中，车辆110可以经由V-to-V联网从其他车辆请求关于其视频传感器范围和视野内的目标车辆的视频传感器数据以捕获牌照数据，从而基于牌照来确定当前网络接口标识符的目标车辆的身份，例如，目标车辆的网络接口的MAC地址。
通过从视频传感器210输入图像数据来确定驾驶环境数据，包括识别哪个视频传感器210获取了图像。计算装置115可以基于哪个视频传感器210获取了图像来确定视野220。确定驾驶环境数据可以包括在图像中编码车辆的3D姿态。该信息可以被编码为文本、符号或二进制代码，所述文本、符号或二进制代码将由ENC 402解译并包括在车辆提示406中。可以从配备有传感器116(诸如视频传感器210)的其他车辆获取驾驶环境数据，所述传感器可以用于对人类驾驶员看到的景象进行成像、对其进行处理以压缩数据，然后可以经由V-to-V联网向车辆110中的计算装置115发送数据。驾驶环境数据可以包括以下各项的组合：车辆110自身的传感器116；由该特定车辆周围的本地驾驶环境提供的V-to-V联网信息；对人类驾驶的车辆的关于传感器数据的V-to-V请求；以及使用V-to-V联网来从其他车辆请求关于人类驾驶的车辆的数据。可以使用其他输入特征，所述输入特征些可以与诸如天气、一天中的时间、一周中的某一天、一年中的某一天等的驾驶行为相关联。此外，可以将内部传感器数据从人类驾驶的车辆传输到车辆110。例如，来自内部车辆相机的头部姿态和眼睛跟踪可以很好地预测未来的驾驶员行为。可以基于V-to-V请求将驾驶环境数据传输到车辆110，并将其作为文本、符号或二进制值编码为图像。
在框704处，过程700确定第一车辆的位置、速度和方向的概率。由计算装置115从存储器中再调用在框702处识别的与人类驾驶员的身份相对应的风格矢量并将其下载到SB408中。将包括编码的驾驶环境数据的图像输入到DNN 400以产生认知地图414，该认知地图包括第一车辆608以及如上关于图4和图5所讨论的高概率和低概率路径多项式614、616、618，所述路径多项式预测第一车辆运动的位置、速度、方向和概率。
在框706处，过程700基于预测的第一车辆运动的位置、速度、方向和概率来操作车辆。计算装置115可以将从DNN 400输出的认知地图414与基于车辆110传感器116和地图数据的认知地图数据相结合。DNN 400可以为车辆110周围的环境中的每个车辆608、610产生认知地图414。可以将认知地图414与基于车辆110传感器116和地图数据的认知地图数据相结合，以通过将基于识别人类驾驶风格而确定的车辆的预测的位置、速度、方向和概率包括在内来改进认知地图数据。通过训练其中图像和地面实况数据对应于识别的人类驾驶员的DNN 400并且存储来自训练的SB 408的风格矢量(通过人类驾驶员身份编索引以供稍后由计算装置115再调用)来识别人类驾驶风格。
计算装置115通过确定路径多项式612而基于认知地图数据来操作车辆110，该路径多项式允许车辆110到达道路600上的目的地位置，同时保持目标速度并且通过避开高概率路径多项式614、620来避免碰撞或近碰撞。计算装置115可以确定可能干扰低概率路径多项式616、618、622、624的路径多项式612，只要计算装置115已经规划了可以在第一车辆608或第二车辆610已被检测到移动进入车道602中的情况下实现的逃生路径多项式即可。在该示例中，逃生路径多项式可以是路径多项式612，包括减速。在车道变换操纵的示例中，逃生路径多项式可以包括反转操纵的剩余部分。
在框708处，过程700基于观察到的驾驶风格重训练DNN 440。虽然计算装置115在框706处操作车辆110，但计算装置115也可以监测第一车辆608和第二车辆610的行为。通过使用用于利用车辆110传感器116数据定位和跟踪车辆的技术(如上面关于图7所讨论)，计算装置115可以确定由第一车辆608和第二车辆610行驶的路径多项式。可以基于输入原始图像以及通过将高概率预测路径多项式614、620与观察到的路径多项式区分开而计算的损失项来重训练DNN400。以这种方式，可以更新SB 408编程并因此更新风格矢量以反映观察到的驾驶风格。
路径多项式包括车辆110加速/减速和驱动角的分量，其可以从路径多项式中分离出来并单独处理以改善损失函数。非线性损失函数可以用于过度惩罚大的误差并避免由于路径多项式中的小的误差而导致过度训练。必须在一段时间内收集该数据，以获得对人类驾驶风格的准确估计。
预期服务器计算机120将用于存储每个车辆或每个人类驾驶员的长期驾驶风格数据。通过使用贝叶斯神经网络并将驾驶风格矢量视为概率分布的集合，可以不断优化估计的驾驶风格，以随时间的推移并通过对给定的人类驾驶的车辆的观察来了解矢量中的每个要素的平均值和变化，该给定的人类驾驶的车辆一般对应于单个驾驶员。计算装置115可以仅上传所收集的风格矢量数据或者上传输入和输出两者的完整数据集。在框708之后，过程700结束。
诸如本文讨论的计算装置通常各自包括可由诸如上面识别的那些计算装置等一个或多个计算装置执行并且用于实施上述过程的框或步骤的命令。例如，上面讨论的过程框可以被体现为计算机可执行命令。
计算机可执行命令可以由使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术单独地或组合地包括但不限于：Python、JavaTM、C、C++、Visual Basic、Java Script、Perl、HTML等。一般来讲，处理器(例如，微处理器)接收例如来自存储器、计算机可读介质等的命令，并且执行这些命令，从而执行一个或多个过程，包括本文所述的过程中的一个或多个。可以使用多种计算机可读介质来在文件中存储和传输此类命令和其他数据。计算装置中的文件一般是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
计算机可读介质包括参与提供可由计算机读取的数据(例如，命令)的任何介质。此种介质可以采用许多形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘和其他持久性存储器。非易失性介质包括通常构成主存储器的动态随机存取存储器(DRAM)。常见形式的计算机可读介质包括(例如)软磁盘、软盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他任何光学介质、穿孔卡、纸带、带有穿孔图案的任何其他物理介质、RAM、PROM、EPROM、快闪EEPROM、任何其他存储器芯片或盒式磁带，或计算机可从中读取的任何其他介质。
在权利要求书中使用的所有术语意图具有如本领域技术人员所理解的它们的平常和普通的含义，除非在本文作出相反的明确指示。具体地，除非权利要求给出相反的明确限制，否则单数冠词(诸如，“一个/一种”、“该”、“所述”等)的使用应理解为叙述一个或多个所指示要素。
术语“示例性”在本文以表示示例的意义使用，例如，对“示例性小部件”的引用应被理解为仅指代小部件的示例。
修饰值或结果的副词“大约”指的是形状、结构、测量、值、确定、计算结果等可由于材料、机加工、制造、传感器测量、计算、处理时间、通信时间等的缺陷等而与确切描述的几何结构、距离、测量、值、确定、计算结果等有所偏差。
在附图中，相同的附图标记指示相同的要素。此外，可以改变这些要素中的一些或全部。关于本文所描述的介质、过程、系统、方法等，应理解，虽然此类过程等的步骤已被描述为按照特定顺序的序列发生，但是此类过程可以通过以本文所描述的顺序以外的顺序执行的所描述步骤来实践。还应理解，可以同时执行某些步骤、可以添加其他步骤，或者可以省略本文所述的某些步骤。换句话说，本文对过程的描述是出于说明某些实施例的目的而提供的，并且绝不应视为限制所要求保护的发明。
根据本发明，提供一种方法，所述方法具有：基于识别第一车辆和驾驶环境来确定所述第一车辆的预测的位置、速度和方向的概率；以及基于确定的所述第一车辆的预测的位置、速度和方向的概率来操作第二车辆。
根据一个实施例，上述发明的特征还在于，基于车辆传感器数据预测所述第一车辆的所述位置、速度和方向。
根据一个实施例，处理车辆传感器数据包括：利用卷积神经网络将彩色视频数据分段确定包括车辆的移动对象。
根据一个实施例，上述发明的特征还在于，基于确定所述第二车辆的规划路径多项式来操作所述第二车辆。
根据一个实施例，由深度神经网络基于所述第一车辆的所述身份和所述驾驶环境确定所述规划路径多项式。
根据一个实施例，上述发明的特征还在于，将所述驾驶环境作为认知地图输入到所述深度神经网络，所述认知地图包括第一车辆的位置、速度和方向。
根据一个实施例，将所述第一车辆的所述身份作为所述深度神经网络的隐藏层的数据输入到所述深度神经网络。
根据一个实施例，上述发明的特征还在于，基于包括视频传感器数据的车辆传感器数据来识别所述第一车辆。
根据一个实施例，上述发明的特征还在于，基于车辆对车辆通信或车辆对基础设施通信来识别所述第一车辆。
根据本发明，提供一种系统，所述系统具有：处理器；以及存储器，所述存储器包括指令，所述指令由所述处理器执行以：基于识别第一车辆和驾驶环境来确定所述第一车辆的预测的位置、速度和方向的概率；以及基于确定的所述第一车辆的预测的位置、速度和方向的概率来操作第二车辆。
根据一个实施例，上述发明的特征还在于，基于车辆传感器数据预测所述第一车辆的所述位置、速度和方向。
根据一个实施例，处理车辆传感器数据包括：利用卷积神经网络将彩色视频数据分段确定包括车辆的移动对象。
根据一个实施例，上述发明的特征还在于，基于确定所述第二车辆的规划路径多项式来操作所述第二车辆。
根据一个实施例，由深度神经网络基于所述第一车辆的所述身份和所述驾驶环境确定所述规划路径多项式。
根据一个实施例，将所述驾驶环境作为认知地图输入到所述深度神经网络，所述认知地图包括第一车辆的位置、速度和方向。
根据一个实施例，将所述第一车辆的所述身份作为所述深度神经网络的隐藏层的编程数据输入到所述深度神经网络。
根据一个实施例，上述发明的特征还在于，基于包括视频传感器数据的车辆传感器数据来识别所述第一车辆。
根据一个实施例，上述发明的特征还在于，基于车辆对车辆通信或车辆对基础设施通信来识别所述第一车辆。
根据本发明，提供一种系统，所述系统具有：用于控制第二车辆转向、制动和动力传动系统的装置；计算机装置，其用于：基于识别第一车辆和驾驶环境来确定所述第一车辆的预测的位置、速度和方向的概率；以及基于所述确定的所述第一车辆的预测的位置、速度和方向的概率来操作第二车辆；以及用于控制第二车辆转向、制动和动力传动系统的装置。
根据一个实施例，上述发明的特征还在于，基于车辆传感器数据预测所述第一车辆的所述位置、速度和方向。

Claims (14)

1.一种方法，其包括：
基于识别第一车辆和驾驶环境确定所述第一车辆的预测的位置、速度和方向的概率；以及
基于确定的所述第一车辆的预测的位置、速度和方向的概率来操作第二车辆。
2.如权利要求1所述的方法，其还包括基于车辆传感器数据预测所述第一车辆的所述位置、速度和方向。
3.如权利要求2所述的方法，其中处理车辆传感器数据包括：利用卷积神经网络将彩色视频数据分段以确定包括车辆的移动对象。
4.如权利要求1所述的方法，其还包括基于确定所述第二车辆的规划路径多项式来操作所述第二车辆。
5.如权利要求4所述的方法，其中由深度神经网络基于所述第一车辆的身份和所述驾驶环境来确定所述规划路径多项式。
6.如权利要求5所述的方法，其中将所述驾驶环境作为认知地图输入到所述深度神经网络，所述认知地图包括第一车辆和第二车辆的位置、速度和方向。
7.如权利要求6所述的方法，其中将所述第一车辆的所述身份作为所述深度神经网络的隐藏层的数据输入到所述深度神经网络。
8.如权利要求1所述的方法，其还包括基于包括视频传感器数据的车辆传感器数据来识别所述第一车辆。
9.如权利要求1所述的方法，其还包括基于车辆对车辆通信或车辆对基础设施通信来识别所述第一车辆。
10.如权利要求1所述的方法，其中确定第一车辆的预测的位置、速度和方向的概率包括：确定所述第一车辆相对于所述第二车辆的位置。
11.如权利要求10所述的方法，其还包括基于视频、激光雷达或雷达传感器数据确定所述第一车辆的位置。
12.如权利要求1所述的方法，其中确定第一车辆的预测的位置、速度和方向的概率是基于确定路径多项式及其概率。
13.如权利要求12所述的方法，其中所述路径多项式及其概率包括在认知地图中。
14.一种系统，其包括被编程为执行如权利要求1至13中任一项所述的方法的计算机。
CN201910752851.4A 2018-08-17 2019-08-15 车辆路径规划 Pending CN110857085A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/104,177 US10981564B2 (en) 2018-08-17 2018-08-17 Vehicle path planning
US16/104,177 2018-08-17

Publications (1)

Publication Number Publication Date
CN110857085A true CN110857085A (zh) 2020-03-03

Family

ID=69320660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910752851.4A Pending CN110857085A (zh) 2018-08-17 2019-08-15 车辆路径规划

Country Status (3)

Country Link
US (1) US10981564B2 (zh)
CN (1) CN110857085A (zh)
DE (1) DE102019122027A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111447264A (zh) * 2020-03-24 2020-07-24 腾讯科技（深圳）有限公司 一种边缘云服务的调度方法、设备及存储介质
CN111506104A (zh) * 2020-04-03 2020-08-07 北京邮电大学 一种规划无人机位置的方法及装置
CN112477855A (zh) * 2020-11-10 2021-03-12 浙江吉利控股集团有限公司 一种车辆转向辅助方法、装置及设备
WO2021174770A1 (en) * 2020-03-05 2021-09-10 Huawei Technologies Co., Ltd. Machine-learning based system for path and/or motion planning and method of training
WO2022021712A1 (en) * 2020-07-28 2022-02-03 Huawei Technologies Co., Ltd. Predictive motion planning system and method
CN114543831A (zh) * 2022-04-18 2022-05-27 季华实验室 基于驾驶风格的路径规划方法、装置、设备及存储介质

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017212459A1 (en) 2016-06-09 2017-12-14 Sentient Technologies (Barbados) Limited Content embedding using deep metric learning algorithms
CN113119963B (zh) * 2017-07-28 2024-03-26 现代摩比斯株式会社 智能超声系统、车辆后方碰撞警告装置及其控制方法
US10755144B2 (en) 2017-09-05 2020-08-25 Cognizant Technology Solutions U.S. Corporation Automated and unsupervised generation of real-world training data
US10755142B2 (en) * 2017-09-05 2020-08-25 Cognizant Technology Solutions U.S. Corporation Automated and unsupervised generation of real-world training data
US10372298B2 (en) 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
DK180130B1 (da) 2018-05-07 2020-06-02 Apple Inc. Multi-participant live communication user interface
US11212671B2 (en) * 2018-08-01 2021-12-28 Synaptics Incorporated Method and system for securing communication links using enhanced authentication
US10981564B2 (en) * 2018-08-17 2021-04-20 Ford Global Technologies, Llc Vehicle path planning
US11181383B2 (en) * 2018-09-15 2021-11-23 Toyota Research Institute, Inc. Systems and methods for vehicular navigation and localization
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
KR102627453B1 (ko) 2018-10-17 2024-01-19 삼성전자주식회사 위치 추정 장치 및 방법
US11194331B2 (en) * 2018-10-30 2021-12-07 The Regents Of The University Of Michigan Unsupervised classification of encountering scenarios using connected vehicle datasets
DE102018221179A1 (de) * 2018-12-06 2020-06-10 Robert Bosch Gmbh Verfahren und System zum Ermitteln bestimmter Zustandsinformationen für wenigstens eine geographische Position mithilfe autonomer oder teilautonomer Fahrzeuge
US11125567B2 (en) * 2019-01-18 2021-09-21 GM Global Technology Operations LLC Methods and systems for mapping and localization for a vehicle
US10919543B2 (en) * 2019-01-30 2021-02-16 StradVision, Inc. Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route
EP3745376B1 (en) * 2019-05-29 2024-03-27 Zenuity AB Method and system for determining driving assisting data
US20200380085A1 (en) * 2019-06-03 2020-12-03 Robert Bosch Gmbh Simulations with Realistic Sensor-Fusion Detection Estimates of Objects
US11584377B2 (en) * 2019-11-21 2023-02-21 Gm Cruise Holdings Llc Lidar based detection of road surface features
US11531865B2 (en) * 2020-02-28 2022-12-20 Toyota Research Institute, Inc. Systems and methods for parallel autonomy of a vehicle
US12001958B2 (en) * 2020-03-19 2024-06-04 Nvidia Corporation Future trajectory predictions in multi-actor environments for autonomous machine
US11386444B2 (en) * 2020-04-27 2022-07-12 Coracias Advanced Technologies LLC Methods and systems for providing reward based verified recommendations
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
JP2023528077A (ja) 2020-06-05 2023-07-03 ガティック エーアイ インコーポレイテッド 自律エージェントのコンテキスト認識型意思決定を行うための方法およびシステム
JP2023528079A (ja) 2020-06-05 2023-07-03 ガティック エーアイ インコーポレイテッド 自律エージェントのデータドリブンかつモジュラー式の意思決定と経路生成のための方法およびシステム
KR102525191B1 (ko) * 2020-08-07 2023-04-26 한국전자통신연구원 자율주행 차량에서의 주행 경로 생성 및 제어 시스템 및 방법
JP7276282B2 (ja) * 2020-08-24 2023-05-18 トヨタ自動車株式会社 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN111942394B (zh) * 2020-08-25 2022-04-05 潍柴动力股份有限公司 电动车辆的车速信息推送方法、装置及系统
KR20220026656A (ko) * 2020-08-25 2022-03-07 현대모비스 주식회사 차량의 주행 제어 시스템 및 방법
GB202013430D0 (en) 2020-08-27 2020-10-14 Q Free Asa Vehicle detection system
KR20220049630A (ko) * 2020-10-14 2022-04-22 현대자동차주식회사 자동차 및 그를 위한 제어 방법
US11868137B2 (en) * 2020-11-12 2024-01-09 Honda Motor Co., Ltd. Systems and methods for path planning with latent state inference and graphical relationships
DE102020130886A1 (de) * 2020-11-23 2022-05-25 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren, System und Computerprogrammprodukt zur Erkennung von Bewegungen des Fahrzeugsaufbaus bei einem Kraftfahrzeug
CN112677982B (zh) * 2020-12-25 2022-06-14 重庆大学 基于驾驶员特性的车辆纵向速度规划方法
US11671697B2 (en) * 2021-01-31 2023-06-06 Apple Inc. User interfaces for wide angle video conference
US11810225B2 (en) * 2021-03-30 2023-11-07 Zoox, Inc. Top-down scene generation
US11858514B2 (en) 2021-03-30 2024-01-02 Zoox, Inc. Top-down scene discrimination
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US20220368548A1 (en) 2021-05-15 2022-11-17 Apple Inc. Shared-content session user interfaces
US11812135B2 (en) 2021-09-24 2023-11-07 Apple Inc. Wide angle video conference
CN114056351B (zh) * 2021-11-26 2024-02-02 文远苏行(江苏)科技有限公司 自动驾驶方法及装置
CA3240477A1 (en) 2021-12-16 2023-06-22 Apeksha Kumavat Method and system for expanding the operational design domain of an autonomous agent
CN114283574B (zh) * 2021-12-29 2022-10-28 湖南师范大学 一种基于卷积策略的车辆调度评价方法
DE102022202746A1 (de) 2022-03-21 2023-09-21 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Identifizieren eines Kraftfahrzeugs
US20230331252A1 (en) * 2022-04-15 2023-10-19 Gm Cruise Holdings Llc Autonomous vehicle risk evaluation
CN114584928B (zh) * 2022-05-05 2022-08-05 深圳源中瑞科技有限公司 基于电子围栏的路径推测方法、装置、计算机设备和介质
CN117227713B (zh) * 2023-11-14 2024-01-26 中汽研（天津）汽车工程研究院有限公司 一种车辆安全避障方法、系统及电子设备

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8060308B2 (en) * 1997-10-22 2011-11-15 Intelligent Technologies International, Inc. Weather monitoring techniques
US6879969B2 (en) 2001-01-21 2005-04-12 Volvo Technological Development Corporation System and method for real-time recognition of driving patterns
US8428843B2 (en) * 2008-06-20 2013-04-23 GM Global Technology Operations LLC Method to adaptively control vehicle operation using an autonomic vehicle control system
US8280601B2 (en) 2008-07-24 2012-10-02 GM Global Technology Operations LLC Adaptive vehicle control system with integrated maneuver-based driving style recognition
US8195341B2 (en) 2008-07-24 2012-06-05 GM Global Technology Operations LLC Adaptive vehicle control system with driving style recognition based on maneuvers at highway on/off ramps
US8260515B2 (en) 2008-07-24 2012-09-04 GM Global Technology Operations LLC Adaptive vehicle control system with driving style recognition
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
US9381916B1 (en) * 2012-02-06 2016-07-05 Google Inc. System and method for predicting behaviors of detected objects through environment representation
US9495874B1 (en) 2012-04-13 2016-11-15 Google Inc. Automated system and method for modeling the behavior of vehicles and other agents
KR102075110B1 (ko) 2012-09-07 2020-02-10 주식회사 만도 Ｖ2ｖ 통신 기반 차량 식별 장치 및 그 식별 방법
DE102012021403A1 (de) 2012-10-30 2014-04-30 Audi Ag Verfahren zum Identifizieren eines von einer Sensoreinrichtung erfassten Fahrzeugs
US9361409B2 (en) 2013-01-10 2016-06-07 International Business Machines Corporation Automatic driver modeling for integration of human-controlled vehicles into an autonomous vehicle network
US20150166069A1 (en) 2013-12-18 2015-06-18 Ford Global Technologies, Llc Autonomous driving style learning
US9731713B2 (en) 2014-09-10 2017-08-15 Volkswagen Ag Modifying autonomous vehicle driving by recognizing vehicle characteristics
US9248834B1 (en) 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
JP6486640B2 (ja) 2014-10-09 2019-03-20 株式会社日立製作所 運転特性診断装置、運転特性診断システム、運転特性診断方法、情報出力装置、情報出力方法
KR102623680B1 (ko) * 2015-02-10 2024-01-12 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
KR101714145B1 (ko) 2015-04-09 2017-03-08 현대자동차주식회사 주변차량 식별 장치 및 그 방법
US9511767B1 (en) 2015-07-01 2016-12-06 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle action planning using behavior prediction
US9784592B2 (en) 2015-07-17 2017-10-10 Honda Motor Co., Ltd. Turn predictions
JPWO2017057528A1 (ja) 2015-10-01 2018-08-30 株式会社発明屋 非ロボットカー、ロボットカー、道路交通システム、車両共用システム、ロボットカー教習システム及びロボットカー教習方法
US20170329332A1 (en) 2016-05-10 2017-11-16 Uber Technologies, Inc. Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object
US11120353B2 (en) * 2016-08-16 2021-09-14 Toyota Jidosha Kabushiki Kaisha Efficient driver action prediction system based on temporal fusion of sensor data using deep (bidirectional) recurrent neural network
US10249194B2 (en) 2016-08-30 2019-04-02 International Business Machines Corporation Modifying behavior of autonomous vehicle based on advanced predicted behavior analysis of nearby drivers
US10196058B2 (en) * 2016-11-28 2019-02-05 drive.ai Inc. Method for influencing entities at a roadway intersection
US10109198B2 (en) * 2017-03-08 2018-10-23 GM Global Technology Operations LLC Method and apparatus of networked scene rendering and augmentation in vehicular environments in autonomous driving systems
US10248121B2 (en) * 2017-03-31 2019-04-02 Uber Technologies, Inc. Machine-learning based autonomous vehicle management system
US10145953B2 (en) * 2017-03-31 2018-12-04 Ford Global Technologies, Llc Virtual steerable path
EP3619643A1 (en) * 2017-05-03 2020-03-11 Mobileye Vision Technologies Ltd. Detection and classification systems and methods for autonomous vehicle navigation
EP3495219B1 (en) * 2017-12-11 2023-07-05 Volvo Car Corporation Path prediction for a vehicle
EP3495220B1 (en) * 2017-12-11 2024-04-03 Volvo Car Corporation Path prediction for a vehicle
US10981564B2 (en) * 2018-08-17 2021-04-20 Ford Global Technologies, Llc Vehicle path planning
US20200073405A1 (en) * 2018-09-05 2020-03-05 Ford Global Technologies, Llc Vehicle navigation and control
US10891949B2 (en) * 2018-09-10 2021-01-12 Ford Global Technologies, Llc Vehicle language processing

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021174770A1 (en) * 2020-03-05 2021-09-10 Huawei Technologies Co., Ltd. Machine-learning based system for path and/or motion planning and method of training
US11827214B2 (en) 2020-03-05 2023-11-28 Huawei Technologies Co., Ltd. Machine-learning based system for path and/or motion planning and method of training the same
CN111447264A (zh) * 2020-03-24 2020-07-24 腾讯科技（深圳）有限公司 一种边缘云服务的调度方法、设备及存储介质
CN111447264B (zh) * 2020-03-24 2021-08-13 腾讯科技（深圳）有限公司 一种边缘云服务的调度方法、设备及存储介质
CN111506104A (zh) * 2020-04-03 2020-08-07 北京邮电大学 一种规划无人机位置的方法及装置
CN111506104B (zh) * 2020-04-03 2021-10-01 北京邮电大学 一种规划无人机位置的方法及装置
WO2022021712A1 (en) * 2020-07-28 2022-02-03 Huawei Technologies Co., Ltd. Predictive motion planning system and method
US11835958B2 (en) 2020-07-28 2023-12-05 Huawei Technologies Co., Ltd. Predictive motion planning system and method
CN112477855A (zh) * 2020-11-10 2021-03-12 浙江吉利控股集团有限公司 一种车辆转向辅助方法、装置及设备
CN112477855B (zh) * 2020-11-10 2023-01-06 浙江吉利控股集团有限公司 一种车辆转向辅助方法、装置及设备
CN114543831A (zh) * 2022-04-18 2022-05-27 季华实验室 基于驾驶风格的路径规划方法、装置、设备及存储介质
CN114543831B (zh) * 2022-04-18 2022-10-18 季华实验室 基于驾驶风格的路径规划方法、装置、设备及存储介质

Also Published As

Publication number Publication date
DE102019122027A1 (de) 2020-02-20
US10981564B2 (en) 2021-04-20
US20200055515A1 (en) 2020-02-20

Similar Documents

Publication Publication Date Title
US10981564B2 (en) Vehicle path planning
US10733510B2 (en) Vehicle adaptive learning
US10853670B2 (en) Road surface characterization using pose observations of adjacent vehicles
US11783707B2 (en) Vehicle path planning
US11312372B2 (en) Vehicle path prediction
US10831208B2 (en) Vehicle neural network processing
US20200020117A1 (en) Pose estimation
US11460851B2 (en) Eccentricity image fusion
CN116249947A (zh) 预测运动规划系统及方法
US11351996B2 (en) Trajectory prediction of surrounding vehicles using predefined routes
US11055859B2 (en) Eccentricity maps
US11188085B2 (en) Vehicle capsule networks
CN110858866A (zh) 前景检测
CN117813230A (zh) 基于对象轨迹的主动预测
US10599146B2 (en) Action-conditioned vehicle control
CN112793568A (zh) 车辆操作标签
CN116663612A (zh) 神经网络训练
US11887317B2 (en) Object trajectory forecasting
US11610412B2 (en) Vehicle neural network training
US12043290B2 (en) State identification for road actors with uncertain measurements based on compliant priors
US20230368541A1 (en) Object attention network
CN118129725A (zh) 检测用于创建高清晰度地图的车道区段的方法
CN117733835A (zh) 动态边界框
CN117949010A (zh) 用于自主车辆的闭环评估的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination