CN110758399B - 用于预测实体行为的系统和方法 - Google Patents

用于预测实体行为的系统和方法 Download PDF

Info

Publication number
CN110758399B
CN110758399B CN201910430386.2A CN201910430386A CN110758399B CN 110758399 B CN110758399 B CN 110758399B CN 201910430386 A CN201910430386 A CN 201910430386A CN 110758399 B CN110758399 B CN 110758399B
Authority
CN
China
Prior art keywords
scene
model
vehicle
processor
medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910430386.2A
Other languages
English (en)
Other versions
CN110758399A (zh
Inventor
A·伽马拉马达卡
R·巴特查里亚
M·J·戴利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN110758399A publication Critical patent/CN110758399A/zh
Application granted granted Critical
Publication of CN110758399B publication Critical patent/CN110758399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供了用于控制车辆的系统和方法。在一个实施例中，一种方法包括：接收从与车辆相关联的环境中感测到的传感器数据；通过处理器处理传感器数据以确定观测数据，观测数据包括与环境中的媒介相关联的差分特征；基于观测通过处理器确定与媒介相关联的场景；通过处理器选择与场景相关联的第一概率模型；通过处理器用所选择的第一概率模型来处理观测数据，以确定预测组；通过处理器用第二概率模型来处理该预测组，以确定对与媒介相关联的交互行为的最终预测；以及基于对与媒介相关联的交互行为的最终预测，通过处理器选择性地控制车辆。

Description

用于预测实体行为的系统和方法
技术领域
本公开总体上涉及自主车辆，更具体地，涉及用于预测位于自主车辆的环境内的多种实体或媒介的行为的系统和方法。
背景技术
自主车辆是能够在用户输入很少或没有的情况下感测其环境并导航的车辆。它通过使用诸如雷达、激光雷达、图像传感器等感测装置来实现。自主车辆还使用来自全球定位系统(GPS)技术、导航系统、车辆到车辆通信、车辆到基础设施技术和/或线控驾驶系统的信息来对车辆进行导航并执行交通预测。
尽管近年来已经见证了行为预测系统的显著进步，但是这样的系统仍然可以在多个方面得到改进。例如，在正常运行期间，自主车辆通常会遇到大量车辆和其他物体，每个车辆和其他物体都可能呈现出其自身难以预测的行为。即，即使在自主车辆对道路具有精确的语义理解并已经对其附近的物体正确地检测和分类时，车辆可能仍然不能精确地预测某些物体在各种场景中的轨迹和/或路径。
因此，期望提供能够预测自主车辆所遇到的各种实体或媒介的行为的系统和方法。此外，通过随后的详细描述和所附权利要求，结合附图以及前述技术领域和背景技术，本发明的其它期望特征和特性将变得显而易见。
发明内容
提供了用于控制车辆的系统和方法。在一个实施例中，一种方法包括：接收从与车辆相关联的环境中感测到的传感器数据；通过处理器处理传感器数据以确定观测数据，观测数据包括与环境中的媒介相关联的差分特征；基于观测通过处理器确定与媒介相关联的场景；通过处理器选择与场景相关联的第一概率模型；通过处理器用选择的第一概率模型来处理观测数据，以确定预测组；通过处理器用第二概率模型来处理该预测组，以确定对与媒介相关联的交互行为的最终预测；以及基于对与媒介相关联的交互行为的最终预测，通过处理器选择性地控制车辆。
在各种实施例中，差分特征包括加速度和航向差。在各种实施例中，差分特征包括x和y位置。在各种实施例中，根据x和y位置来确定场景。在各种实施例中，场景与媒介行进所在的车道相关联。在各种实施例中，场景是通过使用媒介的x和y位置到车道的中心线之间的排序成对距离，并将车道映射到场景来确定的。在各种实施例中，第一概率模型是高斯混合模型-隐马尔可夫模型。
在各种实施例中，该方法包括基于场景执行高斯混合模型-隐马尔可夫模型的无监督训练。在各种实施例中，第二概率模型是稀疏相关的隐马尔可夫模型。在各种实施例中，该方法还包括基于场景执行稀疏相关隐马尔可夫模型的无监督训练。
在另一个实施例中，一种系统包括：传感器系统，该传感器系统被配置为观测与车辆相关联的环境中的媒介并基于该媒介产生传感器数据；以及预测模块，该预测模块被配置为：通过处理器接收传感器数据，处理传感器数据以确定包括与媒介相关联的差分特征的观测数据，基于观测确定与媒介相关联的场景，选择与场景相关联的第一概率模型，利用选择的第一概率模型来处理观测数据以确定预测组，利用概率模型来处理该预测组，以确定与该媒介相关联的交互行为的最终预测，并基于对与媒介相关联的交互行为的最终预测来选择性地控制车辆。
在各种实施例中，差分特征包括加速度和航向差。在各种实施例中，差分特征包括x和y位置。在各种实施例中，根据x和y位置来确定场景。在各种实施例中，场景与媒介行进所在的车道相关联。在各种实施例中，场景是通过使用媒介的x和y位置到车道的中心线之间的排序成对距离，并将车道映射到场景来确定的。在各种实施例中，第一概率模型是高斯混合模型-隐马尔可夫模型。在各种实施例中，预测模块基于场景执行高斯混合模型-隐马尔可夫模型的无监督训练。在各种实施例中，第二概率模型是稀疏相关的隐马尔可夫模型。在各种实施例中，预测模块基于场景执行稀疏相关隐马尔可夫模型的无监督训练。
附图说明
下文将结合以下附图来描述示例性实施例，其中相同的数字表示相同的元件，并且其中：
图1是示出根据各种实施例的具有实体行为预测系统的自主车辆的功能框图；
图2是示出根据各种实施例的具有如图1所示的一个或多个自主车辆的运输系统的功能框图；
图3是示出根据各种实施例的与自主车辆相关联的自主驾驶系统(ADS)的功能框图；
图4是示出根据各种实施例的实体行为预测模块的数据流图；以及
图5是示出根据各种实施例的用于控制自主车辆的控制方法的流程图。
具体实施方式
以下详细描述本质上仅仅是示例性的，并不旨在限制应用和使用。此外，不存在通过前述技术领域、背景技术、发明内容或以下详细描述中呈现的任何明示的或暗示的理论进行限制的意图。如本文所使用的，术语“模块”是指单独地或在任何组合中的任何硬件、软件、固件、电子控制组件、处理逻辑、和/或处理器设备，包括但不限于：专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电子电路、处理器(共享的、专用的、或者组群)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供上述功能的其它适当组件。
本文中可以就功能和/或逻辑块组件以及各种处理步骤方面来描述本公开的实施例。应当理解的是，这种块组件可以由被配置未执行特定功能的任何数量的硬件、软件和/或固件组件来实现。例如，本发明的实施例可采用各种集成电路组件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，其可在一个或多个微处理器或其它控制装置的控制下实行各种功能。另外，本领域技术人员将理解，可结合任意数目的系统来实施本发明的实施例，且本文中所描述的系统仅为本公开的示例性实施例。
为了简洁起见，在此可以不详细描述与信号处理、数据传输、信令、控制、机器学习模型、雷达、激光雷达、图像分析以及系统的其他功能方面(以及系统的个别操作组件)相关的常规技术。另外，本文包含的各个附图中示出的连接线旨在表示各个元件之间的示例性功能关系和/或物理联接。应当注意的是，在本公开的实施例中可以存在许多可替换的或附加的功能关系或物理连接。
参照图1，根据多个实施例，总体上示为100的实体行为预测系统与车辆10相关联。通常，实体行为预测系统(或简称“系统”)100被配置为基于与场景内的实体的有关的观测来预测这些实体的未来路径(或“轨迹”)。如本文所用，术语“实体”(在本文中也称为“媒介”)是指车辆10的环境内的其他车辆、自行车、物体、行人或其他移动元件或行动体。
在多个实施例中，实体行为预测系统100使用至少两个概率模型，包括高斯混合模型-隐马尔可夫模型(GMM-HMM)和稀疏相关隐马尔可夫模型(scHMM)，以对与某些场景相关联的媒介之间的交互建模，以便进行预测。
如图1所示，示例性车辆10总体上包括底盘12、车身14、前轮16和后轮18。车身14被布置在底盘12上并且基本上包围车辆10的组件。车身14和底架12可共同地形成框架。轮16-18在车身14的相应拐角附近各自被可旋转地被联接到底盘12上。
在多个实施例中，车辆10是自主车辆，并且实体行为预测系统100被结合到自主车辆10(以下称为自主车辆10)中。自主车辆10例如是被自动控制以将乘客从一个位置承载到另一位置的车辆。车辆10在所示实施例中被描述为客车，但是应当理解的是，也可以使用任何其他运载工具，包括摩托车、卡车、运动型多用途车(SUV)、休闲车(RV)、海用船舶、飞行器等。
在示例性实施例中，自主车辆10对应于汽车工程师协会(SAE)自动驾驶水平的“J3016”标准分类法下的第四级或第五级自动化系统。使用这个术语时，第四级系统表示“高度自动化”，它指的是一种驾驶模式，在该模式中，即使人类驾驶员没有对干预请求适当地响应，自动驾驶系统也执行动态驾驶任务的所有方面。另一方面，第五级系统表示“完全自动化”，它指的是一种驾驶模式，在该模式中，自动驾驶系统在所有道路和环境条件下执行动态驾驶任务的所有方面，所述道路和环境条件可以由驾驶员管理。然而，应当理解，根据本主题的实施例不限于自动化类别的任何特定分类或类目。
如图所示，自主车辆10总体上包括推进系统20、变速器系统22、转向系统24、制动器系统26、传感器系统28、致动器系统30、至少一个数据存储设备32、至少一个控制器34和通信系统36。在各种实施例中，推进系统20可以包括内燃机、诸如牵引电动机的电机、和/或燃料电池推进系统。变速器系统22被配置成根据可选择的速比将动力从推进系统20传输到车轮16和18。根据各个实施例，变速器系统22可以包括步进比自动变速器、无级变速器或其他适当的变速器。
制动器系统26被配置成向车轮16和18提供制动扭矩。在各种实施例中，制动系统26可包括摩擦制动、线控制动、诸如电机的再生制动系统、和/或其他适当的制动系统。
转向系统24影响车轮16和/或18的位置。尽管出于说明的目的被描绘为包括方向盘25，但是在本公开的范围内预期的一些实施例中，转向系统24可以不包括方向盘。
传感器系统28包括感测自主车辆10的外部环境和/或内部环境的可观察状况的一个或多个感测设备40a-40n。感测装置40a-40n可以包括但不限于雷达、激光雷达、全球定位系统、光学照相机、热照相机、超声传感器和/或其他传感器。致动器系统30包括一个或多个致动器设备42a-42n，其控制一个或多个车辆特征，诸如但不限于推进系统20、变速器系统22、转向系统24和制动系统26。在各种实施例中，自主车辆10还可包括未在图1中示出的内部和/或外部车辆特征，例如各种门、后备箱以及舱室特征，例如空气、音乐、照明、触摸屏显示组件(例如结合导航系统使用的那些)等。
数据存储设备32存储用于在自动控制自主车辆10中使用的数据。在各种实施例中，数据存储设备32存储可导航环境的定义地图。在各种实施例中，定义的映射可以由远程系统预定义并且从远程系统获得(关于图2进一步详细描述)。例如，定义的映射可以由远程系统组装并通信到自主车辆10(无线地和/或以有线方式)并存储在数据存储设备32中。路线信息也可以被存储在数据装置32内-即，路段组(在地理上与一个或多个限定的地图相关联)，其一起限定用户可能从起始位置(例如，用户的当前位置)行进到目标位置所采取的路线。如将理解的是，数据存储装置32可以是控制器34的部分，可独立于控制器34，或者可以是控制器34的部分和独立系统的部分。
控制器34包括至少一个处理器44和计算机可读存储设备或介质46。处理器44可以是任何定制的或在市场上可获得的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(呈微芯片或芯片组的形式)、其任意组合、或通常用于执行指令的任何设备。例如，计算机可读存储设备或介质46可以包括只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储。KAM是永久性或非易失性存储器，当处理器44断电时，其可以被用于存储各种操作变量。计算机可读存储设备或介质46可以使用许多已知存储设备中的任何一个来实施，诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪存或能够存储由控制器34在控制自主车辆10中使用的数据(其中一些代表可执行指令)的任何其他电、磁、光或组合存储器设备。
这些指令可以包括一个或多个独立的程序，每个程序均包括用于实施逻辑功能的可执行指令的有序列表。这些指令在被处理器44执行时接收和处理来自传感器系统28的信号，执行用于自动控制自主车辆10的部件的逻辑、计算、方法和/或算法，并且生成控制信号，控制信号被传输至致动器系统30的以基于逻辑、计算、方法和/或算法来自动地控制自主车辆10的部件。尽管图1中仅示出了一个控制器34，但是自主车辆10的实施例可以包括任意数量的控制器34，这些控制器34通过任何合适的通信介质或通信介质的组合进行通信并且协作处理传感器信号、执行逻辑、计算、方法和/或算法，并生成控制信号以自动地控制自主车辆10的特征。在一个实施例中，如下面详细讨论的，控制器34被配置为使用至少两个概率模型来预测AV10附近的实体或媒介的行为，所述概率模型包括高斯混合模型-隐马尔可夫模型和稀疏相关的隐马尔可夫模型。
通信系统36被配置为向其他计算系统48无线地传送信息并从其他计算系统48传送来信息，其他计算系统48诸如但不限于其他车辆(“V2V”通信)、基础设施(“V2I”通信)、远程运输系统和/或用户装置(关于图2更详细地描述)。在示例性实施例中，通信系统36是被配置为使用IEEE 802.11标准或通过使用蜂窝数据通信经由无线局域网(WLAN)进行通信的无线通信系统。然而，诸如专用短距离通信(DSRC)信道的附加的或替换的通信方法也被认为在本公开的范围内。DSRC信道指的是为汽车使用和一组相应的协议和标准专门设计的单向或双向短程到中程无线通信信道。
现参见图2，在各种实施例中，关于图1描述的自主车辆10可以适用于特定地理区域(例如，城市、学校或商业园区、购物中心、游乐园、活动中心等)中的出租车或穿梭系统的场景中，或者可以简单地由远程系统管理。例如，自主车辆10可以与基于自主车辆的远程运输系统相关联。图2示出了总体上以50示出的操作环境的示例性实施例，该操作环境包括基于自主车辆的远程运输系统(或简称为“远程运输系统”)52，该远程运输系统与如关于图1所描述的一个或多个自主车辆10a到10n相关联。在各种实施例中，操作环境50(其全部或部分可对应于图1所示的计算系统48)还包括经由通信网络56与自主车辆10和/或远程运输系统52通信的一个或多个用户装置54。
通信网络56根据需要支持由操作环境50支持的装置、系统以及部件之间所需的通信(例如，经由有形通信链路和/或无线通信链路)。例如，通信网络56可包括诸如蜂窝电话系统的无线载波系统60，蜂窝电话系统包括多个发射塔(未示出)、一个或多个移动交换中心(MSC)(未示出)以及将无线载波系统60与陆地通信系统连接所需的任何其他联网部件。每个发射塔均包括发送天线和接收天线以及基站，其中来自不同发射塔的基站直接或经由诸如基站控制器的中间设备连接到MSC。无线载波系统60可以实现任何合适的通信技术，例如包括诸如CDMA(例如，CDMA2000)、LTE(例如，4G LTE或5G LTE)、GSM/GPRS的数字技术或其他当前或新兴的无线技术。其它发射塔/基站/MSC布置也是可能的，并且可以与无线载波系统60一起使用。例如，基站和发射塔可以共同位于同一地点，或者它们可以彼此远离地定位，每个基站可以负责单个发射塔，或者单个基站可以服务于各个发射塔，或者各个基站可以联接到单个MSC，这里仅列举一些可能的布置。
除了包括无线载波系统60之外，可包括呈卫星通信系统64的形式的第二无线载波系统，以提供与自主车辆10a至10n的单向或双向通信。这可以利用一个或多个通信卫星(未示出)和上行链路发射站(未示出)来完成。单向通信可以包括例如卫星无线电服务，其中节目内容(新闻、音乐等)由发射站接收、打包以便上载，然后发送到卫星，卫星向订户播送节目。双向通信可以包括例如使用卫星来在车辆10和站之间中继电话通信的卫星电话服务。除了无线载波系统60之外或者代替无线载波系统60，可以利用卫星电话。
还可以包括陆地通信系统62，陆地通信系统是连接至一个或多个陆地线路电话的传统陆基电信网络并将无线载波系统60连接至远程运输系统52。例如，陆地通信系统62可以包括诸如用于提供硬连线电话、分组交换数据通信以及因特网基础设施的公共交换电话网(PSTN)。陆地通信系统62的一个或多个区段可通过使用标准有线网络、光纤或其他光学网络、电缆网络、电力线、诸如无线局域网(WLAN)的其他无线网络或提供宽带无线接入(BWA)的网络或其任意组合来实施。此外，远程运输系统52不需要经由陆地通信系统62连接，但可包括无线电话设备，使得其可以与诸如无线载波系统60的无线网络直接通信。
尽管图2中仅示出了一个用户装置54，但是操作环境50的实施例可以支持任意数量的用户装置54，包括由一个人拥有、操作或以其他方式使用的多个用户设备54。由操作环境50支持的每个用户装置54可以使用任何合适的硬件平台来实施。在这点上，用户装置54可以以任何常见的形式因素来实现，包括但不限于：台式计算机；移动计算机(例如，平板计算机、膝上型计算机或上网本)；智能手机；视频游戏装置；数字媒体播放器；家庭娱乐设备的部件；数码相机或摄像机；可穿戴计算装置(例如，智能手表、智能眼镜、智能服装)等。由操作环境50支持的每个用户装置54被实现为具有执行本文描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑的由计算机实现的或基于计算机的装置。例如，用户装置54包括呈可编程装置形式的微处理器，该微处理器包括存储在内部存储器结构中并被应用于接收二进制输入以创建二进制输出的一个或多个指令。在一些实施例中，用户装置54包括能够接收GPS卫星信号并基于那些信号生成GPS坐标的GPS模块。在其他实施例中，用户装置54包括蜂窝通信功能，以使该装置使用一个或多个蜂窝通信协议经由通信网络56执行语音和/或数据通信，如本文所讨论的。在各种实施例中，用户装置54包括可视显示器，例如触摸屏图形显示器或其他显示器。
远程运输系统52包括一个或多个后端服务器系统(未示出)，后端服务器系统可以是基于云的、基于网络的、或驻存在由远程运输系统52服务的特定校园或地理位置。远程运输系统52可由现场顾问，自动顾问、人工智能系统或其组合来管理。远程运输系统52可与用户装置54和自主车辆10a至10n通信以调度乘坐、分派自主车辆10a至10n等。在各种实施例中，远程运输系统52存储商店账户信息，诸如订户认证信息、车辆标识符、简档记录、生物测定数据、行为模式以及其他相关订户信息。在一个实施例中，如下面进一步详细描述的，远程运输系统52包括路线数据库53，路线数据库存储与导航系统路线有关的信息并且还可用于执行交通模式预测。
根据典型的用例工作流程，远程运输系统52的注册用户可以经由用户设备54创建乘坐请求。乘坐请求通常将指示乘客的期望上车位置(或当前GPS位置)、期望目的地位置(其可以识别预定的车辆停靠点和/或用户指定的乘客目的地)和上车时间。远程运输系统52接收乘坐请求、处理该请求并分派自主车辆10a至10n中选择的一个(当且如果有一个可用时)以在指定的接载位置和适当的时间接载乘客。运输系统52还可生成适当配置的确认消息或通知并将其发送至用户装置54，以使乘客知道车辆正在途中。
如可以理解的，本文所公开的主题向可被视为标准或基准自主车辆10和/或基于自主车辆的远程运输系统52提供某些增强的特征和功能。为此，可以修改、增强或以其他方式补充自主车辆和基于自主车辆的远程运输系统，以提供下文更详细描述的附加特征。
根据各种实施例，控制器34实现如图3所示的自主驾驶系统(ADS)70。即，控制器34的合适软件和/或硬件部件(例如，处理器44和计算机可读存储装置46)用于提供结合车辆10使用的自主驱动系统70。
在各种实施例中，自主驾驶系统70的指令可以通过功能或系统来组织。例如，如图3所示，自主驾驶系统70可以包括传感器融合系统74、定位系统76、引导系统78以及车辆控制系统80。如可以理解的，在各种实施例中，由于本公开不限于本示例，指令可以被组织成任意数量的系统(例如，组合、进一步划分等)。
在各种实施例中，传感器融合系统74合成和处理传感器数据，并预测车辆10的环境的物体和特征的存在、位置、分类和/或路径。在各种实施例中，传感器融合系统74可结合来自多个传感器(包括但不限于相机、激光雷达、雷达和/或任意数量的其他类型的传感器)的信息。
定位系统76处理传感器数据以及其他数据以确定位置车辆10相对于环境的位置(例如，相对于地图的局部位置、相对于道路车道的精确位置、车辆航向、速度等)。引导系统78处理传感器数据以及其他数据，以确定车辆10遵循的路径。车辆控制系统80根据所确定的路径生成用于控制车辆10的控制信号。
在各种实施例中，控制器34实施机器学习技术，以辅助控制器34的功能，诸如特征检测/分类、障碍物规避、路线遍历、映射、传感器集成、地面事实确定等。
如上面简要提到的，实体行为预测系统100被配置为使用至少两个概率模型来预测AV10附近的实体或媒介的行为，并基于对那些对象的观测随时间迭代地改进那些预测。在一些实施例中，系统100的全部或部分被并入至图2的传感器融合系统74中。
在这点上，图4是更详细地示出实体行为预测系统100的各方面的数据流图。现参考图4并继续参考图1至图3，应当理解，图4所示的子模块可以被组合和/或进一步分割，以类似地执行本文描述的功能。模块的输入可以从传感器系统28接收，从与自主车辆10相关联的其他控制模块(未示出)接收，从通信系统36接收，和/或由图1的控制器34内的其他子模块(未示出)确定/建模。这些模块通常执行以下功能：计算单个媒介轨迹上的差分特征，将差分特征馈送到高斯混合模型-隐马尔可夫模型(GMM-HMM)中，然后找到稀疏相关的HMM(scHMM)，该scHMM选择独立HMM之间的必然联系，以对媒介之间的高水平场景交互进行建模。然后使用高水平场景交互来预测媒介的行为。GMM-HMM和scHMM都可以以监督或非监督的方式训练，以学习行为交互。因此，在各种实施例中，实体行为预测系统100可以包括数据输入模块102、场景确定模块104、交互行为确定模块106以及训练模块108。
在各种实施例中，数据输入模块102接收与特定媒介相关联的媒介数据110(例如，x、y、速度、航向角、和/或以20Hz或者一些其他采样速率采样的其他数据)。累积媒介数据110，直到存储十个样本(或一些其他样本量)为止。一旦发生这种情况，就捕获了观测112。每个样本的速度(加速度)差和航向角的差被连接起来，以形成每个观测的二十维(20D)特征向量。观测112的特征向量包含媒介的差分特征。
在各种实施例中，场景确定模块104接收观测112并使用来自该观察112的x和y位置来标识场景114。例如，任何驾驶情形都可以具有任何数量的预定义场景。x和y位置可用于从预定义场景中选择与媒介相关联的当前场景。在一个示例中，场景可以表示这样的车道，移动媒介在该车道中呈现出相似的行为(即，右转、换道、左转等)。在这样的实施例中，通过使用媒介的真实的x和y坐标到每个车道的中心线之间的排序成对距离，然后将该车道映射到场景，以找到每个观测的正确场景。如可以理解的，场景可以表示其他特征，并且可以根据其他方法来确定，并且不限于本示例。
交互预测模块106接收场景114并从任意数量的训练后的GMM-HMM中选择对应于该场景的经训练的高斯混合模型-隐马尔可夫模型(GMM-HMM)118。交互预测模块106使用选择的训练后的GMM-HMM 118来预测接下来的五个或一些其他数目的状态/观测(例如，维持2.5秒的状态/观测)的差分特征(包括加速度和航向角的差)也被称为预测的状态序列。然后，交互预测模块106使用选择的训练后的GMM-HMM118，以基于当前x和y值以及所预测的状态/观测来确定x和y位置的接下来的50个或其他数目的样本(以20Hz或某一其他采样率)。
如可以理解的，在数据输入模块102累积同一媒介的第二观测112时，使用最近的x和y位置来限定场景(由于媒介可能会改变路线)，以重复场景确定模块104和交互预测模块106的功能。换言之，可以累积媒介的状态/观测的历史，例如，Viterbi算法或另一算法，以进行最终预测。
然后，交互行为模块106利用训练后的稀疏相关隐马尔可夫模型(scHMM)120来处理状态/观测的预测序列和预测位置。scHMM 120的输出包括对场景之间的隐藏状态或交互的预测116。
在各种实施例中，交互行为模块106用训练后的scHMM来处理预测序列以产生交互。在本实施例中，处理是两个步骤的过程，其中首先执行训练后的GMM-HMM，其次执行训练后的scHMM。
在各种其他实施例中，交互行为模块106利用训练后的GMM-scHMM来处理观测以产生交互。例如，稀疏相关的scHMM对场景之间的交互进行建模，并且可以使用由训练后的GMM-HMM产生的历史状态序列来拟合。这个组合的模型可以被称为GMM-scHMM。在这样的实施例中，GMM-scHMM处理观测112以将每个观测112表征为GMM-scHMM模型中的状态。在给定其他场景中的其他媒介的状态的情况下，该组合模型提供了媒介处于(或将处于)特定状态的概率。与scHMM所使用的离散状态相反，GMM允许使用连续数据。
在各种实施例中，使用了GMM来学习发射概率，并且通过scHMM的约束来更新在GMM-HMM中学习的转移概率。因此，经由GMM学习的发射概率和经由scHMM学习的交互约束发射概率被用于预测场景中的每个媒介的未来状态。
在各种实施例中，可以同时优化和预测所有媒介的状态序列，或者可以使用来自所有其他媒介的信息一次一个地对其进行预测。
如上面简要提到的，GMM-HMM 118和scHMM 120可以以监督或非监督的方式来训练。在各种实施例中，训练模块108训练GMM-HMM 118和scHMM 120，以使它们可被用于各种场景。例如，高斯混合模型-隐马尔可夫模型(GMM-HMM)是具有高斯混合发射的HMM。这意味着输出概率密度函数被建模为高斯混合。过渡矩阵Tjk＝(sj|sk)给出了从一个状态转换到另一个状态的概率。每个状态的发射概率(x|sj)被建模为GMM并被最大化，以便将20D加速度和航向角观测映射到特定状态。在一个示例中，GMM仅包含一个高斯分量。在训练期间估计转移概率和发射概率。这是通过指定状态的总数和每个状态的高斯总数，计算GMM的初始参数估计，然后使用例如期望最大化(EM)算法计算GMM-HMM参数的最大似然估计来完成的。
在各种实施例中，状态的数目可由模型选择标准(诸如，但不限于，艾卡或贝叶斯信息标准(AIC或BIC))来确定，并且可随轨迹的复杂性而变化，并且对于所有场景而言，每一状态的高斯分量的数目可以为一。在训练期间，上述区别特征是从媒介数据122中收集到的，并且对应于相同场景的这些特征的连续子序列被用于训练场景GMM-HMM 118。例如，如上所述，可以确定每个媒介的场景。
在各种实施例中，训练模块108通过学习媒介之间的交互(诸如先行权)来训练scHMM 120，以便为以给定情形下的场景和其他媒介为条件的预期媒介行为创建先验模型。在scHMM中，针对每个媒介假设单个的HMM，并且每个媒介的状态转移概率不仅取决于其自身的隐藏状态，而且取决于其他相关媒介的隐藏状态。针对GMM-HMM状态的每个系列，scHMM使用惩罚回归来选择其他数据系列的子集并估计它们对给定系列中每个转变的几率的影响。此后，使用标准的前向-后向算法来推断隐藏状态，其中对于每个时间窗通过模型来调整转移概率，这有助于保持计算顺序接近于拟合独立HMM(iHMM)，我们已经测出该计算顺序对于该系统而言是接近实时的。scHMM框架仅选择独立HMM之间的必要连接来对高水平场景/媒介交互进行建模，并且比完全耦合的HMM更具计算效率。
利用从上述训练过程导出的GMM-HMM状态序列，并将我们的训练数据限制于多行动体场景(在这些场景下，行动体在重叠的时间帧期间接近交叉区域或位于交叉区域内(即，在这些场景下，行为交互将起作用))，scHMM 120被训练以识别场景交互。假设存在N个序列，且
Figure BDA0002068793780000141
表示对于t＝1…T和n＝1…N，在时间t、序列n时观测到的特征。所观测到的数据x基于上述GMM-HMM发射概率而与状态
Figure BDA0002068793780000142
相关联。与通过同时考虑所有N个序列来确定隐藏状态相反的是，参数是通过单独地循环经过每个序列并通过训练来对所有其他系列的当前隐藏状态执行推断从而迭代地推断出的。此外，在结合当前序列和所有其他序列之间的相关性时，假设稀疏性。上面定义的过渡矩阵Tjk变成
Figure BDA0002068793780000143
这是因为转移概率可以随时间变化。由于GMM-HMM状态不仅仅采用二进制值，因此？？的元素是以多分类逻辑回归定义的而不是以逻辑回归定义的。转移概率被定义为使得它们包含来自如下其他序列的输入：
Figure BDA0002068793780000144
其中，n是当前序列，m是其他序列的指数s。
Figure BDA0002068793780000145
和
Figure BDA0002068793780000146
是在先前时间点和当前时间点分别处于序列m中的状态k(mm≠aa)时，从序列n中的状态j转变至状态k的对数几率的增加。为了解决回归系数的个数的稀疏性问题，施加惩罚，以使得
Figure BDA0002068793780000147
针对scHMM的估计过程包含通过坐标下降估计回归参数。如上所述，通过逐个地运行该序列来迭代地更新隐藏状态和转移概率。因此，训练模块108预训练scHMM 120，以估计不同场景的状态序列之间的正确稀疏相关性，然后在运行时使用这些关系来确定隐藏状态，而不是使用独立的场景GMM-HMM。
现在参见图5并继续参见图1至图4，流程图示出了可以由根据本公开的系统100执行的控制方法200。如根据本公开可以理解的，该方法内的操作顺序不限于如图5所示的顺序执行，而是可以视情况以一个或多个变化的顺序根据本公开执行。在各种实施例中，方法200可被计划为基于一个或多个预定事件运行，并且/或者可在自主车辆10的运转期间连续运行。
在一个示例中，方法200可以在205处开始。在210处接收代理数据110。通过例如数据输入模块102处理媒介数据110，以在220处确定包括差分特征的观测结果112。然后在230处，采用观测的位置来确定场景114。然后在240处，基于场景114选择相应的GMM-HMM 118。然后在250处，通过相应的GMM-HMM 118处理观测112的历史以提供预测。通过scHMM 120来处理预测，以在260处提供交互行为的最终预测。此后，可以在270处使用最终预测来控制车辆10，并且该方法可以在280处结束。
虽然在前面的详细描述中已经提出了至少一个示例性实施例，但是应当理解的是存在大量的变化。还应当理解的是一个或多个示例性实施例仅仅是示例，并不旨在以任何方式限制本公开的范围、应用或配置。相反，前面的详细描述将为本领域技术人员提供用于实施一个或多个示例性实施例的方便的便捷途径。应当理解的是，在不脱离如所附权利要求及其合法等同物所阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (6)

1.一种控制车辆的方法，包括：
接收从与所述车辆相关联的环境中感测到的传感器数据；
通过处理器处理所述传感器数据以确定观测数据，所述观测数据包括与所述环境中的媒介相关联的差分特征；
基于所述观测通过所述处理器确定与所述媒介相关联的场景；
通过所述处理器选择与所述场景相关联的第一概率模型，其中，所述第一概率模型是高斯混合模型-隐马尔可夫模型；
通过所述处理器用所述选择的第一概率模型来处理所述观测数据，以确定预测组；
通过所述处理器用第二概率模型来处理所述预测组，以确定对与所述媒介相关联的交互行为的最终预测，其中，所述第二概率模型是稀疏相关隐马尔可夫模型；以及
基于对与所述媒介相关联的交互行为的最终预测，通过所述处理器选择性地控制车辆；
基于所述场景执行高斯混合模型-隐马尔可夫模型的无监督训练；
基于所述场景对所述稀疏相关隐马尔可夫模型执行无监督训练。
2.根据权利要求1所述的方法，其中，所述差分特征包括加速度和航向差。
3.根据权利要求1所述的方法，其中，所述差分特征包括x和y位置。
4.根据权利要求3所述的方法，其中，所述场景是通过x和y位置确定的。
5.根据权利要求1所述的方法，其中，所述场景是通过使用所述媒介的x和y位置到车道的中心线之间的排序成对距离，并将所述车道映射到所述场景来确定的。
6.一种用于控制车辆的系统，包括：
传感器系统，被配置为观测与所述车辆相关联的环境中的媒介并基于所述媒介产生传感器数据；以及
预测模块，被配置为：通过处理器接收所述传感器数据，处理所述传感器数据以确定包括与媒介相关联的差分特征的观测数据，基于所述观测确定与所述媒介相关联的场景，选择与所述场景相关联的第一概率模型，其中，所述第一概率模型是高斯混合模型-隐马尔可夫模型，利用所述选择的第一概率模型来处理所述观测数据以确定预测组，利用概率模型来处理所述预测组，以确定与所述媒介相关联的交互行为的最终预测，并基于对与所述媒介相关联的交互行为的最终预测来选择性地控制所述车辆，基于所述场景执行高斯混合模型-隐马尔可夫模型的无监督训练。
CN201910430386.2A 2018-07-27 2019-05-22 用于预测实体行为的系统和方法 Active CN110758399B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/047,872 US10678245B2 (en) 2018-07-27 2018-07-27 Systems and methods for predicting entity behavior
US16/047872 2018-07-27

Publications (2)

Publication Number Publication Date
CN110758399A CN110758399A (zh) 2020-02-07
CN110758399B true CN110758399B (zh) 2023-04-18

Family

ID=69149180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910430386.2A Active CN110758399B (zh) 2018-07-27 2019-05-22 用于预测实体行为的系统和方法

Country Status (3)

Country Link
US (1) US10678245B2 (zh)
CN (1) CN110758399B (zh)
DE (1) DE102019113389B4 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10860025B2 (en) * 2018-05-15 2020-12-08 Toyota Research Institute, Inc. Modeling graph of interactions between agents
US11049265B2 (en) * 2018-05-16 2021-06-29 Nec Corporation Balancing diversity and precision of generative models with complementary density estimators
US11226630B2 (en) * 2018-12-04 2022-01-18 Here Global B.V. Method and apparatus for estimating a localized position on a map
EP4162338A1 (en) 2020-06-05 2023-04-12 Gatik AI Inc. Method and system for deterministic trajectory selection based on uncertainty estimation for an autonomous agent
CA3180994A1 (en) * 2020-06-05 2021-12-09 Gautam Narang Method and system for data-driven and modular decision making and trajectory generation of an autonomous agent
WO2021247075A1 (en) 2020-06-05 2021-12-09 Gatik Ai Inc. Method and system for context-aware decision making of an autonomous agent
US11807272B2 (en) 2020-07-28 2023-11-07 Toyota Research Institute, Inc. Systems and methods for multiple algorithm selection
US20240157957A1 (en) * 2021-03-04 2024-05-16 Volvo Truck Corporation Control-envelope based vehicle motion management

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104802793A (zh) * 2014-01-23 2015-07-29 罗伯特·博世有限公司 用于对行人在横穿车辆的行车道时的行为进行分类的方法和装置以及车辆的人员保护系统
JP2021189892A (ja) * 2020-06-02 2021-12-13 富士通株式会社 行動区間推定モデル構築装置、行動区間推定モデル構築方法及び行動区間推定モデル構築プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4957747B2 (ja) * 2009-05-18 2012-06-20 トヨタ自動車株式会社 車両環境推定装置
US8457827B1 (en) * 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US9495874B1 (en) * 2012-04-13 2016-11-15 Google Inc. Automated system and method for modeling the behavior of vehicles and other agents
US9784592B2 (en) 2015-07-17 2017-10-10 Honda Motor Co., Ltd. Turn predictions
DE102016212700A1 (de) 2016-07-13 2018-01-18 Robert Bosch Gmbh Verfahren und System zur Steuerung eines Fahrzeugs
US10611379B2 (en) * 2016-08-16 2020-04-07 Toyota Jidosha Kabushiki Kaisha Integrative cognition of driver behavior
US11120353B2 (en) * 2016-08-16 2021-09-14 Toyota Jidosha Kabushiki Kaisha Efficient driver action prediction system based on temporal fusion of sensor data using deep (bidirectional) recurrent neural network
US10394245B2 (en) * 2016-11-22 2019-08-27 Baidu Usa Llc Method and system to predict vehicle traffic behavior for autonomous vehicles to make driving decisions
CN106740864B (zh) * 2017-01-12 2019-03-19 北京交通大学 一种驾驶行为意图判断与预测方法
US10228693B2 (en) * 2017-01-13 2019-03-12 Ford Global Technologies, Llc Generating simulated sensor data for training and validation of detection models
CN107697070B (zh) * 2017-09-05 2020-04-07 百度在线网络技术（北京）有限公司 驾驶行为预测方法和装置、无人车
US11048927B2 (en) * 2017-10-24 2021-06-29 Waymo Llc Pedestrian behavior predictions for autonomous vehicles
US10860025B2 (en) * 2018-05-15 2020-12-08 Toyota Research Institute, Inc. Modeling graph of interactions between agents
US10860023B2 (en) * 2018-06-25 2020-12-08 Mitsubishi Electric Research Laboratories, Inc. Systems and methods for safe decision making of autonomous vehicles

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104802793A (zh) * 2014-01-23 2015-07-29 罗伯特·博世有限公司 用于对行人在横穿车辆的行车道时的行为进行分类的方法和装置以及车辆的人员保护系统
JP2021189892A (ja) * 2020-06-02 2021-12-13 富士通株式会社 行動区間推定モデル構築装置、行動区間推定モデル構築方法及び行動区間推定モデル構築プログラム

Also Published As

Publication number Publication date
US20200033855A1 (en) 2020-01-30
CN110758399A (zh) 2020-02-07
US10678245B2 (en) 2020-06-09
DE102019113389A1 (de) 2020-01-30
DE102019113389B4 (de) 2024-05-23

Similar Documents

Publication Publication Date Title
CN110758399B (zh) 用于预测实体行为的系统和方法
CN108528458B (zh) 用于车辆尺寸预测的系统和方法
CN108628206B (zh) 道路施工检测系统和方法
US10688991B2 (en) Systems and methods for unprotected maneuver mitigation in autonomous vehicles
US10678241B2 (en) Unsupervised learning agents for autonomous driving applications
CN109131346B (zh) 用于预测自主车辆中的交通模式的系统和方法
CN108981722B (zh) 用于自主驾驶的使用贝塞尔曲线的轨迹规划器
CN108802761B (zh) 用于激光雷达点云异常的方法和系统
CN109949590B (zh) 交通信号灯状态评估
US20190332109A1 (en) Systems and methods for autonomous driving using neural network-based driver learning on tokenized sensor inputs
US20190061771A1 (en) Systems and methods for predicting sensor information
CN108766011B (zh) 用于自主车辆的停车评分
US20190072978A1 (en) Methods and systems for generating realtime map information
CN109085819B (zh) 用于实施自主车辆中的驾驶模式的系统和方法
US20180093671A1 (en) Systems and methods for adjusting speed for an upcoming lane change in autonomous vehicles
US11242060B2 (en) Maneuver planning for urgent lane changes
US20190026588A1 (en) Classification methods and systems
US10528057B2 (en) Systems and methods for radar localization in autonomous vehicles
US20180024239A1 (en) Systems and methods for radar localization in autonomous vehicles
US20180224860A1 (en) Autonomous vehicle movement around stationary vehicles
CN109115230B (zh) 用于车辆的自主驾驶系统及其车辆
US20200070822A1 (en) Systems and methods for predicting object behavior
US20190168805A1 (en) Autonomous vehicle emergency steering profile during failed communication modes
CN109284764B (zh) 用于自主车辆中对象分类的系统和方法
US20220214181A1 (en) Systems and methods for translating navigational route into behavioral decision making in autonomous vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant