CN111656295B - 用于自主运载工具的对象交互预测系统及方法 - Google Patents

用于自主运载工具的对象交互预测系统及方法 Download PDF

Info

Publication number
CN111656295B
CN111656295B CN201880086021.6A CN201880086021A CN111656295B CN 111656295 B CN111656295 B CN 111656295B CN 201880086021 A CN201880086021 A CN 201880086021A CN 111656295 B CN111656295 B CN 111656295B
Authority
CN
China
Prior art keywords
objects
computing system
determining
interaction
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880086021.6A
Other languages
English (en)
Other versions
CN111656295A (zh
Inventor
兰天
G·C·海恩斯
A·D·施蒂勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aurora Operations Inc
Original Assignee
Uatc Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uatc Co ltd filed Critical Uatc Co ltd
Priority to CN202111423961.XA priority Critical patent/CN114326705B/zh
Publication of CN111656295A publication Critical patent/CN111656295A/zh
Application granted granted Critical
Publication of CN111656295B publication Critical patent/CN111656295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Navigation (AREA)

Abstract

本发明提供用于确定对象运动及控制自主运载工具的系统及方法。在一个实例实施例中，计算系统包含处理器及一或多个有形非暂时性计算机可读媒体，所述一或多个有形非暂时性计算机可读媒体共同地存储当由所述处理器执行时致使所述计算系统执行操作的指令。所述操作包含获得与自主运载工具的周围环境内的第一对象及一或多个第二对象相关联的数据。所述操作包含至少部分地基于所述数据而确定所述第一对象与所述一或多个第二对象之间的交互。所述操作包含至少部分地基于所述第一对象与所述一或多个第二对象之间的所述交互而确定所述第一对象在所述周围环境内的一或多个经预测轨迹。所述操作包含输出指示所述第一对象的所述一或多个经预测轨迹的数据。

Description

用于自主运载工具的对象交互预测系统及方法
优先权主张
本申请案基于并主张以下申请案的优先权：具有2017年11月22日的申请日期的美国临时申请案62/589,951及具有2017年12月20日的申请日期的美国非临时申请案15/848,564，上述申请案全部以引用方式并入本文中。
技术领域
本发明一般来说涉及改善自主运载工具确定所述运载工具的周围环境内的对象的未来位置的能力并针对所述未来位置控制所述自主运载工具。
背景技术
自主运载工具是能够感测其环境且在没有人类输入的情况下导航的运载工具。特定来说，自主运载工具可使用各种传感器观察其周围环境且可通过对由传感器收集的数据执行各种处理技术来尝试理解所述环境。在了解其周围环境的情况下，自主运载工具可导航穿过此周围环境。
发明内容
本发明的实施例的各方面及优点将在以下说明中部分地予以陈述，或可从所述说明学习，或可通过实践所述实施例来学习。
本发明的一个实例方面针对于一种计算系统。所述计算系统包含一或多个处理器及一或多个有形非暂时性计算机可读媒体，所述一或多个有形非暂时性计算机可读媒体共同地存储当由所述一或多个处理器执行时致使所述计算系统执行操作的指令。所述操作包含获得与自主运载工具的周围环境内的第一对象及一或多个第二对象相关联的数据。所述操作包含至少部分地基于与所述第一对象及所述一或多个第二对象相关联的所述数据而确定所述第一对象与所述一或多个第二对象之间的交互。所述操作包含至少部分地基于所述第一对象与所述一或多个第二对象之间的所述交互而确定所述第一对象在所述周围环境内的一或多个经预测轨迹。所述操作包含输出指示所述第一对象的所述一或多个经预测轨迹的数据。
本发明的另一实例方面针对于一种自主运载工具。所述自主运载工具包含一或多个处理器及一或多个有形非暂时性计算机可读媒体，所述一或多个有形非暂时性计算机可读媒体存储当由所述一或多个处理器执行时致使计算系统执行操作的指令。所述操作包含获得指示周围环境内的第一对象及一或多个第二对象的一或多个当前或过去状态的状态数据。所述操作包含至少部分地基于指示所述第一对象的所述一或多个当前或过去状态的所述状态数据而确定所述第一对象在所述周围环境内的初始经预测轨迹。所述操作包含至少部分地基于所述第一对象的所述初始经预测轨迹而确定所述第一对象与所述一或多个第二对象之间的交互。所述操作包含至少部分地基于所述第一对象与所述一或多个第二对象之间的所述交互而确定所述第一对象在所述周围环境内的一或多个经预测轨迹。
本发明的又一实例方面针对于一种用于确定对象运动的计算机实施的方法。所述方法包含通过包含一或多个计算装置的计算系统获得指示第一对象在自主运载工具的周围环境内的初始经预测轨迹的数据。所述方法包含通过所述计算系统至少部分地基于所述第一对象在所述自主运载工具的所述周围环境内的所述初始经预测轨迹而确定所述第一对象与所述一或多个第二对象之间的交互。所述方法包含通过所述计算系统至少部分地基于所述第一对象与所述一或多个第二对象之间的所述交互而确定所述第一对象在所述周围环境内的一或多个经预测轨迹。所述方法包含通过所述计算系统输出指示所述第一对象的所述一或多个经预测轨迹的数据。
本发明的其它实例方面针对于用于预测自主运载工具的周围环境内的对象的位置并相对于所述位置控制所述自主运载工具的系统、方法、运载工具、设备、有形非暂时性计算机可读媒体及存储器装置。
参考以下说明及所附权利要求书，将更好地理解各种实施例的这些及其它特征、方面及优点。并入于本说明书中并构成本说明书的一部分的所附图式图解说明本发明的实施例，并与所述说明一起用于解释相关原理。
附图说明
对针对于所属领域的普通技术人员的实施例的详细论述陈述于参考附图的说明书中，附图中：
图1描绘根据本发明的实例实施例的实例系统概观图；
图2描绘根据本发明的实例实施例的自主运载工具的实例环境；
图3描绘根据本发明的实例实施例的模型的实例实施方案的图式；
图4A到4D描绘根据本发明的实例实施例的经预测交互轨迹的实例概率的图式；
图5描绘根据本发明的实例实施例用于确定对象运动的实例方法的流程图；及
图6描绘根据本发明的实例实施例的实例系统组件。
具体实施方式
现在将详细地参考实施例，在图式中图解说明其一或多个实例。每一实例是通过解释实施例而非限制本发明的方式提供。事实上，所属领域的技术人员将明了，可在不背离本发明的范围或精神的情况下对实施例做出各种修改及变化。例如，图解说明或描述为一个实施例的一部分的特征可与另一实施例一起使用以产生又一实施例。因此，打算本发明的各方面涵盖此类修改及变化形式。
本发明针对于用于预测由自主运载工具感知的对象的未来位置的经改善系统及方法。特定来说，自主运载工具可基于对象可在运载工具的周围环境内经历的潜在交互而预测对象的未来位置。例如，自主运载工具可预测周围环境内的每一对象(例如，行人、运载工具、骑自行车者等)的初始轨迹。初始轨迹可表示最初预测相应对象行进所沿着的经预测路径及相关联时机。为了帮助细化这些预测，本发明的系统及方法可使得自主运载工具能够确定对象是否可与其它对象、交通规则及/或自主运载工具本身交互以及此交互可对对象的运动具有的潜在影响。作为实例，自主运载工具可基于彼此相交的每一对象的经预测初始轨迹而确定不遵守交通规则的行人可与迎面而来的运载工具交互。基于此交互，自主运载工具可预测行人的一或多个次要交互轨迹。举例来说，自主运载工具可预测不遵守交通规则的行人可停下且等待迎面而来的运载工具通过及/或不遵守交通规则的行人可在运载工具前跑过以横穿街道。自主运载工具还可确定行人可遵循这些交互轨迹中的每一者的概率。自主运载工具可在规划自主运载工具的运动时考虑到这两个潜在轨迹。以此方式，自主运载工具可更准确地预测运载工具的周围环境内的交互对象的未来位置。预测未来对象位置的经改善能力可实现对自主运载工具的经改善运动规划或其它控制，借此提高乘客安全性及运载工具效率。
更特定来说，自主运载工具可为陆基自主运载工具(例如，汽车、卡车、公共汽车等)或可在来自人类操作者的最少及/或无交互的情况下操作的另一类型的运载工具(例如，航空运载工具)。自主运载工具可包含机载地位于自主运载工具上以帮助控制自主运载工具的运载工具计算系统。运载工具计算系统可机载地位于自主运载工具上，其中运载工具计算系统可位于自主运载工具上或自主运载工具内。运载工具计算系统可包含一或多个传感器(例如，相机、光检测与测距(LIDAR)、无线电检测与测距(RADAR)等)、自主计算系统(例如，用于确定自主导航)、一或多个运载工具控制系统(例如，用于控制制动、转向、动力系统等)及/或其它系统。传感器可收集与运载工具的周围环境相关联的传感器数据(例如，图像数据、RADAR数据、LIDAR数据等)。举例来说，传感器数据可包含LIDAR点云及/或与接近于自主运载工具(例如，在传感器的视场内)的一或多个对象及/或地理区域的一或多个地理特征(例如，路缘石、车道标记、人行道等)相关联的其它数据。对象可包含例如其它运载工具、行人、自行车等。对象可为静态对象(例如，不在运动中)或行动者对象(例如，在运动中或将在运动中的动态对象)。传感器数据可指示在一或多个时间与对象相关联的特性(例如，位置)。传感器可将此传感器数据提供到运载工具的自主计算系统。
除传感器数据外，自主计算系统可获得与对象(及/或自主运载工具)位于其中的周围环境相关联的其它类型的数据。举例来说，自主计算系统可获得提供关于自主运载工具的周围环境的详细信息的地图数据。地图数据可提供关于以下各项的信息：不同道路、路段、建筑物、人行道或其它物体的标识及位置；交通车道的位置及方向(例如，停车道、转弯车道、自行车道或者特定行车路线内的其它车道的边界、位置、方向等)；交通控制数据(例如，标志牌、交通灯、法规/规则或其它交通控制装置的位置及指令)；障碍物(例如，道路施工、事故等)的位置；指示事件(例如，安排好的音乐会、游行等)的数据；及/或提供帮助运载工具计算系统理解及感知其周围环境以及与其的关系的信息的任何其它地图数据。
自主计算系统可为包含合作以感知自主运载工具的周围环境且确定运动规划以便控制自主运载工具的运动的各种子系统的计算系统。举例来说，自主计算系统可包含感知系统、预测系统及运动规划系统。
感知系统可经配置以感知自主运载工具的周围环境内的一或多个对象。例如，感知系统可处理来自传感器的传感器数据以检测接近于自主运载工具的一或多个对象以及与其相关联的状态数据。状态数据可指示自主运载工具的周围环境内的一或多个对象的一或多个状态(例如，当前或过去状态)。举例来说，每一对象的状态数据可描述(例如，在给定时间、时间段)对象的以下各项的估计：当前及/或过去位置(也称为方位)；当前及/或过去速度/速率；当前及/或过去加速度；当前及/或过去前进方向；当前及/或过去定向；大小/占用面积；类别(例如，运载工具类别，对比行人类别，对比自行车类别)，与其相关联的不确定性及/或其它状态信息。
预测系统可经配置以预测自主运载工具的周围环境内的对象的运动。例如，预测系统可创建与一或多个对象相关联的预测数据。预测数据可指示每一相应对象的一或多个经预测未来位置。预测数据可指示与每一对象相关联的经预测路径。预测系统可确定预测相应对象随时间行进所沿着的经预测轨迹。经预测轨迹可指示经预测路径以及预测对象穿越所述路径的时机。这可指示对象的意图。在一些实施方案中，预测数据可指示预测对象沿着经预测轨迹行进的速度。
预测系统可经配置以确定与自主运载工具的周围环境内的对象相关联的初始经预测轨迹。例如，预测系统可为面向目标的预测系统，其针对由自主运载工具感知的每一对象，产生一或多个潜在目标，选择潜在目标中的一或多者，且开发对象可实现所述一或多个所选择目标所凭借的一或多个初始经预测轨迹。作为实例，行人可能正在邻近于自主运载工具正在上面行进的行车路线(例如，街道等)的人行道上行走。行人可能朝向行车路线行走。预测系统可获得指示在行人朝向行车路线行进时行人的一或多个当前或过去状态的状态数据。预测系统可至少部分地基于此状态数据而确定行人具有横穿行车路线(例如，以不遵守交通规则的方式)的目标。基于此目标，预测系统可针对行人确定预测行人将横穿行车路线的初始轨迹。
对象的初始经预测轨迹可受对象与运载工具的环境内的其它元素之间的潜在交互的影响。因此，根据本发明，预测系统可包含预测此类交互及交互对对象的轨迹的可能影响的交互系统。为了如此做，预测系统(例如，交互系统)可获得与自主运载工具的周围环境内的对象相关联的数据。例如，预测系统可获得指示对象在周围环境内的初始经预测轨迹(例如，基于面向目标的初始轨迹预测)的数据。在一些实施方案中，预测系统可获得指示一或多个交通规则及/或其它地理特征(例如，停止标志、停止灯等)的地图数据。在一些实施方案中，预测系统获得与环境内的其它对象相关联的数据(例如，状态数据、经预测轨迹等)及/或自主运载工具的经规划运动轨迹。
预测系统(例如，交互系统)可确定与对象相关联的交互。这可包含各种类型的交互。例如，与对象相关联的交互可为所述对象与周围环境内的另一对象之间的潜在交互。所述另一对象可为正在周围环境内移动(或预期移动)的行动者对象(例如，移动运载工具)及/或在周围环境内静止的静态对象(例如，停放的运载工具)。在一些实施方案中，交互可至少部分地基于交通规则。举例来说，交互可包含对象与停止标志、合并区域、停止灯等之间的潜在交互。在一些实施方案中，交互可包含对象与自主运载工具(正实施预测系统)之间的潜在交互。
预测系统(例如，交互系统)可至少部分地基于由预测系统获得的与对象相关联的数据而预测与对象相关联的交互。举例来说，预测系统可基于对象的初始轨迹、另一对象的轨迹及/或方位、自主运载工具的经规划轨迹、地图数据及/或其它类型的数据而确定与对象相关联的交互。例如，预测系统可确定对象可在以下情况下与另一行动者对象交互：相应对象中的每一者的初始轨迹将在类似时间段相交及/或重叠。另外或替代地，预测系统可确定对象可在以下情况下与静态对象交互：对象的初始轨迹将与周围环境内的静态对象的位置(例如，与所述静态对象相关联的边界框)相交。另外或替代地，预测系统可确定对象可在以下情况下与自主运载工具交互：对象的初始轨迹与自主运载工具的经规划运动轨迹(及/或运载工具的停止方位)相交。在一些实施方案中，预测系统可至少部分地基于地图数据而确定交互的存在。举例来说，预测系统可至少部分地基于对象的初始轨迹及对象正在其中行进的区域的地图而确定对象可与停止标志、合并区域、交通灯等交互。此外，预测系统可至少部分地基于地图数据而确定对象很可能与另一对象及/或自主运载工具交互。作为实例，预测系统可评估对象的初始轨迹及对象正在其中行进的区域的地图数据以确定对象将被迫朝向另一对象及/或自主运载工具的轨迹向左合并到单向街道上。
预测系统(例如，交互系统)可至少部分地基于交互而确定对象的一或多个经预测交互轨迹。经预测交互轨迹可指示对象可由于交互而穿越的潜在轨迹。预测系统可迭代地确定自主运载工具的周围环境内的对象的一或多个经预测交互轨迹(例如，由单个交互产生)。举例来说，在每一迭代时，可调整每一轨迹以避免与在前一迭代中开发的其它轨迹冲突。
在一些实施方案中，预测系统可至少部分地基于基于规则的模型而确定经预测交互轨迹。基于规则的模型可包含具有启发法的算法，所述启发法在给出交互类型及周围境况的情况下定义对象可能遵循的潜在轨迹。可基于由现实世界中的自主运载工具获取的驾驶日志数据而开发启发法。此驾驶日志数据可指示现实世界对象-对象交互(例如，包含静态及/或行动者对象)、对象-自主运载工具交互、对象-交通规则交互等。此外，驾驶日志数据可指示现实世界中的对象基于这些交互而行进的路径。举例来说，一或多个规则可指示不遵守交通规则的行人可基于迎面而来的运载工具而遵循的经预测交互轨迹。这可包含例如指示不遵守交通规则的人将在迎面而来的运载工具前面跑步横穿行车路线的经预测交互轨迹，及/或指示不遵守交通规则的人将停下来让运载工具通过且然后横穿行车路线的另一经预测交互轨迹。
在一些实施方案中，运载工具计算系统可至少部分地基于机器学习型模型而确定一或多个经预测交互轨迹。例如，预测系统可包含、采用及/或以其它方式利用机器学习型交互预测模型。机器学习型模型交互预测模型可为或可以其它方式包含一或多个各种模型，例如神经网络(例如，深度神经网络)或其它多层非线性模型。神经网络可包含卷积神经网络、循环神经网络(例如，长短期记忆循环神经网络)、前馈神经网络及/或其它形式的神经网络。例如，可执行监督式训练技术以训练模型预测与对象相关联的交互及/或预测与其相关联的交互轨迹(例如，使用具有已知交互实例及/或所得轨迹的经标记驾驶日志数据、传感器数据、状态数据等)。在一些实施方案中，训练数据可至少部分地基于如本文中所描述的使用基于规则的模型确定的经预测交互轨迹来帮助针对交互及/或轨迹预测训练机器学习型模型。训练数据可用于离线地训练机器学习型模型，所述机器学习型模型可然后用作用于预测交互及/或交互轨迹(例如，以较少等待时间)的额外或替代方法。
运载工具计算系统可将数据输入到机器学习型模型中且接收输出。例如，运载工具计算系统(例如，预测系统)可从机载于自主运载工具上的可存取存储器及/或从远离运载工具的存储器(例如，经由无线网络)获得指示机器学习型模型的数据。运载工具计算系统可将数据输入到机器学习型模型中。这可包含与对象相关联的数据(例如，初始轨迹、状态数据、传感器数据、其它对象的轨迹/状态数据、经规划运载工具轨迹、地图数据等)及/或周围环境内的其它对象。机器学习型模型可处理数据以预测与对象相关联的交互(例如，对象-对象交互等)。此外，机器学习型模型可基于交互而预测对象的一或多个交互轨迹。机器学习型模型可提供指示交互及/或经预测交互轨迹的输出。在一些实施方案中，所述输出还可指示与每一相应轨迹相关联的概率，如本文中进一步描述。
在一些实施方案中，预测系统可至少部分地基于一或多个策略而确定对象的一或多个经预测交互轨迹。策略可为应用于一组经预测轨迹的特殊轨迹政策。例如，策略可指示在给出交互场景及/或类型的情况下对象可以做什么。作为实例，策略可指示对象可在全程停车处服从及/或遵守路权规则。在另一实例中，策略可指示针对跟随-引导场景，跟随对象将在引导对象后面排队(例如，跟随对象将减速以便以舒适的跟随距离匹配引导对象的速度)。此类策略可在用于确定经预测交互轨迹的模型(例如，基于规则的、机器学习型的等)内实施。
在一些实施方案中，策略可包含一次性策略及/或重复性策略。一次性策略可在初始迭代(例如，第0迭代)处应用，且根据所述策略开发的后续轨迹将不被改变。举例来说，策略可用于帮助在全程停车中产生运载工具的轨迹。可在每一迭代时应用重复性策略。举例来说，在迭代K处，可应用重复性策略以使用来自最后迭代的所有轨迹来开发轨迹，且可在当前迭代中开发非策略轨迹。在预测系统确定第一对象将跟随第二对象的情况下，预测系统可利用策略来按顺序开发两个对象的轨迹。
另外或替代地，预测系统(例如，轨迹系统)可产生图形模型(例如，方向图)以表示应开发交互轨迹的次序。举例来说，可独立地开发交互轨迹。在每一迭代时，预测系统可创建具有表示轨迹的顶点及表示两个轨迹之间的相依性的边缘的图形。针对每一轨迹，可应用模型(例如，分类器)及/或一组启发法以在首先开发出冲突轨迹的情况下将冲突轨迹标记为当前轨迹的父代。可向图形添加边缘以表示此相依性。模型/启发法可用于确定运载工具行动(例如，通过、排队等)及其它离散决策。交互系统可搜索图形中的循环及双向边缘、在循环及双向边缘中联合地开发轨迹，且按顺序开发其它轨迹。当通过两个迭代创建的图形相同时，此方法可终止。
预测系统(例如，交互系统)可确定相应一或多个经预测交互轨迹中的每一者的概率。概率可指示对象将根据相应交互轨迹行动的可能性。概率可表达为得分、百分比、小数等。举例来说，交互系统可确定不遵守交通规则的行人将停下且等待迎面而来的运载工具通过的概率高于不遵守交通规则的行人在汽车前面跑过的概率。在一些实施方案中，可将轨迹中的每一者的概率提供到经配置以确定经预测交互轨迹中的每一者的最终得分的轨迹评分系统。举例来说，预测系统可存取及利用经训练或以其它方式经配置以接收轨迹及相关联概率作为输入数据的轨迹评分模型(例如，基于规则的模型及/或机器学习型模型)。轨迹评分模型可提供指示例如此轨迹对于对象的现实性或可实现性的最终得分。可例如基于包含标记为有效轨迹(例如，所观察轨迹)或无效轨迹(例如，合成轨迹)的轨迹的训练数据而训练此轨迹评分模型。预测系统可将指示一或多个经预测交互轨迹的数据输出到自主运载工具的运动规划系统(例如，作为预测数据)。所述输出可指示所有经预测轨迹以及与每一相应轨迹相关联的最终得分。
运动规划系统可至少部分地基于一或多个经预测交互轨迹而确定自主运载工具的运动规划。运动规划可包含相对于接近运载工具的对象以及所述对象的经预测移动的运载工具行动(例如，经规划运载工具轨迹、速度、加速度、其它行动等)。例如，运动规划系统可实施考虑到与运载工具行动相关联的成本数据以及其它目标函数(例如，基于速度限制、交通灯等的成本函数)(如果有的话)的优化算法，以确定组成运动规划的经优化变量。运动规划系统可确定运载工具可在不增加对运载工具的潜在风险及/或不违反任何交通法规(例如，速度限制、车道边界、标志牌)的情况下执行特定行动(例如，通过对象)。例如，运动规划系统可在其成本数据分析期间在其确定穿过周围环境的经优化运载工具轨迹时评估经预测交互轨迹中的每一者(及相关联得分)。在一些实施方案中，经预测交互轨迹中的一或多者可能不会最终改变自主运载工具的运动。在一些实施方案中，运动规划可定义运载工具的运动，使得自主运载工具避开经预测为在周围环境内交互的对象、降低速度以在某些对象周围留出更多余地、谨慎行进、执行停止行动等。
自主运载工具可根据运动规划的至少一部分起始行进。例如，运动规划可提供到运载工具控制系统，运载工具控制系统可包含经配置以实施运动规划的运载工具控制器。运载工具控制器可例如将运动规划转换成用于运载工具控制系统(例如，加速度控制、制动控制、转向控制等)的指令。这可允许自主运载工具在考虑到运载工具的周围环境内的对象交互的同时自主地行进。
本文中所描述的系统及方法提供若干个技术效果及益处。例如，本发明提供用于对自主运载工具的周围环境内的对象轨迹的经改善预测及经改善运载工具控制的系统及方法。检测交互(例如，对象-对象交互、对象-交通规则交互、对象-自主运载工具交互等)的经改善能力可实现基于此类交互对自主运载工具的经改善运动规划及/或其它控制，借此进一步提高乘客安全性及运载工具效率。因此，本发明改善自主运载工具计算系统及其控制的自主运载工具的操作。另外，本发明提供对预测对象交互及所得轨迹的问题的特定解决方案，且提供实现所要结果的特定方式(例如，使用特定规则、机器学习型模型等)。本发明还提供包含例如通过减少碰撞(例如，潜在地由对象交互导致)而提高乘客/运载工具安全性且改善运载工具效率等额外技术效果及益处。
本发明的系统及方法还提供对运载工具计算技术(例如自主运载工具计算技术)的改善。例如，所述系统及方法使得运载工具技术能够确定对象是否可经历交互及作为结果此对象可遵循的潜在运动轨迹。特定来说，计算系统(例如，运载工具计算系统)可获得与自主运载工具的周围环境内的第一对象及一或多个第二对象相关联的数据(例如，初始轨迹数据、地图数据等)。计算系统可至少部分地基于此数据而确定第一对象与一或多个第二对象之间的交互。计算系统可至少部分地基于第一对象与一或多个第二对象之间的交互而确定第一对象在周围环境内的一或多个经预测交互轨迹。计算系统可输出指示第一对象的一或多个经预测交互轨迹的数据(例如，输出到运动规划系统、本地存储器等)。通过基于经预测交互识别对象的潜在轨迹，计算系统可基于经预测对象运动轨迹可受周围环境内的交互影响的所通知认识而规划运载工具运动。这可用于将这些对象附近的自主运载工具行为更改为例如更保守以避免与对象的任何干扰。因此，本发明的系统及方法改善运载工具计算系统预测其周围环境内的对象的运动的能力，同时还改善控制自主运载工具的能力。
现在参考各图，将进一步详细地论述本发明的实例实施例。图1图解说明根据本发明的实例实施例的实例系统100。系统100可包含与运载工具104相关联的运载工具计算系统102。在一些实施方案中，系统100可包含远离运载工具104的操作计算系统106。
在一些实施方案中，运载工具104可与实体(例如，服务提供者、拥有者、管理者)相关联。所述实体可为经由包含例如运载工具104的运载工具机群为多个用户提供一或多个运载工具服务的实体。在一些实施方案中，实体可与唯一运载工具104相关联(例如，唯一拥有者、管理者)。在一些实施方案中，操作计算系统106可与实体相关联。运载工具104可经配置以为一或多个用户提供一或多个运载工具服务。运载工具服务可包含运输服务(例如，其中用户乘坐于要运输的运载工具104中的共乘服务)、快递服务、递送服务及/或其它类型的服务。运载工具服务可通过实体例如经由软件应用程序(例如，移动电话软件应用程序)提供到用户。实体可利用操作计算系统106来协调及/或管理运载工具104(及其相关联机群，如果有的话)以为用户提供运载工具服务。
操作计算系统106可包含远离运载工具104(例如，位于运载工具104外部)的一或多个计算装置。举例来说，此(些)计算装置可为基于云的服务器系统及/或可与运载工具104的运载工具计算系统102(及/或用户装置)通信的其它类型的计算系统的组件。操作计算系统106的计算装置可包含用于执行各种操作及功能的各种组件。例如，计算装置可包含一或多个处理器及一或多个有形非暂时性计算机可读媒体(例如，存储器装置等)。一或多个有形非暂时性计算机可读媒体可存储当由一或多个处理器执行时致使操作计算系统106(例如，一或多个处理器等)执行例如将数据提供到运载工具104及/或从运载工具104接收数据等操作及功能以便管理运载工具机群(包含运载工具104)等的指令。
并入有运载工具计算系统102的运载工具104可为陆基自主运载工具(例如，汽车、卡车、公共汽车等)，空基自主运载工具(例如，飞机、直升机或其它航空器)，或其它类型的运载工具(例如，船只等)。运载工具104可为可在与人类操作者(例如，驾驶员)最少交互及/或无交互的情况下驾驶、导航、操作等的自主运载工具。在一些实施方案中，人类操作者可从运载工具104省去(及/或也从运载工具104的远程控制省去)。在一些实施方案中，人类操作者可包含于运载工具104中。
在一些实施方案中，运载工具104可经配置以在多个操作模式中操作。运载工具104可经配置以在完全自主(例如，自驾驶)操作模式中操作，其中运载工具104可在无用户输入的情况下受控(例如，可在无来自存在于运载工具104中及/或远离运载工具104的人类操作者的输入的情况下驾驶及导航)。运载工具104可在半自主操作模式中操作，其中运载工具104可在来自存在于运载工具104中(及/或远离运载工具104)的人类操作者的一些输入的情况下操作。运载工具104可进入手动操作模式，其中运载工具104完全由人类操作者(例如，人类驾驶员、飞行员等)控制且可被禁止执行自主导航(例如，自主驾驶)。在一些实施方案中，运载工具104可在处于手动操作模式中时实施运载工具操作辅助技术(例如，碰撞缓解系统、电力辅助转向等)以协助运载工具104的人类操作者。
运载工具104的操作模式可存储于机载于运载工具104上的存储器中。举例来说，操作模式可通过指示运载工具104在处于特定操作模式中时的一或多个操作参数的操作模式数据结构(例如，规则、列表、表格等)定义。举例来说，操作模式数据结构可指示运载工具104将在处于完全自主操作模式中时自主地规划其运动。运载工具计算系统102可在实施操作模式时存取存储器。
可以各种方式调整运载工具104的操作模式。在一些实施方案中，可在运载工具104外部远程地选择运载工具104的操作模式。举例来说，与运载工具104相关联的实体(例如，服务提供者)可利用操作计算系统106来管理运载工具104(及/或相关联机群)。操作计算系统106可将指示运载工具104进入、退出、维持一操作模式等的数据发送到运载工具104。作为实例，操作计算系统106可将指示运载工具104进入完全自主操作模式的数据发送到运载工具104。在一些实施方案中，运载工具104的操作模式可在运载工具104上及/或附近设定。举例来说，运载工具计算系统102可自动地确定运载工具104将在何时及何地进入、改变、维持特定操作模式等(例如，在无用户输入的情况下)。另外或替代地，可经由机载地位于运载工具104上及/或与接近于运载工具104的计算装置(例如，由位于运载工具104附近的经授权人员操作的平板计算机)相关联的一或多个接口(例如，按键开关、按钮等)手动地选择运载工具104的操作模式。在一些实施方案中，可至少部分地基于位于运载工具104上的接口序列而调整运载工具104的操作模式。举例来说，可通过以特定次序操纵一系列接口以致使运载工具104进入特定操作模式而调整操作模式。
运载工具计算系统102可包含机载地位于运载工具104上的一或多个计算装置。举例来说，计算装置可位于运载工具104上及/或内。计算装置可包含用于执行各种操作及功能的各种组件。例如，计算装置可包含一或多个处理器及一或多个有形非暂时性计算机可读媒体(例如，存储器装置等)。一或多个有形非暂时性计算机可读媒体可存储当由一或多个处理器执行时致使运载工具104(例如，其计算系统、一或多个处理器等)执行例如本文中所描述的那些的操作及功能以便自主地导航运载工具104穿过周围环境、确定对象运动、控制运载工具运动等的指令。
运载工具104可包含经配置以允许运载工具计算系统102(及其计算装置)与其它计算装置通信的通信系统108。运载工具计算系统102可使用通信系统108来经由一或多个网络(例如，经由一或多个无线信号连接)与操作计算系统106及/或一或多个其它计算装置通信。在一些实施方案中，通信系统108可允许机载于运载工具104上的系统中的一或多者之间的通信。通信系统108可包含用于与一或多个网络介接的任何适合组件，包含例如发射器、接收器、端口、控制器、天线及/或可帮助促成通信的其它适合组件。
如图1中所展示，运载工具104可包含一或多个运载工具传感器112、自主计算系统114、一或多个运载工具控制系统116及如本文中所描述的其它系统。这些系统中的一或多者可经配置以经由通信信道彼此通信。通信信道可包含一或多个数据总线(例如，控制器局域网(CAN))、机载诊断连接器(例如，OBD-II)及/或有线及/或无线通信链路的组合。机载系统可经由通信信道在彼此间发送及/或接收数据、消息、信号等。
运载工具传感器112可经配置以获取与运载工具104的周围环境内(例如，运载工具传感器112中的一或多者的视场内)的一或多个对象相关联的传感器数据118。运载工具传感器112可包含光检测与测距(LIDAR)系统、无线电检测与测距(RADAR)系统、一或多个相机(例如，可见光谱相机、红外相机等)、运动传感器及/或其它类型的成像捕获装置及/或传感器。传感器数据118可包含图像数据、RADAR数据、LIDAR数据及/或由运载工具传感器112获取的其它数据。所述对象可包含例如行人、运载工具、自行车及/或其它对象。对象可位于运载工具104前面、后面、侧面等。传感器数据118可指示在一或多个时间与运载工具104的周围环境内的对象相关联的位置。运载工具传感器112可将传感器数据118提供到自主计算系统114。
除传感器数据118外，自主计算系统114可检索或以其它方式获得地图数据120。地图数据120可提供关于运载工具104的周围环境的详细信息。举例来说，地图数据120可提供关于以下各项的信息：不同道路、路段、建筑物或者其它物体或对象(例如，路灯柱、人行横道、路缘石等)的标识及位置；交通车道的位置及方向(例如，停车道、转弯车道、自行车道或者特定道路或其它行车路线内的其它车道的位置及方向及/或与其相关联的一或多个边界标记)；交通控制数据(例如，标志牌、交通灯或其它交通控制装置的位置及指令)；障碍物(例如，道路施工、事故等)的位置；指示事件(例如，安排好的音乐会、游行等)的数据；及/或提供帮助运载工具104理解及感知其周围环境以及与其的关系的信息的任何其它地图数据。在一些实施方案中，运载工具计算系统102可至少部分地基于地图数据120而确定运载工具104的运载工具路线。
运载工具104可包含定位系统122。定位系统122可确定运载工具104的当前方位。定位系统122可为用于分析运载工具104的方位的任何装置或电路系统。举例来说，定位系统122可通过使用惯性传感器(例如，惯性测量单元等)、卫星定位系统、基于IP地址、通过使用三角测量及/或与网络接入点或其它网络组件(例如，蜂窝式塔、WiFi接入点等)的接近度中的一或多者及/或其它适合技术来确定方位。运载工具104的方位可由运载工具计算系统102的各种系统使用及/或提供到(例如，操作计算系统106的)远程计算装置。举例来说，地图数据120可提供运载工具104的周围环境的运载工具104相对方位。运载工具104可至少部分地基于本文中所描述的数据而识别其在周围环境内(例如，跨越6个轴)的方位。举例来说，运载工具104可处理运载工具传感器数据118(例如，LIDAR数据、相机数据)以将其与周围环境的地图进行匹配以便获得对运载工具在所述环境内的方位的理解。
自主计算系统114可包含感知系统124、预测系统126、运动规划系统128及/或合作以感知运载工具104的周围环境且确定运动规划以便相应地控制运载工具104的运动的其它系统。举例来说，自主计算系统114可从运载工具传感器112接收传感器数据118，尝试通过对传感器数据118(及/或其它数据)执行各种处理技术来理解周围环境，且产生穿过此周围环境的适当运动规划。自主计算系统114可控制一或多个运载工具控制系统116以使运载工具104根据运动规划操作。
运载工具计算系统102(例如，自主系统114)可至少部分地基于传感器数据118及/或地图数据120而识别接近于运载工具104的一或多个对象。举例来说，运载工具计算系统102(例如，感知系统124)可处理传感器数据118、地图数据120等以获得状态数据130。运载工具计算系统102可获得指示运载工具104的周围环境内的一或多个对象的一或多个状态(例如，当前及/或过去状态)的状态数据130。举例来说，每一对象的状态数据130可描述(例如，针对给定时间、时间段)对象的以下各项的估计：当前及/或过去位置(也称为方位)；当前及/或过去速度/速率；当前及/或过去加速度；当前及/或过去前进方向；当前及/或过去定向；大小/占用面积(例如，如由边界形状表示)；类别(例如，行人类别，对比运载工具类别，对比自行车类别)，与其相关联的不确定性及/或其它状态信息。感知系统124可将状态数据130提供到预测系统126。
预测系统126可经配置以预测运载工具104的周围环境内的对象的运动。例如，预测系统126可创建与此(些)对象相关联的预测数据132。预测数据132可指示每一相应对象的一或多个经预测未来位置。预测数据132可指示与每一对象(如果有的话)相关联的经预测路径。预测系统126可确定预测相应对象随时间行进所沿着的经预测轨迹。经预测轨迹可指示经预测路径以及预测对象穿越所述路径的时机。这可指示对象的意图。在一些实施方案中，预测数据可指示预测对象沿着经预测轨迹行进的速度。
预测系统126可经配置以确定与运载工具104的周围环境内的对象相关联的初始经预测轨迹。例如，预测系统126可为面向目标的预测系统，其针对由运载工具104(例如，感知系统124)感知的每一对象，产生一或多个潜在目标，选择潜在目标中的一或多者，且开发对象可实现所述一或多个所选择目标所凭借的一或多个初始经预测轨迹。
作为实例，图2描绘根据本发明的实例实施例的运载工具104正在其中行进的实例地理区域200。第一对象202(例如，行人)可能正在邻近于运载工具104正在上面行进的行车路线204(例如，街道等)的人行道上行进。第一对象202可能朝向行车路线204行进。运载工具计算系统102可获得指示周围环境内的第一对象202的一或多个当前或过去状态(例如，在第一对象202朝向行车路线204行进时)的状态数据130。运载工具计算系统102可基于此状态数据而确定第一对象202具有横穿行车路线204(例如，以不遵守交通规则的方式)的目标。运载工具计算系统102可至少部分地基于指示周围环境内的第一对象202的一或多个当前或过去状态的状态数据130而确定第一对象202的初始经预测轨迹206。例如，运载工具计算系统102可针对第一对象202确定预测第一对象202将横穿行车路线204的初始轨迹206。在一些实施方案中，一或多个第二对象可包含周围环境内的静态对象。一或多个第二对象可包含周围环境内的行动者对象。一或多个第二对象可包含运载工具104。
返回图1，运载工具计算系统102(例如，预测系统126)可包含预测运载工具的环境内的一对象与其它对象及/或元素之间的潜在交互的交互系统134。交互系统134可经配置以确定此(些)交互对对象的轨迹的潜在影响。为了如此做，运载工具计算系统102可获得与运载工具104的周围环境内的第一对象及一或多个第二对象相关联的数据。作为实例，参考图2，与周围环境内的第一对象及一或多个第二对象相关联的数据可包含指示第一对象202在周围环境内的初始经预测轨迹206(例如，基于面向目标的初始轨迹预测)的数据。另外或替代地，运载工具计算系统102可获得与第一对象202相关联的状态数据130。另外或替代地，运载工具计算系统102可获得指示一或多个交通规则及/或其它地理特征(例如，停止标志、停止灯等)的地图数据120。运载工具计算系统102可获得与一或多个第二对象(例如对象208)相关联的数据(例如，状态数据、经预测轨迹等)。例如，运载工具计算系统102可获得指示对象208的初始经预测轨迹210的数据。另外或替代地，运载工具计算系统102可获得指示运载工具104的经规划运动轨迹211的数据。
运载工具计算系统102(例如，交互系统134)可确定与第一对象202相关联的交互。这可包含各种类型的交互。例如，这可包含周围环境内的第一对象202与第二对象(例如，对象208、运载工具104等)之间的潜在交互。在一些实施方案中，交互可与交通规则相关联。举例来说，交互可包含第一对象202与停止标志、合并区域、停止灯等之间的潜在交互。在一些实施方案中，交互可为单向的(例如，对交通规则、停放的运载工具、引导-跟随运载工具场景等的反应)，因为仅一个对象的运动受影响。在一些实施方案中，交互可双向的，因为多个交互的对象受影响。
运载工具计算系统可基于与两个对象相关联的所获得数据而确定所述对象之间的交互。在一些实施方案中，运载工具计算系统102(例如，交互系统134)可至少部分地基于与对象相关联的数据而预测与所述对象相关联的交互。在一些实施方案中，运载工具计算系统102可至少部分地基于与第一对象202及一或多个第二对象(例如，对象208)相关联的数据而确定第一对象202与一或多个第二对象之间的交互。
举例来说，运载工具计算系统102可基于第一对象202的初始经预测轨迹206及另一第二对象208的初始经预测轨迹210及/或方位、地图数据120及/或其它类型的数据而确定与第一对象202相关联的交互。例如，运载工具计算系统102可至少部分地基于第一对象202的初始轨迹而确定第一对象202与一或多个第二对象之间的交互。作为实例，运载工具计算系统可预测第一对象202可在以下情况下与另一第二对象208交互：相应对象中的每一者的初始轨迹206、210将在类似时间段相交及/或重叠。在另一实例中，运载工具计算系统102可至少部分地基于对象212(例如，跟随运载工具)的初始轨迹216、对象212的速度、对象212的位置(例如，所述对象正在其中行进的行进车道)及/或对象212的其它特征及另一对象214(例如，引导运载工具)的初始轨迹218及/或位置而预测对象212与对象214之间的交互。另外或替代地，运载工具计算系统102可确定对象214可在以下情况下与静态对象216(例如，停放的运载工具、停放的自行车等)交互：对象214的初始轨迹218将与周围环境内的静态对象216的位置(例如，与所述静态对象相关联的边界框)相交。在另一实例中，可至少部分地基于对象的初始轨迹及运载工具104的经规划运动轨迹211及/或位置而确定所述对象与运载工具104之间的交互。
在一些实施方案中，可至少部分地基于与运载工具104的周围环境相关联的地图数据120而确定第一对象与一或多个第二对象之间的交互。举例来说，运载工具计算系统102可至少部分地基于对象的初始轨迹及对象正在其中行进的区域的地图而确定对象可与停止标志、合并区域、交通灯等交互。此外，运载工具计算系统102可至少部分地基于地图数据而确定对象很可能与另一对象及/或运载工具102交互。作为实例，运载工具计算系统102可评估对象212的初始轨迹216及对象212正在其中行进的区域的地图数据120以确定对象212正与另一对象214在同一行进车道内行进且将接近所述另一对象214。
运载工具计算系统102(例如，交互系统134)可至少部分地基于交互而确定对象的一或多个经预测交互轨迹。经预测交互轨迹可指示对象可由于交互而穿越的潜在轨迹。例如，运载工具计算系统102可至少部分地基于第一对象202与一或多个第二对象(例如，对象208)之间的交互而确定第一对象202在周围环境内的一或多个经预测交互轨迹220A到220B。另外或替代地，运载工具计算系统102可至少部分地基于与一或多个第二对象(例如，对象208)相关联的交互(例如，第一对象202与对象208之间的交互)而确定相应第二对象的一或多个经预测交互轨迹222A到222B。在另一实例中，运载工具计算系统102可至少部分地基于对象214与静态对象216(例如，停放的运载工具)之间的交互而确定对象214的一或多个经预测交互轨迹224A到224B。运载工具计算系统102可基于对象212(例如，跟随运载工具)与对象214(例如，引导运载工具)的交互而确定对象212的一或多个经预测交互轨迹226A到226B。在一些实施方案中，经预测交互轨迹可指示与运载工具行动(例如，通过、排队、停止等)相关联的离散决策。
运载工具计算系统102可迭代地确定运载工具104的周围环境内的对象的一或多个经预测交互轨迹(例如，由单个交互产生)。举例来说，在每一迭代时，可调整每一轨迹以避免与在前一迭代中开发的其它轨迹冲突。运载工具计算系统102可基于对象的相应轨迹之间的潜在冲突而预测那些对象之间的交互。例如，运载工具计算系统102可确定第一对象202的第一经预测交互轨迹与一或多个第二对象(例如，对象208)的一或多个第二经预测交互轨迹冲突。轨迹可在例如在那些轨迹将导致对象的碰撞的情况下被视为冲突的。响应于确定第一对象202的第一经预测交互轨迹与一或多个第二对象(例如，对象208)的一或多个第二经预测交互轨迹冲突，运载工具计算系统102可确定第一对象202的一或多个经预测交互轨迹220A到220B，使得第一对象的一或多个经预测交互轨迹220A到220B不与一或多个第二对象的一或多个第二经预测交互轨迹222A到222B冲突。举例来说，运载工具计算系统102可选择第一对象202的不与一或多个第二对象的经预测交互轨迹冲突(例如，将不致使第一对象202与第二对象碰撞)的轨迹作为第一对象202的可由于交互而发生的经预测交互轨迹220A到220B。
在一些实施方案中，运载工具计算系统102可至少部分地基于一或多个策略而确定对象的一或多个经预测交互轨迹。策略可为应用于一组经预测轨迹的特殊轨迹政策。例如，策略可指示在给出交互场景及/或类型的情况下对象可以做什么。作为实例，策略可指示对象可在全程停车处服从及/或遵守路权规则。在另一实例中，策略可指示针对跟随-引导场景，跟随对象将在引导对象后面排队(例如，跟随对象将减速以便以舒适的跟随距离匹配引导对象的速度)。此类策略可在用于确定经预测交互轨迹的模型(例如，基于规则的、机器学习型的等)内实施。举例来说，运载工具计算系统102可基于跟随-引导策略而确定对象212将减速以匹配对象214的速度。
在一些实施方案中，策略可包含一次性策略及/或重复性策略。一次性策略可在初始迭代(例如，第0迭代)处应用，且根据所述策略开发的后续轨迹将不被改变。举例来说，策略可用于帮助在全程停车中产生运载工具的轨迹。可在每一迭代时应用重复性策略。举例来说，在迭代K处，可应用重复性策略以使用来自最后迭代的所有轨迹来开发轨迹，且可在当前迭代中开发非策略轨迹。在运载工具计算系统102确定对象212将跟随另一对象214的情况下，运载工具计算系统102可利用策略来按顺序确定两个对象212、214的轨迹。
另外或替代地，运载工具计算系统102(例如，轨迹系统134)可基于图形模型而确定对象的经预测轨迹。例如，运载工具计算系统102可通过使用图形模型使第一对象202与一或多个第二对象(例如，对象208)相关联而确定第一对象202及一或多个第二对象的交互。在使第一对象202与一或多个第二对象(例如，对象208)相关联之后，运载工具计算系统102可基于图形模型而确定第一对象202的一或多个经预测交互轨迹。作为实例，运载工具计算系统102可产生方向图。方向图可表示应开发交互轨迹的次序。举例来说，可独立地开发交互轨迹。在每一迭代时，运载工具计算系统102可创建具有表示轨迹的顶点及表示两个轨迹之间的相依性的边缘的图形。针对每一轨迹，可应用模型(例如，分类器)及/或一组启发法以在首先开发出冲突轨迹的情况下将冲突轨迹标记为当前轨迹的父代。可向图形添加边缘以表示此相依性。模型/启发法可用于确定运载工具行动(例如，通过、排队等)及其它离散决策。运载工具计算系统102(例如，交互系统134)可搜索图形中的循环及双向边缘、在循环及双向边缘中联合地开发轨迹，且按顺序开发其它轨迹。当通过两个迭代创建的图形相同时，此方法可终止。
在一些实施方案中，运载工具计算系统102可至少部分地基于传感器数据而确定交互及/或经预测交互轨迹。举例来说，运载工具计算系统102可获得与周围环境相关联的图像数据(例如，经栅格化图像数据)。图像数据可指示地理特征(例如，停止线、车道边界等)。运载工具计算系统102(例如，交互系统134)可至少部分地基于图像数据而确定交互。例如，运载工具计算系统102可基于此图像数据而确定对象将与停止标志交互及/或合并到车道中。
在一些实施方案中，运载工具计算系统102可至少部分地基于基于规则的模型而确定经预测交互轨迹。基于规则的模型可包含具有启发法的算法，所述启发法在给出交互类型及周围境况的情况下定义对象可能遵循的潜在轨迹。可基于由现实世界中的运载工具(例如，自主运载工具)获取的驾驶日志数据而开发启发法。此驾驶日志数据可指示现实世界对象-对象交互(例如，包含静态及/或行动者对象)、对象-运载工具交互、对象-交通规则交互等。此外，驾驶日志数据可指示现实世界中的对象基于这些交互而行进的路径。举例来说，一或多个规则可指示不遵守交通规则的行人可基于迎面而来的运载工具而遵循的经预测交互轨迹。这可包含例如指示不遵守交通规则的人将在迎面而来的运载工具前面跑步横穿行车路线的经预测交互轨迹，及/或指示不遵守交通规则的人将停下来让迎面而来的运载工具通过且然后横穿行车路线的另一经预测交互轨迹。
在一些实施方案中，运载工具计算系统102(例如，交互系统134)可至少部分地基于机器学习型模型而确定一或多个经预测交互轨迹。图3描绘根据本发明的实例实施例的模型302的实例实施方案的实例图式300。例如，运载工具计算系统102可包含、采用及/或以其它方式利用机器学习型交互预测模型302。机器学习型交互预测模型302可为或可以其它方式包含一或多个各种模型，例如，神经网络(例如，深度神经网络)或其它多层非线性模型。神经网络可包含卷积神经网络、循环神经网络(例如，长短期记忆循环神经网络)、前馈神经网络及/或其它形式的神经网络。例如，可执行监督式训练技术以训练机器学习型交互预测模型302预测第一对象与一或多个第二对象之间的交互及/或预测与其相关联的交互轨迹(例如，使用具有已知交互实例及/或所得轨迹的经标记驾驶日志数据、传感器数据、状态数据等)。在一些实施方案中，训练数据可至少部分地基于如本文中所描述的使用基于规则的模型确定的经预测交互轨迹来帮助训练机器学习型交互预测模型302预测一或多个交互及/或交互轨迹。训练数据可用于离线地训练机器学习型模型，所述机器学习型模型可然后用作用于预测交互及/或交互轨迹的额外或替代方法。
运载工具计算系统102可将数据输入到机器学习型模型中且接收输出。例如，运载工具计算系统102可从机载于运载工具104上的可存取存储器及/或从远离运载工具104的存储器(例如，经由无线网络)获得指示机器学习型交互预测模型302的数据。运载工具计算系统102可将输入数据304提供到机器学习型交互预测模型302中。输入数据304可包含与第一对象及一或多个第二对象相关联的数据。这可包含指示与第一对象相关联的初始轨迹、状态数据、传感器数据、其它对象的轨迹/状态数据、经规划运载工具轨迹、地图数据等的数据及/或指示与一或多个第二对象相关联的初始轨迹、状态数据、传感器数据、其它对象的轨迹/状态数据、经规划运载工具轨迹、地图数据等的数据。机器学习型交互预测模型302可处理输入数据304以预测与对象相关联的交互(例如，对象-对象交互、对象-运载工具交互等)。此外，机器学习型交互预测模型302可至少部分地基于交互而预测对象的一或多个交互轨迹。运载工具计算系统102可从机器学习型交互预测模型302获得输出306。输出306可指示周围环境内的对象的一或多个经预测交互轨迹。举例来说，输出306可指示周围环境内的第一对象202的一或多个经预测交互轨迹220A到220B。在一些实施方案中，运载工具计算系统102可提供指示经预测交互的输入数据，且机器学习型交互预测模型302可基于此输入数据而输出经预测交互轨迹。在一些实施方案中，输出306还可指示与每一相应轨迹相关联的概率。
图4A到4D描绘根据本发明的实例实施例的经预测交互轨迹的实例概率的图式。运载工具计算系统102(例如，交互系统134)可确定相应一或多个经预测交互轨迹中的每一者的概率。概率可指示对象(例如，第一对象202)根据所述相应经预测交互轨迹行动的可能性。概率可表达为得分、百分比、小数及/或其它格式。
参考图4A，运载工具计算系统102可确定第一对象202(例如，不遵守交通规则的行人)将根据经预测交互轨迹220B行动(例如通过停下且等待对象208(例如，迎面而来的运载工具)通过然后横穿行车路线204)的概率(例如，概率1)高于第一对象202将根据经预测交互轨迹220A行动(例如，在迎面而来的运载工具通过之前在其前面跑过)的概率(例如，概率2)。在另一实例中，参考图4B，运载工具计算系统102可确定对象208将根据经预测交互轨迹222A行动(例如，在行人后面排队、降低速度等)的概率(例如，概率3)及/或对象208将根据经预测交互轨迹222B行动(例如，通过行人等)的概率(例如，概率4)。在另一实例中，参考图4C，运载工具计算系统102可确定对象214将根据经预测交互轨迹224A行动(例如，挤过停放的运载工具等)的概率(例如，概率5)及/或对象214将根据经预测交互轨迹224B行动(例如，在停放的运载工具后面停下等)的概率(例如，概率6)。在另一实例中，参考图4D，运载工具计算系统102可确定对象212将根据经预测交互轨迹226A行动(例如，超过引导运载工具等)的概率(例如，概率7)及/或对象212将根据经预测交互轨迹226B行动(例如，在引导运载工具后面排队等)的概率(例如，概率8)。
在一些实施方案中，可将轨迹中的每一者的概率提供到经配置以确定经预测交互轨迹中的每一者的最终得分的轨迹评分系统。举例来说，运载工具计算系统102(例如，预测系统126)可存取及利用经训练或以其它方式经配置以接收轨迹及相关联概率作为输入数据的轨迹评分模型(例如，基于规则的模型及/或机器学习型模型)。轨迹评分模型可提供指示例如此轨迹对于对象的现实性或可实现性的最终得分。可例如基于包含标记为有效轨迹(例如，所观察轨迹)或无效轨迹(例如，合成轨迹)的轨迹的训练数据而训练此轨迹评分模型。
返回图1，运载工具计算系统102可输出指示(例如，第一对象202的)一或多个经预测交互轨迹的数据。举例来说，此数据可指示第一对象202的经预测交互轨迹220A到220B以及与每一相应轨迹相关联的最终得分。预测系统126可将此数据输出到运动规划系统128(例如，如图3中所展示)。运载工具计算系统102(例如，运动规划系统128)可至少部分地基于第一对象202在周围环境内的一或多个经预测交互轨迹220A到220B而确定运载工具104的运动规划136。运动规划136可包含相对于接近运载工具的对象以及所述对象的经预测移动的运载工具行动(例如，经规划运载工具轨迹、速度、加速度、其它行动等)。例如，运动规划系统128可实施考虑到与运载工具行动相关联的成本数据以及其它目标函数(例如，基于速度限制、交通灯等的成本函数)(如果有的话)的优化算法，以确定组成运动规划136的经优化变量。运动规划系统128可确定运载工具104可在不增加对运载工具的潜在风险及/或不违反任何交通法规(例如，速度限制、车道边界、标志牌)的情况下执行特定行动(例如，通过对象)。例如，运动规划系统128可在其成本数据分析期间在其确定穿过周围环境的经优化运载工具轨迹时评估经预测交互轨迹220A到220B中的每一者(及相关联得分)。在一些实施方案中，经预测交互轨迹220A到220B中的一或多者可能不会最终改变运载工具104的运动(例如，因为另一变量被认为更关键)。在一些实施方案中，运动规划136可定义运载工具的运动，使得运载工具104避开经预测为在周围环境内交互的对象、降低速度以在某些对象周围留出更多余地、谨慎行进、执行停止行动等。
运动规划系统128可经配置以连续地更新运载工具的运动规划136及对应经规划运载工具运动轨迹。举例来说，在一些实施方案中，运动规划系统128可产生运载工具104的新运动规划136(例如，每秒多次)。每一新运动规划可描述运载工具104在接下来的几秒(例如，5秒)内的运动。此外，新运动规划可包含新的经规划运载工具运动轨迹。因此，在一些实施方案中，运动规划系统128可连续地操作以基于当前可用的数据修改或以其它方式产生短期运动规划。一旦优化规划者识别出最优运动规划(或发生一些其它迭代中断)，运载工具104便可选择且执行最优运动规划(及经规划运动轨迹)。
运载工具计算系统102可致使运载工具104根据运动规划136的至少一部分起始运动。例如，可将运动规划136提供到运载工具控制系统116，运载工具控制系统116可包含经配置以实施运动规划136的运载工具控制器。运载工具控制器可例如将运动规划136转换成用于运载工具控制(例如，加速度控制、制动控制、转向控制等)的指令。作为实例，运载工具控制器可将经确定运动规划136转换成用以将运载工具104的转向调整“X”度、施加特定量值的制动力等的指令。运载工具控制器可将一或多个控制信号发送到负责的运载工具控件(例如，制动控制系统、转向控制系统、加速度控制系统等)以执行所述指令且实施运动规划136。这可允许运载工具控制系统116根据经计划运动轨迹控制运载工具104的运动。
图5描绘根据本发明的实例实施例的用于确定对象运动及控制运载工具运动的另一实例方法500的流程图。方法500的一或多个部分可由一或多个计算装置(例如，运载工具计算系统102及/或其它系统的一或多个计算装置)实施。方法500的每一相应部分可由一或多个计算装置中的任一者(或任何组合)执行。此外，方法500的一或多个部分可实施为本文中(例如，如在图1及6中)所描述的装置的硬件组件上的算法，例如以确定对象运动且相对于对象运动控制运载工具。图5出于图解说明及论述的目的描绘以特定次序执行的元素。所属领域的普通技术人员，使用本文中所提供的揭示内容，将理解本文中所论述的方法中的任一者的元素可在不背离本发明的范围的情况下以各种方式调适、重新布置、扩展、省略、组合及/或修改。
在(502)处，方法500可包含获得与运载工具的周围环境内的对象相关联的数据。例如，运载工具计算系统102可获得与运载工具104的周围环境内的第一对象及一或多个第二对象相关联的数据。在一些实施方案中，运载工具计算系统102可获得指示第一对象202及/或一或多个第二对象(例如，对象208)在运载工具104的周围环境内的初始经预测轨迹的数据。在一些实施方案中，运载工具计算系统102可获得指示周围环境内的第一对象202及一或多个第二对象的一或多个当前或过去状态的状态数据130。运载工具计算系统102可至少部分地基于指示周围环境内的第一对象202的一或多个当前或过去状态的状态数据130及/或周围环境内的第二对象的至少部分地基于指示第二对象的一或多个当前或过去状态的状态数据130的一或多个初始经预测轨迹而确定第一对象202的初始经预测轨迹206。
在(504)处，方法500可包含确定与对象相关联的交互。例如，运载工具计算系统102可至少部分地基于在运载工具104的周围环境内第一对象202的初始经预测轨迹206及/或一或多个第二对象(例如，对象208)的一或多个初始经预测轨迹而确定第一对象202与一或多个第二对象之间的交互。举例来说，运载工具计算系统104可确定两个对象可在每一对象的相应轨迹将相交或重叠的情况下交互。在一些实施方案中，运载工具计算系统102可至少部分地基于机器学习型模型而确定第一对象202与一或多个第二对象之间的交互。
在(506)处，方法500可包含至少部分地基于交互而确定对象的一或多个经预测交互轨迹。例如，运载工具计算系统102可至少部分地基于第一对象202与一或多个第二对象之间的交互而确定第一对象202在周围环境内的一或多个经预测交互轨迹220A到220B。如本文中所描述，运载工具计算系统102可基于基于规则的模型、机器学习型模型、图形模型、传感器数据等确定经预测交互轨迹。
在(508)处，方法500可确定一或多个相应经预测交互轨迹中的每一者的概率。例如，运载工具计算系统102可确定相应一或多个经预测交互轨迹中的每一者的概率。相应交互轨迹的概率可指示第一对象202根据相应经预测交互轨迹行动的可能性。作为实例，运载工具计算系统102可迭代地确定第一对象202在周围环境内的一或多个经预测交互轨迹220A到220B。运载工具计算系统102可针对一或多个经预测交互轨迹220A到220B中的每一者确定第一对象202将根据相应经预测交互轨迹行动的可能性。如本文中所描述，运载工具计算系统102可至少部分地基于一或多个经预测交互轨迹220A到220B中的每一者的概率而确定相应一或多个经预测交互轨迹220A到220B中的每一者的得分。
在(510)处，方法500可包含输出指示一或多个经预测交互轨迹的数据。例如，运载工具计算系统102可输出指示第一对象202的一或多个经预测交互轨迹220A到220B的数据。此数据可从预测系统126输出到运动规划系统128及/或输出到存储器(例如，机载于运载工具104上)。在(512)处，运载工具计算系统102可至少部分地基于一或多个经预测交互轨迹而确定运载工具的运动规划。举例来说，运载工具计算系统102可在确定运载工具104的运动规划时(例如，作为其成本数据分析的一部分)考虑第一对象202的经预测交互轨迹的中的每一者。在(514)处，运载工具计算系统102可实施运动规划。例如，运载工具计算系统102可致使运载工具104根据运动规划的至少一部分起始运动。
图6描绘根据本发明的实例实施例的实例系统600的实例系统组件。实例系统600可包含经由一或多个网络680通信地耦合的运载工具计算系统102、操作计算系统106及机器学习计算系统630。
运载工具计算系统102可包含一或多个计算装置601。运载工具计算系统102的计算装置601可包含处理器602及存储器604(例如，机载于运载工具104上)。一或多个处理器602可为任何适合处理装置(例如，处理器核心、微处理器、ASIC、FPGA、控制器、微控制器等)且可为一个处理器或操作地连接的多个处理器。存储器604可包含一或多个非暂时性计算机可读存储媒体，例如RAM、ROM、EEPROM、EPROM、一或多个存储器装置、快闪存储器装置等及其组合。
存储器604可存储可由一或多个处理器602获得的信息。例如，存储器604(例如，一或多个非暂时性计算机可读存储媒体、存储器装置)可包含可由一或多个处理器602执行的计算机可读指令606。指令606可为以任何适合编程语音编写的软件或可以硬件实施。另外或替代地，指令606可在处理器602上的逻辑上及/或实际上单独的线程中执行。
举例来说，存储器604可存储指令606，指令606当由一或多个处理器602执行时致使一或多个处理器602(计算系统102)执行例如以下各项中的任一者的操作：如本文中所描述的运载工具计算系统102或运载工具计算系统102经配置以用于的运载工具104的操作及功能，用于确定对象运动及控制运载工具的操作(例如，方法500的一或多个部分)，及/或如本文中所描述的运载工具计算系统102的任何其它操作及功能。
存储器604可存储可被获得(例如，接收、存取、写入、操纵、产生、创建等)及/或存储的数据608。数据608可包含例如传感器数据、状态数据、预测数据、指示交互的数据、指示策略的数据、指示图形模型的数据、指示基于规则的模型的数据、指示机器学习型模型的数据、输入数据、输出数据、指示经预测交互轨迹的数据、指示运动规划的数据、地图数据及/或本文中所描述的其它数据/信息。在一些实施方案中，计算装置601可从远离运载工具104的一或多个存储器装置获得数据。
计算装置601还可包含用于与机载于运载工具104上的一或多个其它系统及/或远离运载工具104的远程计算装置(例如，图6的其它系统等)通信的通信接口609。通信接口609可包含用于经由一或多个网络(例如，680)通信的任何电路、组件、软件等。在一些实施方案中，通信接口609可包含例如通信控制器、接收器、收发器、发射器、端口、导体、用于传递数据/信息的软件及/或硬件中的一或多者。
操作计算系统106可执行用于管理运载工具(例如，自主运载工具机群)的操作及功能及/或本文中所描述的其它操作及功能。操作计算系统106可位于远离运载工具104处。举例来说，操作计算系统106可离线地、非机载地操作等。操作计算系统106可包含一或多个相异的物理计算装置。
操作计算系统106可包含一或多个计算装置620。一或多个计算装置620可包含一或多个处理器622及一存储器624。一或多个处理器622可为任何适合处理装置(例如，处理器核心、微处理器、ASIC、FPGA、控制器、微控制器等)且可一个处理器或操作地连接的多个处理器。存储器624可包含一或多个非暂时性计算机可读存储媒体，例如RAM、ROM、EEPROM、EPROM、一或多个存储器装置、快闪存储器装置等及其组合。
存储器624可存储可由一或多个处理器622存取的信息。例如，存储器624(例如，一或多个非暂时性计算机可读存储媒体、存储器装置)可存储可被获得、接收、存取、写入、操纵、创建及/或存储的数据626。数据626可包含例如指示模型的数据、与运载工具的相关联的数据及/或本文中所描述的其它数据或信息。在一些实施方案中，操作计算系统106可从远离操作计算系统106的一或多个存储器装置获得数据。
存储器624还可存储可由一或多个处理器622执行的计算机可读指令628。指令628可为以任何适合编程语言编写的软件或可以硬件实施。另外或替代地，指令628可在处理器622上的逻辑上及/或实际上单独的线程中执行。举例来说，存储器624可存储当由一或多个处理器622执行时致使一或多个处理器622执行操作计算系统106的操作及/或功能中的任一者及/或其它操作及功能的指令628。
计算装置620还可包含用于与一或多个其它系统通信的通信接口629。通信接口629可包含用于经由一或多个网络(例如，680)通信的任何电路、组件、软件等。在一些实施方案中，通信接口629可包含例如通信控制器、接收器、收发器、发射器、端口、导体、用于传递数据/信息的软件及/或硬件中的一或多者。
根据本发明的一方面，运载工具计算系统102及/或操作计算系统106可存储或包含一或多个机器学习型模型640。作为实例，机器学习型模型640可为或可以其它方式包含各种机器学习型模型，例如神经网络(例如，深度神经网络)、支持向量机、决策树、组合模型、k近邻模型、贝叶斯(Bayesian)网络，或包含线性模型及/或非线性模型等其它类型的模型。实例神经网络包含前馈神经网络、循环神经网络(例如，长短期记忆循环神经网络)或其它形式的神经网络。机器学习型模型640可包含模型302及/或如本文中所描述的其它模型。
在一些实施方案中，运载工具计算系统102及/或操作计算系统106可经由网络680从机器学习计算系统630接收一或多个机器学习型模型640且可将一或多个机器学习型模型640存储于相应系统的存储器中。运载工具计算系统102及/或操作计算系统106可使用或以其它方式实施一或多个机器学习型模型640(例如，通过处理器602、622)。特定来说，运载工具计算系统102及/或操作计算系统106可实施机器学习型模型640以确定对象交互及/或经预测交互轨迹，如本文中所描述。
机器学习计算系统630可包含一或多个处理器632及一存储器634。一或多个处理器632可为任何适合处理装置(例如，处理器核心、微处理器、ASIC、FPGA、控制器、微控制器等)且可为一个处理器或操作地连接的多个处理器。存储器634可包含一或多个非暂时性计算机可读存储媒体，例如RAM、ROM、EEPROM、EPROM、一或多个存储器装置、快闪存储器装置等及其组合。
存储器634可存储可由一或多个处理器632存取的信息。例如，存储器634(例如，一或多个非暂时性计算机可读存储媒体、存储器装置)可存储可被获得、接收、存取、写入、操纵、创建及/或存储的数据636。在一些实施方案中，机器学习计算系统630可从远离机器学习计算系统630的一或多个存储器装置获得数据。
存储器634还可存储可由一或多个处理器632执行的计算机可读指令638。指令638可为以任何适合编程语言编写的软件或可以硬件实施。另外或替代地，指令638可处理器632上的逻辑上及/或实际上单独的线程中执行。存储器634可存储当由一或多个处理器632执行时致使一或多个处理器632执行操作的指令638。机器学习计算系统630可包含通信系统639，通信系统639包含与关于运载工具计算系统102及/或操作计算系统106所描述的装置及/或功能类似的装置及/或功能。
在一些实施方案中，机器学习计算系统630可包含一或多个服务器计算装置。如果机器学习计算系统630包含多个服务器计算装置，那么此些服务器计算装置可根据包含例如顺序计算架构、并行计算架构或其某一组合的各种计算架构来操作。
作为运载工具计算系统102及/或操作计算系统106处的模型640的补充或替代，机器学习计算系统630可包含一或多个机器学习型模型650。作为实例，机器学习型模型650可为或可以其它方式包含各种机器学习型模型，例如神经网络(例如，深度神经网络)、支持向量机、决策树、组合模型、k近邻模型、贝叶斯网络，或包含线性模型及/或非线性模型等其它类型的模型。实例神经网络包含前馈神经网络、循环神经网络(例如，长短期存储器)循环神经网络或其它形式的神经网络。机器学习型模型650可与机器学习型模型640类似及/或相同。
作为实例，机器学习计算系统630可根据客户端-服务器关系与运载工具计算系统102及/或操作计算系统106通信。举例来说，机器学习计算系统630可实施机器学习型模型650以为运载工具计算系统102及/或操作计算系统106提供web服务。举例来说，web服务可为与运载工具相关联的实体提供机器学习型模型；使得所述实体可实施机器学习型模型(例如，以预测运载工具的周围环境内的对象运动等)。因此，机器学习型模型650可位于运载工具计算系统102及/或操作计算系统106处且在其处使用，及/或机器学习型模型650可位于机器学习计算系统630处且在其处使用。
在一些实施方案中，机器学习计算系统630、运载工具计算系统102及/或操作计算系统106可通过使用模型训练器660来训练机器学习型模型640及/或650。模型训练器660可使用一或多个训练或学习算法来训练机器学习型模型640及/或650。一种实例训练技术是错误的向后传播。在一些实施方案中，模型训练器660可使用一组经标记训练数据执行监督式训练技术。在其它实施方案中，模型训练器660可使用一组未经标记训练数据执行无监督式训练技术。模型训练器660可执行若干个泛化技术以改善被训练的模型的泛化能力。泛化技术包含权重衰减、放弃(dropout)或其它技术。
特定来说，模型训练器660可基于一组训练数据662训练机器学习型模型640及/或650。训练数据662可包含例如来自先前事件的若干组数据(例如，与先前观察到的交互相关联的驾驶日志数据)。在一些实施方案中，训练数据662可包含指示使用基于规则的算法确定的交互及/或经预测交互轨迹的数据。在一些实施方案中，训练数据662可从与利用所述模型640/650的运载工具相同的运载工具获得。以此方式，模型640/650可经训练而以相对所述特定运载工具修整的方式确定输出。另外或替代地，训练数据662可从与利用所述模型640/650的运载工具不同的一或多个运载工具获得。模型训练器660可以控制一或多个处理器的硬件、固件及/或软件实施。
网络680可为允许装置之间的通信的任何类型的网络或网络组合。在一些实施例中，网络680可包含局域网、广域网、因特网、安全网络、蜂窝式网络、网状网络、对等通信链路中的一或多者及/或其某一组合且可包含任何数目个有线或无线链路。经由网络680的通信可例如经由使用任何类型的协议、保护方案、编码、格式、封装等的网络接口实现。
图6图解说明可用于实施本发明的一个实例系统600。还可使用其它计算系统。举例来说，在一些实施方案中，运载工具计算系统102及/或操作计算系统106可包含模型训练器660及训练数据集662。在此类实施方案中，在运载工具计算系统102及/或操作计算系统106处，机器学习型模型640既可被训练又可在本地被使用。作为另一实例，在一些实施方案中，运载工具计算系统102及/或操作计算系统106可不连接到其它计算系统。
本文中论述为在远离运载工具的计算装置处执行的计算任务可替代地在运载工具处(例如，经由运载工具计算系统)执行，或反之亦然。此类配置可在不背离本发明的范围的情况下实施。基于计算机的系统的使用允许组件之间及当中的任务及功能性的多种多样的可能配置、组合及划分。计算机实施的操作可在单个组件上或跨越多个组件执行。计算机实施的任务及/或操作可依序或并行地执行。数据及指令可存储于单个存储器装置中或跨越多个存储器装置来存储。
虽然已关于特定实例实施例及其方法详细地描述了本发明标的物，但将了解，所属领域的技术人员在获得对前述内容的理解后可即刻容易地产生对此类实施例的替代形式、变化形式及等效方案。因此，本发明的范围是通过实例方式而非通过限制方式，且本发明不排除包含对本发明标的物的此类修改、变化形式及/或添加，如所属领域的普通技术人员将容易地了解。

Claims (29)

1.一种计算系统，其包括：
一或多个处理器；及
一或多个有形非暂时性计算机可读介质，其存储当由所述一或多个处理器执行时致使所述计算系统执行包括以下各项的操作的指令：
获得与自主运载工具的周围环境内的第一对象及一或多个第二对象相关联的数据；
至少部分地基于与所述第一对象及所述一或多个第二对象相关联的所述数据而确定所述第一对象与所述一或多个第二对象之间的交互，其中所述第一对象与所述一或多个第二对象之间的所述交互是至少部分地基于与所述自主运载工具的所述周围环境相关联的地图数据而确定的；
至少部分地基于所述第一对象与所述一或多个第二对象之间的所述交互而确定所述第一对象在所述周围环境内的一或多个经预测轨迹；及
输出指示所述第一对象的所述一或多个经预测轨迹的数据。
2.根据权利要求1所述的计算系统，其中与所述周围环境内的所述第一对象及所述一或多个第二对象相关联的所述数据包括指示所述第一对象在所述周围环境内的初始经预测轨迹的数据。
3.根据权利要求2所述的计算系统，其进一步包括：
获得指示所述周围环境内的所述第一对象的一或多个当前或过去状态的状态数据；及
至少部分地基于指示所述周围环境内的所述第一对象的所述一或多个当前或过去状态的所述状态数据而确定所述第一对象的所述初始经预测轨迹。
4.根据权利要求2所述的计算系统，其中确定所述第一对象与所述一或多个第二对象之间的所述交互包括：
至少部分地基于所述第一对象的所述初始经预测轨迹而确定所述第一对象与所述一或多个第二对象之间的所述交互。
5.根据权利要求1所述的计算系统，其中所述操作进一步包括：
确定所述相应一或多个经预测轨迹中的每一者的概率，其中所述概率指示所述第一对象根据所述相应经预测轨迹行动的可能性。
6.根据权利要求1所述的计算系统，其中确定所述第一对象在所述周围环境内的所述一或多个经预测轨迹包括：
获得指示机器学习型交互预测模型的数据；
将与所述第一对象及所述一或多个第二对象相关联的所述数据输入到所述机器学习型交互预测模型中；及
从所述机器学习型交互预测模型获得输出，其中所述输出指示所述第一对象在所述周围环境内的所述一或多个经预测轨迹。
7.根据权利要求1所述的计算系统，其中所述交互与交通规则相关联。
8.根据权利要求1所述的计算系统，其中所述一或多个第二对象包含所述周围环境内的静态对象。
9.根据权利要求1所述的计算系统，其中所述一或多个第二对象包含所述周围环境内的行动者对象。
10.根据权利要求1所述的计算系统，其中所述一或多个第二对象包含所述自主运载工具。
11.根据权利要求1所述的计算系统，
其中确定所述第一对象与所述一或多个第二对象之间的所述交互包括：确定所述第一对象的第一经预测轨迹与所述一或多个第二对象的一或多个第二经预测轨迹冲突，且
其中确定所述第一对象在所述周围环境内的所述一或多个经预测轨迹包括：响应于确定所述第一对象的所述第一经预测轨迹与所述一或多个第二对象的所述一或多个第二经预测轨迹冲突，确定所述第一对象的所述一或多个经预测轨迹，使得所述第一对象的所述一或多个经预测轨迹不与所述一或多个第二对象的所述一或多个第二经预测轨迹冲突。
12.根据权利要求1所述的计算系统，
其中确定所述第一对象与所述一或多个第二对象之间的所述交互包括：使用图形模型使所述第一对象与所述一或多个第二对象相关联，且
其中确定所述第一对象在所述周围环境内的一或多个经预测轨迹包括：在使所述第一对象与所述一或多个第二对象相关联之后，基于所述图形模型而确定所述第一对象的所述一或多个经预测轨迹。
13.一种自主运载工具，其包括：
一或多个处理器；及
一或多个有形非暂时性计算机可读介质，其存储当由所述一或多个处理器执行时致使计算系统执行包括以下各项的操作的指令：
获得指示周围环境内的第一对象及一或多个第二对象的一或多个当前或过去状态的状态数据；
至少部分地基于指示所述第一对象的所述一或多个当前或过去状态的所述状态数据而确定所述第一对象在所述周围环境内的初始经预测轨迹；
至少部分地基于所述第一对象的所述初始经预测轨迹而确定所述第一对象与所述一或多个第二对象之间的交互，其中所述第一对象与所述一或多个第二对象之间的所述交互是至少部分地基于与所述周围环境相关联的地图数据而确定的；及
至少部分地基于所述第一对象与所述一或多个第二对象之间的所述交互而确定所述第一对象在所述周围环境内的一或多个经预测轨迹。
14.根据权利要求13所述的自主运载工具，其中所述操作进一步包括：
至少部分地基于所述第一对象在所述周围环境内的所述一或多个经预测轨迹而确定所述自主运载工具的运动规划；及
致使所述自主运载工具根据所述运动规划的至少一部分起始运动。
15.根据权利要求13所述的自主运载工具，其中所述操作进一步包括：
确定所述相应一或多个经预测轨迹中的每一者的概率，其中所述相应经预测轨迹的所述概率指示所述第一对象根据所述相应经预测轨迹行动的可能性。
16.根据权利要求15所述的自主运载工具，其中所述操作进一步包括：
至少部分地基于一或多个经预测交互轨迹中的每一者的所述概率而确定所述相应一或多个经预测交互轨迹中的每一者的得分。
17.根据权利要求13所述的自主运载工具，其中确定所述第一对象与所述一或多个第二对象之间的所述交互包括：
至少部分地基于机器学习型模型而确定所述第一对象与所述一或多个第二对象之间的所述交互。
18.一种用于确定对象运动的计算机实施的方法，其包括：
通过包括一或多个计算装置的计算系统获得指示第一对象在自主运载工具的周围环境内的初始经预测轨迹的数据；
通过所述计算系统至少部分地基于所述第一对象在所述自主运载工具的所述周围环境内的所述初始经预测轨迹而确定所述第一对象与一或多个第二对象之间的交互，其中所述第一对象与所述一或多个第二对象之间的所述交互是至少部分地基于与所述自主运载工具的所述周围环境相关联的地图数据而确定的；
通过所述计算系统至少部分地基于所述第一对象与所述一或多个第二对象之间的所述交互而确定所述第一对象在所述周围环境内的一或多个经预测轨迹；及
通过所述计算系统输出指示所述第一对象的所述一或多个经预测轨迹的数据。
19.根据权利要求18所述的计算机实施的方法，其中通过所述计算系统确定所述第一对象的所述一或多个经预测轨迹包括：
通过所述计算系统迭代地确定所述第一对象在所述周围环境内的所述一或多个经预测轨迹；及
通过所述计算系统针对所述一或多个经预测轨迹中的每一者确定所述第一对象将根据所述相应经预测轨迹行动的可能性。
20.一种计算系统，其包括：
一或多个处理器；及
一或多个有形非暂时性计算机可读介质，其存储当由所述一或多个处理器执行时致使所述计算系统执行包括以下各项的操作的指令：
获得与自主运载工具的周围环境内的第一对象及一或多个第二对象相关联的数据；
至少部分地基于与所述第一对象及所述一或多个第二对象相关联的所述数据而确定所述第一对象与所述一或多个第二对象之间的交互；
至少部分地基于所述第一对象与所述一或多个第二对象之间的所述交互而确定所述第一对象在所述周围环境内的一或多个经预测轨迹；
确定所述相应一或多个经预测轨迹中的每一者的概率，其中所述概率指示所述第一对象根据所述相应经预测轨迹行动的可能性；及
输出指示所述第一对象的所述一或多个经预测轨迹的数据。
21.一种计算系统，其包括：
一或多个处理器；及
一或多个有形非暂时性计算机可读介质，其存储当由所述一或多个处理器执行时致使所述计算系统执行包括以下各项的操作的指令：
获得与自主运载工具的周围环境内的第一对象及一或多个第二对象相关联的数据；
至少部分地基于与所述第一对象及所述一或多个第二对象相关联的所述数据而确定所述第一对象与所述一或多个第二对象之间的交互；
至少部分地基于所述第一对象与所述一或多个第二对象之间的所述交互而确定所述第一对象在所述周围环境内的一或多个经预测轨迹，其中确定所述第一对象在所述周围环境内的所述一或多个经预测轨迹包括：
获得指示机器学习型交互预测模型的数据；
将与所述第一对象及所述一或多个第二对象相关联的所述数据输入到所述机器学习型交互预测模型中；及
从所述机器学习型交互预测模型获得输出，其中所述输出指示所述第一对象在所述周围环境内的所述一或多个经预测轨迹；及
输出指示所述第一对象的所述一或多个经预测轨迹的数据。
22.一种计算系统，其包括：
一或多个处理器；及
一或多个有形非暂时性计算机可读介质，其存储当由所述一或多个处理器执行时致使所述计算系统执行包括以下各项的操作的指令：
获得与自主运载工具的周围环境内的第一对象及一或多个第二对象相关联的数据；
至少部分地基于与所述第一对象及所述一或多个第二对象相关联的所述数据而确定所述第一对象与所述一或多个第二对象之间的交互，其中确定所述第一对象与所述一或多个第二对象之间的所述交互包括确定所述第一对象的第一经预测轨迹与所述一或多个第二对象的一或多个第二经预测轨迹冲突；
至少部分地基于所述第一对象与所述一或多个第二对象之间的所述交互而确定所述第一对象在所述周围环境内的一或多个经预测轨迹，其中确定所述第一对象在所述周围环境内的所述一或多个经预测轨迹包括：响应于确定所述第一对象的所述第一经预测轨迹与所述一或多个第二对象的所述一或多个第二经预测轨迹冲突，确定所述第一对象的所述一或多个经预测轨迹，使得所述第一对象的所述一或多个经预测轨迹不与所述一或多个第二对象的所述一或多个第二经预测轨迹冲突；及
输出指示所述第一对象的所述一或多个经预测轨迹的数据。
23.一种计算系统，其包括：
一或多个处理器；及
一或多个有形非暂时性计算机可读介质，其存储当由所述一或多个处理器执行时致使所述计算系统执行包括以下各项的操作的指令：
获得与自主运载工具的周围环境内的第一对象及一或多个第二对象相关联的数据；
至少部分地基于与所述第一对象及所述一或多个第二对象相关联的所述数据而确定所述第一对象与所述一或多个第二对象之间的交互，其中确定所述第一对象与所述一或多个第二对象之间的所述交互包括：使用图形模型使所述第一对象与所述一或多个第二对象相关联；
至少部分地基于所述第一对象与所述一或多个第二对象之间的所述交互而确定所述第一对象在所述周围环境内的一或多个经预测轨迹，其中确定所述第一对象在所述周围环境内的所述一或多个经预测轨迹包括：在使所述第一对象与所述一或多个第二对象相关联之后，基于所述图形模型而确定所述第一对象的所述一或多个经预测轨迹；及
输出指示所述第一对象的所述一或多个经预测轨迹的数据。
24.一种自主运载工具，其包括：
一或多个处理器；及
一或多个有形非暂时性计算机可读介质，其存储当由所述一或多个处理器执行时致使计算系统执行包括以下各项的操作的指令：
获得指示周围环境内的第一对象及一或多个第二对象的一或多个当前或过去状态的状态数据；至少部分地基于指示所述第一对象的所述一或多个当前或过去状态的所述状态数据而确定所述第一对象在所述周围环境内的初始经预测轨迹；
至少部分地基于所述第一对象的所述初始经预测轨迹而确定所述第一对象与所述一或多个第二对象之间的交互；
至少部分地基于所述第一对象与所述一或多个第二对象之间的所述交互而确定所述第一对象在所述周围环境内的一或多个经预测轨迹；及
确定所述相应一或多个经预测轨迹中的每一者的概率，其中所述相应经预测轨迹的所述概率指示所述第一对象根据所述相应经预测轨迹行动的可能性。
25.一种自主运载工具，其包括：
一或多个处理器；及
一或多个有形非暂时性计算机可读介质，其存储当由所述一或多个处理器执行时致使计算系统执行包括以下各项的操作的指令：
获得指示周围环境内的第一对象及一或多个第二对象的一或多个当前或过去状态的状态数据；
至少部分地基于指示所述第一对象的所述一或多个当前或过去状态的所述状态数据而确定所述第一对象在所述周围环境内的初始经预测轨迹；
至少部分地基于所述第一对象的所述初始经预测轨迹而确定所述第一对象与所述一或多个第二对象之间的交互；及
至少部分地基于所述相应一或多个经预测交互轨迹中的每一者的概率而确定所述一或多个经预测交互轨迹中的每一者的得分。
26.一种用于确定对象运动的计算机实施的方法，其包括：
通过包括一或多个计算装置的计算系统获得指示第一对象在自主运载工具的周围环境内的初始经预测轨迹的数据；
通过所述计算系统至少部分地基于所述第一对象在所述自主运载工具的所述周围环境内的所述初始经预测轨迹而确定所述第一对象与一或多个第二对象之间的交互；
通过所述计算系统至少部分地基于所述第一对象与所述一或多个第二对象之间的所述交互而确定所述第一对象在所述周围环境内的一或多个经预测轨迹，其中确定所述第一对象的所述一或多个经预测轨迹包括：
通过所述计算系统迭代地确定所述第一对象在所述周围环境内的所述一或多个经预测轨迹；及
通过所述计算系统针对所述一或多个经预测轨迹中的每一者确定所述第一对象将根据所述相应经预测轨迹行动的可能性；及
通过所述计算系统输出指示所述第一对象的所述一或多个经预测轨迹的数据。
27.根据权利要求1所述的计算系统，其中所述第一对象和所述第二对象中的至少一者是行人。
28.根据权利要求1所述的计算系统，其中所述第一对象和所述第二对象中的至少一者是运载工具。
29.根据权利要求1所述的计算系统，其中所述第一对象和所述第二对象中的至少一者是自行车。
CN201880086021.6A 2017-11-22 2018-11-21 用于自主运载工具的对象交互预测系统及方法 Active CN111656295B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111423961.XA CN114326705B (zh) 2017-11-22 2018-11-21 用于自主运载工具的对象交互预测系统及方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762589951P 2017-11-22 2017-11-22
US62/589,951 2017-11-22
US15/848,564 US10562538B2 (en) 2017-11-22 2017-12-20 Object interaction prediction systems and methods for autonomous vehicles
US15/848,564 2017-12-20
PCT/US2018/062171 WO2019104112A1 (en) 2017-11-22 2018-11-21 Object interaction prediction systems and methods for autonomous vehicles

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111423961.XA Division CN114326705B (zh) 2017-11-22 2018-11-21 用于自主运载工具的对象交互预测系统及方法

Publications (2)

Publication Number Publication Date
CN111656295A CN111656295A (zh) 2020-09-11
CN111656295B true CN111656295B (zh) 2021-12-14

Family

ID=66534386

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111423961.XA Active CN114326705B (zh) 2017-11-22 2018-11-21 用于自主运载工具的对象交互预测系统及方法
CN201880086021.6A Active CN111656295B (zh) 2017-11-22 2018-11-21 用于自主运载工具的对象交互预测系统及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202111423961.XA Active CN114326705B (zh) 2017-11-22 2018-11-21 用于自主运载工具的对象交互预测系统及方法

Country Status (5)

Country Link
US (3) US10562538B2 (zh)
EP (1) EP3714345B1 (zh)
JP (1) JP7150846B2 (zh)
CN (2) CN114326705B (zh)
WO (1) WO2019104112A1 (zh)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11112796B2 (en) * 2017-08-08 2021-09-07 Uatc, Llc Object motion prediction and autonomous vehicle control
US10156850B1 (en) * 2017-12-08 2018-12-18 Uber Technologies, Inc. Object motion prediction and vehicle control systems and methods for autonomous vehicles
US11262756B2 (en) * 2018-01-15 2022-03-01 Uatc, Llc Discrete decision architecture for motion planning system of an autonomous vehicle
JP6979366B2 (ja) * 2018-02-07 2021-12-15 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
US20180215377A1 (en) * 2018-03-29 2018-08-02 GM Global Technology Operations LLC Bicycle and motorcycle protection behaviors
DE102018205199B4 (de) * 2018-04-06 2021-03-18 Volkswagen Aktiengesellschaft Ermittlung und Verwendung von Haltepunkten für Kraftfahrzeuge
US10990096B2 (en) * 2018-04-27 2021-04-27 Honda Motor Co., Ltd. Reinforcement learning on autonomous vehicles
CN112236732B (zh) * 2018-05-30 2022-04-19 西门子工业软件公司 控制自主车辆设备重复遵循相同预定轨迹的方法和系统
US11112795B1 (en) * 2018-08-07 2021-09-07 GM Global Technology Operations LLC Maneuver-based interaction system for an autonomous vehicle
US10795362B2 (en) 2018-08-20 2020-10-06 Waymo Llc Detecting and responding to processions for autonomous vehicles
US11110922B2 (en) * 2018-11-05 2021-09-07 Zoox, Inc. Vehicle trajectory modification for following
US10814870B2 (en) * 2018-12-04 2020-10-27 GM Global Technology Operations LLC Multi-headed recurrent neural network (RNN) for multi-class trajectory predictions
EP3683782B1 (en) * 2019-01-18 2023-06-28 Honda Research Institute Europe GmbH Method for assisting a driver, driver assistance system, and vehicle including such driver assistance system
US11351991B2 (en) * 2019-03-25 2022-06-07 Zoox, Inc. Prediction based on attributes
US10933867B2 (en) * 2019-05-10 2021-03-02 Arnouse Digital Devices Corporation Artificial intelligence based collision avoidance system and method
GB2611225B (en) * 2019-05-29 2023-10-18 Motional Ad Llc Estimating speed profiles
US11814046B2 (en) 2019-05-29 2023-11-14 Motional Ad Llc Estimating speed profiles
US20200406894A1 (en) * 2019-06-28 2020-12-31 Zoox, Inc. System and method for determining a target vehicle speed
CN114080634B (zh) * 2019-07-03 2024-04-26 伟摩有限责任公司 使用锚定轨迹的代理轨迹预测
US11934191B2 (en) * 2019-07-05 2024-03-19 Huawei Technologies Co., Ltd. Method and system for predictive control of vehicle using digital images
US11023749B2 (en) * 2019-07-05 2021-06-01 Zoox, Inc. Prediction on top-down scenes based on action data
US11636307B2 (en) * 2019-07-08 2023-04-25 Uatc, Llc Systems and methods for generating motion forecast data for actors with respect to an autonomous vehicle and training a machine learned model for the same
DE102019118366A1 (de) * 2019-07-08 2021-01-14 Zf Friedrichshafen Ag Verfahren sowie Steuergerät für ein System zum Steuern eines Kraftfahrzeugs
US11427146B2 (en) * 2019-07-10 2022-08-30 Pony Ai Inc. Collision protection
CN112242069B (zh) * 2019-07-17 2021-10-01 华为技术有限公司 一种确定车速的方法和装置
US11741719B2 (en) * 2019-08-27 2023-08-29 GM Global Technology Operations LLC Approach to maneuver planning for navigating around parked vehicles for autonomous driving
US11403853B2 (en) * 2019-08-30 2022-08-02 Waymo Llc Occupancy prediction neural networks
US11537127B2 (en) 2019-09-12 2022-12-27 Uatc, Llc Systems and methods for vehicle motion planning based on uncertainty
US11345342B2 (en) * 2019-09-27 2022-05-31 Intel Corporation Potential collision warning system based on road user intent prediction
CN112572462B (zh) * 2019-09-30 2022-09-20 阿波罗智能技术(北京)有限公司 自动驾驶的控制方法、装置、电子设备及存储介质
US11754408B2 (en) 2019-10-09 2023-09-12 Argo AI, LLC Methods and systems for topological planning in autonomous driving
US11912271B2 (en) * 2019-11-07 2024-02-27 Motional Ad Llc Trajectory prediction from precomputed or dynamically generated bank of trajectories
CN110949381B (zh) * 2019-11-12 2021-02-12 深圳大学 一种驾驶行为危险度的监测方法及装置
WO2021111164A1 (ja) * 2019-12-02 2021-06-10 日産自動車株式会社 車両制御方法及び車両制御装置
EP3855120A1 (en) * 2020-01-23 2021-07-28 Robert Bosch GmbH Method for long-term trajectory prediction of traffic participants
JP2021131662A (ja) * 2020-02-19 2021-09-09 株式会社Ｙｋｇ木谷 輸送手段の安全情報システム
JP7345043B2 (ja) * 2020-02-24 2023-09-14 日産自動車株式会社 車両制御方法及び車両制御装置
US11328433B2 (en) * 2020-02-25 2022-05-10 Honda Motor Co., Ltd. Composite field based single shot prediction
US11385642B2 (en) 2020-02-27 2022-07-12 Zoox, Inc. Perpendicular cut-in training
US11263896B2 (en) * 2020-04-06 2022-03-01 B&H Licensing Inc. Method and system for detecting jaywalking of vulnerable road users
EP3896942A1 (en) * 2020-04-16 2021-10-20 Robert Bosch GmbH On-board unit, method for cooperative driving, model determination unit, method for determining a machine-learning communication model, system, method, vehicle, and user equipment
EP4146510A4 (en) * 2020-05-08 2024-05-01 Zoox Inc TRAJECTORY CLASSIFICATION
US11577759B2 (en) 2020-05-26 2023-02-14 Toyota Research Institute, Inc. Systems and methods for hybrid prediction framework with inductive bias
US11465619B2 (en) * 2020-05-27 2022-10-11 Zoox, Inc. Vehicle collision avoidance based on perturbed object trajectories
US11698639B2 (en) * 2020-06-04 2023-07-11 Waymo Llc Predicting jaywalking behaviors of vulnerable road users
US20220048503A1 (en) 2020-08-12 2022-02-17 Argo AI, LLC Path-conditioned motion forecasting for vehicle motion planning
US11814075B2 (en) * 2020-08-26 2023-11-14 Motional Ad Llc Conditional motion predictions
US11767037B2 (en) 2020-09-22 2023-09-26 Argo AI, LLC Enhanced obstacle detection
GB2599727A (en) * 2020-10-12 2022-04-13 Daimler Ag Predicting the behavior of a vehicle using agent-to-agent relations to control an autonomous vehicle
CN114500736B (zh) * 2020-10-23 2023-12-05 广州汽车集团股份有限公司 一种智能终端运动轨迹决策方法及其系统、存储介质
US11858536B1 (en) * 2020-10-31 2024-01-02 Uatc, Llc Systems and methods for interactive prediction and planning
US11794732B2 (en) * 2020-11-05 2023-10-24 Zoox, Inc. Allocation of safety system resources based on probability of intersection
US20220156576A1 (en) * 2020-11-13 2022-05-19 Amir RASOULI Methods and systems for predicting dynamic object behavior
CA3139481A1 (en) * 2020-11-17 2022-05-17 Uatc, Llc Systems and methods for actor motion forecasting within a surrounding environment of an autonomous vehicle
US11753044B2 (en) * 2020-11-18 2023-09-12 Argo AI, LLC Method and system for forecasting reactions of other road users in autonomous driving
US11807233B1 (en) * 2020-12-23 2023-11-07 Zoox, Inc. Procedurally generated safety system determination
EP4024366A1 (en) 2020-12-30 2022-07-06 Argo AI GmbH Method for controlling a driving behavior of an autonomously driving vehicle, processing device for performing the method, data storage medium and vehicle
DE102021201410A1 (de) * 2021-02-15 2022-08-18 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zu einer Ermittlung einer Fortbewegungsrichtung eines zumindest teil-autonomen oder autonomen bewegbaren Geräts und Vorrichtung oder System
US11884269B2 (en) * 2021-02-19 2024-01-30 Argo AI, LLC Systems and methods for determining future intentions of objects
JP7388376B2 (ja) * 2021-02-24 2023-11-29 トヨタ自動車株式会社 遠隔支援システム、遠隔支援方法、及び遠隔支援プログラム
WO2022231519A1 (en) * 2021-04-26 2022-11-03 Nanyang Technological University Trajectory predicting methods and systems
EP4082853A1 (en) * 2021-04-28 2022-11-02 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Evaluation apparatus for evaluating a trajectory hypothesis for a vehicle
US20220371622A1 (en) * 2021-05-21 2022-11-24 Honda Motor Co., Ltd. System and method for completing joint risk localization and reasoning in driving scenarios
US11851054B2 (en) * 2021-06-18 2023-12-26 Zoox, Inc. Active prediction based on object trajectories
US11837090B2 (en) 2021-08-05 2023-12-05 Cyngn, Inc. System and methods of adaptive traffic rule-based decision making for autonomous driving
US20230060383A1 (en) * 2021-08-25 2023-03-02 Cyngn, Inc. System and method of off-board-centric autonomous driving computation
US20230182782A1 (en) * 2021-12-14 2023-06-15 Zoox, Inc. Identifying relevant objects within an environment
CN114291116B (zh) * 2022-01-24 2023-05-16 广州小鹏自动驾驶科技有限公司 周围车辆轨迹预测方法、装置、车辆及存储介质
CN114506344B (zh) * 2022-03-10 2024-03-08 福瑞泰克智能系统有限公司 一种车辆轨迹的确定方法及装置
US20230339394A1 (en) 2022-04-22 2023-10-26 Velo.Ai, Inc Artificially intelligent mobility safety system
CN114715145B (zh) * 2022-04-29 2023-03-17 阿波罗智能技术(北京)有限公司 一种轨迹预测方法、装置、设备及自动驾驶车辆
US11618463B1 (en) * 2022-06-30 2023-04-04 Plusai, Inc. Modified minimal risk maneuver using sensor input
US20240103522A1 (en) * 2022-09-27 2024-03-28 Aurora Operations, Inc. Perception system for an autonomous vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013005362A1 (de) * 2013-03-28 2013-10-10 Daimler Ag Verfahren zur Analyse einer Verkehrssituation
EP2923911A1 (en) * 2014-03-24 2015-09-30 Honda Research Institute Europe GmbH A method and system for predicting movement behavior of a target traffic object
US9248834B1 (en) * 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4957747B2 (ja) * 2009-05-18 2012-06-20 トヨタ自動車株式会社 車両環境推定装置
WO2011155043A1 (ja) * 2010-06-10 2011-12-15 トヨタ自動車株式会社 周囲状況予測装置
US9381916B1 (en) * 2012-02-06 2016-07-05 Google Inc. System and method for predicting behaviors of detected objects through environment representation
US8457827B1 (en) * 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US9235212B2 (en) * 2012-05-01 2016-01-12 5D Robotics, Inc. Conflict resolution based on object behavioral determination and collaborative relative positioning
DE102013212318A1 (de) * 2013-06-26 2014-12-31 Bayerische Motoren Werke Aktiengesellschaft Automatisierter Einparkvorgang mit zusätzlichem Korrekturzug
DE102013214233B4 (de) 2013-07-19 2015-02-05 Honda Motor Co., Ltd. Intelligentes Vorwärtskollisionswarnsystem
KR101610502B1 (ko) * 2014-09-02 2016-04-07 현대자동차주식회사 자율주행차량의 주행환경 인식장치 및 방법
DE102014221745A1 (de) * 2014-10-27 2016-04-28 Robert Bosch Gmbh Verfahren und System zur Überwachung eines Fahrzeugs auf einem Parkplatz
KR101664582B1 (ko) * 2014-11-12 2016-10-10 현대자동차주식회사 자율주행차량의 주행경로 생성장치 및 방법
JP6294247B2 (ja) 2015-01-26 2018-03-14 株式会社日立製作所 車両走行制御装置
US9701305B2 (en) * 2015-03-10 2017-07-11 GM Global Technology Operations LLC Automatic valet parking
DE102015214610A1 (de) * 2015-07-31 2017-02-02 Zf Friedrichshafen Ag Parkassistent
US10023231B2 (en) * 2015-08-12 2018-07-17 Madhusoodhan Ramanujam Parking autonomous vehicles
MY191482A (en) * 2015-10-22 2022-06-28 Nissan Motor Parking support information display method and parking support device
KR101850795B1 (ko) * 2015-11-09 2018-04-20 엘지전자 주식회사 주차 수행 장치 및 차량
WO2017132143A1 (en) * 2016-01-29 2017-08-03 Faraday&Future Inc. System and method for tracking moving objects to avoid interference with vehicular door operations
US20180374341A1 (en) * 2017-06-27 2018-12-27 GM Global Technology Operations LLC Systems and methods for predicting traffic patterns in an autonomous vehicle
US10611371B2 (en) * 2017-09-14 2020-04-07 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for vehicle lane change prediction using structural recurrent neural networks
US20190101924A1 (en) * 2017-10-03 2019-04-04 Uber Technologies, Inc. Anomaly Detection Systems and Methods for Autonomous Vehicles
US10739775B2 (en) * 2017-10-28 2020-08-11 Tusimple, Inc. System and method for real world autonomous vehicle trajectory simulation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013005362A1 (de) * 2013-03-28 2013-10-10 Daimler Ag Verfahren zur Analyse einer Verkehrssituation
EP2923911A1 (en) * 2014-03-24 2015-09-30 Honda Research Institute Europe GmbH A method and system for predicting movement behavior of a target traffic object
US9248834B1 (en) * 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information

Also Published As

Publication number Publication date
US20210122380A1 (en) 2021-04-29
WO2019104112A1 (en) 2019-05-31
US20190152490A1 (en) 2019-05-23
JP7150846B2 (ja) 2022-10-11
US10562538B2 (en) 2020-02-18
JP2021504812A (ja) 2021-02-15
US20200180648A1 (en) 2020-06-11
US10882535B2 (en) 2021-01-05
EP3714345A1 (en) 2020-09-30
CN111656295A (zh) 2020-09-11
CN114326705A (zh) 2022-04-12
CN114326705B (zh) 2023-07-14
EP3714345B1 (en) 2022-12-28

Similar Documents

Publication Publication Date Title
CN111656295B (zh) 用于自主运载工具的对象交互预测系统及方法
US11667283B2 (en) Autonomous vehicle motion control systems and methods
US11835951B2 (en) Object motion prediction and autonomous vehicle control
EP3704684B1 (en) Object motion prediction and vehicle control for autonomous vehicles
US10656657B2 (en) Object motion prediction and autonomous vehicle control
US20210240197A1 (en) Navigation with a Safe Longitudinal Distance
US20190101924A1 (en) Anomaly Detection Systems and Methods for Autonomous Vehicles
US11827240B2 (en) Systems and methods for costing autonomous vehicle maneuvers
US11891087B2 (en) Systems and methods for generating behavioral predictions in reaction to autonomous vehicle movement
US20220105959A1 (en) Methods and systems for predicting actions of an object by an autonomous vehicle to determine feasible paths through a conflicted area
US11964673B2 (en) Systems and methods for autonomous vehicle controls
US20220041146A1 (en) Systems and Methods for Emergency Braking in Autonomous Vehicles
CN116323350A (zh) 用于针对自主交通工具运动控制生成基本路径的系统和方法
US11966224B2 (en) Systems and methods for detecting surprise movements of an actor with respect to an autonomous vehicle
WO2024102431A1 (en) Systems and methods for emergency vehicle detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Pennsylvania, USA

Patentee after: Uatc Co.,Ltd.

Country or region after: U.S.A.

Address before: California, USA

Patentee before: Uatc Co.,Ltd.

Country or region before: U.S.A.

TR01 Transfer of patent right

Effective date of registration: 20240428

Address after: Pennsylvania, USA

Patentee after: Aurora operations

Country or region after: U.S.A.

Address before: Pennsylvania, USA

Patentee before: Uatc Co.,Ltd.

Country or region before: U.S.A.