CN113366497A - 自主载具的智能体优先级划分 - Google Patents

自主载具的智能体优先级划分 Download PDF

Info

Publication number
CN113366497A
CN113366497A CN201980088213.5A CN201980088213A CN113366497A CN 113366497 A CN113366497 A CN 113366497A CN 201980088213 A CN201980088213 A CN 201980088213A CN 113366497 A CN113366497 A CN 113366497A
Authority
CN
China
Prior art keywords
agents
agent
vehicle
high priority
identifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980088213.5A
Other languages
English (en)
Other versions
CN113366497B (zh
Inventor
K.丁
K.雷法特
S.罗斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN113366497A publication Critical patent/CN113366497A/zh
Application granted granted Critical
Publication of CN113366497B publication Critical patent/CN113366497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

方法、系统和装置，包括编码在计算机存储介质上的计算机程序，用于识别载具附近的高优先级智能体，并且仅对于作为高优先级智能体的那些智能体，使用第一预测模型生成表征智能体的数据。在第一方面，一种系统识别载具附近的环境中的多个智能体。该系统通过使用重要性评分模型处理每个智能体的特征表示来生成智能体中的每一个的相应重要性分数。智能体的重要性分数表征该智能体对由规划载具的将来轨迹的载具的规划系统生成的规划决策的估计的影响。系统将多个智能体中具有最高重要性分数的真子集识别为高优先级智能体。

Description

自主载具的智能体优先级划分
背景技术
本说明书涉及自主载具。
自主载具包括自动驾驶汽车、船只和飞机。自主载具使用各种机载传感器和计算机系统来检测附近的对象，并使用这样的检测来做出控制和导航决策。
发明内容
本说明书描述了一种被实现为载具上的计算机程序的系统，该系统基于载具附近的智能体对由载具的规划系统生成的规划决策的估计的影响生成智能体的预测数据。
根据第一方面，提供了一种由一个或多个数据处理装置执行的方法。该方法包括识别载具附近的环境中的多个智能体。生成智能体中的每一个的相应重要性分数，包括对于每个智能体：使用重要性评分模型处理智能体的特征表示以生成智能体的重要性分数，其中，智能体的重要性分数表征智能体对由规划载具的将来轨迹的载具的规划系统生成的规划决策的估计的影响；将多个智能体中具有最高重要性分数的真子集识别为高优先级智能体；仅对于多个智能体中被识别为高优先级智能体的那些智能体，使用第一预测模型生成表征智能体的数据；以及将使用第一预测模型生成的表征高优先级智能体的数据提供给载具的规划系统，以生成规划载具的将来轨迹的规划决策。
在一些实施方式中，识别载具附近的环境中的多个智能体包括：使用由载具的一个或多个传感器捕获的传感器数据识别载具附近的环境中的智能体。
在一些实施方式中，该方法还包括使用由载具的一个或多个传感器捕获的传感器数据生成多个智能体中的每一个的相应特征表示，其中，智能体的特征表示包括以下中的一个或多个：智能体的速度、智能体的加速度、智能体的类型、从智能体到载具的距离以及指示智能体的预测的轨迹是否将与载具的轨迹重叠的数据。
在一些实施方式中，将多个智能体中具有最高重要性分数的真子集识别为高优先级智能体包括：将多个智能体中具有最高重要性分数的预定数量的智能体识别为高优先级智能体。
在一些实施方式中，将多个智能体中具有最高重要性分数的真子集识别为高优先级智能体包括：将多个智能体中具有满足预定阈值的重要性分数的每个智能体识别为高优先级智能体。
在一些实施方式中，该方法包括：对于智能体中未被识别为高优先级智能体的一个或多个智能体，使用第二预测模型生成表征一个或多个智能体的数据，其中，第一预测模型具有第一数量的模型参数，第二预测模型具有第二数量的模型参数，并且第一数量的模型参数多于第二数量的模型参数；以及除了使用第一预测模型生成的表征高优先级智能体的数据之外，还将使用第二预测模型生成的表征一个或多个智能体的数据提供给规划系统。
在一些实施方式中，第一预测模型和第二预测模型被实现为相应的神经网络系统。
在一些实施方式中，仅对于被识别为高优先级智能体的那些智能体，使用第一预测模型生成表征智能体的数据包括：仅对于被识别为高优先级智能体的那些智能体，使用第一行为预测模型生成表征智能体的预测的将来行为的数据；并且将使用第一预测模型生成的表征高优先级智能体的数据提供给载具的规划系统，以生成规划载具的将来轨迹的规划决策包括：将使用第一行为预测模型生成的表征高优先级智能体的预测的将来行为的数据提供给载具的规划系统，以生成规划载具的将来轨迹的规划决策。
在一些实施方式中，生成表征智能体的预测的将来行为的数据包括：对于环境中的多个空间位置中的每一个，生成智能体将在当前时间点之后的指定时间点占据空间位置的相应概率。
在一些实施方式中，该方法包括将规划载具的将来轨迹的规划决策提供给载具的控制系统，以用于控制载具的操作。
在一些实施方式中，该方法的每个操作在载具上执行。
根据第二方面，提供了一种由一个或多个数据处理装置执行的用于训练重要性评分模型的方法，其中，重要性评分模型被配置为处理载具附近的智能体的特征表示以生成智能体的重要性分数，其中，智能体的重要性分数表征智能体对由规划载具的将来轨迹的载具的规划系统生成的规划决策的影响，该方法包括：生成多个训练示例，其中，每个给定训练示例包括：(i)在给定时间点给定载具的给定附近的多个给定智能体的相应特征表示，和(ii)限定给定载具的给定附近的给定智能体按照它们对由规划给定载具的将来轨迹的给定规划系统生成的给定规划决策的影响的顺序的给定排名的数据，其中，生成特定训练示例包括：对于在特定时间点特定载具的特定附近的多个特定智能体中的每一个，使用行为预测神经网络生成表征特定智能体的预测的将来行为的相应数据；对于在特定时间点特定载具的特定附近的特定智能体中的每一个，将表征特定智能体的预测的将来行为的相应数据提供给特定规划系统；从特定规划系统接收规划特定载具的将来轨迹的特定规划决策；和基于特定规划决策，确定在特定时间点特定载具的特定附近的特定智能体按照它们对特定规划决策的影响的顺序的特定排名；和基于训练示例训练重要性评分模型，包括对于每个给定训练示例：训练重要性评分模型以生成符合由给定训练示例指定的给定排名的由给定训练示例表征的给定智能体的相应重要性分数。
在一些实施方式中，生成训练示例包括基于真实或模拟驾驶数据日志生成训练示例。
在一些实施方式中，训练重要性评分模型以生成符合由给定训练示例指定的给定排名的由给定训练示例表征的给定智能体的相应重要性分数包括：处理由给定训练示例表征的第一智能体的第一特征表示以生成第一重要性分数；处理由给定训练示例表征的第二智能体的第二特征表示以生成第二重要性分数；基于第一重要性分数和第二重要性分数是否符合由给定训练示例指定的给定排名来确定损失；和基于损失更新重要性评分模型的当前参数值。
在一些实施方式中，规划特定载具的将来轨迹的特定规划决策中的每一个包括：(i)要由特定载具执行的动作，和(ii)在特定载具的特定附近的促使特定规划系统生成特定规划决策的特定智能体。
在一些实施方式中，基于特定规划决策，确定在特定时间点特定载具的特定附近的特定智能体按照它们对特定规划决策的影响的顺序的特定排名包括：基于特定智能体促使特定规划系统生成的任何动作，确定每个特定智能体的相应规划分数；和基于特定智能体的相应规划分数确定特定智能体的特定排名。
在一些实施方式中，每个训练示例包括由载具的对象检测系统检测到的载具附近的每个智能体的相应特征表示。
在一些实施方式中，给定智能体的给定排名限定：(i)将给定智能体划分为多个组，其中，每个组包括一个或多个给定智能体，和(ii)对于包括第一组和第二组的每对组，第一组中的给定智能体是否具有比第二组中的给定智能体对给定规划决策更大的影响。
根据第三方面，提供了一个或多个存储指令的非暂时性计算机存储介质，指令在由一个或多个计算机执行时使一个或多个计算机执行包括前述方法的操作的操作。
根据第四方面，提供了一种系统，所述系统包括数据处理装置；和存储器，存储器与数据处理装置进行数据通信并存储指令，指令使数据处理装置执行包括前述方法的操作的操作。
可以实现本说明书中描述的主题的特定实施例以实现以下优点中的一个或多个。
为了使载具的规划系统生成使载具沿着安全且舒适的轨迹行驶的规划决策，必须给规划系统提供载具附近的智能体的及时且准确的预测数据(例如，行为预测数据)。然而，生成载具附近的智能体的预测数据可能需要大量计算资源(例如，存储器、计算能力或两者)。在某些情况下，环境中的大量其他智能体可能在载具附近(例如，当载具正在沿着繁忙的公路行驶时)。在这些情形下，载具上可用的有限计算资源可能不足以及时生成载具附近的所有智能体的预测数据。
本说明书中描述的机载系统可以将载具上可用的有限计算资源(例如，存储器、计算能力或两者)集中于仅对可能对由规划系统生成的规划决策具有最大影响的那些智能体生成精确的预测数据。以这种方式，尽管载具上的可用计算资源有限，本说明书中描述的机载系统也可以生成及时的预测数据，其使得规划系统能够生成使载具沿着安全和舒适的轨迹行驶的规划决策。
本说明书的主题的一个或多个实施例的细节在附图和以下描述中阐述。本主题的其他特征、方面和优点将从描述、附图和权利要求中变得明显。
附图说明
图1是示例机载系统的框图。
图2是示例重要性评分系统和示例预测系统的框图。
图3是用于生成要提供给规划系统的预测数据的示例过程的流程图。
图4是用于生成可用于训练重要性评分模型的训练示例的示例过程的流程图。
各图中相同的参考编号和标记指示相同的元素。
具体实施方式
本说明书描述了载具的机载系统如何能够生成载具附近的智能体的预测数据(例如，行为预测数据)。载具附近的智能体可以是例如行人、骑行者或其他载具。为了生成预测数据，机载系统确定载具附近的每个智能体的相应的重要性分数。智能体的重要性分数表征智能体对由规划载具的将来轨迹的载具的规划系统生成的规划决策的估计的影响。机载系统基于重要性分数识别载具附近的哪些智能体是“高优先级”智能体，并使用预测模型生成这些高优先级智能体的精确预测数据。对于载具附近的不是高优先级智能体的其余智能体，机载系统可以使用计算密集度较低(但可能不太精确)的预测模型来生成预测数据。可替代地，机载系统可以避免生成未被确定为高优先级智能体的智能体中的一些或全部的预测数据。下面更详细地描述这些特征和其他特征。
图1是示例机载系统100的框图。机载系统100包括硬件和软件组件，其中的一些或全部物理地定位于载具102上。在一些情况下，机载系统100可以生成规划载具102的将来轨迹的规划决策，向载具102的驾驶员呈现信息以帮助驾驶员安全地操作载具，或两者。例如，响应于确定另一载具的轨迹可能与载具102的轨迹交叉，机载系统100可以生成规划调整载具102的将来轨迹以(例如，通过制动)避免碰撞的规划决策。作为另一示例，响应于确定另一载具的轨迹可能与载具102的轨迹交叉，机载系统100可以呈现提示载具102的驾驶员调整载具102的轨迹以避免碰撞的警报消息。
尽管图1中的载具102被描绘为汽车，并且本说明书中的示例是参考汽车来描述的，但通常载具102可以是任何种类的载具。例如，除了汽车之外，载具102可以是船只或飞机。此外，机载系统100可以包括除了图1中描绘的组件之外的组件(例如，碰撞检测系统或导航系统)。
机载系统100包括传感器系统104，其使得机载系统100能够“看到”载具102附近的环境。更具体地，传感器系统104包括一个或多个传感器，其中的一些传感器被配置为从载具102附近的环境接收电磁辐射的反射。例如，传感器系统104可以包括一个或多个激光传感器(例如，LIDAR激光传感器)，其被配置为检测激光的反射。作为另一示例，传感器系统104可以包括一个或多个雷达传感器，其被配置为检测无线电波的反射。作为另一示例，传感器系统104可以包括一个或多个相机传感器，其被配置为检测可见光的反射。
传感器系统104连续地(即，在多个时间点中的每一个)捕获原始传感器数据，其可以指示反射的辐射的方向、强度和行进的距离。例如，传感器系统104中的传感器可以在特定方向上发射电磁辐射的一个或多个脉冲，并且可以测量任何反射的强度以及接收到反射的时间。可以通过确定发射脉冲和接收其反射之间经过的时间来计算距离。每个传感器可以在角度、方位角或两者上连续扫描特定空间。例如，方位角上的扫描可以允许传感器检测沿着同一视线的多个对象。
在任何给定时间点，环境中的一个或多个智能体可以在载具102附近。载具102附近的智能体可以是例如行人、骑行者或其他载具。机载系统100使用预测系统106来连续地(即，在多个时间点中的每一个)生成预测数据108，其表征载具102附近的智能体中一些或全部。例如，对于载具102附近的多个智能体中的每一个，预测数据108可以是行为预测数据，其限定智能体做出预定数量的可能驾驶决策(例如，让行、变道、超车、制动或加速)中的每一个的相应概率。作为另一示例，对于载具102附近的多个智能体中的每一个，预测数据108可以是分类预测数据，其限定智能体是预定数量的可能智能体类型(例如，动物、行人、骑行者、汽车或卡车)中的每一个的相应概率。
机载系统100可以将由预测系统106生成的预测数据108提供给规划系统110、用户接口系统112或两者。
当规划系统110接收预测数据108时，规划系统110可以使用预测数据108来生成规划规划载具102的将来轨迹的规划决策144。由规划系统110生成的规划决策144可以包括，例如：让行(例如，向行人)、停止(例如，在“停止”标志处)、超过其他载具、调整车道位置以适应骑行者、在学校或施工区中减速、合并(例如，到公路上)和驻车。在特定示例中，机载系统100可以向规划系统110提供指示另一载具的将来轨迹可能与载具102的将来轨迹交叉、潜在地导致碰撞的行为预测数据。在该示例中，规划系统110可以生成规划决策144以应用载具102的制动器以避免碰撞。
由规划系统110生成的规划决策144可以提供给载具102的控制系统142。载具的控制系统142可以通过实施由规划系统生成的规划决策144来控制载具的一些或全部操作。例如，响应于接收应用载具的制动器的规划决策144，载具102的控制系统142可以将电子信号传输到载具的制动控制单元。响应于接收该电子信号，制动控制单元可以机械地应用载具的制动器。
当用户接口系统112接收预测数据108时，用户接口系统112可以使用预测数据108向载具102的驾驶员呈现信息以帮助驾驶员安全地操作载具102。用户接口系统112可以通过任何适当的方式向载具102的驾驶员呈现信息，例如，通过通过载具102的扬声器系统传输的音频消息或通过在载具中的视觉显示系统(例如、载具102的仪表板上的LCD显示器)上显示的警报。在特定示例中，机载系统100可以向用户接口系统112提供预测数据108，其指示另一载具的将来轨迹可能与载具102的将来轨迹交叉、潜在地导致碰撞。在该示例中，用户接口系统112可以向载具102的驾驶员呈现警报消息，带有用于调整载具102的轨迹以避免碰撞的指令。
为了使规划系统110生成使载具102沿着安全且舒适的轨迹行驶的规划决策，机载系统100必须向规划系统110提供及时且准确的预测数据108。然而，预测系统106可能需要大量计算资源(例如，存储器、计算能力或两者)来生成载具附近的智能体的预测数据108。在某些情形下，环境中的大量其他智能体可能在载具102附近(例如，当载具102沿着繁忙的公路行驶时)。在这些情形下，载具102上可用的有限计算资源可能不足以使预测系统106及时生成载具102附近的所有智能体的预测数据108。
为了使预测系统106能够及时生成预测数据108，机载系统100可以将载具102附近的智能体中的一个或多个识别为“高优先级”智能体。在一些情况下，机载系统100仅将载具102附近的智能体的一部分识别为高优先级智能体。预测系统106然后被配置为使用预测模型(例如，预测神经网络)生成高优先级智能体的精确预测数据108。预测系统106可以使用计算密集度较低(但可能不太精确)的行为预测模型生成未被识别为高优先级智能体并且在本说明书中将被称为“低优先级”智能体的任何其余智能体的预测数据108。可替代地，机载系统100可以避免生成低优先级智能体中的一些或全部的任何预测数据108。在本说明书中，“预测模型”应被理解为实施预测算法。
机载系统100使用重要性评分系统114确定载具102附近的哪些智能体要指定为高优先级智能体。重要性评分系统114被配置为使用重要性评分模型生成载具102附近的每个智能体的相应重要性分数116。重要性评分模型可以被实现为例如神经网络模型、随机森林模型、支持向量机(SVM)模型或可以被实现为任何其他类型的可训练机器学习模型。
更具体地，重要性评分模型被配置为根据重要性评分模型的经训练参数值处理载具附近的智能体的相应特征表示，以生成载具附近的智能体的重要性分数116。如以下将参考图2更详细地描述的，重要性评分系统114至少部分地基于由传感器系统104生成的传感器数据118来确定表征载具102附近的每个智能体的相应特征表示。智能体的重要性分数116表征智能体对由规划载具102的将来轨迹的规划系统110生成的规划决策的估计的影响。在生成重要性分数116之后，机载系统100可以将载具附近的智能体中具有最高重要性分数的一个或多个确定为高优先级智能体。
在特定示例中，在特定交叉路口处可能存在：(i)迎面驶来的载具，其可能转到载具102的路径，以及(ii)骑行者，其远远落后于载具102并且不太可能影响规划系统110的规划决策。在这个示例中，重要性评分系统114可以针对迎面而来的载具生成比针对骑行者高的重要性分数，潜在地导致迎面而来的载具被指定为高优先级智能体而骑行者被指定为低优先级智能体。
通过基于重要性分数116生成预测数据108，机载系统100可以将其有限的计算资源集中于仅对可能对由规划系统110生成的规划决策具有最大影响的那些智能体生成精确预测数据108。以这种方式，尽管载具102上可用计算资源有限，机载系统100也可以及时生成预测数据108，其使规划系统110能够生成使载具沿着安全和舒适的轨迹行驶的规划决策。
在一些情况下，机载系统100可以直接向规划系统110提供重要性分数116。规划系统110可以通过例如在生成规划决策144时分配更多量的计算资源来处理表征高优先级智能体而不是低优先级智能体的数据来使用重要性分数116。更一般地，机载系统的任何处理模块(包括但不限于预测系统106和规划系统110)可以使用重要性分数为116来分配更多量的计算资源来处理表征高优先级智能体而不是低优先级智能体的数据。
为了允许重要性评分系统114准确地对智能体划分优先级(prioritize)，训练系统120可以确定重要性评分系统114中包括的重要性评分模型的经训练参数值122。训练系统120通常托管在数据中心124内，其可以是具有在一个或多个位置的数百或数千个计算机的分布式计算系统。
训练系统120包括训练重要性评分模型126，其被配置为处理智能体特征表示以生成智能体的对应重要性分数140。训练系统120包括具有实现训练重要性评分模型126的操作的软件或硬件模块的多个计算设备。例如，如果训练重要性评分模型126是重要性评分神经网络，则训练系统120包括具有根据训练重要性评分神经网络的架构实现训练重要性评分神经网络的每个层的相应操作的软件或硬件模块的多个计算设备。训练重要性评分模型126通常是与机载重要性评分模型相同的模型(或几乎相同的模型)。例如，如果训练重要性评分模型是神经网络，则它通常具有与重要性评分系统114中包括的机载重要性评分神经网络(至少部分)相同的架构。
训练重要性评分模型126可以使用存储在模型参数130的集合中的参数的当前值128来计算训练重要性评分模型126的操作。尽管被示出为在逻辑上分开，但模型参数130和执行操作的软件或硬件模块实际上可以位于同一计算设备上或同一存储器设备上。
训练系统120使用包括多个训练示例134的训练数据集132来对训练重要性评分模型126进行训练。训练示例134可以从真实或模拟驾驶日志获得。训练示例134中的每一个包括在相应时间点载具附近的每个智能体的相应特征表示以及限定智能体按照它们对由载具的规划系统生成的规划决策的影响的顺序的排名的标签。参考图4描述用于生成训练示例134的示例过程。
训练重要性评分模型126可以处理来自训练示例134的相应智能体特征表示，以针对每个训练示例134生成相应的重要性分数140。训练引擎136分析重要性分数140并将由重要性分数140限定的智能体的排名与由训练示例134中的标签限定的智能体的排名进行比较。例如，当训练重要性评分模型126是神经网络时，训练引擎136可以计算表征由生成的重要性分数140限定的智能体的排名与由训练示例134中的标签限定的智能体的排名之间的差的损失函数的梯度。在特定示例中，损失函数可以是二元(例如，交叉熵)损失函数，其表征由生成的重要性分数140限定的两个智能体的排名是否与由训练示例134中的标签限定的两个智能体的排名相同。
然后训练引擎136通过使用适当的机器学习训练技术(例如，随机梯度下降)生成更新的模型参数值138。然后训练引擎136可以使用更新的模型参数值138来更新模型参数130的集合。
在训练完成后，训练系统120可以向机载系统100提供一组经训练参数值122以在生成重要性分数时使用，重要性分数使得能够生成及时和准确的行为预测数据108。训练系统120可以通过到机载系统100的有线或无线连接来提供该组经训练参数值122。
图2是示例重要性评分系统114和示例预测系统106的框图。重要性评分系统114和预测系统106是被实现为在一个或多个位置的一个或多个计算机上的计算机程序的系统的示例，在其中实现下面描述的系统、组件和技术。
重要性评分系统114被配置为处理表征载具102附近的环境202的传感器数据118(由载具102的传感器系统104生成)，以生成载具102附近的每个智能体的相应重要性分数116。智能体的重要性分数116表征智能体对由规划载具102的将来轨迹的载具102的规划系统生成的规划决策的估计的影响。
在图2中描绘的特定示例中，环境202是道路并且两个载具，表示为智能体A和智能体B，在载具102附近。智能体A正在机动以插入在载具102前面，而智能体B平行于载具102行驶。在该示例中，重要性评分系统114可以将比智能体B高的重要性分数分配给智能体A，具体来说，因为智能体A可能对由载具102的规划系统110生成的规划决策具有更大的影响。例如，载具102的规划系统110可以生成使载具102制动以避免与智能体A的碰撞的规划决策。如204所描绘，重要性评分系统114可以针对智能体A生成0.9的重要性分数，而针对智能体B生成0.65的重要性分数。
为了生成重要性分数116，重要性评分系统114使用特征表示引擎206处理传感器数据118，该特征表示引擎206被配置为识别载具102附近的智能体中的每一个并生成智能体中的每一个的相应特征表示208。
特征表示引擎206可以以任何适当的方式识别载具102附近的智能体。例如，特征表示引擎206可以使用对象检测神经网络来处理传感器数据118以生成限定载具102附近的多个对象的预测的位置和类型(例如，载具、行人、骑行者等)的数据。特征表示引擎206随后可以将载具附近的智能体识别为已经被识别为是例如载具、人或骑行者的那些对象。
在识别载具102附近的智能体之后，特征表示引擎206可以生成智能体中的每一个的相应特征表示208。智能体的特征表示208是指表征智能体的任何适当数字格式(例如，作为向量或矩阵)表示的数字数据。智能体的特征表示可以包括以下中的一个或多个：智能体的速度(例如，以英里每小时-mph进行测量)、智能体的加速度(例如，以英尺每平方秒进行测量)、智能体的类型(例如，行人、载具、骑行者等)、从智能体到载具102的距离(例如，以英尺进行测量)、指示智能体的预测的将来轨迹是否(以及何时)将与载具102的将来轨迹重叠的数据、智能体相对于载具102的位置以及表征智能体在先前时间窗口(例如，5秒)内的速度、加速度和航向的数据。
重要性评分系统114使用重要性评分模型210处理智能体特征表示208中的每一个以生成载具102附近的智能体中的每一个的相应重要性分数116。重要性分数116中的每一个被表示为相应的数值。重要性评分模型可以实现为任何适当的模型，例如，实现为神经网络(具有任何适当的架构)、随机森林或支持向量机。参考图3描述一些示例重要性评分模型。
由重要性评分系统114生成的重要性分数116被预测系统106使用以生成表征载具附近的一个或多个智能体的预测数据108。例如，预测数据108可以是表征载具102附近的智能体中的一个或多个的预测的将来行为的行为预测数据。在该示例中，对于载具102附近的智能体中的一个或多个，预测数据108可以限定智能体做出预定数量的可能驾驶决策(例如，让行、变道、超车、制动或加速)中的每一个的相应概率。作为另一示例，预测数据108可以是分类预测数据，其限定智能体是预定数量的可能智能体类型(例如，动物、行人、骑行者、汽车或卡车)中的每一个的相应概率。参考图3描述预测数据的其他示例。
预测系统106使用排名引擎212来处理重要性分数116以识别载具102附近的哪些(如果有的话)智能体是高优先级智能体。例如，排名引擎212可以将具有满足预定阈值的重要性分数的每个智能体识别为高优先级智能体。在特定示例中，排名引擎可以将具有超过0.8的预定阈值的重要性分数的每个智能体识别为高优先级智能体。作为另一示例，排名引擎212可以将具有最高重要性分数的预定数量的智能体识别为高优先级智能体。在特定示例中，排名引擎212可以将具有最高重要性分数的三个智能体识别为高优先级智能体。作为另一示例，排名引擎可以基于载具上的当前可用于行为预测的计算资源将具有最高重要性分数的动态确定数量的智能体识别为高优先级智能体。
在识别高优先级智能体214之后，预测系统106使用高优先级预测模型216生成高优先级智能体214中的每一个的相应预测数据108。高优先级预测模型216可以通过例如使用预测神经网络处理智能体直到当前时间点的轨迹的表示，生成该智能体的预测数据108。
预测系统106可以使用低优先级预测模型218来生成智能体中排名引擎212没有识别为高优先级智能体214的其余智能体(即低优先级智能体220)中的每一个的相应预测数据108。在一些情况下，预测系统106用相同的低优先级预测模型处理低优先级智能体220中的每一个。在一些情况下，预测系统106包括具有不同数量的模型参数的多个低优先级预测模型，并且用具有更多模型参数的低优先级行为预测模型处理具有较高重要性分数的低优先级智能体。通常，高优先级预测模型216具有比低优先级预测模型218更多数量的模型参数，因此可以生成比低优先级预测模型218更精确的预测数据108。然而，低优先级预测模型218会消耗比高优先级预测模型216更少的计算资源(例如，存储器、计算能力或两者)。在特定示例中，高优先级预测模型216可以被实现为具有数千个模型参数的深度神经网络，而低优先级预测模型218可以被实现为具有数十或数百个模型参数的线性模型。
在一些情况下，预测系统106可以避免生成低优先级智能体220中的一些或全部的预测数据108。例如，预测系统106可以推迟生成低优先级智能体220的行为预测数据直到更多计算资源可用的稍后时间点为止。在这些示例中，预测系统106可以要求以至少最小频率(例如，每秒一次)生成载具附近的智能体中的每一个(不管其优先级如何)的预测数据。
由高优先级预测模型216针对高优先级智能体214生成的预测数据108，以及由低优先级预测模型218针对低优先级智能体生成的任何预测数据108被提供给规划系统110用于在生成规划决策时使用。
图3是用于生成要提供给规划系统的预测数据的示例过程300的流程图。为方便起见，过程300将被描述为由位于一个或多个位置的一个或多个计算机的系统执行。例如，根据本说明书被适当编程的机载系统，例如图1的机载系统100，可以执行过程300。
系统识别载具附近的智能体(302)。例如，系统可以使用对象检测神经网络处理由载具的传感器系统生成的传感器数据，以生成限定载具附近的多个对象的预测的位置和类型(例如，载具、行人、骑行者等)的数据。该系统随后可以将载具附近的智能体识别为已经被识别为是例如载具、人或骑行者的那些对象。在某些情形下，例如，如果载具正在原本空旷的道路上行驶，则系统可以不识别载具附近的任何智能体。在这些情形下，系统可以不在该时间点生成任何预测数据。以下的过程300的描述假设系统识别载具附近的一个或多个智能体。
系统生成载具附近的智能体中的每一个的相应特征表示(304)。智能体的特征表示可以包括以下中的一个或多个：智能体的速度(例如，以英里每小时-mph进行测量)、智能体的加速度(例如，以英尺每平方秒进行测量)、智能体的类型(例如，行人、载具、骑行者等)、从智能体到载具的距离(例如，以英尺进行测量)和指示智能体的预测的将来轨迹是否将与载具的将来轨迹重叠的数据。
系统可以从以下生成智能体的特征表示：传感器数据的表征智能体的部分、系统先前(例如，在先前的时间点)针对智能体生成的行为预测数据，或从任何其他信息源生成智能体的特征表示。例如，系统可以从由载具的激光和雷达传感器生成的传感器数据确定智能体的速度和加速度。系统可以从对象检测神经网络的输出确定智能体的类型，该对象检测神经网络被配置为处理传感器数据(如参考步骤302所述)。系统可以基于预测智能体的将来轨迹的系统先前(例如，在先前的时间点)生成的行为预测数据确定智能体的预测的将来轨迹是否将与载具的将来轨迹重叠。
系统通过使用重要性评分模型处理智能体特征表示来生成载具附近的每个智能体的相应重要性分数(306)。重要性评分模型可以被实现为任何适当的预测模型，例如，实现为神经网络、随机森林或支持向量机。当重要性评分模型被实现为神经网络时，重要性评分神经网络可以具有任何适当的神经网络架构。例如，重要性评分神经网络可以被配置为分别处理智能体特征表示中的每一个以生成智能体中的每一个的相应重要性分数。在该示例中，重要性评分神经网络的架构可以由完全连接的层随后是由单个神经元组成的输出层的序列来限定。重要性评分神经网络的重要性分数输出可以被限定为该神经元的激活。
系统基于重要性分数识别载具附近的高优先级智能体(308)。例如，系统可以将具有满足预定阈值的重要性分数的每个智能体识别为高优先级智能体。作为另一示例，系统可以将具有最高重要性分数的预定数量的智能体识别为高优先级智能体。在某些情形下，系统可以将载具附近的所有智能体识别为高优先级智能体或将载具附近的智能体都不识别为高优先级智能体。
系统使用预测模型生成高优先级智能体的预测数据(310)。在一些实施方式中，预测模型可以生成分类预测数据，该分类预测数据预测智能体的类型(例如，动物、推车的行人、指挥交通的行人、骑滑板车的行人、汽车、卡车等)。在一些实施方式中，行为预测模型可以生成表征智能体的预测的将来行为(例如，制动、加速、变道等)的行为预测数据。在这些实施方式中，行为预测模型可以通过例如使用行为预测神经网络处理直到当前时间点的智能体的轨迹的表示来生成智能体的行为预测数据。下面是几个示例。
在一些实施方式中，智能体的行为预测数据针对环境中的多个空间位置中的每一个限定该智能体将在当前时间点之后的指定时间点占据该空间位置的相应概率。在这些实施方式中，行为预测神经网络的输出层可以是具有与环境中的空间位置中的每一个对应的相应神经元的S型(sigmoid)层。智能体将在当前时间点之后的指定时间点占据特定空间位置的概率可以限定为与该特定空间位置对应的S型输出层中的神经元的激活。
在一些实施方式中，智能体的行为预测数据限定智能体的候选将来轨迹是智能体的实际将来轨迹的概率。在这些实施方式中，行为预测神经网络的输出层可以包括单个神经元，其中，该神经元的激活被限定为具有[0，1]的输出范围的激活函数(例如，S型激活函数)的输出。智能体的候选将来轨迹是智能体的实际将来轨迹的概率可以限定为输出层中该单个神经元的激活。
在一些实施方式中，智能体的行为预测数据限定智能体将做出预定数量的可能驾驶决策中的每一个的相应概率。例如，可能驾驶决策可以包括以下中的一个或多个：让行、变道、超车、制动和加速。在这些实施方式中，行为预测神经网络的输出层可以是具有与可能驾驶决策中的每一个对应的相应神经元的S型层。智能体将在当前时间点之后做出特定驾驶决策的概率可以限定为与该特定驾驶决策对应的S型输出层中的神经元的激活。
可选地，系统使用一个或多个预测模型生成任何低优先级智能体(即，未被指定为高优先级智能体的智能体)的预测数据，该一个或多个预测模型的计算密集度低于用于生成高优先级智能体的预测数据的预测模型(312)。例如，用于生成低优先级智能体的预测数据的(一个或多个)预测模型可以具有比用于生成高优先级智能体的预测数据的预测模型少的模型参数。在特定示例中，预测模型可以是神经网络，并且用于低优先级智能体的(一个或多个)神经网络可以具有比用于高优先级智能体的(一个或多个)神经网络少的神经网络权重。在一些情况下，系统可以确定不生成低优先级智能体中的一些或全部的任何预测数据(例如，如果它们的相应重要性分数不满足预定阈值)。
系统将(高优先级智能体的，并且可选地，任何低优先级智能体的)生成的预测数据提供给载具的规划系统(314)。规划系统使用预测数据来生成规划载具的将来轨迹的规划决策。
图4是用于生成可用于训练重要性评分模型的训练示例的示例过程400的流程图。为方便起见，过程400将被描述为由位于一个或多个位置的一个或多个计算机的系统执行。例如，根据本说明书被适当地编程的训练系统，例如图1的训练系统120，可以执行过程400。
系统获得表征在给定时间点载具附近环境的传感器数据(402)。该系统可以从存储在物理数据存储设备或逻辑数据存储区中的传感器数据日志获得传感器数据。传感器数据可以是表征载具附近的真实世界环境的真实传感器数据，或者表征模拟载具附近的模拟环境的模拟传感器数据。如参考图1所述，传感器数据可以由载具的一个或多个传感器生成，该一个或多个传感器包括以下中的一个或多个：激光传感器、雷达传感器和相机传感器。
系统生成载具附近的智能体的相应预测数据(404)。例如，该系统可以生成由载具的对象检测系统识别的载具附近的每个智能体的相应预测数据。该系统针对每个智能体生成的行为预测数据表征智能体的预测的将来行为。例如，对于载具附近的智能体中的每一个，行为预测数据可以限定智能体做出预定数量的可能驾驶决策(例如，让行、变道、超车、制动或加速)中的每一个的相应概率。为了生成智能体的行为预测数据，系统可以使用行为预测模型(例如，如参考图3描述的行为预测神经网络)来处理直到给定时间点的智能体的轨迹的表示。
系统将行为预测数据提供给规划系统，该规划系统被配置为处理行为预测数据以生成规划载具的将来轨迹的规划决策(406)。例如，由规划系统生成的规划决策可以包括：让行(例如，向其他载具)、停止(例如，在停止标志处)、超过其他载具、调整车道位置以适应骑行者、在学校或施工区中减速、合并(例如，到公路上)和驻车。
系统处理由规划系统生成的规划决策以确定在给定时间点载具附近的智能体的按照它们对规划决策的影响的顺序的排名(408)。系统可以基于每个智能体的行为在多大程度上促使规划系统生成将改变载具的将来轨迹的规划决策来确定智能体的排名。例如，系统可以基于每个智能体在多大程度上促使规划系统生成将改变载具的将来轨迹的规划决策来确定每个智能体的分数，并且然后使用该分数确定智能体的排名。在特定示例中，系统可以确定智能体A的分数为12，智能体B的分数为0，并且智能体C的分数为4.5，在这种情况下，系统可以将智能体的排名确定为：[A,C,B]。
例如，规划决策中的每一个可以限定：(i)要由载具执行的动作(例如，加速、减速、停止或转向)，以及(ii)载具附近的促使规划系统生成规划决策的智能体(如果适用)。在该示例中，系统可以为不促使规划系统生成任何规划决策的智能体生成0的分数。对于确实促使规划系统生成规划决策的智能体，系统可以将智能体的分数确定为由规划决策指定的动作的预定函数。例如，如果规划决策指定以10英尺每平方秒制动的动作，则系统可以确定智能体的分数为10。如果单个智能体促使规划系统生成多个规划决策(例如，制动和转向)，则系统可以将智能体的分数确定为针对多个规划决策中的每一个生成的相应分数的总和(或其他组合)。
智能体的排名可以广义地理解为限定载具附近的某些智能体具有比载具附近的某些其他智能体对规划决策更大的影响的任何数据。例如，智能体的排名可以限定智能体从最高排名到最低排名的显式排序，其中，每个智能体被分配不同的排名。作为另一示例，智能体的排名可以限定将智能体划分为多个组，其中，每个组包括一个或多个智能体。对于包括第一组和第二组的每对组，排名可以限定第一组中的智能体是否具有比第二组中的智能体对规划决策更大的影响。给定组内的智能体可以被理解为对规划决策具有同等影响。
系统生成训练示例，其包括：(i)载具附近的每个智能体的相应特征表示，以及(ii)限定载具附近的智能体的排名的标签数据(410)。如参考图2和图3所述，系统可以从表征智能体的传感器数据的部分、从行为预测系统在先前时间点针对智能体生成的行为预测数据或从任何其他信息源生成智能体的特征表示。
本说明书与系统和计算机程序组件有关地使用术语“被配置”。对于一个或多个计算机的系统被配置为执行特定操作或动作的意思是系统在其上安装有软件、固件、硬件或它们的组合，在操作时，软件、固件、硬件或它们的组合使系统执行操作或动作。对于一个或多个计算机程序被配置为执行特定操作或动作的意思是一个或多个程序包括指令，当指令在由数据处理装置执行时使装置执行操作或动作。
本说明书中描述的主题和功能操作的实施例可以在数字电子电路中、在有形地实现的计算机软件或固件中、在计算机硬件(包括本说明书中公开的结构以及其结构等效物)中或在它们中的一个或多个的组合中实现。本说明书中描述的主题的实施例可以被实现为一个或多个计算机程序，即编码在有形非暂态存储介质上以供数据处理装置执行或控制数据处理装置的操作的计算机程序指令的一个或多个模块。计算机存储介质可以是机器可读存储设备、机器可读存储基片、随机或串行存取存储器设备或它们中的一个或多个的组合。可替代地或额外地，程序指令可以编码在人工生成的传播的信号(例如，机器生成的电、光或电磁信号)上，该信号被生成为编码信息以传输到合适的接收器装置以供数据处理装置执行。
术语“数据处理装置”指数据处理硬件并且涵盖用于处理数据的所有种类的装置、设备和机器，举例来说包括可编程处理器、计算机或多个处理器或计算机。该装置还可以是或者进一步包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，该装置可以可选地包括为计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。
计算机程序(其也被称为或被描述为程序、软件、软件应用、app、模块、软件模块、脚本或代码)可以以任何形式的编程语言编写，包括编译或解释性语言、声明性或过程语言，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或其他适于在计算环境中使用的单元。程序可以但不必与文件系统中的文件对应。程序可以存储在保持其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中、在专用于所针对的单个文件中或在多个协作的文件(例如，存储一个或多个模块、子程序或代码的一些部分的文件)中。计算机程序可以部署为在一个或多个计算机上执行，所述多个计算机位于一个站点或跨多个站点分布并通过数据通信网络互连。
在本说明书中，术语“引擎”被用于广义地指基于软件的系统、子系统或被编程为执行一个或多个特定功能的过程。通常，引擎将被实现为安装在一个或多个位置的一个或多个计算机上的一个或多个软件模块或组件。在一些情况下，一个或多个计算机将专用于特定引擎；在其他情况下，多个引擎可以安装在相同的计算机或多个计算机上并在其上运行。
本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，从而通过对输入数据进行操作并生成输出来执行功能。所述过程和逻辑流程也可以由专用逻辑电路(例如FPGA或ASIC)执行，或者由专用逻辑电路和一个或多个经编程计算机的组合来执行。
适用于执行计算机程序的计算机可以基于通用或专用微处理器或二者，或者任何其他种类的中央处理单元。通常，中央处理单元将从只读存储器或随机存取存储器或二者接收指令和数据。计算机的基本元件是用于执行或运行指令的中央处理单元和用于存储指令和数据的一个或多个存储器设备。中央处理单元和存储器可以由专用逻辑电路来补充或可以结合到其中。一般来说，计算机也将包括用于存储数据的一个或多个大容量存储设备(例如、磁盘、磁光盘或光盘)或可以操作性地联接一个或多个大容量存储设备以从其接收数据或将数据传送到其处或者接收和传送二者。然而，计算机不必具有这样的设备。另外，计算机可以嵌入到另一设备(例如，仅举例几个，移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器或便携式存储设备(例如通用串行总线(USB)快闪驱动器))中。
适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，举例来说，包括半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动盘；磁光盘；以及CD-ROM和DVD-ROM盘。
为了提供与用户的交互，本说明书中描述的主题的实施例可以实现在具有用于向用户显示信息的显示设备和键盘及指向设备的计算机上，显示设备例如为CRT(阴极射线管)或LCD(液晶显示器)监视器，用户可以通过键盘和指向设备(例如为鼠标或轨迹球)向计算机提供输入。也可以使用其他种类的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声学、语音或触觉输入。此外，计算机可以通过向由用户使用的设备发送文档和接收来自该设备的文档与用户交互；例如，通过响应于从web浏览器接收的请求而将网页发送到用户的设备上的web浏览器。另外，计算机可以通过将文本消息或其他形式的消息发送到个人设备(例如，运行消息传递应用的智能电话)并且作为回应从用户接收响应消息来与用户交互。
用于实现机器学习模型的数据处理装置还可以包括例如用于处理机器学习训练或产生的一般和计算密集部分(即，推断、工作负荷)的专用硬件加速器单元。
机器学习模型可以使用机器学习框架(例如，TensorFlow框架、微软认知工具包框架、Apache Singa框架或Apache MXNet框架)来实现和部署。
本说明书中描述的主题的实施例可以在计算系统中实现，该计算系统包括后端组件(例如作为数据服务器)或包括中间件组件(例如应用服务器)或包括前端组件(例如具有图形用户界面、web浏览器或app的客户端计算机，用户可通过其与本说明书中描述的主题的实施方式进行交互)，或者一个或多个这样的后端、中间件或前端组件的任意组合。可以通过任意形式或媒介的数字数据通信(例如通信网络)将系统的组件互连。通信网络的示例包括局域网(LAN)和广域网(WAN)，例如互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般彼此远离，并且通常通过通信网络交互。通过运行在相应计算机上并且彼此具有客户端-服务器关系的计算机程序而形成的客户端和服务器的关系。在一些实施例中，服务器向充当客户端的用户设备传输数据(例如，HTML页面)(例如，用于向与设备交互的用户显示数据和从其接收用户输入的目的)。在用户设备处生成的数据(例如，用户交互的结果)可以在服务器处从该设备接收。
尽管本说明书包含许多具体的实现细节，但是这些细节不应当被解释为对任何发明的范围或对可能请求保护的范围进行限制，而应该被解释为可能特定于特定发明的特定实施例的特征的描述。在本说明书中在分开的实施例的背景下描述的某些特征也可以以组合方式实现在单个实施例中。相反，在单个实施例的背景下描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合实施。此外，尽管特征可以如上所述描述为以某些组合起作用并且甚至最初也这样地请求保护，但在一些情况下，来自所请求保护的组合的一个或多个特征可以从组合中删除，并且所请求保护的组合可以指向子组合或子组合的变体。
类似地，尽管在附图中以特定顺序描绘了操作并且在权利要求中以特定顺序记载了操作，但是这不应当被理解为要求以示出的特定顺序或以相继的顺序来执行这样的操作或者要求执行所有示意的操作来实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。另外，在上述实施例中各种系统模块和组件的分离不应当被理解为在所有实施例中要求这样的分离，而是应当要理解，所描述的程序组件和系统可一般地在单个软件产品中被集成在一起或者被封装成多个软件产品。
已经描述了主题的特定实施例。其他实施例在所附权利要求的范围内。例如，记载在权利要求中的动作可以以不同的顺序执行而仍然实现期望的结果。作为一个示例，附图中描绘的过程不一定要求所示出的特定顺序或者相继的顺序来实现期望的结果。在一些情况下，多任务和并行处理可能是有利的。

Claims (20)

1.一种由一个或多个数据处理装置执行的方法，所述方法包括：
识别载具附近的环境中的多个智能体；
生成所述多个智能体中的每一个的相应重要性分数，包括对于每个智能体：
使用重要性评分模型处理所述智能体的特征表示以生成所述智能体的重要性分数，
其中，所述智能体的重要性分数表征所述智能体对由规划所述载具的将来轨迹的所述载具的规划系统生成的规划决策的估计的影响；
将所述多个智能体中具有最高重要性分数的真子集识别为高优先级智能体；
仅对于所述多个智能体中被识别为高优先级智能体的那些智能体，使用第一预测模型生成表征所述智能体的数据；以及
将使用所述第一预测模型生成的表征所述高优先级智能体的数据提供给所述载具的规划系统，以生成规划所述载具的将来轨迹的规划决策。
2.根据权利要求1所述的方法，其中，识别载具附近的环境中的多个智能体包括：
使用由所述载具的一个或多个传感器捕获的传感器数据识别所述载具附近的环境中的多个智能体。
3.根据权利要求1-2中任一项所述的方法，还包括使用由所述载具的一个或多个传感器捕获的传感器数据生成所述多个智能体中的每一个的相应特征表示，其中，智能体的特征表示包括以下中的一个或多个：智能体的速度、智能体的加速度、智能体的类型、从智能体到载具的距离以及指示智能体的预测的轨迹是否将与载具的轨迹重叠的数据。
4.根据权利要求1-3中任一项所述的方法，其中，将所述多个智能体中具有最高重要性分数的真子集识别为高优先级智能体包括：
将所述多个智能体中具有最高重要性分数的预定数量的智能体识别为高优先级智能体。
5.根据权利要求1-3中任一项所述的方法，其中，将所述多个智能体中具有最高重要性分数的真子集识别为高优先级智能体包括：
将所述多个智能体中具有满足预定阈值的重要性分数的每个智能体识别为高优先级智能体。
6.根据权利要求1-5中任一项所述的方法，还包括：
对于所述多个智能体中未被识别为高优先级智能体的一个或多个智能体，使用第二预测模型生成表征所述一个或多个智能体的数据，
其中，所述第一预测模型具有第一数量的模型参数，所述第二预测模型具有第二数量的模型参数，并且所述第一数量的模型参数多于所述第二数量的模型参数；以及
除了使用所述第一预测模型生成的表征高优先级智能体的数据之外，还将使用所述第二预测模型生成的表征所述一个或多个智能体的数据提供给所述规划系统。
7.根据权利要求6所述的方法，其中，所述第一预测模型和所述第二预测模型被实现为相应的神经网络系统。
8.根据权利要求1-7中任一项所述的方法，其中：
仅对于所述多个智能体中被识别为高优先级智能体的那些智能体，使用第一预测模型生成表征智能体的数据包括：
仅对于所述多个智能体中被识别为高优先级智能体的那些智能体，使用第一行为预测模型生成表征智能体的预测的将来行为的数据；以及
将使用所述第一预测模型生成的表征所述高优先级智能体的数据提供给所述载具的规划系统，以生成规划所述载具的将来轨迹的规划决策包括：
将使用所述第一行为预测模型生成的表征高优先级智能体的预测的将来行为的数据提供给所述载具的规划系统，以生成规划所述载具的将来轨迹的规划决策。
9.根据权利要求8所述的方法，其中，生成表征智能体的预测的将来行为的数据包括：对于所述环境中的多个空间位置中的每一个，生成所述智能体将在当前时间点之后的指定时间点占据空间位置的相应概率。
10.根据权利要求1-9中任一项所述的方法，还包括：
将规划所述载具的将来轨迹的规划决策提供给所述载具的控制系统，以用于控制所述载具的操作。
11.根据权利要求1-10中任一项所述的方法，其中，所述方法的每个操作在载具上执行。
12.一种系统，包括：
数据处理装置；
存储器，与所述数据处理装置进行数据通信并存储指令，所述指令使所述数据处理装置执行操作，所述操作包括：
识别载具附近的环境中的多个智能体；
生成所述多个智能体中的每一个的相应重要性分数，包括对于每个智能体：
使用重要性评分模型处理智能体的特征表示以生成所述智能体的重要性分数，
其中，所述智能体的重要性分数表征所述智能体对由规划所述载具的将来轨迹的所述载具的规划系统生成的规划决策的估计的影响；
将所述多个智能体中具有最高重要性分数的真子集识别为高优先级智能体；
仅对于所述多个智能体中被识别为高优先级智能体的那些智能体，使用第一预测模型生成表征所述智能体的数据；以及
将使用所述第一预测模型生成的表征所述高优先级智能体的数据提供给所述载具的规划系统，以生成规划所述载具的将来轨迹的规划决策。
13.根据权利要求12所述的系统，其中，识别载具附近的环境中的多个智能体包括：
使用由所述载具的一个或多个传感器捕获的传感器数据识别所述载具附近的环境中的多个智能体。
14.根据权利要求12-13中任一项所述的系统，其中，所述操作还包括：使用由所述载具的一个或多个传感器捕获的传感器数据生成所述多个智能体中的每一个的相应特征表示，其中，智能体的特征表示包括以下中的一个或多个：智能体的速度、智能体的加速度、智能体的类型、从智能体到载具的距离以及指示智能体的预测的轨迹是否将与载具的轨迹重叠的数据。
15.根据权利要求12-14中任一项所述的系统，其中，将所述多个智能体中具有最高重要性分数的真子集识别为高优先级智能体包括：
将所述多个智能体中具有最高重要性分数的预定数量的智能体识别为高优先级智能体。
16.一个或多个存储指令的非暂时性计算机存储介质，所述指令在由一个或多个计算机执行时使所述一个或多个计算机执行操作，所述操作包括：
识别载具附近的环境中的多个智能体；
生成所述多个智能体中的每一个的相应重要性分数，包括对于每个智能体：
使用重要性评分模型处理所述智能体的特征表示以生成所述智能体的重要性分数，
其中，所述智能体的重要性分数表征所述智能体对由规划所述载具的将来轨迹的所述载具的规划系统生成的规划决策的估计的影响；
将所述多个智能体中具有最高重要性分数的真子集识别为高优先级智能体；
仅对于所述多个智能体中被识别为高优先级智能体的那些智能体，使用第一预测模型生成表征所述智能体的数据；以及
将使用所述第一预测模型生成的表征所述高优先级智能体的数据提供给所述载具的规划系统，以生成规划所述载具的将来轨迹的规划决策。
17.根据权利要求16所述的非暂时性计算机存储介质，其中，识别载具附近的环境中的多个智能体包括：
使用由所述载具的一个或多个传感器捕获的传感器数据识别所述载具附近的环境中的多个智能体。
18.根据权利要求16-17中任一项所述的非暂时性计算机存储介质，其中，所述操作还包括使用由所述载具的一个或多个传感器捕获的传感器数据生成所述多个智能体中的每一个的相应特征表示，其中，智能体的特征表示包括以下中的一个或多个：智能体的速度、智能体的加速度、智能体的类型、从智能体到载具的距离以及指示智能体的预测的轨迹是否将与载具的轨迹重叠的数据。
19.根据权利要求16-18中任一项所述的非暂时性计算机存储介质，其中，将所述多个智能体中具有最高重要性分数的真子集识别为高优先级智能体包括：
将所述多个智能体中具有最高重要性分数的预定数量的智能体识别为高优先级智能体。
20.根据权利要求16-18中任一项所述的非暂时性计算机存储介质，其中，将所述多个智能体中具有最高重要性分数的真子集识别为高优先级智能体包括：
将所述多个智能体中具有满足预定阈值的重要性分数的每个智能体识别为高优先级智能体。
CN201980088213.5A 2018-11-21 2019-11-07 自主载具的智能体优先级划分 Active CN113366497B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/198,130 US11048253B2 (en) 2018-11-21 2018-11-21 Agent prioritization for autonomous vehicles
US16/198,130 2018-11-21
PCT/US2019/060187 WO2020106459A1 (en) 2018-11-21 2019-11-07 Agent prioritization for autonomous vehicles

Publications (2)

Publication Number Publication Date
CN113366497A true CN113366497A (zh) 2021-09-07
CN113366497B CN113366497B (zh) 2023-08-22

Family

ID=69160056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980088213.5A Active CN113366497B (zh) 2018-11-21 2019-11-07 自主载具的智能体优先级划分

Country Status (4)

Country Link
US (2) US11048253B2 (zh)
EP (1) EP3867823A1 (zh)
CN (1) CN113366497B (zh)
WO (1) WO2020106459A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116653963A (zh) * 2023-07-31 2023-08-29 福思(杭州)智能科技有限公司 车辆变道控制方法、系统和智能驾驶域控制器

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117521725A (zh) * 2016-11-04 2024-02-06 渊慧科技有限公司 加强学习系统
CA3063820A1 (en) * 2017-05-16 2019-12-09 Nissan Motor Co., Ltd. Action prediction method and action prediction device of traveling assistance device
US11034348B2 (en) 2018-11-20 2021-06-15 Waymo Llc Agent prioritization for autonomous vehicles
US11829870B2 (en) * 2018-11-26 2023-11-28 Uber Technologies, Inc. Deep reinforcement learning based models for hard-exploration problems
US11427225B2 (en) * 2018-12-26 2022-08-30 Uatc, Llc All mover priors
US11810075B2 (en) * 2019-01-07 2023-11-07 Ottopia Technologies Ltd. Servicing of autonomous vehicles
US11592827B1 (en) * 2019-12-18 2023-02-28 Waymo Llc Predicting yielding likelihood for an agent
KR20210108115A (ko) * 2020-02-25 2021-09-02 현대자동차주식회사 Adas를 연동한 오조작에 의한 비정상적인 가속 방지 장치 및 adas를 연동한 오조작에 의한 비정상적인 가속 방지 방법
US11475774B2 (en) * 2020-04-03 2022-10-18 Verizon Patent And Licensing Inc. Systems and methods for machine learning based collision avoidance
US11634123B2 (en) * 2020-07-09 2023-04-25 Toyota Research Institute, Inc. Methods and systems for prioritizing computing methods for autonomous vehicles
US11926343B2 (en) * 2020-07-20 2024-03-12 Tusimple, Inc. Classification and prioritization of objects for autonomous driving
US11458983B2 (en) * 2020-07-28 2022-10-04 Huawei Technologies Co., Ltd. System and method for managing flexible control of vehicles by diverse agents in autonomous driving simulation
US11783178B2 (en) * 2020-07-30 2023-10-10 Toyota Research Institute, Inc. Systems and methods for corridor intent prediction
US11687077B2 (en) 2020-08-07 2023-06-27 Waymo Llc Ranking agents near autonomous vehicles by mutual importance
US11884296B2 (en) * 2020-12-21 2024-01-30 Qualcomm Incorporated Allocating processing resources to concurrently-executing neural networks
US12046013B2 (en) * 2021-05-26 2024-07-23 Ford Global Technologies Llc Using relevance of objects to assess performance of an autonomous vehicle perception system
US12024195B2 (en) 2021-06-02 2024-07-02 Ford Global Technologies, Llc Method and system for predicting behavior of actors in an environment of an autonomous vehicle
US20220410901A1 (en) * 2021-06-28 2022-12-29 GM Global Technology Operations LLC Initializing early automatic lane change
US11675362B1 (en) * 2021-12-17 2023-06-13 Motional Ad Llc Methods and systems for agent prioritization
US20230202521A1 (en) * 2021-12-27 2023-06-29 Gm Cruise Holdings Llc System and method of using an autolabeler to generate yield/assert labels based on on-road autonomous vehicle use
US20230342635A1 (en) * 2022-03-31 2023-10-26 Honda Research Institute Europe Gmbh Assistance System for dynamic environments

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9248834B1 (en) * 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
US20180075309A1 (en) * 2016-09-14 2018-03-15 Nauto, Inc. Systems and methods for near-crash determination
US10019011B1 (en) * 2017-10-09 2018-07-10 Uber Technologies, Inc. Autonomous vehicles featuring machine-learned yield model
CN108292356A (zh) * 2015-11-04 2018-07-17 祖克斯有限公司 用于实施自主车辆中的主动安全系统的系统
CN108431549A (zh) * 2016-01-05 2018-08-21 御眼视觉技术有限公司 具有施加的约束的经训练的系统
WO2018162521A1 (en) * 2017-03-07 2018-09-13 Robert Bosch Gmbh Action planning system and method for autonomous vehicles
US20180284785A1 (en) * 2017-03-28 2018-10-04 Mitsubishi Electric Research Laboratories, Inc. System and Method for Controlling Motion of Vehicle in Shared Environment
CN108776483A (zh) * 2018-08-16 2018-11-09 圆通速递有限公司 基于蚁群算法和多智能体q学习的agv路径规划方法和系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7979173B2 (en) 1997-10-22 2011-07-12 Intelligent Technologies International, Inc. Autonomous vehicle travel control systems and methods
US20060165811A1 (en) 2005-01-26 2006-07-27 Black Michael J Method and system for automatic decoding of motor cortical activity
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
WO2010141419A2 (en) 2009-06-01 2010-12-09 Raytheon Company Non-kinematic behavioral mapping
US8861842B2 (en) 2010-02-05 2014-10-14 Sri International Method and apparatus for real-time pedestrian detection for urban driving
US8712096B2 (en) 2010-03-05 2014-04-29 Sri International Method and apparatus for detecting and tracking vehicles
US8706298B2 (en) 2010-03-17 2014-04-22 Raytheon Company Temporal tracking robot control system
DE102011107111A1 (de) 2011-07-12 2013-01-17 Continental Automotive Gmbh Verfahren und Kommunikationssystem zum Empfang von Daten bei der drahtlosen Fahrzeug-zu-Umgebung-Kommunikation
EP2562060B1 (en) * 2011-08-22 2014-10-01 Honda Research Institute Europe GmbH A method and system for predicting movement behavior of a target traffic object
US8798840B2 (en) 2011-09-30 2014-08-05 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
US9495874B1 (en) 2012-04-13 2016-11-15 Google Inc. Automated system and method for modeling the behavior of vehicles and other agents
US9176500B1 (en) * 2012-05-14 2015-11-03 Google Inc. Consideration of risks in active sensing for an autonomous vehicle
DE102012021282A1 (de) 2012-10-29 2014-04-30 Audi Ag Verfahren zur Koordination des Betriebs von vollautomatisiert fahrenden Kraftfahrzeugen
US9734220B2 (en) 2012-12-04 2017-08-15 Planet Os Inc. Spatio-temporal data processing systems and methods
US20180046920A1 (en) 2016-08-10 2018-02-15 Paypal, Inc. User Data Learning Based on Recurrent Neural Networks with Long Short Term Memory
US10059336B2 (en) 2017-01-06 2018-08-28 Toyota Research Institute, Inc. Systems and methods for dynamically adjusting a vehicle trajectory according to deviations of a driver from expected inputs
US11034348B2 (en) 2018-11-20 2021-06-15 Waymo Llc Agent prioritization for autonomous vehicles

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9248834B1 (en) * 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
CN108292356A (zh) * 2015-11-04 2018-07-17 祖克斯有限公司 用于实施自主车辆中的主动安全系统的系统
CN108431549A (zh) * 2016-01-05 2018-08-21 御眼视觉技术有限公司 具有施加的约束的经训练的系统
US20180075309A1 (en) * 2016-09-14 2018-03-15 Nauto, Inc. Systems and methods for near-crash determination
WO2018162521A1 (en) * 2017-03-07 2018-09-13 Robert Bosch Gmbh Action planning system and method for autonomous vehicles
CN110352330A (zh) * 2017-03-07 2019-10-18 罗伯特·博世有限公司 用于自主交通工具的动作规划系统和方法
US20180284785A1 (en) * 2017-03-28 2018-10-04 Mitsubishi Electric Research Laboratories, Inc. System and Method for Controlling Motion of Vehicle in Shared Environment
US10019011B1 (en) * 2017-10-09 2018-07-10 Uber Technologies, Inc. Autonomous vehicles featuring machine-learned yield model
CN108776483A (zh) * 2018-08-16 2018-11-09 圆通速递有限公司 基于蚁群算法和多智能体q学习的agv路径规划方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116653963A (zh) * 2023-07-31 2023-08-29 福思(杭州)智能科技有限公司 车辆变道控制方法、系统和智能驾驶域控制器
CN116653963B (zh) * 2023-07-31 2023-10-20 福思(杭州)智能科技有限公司 车辆变道控制方法、系统和智能驾驶域控制器

Also Published As

Publication number Publication date
US20210286360A1 (en) 2021-09-16
WO2020106459A1 (en) 2020-05-28
EP3867823A1 (en) 2021-08-25
US11048253B2 (en) 2021-06-29
US11815892B2 (en) 2023-11-14
US20200159215A1 (en) 2020-05-21
CN113366497B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
US11815892B2 (en) Agent prioritization for autonomous vehicles
US11710303B2 (en) Systems and methods for prioritizing object prediction for autonomous vehicles
US11673550B2 (en) Agent prioritization for autonomous vehicles
US11003189B2 (en) Trajectory representation in behavior prediction systems
US11586931B2 (en) Training trajectory scoring neural networks to accurately assign scores
US11977382B2 (en) Ranking agents near autonomous vehicles by mutual importance
US20210200230A1 (en) Conditional behavior prediction for autonomous vehicles
US11829149B1 (en) Determining respective impacts of agents
US11592827B1 (en) Predicting yielding likelihood for an agent
US11657268B1 (en) Training neural networks to assign scores
US20230139578A1 (en) Predicting agent trajectories in the presence of active emergency vehicles
US20220135078A1 (en) Labeling lane segments for behavior prediction for agents in an environment
US11952014B2 (en) Behavior predictions for active emergency vehicles
EP3965017A1 (en) Knowledge distillation for autonomous vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant