CN114929543A - 预测周围因素的加塞概率 - Google Patents

预测周围因素的加塞概率 Download PDF

Info

Publication number
CN114929543A
CN114929543A CN202080088913.7A CN202080088913A CN114929543A CN 114929543 A CN114929543 A CN 114929543A CN 202080088913 A CN202080088913 A CN 202080088913A CN 114929543 A CN114929543 A CN 114929543A
Authority
CN
China
Prior art keywords
factor
vehicle
time
factors
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080088913.7A
Other languages
English (en)
Inventor
K.里法特
C.P.拉姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN114929543A publication Critical patent/CN114929543A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

用于生成载具周围的因素的加塞概率的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。方法之一包括获得环境中的一个或多个因素的因素轨迹数据；获得环境中的载具的载具轨迹数据；以及使用神经网络来处理从因素轨迹数据和载具轨迹数据生成的网络输入，以生成加塞输出，其中该加塞输出包括环境中的多个地点中的每一个的相应加塞概率，其中作为一个或多个因素之一的当前地点的每个地点的相应加塞概率表征当前地点的因素将在预定时间量内与载具的规划未来地点相交的似然性。

Description

预测周围因素的加塞概率
背景技术
本说明书涉及自主载具。
自主载具包括自驾驶汽车、船只和飞机。自主载具使用各种交通工具上(on-board)传感器和计算机系统来检测附近的对象，并使用这样的检测来做出控制和导航决策。
一些自主载具具有交通工具上计算机系统，其实施神经网络、其他类型的机器学习模型或两者以用于各种预测任务，例如图像内的对象分类。例如，神经网络可以用于确定由交通工具上相机捕捉的图像很可能是附近汽车的图像。神经网络，或简称为网络，是采用多层操作来从一个或多个输入预测一个或多个输出的机器学习模型。神经网络通常包括位于输入层和输出层之间的一个或多个隐藏层。每个层的输出用作网络中的另一个层(例如，下一个隐藏层或输出层)的输入。
神经网络的每个层指定要对该层的输入执行的一个或多个变换操作。一些神经网络层具有被称为神经元的操作。每个神经元接收一个或多个输入，并且生成由另一个神经网络层接收的输出。通常，每个神经元从其他神经元接收输入，并且每个神经元向一个或多个其他神经元提供输出。
神经网络的架构指定网络中包括什么层及其性质、以及网络的每个层的神经元如何连接。换句话说，架构指定哪些层将其输出作为输入提供给哪些其他层、以及如何提供输出。
每个层的变换操作由安装了实施变换操作的软件模块的计算机执行。因此，层被描述为执行操作意味着实施该层的变换操作的计算机执行该操作。
每个层使用该层的参数集合的当前值来生成一个或多个输出。因此，训练神经网络涉及对输入连续执行正向传递，计算梯度值，以及使用计算的梯度值(例如，使用梯度下降)来更新每个层的参数集合的当前值。一旦神经网络被训练，最终的参数值集合就可以用于在生产系统中做出预测。
发明内容
本说明书描述了载具(例如，自主或半自主载具)如何可以生成一个或多个周围因素是否要加塞(cut in)到载具前方的预测。加塞预测由机器学习模型生成，该模型在本说明书中被称为“加塞神经网络”也就是说，给定表征载具周围环境的输入，加塞神经网络的输出是一个或多个概率，其表示一个或多个周围因素将“加塞”(即，在一定时间量(例如，3秒或5秒)内进入载具的规划路径)的似然性。本说明书还描述了计算机系统如何可以使用由在现实世界中操作的载具生成的训练示例来训练加塞神经网络。
一旦加塞神经网络已经被训练，经训练的加塞神经网络就可以被部署在载具上，并且可以由载具用来做出自主或半自主驾驶决策。
根据第一实施例，提供了一种方法，包括：获得环境中的一个或多个因素的因素轨迹数据，每个因素的因素轨迹数据包括因素的预定运动参数集合的当前地点和当前值、以及一个或多个先前时间点中的每一个的因素的预定运动参数集合的先前地点和先前值；获得环境中的载具的载具轨迹数据，该载具轨迹包括载具的预定运动参数集合的当前地点和当前值、一个或多个先前时间点中的每一个的载具的预定运动参数集合的先前地点和先前值、以及一个或多个未来时间点中的每一个的载具的预定运动参数集合的规划未来地点和规划未来值；以及使用神经网络来处理从因素轨迹数据和载具轨迹数据生成的网络输入，以生成加塞输出，其中该加塞输出包括环境中的多个地点中的每一个的相应加塞概率，其中作为一个或多个因素之一的当前地点的每个地点的相应加塞概率表征当前地点的因素将在预定时间量内与载具的规划未来地点相交的似然性。
在一些实施方式中，因素轨迹数据还包括一个或多个未来时间点中的每一个的因素的预定运动参数集合的预测未来地点和预测未来值。
在一些实施方式中，对于一个或多个未来时间点中的每一个，载具轨迹数据还包括载具的预定运动参数集合中的每一个的多个规划未来地点和多个规划未来值。
在一些实施方式中，多个地点包括不是一个或多个因素的任何当前地点的非因素地点，并且其中神经网络已经被训练为生成非因素地点的空概率。
在一些实施方式中，网络输入包括以下中的至少一个：表征环境中的道路车道的图像、或者表征环境中的一个或多个因素的边界框的图像。
在一些实施方式中，网络输入包括对应于每个因素和载具的多个通道的相应级联，并且其中在每个级联中：每个通道被表示为数据值的二维数组；每个通道中的每个位置对应于环境中的相应地点；不同通道中的对应位置对应于环境中的相同地点；通道包括时间通道和对应于预定运动参数集合中的每个运动参数的相应运动通道；并且对于由因素或载具在特定时间点占据的环境中的每个特定地点：对应于特定地点的时间通道中的位置定义了特定时间点；并且对于每个运动通道，对应于特定地点的运动通道中的位置定义了对应于特定时间点的运动通道的运动参数的值。
在一些实施方式中，预定运动参数集合包括以下中的至少一个：因素或载具在该时间点的朝向、因素或载具在该时间点的速度、或者因素或载具在该时间点的加速度。
在一些实施方式中，加塞输出包括数据值的二维数组，其中该数组中的每个位置对应于环境中的相应地点，并且其中该数据值各自表征相应地点的加塞概率。
在一些实施方式中，该方法还包括生成加塞神经网络特征，包括以下中的一个或多个：从加塞输出中提取特征，或者从神经网络的一个或多个中间输出中提取特征；以及使用加塞神经网络特征来生成环境中的一个或多个因素的因素加塞概率。
在一些实施方式中，从加塞输出中提取的特征包括以下中的一个或多个：环境的预定区域中的多个地点的平均加塞概率、或者环境的预定区域中的多个地点的最大加塞概率。
在一些实施方式中，使用加塞神经网络特征来生成因素加塞概率包括将加塞神经网络特征作为第一输入提供给不同加塞机器学习模型，该不同加塞机器学习模型对加塞神经网络特征和因素的其他特征、载具的其他特征、或两者进行操作。
在一些实施方式中，不同加塞机器学习模型是随机决策森林。
在一些实施方式中，该方法还包括计算一个或多个因素中的每一个的相应初始因素加塞概率，包括：接收指定因素的一个或多个预测路径的数据，该预测路径包括一个或多个预测未来地点；接收指定因素的一个或多个预测路径中的每一个的相应预测路径概率的数据，其中给定预测路径的预测路径概率表征因素将在预测路径上行进的似然性；确定预测路径中的哪些在预定时间量内与载具的规划未来地点相交；以及通过组合与载具的规划未来地点相交的那些预测路径的相应预测路径概率来生成相应初始因素加塞概率；以及将初始因素加塞概率作为第二输入提供给随机决策森林。
在一些实施方式中，该方法还包括：对于一个或多个周围因素中的每一个，从周围因素的预测路径中提取表征周围因素的预测路径的一个或多个特征，其中该一个或多个特征包括以下中的一个或多个：与载具的最近碰撞时间、与一个或多个其他周围因素的最近碰撞时间、与交通灯有关的一个或多个特征、与停车标志有关的一个或多个特征、或周围因素的最大横向加速度；以及将表征每个周围因素的预测路径的一个或多个特征作为第三输入提供给不同加塞机器学习模型。
在一些实施方式中，该方法还包括：确定表征周围因素的一个或多个特征，其中该一个或多个特征包括以下中的一个或多个：周围因素的速度、周围因素的加速度、或周围因素的朝向；以及将表征周围因素的一个或多个特征作为第四输入提供给不同加塞机器学习模型。
根据第二实施例，提供了一种系统，包括一个或多个计算机和存储指令的一个或多个存储设备，该指令在由一个或多个计算机执行时可操作来使得一个或多个计算机执行根据第一实施例的任何一个实施方式所述的方法。
根据第三实施例，提供了一个或多个存储指令的非暂时性存储介质，该指令在由一个或多个计算机执行时使得一个或多个计算机执行根据第一实施例的任何一个实施方式所述的方法。
可以实施本说明书中描述的主题的特定实施例，以便实现以下优点中的一个或多个。
用于预测加塞的一些现有技术依赖于周围因素的预测未来路径。对于给定的周围因素，单独的预测系统将生成因素的一个或多个预测未来路径，每个预测未来路径具有相应概率。然后，加塞预测系统将接收这些预测路径，并从中推断加塞概率。因此，不是直接对正面和负面的加塞训练示例训练加塞预测系统，而是间接推断预测。在本说明书中描述的一些实施例中，直接对由现实世界中操作的载具生成的加塞训练示例训练加塞神经网络。具体地，这些加塞训练示例是在许多驾驶时间内由许多不同的自主载具收集的。与现有技术相比，该直接训练可以产生更准确的预测，并允许载具更早地预测潜在加塞，即，比潜在影响更提前。
直接对加塞训练示例训练加塞神经网络也可以大大简化预测加塞的问题；一些现有技术需要加塞预测系统来显式地对周围因素的复杂行为建模。在一些这样的技术中有固有的许多失败模式。作为特定示例，一些现有技术可能不预测周围因素执行使得周围因素加塞到载具前方的非法操纵。本说明书中描述的加塞神经网络的一些实施例已经被示出为能够捕捉这种情况。
在本说明书中描述的一些实施例中，加塞神经网络也可以学习周围环境的非线性特征，表征一个或多个周围因素和载具之间的交互，这对于预测加塞概率是重要的。上述现有技术在生成单个孤立因素的加塞预测时依赖于该因素的预测未来路径，并且不能考虑非线性交互。
在本说明书中描述的一些实施例中，加塞神经网络是更大的加塞预测流水线的一部分，其中它与其他加塞预测引擎组合，以生成比现有技术更准确的加塞预测。
在本说明书中描述的一些实施例中，加塞预测系统可以生成一个或多个周围因素中的每一个的相应加塞概率。这是对现有技术的改进，现有技术中的一些只能生成单个周围因素的预测，而其他技术只能生成发生加塞的总体概率，而不能指定负责的特定周围因素。
在本说明书中描述的一些实施例中，加塞神经网络使用数据表示系统来生成轨迹表示数据，该轨迹表示数据将载具的轨迹和一个或多个周围因素的轨迹定义为二维(2D)“通道”的集合。加塞神经网络可以例如使用卷积神经网络来处理轨迹表示数据，以生成定义每个周围因素的相应加塞预测的输出。将轨迹表示为2D通道的集合比表示为3D通道的集合(例如，视频帧序列)更紧凑。此外，不同于1D表示，例如，诸如特征向量，2D通道可以由卷积神经网络中的多维卷积滤波器处理。因此，与如果交通工具上系统将轨迹表示为3D通道的集合的情况相比，加塞神经网络通过将轨迹表示为2D通道的集合可以消耗更少的计算资源(例如，内存、计算功率或两者)。此外，通过使用多维卷积滤波器处理表示轨迹的2D通道的集合，卷积神经网络可以学习利用轨迹表示数据的不同空间区域之间的复杂交互，从而生成更准确的加塞预测。
本说明书的主题的一个或多个实施例的细节在附图和以下描述中阐述。从说明书、附图和权利要求中，本主题的其他特征、方面和优点将变得显而易见。
附图说明
图1是示例系统的示图。
图2A是用于生成载具轨迹数据的示例数据表示系统的框图。
图2B是用于生成因素轨迹数据的示例数据表示系统的框图。
图3是数据表示系统可以通过其生成通道的示例过程的图示。
图4是示例加塞预测系统的框图。
图5是对应于环境的示例加塞输出的图示。
图6是用于生成加塞输出的示例过程的流程图。
图7是用于从加塞输出中提取特征以生成因素加塞概率的示例过程的流程图。
图8是用于生成初始因素加塞概率的示例过程的流程图。
图9是用于生成用于训练加塞神经网络的训练示例的示例过程的流程图。
不同附图中的相同附图标记和名称指示相同的元素。
具体实施方式
本说明书描述了载具(例如，自主或半自主载具)如何可以使用经训练的机器学习模型(在本说明书中称为“加塞神经网络”)来预测一个或多个周围因素是否要加塞到载具前方。在本说明书中,“加塞到载具前方”是指在一定时间量内进入载具的规划路径。例如，如果载具的规划路径包括右转，那么即使载具还没有执行右转，因素也可以通过进入载具规划在右转后行进的路径来加塞到载具前方。在本说明书中，不失一般性，“周围因素”可以指载具、自行车、行人、船只、无人驾驶飞机或任何其他移动对象。本说明书还描述了由载具生成的训练示例如何可以用于有效地训练加塞神经网络来准确和可靠地做出预测。
图1是示例系统100的示图。系统100包括交通工具上系统110和训练系统120。
交通工具上系统110位于载具102上。图1中的载具102被示出为机动车，但是交通工具上系统102可以位于任何适当的载具类型上。载具102可以是全自主载具，其确定并执行全自主驾驶决策，以便导航穿过环境。载具102也可以是半自主载具，其使用预测来帮助人类驾驶员。例如，如果预测指示人类驾驶员将要与另一载具碰撞，则载具102可以自主地应用制动。交通工具上系统110包括一个或多个传感器子系统140。传感器子系统140包括接收电磁辐射的反射的组件的组合，例如检测激光的反射的lidar系统、检测无线电波的反射的雷达系统和检测可见光的反射的相机系统。
由给定传感器生成的传感器数据通常指示反射辐射的距离、方向和强度。例如，传感器可以在特定方向上发射电磁辐射的一个或多个脉冲，并且可以测量任何反射的强度以及反射被接收的时间。距离可以通过确定脉冲和其对应反射之间花费的时间来计算。传感器可以在角度、方位或两者上连续扫描特定空间。例如，方位上扫描可以允许传感器沿相同视线检测多个对象。
传感器子系统140或载具102的其他组件也可以将来自一个或多个传感器的一个或多个原始传感器测量的组分类为另一因素的测量。一组传感器测量可以以各种方式中的任何一种来表示，这取决于捕捉的传感器测量的种类。例如，每组原始激光传感器测量可以被表示为三维点云，其中每个点具有强度和位置。在一些实施方式中，位置被表示为范围和海拔(elevation)对。每组相机传感器测量可以被表示为图像块，例如RGB图像块。
一旦传感器子系统140将一组或多组原始传感器测量分类为相应的其他因素的测量，传感器子系统140就可以将原始传感器测量编译为原始数据142的集合，并将原始数据142传送到数据表示系统150。
交通工具上系统110还包括因素预测系统144。对于传感器子系统140检测到的每个周围因素，因素预测系统144生成预测因素路径。预测因素路径表征周围因素被预测在未来采取的路径。因素预测系统将所有预测因素路径146传送到数据表示系统150。
交通工具上系统110还包括路径规划系统160。路径规划系统160生成规划载具路径165，其表征载具102将在未来采取的路径。路径规划系统160将规划载具路径165传送到数据表示系统150。
也在载具102上的数据表示系统150从传感器系统140接收原始传感器数据142并从因素预测系统144接收预测因素路径，并且生成因素轨迹数据152。对于每个周围因素，因素轨迹数据152可以表征当前时间点的当前状态、一个或多个相应先前时间点的先前状态、以及一个或多个相应未来时间点的预测未来状态。因素在给定时间点的状态可以包括因素在给定时间点的地点、以及预定运动参数集合的值。运动参数可以包括因素的朝向、因素的速度和因素的加速度。下面参考图2B更详细地描述示例数据表示系统150和因素轨迹数据152。
数据表示系统150还从路径规划系统160接收规划载具路径165，并生成载具轨迹数据154。类似于因素轨迹数据152，载具轨迹数据154可以针对载具表征当前时间点的当前状态、一个或多个相应先前时间点的先前状态、以及一个或多个相应未来时间点的规划未来状态。在一些实施方式中，载具轨迹数据154可以表征每个未来时间点的多个可能的规划未来状态。数据表示系统150可以调用载具102的先前状态，以便生成载具轨迹数据154。下面参考图2A更详细地描述示例数据表示系统150和载具轨迹数据152。
数据表示系统150向同样在载具102上的加塞预测系统170提供因素轨迹数据152和载具轨迹数据154。加塞预测系统使用轨迹数据来生成加塞预测172，该加塞预测172预测一个或多个周围因素是否将在预定时间量(例如，3秒或5秒)内加塞到载具102前方。下面参考图4更详细地描述该过程。
交通工具上系统100可以将由加塞预测系统170生成的加塞预测172提供给路径规划系统160、用户界面系统174或两者。
当路径规划系统160接收到加塞预测172时，路径规划系统160可以使用加塞预测172来生成新的规划载具路径，该新的规划载具路径表征载具102将在未来采取的路径。例如，加塞预测172可以包含特定周围因素可能加塞到载具102前方、潜在地导致碰撞的预测。在该示例中，路径规划系统160可以生成避免潜在碰撞的新的规划载具路径。也就是说，路径规划系统160可以修改载具102的规划未来轨迹，以避免可能由来自另一因素的可能加塞导致的潜在碰撞。
当用户界面系统174接收到加塞预测172时，用户界面系统174可以使用加塞预测172向因素102的驾驶员呈现信息，以帮助驾驶员安全地操作因素102。用户界面系统174可以通过任何适当的手段向因素102的驾驶员呈现信息，例如，通过因素102的扬声器系统发送的音频消息或者通过在因素中的视觉显示系统(例如，因素102的仪表板上的LCD显示器)上显示的警报。在特定示例中，加塞预测172可以包含特定周围因素可能加塞到因素102的前方、潜在地导致碰撞的预测。在该示例中，用户界面系统174可以向因素102的驾驶员呈现警报消息，该警报消息具有调整因素102的轨迹以避免碰撞的指令或者通知因素的驾驶员可能与特定周围因素碰撞。
为了生成加塞预测172，加塞预测系统170可以使用从训练系统120中的加塞模型参数存储130获得的训练参数值135。
训练系统120通常托管在数据中心124内，该数据中心124可以是具有一个或多个地点的数百或数千个计算机的分布式计算系统。
训练系统120包括训练数据存储180，其存储用于训练加塞预测系统170的参数值的所有训练数据。训练数据存储180从在现实世界中操作的因素接收原始训练示例。例如，训练数据存储180可以从因素102以及与训练系统120通信的一个或多个其他因素接收原始训练示例175。原始训练示例175可以由训练系统120处理，以生成新训练示例。原始训练示例175包括因素轨迹数据152和载具轨迹数据154，其一起可以用作新训练示例的输入。原始训练示例175还包括表征一个或多个周围因素是否在生成加塞预测172的预定时间量内实际加塞到载具102前方的结果数据。该结果数据可以用于生成新的训练示例的地面真值输出。下面参考图9更详细地描述用于从原始训练示例生成新训练示例的过程。
训练数据存储180向也包在训练系统120中的训练引擎190提供训练示例185。训练引擎使用训练示例185来更新将由加塞预测系统170使用的模型参数，并将更新的模型参数195提供给加塞模型参数存储130。一旦加塞预测系统170的参数值已经被完全训练，训练系统120就可以例如通过有线或无线连接将训练的参数值135发送到加塞预测系统170。
图2A是用于生成载具轨迹数据220的示例数据表示系统200的框图。数据表示系统200是被实施为下面描述的系统、组件和技术被实施的一个或多个地点的一个或多个计算机上的计算机程序的系统的示例。
数据表示系统200处理表征载具规划行进的路径的规划载具路径210，以生成载具轨迹数据220。数据表示系统200还可以调用表征载具先前已经行进的路径的先前的载具路径，以生成载具轨迹数据220。
载具轨迹数据220由多个“通道”组成。每个通道都是表示载具附近的环境的“自顶向下”视角的数据值的二维数组。每个通道中的每个位置对应于环境中的相应地点，并且可以由相应坐标来索引。每个通道具有相同的维度(即，相同数量的行和列)、环境的相同自顶向下视角，并且彼此对齐(即，配准)。也就是说，由不同通道中的相同坐标索引的位置对应于环境中的相同地点。换句话说，不同通道中的对应位置对应于环境中的相同地点。
为了表示载具的轨迹，载具轨迹数据220包括载具时间通道和对应于预定数量的运动参数中的每一个的相应载具运动参数通道。每个运动参数表征载具的运动的相应特性，例如载具的速度、加速度或朝向。如图2A所描绘的，载具轨迹数据220可以包括载具时间通道230、载具速度通道224、载具加速度通道226和载具朝向通道228。
载具时间通道和载具运动参数通道表示载具直到并包括当前时间点的先前轨迹、以及载具在当前时间点之后的规划未来轨迹，其从规划载具路径210推导。更具体地，载具的规划未来轨迹针对当前时间点之后的多个未来时间点中的每一个指定可以由载具在未来时间点占据的环境中的地点。对于多个未来时间点中的每一个，规划未来轨迹还指定表征载具在未来时间点的运动的预定数量的运动参数中的每一个的可能值。
在一些实施方式中，规划载具路径210包括载具的多个可能的未来路径。也就是说，对于每个未来时间点，规划载具路径210指定环境中可以由载具在未来时间点占据的多个可能地点、以及运动参数中的每一个的多个可能值。在这些情况下，所生成的载具轨迹数据220可以表征载具的每个可能的未来轨迹。
接下来的描述将把直到并包括当前时间点的先前载具轨迹和当前时间点之后的规划未来载具轨迹一起称为载具的“全轨迹”。
载具时间通道表示载具在载具的全轨迹中占据环境中的不同地点的相应时间点。每个运动参数通道表示表征当载具在载具的全轨迹中占据环境中的不同地点时载具的运动的相应运动参数的值。具体地，对于环境中由载具占据的每个地点，对应于该地点的载具时间通道中的数据值定义了载具占据该地点的时间点。此外，对应于该地点的每个相应载具运动参数通道中的数据值定义了表征当因素占据环境中的该地点时载具的运动的相应运动参数的值。
通常，环境可以包括不包括在因素的先前轨迹或候选未来轨迹中的多个地点。对于这些地点，数据表示系统200可以将对应于这些地点的载具时间通道和载具运动参数通道中的数据值设置为默认值(例如，值0或值-1)。
当载具在多个时间点占据环境中的相同地点时，数据表示系统200可以将对应于该地点的载具时间通道和运动参数通道中的相应数据值设置为任何适当的值。例如，数据表示系统200可以根据载具占据该地点的最后时间点来设置对应于该地点的载具时间通道和运动参数通道中的相应数据值。也就是说，数据表示系统200可以设置对应于该地点的载具时间通道中的数据值，以定义载具占据该地点的最后时间点。此外，数据表示系统200可以设置载具运动参数通道中的相应数据值，以定义表征当载具最后占据该地点时载具的运动的相应运动参数的值。
在一些实施方式中，除了时间通道和运动参数通道之外，数据表示系统200还可以包括载具轨迹数据220中的其他通道。例如，载具轨迹数据220可包括道路图通道、载具定位通道或两者。道路图通道表示载具附近的环境的已知几何形状。例如，道路图通道可以表示环境的不同特征的位置，包括：道路、道路中的不同车道、人行横道、交通灯、建筑区、学校区等。载具定位通道表示载具在当前时间点在环境中的地点(例如，由边界框定义)。在图2A中描绘的示例中，道路图通道和载具定位通道被叠加在单个通道222上。
图2B是用于生成因素轨迹数据260的示例数据表示系统200的框图。数据表示系统200是被实施为下面描述的系统、组件和技术被实施的一个或多个地点的一个或多个计算机上的计算机程序的系统的示例。
数据表示系统200处理原始传感器数据240和预测因素路径数据250，以生成因素轨迹数据260，其表征载具附近的环境中的因素。
为了表示周围因素的轨迹，因素轨迹数据260包括因素时间通道和对应于预定数量的运动参数中的每一个的相应因素运动参数通道。如图2B所描绘的，因素轨迹数据260可以包括因素时间通道270、因素速度通道364、因素加速度通道266和因素朝向通道268。
因素时间通道和因素运动参数通道联合表示因素直到当前时间点的先前轨迹和因素在当前时间点之后的预测未来轨迹，其从预测因素路径数据250推导。因素的预测未来轨迹针对当前时间点之后的多个未来时间点中的每一个指定环境中可以由因素在未来时间点占据的地点。对于多个未来时间点中的每一个，预测未来轨迹还指定表征因素在未来时间点的运动的预定数量的运动参数中的每一个的可能值。接下来的描述将把直到并包括当前时间点的先前因素轨迹和当前时间点之后的规划未来因素轨迹一起称为因素的“全轨迹”。
因素时间通道联合表示因素在因素的全轨迹中占据环境中的不同地点的相应时间点。每个因素运动参数通道表示表征当因素在因素的全轨迹中占据环境中的不同地点时因素的运动的相应运动参数的值。具体地，对于环境中由因素之一占据的每个地点，对应于该地点的因素时间通道中的数据值定义了因素占据该地点的时间点。此外，对应于该地点的每个相应因素运动参数通道中的数据值定义了表征当因素占据环境中的地点时因素的运动的相应运动参数的值。
通常，环境可以包括不包括在任何因素的先前轨迹或预测未来轨迹中的多个地点。对于这些地点，数据表示系统200可以将对应于这些地点的因素时间通道和因素运动参数通道中的数据值设置为默认值(例如，值0或值-1)。
当因素在多个时间点占据环境中的相同地点时，数据表示系统200可以将对应于该地点的因素时间通道和因素运动参数通道中的相应数据值设置为任何适当的值。例如，数据表示系统200可以根据因素之一占据该地点的最后时间点来设置对应于该地点的因素时间通道和因素运动参数通道中的相应数据值。
在一些实施方式中，因素定位通道(例如，因素定位通道262)联合表示每个载具在当前时间点在环境中的位置(例如，由边界框定义)。
通过使用单个因素时间通道和对应于每个运动参数的单个因素运动参数来联合表示因素的轨迹，数据表示系统200可以生成具有预定维度的因素轨迹数据260，而与因素的(可变)数量无关。以这种方式，由数据表示系统200生成的因素轨迹数据260可以容易地由加塞预测系统处理，该加塞预测系统被配置为处理预定维度的因素轨迹数据260。
一起参考图2A和2B，在一些实施方式中，数据表示系统200通过对准和逐通道级联所生成的通道来一起生成载具轨迹数据220和因素轨迹数据260，如图2A和图2B中的280所描绘的。也就是说，通过级联所有生成的通道来生成组合轨迹数据。通过以该格式隐式地表示载具和因素的相应轨迹，数据表示系统200可以生成既紧凑又可以由加塞预测系统有效处理的表示。具体地，加塞预测系统可以包括卷积神经网络。加塞预测系统可以使用由多维(例如，二维或三维)卷积滤波器定义的卷积神经网络层来处理组合轨迹数据，从而使得加塞预测系统能够学习环境的不同空间区域之间的复杂空间关系。
图3是数据表示系统可以通过其生成载具时间通道302、载具速度通道304和载具朝向通道306的示例过程的图示，这些通道表示载具直到并包括当前时间点的轨迹以及载具在当前时间点之后的规划未来轨迹。
定义载具的先前轨迹和载具的规划未来轨迹的数据以表格式308表示。表的每一行定义了时间点、载具在该时间点在环境中占据的地点、载具在该时间点的速度以及载具在该时间点的朝向。
例如，表308的第一行定义了在时间点-3(例如，当前时间点之前3秒)，由载具在环境中占据的地点由通道参考系中的坐标[-3,-2]定义，载具的速度为45mph，并且载具的朝向为45度(例如，从北顺时针)。坐标[-3,-2]在通道参考系中表述，并且可以被映射以表述环境参考系中的地点。例如，通道参考系中的坐标可以表示以载具为中心的北-南-东-西环境参考系中的5英尺增量。在该示例中，通道参考系中的坐标[-3,-2]可以表示由载具在当前时间点占据的地点以西15英尺且以南10英尺的环境中的地点。作为另一示例，表308的最后一行定义了在时间点+2(例如，当前时间点之后2秒)，载具占据的地点(即，根据规划未来轨迹)由通道参考系中的坐标[2,0]定义，因素的速度为49mph，并且因素的朝向为90度。
数据表示系统将对应于地点[-3,-2]、[-2,-1]、[-1,0]、[0,0]、[1,0]和[2,0]的载具时间通道中的数据值设置为载具占据相应地点的相应时间点-3、-2、-1、0、+1和+2。为清楚起见，对应于其他地点的载具时间通道中的数据值被示出为空白。通常，数据表示系统将对应于其他地点的载具时间通道中的数据值设置为默认值(例如，值0或值-1)。类似地，数据表示系统将对应于地点[-3,-2]、[-2,-1]、[-1,0]、[0,0]、[1,0]和[2,0]的载具速度通道中的数据值设置为定义当载具占据相应地点时载具的速度(以mph为单位)的相应速度值45、47、51、49、49和49。类似地，数据表示系统将对应于地点[-3,-2]、[-2,-1]、[-1,0]、[0,0]、[1,0]和[2,0]的载具朝向通道中的数据值设置为定义当载具占据相应地点时载具的朝向(以度为单位)的相应朝向值45、45、90、90、90和90。
在一些实施方式中，数据表示系统确定通道参考系，以使得载具在当前时间点占据的地点对应于每个通道的“中心”中的数据值。用一致的通道参考系生成轨迹数据可以有助于对轨迹数据训练加塞预测系统。
图4是示例加塞预测系统400的框图。加塞预测系统400是被实施为下面描述的系统、组件和技术被实施的一个或多个地点的一个或多个计算机上的计算机程序的系统的示例。
数据表示系统410向加塞预测系统400提供因素轨迹数据412和载具轨迹数据414。例如，数据表示系统可以以如以上参考图2A、图2B和图3所述的通道格式提供轨迹数据。
加塞神经网络430处理因素轨迹数据412和载具轨迹数据414，以生成加塞输出435。在一些实施方式中，加塞神经网络430是卷积神经网络。当轨迹数据被表示为二维数组(例如，图2A和图2B中描绘的通道)时，这样的卷积神经网络可以通过使用多维卷积滤波器处理二维通道来学习利用轨迹数据的不同空间区域之间的复杂交互，从而生成更准确的预测。
加塞输出435可以包括环境中的一个或多个地点的相应加塞概率。由周围因素在当前时间点占据的地点的加塞概率表征相应周围因素将在预定时间量内加塞到载具前方的似然性。例如，加塞概率0.9可以表示加塞神经网络预测周围因素有90％似然性将在预定时间量内加塞到载具前方。
在一些实施方式中，加塞输出435是类似于图2A和图2B中描绘的输入轨迹数据的数据值的二维数组，其中该数组表示载具附近的环境的“自顶向下”视角。数组中的每个位置对应于环境中的相应地点，并且每个位置处的值对应于相应地点的加塞概率。下面参考图5更详细地描述示例二维加塞输出。
作为特定示例，加塞神经网络430可以是具有几个卷积层和几个最大池化层的卷积神经网络，其减小输入数组的大小。这些卷积层之后可以是可以学习输入数组的非线性特征的一个或多个全连接层。然后，网络可以将全连接层的输出整形为输出数组。最后，网络可以具有增大输出数组的大小的几个转置卷积层，使得加塞输出435是与输入数组大小相同的数组。
在一些实施方式中，加塞输出435是加塞预测系统400的最终输出，并且加塞输出由载具用来做出策略决策，例如，是否改变路线以避免与将要加塞的周围因素碰撞。在一些其他实施方式中，例如图4中的示例，加塞输出435用作不同加塞机器学习模型450的输入。
加塞机器学习模型450将加塞输出435(或从加塞输出435推导的数据)和其他特征(例如，周围因素的特征和/或载具的其他特征)作为输入，并生成因素加塞概率455作为输出。因素加塞概率455表征相应因素将在预定时间量内加塞到载具前方的概率。
在一些实施方式中，加塞机器学习模型450从加塞输出435中提取特征，并使用所提取的特征来生成因素加塞概率。下面参考图7更详细地描述该过程。
在一些实施方式中，加塞预测系统400还包括初始加塞预测引擎440，其生成也用作加塞机器学习模型450的输入的初始因素加塞概率445。在一些这样的实施方式中，加塞机器学习模型450从初始因素加塞概率445中提取其他特征，并且使用其他提取的特征作为输入。下面参考图8更详细地描述该过程。
图5是对应于环境502的示例加塞输出500的图示。
环境502包含载具510和三个周围因素504、506和508。因素504看起来可能加塞到载具510前方，而因素506和508看起来不太可能加塞到载具510前方。
加塞输出500是由经训练的加塞神经网络(例如，图4中的加塞神经网络430)生成的示例二维数组。该数组表示环境502的“自顶向下”视角，其中每个位置对应于环境502中的相应地点。例如，位置514对应于由因素504占据的地点，位置516对应于由因素506占据的地点，并且位置518对应于由因素508占据的地点。
在加塞神经网络的输入是表示为二维数组(例如，图2A和图2B中描绘的通道)的轨迹数据的一些实施方式中，加塞输出数组具有与输入轨迹数组相同的维度，使得输出数组中的位置表征环境中与输入数组中的对应位置相同的地点。
每个位置处的值对应于相应地点的加塞概率。在一些实施方式中，可以创建描绘加塞输出的图像，其中一个或多个像素的相应块对应于数组中的每个位置，并且更高的加塞概率被描绘为像素的相应块的更暗灰度值。这样的图像在训练加塞神经网络期间是有用的，例如，允许用户在视觉上检查训练网络的进展。
例如，位置514具有对应于高加塞概率的暗灰度值，因为对应因素504具有高的加塞似然性。位置516和518具有对应于低加塞概率的浅灰度值，因为对应因素506和508具有低的加塞似然性。
在一些实施方式中，表征环境中不由周围因素占据的地点的加塞输出中的位置可以具有默认值，例如0、或者白色或黑色灰度值。在训练过程期间，加塞神经网络学习生成不由因素占据的地点的默认值，因为地面真值输出是以这种方式格式化的。在一些其他实施方式中，可以使用忽略表征环境中不由周围因素占据的地点的加塞输出中的位置的损失函数来训练加塞神经网络，因此加塞神经网络可以向这些地点分配任何值。
图6是用于生成加塞输出的示例过程600的流程图。为了方便起见，过程600将被描述为由位于一个或多个地点的一个或多个计算机的系统执行。例如，根据本说明书适当编程的交通工具上系统(例如，图1的交通工具上系统110)可以执行过程600。
系统获得环境中的一个或多个因素的因素轨迹数据(步骤602)。如上所述，因素轨迹数据针对载具周围的每个因素表征当前时间点的当前状态、一个或多个相应先前时间点的先前状态、以及一个或多个相应未来时间点的预测未来状态。因素在给定时间点的状态可以包括因素在给定时间点的地点、以及预定运动参数集合的值。上面参考图2B描述了示例药因素轨迹数据。
系统获得载具轨迹数据(步骤604)。如上所述，载具轨迹数据针对载具表征当前时间点的当前状态、一个或多个相应先前时间点的先前状态以及一个或多个相应未来时间点的规划未来状态。上面参考图2A描述了示例载具轨迹数据。
系统处理因素轨迹数据和载具轨迹数据以生成加塞输出(步骤606)。加塞输出表征环境中的一个或多个地点的加塞概率。上面参考图5描述了示例加塞输出。
图7是用于从加塞输出中提取特征以生成因素加塞概率的示例过程700的流程图。为了方便起见，过程700将被描述为由位于一个或多个地点的一个或多个计算机的系统执行。例如，根据本说明书适当编程的加塞预测系统(例如，图4的加塞预测系统400)可以执行过程700。
系统从加塞输出中提取特征(步骤702)。加塞输出是加塞神经网络(例如，图4的加塞神经网络430)的最终输出。从加塞输出中提取的特征可以包括环境的给定区域中的地点的平均加塞概率。例如，系统可以计算给定周围因素的10英尺内的所有地点的平均加塞概率、以及给定周围因素的20英尺内的所有地点的平均加塞概率，并且包括这两个平均作为特征。该特征还可以包括环境的给定区域中的地点的最大加塞概率。例如，系统可以计算给定周围因素的10英尺内的所有地点的最大加塞概率、以及给定周围因素的20英尺内的所有地点的最大加塞概率，并且包括这两个最大值作为特征。在一些实施方式中，系统使用表征包括周围因素的环境的区域的加塞输出的一部分来提取每个周围因素的特征集合。
系统从加塞神经网络的中间输出中提取特征(步骤704)。例如，从中间输出提取的特征可能包括加塞神经网络的中间层之一的输出，因为中间层可以包括在训练期间学习的有用信息。从加塞输出中提取的特征和从中间输出中提取的特征一起被称为“加塞神经网络特征”
系统向另一加塞机器学习模型提供加塞神经网络特征(706)。加塞机器学习模型不同于加塞神经网络，例如图4的加塞机器学习模型450。在一些实施方式中，加塞机器学习模型还将由另一初始加塞预测引擎(例如，图4中的初始加塞预测引擎440)生成的初始因素加塞概率作为输入。在一些实施方式中，加塞机器学习模型是随机决策森林或其他基于决策树的机器学习模型。
系统使用加塞机器学习模型来生成一个或多个周围因素的因素加塞概率(步骤708)。如上所述，因素加塞概率表征相应周围因素将在预定时间量内加塞到载具前方的概率。
图8是用于生成初始因素加塞概率的示例过程800的流程图。为了方便起见，过程800将被描述为由位于一个或多个地点的一个或多个计算机的系统执行。例如，根据本说明书适当编程的初始加塞预测引擎(例如，图4的初始加塞预测引擎440)可以执行过程800。
系统接收载具附近的周围因素的一个或多个预测路径(步骤802)。预测路径表征由载具预测的周围因素将采取的可能路径。
系统接收周围因素的每个预测路径的预测路径概率(步骤804)。预测路径的相应预测路径概率表征周围因素将采取该预测路径的似然性。
系统确定哪些预测路径将在预定时间量内与载具的规划轨迹相交(步骤806)。系统可以从载具的路径规划系统(例如，图1的路径规划系统160)接收载具的规划轨迹。
系统生成周围因素的初始因素加塞概率(步骤808)。在一些实施方式中，系统对与载具的规划路径相交的那些预测路径的对应预测路径概率求和，并输出该总和作为初始因素加塞概率。例如，可能有四个预测路径：概率为0.50的路径A、概率为0.30的路径B、概率为0.10的路径C和概率为0.10的路径D。如果仅路径C和路径D与载具的规划路径相交，则系统将确定初始因素加塞概率为0.20。
系统向另一加塞机器学习模型提供初始加塞概率(步骤810)。加塞机器学习模型不同于初始加塞预测引擎，例如图4的加塞机器学习模型450。加塞机器学习模型使用初始因素加塞概率来生成因素加塞概率。
加塞机器学习模型还可以结合初始因素加塞概率使用其他特征来生成因素加塞概率。例如，加塞机器学习模型可以使用从加塞神经网络(例如，图4的加塞神经网络430)中提取的特征来生成因素加塞概率。
在一些实施方式中，系统可以从表征每个周围因素的数据中提取特征，并将所提取的特征提供给加塞机器学习模型。例如，系统可以提取每个周围因素的当前速度、每个周围因素的当前加速度和/或每个周围因素的朝向。
在一些实施方式中，系统可以从给定周围因素的预测路径中提取特征，并将所提取的特征提供给加塞机器学习模型。作为特定示例，系统可以提取表征给定周围因素是否可能与一个或多个其他周围因素碰撞的特征。系统还可以提取给定周围因素可能与载具或另一周围因素碰撞的最近碰撞时间。作为另一特定示例，系统可以提取表征在给定周围因素的预测路径上的一个或多个交通灯的交通灯信息。具体地，系统可以提取表征交通灯离给定周围因素有多远以及交通灯处是否有人行横道的特征。作为另一特定示例，系统可以提取表征在给定周围因素的预测路径上的一个或多个停车标志的停车标志信息。具体地，系统可以提取表征停车标志离给定周围因素有多远以及停车标志处是否有人行横道的特征。作为另一特定示例，系统可以提取表征给定周围因素的最大横向加速度的特征。
图9是用于生成用于训练加塞神经网络的训练示例的示例过程900的流程图。为了方便起见，过程900将被描述为由位于一个或多个地点的一个或多个计算机的系统执行。例如，根据本说明书适当编程的训练系统(例如，图1的训练系统120)可以执行过程900。
系统获得原始训练示例(步骤901)。系统可以从导航穿过现实世界的载具获得原始训练示例。如上参考图1所述，原始训练示例包括三个分量：i)载具轨迹数据、ii)因素轨迹数据、以及iii)结果数据。
系统提取载具轨迹数据(步骤902)。载具轨迹数据来自载具在第一时间的视点，并且表征第一时间点的当前状态以及第一时间点之前的相应先前时间点的一个或多个先前状态。如前所述，因素在给定时间点的状态可以包括因素在给定时间点的地点、以及预定运动参数集合的值。载具轨迹数据还包括从载具在第一时间点的视角来看的第一规划路径。也就是说，第一规划路径表征载具已经意图在第一时间点采取的路径。在一些实施方式中，载具轨迹数据包括参考图2A描述的时间和运动通道。在一些其他实施方式中，系统使用原始训练示例中的数据来生成时间和运动通道。载具轨迹数据是用于训练示例的输入的一部分。
系统提取因素轨迹数据(步骤904)。因素轨迹数据也来自载具在第一时间点的视点，并且针对载具的每个周围因素表征第一时间点的当前状态以及第一时间点之前的相应先前时间点的一个或多个先前状态。因素轨迹数据还包括从载具在第一时间点的视角来看的相应周围因素的预测路径。也就是说，相应因素的预测路径表征载具在第一时间点相信因素将采取的路径。在一些实施方式中，因素轨迹数据包括参考图2B描述的时间和运动通道。在一些其他实施方式中，系统使用原始训练示例中的数据来生成时间和运动通道。因素轨迹数据是用于训练示例的输入的一部分。
系统提取结果数据(步骤906)。结果数据表征一个或多个相应周围因素是否在第一时间点之后的预定时间量内实际加塞到第一规划路径。例如，如果第一时间点为时间t，并且预定时间量为3个时间步，则结果数据表征相应因素是否在时间t和时间t+3之间加塞到第一规划路径。
重要的是，结果数据不表征相应因素是否实际上与载具碰撞，或者相应因素是否加塞到第二规划路径，第二规划路径从载具在时间t+1或t+2的视角来看。这是因为载具可能已经在时间t和时间t+3之间改变了其规划路径，也许是为了避免与因素的碰撞。这并不改变如果载具没有改变路线，因素将加塞到载具的第一规划路径的事实。系统排他地从第一时间t的视角开始操作，确定周围因素是否将在时间t和时间t+3之间加塞到时间t的第一规划路径。
具体地，如果周围因素与载具的规划路径部分但不完全重叠，例如，如果周围因素的一部分(例如，因素的前保险杠)进入了载具的车道，但是整个周围因素没有进入车道，则结果数据可以表征相应周围因素确实加塞到载具的第一规划路径。如果在载具已经通过规划路径的给定部分之后，周围因素进入载具的规划路径的给定部分，例如，如果周围因素在时间t+2进入载具在时间t+1占据的规划路径的一部分，则结果数据可以表征相应周围因素没有加塞到载具的第一规划路径。
系统使用输出数据来生成地面真值输出(步骤908)。在一些实施方式中，地面真值输出是数据值的二维数组，其中数组中的每个位置对应于环境中的相应地点，并且每个位置处的值对应于相应地点的加塞标签。地面真值输出中给定位置的加塞标签可以是某个范围内的值，例如[0,1]或[80,250]。具体地，对于对应于加塞到载具的第一规划路径的因素的地点的位置，系统可以设置插入标签的最大值，例如，对于范围[0,1]为1，或者对于范围[80,250]为250。在一些实施方式中，对于对应于没有加塞到载具的第一规划路径的因素的地点的位置，系统设置一些小的非零值，例如，对于范围[0,1]为0.05或0.01，或者对于范围[80,250]为80。这样做是为了地面真值输出编码在对应地点有因素的事实、以及因素没有加塞到载具前方的事实。这帮助加塞神经网络学习加塞输出应该采取的格式，即，对应于因素的地点的位置的非零值，并提供用于更新网络参数的更丰富的误差信号。在一些其他实施方式中，对于对应于没有加塞到载具的第一规划路径的因素的地点的位置，系统设置最小值，例如，对于范围[80,250]为80。对于对应于不由周围因素占据的地点的位置，系统设置默认值，例如0。
在本说明书中描述的主题和功能操作的实施例可以在数字电子电路中、在有形体现的计算机软件或固件中、在计算机硬件(包括在本说明书中公开的结构及其结构等同物)中或者在它们中的一个或多个的组合中被实施。在本说明书中描述的主题的实施例可以被实施为一个或多个计算机程序，即编码在有形非暂时性存储介质上的计算机程序指令的一个或多个模块，以用于由数据处理装置运行或者控制数据处理装置的操作。计算机存储介质可以是机器可读存储设备、机器可读存储基底、随机或串行存取存储器设备或者它们中的一个或多个的组合。替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电信号、光信号或电磁信号，其中该人工生成的传播信号被生成以对信息进行编码，用于发送给适合的接收器装置以用于由数据处理装置运行。
术语“数据处理装置”是指数据处理硬件，并且包括用于处理数据的所有种类的装置、设备和机器(包括例如可编程处理器、计算机、或者多个处理器或计算机)。该装置也可以是或者还包括现成的或定制的并行处理子系统，例如GPU或另一种专用处理子系统。该装置也可以是或者还包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，该装置还可以可选地包括创建计算机程序的运行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统或者它们中的一个或多个的组合的代码。
计算机程序，也可以被称为或描述为程序、软件、软件应用、应用、模块、软件模块、脚本或代码，可以以任何形式的编程语言(包括编译或解释语言、或者声明性或过程性语言)进行编写，它可以以任何形式被部署，包括作为独立程序或者作为模块、组件、子例程或适用于计算环境的其他单元。程序可以但不一定对应于文件系统中的文件。程序可以被存储在保存其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中、存储在专用于所讨论的程序的单个文件中、或者存储在多个协调文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。计算机程序可以被部署为在一个计算机或者位于一个站点或跨多个站点分布并通过数据通信网络互连的多个计算机上被运行。
在本说明书中描述的过程和逻辑流程可以由一个或多个可编程计算机执行，其中该一个或多个可编程计算机运行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路(例如，FPGA或ASIC)或者由专用逻辑电路和一个或多个编程计算机的组合执行。
适合于运行计算机程序的计算机可以基于通用或专用微处理器或两者、或者任何其他种类的中央处理单元。通常，中央处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行或运行指令的中央处理单元和用于存储指令和数据的一个或多个存储器设备。中央处理单元和存储器可以由专用逻辑电路补充或被并入专用逻辑电路。通常，计算机也将包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)或者被可操作地耦合为从该一个或多个大容量存储设备接收数据或向其传递数据。然而，计算机不需要具有这样的设备。此外，计算机可以被嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器或便携式存储设备(例如，通用串行总线(USB)闪存驱动器)，仅举几个例子。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备(例如，EPROM、EEPROM和快闪存储器设备)；磁盘(例如，内部硬盘或可移动磁盘)；磁光盘；以及CD ROM和DVD-ROM磁盘。
为了提供与用户的交互，在本说明书中描述的主题的实施例可以在计算机上被实施，其中该计算机具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)、以及键盘和定点设备(例如，鼠标、轨迹球、或存在(presence)敏感显示器或者用户可以通过其向计算机提供输入的其他表面)。其他种类的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈，例如视觉反馈、听觉反馈或触觉反馈；并且来自用户的输入可以以任何形式被接收，包括声音输入、语音输入或触觉输入。此外，计算机可以通过向由用户使用的设备传送文档以及从其接收文档来与用户进行交互；例如，通过响应于从网络浏览器接收的请求而向用户设备上的网络浏览器传送网页。此外，计算机可以通过向个人设备(例如，运行消息传递应用的智能电话)传送文本消息或其他形式的消息以及作为交换从用户接收响应消息来与用户进行交互。
虽然本说明书包含许多具体的实施方式细节，但这些不应被解释为对任何发明的范围或可能要求保护的内容的范围的限制，而是可以特定于特定发明的特定实施例的特征的描述。单独的实施例的上下文中的在本说明书中描述的某些特征也可以在单个实施例中被组合实施。相反，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合在多个实施例中被实施。此外，尽管特征可以在上面被描述为以某些组合起作用并且甚至最初如此要求保护，但是在一些情况下可以从所要求保护的组合删除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变化。
类似地，虽然以特定顺序在附图中描绘了操作，但是这不应该被理解为要求以所示的特定顺序或以先后顺序执行这些操作或者执行所有示出的操作来实现期望的结果。在某些情况下，多任务处理和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中都需要这样的分离，并且应该理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或打包为多个软件产品。
已经描述了主题的特定实施例。其他实施例在以下权利要求的范围内。例如，在权利要求中阐述的动作可以以不同的顺序执行并且仍然实现期望的结果。作为一个示例，在附图中描绘的过程不一定需要所示的特定顺序或先后顺序来实现期望的结果。在特定的一些情况下，多任务和并行处理可能是有利的。

Claims (17)

1.一种方法，包括：
获得环境中的一个或多个因素的因素轨迹数据，每个因素的因素轨迹数据包括：
因素的预定运动参数集合的当前地点和当前值；和
一个或多个先前时间点中的每一个的因素的预定运动参数集合的先前地点和先前值；
获得环境中的载具的载具轨迹数据，所述载具轨迹包括：
载具的预定运动参数集合的当前地点和当前值；
一个或多个先前时间点中的每一个的载具的预定运动参数集合的先前地点和先前值；和
一个或多个未来时间点中的每一个的载具的预定运动参数集合的规划未来地点和规划未来值；以及
使用神经网络来处理从因素轨迹数据和载具轨迹数据生成的网络输入，以生成加塞输出，其中所述加塞输出包括环境中的多个地点中的每一个的相应加塞概率，其中作为一个或多个因素之一的当前地点的每个地点的相应加塞概率表征当前地点的因素将在预定时间量内与载具的规划未来地点相交的似然性。
2.根据权利要求1所述的方法，其中，所述因素轨迹数据还包括一个或多个未来时间点中的每一个的因素的预定运动参数集合的预测未来地点和预测未来值。
3.根据权利要求1或2中任一项所述的方法，其中，对于一个或多个未来时间点中的每一个，载具轨迹数据还包括载具的预定运动参数集合中的每一个的多个规划未来地点和多个规划未来值。
4.根据权利要求1-3中任一项所述的方法，其中，所述多个地点包括不是一个或多个因素的任何当前地点的非因素地点，并且其中神经网络已经被训练为生成非因素地点的空概率。
5.根据权利要求1-4中任一项所述的方法，其中，所述网络输入包括以下中的至少一个：
表征环境中的道路车道的图像；或者
表征环境中的一个或多个因素的边界框的图像。
6.根据权利要求1-5中任一项所述的方法，其中：
所述网络输入包括对应于每个因素和载具的多个通道的相应级联，并且其中在每个级联中：
每个通道被表示为数据值的二维数组；
每个通道中的每个位置对应于环境中的相应地点；
不同通道中的对应位置对应于环境中的相同地点；
通道包括时间通道和对应于预定运动参数集合中的每个运动参数的相应运动通道；并且
对于由因素或载具在特定时间点占据的环境中的每个特定地点：
对应于特定地点的时间通道中的位置定义了特定时间点；且
对于每个运动通道，对应于特定地点的运动通道中的位置定义了对应于特定时间点的运动通道的运动参数的值。
7.根据权利要求1-6中任一项所述的方法，其中，所述预定运动参数集合包括以下中的至少一个：
因素或载具在所述时间点的朝向，
因素或载具在所述时间点的速度，或者
因素或载具在所述时间点的加速度。
8.根据权利要求1-7中任一项所述的方法，其中，所述加塞输出包括数据值的二维数组，其中所述数组中的每个位置对应于环境中的相应地点，并且其中所述数据值各自表征相应地点的加塞概率。
9.根据权利要求1-8中任一项所述的方法，还包括：
生成加塞神经网络特征，包括以下中的一个或多个：
从加塞输出中提取特征，或者
从神经网络的一个或多个中间输出中提取特征；和
使用加塞神经网络特征来生成环境中的一个或多个因素的因素加塞概率。
10.根据权利要求9所述的方法，其中，从加塞输出中提取的特征包括以下中的一个或多个：
环境的预定区域中的多个地点的平均加塞概率，或者
环境的预定区域中的多个地点的最大加塞概率。
11.根据权利要求9或10中任一项所述的方法，其中，使用加塞神经网络特征来生成因素加塞概率包括将加塞神经网络特征作为第一输入提供给不同加塞机器学习模型，所述不同加塞机器学习模型对加塞神经网络特征和因素的其他特征、载具的其他特征、或两者进行操作。
12.根据权利要求11所述的方法，其中，所述不同加塞机器学习模型是随机决策森林。
13.根据权利要求11或12中任一项所述的方法，还包括：
计算一个或多个因素中的每一个的相应初始因素加塞概率，包括：
接收指定因素的一个或多个预测路径的数据，所述预测路径包括一个或多个预测未来地点；
接收指定因素的一个或多个预测路径中的每一个的相应预测路径概率的数据，其中给定预测路径的预测路径概率表征因素将在预测路径上行进的似然性；
确定预测路径中的哪些在预定时间量内与载具的规划未来地点相交；并且
通过组合与载具的规划未来地点相交的那些预测路径的相应预测路径概率来生成相应初始因素加塞概率；以及
将初始因素加塞概率作为第二输入提供给不同加塞机器学习模型。
14.根据权利要求13所述的方法，还包括：
对于一个或多个周围因素中的每一个，从周围因素的预测路径中提取表征周围因素的预测路径的一个或多个特征，其中所述一个或多个特征包括以下中的一个或多个：
与载具的最近碰撞时间，
与一个或多个其他周围因素的最近碰撞时间，
与交通灯有关的一个或多个特征，
与停车标志有关的一个或多个特征，或者
周围因素的最大横向加速度；以及
将表征每个周围因素的预测路径的一个或多个特征作为第三输入提供给不同加塞机器学习模型。
15.根据权利要求11-14中任一项所述的方法，还包括：
确定表征周围因素的一个或多个特征，其中所述一个或多个特征包括以下中的一个或多个：周围因素的速度、周围因素的加速度、或周围因素的朝向；以及
将表征周围因素的一个或多个特征作为第四输入提供给不同加塞机器学习模型。
16.一种系统，包括一个或多个计算机和存储指令的一个或多个存储设备，所述指令在由一个或多个计算机执行时可操作来使得所述一个或多个计算机执行根据权利要求1-15中任一项所述的方法。
17.一个或多个存储指令的非暂时性计算机可读存储介质，所述指令在由一个或多个计算机执行时使得所述一个或多个计算机执行根据权利要求1-15中任一项所述的方法。
CN202080088913.7A 2019-11-06 2020-11-03 预测周围因素的加塞概率 Pending CN114929543A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/676,379 2019-11-06
US16/676,379 US11693415B2 (en) 2019-11-06 2019-11-06 Predicting cut-in probabilities of surrounding agents
PCT/US2020/058712 WO2021091900A1 (en) 2019-11-06 2020-11-03 Predicting cut-in probabilities of surrounding agents

Publications (1)

Publication Number Publication Date
CN114929543A true CN114929543A (zh) 2022-08-19

Family

ID=75688960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080088913.7A Pending CN114929543A (zh) 2019-11-06 2020-11-03 预测周围因素的加塞概率

Country Status (4)

Country Link
US (1) US11693415B2 (zh)
EP (1) EP4054913A4 (zh)
CN (1) CN114929543A (zh)
WO (1) WO2021091900A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612877A (zh) * 2016-01-05 2022-06-10 御眼视觉技术有限公司 用于估计未来路径的系统和方法
US11912271B2 (en) * 2019-11-07 2024-02-27 Motional Ad Llc Trajectory prediction from precomputed or dynamically generated bank of trajectories
US12001958B2 (en) * 2020-03-19 2024-06-04 Nvidia Corporation Future trajectory predictions in multi-actor environments for autonomous machine
KR20220056922A (ko) * 2020-10-28 2022-05-09 현대자동차주식회사 자율주행 제어 장치 및 방법
CN113341958B (zh) * 2021-05-21 2022-02-25 西北工业大学 一种混合经验的多智能体强化学习运动规划方法
BE1029668B1 (nl) 2021-12-03 2023-03-02 Ivex Methoden, systemen, opslagmedia en apparatuur voor end-to-end scenario-extractie uit 3d input puntenwolken, scenario-indeling en het genereren van sequentiële rij-eigenschappen voor de identificatie van veiligheidskritieke scenario-categorieën
US11993288B2 (en) 2021-12-29 2024-05-28 Waymo Llc Automated cut-in identification and classification
JP7274014B1 (ja) 2022-03-02 2023-05-15 三菱電機株式会社 車線変更予測装置、車線変更予測方法およびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7444241B2 (en) 2005-12-09 2008-10-28 Gm Global Technology Operations, Inc. Method for detecting or predicting vehicle cut-ins
EP2562060B1 (en) 2011-08-22 2014-10-01 Honda Research Institute Europe GmbH A method and system for predicting movement behavior of a target traffic object
US8457827B1 (en) 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US9248834B1 (en) * 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
CN112923937B (zh) * 2015-02-10 2022-03-15 御眼视觉技术有限公司 沿着路段自主地导航自主车辆的系统、自主车辆及方法
US10745003B2 (en) * 2015-11-04 2020-08-18 Zoox, Inc. Resilient safety system for a robotic vehicle
JP6288590B2 (ja) * 2016-03-15 2018-03-07 本田技研工業株式会社 車両制御装置、車両制御方法、および車両制御プログラム
JP6622148B2 (ja) * 2016-06-17 2019-12-18 日立オートモティブシステムズ株式会社 周辺環境認識装置
KR101874186B1 (ko) 2016-08-19 2018-07-03 한양대학교 산학협력단 기계 학습을 통한 주변 차량의 주행 경로 예측 방법 및 이를 이용하는 차량 제어 방법
US10515390B2 (en) * 2016-11-21 2019-12-24 Nio Usa, Inc. Method and system for data optimization
WO2018216177A1 (ja) * 2017-05-25 2018-11-29 本田技研工業株式会社 車両制御装置
US10656657B2 (en) * 2017-08-08 2020-05-19 Uatc, Llc Object motion prediction and autonomous vehicle control
EP3495219B1 (en) * 2017-12-11 2023-07-05 Volvo Car Corporation Path prediction for a vehicle
WO2019152888A1 (en) * 2018-02-02 2019-08-08 Nvidia Corporation Safety procedure analysis for obstacle avoidance in autonomous vehicle
US11195418B1 (en) * 2018-10-04 2021-12-07 Zoox, Inc. Trajectory prediction on top-down scenes and associated model
US11480972B2 (en) * 2018-11-13 2022-10-25 Qualcomm Incorporated Hybrid reinforcement learning for autonomous driving
US11215997B2 (en) * 2018-11-30 2022-01-04 Zoox, Inc. Probabilistic risk assessment for trajectory evaluation
US20200364508A1 (en) * 2019-05-14 2020-11-19 Nvidia Corporation Using decay parameters for inferencing with neural networks
US11351987B2 (en) * 2019-09-13 2022-06-07 Intel Corporation Proactive vehicle safety system

Also Published As

Publication number Publication date
WO2021091900A1 (en) 2021-05-14
US20210132619A1 (en) 2021-05-06
US11693415B2 (en) 2023-07-04
EP4054913A1 (en) 2022-09-14
EP4054913A4 (en) 2023-12-06

Similar Documents

Publication Publication Date Title
US11755018B2 (en) End-to-end interpretable motion planner for autonomous vehicles
US11586213B2 (en) Trajectory representation in behavior prediction systems
US20220101600A1 (en) System and Method for Identifying Travel Way Features for Autonomous Vehicle Motion Control
US11693415B2 (en) Predicting cut-in probabilities of surrounding agents
CN113439247B (zh) 自主载具的智能体优先级划分
CN114245885A (zh) 基于动作数据的自上而下场景预测
US20170206426A1 (en) Pedestrian Detection With Saliency Maps
CN113261009A (zh) 分层机器学习网络架构
US12051249B2 (en) Behavior prediction of surrounding agents
US11977382B2 (en) Ranking agents near autonomous vehicles by mutual importance
US11755917B2 (en) Generating depth from camera images and known depth data using neural networks
CN114787739A (zh) 使用向量化输入的智能体轨迹预测
EP4060626A1 (en) Agent trajectory prediction using context-sensitive fusion
US12049221B2 (en) Multi-modal multi-agent trajectory prediction
US12030523B2 (en) Agent trajectory planning using neural networks
US11950166B2 (en) Predicting occupancy probabilities of surrounding agents
US20220355824A1 (en) Predicting near-curb driving behavior on autonomous vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination