CN117529429A - 用于预测自主车辆环境中行为者的行为的方法和系统 - Google Patents

用于预测自主车辆环境中行为者的行为的方法和系统 Download PDF

Info

Publication number
CN117529429A
CN117529429A CN202280043253.XA CN202280043253A CN117529429A CN 117529429 A CN117529429 A CN 117529429A CN 202280043253 A CN202280043253 A CN 202280043253A CN 117529429 A CN117529429 A CN 117529429A
Authority
CN
China
Prior art keywords
actor
priority
actors
detected
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280043253.XA
Other languages
English (en)
Inventor
弗里德里克·施尼曼
安德鲁·哈特内特
格雷戈里·尼科尔斯
康斯坦丁·萨夫琴科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN117529429A publication Critical patent/CN117529429A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/227—Handing over between remote control and on-board control; Handing over between remote control arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/40—Control within particular dimensions
    • G05D1/43—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/40—Control within particular dimensions
    • G05D1/46—Control of position or course in three dimensions

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种方法，自主车辆可以通过该方法来预测其他行为者的动作。车辆将为其检测到的每个行为者分配高优先级评级或低优先级评级。车辆随后将为每个检测到的行为者生成预报。高优先级行为者中的一些但并非全部将接收高分辨率预报。低优先级行为者以及可选的一些高优先级行为者将接收低分辨率预报。系统将使用预报来预测行为者的动作。自主车辆随后将使用预测的动作来确定其轨迹。

Description

用于预测自主车辆环境中行为者的行为的方法和系统
交叉引用和优先权要求
本专利申请要求2021年6月2日提交的第17/336,661号美国专利申请的优先权，该专利申请通过引用整体并入本文。
背景技术
当自主车辆(AV)在环境中移动时，其感知系统将检测正在AV行进路径内或其附近移动或可能在AV行进路径内或其附近移动的多个行为者。AV将预测部分或所有检测到的行为者将做什么。然后，AV的运动规划系统在确定AV将遵循的轨迹时将考虑这些预测，以避免与其他行为者发生冲突。
随着AV和其他行为者继续移动，AV将不断收集有关其他行为者的新感知数据。AV将使用新数据更新其对其他行为者将要做什么的预测。AV将使用更新的预测来确定是继续沿着其轨迹还是改变其轨迹。由于交通行为中固有的不确定性，AV可以为特定行为者生成一个以上候选预测。
这是一个计算密集型过程。当AV检测到多个行为者时，预测和考虑每个行为者的意图需要大量的处理时间、存储能量、存储数据的内存以及其他AV资源。此外，由于AV必须实时操作并做出决策，所以AV可能需要在指定的时间约束内进行一些计算。
为了解决这个问题，一些系统对其他行为者进行优先级排序，并对行为者是否是高优先级对象进行二进制决策。这些系统随后仅对高优先级对象进行预测。这可能导致(a)遗漏需要预测的行为者，或者(b)在太多行为者被归类为高优先级对象的情况下违反运行时间处理约束。
因此，需要改进AV预测过程。本文描述了旨在解决上述问题和/或其他问题的方法和系统。
发明内容
本文描述了自主车辆预测在自主车辆行进经过的环境中的其他行为者的动作的方法，以及实现这种方法的系统和用于使系统实现这种方法的计算机程序产品。为此，自主车辆的感知系统将检测靠近自主车辆的各个行为者。对于每个检测到的行为者，感知系统将为检测到的行为者分配优先级评级。每个行为者可以是高优先级行为者和/或低优先级行为者，并且这些评级中的每一个可以具有指示相对得分或其他优先级度量的一个或多个子级别。
自主车辆的预报系统随后将在多个循环中的每个循环内为每个检测到的行为者生成预报。对于至少一些高优先级行为者来说，预报将是高分辨率预报。对于每个低优先级行为者以及可选的一些高优先级行为者，系统将生成低分辨率预报。系统将把每个预报与生成的预报所针对的行为者相关联地保存在数据存储器中。预报系统随后将使用至少一些高分辨率预报来预测高优先级行为者中的至少一些的一个或多个动作，并且将使用低分辨率预报中的至少一些来预测每一个低优先级行为者的一个或多个动作。自主车辆的运动规划系统随后将使用预测的动作来确定自主车辆的轨迹。
在一些实施例中，在任何循环完成后，对于当前循环和对于先前循环中的一个或多个，感知系统可以分析高分辨率预报、低分辨率预报及其似然度，以确定高优先级行为者中的至少一些的总体高分辨率预报和低优先级行为者中的至少一些的总体低分辨率预报。
在一些实施例中，当为高优先级行为者生成高分辨率预报时，系统可以检测高优先级行为者正在行进的场景的受路径影响的特性。受路径影响的特性是可能导致行为者改变其行进路径的特性。系统随后将使用受路径影响的特性来确定候选高分辨率预报，其中至少一些遵循不同的轨迹。然而，对于每一个低优先级行为者，系统将不使用低优先级行为者正在行进的场景的任何受路径影响的特性来确定低分辨率预报。
在一些实施例中，在将优先级评级分配给检测到的行为者之前，感知系统可以识别时间计划，该时间计划表示为所有检测到的行为者生成预报可用的总时间量。系统还将确定第一时间量，该第一时间量等于生成低优先级预报所需的时间。随后将通过从可用的总时间量中减去第一时间量来确定第二时间量，该第二时间量等于生成高优先级预报可用的时间。系统将确定在第二时间量内可以生成的高优先级预报的数量。随后，当将优先级评级分配给检测到的行为者时，系统将向多达该数量的检测到的行为者分配高优先级评级，并且将向任何其余检测到的行为者分配低优先级评级。可选地，为了确定第一时间量，系统可以确定为所有检测到的行为者生成低优先级预报所需的时间。
在一些实施例中，为检测到的行为者生成预报可以包括在为任何高优先级行为者生成任何高分辨率预报之前，为所有检测到的行为者生成低分辨率预报。如果是这样，则在运动规划系统使用预测的动作来确定自主车辆的选定轨迹之前，预报系统可以确定预报系统是否为所有高优先级行为者实际生成了高分辨率预报，并且当预报系统没有为所有高优先级行为者生成高分辨率预报时，将通知运动规划系统。
可选地，当运动规划系统使用至少一些高分辨率候选预报来确定自主车辆的轨迹时，系统可以确定哪些高分辨率候选预报与自主车辆的运动规划操作相关。随后，当确定自主车辆的选定轨迹时，系统可以使用与运动规划操作相关的高分辨率候选预报，并且可以不使用与运动规划操作无关的任何高分辨率候选预报。
在一些实施例中，为了将优先级评级分配给每个检测到的行为者，系统可以估计检测到的行为者的速度，并且可以使用检测到的行为者的估计速度和自主车辆的速度来测量检测到的行为者是否可以在时段内到达自主车辆。如果检测到的行为者不能在时段内到达自主车辆，则系统可以确定检测到的行为者是低优先级行为者，否则系统可以确定检测到的行为者可能是高优先级行为者。
在一些实施例中，为了将优先级评级分配给每个检测到的行为者，系统可以确定自主车辆周围的感兴趣区域，并且可以评估检测到的行为者是否在感兴趣区域内。如果检测到的行为者不在感兴趣区域内，则系统可以确定检测到的行为者可能是低优先级行为者，否则系统可以确定检测到的行为者可能是高优先级行为者。
在一些实施例中，为了将优先级评级分配给每个检测到的行为者，系统可以识别检测到的行为者正在行进的第一路径和自主车辆正在行进的第二路径。系统可以评估第一路径在感兴趣区域内是否可能与第二路径冲突。如果第一路径在感兴趣区域内不与第二路径冲突，则系统可以确定检测到的行为者可能是低优先级行为者，否则系统可以确定检测到的行为者可能是高优先级行为者。
可选地，在上述实施例中，第二路径可以是自主车辆正在行进的街道。如果是这样，则评估第一路径是否可能与第二路径冲突可以包括，在存在以下特征中的任何一个的情况下，评估第一路径可能与第二路径冲突：(a)第一路径是在感兴趣区域内与街道相交的车道段；(b)第一路径是在感兴趣区域内与街道相交的人行横道；或者(c)第一路径是街道的车道段并且标称方向与自主车辆的行进方向匹配。可替换地或附加地，为了评估第一路径在感兴趣区域内是否可能与第二路径冲突，在第一路径是通过物理屏障与街道分隔开的车道段的情况下，系统可以确定第一路径不会与第二路径冲突。可替换地或附加地，为了评估第一路径在感兴趣区域内是否可能与第二路径冲突，在以下情况下，系统可以确定第一路径不会与第二路径冲突：(a)第一路径和第二路径是同一街道；以及(b)另一行为者在自主车辆后面并且移动方向与自主车辆相同但是速度更低。
附图说明
图1示出了自主车辆感知车辆正在移动或将要移动的环境中的各种其他行为者的方式。
图2示出了对检测到的行为者进行优先排序的示例过程。
图3示出了可以向另一个行为者分配高优先级或低优先级的示例过程。
图4示出了可以向另一个行为者分配高优先级或低优先级的另一个示例过程。
图5A-5C示出了推断行为者的候选意图并随时间更新每个意图的似然度的示例过程。
图6示出了关于图2的过程的某些步骤的附加细节。
图7是示出自主车辆的各种高级系统的框图。
图8示出了可以构成图7的系统的特定硬件的示例。
图9是示出自主车辆和/或外部电子设备的可能电子子系统的各种元件的框图。
具体实施方式
除非上下文另有明确规定，否则本文中使用的单数形式“一”、“一个”和“该”包括复数引用。除非另有定义，否则本文中使用的所有技术和科学术语具有本领域普通技术人员通常理解的含义。本文中使用的术语“包含”是指“包括但不限于”。与本文相关的附加术语的定义包含在本具体实施方式的末尾。
自主车辆(AV)必须能够预测其在环境中检测到的行为者的未来轨迹，以便做出安全高效的行为决策。在确定行为者的候选轨迹之前，AV必须确定行为者的意图，即行为者的高级计划是什么，而不管行为者如何执行该计划。所有预报的根源都始于推断行为者的可能意图，并将其存储为一组可能意图。示例意图(也可以称之为意图或目标)包括“横穿街道”(在行为者是行人的情况下)、“泊车”或“右转”(在行为者是车辆的情况下)，或移动行为者可能在道路上或附近进行的任何其他数量的可能高级别动作。
本文描述了AV使用优先排序方法来预测其他检测到的行为者的意图和动作的新颖方法，其提高计算效率和处理时间的同时还保留一些或所有预测的动作以供在运动规划过程中考虑。
在讨论当前方法之前，描述AV感知环境中的行为者的方式是有用的。图1示出了示例系统100，其包括正以半自主或自主方式沿着道路行进的车辆102。车辆102可以是AV。AV102可以是，但不限于，陆地车辆(如图1所示)、飞机或船只。
AV 102总体上被配置为检测位于其传感器的检测范围和检测域内的其他对象，例如行为者105、114、116。行为者可以包括，例如，另一车辆105、骑车人114(例如自行车、电动滑板车、摩托车等的骑手)和/或行人116。例如，可以通过分析AV 102上的至少一个传感器设备生成的传感器数据和/或经由通信链路150、152、154从对象的通信设备(例如，收发器、信标和/或智能电话)接收的信息进行对象检测。通信链路150、152、154可以包括，但不限于，V2X通信链路。术语“V2X”是指车辆与任何可能影响车辆或可能受到车辆影响的实体之间的通信。
当进行这样的检测时，AV 102执行操作以：为检测到的行为者生成一个或多个可能的行为者轨迹(或预测的行进路径)；并且使用所生成的可能对象轨迹(或预测的行进路径)中的至少一个来促进AV确定车辆轨迹。AV 102随后可以执行操作以遵循车辆轨迹。
在一些场景中，AV 102执行额外操作以确定是否存在AV在阈值时间段(例如，1分钟)内将到达离行为者阈值距离以内的不期望的风险水平。如果存在，则AV 102执行操作以确定在AV 102遵循车辆轨迹并且在定义的时间段(例如/V毫秒)内执行多个动态生成的紧急机动中的任何一个的情况下是否可以避免这种情况。如果可以避免这种情况，则AV 102不采取任何动作或可选地执行谨慎机动。(例如，AV 102可以稍微减速。)相反，如果不能避免这种情况，则AV 102立即采取紧急机动(例如，刹车和/或改变行进方向)。
在一些实施例中，AV可以包括数据存储器或与之通信，数据存储器具有可以分配给各种类别的行为者的一组目标。例如，数据集可以包括指示车辆类别的行为者可以与目标相关联的数据，目标包括：(i)遵循的车道(即，在环境中遵循映射车道的意图)；(ii)未映射的机动(如k型转弯、非法U型转弯或转入停车场)；(iii)已泊车或正在泊车；和/或(iv)车道堵塞(例如通过双重泊车或以其他方式停车并至少部分堵塞车道)。数据集可以指示行人类别的行为者可以与诸如在人行横道横穿街道、乱穿马路、进入泊车车辆或其他目标之类的目标相关联。
图2示出了AV可以对AV在其环境中移动时遇到的其他行为者进行运行时间优先排序评估的方法的示例步骤。在201，AV的感知系统将使用诸如上面和下面讨论的那些方法来检测多个其他行为者。在202，AV的感知系统将再次使用诸如上面和下面讨论的那些方法来处理其收集的数据，以确定行为者的类别，例如车辆、行人等。在203，AV的感知系统可以确定时间计划t_Budget，该时间计划t_Budget是为环境中检测到的行为者创建预报的可用时间，并且可以确定该计划有多少可用于高分辨率预报。时间计划可以是固定的数字，也可以是基于环境类型(例如：城市与农村)、AV行进速度、AV轨迹特征(例如：十字路口与开放道路)或其他参数等因素变化的变量。以下将更详细地讨论这一计划中有多少可用于高分辨率预报的确定。在204，感知系统将向每个检测到的行为者分配优先级评级。优先级评级将是高优先级行为者评级或低优先级行为者评级。优先级评级也可以包括这些一般类别内的各种等级(即子级别)，但每个此类等级都属于这两个类别之一。
系统可以将优先级评级分配为二元决策，也就是说，如果行为者满足以下讨论的高优先级评级的任一标准，则系统可以确定该行为者是高优先级行为者。可替换地，系统可以使用考虑下面讨论的任何或所有标准和/或其他标准的规则或评分函数。可选地，函数可以根据检测到多少行为者和可用多少处理时间而变化，如下所述。
例如，当分配优先级评级时，系统的感知系统可以估计检测到的行为者的速度。估计速度可以根据AV的LiDAR系统、摄像机或其他传感器捕获的数据来测量。或者，系统可以估计行为者的速度等于(例如从地图数据或摄像机数据中检测到的)道路的公布限速或是道路的公布限速的函数，例如，在道路上行进的车辆的估计速度可以是道路的公布限速。作为另一个替代方案，系统可以通过使用基于物理的运动模型并使用检测到的对象类型在物理上可能的最高速度估计最坏情况下的速度来估计车辆的速度。在这些情况中的任何一种情况下，系统随后可以使用检测到的行为者的估计速度和AV的速度(如AV的车载系统所报告的AV的速度)来测量检测到的行为者是否能够在时段内到达AV，假设另一行为者和AV保持它们的速度。如果另一行为者不能在时段内到达AV，则系统可以将低优先级分配给另一行为者；否则，系统可以将高优先级分配给另一行为者。例如，对于AV和行为者，系统可以使用基本方程D(距离)＝V(速度)×T(时间)来确定行为者何时赶上AV。
作为分配优先级评级的另一个示例，参考图3，系统可以确定围绕AV 301的感兴趣区域(ROI)305。ROI 305可以仅仅是如图所示的由围绕AV 301的特定距离的半径形成的圆，或者可以是另一种形状，例如椭圆形或矩形，其尺寸被确定为AV 301正在行进的道路的边界、其速度和/或其他特征的函数。系统可以评估检测到的行为者302是否在ROI 305内。如果检测到的行为者302不在ROI 305内，则系统可以将低优先级评级分配给检测到的行为者302。否则，如图3所示，另一行为者302在ROI 305内，系统可以确定检测到的行为者302可能是高优先级行为者，这可以是其最终确定，或者仅仅是使行为者302成为高优先级行为者的候选的因素。
另一个示例优先级评级过程根据道路拓扑，特别是根据AV和其他行为者正在行进的车道段，将另一行为者视为高优先级或低优先级。例如，如图4所示，AV 401(可以认为是第一行为者)正在沿着第一路径409行进。第二行为者402正在沿着第二路径406行进，第三行为者412正在沿着第三路径412行进。因为第一路径409和第二路径406可能在图4所示的感兴趣区域内冲突，所以系统可以将高优先级分配给第二行为者402。然而，因为第一路径409和第三路径416在图4所示的感兴趣区域内不冲突，所以系统可以将低优先级分配给第三行为者412。
除了图4所示的特征之外，或将其作为图4所示的特征的变体，系统还可以考虑其他特征。例如：
-如果其他行为者正在沿着包括在感兴趣区域内与AV的街道相交的车道段的路径行进，则系统可以为其他行为者分配高优先级；
-如果另一行为者是行人和/或另一行为者正在在感兴趣区域内与街道相交的人行横道上行进，或者系统可以将高优先级分配给另一行为者，特别是在另一行为者正朝着(而不是远离)AV的行进车道移动的情况下；
-如果另一行为者正沿着AV所在街道的车道段行进并且该车道段的标称方向与AV的行进方向相匹配，则系统可以为另一行为者分配高优先级；
-如果另一行为者正沿着与AV不共享可驾驶区域的车道段行进(例如，如果另一行为者通过物理屏障与AV的车道被分隔开)，则系统可以为另一行为者分配低优先级；以及
-如果另一行为者在AV后面，与AV在同一车道上，并且以与AV相同的方向移动，但速度低于AV，则系统可以为另一行为者分配低优先级。
在将优先级评级分配给检测到的行为者之前或之后，如上所述，在步骤203，系统可以确定有多少检测到的行为者可以被处理为高优先级，有多少必须被处理为低优先级。为此，系统可以计算在场景中检测到的行为者的总数N，并且可以通过以下方式来识别处理检测到的行为者的子集的高保真度(即高分辨率)预报可用的时间量(t_HF)：(i)识别为所有N个行为者(N*t_LF)创建低保真度(即低分辨率)预报所需的时间和(ii)从可用于预报t_Budget的总时间中减去该时间。所有低保真度预报完成后剩余的时间计划t_Budget的部分随后可用于高频预报：t_HF＝t_Budget-N*t_LF。系统随后可以将高保真度预报可用的时间t_HF除以每个高分辨率预报的预期时间，以产生可以被分类为高优先级行为者的最大行为者数/Nhp-max。(尽管如下文所述，每个高分辨率预报的“预期”时间不一定是计划或限制，而是高分辨率预报通常预期的估计时间。)或者，系统可以使用最大行为者数Nhp-max作为可以使用高分辨率预报处理的行为者数。无论哪种方式，系统随后可以处理时间计划t_Budget内所有检测到的行为者的高分辨率预报或低分辨率预报。随后，当将优先级评级分配给检测到的行为者时，系统可以将高优先级评级分配给多达Nhp-max个检测到的行为者，并且可以将低优先级评级分配给其余的检测到的行为者。
返回图2，由于AV的感知系统看到的场景不断变化，所以系统将继续收集如上所述的数据，并且将在多个循环内分配优先级评级。在每个循环中，在205，系统将选择每个行为者，并且在206，对于每个行为者，系统将确定该行为者的优先级评级是否高于阈值。如果使用时间计划t_Budget来确定有多少行为者可以被归类为高优先级，那么阈值可能仅仅是行为者被归类为高优先级或低优先级的一个二进制评估。如果时间计划t_Budget没有用于确定有多少行为者可以被归类为高优先级，那么系统可以是一个基于等级或基于类别的数值阈值，其中只有那些超过阈值的高优先级行为者将获得高分辨率预报，而其余高优先级行为者(即低于阈值的行为者)将获得低分辨率预报。
系统随后将通过为每个高优先级行为者生成一个或多个高分辨率候选预报(在207)并通过为每个低优先级行为者生成低分辨率候选预报(在208)来为每个检测到的行为者生成候选预报。可选地，在生成高优先级预报之前，系统可以为所有行为者生成低分辨率预报，而不考虑优先级。无论哪种方式，低优先级行为者都不会被忽视，所有行为者都可以接收至少一个预报。即使可能不期望低优先级行为者与AV交互，系统仍将为每个低优先级行为者生成至少一个低分辨率候选预报。
“高分辨率”与“低分辨率”意味着高分辨率预报预计比低分辨率预报更精确。这是因为高分辨率预报将考虑比低分辨率预报更动态的输入和/或更复杂的模型。此外，低分辨率预报可以在固定时间计划内使用不依赖于动态输入(如车道几何形状)的时间确定性预测模型生成；相比之下，高分辨率预报不一定有时间计划，它们将考虑车道几何形状和/或来自车辆传感器的其他动态变化输入。例如，当为高优先级行为者生成高分辨率预报时，系统可以检测高优先级行为者正在行进的场景的一个或多个受路径影响的特性。受路径影响的特性是可能导致行为者改变其行进路径的特性。例如，考虑一辆接近四向十字路口的车辆。十字路口处的岔路可能导致车辆继续向前行驶，或者车辆可以通过左转或右转来改变其轨迹。高分辨率候选预报可以包括对这些可能轨迹中的每一个的预报。低分辨率预报可以是假设行为者继续前进而不在十字路口处转弯的预报，因为低分辨率预报将独立于动态输入，例如特定位置处的道路网络。因此，系统将使用场景的受路径影响的特性中的一个或多个来确定高分辨率预报，但不使用场景的任何受路径影响的特性来确定低分辨率预报。
返回图2，在209，如果系统为任何一个行为者生成多个候选高分辨率和/或低分辨率预报，则系统可以评估每个候选预报的似然度，并且在210，将把候选预报及其似然度与生成的意图所针对的行为者相关联地保存在数据存储器中。似然度可以使用任何可能的评分函数来生成，包括，但不限于，使用诸如轨迹是否会导致突然加速或减速、或突然转弯、或违反交通规则等标准的二进制似然度(即，可能与否)。以下将在图5A-5C的上下文中讨论额外方法。
在213，自主车辆的预报系统随后将使用高分辨率候选预报中的至少一些和低分辨率候选预报中的至少一些来预测行为者的动作，并且在214，车辆的运动规划系统将使用预测的动作来确定自主车辆的选定轨迹。可以使用任何合适的轨迹规划过程，包括，但不限于，以下将更详细描述的那些过程。
可选地，使用预测的动作来确定AV的轨迹可以包括确定哪些行为者的动作与AV的运动规划操作相关。例如，如果在任何可行的预报轨迹下，候选预报在时段内不能与AV的路径冲突，则系统可以确定动作(或行为者)与AV的运动规划操作无关。随后，当确定自主车辆的选定轨迹时，系统可以仅考虑与运动规划操作相关的候选预报，而不使用与运动规划操作无关的候选预报。
可选地，如图2所示，在211，在任何当前循环完成后，对于当前循环以及对于先前循环中的一个或多个，AV的感知系统可以分析高分辨率候选预报，以确定至少一些高优先级行为者的总体高分辨率候选预报。在213，对于当前循环以及对于先前循环中的一个或多个，系统还(或可替换地)可以分析低分辨率预报，以确定低优先级行为者中的至少一些的一个或者多个总体低分辨率预报。随后，在214，当系统使用预报来影响自主车辆的选定轨迹时，可以使用总体高分辨率和/或低分辨率预报中的至少一些。
可选地，如上所述，在209，系统可以通过使用来自附加循环的数据来确定和细化每个候选预报的总体似然度，从而确定候选预报的似然度。例如，图5A-5C示出了行为者501在多个时间循环上朝向各种目标的进展。在图5A中，在时间t0，行为者501正在接近朝向目标511a和511b的候选车道。最初，系统可以确定目标511a比511b更有可能，因为车辆当前在目标511a的车道上。在图5B中，在时间tl，行为者501继续在同一车道目标511a中，没有发出切换车道的意图的信号，并且处于改变车道以到达目标511b的动态将导致突然剧烈的移动的位置。鉴于这些因素中的任何一个或全部，系统将增加目标511a的似然度的值，并相应地降低目标511b的似然度。在图5C中，在时间t2，车辆已经到达对应于目标511a的车道的末端，因此系统随后考虑下一组目标，其可以包括左转目标512a和/或泊车目标512b。此外，图5A和5B示出了考虑可以考虑多组目标511a-b和512a-b的相对似然度，并且在行为者501完成该组目标中的一个目标内的任何目标或者做出使得该组目标中的目标不可能实现的移动之前，考虑该组目标内的每个目标的相对似然度。
返回图2，在213，自主车辆的运动规划系统将使用一个或多个预测的行为者动作来影响自主车辆的选定轨迹。例如，如上所述，AV可以避免或改变可能与行为者的轨迹相冲突的规划路径，该轨迹与似然度超过阈值的目标相关联。可选地，如果车辆配备有车载显示设备，则似然度超过阈值的行为者的目标或者行为者最可能的目标可以在显示器上输出以供车辆操作者观看。
可选地，在215，系统可以确定是否完成了所有高分辨率预报。例如，如果系统的时间计划预期N个高优先级行为者将获得高优先级预报，但环境阻止系统为所有N个高优先级行为者生成高分辨率预报，则在215，预报系统可以将这一情况通知运动规划系统，使得运动规划系统可以在使用可用的低优先级和(如果有的话)高优先级预报来规划其轨迹或采取其他动作(例如停止或遵循更保守的轨迹)时考虑这一情况。作为另一示例，如果系统将X个行为者分类为高优先级，但是时间计划仅允许对X个高优先级行为者的子集进行高分辨率处理，则在215，预报系统可以出于类似目的将这一情况通知运动规划系统。
图6示出了AV的运动规划系统如何使用一个或多个候选预报及其似然度来影响自主车辆的选定轨迹的另一个示例(步骤209)。在612，系统可以首先过滤出似然度低于阈值的候选预报，使得下一步骤仅针对具有相对高的似然度的候选预报执行。在613，对于候选预报中的至少一些，预报系统将预报未来模态(即，行为者在达到当前目标之后可能具有的后续目标)，并将概率分配给每个预报的未来模态。在614，预报系统可以选择相对高概率的未来模态，在615，系统可以选择与当前推断意图和概率超过阈值的多个预报模态一致的轨迹。
随着时间的推移，一些目标可能被视为彼此专属，例如变道目标和名义车道目标。在这种情况下，系统使用多类隐马尔可夫模型(HMM)来联合跟踪似然度可能是有意义的。或者，系统可以单独地或与多类HMM相结合地对具有多个证据来源的各个二进制HMM进行推理和拟合。
图7显示了可能与上述讨论相关的AV子系统的高级概述。这种系统内的特定部件将在本文稍后对图8的讨论中进行描述。子系统的某些部件可以体现在处理器硬件和作为AV的车载计算系统701的一部分的计算机可读编程指令中。子系统可以包括感知系统702，该感知系统702包括捕捉关于移动行为者和存在于车辆的紧邻周围环境中的其他对象的信息的传感器。示例传感器包括摄像机、LiDAR传感器和雷达传感器。这种传感器捕获的数据(如数字图像、LiDAR点云数据或雷达数据)称为感知数据。
感知系统可以包括一个或多个处理器，以及具有编程指令和/或经过训练的人工智能模型的计算机可读存储器，在AV行驶过程中，编程指令和/或经过训练的人工智能模型将处理感知数据以识别对象，并为场景中检测到的每个对象分配分类标签和唯一标识符。分类标签可以包括车辆、自行车、行人、建筑物等类别。识别对象并将分类标签分配给对象的方法在本领域是公知的，并且可以使用任何合适的分类过程，例如对场景中检测到的对象进行边界框预测并且使用卷积神经网络或其他计算机视觉模型的分类过程。一些这样的过程在以下文献中有描述：“Yurtsever等人，自主驾驶调查：常见实践和新兴技术”(发表在IEEE Access，2020年4月)。
车辆的感知系统702可以向车辆的预报系统703传递感知数据。预报系统(也可以称为预测系统)将包括处理器和计算机可读编程指令，计算机可读编程指令被配置为处理从感知系统接收的数据并且预报感知系统检测到的其他行为者的动作。典型的预报将是一个轨迹，但它也可能是行为者将保持静止的预测。预报可以包括反映行为者也可以采取的动作的其他参数。
车辆的感知系统以及车辆的预报系统将向车辆的运动规划系统704和控制系统705传递数据和信息，以便接收系统可以评估这些数据并对这些数据发起任何数量的响应性运动。运动规划系统704和控制系统705包括和/或共享一个或多个处理器和计算机可读编程指令，计算机可读编程指令被配置为处理从其他系统接收的数据，确定车辆的轨迹，并向车辆硬件输出根据所确定的轨迹移动车辆的命令。这种命令可能引起的示例动作包括使车辆的制动控制系统致动、使车辆的加速度控制子系统增加车辆的速度、或使车辆的转向控制子系统转向车辆。各种运动规划技术是众所周知的，例如在以下文献中描述的：Gonzalez等人，“自动化车辆的运动规划技术综述”，发表在《IEEE智能交通系统汇刊》第17卷第4期(2016年4月)。
在AV部署期间，AV从AV感知系统的一个或多个传感器接收感知数据。感知数据可以包括表示环境中的一个或多个对象的数据。感知系统将处理数据以识别对象并为场景中检测到的每个对象分配分类标签和唯一标识符。
图8示出了用于车辆(例如AV)的示例系统架构899。车辆包括发动机或马达802以及用于测量车辆和/或其环境的各种参数的各种传感器。例如，两种类型的车辆常见的操作参数传感器包括：位置传感器836，例如加速度计、陀螺仪和/或惯性测量单元；速度传感器838；以及里程计传感器840。车辆还可以具有时钟842，系统使用该时钟来确定操作期间的车辆时间。时钟842可以被编码到车辆车载计算设备中，可以是单独的设备，或者可以有多个时钟。
车辆还将包括用于收集有关车辆行驶环境的信息的各种传感器。例如，这些传感器可以包括定位传感器860，例如全球定位系统(GPS)设备；对象检测传感器，例如一个或多个摄像机862；LiDAR传感器系统864；和/或雷达和/或声纳系统866。传感器还可以包括环境传感器868，例如降水传感器和/或环境温度传感器。对象检测传感器可以使车辆能够在任何方向上检测在车辆599的给定距离范围内的移动行为者和静止对象，而环境传感器收集关于车辆行驶区域内的环境条件的数据。系统还将包括用于捕捉环境图像的一个或多个摄像机862。这些传感器中的任何一个或全部将捕获传感器数据，该传感器数据将使车辆的车载计算设备820和/或外部设备的一个或多个处理器能够执行编程指令，该编程指令使计算系统能够对感知数据中的对象进行分类，并且所有这些传感器、处理器和指令可以被认为是车辆的感知系统。车辆还可以经由一个或多个无线通信链路从通信设备(例如收发器、信标和/或智能电话)接收信息，所述无线通信链路例如为被称为车辆对车辆、车辆对对象或其他V2X通信链路的无线通信链路。术语“V2X”是指车辆与车辆在其环境中可能遇到的或可能受其影响的任何对象之间的通信。
在车辆行驶过程中，信息从传感器传递到车载计算设备820。车载计算设备820分析由感知系统传感器捕获的数据，并且充当运动规划系统，执行指令以确定车辆的轨迹。轨迹包括姿态和时间参数，车辆的车载计算设备将控制各种车辆部件的操作以使车辆沿着轨迹移动。例如，车载计算设备820可以经由制动控制器822来控制制动；经由转向控制器824来控制方向；经由节气门控制器826(在燃气动力车辆中)或马达速度控制器828(例如电动车辆中的电流水平控制器)来控制速度和加速度；控制差速齿轮控制器830(在具有变速器的车辆中)；和/或控制其他控制器。
地理位置信息可以从定位传感器860传送到车载计算设备820，然后车载计算设备可以访问与位置信息相对应的环境地图，以确定环境的已知固定特征，例如街道、建筑物、停车标志和/或停/走信号。从摄像机862捕获的图像和/或从诸如LiDAR系统864的传感器捕获的对象检测信息从这些传感器传送到车载计算设备520。对象检测信息和/或捕获的图像可以由车载计算设备820处理，以检测车辆800附近的对象。附加地或可替换地，AV可以将任何数据发送到外部计算设备880以进行处理。用于基于传感器数据和/或捕获的图像执行对象检测的任何现在已知的或尚未已知的技术都可以用于本文公开的实施例中。
此外，AV可以包括车载显示设备885，车载显示设备885可以生成并输出界面，传感器数据、车辆状态信息或通过本文中描述的过程生成的输出在该界面上显示给车辆的乘员。显示设备可以包括以音频格式呈现这种信息的音频扬声器或者单独的设备可以是以音频格式呈现这种信息的音频扬声器。
图9描述了可以包括在系统的任何电子部件中的内部硬件的示例，例如AV的车载计算设备、外部监控和报告系统或远程服务器。电气总线900用作互连硬件的其它所示部件的信息高速公路。处理器905是系统的中央处理设备，被配置为执行实施编程指令所需的计算和逻辑操作。本文和权利要求中所使用的术语“处理器”和“处理设备”可以指单个处理器或处理器集中共同执行一组操作的任意数量的处理器，例如中央处理单元(CPU)、图形处理单元(GPU)、远程服务器或它们的组合。只读存储器(ROM)、随机存取存储器(RAM)、闪存、硬盘驱动器和能够存储电子数据的其他设备构成存储器设备925的示例。存储器设备可以包括存储数据和/或指令的单个设备或设备集合。本发明的各种实施例可以包括包含编程指令的计算机可读介质，编程指令被配置为使一个或多个处理器执行在先前附图的情景中描述的功能。
可选的显示界面930可以允许来自总线900的信息以视觉、图形或字母数字格式显示在显示设备935上，例如车辆的仪表板内置显示系统。还可以提供音频接口和音频输出(例如扬声器)。与外部设备的通信可以使用各种通信设备940来进行，例如无线天线、射频识别(RFID)标签和/或短程或近场通信收发器，其中的每一个可以可选地经由一个或多个通信系统与设备的其他部件通信连接。通信设备940可以被配置为通信地连接到通信网络，例如因特网、局域网或蜂窝电话数据网络。
硬件还可以包括用户接口传感器945，该用户接口传感器945允许接收来自输入设备950的数据，输入设备例如是键盘或小键盘、操纵杆、触摸屏、触摸板、遥控器、指示设备和/或麦克风。数字图像帧还可以从摄像机920接收，摄像机920可以捕获视频和/或静止图像。系统还可以从诸如加速度计、陀螺仪或惯性测量单元的运动和/或位置传感器970接收数据。当在自主车辆的情景中使用时，系统还可以包括LiDAR系统960并经由LiDAR系统960接收数据。
以上公开的特征和功能以及替代方案可以组合到许多其他不同的系统或应用中。各种部件可以在硬件或软件或嵌入式软件中实现。本领域技术人员可以做出各种当前不可预见或不可预期的替代、修改、变化或改进，其中的每一个也旨在被公开的实施例所涵盖。
因此，在上述各种实施例中，本文描述了自主车辆可以预测处于自主车辆正在行进的环境中的其他行为者的动作的方法，以及实现这种方法的系统和用于使系统实现这种方法的计算机程序产品。为此，自主车辆的感知系统将检测靠近自主车辆的各种行为者。对于每个检测到的行为者，感知系统将为检测到的行为者分配优先级评级。每个行为者可以是高优先级行为者和/或低优先级行为者，并且这些评级中的每一个可以具有指示相对得分或其他优先级度量的一个或多个子级别。
然后，自主车辆的预报系统将在多个循环中的每个循环中为每个检测到的行为者生成预报。对于至少一些高优先级行为者，预报将是高分辨率预报。对于每个低优先级行为者以及可选的一些高优先级行为者，系统将生成低分辨率预报。系统将把每个预报与生成的预报所针对的行为者相关联地保存在数据存储器中。预报系统随后将使用高分辨率预报中的至少一些来预测高优先级行为者中的至少一些的一个或多个动作，并且将使用低分辨率预报中的至少一些来为每个低优先级行为者预测一个或多个动作。自主车辆的运动规划系统随后将使用预测的动作来确定自主车辆的轨迹。
在一些实施例中，在任何循环完成后，对于当前循环和对于先前循环中的一个或多个，感知系统可以分析高分辨率预报、低分辨率预报及其似然度，以确定对于高优先级行为者中的至少一些的总体高分辨率预报和对于低优先级行为者中的至少一些的总体低分辨率预报。
在一些实施例中，当为高优先级行为者生成高分辨率预报时，系统可以检测高优先级行为者正在行进的场景的受路径影响的特性。受路径影响的特性是可能导致行为者改变其行进路径的特性。系统随后将使用受路径影响的特性来确定候选高分辨率预报，其中至少一些预报遵循不同的轨迹。然而，对于每个低优先级行为者，系统将不使用低优先级行为者正在行进的场景的任何受路径影响的特性来确定低分辨率预报。
在一些实施例中，在将优先级评级分配给检测到的行为者之前，感知系统可以识别时间计划，该时间计划表示为所有检测到的行为者生成预报可用的总时间量。系统还将确定第一时间量，该第一时间量等于生成低优先级预报所需的时间。随后将通过从可用的总时间量中减去第一时间量来确定第二时间量，该第二时间量等于生成高优先级预报可用的时间。系统将确定在第二时间量内可以生成的高优先级预报的数量。随后，当将优先级评级分配给检测到的行为者时，系统将向多达该数量的检测到的行为者分配高优先级评级，并且将向任何其余检测到的行为者分配低优先级评级。可选地，为了确定第一时间量，系统可以确定为所有检测到的行为者生成低优先级预报所需的时间。
在一些实施例中，为检测到的行为者生成预报可以包括在为任何高优先级行为者生成任何高分辨率预报之前，为所有检测到的行为者生成低分辨率预报。如果是这样，那么在运动规划系统使用预测的动作来确定自主车辆的选定轨迹之前，预报系统可以确定预报系统是否为所有高优先级行为者实际生成了高分辨率预报，并且当预报系统没有为所有高优先级行为者生成高分辨率预报时，将通知运动规划系统。
可选地，当运动规划系统使用至少一些高分辨率候选预报来确定自主车辆的轨迹时，系统可以确定哪些高分辨率候选预报与自主车辆运动规划操作相关。随后，当确定自主车辆的选定轨迹时，系统可以使用与运动规划操作相关的高分辨率候选预报，并且可以不使用与运动规划操作无关的任何高分辨率候选预报。
在一些实施例中，为了将优先级评级分配给每个检测到的行为者，系统可以估计检测到的行为者的速度，并且可以使用检测到的行为者的估计速度和自主车辆的速度来测量检测到的行为者是否可以在时段内到达自主车辆。如果检测到的行为者不能在时段内到达自主车辆，则系统可以确定检测到的行为者是低优先级行为者，否则系统可以确定检测到的行为者可能是高优先级行为者。
在一些实施例中，为了将优先级评级分配给每个检测到的行为者，系统可以确定自主车辆周围的感兴趣区域，并且可以评估检测到的行为者是否在感兴趣区域内。如果检测到的行为者不在感兴趣区域内，则系统可以确定检测到的行为者可能是低优先级行为者，否则系统可以确定检测到的行为者可能是高优先级行为者。
在一些实施例中，为了将优先级评级分配给每个检测到的行为者，系统可以识别检测到的行为者正在行进的第一路径和自主车辆正在行进的第二路径。系统可以评估第一路径在感兴趣区域内是否可能与第二路径冲突。如果第一路径在感兴趣区域内不与第二路径冲突，则系统可以确定检测到的行为者可能是低优先级行为者，否则系统可以确定检测到的行为者可能是高优先级行为者。
可选地，在上述实施例中，第二路径可以是自主车辆正在行进的街道。如果这样，那么评估第一路径是否可能与第二路径冲突可以包括，如果存在以下特征中的任何一个，则评估第一路径可能与第二路径冲突：(a)第一路径是在感兴趣区域内与街道相交的车道段；(b)第一路径是在感兴趣区域内与街道相交的人行横道；或者(c)第一路径是街道的车道段并且具有与自主车辆的行进方向匹配的标称方向。可替换地或附加地，为了评估第一路径在感兴趣区域内是否可能与第二路径冲突，则系统在以下情况下可以确定第一路径不会与第二路径相冲突：(a)第一路径和第二路径是同一街道；以及(b)另一个行为者在自主车辆后面并且以与自主车辆相同的方向但是更低的速度移动。
与以上提供的公开内容相关的术语包括：
术语“车辆”是指能够承载一名或多名乘客和/或货物并由任何形式的能量提供动力的任何移动形式的运输工具。术语“车辆”包括，但不限于，轿车、卡车、货车、火车、自主车辆、飞机、无人机等。“自主车辆”是指具有处理器、编程指令和传动系部件的车辆，传动系部件可由处理器控制，无需人工操作。自主车辆可以是完全自主的，对于大多数或所有的驾驶条件和功能，不需要人工操作。或者，自主车辆可以是半自主的，在某些条件下或对于某些操作，可能需要人工操作，或者，人工操作可以超驰车辆的自主系统并承担车辆的控制。自主车辆还包括自主系统增强车辆的人工操作的车辆，例如具有驾驶员辅助转向、速度控制、制动、停车和其他高级驾驶员辅助系统的车辆。
当在自主车辆运动规划情景中使用时，术语“轨迹”是指车辆的运动规划系统将生成的并且车辆的运动控制系统在控制车辆运动时将遵循的规划。轨迹包括车辆在时段内的多个时间点的计划位置和方向，以及车辆在同一时段内的计划方向盘角度和角速率。自主车辆的运动控制系统将消耗轨迹并向车辆的转向控制器、制动控制器、节气门控制器和/或其他运动控制子系统发送命令，以使车辆沿着计划的路径移动。
车辆的感知或预报系统可以生成的行为者的“轨迹”是指行为者在时段内将遵循的预测路径，以及在沿着时段的各个点行为者沿着路径的预测速度和/或行为者的位置。
“电子设备”或“计算设备”是指包括处理器和存储器的设备。每个设备可以具有其自己的处理器和/或存储器，或者可以与其他设备共享处理器和/或存储器，如在虚拟机或容器布置中。存储器将包含或接收编程指令，编程指令在由处理器执行时使电子设备根据编程指令执行一个或多个操作。
术语“存储器”、“存储器设备”、“数据存储器”、“数据存储器设施”等均指存储计算机可读数据、编程指令或两者的非暂时性设备。除非另有特别说明，否则术语“存储器”、“存储器设备”、“数据存储器”和“数据存储器设施”等旨在包括单个设备实施例、多个存储器设备一起或共同存储一组数据或指令的实施例以及这些设备内的各个扇区。“计算机程序产品”是一种包含编程指令的存储设备，这些编程指令被配置为使系统执行某些所描述的功能。
术语“处理器”和“处理设备”是指被配置为执行编程指令的电子设备的硬件部件，如微处理器或其他逻辑电路。处理器和存储器可以是微控制器、定制可配置集成电路、可编程片上系统或其他可编程以执行各种功能的电子设备的元件。除非另有特别说明，否则单数术语“处理器”或“处理设备”旨在包括单个处理设备实施例和多个处理设备一起或共同执行过程的实施例。
术语“分类器”是指人工智能系统可以将标签或类别分配给一个或多个数据点的自动化过程。分类器包括通过诸如机器学习之类的自动化过程来训练的算法。分类器通常从一组标记或未标记的训练数据开始，并应用一个或多个算法来检测数据中对应于各种标签或类别的一个或多个特征和/或模式。算法可以包括，但不限于，决策树那样简单的算法、Naive Bayes分类那样复杂的算法和/或诸如k近邻之类的中间算法。分类器可以包括人工神经网络(ANN)、支持向量机分类器和/或多种不同类型的分类器中的任何一种。一旦经过训练，分类器就可以使用其在训练期间学习的知识库来对新的数据点进行分类。训练分类器的过程可以随着时间的推移而发展，因为分类器可以在更新的数据上循环性地进行训练，并且可以从被提供的关于它们可能被错误分类的数据的信息中学习。分类器将由执行编程指令的处理器来实现，并且可以对图像数据、LiDAR系统数据和/或其他数据等大数据集进行操作。
“机器学习模型”或“模型”是指一组算法例程和参数，这些例程和参数可以基于一组输入特征预测真实世界过程的输出(例如，对象轨迹的预测、患者的诊断或治疗、基于用户搜索查询的适当推荐等)，而无需明确编程。软件例程的结构(例如，子例程的数量及其之间的关系)和/或参数的值可以在训练过程中确定，训练过程可以使用正在建模的真实世界过程的实际结果。这样的系统或模型被理解为必然植根于计算机技术，事实上，在没有计算技术的情况下无法实现甚至存在。虽然机器学习系统利用各种类型的统计分析，但机器学习系统与统计分析的区别在于无需显式编程即可学习，并且植根于计算机技术。
本文所使用的术语“推断”或“推测”总体上指的是根据经由事件或数据等捕获的一个或多个观察来推理或推断系统、组件、环境、用户的状态的过程。例如，推测可以用于识别情景或动作，或者可以用于生成状态上的概率分布。推测可以是概率性的。例如，基于对数据或事件的考虑来计算感兴趣状态上的概率分布。推测也可以指用于从一组事件或数据中组成更高级事件的技术。这种推测可能导致从一组观察到的事件或存储的事件数据构建新的事件或新的动作，无论这些事件是否在时间上紧密相关，以及这些事件和数据是否来自一个或多个事件和数据来源。
在本文中，当使用“第一”和“第二”等相对顺序术语来修饰名词时，这种使用只是为了将一个项目与另一个项目区分开来，除非特别说明，否则不要求顺序。

Claims (20)

1.一种预测自主车辆行进经过的环境中的行为者的动作的方法，所述方法包括：
通过自主车辆的感知系统：
检测靠近所述自主车辆的多个行为者，以及
对于每个检测到的行为者，将优先级评级分配给所述检测到的行为者以使其作为高优先级行为者或低优先级行为者；
对于多个循环中的每个循环，通过所述自主车辆的预报系统以以下方式为每个所述检测到的行为者生成预报：
对于所述高优先级行为者中的至少一些，生成高分辨率预报，
对于所述低优先级行为者中的每一个，生成低分辨率预报，以及
将所述预报中的每一个与生成的预报所针对的行为者相关联地保存在数据存储器中；
通过所述自主车辆的预报系统：
使用所述高分辨率预报中的至少一些来预测所述高优先级行为者中的至少一些的一个或多个动作，以及
使用所述低分辨率预报中的至少一些来预测所述低优先级行为者中的每一个的一个或多个动作；以及
通过所述自主车辆的运动规划系统，使用预测的一个或多个动作来确定所述自主车辆的轨迹。
2.根据权利要求1所述的方法，还包括：
在所述多个循环中的任何当前循环已经完成之后，对于所述当前循环和一个或多个先前循环，通过所述感知系统分析所述高分辨率预报、所述低分辨率预报及其似然度，以确定所述高优先级行为者中的至少一些的总体高分辨率意图和所述低优先级行为者中的至少一些的总体低分辨率意图。
3.根据权利要求1所述的方法，其中：
对于所述高优先级行为者中的至少一些，为所述高优先级行为者生成所述高分辨率预报，包括：
检测所述高优先级行为者正在行进的场景的受路径影响的特性，其中所述受路径影响的特性是可以使所述高优先级行为者改变其行进路径的特性，以及
使用所述受路径影响的特性来确定多个候选高分辨率预报，其中所述候选高分辨率预报中的至少一些遵循不同的轨迹；以及
对于所述低优先级行为者中的每一个，不使用所述低优先级行为者正在行进的所述场景的任何受路径影响的特性来确定所述低优先级行为者的所述低分辨率预报。
4.根据权利要求1所述的方法，其中，所述方法还包括：在将所述优先级评级分配给所述检测到的行为者之前：
识别时间计划，所述时间计划表示为所有检测到的行为者生成预报可用的总时间量；
确定第一时间量，所述第一时间量是生成所述低优先级预报所需的时间量；
通过从所述可用的总时间量中减去所述第一时间量来确定第二时间量，所述第二时间量是生成所述高优先级预报可用的时间量；
确定在所述第二时间量内可以生成的高优先级预报的数量；以及
当将所述优先级评级分配给所述检测到的行为者时，将高优先级评级分配给该数量的检测到的行为者并且将低优先级评级分配给任何其余检测到的行为者。
5.根据权利要求4所述的方法，其中，确定所述第一时间量包括确定为所有检测到的行为者生成低优先级预报所需的时间量。
6.根据权利要求1所述的方法，其中，为所述检测到的行为者生成所述预报包括在为所述高优先级行为者中的任何一个生成任何高分辨率预报之前，为所有检测到的行为者生成低分辨率预报。
7.根据权利要求6所述的方法，还包括：
在所述运动规划系统使用预测的动作来确定所述自主车辆的选定轨迹之前，通过所述预报系统确定所述预报系统是否为所有高优先级行为者实际生成了高分辨率预报；以及
当所述预报系统没有为所有高优先级行为者生成高分辨率预报时，通知所述运动规划系统。
8.根据权利要求1所述的方法，其中，使用所述高分辨率候选预报中的至少一些来确定所述自主车辆的所述轨迹，包括：
确定所述高分辨率候选预报中的哪些与所述自主车辆的运动规划操作相关，以及
当确定所述自主车辆的选定轨迹时，使用与所述运动规划操作相关的所述高分辨率候选预报而不使用与所述运动规划操作无关的所述高分辨率候选预报中的任一个。
9.根据权利要求1所述的方法，其中，对于每个检测到的行为者，将所述优先级评级分配给所述检测到的行为者以使其作为高优先级行为者或低优先级行为者，包括：
估计所述检测到的行为者的速度；
使用所述检测到的行为者的估计速度和所述自主车辆的速度来测量所述检测到的行为者是否能够在时段内到达所述自主车辆；以及
如果所述检测到的行为者不能在所述时段内到达所述自主车辆，则确定所述检测到的行为者是低优先级行为者，否则确定所述检测到的行为者可能是高优先级行为者。
10.根据权利要求1所述的方法，其中，对于每个检测到的行为者，将所述优先级评级分配给所述检测到的行为者以使其作为高优先级行为者或低优先级行为者，包括：
确定围绕所述自主车辆的感兴趣区域；
评估所述检测到的行为者是否在所述感兴趣区域内；以及
如果所述检测到的行为者不在所述感兴趣区域内，则确定所述检测到的行为者是低优先级行为者，否则确定所述检测到的行为者可能是高优先级行为者。
11.根据权利要求1所述的方法，其中，对于每个检测到的行为者，将所述优先级评级分配给所述检测到的行为者以使其作为高优先级行为者或低优先级行为者，包括：
识别所述检测到的行为者正在行进的第一路径和所述自主车辆正在行进的第二路径；
评估所述第一路径在感兴趣区域内是否可能与所述第二路径冲突；以及
如果所述第一路径在所述感兴趣区域内可能与所述第二路径冲突，则确定所述检测到的行为者是低优先级行为者，否则确定所述检测到的行为者可能是高优先级行为者。
12.根据权利要求11所述的方法，其中：
所述第二路径是所述自主车辆正在行进的街道；以及
评估所述第一路径在所述感兴趣区域内是否可能与所述第二路径冲突包括：如果存在以下特征中的任何一个，则评估所述第一路径可能与所述第二路径冲突：
所述第一路径是在所述感兴趣区域内与所述街道相交的车道段，
所述第一路径是在所述感兴趣区域内与所述街道相交的人行横道，或者
所述第一路径是所述街道的车道段并且具有与所述自主车辆的行进方向匹配的标称方向。
13.根据权利要求11所述的方法，其中：
所述第二路径是所述自主车辆正在行进的街道；以及
评估所述第一路径在所述感兴趣区域内是否可能与所述第二路径冲突包括：如果所述第一路径是通过物理屏障与所述街道分隔开的车道段，则评估所述第一路径不会与所述第二路径冲突。
14.根据权利要求11所述的方法，其中：
所述第二路径是所述自主车辆正在行进的街道；以及
评估所述第一路径在所述感兴趣区域内是否可能与所述第二路径冲突包括：在以下情况下，评估所述第一路径不会与所述第二路径冲突：
所述第一路径和所述第二路径是同一街道，以及
另一行为者在所述自主车辆后面并且在与所述自主车辆相同的方向上但以比所述自主车辆低的速度移动。
15.一种车辆，包括：
感知系统，所述感知系统包括处理器和包含编程指令的存储器，所述编程指令被配置为使所述处理器：
检测靠近所述车辆的多个行为者，以及
对于每个检测到的行为者，将优先级评级分配给所述检测到的行为者以使其作为高优先级行为者或低优先级行为者；
预报系统，所述预报系统包括处理器和包含编程指令的存储器，所述编程指令被配置为指示所述预报系统的所述处理器：
对于多个循环中的每个循环，通过以下方式为每个检测到的行为者生成预报：
对于所述高优先级行为者中的至少一些，生成高分辨率预报；
对于所述低优先级行为者中的每一个，生成低分辨率预报；以及
将所述预报中的每一个与生成的预报所针对的行为者相关联地保存在数据存储器中，
使用所述高分辨率预报中的至少一些来预测所述高优先级行为者中的至少一些的一个或多个动作，以及
使用所述低分辨率预报中的至少一些来预测所述低优先级行为者中的每一个的一个或多个动作；以及
运动规划系统，所述运动规划系统包括处理器和编程指令，所述编程指令被配置为使所述运动规划系统的所述处理器使用预测的一个或多个动作来确定所述自主车辆的轨迹。
16.根据权利要求15所述的车辆，其中，所述感知系统还包括以下附加指令，在将所述优先级评级分配给所述检测到的行为者之前：
识别时间计划，所述时间计划表示为所有检测到的行为者生成预报可用的总时间量；
确定第一时间量，所述第一时间量是生成所述低优先级预报所需的时间量；
通过从所述可用的总时间量中减去所述第一时间量来确定第二时间量，所述第二时间量是生成所述高优先级预报可用的时间量；
确定在所述第二时间量内可以生成的高优先级预报的数量；以及
当将所述优先级评级分配给所述检测到的行为者时，将高优先级评级分配给该数量的检测到的行为者并且将低优先级评级分配给任何其余检测到的行为者。
17.根据权利要求16所述的车辆，其中，确定所述第一时间量的指令包括确定为所有检测到的行为者生成低优先级预报所需的时间量的指令。
18.根据权利要求15所述的车辆，其中，为所述检测到的行为者生成所述预报的指令包括在为所述高优先级行为者中的任何一个生成任何高分辨率预报之前为所有检测到的行为者生成低分辨率预报的指令。
19.根据权利要求18所述的车辆，还包括附加编程指令，所述附加编程指令被配置为使所述预报系统：
在所述运动规划系统使用预测的动作来确定所述自主车辆的选定轨迹之前，确定所述预报系统是否为所有高优先级行为者实际生成了高分辨率预报；以及
当所述预报系统没有为所有高优先级行为者生成高分辨率预报时，通知所述运动规划系统。
20.一种计算机程序产品，包括存储器设备，所述存储器设备包括：
被配置为使自主车辆的感知系统执行以下操作的编程指令：
检测靠近所述自主车辆的多个行为者，以及
对于每个检测到的行为者，将优先级评级分配给所述检测到的行为者以使其作为高优先级行为者或低优先级行为者；
被配置为指示所述自主车辆的预报系统执行以下操作的编程指令：
对于多个循环中的每个循环，通过以下方式为每个检测到的行为者生成预报：
对于所述高优先级行为者的至少一些，生成高分辨率预报；
对于所述低优先级行为者中的每一个，生成低分辨率预报；以及
将所述预报中的每一个与生成的预报所针对的行为者相关联地保存在数据存储器中，
使用所述高分辨率预报中的至少一些来预测所述高优先级行为者中的至少一些的一个或多个动作，以及
使用所述低分辨率预报中的至少一些来预测所述低优先级行为者中的每一个的一个或多个动作；以及
被配置为使所述车辆的运动规划系统使用预测的一个或多个动作来确定所述自主车辆的轨迹的编程指令。
CN202280043253.XA 2021-06-02 2022-04-26 用于预测自主车辆环境中行为者的行为的方法和系统 Pending CN117529429A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/336,661 2021-06-02
US17/336,661 US12024195B2 (en) 2021-06-02 2021-06-02 Method and system for predicting behavior of actors in an environment of an autonomous vehicle
PCT/US2022/071940 WO2022256760A1 (en) 2021-06-02 2022-04-26 Method and system for predicting behavior of actors in an environment of an autonomous vehicle

Publications (1)

Publication Number Publication Date
CN117529429A true CN117529429A (zh) 2024-02-06

Family

ID=84285737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280043253.XA Pending CN117529429A (zh) 2021-06-02 2022-04-26 用于预测自主车辆环境中行为者的行为的方法和系统

Country Status (4)

Country Link
US (1) US12024195B2 (zh)
CN (1) CN117529429A (zh)
DE (1) DE112022002869T5 (zh)
WO (1) WO2022256760A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11904906B2 (en) * 2021-08-05 2024-02-20 Argo AI, LLC Systems and methods for prediction of a jaywalker trajectory through an intersection
US20230305100A1 (en) * 2022-03-28 2023-09-28 Rockwell Collins, Inc. Radar system and method using priority based routing of radar data

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9176500B1 (en) 2012-05-14 2015-11-03 Google Inc. Consideration of risks in active sensing for an autonomous vehicle
DE102015216352A1 (de) * 2015-08-27 2017-03-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Erkennen einer möglichen Kollision eines Fahrzeuges mit einem Fußgänger auf Grundlage hochaufgelöster Aufnahmen
US10656657B2 (en) 2017-08-08 2020-05-19 Uatc, Llc Object motion prediction and autonomous vehicle control
US10414395B1 (en) 2018-04-06 2019-09-17 Zoox, Inc. Feature-based prediction
US11260855B2 (en) * 2018-07-17 2022-03-01 Baidu Usa Llc Methods and systems to predict object movement for autonomous driving vehicles
US11048253B2 (en) 2018-11-21 2021-06-29 Waymo Llc Agent prioritization for autonomous vehicles
US11034348B2 (en) * 2018-11-20 2021-06-15 Waymo Llc Agent prioritization for autonomous vehicles
US11042159B2 (en) * 2018-12-20 2021-06-22 Toyota Motor North America, Inc. Systems and methods for prioritizing data processing
US10916134B2 (en) * 2018-12-20 2021-02-09 Denso International America, Inc. Systems and methods for responding to a vehicle parked on shoulder of the road

Also Published As

Publication number Publication date
US12024195B2 (en) 2024-07-02
DE112022002869T5 (de) 2024-04-11
WO2022256760A1 (en) 2022-12-08
US20220388534A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
US11565716B2 (en) Method and system for dynamically curating autonomous vehicle policies
US11726477B2 (en) Methods and systems for trajectory forecasting with recurrent neural networks using inertial behavioral rollout
US20220105959A1 (en) Methods and systems for predicting actions of an object by an autonomous vehicle to determine feasible paths through a conflicted area
US20230041975A1 (en) Vehicle trajectory control using a tree search
US11780466B1 (en) Vehicle fleet remote ride comfort tuning management system
CN117529429A (zh) 用于预测自主车辆环境中行为者的行为的方法和系统
US11975742B2 (en) Trajectory consistency measurement for autonomous vehicle operation
EP4129797A1 (en) Method and system for training an autonomous vehicle motion planning model
Yuan et al. Harnessing machine learning for next-generation intelligent transportation systems: a survey
US20240017746A1 (en) Assessing present intentions of an actor perceived by an autonomous vehicle
EP4247687A1 (en) Method and system for forecasting reactions of other road users in autonomous driving
CN117320945A (zh) 用于确定自主车辆控制中的运动预测的运动模型的方法和系统
US20220382284A1 (en) Perception system for assessing relevance of objects in an environment of an autonomous vehicle
US20220379911A1 (en) Using relevance of objects to assess performance of an autonomous vehicle perception system
WO2022251769A1 (en) Using relevance of objects to assess performance of an autonomous vehicle perception system
US11897506B1 (en) Vehicle ride dynamics active comfort tuning system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination