CN116249643A - 由自主车辆预测对象的动作以确定通过冲突区域的可行路径的方法和系统 - Google Patents

由自主车辆预测对象的动作以确定通过冲突区域的可行路径的方法和系统 Download PDF

Info

Publication number
CN116249643A
CN116249643A CN202180067623.9A CN202180067623A CN116249643A CN 116249643 A CN116249643 A CN 116249643A CN 202180067623 A CN202180067623 A CN 202180067623A CN 116249643 A CN116249643 A CN 116249643A
Authority
CN
China
Prior art keywords
actor
autonomous vehicle
braking power
processor
conflict area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180067623.9A
Other languages
English (en)
Inventor
A·T·哈特尼特
C·萨夫琴科
P·K·G·卡尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ergo Artificial Intelligence Co ltd
Original Assignee
Ergo Artificial Intelligence Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ergo Artificial Intelligence Co ltd filed Critical Ergo Artificial Intelligence Co ltd
Publication of CN116249643A publication Critical patent/CN116249643A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18159—Traversing an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way

Abstract

公开了用于在进入冲突区域之前预测行动者的动作的系统和方法。该方法可以包括：在自主车辆和行动者接近冲突区域时检测行动者在自主车辆的环境中的存在；确定自主车辆是否优先于行动者穿越冲突区域；如果自主车辆优先于行动者，则向移动对象指派要求移动对象在进入冲突区域之前在让行点处停止的运动学目标；对象让行点确定是否需要生成用于行动者的多个预估的轨迹；以及相应地控制自主车辆的移动以穿越冲突区域。

Description

由自主车辆预测对象的动作以确定通过冲突区域的可行路径 的方法和系统
相关申请的交叉引用
本专利文件要求于2020年10月1日提交的美国专利申请No.17/060,837的优先权，其全部内容通过引用并入本文。
背景技术
自动驾驶系统被设计成在没有驾驶员交互或其他外部控制的情况下操作道路上的车辆，例如，自动驾驶(self-driving)车辆或自主(autonomous)车辆。因此，自主车辆被配置为在没有来自驾驶员的输入的情况下在其当前位置和目标未来位置之间穿越规划的路径。为了穿越规划的路径，自主车辆必须考虑环境内的对象的行为，诸如邻近车辆、行人或障碍物，并且安全地执行考虑到这种对象的存在的操纵。这对于让行(yield)场景下的驾驶决策尤其如此，即，自主车辆必须谨慎地确定是否进入冲突空间(例如，路口)以避开相邻车辆，或者停止并等待(即，让行)直到任何相邻车辆已经通过路口。
自主车辆中的现有自动驾驶系统通过测量车辆之间的接触时间以识别自主车辆沿着其规划的路径继续的机会窗口来考虑诸如相邻车辆的对象的当前行为。然而，为了提高安全性和效率，自主车辆中的驾驶系统将需要考虑环境内的各种对象之间的交互并且更准确地预测这些对象的未来行为。当在车辆之间协商通行权以便穿越冲突空间时，诸如当需要关于谁具有越过冲突空间的通行权的协议时(例如，对象和自主车辆两者都需要穿越的交通灯)，这是特别重要的。关于通行权的协议可能被破坏，并且自主车辆必须能够及早检测到这种异议，以便安全地行驶冲突空间。
发明内容
在一个或多个场景中，公开了用于在进入冲突区域之前预测行动者的动作的系统和方法。在各种实现方式中，用于执行本公开的各种方法的系统可以包括自主车辆，该自主车辆包括一个或多个传感器、处理器和包括要由处理器执行的一个或多个编程指令的非暂时性计算机可读介质。计算机可读介质和编程指令可以可选地包括在计算机程序产品中。
在各种实现方式中，该方法可以包括在自主车辆和行动者接近冲突区域时检测行动者在自主车辆的环境中的存在(例如，使用由自主车辆的传感器收集的数据)。该方法还可以包括确定自主车辆是否优先于行动者穿越冲突区域；如果自主车辆优先于行动者穿越冲突区域，则向行动者指派要求行动者在进入冲突区域之前在让行点处停止的运动学目标；确定是否需要生成行动者的多个预估(forecasted)的轨迹；以及基于确定是否需要生成行动者的多个预估的轨迹来控制自主车辆的移动以穿越冲突区域。
在某些这种场景中，确定是否需要生成行动者的多个预估的轨迹可以包括：确定有可能行动者可能不会实现运动学目标。这种可能性可以通过(例如，使用运动模型)预估(forecast)行动者在朝向让行点行进时的第一状态、(使用第一状态)确定在第二状态下施加时使行动者在让行点之前停止所需的制动功率、以及确定行动者是否可以实现所需的制动功率来确定。可选地，运动模型可以用于预测行动者在其朝向让行点行进时在预测时域(prediction horizon)上的运动。预测时域可以包括多个时间步长，使得第一状态是多个时间步长中的第一时间步长的行动者的状态，并且第二状态是在多个时间步长中的、按顺序在第一时间步长之后发生的第二时间步长的行动者的状态。如果不需要确定行动者的多条轨迹，则该方法可以包括重复确定是否需要针对预测时域的多个时间步长生成行动者的多条预估的轨迹的步骤。在某些实现方式中，车辆行动者是否能够实现所需的制动功率可以通过将所需的制动功率与对应于行动者的最大允许制动功率进行比较来确定。可选地，该方法还可以包括通过例如将行动者分类到多个行动者类别中的一者中，并且使用与多个行动者类别中的一者相关联的最大允许制动功率作为与对应于行动者的最大允许制动功率来识别与对应于行动者的最大允许制动功率。另外和/或可替代地，该方法还可以包括如果行动者不能实现所需的制动功率，则控制自主车辆的移动以在穿越冲突区域之前为行动者让行。
在某些场景中，该方法还可以包括：使用运动模型来预估行动者在其朝向让行点行进时的第一状态；使用第一状态来确定当在第二状态下施加时使行动者在让行点之前停止所需的制动功率；以及如果需要生成行动者的多个预估的轨迹，则确定第一概率和第二概率。第一概率与包括行动者在让行点处停止的第一预估集合相关联，并且第二概率与包括行动者在让行点处停止的第二预估集合相关联。第一概率和第二概率可以基于所需的制动功率来确定。例如，可以使用被训练为确定第一概率和第二概率的分类器基于所需的制动功率来确定第一概率和第二概率。可选地，方法还可以包括基于第一概率和第二概率控制自主车辆的移动以穿越冲突区域。在一些实现方式中，该方法还可以包括通过将所需的制动功率与对应于行动者的最大允许制动功率进行比较来确定车辆行动者是否能够实现所需的制动功率，以及如果行动者不能实现所需的制动功率，则控制自主车辆的移动以在穿越冲突区域之前为行动者让行。
在各种场景中，方法还可以包括识别用于自主车辆的预期的行进通道，识别用于行动者的预期的行进通道，以及仅在用于自主车辆的预期的行进通道和用于行动者的预期的行进通道在冲突区域中相交的情况下确定自主车辆是否优先于行动者穿越冲突区域。可选地，系统还可以识别用于行动者的预期的行进通道中的让行点。
在方法中，在某些场景中，还可以包括，如果自主车辆优先于行动者穿越冲突区域，则控制自主车辆的移动以在穿越冲突区域之前在用于自主车辆的预期的行进通道中的第二让行点处停止。
附图说明
图1是图示了示例性自主车辆系统的框图。
图2图示了示例性车辆控制器系统。
图3图示了自主车辆可以在其中行进的示例性环境。
图4图示了用于通过分析对象的预测的状态来预测通过冲突区域的可行路径的示例性过程的流程图。
图5图示了在冲突区域相交的自主车辆和检测到的对象的示例性通道。
图6图示了对象的制动概率与所需的制动功率的示例性曲线图。
图7是图示可能的电子系统、子系统、控制器和/或AV的其他组件和/或外部电子设备的各种元件的框图。
具体实施方式
如本文所用，单数形式“一(a)”、“一(an)”和“该(the)”包括复数指代物，除非上下文另外清楚地指明。除非另有定义，否则本文所用的所有技术和科学术语具有与本领域普通技术人员通常理解的相同的含义。如本文所用，术语“包括”是指“包括但不限于”。与本文档相关的附加术语的定义包括在具体实施方式的结尾。
自动驾驶系统的挑战是对自主车辆的环境中的对象的动作的实时预测。当这种对象(例如，其他车辆和/或行人)违反交通规则时，这种实时预测尤其具有挑战性。系统地假设来自对象的最坏情况动作将使自主车辆瘫痪，但是错误的乐观预测可能导致不安全的自主车辆行为。
本文档描述了针对解决上述问题和/或其他问题的方法和系统。因此，本解决方案涉及用于控制车辆的系统和方法。该方法包括：生成运动的车辆的车辆轨迹；检测在距该车辆的给定距离内的对象；生成检测到的对象的至少一个可能的对象轨迹；使用该车辆轨迹和至少一个可能的对象轨迹来通过识别该车辆的运动学目标来确定该对象是否将为该自主车辆让行；以及确定对象达到运动学目标的可行性。该方法还包括确定让行预估和非让行预估的相应概率。当(i)确定对于对象达到运动学目标不可行时和/或(ii)基于让行预估和非让行预估的概率，修改车辆轨迹。
本解决方案具有许多新颖的特征。例如，与具有用于预估对象通过环境的可能路径的奇异系统以及它们如何遵循该路径的运动模型的一些常规解决方案不同，当前系统是模块化系统，其中路径生成、让行确定和运动建模被视为独立方面。这样一来，可以单独对待复杂的通行权确定，并对预测或预估未来时间帧中的对象的状态(例如，位置、速度等)的运动模型隐藏。运动模型简单地遵循规定的运动学目标。
另外，虽然常规系统试图确定哪个预估最佳地返回最可能的预估同时丢弃其他预估，但是本公开的系统和方法返回具有其对应可能性的多模式预估集合。这是可能的，因为与试图对每个预估进行可能性确定的现有系统不同，当前系统中的可能性确定可以被延迟，直到系统已经看到所有可能的可能性，使得它可以输出多个预估并且在给定所有选项的情况下确定可能性。然后，自主系统可以使用可行性检查来训练得到的状态，以改进其关于未来对象状态的确定。这种输出多个预估及其相应可能性的能力是使自主车辆能够更早地意识到即将到来的对象动作的关键。
图1是图示包括经由网络110与一个或多个数据存储(store)102和/或一个或多个服务器103通信的自主车辆101的示例性系统100的框图。尽管示出了一辆自主车辆，但是多辆自主车辆可以通过网络110彼此耦合和/或耦合到数据存储102和/或服务器103。网络110可以是任何类型的网络，诸如局域网(LAN)、诸如因特网的广域网(WAN)、蜂窝网络、卫星网络或其组合，并且可以是有线或无线的。(多个)数据存储102可以是任何种类的数据存储，诸如但不限于(多个)地图数据存储、(多个)交通信息数据存储、用户信息数据存储、兴趣点数据存储或者任何其他类型的(多个)内容数据存储。(多个)服务器103可以是任何种类的服务器或服务器集群，诸如但不限于Web或云服务器、应用服务器、后端服务器或其组合。
如图1中所示，自主车辆101可以包括传感器系统111、机载(on-board)计算设备112、通信接口114和用户接口115。自主车辆101还可以包括包含在车辆中的某些组件(例如，如图2中所示)，诸如发动机、车轮、方向盘、变速器等，其可以由机载计算设备112使用各种通信信号和/或命令(诸如，加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等)来控制。
传感器系统111可以包括耦合到自主车辆101和/或包括在自主车辆101内的一个或多个传感器。这种传感器的示例包括但不限于无线电检测和测距(RADAR)系统、激光检测和测距(LiDAR)系统、声音导航和测距(SONAR)系统、一个或多个相机(例如，可见光谱相机、红外相机等)、温度传感器、位置传感器(例如，全球定位系统(GPS)等)、位置传感器、燃料传感器、运动传感器(例如，惯性测量单元(IMU)等)、湿度传感器、占用传感器等。传感器数据可以包括描述自主车辆101的周围环境内的对象的位置的信息、关于环境本身的信息、关于自主车辆101的运动的信息、关于自主车辆的路线的信息等。当自主车辆101在表面上行进时，传感器中的至少一些可以收集与表面有关的数据。
LiDAR系统可以包括被配置为感测或检测自主车辆101所在的环境中的对象的传感器。通常，LiDAR系统是结合了光学遥感技术的设备，该光学遥感技术可以通过用光照射目标来测量到目标的距离和/或该目标(例如，地面)的其他属性。作为示例，LiDAR系统可以包括被配置为发射激光脉冲的激光源和/或激光扫描器以及被配置为接收激光脉冲的反射的检测器。例如，LiDAR系统可以包括由旋转镜反射的激光测距仪，并且在一维、二维或更多维中围绕被数字化的场景扫描激光，从而以指定的角度间隔收集距离测量。
图2图示了用于车辆201(诸如图1的自主车辆101)的示例性系统架构。车辆201可以包括发动机或马达202和用于测量车辆和/或其环境的各种参数的各种传感器。两种类型的车辆所共有的运行参数传感器包括，例如：位置传感器236，诸如加速度计、陀螺仪和/或惯性测量单元；速度传感器238；和里程表(odometer)传感器240。车辆101还可以具有时钟242，系统架构使用该时钟来确定操作期间的车辆时间。时钟242可以被编码到车辆机载计算设备212中，其可以是单独的设备，或者多个时钟可以是可用的。
车辆201还可以包括操作以收集关于车辆行进的环境的信息的各种传感器。这些传感器可以包括，例如：位置传感器260，诸如GPS设备；对象检测传感器，诸如一个或多个相机262；LiDAR传感器系统264；和/或雷达和/或声纳系统266。传感器还可以包括环境传感器268，诸如降水传感器和/或环境温度传感器。对象检测传感器可以使车辆201能够检测在车辆201的给定距离或范围内在任何方向上的对象，而环境传感器收集关于车辆的行进区域内的环境条件的数据。系统架构还将包括用于捕获环境的图像的一个或多个相机262。
在操作期间，信息从传感器传送到机载计算设备212。机载计算设备212分析由传感器捕获的数据，并且可选地基于分析的结果控制车辆的操作。例如，机载计算设备212可以经由制动控制器222控制制动；经由转向控制器224控制方向；经由节气门控制器226(在燃气动力车辆中)或马达速度控制器228(诸如电动车辆中的电流水平控制器)控制速度和加速度；差动齿轮控制器230(在具有变速器的车辆中)；和/或其他控制器，诸如辅助设备控制器254。
地理位置信息可以从位置传感器260传送到机载计算设备212，其然后可以访问与位置信息相对应的环境的地图以确定环境的已知固定特征，诸如街道、建筑物、停车标志和/或停/走信号。来自相机262的捕获的图像和/或从诸如LiDAR系统264的传感器捕获的对象检测信息从这些传感器被传送到机载计算设备212。对象检测信息和/或捕获的图像可以由机载计算设备212处理以检测接近车辆201的对象。另外或可替代地，车辆201可以将任何数据发送到远程服务器系统103(图1)以用于处理。用于基于传感器数据和/或捕获的图像进行对象检测的任何已知或将已知的技术可以用于在本文档中公开的实施例中。
机载计算设备212可以获得、检索和/或创建提供关于自主车辆201的周围环境的详细信息的地图数据。机载计算设备212还可以基于例如三维位置数据(例如，来自GPS的数据)、三维定向数据、预测的位置等来确定AV在环境中的位置、定向、姿态等(定位)。例如，机载计算设备212可接收GPS数据以确定AV的纬度、经度和/或海拔位置。其他位置传感器或系统(诸如基于激光的定位系统、惯性辅助GPS或基于相机的定位)也可以用于识别车辆的位置。车辆的位置可以包括绝对地理位置，诸如纬度、经度和海拔，以及相对位置信息，诸如相对于紧邻其周围的其他汽车的位置，这通常可以以比绝对地理位置更少的噪声来确定。地图数据可以提供关于以下的信息：不同道路、路段、车道段、建筑物或其他项目的标识(identity)和位置；交通车道的位置、边界和方向(例如，特定道路内的停车车道、转弯车道、自行车道或其他车道的位置和方向)以及与交通车道相关联的元数据；交通控制数据(例如，标志、交通灯或其他交通控制设备的位置和指令)；和/或提供辅助机载计算设备212分析自主车辆201的周围环境的信息的任何其他地图数据。
地图数据还可以包括用于确定在冲突区域或空间中的对象和/或车辆的通行权的信息和/或规则。冲突空间(或冲突区域)是指可以预测多于一个对象和/或车辆同时存在而导致危险碰撞的区域，除非对象和/或车辆中的一者被给予优先权(即，通行权)以穿越冲突空间。这种冲突空间的示例可以包括交通灯路口、停止标志路口、环形路、弯道、人行道(crosswalks)、人行横道(pedestrian crossings)等。冲突空间的通行权信息和/或规则可以从与地理区域相关联的交通法规和规则中导出(并且对于所有空间可能不相同)。例如，对于交通灯路口，具有绿灯信号的车辆将具有优先于具有红灯信号的车辆的通行权，直线行进的车辆将具有优先于试图左转弯或右转弯的车辆的通行权，当存在步行标志信号时行人将具有通行权，等等。类似地，移动的车辆将具有优先于试图并入车流的停止的车辆的通行权，和/或在其车道中移动的车辆将具有优先于并入另一车道的车辆的通行权。在另一示例中，行人将在人行横道中具有通行权。在停止标志处，首先到达停止标志的车辆将具有优先于稍后到达停止标志的车辆的通行权。
在某些实施例中，地图数据还可以包括与车辆沿着一个或多个车道行进的共同模式相对应的参考路径信息，使得对象的运动被约束到参考路径(例如，对象通常行进在其上的交通车道内的位置)。这种参考路径可以是预定义的，诸如交通车道的中心线。可选地，可以基于一时间段内的车辆或其他对象的历史观察(例如，用于直线行进、并道、弯道等的参考路径)来生成参考路径。
在某些实施例中，机载计算设备212还可以包括和/或可以接收关于用户的行程或路线的信息、关于路线的实时交通信息等。
机载计算设备212可以包括生成从自主车辆的起始位置到目的地位置的导航路线的路线控制器231和/或可以与其通信。路线控制器231可以访问地图数据存储以识别车辆可以行进以从起始位置到达目的地位置的可能路线和路段。路线控制器231可以对可能的路线进行评分，并且识别到达目的地的优选路线。例如，路线控制器231可以生成使路线期间所行进的欧几里德距离或其他成本函数最小化的导航路线，并且还可以访问可能影响在特定路线上行进将花费的时间量的交通信息和/或估计。取决于实现方式，路线控制器231可以使用各种路线选择方法(诸如Dijkstra算法、Bellman-Ford算法或其他算法)来生成一个或多个路线。路线控制器231还可以使用交通信息来生成反映路线的预期状况(例如，当前星期几或当前时间等)的导航路线，使得针对高峰时间期间的行进而生成的路线可以不同于针对深夜行进而生成的路线。路线控制器231还可以生成到目的地的多于一条的导航路线，并且将这些导航路线中的多于一条的导航路线发送给用户，以供用户从各种可能的路线中进行选择。
在各种实现方式中，机载计算设备212可以确定自主车辆201的周围环境的感知信息。基于由一个或多个传感器提供的传感器数据和获得的位置信息，机载计算设备212可以确定自主车辆201的周围环境的感知信息。感知信息可以表示普通驾驶员在车辆的周围环境中将感知到什么。感知数据可以包括与自主车辆201的环境中的一个或多个对象有关的信息。例如，机载计算设备212可以处理传感器数据(例如，LiDAR或RADAR数据、相机图像等)，以便识别自主车辆201的环境中的对象和/或特征。对象可以包括交通信号、道路边界、其他车辆、行人和/或障碍物等。机载计算设备212可以使用任何现在或此后已知的对象辨识算法、视频跟踪算法和计算机视觉算法(例如，在若干时间段内逐帧反复地跟踪对象)来确定感知。
在一些实施例中，机载计算设备212还可以针对环境中的一个或多个识别的对象确定对象的当前状态。状态信息可以包括但不限于，对于每个对象：当前位置；当前速度和/或加速度、当前航向(heading)；当前姿态；当前形状、大小或占用面积(footprint)；类型(例如，车辆对(vs)行人对自行车对静态对象或障碍)；和/或其他状态信息。
机载计算设备212可以执行一个或多个预测和/或预估操作。例如，机载计算设备212可以预测一个或多个对象的未来位置、轨迹和/或动作。例如，机载计算设备212可以至少部分地基于感知信息(例如，每个对象的状态数据，包括如下文所讨论地确定的估计形状和姿态)、位置信息、传感器数据和/或描述对象的过去和/或当前状态、自主车辆201、周围环境和/或它们的关系的任何其他数据来预测对象的未来位置、轨迹和/或动作。例如，如果对象是车辆并且当前驾驶环境包括路口，则机载计算设备212可以预测对象是否将可能直线向前或转弯。如果感知数据指示路口没有交通灯，则机载计算设备212还可以预测车辆是否可能必须在进入路口之前完全停止。
如下文更详细地讨论的，机载计算设备212还可以预估通过冲突空间的多个对象轨迹，并且确定与每个这种预估相关联的可能性。
在各种实施例中，机载计算设备212可以确定自主车辆的运动规划。例如，机载计算设备212可以基于感知数据和/或预测数据来确定自主车辆的运动规划。具体地，给定关于邻近对象的未来位置的预测和其他感知数据，机载计算设备212可以确定相对于在它们的未来位置处的对象最佳地导航自主车辆的自主车辆201的运动规划。
在一个或多个实施例中，机载计算设备212可以接收预测并且做出关于如何对待(handle)自主车辆201的环境中的对象的决定。例如，对于特定对象(例如，具有给定速度、方向、转向角等的车辆)，机载计算设备212基于例如交通状况、地图数据、自主车辆的状态等来决定是否超车、让车、停车和/或通行。此外，机载计算设备212还规划自主车辆201在给定路线上行进的路径以及驾驶参数(例如，距离、速度和/或转向角度)。也就是说，对于给定对象，机载计算设备212决定对该对象做什么且确定如何做。例如，对于给定对象，机载计算设备212可以决定经过(pass)对象并且可以确定是在对象的左侧还是右侧经过(包括运动参数，诸如速度)。机载计算设备212还可以评估检测到的对象与自主车辆201之间的碰撞的风险。如果风险超过可接受的阈值，则可以确定如果自主车辆遵循定义的车辆轨迹和/或实现在预定义的时间段(例如，N毫秒)中执行的一个或多个动态生成的紧急操纵，则是否能够避免碰撞。如果碰撞可以被避免，则机载计算设备212可以执行一个或多个控制指令以执行谨慎的操纵(例如，适度地减速、加速、变道或转向)。相反，如果碰撞不能被避免，则机载计算设备112可以执行一个或多个控制指令以用于执行紧急操纵(例如，制动和/或改变行进方向)。
例如，如果机载计算设备212基于对象轨迹预估确定对象可能违反与自主车辆的通行权协定，则机载计算设备212可以确定在冲突空间中避免与这种对象碰撞的自主车辆的运动规划。
如上所述，生成关于自主车辆的移动的规划和控制数据以用于执行。机载计算设备212可以例如经由制动控制器控制制动；经由转向控制器控制方向；经由节气门控制器(在燃气动力车辆中)或马达速度控制器(诸如电动车辆中的电流水平控制器)的速度和加速度；差动齿轮控制器(在具有变速器的车辆中)；和/或其他控制器。
在本文档中讨论的各种实施例中，描述可以陈述车辆或包括在车辆中(例如，在机载计算系统中)的控制器可以实现使得车辆和/或控制器做出决定并且使用决定来控制车辆的操作的编程指令。然而，实施例不限于该布置，因为在各种实施例中，分析、决策制定和/或操作控制可以完全或部分地由与车辆的机载计算设备和/或车辆控制系统进行电子通信的其他计算设备处理。这种其他计算设备的示例包括与乘坐在车辆中的人相关联的电子设备(诸如智能电话)，以及经由无线通信网络与车辆进行电子通信的远程服务器。任何这种设备的处理器可以执行下面将讨论的操作。
返回参考图1，通信接口114可以被配置为允许自主车辆101与外部系统之间的通信，该外部系统例如是外部设备、传感器、其他车辆、服务器、数据存储、数据库等。通信接口114可以利用任何现在或以后已知的协议、保护方案、编码、格式、封装等，诸如但不限于Wi-Fi、红外链路、蓝牙等。用户接口系统115可以是在车辆101内实现的外围设备的一部分，包括例如键盘、触摸屏显示器设备、麦克风和扬声器等。
现在参考图3，提供了自主车辆可以在其中行进的示例性环境300的图示。环境300包括要求以半自主或自主方式沿着道路行进的自主车辆3021行驶(navigate)的T形路口301的非限制性示例。自主车辆3021通常被配置为检测与该自主车辆3021邻近的并且还与自主车辆3021大约同时行驶路口301的对象3022、304、306。对象可以包括但不限于车辆3022、骑车人304(诸如自行车、电动踏板车、摩托车等的骑车人)和/或行人306。自主车辆3021还可以被配置为检测用于路口301的初步信息。初步信息可以包括基于地图的信息，诸如路口301的类型和路口301的配置。例如，基于地图的信息可以包括路口301的出口和入口的位置、路口301的车道结构、与路口301相关联的交通标志(诸如STOP标志305a和305b)的存在、位置和状态、路口301中的固定对象的位置等。初步信息还可以包括路口301的交通密度信息。交通密度信息可以指示路口301的一般拥堵级别，而不用识别路口301处存在的各个车辆。该初步信息可以由自动驾驶系统从远程位置例如从远程地图数据库访问。
自主车辆3021还可以被配置为基于初步信息来识别路口301处的让行场景。在该示例中，可以基于沿着自主车辆3021和/或检测到的对象的规划路径存在让行标志或STOP标志来识别让行场景。可以基于红色交通灯、环岛和并道情况的存在来识别其他示例性让行场景。让行场景的识别可以基于自主车辆3021和/或检测到的对象相对于路口301的位置以及针对路口301识别的初步信息。在另一示例中，如果车辆3021和车辆3022的行进路径(即，分别是通道311和312)两者彼此干扰，则可以检测到让行场景。也就是说，路口301的配置使得车辆3021和车辆3022不能在不彼此碰撞的情况下同时进入路口301。术语“通道”是指自主车辆意图行进所通过的空间区域，其中除了在行进方向上之外，空间区域具有围绕代表自主车辆的多边形的小边界。在行进方向上，空间区域包括在阈值时间段内自主车辆的行进路径(例如，通道311和312)。具体地，预期自主车辆的整个体积在其沿着通道行进时保持在通道内。可以基于穿越区域的自动车辆轨迹来确定行进通道。例如，可以使用感知、预测、预估和运动规划(例如，基于传感器数据和自主车辆的轨迹)来确定自主车辆的通道。轨迹表示用于穿越通道的平滑路径，该通道不具有突然变化，否则将给乘客带来不适。可以使用任何现在或以后已知的用于确定自动车辆轨迹的技术来确定轨迹，而没有限制；基于例如自动车辆的位置、在自动车辆的环境中检测到的一个或多个对象、地图信息、用于从检测到的位置行进到目的地的路线信息、与通道相关联的交通规则等。例如，系统可以通过取得通过在阈值时间段内沿着自主车辆的所确定的轨迹使与自主车辆相对应的车辆多边形前进而扫过的空间区域来创建/识别用于自主车辆的通道。
应当注意，对于除了自主车辆(诸如车辆3021和车辆3022)之外的行动者，通道由环境中的预先绘制(pre-mapped)的车道来近似。
当在冲突空间中识别出这种让行场景时，车辆3021执行操作以：确定哪个车辆具有通行权；生成运动学目标；预估检测到的对象的一个或多个可能的对象轨迹；以及分析预估的轨迹以确定对象是否将为自主车辆让行。系统生成自主车辆的轨迹并且基于分析的结果来控制其导航(如下所述)。在各种实现方式中，自主车辆可以确定对象为自主车辆让行以穿越冲突空间的可行性以及对象将为自主车辆让行的可能性，并且然后可以生成一个或多个路径以行驶通过冲突空间而不与移动对象碰撞。
图4图示了根据实现的用于通过分析对象的预测的状态来预测通过冲突区域的可行路径的示例性过程的流程图。
如图4所示，在402，确定和/或接收自动车辆的位置及其预期的行进通道。例如，自动车辆的位置可以基于从自动车辆的位置传感器(例如，图2的位置传感器260)输出的传感器数据来确定。该传感器数据可以包括但不限于GPS数据。
在404，系统可以检测自动车辆的环境内(即，在特定距离内)的行动者并且识别行动者正在行进的通道。可以基于从自动车辆的对象检测传感器(例如，图2的对象检测传感器262)输出的传感器数据来进行该检测。行动者可以是除了自主车辆之外的移动对象，其接近感兴趣的路口，诸如，另一车辆、摩托车、自行车等。
该系统还可以确定关于检测到的行动者的信息，诸如但不限于行动者的速度、行动者分类、行动者的行进方向等。可以执行行动者分类以将检测到的行动者分类到多个类别和/或子类别中的一者。该类别可以包括但不限于车辆类别和行人类别。车辆类别可以具有多个车辆子类别。车辆子类别可以包括但不限于自行车子类别、摩托车子类别、滑板子类别、滚轴滑冰鞋子类别、踏板车子类别、轿车子类别、SUV子类别和/或卡车子类别。基于从例如诸如LiDAR系统、雷达和/或声纳系统和/或车辆的相机的行动者检测传感器输出的传感器数据来进行动者分类。可以使用任何现在或以后已知的行动者分类技术，诸如但不限于点云标记、用于形状/姿势估计的机器学习算法等。
系统可以使用所确定的信息来识别行动者在其中行进的通道。系统可以通过例如使用任何现在或已知的预估和预测算法(如上所述)来识别通道。例如，系统可以通过在预估期间连结绘制的车道段来创建/识别通道。可替代地和/或另外，系统可以在预估行动者的轨迹之后通过取得通过在阈值时间段内沿着自主车辆的所确定的轨迹使与自主车辆相对应的车辆多边形前进而扫过的空间区域来创建/识别通道。
在406，系统可以确定自主车辆的行进通道和行动者的行进通道是否相交，并且将相交区域识别为冲突区域。如果自主车辆和行动者两者在彼此的阈值时间内在它们各自的通道中行进的同时将穿越冲突区域，则可以确定通道相交，使得在行动者和自主车辆之间存在碰撞的高可能性。例如，图5图示了在冲突区域530处相交的在通道510中行进的行动者501和在通道520中行进的自主车辆502。
一旦识别出冲突区域，系统还可以识别与自主车辆相对应的让行点和与行动者相对应的让行点。(多个)让行点可以表示位置、距冲突区域的某一距离，在该位置处将需要车辆做出是进入冲突区域还是在让行点处停止以为进入冲突区域的另一车辆让行(即，使其优先)的决定。具体地，穿越冲突区域而自主车辆与移动行动者之间没有碰撞要求移动行动者通过在对应的让行点处(或之前)停止来为自主车辆让行或者自主车辆通过在其对应的让行点处(或之前)停止来为移动行动者让行。为让行点选择的位置可以基于针对冲突区域(例如，路口)识别的初步信息。例如，让行点可以是距STOP标志某一预定距离的位置。在另一示例中，如果存在可能至少部分地遮挡从车辆对冲突区域的视野的障碍物，则可以将让行点定位到接近冲突区域。影响让行点位置选择的其他因素可以包括交通密度信息，例如，较高的交通密度将导致让行点接近冲突区域，以及路口的类型和配置，例如，复杂的路口将导致让行点接近冲突区域。图5示出了行动者的通道中的第一让行点550a和自主车辆的通道中的第二让行点550b，在该第一让行点处行动者可以停止来为自主车辆让行(即，自主车辆具有通行权)，在进入冲突区域530之前，自主车辆可以在该第二让行点之前为移动行动者让行(即，移动行动者具有通行权)。应当注意，让行点还可以是自主车辆的通道与行动者之间的相交点(和/或在相交点的阈值距离内，其中在让行点处停止将避免自主车辆与行动者之间的碰撞)。
如果确定自主车辆的行进通道和行动者的行进通道不相交(406：否)，则系统可以继续执行步骤404至406，直到确定(420)自主车辆已经经过行动者(即，在自主车辆的某一距离内不能再检测到行动者)。然而，如果自主车辆的行进通道和行动者的行进通道将相交(406：是)，则系统可以确定(408)自主车辆是否有穿越冲突区域的通行权。具体地，系统可以确定自主车辆是否优先于行动者穿越冲突区域。该确定可以基于与冲突区域相关联的一个或多个交通规则(上文讨论的)、行动者分类(例如，如果行动者分别是行人、自行车或汽车，则交通规则可以不同)、行动者和/或自主车辆的时间状态和轨迹(例如，可以基于自主车辆或行动者是否将首先到达让行点/冲突区域来确定通行权)等。
如果确定行动者有首先穿越冲突区域(408：否)的通行权，则系统可以生成(410)自主车辆的轨迹，以使自主车辆在自主车辆的通道中的让行点(例如，图5的让行点550b)处或之前停止，并且在行动者之后进入冲突区域。可选地，系统还可以生成自主车辆以不同方向转向的轨迹、加速以在行动者之前通过冲突区域的轨迹(如果安全可行的话)等。
然而，如果自主车辆被确定为具有首先穿越冲突区域的通行权(408：是)，则系统可以向行动者指派(412)运动学目标，该运动学目标要求行动者在行动者的通道中的让行点(例如，图5的让行点550a)处或之前达到0.0的速度(即，要停止)。
在414，系统可以(针对每个时间步长)评估是否预估行动者的多条轨迹。具体地，系统可以确定行动者是否可能没有实现运动学目标，并且因此需要预估行动者的多个可能的轨迹以安全地导航自主车辆。为了评估是否预估行动者的多个轨迹，系统首先识别和/或生成运动模型，以用于在给定行动者的当前和过去状态、维度、估计目标(即，运动学目标)等的情况下估计行动者的未来行为或运动(即，未来轨迹)。运动模型可以基于各种假设或根据由多个车辆的传感器随着时间收集的数据和/或基于由管理员定义的假设来生成。这种运动模型的简单示例可以包括预测以每秒英尺向北行进的车辆将在1秒之后位于其先前位置的北2英尺的行为。在另一示例中，运动模型可能要求行动者(诸如道路标志)相对于移动车辆是静止的。类似地，运动模型可以演示不同类型的行动者之间的差异，例如，小型车辆可以与行人或自行车不同地操纵其自身。可以使用任何现在或以后已知的行动者跟踪运动模型。可选地，检测到的行动者分类可以用于识别该行动者类别的最佳运动模型。例如，通过观察乘客车辆在相同或相似位置处随时间的行为，可以生成相似乘客车辆的预测性运动的模型。
然后，系统可以使用运动模型来生成行动者在预测时域上的预测的运动(即，行动者在行动者的通道中的预估的轨迹)。预测时域可以被分成一系列离散的时间步长，并且可以通过预估行动者在时间和空间上沿着所提供的参考路径(即，预估的运动路径)向前和/或以所提供的参考路径(即，预测的运动路径)为条件来针对每个时间步长确定行动者的预估的状态。预估的状态可以包括关于在该时间步长的行动者的信息，诸如但不限于速度、位置、航向、方位、加速度等。在每个时间步长，系统然后使用以下等式来评估行动者的预估的速度和预估的状态下所需的制动功率以实现运动学目标：
Figure BDA0004155951460000151
其中：
A是满足运动学目标要求(在让行点处或让行点之前0.0速度)的对于下一状态或时间步长的要求制动功率；
V是在预估的时间T的行动者的预估的速度；以及
D是在预估的时间T沿着参考路径到运动学目标的距离。
然后，系统可以确定行动者达到所需的制动功率是否可行。系统可以基于行动者分类来做出确定。例如，如果行动者被分类为某一类型的车辆，则系统可以通过访问(例如，在数据存储中的)车辆规范来确定该类型的车辆的最大允许的制动功率，并且将所需的制动功率与最大允许的制动功率进行比较。只要所需的制动功率保持小于或等于最大允许制动功率，系统就可以确定行动者将实现运动学目标并且在让行点之前停止(即，假设行动者具有最大制动能力)，并且不需要为行动者生成或预估多个轨迹。应当注意，车辆实际上可获得的最大制动功率可能不同于乘客舒适性、特定表面类型、不同天气条件等所允许的最大制动功率；并且系统可以在确定行动者达到所需的制动功率是否可行的同时考虑这种因素。
可选地，系统还可以确定所需的制动功率是否小于阈值而不是行动者所允许的最大制动功率。阈值可以基于例如使用观察到的数据确定的行动者的标称制动功率、行动者分类和相关联的属性、环境条件(例如，湿表面、结冰等)、行动者的预估的轨迹等来确定。阈值可以指示小于最大允许制动功率但将引起乘客不适、打滑、急拉或颠簸、行动者的故障等的制动功率。
对于每个时间步长，如果确定不需要生成或预估行动者的多个轨迹，因为其可以在第一时间步长实现运动学目标(414：否)，则系统可以继续对每个连续时间步长执行步骤414。具体地，该系统为行动者生成一个预估的轨迹，并且在每个连续时间步长继续评估该轨迹，直到确定需要生成/预估多个轨迹。因此，在每个连续的时间步长处，系统生成行动者的新的预估的状态，并且重新评估新生成的预估的状态以确定所需的制动功率以及行动者达到所需的制动功率是否可行和/或系统是否需要生成多个预估的轨迹。
如果系统需要为行动者预估多个轨迹(例如，因为行动者可能没有实现运动学目标)(414：是)，则系统可以确定让行预估(即，行动者将遵守自主车辆的通行权并且在让行点处或让行点之前停止的预估)和非让行预估(即，行动者将不遵守自主车辆的通行权并且将不在让行点处或让行点之前停止的预估)的相应概率(416)。相应概率对应于让行预估和非让行预估之间的成对似然确定。
系统可以使用分类器，该分类器使用在步骤412中确定的所需的制动功率来确定概率。在一些实现方式中，系统可以被配置为使用先前捕获的训练数据(包括关于在不同情况和制动功率下为其他对象让行的先前行动者行为)和诸如关于冲突区域的信息、行动者分类、交通密度信息、地图信息等的信息来确定用于确定让行预估和非让行预估的概率的分类器。例如，如图6所示，可以使用训练数据来训练分类器以生成让行的概率对所需的制动功率的曲线图。这种分类器的示例可以包括但不限于集成分类器，诸如随机森林分类器、决策树分类器、神经网络分类器条件随机场分类器、强化学习分类器、贝叶斯分类器等。可选地，系统可以提出参数表达式以生成概率。
如图6所示，对于任何行动者，如果所需的制动功率低于阈值，则让行的概率保持相同。然而，当所需的制动功率/减速度增大超过阈值时，让行的可能性持续减小。假设让行的概率是非让行的概率的反数(inverse)，使得：
P(让行)＝1-P(不让行)
在418，系统基于让行预估和非让行预估的所确定的概率生成自主车辆的一个或多个轨迹。具体地，概率可以由机载计算设备使用来调整自主车辆的一个或多个驾驶操作。例如，系统可以基于行动者通过路口的概率性行为来使自主车辆加速、减速、制动、改变方向、调整其轨迹和/或执行一个或多个碰撞避免操作。例如，轨迹可以包括如果非让行预估的概率超过阈值并且行动者很可能将例如闯停止标志/红灯，则要求自主车辆积极制动；以避免碰撞。
在示例性场景中，如果系统确定行动者在进入冲突空间之前将不会为自主车辆让行的可能性与行动者将让行的可能性相比非常高，则系统可以生成避免与冲突空间中的行动者碰撞的自主车辆的一个或多个轨迹。例如，生成的轨迹可以包括使自主车辆在到达冲突空间之前停止、避免穿越冲突空间的路径(例如，通过转向)、使得自主车辆在行动者到达冲突空间之前穿越冲突空间的路径等。具体地，该预测信息可以由机载计算设备使用来调整自主车辆的一个或多个驾驶操作。例如，系统可以基于行动者通过路口的预测的行为来使自主车辆加速、减速、制动、改变方向、调整其轨迹和/或执行一个或多个碰撞避免操作。
作为示例，在步骤418，机载计算设备(图2中所示)可以接收预测数据的至少一部分，并且可以分析它以执行一个或多个车辆控制指令。例如，响应于分析实现运动学目标的概率和/或可行性，机载计算设备可以执行一个或多个控制指令，该一个或多个控制指令使得自主车辆在路处减速或制动以为行动者让行，或者在行动者之前穿越冲突区域。例如，机载计算设备可以使自主车辆的一个或多个制动器被应用。在本公开的范围内可以执行附加的和/或可替代的驾驶操作。
过程400被划分成可以彼此独立地并且以不同频率(在确定自主车辆具有通行权之后)执行的不同阶段。第一阶段可以包括确定自主车辆的环境中的行动者的运动学目标。每当自主车辆被确定优先于自主车辆附近的行动者穿越冲突区域的通行权时，系统可以生成运动学目标。此外，虽然让行点在空间上保持相同，但是可以在过程的每个预测周期期间(即，每秒几次)重新生成运动学目标。
第二阶段可以包括监视行动者并且评估为行动者生成多条轨迹的需要。当行动者在其行进通道中向冲突区域行进时，可以针对预测时域或周期中的每个时间步长(大约每秒10-15次)执行第二阶段。虽然本公开描述了每秒执行10-15次第二阶段，但是本公开不是如此限制的，并且其可以以更少或更多的频率执行，诸如但不限于每秒11-14次、每秒8-12次、一次每秒每10-12次等，这取决于实时感知信息、用户指令等。
一旦系统确定存在行动者可能不在让行点处或让行点之前停止的可能性，则执行第三阶段，该第三阶段包括为检测到的行动者确定让行预估与非让行预估相比的可能性。在第三阶段中，系统可以基于让行预估和非让行预估的相应概率来生成自主车辆的一个或多个轨迹。第三阶段可以以大约8-15Hz、大约9-14Hz、大约10-12Hz、大约10Hz等的频率执行，这取决于实时感知信息、用户指令等。
图7描绘了可以包括在系统的任何电子组件中的内部硬件的示例，诸如AV的内部处理系统、外部监视和报告系统或远程服务器。电气总线700用作互连硬件的其他所示组件的信息高速公路。处理器705是系统的中央处理设备，其被配置为执行编程指令所需的计算和逻辑操作。如在本文档和权利要求中所使用的，术语“处理器”和“处理设备”可以指单个处理器或共同执行操作集的处理器集合中的任何数量的处理器，诸如中央处理单元(CPU)、图形处理单元(GPU)、远程服务器或这些的组合。只读存储器(ROM)、随机存取存储器(RAM)、闪存、硬盘驱动器和能够存储电子数据的其他设备构成了存储器设备725的示例。存储器设备可以包括单个设备或设备的群集，数据和/或指令跨这些设备或设备的群集而被存储。本发明的各种实施例可以包括包含编程指令的计算机可读介质，该编程指令被配置为使一个或多个处理器和/或计算设备执行在前述附图的上下文中描述的功能。
可选的显示接口730可以允许来自总线700的信息以视觉、图形或字母数字格式显示在显示设备735上，诸如显示在车辆的仪表板内显示系统上。还可以提供音频接口和音频输出(诸如扬声器)。与外部设备的通信可以使用各种通信设备740来进行，诸如无线天线、射频识别(RFID)标签和/或短距离或近场通信收发器，其中的每一者可以可选地经由一个或多个通信系统与设备的其他组件通信地连接。(多个)通信设备740可以被配置为通信地连接到通信网络，诸如因特网、局域网或蜂窝电话数据网络。
硬件还可以包括用户接口传感器745，其允许从诸如键盘或小键盘、操纵杆、触摸屏、触摸板、遥控器、定点设备和/或麦克风的输入设备750接收数据。还可以从可以捕获视频和/或静止图像的相机720接收数字图像帧。系统还可以从诸如加速度计、陀螺仪或惯性测量单元的运动和/或位置传感器770接收数据。该系统还可以从诸如本文档中较早描述的LiDAR系统760接收数据。
以上公开的特征和功能以及可替代方案可以被组合到许多其他不同的系统或应用中。各种组件可以以硬件或软件或嵌入式软件来实现。本领域技术人员可以做出各种目前未预见或未预期的替代、修改、变化或改进，其中的每一者也意图由所公开的实施例涵盖。
与以上提供的公开内容相关的术语包括：
术语“车辆”是指能够运载一个或多个人类乘员和/或货物并且由任何形式的能量提供动力的任何移动形式的运输工具。术语“交通工具”包括但不限于汽车、卡车、货车、火车、自主车辆、飞行器、无人机等。“自主车辆”是具有处理器、编程指令和可由处理器控制而不需要人类操作者的传动系组件的车辆。自主车辆可以是完全自主的，因为其对于大多数或所有驾驶条件和功能不需要人类操作者。可替代地，它可以是半自主的，因为在某些条件下或对于某些操作可能需要操作人员，或者操作人员可以超控车辆的自主系统并且可以取得对车辆的控制。自主车辆还包括其中自主系统增强车辆的人类操作的车辆，诸如具有驾驶员辅助转向、速度控制、制动、停车和其他高级驾驶员辅助系统的车辆。
在本文档中，术语“街道”、“车道”和“路口”是通过车辆在一条或多条道路上行进的示例来图示的。然而，实施例意图包括在其他位置的车道和路口，诸如停车区域。此外，对于被设计为在室内使用的自主车辆(诸如仓库中的自动拣选设备)，街道可以是仓库的通道，并且车道可以是通道的一部分。如果自主车辆是无人机或其他飞行器，则术语“街道”可以表示航路，并且车道可以是航路的一部分。如果自主车辆是船只，则术语“街道”可以表示水路，并且车道可以是水路的一部分。
术语“路口”意指两个或多个街道彼此相遇或交叉的位置。
“电子设备”或“计算设备”是指包括处理器和存储器的设备。每个设备可以具有其自己的处理器和/或存储器，或者处理器和/或存储器可以与其他设备冲突，如在虚拟机或容器布置中。存储器将包含或接收编程指令，当由处理器执行时，编程指令使电子设备根据编程指令执行一个或多个操作。
术语“存储器”、“存储器设备”、“数据存储”、“数据存储设施”等每个都指代非暂时性设备，在其上存储计算机可读数据、编程指令或两者。除非另外具体说明，否则术语“存储器”、“存储器设备”、“数据存储”、“数据存储设施”等既定包含单个设备实施例、其中多个存储器设备一起或共同存储数据或指令集的实施例，以及这种设备内的个别部分(sectors)。
术语“处理器”和“处理设备”是指被配置为执行编程指令的电子设备的硬件组件。除非另外特别说明，单数术语“处理器”或“处理设备”意图包括单个处理设备实施例和多个处理设备一起或共同执行处理的实施例。
在本文档中，术语“通信链路”和“通信路径”意指有线或无线路径，第一设备经由该有线或无线路径向一个或多个其他设备发送通信信号和/或从一个或多个其他设备接收通信信号。如果设备能够经由通信链路发送和/或接收数据，则设备是“通信地连接的”。“电子通信”是指在两个或多个电子设备之间经由一个或多个信号的数据传输，无论是通过有线网络还是无线网络，并且无论是直接还是经由一个或多个中间设备间接。
术语“分类器”表示人工智能系统可借以向一个或多个数据点指派标签或类别的自动化过程。分类器包括经由诸如机器学习之类的自动化过程来训练的算法。分类器通常以标记的或未标记的训练数据集开始，并应用一个或多个算法来检测数据内与各种标记或类别相对应的一个或多个特征和/或样式。算法可以包括但不限于简单到决策树、复杂到朴素贝叶斯(
Figure BDA0004155951460000201
Bayes classification)分类的算法、和/或中间算法，诸如k最近邻算法。分类器可以包括人工神经网络(ANN)、支持向量机分类器和/或许多不同类型的分类器中的任何一者。一旦被训练，分类器然后可以使用它在训练期间学习的知识库来分类新的数据点。训练分类器的过程可以随着时间而发展，因为分类器可以在更新的数据上被周期性地训练，并且它们可以从被提供的关于它们可能已经被错误分类的数据的信息中学习。分类器将由执行编程指令的处理器实现，并且其可以对诸如图像数据、LiDAR系统数据和/或其他数据的大数据集进行操作。
“运动模型”是指算法例程和参数的集合，其可以基于输入特征的集合来预测真实世界过程的(多个)输出(例如，对象轨迹的预测、患者的诊断或治疗、基于用户搜索查询的适当推荐等)，而不被明确地编程。软件例程的结构(例如，子例程的数量和它们之间的关系)和/或参数的值可以在训练过程中被确定，该训练过程可以使用正在被建模的真实世界过程的实际结果。这种系统或模型被理解为必然根植于计算机技术中，并且实际上，在没有计算技术的情况下不能被实现或甚至存在。虽然机器学习系统利用各种类型的统计分析，但是机器学习系统由于无需显式编程而学习的能力并且根植于计算机技术而与统计分析相区分。
术语“对象”在指代由车辆感知系统检测的或由模拟系统模拟的对象时意图涵盖静止对象和移动(或潜在移动)行动者两者，除非在另外通过术语“行动者”或“静止对象”的使用来具体陈述。
在本文献中，当使用诸如“第一”和“第二”的相对顺序术语来修饰名词时，这种使用仅意图将一个项目与另一个项目区分开，并且不意图要求按顺序的排序，除非具体地陈述。
另外，相对位置的术语，诸如“垂直”和“水平”，或者“前”和“后”，当使用时，意图彼此相对，并且不必是绝对的，并且仅指根据设备的定向与这些术语相关联的设备的一个可能位置。当本文使用术语“前”、“后”和“侧”来指代车辆的区域时，它们指代相对于车辆的默认行进区域的车辆区域。例如，汽车的“前”是与车辆尾灯相比更靠近车辆前灯的区域，而汽车的“后”是与车辆前灯相比更靠近车辆尾灯的区域。此外，术语“前”和“后”不必限于面向前的或面向后的区域，而是还包括分别比后更靠近前部的侧面区域，反之亦然。车辆的“侧”意图表示位于车辆的最前和最后之间的面向侧面的部分。

Claims (29)

1.一种在进入冲突区域之前预测行动者的动作的方法，所述方法包括：
在自主车辆和行动者正在接近所述冲突区域时使用传感器数据来检测所述行动者在所述自主车辆的环境中的存在；
确定所述自主车辆是否优先于所述行动者穿越所述冲突区域；
响应于确定所述自主车辆优先于所述行动者穿越所述冲突区域，向所述行动者指派要求所述行动者在进入所述冲突区域之前在让行点处停止的运动学目标；
确定是否需要生成所述行动者的多个预估的轨迹；以及
基于对是否需要生成所述行动者的多个预估的轨迹的所述确定，控制所述自主车辆的移动以穿越所述冲突区域。
2.根据权利要求1所述的方法，其中，确定是否需要生成所述行动者的多个预估的轨迹包括：通过以下操作来确定所述行动者将不会实现所述运动学目标的概率：
使用运动模型预估所述行动者在其朝向所述让行点行进时的第一状态；
使用所述第一状态确定当在第二状态下施加时使所述行动者在所述让行点之前停止所需的制动功率；以及
确定所述行动者是否能够实现所述所需的制动功率。
3.根据权利要求2所述的方法，其中：
所述运动模型被用于预测所述行动者在其朝向所述让行点行进时在预测时域上的运动，所述预测时域包括多个时间步长，
所述第一状态是所述行动者在多个时间步长中的第一时间步长的状态，以及
所述第二状态是所述行动者在所述多个时间步长中的、按顺序在所述第一时间步长之后发生的第二时间步长的状态。
4.根据权利要求3所述的方法，还包括响应于确定不需要生成所述行动者的多个预估的轨迹，继续确定是否需要在所述预测时域中包括的所述多个时间步长上生成所述行动者的所述多个预估的轨迹。
5.根据权利要求2所述的方法，其中，确定车辆行动者是否能实现所述所需的制动功率包括：将所述所需的制动功率与对应于所述行动者的最大允许制动功率进行比较。
6.根据权利要求5所述的方法，还包括通过以下操作识别对应于所述行动者的最大允许制动功率：
将所述行动者分类到多个行动者类别中的一者；以及
使用与所述多个行动者类别中的一者相关联的最大允许制动功率作为对应于所述行动者的所述最大允许制动功率。
7.根据权利要求2所述的方法，还包括响应于确定所述行动者不能实现所述所需的制动功率，控制所述自主车辆的移动以在穿越所述冲突区域之前为所述行动者让行。
8.根据权利要求1所述的方法，还包括：
使用运动模型预估所述行动者在其朝向所述让行点行进时的第一状态；
使用所述第一状态确定当在第二状态下施加时使所述行动者在所述让行点之前停止所需的制动功率；以及
响应于确定需要生成所述行动者的所述多个预估的轨迹，基于所述所需的制动功率来确定：
与包括所述行动者在所述让行点处停止的第一预估的轨迹集合相关联的第一概率，以及
与包括所述行动者在所述让行点处停止的第二预估的轨迹集合相关联的第二概率。
9.根据权利要求8所述的方法，其中，基于所述所需的制动功率来确定所述第一概率和所述第二概率包括：使用被训练为确定所述第一概率和所述第二概率的分类器。
10.根据权利要求8所述的方法，还包括基于所述第一概率和所述第二概率控制所述自主车辆的移动以穿越所述冲突区域。
11.根据权利要求8所述的方法，还包括：
通过将所述所需的制动功率与对应于所述行动者的最大允许制动功率进行比较来确定车辆行动者是否能够实现所述所需的制动功率；以及
响应于确定所述行动者不能实现所述所需的制动功率，控制所述自主车辆的移动以在穿越所述冲突区域之前为所述行动者让行。
12.根据权利要求1所述的方法，还包括：
识别用于所述自主车辆的预期的行进通道；
识别用于所述行动者的预期的行进通道；以及
仅在用于所述自主车辆的所述预期的行进通道与用于所述行动者的所述预期的行进通道在所述冲突区域中相交的情况下，确定所述自主车辆是否优先于所述行动者穿越所述冲突区域。
13.根据权利要求12所述的方法，还包括识别用于所述行动者的所述预期的行进通道中的所述让行点。
14.根据权利要求1所述的方法，还包括响应于确定所述自主车辆优先于所述行动者穿越所述冲突区域，控制所述自主车辆的移动以在穿越所述冲突区域之前在所述自主车辆的所述预期的行进通道中的第二让行点处停止。
15.一种用于在行动者进入冲突区域之前预测所述行动者的动作的系统，所述系统包括：
自主车辆，包括一个或多个传感器；
处理器；以及
非暂时性计算机可读介质，包括在由所述处理器执行时使所述处理器进行以下操作的一个或多个指令：
基于由所述一个或多个传感器收集的数据，在所述自主车辆和所述行动者正在接近所述冲突区域时，检测所述行动者在所述自主车辆的环境中的存在，
确定所述自主车辆是否优先于所述行动者穿越所述冲突区域；
响应于确定所述自主车辆优先于所述行动者穿越所述冲突区域，向所述行动者指派要求所述行动者在进入所述冲突区域之前在让行点处停止的运动学目标；
确定是否需要生成所述行动者的多个预估的轨迹；以及
基于对是否需要生成所述行动者的所述多个预估的轨迹的所述确定，控制所述自主车辆的移动以穿越所述冲突区域。
16.根据权利要求15所述的系统，其中，当由所述处理器执行时使所述处理器确定是否需要生成所述行动者的所述多个预估的轨迹的编程指令包括：使所述处理器通过以下操作来确定所述行动者将不会实现所述运动学目标的概率的编程指令：
使用运动模型预估所述行动者在其朝向所述让行点行进时的第一状态；
使用所述第一状态确定当在第二状态下施加时使所述行动者在所述让行点之前停止所需的制动功率；以及
确定所述行动者是否能够实现所述所需的制动功率。
17.根据权利要求16所述的系统，其中：
所述运动模型被用于预测所述行动者在向所述让行点行进时在所述预测时域上的运动，所述预测时域包括多个时间步长，
所述第一状态是所述行动者在多个时间步长中的第一时间步长的状态，以及
所述第二状态是在所述多个时间步长中的、按顺序在所述第一时间步长之后发生的第二时间步长的所述行动者的所述状态。
18.根据权利要求17所述的方法，还包括在由所述处理器执行时使所述处理器响应于确定不需要生成所述行动者的所述多个预估的轨迹，继续确定是否需要在所述预测时域中包括的所述多个时间步长上生成所述行动者的所述多个预估的轨迹的编程指令。
19.根据权利要求16所述的系统，其中，当由所述处理器执行时使所述处理器确定车辆行动者是否能够实现所述所需的制动功率的编程指令包括：使所述处理器将所述所需的制动功率与对应于所述行动者的最大允许制动功率进行比较的编程指令。
20.根据权利要求19所述的系统，还包括在由所述处理器执行时使所述处理器通过以下操作来识别对应于所述行动者的所述最大允许制动功率的编程指令：
将所述行动者分类到多个行动者类别中的一者；以及
使用与所述多个行动者类别中的一者相关联的最大允许制动功率作为对应于所述行动者的所述最大允许制动功率。
21.根据权利要求16所述的系统，还包括在由所述处理器执行时使所述处理器响应于确定所述行动者不能实现所述所需的制动功率，控制所述自主车辆的移动以在穿越所述冲突区域之前为所述行动者让行的编程指令。
22.根据权利要求15所述的系统，还包括在由所述处理器执行时使所述处理器进行以下操作的编程指令：
使用运动模型预估所述行动者在其朝向所述让行点行进时的第一状态；
使用所述第一状态确定当在第二状态下施加时使所述行动者在所述让行点之前停止所需的制动功率；以及
响应于确定需要生成所述行动者的多个预估的轨迹，基于所述所需的制动功率来确定：
与包括所述行动者在所述让行点处停止的第一预估集合相关联的第一概率，以及
与包括所述行动者在所述让行点处停止的第二预估集合相关联的第二概率。
23.根据权利要求22所述的系统，其中，当由所述处理器执行时使所述处理器基于所述所需的制动功率来确定所述第一概率和所述第二概率的编程指令包括：使用被训练为确定所述第一概率和所述第二概率的分类器的编程指令。
24.根据权利要求22所述的系统，还包括在由所述处理器执行时使所述处理器基于所述第一概率和所述第二概率来控制所述自主车辆的移动以穿越所述冲突区域的编程指令。
25.根据权利要求22所述的系统，还包括在由所述处理器执行时使所述处理器进行以下操作的编程指令：
通过将所述所需的制动功率与对应于所述行动者的最大允许制动功率进行比较来确定车辆行动者是否能够实现所述所需的制动功率；以及
响应于确定所述行动者不能实现所述所需的制动功率，控制所述自主车辆的移动以在穿越所述冲突区域之前为所述行动者让行。
26.根据权利要求15所述的系统，还包括在由所述处理器执行时使所述处理器进行以下操作的编程指令：
识别用于所述自主车辆的预期的行进通道；
识别用于所述行动者的预期的行进通道；以及
仅在用于所述自主车辆的所述预期的行进通道与用于所述行动者的所述预期的行进通道在所述冲突区域中相交的情况下，确定所述自主车辆是否优先于所述行动者穿越所述冲突区域。
27.根据权利要求26所述的系统，还包括当由所述处理器执行时使所述处理器识别用于所述行动者的预期的行进通道中的让行点的编程指令。
28.根据权利要求15所述的系统，还包括在由所述处理器执行时使所述处理器响应于确定所述自主车辆优先于所述行动者穿越所述冲突区域，控制所述自主车辆的移动以在穿越所述冲突区域之前在所述自主车辆的预期的行进通道中的第二让行点处停止的编程指令。
29.一种包括非暂时性计算机可读介质的计算机程序产品，所述非暂时性计算机可读介质包括一个或多个指令，所述一个或多个指令被配置为使处理器：
基于由自主车辆的一个或多个传感器收集的数据，在所述自主车辆和所述行动者正在接近冲突区域时，检测所述行动者在所述自主车辆的环境中的存在；
确定所述自主车辆是否优先于所述行动者穿越所述冲突区域；
响应于确定所述自主车辆优先于所述行动者穿越所述冲突区域，向所述行动者指派要求所述行动者在进入所述冲突区域之前在让行点处停止的运动学目标；
确定是否需要生成所述行动者的多个预估的轨迹；以及
基于对是否需要生成所述行动者的多个预估的轨迹的所述确定，控制所述自主车辆的移动以穿越所述冲突区域。
CN202180067623.9A 2020-10-01 2021-09-29 由自主车辆预测对象的动作以确定通过冲突区域的可行路径的方法和系统 Pending CN116249643A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/060,837 US20220105959A1 (en) 2020-10-01 2020-10-01 Methods and systems for predicting actions of an object by an autonomous vehicle to determine feasible paths through a conflicted area
US17/060,837 2020-10-01
PCT/US2021/052539 WO2022072414A1 (en) 2020-10-01 2021-09-29 Methods and systems for predicting actions of an object by an autonomous vehicle to determine feasible paths through a conflicted area

Publications (1)

Publication Number Publication Date
CN116249643A true CN116249643A (zh) 2023-06-09

Family

ID=80931041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180067623.9A Pending CN116249643A (zh) 2020-10-01 2021-09-29 由自主车辆预测对象的动作以确定通过冲突区域的可行路径的方法和系统

Country Status (4)

Country Link
US (1) US20220105959A1 (zh)
EP (1) EP4222036A1 (zh)
CN (1) CN116249643A (zh)
WO (1) WO2022072414A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117434967A (zh) * 2023-12-18 2024-01-23 成都正扬博创电子技术有限公司 一种无人机防撞检测方法、系统、介质及设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018001106T5 (de) * 2017-03-02 2019-11-21 Panasonic Intellectual Property Management Co., Ltd. Fahrassistenzverfahren, Fahrassistenzvorrichtung und dieses Verfahren verwendendes Fahrassistenzsystem
US11643073B2 (en) * 2019-10-24 2023-05-09 Zoox, Inc. Trajectory modifications based on a collision zone
US20220340172A1 (en) * 2021-04-23 2022-10-27 Motional Ad Llc Planning with dynamic state a trajectory of an autonomous vehicle
US20220340138A1 (en) * 2021-04-27 2022-10-27 Argo AI, LLC Methods and systems for generating trajectory of an autonomous vehicle for traversing an intersection
US20230202529A1 (en) * 2021-12-27 2023-06-29 Gm Cruise Holdings Llc System and method of using a machine learning model to plan autonomous vehicles routes
US20230334959A1 (en) * 2022-04-13 2023-10-19 Truist Bank Artifical intelligence driven automated teller machine
DE102022208519A1 (de) 2022-08-17 2024-02-22 STTech GmbH Computerimplementiertes Verfahren und Computerprogramm zur Bewegungsplanung eines Ego-Fahrsystems in einer Verkehrssituation, computerimplementiertes Verfahren zur Bewegungsplanung eines Ego-Fahrsystems in einer realen Verkehrssituation Steuergerät für ein Ego-Fahrzeug

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9248834B1 (en) * 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
US9528838B2 (en) * 2014-12-09 2016-12-27 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to intersection priority
JP2016122308A (ja) * 2014-12-25 2016-07-07 クラリオン株式会社 車両制御装置
US9824589B1 (en) * 2016-09-15 2017-11-21 Ford Global Technologies, Llc Vehicle collision risk detection
KR102581779B1 (ko) * 2016-10-11 2023-09-25 주식회사 에이치엘클레무브 교차로충돌방지시스템 및 교차로충돌방지방법
US10994730B2 (en) * 2017-04-19 2021-05-04 Nissan Motor Co., Ltd. Traveling assistance method and traveling assistance device
BR112019024714A2 (pt) * 2017-05-24 2020-06-09 Nissan Motor método de assistência de deslocamento de dispositivo de assistência de deslocamento e dispositivo de assistência de deslocamento
CN107808549B (zh) * 2017-11-08 2020-06-16 华为技术有限公司 移动控制的方法、装置和系统
DE102018222601A1 (de) * 2018-12-20 2020-06-25 Volkswagen Aktiengesellschaft Verfahren und Fahrerassistenzsystem zum Unterstützen eines Fahrers eines Fahrzeugs beim Führen des Fahrzeugs
US11364936B2 (en) * 2019-02-28 2022-06-21 Huawei Technologies Co., Ltd. Method and system for controlling safety of ego and social objects
US10953873B2 (en) * 2019-03-29 2021-03-23 Intel Corporation Extension to safety protocols for autonomous vehicle operation
US11230285B2 (en) * 2019-10-14 2022-01-25 Pony Ai Inc. System and method for determining a vehicle action
US11635758B2 (en) * 2019-11-26 2023-04-25 Nissan North America, Inc. Risk aware executor with action set recommendations

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117434967A (zh) * 2023-12-18 2024-01-23 成都正扬博创电子技术有限公司 一种无人机防撞检测方法、系统、介质及设备
CN117434967B (zh) * 2023-12-18 2024-03-15 成都正扬博创电子技术有限公司 一种无人机防撞检测方法、系统、介质及设备

Also Published As

Publication number Publication date
US20220105959A1 (en) 2022-04-07
WO2022072414A1 (en) 2022-04-07
EP4222036A1 (en) 2023-08-09

Similar Documents

Publication Publication Date Title
US11754408B2 (en) Methods and systems for topological planning in autonomous driving
US20220105959A1 (en) Methods and systems for predicting actions of an object by an autonomous vehicle to determine feasible paths through a conflicted area
CN110573978A (zh) 用于自驾交通工具的动态传感器选择
US11565716B2 (en) Method and system for dynamically curating autonomous vehicle policies
US11731630B2 (en) Methods and systems for asserting right of way for traversing an intersection
CN116249644A (zh) 由自主车辆执行出路推断以确定通过交叉路口的可行路径的方法和系统
US20230150510A1 (en) Methods and systems for tracking a mover's lane over time
US20220340138A1 (en) Methods and systems for generating trajectory of an autonomous vehicle for traversing an intersection
CN116745187A (zh) 通过可行驶区域边界的语义分割来预测不确定道路使用者的轨迹的方法和系统
CN117836184A (zh) 用于自主车辆的互补控制系统
CN116724345A (zh) 用于推断自主车辆的未绘制停止线的方法和系统
US11718290B2 (en) Methods and systems for safe out-of-lane driving
CN116724214A (zh) 用于生成用于自主车辆的导航的感兴趣区域的车道级地图的方法和系统
CN116670008A (zh) 用于构建用于辅助自主车辆在交叉路口导航的数据表示的方法和系统
EP4170450A1 (en) Method and system for switching between local and remote guidance instructions for an autonomous vehicle
US11904906B2 (en) Systems and methods for prediction of a jaywalker trajectory through an intersection
CN116745188A (zh) 基于不确定道路使用者的行为生成自主车辆的纵向计划的方法和系统
KR20210109615A (ko) 활동에 기초한 인지된 대상체 분류
US20230303117A1 (en) Method and system for assessing whether a vehicle is likely to leave an off-road parking area
EP4131181A1 (en) Methods and system for predicting trajectories of actors with respect to a drivable area
US20230043601A1 (en) Methods And System For Predicting Trajectories Of Actors With Respect To A Drivable Area
US20230386326A1 (en) Systems and methods for detecting pedestrians with crosswalking or jaywalking intent
US20240025440A1 (en) State estimation and response to active school vehicles in a self-driving system
US20240025441A1 (en) State Estimation and Response to Active School Vehicles in a Self-Driving System
CN117197834A (zh) 基于图像的行人的速度估计

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination