CN118189995A - 用于在自主交通工具操作中处理遮挡物的方法和系统 - Google Patents

用于在自主交通工具操作中处理遮挡物的方法和系统 Download PDF

Info

Publication number
CN118189995A
CN118189995A CN202311695067.7A CN202311695067A CN118189995A CN 118189995 A CN118189995 A CN 118189995A CN 202311695067 A CN202311695067 A CN 202311695067A CN 118189995 A CN118189995 A CN 118189995A
Authority
CN
China
Prior art keywords
particles
actor
occluded
vehicle
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311695067.7A
Other languages
English (en)
Inventor
D·米尔科维奇
D·阿尔托夫
C·阿佩尔特
G·法戈杰尼斯
D·伦茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN118189995A publication Critical patent/CN118189995A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G05D1/622—Obstacle avoidance
    • G05D1/633—Dynamic obstacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G08G1/096827—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route where the route is computed onboard
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4026—Cycles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/20—Specific applications of the controlled vehicles for transportation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00—Specific environments of the controlled vehicles
    • G05D2107/10—Outdoor regulated spaces
    • G05D2107/13—Spaces reserved for vehicle traffic, e.g. roads, regulated airspace or regulated waters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/10—Land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供“用于在自主交通工具操作中处理遮挡物的方法和系统”。自主交通工具在遮挡物阻止交通工具检测移动对象的能力的环境中导航。所述交通工具通过以下操作来处理这种情况：接收与所述环境相对应的传感器数据；标识多个初始化粒子中具有与所述被遮挡区域中的潜在被遮挡行动者相关联的非零概率的一个或多个粒子；以及基于对所述被遮挡区域的时空推断和考虑到所述一个或多个粒子而生成用于遍历所述环境的所述自主交通工具的轨迹。每个粒子可以与潜在行动者相关联。

Description

用于在自主交通工具操作中处理遮挡物的方法和系统
技术领域
本文档描述了用于在自主交通工具的操作期间处理遮挡物的计算机实施方法、系统和计算机程序产品。
背景技术
当自主交通工具(AV)在环境中导航时，它必须依赖于各种传感器来检测其环境内的对象。自主交通工具可以使用相机、光探测和测距(激光雷达)系统、无线电探测和测距(雷达)系统、声学传感器和/或其他传感器来收集该信息。然而，传感器通常无法收集关于环境的完整信息。例如，AV在现实世界中(诸如在密集的城市区域、交叉路口等中)导航时经常遇到遮挡物。建筑物、停放的汽车和其他障碍物可能遮挡(即，阻挡或遮蔽)其他对象，因此限制AV检测其环境中的一个或多个对象的能力。
因而，除了感知和跟踪交通工具周围环境中的对象之外，AV还需要推断其传感器系统(例如，由于遮挡物)看不到的世界部分。因而，在环境中导航可能需要AV例如绕过盲拐角、移动到被其他对象部分遮挡的空间等。
本文档描述了被设计成解决AV在处理遮挡物时所面临的至少一些问题的方法和系统。
发明内容
例如，使自主交通工具导航通过包括被遮挡区域的环境的计算机实施方法可以包括(以任何合适的方式，例如通过接收或提取或获得)提供与所述环境相对应的传感器数据；标识多个初始化粒子中具有与所述被遮挡区域中的潜在被遮挡行动者相关联的非零概率的一个或多个粒子；以及(例如，基于对所述被遮挡区域的时空推断和)考虑到所述一个或多个粒子而生成用于遍历所述环境的所述自主交通工具的轨迹。每个粒子可以与潜在行动者相关联。本文描述的计算机实施方法可以由计算装置执行。应当理解，传感器数据可以以任何合适的方式提供，例如，它可以被发送到计算装置和/或它可以由计算装置请求或获得。所述操作中的任一者可以由计算装置直接执行，或者所述操作中的至少一些操作可以例如由计算装置分配给至少一个其他计算装置。
用于处理遮挡物的上述方法的实施系统可以包括但不限于(例如，所述计算装置的)一个或多个处理器，以及任选地包括编程指令的计算机可读数据存储介质，所述编程指令使所述处理器实施本文描述的用于处理遮挡物的方法的步骤。任选地，所述编程指令可以包括在计算机程序产品中。所述实施系统可以包括用于执行本文描述的计算机实施方法中的任一者的步骤的装置。还描述了一种计算机程序和一种存储所述计算机程序的计算机可读数据存储设备，所述计算机程序包括指令，所述指令在由计算装置执行时将使所述计算装置执行本文描述的方法。本公开还涉及一种如由本文描述的任何计算机实施方法生成的轨迹和一种存储所述轨迹的数据存储设备。同样地，还描述了如在本文描述的任何计算机实施方法中生成的轨迹的用于控制系统或自主交通工具的用途。本公开还涉及更新概率和存储所述更新概率的数据存储设备以及所述更新概率用于控制系统或自主交通工具的用途，所述更新概率在下面进一步描述的计算机实施方法中生成。更新概率可以任何合适的方式提供，例如提供作为概率值或概率数据。
附图说明
图1示出了包括交通工具的示例性系统，所述系统被配置为对环境中的被遮挡区域的未知状态进行建模。
图2是示出自主交通工具的各种子系统的框图。
图3示出了示例性自主交通工具(AV)移动通过环境并接近交叉路口。
图4示出了用于对环境中的被遮挡区域的未知状态进行建模的示例性过程的流程图。
图5A和图5B示出了示例性粒子初始化策略。
图6A示出了包括交叉路口的环境的示例性粒子初始化；图6B示出了针对有效粒子的选择生成的预报假设状态；图6C示出了基于提供的(例如，接收的或提取的或获得的)传感器数据对粒子概率的示例性更新；图6D示出了图6A的环境中的虚拟行动者的生成。
图7示出了预报的粒子假设的示例性生成。
图8A示出了图3的环境中的有效粒子的选择；并且图8B示出了当AV处于更新位置时在随后的规划循环期间图3的环境中的更新的有效粒子。
图9A和图9B示出了示出示例性最坏情况被遮挡行动者选择策略的s-t图形。
图10示出了系统可以如何根据图4的过程推断被遮挡的人行横道。
图11示出了根据本公开的各方面的交通工具的示例性架构。
图12是用于实施各种实施例的示例性计算机系统。
在附图中，相同的附图标记通常表示相同或相似的元件。另外，通常附图标记最左边的数字标识附图标记首次出现于的附图。
具体实施方式
自主交通工具依赖于由一个或多个传感器收集的传感器数据来在动态和非结构化环境中导航。然而，与环境的一个或多个区域相对应的传感器数据可能不可用和/或可能不可靠或不准确。这可能例如由于传感器系统的性质和/或状态(例如，传感器的范围、视野、分辨率、故障状态等)、环境的状态和/或性质(例如，障碍物、噪声、反射、光状况等)而发生，使得环境(或环境中的至少某些区域)的完整状态对于自主交通工具来说暂时或永久不可观察或被遮挡。例如，交通工具的传感器(相机、雷达、声呐、激光雷达)的范围可以被限制为在特定方向上距交通工具大约200米。超出该范围，交通工具无法检测到对象。换句话说，对象可能存在于该范围之外，但不会被交通工具的传感器检测到或报告。在这方面，标识可能位于范围之外的对象可以用于确定如何控制交通工具。
在日常驾驶场景中，遮挡物无处不在，并且可能以各种形式遇到。遮挡物不能被忽略，因为对象(移动的或静态的)可能隐藏在遮挡物后面的被遮挡区域中，并且当AV遇到遮挡物时停止所有前进是不切实际的。由于这些问题，当AV接近遮挡物时，遮挡物可能会触发AV的操作系统以要求人类操作员接管和/或额外的停止。因而，需要对环境的未知状态进行建模(即，推测或推断遮挡物)以操作AV通过环境。
然而，由于特征空间的组合复杂性(例如，被遮挡区域形状、不同的道路拓扑、行动者和静态障碍物形状/位置、AV位置等)，现有技术解决方案依赖于通过提取操作自主交通工具所必需的一组最小抽象或复杂特征(例如，被遮挡区域边界、自从上次可见以来的时间等)来对被遮挡区域进行建模。此类解决方案未能考虑潜在过程或未能对其进行建模，诸如被遮挡行动者及其复杂行为、动态地改变被遮挡区域、被跟踪行动者进入或离开被遮挡区域等。此外，现有技术解决方案的提取特征(诸如被遮挡区域边界)缺少或包括非常有限的时间信息(例如，自从上次被遮挡以来的时间)。因而，为了推断长期时间依赖性，此类解决方案需要在提取特征的长期历史上维持和推断。现有的解决方案也未能考虑抽象特征与由特征施加的风险之间的相关性。例如，现有解决方案未能考虑两辆被遮挡交通工具之间的风险差异，其中一辆被遮挡交通工具比另一辆行驶得更快，并且未能将这两种被遮挡场景建模为最坏情况被遮挡交通工具接近遮挡边界或界限(这未能考虑以下场景：与在距AV相同距离处的较慢的潜在被遮挡行动者相比时应将快速的潜在被遮挡行动者视为最坏情况被遮挡行动者)。上述限制使得现有技术解决方案对于城市自主驾驶场景过于保守，因为它们对复杂的空间和长期时间依赖性进行建模的能力有限。
本文档描述了用于通过考虑AV环境的被遮挡区域中的未观察到的或未知的过程对环境的被遮挡区域的未知状态进行建模(使用粒子滤波器方法)的系统、设备、装置、计算机实施方法和/或计算机程序产品实施例和/或上述任一者的组合和子组合。本公开具体教导了通过将未观察到的环境区域中的未知状态分布表示为一个或多个广义假设的混合来降低建模以及计算复杂性，其中每个假设表示行动者并且具有使用测量模型更新的相关概率。由于每个假设都表示行动者(并且因而表示环境的潜在状态)，因此假设可以直接用于预测、运动规划目的或以其他方式操纵AV通过环境。如本文所使用的，“假设”表示行动者(例如，交通工具、骑车者、行人等)及其对应的空间位置和定向、速度和加速度。
本文描述的特征可以使得自主交通工具能够对环境中的但是AV的感知系统无法感知的真实对象作出响应。
除非上下文另外明确指明，否则如在本文档中所使用的，单数形式“一个/种”和“所述”包括多个指示物。除非另有定义，否则本文档中使用的所有技术和科学术语具有与本领域普通技术人员通常理解的相同含义。如本文档中所使用的术语“包括”意指“包括但不限于”。
术语“遮挡物”或“被遮挡区域”是指由于缺少关于环境区域的传感器数据而未观察到的区域。由于若干原因，诸如传感器不可用、传感器不提供任何信息、传感器提供的信息不足或由传感器提供的信息质量不足(例如，在传感器的视野、范围或分辨率之外、传感器阻挡、传感器故障、障碍物、噪声、反射、光状况等)，因此可能无法观察到区域。
在本文档中，术语“交通工具”是指能够运载一个或多个人类乘员和/或货物并且由任何形式的能量提供动力的任何移动形式的运输工具。术语“交通工具”包括但不限于汽车、卡车、货车、火车、自主交通工具、飞行器、空中无人机等。“自主交通工具”(或“AV”)是具有处理器、编程指令和传动系部件的交通工具，所述传动系部件可由所述处理器控制而无需人类操作员。自主交通工具可以是完全自主的，因为它对于大多数或所有驾驶状况和功能不需要人类操作员，或者它可以是半自主的，因为在某些状况下或对于某些操作可能需要人类操作员，或者人类操作员可以超驰交通工具的自主系统并且可以控制交通工具。
与本文档相关的附加术语的定义包括在本具体实施方式的末尾。
应注意，本文档在AV的背景下描述了本解决方案。然而，本解决方案不限于交通工具应用。本解决方案可以用于其他应用，诸如其他机器人应用、高级驾驶员辅助系统、虚拟现实应用、图像分类应用和/或监控系统。
图1示出了根据本公开的各方面的示例性系统100。系统100包括以半自主或自主方式沿着道路行驶的交通工具102。本文档有时可以将交通工具102称为AV 102，但是本公开不一定限于自主交通工具。AV 102可以包括但不限于陆地交通工具(如图1所示)、飞行器或船只。如上所述，除非特别指出，否则本公开不一定限于AV实施例，并且在一些实施例中可以包括非自主交通工具。
AV 102包括一个或多个子系统，所述一个或多个子系统被配置为收集关于AV的环境的数据并处理该数据以检测其接近度中的对象。所述对象可以包括但不限于交通工具103、骑车者114(诸如自行车、电动踏板车、摩托车等的骑手)和/或行人116。
为了收集该数据，AV 102可以包括传感器系统111、机载计算装置113、通信接口117和用户接口115。AV 102还可以包括交通工具中所包括的某些部件(例如，如图11中所示)，所述某些部件可以由机载计算装置113使用各种通信信号和/或命令(诸如，例如，加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等)来控制。
传感器系统111可以包括耦合到AV 102和/或包括在其中的一个或多个传感器，如图11所示。例如，此类传感器可以包括但不限于光探测和测距(激光雷达)系统、无线电探测和测距(雷达)系统、激光探测和测距(LADAR)系统、声音导航和测距(声呐)系统、一个或多个相机(例如，可见光谱相机、红外相机等)、温度传感器、位置传感器(例如，全球定位系统(GPS)等)、位置传感器、燃料传感器、运动传感器(例如，惯性测量单元(IMU)等)、湿度传感器、占用传感器等。传感器数据可以包括描述AV 102的周围环境内的对象的位置的信息、关于环境本身的信息、关于AV 102的运动的信息、关于交通工具的路线的信息等。当AV 102在地面上行驶时，至少一些传感器可以收集与地面有关的数据。
AV 102还可以通过通信网络108将由传感器系统收集的传感器数据传送到机外远程计算装置110(例如，云处理系统)。远程计算装置110可以被配置有一个或多个服务器以处理如本文档中描述的数据。远程计算装置110还可以被配置为通过网络108向/从AV102、向/从服务器和/或数据库112传送数据/指令。机外计算装置110可以提供(例如，接收或提取或获得)交通工具在其运行期间收集的数据，诸如感知数据和操作数据。机外计算装置110还可以将数据或其他信息(诸如软件更新、高清晰度(HD)地图更新、机器学习模型更新和其他信息)传递到交通工具。
网络108可以包括一个或多个有线或无线网络。例如，网络108可以包括蜂窝网络(例如，长期演进(LTE)网络、码分多址(CDMA)网络、3G网络、4G网络、5G网络、另一种下一代网络等)。网络还可以包括公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网络(例如，公共交换电话网(PSTN))、专用网络、自组织网络、内联网、互联网、基于光纤的网络、云计算网络等，和/或这些或其他类型的网络的组合。
AV 102可以检索、接收、显示和编辑从本地应用生成或经由网络108从数据库112递送的信息。数据库112可以被配置为存储和供应原始数据、索引数据、结构化数据、地图数据、程序指令或已知的其他配置。
通信接口117可以被配置为允许AV 102与外部系统(诸如例如外部装置、传感器、其他交通工具、服务器、数据存储区、数据库等)之间的通信。通信接口117可以利用任何现在或后续已知协议、保护方案、编码、格式、封装等，诸如但不限于Wi-Fi、红外链路、蓝牙等。用户接口系统115可以是在AV 102内实施的外围装置的一部分，包括例如键盘、触摸屏显示装置、传声器或扬声器。所述交通工具还可以经由通信接口117通过通信链路(诸如被称为交通工具对交通工具、交通工具对对象或其他V2X通信链路的那些链路)提供(例如，接收或提取或提供)状态信息、描述性信息或关于其环境中的装置或对象的其他信息。术语“V2X”是指交通工具与交通工具在其环境中可能遇到或影响的任何对象之间的通信。
在图2的框图中示出了交通工具上的示例性系统。交通工具的感知系统202将捕获关于交通工具环境中的对象和交通工具环境的特征的信息。交通工具的预报系统203将生成关于环境中的其他行动者可能采取的动作的预测。交通工具的运动规划系统204和控制系统205将生成使交通工具在环境中移动的数据和指令。这些系统的各种部件将稍后在本文档图12的讨论中进行描述。这些系统的某些部件也可以被体现在作为交通工具的机载计算系统201的一部分的处理器硬件和计算机可读编程指令中。
感知系统202包括捕获关于存在于交通工具的环境或周围环境中的移动行动者和其他对象的信息的传感器。示例性传感器包括相机、激光雷达系统和雷达系统。由此类传感器捕获的数据(诸如数字图像、激光雷达点云数据或雷达数据)被称为感知数据。感知系统可以包括一个或多个处理器，以及具有编程指令和/或经训练的人工智能模型的计算机可读存储器，所述编程指令和/或经训练的人工智能模型在交通工具的运行期间将处理捕获的数据以标识对象并将分类标签和唯一标识符分配给在场景中检测到的每个对象。分类标签可以包括诸如交通工具、骑行者、行人、建筑物等的类别。标识对象并将分类标签分配给对象的方法在本领域中是公知的，并且可以使用任何合适的分类过程，诸如对场景中的检测到的对象进行有界框分类并使用卷积神经网络或其他计算机视觉模型的那些分类过程。一些这样的过程在Yurtsever等人的“A Survey of Autonomous Driving:CommonPractices and Emerging Technologies(自主驾驶调查：常见做法和新兴技术)”(arXiv，2020年4月2日)中有所描述。
如果交通工具是AV，则交通工具的感知系统202可以将其捕获的感知数据递送到交通工具的预报系统203。预报系统203(其也可以被称为预测系统)将包括处理器和计算机可读编程指令，其被配置为处理从感知系统接收的数据并预报感知系统检测到的其他行动者的动作。
在AV中，交通工具的感知系统202以及交通工具的预报系统203将数据和信息递送到交通工具的运动规划系统204和运动控制系统205，使得接收系统可以评估此类数据并发起任何数量的对此类数据的反应性运动。运动规划系统204和控制系统205包括和/或共享一个或多个处理器和计算机可读编程指令，其被配置为处理从其他系统接收的数据，确定交通工具的轨迹，并且向交通工具硬件输出命令以根据确定的轨迹移动交通工具。此类命令可能引起交通工具硬件采取的示例性动作包括使交通工具的制动控制系统致动，使交通工具的加速度控制子系统增大交通工具的速度，或者使交通工具的转向控制子系统将交通工具转弯。各种运动规划技术是公知的，例如如Gonzalez等人在IEEE智能交通系统期刊第17卷、第4期(2016年4月)公布的“A Review of Motion Planning Techniques forAutomated Vehicles”中描述的。
在非AV实施例中，诸如对于由人类操作员驾驶的交通工具，运动规划系统204可以被体现在处理器硬件和计算机可读硬件中，所述处理器硬件和计算机可读硬件是包含在交通工具中的电子装置的部分，诸如仪表板导航系统或操作员的移动电子装置。在此类情况下，电子装置可以经由显示器、音频扬声器或两者输出由运动规划系统规划的轨迹。另外，感知系统202的一些部分可以包括经由无线通信从远程服务器接收某些感知数据(诸如天气数据)的电子装置的收发器。
图3示出了示例性交通工具302(例如，AV 102)移动通过环境300并接近交叉路口310。若干对象在交叉路口310内或附近移动，但是被遮挡在AV 302的视野之外。例如，行人304正在穿过交叉路口的街道中的一者。然而，建筑物303遮挡AV 302传感器看到被遮挡区域307中的行动者或障碍物的能力，使得AV 302传感器无法检测到行人304(或接近交叉路口的另一交通工具)。另外，交通工具306正在接近交叉路口110，但是另一交通工具308位于AV 302与交通工具306之间，并且因此妨碍AV 302传感器检测位于被遮挡区域309内的交通工具306的能力。因此，在该示例中，另一交通工具308和建筑物303是障碍物。本公开描述了用于处理此类被遮挡区域以使交通工具自主导航通过环境的系统和方法。应注意，包括图3的交叉路口的示例性环境是非限制性的，并且任何其他环境特征(例如，自行车线道、线道路段、停止标志、人行横道等)都在本公开的范围内。
图4示出了示出用于(例如，使用粒子滤波器方法)对环境中的被遮挡区域的未知状态进行建模的示例性方法的流程图。所述方法开始于402，此时对于环境中的一个或多个感兴趣区域，系统可以将一组初始粒子初始化(或产生一组初始粒子)，其中每个粒子是潜在行动者(例如，行人、骑行者、卡车、汽车、等)。每个初始化粒子表示一个假设，包括初始假设状态(即，行动者的初始位置/定向、速度、加速度和类型)和对应的初始概率。感兴趣区域可以是AV需要推测出以操纵通过环境的任何区域，诸如但不限于AV的行驶路径中的冲突区域(即，AV在路线上行驶时的行驶线道将与环境中的另一个线道、线道路段或区域(诸如人行横道、自行车线道、AV需要避让的迎面而来的交通线道等)重叠的区域)、人行横道线道路段、停止标志线道路段、自行车线道路段、冲突线道(诸如具有迎面而来的交通的线道路段)等。初始假设状态的示例可以包括但不限于：静止的自行车、以恒定速度移动的自行车、静止的行人、以恒定速度移动的行人、某种类型的静止交通工具、以恒定速度移动的某种类型的交通工具、加速的行人、加速的自行车、加速的交通工具等。
可以基于例如关于感兴趣区域的可用信息(例如，地图数据)在感兴趣区域中的每一者内产生任意数量的粒子。例如，可以在道路上将与交通工具相对应的粒子初始化，可以在自行车线道上将与自行车相对应的粒子初始化，可以在人行横道上将与行人相对应的粒子初始化，等等。可以基于先验分布从一组所有可能状态对该组初始粒子进行采样。例如，可以沿着线道中心线对粒子进行采样(例如，使用均匀采样或任何其他采样技术)。任选地，可以在感兴趣区域内将粒子初始化直到最远感兴趣点，其中最远感兴趣点是感兴趣区域内距AV足够远的点使得在这样的点处初始化的粒子不会影响AV的行为和/或在AV的传感器的范围之外。
在各种实施例中，可以基于粒子初始化策略(诸如但不限于连续空间上的均匀分布采样、在表示离散化感兴趣区域(例如，图5A中的初始位置510)的网格500的单元中的每一者的中心处、沿着感兴趣区域(例如，图5B中的初始位置520)中的线道的中心线、沿着横向于感兴趣区域中的中心线的方向或其组合的均匀分布采样(或其他采样技术))来对粒子的初始位置进行采样。对于每个采样的初始位置，可以以在[vmin,vmax]范围内的恒定速度对N个粒子进行采样，其中vmin是该类型的粒子可能的最小粒子速度，而vmax是该感兴趣区域中的速度极限或大于速度极限或该类型的粒子可能的最大粒子速度。可以基于沿着感兴趣区域中的线道路段的中心线的纵向和/或横向位置和对应的航向信息来确定交通工具粒子的初始姿态。可以基于沿着感兴趣区域中的自行车线道路段的中心线的纵向和/或横向位置和对应的航向信息来确定自行车粒子的初始姿态。可以基于行人相对于人行横道的几何形状的纵向和/或横向位置来确定行人粒子的初始姿态。任选地，每个粒子以关于位置、速度和加速度的固定分辨率(例如，表示离散化感兴趣区域并且相对于全局参考系固定的网格的分辨率，其中网格离散化是精细的)进行初始化。任选地，可以用非固定分辨率(诸如但不限于非线性分辨率、情境感知动态粒子(状态)分辨率等)将粒子初始化。在各种实施例中，粒子的类型可以限定对应行动者的形状和/或姿态。任选地，取决于粒子所表示的行动者的类型，可以假定行动者的固定形状(例如，矩形)和大小与每个粒子相关联。大小和形状可以因不同的行动者(例如，交通工具、自行车、行人等的类型)而异。
无论遮挡物或可见性如何(例如，基于地图数据)，该组初始粒子都被初始化并被分配概率。在接收任何数据之前，所有感兴趣区域都可能以某个先验概率包含被遮挡对象。图6A示出了当AV在线道611(a)中行驶时在环境600中的一个或多个感兴趣区域(例如，线道路段611(a)、611(b)、611(c)和611(d))中的该组初始化粒子610。图6A中所示的信息是基于粒子运动模型，所述粒子运动模型假定粒子沿着线道以恒定速度移动，并且唯一的可变信息是2D粒子位置和标量速度。因而，图6A表示3D空间，其中2D平面中的位置表示粒子位置，并且Z分量表示线道中心线方向上的粒子速度。
还可以将初始权重或概率[0,1]分配给初始化的粒子中的每一者以生成初始假设。在粒子初始化时，为粒子分配的初始概率通常接近1，但是可以取其他值，这取决于基于环境状态的先验概率信息的可用性(例如，当可用信息导致假定对象在特定位置处被遮挡的概率较低，这取决于各种状况，诸如但不限于当日时间、环境类型(例如，交叉路口类型)等)。
在各种实施例中，还可以针对感兴趣区域中的每个被跟踪行动者将粒子初始化。如果被跟踪行动者在随后的规划循环中仍然可见，则它将变得失效(如下面所讨论的)。然而，如果被跟踪行动者在下一个规划循环中不可见，则维持表示被遮挡行动者假设的粒子(如下面所讨论的)。
接下来，在404处，系统可以从一个或多个传感器(例如，激光雷达、相机等)接收包括与AV的环境有关的信息的传感器数据。
所接收的信息可以用于创建AV的环境的表示。所述系统还可以使用关于环境的其他可用信息(例如，地图数据、道路网络数据、线道拓扑、交通数据等)来创建环境表示。任选地，环境表示可以包括一个或多个被遮挡区域。环境表示的示例可以是栅格化可见性地图或网格，其是环境的表示(例如，平面、2.5维、三维等)，其将AV可以在任何给定时间看到的地方以及在任何给定时间它不能看到的地方告知它。可见性地图可以被表示为矩形网格(或栅格化的)，其包括与在给定时间每个单独单元的可见性和/或遮挡有关的信息。在一个或多个实施例中，可见性地图还表示AV感知或跟踪其中AV无法感知和/或跟踪被遮挡区域或单元中的对象的环境中的一个或多个对象的能力。
接下来，对于初始化的粒子中的每一者，通过根据考虑粒子表示的初始假设状态的粒子的过程模型(406)传播粒子来生成预报状态(初始假设状态被预报以生成更新的假设状态。预报的假设状态对应于传感器数据的测量时间。
在各种实施例中，可以在步骤402中基于可见性地图从该组初始粒子提供(例如，选择)粒子的子集以进行进一步处理。具体地，可以丢弃在环境的可见区域内初始化的粒子(如基于可见性地图确定的)。
所述过程模型可以是运动模型(例如，恒定速度运动模型、恒定加速度运动模型等)，这取决于粒子所表示的行动者的类型和粒子所表示的假设的类型。例如，可以使用恒定速度模型来沿着线道中心线、人行横道等传播子集中的粒子(即，预测或预报它们的未来状态)。在此类场景中，粒子位置(因为速度是恒定的)连续更新并且未被离散化。图7示出了从初始位置701沿着(线道路段700的)线道中心线710的粒子的预报假设状态702a-n。图6B示出了粒子的子集650的预报假设状态。
任选地，运动模型在其考虑例如关于环境的信息(例如，其他行动者、停止标志、线道分界等)以生成预报状态的意义上可以是智能的。
环境中的粒子的状态转变受到环境中的未观察到的过程的影响，并且因此可以通过环境观察来更新概率(验证概率或使概率失效)。因而，在408处，可以基于例如接收到的传感器数据和对应的预报假设状态来更新与每个粒子相对应的初始概率，以生成更新概率和更新假设。更新概率指示在给定传感器测量数据的情况下粒子实际上对应于行动者的可能性。
在一个或多个实施例中，可以使用测量模型来更新概率，所述测量模型考虑粒子的状态(初始状态和/或预报状态)和最近的可见性地图。在一些示例性实施例中，可以使用离散(二进制)测量模型来更新概率，使得如果当粒子表示预报的假设状态时粒子形状的阈值量位于可见性地图的未遮挡部分内部，则粒子概率被设置为零(粒子消失)，这是因为假定被遮挡区域是可见的并且没有对象和/或潜在行动者是可见的并且被跟踪。在各种实施例中，可以针对可见性网格和/或感知/跟踪模型专门调谐阈值，使得如果被遮挡粒子失效，则环境的一部分以期望的确定性对感知/跟踪可见。
另外和/或替代地，在一些示例性实施例中，可以使用测量模型来更新概率，其基于当粒子如下表示预报的假设状态时行动者形状的可见部分与不可见部分的比率(任选地，如果N可见行动者单元＝0，则饱和到最大值)：
P新＝P旧*(N可见行动者单元/N行动者单元)
任选地，可以通过要求降低权重所必需的被行动者占用的最小数量的可见单元(例如，仅对超过最小可见单元的阈值的可见单元的数量进行计数)来组合上述离散的测量模型和基于比率的测量模型。在某些其他示例性实施例中，可以从训练数据中学习测量模型。例如，其中具有和不具有被遮挡行动者的被遮挡/未被遮挡/部分被遮挡区域的数据集可以用于训练深度学习模型以对各种被遮挡区域样本进行分类，以便学习对象跟踪模型的各种局限性并生成测量模型。
应注意，上述测量模型也可以用于使与不对应于环境状态的某种类型的行动者相关联的粒子失效。例如，如果在被遮挡区域中将粒子针对汽车行动者初始化，其足够可见使得汽车不会被遮挡，但是被遮挡摩托车仍然可能存在于该处，则系统可以将由该粒子表示的行动者的类型改变为摩托车(或反之亦然)。
表示具有零概率的假设的任何粒子被丢弃，而表示具有非零概率的假设的粒子被认为是有效假设。例如，图6C仅示出了表示与被遮挡区域(和未观察到的区域)中的感兴趣区域相对应的假设(具有非零概率)的有效粒子，所述有效粒子是从图6A的环境600中所示的该组初始粒子保留的。具体地，线道路段611(b)、611(c)和611(d)的被遮挡部分中的粒子610的子集被保留，而其他粒子被丢弃。如图6C所示，当AV在环境的线道611(a)中行驶时，区域621(a)和622(b)可能被占用，区域622可能是可见的，并且区域623可能被(建筑物、其他交通工具等)遮挡。另外和/或替代地，区域624可以是未观察到的，并且表示包括在此类区域中的假设的粒子也可以具有非零概率。
步骤402至408允许系统以任何频率分析或更新粒子群体的状态，并且可以针对每个运动规划或数据采集循环而重复。
任选地，为了推断新的潜在被遮挡行动者而不必对无限数量的初始粒子进行采样(如上面关于步骤402所讨论的)，可以在每个循环处(在初始化步骤之后)仅在可见性地图范围的边缘处将新粒子初始化。类似地，新粒子可以仅在被遮挡行动者的潜在源头(例如，行驶道、停驻位等)的边缘处初始化。此类粒子可以表示具有不同速度和/或加速度的行动者。由于AV的移动，可见性地图的范围不是恒定的，并且可能在循环之间改变。为了考虑到这一点，可以在两个连续循环中在可见性地图之间的区域中产生新粒子。另外和/或替代地，还可以针对进入或可能进入环境的感兴趣区域中的被遮挡区域的每个被跟踪行动者(即，可见行动者)将新粒子初始化。为了考虑被遮挡时的潜在速度变化或测量不确定性，可以将具有不同位置、速度和加速度的多个粒子初始化。
图8A示出了在图3所示的环境中的感兴趣区域(即，人行横道820、自行车线道830和冲突线道路段840)中的每一者中具有非零假设概率的有效粒子集810、812和814，即，位于图3中所示的环境的两个被遮挡区域内的粒子集(当AV 302处于位置A时)。例如，粒子集810中的粒子中的每一者可以对应于表示对应假设的被遮挡行人，粒子集812中的粒子中的每一者可以对应于表示对应假设的被遮挡骑行者，并且粒子集814中的粒子中的每一者可以对应于表示对应假设的被遮挡交通工具。图8B示出了当AV 302在随后的运动规划循环(如上面所讨论的)期间移动到新位置B时在环境300中的感兴趣区域(即，人行横道820、自行车线道830和冲突线道路段840)中的每一者中具有非零假设概率的有效粒子集816、818和819。图8B还示出了当AV朝向停止线850向前蠕行以获得关于被遮挡区域的更好可见性(即，更多的传感器数据)并且粒子集816、818和819中的有效粒子的数量从位置A到位置B减少时可能发生的情况。如图所示，被遮挡区域移位，并且可以最终实现一种配置(此处未示出)使得两个感兴趣区域都未被充分遮挡从而不会阻止AV的进一步前进。
在410处，有效粒子(即，表示具有非零概率的假设的粒子)可以用于推断(即，推测和处理)环境中的被遮挡区域以控制AV在环境中的导航。例如，有效粒子可以用于生成AV通过环境的轨迹(例如，用于预测、运动规划等)。具体地，由于每个有效粒子表示与潜在被遮挡行动者相对应的假设，因此此类假设可以被直接使用或建模以用于预测或运动规划目的，例如，生成用于轨迹生成的一组约束和/或成本函数特征，作为潜在行动者输入用于轨迹生成、用于在预测期间预报轨迹等。此外，每个有效粒子表示与从初始状态向前的环境状态(即，历史)的可行展开相对应的假设，从而允许对高分辨率状态和长期时间依赖性两者进行建模(即，对环境的被遮挡区域的时空推断)。例如，如图8A和图8B所示，有效粒子集810、812和814表示环境300的被遮挡区域在第一时间的状态，而有效粒子集816、818和819表示环境300的被遮挡区域在第二时间的状态，并且指示高分辨率状态和长期时间依赖性两者。类似地，图6B表示环境600的被遮挡区域的状态，其具有比任何现有技术解决方案更长的时间依赖性和更精细的状态分辨率。
在一个或多个示例性实施例中，有效粒子可以用于推断被遮挡区域用于通过例如但不限于在运动规划循环期间推测每个感兴趣区域(例如，人行横道、冲突线道等)的最坏情况潜在被遮挡行动者来控制AV的导航。最坏情况潜在被遮挡行动者可能是被遮挡行动者，并且在某个时间段内(在给定其假设状态下)与AV的轨迹相交的概率大于阈值概率。例如，最坏情况潜在被遮挡行动者移动者可以是首先到达冲突区域或基于其预报的假设状态的区域的粒子。具体地，图9A示出了示出潜在最坏情况潜在被遮挡行动者场景的s-t图形。例如，取决于三个粒子(901、902和903)中的每一者到达冲突区域的时间及其相应的速度，所有三个粒子都可能导致最坏情况潜在被遮挡行动者场景。图形下方的冲突区域的面积适用于跟踪前方轨迹。因此，更具限制性(即，在线901、902和/或903下方)的每个虚拟行动者都更具限制性和适当性。
另外和/或替代地，基于对推测的最坏情况潜在被遮挡行动者的分析，可以生成虚拟行动者和/或可以在某个时间段内(例如，直到没有有效粒子对应于感兴趣区域、或阈值时间、在接收到手动或其他超驰命令时等)阻挡感兴趣区域(例如，冲突区域)。例如，对于图9A所示的场景，系统可以生成但不限于：(i)单个虚拟行动者(911)，其表示最保守的最坏情况场景-以最快粒子速度在最早粒子时间到达冲突区域的行动者；(ii)单个虚拟行动者(912)，其在最早粒子时间以将使其在最快粒子时间离开冲突区域的速度进入冲突区域；(iii)具有聚合所有相关粒子的复杂速度分布的单个虚拟行动者(913)；(iv)表示多个相关粒子的多个推测的行动者(901、902和903)；(v)组合(i)、(ii)和/或(iii)，其中大量类似粒子最初被降低为保守的最坏情况场景粒子，而较少数量的所得粒子可以如图9B所示表示；或其组合。
因此，AV可以生成轨迹，所述轨迹包括例如在被遮挡区域之前停止、向前蠕行以获得更好的可见性和/或向前前进，考虑生成的虚拟对象和/或受阻冲突区域。例如，如果最坏情况潜在被遮挡行动者对应于被遮挡人行横道中的行人，其预报轨迹将与AV的轨迹相交，则人行横道可能被阻挡，直到最坏情况场景假设不再有效。在该示例中，AV的生成的轨迹可能需要AV在被遮挡人行横道之前停止，同时被阻挡或围绕被遮挡区域转向。另一方面，如果最坏情况潜在被遮挡行动者对应于被遮挡人行横道中的行人，其预报轨迹可能不与AV的轨迹相交(基于当前循环预测输入)，则与最坏情况潜在被遮挡行动者相对应的虚拟行人行动者可以生成和在未来的规划循环中跟踪；并且AV的生成的轨迹可能需要AV减速并尝试蠕行以获得可见性，然后再前进越过人行横道。可以在后续规划循环中更新最坏情况潜在被遮挡行动者假设，并且可以相应地推测被遮挡区域。
在另一个示例中，当使用上述方法标识出可行的被遮挡交通工具假设(其中被遮挡交通工具在交叉路口的冲突线道中具有通行权)时，AV的生成的轨迹可能需要AV减速并尝试蠕行以获得可见性，然后再前往交叉路口。类似地，当使用上述方法标识出可行的被遮挡骑行者假设(其中被遮挡骑行者在自行车线道中)时，AV的生成的轨迹可能需要AV减速并尝试蠕行以获得可见性，然后再前进越过自行车线道。在另一个示例中，当使用上述方法标识出可行的被遮挡的迎面而来的交通工具假设(其中被遮挡交通工具在迎面而来的线道中)时，AV的生成的轨迹可能需要AV避免转向进入迎面而来的线道或在已经转向时优先返回到AV的线道。在又一个示例中，当使用上述方法标识出可行的被遮挡行人假设(其中被遮挡行人在被遮挡人行横道中)时，AV的生成的轨迹可能需要AV减速并在必要时停止。在又一个示例中，当使用上述方法标识出AV前方的可行的被遮挡行动者假设时，AV的生成的轨迹可能需要AV减速并在必要时停止。例如，在包括交叉路口和迎面而来的交通工具和/或骑车者的环境的情况下，系统可以对虚拟行动者进行建模并将它们用作预测模型流水线的输入，并对它们进行推断作为标准运动规划工作流程的一部分。在另一个示例中，对于被遮挡人行横道和/或AV前方的行动者，系统可以根据风险评估来生成速度和停止约束。
虚拟行动者是以将与AV的轨迹冲突的方式移动的虚拟行动者。例如，在每个运动规划循环中，可以关于潜在冲突区域(即，AV的轨迹可能与其相交的区域)评估所有有效粒子，并且可以生成表示所有有效相关粒子(可能与AV的轨迹冲突的有效非零粒子的子集)的虚拟行动者。在各种实施例中，可以通过例如生成以下各项来为表示最坏情况潜在被遮挡行动者的粒子生成虚拟行动者：被预报为首先进入冲突区域的虚拟行动者；表示以最快粒子速度在最早粒子时间到达冲突区域的最保守最坏情况场景行动者的虚拟行动者；在最早粒子时间以使其在最快粒子时间离开冲突区域的速度进入冲突区域的虚拟行动者；具有聚合所有有效粒子的复杂速度分布的单个虚拟行动者；各自表示有效粒子的多个虚拟行动者；和/或其组合。
为了生成虚拟行动者，系统将计算以对应的有效点为中心的对象形状的覆盖区形状。覆盖区可以是圆形覆盖区、具有与线道的定向对准的定向的定向有界框或任何其他类型的覆盖区。覆盖区的使用使得系统能够选择具有足够大小和形状来表示部分被遮挡行动者的虚拟行动者。为了预测虚拟行动者的轨迹，系统可以使用诸如上述算法的算法，或者它可以使用其他运动预测算法，诸如考虑对象在线道内的位置(即，其相对于线道中心线的位置)、对象的姿态和/或其他信息的那些算法。在例如美国专利号11,332,132中描述了虚拟行动者及其轨迹的生成，所述美国专利的公开内容通过引用整体并入本文。图6D示出了在环境600的被遮挡区域中生成的最坏情况虚拟行动者631和632，其中虚拟行动者631和632的生成的轨迹631(a)和632(a)可能与AV的轨迹相交，并且AV(除了示出环境的被遮挡区域的状态之外，还)可以在轨迹生成期间使用关于虚拟行动者的信息。
在各种实施方式中，所述系统可以使用虚拟行动者的预测速度来确定虚拟行动者是否被预期在AV将以其当前速度通过冲突区域之前到达冲突区域。入口点可以是虚拟行动者的行驶线道开始与AV的行驶路径相交的位置、被设定在该位置之前的指定距离处的位置或另一个合适的位置。通过点可以是行驶线道与冲突线道结束相交的位置，或另一个合适的位置。系统可以通过直接函数(诸如T＝D/S)(其中T＝相交时间，S＝行驶速度，并且D＝沿着虚拟行动者的线道的中心线到交叉路口的距离)、然后比较AV和虚拟或真实行动者中的每一者的T以确定谁的冲突时间较低(并且因此将首先到达交叉路口)来使用这一点。也可以使用其他计算，包括轨迹预测。如果系统确定AV可以在虚拟行动者进入冲突区域之前(例如，以阈值间隙)通过冲突区域，则它可以使AV通过继续在行驶路径中朝向或经过冲突区域移动、同时继续监测当AV向前移动时可能在冲突线道中接近的任何遮挡物和潜在冲突被遮挡行动者来向前跟踪(即，在虚拟行动者之前穿过/通过冲突区域)。如果系统确定AV在虚拟行动者到达冲突区域之前不太可能通过冲突区域，则它可以采取警示动作，诸如使AV减速(降低行驶速度)，因此继续以不太激进的速度朝向冲突区域移动，同时分析由传感器收集的新数据。任选地，所述系统可以导致AV使AV加速(增大行驶速度)，使得AV在潜在碰撞之前通过冲突区域。如果AV在确认它可以在虚拟行动者之前通过冲突区域之前到达冲突区域，则可能导致AV停止。否则，系统将继续监测环境中的遮挡物并对其进行推断，如上面所讨论的。如果AV在交叉路口处或之前停止，则系统可以在前进之前等待前进超驰命令。前进超驰命令可以是人类操作员的手动输入、在限定的停止时间之后自动生成的命令、在验证另一个虚拟行动者检查过程之后生成的命令和/或通过其他手段接收的命令。
作为任选特征，如果系统确定虚拟行动者将在AV通过冲突区域之前到达冲突区域，则系统可以允许AV经过被遮挡区域，通过加速(和/或通过假定能够针对AV减速的虚拟行动者id)同时继续执行碰撞检查来在它可以谨慎地经过被遮挡区域时这样做。
以下示例示出了其中上述方法可以用于在自主驾驶期间处理不同类型的遮挡物的示例性场景：
示例1：被遮挡人行横道。
以上讨论的方法可以用于在拓扑规划期间和/或在预测流水线中生成约束，以用于将AV导航通过包括至少部分被遮挡的冲突区域(即，人行横道)的环境。当接近包括人行横道的冲突区域时，AV通常需要避让人行横道中的行人。
图10示出了示例性环境1000，其中AV 1002在与人行横道1030重叠以创建冲突区域1010的线道1020中行驶。人行横道1030的某些部分(以及人行横道周围的扩展区域)被遮挡在AV 1002的传感器的视野之外。因而，AV可以使用上面讨论的方法(即，粒子滤波器方法)来推断被遮挡区域的未知状态。具体地，如上面所讨论的，系统可以收集传感器数据并创建可见性地图，并且在冲突区域(即，整个人行横道和/或周围区域，而不管可见性或遮挡物如何)中将粒子初始化。由于冲突区域对应于人行横道，因此初始化的粒子可以任选地仅对应于行人(并且系统可能不考虑其他类型的行动者)。在第一粒子初始化之后，在随后的运动规划循环期间，可以仅在例如人行横道1030的边1031(a)和1031(b)处产生后续粒子或将其初始化。此外，如上面所讨论的，还可以为当前在人行横道的可见区域中被跟踪并且可能进入人行横道的被遮挡区域的每个行人产生粒子。
每个产生的粒子被分配初始假设状态(即，位置、速度和加速度)和概率(～1)。可以使用朝向和/或沿着人行横道的具有固定步行速度(例如，约1.5m/s)的恒定速度函数生成每个粒子的预报假设状态。接下来，基于例如所接收的传感器数据(即，可见性地图)来更新每个初始化粒子假设的初始概率，如上文所讨论。具有零更新概率的粒子被丢弃。
为了推断人行横道，系统可以标识表示最坏情况场景的一个或多个有效粒子。例如，上述方法的输出可以是人行横道的一侧或多侧上的最近和/或最快的粒子，并且可以表示可能进入人行横道的所标识的行人。例如，图10示出了有效粒子1051(a)-(n)中的在人行横道1030的任一侧上的最坏情况粒子场景1051(a)和1051(b)。
AV可以使用粒子滤波器的输出来例如创建与意图穿过人行横道的最坏情况粒子(即，最坏情况潜在被遮挡行动者)相对应的虚拟行人行动者。AV可以在轨迹生成期间考虑像AV的环境中的任何其他行动者一样的虚拟行动者。在另一个示例中，AV可以使用粒子滤波器的输出来在轨迹生成期间生成约束，诸如人行横道的速度约束(例如，当AV与最坏情况粒子之间的距离小于阈值时)。示例性速度约束可以是所需的减速率。这允许AV基于速度约束接近交叉路口，并且在需要时停止以避让被遮挡行人。
示例2：在接近环境中的未知区域(即，AV的路线上AV前方的被遮挡区域)时限制速度。
上面讨论的方法可以用于降低AV的速度，使得AV可以在进入未知空间之前完全停滞。由于例如与激光雷达传感器相关联的限制(例如，由于高光溢出效应、传感器故障、诸如雨/雪的天气状况等)、由于急转弯而导致的沿着AV的路线的不可见区域、由于高道路坡度而导致的沿着AV的路线的不可见区域等，可以在AV前方创建这种未知空间。例如，当由激光雷达传感器发射的激光脉冲被高度反射目标(例如，交通标志或前灯反射器)反射时，发生高光溢出。在这种情况下，与反射较少的目标相比，大量的发射能量被发送回激光雷达。被发送回的光束通常并未得到最佳聚焦。然而，如果发生高光溢出，则在测量激光雷达与其周围环境中检测到的对象之间的距离时可能会出现不正确的结果。具体地，由于高光溢出效应，可能发生误报激光雷达测量，使得环境的精确三维表示变得更加困难并且创建未知空间。
所述系统可以使用本公开中讨论的方法来标识被遮挡区域边界(即，未知或被遮挡区域界限)，并且使用所述边界来生成速度约束，所述速度约束允许AV在所述边界之前减速并且潜在地在所述边界之前停止。虽然可以通过简单地查询可见性地图以在没有时间信息的情况下标识被遮挡边界来标识边界，但是不仅推断当前规划循环的可见性地图中的未知空间的开始而且使用时间推断是有益的。当AV在AV前方遇到未知区域时，由例如高光溢出引起的误报检测后面的被遮挡空间在先前循环中可能已被分类为自由空间。因此，时间推断有助于将最近的未知空间的边界推到AV前方，从而使其对于轨迹生成更加准确和可靠(不会过于保守)。可以使用上面讨论的本公开的方法来执行用于标识边界的这种时空推断。
具体地，系统可以在AV前方添加线道路段以创建冲突区域。然后，系统可以在AV前方的冲突区域中将粒子初始化或产生粒子(利用初始假设和概率)；生成预报假设；更新概率；并且使AV前方的可见粒子失效，如上文所讨论。然后，高光溢出边界可以由最靠近AV的有效粒子限定。
任选地，系统然后可以检查所标识的被遮挡边界是否位于AV与在AV前方的最接近的被跟踪行动者之间(在AV在后方跟踪的情况下)。在此类示例中，如果未知空间的边界比任何其他被跟踪行动者更靠近AV，则系统可以推断AV前方的未知空间并在未知空间前方设置空间速度约束以确保AV能够在进入未知空间之前完全停止。所述系统可以通过从有效粒子中标识引导行动者以在此类引导行动者后面进行跟踪来这样做。具体地，由于针对被跟踪行动者将粒子初始化，因此系统可以在规划循环内检查最坏情况被遮挡粒子是否比被跟踪行动者粒子更靠近AV。接下来，对于轨迹生成，当边界在AV与所标识的引导行动者之间时，系统可以生成软速度约束以在引导行动者后面跟踪。
然而，如果被跟踪引导行动者在AV与被遮挡区域边界之间，则系统可能不会生成任何附加约束，并且可以生成轨迹以供交通工具在引导行动者后面跟踪。当AV在行动者(例如，大卡车)后面跟踪时，此类行动者前方的空间可能是未知的，因为行动者遮挡了该整个空间。然而，如果AV在可见的被跟踪行动者后面跟踪并且未知空间在该行动者后面开始，则系统可能不会生成关于未知空间的速度约束，这是因为此类速度约束将主导跟踪后面约束，并且因此导致过于保守行为。相反，系统假定AV前方的行动者以合理的速度驾驶并且不会与其前方的任何障碍物碰撞。
可以类似地推断由于例如具有极端坡度的道路、具有遮挡结构的弯曲道路等而在环境中创建的未知或被遮挡区域。
示例3：线道偏离的遮挡推断。
通常，交通工具可能需要驶入相对交通线道中(例如，以接管交通工具前方的对象跟踪、进行无保护的左转等)，并且此类相对交通线道可能被环境中的其他行动者遮挡。现有技术解决方案在不考虑时空分析的情况下对迎面而来的行动者的纯粹存在执行基于线道级的推断，使得降额特征可能比不必要地减慢AV所需的频率更频繁地触发。此外，产生虚拟对象的非常远的被遮挡区域可能会触发过度谨慎的行为，从而使得AV不自然地缓慢地蠕行到迎面而来的线道中。本公开的方法允许交通工具在空间上以及在时间上推断此类情况。具体地，所述系统可以将相邻的迎面而来的线道路段添加到冲突区域，在此类线道路段内产生粒子，基于预报的粒子假设和传感器数据来标识迎面而来的线道中的有效粒子，并且基于最坏情况有效粒子通过例如针对具有最短冲突时间的有效被遮挡行动者假设生成虚拟行动者(例如，最靠近AV的粒子、将在线道偏离操纵期间最早与AV碰撞的粒子等)来生成降额速度约束。
与尝试提取少量更抽象的特征的现有技术解决方案相比，本公开的方法和系统明确地对环境的被遮挡状态进行建模。这允许对更复杂假设(例如，与被遮挡区域边界的存在或不存在相比具有不同速度和位置的大量潜在被遮挡移动者)和长期时空依赖性(例如，与被遮挡区域边界的短期历史相比，连续变化的被遮挡区域和环境状态的长期历史)进行建模。因而，系统可以对环境状态(例如，对象持久性)做出更强的假定，并相应地生成AV轨迹，从而允许AV在存在遮挡物的情况下不那么保守。
图11示出了根据本公开各方面的交通工具的示例性系统架构1100。图1的交通工具102和/或103可以具有与图11所示的系统架构相同或类似的系统架构。因此，以下对系统架构1100的讨论足以理解图1的交通工具102、103。然而，其他类型的交通工具被认为在本文档中描述的技术范围内，并且可以包含如结合图11描述的更多或更少的元件。作为非限制性示例，空中交通工具可以不包括制动器或齿轮控制器，但是可以包括海拔高度传感器。在另一个非限制性示例中，水基交通工具可以包括深度传感器。本领域技术人员将理解，如已知的，可以基于交通工具类型包括其他推进系统、传感器和控制器。
如图11中所示，用于交通工具的系统架构1100包括发动机或马达1102以及用于测量交通工具的各种参数的各种传感器1104至1118。在具有燃料动力发动机的汽油动力或混合动力交通工具中，传感器可以包括例如发动机温度传感器1104、电池电压传感器1106、发动机每分钟转数(“RPM”)传感器1108和节气门位置传感器1110。如果交通工具是电动或混合动力交通工具，则交通工具可以具有电动马达，并且相应地包括传感器，诸如电池监测系统1112(用于测量电池的电流、电压和/或温度)、马达电流传感器1114和马达电压传感器1116以及马达位置传感器1118(诸如旋转变压器和编码器)。
两种类型的交通工具共有的操作参数传感器包括例如：位置传感器1136，诸如加速度计、陀螺仪和/或惯性测量单元；速度传感器1138；以及里程表传感器1140。交通工具还可以具有时钟1142，系统使用所述时钟来确定操作期间的交通工具时间。时钟1142可以被编码到交通工具机载计算装置中，它可以是单独的装置，或者多个时钟可以是可用的。
交通工具还可以包括各种传感器，所述传感器操作以收集关于交通工具正在行驶的环境的信息。这些传感器可以包括例如：位置传感器1160(诸如全球定位系统(“GPS”)装置)；对象检测传感器，诸如一个或多个相机1162；激光雷达系统1164；和/或雷达和/或声呐系统1166。传感器还可以包括环境传感器1168，诸如降水传感器和/或环境温度传感器。对象检测传感器可以使得交通工具能够检测在交通工具的任何方向上的给定距离范围内的对象，而环境传感器收集关于交通工具的行驶区域内的环境状况的数据。
在操作期间，信息从传感器传送到交通工具机载计算装置1120。机载计算装置1120可以使用图12的计算机系统来实施。交通工具机载计算装置1120分析由传感器捕获的数据，并且任选地基于分析结果来控制交通工具的操作。例如，交通工具机载计算装置1120可以：经由制动器控制器1122来控制制动；经由转向控制器1124来控制方向；经由节气门控制器1126(在汽油动力交通工具中)或马达转速控制器1128(诸如电动交通工具中的电流电平控制器)来控制速度和加速度；控制差速器齿轮控制器1130(在具有变速器的交通工具中)；和/或控制其他控制器。辅助装置控制器1154可以被配置为控制一个或多个辅助装置，诸如测试系统、辅助传感器、由交通工具运输的移动装置等。
地理位置信息可以从位置传感器1160传送到机载计算装置1120，所述机载计算装置然后可以访问与位置信息相对应的环境地图以确定环境的已知固定特征，诸如街道、建筑物、停止标志和/或停止/通行信号。从相机1162捕获的图像和/或从诸如激光雷达系统1164的传感器捕获的对象检测信息从那些传感器传送到机载计算装置1120。对象检测信息和/或捕获的图像由机载计算装置1120处理以检测交通工具附近的对象。用于基于传感器数据和/或捕获的图像进行对象检测的任何已知或即将已知的技术都可以用于本文档中公开的实施例中。
激光雷达信息从激光雷达系统1164传送到机载计算装置1120。另外，捕获的图像从相机1162传送到交通工具机载计算装置1120。激光雷达信息和/或捕获的图像由交通工具机载计算装置1120处理以检测交通工具附近的对象。交通工具机载计算装置1120进行对象检测的方式包括本公开中详述的此类能力。
另外，系统架构1100可以包括机载显示装置1114，所述机载显示装置可以生成并输出界面，在所述界面上向交通工具的乘员显示传感器数据、交通工具状态信息或由本文档中描述的过程生成的输出。所述显示装置可以包括以音频格式呈现此类信息的音频扬声器，或者单独的装置可以是所述音频扬声器。
机载计算装置1120可以包括路线选择控制器1132和/或可以与所述路线选择控制器通信，所述路线选择控制器为自主交通工具生成从起始位置到目的地位置的导航路线。路线选择控制器1132可以访问地图数据存储区以标识交通工具可以在其上行驶以从起始位置到达目的地位置的可能路线和路段。路线选择控制器1132可以对可能路线进行评分并标识到达目的地的优选路线。例如，路线选择控制器1132可以生成使在路线期间行驶的欧几里德距离或其他成本函数最小化的导航路线，并且可以进一步访问交通信息和/或估计，所述交通信息和/或估计可能影响在特定路线上行驶将需要的时间量。取决于实施方式，路线选择控制器1132可以使用各种路线选择方法(诸如Dijkstra算法、Bellman-Ford算法或其他算法)来生成一条或多条路线。路线选择控制器1132还可以使用交通信息来生成反映路线的预期状况(例如，当前周中此日或当前当日时间等)的导航路线，使得针对高峰时段期间的行驶生成的路线可能与针对深夜行驶生成的路线不同。路线选择控制器1132还可以生成到目的地的多于一条导航路线，并且将这些导航路线中的多于一条发送给用户以供用户从各种可能路线中进行选择。
在各种实施例中，机载计算装置1120可以确定交通工具的周围环境的感知信息。基于由一个或多个传感器提供的传感器数据和所获得的位置信息，机载计算装置1120可以确定交通工具的周围环境的感知信息。感知信息可以表示普通驾驶员在交通工具的周围环境中将感知到的内容。感知数据可以包括与交通工具的环境中的一个或多个对象有关的信息。例如，机载计算装置1120可以处理传感器数据(例如，激光雷达或雷达数据、相机图像等)，以便标识交通工具环境中的对象和/或特征。对象可以包括交通信号灯、道路界限、其他交通工具、行人和/或障碍物等。机载计算装置1120可以使用任何现在或后续已知的对象识别算法、视频跟踪算法和计算机视觉算法(例如，在多个时间段内迭代地逐帧跟踪对象)来确定所述感知。
在一些实施例中，机载计算装置1120还可以针对环境中的一个或多个所标识的对象确定对象的当前状态。对于每个对象，状态信息可以包括但不限于：当前位置；当前速度和/或加速度、当前航向；当前姿态；当前形状、大小或覆盖区；类型(例如：交通工具、行人、自行车、静态对象或障碍物)；和/或其他状态信息。
机载计算装置1120可以执行一个或多个预测和/或预报操作。例如，机载计算装置1120可以预测一个或多个对象的未来位置、轨迹和/或动作。例如，机载计算装置1120可以至少部分地基于感知信息(例如，包括如下文讨论的那样确定的估计形状和姿态的每个对象的状态数据)、位置信息、传感器数据和/或描述对象、交通工具、周围环境和/或它们的关系的过去和/或当前状态任何其他数据来预测对象的未来位置、轨迹和/或动作。例如，如果对象是交通工具并且当前驾驶环境包括交叉路口，则机载计算装置1120可以预测对象是将可能笔直向前移动还是转弯。如果感知数据指示交叉路口没有交通信号灯，则机载计算装置1120还可以预测交通工具在进入交叉路口之前是否可能必须完全停止。
在各种实施例中，机载计算装置1120可以确定自主交通工具的运动规划。例如，机载计算装置1120可以基于感知数据和/或预测数据来确定自主交通工具的运动规划。具体地，在给定关于邻近对象的未来位置的预测和其他感知数据的情况下，机载计算装置1120可以确定交通工具的运动规划，所述运动规划将自主交通工具相对于在未来位置处的对象最佳地导航。
在一些实施例中，机载计算装置1120可以接收预测并做出关于如何处理交通工具的环境中的对象和/或行动者的决定。例如，对于特定行动者(例如，具有给定速度、方向、转弯角度等的交通工具)，机载计算装置1120基于例如交通状况、地图数据、自主交通工具的状态等来决定是否超越、避让、停止和/或超过。此外，机载计算装置1120还规划交通工具在给定路线上行驶的路径，以及驾驶参数(例如，距离、速度和/或转弯角度)。即，对于给定对象，机载计算装置1120决定如何处理对象并确定如何进行。例如，对于给定对象，机载计算装置1120可以决定超过对象并且可以确定是在对象的左侧还是右侧超过(包括运动参数，诸如速度)。机载计算装置1120还可以评估检测到的对象与交通工具之间的碰撞风险。如果风险超过可接受阈值，则可以确定如果自主交通工具遵循定义的交通工具轨迹和/或实施在预定义的时间段(例如，N毫秒)中执行一个或多个动态生成的紧急操纵是否能避免碰撞。如果能避免碰撞，则机载计算装置1120可以执行一个或多个控制指令以执行谨慎操纵(例如，轻度减速、加速、变道或突然转向)。相比之下，如果不能避免碰撞，则机载计算装置1120可以执行用于执行紧急操纵(例如，制动和/或改变行驶方向)的一个或多个控制指令。
如上文所讨论的，生成关于自主交通工具的移动的规划和控制数据以供执行。例如，机载计算装置1120可以：经由制动器控制器来控制制动；经由转向控制器来控制方向；经由节气门控制器(在汽油动力交通工具中)或马达转速控制器(诸如电动交通工具中的电流电平控制器)来控制速度和加速度；控制差速器齿轮控制器(在具有变速器的交通工具中)；和/或控制其他控制器。
机载计算装置和/或机外(远程)计算装置可以使用一个或多个计算机系统，诸如图12中所示的计算机系统1200。计算机系统1200可以是能够执行本文档中描述的功能的任何计算机。
计算机系统1200包括一个或多个处理器(也称为中央处理单元或CPU)，诸如处理器1204。处理器1204连接到通信基础设施或总线1202。任选地，处理器1204中的一者或多者可以各自是图形处理单元(GPU)。在一个实施例中，GPU是处理器，所述处理器是被设计用于处理数学密集型应用的专用电子电路。GPU可以具有并行结构，所述并行结构对于大数据块(诸如计算机图形应用、图像、视频等共有的数学密集型数据)的并行处理是有效的。
计算机系统1200还包括通过用户输入/输出接口1208与通信基础设施1202通信的用户输入/输出装置1216，诸如监视器、键盘、定点装置等。
计算机系统1200还包括主或主要存储器1206，诸如随机存取存储器(RAM)。主存储器1206可以包括一个或多个级别的高速缓存。主存储器1206在其中存储有控制逻辑(即，计算机软件)和/或数据。
计算机系统1200还可以包括一个或多个辅助存储装置或存储器1210。在本公开的一些实施例中，主存储器1206可以被认为是第一存储器，并且辅助存储器1210可以被认为是第二存储器，或反之亦然。替代地，辅助存储器1206可以包括一起用作第一存储器和第二存储器的多个子部件。辅助存储器1210可以包括例如硬盘驱动器1212和/或可移除存储装置或驱动器1214。可移除存储驱动器1214可以是外部硬盘驱动器、通用串行总线(USB)驱动器、存储卡(诸如紧凑型闪存卡或安全数字存储器)、软盘驱动器、磁带驱动器、压缩盘驱动器、光学存储装置、磁带备份装置和/或任何其他存储装置/驱动器。
可移除存储驱动器1214可以与可移除存储单元1218交互。可移除存储单元1218包括其上存储有计算机软件(控制逻辑)和/或数据的计算机可用或可读存储装置。可移除存储单元1218可以是外部硬盘驱动器、通用串行总线(USB)驱动器、存储卡(诸如紧凑型闪存卡或安全数字存储器)、软盘、磁带、光盘、DVD、光学存储盘和/任何其他计算机数据存储装置。可移除存储驱动器1214以任何合适已知的方式从可移除存储单元1218进行读取和/或对可移除存储单元进行写入。
根据示例性实施例，辅助存储器1210可以包括用于允许计算机系统1200访问计算机程序和/或其他指令和/或数据的其他装置、工具或其他方法。此类装置、工具或其他方法可以包括例如可移除存储单元1222和接口1220。可移除存储单元1222和接口1220的示例可以包括程序盒和盒接口(诸如见于视频游戏装置中的接口)、可移除存储器芯片(诸如EPROM或PROM)和相关联的插口、记忆棒和USB端口、存储卡和相关联的存储卡槽、和/或任何其他可移除存储单元和相关联的接口。
计算机系统1200还可以包括通信或网络接口1224。通信接口1224使得计算机系统1200能够与远程装置、远程网络、远程实体等的任何组合(单独地和共同地由附图标记1228引用)进行通信和交互。例如，通信接口1224可以允许计算机系统1200通过通信路径1226与远程装置1228通信，所述通信路径可以是有线和/或无线的，并且可以包括LAN、WAN、互联网等的任何组合。控制逻辑和/或数据可以经由通信路径1226传输到计算机系统1200和从计算机系统传输。
在一些实施例中，包括其上存储有控制逻辑(软件)的有形非暂时性计算机可用或可读介质的有形非暂时性设备或制品在本文档中也被称为计算机程序产品或程序存储装置。这包括但不限于计算机系统1200、主存储器1206、辅助存储器1210以及可移除存储单元1218和1222，以及体现前述各项的任何组合的有形制品。此类控制逻辑在由一个或多个数据处理装置(诸如计算机系统1200)执行时使此类数据处理装置如本文档中所述进行操作。
基于本公开中所包含的教导，相关领域的技术人员将明白如何使用除图12中所示的之外的数据处理装置、计算机系统和/或计算机架构来制作和使用本公开的实施例。具体地，实施例可以利用除本文档中描述的那些之外的软件、硬件和/或操作系统实施方式来操作。来自本文公开的不同实施例的特征可以自由组合。例如，来自方法实施例的一个或多个特征可以与系统或产品实施例中的任一者组合。类似地，来自系统或产品实施例的特征可以与本文公开的方法实施例中的任一者组合。
如上所述，本文档公开了用于辅助自主交通工具在遮挡物阻止交通工具检测移动对象的能力的环境中导航的系统、方法和计算机程序产品实施例。所述系统实施例包括交通工具和处理器。计算机程序实施例包括编程指令(例如，存储在存储器中)，以使处理器执行本文档中描述的自主交通工具导航方法。系统实施例还包括处理器，所述处理器被配置为例如经由编程指令执行本文档中描述的自主交通工具导航方法。更一般地，系统实施例包括一种系统，所述系统包括用于执行本文档中描述的任何方法的步骤的装置。
在各种实施例中，所述导航方法可以包括：接收与环境相对应的传感器数据；标识多个初始化粒子中具有与被遮挡区域中的潜在被遮挡行动者相关联的非零概率的一个或多个粒子；以及基于关于所述被遮挡区域的时空推断和/或考虑到所述一个或多个粒子而生成用于遍历所述环境的所述自主交通工具的轨迹。每个粒子可以与潜在行动者相关联。
在各种实施例中，所述方法还可以包括通过(例如，使用采样)在感兴趣区域中将多个粒子初始化来生成所述多个初始化粒子，以及将初始假设状态和初始概率分配给所述多个粒子中的每一者。每个粒子可以表示与潜在行动者相关联的初始假设。任选地，所述感兴趣区域可以包括与所述自主交通工具通过所述环境的行驶线道相交的冲突区域。另外和/或替代地，每个粒子的初始假设状态可以包括例如潜在行动者的位置、速度、加速度和/或行动者类型。任选地，潜在行动者可以是行人、骑行者或交通工具。
在任何上述实施例中，所述方法还可以包括基于所述传感器数据来生成与所述环境相对应的可见性地图。所述可见性地图可以包括多个单元并且表示自主交通工具感知或跟踪所述环境中的一个或多个对象的能力，每个单元具有关于所述单元的被遮挡状态的信息。任选地，可以通过以下操作来标识所述一个或多个粒子：使用过程模型为每个粒子生成预报的假设状态，基于所述可见性地图和所述预报的假设状态为每个粒子分配更新概率，以及将具有非零更新概率的粒子标识为所述一个或多个粒子。所述多个初始化粒子中的第二一个或多个初始化粒子可以任选地被标识为具有零更新概率的与潜在可见被跟踪行动者相关联的粒子。可以丢弃所述多个初始化粒子中的所述第二一个或多个初始化粒子。
在任何上述实施例中，所述方法还可以包括基于所述一个或多个粒子生成与所述被遮挡区域中的最坏情况潜在被遮挡行动者相对应的虚拟行动者。
在任何上述实施例中，所述方法还可以包括基于所述一个或多个粒子生成使所述自主交通工具在未知区域边界之前停止的所述未知区域边界。
与本公开相关的术语包括：
“电子装置”或“计算装置”是指包括处理器和存储器的装置。每个装置可以具有其自己的处理器和/或存储器，或者如在虚拟机或容器布置中的那样，处理器和/或存储器可以与其他装置共享。存储器将包含或接收编程指令，所述编程指令在由处理器执行时使电子装置根据编程指令执行一个或多个操作。
术语“存储器”、“存储器装置”等各自是指其上存储有计算机可读数据、编程指令或两者的非暂时性装置。术语“存储设备”、“存储装置”和“磁盘存储设备”具体地是指持久地存储数据达相对较长时间段的非暂时性装置，诸如硬盘驱动器(HDD)或固态驱动器(SDD)。术语“存储器”在本文档中通常可以用于指代持久存储信息的存储装置，或者非持久存储信息的装置，诸如随机存取存储器(RAM)装置。除非另有具体说明，否则术语“存储器”、“存储器装置”、“存储设备”、“磁盘存储设备”、“存储装置”等意图包括单个装置实施例、其中多个装置一起或共同地存储一组数据或指令的实施例以及此类装置内的各个扇区。“存储位置”是存储装置的区段、扇区或部分。相对术语“第一存储位置”和“第二存储位置”是指不同的存储位置，其可以是单个装置的元件或多个装置的元件。
术语“处理器”和“处理装置”是指被配置为执行编程指令的电子装置的硬件部件。除非另有具体说明，否则单数术语“处理器”或“处理装置”意图包括单个处理装置实施例和其中多个处理装置一起或共同执行过程的实施例两者。
术语“交通工具”是指能够运载一个或多个乘员和/或货物并且由任何形式的能量提供动力的任何移动形式的运输工具。术语“交通工具”包括但不限于汽车、卡车、货车、火车、自主交通工具、飞行器、空中无人机等。“自主交通工具”(或“AV”)是具有处理器、编程指令和传动系部件的交通工具，所述传动系部件可由所述处理器控制而无需人类操作员。自主交通工具可以是完全自主的，因为它对于大多数或所有驾驶状况和功能不需要人类操作员，或者它可以是半自主的，因为在某些状况下或对于某些操作可能需要人类操作员，或者人类操作员可以超驰交通工具的自主系统并且可以控制交通工具。
在本文档中，术语“通信链路”和“通信路径”是指第一装置经由其向一个或多个其他装置发送通信信号和/或从一个或多个其他装置接收通信信号的有线或无线路径。如果装置能够经由通信链路发送和/或接收数据，则装置是“通信地连接的”。“电子通信”是指在两个或更多个电子装置之间经由一个或多个信号传输数据，而无论是通过有线网络还是无线网络以及无论是直接地还是经由一个或多个中间装置间接地传输。术语“无线通信”是指两个装置之间的通信，其中通信路径的至少一部分包括无线传输的信号，但是它不一定要求整个通信路径是无线的。
如本文档中所使用，术语“推测(infer)”和“推测(inference)”(也称为“推断(reasoning)”和“推断(reason)”)通常是指根据经由事件或数据等捕获的一次或多次观察推断或推测系统、部件、环境、用户的状态的过程。例如，推测可以用于标识某上下文或动作，或者可以用于生成状态上的概率分布。推测可以是概率性的。例如，基于对数据或事件的考虑来计算感兴趣状态上的概率分布。推测还可以指代用于根据一组事件或数据构成更高级事件的技术。此类推测可能导致根据一组观察到的事件或存储的事件数据构造新事件或新动作，而不论事件是否在时间上紧密接近上相关以及不论事件和数据是否来自一个或多个事件和数据源。时间推断可以包括基于至少一个粒子和/或行动者的过去和/或当前观察外推到相应粒子和/或行动者的当前或未来位置和/或动态状态(例如，关于速度和/或加速度)。空间推断可以包括确定AV在不发生碰撞的情况下超过和/或接近任何观察到的行动者所需的可用空间和/或必要空间。空间推断可以包括考虑AV的当前和/或规划速度值和/或加速度值。时空推断可以包括空间推断与时间推断的组合。
除非通过使用术语“行动者”或“静止对象”另有具体说明，否则术语“对象”在指代由交通工具感知系统检测或由模拟系统模拟的对象时意图包含静止对象和移动(或潜在地移动)行动者。
当在自主交通工具运动规划的背景下使用时，术语“轨迹”是指交通工具的运动规划系统将生成的并且交通工具的运动控制系统在控制交通工具的运动时将遵循的规划。轨迹包括交通工具在时间范围内的多个时间点处的规划位置和定向，以及交通工具在同一时间范围内的规划方向盘角度和角速率。自主交通工具的运动控制系统将消费轨迹并向交通工具的转向控制器、制动控制器、节气门控制器和/或其他运动控制子系统发送命令以使交通工具沿着规划路径移动。
交通工具的感知或预测系统可以生成的行动者的“轨迹”是指行动者将在时间范围内遵循的预测路径，连同沿着路径在沿着时间范围的各个点处行动者的预测速度和/或行动者的位置。
在本文档中，术语“街道”、“线道”、“道路”和“交叉路口”以交通工具在一条或多条道路上行驶的示例的方式示出。然而，实施例意图包括其他位置(诸如停驻区域)中的线道和交叉路口。另外，对于被设计成在室内使用的自主交通工具(诸如仓库中的自动拾取装置)，街道可以是仓库的过道，并且线道可以是过道的一部分。如果自主交通工具是无人机或其他飞行器，则术语“街道”或“道路”可以表示航路，并且线道可以是航路的一部分。如果自主交通工具是船只，则术语“街道”或“道路”可以表示航道，并且线道可以是航道的一部分。
在本文档中，当使用诸如“第一”和“第二”的术语来修饰名词时，除非特别说明，否则这种使用仅意图将一个项目与另一个项目区分开，并且不意图要求顺序次序。
应当理解，具体实施方式部分而不是任何其他部分意图用于解释权利要求。其他部分可以阐述如发明人所设想的一个或多个但不是全部的示例性实施例，并且因此不意图以任何方式限制本公开或所附权利要求。
虽然本公开描述了示例性领域和应用的示例性实施例，但是应当理解，本公开不限于所公开的示例。其他实施例及其修改是可能的，并且在本公开的范围和精神内。例如，并且在不限制本段落的一般性的情况下，实施例不限于附图中所示和/或本文档中描述的软件、硬件、固件和/或实体。此外，实施例(无论是否明确描述)对于本文档中描述的示例之外的领域和应用具有重要效用。
在本文档中已经借助于示出指定功能和关系的实施方式的功能构建块来描述实施例。为了方便描述，在本文档中任意定义了这些功能构建块的界限。只要适当地执行指定的功能和关系(或其等效物)，就可以定义替代界限。此外，替代实施例可以使用与本文档中描述的那些不同的排序来执行功能框、步骤、操作、方法等。
来自本文公开的不同实施例的特征可以自由组合。例如，来自方法实施例的一个或多个特征可以与系统或产品实施例中的任一者组合。类似地，来自系统或产品实施例的特征可以与本文公开的方法实施例中的任一者组合。
本文档中对“一个实施例”、“实施例”、“示例实施例”或类似短语的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可不一定包括所述特定特征、结构或特性。此外，此类短语不一定指代同一实施例。此外，当结合实施例描述特定特征、结构或特性时，在相关领域技术人员的知识范围内，将此类特征、结构或特性合并到其他实施例中，而无论是否在本文档中明确提及或描述。另外，可以使用表达方式“耦合”和“连接”以及它们的派生词来描述一些实施例。这些术语不一定意图作为彼此的同义词。例如，可以使用术语“连接”和/或“耦合”来描述一些实施例，以指示两个或更多个元件彼此直接物理或电接触。然而，术语“耦合”还可以意味着两个或更多个元件彼此不直接接触，但是仍然彼此协作或相互作用。
本公开的广度和范围不应受到上述示例性实施例中的任何一个限制，而是应仅根据所附权利要求和其等效物限定。
如上所述，本文档公开了用于操作交通工具的系统、方法和计算机程序产品实施例。系统实施例包括实施用于操作交通工具的方法的处理器或计算装置。计算机程序实施例包括例如存储在存储器中的编程指令，以使处理器执行本文档中描述的数据管理方法。系统实施例还包括处理器，所述处理器被配置为例如经由编程指令执行本文档中描述的方法。更一般地，系统实施例包括一种系统，所述系统包括用于执行本文档中描述的任何方法的步骤的装置。
在不排除其他可能的实施例的情况下，以下条款中概述了某些示例性实施例。
条款1.一种使自主交通工具导航通过包括被遮挡区域的环境的方法，所述方法包括通过处理器：
提供(例如，接收或提取或获得)与所述环境相对应的传感器数据；
标识多个初始化粒子中具有与所述被遮挡区域中的潜在被遮挡行动者相关联的非零概率的一个或多个粒子，每个粒子与潜在行动者相关联；以及
基于对所述被遮挡区域的时空推断和考虑到所述一个或多个粒子而生成用于遍历所述环境的所述自主交通工具的轨迹。
条款2.根据条款1所述的方法，其还包括通过以下操作生成所述多个初始化粒子：
使用采样在感兴趣区域中将多个粒子初始化，每个粒子表示与潜在行动者相关联的初始假设；以及
向所述多个粒子中的每一者分配初始假设状态和初始概率。
条款3.根据条款2所述的方法，其中所述感兴趣区域包括与所述自主交通工具通过所述环境的行驶线道相交的冲突区域。
条款4.根据上述条款中任一项所述的方法，其中每个粒子的所述初始假设状态包括以下至少一项：所述潜在行动者的位置、速度、加速度或行动者类型。
条款5.根据上述条款中任一项所述的方法，其中所述潜在行动者选自以下至少一项：行人、骑行者或交通工具。
条款6.根据上述条款中任一项所述的方法，其还包括基于所述传感器数据来生成与所述环境相对应的可见性地图，所述可见性地图包括多个单元并且表示所述自主交通工具感知或跟踪所述环境中的一个或多个对象的能力，每个单元包括关于该单元的被遮挡状态的信息。
条款7.根据条款6所述的方法，其中标识所述一个或多个粒子包括：
使用过程模型为所述多个初始化粒子中的每一者生成预报的假设状态；
基于所述可见性地图和所述预报的假设状态为所述多个粒子中的每一者分配更新概率；以及
将具有非零更新概率的粒子标识为所述一个或多个粒子。
条款8.根据条款7所述的方法，其还包括：
将所述多个初始化粒子中的第二一个或多个初始化粒子标识为具有零更新概率的与潜在可见被跟踪行动者相关联的粒子；以及
丢弃所述多个初始化粒子中的所述第二一个或多个初始化粒子。
条款9.根据上述条款中任一项所述的方法，其还包括基于所述一个或多个粒子生成与所述被遮挡区域中的最坏情况潜在被遮挡行动者相对应的虚拟行动者。
条款10.根据上述条款中任一项所述的方法，其还包括基于所述一个或多个粒子生成使所述自主交通工具在未知区域边界之前停止的所述未知区域边界。
条款11.一种系统，其包括用于执行上述方法条款中任一项的步骤的装置。
条款12.一种计算机程序或存储所述计算机程序的存储介质，所述计算机程序包括指令，所述指令在由一个或多个合适的处理器执行时使所述处理器中的任一者执行上述方法条款中的任一者的步骤。
条款13.一种用于自主交通工具的系统，所述系统包括：
至少一个处理器；
编程指令，所述编程指令存储在存储器中并且被配置为使所述处理器：
接收与环境相对应的传感器数据；
标识多个初始化粒子中具有与所述环境的被遮挡区域中的潜在被遮挡行动者相关联的非零概率的一个或多个粒子，每个粒子与潜在行动者相关联；以及
基于对所述被遮挡区域的时空推断和考虑到所述一个或多个粒子而生成用于遍历所述环境的所述自主交通工具的轨迹。
条款14.根据条款13所述的系统，其还包括附加编程指令，所述附加编程指令被配置为使所述处理器通过以下步骤生成所述多个初始化粒子：
使用采样在感兴趣区域中将多个粒子初始化，每个粒子表示与潜在行动者相关联的初始假设；以及
向所述多个粒子中的每一者分配初始假设状态和初始概率。
条款15.根据条款14所述的系统，其中所述感兴趣区域包括与所述自主交通工具通过所述环境的行驶线道相交的冲突区域。
条款16.根据上述系统条款中任一项所述的系统，其中每个粒子的所述初始假设状态包括以下至少一项：所述潜在行动者的位置、速度、加速度或行动者类型。
条款17.根据上述系统条款中任一项所述的系统，其中所述潜在行动者选自以下至少一项：行人、骑行者或交通工具。
条款18.根据上述系统条款中任一项所述的系统，包括附加编程指令，所述附加编程指令被配置为使所述处理器基于所述传感器数据来生成与所述环境相对应的可见性地图，所述可见性地图包括多个单元并且表示所述自主交通工具感知或跟踪所述环境中的一个或多个对象的能力，每个单元包括关于该单元的被遮挡状态的信息。
条款19.根据条款18所述的系统，其中用于标识所述一个或多个粒子的所述指令包括用于进行以下操作的指令：
使用过程模型为所述多个初始化粒子中的每一者生成预报的假设状态；
基于所述可见性地图和所述预报的假设状态为所述多个粒子中的每一者分配更新概率；以及
将具有非零更新概率的粒子标识为所述一个或多个粒子。
条款20.根据上述系统条款中任一项所述的系统，其还包括附加编程指令，所述附加编程指令被配置为使所述处理器：
将所述多个初始化粒子中的第二一个或多个初始化粒子标识为具有零更新概率的与潜在可见被跟踪行动者相关联的粒子；以及
丢弃所述多个初始化粒子中的所述第二一个或多个初始化粒子。
条款21.根据上述系统条款中任一项所述的系统，其还包括附加编程指令，所述附加编程指令被配置为使所述处理器基于所述一个或多个粒子生成与所述被遮挡区域中的最坏情况潜在被遮挡行动者相对应的虚拟行动者。
条款22.一种包括存储指令的(例如，非暂时性)计算机可读介质的计算机程序产品，所述指令在由计算装置执行时将使所述计算装置执行包括以下各项的操作：
接收与环境相对应的传感器数据；
标识多个初始化粒子中具有与所述被遮挡区域中的潜在被遮挡行动者相关联的非零概率的一个或多个粒子，每个粒子与潜在行动者相关联；以及
基于对所述被遮挡区域的时空推断和考虑到所述一个或多个粒子而生成用于遍历所述环境的所述自主交通工具的轨迹。
在下文中，列出了本文描述的主题的另外的有益方面：
1.一种(例如，使用粒子滤波器方法)将自主交通工具导航通过包括被遮挡区域的环境的计算机实施方法，所述方法包括(例如，通过处理器，例如经由编程指令)：
提供(例如，接收或提取或获得)与所述环境相对应的传感器数据；
标识多个初始化粒子中具有与所述被遮挡区域中的潜在被遮挡行动者相关联的非零概率的一个或多个粒子，每个粒子与潜在行动者相关联；以及
(例如，基于对所述被遮挡区域的时空推断和)考虑到所述一个或多个粒子而生成用于遍历所述环境的所述自主交通工具的轨迹。
2.根据方面1所述的计算机实施方法，其还包括通过以下操作生成所述多个初始化粒子：
使用采样在感兴趣区域中将多个粒子初始化，每个粒子表示与潜在行动者相关联的初始假设；以及
向所述多个粒子中的每一者分配初始假设状态和初始概率。
3.根据方面2所述的计算机实施方法，其中所述感兴趣区域包括与所述自主交通工具通过所述环境的行驶线道相交的冲突区域。
4.根据方面2或3所述的计算机实施方法，其中每个粒子的所述初始假设状态包括以下至少一项：所述潜在行动者的位置、速度、加速度或行动者类型。
5.根据方面2至4中任一项所述的计算机实施方法，其中所述潜在行动者选自以下至少一项：行人、骑行者或交通工具。
6.根据前述方面中任一项所述的计算机实施方法，其还包括基于所述传感器数据来生成与所述环境相对应的可见性地图，所述可见性地图包括多个单元并且表示所述自主交通工具感知或跟踪所述环境中的一个或多个对象的能力，每个单元包括关于该单元的被遮挡状态的信息。
7.根据方面6所述的计算机实施方法，其中标识所述一个或多个粒子包括：
使用过程模型为所述多个初始化粒子中的每一者生成预报的假设状态；
基于所述可见性地图和所述预报的假设状态为所述多个粒子中的每一者分配更新概率；以及
将具有非零更新概率的粒子标识为所述一个或多个粒子。
8.根据方面7所述的计算机实施方法，其还包括：
将所述多个初始化粒子中的第二一个或多个初始化粒子标识为具有零更新概率的与潜在可见被跟踪行动者相关联的粒子；以及
丢弃所述多个初始化粒子中的所述第二一个或多个初始化粒子。
9.根据前述方面中任一项所述的计算机实施方法，其还包括基于所述一个或多个粒子生成与所述被遮挡区域中的最坏情况潜在被遮挡行动者相对应的虚拟行动者。
10.根据前述方面中任一项所述的计算机实施方法，其还包括基于所述一个或多个粒子生成使所述自主交通工具在未知区域边界之前停止的所述未知区域边界。
11.一种用于导航自主交通工具的系统，所述系统包括：
至少一个处理器；
编程指令，所述编程指令(任选地存储在存储器中并且)被配置为使所述处理器：
提供(例如，接收或提取或获得)与环境相对应的传感器数据；
标识多个初始化粒子中具有与所述环境的被遮挡区域中的潜在被遮挡行动者相关联的非零概率的一个或多个粒子，每个粒子与潜在行动者相关联；以及
基于对所述被遮挡区域的时空推断和考虑到所述一个或多个粒子而生成用于遍历所述环境的所述自主交通工具的轨迹。
12.根据方面11所述的系统，其还包括附加编程指令，所述附加编程指令被配置为使所述处理器通过以下步骤生成所述多个初始化粒子：
使用采样在感兴趣区域中将多个粒子初始化，每个粒子表示与潜在行动者相关联的初始假设；以及
向所述多个粒子中的每一者分配初始假设状态和初始概率。
13.根据方面12所述的系统，其中所述感兴趣区域包括与所述自主交通工具通过所述环境的行驶线道相交的冲突区域。
14.根据方面12或13所述的系统，其中每个粒子的所述初始假设状态包括以下至少一项：所述潜在行动者的位置、速度、加速度或行动者类型。
15.根据方面12至14中任一项所述的系统，其中所述潜在行动者选自以下至少一项：行人、骑行者或交通工具。
16.根据方面11至15中任一项所述的系统，其包括附加编程指令，所述附加编程指令被配置为使所述处理器基于所述传感器数据来生成与所述环境相对应的可见性地图，所述可见性地图包括多个单元并且表示所述自主交通工具感知或跟踪所述环境中的一个或多个对象的能力，每个单元包括关于该单元的被遮挡状态的信息。
17.根据方面16所述的系统，其中用于标识所述一个或多个粒子的所述指令包括用于进行以下操作的指令：
使用过程模型为所述多个初始化粒子中的每一者生成预报的假设状态；
基于所述可见性地图和所述预报的假设状态为所述多个粒子中的每一者分配更新概率；以及
将具有非零更新概率的粒子标识为所述一个或多个粒子。
18.根据方面17所述的系统，其还包括附加编程指令，所述附加编程指令被配置为使所述处理器：
将所述多个初始化粒子中的第二一个或多个初始化粒子标识为具有零更新概率的与潜在可见被跟踪行动者相关联的粒子；以及
丢弃所述多个初始化粒子中的所述第二一个或多个初始化粒子。
19.根据方面11至18中任一项所述的系统，其还包括附加编程指令，所述附加编程指令被配置为使所述处理器基于所述一个或多个粒子生成与所述被遮挡区域中的最坏情况潜在被遮挡行动者相对应的虚拟行动者。
20.一种包括存储指令的(例如，非暂时性)计算机可读介质的计算机程序产品，所述指令在由计算装置执行时将使所述计算装置执行包括以下各项的操作：
提供(以任何合适的方式，例如，接收或提取或获得)与环境相对应的传感器数据；
标识多个初始化粒子中具有与所述被遮挡区域中的潜在被遮挡行动者相关联的非零概率的一个或多个粒子，每个粒子与潜在行动者相关联；以及
基于对所述被遮挡区域的时空推断和考虑到所述一个或多个粒子而生成用于遍历所述环境的所述自主交通工具的轨迹。
21.一种系统，其包括用于执行根据前述方法方面中任一项所述的方法的装置。
22.一种计算机程序和/或存储所述计算机程序的计算机可读数据存储设备，所述计算机程序包括指令，所述指令在由计算装置执行时将使所述计算装置执行根据前述方法方面中任一项所述的方法。
23.一种通过根据前述方面中任一项所述的方法生成的轨迹和/或存储所述轨迹的数据存储设备。
24.一种通过根据前述方法方面中任一项所述的方法生成的轨迹用于控制系统或自主交通工具的用途。
25.用于控制系统或自主交通工具的更新概率和/或存储所述更新概率的数据存储设备和/或所述更新概率用于控制系统或自主交通工具的用途，所述更新概率通过根据方法方面7或8所述的方法而生成。

Claims (15)

1.一种使自主交通工具导航通过包括被遮挡区域的环境的计算机实施方法，所述方法包括：
提供与所述环境相对应的传感器数据；
标识多个初始化粒子中具有与所述被遮挡区域中的潜在被遮挡行动者相关联的非零概率的一个或多个粒子，每个粒子与潜在行动者相关联；以及
考虑到所述被遮挡区域中的所述一个或多个粒子而生成用于遍历所述环境的所述自主交通工具的轨迹。
2.根据权利要求1所述的计算机实施方法，其还包括通过以下操作生成所述多个初始化粒子：
使用采样在感兴趣区域中将多个粒子初始化，每个粒子表示与潜在行动者相关联的初始假设；以及
向所述多个粒子中的每一者分配初始假设状态和初始概率。
3.根据权利要求2所述的计算机实施方法，其中所述感兴趣区域包括与所述自主交通工具通过所述环境的行驶线道相交的冲突区域。
4.根据权利要求2或3所述的计算机实施方法，其中每个粒子的所述初始假设状态包括以下至少一项：所述潜在行动者的位置、速度、加速度或行动者类型。
5.根据权利要求2至4中任一项所述的计算机实施方法，其中所述潜在行动者选自以下至少一项：行人、骑行者或交通工具。
6.根据前述权利要求中任一项所述的计算机实施方法，其还包括基于所述传感器数据来生成与所述环境相对应的可见性地图，所述可见性地图包括多个单元并且表示所述自主交通工具感知或跟踪所述环境中的一个或多个对象的能力，每个单元包括关于该单元的被遮挡状态的信息。
7.根据权利要求6所述的计算机实施方法，其中标识所述一个或多个粒子包括：
使用过程模型为所述多个初始化粒子中的每一者生成预报的假设状态；
基于所述可见性地图和所述预报的假设状态为所述多个粒子中的每一者分配更新概率；以及
将具有非零更新概率的粒子标识为所述一个或多个粒子。
8.根据权利要求7所述的计算机实施方法，其还包括：
将所述多个初始化粒子中的第二一个或多个初始化粒子标识为具有零更新概率的与潜在可见被跟踪行动者相关联的粒子；以及
丢弃所述多个初始化粒子中的所述第二一个或多个初始化粒子。
9.根据前述权利要求中任一项所述的计算机实施方法，其还包括基于所述一个或多个粒子生成与所述被遮挡区域中的最坏情况潜在被遮挡行动者相对应的虚拟行动者。
10.根据前述权利要求中任一项所述的计算机实施方法，其还包括基于所述一个或多个粒子生成使所述自主交通工具在未知区域边界之前停止的所述未知区域边界。
11.根据前述权利要求中任一项所述的计算机实施方法，其中使用粒子滤波器方法提供所述粒子和/或其中基于对所述被遮挡区域的时空推断生成所述轨迹。
12.一种系统，其包括用于执行根据前述方法权利要求中任一项所述的方法的装置。
13.一种计算机程序和/或存储所述计算机程序的计算机可读数据存储设备，所述计算机程序包括指令，所述指令在由计算装置执行时将使所述计算装置执行根据前述方法权利要求中任一项所述的方法。
14.一种通过根据前述权利要求中任一项所述的方法生成的用于控制系统或自主交通工具的轨迹和/或存储所述轨迹的数据存储设备和/或以根据前述方法权利要求中任一项所述的方法生成的轨迹用于控制系统或自主交通工具的用途。
15.用于控制系统或自主交通工具的更新概率和/或存储所述更新概率的数据存储设备和/或所述更新概率用于控制系统或自主交通工具的用途，所述更新概率通过根据方法权利要求7或8所述的方法而生成。
CN202311695067.7A 2022-12-12 2023-12-12 用于在自主交通工具操作中处理遮挡物的方法和系统 Pending CN118189995A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22386091.7 2022-12-12
EP22386091.7A EP4386510A1 (en) 2022-12-12 2022-12-12 Methods and systems for handling occlusions in operation of autonomous vehicle

Publications (1)

Publication Number Publication Date
CN118189995A true CN118189995A (zh) 2024-06-14

Family

ID=84820035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311695067.7A Pending CN118189995A (zh) 2022-12-12 2023-12-12 用于在自主交通工具操作中处理遮挡物的方法和系统

Country Status (3)

Country Link
US (1) US20240190452A1 (zh)
EP (1) EP4386510A1 (zh)
CN (1) CN118189995A (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11332132B2 (en) 2019-08-30 2022-05-17 Argo AI, LLC Method of handling occlusions at intersections in operation of autonomous vehicle
US11733054B2 (en) * 2020-12-11 2023-08-22 Motional Ad Llc Systems and methods for implementing occlusion representations over road features

Also Published As

Publication number Publication date
US20240190452A1 (en) 2024-06-13
EP4386510A1 (en) 2024-06-19

Similar Documents

Publication Publication Date Title
CN114326705B (zh) 用于自主运载工具的对象交互预测系统及方法
US20230347877A1 (en) Navigation Based on Detected Size of Occlusion Zones
US10496099B2 (en) Systems and methods for speed limit context awareness
US11332132B2 (en) Method of handling occlusions at intersections in operation of autonomous vehicle
US20220105959A1 (en) Methods and systems for predicting actions of an object by an autonomous vehicle to determine feasible paths through a conflicted area
US20220261601A1 (en) Multiple Stage Image Based Object Detection and Recognition
CN116249644B (zh) 由自主车辆执行出路推断以确定通过交叉路口的可行路径的方法和系统
US20220163972A1 (en) Methods and Systems for Autonomous Vehicle Motion Deviation
US11718290B2 (en) Methods and systems for safe out-of-lane driving
CN116745187B (zh) 通过可行驶区域边界的语义分割来预测不确定道路使用者的轨迹的方法和系统
US20230150510A1 (en) Methods and systems for tracking a mover's lane over time
EP4147933A1 (en) System, method, and computer program product for trajectory scoring during an autonomous driving operation implemented with constraint independent margins to actors in the roadway
CN117416344A (zh) 自主驾驶系统中校车的状态估计
WO2023177969A1 (en) Method and system for assessing whether a vehicle is likely to leave an off-road parking area
US20230056589A1 (en) Systems and methods for generating multilevel occupancy and occlusion grids for controlling navigation of vehicles
CN117141463A (zh) 识别并行泊车车辆的意图和预测的系统、方法和计算机程序产品
US11904906B2 (en) Systems and methods for prediction of a jaywalker trajectory through an intersection
CN114830202A (zh) 通过自主运载工具针对未知对象的规划
US20240190452A1 (en) Methods and systems for handling occlusions in operation of autonomous vehicle
US20230043601A1 (en) Methods And System For Predicting Trajectories Of Actors With Respect To A Drivable Area
US20240025452A1 (en) Corridor/homotopy scoring and validation
EP4131181A1 (en) Methods and system for predicting trajectories of actors with respect to a drivable area
US20230237793A1 (en) False track mitigation in object detection systems
US20240151817A1 (en) Systems and methods for static detection based amodalization placement
US20240092358A1 (en) Systems and methods for scene understanding

Legal Events

Date Code Title Description
PB01 Publication