CN113544035A - 遮挡预测和轨迹评估 - Google Patents

遮挡预测和轨迹评估 Download PDF

Info

Publication number
CN113544035A
CN113544035A CN202080018869.2A CN202080018869A CN113544035A CN 113544035 A CN113544035 A CN 113544035A CN 202080018869 A CN202080018869 A CN 202080018869A CN 113544035 A CN113544035 A CN 113544035A
Authority
CN
China
Prior art keywords
trajectory
occlusion
vehicle
predicted
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080018869.2A
Other languages
English (en)
Inventor
W·A·希尔瓦
王闯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zoox Inc
Original Assignee
Zoox Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zoox Inc filed Critical Zoox Inc
Publication of CN113544035A publication Critical patent/CN113544035A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

所讨论的是基于环境中的预测遮挡区域(420、422、428、430)控制车辆(404)、例如自动驾驶车辆的技术。遮挡区域(420、422、428、430)可以代表车辆(404)的传感器由于被另一物体(406、410)遮挡而无法感知环境的部分的区域。基于物体的位置，在第一时间确定物体的第一遮挡区域(420、422)。物体的预测位置可用于在第一时间之后的第二时间确定由物体(406、410)引起的预测遮挡区域。可以为车辆(404)要遵循的多条轨迹(412、414)和/或沿这种轨迹(412、414)的多个点确定预测遮挡区域，并且可以基于与之相关的遮挡分数和/或轨迹分数来选择轨迹(412、414)。车辆(404)可以被控制为基于选定轨迹(412、414)穿越环境。

Description

遮挡预测和轨迹评估
相关申请的交叉引用
本专利申请要求于2019年1月11日提交的编号为16/246208的美国实用新型专利申请的优先权。编号为16/246208的申请通过引用全文纳入本文。
背景技术
自动驾驶车辆利用各种方法、装置和系统来引导这种自动驾驶车辆通过包括各种静态和动态物体的环境。例如，自动驾驶车辆利用路线规划方法、装置和系统来引导自动驾驶车辆通过有其他移动车辆(自动驾驶或其他方式)、移动的人、静止的建筑物等的拥挤区域。在一些示例中，自动驾驶车辆可以生成多条潜在路线，以供自动驾驶车辆在环境中穿行，尽管在这些路线之间选择可能会带来挑战。
附图说明
详细说明参照所附附图来描述。在附图中，附图标记的最左边的(多个)数字表示该附图标记首次出现所在的附图。不同附图中的相同附图标记表示相似或相同的零部件或特征。
图l是根据本公开的实施例的用于捕获传感器数据、接收车辆的轨迹和与环境中的物体相关的预测轨迹、确定预测遮挡区域以及至少部分地基于预测遮挡区域控制车辆的示例流程的图像流程图。
图2是根据本公开的实施例的基于与静态物体相关的预测遮挡区域评估车辆的轨迹的示例。
图3是根据本公开的实施例的基于与动态物体的轨迹相关的预测遮挡区域评估车辆的轨迹的示例。
图4是根据本公开的实施例的基于与动态物体相关的(多个)预测遮挡区域评估车辆的多条轨迹的示例。
图5A是图5B和图5C中提出的示例的概览。
图5B是根据本公开的实施例的基于随时间推移与(多个)物体相关的(多个)预测遮挡区域而评估车辆的第一轨迹的示例。
图5C是根据本公开的实施例的基于随时间推移与(多个)物体相关的(多个)预测遮挡区域而评估车辆的第二轨迹的示例。
图6是根据本公开的实施例的用于基于与(多个)物体相关的(多条)预测轨迹和与各(多个)物体相对于(多条)车辆轨迹相关的预测遮挡区域来评估车辆的(多条)轨迹、确定(多条)车辆轨迹的遮挡分数并基于遮挡分数来控制车辆的示例流程的图像流程图。
图7描绘了用于实施本文所述技术的示例系统的框图。
图8描绘了根据本公开的实施例的用于捕获传感器数据、确定物体的预测位置、确定自动驾驶车辆穿越环境的轨迹、基于不同的车辆轨迹确定与物体的预测位置相关的预测遮挡区域、基于与遮挡区域相关的成本选择轨迹以及基于选定轨迹控制自动驾驶车辆的示例流程。
具体实施方式
本公开内容涉及基于与轨迹相关的预测遮挡区域来评估轨迹，其中，所述预测遮挡区域是相对于环境中的物体的预测位置确定的。例如，车辆(如自动驾驶车辆)的传感器可以捕获环境的传感器数据，其中可能包括与车辆分开的物体，如其他车辆、行人、建筑物、植被等。基于环境中的障碍物，传感器对环境的覆盖可能是有限的(被遮挡的)。与车辆相关的规划系统可以生成车辆要在环境中遵循的轨迹，以围绕这些物体进行导航。与车辆相关的遮挡系统可以基于车辆要在环境中遵循的轨迹和/或与检测到的物体相关的预测轨迹，确定与物体相关的预测遮挡区域。
对于静态物体(例如停放的汽车、建筑物等)，遮挡系统可以确定沿车辆轨迹的各点的预测遮挡区域。对于动态物体(例如环境中的其他车辆)，遮挡系统可以接收与物体相关的预测轨迹，并可以确定与环境中的物体相关的预测遮挡区域。遮挡系统可以确定与车辆要在环境中遵循的多条轨迹相关的预测遮挡区域。在一些示例中，预测遮挡区域可以与各种成本或遮挡分数相关，这些成本或遮挡分数可以基于预测遮挡区域的尺寸、沿被评估的特定轨迹被物体遮挡的区域的重要性等。遮挡分数可以为沿轨迹的多个未来时间确定，并且遮挡分数被相加或合计以确定轨迹分数。这些技术可以同时进行，以确定多条轨迹的轨迹分数，并且可以基于轨迹分数从多条轨迹中选择一条轨迹。选定轨迹可用于控制车辆穿越环境。
由车辆捕获的传感器数据可以包括激光雷达数据、雷达数据、图像数据、飞行时间数据、声纳数据等。在一些情况下，传感器数据可以被提供给感知系统，该感知系统被配置为确定环境中的物体的类型(例如车辆、行人、自行车、动物、停放的汽车、树、建筑物等)。此外，感知系统可以基于传感器数据确定关于环境中的物体的运动信息。传感器数据和基于传感器数据的任何数据可以用环境的顶层视图(例如具有一个或多个通道的顶层图像)表示。例如，所述图像可以将物体表示为二维边界框，代表物体在环境中的位置以及物体的范围(例如物体的长度和宽度)，和/或物体的分类(例如车辆、行人等)。在一些示例中，额外的图像通道可以包括速度、加速度、与之相关的不确定度以及类似情况。诸如速度信息等运动信息可以表示为与边界框相关的速度矢量，尽管可以考虑其他表示方法。此外，图像可以表示、但不限于下述项的一项或多项：路网信息(例如表示车道、人行横道、停车线、车道分界线、停车标志、交叉路口、交通灯等的语义标签)；交通灯状态(例如红灯、黄灯、绿灯等)；与物体相关的边界框、物体沿X方向、Y方向和/或Z方向的速度；物体沿X方向和Y方向的加速度；物体的闪光灯状态(例如左转、右转、刹车、倒车、危险、无灯等)；诸如此类。
由车辆捕获的代表环境中的物体的传感器数据可用于生成与环境中的物体相对于车辆的特定轨迹相关的预测遮挡区域。例如，遮挡系统可以确定与预测遮挡区域相关的遮挡网格，所述预测遮挡区域与在未来时间点的物体的估计位置相关。可以基于物体分类、位置、速度、加速度、传感器不确定度等，随时间评估物体的位置，以确定物体的可能位置。诸如光线投射等技术可用于确定遮挡网格所代表的环境的哪些区域相对于车辆随时间变化的位置被遮挡。在一些示例中，可以基于不同的传感器模态使用不同的技术来确定遮挡情况。作为非限制性的示例，光线投射可用于确定激光雷达传感器的遮挡，而使用相机矩阵的图像投影可用于确定图像传感器的遮挡。遮挡网格可以是三维的并且能以体素表示物体的预测，所述体素描述物体在环境中的体积。例如，生成遮挡网格的技术可以在于2018年6月18日提交的题为“遮挡感知规划”、第16/011436号美国专利申请中找到，其以全部内容在此通过引用纳入本文。
当车辆穿越环境时，规划系统可以生成车辆随着时间的推移可以遵循的多条可能的轨迹。例如，这些轨迹可以包括向前移动、向后移动、向左移动、向右移动、对角线移动、停止、加速、减速或任何运动模式的组合，以便为车辆内的乘客和/或货物提供安全和有效的乘坐，从而到达预期的目的地。规划系统可以同时生成多条可能的轨迹，可以在选择车辆要遵循的轨迹之前，评估每条轨迹的安全性、效率、舒适性和/或其他预期结果。
遮挡系统可以向规划系统提供遮挡信息，以用于选择车辆要在环境中遵循的轨迹。例如，遮挡系统可以确定当车辆遵循第一轨迹时由物体引起的(多个)第一预测遮挡区域，其中，(多个)第一预测遮挡区域是基于当车辆遵循第一轨迹时物体相对于车辆的(多个)预测位置的。类似地，在一些并行的示例中，遮挡系统还可以确定当车辆遵循不同于第一轨迹的第二轨迹时，由物体引起的(多个)第二预测遮挡区域。但当车辆遵循第二轨迹时，(多个)第二预测遮挡区域也可以是基于物体相对于车辆的(多个)预测位置的。
为了说明，考虑下述场景，即车辆接近十字路口，其中物体(例如停放的汽车)阻挡了车辆观察十字路口的部分，而该部分交通情况可能是即将来临的。车辆的第一轨迹可能是在十字路口等待，而车辆的第二轨迹可能是蠕行进入十字路口。遮挡系统可以根据第一轨迹在十字路口等待时为停放的汽车生成预测遮挡区域，并为停放的汽车生成与沿第二轨迹蠕行有关的预测遮挡区域。至少部分地基于第一轨迹和第二轨迹的预测遮挡区域，车辆可以更有效地在两个轨迹之间进行选择(例如结果是十字路口的最佳可见度)。
在车辆遵循轨迹行驶时，遮挡系统可以针对由环境中的各种物体造成的遮挡生成一个或多个遮挡分数。遮挡分数可以基于与遮挡相关的属性，例如被物体遮挡的环境的百分比(和/或反过来说，未被遮挡的环境的百分比)、相对于物体的可见距离(例如物体离车辆有多近或多远)、遮挡区域是否阻碍对轨迹来说很重要的区域(例如，如果遮挡区域包括即将来临的交通信息)、以及地图数据(例如代表人行道、车道等)诸如此类中的一项或多项的组合。在一些示例中，遮挡系统可以为车辆可能采取的各种可能的轨迹确定轨迹分数，其中轨迹分数代表环境中不同预测遮挡区域的遮挡分数的全部加总或合计。例如，轨迹分数可以对应于代表车辆的哪条轨迹或哪个行动将导致车辆有更好(或更差)的可见度。遮挡系统可以将与车辆的一条或多条轨迹相关联的轨迹分数输出到规划系统，规划系统可以使用轨迹分数以及由附加车辆系统提供的用于生成和选择轨迹的其他信息来选择车辆要遵循的轨迹。在至少一些示例中，确定要遵循的轨迹可以至少部分地基于沿轨迹的单一遮挡分数和/或沿同一轨迹的所有遮挡分数的总和中的一个或多个。
本文讨论的技术可以以多种方式改善计算设备的功能。例如，遮挡系统可以放弃为被确定为对实现所需路线不重要的区域生成物体的预测位置和相关遮挡区域，从而在分析可能的轨迹时节省处理和计算资源。在一些情况下，为了为车辆、例如自动驾驶车辆生成和/或选择轨迹，所述技术的动态性质(例如部分地基于预测遮挡区域来控制车辆)需要较少的规则来枚举。通过部分地基于预测遮挡区域来控制车辆，车辆的安全性可以通过允许车辆适应其周围环境并作出反应而得到改善，而不是要求车辆遵循设定的指令，特别是当出现没有特定规则的情况时。此外，部分地基于预测遮挡区域来控制车辆可以减少处理资源，因为针对车辆可能遇到的每一种驾驶情况的枚举规则的数量几乎是无限的。因此，基于预测遮挡区域分析轨迹的技术可以比传统技术执行得更快，这可能允许更快的反应，或者允许计算系统考虑额外的替代轨迹，从而改善安全结果、性能和/或准确性。本文讨论了这些和其他对计算机运作的改进。
本文描述的技术可以以多种方式实施。下面参照以下附图提供示例性实施例。尽管在自动驾驶车辆的背景下进行了讨论，但本文描述的方法、装置和系统可以应用于各种系统(例如传感器系统或机器人平台)，并且不限于自动驾驶车辆。在另一示例中，这些技术可以在航空或航海背景下使用，或在任何涉及可能与系统未知的行为有关的物体或实体的系统中使用。此外，本文所描述的技术可用于真实数据(例如使用(多个)传感器捕获的)、模拟数据(例如由模拟器生成的)、或两者的任何组合。
图l是根据本公开的实施例的用于捕获传感器数据、接收车辆的轨迹和与环境中的物体相关的预测轨迹、确定与物体相关的预测遮挡区域以及至少部分地基于预测遮挡区域控制车辆的示例流程100的图像流程图。
在操作102，该流程可以包括捕获环境的传感器数据。在一些示例中，传感器数据可以由车辆(自动驾驶或其他方式)上的一个或多个传感器捕获。例如，传感器数据可以包括由激光雷达传感器、雷达传感器、图像传感器、飞行时间传感器、声纳传感器等中的一个或多个捕获的数据。
一个示例说明了在操作102中捕获的图像数据104。例如，图像数据104可以代表环境中的物体106。在一些示例中，物体106可以代表车辆、行人、动物等。在一些情况下，在操作102中捕获的传感器数据可用于确定关于物体106的信息，包括但不限于物体的类型(例如表示物体的分类的语义信息，如车辆、行人、自行车、动物等)。在一些情况下，众操作可以包括确定物体106的类型、与物体106相关的边界框、与物体106相关的分段信息和/或与物体相关的运动信息以及与之相关的任何不确定性，如本文所讨论的。
在操作108，该流程可以包括接收车辆的轨迹和接收与环境中的物体相关的预测轨迹。示例110说明了与轨迹114相关联的车辆112，其中轨迹114代表车辆要在环境中遵循的路径。在一些示例中，轨迹114可以代表路段的中心线。在一些示例中，轨迹114可以代表与车辆112相关的控制。例如，所述控制可以包括但不限于：转向角和/或随时间的加速。当然，轨迹114可以代表其他数据，这取决于各种实施方式。
为了讨论目的，捕获(或利用)传感器数据的车辆112可以是被配置为根据美国国家公路交通安全管理局发布的5级分类进行操作的自动驾驶车辆，该分类描述了能够执行对于整个旅程来说所有安全性关键功能的车辆，其中，不期待驾驶员(或乘员)在任何时候控制车辆。在这样的示例中，由于车辆112可以被配置为控制从启动到停止的所有功能，包括所有停车功能，所以该车辆可以无人驾驶。这仅仅是一示例，本文描述的系统和方法可以被纳入任何陆地、空中或水上的车辆，包括从那些需要一直由司机手动控制的车辆，到那些部分或完全自主控制的车辆的范围。与车辆112相关的其他细节将在本公开内容中描述。
物体106也位于环境中，如图示示例110所示。在一些示例中，物体106可以代表车辆、行人、自行车、动物等。示例110中所示的环境可以包括可驾驶区域116和不可驾驶区域118。在一些示例中，可驾驶区域116可以包括车辆112可以(合法地)穿越的环境的任何区域(例如道路、车道、停车场等)。在一些示例中，不可驾驶区域118可以代表车辆112不能合法或实际穿越的环境区域(例如人行道、建筑物、公园等)。
在一些示例中，在操作108中接收的轨迹可以至少部分地基于在环境中定位车辆112并访问与环境相关的地图数据。例如，地图数据可以包括地图元素，例如表示对应于可驾驶区域116的环境区域的车道元素。地图元素的其他示例可以包括但不限于建筑物或结构、人行道元素、自行车道元素、十字路口元素、车道分隔线元素、交通灯元素、停车标志元素、停车线元素、让路标志元素、让路线元素、停车道元素、车道元素、减速带元素、违章穿越区域(例如虚拟人行道)、轨迹路径点(例如已知轨迹)、乘客接驳点、标志位置元素、地理围栏元素等中的一项或多项。在一些情况下，与物体相关的预测轨迹可以基于地图数据。
在一些示例中，在操作108中接收的轨迹可以基于确定环境中的物体的预测轨迹，例如与物体106在环境中移动相关的预测轨迹120。例如，可以使用离散化概率分布(例如概率图、离散化预测概率图、热图等)来确定预测轨迹120，所述离散概率分布代表表明物体106将在对应于相应离散化概率分布的时间处于环境中的对应位置的概率的预测概率。在于2018年11月30日提交的美国专利申请号为16/206877的文献中讨论了生成一个或多个离散化概率分布的示例，该申请通过引用的方式以其全部纳入本文。
在操作122，该流程可以包括基于轨迹和预测轨迹，确定与物体相关的预测遮挡区域。示例124说明了相对于车辆112的轨迹114以及相对于物体106的预测轨迹120确定预测遮挡区域126。例如，车辆112在未来某一时间沿轨迹114的区域可以表示为区域112*。在一些示例中，区域112*的尺寸可以至少部分地基于车辆112的尺寸、车辆112的速度、环境中的位置、环境中的物体的类型、与车辆112相关的安全因素以及诸如此类。类似地，物体106在未来某一时间沿预测轨迹120的区域可以表示为区域106*，其中区域106*的尺寸可以至少部分地基于物体106的尺寸、物体106的预测速度、环境中的预测位置、物体106和环境中其他物体的类型等。
在一些示例中，预测遮挡区域126代表环境中可能被物体106阻挡、从而妨碍车辆112的各种传感器获得关于环境的信息的部分。在一些示例中，预测遮挡区域126可以使用光线投射技术来确定。例如，可以从与车辆112*相关的点投射光线，以确定环境中可被车辆112*的一个或多个传感器观察到的区域。车辆112*的一个或多个传感器无法观察到的区域可以表示为预测遮挡区域126。在一些示例中，环境的(多个)区域(或遮挡网格)可以与表明区域状态的元数据相关联，例如该区域是否代表自由空间、是否被环境中的物体占据、是否代表遮挡区域、是否未知等。
尽管在示例124中为了清晰起见通常被描绘为在X方向和Y方向上，但是预测遮挡区域126也可以表示与Z方向分量相关的遮挡信息，例如，该Z方向分量可以对应于物体106的高度。在另一示例中，遮挡信息可以与对应于周围环境的地形的z方向分量相关，如山丘或山谷，或可以与可能被遮挡但与轨迹确定相关的物体的高度相关，如交通信号灯或火车过路信号。
在一些示例中，操作122可以包括为预测遮挡区域126确定遮挡分数。例如，遮挡分数可以基于预测遮挡区域126的一个或多个方面或属性，其中，遮挡分数可以与预测遮挡区域的尺寸、被物体沿被评估的特定轨迹遮挡的区域的重要性、地图数据等相关联。预测遮挡区域126的离散区域(例如遮挡网格的单个遮挡场地)的(多个)遮挡分数可以相加以确定预测遮挡区域126的总体遮挡分数。进一步地，正如在整个公开内容中所讨论的，可以为沿轨迹114的多个未来时间确定遮挡分数，并且可以将遮挡分数相加或合计以确定轨迹114的轨迹分数。此外，随着时间的推移，随着物体保持或改变轨迹以及车辆112周围环境的变化，遮挡分数(以及因此轨迹分数)可以被修改或以其他方式更新。
在操作128，该流程可以包括至少部分地基于预测遮挡区域来控制车辆。例如，可以比较多条可能轨迹的轨迹分数，以选择轨迹，轨迹可用于控制车辆112穿越环境。选定轨迹可以基于多条轨迹分数中的最高轨迹分数、多条轨迹分数中的最低轨迹分数、多条轨迹分数中的中值轨迹分数，或任何合适的选择。在至少一些示例中，可以选择轨迹来优化环境中的数据量，以确保车辆的安全穿越。
虽然轨迹分数可以以各种方式用于选择车辆的轨迹，但是其他输入也可以有助于选择轨迹和/或控制车辆(例如安全系统、用户输入等等)。例如，在一些示例中，轨迹分数可以作为与评估轨迹相关的许多成本之一。用于评估轨迹的额外成本的示例可以包括但不限于参考成本(例如基于环境中参考轨迹和候选轨迹之间的距离的成本)、障碍物成本(例如基于参考轨迹和/或候选轨迹与环境中的障碍物之间的距离的成本)、转向成本(例如基于车辆的转向角的成本)、加速成本(例如基于车辆的最大加速度的成本)等中的一项或多项。
预测轨迹、预测遮挡区域、遮挡分数和轨迹分数的其他细节将在本公开内容中讨论。
图2是根据本公开的实施例的基于与静态物体相关的预测遮挡区域评估车辆的轨迹的示例200。
环境202包括车辆204(例如自动驾驶车辆)和物体206(例如另一车辆)。在一些示例中，车辆204的规划系统可以相对于物体206的预测位置评估轨迹208，如本文所讨论的。如图所示，环境202可以代表初始时间(例如T1)。
在一些示例中，车辆204的规划系统可以针对车辆204可能选择遵循的多条可能的轨迹，确定与物体206相关的预测遮挡区域。例如，车辆204的规划系统可以生成与预测遮挡区域相关的遮挡网格，预测遮挡区域涉及物体在未来时间点的估计位置。遮挡网格可以包括多个遮挡场地，多个遮挡场地可以代表环境的离散区域，例如可驾驶表面。在一些示例中，遮挡场地可以表示遮挡状态(例如表示该位置对自动驾驶车辆的一个或多个传感器是否可见)和占用状态(例如表示该位置是否被诸如车辆、行人、动物等物体占用)。遮挡网格可以从环境的地图数据生成，并且规划系统可以使用来自车辆的传感器的数据来确定遮挡场地的状态。在一些示例中，规划系统可以使用光线投射技术或其他方式来确定与遮挡网格相关的遮挡状态。此外，在一些示例中，车辆204的规划系统可以识别并将图像数据分段成语义类别，包括但不限于可驾驶表面、自由空间(例如可驾驶表面)和/或非自由空间、车辆、行人、建筑物、植被等。规划系统还可以包括接收分段的图像数据和地图数据的功能，地图数据包括遮挡网格和(多个)遮挡场地，并将(多个)遮挡场地投射到分段的图像数据中。在一些情况下，规划系统可以通过确定遮挡场地是否投射到可驾驶的表面(例如畅通的道路)、物体(例如将占据该区域的车辆)或其他不确定的情况来确定一个或多个遮挡场地的占用情况。
物体206的位置可以随时间来评估，以基于物体分类、位置、速度、加速度、传感器不确定度等来确定物体206的可能的未来位置。在示例200中，规划系统可以确定物体206直至时间T1是静态物体，并且可以在一定程度上预测物体206直至未来时间T2将保持静止(例如相对静止)。例如，物体206可以是处于交通信号灯或停车标志的车辆，这样车辆204(例如基于图像数据和/或地图数据)可以确定，物体206将至少在一段时间内保持静止。
在操作210，车辆204的规划系统(和/或遮挡系统)可以基于车辆204的第一轨迹确定静态物体(例如物体206)的预测遮挡区域。预测环境212说明车辆204和物体206在未来的时间(例如在T1之后的时间T2A)，其中车辆204遵循第一轨迹。基于确定物体206直至未来时间T2A将保持静止，规划系统可以基于车辆204的第一轨迹为未来时间T2A生成遮挡网格。为了预测环境212生成的遮挡网格可以包括基于物体206的位置表明遮挡状态和占用状态。进一步地，规划系统可以使用与预测环境212相关的地图数据来确定预测环境的被物体206遮挡的部分。
如预测环境212所示，车辆204的第一轨迹导致车辆在车辆204和物体206之间有大量空间的情况下停下。因此，如相对较小的预测遮挡区域214所表明地，车辆204有更多的可见性。
在操作216，车辆204的规划系统可以基于车辆204的第二轨迹确定静态物体(例如物体206)的预测遮挡区域。在一些示例中，车辆204的规划系统可以同时确定第一轨迹和第二轨迹(或任何数量的可能轨迹)的预测遮挡区域，然后再确定或以其他方式选择以哪条轨迹来穿越环境。预测环境218说明车辆204和物体206在未来的时间(例如在T1之后的时间T2B)，其中车辆204遵循不同于第一轨迹的第二轨迹。时间T2A和T2B在未来可以是基本相同的时间，这样车辆204的规划系统可以比较不同的轨迹将如何可能影响环境中预测遮挡区域。
与上面的讨论类似，规划系统可以基于车辆204的第二轨迹并基于确定物体206将直至未来时间T2B保持静止而生成用于未来时间T2B的遮挡网格。为了预测环境218生成的遮挡网格还可以包括基于物体206的位置表明遮挡状态和占用状态。进一步地，规划系统可以使用与预测环境218相关的地图数据来确定预测环境的被物体206遮挡的部分和/或属性。
然而，如预测环境218所示，相对于预测环境212，车辆204的第二轨迹导致车辆在更靠近物体206的地方停下来。因此，相对于预测环境212，如相对较大的预测遮挡区域220所表明地，车辆204有更低的可见性。当然，虽然为了说明目的被描绘为两种评估，但沿着每条轨迹的多个点可以被确定并求和(或以其他方式结合)，以确定遮挡分数和/或与之相关的轨迹分数。
图3是根据本公开的实施例的基于与动态物体的轨迹相关的预测遮挡区域评估车辆的轨迹的示例300。
环境302包括车辆304和物体306。在一些示例中，车辆304的规划系统和/或遮挡系统可以相对于物体306的预测位置评估轨迹308。如图所示，环境302可以代表初始时间(例如T1)。进一步地，环境302包括两个相连的可驾驶表面，第一可驾驶表面310(例如公路、高速公路或干线，仅举几个示例)和第二可驾驶表面312(例如出口或辅路)。
物体306的位置可以随时间来评估，以基于物体分类、位置、速度、加速度、传感器不确定度等来确定物体306的可能的未来位置。在示例300中，规划系统可以确定物体306直至时间T1是动态物体，例如基于物体306穿越可驾驶表面310时物体306的位置变化、物体306穿越可驾驶表面310时物体306的速度等。
在一些示例中，车辆304的规划系统和/或遮挡系统可以确定(例如在车辆304穿越环境302时连续地确定)物体306的预测位置。例如，车辆304的规划系统可以生成离散化的概率分布，代表物体306在环境中随时间变化的可能位置。例如，规划系统可以确定与物体306在初始状态或初始时间(例如T1)的不确定性相关的协方差矩阵。协方差矩阵可以包括与环境中的纵向、横向和/或垂直位置有关的方差。随着物体306的位置随着时间的推移被评估(例如在未来的时间T2)，协方差矩阵也可以被评估以确定与物体306未来的(多个)位置相关的协方差矩阵。还考虑了代表物体306的可能位置的其他技术，例如基于物理学的建模，这可能包括确定物体的速度和/或类型、地图数据等，并确定物体的预测轨迹。
在示例300中，车辆304的规划系统可以确定存在物体306将从可驾驶表面310退出、到可驾驶表面312上的第一概率，以及物体306将继续在可驾驶表面310上的第二概率。在一些示例中，规划系统可以生成一个或多个离散化概率分布或热图，包括与环境中的物体306的可能位置相关的预测概率。可以生成离散化概率分布以代表未来的任何时间点或时间段，例如未来的1秒、2秒、5秒等。进一步地，这种离散化概率分布可以代表与单个物体相关的预测概率，也可以代表与多个物体相关的合计预测概率。与物体306相关的预测轨迹可以至少部分地基于这种离散化概率分布或热图来确定。虽然离散化概率分布被描述为一个可能的示例，但可以使用任何合适的技术来预测物体的位置和/或轨迹，以及与之相关的概率。
在一些情况下，车辆304的规划系统可以基于协方差矩阵表示物体306在未来的可能位置，该协方差矩阵可以表示为高斯分布，该高斯分布可以离散为靠近物体或靠近车辆的环境的单元或部分。例如，离散化概率分布可以表示64x64的网格(或JxK尺寸的网格)，代表车辆304周围100米乘100米的区域。当然，离散化概率图可以代表任何尺寸的区域，并且可以代表该区域的任何数量的离散部分。也就是说，离散化概率图可以代表任何分辨率水平的环境。在某些情况下，离散化概率图的一部分可以被称为离散化概率图的一个单元。每个单元可以包括预测概率，代表物体306在离散化概率图对应的时间将处于环境中对应位置的概率。在一些情况下，机器学习模型可以输出多个离散化概率图，其中，多个离散化概率图中的离散化概率图可以代表与物体在未来特定时间(例如0.5秒、1秒、3秒、5秒、10秒等)相关的预测概率。虽然用离散化概率分布来描述，但预测轨迹不需要受限于此。其他模型(例如机器学习模型)一般可以输出一个或多个与物体相关的预测轨迹和/或与其相关的概率。
在图示的示例300中，第一概率和第二概率可以高于阈值概率，这可以使车辆的规划系统评估由物体306引起的预测遮挡区域，用于物体的两个预测位置。
例如，在操作314，车辆304的规划系统可以基于物体(例如物体306)的第一轨迹确定预测遮挡区域。预测环境316说明车辆304和物体306在未来的时间(例如在T1之后的时间T2A)，其中，物体306遵循第一轨迹。基于确定物体306将在未来时间T2A从可驾驶表面310退出、到可驾驶表面312上，规划系统可以基于物体306的第一轨迹针对未来时间T2A生成遮挡网格。为了预测环境316生成的遮挡网格可以包括基于物体306的位置和/或自由空间等表明遮挡状态和占用状态。进一步地，规划系统可以使用与预测环境316相关的地图数据来确定被物体306遮挡的预测环境的部分。规划系统基于遮挡网格和地图数据(也可用于确定遮挡区域的重要性)确定预测遮挡区域318，并且可以使用预测遮挡区域318来控制车辆，如上文和下文所述。
在操作320，车辆304的规划系统可以基于物体(例如物体306)的第二轨迹确定预测遮挡区域。在一些示例中，车辆304的规划系统可以同时确定物体306的第一轨迹和第二轨迹(或任何数量的可能轨迹)的预测遮挡区域。预测环境322说明车辆304和物体306在未来的时间(例如在T1之后的时间T2B)，其中，物体306遵循不同于第一轨迹的第二轨迹。时间T2A和T2B在未来可以是基本相同的时间，这样车辆304的规划系统可以比较物体306的不同预测轨迹将如何可能影响环境中预测遮挡区域。
基于确定物体306将在未来时间T2B保持在可驾驶表面312上，规划系统可以基于物体306的第二轨迹针对未来时间T2B生成遮挡网格。为了预测环境322生成的遮挡网格可以包括基于物体306的位置表明遮挡状态和占用状态。进一步地，规划系统可以使用与预测环境322相关的地图数据来确定预测环境的被物体306遮挡的部分(和/或确定遮挡区域的重要性水平)。规划系统基于遮挡网格和地图数据确定预测遮挡区域324，并且可以使用预测遮挡区域324来控制车辆，如上文和下文所述。当然，虽然为了说明目的被描绘为两种评估，但沿着每条轨迹的多个点可以被确定并求和(或以其他方式结合)，以确定遮挡分数和/或与之相关的轨迹分数。
图4是根据本公开的实施例的基于与动态物体相关的(多个)预测遮挡区域评估车辆的多条轨迹的示例400。
环境402包括车辆404、物体406(例如另一车辆)、物体408(例如交通信号灯)和物体410(例如并排停车车辆(DPV))。在一些示例中，车辆404的规划系统可以相对于物体406随着时间推移的预测位置评估第一轨迹412和第二轨迹414。如图所示，环境402可以代表初始时间(例如T1)，在该时间，车辆404意图在物体408所代表的红灯处进行右转。第一轨迹412和第二轨迹414对应于车辆404可以转入的可驾驶表面的不同车道。
如上所述，物体406的位置可以随时间来评估，以基于物体分类、位置、速度、加速度、传感器不确定度等来确定物体的可能的未来位置。在示例400中，规划系统可以确定物体406直至时间T1是动态物体，例如基于物体406穿越环境时物体的位置变化、物体406穿越环境时物体的速度等。此外，车辆404的规划系统可以例如基于物体分类确定物体408是具有红灯指示的交通信号灯。利用这个信息，规划系统可以确定，当红灯保持不变时，物体406有很大的可能性继续通过十字路口。进一步地，车辆404的规划系统可以使用这个信息来确定第一轨迹412和第二轨迹414的预测遮挡区域，并基于由物体406引起的预测遮挡区域来评估为车辆选择哪条轨迹来遵循。
例如，在操作416，车辆404的规划系统基于车辆404的第一轨迹412确定动态物体(例如物体406)的预测遮挡区域。预测环境418说明车辆404、物体406、物体408和物体410在未来的时间(例如在T1之后的时间T2A)，其中，物体404遵循第一轨迹412。车辆404的规划系统可以基于车辆404的第一轨迹412、物体406的预测轨迹和物体410的预测位置，针对未来时间T2A生成遮挡网格。为了预测环境418生成的遮挡网格可以包括基于物体406和物体410的位置表明遮挡状态和占用状态。进一步地，此规划系统可以使用与预测环境418相关联的地图数据来确定在车辆404遵循第一轨迹412时被物体406和物体410遮挡的预测环境的部分(和/或与之相关的重要性)。例如，与预测环境418相关的地图数据可以表明，交通可能来自物体410后面的方向，并且可能不可见，无论车辆404选定轨迹如何。在一些情况下，地图数据可以提供对其他潜在危险的洞察力，这些潜在危险可以由于物体410的位置而被考虑，例如送货司机进入物体410附近的建筑物进行送货、自行车手穿越物体410和人行道之间的狭窄区域，等等。当为车辆404选择要在环境中遵循的轨迹时，这些考虑可以增加(或减少)与预测环境418的不同区域相关的重要性。
规划系统基于遮挡网格和对应于物体406的预测位置的地图数据确定预测遮挡区域420，以及确定对应于物体410的预测位置的预测遮挡区域422。规划系统可以使用预测遮挡区域420和预测遮挡区域422来为预测遮挡区域420和/或预测遮挡区域422生成一个或多个遮挡分数。在一些示例中，遮挡分数可以基于预测遮挡区域420和/或422的尺寸、被物体406和/或物体410沿轨迹412遮挡的区域的重要性、地图数据等。例如，从车辆的视野中看，物体可以遮挡相对较大的区域，但如果该区域对控制车辆的重要性不大(例如该区域在行驶方向的后面)，则遮挡分数可能较低。然而，在其他情况下，从车辆的视野中看，物体可能遮挡住相对较小的区域，但该区域对控制车辆可能具有很高的重要性(例如该区域是车辆前方的匝道，有快速接近的来往车辆，被遮挡的区域包括车道或人行道等)，导致遮挡分数相对较高。当然，也考虑到一些示例，其中，大的遮挡区域得到高的遮挡分数，而小的遮挡区域得到低的遮挡分数。此外，在一些情况下，可能有区域无论车辆404的潜在轨迹如何都被遮挡，也被称为“永久遮挡”。当一个区域被确定为永久遮挡时，规划系统可以相应地控制车辆404，例如通过增加或减小速度、应用信号(例如闪光灯或其他信号)以通知周围的交通和/或行人车辆即将采取的行动，等等。在至少一些示例中，在确定遮挡分数和/或轨迹分数时，可将这种永久遮挡的区域考虑在内。作为非限制性的示例，永久遮挡区域可以为所有可能的遮挡分数和/或轨迹分数提供最小约束，因为不可能规划使其进一步最小化的替代轨迹。
在操作424，车辆404的规划系统基于车辆404的第二轨迹414确定动态物体(例如物体406)的预测遮挡区域。在一些示例中，车辆404的规划系统可以同时确定车辆404的第一轨迹412和第二轨迹414(或任何数量的可能轨迹)的预测遮挡区域。预测环境426说明车辆404、物体406、物体408和物体410在未来的时间(例如在T1之后的时间T2B)，其中，物体404遵循不同于第一轨迹412的第二轨迹414。时间T2A和T2B在未来可以是基本相同的时间，这样车辆404的规划系统可以比较物体404的不同预测轨迹412和414将如何可能影响环境中预测遮挡区域。
车辆404的规划系统可以基于车辆404的第二轨迹414、物体406的预测轨迹和物体410的预测位置，针对未来时间T2B生成遮挡网格。为了预测环境426生成的遮挡网格可以包括基于物体406和物体410的位置表明遮挡状态和占用状态。进一步地，此规划系统可以使用与预测环境426相关联的地图数据来确定在车辆404遵循第二轨迹412时被物体406和/或物体410遮挡的预测环境的部分(和/或确定与之相关的重要性)。规划系统基于遮挡网格和地图数据，确定对应于物体406的预测位置的预测遮挡区域428，以及确定对应于物体410的预测位置的预测遮挡区域430。规划系统可以使用预测遮挡区域428和/或预测遮挡区域430来为预测遮挡区域428和/或预测遮挡区域430生成一个或多个遮挡分数。在一些示例中，(多个)遮挡分数可以基于预测遮挡区域428和/或430的尺寸、被物体406和/或物体410沿轨迹414遮挡的区域的重要性、地图数据、感应数据等。
在一些示例中，车辆404的规划系统可以将第一轨迹412的遮挡分数中的一个或多个遮挡分数与第二轨迹414的(多个)遮挡分数进行比较，并且基于各轨迹的遮挡分数在轨迹之间进行选择。例如，尽管预测遮挡区域420的面积比预测遮挡区域428的大，但预测遮挡区域420可以基于被物体406遮挡的区域的重要性而获得低的遮挡分数。此外，尽管预测遮挡区域428的面积比预测遮挡区域420的小，但预测遮挡区域428可以基于被物体406遮挡的区域的重要性而获得高的遮挡分数。因此，基于对预测遮挡区域420和预测遮挡区域428的分析，车辆404的规划系统可以控制车辆404遵循第一轨迹412穿越环境。
车辆404的规划系统还可以在为车辆404选择第一轨迹412或第二轨迹414以穿越环境时考虑预测遮挡区域422和预测遮挡区域430。预测遮挡区域422和预测遮挡区域430至少部分重叠，导致环境的区域被永久遮挡。换句话说，无论车辆404是遵循第一轨迹412还是第二轨迹414，物体410后面的区域都将被遮挡。基于地图数据，车辆404的规划系统可以确定在物体410后面有可能即将来临的交通情况，并可以在选择第一轨迹412或第二轨迹414时使用这个信息。例如，车辆404的规划系统可以确定第一轨迹对车辆404遵循来说是更安全的，基于确定在即将来临的交通情况中被遮挡的车辆更有可能遵循物体406的路线并留在未被物体410占据的车道上，至少通过交通的十字路口。当然，虽然为了说明目的被描绘为两种评估，但沿着每条轨迹的多个点可以被确定并求和(或以其他方式结合)，以确定遮挡分数和/或与之相关的轨迹分数。
图5A是图5B和图5C中提出的示例500的概览。环境502可以包括车辆504、第一物体506和第二物体508。在这个示例中，第一物体506可以是卡车，其已经停在可驾驶表面510上并且打开了其危险警告灯，例如在附近送货(例如物体506可以代表并排停车车辆)。此外，在这个示例中，第二物体508可以是与车辆504同向移动的车辆。可驾驶表面510可能是双车道道路，交通在两条车道上以相反的方向移动，并且相应地，物体508可以与围绕物体506导航的预测轨迹509相关联。
在一些示例中，车辆504的规划系统可以相对于物体506和物体508随着时间推移的(多个)预测位置评估第一轨迹512和第二轨迹514。如图所示，环境502可以代表初始时间(例如T1)，在该初始时间，车辆504接近静止物体506，并且物体508在可驾驶表面510的迎面交通车道上经过物体506。
如环境516所示，第一轨迹512对应于在车辆504接近物体506时，车辆504停留在可驾驶表面510的同一车道上。此外，如环境518所示，第二轨迹514对应于车辆504移动到可驾驶表面510的迎面交通车道上，例如跟随物体508围绕物体506。如上所述，车辆504的规划系统可以确定静止物体506和动态物体508在未来时间的预测位置。操作520可以包括车辆504的规划系统基于第一轨迹512确定物体506和物体508的预测遮挡区域，并且如图5B中进一步说明的那样。操作522可以包括车辆504的规划系统基于第二轨迹514确定物体506和物体508的预测遮挡区域，并且如图5C中进一步说明的那样。
图5B是根据本公开的实施例的基于随时间推移与(多个)物体相关的(多个)预测遮挡区域而评估车辆504的第一轨迹512的示例524。为方便起见，再现了环境516，描绘了车辆504可能遵循的第一轨迹512。预测环境526说明车辆504、物体506、物体508在未来的时间(例如在T1之后的时间T2A)，其中，车辆504遵循第一轨迹512。预测环境528说明车辆504、物体506、物体508在随后的未来时间(例如在T2A之后的时间T3A)，其中，车辆504继续沿第一轨迹512行驶。
车辆504的规划系统可以基于车辆504的第一轨迹512、物体506的位置和物体508的预测位置，针对未来时间T2A和T3A生成遮挡网格。为了预测环境526和528生成的遮挡网格可以包括基于物体506和物体508的位置表明遮挡状态和占用状态。进一步地，规划系统可以使用与预测环境526和528相关的地图数据，以确定随着时间流逝并且随着车辆504遵循第一轨迹512行驶而被物体506和物体508遮挡的预测环境的部分(和/或与之相关的重要性)。例如，规划系统可以使用与预测环境526和528相关的地图数据来确定在可驾驶表面510上可能有即将来临的交通情况，并且因此可以将程度较高的相对重要性与可驾驶表面510的可能包括即将来临的交通情况的遮挡区域相关联。规划系统可以基于遮挡网格和地图数据，确定预测环境526在时间T2A时的预测遮挡区域530和532，以及预测环境528在时间T3A时的预测遮挡区域534。
车辆504的规划系统可以使用多个预测遮挡区域530、532和534来为预测遮挡区域530、532和534生成遮挡分数。在一些示例中，规划系统可以将预测遮挡区域530、532和/或534的遮挡分数求和、合计或以其他方式组合，以确定第一轨迹512的轨迹分数。虽然示例524说明了两个未来时间(例如T2A和T3A)，但可以为特定轨迹评估任何数量的未来时间，包括对为了(多个)预测遮挡区域生成的任何数量的遮挡分数进行求和、合计和/或以其他方式组合，以确定特定轨迹的轨迹分数。
图5C是根据本公开的实施例的基于随时间推移与(多个)物体相关的(多个)预测遮挡区域而评估车辆504的第二轨迹514的示例536。为方便起见，再现了环境518，描绘了车辆504可能遵循的第二轨迹514。预测环境538说明车辆504、物体506和物体508在未来的时间(例如在T1之后的时间T2B)，其中，车辆504遵循第二轨迹514。此外，预测环境540说明车辆504、物体506、物体508在随后的未来时间(例如在T2B之后的时间T3B)，其中，车辆504继续沿第二轨迹514行驶。未来时间T2B和T3B在未来可以是与未来时间T2A和T3A基本相同的时间，这样车辆504的规划系统可以比较车辆504的不同轨迹512和514将如何可能影响环境中的遮挡区域。
车辆504的规划系统可以基于车辆504的第二轨迹514、物体506的位置和物体508的预测轨迹，针对未来时间T2B和T3B生成遮挡网格。为了预测环境538和540生成的遮挡网格可以包括基于物体506和物体508的位置表明遮挡状态和占用状态。进一步地，规划系统可以使用与预测环境538和540相关的地图数据，以确定随着时间流逝并且随着车辆504遵循第二轨迹514行驶而被物体506和物体508遮挡的预测环境的部分。规划系统可以基于遮挡网格和地图数据，确定预测环境538在时间T2B时的预测遮挡区域542和544，以及预测环境540在时间T3B时的预测遮挡区域546。
车辆504的规划系统可以使用多个预测遮挡区域542、544和/或546来为预测遮挡区域542、544和546生成遮挡分数。在一些示例中，规划系统可以将预测遮挡区域542、544和/或546的遮挡分数求和、合计或以其他方式组合，以确定第二轨迹514的轨迹分数。车辆504的规划系统可以比较与第一轨迹512和第二轨迹514相关的轨迹分数(无论是以组合方式还是以每个遮挡分数为基础的)，以确定在车辆504穿越环境时如何控制车辆504。例如，规划系统可以选择具有最大可见面积(例如最小的总遮挡面积)的轨迹、在最长时间内保持感兴趣区域的可见性的轨迹、基于轨迹分数和/或其他成本的轨迹，等等。当然，虽然为了说明目的被描绘为两种评估，但沿着每条轨迹的多个点可以被确定并求和(或以其他方式结合)，以确定遮挡分数和/或与之相关的轨迹分数。
图6是根据本公开的实施例的用于基于与(多个)物体相关的(多条)预测轨迹和与各(多个)物体相对于(多条)车辆轨迹相关的预测遮挡区域来评估车辆的(多条)轨迹、确定(多条)车辆轨迹的遮挡分数并基于遮挡分数来控制车辆的示例流程600的图像流程图。重现环境502是为了说明与示例流程600有关的各种概念。
车辆504的规划系统可以在车辆504穿越环境时执行各种功能。例如，在操作602，车辆504的规划系统确定车辆的第一轨迹(例如轨迹512)。例如，在操作604，车辆504的规划系统确定车辆的第二轨迹(例如轨迹514)。操作602和操作604可以由车辆504的规划系统基本上同时执行。
在操作606，为物体A(例如物体506)确定一条或多条预测轨迹。预测轨迹可以基于物体A(例如物体506)的当前位置，同时随着时间的推移评估物体A，以基于物体分类、位置、速度、加速度、传感器不确定性等确定物体A的可能位置。在一些示例中，物体A的预测轨迹可以是静态轨迹，其中物体A随时间相对静止，或物体A的预测轨迹可以是动态轨迹，其中物体A随时间移动和/或加速。物体A的预测轨迹可以代表物体在未来一个或多个时间(例如0.5秒、1秒、5秒等)的预测位置。
另外，可以确定环境中额外物体的预测轨迹。例如，在操作608，确定物体N(例如物体508)的一条或多条预测轨迹(例如预测轨迹509)。物体N的预测轨迹可以与物体A的预测轨迹基本同时确定，并以上述类似(或不同)的方式确定。例如，物体N的预测轨迹可以代表物体在未来一个或多个时间(例如0.5秒、1秒、5秒等)的预测位置，其中所述一个或多个时间基本上是计算物体A的预测位置的相同时间。各种物体(例如物体A-物体N)的预测轨迹可以相对于车辆504的第一轨迹512确定。换句话说，当车辆504沿第一轨迹512穿越环境时，规划系统确定物体与车辆504的相对位置。
在操作610，为物体A确定一条或多条预测轨迹，所述一条或多条预测轨迹可能与预测轨迹606对应，也可能不对应。作为非限制性的示例，物体A的预测轨迹可能取决于车辆轨迹，因此，可能与其不同。同样，在操作612，为物体N确定一条或多条预测轨迹(如上所述，可能与608中的那些预测轨迹不同)，这可能包括为从物体A到物体N的任何数量的物体确定一条或多条预测轨迹。在操作610和612中为物体A和物体N确定的预测轨迹可以相对于车辆504的第二轨迹514确定。因此，规划系统确定当车辆504沿第二轨迹514穿越环境时，物体将相对于车辆504的位置。在一些示例中，基于第一轨迹512确定轨迹的物体的数量可能不同于基于第二轨迹514确定轨迹的物体的数量。操作610和操作612可以由车辆504的规划系统基本同时执行，并且也可以像操作606和操作608那样基本同时执行。此外，物体A和/或物体N的预测轨迹可以代表物体A和物体N相对于第二轨迹514在未来基本相同的时间的预测位置，如针对物体A和物体N相对于第一轨迹512所确定地。
在操作614，确定与物体A相关的预测遮挡区域。此外，在操作616，确定与物体N相关的预测遮挡区域。如上所述，预测遮挡区域对应于环境区域，这些环境区域无法被车辆的传感器感应到，因为物体阻挡了传感器对环境的观察。因此，由操作614和操作616确定的预测遮挡区域代表下述环境区域，如果车辆504遵循第一轨迹512行驶，那么车辆504的传感器可能无法查看所述环境区域。
在操作618，确定与物体A相关的预测遮挡区域。在操作620，确定与物体N相关的预测遮挡区域。因此，由操作618和操作620确定的预测遮挡区域代表下述环境区域，如果车辆504遵循第二轨迹514行驶，那么车辆504的传感器可能无法感测所述环境区域。因此，由操作618和操作620确定的预测遮挡区域将可能(尽管不一定)不同于由操作614和操作616确定的预测遮挡区域，因为对于第一轨迹512和第二轨迹514，车辆504相对于物体A和物体N的位置可以不同。
在操作622，确定与第一轨迹相关的第一遮挡分数。遮挡分数可以基于与预测遮挡区域相关的属性，例如被物体A-物体N遮挡的环境的百分比、相对于物体A-物体N的可见距离(例如物体离车辆有多近或多远)、遮挡区域是否阻碍了对轨迹来说很重要的区域(例如车辆“后面”的遮挡区域可能不如车辆“前面”的遮挡区域重要、没有会影响车辆行驶的区域重要，比如包括(或可能包括)即将来临的交通状况的遮挡区域等)，如此等等。在一些示例中，第一遮挡分数可用于确定第一轨迹512的轨迹分数，其中轨迹分数代表环境中的物体A-物体N的遮挡分数的加总或合计。
在操作624，确定与第二轨迹相关的第二遮挡分数。第二车辆轨迹的遮挡分数可以使用与预测遮挡区域相关的相同或不同的属性来确定。此外，在一些示例中，第二遮挡分数可用于确定第二轨迹514的轨迹分数，代表环境中的物体A-物体N的遮挡分数的总体加总或合计。
在操作626，基于遮挡分数和/或基于轨迹分数来控制车辆。例如，可以控制车辆遵循具有最佳能见度百分比的轨迹(例如最小的遮挡区域)、保持重要区域的能见度的轨迹(例如不遮挡重要区域)、没有遮挡分数达到或超过阈值遮挡分数的轨迹，如此等等。
图7描绘了用于实施本文所述技术的示例系统700的框图。在至少一个示例中，系统700可以包括车辆702，其可以对应于图1的车辆112、图2的车辆204、图3的车辆304、图4的车辆404和/或图5A-图5C的车辆504。
车辆702可以包括(多个)车辆计算设备704、一个或多个传感器系统706、一个或多个发射器708、一个或多个通信连接710、至少一个直接连接712、以及一个或多个驱动系统714。
(多个)计算装置704可包括一个或多个处理器716和与一个或多个处理器716通信关联的存储器718。在图示的示例中，车辆702是自动驾驶车辆；然而，车辆702可以是任何其他类型的车辆或机器人平台。在图示的示例中，(多个)车辆计算设备704的存储器718存储了定位组件720、感知组件722、一个或多个地图724、一个或多个系统控制器726、遮挡组件728、物体轨迹预测组件730、物体位置投影组件732、规划组件734、以及轨迹选择组件736。虽然在图7中为了说明的目的被描述为驻留在存储器718中，但考虑到定位组件720、感知组件722、一个或多个地图724、一个或多个系统控制器726、遮挡组件728、物体轨迹预测组件730、物体位置投影组件732、规划组件734和轨迹选择组件736可以额外地、或替代地被车辆702访问(例如存储在远离车辆702的存储器上，或以其他方式被其访问)。
在至少一个示例中，定位组件720可以包括从(多个)传感器系统706接收数据的功能，以确定车辆702的位置和/或取向(例如X-位置、Y-位置、Z-位置、侧倾、俯仰或偏航中的一个或多个)。例如，定位组件720可以包括和/或请求/接收环境的地图，并且可以连续确定自动驾驶车辆在地图中的位置和/或取向。在一些情况下，定位组件720可以利用SLAM(同时定位和绘图)、CLAMS(同时校准、定位和绘图)、相对SLAM、捆绑调整、非线性最小二乘法优化等来接收图像数据、激光雷达数据、雷达数据、飞行时间数据、IMU数据、GPS数据、车轮编码器数据等以准确确定自动驾驶车辆的位置。在一些情况下，定位组件720可以向车辆702的各种组件提供数据，以确定自动驾驶车辆的初始位置，用于生成轨迹和/或确定从存储器检索包括遮挡网格的地图数据，如本文所讨论的。
在一些情况下，感知组件722可包括执行物体探测、分段和/或分类的功能。在一些示例中，感知组件722可以提供经过处理的传感器数据，所述传感器数据表明靠近车辆702的实体的存在和/或将该实体分类为实体类型(例如汽车、行人、骑自行车的人、动物、建筑物、树、路面、路缘、人行道、交通信号灯、停车标志、未知等)。在额外的或替代的示例中，感知组件722可以提供经过处理的传感器数据，所述传感器数据表明与检测到的实体(例如被跟踪的物体)和/或实体所处的环境相关的一个或多个特征。在一些示例中，与实体相关的特征可以包括但不限于X-位置(全局和/或局部位置)、Y-位置(全局和/或局部位置)、Z-位置(全局和/或局部位置)、取向(例如侧倾、俯仰、偏航)、实体类型(例如分类)、实体的速度、实体的加速度、实体的范围(尺寸)等等。与环境相关的特征可以包括但不限于环境中另一实体的存在、环境中另一实体的状态、一天中的某个时间、一周中的某一天、季节、天气状况、黑暗/光线的指示等。
存储器718可以进一步包括可由车辆702用于在环境中导航的一个或多个地图724。就本讨论而言，地图可以是以二维、三维或N维建模的任何数量的数据结构，其能够提供关于环境的信息，例如但不限于拓扑结构(例如十字路口)、街道、山脉、道路、地形和一般环境。在一些情况下，地图可以包括但不限于：纹理信息(例如颜色信息(例如RGB颜色信息、Lab颜色信息、HSV/HSL颜色信息)等)、强度信息(例如激光雷达信息、雷达信息等)；空间信息(例如投影到网格上的图像数据，单个“面元”(例如与单个颜色和/或强度相关的多边形))、反射率信息(例如镜面性信息、逆反射率信息、BRDF(双向反射分布函数)信息、BSSRDF(双向散射表面反射分布函数)信息等)。在一个示例中，地图可以包括环境的三维网格。在一些情况下，地图可以以分片格式存储，这样，地图的单个分片代表环境的离散部分，并可以根据需要加载到工作存储器。在至少一个示例中，一个或多个地图724可以包括至少一个地图(例如图像和/或网格)。在一些示例中，车辆702可以至少部分地基于地图724而被控制。也就是说，地图724可以与定位组件720、感知组件722、遮挡组件728和/或规划组件734结合使用，以确定车辆702的位置、识别环境中的物体、和/或生成路线和/或轨迹以在环境中导航。
在一些示例中，一个或多个地图724可以存储在能通过(多个)网络738访问的(多个)远程计算设备(例如(多个)计算设备740)上。在一些示例中，可以基于例如特征(例如实体的类型、一天中的某个时间、一周中的一天、一年中的季节等)来存储多个地图724。存储多个地图724可以有类似的内存要求，但增加了地图中的数据可以被访问的速度。
在一些示例中，一个或多个地图724可以存储与环境中的单个位置相关的遮挡网格。例如，当车辆702穿越环境并且当代表车辆702附近区域的地图被加载到存储器中时，与位置相关的一个或多个遮挡网格也可以被加载到存储器中。在一些示例中，可以基于地图数据动态地生成遮挡网格。
一般来说，遮挡组件728可以确定由环境中的一个或多个物体导致的环境的遮挡区域，包括预测未来时间的环境中的遮挡区域。在一些情况下，遮挡组件728可以向规划组件734提供遮挡信息，以确定何时和/或如何控制车辆702来穿越环境。如本文所讨论的，遮挡组件728可以接收激光雷达数据、图像数据、地图数据等以确定环境中的遮挡相关信息。在于2018年6月18日提交的美国专利申请号为16/011436的文献中讨论了生成和/或使用遮挡网格的示例。申请号为16/011436的文献的全部内容通过引用并入本文。
包括在遮挡组件728中的物体轨迹预测组件730确定、例如实时地确定环境中的物体的轨迹，并且还可以预测物体的未来轨迹。预测轨迹可以基于物体的当前位置，同时基于根据物体的分类、位置、速度、加速度、传感器的不确定性等来评估物体随时间的变化，以确定物体的可能位置。物体轨迹预测组件730可以被配置为基本上同时评估和/或预测相对于多条可能的车辆轨迹的多条物体轨迹。在于2018年10月4日提交的美国专利申请号为16/151607的文献中讨论了生成一条或多条预测轨迹的示例。申请号为16/151607的文献的全部内容通过引用并入本文。
物体位置投影组件732可以确定与相对于车辆轨迹的各种物体轨迹相关的预测遮挡区域。例如，物体位置投影组件732可以将遮挡区域投影到车辆周围环境的地图724上，以确定环境的哪些“已知”部分将被物体遮挡。地图724可被物体位置投影组件732用来确定环境的重要区域，例如人行横道、十字路口、自行车道、匝道等。在一些情况下，物体位置投影组件732可以使用光线投射技术来确定与物体相关的预测遮挡区域。进一步地，物体位置投影组件732可以基于预测到会被遮挡的环境区域的相对重要性，为预测遮挡区域确定遮挡分数。此外或替代性地，物体位置投影组件732可以基于其他因素确定遮挡分数，例如遮挡区域阻挡的环境的百分比、从车辆到遮挡区域的距离、与遮挡区域相关的地图数据(例如表明人行道区域、车道等)，诸如此类。在一些示例中，物体位置投影组件732可以将遮挡分数合计为特定轨迹的轨迹分数，其中轨迹分数可以对应于代表车辆702的轨迹或行动将导致车辆702的更好(或更差)的可见性。
一般来说，规划组件734可以确定车辆702要遵循的路径以穿越环境。例如，规划组件734可以确定各种路线和轨迹以及各种级别的细节。例如，规划组件734可以确定从第一位置(例如当前位置)行驶到第二位置(例如目标位置)的路线。就本讨论而言，路线可以是用于在两个位置之间行驶的路径点序列。作为非限制性的示例，路径点包括街道、十字路口、全球定位系统(GPS)坐标等。进一步地，规划组件734可以生成用于引导自动驾驶车辆沿着从第一位置到第二位置的至少一部分路线的指令。在至少一个示例中，规划组件734可以确定如何引导自动驾驶车辆从路径点序列中的第一路径点到路径点序列中的第二路径点。在一些示例中，该指令可以是轨迹、或轨迹的一部分。在一些示例中，可以根据滚动时域技术基本上同时生成多条轨迹(例如在技术公差范围内)，其中多条轨迹中的一条轨迹被选择用于车辆702的导航。
在一些情况下，规划组件734可以至少部分地基于(多个)遮挡分数和/或为各种轨迹确定的(多个)轨迹分数，为车辆702生成一条或多条轨迹，如本文所讨论的。在一些示例中，规划组件734可以使用时序逻辑，例如线性时序逻辑和/或信号时序逻辑，以评估车辆702的一条或多条轨迹。在规划组件734中利用时序逻辑的细节在美国专利申请序列号为15/632147的文献中讨论，其全部内容通过引用纳入本文。
在至少一个示例中，(多个)车辆计算设备704可以包括一个或多个系统控制器726，其可以被配置为控制车辆702的转向、推进、制动、安全、发射器、通信和其他系统。这些(多个)系统控制器726可以与(多个)驱动系统714和/或车辆702的其他部件的相应系统通信和/或对其进行控制。
可以理解，本文讨论的组件(例如定位组件720、感知组件722、一个或多个地图724、一个或多个系统控制器726、遮挡组件728、物体轨迹预测组件730、物体位置投影组件732、规划组件734、以及轨迹选择组件736)为了说明目的而分开描述。然而，由各个组件执行的操作可以在任何其他组件中结合起来或执行。作为示例，物体位置预测/投影功能可以由感知组件722(例如而不是由物体轨迹预测组件730)执行，以减少系统传输的数据量。
在至少一个示例中，(多个)传感器系统706可以包括激光雷达传感器、雷达传感器、超声波传感器、声纳传感器、位置传感器(例如GPS、指南针等)、惯性传感器(例如惯性测量单元(IMU)、加速计、磁力计、陀螺仪等)、相机(例如RGB、IR、强度、深度、飞行时间等)、麦克风、车轮编码器、环境传感器(例如温度传感器、湿度传感器、光传感器、压力传感器等)等。(多个)传感器系统706可以包括这些或其他类型的传感器中的每一个的多个实例。例如，激光雷达传感器可以包括位于车辆702的拐角、前面、后面、侧面和/或顶部的单个激光雷达传感器。作为另一示例，相机传感器可以包括布置在车辆702的外部和/或内部的不同位置的多个相机。(多个)传感器系统706可以向(多个)车辆计算设备704提供输入。此外或替代地，(多个)传感器系统706可以通过一个或多个网络738以特定的频率、在预定的时间段过后、以近乎实时的方式向一个或多个计算设备发送传感器数据等。
车辆702还可以包括一个或多个发射器708，用于发射光和/或声音，如上所述。本实施例中的发射器708包括用于与车辆702的乘客通信的内部音频和视觉发射器。通过举例而非限制的方式，内部发射器可以包括扬声器、灯、标志、显示屏幕、触摸屏、触觉发射器(例如振动和/或力反馈)、机械致动器(例如安全带张紧器、座椅定位器、头枕定位器等)诸如此类。本例中的发射器708还包括外部发射器。通过举例而非限制的方式，本例中的外部发射器包括发出行驶方向信号或车辆行动的其他指示的灯光(例如指示灯、标志、灯光阵列等)、以及一个或多个音频发射器(例如扬声器、扬声器阵列、喇叭等)，以便与行人或其他附近车辆进行声音交流，其中一个或多个音频发射器包括声束转向技术。
车辆702还可以包括一个或多个通信连接710，其使车辆702与一个或多个本地或远程的其他(多个)计算设备之间进行通信。例如，(多个)通信连接710可以促进与车辆702上的(多个)其他本地计算设备和/或(多个)驱动系统714的通信。而且，(多个)通信连接710可以允许车辆与附近的(多个)其他计算设备(例如附近的其他车辆、交通信号等)进行通信。(多个)通信连接710还使车辆702能够与远程操作计算设备或其他远程服务进行通信。
(多个)通信连接710可包括物理接口和/或逻辑接口，用于将(多个)车辆计算设备704连接至另一计算设备或网络、比如(多个)网络738。例如，(多个)通信连接710可实现基于Wi-Fi的通信，例如通过由IEEE802.11标准规定的频率、短距离无线频率比如蓝牙，也可实现蜂窝通信(例如2G、3G、4G、4G LTE、5G等)或任何合适的有线或无线通信协议，所述通信协议能实现相应计算装置与(多个)其他计算装置通过接口连接。
在至少一个示例中，车辆702可以包括一个或多个驱动系统714。在一些示例中，车辆702可以具有单个驱动系统714。在至少一个示例中，如果车辆702具有多个驱动系统714，那么单个驱动系统714可以设置在车辆702的相对两端(例如前端和后端等)。在至少一个示例中，(多个)驱动系统714可以包括一个或多个传感器系统，以检测(多个)驱动系统714和/或车辆702周围环境的条件。作为示例而非限制地，(多个)传感器系统可以包括一个或多个车轮编码器(例如旋转编码器)以感知驱动模块的车轮的旋转，惯性传感器(例如惯性测量单元、加速度计、陀螺仪、磁力计等)以测量驱动模块的取向和加速度，相机或其他图像传感器，超声波传感器以声学方式检测驱动系统周围的物体，激光雷达传感器，雷达传感器等。一些传感器，如车轮编码器可以是(多个)驱动系统714所特有的。在一些情况下，(多个)驱动系统714上的(多个)传感器系统可以与车辆702的相应系统(例如(多个)传感器系统706)重叠或补充。
(多个)驱动系统714可包括多个车辆系统，包括高压电池、推动车辆的马达、将电池的直流电转换为交流电供其他车辆系统使用的逆变器、包括转向马达和转向架(可以是电动的)的转向系统、包括液压或电动执行器的制动系统、包括液压和/或气动组件的悬挂系统、用于分散制动力以降低牵引力损失并保持控制的稳定性控制系统、HVAC(高压交流电)系统、照明(例如用于照亮车辆外部的头/尾灯的照明)以及一个或多个其他系统(例如冷却系统、安全系统、车载充电系统、其他电气组件比如DC/DC转换器、高压结点、高压电缆、充电系统、充电端口等)。此外，(多个)驱动系统714可包括驱动系统控制器，其可接收和预处理来自(多个)传感器系统的数据以控制不同车辆系统的操作。在一些示例中，驱动系统控制器可包括一个或多个处理器以及与一个或多个处理器通信关联的存储器。存储器可存储一个或多个组件，以执行(多个)驱动系统714的各种功能。进一步地，(多个)驱动系统714也可包括一个或多个通信连接，能实现各驾驶系统与一个或多个其他本地或远程计算装置的通信。
在至少一个示例中，直接连接712可以提供物理接口，以将一个或多个驱动系统714与车辆702的车身联接。例如，直接连接712可以允许在(多个)驱动系统714和车辆之间传递能量、流体、空气、数据等。在一些情况下，直接连接712可以进一步可释放地将(多个)驱动系统714固定到车辆702的车身。
在至少一个示例中，定位组件720、感知组件722、一个或多个地图724、一个或多个系统控制器726、遮挡组件728、物体轨迹预测组件730、物体位置投影组件732、规划组件734以及轨迹选择组件736可以处理传感器数据，如上所述，并且可以通过一个或多个网络738将它们各自的输出发送到一个或多个计算设备740。在至少一个示例中，定位组件720、感知组件722、一个或多个地图724、一个或多个系统控制器726、遮挡组件728、物体轨迹预测组件730、物体位置投影组件732、规划组件734和轨迹选择组件736可以在特定频率下、在预定时间段过后、以接近实时的方式将它们各自的输出发送到一个或多个计算设备740。
在一些示例中，车辆702可以通过(多个)网络738将传感器数据发送到一个或多个计算设备740。在一些示例中，车辆702可以将原始传感器数据发送到(多个)计算设备740。在其他示例中，车辆702可以向(多个)计算设备740发送经过处理的传感器数据和/或传感器数据的表示。在一些示例中，车辆702可以以特定的频率、在经过预定的时间段后、以接近实时的方式将传感器数据发送到(多个)计算设备740等。在一些情况下，车辆702可以将传感器数据(原始或处理过的)作为一个或多个日志文件发送到(多个)计算设备740。
(多个)计算设备740可以包括(多个)处理器742和存储训练组件746的存储器744。
在一些情况下，训练组件746可以包括下述功能，即，训练一个或多个模型以确定物体位置和/或轨迹的预测、确定遮挡区域预测、确定如何生成轨迹和/或如何响应环境中的物体位置而变化，等等。在一些情况下，训练组件746可以将由一个或多个模型产生的信息传达给(多个)车辆计算设备704，以修订如何响应不同情况控制车辆702。
例如，本文讨论的部分或全部组件的方面可以包括任何模型、算法和/或机器学习算法。例如，在一些情况下，存储器744(以及上文讨论的存储器718)中的组件可以实现为神经网络。在一些示例中，训练组件746可以利用神经网络来生成和/或执行一个或多个模型，以改善轨迹规划的遮挡分析的各个方面。
如本文所述，示例性神经网络是受生物启发的算法，它将输入数据通过一系列的连接层来产生输出。神经网络的每层也可包括另一神经网络，或可包括任何数量的层(无论是否为卷积的)。正如在本公开内容的上下文中可以理解的那样，神经网络可以利用机器学习，这可以指广泛的此类算法，其中输出是基于学习的参数生成的。
虽然是在神经网络的背景下进行讨论，但任何类型的机器学习都可以符合本公开内容。例如，机器学习算法可以包括但不限于回归算法(例如普通最小二乘回归(OLSR)、线性回归、逻辑回归、逐步回归、多变量自适应回归样条(MARS)、局部估计散点图平滑(LOESS))、基于实例的算法(例如岭回归、最小绝对收缩和选择运算符(LASSO)、弹性网、最小角度回归(LARS))、决策树算法(例如分类和回归树(CART)、迭代二分法3(ID3)、卡方自动交互检测(CHAID)、决策树桩，条件决策树)，贝叶斯算法(例如朴素贝叶斯、高斯朴素贝叶斯、多叉朴素贝叶斯、平均单项估计器(AODE)、贝叶斯信念网络(BNN)、贝叶斯网络)、聚类算法(如k-means、k-medians、期望最大化(EM)、分层聚类)、关联规则学习算法(例如感知、反向传播、霍普菲尔网络、径向基函数网络(RBFN))、深度学习算法(如深度波尔兹曼机(DBM)、深度信念网络(DBN)、卷积神经网络(CNN)、叠加自动编码器)、降维算法(例如主成分分析(PCA)、主成分回归(PCR)、部分最小二乘回归(PLSR)、萨蒙映射、多维缩放(MDS)、投影追求、线性判别分析(LDA)、混合判别分析(MDA)、二次判别分析(QDA)、灵活判别分析(FDA))、集合算法(例如提升算法,引导聚集算法(Bagging),自适应提升算法,层叠泛化算法(融合),梯度提升机(GBM),梯度回归提升树(GBRT),随机森林)、SVM(支持向量机)、监督学习、无监督学习、半监督学习等等。
架构的其他示例包括神经网络，如ResNet50、ResNetlOl、VGG、DenseNet、PointNet等。
车辆702的(多个)处理器716和(多个)计算设备740的(多个)处理器742可以是能够执行指令以处理数据和执行本文所述操作的任何合适的处理器。作为示例而非限制地，(多个)处理器716和742可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)，或处理电子数据以将该电子数据转化为可存储在寄存器和/或存储器中的其他电子数据的任何其他装置或装置的一部分。在一些示例中，集成电路(如ASIC等)、门阵列(如FPGA等)和其他硬件设备也可被视为处理器，只要它们被配置为实现编码的指令。
存储器718和744是非临时性计算机可读介质的示例。存储器718和744可以存储操作系统和一个或多个软件应用程序、指令、程序和/或数据，以实现本文所述的方法和归属于各种系统的功能。在各种实施例中，存储器可以使用任何合适的存储器技术来实现，例如静态随机存取存储器(SRAM)、同步动态RAM(SDRAM)、非易失性/闪存型存储器或任何其他能够存储信息的存储器类型。本文描述的架构、系统和单个元件可以包括许多其他的逻辑、程序和物理组件，其中附图中所示的那些组件只是与本文讨论有关的示例。
应当注意的是，虽然图7被说明为分布式系统，但在替代实例中，车辆702的部件可以与(多个)计算设备740相关联和/或(多个)计算设备740的部件可以与车辆702相关联。也就是说，车辆702可以执行与(多个)计算设备740相关的一个或多个功能，反之亦然。进一步地，遮挡组件728和/或规划组件734的各个方面可以在本文讨论的任何设备上执行。
图8描绘了根据本公开的实施例的用于捕获传感器数据、确定物体的预测位置、确定自动驾驶车辆穿越环境的轨迹、基于不同的车辆轨迹确定与物体的预测位置相关的预测遮挡区域、基于与遮挡区域相关的成本选择轨迹以及基于选定轨迹控制自动驾驶车辆的示例流程800。例如，如本文所述，流程800的部分或全部可以由图8中的一个或多个组件执行。例如，流程800的部分或全部可以由(多个)车辆计算设备704执行。进一步地，在示例流程800中描述的任何操作可以同时执行，以不同于流程800中描述的顺序执行，和/或省略所描绘的流程800的任何操作。
在操作802，该流程可以包括控制自动驾驶车辆来穿越环境。例如，操作802可以包括控制自动驾驶车辆在路径点之间遵循一条或多条轨迹以到达目的地。
在操作804，该流程可以包括使用自动驾驶车辆上的传感器捕获环境的传感器数据。在一些情况下，操作804可以包括捕获环境的激光雷达数据、图像数据、雷达数据、飞行时间数据等。
在操作806，该流程可以包括确定环境中的物体的预测位置。在一些示例中，操作806可以使用包括与环境中的物体的可能位置相关的预测概率的离散化概率分布或热图来确定物体的预测位置。在一些示例中，操作806可以包括确定该物体是静态物体，在这种情况下，该物体可以保持静止。
在操作808，该流程可以包括确定用于自动驾驶车辆穿越环境的第一轨迹和第二轨迹。操作808可以基于各种因素，包括自动驾驶车辆的物理限制、自动驾驶车辆所在地的法律限制、与之相关的成本和/或自动驾驶车辆的预定目的地，仅举几例。当然，操作808可以包括确定自动驾驶车辆的任何数量的轨迹或行动。
在操作810，该流程可以包括基于第一轨迹和物体的预测位置(其可以至少部分地基于第一轨迹)，确定与物体相关的第一遮挡区域。第一遮挡区域可以至少部分地基于环境地图来确定，从而自动驾驶车辆的规划系统可以确定如果自动驾驶车辆遵循第一轨迹，可能被物体遮挡的环境的已知组件的尺寸和/或相对重要性。
在操作812，该流程可以包括基于第二轨迹和物体的预测位置(可以至少部分地基于第二轨迹确定)，确定与物体相关的第二遮挡区域。第二遮挡区域也可以至少部分地基于环境的地图来确定，从而自动驾驶车辆的规划系统可以确定如果自动驾驶车辆遵循第二轨迹，可能被物体遮挡的环境的已知组件的尺寸和/或相对重要性。在一些示例中，操作812基本上与操作810同时执行。
在操作814，该流程可以包括基于与第一遮挡区域相关的一个或多个属性来确定第一遮挡区域的第一遮挡分数。第一遮挡区域的第一遮挡分数可以基于环境的已知组件的尺寸和/或相对重要性，如果自动驾驶车辆遵循第一轨迹，这些组件可能被物体所遮挡。在一些情况下，遮挡区域的属性可以基于地图数据、动态数据(例如捕捉到的表明遮挡区域中的行人、动物、车辆等的数据)，或其他数据。
在操作816，该流程可以包括基于与第二遮挡区域相关的一个或多个属性来确定第二遮挡区域的第二遮挡分数。第二遮挡区域的第二遮挡分数也可以基于环境的已知组件的尺寸和/或相对重要性，如果自动驾驶车辆遵循第二轨迹，这些组件可能被物体所遮挡。在一些情况下，遮挡区域的属性可以基于地图数据、动态数据(例如捕捉到的表明遮挡区域中的行人、动物、车辆等的数据)，或其他数据。在一些示例中，操作814基本上与操作816同时执行。
在操作818，该流程可以包括至少部分地基于第一遮挡分数和/或第二遮挡分数选择第一轨迹或第二轨迹作为选定轨迹。选择第一条轨迹或第二条轨迹可以基于哪条轨迹具有代表车辆沿选定轨迹的更好预测能见度的遮挡分数。在一些情况下，由于车辆的其他系统凌驾于所述选择之上，例如出于安全考虑或遵守交通法规，可以选择具有代表较差预测能见度的遮挡分数的轨迹。如本文所讨论的，操作818可以包括基于其他成本选择第一轨迹或第二轨迹，例如参考成本、障碍物成本、转向成本、加速成本等。
在操作820，该流程可以包括至少部分地基于选定轨迹来控制自动驾驶车辆。以这种方式，本文的技术可以将预测遮挡区域纳入控制自动驾驶车辆中。
示例条款
A：一种系统，包括：一个或多个处理器；以及一个或多个计算机可读介质，存储有可由所述一个或多个处理器执行的指令，其中所述指令在执行时导致该系统执行以下操作：使用自动驾驶车辆的传感器捕获环境的传感器数据；确定该自动驾驶车辆在环境中穿越的第一轨迹；确定该自动驾驶车辆在环境中穿越的第二轨迹；至少部分地基于所述传感器数据，检测环境中的物体的当前位置；至少部分地基于所述传感器数据，确定该物体的预测位置；至少部分地基于第一轨迹和物体的预测位置，确定与物体相关的第一遮挡区域；至少部分地基于所述第二轨迹和物体的预测位置，确定与物体相关的第二遮挡区域；至少部分地基于与第一遮挡区域相关的第一成本或与第二遮挡区域相关的第二成本，选择第一轨迹或第二轨迹作为选定轨迹；以及至少部分地基于选定轨迹控制所述自动驾驶车辆。
B：根据条款A所述的系统，其中所述预测位置是与第一时间相关的第一预测位置，并且其中所述操作进一步包括：至少部分地基于所述传感器数据，确定该物体在环境中的第二预测位置，第二预测位置与第一时间之后的第二时间相关；以及至少部分地基于第一轨迹和第二预测位置，确定与物体相关的第三遮挡区域；其中，选择第一轨迹或第二轨迹进一步至少部分地基于与该第三遮挡区域相关的第三成本。
C：根据条款B所述的系统，其中：该物体是静止物体，且所述第一预测位置与第二预测位置相对应；或者该物体是动态物体，且所述第一预测位置与第二预测位置不同。
D：根据条款A至C中任一项所述的系统，所述操作进一步包括：至少部分地基于与环境相关的地图数据确定所述第一遮挡区域的遮挡分数，其中选择选定轨迹进一步基于所述遮挡分数。
E：根据条款A至D中任一项所述的系统，所述操作进一步包括至少部分地基于该物体的预测位置确定该物体的多条预测轨迹，其中确定所述多条预测轨迹中的一条或多条至少部分地基于以下至少一项：热图，其从经过训练以生成代表该物体的热图的机器学习模型接收；概率图，其至少部分地基于该物体的分类、该物体的初始位置、该物体的速度；或与物体相关的基于物理学的模型。
F：一种方法，包括：接收车辆要在环境中遵循的轨迹；确定环境中的物体的预测位置，预测位置与未来时间相关；至少部分地基于预测位置和轨迹，确定在未来时间与物体相关的遮挡区域；以及至少部分地基于遮挡区域控制车辆。
G：根据条款F所述的方法，进一步包括：确定与遮挡区域相关的遮挡分数，其中遮挡分数至少部分地基于地图数据。
H：根据条款G所述的方法，进一步包括确定遮挡网格的遮挡场地在未来时间的遮挡状态和占用状态。
I：根据条款F至H中任一项所述的方法，进一步包括基于与遮挡区域相关的属性确定遮挡区域的遮挡分数，其中控制车辆进一步基于遮挡区域的遮挡分数。
J：根据条款F至I中任一项所述的方法，其中物体是第一物体，预测位置是第一预测位置，并且遮挡区域是第一遮挡区域，所述方法进一步包括：确定环境中第二物体的第二预测位置，第二预测位置与未来时间相关；以及至少部分地基于第二预测位置和轨迹，确定在未来时间与第二物体相关的第二遮挡区域，其中控制车辆进一步基于第二遮挡区域。
K：根据条款J所述的方法，进一步包括：基于与第一遮挡区域相关的第一属性，确定第一遮挡区域的第一遮挡分数；基于与第二遮挡区域相关的第二属性，确定第二遮挡区域的第二遮挡分数；以及至少部分地基于第一遮挡分数和第二遮挡分数，确定轨迹的轨迹分数，其中控制车辆进一步基于轨迹的轨迹分数。
L：根据条款K所述的方法，其中轨迹是第一轨迹，且轨迹分数是第一轨迹分数，所述方法进一步包括：确定第二轨迹的第二轨迹分数；以及至少部分地基于第一轨迹分数或第二轨迹分数选择第一轨迹或第二轨迹作为选定轨迹，其中控制车辆进一步至少部分地基于选定轨迹。
M：根据条款K或L所述的方法，其中第一属性与以下一项或多项相关：与第一遮挡区域相关的地图数据；第一遮挡区域中的一个或多个物体；与轨迹相关的点和第一遮挡区域之间的距离；第一遮挡区域的尺寸；与第一遮挡区域相关的时间段；或与车辆相关的行驶方向。
N：根据条款F至M中任一项所述的方法，其中环境中的物体的预测位置至少部分地基于从激光雷达传感器、雷达传感器、图像传感器或飞行时间传感器中的一个或多个传感器接收的传感器数据。
O：一种非暂时性计算机可读介质，其中存储有指令，所述指令在被执行时导致一个或多个处理器执行以下操作，包括：接收车辆要在环境中遵循的第一轨迹；接收车辆要在环境中遵循的第二轨迹；确定环境中的物体在未来时间的预测位置；至少部分地基于第一轨迹和该物体的预测位置，确定与物体相关的第一遮挡区域；至少部分地基于所述第二轨迹和该物体的预测位置，确定与物体相关的第二遮挡区域；以及至少部分地基于所述第一遮挡区域和第二遮挡区域控制车辆。
P：根据条款O所述的非暂时性计算机可读介质，其中所述预测位置是第一预测位置，未来时间是第一时间，以及其中所述操作进一步包括：确定该物体在环境中的第二预测位置，第二预测位置与第一时间之后的第二时间相关；以及至少部分地基于第一轨迹和第二预测位置，确定与物体相关的第三遮挡区域；其中控制车辆进一步至少部分地基于该第三遮挡区域。
Q：根据条款P所述的非暂时性计算机可读介质，其中：该物体是静止物体，且所述第一预测位置与第二预测位置相对应；或者该物体是动态物体，且所述第一预测位置与第二预测位置不同。
R：根据条款O至Q中任一项所述的非暂时性计算机可读介质，其中所述操作进一步包括：至少部分地基于与环境相关的地图数据确定所述第一遮挡区域的遮挡分数，其中控制车辆进一步基于遮挡分数。
S：根据条款O至R中任一项所述的非暂时性计算机可读介质，其中确定环境中的物体的预测位置至少部分地基于以下至少一项：热图，其从经过训练以生成代表该物体的热图的机器学习模型接收；概率图，其至少部分地基于该物体的分类、该物体的初始位置、该物体的速度；或与物体相关的基于物理学的模型。
T：根据条款O至S中任一项所述的非暂时性计算机可读介质，其中确定环境中的物体的预测位置至少部分地基于传感器数据，该传感器数据从激光雷达传感器、雷达传感器、图像传感器或飞行时间传感器中的一个或多个传感器接收。
虽然上面描述的示例条款是关于一个特定的实施例的，但应该理解，在本文的上下文中，示例条款的内容也可以通过方法、设备、系统、计算机可读介质和/或另一个实施方式来实现。
结论
虽然已经描述了本文所述技术的一个或多个示例，但在本文所述技术的范围内包括其各种改变、补充、排列组合和等同内容。
在对示例的描述中，参考了构成本文一部分的附图，附图通过说明的方式示出了所要求的主题的具体示例。应当理解的是，可以使用其他示例，并且可以进行改变或变更，例如结构上的改变。这样的示例、改变或变更不一定偏离预期的所要求的主题的范围。虽然本文的步骤可以按照一定的顺序提出，但在一些情况下，可以改变顺序，以便在不同的时间或以不同的顺序提供某些输入，而不改变所述系统和方法的功能。所披露的程序也可以以不同的顺序执行。此外，本文的各种计算不需要按照所公开的顺序执行，使用计算的变更顺序的其他示例也可以很容易地实现。除了重新排序之外，计算也可以被分解成具有相同结果的子计算。

Claims (15)

1.一种方法，包括
接收车辆要在环境中遵循的轨迹；
确定环境中的物体的预测位置，预测位置与未来时间相关；
至少部分地基于预测位置和轨迹，确定在未来时间与物体相关的遮挡区域；以及
至少部分地基于遮挡区域控制车辆。
2.根据权利要求1所述的方法，进一步包括：
确定与遮挡区域相关的遮挡分数，
其中遮挡分数至少部分地基于地图数据。
3.根据权利要求2所述的方法，进一步包括确定遮挡网格的遮挡场地在未来时间的遮挡状态和占用状态。
4.根据权利要求1所述的方法，进一步包括基于与遮挡区域相关的属性确定遮挡区域的遮挡分数，
其中控制车辆进一步基于遮挡区域的遮挡分数。
5.根据权利要求4所述的方法，其中物体是第一物体，预测位置是第一预测位置，并且遮挡区域是第一遮挡区域，所述方法进一步包括：
确定环境中第二物体的第二预测位置，第二预测位置与未来时间相关；以及
至少部分地基于第二预测位置和轨迹，确定在未来时间与第二物体相关的第二遮挡区域，
其中控制车辆进一步基于第二遮挡区域。
6.根据权利要求5所述的方法，进一步包括：
基于与第一遮挡区域相关的第一属性，确定第一遮挡区域的第一遮挡分数；
基于与第二遮挡区域相关的第二属性，确定第二遮挡区域的第二遮挡分数；以及
至少部分地基于第一遮挡分数和第二遮挡分数，确定轨迹的轨迹分数，
其中控制车辆进一步基于轨迹的轨迹分数。
7.根据权利要求6所述的方法，其中轨迹是第一轨迹，且轨迹分数是第一轨迹分数，所述方法进一步包括：
确定第二轨迹的第二轨迹分数；以及
至少部分地基于第一轨迹分数或第二轨迹分数选择第一轨迹或第二轨迹作为选定轨迹，
其中控制车辆进一步至少部分地基于选定轨迹。
8.根据权利要求6或7所述的方法，其中第一属性与以下一项或多项相关：
与第一遮挡区域相关的地图数据；
第一遮挡区域中的一个或多个物体；
与轨迹相关的点和第一遮挡区域之间的距离；
第一遮挡区域的尺寸；
与第一遮挡区域相关的时间段；或
与车辆相关的行驶方向。
9.根据权利要求1至8中任一项所述的方法，其中环境中的物体的预测位置至少部分地基于以下一项或多项：
传感器数据，其从激光雷达传感器、雷达传感器、图像传感器或飞行时间传感器中的一个或多个传感器接收；
热图，其从经过训练以生成代表所述物体的热图的机器学习模型接收；
概率图，其至少部分地基于所述物体的分类、所述物体的初始位置或所述物体的速度；或
与物体相关的基于物理学的模型。
10.一种计算机程序制品，包括编码的指令，当在计算机上运行时，所述指令实施根据权利要求1至9中任一项所述的方法。
11.一种系统，包括：
一个或多个处理器；和
一个或多个非暂时性计算机可读介质，其存储计算机可执行指令，所述指令在被执行时导致所述一个或多个处理器实施下述操作，包括：
接收车辆要在环境中遵循的第一轨迹；
接收车辆要在环境中遵循的第二轨迹；
确定环境中的物体在未来时间的预测位置；
至少部分地基于第一轨迹和所述物体的预测位置，确定与物体相关的第一遮挡区域；
至少部分地基于所述第二轨迹和所述物体的预测位置，确定与物体相关的第二遮挡区域；以及
至少部分地基于所述第一遮挡区域和第二遮挡区域控制车辆。
12.根据权利要求11所述的系统，其中所述预测位置是第一预测位置，未来时间是第一时间，以及其中所述操作进一步包括：
确定所述物体在环境中的第二预测位置，第二预测位置与第一时间之后的第二时间相关；以及
至少部分地基于第一轨迹和第二预测位置，确定与物体相关的第三遮挡区域；
其中控制车辆进一步至少部分地基于所述第三遮挡区域。
13.根据权利要求12所述的系统，其中：
所述物体是静止物体，且所述第一预测位置与第二预测位置相对应；或者
所述物体是动态物体，且所述第一预测位置与第二预测位置不同。
14.根据权利要求11至13中任一项所述的系统，其中所述操作进一步包括：
至少部分地基于与环境相关的地图数据确定所述第一遮挡区域的遮挡分数，
其中控制车辆进一步基于所述遮挡分数。
15.根据权利要求11至14中任一项所述的系统，其中确定环境中的物体的预测位置至少部分地基于以下至少一项：
热图，其从经过训练以生成代表所述物体的热图的机器学习模型接收；
概率图，其至少部分地基于所述物体的分类、所述物体的初始位置、所述物体的速度；或
与物体相关的基于物理学的模型。
CN202080018869.2A 2019-01-11 2020-01-09 遮挡预测和轨迹评估 Pending CN113544035A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/246,208 2019-01-11
US16/246,208 US11188082B2 (en) 2019-01-11 2019-01-11 Occlusion prediction and trajectory evaluation
PCT/US2020/012967 WO2020146659A1 (en) 2019-01-11 2020-01-09 Occlusion prediction and trajectory evaluation

Publications (1)

Publication Number Publication Date
CN113544035A true CN113544035A (zh) 2021-10-22

Family

ID=69467780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080018869.2A Pending CN113544035A (zh) 2019-01-11 2020-01-09 遮挡预测和轨迹评估

Country Status (5)

Country Link
US (1) US11188082B2 (zh)
EP (1) EP3908493B1 (zh)
JP (1) JP2022516799A (zh)
CN (1) CN113544035A (zh)
WO (1) WO2020146659A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113997955A (zh) * 2021-12-13 2022-02-01 中国第一汽车股份有限公司 轨迹预测方法、装置、电子设备以及存储介质

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102535540B1 (ko) * 2017-01-12 2023-05-23 모빌아이 비젼 테크놀로지스 엘티디. 차량 움직임에 기반한 항법
US11210744B2 (en) * 2017-08-16 2021-12-28 Mobileye Vision Technologies Ltd. Navigation based on liability constraints
US11874120B2 (en) 2017-12-22 2024-01-16 Nissan North America, Inc. Shared autonomous vehicle operational management
US11488374B1 (en) * 2018-09-28 2022-11-01 Apple Inc. Motion trajectory tracking for action detection
US11620478B2 (en) * 2019-02-06 2023-04-04 Texas Instruments Incorporated Semantic occupancy grid management in ADAS/autonomous driving
DE102019202026A1 (de) * 2019-02-15 2020-08-20 Zf Friedrichshafen Ag Verfahren und Steuereinrichtung zur Fahrzeugkollisionsvermeidung
US11016492B2 (en) * 2019-02-28 2021-05-25 Zoox, Inc. Determining occupancy of occluded regions
JP7227072B2 (ja) * 2019-05-22 2023-02-21 日立Astemo株式会社 車両制御装置
US11643115B2 (en) * 2019-05-31 2023-05-09 Waymo Llc Tracking vanished objects for autonomous vehicles
US11420625B2 (en) * 2019-07-03 2022-08-23 Ford Global Technologies, Llc Vehicle intersection operation
JP7201550B2 (ja) * 2019-07-29 2023-01-10 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US11332132B2 (en) * 2019-08-30 2022-05-17 Argo AI, LLC Method of handling occlusions at intersections in operation of autonomous vehicle
US11754408B2 (en) * 2019-10-09 2023-09-12 Argo AI, LLC Methods and systems for topological planning in autonomous driving
US11351996B2 (en) * 2019-11-01 2022-06-07 Denso International America, Inc. Trajectory prediction of surrounding vehicles using predefined routes
CN115380196A (zh) * 2019-11-11 2022-11-22 御眼视觉技术有限公司 用于确定道路安全性的系统和方法
US11899454B2 (en) 2019-11-26 2024-02-13 Nissan North America, Inc. Objective-based reasoning in autonomous vehicle decision-making
US20210229641A1 (en) * 2020-01-29 2021-07-29 GM Global Technology Operations LLC Determination of vehicle collision potential based on intersection scene
US20210278852A1 (en) * 2020-03-05 2021-09-09 Uatc, Llc Systems and Methods for Using Attention Masks to Improve Motion Planning
US11834069B2 (en) * 2020-03-05 2023-12-05 Uatc, Lcc Systems and methods for selecting trajectories based on interpretable semantic representations
US20210403032A1 (en) * 2020-06-25 2021-12-30 Tusimple, Inc. Two-level path planning for autonomous vehicles
US11577723B2 (en) * 2020-06-29 2023-02-14 Uatc, Llc Object trajectory association and tracking
US11783178B2 (en) * 2020-07-30 2023-10-10 Toyota Research Institute, Inc. Systems and methods for corridor intent prediction
US11628858B2 (en) * 2020-09-15 2023-04-18 Baidu Usa Llc Hybrid planning system for autonomous vehicles
CN111829545B (zh) * 2020-09-16 2021-01-08 深圳裹动智驾科技有限公司 自动驾驶车辆及其运动轨迹的动态规划方法及系统
CN112519799B (zh) * 2020-11-10 2022-06-28 深圳市豪恩汽车电子装备股份有限公司 机动车道路辅助驾驶装置及方法
US11295147B1 (en) * 2020-11-27 2022-04-05 HCL Technologies Italy S.p.A. Method and system for detecting and managing obfuscation of a road sign
RU2770239C1 (ru) * 2020-11-30 2022-04-14 Общество с ограниченной ответственностью «Яндекс Беспилотные Технологии» Способ и система определения траектории транспортного средства через слепую зону
KR20220083002A (ko) * 2020-12-10 2022-06-20 현대자동차주식회사 차량
US11733054B2 (en) * 2020-12-11 2023-08-22 Motional Ad Llc Systems and methods for implementing occlusion representations over road features
US20220185267A1 (en) * 2020-12-16 2022-06-16 Zoox, Inc. Object determination in an occluded region
JP2022139524A (ja) * 2021-03-12 2022-09-26 株式会社Subaru 運転支援装置及び記録媒体
JP2022147924A (ja) * 2021-03-24 2022-10-06 株式会社Subaru 運転支援装置
US20230058731A1 (en) * 2021-08-18 2023-02-23 Zoox, Inc. Determining occupancy using unobstructed sensor emissions
US11948381B2 (en) * 2021-08-20 2024-04-02 Motional Ad Llc Determining object mobility parameters using an object sequence
US11834077B2 (en) * 2021-09-14 2023-12-05 Barry Gilhuly Systems, methods, and media for occlusion-aware motion planning
US20230331230A1 (en) * 2022-04-18 2023-10-19 Gm Cruise Holdings Llc Navigating minor-major intersections with an autonomous vehicle
DE102022212993A1 (de) 2022-12-01 2024-06-06 Continental Autonomous Mobility Germany GmbH Computerimplementiertes Verfahren zum Planen einer Agenten-Navigationsaufgabe zum Navigieren eines Agenten aus einem aktuellen Agentenzustand in einen Ziel-Agentenzustand

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9760092B2 (en) * 2012-03-16 2017-09-12 Waymo Llc Actively modifying a field of view of an autonomous vehicle in view of constraints
KR102326062B1 (ko) * 2014-11-12 2021-11-12 현대모비스 주식회사 자율주행차량의 장애물 회피 시스템 및 방법
US20170344855A1 (en) * 2016-05-24 2017-11-30 Agt International Gmbh Method of predicting traffic collisions and system thereof
US10627812B2 (en) * 2017-02-14 2020-04-21 Honda Research Institute Europe Gmbh Risk based driver assistance for approaching intersections of limited visibility
US10453344B2 (en) * 2017-02-16 2019-10-22 Panasonic Intellectual Corporation Of America Information processing apparatus and non-transitory recording medium
US11402839B2 (en) * 2017-03-07 2022-08-02 Robert Bosch Gmbh Action planning system and method for autonomous vehicles
EP3566106B1 (en) * 2017-03-20 2024-03-06 Mobileye Vision Technologies Ltd. Trajectory selection for an autonomous vehicle
US10331135B2 (en) * 2017-11-22 2019-06-25 GM Global Technology Operations LLC Systems and methods for maneuvering around obstacles in autonomous vehicles
US10488861B2 (en) * 2017-11-22 2019-11-26 GM Global Technology Operations LLC Systems and methods for entering traffic flow in autonomous vehicles
US11480971B2 (en) * 2018-05-01 2022-10-25 Honda Motor Co., Ltd. Systems and methods for generating instructions for navigating intersections with autonomous vehicles
US11256260B2 (en) * 2018-10-05 2022-02-22 Waymo Llc Generating trajectories for autonomous vehicles
US10824148B2 (en) * 2018-12-14 2020-11-03 Waymo Llc Operating an autonomous vehicle according to road user reaction modeling with occlusions

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113997955A (zh) * 2021-12-13 2022-02-01 中国第一汽车股份有限公司 轨迹预测方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
EP3908493A1 (en) 2021-11-17
EP3908493B1 (en) 2024-03-27
JP2022516799A (ja) 2022-03-02
WO2020146659A1 (en) 2020-07-16
US20200225669A1 (en) 2020-07-16
US11188082B2 (en) 2021-11-30

Similar Documents

Publication Publication Date Title
EP3908493B1 (en) Occlusion prediction and trajectory evaluation
US11631200B2 (en) Prediction on top-down scenes based on action data
US11740633B2 (en) Determining occupancy of occluded regions
US11215997B2 (en) Probabilistic risk assessment for trajectory evaluation
US11734832B1 (en) Prediction on top-down scenes based on object motion
US11126180B1 (en) Predicting an occupancy associated with occluded region
US11169531B2 (en) Trajectory prediction on top-down scenes
US11351991B2 (en) Prediction based on attributes
US11021148B2 (en) Pedestrian prediction based on attributes
US11048265B2 (en) Occlusion aware planning
US20210229656A1 (en) Trajectory modifications based on a collision zone
CN113632096A (zh) 基于属性的行人预测
EP3807807A1 (en) Occlusion aware planning
CN116261540A (zh) 碰撞避免规划系统
CN117980212A (zh) 基于优化的规划系统
US11858529B1 (en) Predicting articulated object states
CN115515835A (zh) 轨迹分类
CN115443233A (zh) 针对协作车辆引导的遥操作
US11966230B1 (en) Disengagement prediction for vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination