CN113544696A - 确定遮挡区域的占有率 - Google Patents

确定遮挡区域的占有率 Download PDF

Info

Publication number
CN113544696A
CN113544696A CN202080017524.5A CN202080017524A CN113544696A CN 113544696 A CN113544696 A CN 113544696A CN 202080017524 A CN202080017524 A CN 202080017524A CN 113544696 A CN113544696 A CN 113544696A
Authority
CN
China
Prior art keywords
region
occlusion
vehicle
determining
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080017524.5A
Other languages
English (en)
Inventor
M·吉尔
W·A·希尔瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zoox Inc
Original Assignee
Zoox Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zoox Inc filed Critical Zoox Inc
Publication of CN113544696A publication Critical patent/CN113544696A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

讨论了用于基于环境中的遮挡区域来控制车辆(例如自动驾驶车辆)的技术。遮挡区域可以表示车辆的传感器由于另一对象的阻挡或传感器的限制而不能够感测环境部分的区域。确定针对对象的遮挡区域，以及靠近所述遮挡区域的一个或多个可见区域。可以基于已知的交通方向和/或可行驶表面边界来确定入口区域和/或出口区域。基于阈值速度，所述车辆可以将所述遮挡区域的部分指定为伪可见。另外，如果动态对象从所述入口区域穿过所述遮挡区域，则所述遮挡区域的一部分可以被认为是伪可见的。伪可见性也可以基于遮挡区域的移动来确定。基于所述伪可见性，可以控制所述车辆穿过环境。

Description

确定遮挡区域的占有率
相关申请的交叉引用
本申请要求于2019年2月28日提交的、标题为“确定遮挡区域的占有率”的美国专利申请No.16/289,397的优先权，其全部内容通过引用并入本文。
背景技术
自动驾驶车辆利用各种方法、装置和系统引导此类自动驾驶车辆穿过包括各种静态和动态对象的环境。例如，自动驾驶车辆利用路线规划方法、装置和系统来引导自动驾驶车辆与其他移动车辆(自主或其他)、移动的人、静止的建筑物等一起通过拥挤区域。在一些示例中，自动驾驶车辆可以在穿过环境时做出决定，以确保乘客和周围人员及对象的安全。然而，做出此类决定的常规技术可能过于保守，或者在不需要时会经常刹车，从而导致乘客不适，并代表周围环境中的人员对自动驾驶车辆即将采取的行动产生不确定性。
附图的简要说明
参考附图描述详细描述。在附图中，参考标记最左侧的(一个或多个)数字表示参考标记首次出现的图形。在不同的图中使用相同的参考标记表示相似或相同的部件或特征。
图1是根据本公开的实施例的用于捕获传感器数据、确定环境中的遮挡区域和接近遮挡区域的(一个或多个)可见区域、确定遮挡区域的占用状态以及至少部分基于遮挡区域的占用状态控制车辆的示例过程的图示流程图。
图2是根据本公开的实施例的示出包括环境中的多个遮挡场的示例遮挡网格的透视图、并且示出包括用于确定由障碍物引起的遮挡网格的遮挡区域和未遮挡区域的遮挡推理组件的车辆的环境。
图3是根据本公开的实施例识别静态遮挡区域和从静态遮挡区域的一侧到另一侧的动态对象的示例。
图4是根据本公开的实施例识别静态遮挡区域和离开静态遮挡区域的遮挡区的动态对象的示例。
图5A是根据本公开的实施例识别移动遮挡区域和移动遮挡区域的伪可见区域的示例。
图5B是根据本公开的实施例确定图5A中描述的遮挡区域的占用状态的示例。
图6描绘了用于实现本文所述技术的示例系统的框图。
图7描绘了根据本公开的实施例的用于捕获传感器数据、确定由环境中的对象引起的遮挡区域、确定接近遮挡区域的可见区域、确定动态对象是否位于可见区域中以及如果是，确定动态对象是否进入遮挡区域以及基于所述确定来控制自动驾驶车辆的示例过程。
图8描绘了根据本公开的实施例的用于在第一时间确定由对象引起的第一遮挡区域和接近遮挡区域的可见区域、确定可见区域包括进入遮挡区域的入口区域、在第一时间之后的第二时间确定与第一可见区域的至少一部分相对应的第二遮挡区域、确定该部分是否没有动态对象、以及基于该确定控制自动驾驶车辆的示例过程。
具体实施方式
本公开旨在通过随时间观察遮挡区域来确定传感器不可见的区域(例如遮挡区域)未被占用的可能性。例如，本文中的技术可以使用接近遮挡区域的可见入口区域的历史的知识来确定遮挡区域中不存在会阻止车辆安全穿过环境的一部分的对象的确定性。例如，车辆(例如自动驾驶车辆)的传感器可以捕获环境的传感器数据，该环境可以包括与车辆分离的对象，例如其他车辆、行人、建筑物、植被等。基于环境中的障碍物，环境的传感器覆盖范围可能会受到限制(遮挡)。在第一时间，遮挡区域的占用可能是未知的。通过确定和观察进入遮挡区域的区域(例如，基于行进方向)，遮挡推理系统可以确定遮挡区域的一部分未被动态对象占用的可能性。例如，遮挡推理系统可以基于观察区域一时间段和/或通过假设遮挡区域中的任何动态对象(如果存在任何动态对象)已经离开遮挡区域的一部分而逐步确定遮挡区域是“伪可见区域”。遮挡推理系统可以向规划系统提供关于遮挡区域的状态的关于区域没有动态对象的可能性的信息，用于生成车辆的轨迹。
遮挡推理系统可以在静态遮挡区域和/或移动遮挡区域的情况下实现。在静态遮挡区域中，遮挡区域的位置随时间保持静态或静止。在某些情况下，静态遮挡区域可以由车辆(例如，包括传感器)和环境中的遮挡对象都静止的情况引起。如上所述，遮挡推理系统可以假设遮挡区域的占用是未知的。然而，随着时间的推移，并且基于与可驾驶区域相关联的行进方向、阈值时间量和/或阈值速度，遮挡推理系统可以确定遮挡区域的部分可能未被占用。行进方向可以对应于地图上的已知行进方向，例如可行驶区域中的交通流。阈值时间量可以对应于车辆在特定场景中花费的代表性时间量，例如车辆在交叉点停留花费的平均时间量、加速到限速的时间量、从当前速度减速到完全停车的时间量等等。阈值速度可以对应于合理的动态对象预期在环境中行进的最小速度。例如，阈值速度可以是行人的平均步行速度(例如，1.5米/秒)，其将包括比最小速度移动更快的对象，例如沿着可驾驶区域行驶的汽车和自行车。此外，阈值速度和/或阈值时间可以基于遮挡区域的大小、从遮挡区域到车辆的距离、地图数据(例如，与可驾驶区域相关联的速度限制)、历史数据等。
在移动遮挡区域中，遮挡区域的位置和/或大小可能随时间而改变。在一些实例中，移动的遮挡区域可以由车辆和/或环境中的对象的移动导致相对于车辆的传感器的遮挡区域。在移动遮挡区域的情况下，车辆可以推断以前可见的(但是现在遮挡的)没有动态对象的区域仍然没有动态对象。这种推理可以使车辆对环境区域的占用做出决定，而这反过来又可以用来确定如何比常规规划技术更快速和/或更确定地穿过环境。
车辆捕获的传感器数据可以包括激光雷达数据、雷达数据、图像数据(RGB、强度、深度、红外、紫外线等)、飞行时间数据、声纳数据等。在一些情况下，传感器数据可以被提供给感知系统，该感知系统被配置成确定环境中对象的类型(例如，车辆、行人、自行车、动物、停放的汽车、树、建筑物等)。此外，感知系统可以基于传感器数据确定关于环境中对象的移动信息。
车辆捕获的代表环境中对象的传感器数据可以用于生成和与车辆相关的环境中对象相关联的遮挡区域。例如，遮挡推理系统可以随着时间的推移确定和与对象位置相关的遮挡区域相关联的遮挡网格。诸如光线投射和/或投影之类的技术可以用于确定由遮挡网格表示的环境的哪个(哪些)区域随时间相对于车辆的位置被遮挡。在一些示例中，可以基于各种传感器模式使用用于确定遮挡的不同技术。作为非限制性示例，光线投射可以用于确定激光雷达传感器的遮挡，而使用相机矩阵的图像投影可以用于确定图像传感器的遮挡。遮挡网格可以是三维的，并且可以用描述环境中对象体积的体素来表示对象的预测。用于生成遮挡网格的技术可以在例如于2018年6月18日提交的标题为“遮挡感知规划”的美国专利申请No.16/011,436中找到，其通过引用整体并入本文。
当车辆穿过环境时，遮挡推理系统可以利用周围环境的传感器数据和地图数据来检测环境中的对象，并确定由这样的对象引起的对应遮挡区域。在许多情况下，遮挡区域包含与车辆决策过程相关的对象，例如是否穿过道路、是否穿过人行横道、进入哪个车道、加速/减速的速度等等。在一些示例中，遮挡区域可以具有邻近或接近遮挡区域的可见入口区域，其可以用于做出关于如何控制车辆的决策。遮挡推理系统可以使用地图数据来确定入口区域。例如，地图数据可以指示可驾驶区域(例如，道路中的车道)和/或与其相关联的交通方向，并且如果存在接近遮挡区域的可见区域，车辆可以基于交通将在该位置的特定方向进入遮挡区域的假设来指定进入遮挡区域的入口区域。类似地，与遮挡区域的出口相对应的区域(至少部分地基于行进方向)可以被称为“出口区域”。
在静态遮挡区域的情况下，遮挡推理系统可以基于传感器数据和与遮挡区域相关联的阈值速度和/或阈值时间来确定遮挡区域的至少一部分可能没有动态对象。例如，阈值速度可以与行人的步行速度(例如1.5m/s)相关联，尽管当然可以使用任何合适的阈值速度。在一些实例中，阈值时间可对应于遮挡推理系统可在确定遮挡区域的一部分的占用之前观察遮挡区域的时间量。无论使用的阈值速度和/或阈值时间如何，遮挡推理系统都可以观察和/或跟踪任何通过遮挡区域的速度超过阈值速度的对象，并可以相应地控制车辆。在许多情况下，低于阈值速度移动的对象不会影响控制车辆的许多决定，并且因此车辆可以将这样的对象视为“不移动”。在示例中，骑自行车的人可能正在缓慢接近交叉点，移动速度仅足以防止骑自行车的人将脚从踏板上移开，但低于车辆用于分析遮挡区域是否存在未知对象的阈值速度。假设骑自行车的人位于与接近交叉点的车辆相隔的区域，则无论是否知道骑自行车的人在场，车辆都可以安全通过交叉点，因为骑自行车的人不太可能影响车辆决定是否以当前速度通过交叉点。
在一些示例中，遮挡推理系统可能不依赖于与相关动态对象的最小速度相关的静止遮挡区域相同的移动遮挡区域的假设。相反，当车辆或遮挡对象移动时，遮挡区域的大小或尺寸随时间变化时，遮挡推理系统可以依赖于进入遮挡区域的入口的知识。例如，如果可见区域的一部分在第一时间不包括动态对象，并且随着时间的推移没有动态对象进入入口区域，则车辆可以假设在第一时间可见的区域的一部分在第二稍后的时间不包括动态对象，即使曾经可见的区域现在被遮挡。先前可见区域的部分可以被视为“伪可见”，这意味着车辆可以以相对高的确定性来确定该区域是否包含与代表车辆的决策制定相关的动态对象。在一些示例中，对伪可见性的确定可以基于确定遮挡区域没有动态对象的概率满足或超过阈值，例如，51％确定性、75％确定性、90％确定性等。即使是遮挡区域的一部分也能分类为伪可见，这使得车辆能够比要求所有区域在执行前同时可见的技术更早地执行指令。
本文讨论的技术可以通过多种方式改进计算设备的功能。如上所述，遮挡推理系统可以将遮挡区域的部分分类为伪可见，并且因此可以比要求所有区域可见并且被评估的技术更早地执行决策，由此节省分析周围环境时的处理和计算资源。在某些情况下，所描述的技术的动态特性(例如，部分地基于可见或伪可见区域来控制车辆)要求枚举较少的规则来生成和/或选择车辆(例如，自动驾驶车辆)穿过环境的轨迹。通过部分地基于遮挡区域的伪可见部分来控制车辆，可以通过允许车辆适应其周围环境并对其做出反应来提高车辆的安全性，而不是要求车辆遵循设定的指令，特别是在没有特定规则存在的情况下。此外，部分地基于遮挡区域的伪可见部分来控制车辆可以减少处理资源，因为车辆可能遇到的每种驾驶情况的枚举规则的数量实际上是无限的。此外，用于随时间指定遮挡区域的伪可见区域的技术可以增加动态对象可能不会干扰或碰撞车辆的置信度，这可以改进安全结果、性能和/或精度。本文讨论对计算机功能的这些改进和其他改进。
本文描述的技术可以通过多种方式实现。下面参考以下附图提供了示例实现。尽管在自动驾驶车辆的上下文中讨论，但是本文描述的方法、装置和系统可以应用于各种系统(例如，传感器系统或机器人平台)，并且不限于自动驾驶车辆。在另一实例中，所述技术可以在航空或航海上下文中使用，或者在涉及可能与系统未知的行为相关联的对象或实体的任何系统中使用。另外，本文所描述的技术可以利用真实数据(例如，使用(一个或多个)传感器捕获的)、模拟数据(例如，由模拟器生成的)或者这两者的任意组合。
图1是根据本公开的实施例的用于捕获传感器数据、确定环境中的遮挡区域和接近遮挡区域的(一个或多个)可见区域、确定遮挡区域的占用状态以及至少部分地基于遮挡区域的占用状态来控制车辆的示例过程100的图示流程图。
在操作102，该过程可以包括捕获环境的传感器数据。在一些示例中，传感器数据可以由车辆上的一个或多个传感器捕获(自主或其他)。例如，传感器数据可以包括由激光雷达传感器、雷达传感器、图像传感器、飞行时间传感器、声纳传感器等中的一个或多个捕获的数据。
示例举例说明了在操作102中捕获的图像数据104。例如，图像数据104可以表示环境中的对象106。在一些示例中，对象106可以表示车辆、行人、动物等。在一些实例中，在操作102中捕获的传感器数据可以用于确定关于对象106的信息，包括但不限于对象的类型(例如，指示对象的分类的语义信息，例如车辆、行人、自行车、动物等)。在一些实例中，如本文所讨论的，操作可以包括确定对象106的类型、与对象106相关联的边界框、与对象106相关联的分割信息和/或与对象相关联的移动信息以及与之相关联的任何不确定性。操作104还可以包括访问表示环境的地图数据。
在操作108，该过程可以包括确定环境中遮挡区域和接近该遮挡区域的(一个或多个)可见区域。本文中使用的术语“遮挡”和“可见”可以表示环境区域被遮挡和/或对车辆的传感器可见(例如，高于阈值)的概率。示例110示出了在第一时间T1已经接近环境中可驾驶区域116的交叉点的车辆112。可驾驶区域116包括从右侧接近可驾驶区域116的交叉点的交通方向113。在一些示例中，车辆112可以使用遮挡网格114表示环境的遮挡区域，遮挡网格114可以与环境的地图数据一起存储，或者可以基于环境中的对象、给定的传感器范围、视野和/或地图数据动态生成。遮挡网格114可以包括多个遮挡场(例如，遮挡网格114中描绘的框)，其可以表示环境的离散区，例如可驾驶区域。在一些示例中，遮挡场可以指示遮挡状态(例如，指示位置对自动驾驶车辆的一个或多个传感器是否可见)和占用状态(例如，指示位置是否被诸如车辆、行人、动物等的对象占用)。可以使用自动驾驶车辆捕获的激光雷达数据、雷达数据和/或图像数据来确定遮挡状态和/或占用状态。例如，在2018年6月18日提交的标题为“遮挡感知规划”的美国专利申请No.16/011,436中可以找到用于生成遮挡网格的额外细节，其通过引用整体并入本文。
出于讨论的目的，捕获(或利用)传感器数据的车辆112可以是自动驾驶车辆，其被配置为根据美国国家公路交通安全管理局发布的5级分类进行操作，该分类描述了能够在整个行程中执行所有安全关键功能的车辆，驾驶员(或乘客)在任何时候都不能控制车辆。在这样的示例中，由于车辆112可以被配置为控制从开始到停止的所有功能，包括所有停车功能，因此车辆112可以不被占用。这仅仅是一个示例，并且本文所描述的系统和方法可以并入任何地面、空中或水上车辆中，包括从需要驾驶员随时手动控制的车辆到部分或完全自主控制的车辆。与车辆112相关的额外细节在本发明中描述。
如示例110所示，对象106也位于环境中。在一些示例中，对象106可以表示车辆、行人、自行车、动物等。示例110中所示的环境可以包括可驾驶区域116和非可驾驶区域118。在一些示例中，可驾驶区域116可以包括车辆112可以(合法)穿过的环境的任何区域(例如，道路、车道、停车场等)。在一些示例中，不可驾驶区域118可以表示车辆112不能合法地或物理地穿过的环境区域(例如，人行道、建筑物、公园等)。
在一些示例中，遮挡网格114可以至少部分地基于在环境中定位车辆112和访问与环境相关联的地图数据。例如，地图数据可以包括诸如车道元素之类的地图元素，该车道元素指示与可行驶区域116相对应的环境区域。地图元素的额外示例可以包括但不限于以下中的一个或多个：建筑物或结构、人行横道元素、自行车道元素、交叉点元素、车道分隔线元素、红绿灯元素、停车标志元素、停车线元素、让行标志元素、让行线元素、停车车道元素、车道元素、减速带元素、步行区域(例如，虚拟人行横道)、轨迹航路点(例如，已知轨迹)、乘客上车点、标志位置元素、地理围栏等。在某些情况下，与对象相关联的预测轨迹可以基于地图数据。
如上所述，遮挡网格114可以表示遮挡网格114的遮挡场的遮挡状态和/或占用状态。此外，在一些示例中，占用状态还可以包括“不确定”状态，也就是说，基于可用数据，目前可能还不知道遮挡场是否被占用。例如，从车辆112的传感器的角度看，阻挡一部分环境的对象(如对象106)可能导致不确定状态。在示例110中，被对象106阻挡(遮挡)的遮挡网格114的遮挡场为浅灰色，表示被遮挡区域120。被占用的遮挡网格114的遮挡场被着色为黑色(例如，至少部分被对象106覆盖)。白色的遮挡网格114的遮挡场表示可见区域122。
在本实施例110中，可见区域122的至少一部分接近遮挡区域120。为清楚起见，仅在可驾驶区域116上示出示例110中的遮挡区域120和可见区域122；遮挡网格114和伴随的遮挡区域、占用区域和/或可见区域也可以延伸到不可驾驶区域118。例如，遮挡网格可以延伸到诸如人行道之类的不可驾驶区域，以捕获与行人、自行车、经由横跨人行道的车道进入/离开可驾驶区域的车辆等相关的车辆的决策相关的信息。
车辆112可以基于动态对象将从右侧接近遮挡区域120的知识(例如，从地图数据导出)将可见区域122指定为进入遮挡区域的“入口区域”。在一些示例中，可见区域122的入口区域可以与遮挡区域120连续，使得遮挡区域120的第一范围对应于入口区域的第二范围。当评估诸如可驾驶区域116之类的可驾驶区域时，入口区域的第二范围可以对应于与遮挡区域120相关联的可驾驶区域116。在至少一些示例中，这样的入口区域需要从可驾驶表面的一侧到另一侧沿着遮挡区域和可见区域之间的边界的连续的可见遮挡场(例如，具有各个遮挡场共同的至少一个相邻侧)，其中该边界对应于进入的行进方向。除了遮挡区域和可见区域之间的边界对应于从遮挡区域的离开的行进方向之外，可以执行类似的技术来确定出口区域。如果在遮挡区域的两侧识别出入口和出口区域，则可以对遮挡区域内的动态对象进行推理。在这样的示例中，沿着可驾驶区域116行进的动态对象很可能沿着可驾驶区域116从入口区域继续进入并穿过遮挡区域116，并且经由出口区域离开。
在操作124，该过程可以包括通过观察可见区域一时间段来确定遮挡区域的占用状态。示例126说明在第二时间T2确定环境中的伪可见区域128。例如，伪可见区域128可以对应于遮挡网格114的遮挡场，车辆112基于从时间T1到时间T2观察可见区域122，以特定的确定度确定遮挡网格114未被动态对象占用。伪可见区域128未被占用的确定还可以基于指示可驾驶区域116的行进方向从右侧接近遮挡区域120并且可见区域122是如刚刚描述的入口区域的环境的地图数据。在一些示例中，没有任何动态对象从入口区域进入遮挡区域120，车辆112可以基于阈值速度和/或阈值时间量继续确定遮挡网格114的遮挡场沿着与遮挡网格的区域相关联的行进方向伪可见，直到所有遮挡场被认为是伪可见。也就是说，最接近入口区域的遮挡场可以在更接近出口区域的遮挡场之前被指定为伪可见。
尽管在示例126中为了清楚起见通常被描绘为在x方向和y方向上，但是遮挡区域120和/或可见区域122还可以表示与z方向分量相关联的遮挡信息，例如，其可以对应于对象106的高度。在另一实例中，遮挡信息可以与对应于周围环境的地形的z方向分量相关联，例如山丘或山谷，或者可以被遮挡但与轨迹确定相关的对象的高度，例如停车灯或列车交叉信号。
在操作130，该过程可以包括至少部分地基于遮挡区域的占用状态来控制车辆。例如，如果遮挡区域120的占用状态指示遮挡区域很可能没有动态对象(例如，通过将遮挡区域120中的遮挡场的所有列和/或行指定为“伪可见”)，车辆112可以基于车辆112有效且安全地到达目的地的轨迹穿过环境。
在另一示例中，如果遮挡区域120的占用状态指示遮挡区域中存在动态对象(或者，没有足够的信息来确定遮挡区域是否没有动态对象)，车辆112可以等待对象从遮挡区域120重新出现(例如，由车辆的传感器感测)和/或尝试移动到某个位置，以使传感器具有更大的可见度。一旦动态对象再次出现，车辆112可以对应地做出响应，例如通过等待对象在继续到车辆的预定目的地之前清理预定轨迹的区域。在至少一些示例中，一旦对象进入遮挡区域，就可以重新评估关于伪可见空间的推理。作为非限制性示例，一旦对象进入遮挡区域，遮挡网格114中的所有遮挡场可以被标记为遮挡，并且可重新计算伪可见确定。
尽管占用状态可以以各种方式用于控制车辆，但其他输入也可能有助于选择控制车辆(例如，安全系统、用户输入等)。例如，在一些示例中，占用状态可以用作与控制车辆穿过环境相关联的许多成本之一。用于控制车辆的额外成本的示例可以包括但不限于一个或多个转向成本(例如，基于车辆转向角的成本)、参考成本(例如，基于轨迹与基准线的距离的成本)、加速成本(例如，基于车辆最大加速度的成本)、制动成本(例如，基于最小制动时间的成本)等。
在本公开中讨论了遮挡区域、入口区域、伪可见区域和占用状态的额外细节。
图2是根据本公开的实施例的环境200，示出了包括环境中的多个遮挡场的示例遮挡网格的透视图，并示出了包括遮挡推理组件的车辆，该遮挡推理组件用于确定由障碍物引起的遮挡网格的遮挡区域和未遮挡区域。
如图所示，环境200可以包括车辆202，车辆202包括一个或多个传感器系统204，其用于捕获表示环境200的数据。
在至少一个示例中，如上所述，车辆202可以与可以被布置在车辆202上的(一个或多个)传感器系统204相关联。(一个或多个)传感器系统204可以包括光探测和测距(激光雷达)传感器、无线电探测和测距(雷达)传感器、超声波传感器、声导航和测距(声纳)传感器、位置传感器(如全球定位系统(GPS)、指南针等)、惯性传感器(如惯性测量单元、加速度计、磁强计、陀螺仪等)、相机(如RGB、IR、强度、深度等)、车轮编码器、麦克风、环境传感器(如温度传感器、湿度传感器、光传感器、压力传感器等)、飞行时间传感器(例如，RF调制光源、距离选通成像器、直接飞行时间成像器等)等。(一个或多个)传感器系统204可以生成传感器数据，与车辆202相关联的(一个或多个)车辆计算设备206可以使用这些数据。
在至少一个示例中，(一个或多个)车辆计算设备206可以利用遮挡推理组件208中的传感器数据。例如，遮挡推理组件208可以访问遮挡数据和/或地图数据以确定遮挡网格中遮挡场的(一个或多个)遮挡状态和(一个或多个)占用状态。
作为示例但不限于，环境200中的车辆202正在接近交叉点210。在一些示例中，车辆202可以访问地图数据，并且可以确定遮挡网格212与交叉点210相关联。在一些示例中，交叉点210可以表示要求车辆202向进入交叉点210的单向交通让行的交叉点。
遮挡网格212可以包括将环境200的一部分划分为离散区域的多个遮挡场。尽管为了说明而将遮挡场描绘为均匀大小的区域，但是遮挡场不必如此限制并且可以具有非均匀尺寸(例如，至少部分地基于与车辆202的距离、可行驶区域的类型(例如，城市街道、高速公路等)或诸如此类的较大或较小尺寸)。在一些示例中，遮挡场214可以表示遮挡状态(例如，遮挡场214是否在与车辆202的一个或多个传感器相关联的感测区域216内的指示)。可以理解，环境200可以包括一个或多个障碍物218、220和222，这些障碍物使得遮挡网格212的一部分落在车辆202的感测区域216之外，遮挡网格212的未遮挡区域224可以表示车辆202可以“看见”的遮挡网格212的区域，也就是说，车辆202可以捕获表示未遮挡区域224的传感器数据，遮挡区域226可以表示遮挡网格212中车辆202不能“看见”的区域(例如，基于期望的传感器范围、视野、对应的地图数据等)。在一些示例中，遮挡网格212可以基于执行机动所需的时间和/或信息来生成(例如，给定迎面而来的交通的估计速度穿过车道导致迎面而来的交通车道的最小可视距离)。如图2所示，遮挡区域226中的遮挡场被阴影化为灰色以表示缺少对应于该区域的传感器数据，而未遮挡区域224未被阴影化。
在某些情况下，当遮挡字段被对象占用时，遮挡字段可以存储指示对象身份的额外元数据以及指示对象通过遮挡网格的路径的数据。例如，遮挡推理组件208的遮挡速度组件228可以确定对象通过遮挡网格的路径，以及当对象沿着通过遮挡网格的路径行进时对象的速度。此外，遮挡速度组件228可以将对象的速度与一个或多个与如何控制车辆202的决策相关的阈值速度进行比较。在一些示例中，遮挡速度组件228还可以在识别和/或评估环境中的遮挡区域时使用阈值速度，例如，确定在以其他方式阻碍车辆202的(一个或多个)传感器系统204的区域中是否存在动态对象。
下面结合图3和4讨论用于识别和评估静态遮挡区域的额外细节。而下面结合图5A和5B讨论用于识别和评估移动遮挡区域的额外细节。
图3是根据本公开的实施例识别静态遮挡区域和从静态遮挡区域的一侧到另一侧的动态对象的示例。
环境302包括车辆304(例如，自动驾驶车辆)、第一静态对象306(例如，静止或停放的另一车辆)和第二动态对象308(例如，在交通方向311上沿着可驾驶区域310移动的另一车辆)。如图所示，环境302可以表示初始时间(例如T1)。在初始时间T1，静态对象306可以从车辆304的传感器模糊环境302的一部分，导致由浅灰色阴影指示的遮挡区域312。车辆304能够感测到许多未被遮挡的可见区域，例如可见区域314。交通方向311可以使用环境302的地图数据来确定，和/或可以通过从车辆304的传感器接收的环境302的感知数据来确定，例如该感知数据被分析以确定交通方向311(例如，观察车辆沿着可驾驶表面310行驶的方向)。
在一些示例中，车辆304的遮挡推理系统可以使用地图数据和/或来自车辆304的传感器的数据来在初始时间T1生成环境302的环境表示316。环境表示316包括车辆304、静态对象306、动态对象308和可驾驶区域310的表示。
如上所述，车辆304可以生成遮挡网格318，该遮挡网格318包括表示环境302的离散区域的多个遮挡场。在一些示例中，遮挡场可以指示遮挡状态(例如，指示位置对自动驾驶车辆的一个或多个传感器是否可见，位置是否对传感器造成遮挡、位置是否超出传感器的范围等)和占用状态(例如，指示位置是否被诸如车辆、行人、动物等之类的对象占用)。遮挡网格318可以从环境的地图数据生成，并且遮挡推理系统可以使用来自车辆304的传感器的数据来确定遮挡场的状态。
例如，车辆304的遮挡推理系统可以使用环境的地图数据来生成对应于可驾驶区域310的遮挡网格318的遮挡场。车辆304的遮挡推理系统还可以使用一个或多个传感器来识别静态对象306，以及指定遮挡场，其中静态对象306被检测为“被占用”(例如，由黑色阴影遮挡场指示)。遮挡推理系统还可以确定静态对象306阻止一个或多个传感器查看遮挡区域312。基于该确定，遮挡推理系统可以将遮挡区域312中包括的遮挡场的指示指定为“遮挡”和/或“不确定”，因为遮挡推理系统不能确定地说遮挡区域312中的遮挡场是否被占用。
车辆304的遮挡推理系统还可以使用地图数据来确定与可驾驶区域310相关联的交通方向。在示例300中，行进方向从右向左移动，如动态对象308在环境302中所示。基于与可驾驶区域310相关联的行进方向，车辆的遮挡推理系统可以将可见区域314的至少一部分指定为进入遮挡区域312的入口区域。在某些情况下，根据定义，入口区域必须跨越所有可能的入口进入遮挡区域。可以通过确定连续连接的遮挡场(例如，具有至少一个与另一个相邻遮挡场共同的边的遮挡场)的一部分来确定跨距，这些遮挡场是可见的，其基于交通方向沿着入口区域中的遮挡区域312的边界将可行驶表面的第一侧连接到另一侧。通过跨越进入遮挡区域的所有可能入口，入口区域向车辆提供关于动态对象是否存在于遮挡区域中的更高程度的确定性(例如，不存在可以阻挡沿着交通行进方向进入遮挡区域312的动态实体的遮挡场)。通过指定入口区域，车辆304可以以相对高的确定性来确定动态对象将仅经由可见区域314进入遮挡区域312，并且将以相同的大体方向继续通过遮挡区域312。然后，车辆304的遮挡推理系统可以将该信息提供给车辆304的规划系统，该规划系统可以用于做出决策以控制车辆304。类似的技术可以用于确定出口区域(例如，在出口侧相对于穿过遮挡区域312的交通方向跨越遮挡区域312的第二边界的区域)。在至少一些示例中，如果未识别出入口和/或出口区域，则可以采用替代控制方案来操作给定已知遮挡的车辆。
在初始时间T1之后的第二时间T2，环境320对应于环境302。如图所示，从初始时间T1到第二时间T2，车辆304和静止对象306都保持静止，并且因此遮挡区域312保持不变，或者说“静止”。在初始时间T1和第二时间T2之间，动态对象308沿着轨迹行进穿过可驾驶区域310。
另外，在一些示例中，车辆304的遮挡推理系统可以使用地图数据和/或来自车辆304的传感器的数据来在第二时间T2生成环境320的环境表示322。环境表示322包括车辆304、静态对象306、动态对象308和可驾驶区域310的表示。
遮挡网格318也在环境表示322中表示。随着时间从初始时间T1进展到第二时间T2，车辆304的遮挡推理系统可以将先前指定为不确定的遮挡场指定为“伪可见”。例如，在初始时间T1，车辆304的传感器能够在可见区域314的入口区域中检测动态对象308。然后，在第二时间T2，车辆304的传感器能够检测在遮挡区域312的另一侧重新出现的动态对象308。基于对静态遮挡区域和与静态遮挡区域相关联的入口区域的这些观察，车辆304可以以相对高的确定性假设，在遮挡区域312内的动态对象308占用的可行驶区域310的车道中不存在动态对象。可以通过例如特征匹配或者通过使用嵌入来确定进入动态区域的对象与离开的对象相同来进行这样的指定。在至少一些示例中，可以使用所观察实体的动态和/或运动学来确定伪可见遮挡场。在此类示例中，如果车辆以15m/s的速度进入，则车辆行驶所在行中的遮挡场可以指定为伪可见，以从右到左的次序(或在交通方向)以15m/s的速率(基于遮挡场的长度)。例如，遮挡推理系统可以假设动态对象308通过遮挡区域312而没有与遮挡区域312中存在的另一对象接触。因此，车辆304的遮挡推理系统可以指定动态对象穿过的遮挡网格318的遮挡场308作为伪可见区域324(由深灰色块指示)，并且使用该信息来相应地控制车辆304。在至少其他示例中，进入遮挡区域的动态对象可以将遮挡场的状态“重置”为“不确定”，并且可以使用如下类似的处理来将遮挡场标记为伪可见。
在一些示例中，车辆304的遮挡推理系统还可以或者可选地使用最小阈值速度和/或阈值时间来将遮挡网格318的遮挡场指定为伪可见。阈值速度可以对应于合理的动态对象预期在环境中行进的最小速度。例如，可驾驶区域310的中间车道不具有从可见区域314通过遮挡区域312的动态对象，以用作伪可见性的参考。在某些情况下，遮挡区域内可能存在一个动态对象以低于动态对象308的速度移动，该对象仍然与做出控制车辆304的决策有关。为了考虑这样的对象，车辆可以使用最小阈值速度，例如步行行人的平均速度(例如，1.5m/s)，以将遮挡区域312中遮挡场的指定从不确定改变为随着时间推移并且从入口区域的位置开始的伪可见。在至少一些示例中，可以定义不同的最小阈值速度(例如，基于例如到车辆304的距离而增加或减少)。从初始时间T1到第二时间T2继续观察可见区域314，遮挡推理系统可以将遮挡场的指定从不确定改变为通过遮挡区域312从入口区域伪可见，只要没有动态对象进入遮挡区域，或者直到被遮挡区域312中的所有遮挡场都是伪可见的。作为非限制性示例，如果每个遮挡场的长度为1.5m，则以1.5m/s的最小阈值速度移动的动态对象将花费1s通过每个遮挡场。在这样的示例中，遮挡场将按从每行最右边的遮挡场通过遮挡区域312和到出口区域的顺序被标记为每秒“伪可见”。一旦所有遮挡区域被标记为伪可见(或以其他方式可见并说明)，车辆304可以规划穿过交叉点的路径(包括向人类驾驶员(例如，在高级驾驶员辅助系统中)发送警报以指示其可能安全行驶)。
如上所述，将阈值速度设置为步行行人的平均速度(例如，1.5m/s)允许车辆304的传感器以更快的速度在行进方向上检测通过遮挡区域的任何动态对象。在许多情况下，移动低于阈值速度的对象不会影响用于控制车辆的许多决定，因此车辆可以将此类对象视为“不移动”。然而，如果车辆304检测到移动低于阈值速度的动态对象，车辆304可以相应地改变其轨迹。此外，尽管在本文的各种示例中描述了1.5m/s的阈值速度，但是可以使用任何合适的速度作为最小阈值速度。
图4是根据本公开的实施例识别静态遮挡区域和离开静态遮挡区域的遮挡区域的动态对象的示例。
环境402包括车辆404(例如，自动驾驶车辆)、第一静态对象406(例如，静止或停放的另一车辆)和第二动态对象408(例如，刚刚离开静态对象406进入可驾驶区域410的行人；也称为“P”)。类似于图3的可驾驶区域310，可驾驶区域410与从右向左的交通方向411相关联。交通方向411可以使用环境402的地图数据来确定，和/或可以通过从车辆404的传感器接收的环境402的感知数据来确定，例如，该感知数据被分析以确定交通方向411(例如，观察车辆沿着可驾驶表面410行驶的方向)。
如图所示，环境402可以表示初始时间(例如T1)。在初始时间T1，静态对象406可以使来自车辆404的传感器的环境402的一部分模糊，导致由浅灰色阴影指示的遮挡区域412。车辆404能够感测许多未被遮挡的可见区域，例如可见区域414。在初始时间T1，动态对象408位于遮挡区域中，因此车辆404的传感器尚未检测到动态对象408的位置或存在。换句话说，车辆404在初始时间T1不知道动态对象408。
在一些示例中，车辆404的遮挡推理系统可以使用地图数据和/或从车辆404的传感器接收的数据来在初始时间T1生成环境402的环境表示416。环境表示416包括车辆404、静态对象406和可驾驶区域410的表示。出于说明目的，动态对象408也包括在环境表示416中，但是由于位于遮挡区域412中并且因此不能被车辆404的传感器感测，因此可以不包括在由车辆404生成的环境表示中。
与结合图3讨论的遮挡网格318类似，车辆404可以生成遮挡网格418，遮挡网格418包括表示环境402的离散区域的多个遮挡场。遮挡网格418可以从环境的地图数据生成，并且遮挡推理系统可以使用来自车辆404的传感器的数据来确定遮挡场的状态。
例如，车辆404的遮挡推理系统可以使用环境的地图数据来生成对应于可驾驶区域410的遮挡网格418的遮挡场。车辆404的遮挡推理系统还可以使用一个或多个传感器来识别静态对象406，以及确定静态对象406阻止一个或多个传感器观看遮挡区域412。基于该确定，遮挡推理系统可以将遮挡区域412中包括的遮挡场的指示指定为“不确定”，因为遮挡推理系统不能够肯定地说遮挡区域412中的遮挡场是否被占用。
车辆404的遮挡推理系统还可以使用地图数据来确定与可驾驶区域410相关联的交通方向。在示例400中，交通方向从右向左移动。基于与可驾驶区域410相关联的行进方向，车辆的遮挡推理系统可以将可见区域414指定为进入遮挡区域412的入口区域。
在初始时间T1之后的第二时间T2，环境420对应于环境402。如图所示，从初始时间T1到第二时间T2，车辆404和静态对象406都保持静止，因此遮挡区域412保持相同。因为车辆404和静态对象406(例如，引起遮挡区域412的对象)都从初始时间T1到第二时间T2保持静止，所以示例400中的遮挡区域可以被认为是静态遮挡区域。动态对象408已经沿着轨迹前进，在初始时间T1从静态对象406的后面穿过可驾驶区域410，在第二时间T2出现在静态对象406的前面，变得对车辆404的传感器可见。
另外，在一些示例中，车辆404的遮挡推理系统可以使用地图数据和/或来自车辆404的传感器的数据来在第二时间T2生成环境420的环境表示422。环境表示422包括车辆404、静态对象406、动态对象408和可驾驶区域410的表示。
遮挡网格418也在环境表示422中表示。随着时间从初始时间T1进展到第二时间T2，车辆404的遮挡推理系统可以将先前指定为不确定的遮挡场指定为基于静态遮挡区域412的知识的“伪可见”遮挡场，车辆404的遮挡推理系统可以使用最小阈值速度将遮挡网格418的遮挡场指定为伪可见，例如上述1.5m/s速度。使用可见区域414和被识别进入遮挡区域412的入口区域，遮挡推理系统可以开始将遮挡场的指定从不确定改变为从右向左伪可见区域424。由于遮挡推理系统正在从初始时间T1到第二时间T2生成伪可见区域424，动态对象408从遮挡区域412出现到对车辆404的传感器可见的区域中。车辆404的遮挡推理系统可以基于最小阈值速度继续将遮挡场的指定从不确定改变为在遮挡区域412内伪可见，只要没有动态对象进入遮挡区域，或者直到遮挡区域412中的所有遮挡场都是伪可见的。
使用最小阈值速度将遮挡场的指定从不确定更改为伪可见，使得遮挡推理系统能够随着时间的推移继续更新这些场，尽管先前不可见的动态对象408已经出现。另外，固定门卫的使用允许车辆404的规划系统做出关于何时通过交叉点释放车辆404的决定，而不存在诸如缓慢爬行通过交叉点的行为，以确保环境的所有区域在最终通过交叉点释放车辆之前是可见的交叉点。相反，车辆404通过保持静止直到遮挡区域412变为伪可见来模拟人类驾驶员的自然行为，从而允许车辆内部的乘客和车辆外部的人类更准确地预测自动驾驶车辆的动作并做出反应。
图5A是根据本公开的实施例识别移动遮挡区域和移动遮挡区域的伪可见区域的示例。图5B是与图5A所示的示例相对应的遮挡网格的示例。
环境502包括车辆504(例如，自动驾驶车辆)和对象506(例如，静止或停放的另一车辆)。车辆504沿着接近可驾驶区域508的交叉点的轨迹移动。如图所示，环境502可以表示初始时间(例如T1)。在初始时间T1，对象506可以使来自车辆504的传感器的环境502的一部分模糊，导致由浅灰色阴影指示的遮挡区域510，并且具有左边界513(1)和右边界513(2)。车辆504能够感测到许多未被遮挡的可见区域，例如可见区域512。
在初始时间T1之后的第二时间T2A，环境514包括车辆504和对象506。当时间从初始时间T1到第二时间T2A进行时，车辆504已经穿过可驾驶区域508的一部分以到达更接近交叉点的位置。因此，当车辆504相对于目标506移动时，遮挡区域510在形状和尺寸上改变以产生遮挡区域516(A)，如与遮挡区域510的位置相对应的虚线所示。遮挡区域510在具有左边界513(1)和右边界513(2)的环境514中示出。遮挡区域516(A)示出在具有左边界515(1)和右边界515(2)的环境514中。另外，可见区域512在形状和尺寸上改变以在第二时间T2A产生可见区域518(A)。
为了进一步说明从初始时间T1到第二时间T2的遮挡和可见区域的变化，在初始时间T1之后并且对应于第二时间T2A的第二时间T2B，环境520包括车辆504和对象506。当车辆504从初始时间T1移动到第二时间T2A/T2B时，环境520还包括伪可见区域522(A)，其对应于可见区域512和可见区域518(a)的大小和尺寸的差。伪可见区域522(A)由遮挡区域510的右边界513(2)和遮挡区域516(a)的右边界515(2)形成。在一些示例中，车辆的遮挡推理系统可以利用地图数据来确定可驾驶区域508的交通方向，如本文所述，并且基于已知的交通方向将可见区域512指定为进入遮挡区域510的入口区域。在至少一些示例中，这样的指定可以取决于与可驾驶区域相关联的行进方向。作为非限制性示例，新遮挡区域，其遮挡所述遮挡区域516(A)前面的环境部分(例如，相对于行进方向，在这种情况下，在遮挡区域510的左侧)可以被指定为遮挡且不“伪可见”。因为在该示例中，车辆504和创建遮挡区域510的对象506中的至少一个(在这种情况下，车辆504)正在移动，车辆的遮挡推理系统可以进一步将(一个或多个)遮挡区域512、518(A)和/或518(B)处指定为移动遮挡区域。车辆504的遮挡推理系统可以向车辆504的规划系统提供关于移动遮挡区域的信息以用于控制车辆504，例如是否在交叉点停车、在交叉点停车多长时间、通过交叉点加速的速度等等。
在一些实例中，为了确定伪可见区域的目的，与遮挡区域510相对应的遮挡区域516(A)的一部分可以被视为静态遮挡区域。也就是说，除了在环境520中示出的伪可见区域522(A)之外，遮挡推理系统还可以基于阈值速度和/或T1和T2之间的时间段将遮挡区域516(B)的部分指定为伪可见区域522(B)。在该示例中，伪可见区域522(B)由遮挡区域510的边界513(2)和随着时间推移从移动遮挡区域的入口区域在交通方向上前进的边界523形成。因此，可以组合用于评估静态遮挡区域和移动遮挡区域的技术，以基于捕获的数据快速确定伪可见区域。在至少一些这样的示例中，伪可见遮挡场的确定可以从具有对可见或伪可见的指定的最左侧(例如，沿着交通方向)遮挡场开始。
图5B是根据本公开的实施例确定图5A中描述的遮挡区域的占用状态的示例524。
在一些示例中，图5A的车辆504的遮挡推理系统可以使用地图数据和/或来自车辆504的传感器的数据来在初始时间T1生成图5A的环境502的环境表示526。环境表示526包括车辆504、对象506和可驾驶区域508的表示。类似于上文讨论的遮挡网格，车辆504可以生成遮挡网格528，遮挡网格528包括表示环境502的离散区域的多个遮挡场。遮挡网格528可以从环境的地图数据生成，并且遮挡推理系统可以使用来自车辆504的传感器的数据来确定遮挡场的状态。
例如，车辆504的遮挡推理系统可以使用环境的地图数据来生成对应于可驾驶区域508的遮挡网格528的遮挡场。车辆504的遮挡推理系统还可以使用一个或多个传感器来识别对象506，以及确定对象506阻止一个或多个传感器观看遮挡区域510。对象506占用的遮挡场被着色为黑色，以指示对象506占用这些场。基于该确定，遮挡推理系统可以将遮挡区域510中包括的遮挡场的指示指定为“遮挡”和/或“不确定”(例如，关于遮挡状态和/或占用状态)，因为遮挡推理系统不能确定地说遮挡区域510中的遮挡场是否被占用。
在示例524中，车辆504可能试图穿过交叉点。这样，车辆504可以确定迎面而来的交通车道与确定安全穿过可行驶区域508交叉点的可见度有关。车辆504的遮挡推理系统还可以使用地图数据确定与可行驶区域508相关联的交通方向。在示例500和524中，行进方向从右向左移动。基于与可驾驶区域508相关联的行进方向，车辆的遮挡推理系统可以将可见区域512指定为进入遮挡区域510的入口区域。在至少一些示例中，这样的入口区域需要从可驾驶区域508的一侧到另一侧沿着遮挡区域和可见区域之间的边界的连续的遮挡场(例如，具有各个遮挡场共同的至少一个相邻侧)，其中，所述边界对应于进入的行进方向。除了遮挡区域和可见区域之间的边界对应于从遮挡区域的离开的行进方向之外，可以执行类似的技术来确定出口区域。如果在遮挡区域510的任一侧上识别出入口和出口区域，则可以执行关于遮挡区域510内的动态对象的推理。在这样的示例中，沿着可驾驶区域508行进的动态对象很可能沿着可驾驶区域508从入口区域继续进入并穿过遮挡区域510，并且经由出口区域离开。
另外，在一些示例中，车辆504的遮挡推理系统可以使用地图数据和/或来自车辆504的传感器的数据来在第二时间TA生成图5A的环境514的环境表示530。环境表示530包括车辆504、对象506和可驾驶区域508的表示。
遮挡网格528也在环境表示530中表示。遮挡区域510也由左边界513(1)和右边界513(2)表示。随着时间从初始时间T1前进到第二时间T2A，车辆504的遮挡推理系统可以基于移动遮挡区域的知识将先前指定为不确定的遮挡场指定为“伪可见”。在一些示例中，将先前不确定的遮挡场指定为伪可见可取决于从时间T1到时间T2存在的入口区域和/或出口区域，即使入口区域和出口区域移动。如果车辆504从时间T1到时间T2不再能够识别入口区域，并且在至少一些情况下不能识别出口区域，则车辆504可以使用其他技术执行对环境的遍历。在一些实例中，与移动遮挡区域相对应的遮挡场可以仅相对于交通方向从遮挡过渡到伪可见，例如，从边界513(2)过渡到边界515(2)。
例如，如时刻T2B的环境表示532所示，在初始时间T1可见但在时刻T2A被遮挡的遮挡网格528的遮挡场包括在伪可见区域534中。为了指定伪可见区域534，车辆504的遮挡推理系统利用在初始时间T1在先前指定的入口区域中没有动态对象，并且从初始时间T1到第二时间T2A没有动态对象进入入口区域的知识。因此，一旦再次假设交通方向是从右向左，车辆504的遮挡推理系统可以假设伪可见区域534没有动态对象。伪可见区域534可以包括由左侧的边界513(2)和右侧的边界515(2)表示的移动遮挡区域的伪可视性。另外，伪可见区域534可以包括由左侧的边界523和右侧的边界513(2)表示的静态遮挡区域的伪可视性。
当车辆接近可行驶区域508的交叉点时，通过指定伪可见区域534，与常规技术相比，车辆504的规划系统可以做出关于如何更快和/或更自信地穿过交叉点的决策，常规技术要求车辆到达交叉点，然后向前爬行，直到在穿过交叉点之前所有区域都可见。
图6描绘了用于实现本文所述技术的示例系统600的框图。在至少一个示例中，系统600可以包括车辆602，其可以对应于图1的车辆112、图2的车辆202、图3的车辆304、图4的车辆404和/或图5A和5B的车辆504。
车辆602可以包括(一个或多个)车辆计算设备604、一个或多个传感器系统606、一个或多个发射器608、一个或多个通信连接610、至少一个直接连接612和一个或多个驱动系统614。
(一个或多个)车辆计算设备604可以包括与一个或多个处理器616通信耦合的一个或多个处理器616和存储器618。在所示示例中，车辆602是自动驾驶车辆；然而，车辆602可以是任何其他类型的车辆或机器人平台。在所示的示例中，(一个或多个)车辆计算设备604的存储器618存储定位组件620、感知组件622、一个或多个地图624、一个或多个系统控制器626、遮挡推理组件628、对象轨迹组件630、遮挡占用预测组件632、规划组件634、以及轨迹选择组件636。尽管为了说明的目的在图6中被描绘为驻留在存储器618中，但是可以设想定位组件620、感知组件622、一个或多个地图624、一个或多个系统控制器626、遮挡推理组件628、对象轨迹组件630、遮挡占用预测组件632、规划组件634和轨迹选择组件636可以另外地或可选地可供车辆602访问(例如，存储在远离车辆602的存储器上或以其他方式可由远离车辆602的存储器访问)。
在至少一个示例中，定位组件620可以包括从(一个或多个)传感器系统606接收数据以确定车辆602的位置和/或取向(例如，x-、y-、z-位置、侧倾、俯仰或偏航中的一个或多个)的功能。例如，定位组件620可以包括和/或请求/接收环境的地图，并且可以连续地确定自动驾驶车辆在地图内的位置和/或取向。在一些实例中，定位组件620可以利用SLAM(同时定位和映射)、CLAMS(同时校准、定位和映射)、相对SLAM、束调整、非线性最小二乘优化等来接收图像数据、激光雷达数据、雷达数据、飞行时间数据、IMU数据、GPS数据、车轮编码器数据等，以准确地确定自动驾驶车辆的位置。在一些实例中，定位组件620可以向车辆602的各种组件提供数据，以确定自动驾驶车辆的初始位置，以生成轨迹和/或确定从存储器检索包括遮挡网格的地图数据，如本文所讨论的。
在一些实例中，感知组件622可以包括执行对象检测、分割和/或分类的功能。在一些示例中，感知组件622可以提供经处理的传感器数据，该数据指示存在接近车辆602的实体和/或将该实体分类为实体类型(例如，汽车、行人、骑自行车的人、动物、建筑物、树、路面、路缘、人行道、红绿灯、停车标志、未知项等)。在额外或替代实例中，感知组件622可以提供经处理的传感器数据，其指示与被检测实体(例如，被跟踪对象)和/或实体所在环境相关联的一个或多个特征。在一些示例中，与实体相关联的特征可以包括但不限于：x位置(全局和/或局部位置)、y位置(全局和/或局部位置)、z位置(全局和/或局部位置)、取向(例如，滚转、俯仰、偏航)、实体类型(例如，分类)、实体的速度、实体的加速度、实体的范围(大小)等。与环境相关的特征可以包括但不限于：环境中另一实体的存在、环境中另一实体的状态、一天中的某个时间、一周中的某一天、季节、天气状况、黑暗/光明的指示等。
存储器618还可以包括一个或多个地图624，车辆602可以使用这些地图在环境内导航。出于本讨论的目的，地图可以是以二维、三维或N维建模的任意数量的数据结构，这些数据结构能够提供关于环境的信息，例如但不限于：拓扑(例如交叉点)、街道、山脉、道路、地形和一般环境。在一些实例中，地图可以包括但不限于：纹理信息(例如，颜色信息(例如，RGB颜色信息、Lab颜色信息、HSV/HSL颜色信息)等)、强度信息(例如，激光雷达信息、雷达信息等)；空间信息(例如，投影到网格上的图像数据、个体“曲面”(例如，与个体颜色和/或强度相关联的多边形))、反射率信息(例如，镜面反射度信息、逆反射率信息、BRDF信息、BSSRDF信息等)。在一个示例中，地图可以包括环境的三维网格。在某些情况下，地图可以以平铺格式存储，使得地图的个体平铺表示环境的离散部分，并且可以根据需要将其加载到工作内存中。在至少一个示例中，一个或多个地图624可以包括至少一个地图(例如，图像和/或网格)。在一些示例中，可以至少部分地基于地图624来控制车辆602。也就是说，地图624可以结合定位组件620、感知组件622、遮挡推理组件628和/或规划组件634来使用，以确定车辆602的位置，识别环境中的对象，和/或生成在环境内导航的路线和/或轨迹。
在一些示例中，一个或多个地图624可以存储在可经由(一个或多个)网络638访问的(一个或多个)远程计算设备(例如(一个或多个)计算设备640)上。在一些示例中，多个地图624可以基于例如特征(例如，实体类型、一天中的时间、一周中的一天、一年中的季节等)来存储。存储多个地图624可以具有类似的存储器要求，但是可以提高地图中的数据可以被访问的速度。
在一些示例中，一个或多个地图624可以存储与环境中的个体位置相关联的遮挡网格。例如，当车辆602穿过环境并且当表示接近车辆602的区域的地图被加载到存储器中时，与位置相关联的一个或多个遮挡网格也可以被加载到存储器中。在一些示例中，可以基于地图数据来动态地生成遮挡网格。
一般来说，遮挡推理组件628可以基于(一个或多个)传感器系统606提供的数据确定由环境中的一个或多个对象引起的环境的遮挡区域。在一些示例中，遮挡推理组件可以对应于图2的遮挡推理组件208。在一些实例中，遮挡推理组件628可以向规划组件634提供由遮挡推理组件628生成的遮挡信息，以确定何时和/或如何控制车辆602穿过环境。如本文所讨论的，遮挡推理组件628可以接收激光雷达数据、图像数据、地图数据等以确定环境中的遮挡相关信息。生成和/或使用遮挡网格的示例在2018年6月18日提交的美国专利申请No.16/011,436中讨论。通过引用将申请No.16/011,436的全部内容并入本文。
包括在遮挡推理组件628中的对象轨迹组件630例如实时地确定环境中对象的轨迹。轨迹可以基于对象的当前位置，以及随时间评估对象以基于对象分类、位置、速度、加速度、传感器不确定性等来确定对象的可能位置。对象轨迹组件630可以被配置成基本上同时评估多个对象轨迹。例如，对象轨迹组件630可以评估导致环境中的(一个或多个)对应遮挡的对象的一个或多个轨迹，和/或可以通过环境中的(一个或多个)遮挡区域的(一个或多个)动态对象的一个或多个轨迹，等等。在2018年10月4日提交的美国专利申请No.16/151,607中讨论了生成一个或多个轨迹的示例。通过引用将申请No.16/151607的全部内容并入本文。
根据本文提供的任何一个或多个示例，遮挡占用预测组件632可以确定环境的遮挡区域没有动态对象的可能性。例如，遮挡占用预测组件632可以将遮挡区域投影到车辆周围环境的地图624上，以确定环境的哪些“已知”部分将被对象遮挡。在一些实例中，遮挡占用预测组件632除了关于特定传感器模态的信息(例如，范围、视野等)之外，还可以使用光线投射和/或投影技术来确定与对象相关联的遮挡区域。此外，遮挡占用预测组件632可以基于地图624确定进入遮挡区域的入口和/或出口区域，并且确定遮挡区域是对应于静态遮挡区域(例如，车辆和遮挡对象都是静止的)还是移动遮挡区域(例如，车辆和遮挡对象中的一个或两个正在移动)。在一些示例中，遮挡占用预测组件632可以基于对环境的观察(例如，通过(一个或多个)传感器系统606)来确定动态对象是否位于遮挡区域内，并将该信息提供给规划组件634以用于控制车辆602。
一般来说，规划组件634可以确定车辆602穿过环境的路径。例如，规划组件634可以确定各种路线和轨迹以及各种细节级别。例如，规划组件634可以确定从第一位置(例如，当前位置)到第二位置(例如，目标位置)的行进路线。出于本讨论的目的，路线可以是在两个地点之间行驶的一系列航路点。作为非限制性示例，航路点包括街道、交叉点、全球定位系统(GPS)坐标等。此外，规划组件634可以生成用于引导自动驾驶车辆沿着从第一位置到第二位置的路线的至少一部分行驶的指令。在至少一个示例中，规划组件634可以确定如何引导自动驾驶车辆从航路点序列中的第一航路点到航路点序列中的第二航路点。在一些例子中，指令可以是一条轨迹，也可以是轨迹的一部分。在一些示例中，可以根据后退地平线技术基本上同时地生成多个轨迹(例如，在技术公差内)，其中选择多个轨迹中的一个轨迹以供车辆602导航。
在一些情况下，规划组件634可以至少部分地基于周围环境的遮挡区域的知识，和/或动态对象是否可能不在遮挡区域内，为车辆602生成一个或多个轨迹，如本文所讨论的。在一些示例中，规划组件634可以使用时序逻辑(例如线性时序逻辑和/或信号时序逻辑)来评估车辆602的一个或多个轨迹。
在至少一个示例中，(一个或多个)车辆计算设备604可以包括一个或多个系统控制器626，其可以配置为控制转向、推进、制动、安全、发射器、通信，以及车辆的其他系统。这些(一个或多个)系统控制器626可以与(一个或多个)驱动系统614的对应系统和/或车辆602的其他部件进行通信和/或对其进行控制。
可以理解，为了说明的目的，本文讨论的组件(例如，定位组件620、感知组件622、一个或多个地图624、一个或多个系统控制器626、遮挡推理组件628、对象轨迹组件630、遮挡占用预测组件632、规划组件634、轨迹选择组件636)被划分来描述。然而，由各种组件执行的操作可以组合或在任何其他组件中执行。举例来说，可以由感知组件622(例如，而不是对象轨迹组件630)执行对象位置确定功能以减少由系统传送的数据量。
在至少一个示例中，(一个或多个)传感器系统606可以包括激光雷达传感器、雷达传感器、超声波传感器、声纳传感器、位置传感器(例如GPS、指南针等)、惯性传感器(例如惯性测量单元(IMU)、加速度计、磁强计、陀螺仪等)、相机(例如RGB、IR、强度、深度、飞行时间等)、麦克风、车轮编码器、环境传感器(例如，温度传感器、湿度传感器、光传感器、压力传感器等)等。(一个或多个)传感器系统606可以包括这些或其他类型传感器中的每一个的多个实例。例如，激光雷达传感器可以包括位于车辆602的拐角、前部、后部、侧面和/或顶部的单个激光雷达传感器。作为另一示例，相机传感器可以包括被设置在关于车辆602的外部和/或内部的各种位置处的多个相机。(一个或多个)传感器系统606可向(一个或多个)车辆计算设备604提供输入。另外或可选地，(一个或多个)传感器系统606可以经由一个或多个网络638发送传感器数据，在经过预定时间段之后，以特定频率以接近实时的方式等发送到一个或多个计算设备。
如上所述，车辆602还可以包括一个或多个发射器608，用于发射光和/或声音。本示例中的发射器608包括与车辆602的乘客通信的内部音频和视频发射器。作为示例而非限制，内部发射器可以包括扬声器、灯、标志、显示屏、触摸屏、触觉发射器(例如振动和/或力反馈)、机械致动器(例如，安全带张紧器、座椅定位器、头枕定位器等)等。该示例中的发射器608还包括外部发射器。作为示例而非限制，本示例中的外部发射器包括指示行进方向或其他车辆动作指示器的灯(例如，指示灯、标志、光阵列等)和一个或多个音频发射器(例如，扬声器、扬声器阵列、喇叭等)与行人或其他附近车辆进行有声通信，其中一个或多个车辆包括声束转向技术。
车辆602还可以包括一个或多个通信连接610，用于实现车辆602与一个或多个其他本地或远程计算设备之间的通信。例如，(一个或多个)通信连接610可以促进与车辆602和/或驱动系统614上的(一个或多个)其他本地计算设备的通信。同样地，(一个或多个)通信连接610可以允许车辆与(一个或多个)其他附近的计算设备(例如，其他附近的车辆、交通信号等)通信。(一个或多个)通信连接610还使得车辆602能够与远程操作计算设备或其他远程服务通信。
(一个或多个)通信连接610可以包括用于将(一个或多个)车辆计算设备604连接到另一计算设备或网络(例如(一个或多个)网络638)的物理和/或逻辑接口，(一个或多个)通信连接610可以实现基于Wi-Fi的通信，例如经由IEEE 802.11标准定义的频率、短距离无线频率(例如
Figure BDA0003232875880000291
)、蜂窝通信(例如，2G、3G、4G、4G LTE、5G等)，或任何合适的有线或无线通信协议，使得相应的计算设备能够与其他计算设备接口。
在至少一个示例中，车辆602可以包括一个或多个驱动系统614。在一些示例中，车辆602可以具有单个驱动系统614。在至少一个示例中，如果车辆602具有多个驱动系统614，则个体驱动系统614可以位于车辆602的相对端(例如，前部和后部等)。在至少一个示例中，(一个或多个)驱动系统614可以包括一个或多个传感器系统，以检测(一个或多个)驱动系统614和/或车辆602周围环境的状况。作为示例而非限制，(一个或多个)传感器系统可以包括一个或多个车轮编码器(例如，旋转编码器)用于感测驱动模块的车轮的旋转、用于测量驱动模块、相机或其他图像传感器的取向和加速度的惯性传感器(例如惯性测量单元、加速度计、陀螺仪、磁强计等)、用于以声学方式检测驱动系统周围的对象的超声波传感器、激光雷达传感器、雷达传感器等。某些传感器(如车轮编码器)可能是(一个或多个)驱动系统614独有的。在某些情况下，(一个或多个)驱动系统614上的(一个或多个)传感器系统可以重叠或补充车辆602的对应系统(例如，(一个或多个)传感器系统606)。
(一个或多个)驱动系统614可以包括许多车辆系统，包括高压电池、驱动车辆的电机、将蓄电池中的直流电转换为其他车辆系统使用的交流电的逆变器、包括转向电机和转向齿条(可以是电动的)的转向系统，包括液压或电动执行机构的制动系统、包括液压和/或气动部件的悬架系统、用于分配制动力以减轻牵引力损失和保持控制的稳定性控制系统、HVAC系统、照明(例如，照明设备，如用于照亮车辆外部环境的头灯/尾灯)和一个或多个其他系统(如冷却系统、安全系统、车载充电系统、其他电气部件，如DC/DC转换器、高压接头、高压电缆、充电系统、充电端口等)。另外，(一个或多个)驱动系统614可以包括驱动系统控制器，其可以从(一个或多个)传感器系统接收和预处理数据并控制各种车辆系统的操作。在一些示例中，驱动系统控制器可以包括一个或多个处理器以及与一个或多个处理器通信地耦合的存储器。存储器可以存储一个或多个组件以执行(一个或多个)驱动系统614的各种功能。此外，(一个或多个)驱动系统614还包括一个或多个通信连接，其使得相应的驱动系统能够与一个或多个其他本地或远程计算设备进行通信。
在至少一个实例中，直接连接612可以提供物理接口，以将一个或多个驱动系统614与车辆602的主体相耦合。例如，直接连接612可以允许在(一个或多个)驱动系统614和车辆之间传输能量、流体、空气、数据等。在一些实例中，直接连接612可以进一步可释放地将(一个或多个)驱动系统614固定到车辆602的主体。
在至少一个示例中，定位组件620、感知组件622、一个或多个地图624、一个或多个系统控制器626、遮挡推理组件628、对象轨迹组件630、遮挡占用预测组件632、规划组件634、以及轨迹选择组件636可以如上所述处理传感器数据，并且可以通过一个或多个网络638将其各自的输出发送到一个或多个计算设备640。在至少一个示例中，定位组件620、感知组件622、一个或多个地图624、一个或多个系统控制器626、遮挡推理组件628、对象轨迹组件630、遮挡占用预测组件632、规划组件634和轨迹选择组件636可以在经过一段预定的时间之后以特定频率、以接近实时的方式等向一个或多个计算设备640发送其各自的输出。
在一些示例中，车辆602可以经由(一个或多个)网络638向一个或多个计算设备640发送传感器数据。在一些示例中，车辆602可以向(一个或多个)计算设备640发送原始传感器数据。在其他示例中，车辆602可以将处理后的传感器数据和/或传感器数据的表示发送到(一个或多个)计算设备640。在一些示例中，车辆602可以在经过预定时间段之后以特定频率、以接近实时的方式等发送传感器数据到计算设备640。在一些情况下，车辆602可以将传感器数据(原始的或处理的)作为一个或多个日志文件发送到(一个或多个)计算设备640。
(一个或多个)计算设备640可以包括(一个或多个)处理器642和存储训练组件646的存储器644。
在一些实例中，训练组件646可以包括训练一个或多个模型以确定对象位置和/或轨迹、确定遮挡区域、确定移动和/或静止门卫、确定当处于遮挡区域中时的动态对象行为(例如，基于遮挡区域的特定位置)的功能等。在一些实例中，训练组件646可以将由一个或多个模型生成的信息传送到(一个或多个)车辆计算设备604以修改如何响应于不同情况来控制车辆602。
例如，本文讨论的一些或所有组件的各方面可以包括任何模型、算法和/或机器学习算法。例如，在一些实例中，存储器644(和存储器618，如上所述)中的组件可以实现为神经网络。在一些示例中，训练组件646可以利用神经网络来生成和/或执行一个或多个模型，以改进用于轨迹规划的遮挡推理的各个方面。
如本文所述，示例性神经网络是一种受生物启发的算法，其通过一系列连接层传递输入数据以产生输出。神经网络中的每一层还可以包括另一个神经网络，或者可以包括任意数量的层(无论是否卷积)。如在本公开的上下文中可以理解的，神经网络可以利用机器学习，机器学习可以指代基于所学习的参数生成输出的一大类这样的算法。
尽管在神经网络的上下文中进行了讨论，但是任何类型的机器学习都可以与本公开一致地使用。例如，机器学习算法可以包括但不限于：回归算法(例如，普通最小二乘回归(OLSR)、线性回归、逻辑回归、逐步回归、多元自适应回归样条曲线(MARS)、局部估计散点图平滑(LOESS))、基于实例的算法(例如，岭回归、最小绝对收缩和选择算子(LASSO)、弹性网、最小角度回归(LARS))、决策树算法(例如分类和回归树(CART)、迭代二分法3(ID3)、卡方自动交互检测(CHAID)、决策树桩、条件决策树)，贝叶斯算法(如朴素贝叶斯、高斯朴素贝叶斯、多项式朴素贝叶斯、平均一相关估计(AODE)、贝叶斯信念网络(BNN)、贝叶斯网络)、聚类算法(如k-均值、k-中值、期望最大化(EM)、层次聚类)、关联规则学习算法(如感知器、，反向传播，霍普菲尔德网络，径向基函数网络(RBFN))、深度学习算法(例如，深度玻耳兹曼机(DBM)、深度信念网络(DBN)、卷积神经网络(CNN)、堆叠式自动编码器)、降维算法(例如，主成分分析(PCA)、主成分回归(PCR)、偏最小二乘回归(PLSR)、Sammon映射、多维标度(MDS)、投影寻踪、线性判别分析(LDA)、混合判别分析(MDA)、二次判别分析(QDA)、灵活判别分析(FDA))、集成算法(如Boosting、Bootstrapped聚合(Bagging)、AdaBoost、叠加泛化(混合)、梯度Boosting机(GBM)、梯度Boosted回归树(GBRT)、随机森林)、支持向量机(SVM)、监督学习、无监督学习、半监督学习等。
架构的其他示例包括神经网络，例如ResNet50、ResNetl0l、VGG、DenseNet、PointNet等。
车辆602的(一个或多个)处理器616和(一个或多个)计算设备640的(一个或多个)处理器642可以是能够执行指令以处理数据和执行本文所述操作的任何合适的处理器。作为示例而非限制，(一个或多个)处理器616和642可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)或处理电子数据以将该电子数据转换为可以存储在寄存器和/或存储器中的其他电子数据的任何其他设备或设备的部分。在一些示例中，集成电路(例如ASIC等)、门阵列(例如FPGA等)和其他硬件设备只要被配置成实现编码指令，就可以被认为是处理器。
存储器618和644是非暂时性计算机可读介质的示例。存储器618和644可以存储操作系统和一个或多个软件应用程序、指令、程序和/或数据，以实现本文描述的方法和归属于各种系统的功能。在各种实现中，可以使用任何合适的存储器技术来实现存储器，例如静态随机存取存储器(SRAM)、同步动态RAM(SDRAM)、非易失性/闪存型存储器或能够存储信息的任何其他类型的存储器。本文所描述的架构、系统和单个元件可以包括许多其他逻辑、编程和物理组件，其中附图中所示的那些仅仅是与本文的讨论相关的示例。
应当注意，尽管图6被示为分布式系统，但是在替代示例中，车辆602的组件可以与(一个或多个)计算设备640相关联和/或(一个或多个)计算设备640的组件可以与车辆602相关联。亦即，车辆602可以执行与(一个或多个)计算设备640相关联的一个或多个功能，并且反之亦然。此外，遮挡推理组件628和/或规划组件634的各方面可以在本文讨论的任何设备上执行。
图7描绘了根据本公开的实施例的用于捕获传感器数据、确定由环境中的对象引起的遮挡区域、确定接近遮挡区域的可见区域、确定动态对象是否位于可见区域中以及如果是，确定动态对象是否进入遮挡区域、以及基于所述确定来控制自动驾驶车辆的示例过程700。例如，如本文所述，过程700的部分或全部可以由图6中的一个或多个组件来执行。例如，过程700的一部分或全部可以由(一个或多个)车辆计算设备604执行。此外，示例过程700中描述的任何操作可以与过程700中描述的不同的顺序并行执行，省略所描述过程700的任何操作，和/或与过程800的任何操作组合。
在操作702，该过程可以包括控制自动驾驶车辆穿过环境。例如，操作702可以包括控制自动驾驶车辆跟随航路点之间的一个或多个轨迹到达目的地。
在操作704，该过程可以包括使用自动驾驶车辆上的传感器捕获环境的传感器数据。在一些示例中，操作704可以包括捕获环境的激光雷达数据、图像数据、雷达数据、飞行时间数据等。
在操作706，该过程可以包括确定由环境中的对象引起的遮挡区域。例如，遮挡网格可以被应用于车辆周围环境的地图数据。传感器数据随后可以被用于检测环境中的对象，并且可以被用于确定对象位置处的遮挡网格的遮挡场的占用状态。被来自传感器的对象模糊的遮挡场可以被分类为不确定，因为车辆可能无法判断这样的场是否被环境中的其他对象占用。
在操作708，该过程可以包括确定邻近环境的遮挡区域的可见区域。例如，遮挡网格可以用于通过确定哪些遮挡场既未遮挡又未被占用来确定环境中可见的一个或多个区域。地图数据还可以用于确定通过可见区域的交通方向(例如，车辆交通、行人交通、自行车交通等)，并且可以基于交通方向将可见区域的一部分指定为遮挡区域的入口区域。如本文所讨论的，在某些情况下，可见区域的范围必须对应于遮挡区域的范围。也就是说，入口区域可以被定义为跨越进入遮挡区域的所有入口的可见区域(例如，确定一个或多个阻挡场共享从可驾驶区域的第一侧到垂直于交通方向的可驾驶区域的相对侧的至少一个共同侧)。在一些情况下，不跨越遮挡区域的宽度的可见区域可以不被认为是入口区域，并且本文讨论的操作可以不用于确定伪可见区域。在至少一些示例中，可以应用类似技术来确定出口区域(例如，沿着交通方向最远和/或与入口区域相对的遮挡区域的一侧的边界)。在至少一些示例中，如果未识别出出口区域，则本文讨论的操作可以不用于确定伪可见区域。
在操作710，该过程可以包括确定动态对象是否位于可见区域中。在一些示例中，如上所述，车辆的传感器可以检测到动态对象。如果确定动态对象位于可见区域中(并且遮挡区域在车辆的阈值距离内)，则在712处，该过程可以包括确定动态对象是否进入遮挡区域。例如，车辆可以从检测到动态对象的初始时间直到动态对象进入遮挡区域的初始时间之后的第二时间保持当前轨迹(例如，保持当前速度、保持当前加速/减速率、保持停止位置等)。在至少一些示例中，可以存储关于车辆的额外信息，例如但不限于特征、嵌入等。
在操作714，如果确定动态对象确实进入遮挡区域，则该过程可以包括控制自动驾驶车辆针对动态对象重新出现等待阈值时间。在一些示例中，阈值时间可以基于与遮挡区域和/或多个遮挡场相关联的最小阈值速度。例如，最小阈值速度可以基于观察到动态对象在可见区域中行进的速度。控制车辆等待阈值时间可以包括维持车辆的当前轨迹，如上所述。如果动态对象确实重新出现，则基于对动态对象在被遮挡区域中通过的位置的估计，先前被指定为不确定的遮挡网格的至少一些区域可以被认为是伪可见的。在确定动态对象已经从遮挡区域再现时，可以相应地控制车辆继续穿过环境。另外，如果动态对象没有从遮挡区域重新出现，车辆的轨迹可以根据情况保持和/或改变，例如沿着可驾驶区域爬行以获得环境的额外可见区域。在至少一些示例中，对进入遮挡区域的动态对象的观察可以导致与遮挡区域内的所有遮挡场相关联的状态被指定为“不确定”。在此类示例中，流程可前进到718。
在操作716，如果确定动态对象没有进入遮挡区域，则该过程可以包括基于其他信息来控制自动驾驶车辆。例如，可以根据来自规划系统的指令来控制自动驾驶车辆，以避开沿着到达车辆目的地的路线、爬行以通过车辆的传感器获得环境的额外可见性等的对象(例如，动态对象)。在某些情况下，如果确定动态对象没有进入遮挡区域，则可以如参考操作718所讨论的那样控制车辆。
在操作718，如果确定不存在被定为在可见区域中的动态对象，则该过程可以包括控制自动驾驶车辆等待阈值时间以确定遮挡区域是伪可见的。与上面的讨论类似，控制自动驾驶车辆等待可以包括在阈值时间量内保持当前轨迹(例如，保持当前速度、保持当前加速/减速率、保持停止位置等)。在这种情况下，阈值时间量可以基于1.5m/s的平均行人速度，尽管可使用任何合适的阈值速度。随着阈值时间的流逝，车辆可以将遮挡网格的不确定遮挡场的指定更改为伪可见，从入口区域开始并通过遮挡网格的遮挡区域。如果遮挡网格的所有(或足够数量的)遮挡场被确定为伪可见，而没有从遮挡区域出现动态对象，则可以控制车辆沿着路线继续到目的地。如果动态对象确实从遮挡区域出现，则可以相应地控制车辆，例如避开动态对象。
图8描绘了根据本公开的实施例的示例过程800，其用于确定由对象引起的第一遮挡区域和在第一时间接近遮挡区域的可见区域，确定可见区域包括进入遮挡区域(和/或从遮挡区域离开)的入口区域，在第一时间之后的第二时间确定与第一可见区域的至少一部分相对应的第二遮挡区域，确定该部分是否没有动态对象，并基于该确定控制自动驾驶车辆。例如，如本文所述，过程800的部分或全部可以由图8中的一个或多个组件执行。例如，过程800的一部分或全部可由(一个或多个)车辆计算设备604执行。此外，示例过程800中描述的任何操作可以与过程800中描述的不同的顺序并行执行，省略所描述过程800的任意操作，和/或与过程700的任意操作组合。
在操作802，该过程可以包括确定在第一时间由环境中的对象引起的第一遮挡区域，以及接近遮挡区域的可见区域。在至少一些示例中，这样的遮挡区域可以至少部分地基于要执行的动作(例如，穿过交叉点)、假定的行进速度和安全裕度、地理位置等。例如，遮挡网格可以被应用于车辆周围环境的地图数据。传感器数据随后可以用于检测环境中的对象，并应用于确定对象位置处遮挡网格的遮挡场的占用状态。来自传感器的被对象模糊化的遮挡场可以被分类为遮挡和/或不确定，而未被占用和未模糊化的遮挡场可以被认为是可见的。
在操作804，该过程可以包括至少部分基于环境的地图数据来确定可见区域包括进入(和/或离开)遮挡区域的入口区域。在一些示例中，入口区域可以基于确定相对于遮挡区域的交通方向(例如，车辆交通、行人交通、自行车交通等)。
在操作806，该过程可以包括确定在第一时间之后的第二时间第二遮挡区域对应于第一可见区域的至少部分。在一些示例中，操作806基于移动遮挡区域的概念，其中导致遮挡区域的车辆和对象中的一个或两个正在移动。随着时间的推移(例如，从第一时间到第二时间)，车辆和/或(一个或多个)对象在环境中移动，遮挡区域的面积和/或尺寸也可能改变。在至少一些示例中，可以确定或以其他方式存储关于先前可见区域的额外信息，例如先前可见区域相对于交通方向位于先前遮挡区域的哪一侧。操作806还可以包括确定对于第二遮挡区域是否存在入口区域和/或出口区域。如果第二遮挡区域不存在入口和/或出口区域，则可不使用第二遮挡区域。
在操作808，该过程可以包括确定在第二时间被遮挡的第一可见区域的部分是否没有动态对象。例如，可以从第一时间到第二时间观察入口区域，并且基于交通方向的知识，可以确定动态对象是否已经进入该部分。在某些情况下，该部分可能在第一时间包括动态对象。
如果确定该部分没有动态对象，则在操作810，该过程可以包括确定第二遮挡区域的至少部分是伪可见的。例如，基于动态对象将最有可能通过入口区域并且在交通方向上进入遮挡区域的知识，操作810可以假设，在从第一时间到第二时间入口区域中不存在动态对象的情况下，该部分没有动态对象。
在操作812，该过程可以包括基于所述至少部分是伪可见的来控制自动驾驶车辆。操作812还可以包括确定遮挡场的状态，而不是为控制车辆的伪可见性而分析的遮挡场的状态。在一些示例中，确定遮挡区域的至少部分未被占用可以允许自动驾驶车辆执行动作，例如沿着轨迹继续，比在执行这样的动作之前要求所有区域对车辆的传感器可见和清晰更快。
如果确定该部分没有动态对象，则在操作814，该过程可以包括基于动态对象占用的部分来控制自动驾驶车辆。操作814还可以包括确定遮挡场的状态，而不是为控制车辆的伪可见性而分析的遮挡场的状态。例如，车辆可以保持当前轨迹(例如，保持当前速度、保持当前加速/减速率、保持停止位置等)，直到动态对象重新出现，或者可以采取其他措施确保在车辆传感器看不到动态对象的情况下安全穿过环境。
实例
A：一种系统，包括：一个或多个处理器；以及存储能由一个或多个处理器执行的指令的一个或多个计算机可读介质，其中，所述指令当被运行时使得所述系统执行包括以下的操作：接收由车辆上的传感器捕获的环境的传感器数据；至少部分地基于所述传感器数据检测所述环境中的对象；至少部分地基于所述对象和所述传感器数据来确定所述环境中与所述对象相关联的遮挡区域；至少部分地基于所述传感器数据来确定所述环境中与所述遮挡区域相邻的可见区域；至少部分地基于表示所述环境的地图数据来确定所述可见区域表示进入所述遮挡区域的入口区域；至少部分地基于所述传感器数据和与所述遮挡区域相关联的阈值速度来确定所述遮挡区域的至少一部分没有动态对象的概率满足或超过阈值；以及至少部分地基于确定所述遮挡区域的所述至少一部分没有所述动态对象来控制所述车辆。
B：根据段落A所述的系统，其中，所述遮挡区域中被确定为没有所述动态对象的所述部分的大小至少部分地基于与捕获所述传感器数据相关联的时间段。
C：根据段落A或B所述的系统，其中，所述遮挡区域在第一时间是第一遮挡区域，其中，所述操作还包括：确定与所述第一时间之后的第二时间相关联的第二遮挡区域，其中，所述第二遮挡区域对应于所述可见区域的至少部分；以及确定所述第二遮挡区域的至少一部分没有所述动态对象的概率满足或超过所述阈值至少部分地基于确定所述第一遮挡区域的所述至少一部分没有所述动态对象；其中，控制所述车辆还基于确定所述第二遮挡区域没有所述动态对象的所述概率满足或超过所述阈值。
D：根据段落C所述的系统，其中，以下中的至少一个：所述第二遮挡区域至少部分地基于所述车辆在所述第一时间与所述第二时间之间的第一移动；或者所述第二遮挡区域至少部分地基于所述对象在所述第一时间与所述第二时间之间的第二移动。
E：根据段落A-D中的任一项所述的系统，其中：所述遮挡区域的第一范围对应于所述入口区域的第二范围，使得所述遮挡区域的个体部分与所述入口区域的对应个体部分相关联；并且所述入口区域的所述第二范围对应于与所述遮挡区域相关联的可驾驶区域。
F：根据段落E所述的系统，所述操作还包括至少部分地基于表示所述环境的所述地图数据来确定所述可驾驶区域和与所述可驾驶区域相关联的行进方向。
G：一种方法，包括：使用传感器捕获第一传感器数据；至少部分地基于所述第一传感器数据来确定环境的可驾驶区域；确定所述环境中与所述可驾驶区域相关联的遮挡区域；确定所述环境的可见区域，所述可见区域接近所述遮挡区域；确定所述可见区域对应于进入所述遮挡区域的入口区域；至少部分地基于在一时间段内捕获第二传感器数据来确定所述遮挡区域的至少一部分没有动态对象的概率满足或超过阈值；以及至少部分地基于所述遮挡区域的所述至少一部分没有所述动态对象满足或超过所述阈值的概率来控制车辆。
H：根据段落G所述的方法，其中，所述可见区域是第一可见区域，所述方法还包括：确定对象在第一时间在所述入口区域中可见；确定所述对象的至少一部分在所述第一时间之后的第二时间在所述遮挡区域中；确定所述对象在所述第二时间之后的第三时间处于第二可见区域中，其中，所述第二可见区域是来自所述遮挡区域的出口区域；以及基于确定所述对象在所述出口区域中，确定所述遮挡区域的所述至少一部分没有所述动态对象的所述概率满足或超过所述阈值。
I：根据段落H所述的方法，还包括确定所述遮挡区域的额外部分没有动态对象的概率满足或超过阈值至少部分地基于与所述遮挡区域相关联的阈值速度或阈值时间量。
J：根据段落G-I中的任一项所述的方法，还包括确定交通方向，其中，所述入口区域对应于进入所述遮挡区域的所述交通方向和所述可行驶区域的交通车道的宽度。
K：根据段落J所述的方法，其中，确定所述遮挡区域包括识别所述环境中的对象，所述对象遮挡与所述环境相关联的地图数据的至少一部分，所述方法还包括：使用所述地图数据将所述遮挡区域离散成与所述可驾驶区域相对应的一个或多个场；以及确定所述遮挡区域的所述至少一部分没有所述动态对象的概率满足或超过针对所述一个或多个场的所述阈值。
L：根据段落G-K中的任一项所述的方法，其中，所述车辆或遮挡对象中的一个或多个正在移动，并且其中，所述遮挡区域的所述至少一部分对应于在第一时间包含所述在可见区域中并且在第二时间对应于包含在所述遮挡区域中的区块。
M：根据段落G-L中的任一项所述的方法，其中，确定遮挡区域的所述至少一部分没有所述动态对象的所述概率满足或超过所述阈值至少部分地基于与所述遮挡区域相关联的阈值速度或阈值时间量。
N：一种存储指令的非暂时性计算机可读介质，所述指令当被运行时使得一个或多个处理器执行包括以下的操作，包括：使用传感器来捕获第一传感器数据；至少部分地基于所述第一传感器数据来确定环境的可驾驶区域；确定所述环境中与所述可驾驶区域相关联的遮挡区域；确定所述环境的可见区域，所述可见区域接近所述遮挡区域；确定所述可见区域对应于进入到所述遮挡区域中的入口区域；至少部分地基于在一时间段内捕获第二传感器数据来确定所述遮挡区域的至少一部分没有动态对象的概率；以及至少部分地基于所述概率来控制车辆。
O：根据段落N所述的非暂时性计算机可读介质，其中，所述可见区域是第一可见区域，所述操作还包括：确定对象在第一时间在所述入口区域中可见；确定所述对象的至少一部分在所述第一时间之后的第二时间在所述遮挡区域中；确定所述对象在所述第二时间之后的第三时间在第二可见区域中，其中，所述第二可见区域是来自所述遮挡区域的出口区域；以及基于确定所述对象在所述出口区域中来确定所述遮挡区域的所述至少一部分没有与所述对象通过所述遮挡区域的路径相对应的所述动态对象的概率。
P：根据段落N或O所述的非暂时性计算机可读介质，其中，所述遮挡区域和所述可见区域被离散成一个或多个遮挡场，其中，所述入口区域包括连续遮挡场，所述连续遮挡场具有沿着在所述遮挡区域与所述可见区域之间的边界从一侧到相对侧共同的各个遮挡场的至少一个相邻侧，所述边界对应于进入的行进方向。
Q：根据段落N-P中的任一项所述的非暂时性计算机可读介质，其中，所述车辆或遮挡对象中的一个或多个正在移动，并且其中，所述遮挡区域的所述至少一部分对应于在第一时间在可见区域中并且在第二时间在所述遮挡区域中的区块。
R：根据段落N所述的非暂时性计算机可读介质，其中，确定所述遮挡区域的所述至少一部分没有所述动态对象的所述概率至少部分地基于与所述遮挡区域相关联的阈值速度或阈值时间量，并且对应于通过所述遮挡区域的行进方向。
S：根据段落N-R中的任一项所述的非暂时性计算机可读介质，其中，所述传感器数据包括以下中的一项或多项：激光雷达传感器数据、雷达传感器数据、图像传感器数据或飞行时间传感器数据。
T：根据段落N-S中的任一项所述的非暂时性计算机可读介质，所述操作还包括：基于所述传感器数据来定位到地图；基于所述地图来确定要考虑为所述遮挡区域的区域；以及将所述区域离散成多个遮挡场。
尽管上述示例性条款是关于一个特定实现来描述的，但是应当理解，在本文档的上下文中，示例性条款的内容也可以通过方法、设备、系统、计算机可读介质和/或另一个实现来实现。
结论
尽管已经描述了本文所描述的技术的一个或多个示例，但是在本文所描述的技术的范围内包括其各种变更、添加、排列和等效物。
在对实例的描述中，参考了构成本文一部分的附图，附图以图解的方式展示了所要求保护的主题的具体实例。应当理解，可以使用其他示例，并且可以进行改变或改变，例如结构改变。这样的实例、变更或改变不偏离关于预期的要求保护的主题的范围。尽管本文中的步骤可以以特定顺序呈现，但在一些情况下，可以改变顺序，以便在不同时间或以不同顺序提供特定输入，而不改变所描述的系统和方法的功能。所公开的程序也可以按不同的顺序执行。另外，本文中的各种计算不需要按照所公开的顺序来执行，并且可以容易地实现使用计算的替代顺序的其他示例。除了重新排序之外，这些计算还可以分解为具有相同结果的子计算。

Claims (15)

1.一种系统，包括：
一个或多个处理器；以及
一个或多个计算机可读介质，其存储能由所述一个或多个处理器运行的指令，其中，所述指令当被运行时使得所述系统执行包括以下的操作：
使用传感器来捕获第一传感器数据；
至少部分地基于所述第一传感器数据来确定环境的可驾驶区域；
确定所述环境中与所述可驾驶区域相关联的遮挡区域；
确定所述环境的可见区域，所述可见区域接近所述遮挡区域；
确定所述可见区域对应于进入到所述遮挡区域中的入口区域；
至少部分地基于在一时间段内捕获第二传感器数据来确定所述遮挡区域的至少一部分没有动态对象的概率满足或超过阈值；以及
至少部分地基于所述遮挡区域的所述至少一部分没有所述动态对象的所述概率满足或超过所述阈值来控制车辆。
2.根据权利要求1所述的系统，其中，所述可见区域是第一可见区域，所述操作还包括：
确定对象在第一时间在所述入口区域中是可见的；
确定所述对象的至少一部分在所述第一时间之后的第二时间处在所述遮挡区域中；
确定所述对象在所述第二时间之后的第三时间处在第二可见区域中，其中，所述第二可见区域是来自所述遮挡区域的出口区域；以及
基于确定所述对象处在所述出口区域中来确定所述遮挡区域的所述至少一部分没有所述动态对象的所述概率满足或超过所述阈值。
3.根据权利要求1或2所述的系统，其中，所述概率是第一概率，所述操作还包括确定所述遮挡区域的额外部分没有所述动态对象的第二概率满足或超过所述阈值至少部分地基于与所述遮挡区域相关联的阈值速度或阈值时间量。
4.根据权利要求1-3中的任一项所述的系统，所述操作还包括确定交通方向，其中，所述入口区域对应于进入所述遮挡区域的所述交通方向和所述可驾驶区域的交通车道的宽度。
5.根据权利要求1-4中的任一项所述的系统，其中，确定所述遮挡区域包括识别所述环境中的对象，所述对象遮挡与所述环境相关联的地图数据的至少一部分，所述操作还包括：
使用所述地图数据来将所述遮挡区域离散成与所述可驾驶区域相对应的一个或多个场；以及
确定所述遮挡区域的所述至少一部分没有所述动态对象的所述概率满足或超过针对所述一个或多个场的所述阈值。
6.根据权利要求1或3-5中的任一项所述的系统，其中，所述车辆或遮挡对象中的一个或多个正在移动，并且其中，所述遮挡区域的所述至少一部分对应于在第一时间被包括在所述可见区域中并且在第二时间被包括在所述遮挡区域中的区块。
7.一种方法，包括：
使用传感器来捕获第一传感器数据；
至少部分地基于所述第一传感器数据来确定环境的可驾驶区域；
确定所述环境中与所述可驾驶区域相关联的遮挡区域；
确定所述环境的可见区域，所述可见区域接近所述遮挡区域；
确定所述可见区域对应于进入到所述遮挡区域中的入口区域；
至少部分地基于在一时间段内捕获第二传感器数据来确定所述遮挡区域的至少一部分没有动态对象的概率；以及
至少部分地基于所述概率来控制车辆。
8.根据权利要求7所述的方法，其中，确定所述遮挡区域的所述至少一部分没有所述动态对象的所述概率至少部分地基于与所述遮挡区域相关联的阈值速度或阈值时间量，并且对应于通过所述遮挡区域的行进方向。
9.根据权利要求7或8所述的方法，其中，所述遮挡区域在第一时间是第一遮挡区域，其中，所述方法还包括：
确定与在所述第一时间之后的第二时间相关联的第二遮挡区域，其中，所述第二遮挡区域对应于所述可见区域的至少一部分；以及
确定所述第二遮挡区域的至少一部分没有所述动态对象的概率满足或超过阈值是至少部分地基于确定所述第一遮挡区域的所述至少一部分没有所述动态对象的，
其中，控制所述车辆还基于确定所述第二遮挡区域没有所述动态对象的所述概率满足或超过所述阈值。
10.根据权利要求9所述的方法，其中，以下中的至少一项：
所述第二遮挡区域至少部分地基于所述车辆在所述第一时间与所述第二时间之间的第一移动；或者
所述第二遮挡区域至少部分地基于所述动态对象在所述第一时间与所述第二时间之间的第二移动。
11.根据权利要求7-9中的任一项所述的方法，其中，所述遮挡区域和所述可见区域被离散成一个或多个遮挡场，并且其中，所述入口区域包括连续的遮挡场，所述连续的遮挡场具有沿着在所述遮挡区域与所述可见区域之间的边界从一侧到相对侧共同的各个遮挡场的至少一个相邻侧，所述边界对应于进入的行进方向。
12.根据权利要求7-9或11中的任一项所述的方法，其中：
所述遮挡区域的第一范围对应于所述入口区域的第二范围，使得所述遮挡区域的个体部分与所述入口区域的对应个体部分相关联；以及
所述入口区域的所述第二范围对应于与所述遮挡区域相关联的所述可驾驶区域的区块。
13.根据权利要求7-9、11或12中的任一项所述的方法，其中，所述第一传感器数据和所述第二传感器数据包括以下中的一项或多项：激光雷达传感器数据、雷达传感器数据、图像传感器数据或飞行时间传感器数据，并且
被确定为没有所述动态对象的所述遮挡区域的所述部分的大小是至少部分地基于与捕获所述第二传感器数据相关联的所述时间段的。
14.根据权利要求7-9、11、12或13中的任一项所述的方法，还包括：
基于所述第一传感器数据来定位到地图；
基于所述地图来确定要考虑为所述遮挡区域的区域；以及
将所述区域离散成多个遮挡场。
15.一种包括编码的指令的计算机程序产品，所述编码的指令当在计算机上运行时实现根据权利要求8至14中的任一项所述的方法。
CN202080017524.5A 2019-02-28 2020-02-18 确定遮挡区域的占有率 Pending CN113544696A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/289,397 US11016492B2 (en) 2019-02-28 2019-02-28 Determining occupancy of occluded regions
US16/289,397 2019-02-28
PCT/US2020/018676 WO2020176293A1 (en) 2019-02-28 2020-02-18 Determining occupancy of occluded regions

Publications (1)

Publication Number Publication Date
CN113544696A true CN113544696A (zh) 2021-10-22

Family

ID=69846560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080017524.5A Pending CN113544696A (zh) 2019-02-28 2020-02-18 确定遮挡区域的占有率

Country Status (5)

Country Link
US (2) US11016492B2 (zh)
EP (1) EP3931742A1 (zh)
JP (1) JP2022522714A (zh)
CN (1) CN113544696A (zh)
WO (1) WO2020176293A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793365A (zh) * 2021-11-17 2021-12-14 第六镜科技(成都)有限公司 目标跟踪方法、装置、计算机设备及可读存储介质
CN114399537A (zh) * 2022-03-23 2022-04-26 东莞先知大数据有限公司 一种目标人员的车辆跟踪方法及系统

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018132608A2 (en) * 2017-01-12 2018-07-19 Mobileye Vision Technologies Ltd. Navigation based on occlusion zones
US11625045B2 (en) * 2017-08-31 2023-04-11 Uatc, Llc Systems and methods for controlling an autonomous vehicle with occluded sensor zones
US11016492B2 (en) 2019-02-28 2021-05-25 Zoox, Inc. Determining occupancy of occluded regions
SG10201902705SA (en) * 2019-03-26 2020-10-29 Nec Asia Pacific Pte Ltd Method and system for object detection coverage estimation
US11199415B2 (en) * 2019-03-26 2021-12-14 Lyft, Inc. Systems and methods for estimating vehicle position based on contextual sensor information
US11400924B2 (en) * 2019-03-31 2022-08-02 Gm Cruise Holdings Llc Autonomous vehicle maneuvering based upon risk associated with occluded regions
JP2020179808A (ja) * 2019-04-26 2020-11-05 トヨタ自動車株式会社 車両制御装置
US11126180B1 (en) * 2019-04-30 2021-09-21 Zoox, Inc. Predicting an occupancy associated with occluded region
WO2020223751A1 (en) * 2019-05-07 2020-11-12 Kontrol Gmbh Formal verification for the development and real-time application of autonomous systems
US20200363800A1 (en) * 2019-05-13 2020-11-19 Great Wall Motor Company Limited Decision Making Methods and Systems for Automated Vehicle
US11643115B2 (en) * 2019-05-31 2023-05-09 Waymo Llc Tracking vanished objects for autonomous vehicles
CN112150534A (zh) * 2019-06-28 2020-12-29 深圳市商汤科技有限公司 图像采集设备遮挡状态检测方法、装置、设备和存储介质
JP7325251B2 (ja) * 2019-07-10 2023-08-14 日立Astemo株式会社 電子制御装置
US20210031760A1 (en) * 2019-07-31 2021-02-04 Nissan North America, Inc. Contingency Planning and Safety Assurance
US11354912B2 (en) * 2019-08-27 2022-06-07 Waymo Llc Detecting potentially occluded objects for autonomous vehicles
EP3786919A1 (en) * 2019-08-29 2021-03-03 Aptiv Technologies Limited Method and system for determining awareness data
KR20210030524A (ko) * 2019-09-09 2021-03-18 주식회사 만도 차량 제어 장치 및 그 제어 방법
EP3882813A1 (en) 2020-03-20 2021-09-22 Aptiv Technologies Limited Method for generating a dynamic occupancy grid
JP2021169235A (ja) * 2020-04-14 2021-10-28 株式会社Subaru 車両の走行支援装置
JP2021174135A (ja) * 2020-04-22 2021-11-01 ソニーセミコンダクタソリューションズ株式会社 画像認識装置及び画像認識方法
EP3905105A1 (en) * 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a collision free space
EP3905106A1 (en) 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a drivable area
US20200326721A1 (en) * 2020-06-26 2020-10-15 Intel Corporation Occupancy verification device and method
DE102020130069A1 (de) * 2020-11-13 2022-05-19 Audi Aktiengesellschaft Steuerung eines Kraftfahrzeugs bei teilweiser Sichtfeldverdeckung
TWI793477B (zh) * 2020-12-04 2023-02-21 財團法人船舶暨海洋產業研發中心 船舶輔助校正系統及其運作方法
KR20220083002A (ko) * 2020-12-10 2022-06-20 현대자동차주식회사 차량
US11733054B2 (en) 2020-12-11 2023-08-22 Motional Ad Llc Systems and methods for implementing occlusion representations over road features
US20220185267A1 (en) * 2020-12-16 2022-06-16 Zoox, Inc. Object determination in an occluded region
US20220196829A1 (en) * 2020-12-17 2022-06-23 Aptiv Technologies Limited Radar Reference Map Generation
CN114643996A (zh) * 2020-12-19 2022-06-21 荷兰移动驱动器公司 辅助驾驶方法以及车辆
CN112650243B (zh) * 2020-12-22 2023-10-10 北京百度网讯科技有限公司 车辆控制方法、装置、电子设备和自动驾驶车辆
JP7302616B2 (ja) * 2021-02-24 2023-07-04 トヨタ自動車株式会社 遠隔支援システム及び遠隔支援方法
WO2022266101A1 (en) * 2021-06-14 2022-12-22 The Johns Hopkins University Systems, methods, and computer programs for using a network of machine learning models to detect an image depicting an object of interest which can be partially occluded by another object
CN113487738B (zh) * 2021-06-24 2022-07-05 哈尔滨工程大学 基于虚拟知识迁移的建筑物及其遮挡区域单体化提取方法
CN113408669B (zh) * 2021-07-30 2023-06-16 浙江大华技术股份有限公司 图像的确定方法、装置、存储介质及电子装置
US11400958B1 (en) 2021-09-20 2022-08-02 Motional Ad Llc Learning to identify safety-critical scenarios for an autonomous vehicle
US20230089897A1 (en) * 2021-09-23 2023-03-23 Motional Ad Llc Spatially and temporally consistent ground modelling with information fusion
US20230122066A1 (en) * 2021-10-18 2023-04-20 Yandex Self Driving Group Llc Mobile robot and a method for controlling the mobile robot

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055042A (en) * 1997-12-16 2000-04-25 Caterpillar Inc. Method and apparatus for detecting obstacles using multiple sensors for range selective detection
US6173215B1 (en) * 1997-12-19 2001-01-09 Caterpillar Inc. Method for determining a desired response to detection of an obstacle
US20080033645A1 (en) * 2006-08-03 2008-02-07 Jesse Sol Levinson Pobabilistic methods for mapping and localization in arbitrary outdoor environments
US8260485B1 (en) * 2007-04-26 2012-09-04 The Boeing Company Adaptive multi-vehicle area coverage optimization system and method
US8559673B2 (en) * 2010-01-22 2013-10-15 Google Inc. Traffic signal mapping and detection
EP2840007B1 (en) * 2013-08-22 2018-04-04 Honda Research Institute Europe GmbH Consistent behaviour generation of a predictive advanced driver assistant system
CN107111933A (zh) * 2014-11-17 2017-08-29 日立汽车系统株式会社 自动驾驶系统
CA2976344A1 (en) * 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
US9690290B2 (en) * 2015-06-04 2017-06-27 Toyota Motor Engineering & Manufacturing North America, Inc. Situation-based transfer of vehicle sensor data during remote operation of autonomous vehicles
US11283877B2 (en) * 2015-11-04 2022-03-22 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
US9754490B2 (en) * 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
US10255648B2 (en) * 2016-04-14 2019-04-09 Eric John Wengreen Self-driving vehicle systems and methods
US10137890B2 (en) * 2016-06-28 2018-11-27 Toyota Motor Engineering & Manufacturing North America, Inc. Occluded obstacle classification for vehicles
US9910442B2 (en) * 2016-06-28 2018-03-06 Toyota Motor Engineering & Manufacturing North America, Inc. Occluded area detection with static obstacle maps
CN110832417B (zh) * 2016-12-30 2023-06-09 辉达公司 使用高清地图为自主车辆生成路线
US10311312B2 (en) * 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
US10037613B1 (en) * 2017-03-30 2018-07-31 Uber Technologies, Inc. Systems and methods to track vehicles proximate perceived by an autonomous vehicle
US10268191B1 (en) * 2017-07-07 2019-04-23 Zoox, Inc. Predictive teleoperator situational awareness
US10818187B2 (en) * 2017-07-17 2020-10-27 Uatc, Llc Systems and methods for deploying an autonomous vehicle to oversee autonomous navigation
US10783381B2 (en) * 2017-08-31 2020-09-22 Tusimple, Inc. System and method for vehicle occlusion detection
US10552689B2 (en) * 2017-11-09 2020-02-04 Here Global B.V. Automatic occlusion detection in road network data
US11163309B2 (en) * 2017-11-30 2021-11-02 Direct Current Capital LLC Method for autonomous navigation
DE112018006665T5 (de) * 2017-12-27 2020-10-01 Direct Current Capital LLC Verfahren zum zugreifen auf ergänzende wahrnehmungsdaten von anderen fahrzeugen
US11422561B2 (en) * 2018-01-11 2022-08-23 Toyota Jidosha Kabushiki Kaisha Sensor system for multiple perspective sensor data sets
US11341356B2 (en) * 2018-06-15 2022-05-24 Uatc, Llc System and method for determining object intention through visual attributes
US11176426B2 (en) * 2018-06-18 2021-11-16 Zoox, Inc. Sensor obstruction detection and mitigation using vibration and/or heat
US10642275B2 (en) * 2018-06-18 2020-05-05 Zoox, Inc. Occulsion aware planning and control
US11048265B2 (en) * 2018-06-18 2021-06-29 Zoox, Inc. Occlusion aware planning
US11287814B2 (en) * 2018-08-07 2022-03-29 GM Global Technology Operations LLC Lane change detection system and method for an autonomous vehicle
US10757551B2 (en) * 2018-10-17 2020-08-25 Ford Global Technologies, Llc Vehicle-to-infrastructure (V2I) messaging system
DE102018219665A1 (de) * 2018-11-16 2020-05-20 Zf Friedrichshafen Ag Verfahren und Steuereinheit zum Betreiben eines autonomen Fahrzeugs
KR102619558B1 (ko) * 2018-11-16 2024-01-02 현대모비스 주식회사 자율주행차의 제어시스템 및 그 제어방법
US11188082B2 (en) * 2019-01-11 2021-11-30 Zoox, Inc. Occlusion prediction and trajectory evaluation
US11016492B2 (en) 2019-02-28 2021-05-25 Zoox, Inc. Determining occupancy of occluded regions
JP7472983B2 (ja) 2020-07-07 2024-04-23 株式会社デンソー 制御装置、制御方法およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793365A (zh) * 2021-11-17 2021-12-14 第六镜科技(成都)有限公司 目标跟踪方法、装置、计算机设备及可读存储介质
CN114399537A (zh) * 2022-03-23 2022-04-26 东莞先知大数据有限公司 一种目标人员的车辆跟踪方法及系统
CN114399537B (zh) * 2022-03-23 2022-07-01 东莞先知大数据有限公司 一种目标人员的车辆跟踪方法及系统

Also Published As

Publication number Publication date
JP2022522714A (ja) 2022-04-20
US11740633B2 (en) 2023-08-29
EP3931742A1 (en) 2022-01-05
US20200278681A1 (en) 2020-09-03
US20210278853A1 (en) 2021-09-09
US11016492B2 (en) 2021-05-25
WO2020176293A1 (en) 2020-09-03

Similar Documents

Publication Publication Date Title
US11740633B2 (en) Determining occupancy of occluded regions
US11420630B2 (en) Trajectory modifications based on a collision zone
EP3908493B1 (en) Occlusion prediction and trajectory evaluation
US11802969B2 (en) Occlusion aware planning and control
US11631200B2 (en) Prediction on top-down scenes based on action data
US11643073B2 (en) Trajectory modifications based on a collision zone
CN112752988B (zh) 雷达空间估计
US11351991B2 (en) Prediction based on attributes
US11048265B2 (en) Occlusion aware planning
US11021148B2 (en) Pedestrian prediction based on attributes
US11126180B1 (en) Predicting an occupancy associated with occluded region
US11169531B2 (en) Trajectory prediction on top-down scenes
JP7422687B2 (ja) オクルージョン認識プランニング
US11513519B1 (en) Sharing occlusion data
CN114072841A (zh) 根据图像使深度精准化
US11966230B1 (en) Disengagement prediction for vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination