CN115808923A - 用于运载工具的方法和系统 - Google Patents

Abstract

本发明涉及用于运载工具的方法和系统。公开了用于具有情境评估的操作包络检测(OED)的实施例。本文的实施例涉及操作包络检测器，其被配置为接收与系统的传感器有关的信息和与运行设计域(ODD)要求有关的信息作为输入。然后，OED将与系统的传感器有关的信息和与ODD要求有关的信息进行比较，并且基于当前传感器信息来识别系统是否正在其ODD内操作或者补救动作是否适合于调整ODD要求。还描述和/或要求保护其他实施例。

Description

用于运载工具的方法和系统

技术领域

本发明涉及用于运载工具的方法和系统。

背景技术

自主运载工具(AV)的运行设计域(ODD)是AV被设计为起作用的特定条件。ODD可以是基于各种条件(例如，AV的地点、AV需要行驶的速率、等等)。可以基于AV被配置为操作的ODD来约束AV的操作。

发明内容

一种用于运载工具的方法，包括：利用至少一个处理器，基于与环境的至少一个测量结果相关联的传感器数据来确定至少一个传感器条件，其中所述传感器数据是由与位于所述环境中的至少一个运载工具相关联的至少一个传感器生成的；利用所述至少一个处理器，基于所述环境的所述至少一个测量结果来确定至少一个环境条件；利用所述至少一个处理器，基于所述至少一个传感器条件、所述至少一个环境条件和所述至少一个运载工具的地点来生成感知可见性模型；以及利用所述至少一个处理器，基于所述感知可见性模型来识别将被所述至少一个运载工具穿过的轨迹。

一种用于运载工具的方法，包括：利用至少一个处理器，接收与由运载工具上所包括的至少一个传感器测量到的环境的至少一个测量结果相关联的传感器数据；利用所述至少一个处理器，从所述运载工具的感知管道接收与位于所述环境中的至少一个对象的检测相关联的感知数据；利用所述至少一个处理器，基于所述环境的所述至少一个测量结果来检测至少一个传感器条件；利用所述至少一个处理器，基于所述环境的所述至少一个测量结果来检测至少一个环境条件；利用所述至少一个处理器，基于所述运载工具的地点、所述至少一个传感器条件和所述至少一个环境条件来生成当前感知可见性模型，其中所述当前感知可见性模型表示所述环境中的所述运载工具的附近地区；以及利用所述至少一个处理器，基于所述环境中的所述至少一个对象和所述当前感知可见性模型来确定所述运载工具的轨迹。

一种用于运载工具的系统，包括：至少一个处理器；以及至少一个非暂时性计算机可读介质，其包括指令，在所述至少一个处理器执行所述指令时所述指令使得所述运载工具进行操作，所述操作包括：基于与环境的至少一个测量结果相关联的传感器数据来确定至少一个传感器条件，其中所述传感器数据是由与位于所述环境中的至少一个运载工具相关联的至少一个传感器生成的；基于所述环境的所述至少一个测量结果来确定至少一个环境条件；基于所述至少一个传感器条件、所述至少一个环境条件和所述至少一个运载工具的地点来生成感知可见性模型；以及基于所述感知可见性模型来识别将被所述至少一个运载工具穿过的轨迹。

一种用于运载工具的系统，包括：至少一个处理器；以及至少一个非暂时性计算机可读介质，其包括指令，在所述至少一个处理器执行所述指令时所述指令使得所述运载工具进行操作，所述操作包括：接收与由运载工具上所包括的至少一个传感器测量到的环境的至少一个测量结果相关联的传感器数据；从所述运载工具的感知管道接收与位于所述环境中的至少一个对象的检测相关联的感知数据；基于所述环境的所述至少一个测量结果来检测至少一个传感器条件；基于所述环境的所述至少一个测量结果来检测至少一个环境条件；基于所述运载工具的地点、所述至少一个传感器条件和所述至少一个环境条件来生成当前感知可见性模型，其中所述当前感知可见性模型表示所述环境中的所述运载工具的附近地区；以及基于所述环境中的所述至少一个对象和所述当前感知可见性模型来确定所述运载工具的轨迹。

附图说明

图1是根据各种实施例的、可以实现包括自主系统的一个或多于一个组件的运载工具的示例环境。

图2是根据各种实施例的、包括自主系统的运载工具的一个或多于一个系统的图。

图3是根据各种实施例的、图1和图2的一个或多于一个装置和/或一个或多于一个系统的组件的图。

图4是根据各种实施例的自主系统的某些组件的图。

图5例示根据各种实施例的、运载工具可能遇到的示例场景。

图6例示根据各种实施例的示例操作包络检测(OED)框架。

图7例示根据各种实施例的与具有情境评估的OED有关的示例处理流程。

图8是根据各种实施例的与传感器管道(pipeline)有关的示例框图。

图9例示根据各种实施例的检测概率(PoD)图的示例。

图10例示根据各种实施例的遮挡图的示例。

图11例示根据各种实施例的与感知系统有关的示例处理流程。

图12例示根据各种实施例的与感知系统有关的替代示例处理流程。

图13是根据各种实施例的评估管道的图。

图14是根据各种实施例的、用于自主运载工具的OED框架的情境评估的处理的流程图。

图15是根据各种实施例的、与具有情境上下文的不动(immobility)检测有关的示例框图。

图16是根据各种实施例的、与具有情境上下文的不动检测有关的示例处理的流程图。

图17是根据各种实施例的、与具有情境上下文的不动检测有关的替代示例处理的流程图。

图18是根据各种实施例的、与具有情境上下文的不动检测有关的替代示例处理的流程图。

具体实施方式

在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中，众所周知的构造和装置是以框图形式例示的，以避免不必要地使本公开的方面模糊。

在附图中，为了便于描述，例示了示意要素(诸如表示系统、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其他要素结合。

此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或多于两个其他示意要素之间或之中的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中例示，以便不使本公开内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多于一个信号路径(例如，总线)。

尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素，但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如，在没有背离所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点这两者都是触点，但它们不是相同的触点。

在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，并且可以与“一个或多于一个”或者“至少一个”互换使用，除非上下文另有明确说明。还将理解的是，如本文所使用的术语“和/或”是指并且包括关联的列出项中的一个或多于一个的任何和所有可能的组合。还将理解的是，当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时，具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件，但并不排除存在或添加一个或多于一个其他特征、整数、步骤、操作、要素、组件和/或其群组。

如本文所使用的，术语“通信”和“进行通信”是指信息(或者由例如数据、信号、消息、指令和/或命令等表示的信息)的接收、收到、传输、传送和/或提供等中的至少一者。对于要与另一单元进行通信的一个单元(例如，装置、系统、装置或系统的组件、以及/或者它们的组合等)而言，这意味着该一个单元能够直接地或间接地从另一单元接收信息和/或向该另一单元发送(例如，传输)信息。这可以是指本质上为有线和/或无线的直接或间接连接。另外，即使可以在第一单元和第二单元之间修改、处理、中继和/或路由所传输的信息，两个单元也可以彼此进行通信。例如，即使第一单元被动地接收信息并且不主动地向第二单元传输信息，第一单元也可以与第二单元进行通信。作为另一示例，如果至少一个中介单元(例如，位于第一单元和第二单元之间的第三单元)处理从第一单元接收到的信息、并将处理后的信息传输至第二单元，则第一单元可以与第二单元进行通信。在一些实施例中，消息可以是指包括数据的网络分组(例如，数据分组等)。

如本文所使用的，取决于上下文，术语“如果”可选地被解释为意指“当…时”、“在…时”、“响应于确定为”和/或“响应于检测到”等。类似地，取决于上下文，短语“如果已确定”或“如果检测到[所陈述的条件或事件]”可选地被解释为意指“在确定…时”、“响应于确定为“或”在检测到[所陈述的条件或事件]时”和/或“响应于检测到[所陈述的条件或事件]”等。此外，如本文所使用的，术语“有”、“具有”或“拥有”等旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”意在是意味着“至少部分基于”。

结合阈值来说明本发明的一些实施例。如本文所述，满足阈值可以指值大于阈值、多于阈值、高于阈值、大于或等于阈值、小于阈值、少于阈值、低于阈值、小于或等于阈值、以及/或者等于阈值等。

现在将详细参考实施例，其示例在附图中例示出。在以下的详细描述中，阐述了许多具体细节，以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说将明显的是，可以在没有这些具体细节的情况下实施所描述的各种实施例。在其他情况下，尚未详细描述众所周知的方法、过程、组件、电路和网络，以便不会不必要地使实施例的方面模糊。

总体概述

在一些方面和/或实施例中，本文所述的系统、方法和计算机程序产品包括和/或实现具有自主系统被设计为起作用的ODD的自主系统。本文的实施例涉及OED框架，该OED框架被配置为接收与自主系统的传感器有关的数据和与ODD要求有关的数据作为输入。然后，OED将与自主系统的传感器有关的数据和与ODD要求有关的数据进行比较，并且基于当前传感器数据来识别自主系统是否正在其ODD内操作或者补救动作是否适合于调整ODD要求。

在另一方面和/或实施例中，本文所述的系统、方法和计算机程序产品包括或涉及自主系统的感知系统，该感知系统识别与传感器中的一个或多于一个有关的可见性相关因素，诸如将会影响传感器的环境条件、(例如，由传感器的路径内的对象引起的)所检测到的传感器遮挡、传感器阻塞、等等。感知系统使用这些因素来生成与传感器检测能力有关的感知可见性模型(PVM)。基于PVM，感知系统生成一个或多于一个图(map)。一个这样的图是遮挡图，其指示正在遮挡传感器的对象位于何处。另一个这样的图是与传感器能够检测到在给定地点中存在对象的可能性有关的PoD图。在一个实施例中，如果感知系统未接收到与传感器有关的新数据，则按预先识别的时间间隔朝向默认模型迭代PVM模型或其一部分。

在另一方面和/或实施例中，本文所述的系统、方法和计算机程序产品包括和/或实现自主系统的OED框架，并且更特别地为OED框架的使用度量的情境评估(SAM)组件。SAM组件试图理解具有自主系统的运载工具在特定驾驶场景中在给定环境中正在穿过的轨迹，并且针对该特定驾驶场景验证是否满足运载工具的行为要求。在实施例中，SAM组件的处理管道包括机动动作评估子系统和异常检测子系统这两个子系统。

在另一方面和/或实施例中，机动动作评估子系统接收来自规划器/控制器系统的轨迹、当前和预测“世界”状态(例如，智能体数据、交通灯状况)、地图数据、以及目标分配(例如，特定目的地)。机动动作评估子系统输出针对明确情境(例如，存在指定规则的驾驶场景)的遵守(compliance)分析、针对不明确情境(例如，不存在指定规则的驾驶场景)的检测结果、以及对感知系统的更新要求。机动动作评估的一些示例包括“间隙(gap)”分析，以检查运载工具在进行车道改变机动动作时是否与环境中的其他智能体(例如，其他运载工具)维持安全间隙/距离。另一示例是“感兴趣区域”遵守，其中要求运载工具的最小所需感知区(例如，由运载工具的传感器套件提供的视场)以进行安全机动动作。

在另一方面和/或实施例中，异常检测子系统接收不明确情境检测和规划器/控制器系统内部状态作为输入。异常检测子系统输出与停止原因有关的上下文数据以辅助适当干预(例如，远程运载工具辅助)的分配。异常检测的一些示例包括不寻常的道路交通场景，诸如交通事故、施工区、打破优先级的其他道路使用者(例如，乱穿马路的人、闯红灯)。另一示例是“卡住(stuck)”检测，其中运载工具处于或即将进入无法解决的不动状态，这将需要远程干预。

在其他方面和/或实施例中，当运载工具变得“卡住”(例如，在很长的持续时间内不动)时，远程运载工具辅助(RVA)操作员了解不动的原因以使得RVA操作员可以进行适当干预，这可以是有利的。公开了与如下的程序流有关的实施例，该程序流基于与各种停止相关发生(以下称为停止约束)有关的元数据来在这些停止约束发生时监测这些停止约束。如果停止约束的持续时间持续超过预定义阈值，则将与停止约束有关的数据提供到RVA操作员以进行干预。

在实施例中，一种方法，包括：利用至少一个处理器，基于与环境的至少一个测量结果相关联的传感器数据来确定至少一个传感器条件，其中所述传感器数据是由与位于所述环境中的至少一个运载工具相关联的至少一个传感器生成的；利用所述至少一个处理器，基于所述环境的所述至少一个测量结果来确定至少一个环境条件；利用所述至少一个处理器，基于所述至少一个传感器条件、所述至少一个环境条件和所述至少一个运载工具的地点来生成感知可见性模型；以及利用所述至少一个处理器，基于所述感知可见性模型来识别将被所述至少一个运载工具穿过的轨迹。

在实施例中，一种方法，包括：利用至少一个处理器，接收与由运载工具上所包括的至少一个传感器测量到的环境的至少一个测量结果相关联的传感器数据；利用所述至少一个处理器，从所述运载工具的感知管道接收与位于所述环境中的至少一个对象的检测相关联的感知数据；利用所述至少一个处理器，基于所述环境的所述至少一个测量结果来检测至少一个传感器条件；利用所述至少一个处理器，基于所述环境的所述至少一个测量结果来检测至少一个环境条件；利用所述至少一个处理器，基于所述运载工具的地点、所述至少一个传感器条件和所述至少一个环境条件来生成当前感知可见性模型，其中所述当前感知可见性模型表示所述环境中的所述运载工具的附近地区；以及利用所述至少一个处理器，基于所述环境中的所述至少一个对象和所述当前感知可见性模型来确定所述运载工具的轨迹。

在实施例中，所述方法还包括：利用所述至少一个处理器，基于所述传感器条件和所述环境条件至少之一来确定所述当前感知可见性模型是否将被更新；以及根据所述当前感知可见性模型未被更新，使用先验感知可见性模型作为所述当前感知可见性模型。

在实施例中，所述先验感知可见性模型是从先验感知可见性模型的数据库离线获得的。

在实施例中，所述先验感知可见性模型是基于在指定时间窗期间累积的过去感知可见性模型而在线获得的。

在实施例中，所述先验感知可见性模型指示多个对象检测中的在指定范围处的非遮挡对象的平均感知可见性。

在实施例中，所述感知数据包括语义点云，所述语义点云包括地平面和至少一个对象检测。

在实施例中，所述至少一个传感器条件是所述运载工具的至少一个传感器出现了故障。

在实施例中，所述至少一个传感器条件是所述运载工具的至少一个传感器的至少部分被遮挡的视场。

在实施例中，所述至少一个环境条件是天气条件。

在实施例中，所述至少一个环境条件是照明条件。

在实施例中，所述感知可见性模型包括针对所述环境中的所述至少一个对象检测的多个地点的感知可见性检测的概率。

在实施例中，所述感知可见性检测的概率是基于预先识别的阈值的。

在实施例中，一种系统，包括：至少一个处理器；以及至少一个非暂时性计算机可读存储介质，其包括指令，在由所述至少一个处理器执行所述指令时，所述指令使得运载工具进行前述方法中的任何方法。

在实施例中，一种非暂时性计算机可读存储介质，其包括指令，在由至少一个处理器执行所述指令时所述指令使得运载工具进行前述方法中的任何方法。

上述技术的一些优点包括提供了OED框架，该OED框架高效地解决在AV在各种驾驶场景的环境中的操作中所涉及的复杂性。在本文的具体示例中，复杂性涉及不同的驾驶场景，其中多个因素(例如，照明、天气条件、道路中或附近的其他对象、道路的特性、等等)影响自主系统的ODD。OED框架使得能够基于驾驶场景的整体分析来触发最小风险机动动作(MRM)或其他机动动作或干预。

另一优点是本文的实施例提供了对不同条件下的传感器感知能力和性能进行建模的框架。这样的条件包括环境条件(例如，雾、雨、太阳眩光等)、传感器可见性条件(例如，传感器被诸如泥等的异物阻塞)、遮挡相关条件(例如，利用传感器对对象的检测)、或者传感器结构条件(例如，传感器的类型或布置)。通过识别该OED框架，自主系统可使用传感器感知能力的模型来确定自主系统在不同场景中的操作能力，使得自主系统可以在这些能力内操作。

另一优点是本文的实施例提供了在不同的明确驾驶场景下关于安全、监管和舒适度规则的不遵守风险的量化测量，同时仍允许响应于不明确情境(例如，异常事件)或长时间不动(例如，“卡住”检测)的直接干预分配。并行地评价多个情境或场景(例如，在导航交叉口期间的车道改变)。内部状态不可知度量被推广用于当前状态和预测将来状态这两者的遵守检查。情境评估的适用性独立于(一个或多于一个)基础决策算法。情境评估可用于评估多个并行轨迹提议。

另一优点是本文的实施例提供了轻量级数据格式，其中在向RVA操作员并行地传送自主系统的简明内部状态数据的同时，该轻量级数据格式传送足够的情境上下文。因此，RVA操作员能够在并非完全不了解运载工具不动的原因的情况下提供适当干预。例如，借助于本文所述的技术的实现，向RVA操作员提供与自主系统的状态有关的更准确且更相关的数据，从而减少RVA操作员分析所提供的数据并实现适当干预所需的时间量。

系统和架构的概述

现在参考图1，例示示例环境100，在该示例环境100中，包括自主系统的运载工具以及不包括自主系统的运载工具进行操作。如所例示的，环境100包括运载工具102a-102n、对象104a-104n、路线106a-106n、区域108、运载工具到基础设施(V2I)装置110、网络112、远程AV系统114、队列管理系统116和V2I系统118。运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、AV系统114、队列管理系统116和V2I系统118经由有线连接、无线连接、或者有线或无线连接的组合互连(例如，建立用于通信的连接等)。在一些实施例中，对象104a-104n经由有线连接、无线连接、或者有线或无线连接的组合与运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、AV系统114、队列管理系统116和V2I系统118中的至少一者互连。

运载工具102a-102n(单独称为运载工具102且统称为运载工具102)包括被配置为运输货物和/或人员的至少一个装置。在一些实施例中，运载工具102被配置为与V2I装置110、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，运载工具102包括小汽车、公共汽车、卡车和/或火车等。在一些实施例中，运载工具102与本文所述的运载工具200(参见图2)相同或类似。在一些实施例中，一组运载工具200中的运载工具200与自主队列管理器相关联。在一些实施例中，如本文所述，运载工具102沿着相应的路线106a-106n(单独称为路线106且统称为路线106)行驶。在一些实施例中，一个或多于一个运载工具102包括自主系统(例如，与自主系统202相同或类似的自主系统)。

对象104a-104n(单独称为对象104且统称为对象104)例如包括至少一个运载工具、至少一个行人、至少一个骑车者和/或至少一个构造物(例如，建筑物、标志、消防栓等)等。各对象104(例如，位于固定地点处并在一段时间内)是静止的或(例如，具有速度且与至少一个轨迹相关联地)移动。在一些实施例中，对象104与区域108中的相应地点相关联。

路线106a-106n(单独称为路线106且统称为路线106)各自与连接运载工具可以导航所沿着的状态的一系列动作(也称为轨迹)相关联(例如，规定该一系列动作)。各个路线106始于初始状态(例如，与第一时空地点和/或速度等相对应的状态)，并且结束于最终目标状态(例如，与不同于第一时空地点的第二时空地点相对应的状态)或目标区(例如，可接受状态(例如，终止状态)的子空间)。在一些实施例中，第一状态包括一个或多于一个个体将要搭载运载工具的地点，并且第二状态或区包括搭载运载工具的一个或多于一个个体将要下车的一个或多于一个地点。在一些实施例中，路线106包括多个可接受的状态序列(例如，多个时空地点序列)，这多个状态序列与多个轨迹相关联(例如，限定多个轨迹)。在示例中，路线106仅包括高级别动作或不精确的状态地点，诸如指示在车行道交叉口处转换方向的一系列连接道路等。附加地或可替代地，路线106可以包括更精确的动作或状态，诸如例如车道区域内的特定目标车道或精确地点以及这些位置处的目标速率等。在示例中，路线106包括沿着具有到达中间目标的有限前瞻视界的至少一个高级别动作的多个精确状态序列，其中有限视界状态序列的连续迭代的组合累积地与共同形成在最终目标状态或区处终止的高级别路线的多个轨迹相对应。

区域108包括运载工具102可以导航的物理区域(例如，地理区)。在示例中，区域108包括至少一个州(例如，国家、省、国家中所包括的多个州中的单独州等)、州的至少一部分、至少一个城市、城市的至少一部分等。在一些实施例中，区域108包括至少一个已命名干道(本文称为“道路”)，诸如公路、州际公路、公园道路、城市街道等。附加地或可替代地，在一些示例中，区域108包括至少一个未命名道路，诸如行车道、停车场的一段、空地和/或未开发地区的一段、泥路等。在一些实施例中，道路包括至少一个车道(例如，道路的运载工具102可以穿过的部分)。在示例中，道路包括与至少一个车道标记相关联的(例如，基于至少一个车道标记所识别的)至少一个车道。

运载工具到基础设施(V2I)装置110(有时称为运载工具到万物(Vehicle-to-Everything)(V2X)装置)包括被配置为与运载工具102和/或V2I基础设施系统118进行通信的至少一个装置。在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，V2I装置110包括射频识别(RFID)装置、标牌、照相机(例如，二维(2D)和/或三维(3D)照相机)、车道标记、路灯、停车计时器等。在一些实施例中，V2I装置110被配置为直接与运载工具102进行通信。附加地或可替代地，在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114和/或队列管理系统116经由V2I系统118进行通信。在一些实施例中，V2I装置110被配置为与V2I系统118经由网络112进行通信。

网络112包括一个或多于一个有线和/或无线网络。在示例中，网络112包括蜂窝网络(例如，长期演进(LTE)网络、第三代(3G)网络、第四代(4G)网络、第五代(5G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网(例如，公共交换电话网(PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、云计算网络等、以及/或者这些网络中的一部分或全部的组合等。

远程AV系统114包括被配置为与运载工具102、V2I装置110、网络112、队列管理系统116和/或V2I系统118经由网络112进行通信的至少一个装置。在示例中，远程AV系统114包括服务器、服务器组和/或其他类似装置。在一些实施例中，远程AV系统114与队列管理系统116位于同一位置。在一些实施例中，远程AV系统114参与运载工具的组件(包括自主系统、自主运载工具计算和/或由自主运载工具计算实现的软件等)中的一部分或全部的安装。在一些实施例中，远程AV系统114在运载工具的寿命期间维护(例如，更新和/或更换)这些组件和/或软件。

队列管理系统116包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或V2I基础设施系统118进行通信的至少一个装置。在示例中，队列管理系统116包括服务器、服务器组和/或其他类似装置。在一些实施例中，队列管理系统116与拼车公司(例如，用于控制多个运载工具(例如，包括自主系统的运载工具和/或不包括自主系统的运载工具)的操作等的组织)相关联。

在一些实施例中，V2I系统118包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或队列管理系统116经由网络112进行通信的至少一个装置。在一些示例中，V2I系统118被配置为与V2I装置110经由不同于网络112的连接进行通信。在一些实施例中，V2I系统118包括服务器、服务器组和/或其他类似装置。在一些实施例中，V2I系统118与市政当局或私营机构(例如，用于维护V2I装置110的私营机构等)相关联。

提供图1所例示的要素的数量和布置作为示例。与图1例示的要素相比，可以存在附加的要素、更少的要素、不同的要素和/或不同布置的要素。附加地或可替代地，环境100的至少一个要素可以进行被描述为由图1的至少一个不同要素进行的一个或多于一个功能。附加地或可替代地，环境100的至少一组要素可以进行被描述为由环境100的至少一个不同组的要素进行的一个或多于一个功能。

现在参考图2，运载工具200包括自主系统202、动力总成控制系统204、转向控制系统206和制动系统208。在一些实施例中，运载工具200与运载工具102(参见图1)相同或类似。在一些实施例中，运载工具200具有自主能力(例如，实现如下的至少一个功能、特征和/或装置等，该至少一个功能、特征和/或装置使得运载工具200能够在无人类干预的情况下部分地或完全地操作，其包括但不限于完全自主运载工具(例如，放弃依赖人类干预的运载工具)和/或高度自主运载工具(例如，在某些情形下放弃依赖人类干预的运载工具)等)。对于完全自主运载工具和高度自主运载工具的详细描述，可以参考SAE国际标准J3016:道路上机动车自动驾驶系统相关术语的分类和定义(SAE International's standard J3016:Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle AutomatedDriving Systems)，其全部内容通过引用而被包含。在一些实施例中，运载工具200与自主队列管理器和/或拼车公司相关联。

自主系统202包括传感器套件，该传感器套件包括诸如照相机202a、LiDAR传感器202b、雷达(radar)传感器202c和麦克风202d等的一个或多于一个装置。在一些实施例中，自主系统202可以包括更多或更少的装置和/或不同的装置(例如，超声波传感器、惯性传感器、(以下论述的)全球定位系统(GPS)接收器、以及/或者用于生成与运载工具200已行驶的距离的指示相关联的数据的里程计传感器等)。在一些实施例中，自主系统202使用自主系统202中所包括的一个或多于一个装置来生成与本文所述的环境100相关联的数据。由自主系统202的一个或多于一个装置生成的数据可以由本文所述的一个或多于一个系统使用以观测运载工具200所位于的环境(例如，环境100)。在一些实施例中，自主系统202包括通信装置202e、自主运载工具计算202f和安全控制器202g。

照相机202a包括被配置为与通信装置202e、AV计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。照相机202a包括用以捕获包括物理对象(例如，小汽车、公共汽车、路缘和/或人员等)的图像的至少一个照相机(例如，使用诸如电荷耦合器件(CCD)等的光传感器的数字照相机、热照相机、红外(IR)照相机和/或事件照相机等)。在一些实施例中，照相机202a生成照相机数据作为输出。在一些示例中，照相机202a生成包括与图像相关联的图像数据的照相机数据。在该示例中，图像数据可以指定与图像相对应的至少一个参数(例如，诸如曝光、亮度等的图像特性、以及/或者图像时间戳等)。在这样的示例中，图像可以采用格式(例如，RAW、JPEG和/或PNG等)。在一些实施例中，照相机202a包括配置在(例如，定位在)运载工具上以为了立体影像(立体视觉)的目的而捕获图像的多个独立照相机。在一些示例中，照相机202a包括生成图像数据并将该图像数据传输到AV计算202f和/或队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)的多个照相机。在这样的示例中，AV计算202f基于来自至少两个照相机的图像数据来确定多个照相机中的至少两个照相机的视场中的到一个或多于一个对象的深度。在一些实施例中，照相机202a被配置为捕获在相对于照相机202a的距离(例如，高达100米和/或高达1千米等)内的对象的图像。因此，照相机202a包括为了感知在相对于照相机202a一个或多于一个距离处的对象而优化的诸如传感器和镜头等的特征。

在实施例中，照相机202a包括被配置为捕获与一个或多于一个交通灯、街道标志和/或提供视觉导航数据的其他物理对象相关联的一个或多于一个图像的至少一个照相机。在一些实施例中，照相机202a生成与一个或多于一个图像相关联的交通灯数据。在一些示例中，照相机202a生成与包括格式(例如，RAW、JPEG和/或PNG等)的一个或多于一个图像相关联的TLD数据。在一些实施例中，生成TLD数据的照相机202a与本文所述的包含照相机的其他系统的不同之处在于：照相机202a可以包括具有宽视场(例如，广角镜头、鱼眼镜头、以及/或者具有约120度或更大的视角的镜头等)的一个或多于一个照相机，以生成与尽可能多的物理对象有关的图像。

激光检测和测距(LiDAR)传感器202b包括被配置为与通信装置202e、AV计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。LiDAR传感器202b包括被配置为从发光器(例如，激光发射器)发射光的系统。由LiDAR传感器202b发射的光包括在可见光谱之外的光(例如，红外光等)。在一些实施例中，在操作期间，由LiDAR传感器202b发射的光遇到物理对象(例如，运载工具)并被反射回到LiDAR传感器202b。在一些实施例中，由LiDAR传感器202b发射的光不会穿透该光遇到的物理对象。LiDAR传感器202b还包括至少一个光检测器，该至少一个光检测器在从发光器发射的光遇到物理对象之后检测到该光。在一些实施例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示LiDAR传感器202b的视场中所包括的对象的图像(例如，点云和/或组合点云等)。在一些示例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在这样的示例中，该图像用于确定LiDAR传感器202b的视场中的物理对象的边界。

无线电检测和测距(雷达)传感器202c包括被配置为与通信装置202e、AV计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。雷达传感器202c包括被配置为发射(脉冲的或连续的)无线电波的系统。由雷达传感器202c发射的无线电波包括预先确定的频谱内的无线电波。在一些实施例中，在操作期间，由雷达传感器202c发射的无线电波遇到物理对象并被反射回到雷达传感器202c。在一些实施例中，由雷达传感器202c发射的无线电波未被一些对象反射。在一些实施例中，与雷达传感器202c相关联的至少一个数据处理系统生成表示雷达传感器202c的视场中所包括的对象的信号。例如，与雷达传感器202c相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在一些示例中，该图像用于确定雷达传感器202c的视场中的物理对象的边界。

麦克风202d包括被配置为与通信装置202e、AV计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。麦克风202d包括捕获音频信号并生成与该音频信号相关联(例如，表示该音频信号)的数据的一个或多于一个麦克风(例如，阵列麦克风和/或外部麦克风等)。在一些示例中，麦克风202d包括变换器装置和/或类似装置。在一些实施例中，本文所述的一个或多于一个系统可以接收由麦克风202d生成的数据，并基于与该数据相关联的音频信号来确定对象相对于运载工具200的位置(例如，距离等)。

通信装置202e包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、AV计算202f、安全控制器202g和/或线控(DBW)系统202h进行通信的至少一个装置。例如，通信装置202e可以包括与图3的通信接口314相同或类似的装置。在一些实施例中，通信装置202e包括运载工具到运载工具(V2V)通信装置(例如，用于实现运载工具之间的数据的无线通信的装置)。

AV计算202f包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、安全控制器202g和/或DBW系统202h进行通信的至少一个装置。在一些示例中，AV计算202f包括诸如客户端装置、移动装置(例如，蜂窝电话和/或平板电脑等)和/或服务器(例如，包括一个或多于一个中央处理单元和/或图形处理单元等的计算装置)等的装置。在一些实施例中，AV计算202f与本文所述的自主运载工具计算400相同或类似。附加地或可替代地，在一些实施例中，AV计算202f被配置为与远程AV系统(例如，与图1的远程AV系统114相同或类似的远程AV系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)、V2I装置(例如，与图1的V2I装置110相同或类似的V2I装置)和/或V2I系统(例如，与图1的V2I系统118相同或类似的V2I系统)进行通信。

安全控制器202g包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、AV计算202f和/或DBW系统202h进行通信的至少一个装置。在一些示例中，安全控制器202g包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(电气控制器和/或机电控制器等)。在一些实施例中，安全控制器202g被配置为生成优先于(例如，覆盖)由AV计算202f生成和/或传输的控制信号的控制信号。

DBW系统202h包括被配置为与通信装置202e和/或AV计算202f进行通信的至少一个装置。在一些示例中，DBW系统202h包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(例如，电气控制器和/或机电控制器等)。附加地或可替代地，DBW系统202h的一个或多于一个控制器被配置为生成和/或传输控制信号以操作运载工具200的至少一个不同的装置(例如，转向信号灯、前灯、门锁和/或挡风玻璃雨刮器等)。

动力总成控制系统204包括被配置为与DBW系统202h进行通信的至少一个装置。在一些示例中，动力总成控制系统204包括至少一个控制器和/或致动器等。在一些实施例中，动力总成控制系统204从DBW系统202h接收控制信号，并且动力总成控制系统204使运载工具200开始向前移动、停止向前移动、开始向后移动、停止向后移动、沿某方向加速、沿某方向减速、进行左转和/或进行右转等。在示例中，动力总成控制系统204使提供至运载工具的马达的能量(例如，燃料和/或电力等)增加、保持相同或减少，由此使运载工具200的至少一个轮旋转或不旋转。

转向控制系统206包括被配置为使运载工具200的一个或多于一个轮旋转的至少一个装置。在一些示例中，转向控制系统206包括至少一个控制器和/或致动器等。在一些实施例中，转向控制系统206使运载工具200的两个前轮和/或两个后轮向左或向右旋转，以使运载工具200左转或右转。

制动系统208包括被配置为使一个或多于一个制动器致动以使运载工具200减速和/或保持静止的至少一个装置。在一些示例中，制动系统208包括被配置为使与运载工具200的一个或多于一个轮相关联的一个或多于一个卡钳在运载工具200的相应转子上闭合的至少一个控制器和/或致动器。附加地或可替代地，在一些示例中，制动系统208包括自动紧急制动(AEB)系统和/或再生制动系统等。

在一些实施例中，运载工具200包括用于测量或推断运载工具200的状态或条件的性质的至少一个平台传感器(未明确例示出)。在一些示例中，运载工具200包括诸如GPS接收器、惯性测量单元(IMU)、轮速率传感器、轮制动压力传感器、轮转矩传感器、引擎转矩传感器和/或转向角传感器等的平台传感器。

现在参考图3，例示装置300的示意图。如所例示的，装置300包括处理器304、存储器306、存储组件308、输入接口310、输出接口312、通信接口314和总线302。在一些实施例中，装置300对应于：运载工具102的至少一个装置(例如，运载工具102的系统的至少一个装置)、远程AV系统114、队列管理系统116、运载工具到基础设施系统118、自主系统202、制动系统208、DBW系统202h、转向控制系统206、动力总成控制系统204、以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)。在一些实施例中，运载工具102的一个或多于一个装置(例如，运载工具102的系统的一个或多于一个装置)、远程AV系统114、队列管理系统116、运载工具到基础设施系统118、自主系统202、制动系统208、DBW系统202h、转向控制系统206、动力总成控制系统204、以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)包括至少一个装置300和/或装置300的至少一个组件。如图3所示，装置300包括总线302、处理器304、存储器306、存储组件308、输入接口310、输出接口312和通信接口314。

总线302包括许可装置300的组件之间的通信的组件。在一些实施例中，处理器304以硬件、软件、或者硬件和软件的组合来实现。在一些示例中，处理器304包括处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)和/或加速处理单元(APU)等)、麦克风、数字信号处理器(DSP)、以及/或者可被编程为进行至少一个功能的任意处理组件(例如，现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)等)。存储器306包括随机存取存储器(RAM)、只读存储器(ROM)、以及/或者存储供处理器304使用的数据和/或指令的另一类型的动态和/或静态存储装置(例如，闪速存储器、磁存储器和/或光存储器等)。

存储组件308存储与装置300的操作和使用相关的数据和/或软件。在一些示例中，存储组件308包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘等)、紧凑盘(CD)、数字多功能盘(DVD)、软盘、盒式磁带、磁带、CD-ROM、RAM、PROM、EPROM、FLASH-EPROM、NV-RAM和/或另一类型的计算机可读介质、以及相应的驱动器。

输入接口310包括许可装置300诸如经由使用者输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风和/或照相机等)等接收数据的组件。附加地或可替代地，在一些实施例中，输入接口310包括用于感测数据的传感器(例如，GPS接收器、加速度计、陀螺仪和/或致动器等)。输出接口312包括用于提供来自装置300的输出数据的组件(例如，显示器、扬声器和/或一个或多于一个发光二极管(LED)等)。

在一些实施例中，通信接口314包括许可装置300与其他装置经由有线连接、无线连接、或者有线连接和无线连接的组合进行通信的类似收发器那样的组件(例如，收发器和/或单独的接收器和发射器等)。在一些示例中，通信接口314许可装置300从另一装置接收数据和/或向另一装置提供数据。在一些示例中，通信接口314包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、

接口和/或蜂窝网络接口等。

在一些实施例中，装置300进行本文所述的一个或多于一个处理。装置300基于处理器304执行由诸如存储器305和/或存储组件308等的计算机可读介质所存储的软件指令来进行这些处理。计算机可读介质(例如，非暂时性计算机可读介质)在本文被限定为非暂时性存储器装置。非暂时性存储器装置包括位于单个物理存储装置内的存储空间或跨多个物理存储装置分布的存储空间。

在一些实施例中，经由通信接口314从另一计算机可读介质或从另一装置将软件指令读取到存储器306和/或存储组件308中。存储器306和/或存储组件308中所存储的软件指令在执行时，使处理器304进行本文所述的一个或多于一个处理。附加地或可替代地，代替软件指令或与软件指令组合使用硬连线电路以进行本文所述的一个或多于一个处理。因此，除非另外明确说明，否则本文所描述的实施例不限于硬件电路和软件的任何特定组合。

存储器306和/或存储组件308包括数据存储部或至少一个数据结构(例如，数据库等)。装置300能够从存储器306或存储组件308中的数据存储部或至少一个数据结构接收数据，将数据存储在该数据存储部或至少一个数据结构中，将数据通信至该数据存储部或至少一个数据结构，或者搜索该数据存储部或至少一个数据结构中所存储的数据。在一些示例中，该数据括网络数据、输入数据、输出数据或其任何组合。

在一些实施例中，装置300被配置为执行存储在存储器306和/或另一装置(例如，与装置300相同或类似的另一装置)的存储器中的软件指令。如本文所使用的，术语“模块”是指存储器306和/或另一装置的存储器中所存储的至少一个指令，该至少一个指令在由处理器304和/或另一装置(例如，与装置300相同或类似的另一装置)的处理器执行时，使装置300(例如，装置300的至少一个组件)进行本文所述的一个或多于一个处理。在一些实施例中，模块以软件、固件和/或硬件等来实现。

提供图3所例示的组件的数量和布置作为示例。在一些实施例中，与图3所例示的组件相比，装置300可以包括附加的组件、更少的组件、不同的组件或不同布置的组件。附加地或可替代地，装置300的一组组件(例如，一个或多于一个组件)可以进行被描述为由装置300的另一组件或另一组组件进行的一个或多于一个功能。

现在参考图4，例示出自主运载工具计算400(有时称为“AV堆栈”)的示例框图。如所例示的，AV计算400包括感知系统402(有时称为感知模块)、规划系统404(有时称为规划模块)、定位系统406(有时称为定位模块)、控制系统408(有时称为控制模块)和数据库410。在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在运载工具的自动导航系统(例如，运载工具200的AV计算202f)中和/或在该自动导航系统中实现。附加地或可替代地，在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在一个或多于一个独立系统(例如，与AV计算400相同或类似的一个或多于一个系统等)中。在一些示例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库41包括在位于运载工具中的一个或多于一个独立系统以及/或者如本文所述的至少一个远程系统中。在一些实施例中，AV计算400中所包括的系统中的任意和/或全部以软件(例如，存储器中所存储的软件指令)、计算机硬件(例如，通过微处理器、微控制器、专用集成电路(ASIC)和/或FPGA等)、或者计算机软件和计算机硬件的组合来实现。还将理解，在一些实施例中，AV计算400被配置为与远程系统(例如，与远程AV系统114相同或类似的自主运载工具系统、与队列管理系统116相同或类似的队列管理系统116、以及/或者与V2I系统118相同或类似的V2I系统等)进行通信。

在一些实施例中，感知系统402接收与环境中的至少一个物理对象相关联的数据(例如，感知系统402检测至少一个物理对象所使用的数据)，并对该至少一个物理对象进行分类。在一些示例中，感知系统402接收由至少一个照相机(例如，照相机202a)捕获到的图像数据，该图像与该至少一个照相机的视场内的一个或多于一个物理对象相关联(例如，表示该一个或多于一个物理对象)。在这样的示例中，感知系统402基于物理对象(例如，自行车、运载工具、交通标志和/或行人等)的一个或多于一个分组来对至少一个物理对象进行分类。在一些实施例中，基于感知系统402对物理对象进行分类，感知系统402将与物理对象的分类相关联的数据传输到规划系统404。

在一些实施例中，规划系统404接收与目的地相关联的数据，并且生成与运载工具(例如，运载工具102)可以朝向目的地行驶所沿着的至少一个路线(例如，路线106)相关联的数据。在一些实施例中，规划系统404定期地或连续地从感知系统402接收数据(例如，上述的与物理对象的分类相关联的数据)，并且规划系统404基于感知系统402所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。在一些实施例中，规划系统404从定位系统406接收与运载工具(例如，运载工具102)的更新位置相关联的数据，并且规划系统404基于定位系统406所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。

在一些实施例中，定位系统406接收与运载工具(例如，运载工具102)在区域中的地点相关联(例如，表示该地点)的数据。在一些示例中，定位系统406接收与至少一个LiDAR传感器(例如，LiDAR传感器202b)所生成的至少一个点云相关联的LiDAR数据。在某些示例中，定位系统406从多个LiDAR传感器接收与至少一个点云相关联的数据，并且定位系统406基于各个点云来生成组合点云。在这些示例中，定位系统406将该至少一个点云或组合点云与数据库410中所存储的区域的二维(2D)和/或三维(3D)地图进行比较。然后，基于定位系统406将至少一个点云或组合点云与地图进行比较，定位系统406确定运载工具在区域中的位置。在一些实施例中，地图包括运载工具的导航之前生成的该区域的组合点云。在一些实施例中，地图包括但不限于车行道几何性质的高精度地图、描述道路网连接性质的地图、描述车行道物理性质(诸如交通速率、交通流量、运载工具和自行车交通车道的数量、车道宽度、车道交通方向或车道标记的类型和地点、或者它们的组合等)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型的其他行驶信号灯等)的空间地点的地图。在一些实施例中，基于感知系统所接收到的数据来实时地生成地图。

在另一示例中，定位系统406接收由GPS接收器所生成的全球导航卫星系统(GNSS)数据。在一些示例中，定位系统406接收与运载工具在区域中的地点相关联的GNSS数据，并且定位系统406确定运载工具在区域中的纬度和经度。在这样的示例中，定位系统406基于运载工具的纬度和经度来确定运载工具在区域中的位置。在一些实施例中，定位系统406生成与运载工具的位置相关联的数据。在一些示例中，基于定位系统406确定运载工具的位置，定位系统406生成与运载工具的位置相关联的数据。在这样的示例中，与运载工具的位置相关联的数据包括与对应于运载工具的位置的一个或多于一个语义性质相关联的数据。

在一些实施例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408控制运载工具的操作。在一些示例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408通过生成并传输控制信号以使动力总成控制系统(例如，DBW系统202h和/或动力总成控制系统204等)、转向控制系统(例如，转向控制系统206)和/或制动系统(例如，制动系统208)进行操作，来控制运载工具的操作。在示例中，在轨迹包括左转的情况下，控制系统408传输控制信号以使转向控制系统206调整运载工具200的转向角，由此使运载工具200左转。附加地或可替代地，控制系统408生成并传输控制信号以使运载工具200的其他装置(例如，前灯、转向信号灯、门锁和/或挡风玻璃雨刮器等)改变状态。

在一些实施例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型(例如，至少一个多层感知器(MLP)、至少一个卷积神经网络(CNN)、至少一个递归神经网络(RNN)、至少一个自动编码器和/或至少一个变换器等)。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408单独地或与上述系统中的一个或多于一个结合地实现至少一个机器学习模型。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型作为管道(例如，用于识别位于环境中的一个或多于一个对象的管道等)的一部分。

数据库410存储传输至感知系统402、规划系统404、定位系统406和/或控制系统408的、从其接收到的、以及/或者由其更新的数据。在一些示例中，数据库410包括用于存储与操作相关的数据和/或软件、并使用AV计算400的至少一个系统的存储组件(例如，与图3的存储组件308相同或类似的存储组件)。在一些实施例中，数据库410存储与至少一个区域的2D和/或3D地图相关联的数据。在一些示例中，数据库410存储与城市的一部分、多个城市的多个部分、多个城市、县、州和/或国家(State)(例如，国家)等的2D和/或3D地图相关联的数据。在这样的示例中，运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)可以沿着一个或多于一个可驾驶区(例如，单车道道路、多车道道路、高速公路、偏僻道路和/或越野道路等)驾驶，并且使至少一个LiDAR传感器(例如，与LiDAR传感器202b相同或类似的LiDAR传感器)生成与表示该至少一个LiDAR传感器的视场中所包括的对象的图像相关联的数据。

在一些实施例中，数据库410可以跨多个装置来实现。在一些示例中，数据库410包括在运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)、远程AV系统(例如，与远程AV系统114相同或类似的远程AV系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)中和/或V2I系统(例如，与图1的V2I系统118相同或类似的V2I系统)等中。

利用情境评估框架的操作包络检测

如本文所使用的，术语“操作包络”是指AV正在其能力内进行操作的包络。通常，当AV的当前能力(例如，感知、规划、预测、控制、通信等)满足或超过由如下的机动动作施加的功能要求时，AV正在其设计操作包络内进行操作，该机动动作是运载工具在具有所识别的功能限制(例如，环境条件、道路结构、其他道路使用者的行为等)的给定情境下正在进行或预计将进行的机动动作。

图5描绘具有自主系统202的运载工具200可能遇到的示例场景500。具体地，图5描绘AV 200打算在交叉口右转弯。描绘了示出AV 200的预期轨迹520的右转弯。如上所述，术语“轨迹”是指AV 200根据时间在环境中跟随的路径。具体地，如本文所使用的，在AV 200进行动作序列时，AV 200将被称为“穿过轨迹”。在另一实施例中，这种动作被称为“进行机动动作”。

在该示例场景500中，存在诸如停放的运载工具510和行人515的多个对象。具体地，停放的运载工具510被描绘为沿着AV 200打算转弯的车道中的路缘停放。行人515也至少部分地在该车道中。在该实施例中，在AV 200沿着轨迹520通过右转弯进行机动动作时，停放的运载工具510可能阻挡运载工具200的可见性，使得运载工具200不能看见行人。因此，在该实施例中，AV200的操作包络受停放的运载工具510的定位影响，使得AV 200的能力(例如，AV 200的感知)影响(在这种情况下，约束)AV 200导航轨迹520的能力。

本文的实施例涉及自主系统，该自主系统基于对AV 200所处的环境和/或AV 200所涉及的情境的准确评估来测量AV 200的功能能力和要求以辅助确保AV 200在其ODD内的操作。

参考图6，图6是示例OED框架。在一些实施例中，针对OED框架600所述的要素中的一个或多于一个是由一个或多于一个运载工具102(例如，运载工具102的一个或多于一个装置)(例如，完全地和/或部分地等)进行的。附加地或可替代地，针对OED框架600所述的一个或多于一个要素可以由与运载工具102分开或包括运载工具102的另一装置或装置组(诸如图1、图2、图3和图4中的任何图的其他装置中的一个或多于一个等)(例如，完全地和/或部分地等)进行。

在一些实施例中，OED框架600包括至少一个传感器605，该至少一个传感器605包括照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d等中的至少一个。传感器605被配置为将传感器数据606输出到感知系统402。传感器数据606例如包括雷达数据、照相机数据、LiDAR数据等。

除以上参考图4所述的功能之外，感知系统402提供至少一个感知图607。感知图607描述AV的传感器605能够在给定时间准确地感知在相对于AV 200的一定距离处的对象的程度(例如，到什么程度)和范围。以下更详细地说明感知系统402。在一些实施例中，感知系统402被称为“环境限制和传感器异常(“ELSA”)”系统402。

OED框架600还包括规划系统404。规划系统404从如针对例如图4所述的各种系统和子系统接收数据。另外，规划系统404从感知系统402接收感知数据619(例如，对象检测)和/或PVM数据618，其中规划系统404使用该感知数据619和/或PVM数据618来生成或更新供自主运载工具计算400评价用和/或供运载工具102穿过用的轨迹数据609。轨迹数据609包括诸如轨迹520等的轨迹的一个或多于一个参数。在实施例中，如以下详细论述的，PVM数据618是由感知系统402生成的。

OED框架600还包括评估系统620。在一些实施例中，评估系统620可以作为独立系统包括在AV计算400中、或者包括在感知系统402中。在一些实施例中，评估系统620被称为“SAM”系统620。评估系统620被配置为提供指示感兴趣区域中的最小所需感知区的(沿着AV正在操作的环境的顶视图或鸟瞰视图的)感知多边形。如本文所使用的，“感知区”是操作环境的在传感器605的检测能力内的一部分，并且“感兴趣区域”是指在AV的附近地区内的区域，并且更具体是环境中的AV存在或者AV基于轨迹数据609将移动到的区域。具体地，评估系统620基于由规划系统404提供的轨迹数据609来识别和输出最小感知区数据611。最小感知区数据611与执行由轨迹数据609描述的轨迹所需的最小感知区有关。

评估系统620不能识别最小所需感知区域可以指示所提议的轨迹不与功能要求相关联。在这种情况下，评估系统620将未定义的功能要求617的指示提供到干预请求系统630。以下更详细地说明评估系统620。

OED框架600还包括仲裁器系统625。仲裁器系统625被配置为接收(一个或多于一个)感知图607和最小感知区数据611。在实施例中，仲裁器系统625还被配置为直接从规划系统404接收轨迹数据609。然后，仲裁器系统625比较(一个或多于一个)感知图607和最小感知区数据611(以及在实施例中为轨迹数据609)以识别AV是否正在其ODD内操作。具体地，仲裁器系统625被配置为将第一风险水平分配到感知系统402的输出。在一些实施例中，仲裁器系统625被配置为基于传感器数据606来分配不遵守与轨迹有关的功能要求的第一风险水平。

仲裁器系统625还将不遵守功能要求的第二风险水平分配到评估系统620的输出(例如，最小感知区数据611)。仲裁器系统625基于所分配的第一风险水平和第二风险水平来计算总风险水平。基于总风险水平，仲裁器系统625识别AV是否处于安全状态。安全状态的示例是AV能够进行所分配的轨迹/机动动作或者在AV的ODD内导航所分配的轨迹/机动动作的情况。不安全状态的示例是轨迹/机动动作的要求超过AV的功能能力的情况。如果仲裁器系统625识别为AV处于不安全状态，则仲裁器系统625将不安全指标数据616输出到干预请求系统630，该干预请求系统630生成干预请求，并将该干预请求发送/传输到例如远程AV系统114以进行RVA干预，或者发送/传输到规划系统404和/或AV控制系统408以进行MRM干预。

OED框架600还包括不动检测系统635。不动检测系统635被配置为基于从规划系统404接收到的轨迹而识别出AV不动。如以下更详细地所述，不动检测系统635还被配置为识别该不动的原因，并将触发信号数据614和停止原因数据613输出到干预请求系统630。

OED框架600还包括干预请求系统630。干预请求系统630被配置为生成干预请求612。干预请求612可以是基于感知图607、不安全指标数据616、最小感知区数据611、停止原因数据613、触发信号数据614和/或未定义的功能要求617的指示中的至少一个。

在一个实施例中，干预请求612例如是向RVA操作员或远程操作员的针对与运载工具的控制相关联的数据的请求。例如，干预请求612可以包括针对如下数据的请求，其中控制系统408可以作用于该数据以使得AV采取一个或多于一个动作。在另一实施例中，干预请求612是MRM，该MRM可以是预先识别的机动动作(诸如AV减速、停止、靠边停车等)，以使AV返回到安全状态。在另一实施例中，干预请求612可以包括针对诸如减速操作等的降级模式操作(DMO)任务的请求。

在干预请求612是基于至少一个感知图607的实施例中，感知系统610和/或干预请求系统630检测与传感器的功能或紧急情境有关的错误。在该实施例中，感知系统610可以直接通知干预请求系统630存在这种紧急情境，或者提供至少一个感知图607，使得干预请求系统630可以生成干预请求612。

在一个实施例中，如以下针对图13进一步详细地所示和所述，干预请求系统630被配置为直接从不动检测系统635接收诸如停止原因数据613和触发信号数据614等的数据。具体地，当不动检测系统635识别出AV“卡住”(例如，不动)时，不动检测系统635将与AV的不动有关的上下文数据(例如，数据613、614)提供到干预请求系统630。

图7描绘根据各种实施例的与具有情境评估的操作包络检测有关的示例处理流程。在一些实施例中，针对处理700所述的要素中的一个或多于一个是由示例OED框架600(例如，OED框架600中所包括的装置或装置组)(例如，完全地和/或部分地等)进行的。附加地或可替代地，在一些实施例中，针对处理700所述的一个或多于一个要素是由与示例OED框架600分开的另一装置或装置组(诸如图1、图2、图3和图4中的任何图的装置中的一个或多于一个等)(例如，完全地和/或部分地等)进行的。

处理700包括：在705处，基于AV的地点和传感器数据(诸如传感器数据606等)来确定AV的轨迹。如上所述，轨迹是在例如规划系统404处或者由例如规划系统404生成的。轨迹包括至少一个命令，该至少一个命令将由控制系统408实现，以使得AV采取诸如转弯、加速、维持速率、制动等的动作。另外，如以下更详细地所述，705可以是基于定位数据801。

处理700还包括：在710处，确定轨迹是否与至少一个已定义的功能要求相关联。功能要求是AV在穿过给定轨迹时必须遵守的规则或约束。要求包括但不限于：1)运载工具的基本控制，诸如停止、维持运载工具速率和转弯等；2)感知环境的基本需求，诸如检测交通灯、行人、自行车、其他运载工具、以及任何其他静止或动态对象等；3)确定运载工具在地图或车道中的位置(即，定位)的需求；以及4)运载工具顺利通过交叉口、U形转弯、变道、并道、无保护转弯、环岛和任何其他机动动作的能力。在一个实施例中，该确定由评估系统620进行，而在其他实施例中，该确定由仲裁器系统625或运载工具的一些其他系统或子系统附加地或可替代地进行。

如果在710处(例如，基于未定义的功能要求617的指示)确定为轨迹不与至少一个已定义的功能要求相关联，则处理700直接进入在715处请求干预以使运载工具置于安全状态。如上所述，干预请求由干预请求系统630进行。这种干预可以包括针对RVA、MRM、DMO任务和一些其他干预的请求中的一个或多于一个。在这种情况下，这种干预可能是期望的，因为机动动作不与功能要求相关联的指示表示该机动动作是异常机动动作。异常机动动作例如可以是猛撞、紧急机动动作(例如，急转弯或紧急停止)或一些其他类型的机动动作。

然而，如果在710处确定为轨迹与至少一个已定义的功能要求相关联，则处理700包括：在720处，确定在运载工具穿过轨迹的情况下运载工具不遵守至少一个已定义的功能要求的第一风险水平。在实施例中，在720处，第一风险水平是由感知系统402和仲裁器系统625中的一个或两个确定的。例如，在一个实施例中，感知系统402识别第一风险水平并将该第一风险水平的指示提供到仲裁器系统625。在另一实施例中，第一风险水平是由仲裁器系统625基于感知系统402所提供的(一个或多于一个)感知图607确定的。

不遵守的第一风险水平的确定是基于例如机动动作的功能要求是否超过运载工具的并且更具体为(一个或多于一个)传感器605的功能能力来进行的。具体地，该确定是基于PVM进行的。在一个实施例中，PVM的生成是基于至少一个先前PVM。以下更详细地说明PVM。

在实施例中，第一风险水平的确定是基于针对是否满足与已定义的功能要求相关联的至少一个量化度量的确定。这种量化度量可以是基于至少一个规则手册，该规则手册是包括但不限于监管规则、安全规则、乘客舒适度规则或一些其他类型的规则的数据结构。

处理700还包括：在725处，基于(例如，如由定位系统406提供的)运载工具的地点和(如由规划系统404提供的)轨迹数据来确定感兴趣区域。这种确定例如是由仲裁器系统625和规划系统404中的一个或两个进行的。

处理700还包括：在730处，至少部分地基于传感器数据来生成感兴趣区域的最小所需感知区。在实施例中，这种生成由评估系统620进行。最小所需感知区可以是基于运载工具安全地穿过轨迹所需的最少感知数据量(例如，与环境相关联的最少数据量)。在实施例中，最少感知数据量是基于对轨迹的分析(例如，最小感知数据量是动态的)，而在另一实施例中，最少感知数据量是预先识别的(例如，最少感知数据量是静态的)。

处理700还包括：在735处，基于最小感知区来评估与运载工具穿过轨迹相关联的第二风险水平。在实施例中，该评估由评估系统620和仲裁器系统625中的一个或两个进行。例如，在一个实施例中，评估系统620识别风险并将该数据提供到仲裁器系统625。在另一实施例中，评估系统620将最小感知区数据611提供到仲裁器系统625，并且仲裁器系统625识别第二风险水平。与第一风险水平的评估类似，第二风险水平的评估是基于确定AV操作的功能要求是否超过AV或AV的传感器的能力。

处理700还包括：在740处，基于(如在要素720处确定的)第一风险水平和(如在要素735处评估的)第二风险水平的组合来确定总风险水平。这种确定由仲裁器系统625进行，并且可以是基于一个或多于一个数学函数，诸如风险的相加、风险的均值、风险的平均值、风险的中值或一些其他数学函数等。在另一实施例中，仅基于第一风险水平和第二风险水平中的最高风险水平来识别总风险。

处理700还包括：在要素745处，确定总风险水平将使运载工具置于安全状态还是不安全状态。这种确定由仲裁器系统625进行。在一个实施例中，该确定是基于总风险水平与同所识别的机动动作有关的阈值的比较。换句话说，阈值是动态的。在另一实施例中，该确定是基于总风险水平与独立于机动动作的预先识别的阈值的比较。换句话说，阈值是静态的。如果总风险水平满足(或超过)阈值，则仲裁器系统625识别出AV处于或将处于不安全状态，并且通过例如将不安全指示数据616提供到干预请求系统630而进入要素715。然而，如果总风险水平低于(或者处于或低于)阈值，则仲裁器系统625识别出AV处于或将处于安全状态，并且在750处穿过轨迹(例如，进行机动动作)。具体地，仲裁器系统625便于AV的另一系统或子系统(诸如控制系统408等)穿过轨迹。

通常，感兴趣区域的PVM指示感知数据中的对象检测对感兴趣区域中的AV的至少一个传感器可见的概率。概率可以是基于各种因素(诸如与AV的至少一个传感器的操作状态相关联的传感器条件数据等)中的一个或多于一个。如本文所使用的，操作状态指示至少一个传感器的视场是否被遮挡(并且如果至少一个传感器的视场被遮挡，则操作状态可以指示视场被遮挡到什么程度)、以及/或者至少一个传感器是否出现了故障。在另一实施例中，基于至少一个环境条件(诸如天气条件(例如，是正在下雨还是晴天)、照明条件(例如，日光是可用还是不可用)、或一些其他条件等)来确定概率。

示例感知系统

如前面所述，在实施例中，感知系统402提供与AV的传感器(例如，传感器605)可以在给定时间感知对象的程度和范围有关的数据。更具体地，感知系统402负责通过对感知系统402检测AV周围的关注的对象和环境特征的能力进行建模和监测来表征AV的感测能力。该能力被建模为传感器条件(例如，传感器阻塞、脏传感器、故障传感器等)、环境条件(例如，天气、一天中的时间、传感器遮挡等)、以及传感器605的能力(例如，视场(FOV)、传感器的安装地点等)的函数。在替代实施例中，感知系统402负责对象检测，并且与感知系统402分开的另一系统负责通过对感知系统402检测AV周围的关注的对象和环境特征的能力进行建模和监测来表征AV的感测能力。

在实施例中，感知系统402生成PVM，该PVM封装AV外部的环境和感知系统402在运行时的感知感测能力。可以基于在线和/或离线数据来生成PVM。在实施例中，使用一组传感器检测器来检测和监测传感器条件和环境条件。传感器条件是传感器的条件，其包括但不限于：阻塞/卡住、脏传感器、故障传感器等。环境条件包括但不限于以下的条件：天气、一天中的时间、正遮挡传感器的其他对象(例如，阻碍传感器的FOV)、等等。

参考图8，图8描绘包括感知系统402的示例传感器系统800的框图。感知系统402包括至少一个传感器系统810，其被配置为从(一个或多于一个)传感器605接收传感器数据606，并且检测/监测传感器条件和/或环境条件。具体地，诸如阻塞/遮挡、灰尘和故障等的传感器条件、或者诸如太阳眩光等的环境条件可以降低感知系统402检测对象的能力。(一个或多于一个)传感器系统810被配置为基于传感器数据606来检测这些条件的存在和地点(例如，哪些传感器605正受影响、以及该问题正如何产生或在何处产生，诸如正在产生眩光效果的太阳或光的地点等)。在实施例中，(一个或多于一个)传感器检测器810被配置为通过例如与传感器数据606有关的数据分析、与传感器数据606有关的元数据的分析、与(一个或多于一个)传感器605有关的控制数据、或者由(一个或多于一个)传感器605输出的一些其他数据来识别这些传感器或环境条件。然后，(一个或多于一个)传感器系统810将与传感器/环境数据840有关的数据提供到以下将进一步详细说明的PVM子系统820。

在一些实施例中，如在图8中可以看出，如上所述，将传感器/环境数据840直接提供到干预请求系统630。在实施例中，数据840被连续地提供到干预请求系统630，而在另一实施例中，数据840仅在该数据的参数达到或超过阈值(其可以是动态的或静态的)时被提供到干预请求系统630。在该实施例中，干预请求系统630被配置为作用于从(一个或多于一个)传感器系统810接收到的数据840，该数据840指示诸如传感器失效(例如，极端环境条件、传感器故障等)等的情形，这可以使如上所述的干预成为必需。

感知系统402还包括至少一个感知管道815。感知管道815被配置为接收传感器数据，并且进行与对象检测有关的动作。更具体地，感知管道815被配置为生成中间感知结果，这些中间感知结果被作为感知数据619而输出。这种感知数据619包括但不限于携带地面和所检测到的对象的数据的LiDAR语义点云。在其他实施例中，感知数据845例如包括与雷达(RADAR)检测有关的数据、与一个或多于一个照相机有关的数据等。感知数据619由(一个或多于一个)感知管道815输出到PVM子系统820和规划系统404。

感知数据619由PVM使用以识别环境遮挡以及识别/解释LiDAR数据。PVM还可以使用由感知管道815输出的感知数据619来构造感知图607，诸如与AV的附近地区内的对象有关的PoD图等。以下进一步详细说明这种PoD图。感知管道815还被配置为进行类似功能，或者生成与雷达数据、照相机数据或者由(一个或多于一个)传感器605生成的或与(一个或多于一个)传感器605有关的一些其他类型的数据有关的类似数据。还将理解，尽管图8仅示出单个感知管道，但在其他实施例中，感知系统402包括多个感知管道815。在一些实施例中，(一个或多于一个)传感器605中的各传感器具有其自身的感知管道，而在其他实施例中，(一个或多于一个)传感器至少之一共享感知管道。

感知系统402还包括PVM子系统820。PVM子系统820被配置为接收感知数据619和传感器/环境数据840并且生成PVM。通常，PVM是指示AV的传感器605的可见区域的模型。如以下将更详细地所述，PVM用于生成至少一个感知图607，诸如各个关注对象(例如，运载工具、行人、诸如邮箱或灯柱等的邻近运载工具的对象等等)的PoD附近地区图等。PVM还生成感知图607，诸如对AV周围的环境遮挡和严重程度进行建模的遮挡等级图等。以下更详细地描绘和论述PoD附近地区图和遮挡图。

通常，PVM子系统820基于诸如传感器/环境数据840和感知数据619等的数据来生成PVM。在实施例中，PVM是进一步基于诸如由定位系统406提供的定位数据801等的附加数据。定位数据801包括与AV的地点或环境有关的数据，并且可以由PVM子系统820使用以识别在AV的附近地区是否存在影响AV的一个或多于一个传感器的可见性的一个或多于一个对象(例如，建筑物、立交桥等)。这种数据可以由例如全球导航卫星系统(例如，GPS)提供。

在实施例中，PVM是进一步基于指示环境条件的环境数据802。这种环境数据802例如包括如由环境子系统850通信地耦接到的天气服务生成的天气预报。环境数据802可以附加地或可替代地包括与AV的传感器(或者AV通信地耦接到的传感器)(诸如气压计、湿度传感器、或者指示AV的附近地区内的环境条件的一些其他类型的传感器等)有关的数据。

在实施例中，PVM子系统820被配置为进一步使PVM或其合成图(诸如PoD附近地区附近图或遮挡图等)基于PVM先验数据库825中所存储的先验数据806。这种先验数据806可以包括先前PVM、先前PoD附近地区图、先前遮挡图和/一些其他类型的数据。

PVM子系统的(一个或多于一个)合成图由感知系统402输出到仲裁器系统625，以如以上针对要素720所述确定第一风险水平。在一些实施例中，图607中的一个或多于一个也可被直接输出到干预请求系统630以基于图的结果确定干预。例如，在实施例中，将由PVM子系统820基于PVM所生成的图中的一个或多于一个连续地提供到干预请求系统630，而在另一实施例中，(一个或多于一个)图仅在该(一个或多于一个)图的参数达到或超过阈值(其可以是动态的或静态的)时才被提供到干预请求系统630。在该实施例中，干预请求系统630被配置为作用于从PVM子系统820接收到的(一个或多于一个)图，该(一个或多于一个)图指示诸如极端遮挡、对象极其靠近AV等的情形，这可以使如上所述的干预成为必需。

参考图9，图9描绘PoD图的示例900。如前面所述，感知系统402并且特别是PVM子系统820被配置为生成针对不同对象的至少一个PoD图(例如，针对运载工具的一个PoD图、针对行人的另一PoD图等)。另外，如所述，PoD图可以是基于从PVM先验数据库825提供的一个或多于一个先前PoD图。

示例900描绘运载工具的PoD图。具体地，运载工具200(例如，AV)位于道路930上，该道路930可以是街道、车道、公路、要道等。为了该示例900的目的，与道路930相邻的环境被进一步标记为“道路外”925。运载工具940(例如，另一运载工具)位于运载工具200的附近地区。另外，为了该示例900的目的，太阳920的位置被描绘成在运载工具200的前方。

在该实施例中，PoD图905是与诸如运载工具940等的智能体(例如，运载工具、行人、自行车、摩托车等)有关的PoD图。具体地，PoD图905表示距离阈值，其中在该距离阈值处，运载工具200将被诸如(一个或多于一个)传感器605等的运载工具200的传感器检测到的机率为约N％(N＝75％)或更大。在一些实施例中，PoD图905可受方位角(即，对象相对于地平线的角度)影响或者基于该方位角，而在其他实施例中，方位角不是在PoD图905的计算中使用的因素。

如在图9的示例中可以看出，PoD图905通常跨越运载工具200周围的附近地区。然而，将注意，PoD图905具有图9中描绘的三个限制。第一个限制是由存在运载工具940引起的，这可以降低运载工具200的传感器检测运载工具的能力，该运载工具被定位成运载工具940在运载工具200和另一运载工具之间。在太阳920处出现另一限制，其由于例如眩光或另一照明相关的环境条件而减小PoD图905的范围。对左侧运载工具200出现另一限制，其中PoD图905通常与道路930的边缘一致。该限制可以是基于例如存在障碍物、建筑物或一些其他限制。将理解，该示例图意图作为仅一个示例，并且在不同实施例中，调整PoD图905的特定角度、PoD图905的大小或形状、影响PoD图905的因素等等可以不同。另外，尽管该示例900中的PoD图所使用的值被描述为具有示例阈值75％，但在其他实施例中可以使用其他值。在一些实施例中，基于传感器的类型、与PoD图相关联的对象的类型或一些其他因素来选择阈值。在实施例中，可以基于感知系统402的上游或下游的模块的要求来选择PoD值。

如前面所述，在实施例中，PVM子系统820被配置为在识别PVM或PoD图时使用与先验PVM、先验PoD图或一些其他数据有关的数据。这样的数据可以存储在PVM先验数据库825中。示例900描绘了先验PoD图的两个这样的示例。具体地，要素915描绘检测概率大于例如75％的针对小汽车的在线先验PoD图。如本文所使用的，“在线”先验PoD图描述与PVM子系统820的先前计算有关的先验PoD图。这样的映射可以存储在PVM子系统820、PVM先验数据库825或这两者的存储器中。在实施例中，在线先验PoD图915的值是基于来自运载工具200在某个过去时间窗期间(例如，在过去5分钟的使用期间)的当前使用的值、或者某个数量的样本的值的聚合。在该实施例中，在线先验PoD图915可以是基于这些值的平均值，而在其他实施例中，图915可以是基于与先验值有关的均值、中值、最大值或一些其他函数。

要素910描绘检测概率大于例如75％的针对小型机动车(cart)的离线先验PoD图。如本文所使用的，“离线”先验PoD图描述存储在PVM先验数据库825中并且意图用在如下实例中的PoD图：如果环境或传感器条件已显著改变、使得不存在足够大数量的样本来生成在线图915，则在线图(例如，要素915)不可用。这样的离线图可以被认为是供PVM子系统820在无在线图915的情况下使用的默认或备用图。在实施例中，与离线图910有关的值与大量运行有关，并且可以进一步基于诸如天气、地点、一天中的时间等的某些环境条件。与在线地图915类似，地图910可以是基于均值、中值、最大值、或者与先验值有关的一些其他函数。

在实施例中，图905最初是基于例如感知数据619、传感器/环境数据840、离线先验PoD图910、一些其他因素和/或它们的一些组合所生成的。然后，基于诸如附加感知数据619和/或附加传感器/环境数据840等的附加数据来更新图905。换句话说，在接收到附加数据时，更新图905。这种更新可以是周期性的(例如，每x个单位时间)，或者动态的(诸如仅当接收到新数据时)。可以朝向诸如离线先验PoD图910或在线先验PoD图915中的值等的先验值来调整未更新的图区域(例如，在所接收到的感知数据619或传感器/环境数据840中不存在附加数据的图区域)。这种移位可以根据预定义的测量单位是递增的、或者动态的(诸如朝向当前值和先验值之间的中点等)。在实施例中，可以通过根据式(1)使用贝叶斯更新迭代地将先验概率与新信息/证据组合来更新PoD。

P(H|D)＝P(D|H)×P(H)/P(D), [1]

其中，H是检测某个对象(例如，行人)的事件，D是数据/新信息，P(D)是发生所观察到的事件(例如，雨、总体照明)的概率(例如，使用全概率法则所计算的)，P(D|H)是考虑到检测事件的数据的似然性，P(H)是先验概率，并且P(H|D)是新检测概率。

转到图10，描绘示例1000遮挡图。如上所述，遮挡图是由PVM子系统820生成的，并且描绘运载工具200的传感器605被运载工具200的附近地区中的对象遮挡或阻挡的区域。运载工具200的附近地区包括不同高度的数个对象，这些对象形成遮挡区，诸如(一个或多于一个)低遮挡区1030、(一个或多于一个)中间遮挡区1035和(一个或多于一个)高遮挡区1040等。如本文所使用的，术语“低”、“中”和“高”用于区分相对于彼此的相对高度。在一个实施例中，低遮挡区1030与约地平面和离地面约1米之间的高度有关。中间遮挡区1035与离地面约1米和2米之间的高度有关。高遮挡区1040与大于约2米的高度有关。然而，将理解，其他实施例具有更多或更少的遮挡区、具有不同高度参数的区等。

在运载工具200的附近地区内的对象包括小行人1005(例如，儿童)，其将产生低遮挡区1030。对象还包括高行人1010(例如，成人)、以及诸如包括中间遮挡区1035的轿车1020等的一个或多于一个运载工具。对象还包括诸如移动卡车、牵引式挂车等的一个或多于一个大型运载工具1015，其包括高遮挡区1040。

将注意，在一些实施例中，遮挡区可以随时间而改变。例如，如在1045处可见，随着从运载工具200起的范围增加，由高行人1010产生的遮挡区从中间遮挡区1035改变为高遮挡区1040。该变化可以是由诸如道路坡度的变化、正被遮挡的传感器的类型或一些其他因素引起的。类似地，可以看出，在1050处，遮挡区从中间遮挡区1035改变为低遮挡区1030。该变化可以是由道路上坡、轿车1020的形状(例如，由轿车1020的舱室引起的遮挡区不同于由轿车1020的发动机盖或后部引起的遮挡区)、正被遮挡的传感器的类型或一些其他因素引起的。

转到图11，描绘与PVM的生成和使用有关的示例处理1100。在一些实施例中，针对处理1100所述的要素中的一个或多于一个是由示例传感器管道800并且更具体为图8的感知系统402和PVM子系统820(例如，完全地和/或部分地等)进行的。附加地或可替代地，在一些实施例中，针对处理1100所述的一个或多于一个要素由与示例传感器管道800分开的另一装置或装置组(诸如图1、图2、图3、图4或图6中的任何图的装置中的一个或多于一个等)(例如，完全地和/或部分地等)进行。

在实施例中，处理1100包括：在1105处，确定诸如上述传感器条件等的至少一个传感器条件。该传感器条件基于与环境的至少一个测量结果相关联的传感器数据606，并且传感器数据606是由传感器605至少之一生成的。在实施例中，要素1105由(一个或多于一个)传感器检测器810、PVM子系统820或其一些组合进行。

处理1100还包括：在1110处，基于环境的至少一个测量结果来确定诸如上述环境条件等的至少一个环境条件。测量结果可以基于例如环境数据802或传感器数据606。与要素1105类似，要素1110可以由(一个或多于一个)传感器检测器810、PVM子系统820或其一些组合进行。

处理1100还包括：在1115处，基于至少一个传感器条件、至少一个环境条件和至少一个运载工具的地点来生成PVM。在实施例中，要素1115由PVM子系统820进行，并且地点数据801基于由定位系统406提供的数据。

处理1100还包括：在1120处，基于PVM来识别将被至少一个运载工具穿过的轨迹。要素1120可以由例如规划系统404或由干预请求系统630进行。在实施例中，轨迹类似于上述的轨迹520。在另一实施例中，如上所述，轨迹与诸如MRM、RVA请求、DMO等的机动动作有关。

转到图12，描绘与PVM的生成和使用有关的替代示例处理1200。在一些实施例中，针对处理1200所述的要素中的一个或多于一个是由示例传感器管道800并且更具体为图8的感知系统402和PVM子系统820(例如，完全地和/或部分地等)进行的。附加地或可替代地，在一些实施例中，针对处理1200所述的一个或多于一个要素由与示例传感器管道800分开的另一装置或装置组(诸如图1、图2、图3、图4或图6中的任何图的装置中的一个或多于一个等)(例如，完全地和/或部分地等)进行。

处理1200包括：在1205处，接收传感器数据。传感器数据例如是从(一个或多于一个)传感器605接收到的传感器数据606。

处理1200还包括：在1210处，从运载工具的感知管道接收感知数据。感知数据例如是从(一个或多于一个)感知管道815接收到的感知数据619。

处理1200还包括：在1215处，基于传感器数据来检测至少一个传感器条件。传感器条件由诸如传感器检测器810等的传感器检测器检测，并且与诸如如上所述的故障、阻塞等的传感器条件有关。

处理1200还包括：在1220处，基于传感器数据来检测至少一个环境条件。环境条件是如上所述的环境条件，并且指示运载工具的操作环境的特性。在一些实施例中，环境条件可以附加地或可替代地基于环境数据802。

处理1200还包括：在1225处，基于运载工具的地点、至少一个传感器条件和至少一个环境条件来生成针对至少一个对象检测的当前PVM。与要素1115类似，定位数据是基于由定位系统406提供的数据。

处理1200还包括：在1230处，至少部分地基于感知数据619和PVM数据618来确定运载工具的轨迹。与要素1230类似，要素1230可以由例如规划系统404或者由干预请求系统630进行。在实施例中，轨迹类似于轨迹520。在另一实施例中，如上所述，轨迹与诸如MRM、RVA请求、DMO等的机动动作有关。

示例情境评估

图13是根据一些实施例的评估管道1300的图。AV在特定时刻的行为要求受到AV正在进行的机动动作和AV的当前环境影响。例如，当AV在无如行人或骑自行车者那样的其他易受伤害的道路使用者的情况下正在进行“跟随公路的车道”驾驶场景时，与当AV正在繁忙的城市环境中进行“停放的小汽车规避”驾驶场景时相比，行为要求相对较少。评估系统620的任务是了解AV在当前环境中正在进行的机动动作，并且验证针对当前驾驶场景是否满足行为要求。

评估管道1300包括规划系统404、评估系统620、仲裁器系统625和干预请求系统630。如图13所示，评估系统620包括机动动作评估子系统1303和异常检测子系统1304。尽管在图13中未明确示出，但在实施例中，规划系统404包括控制系统408或被控制系统408替代。

轨迹数据609由规划系统404(和/或控制系统408)基于感知数据、地图数据和定位数据生成。轨迹数据609被输入到机动动作评估子系统1303中。机动动作评估子系统1303还采用轨迹的附近地区中的各种智能体(例如，其他运载工具)的当前和将来世界状态、地图数据、目标分配和规则手册作为输入，并且输出针对不明确场景的检测结果(例如，不安全指标数据616)和不遵守风险分析(例如，最小感知区数据611)。在一些实施例中，还输出对感知系统402的更新要求。

机动动作评估子系统1303生成最小感知区数据611，该最小感知区数据611被输出到仲裁器系统625。在实施例中，机动动作评估子系统1303确定由轨迹数据609指示的轨迹是否在ODD中以及其是否遵守预定义的行为要求，这些行为要求包括但不限于：检查是否遵守监管、安全和舒适度规则。例如，如果机动动作评估子系统1303可以验证AV所采取的正确动作，则可以避免在如与骑自行车者共享车道那样的具有挑战性的情境期间触发RVA请求或MRM。在另一实施例中，该确定由仲裁器系统625基于由机动动作评估子系统1303输出的最小感知区数据611来进行。

仅使用机动动作检测来评估不太了解的情境(例如，无预定义的行为要求)。例如，当交通信号官员出现在故障交通灯交叉口处时，可以期望RVA请求或MRM。

机动动作评估的一些示例包括但不限于间隙分析和感兴趣区域评估。间隙分析检查运载工具200是否与其他道路使用者维持安全间隙。例如，当运载工具200正在进行车道改变时，间隙分析检查运载工具200是否与运载工具200的前方和后方的即将到来的运载工具维持安全间隙。使用感兴趣区域分析来指定运载工具200进行安全机动动作所需的最小所需传感器感知区(例如，由传感器覆盖的区域)。

将针对不明确场景的检测结果连同规划器/控制器内部状态一起输入到异常检测子系统1304中。异常检测子系统1304输出上下文数据，诸如针对所检测到的异常的不安全指标数据616等。异常检测的示例包括检测不寻常的道路交通场景，诸如交通事故、施工区和打破优先级的其他道路使用者(诸如“乱穿马路的人”或试图闯红灯的运载工具等)等。

如以下所述，异常检测的另一示例是“卡住”检测，其确定运载工具200是否处于(或即将进入)不可解决的不动状态。这些情境可能需要远程干预、以及可用于确定适当干预任务的与运载工具200为何不动有关的上下文。

将上下文数据输入到干预请求系统630中，该干预请求系统630基于上下文数据来为所检测到的异常选择适当干预。干预请求系统630发起至少一个干预，其包括但不限于远程RVA请求、MRM和DMO任务。

图14是根据一些实施例的用于情境评估的处理1400的流程图。处理1400可以由图13所示的评估管道1300实现。

处理1400从以下操作开始：在1401处，接收输入数据。输入数据包括轨迹、地图数据、(一个或多于一个)智能体的当前/预测状态、以及运载工具的目标分配(例如，运载工具的目的地地点)。

处理1400继续以下操作：在1402处，基于输入数据来评估涉及运载工具的驾驶场景。

处理1400继续以下操作：在1403处，确定该场景是否具有已定义的一组行为要求。

根据该场景不具有已定义的一组行为要求，处理1400继续以下操作：通过生成异常事件的上下文数据(1404)，并且在1405处分配干预任务。

根据该场景具有已定义的一组行为要求(1403)，确定轨迹/状态是否遵守已定义的一组行为要求(1406)，并且提供不遵守风险的量化度量(1407)。

具有情境上下文的示例不动检测

如前面所述，当AV面临具有挑战性的行车上路情境时，AV可能变得“卡住”(例如，在很长的持续时间内不动)。在这种情况下，期望了解不动背后的上下文(例如，停止原因)，使得可以请求或进行适当干预。在该实施例中，还期望在确定为AV卡住之前识别依赖于情境的等待时间。作为一个示例，在识别出运载工具“卡住”之前所使用的等待时间针对不同的情境(诸如在红色交通灯处等待、在人行横道处等待行人穿过、等待乱穿马路的人穿过道路、或者在无交通信号的情况下在交叉口处等待(例如，全向停车)等)可以是不同的。对于无交通信号的交叉口，等待时间可以根据交叉口处存在的其他运载工具的数量而不同。类似地，不动的某些原因可能立即被识别为预计无法解决，因此在请求干预之前的等待时间可以非常短。这种情境例如可以是交通事故、道路碎石、施工、或者正在阻挡车道的非法停放的运载工具。

通常，不同干预可用于上述情境中的不同情境。例如，如果道路的一个或多于一个车道被阻挡，则干预机制可以是或者包括变更运载工具的路线。如果仅单个车道被阻挡，则干预机制可以是提供绕过阻挡的轨迹。如果停止原因包括为没有所识别的继续前进意图的小汽车让路，则干预机制可以是移除对AV的停止约束。类似地，如果停止原因包括为没有继续前进的意图的人行道上的行人让路，则干预机构可以包括将行人标记为没有穿过的意图。

在更高级别，实施例包括以下技术。将理解，该技术以及针对依赖于上下文的不动检测所述的其他技术可以由不动检测系统635和/或干预请求系统630进行。在另一实施例中，本文所述的技术可以附加地或可替代地由运载工具200的至少一个其他处理器、系统或子系统、或者远离运载工具200但通信地耦接到运载工具200的系统进行。首先，用元数据以约束对象标识符(例如，智能体和地图构造)的形式构造空间、速度和时间走廊约束。然后，该技术包括检查导致零速率的当前约束。可以基于与这些约束有关的元数据来推断停止的原因。具体地，可以在无需考虑这些约束之外的全部数据量的情况下推断停止的原因。根据上下文，处理然后可以包括应用超时机制作为卡住检测的阈值(例如，运载工具可被认为从不动的瞬间卡住，但仅在超时机制到期之后才识别出不动)。在一个实施例中，阈值取决于针对给定上下文的预期“正常”等待时间。在另一实施例中，阈值附加地或可替代地取决于从保持在当前地点太长时间所预计的风险(例如，由于阻碍交通的风险，运载工具不应在交叉口内停止很长的持续时间)。然后，该技术包括：将卡住实例连同不动的持续时间和原因一起报告给向诸如干预请求系统630等的干预请求子系统。

图15描绘根据各种实施例的与具有情境上下文的不动检测有关的示例框图。不动检测管道1500的示例包括不动检测系统635和干预请求系统630。

不动检测系统635被配置为例如从规划系统404接收轨迹数据609。具体地，不动检测系统635包括约束检查子系统1510，该约束检查子系统1510被配置为接收与轨迹1505有关的数据。轨迹1505可以指示运载工具将停止(例如，变得不动)。

约束检查子系统1510被配置为识别与轨迹1505有关的至少一个约束。例如，约束可以包括空间约束、速度约束或时间走廊约束。在一些实施例中，约束还可以包括与运载工具200停止的(例如，基于约束数据库1515中所存储的时间戳的)第一时间、运载工具200停止的最近时间、运载工具200已停止的持续时间、运载工具200是否已被确定为不动的指示等有关的约束。

更一般地，诸如速率约束等的约束可以由描述相对于路径长度(S)的约束属性(例如，速度(V)、时间(T)或在左/右偏移之间的横向间隔对于AV过窄的情况下可以间接影响停止决定的横向偏移(D))的函数来表示。例如，如果约束是线性函数，则约束可以通过斜率+轴交点+有效范围[Smin,Smax]来描述。

基于所识别的约束，约束检查子系统1510识别可以是如上所述的停止原因的停止原因1520。停止原因1520的数据例如可以包括对象的标识符(例如，标签、边界框)、与地图地点(例如，运载工具的地点)有关的数据、或者一些其他数据。

在实施例中，将停止原因数据613从约束检查子系统1510直接提供到干预请求系统630。例如，如果如上所述、停止原因与预计无法解决的情境有关，则可以发生该提供。在另一实施例中，如果停止原因被识别为与期望立即干预的情境(例如，迫在眉睫的碰撞或一些其他情境)有关，则可以发生该提供。

另外，可以将停止原因1520提供到超时阈值生成器1525。超时阈值生成器1525被配置为基于停止原因1520来确定直到将请求干预为止的超时。具体地，超时阈值生成器1525与超时数据库1530通信地耦接，该超时数据库1530被配置为存储与不同停止原因有关的超时值。在一个实施例中，各种超时值是预定义的，而在另一实施例中，超时数据库1530存储可由超时阈值生成器1525用于基于停止原因(例如，基于全向停车处的小汽车的队列长度、基于运载工具的附近地区中的行人的数量、等等)计算超时值的数据。如本文所使用的，超时阈值是运载工具在发起至少一个补救动作(诸如对RVA、MRM、变更路线等的请求等)之前将等待的时间量。

然后，可以将超时阈值1535供给到不动计时器1540，该不动计时器1540可以跟踪运载工具不动的时间长度。如果不动情境解决，则取消超时序列并且重新开始运载工具的正常动作。然而，如果不动情境没有解决并且不动的时间满足或超过超时阈值，则不动检测系统635将触发信号数据614传输到干预请求系统630。干预请求系统630被配置为基于触发信号数据614来进行包括至少一个干预请求612的生成和传输的干预。

以下示例脚本描述如何通过约束检查子系统1510和/或约束数据库1515分析各种速率约束。将理解，以下脚本仅是示例，并且可以根据不同的编程语言、数据结构、值等而不同。

TrackInfo和MapInfo最低限度地包含唯一标识符(ID)。如果需要，这些ID用于查找进一步的详细属性。例如，可以期望检索与跟踪(对象/智能体)类型分类(行人、运载工具等)、地点、速率等有关的进一步数据。利用唯一标识符、几何和关系属性类似地存储地图对象。如下是可以部分地在MAP_TYPE enum中描述AV停止的原因的一些示例地图类型。

图16是根据各种实施例的与具有情境上下文的不动检测有关的示例处理1600的流程图。具体地，图16描绘可以说明本文的概念的示例。将理解，以下所述的示例仅意图便于论述，并且其他示例包括更多、更少或不同的要素、约束、阈值等。在一些实施例中，针对处理1600所述的要素中的一个或多于一个是由在不动检测管道1500中描绘的系统(例如，完全地和/或部分地等)进行的。附加地或可替代地，在一些实施例中，针对处理1600所述的一个或多于一个要素由与示例OED框架600分开的另一装置或装置组(诸如图1、图2、图3和图4中的任何图的装置中的一个或多于一个等)(例如，完全地和/或部分地等)进行。

处理1600包括：在1605处，确定运载工具200需要停止和/或让路。例如，基于运载工具200通过人行横道的预计时间与附近行人到达人行横道的时间相比，确定运载工具200需要停止并让路于行人。结果，施加速率约束以指示自人行横道之前的2米(m)起的(如沿着AV路径长度测量到的)零速率。该约束是连同指定该约束由特定人行横道和行人引起的元数据、以及各对象的唯一ID一起发布的。针对规划系统404、不动检测系统635或一些其他系统或子系统的数次加时间戳的迭代，重新发布该约束。

处理1600还包括：在1610处，检查各时间戳内(例如，各加时间戳的迭代内)的约束。具体地，尽管可能存在限制速率、空间偏移等的其他活动约束，但将人行横道相关的约束识别为对运载工具200的不动负责的主要约束(在当前位置处活动的零速率约束，可能沿着路径进一步计算的其他较不相关的约束，或者如果在当前位置处活动则由零速率约束占主导，因此类似地具有较小的相关性)。基于指示逻辑约束类型的元数据(其包括与所识别的行人和人行横道有关的数据)，运载工具200并且特别是约束检查子系统1510被配置为知晓当前时间戳不动的停止原因1520。

停止原因1520被输出到超时阈值生成器1525，并且处理1600还包括：在1615处，分配一个或多于一个等待时间阈值。具体地，超时阈值生成器1525针对不同的停止原因或停止原因的类别分配不同的等待时间阈值。例如，用于在人行横道处让路的等待时间阈值可以不同于用于让路给乱穿马路的人或一些其他类型的停止原因的等待时间阈值。等待时间阈值1535被输出到不动计时器1540以进行处理。由于不动计时器1540跟踪在连续时间步长内保持的相同停止原因，因此不动计时器1540将当前累积等待时间与等待时间阈值进行比较。如果累积等待时间超过阈值，则不动检测系统635确定为运载工具“卡住”。例如，可以假定人行横道使用者以比乱穿马路的人更慢的步速穿过道路，因此具有更长的时间阈值。或者作为进一步的改进，如果人行横道是用信号表示的人行横道，则不动检测系统635考虑“行走/绿色”信号的典型持续时间，并且不期望等待比该持续时间长得多的时间。

处理1600还包括：在1620处，生成诸如干预请求612等的干预请求。具体地，在确定为运载工具卡住时，将超时满足触发信号数据614输出到干预请求系统630，该干预请求系统630生成干预请求612。干预请求612可以包括停止原因的上下文(例如，停止原因数据613)，其在这种情况下包括运载工具正在所识别的人行横道处等待所识别的行人的指示。这对于RVA操作员发起操控(override)以供进一步推进可能是有用的。例如，如果所识别的行人在视频馈送上可以被看到、并且显然不打算穿过(与另一静止的人交谈、等待在正交方向上穿过、或者一些其他视觉指示)，则操作员可以选择撤销约束，发送加速命令，或者使用一些其他手段来无论如何都使运载工具通过人行横道。或者类似地，感知系统可能误将附近的标志或邮箱分类为行人，其中可以采用类似的视觉肯定和操控。注意，在不存在人行横道处的行人是不动的原因的上下文的情况下，这些干预手段可能不是显而易见的，并且所选择的干预机制对于其他不移动原因也是不同的(例如，避开静态或缓慢的乱穿马路的人可能需要路径改变)。

参考图17，图17是根据各种实施例的与具有情境上下文的不动检测有关的替代示例处理1700的流程图。具体地，图17描绘与不动计时器1540和/或约束检查子系统1510有关的处理1700，并且处理1700可以由不动计时器1540和/或约束检查子系统1510进行。在一些实施例中，针对处理1700所述的要素中的一个或多于一个是由不动检测管道1500(例如，完全地和/或部分地等)进行的。附加地或可替代地，在一些实施例中，针对处理1700所述的一个或多于一个要素由与不动检测管道1500分开的另一装置或装置组(诸如图1、图2、图3和图4中的任何图的装置中的一个或多于一个)(例如，完全地和/或部分地等)进行。

处理1700包括：在1705处，识别运载工具的状态。这种识别包括：运载工具先前是否被识别为不动、是否存在与现有约束或现有停止原因有关的数据、等等。

处理1700还包括：在1710处，更新现有约束。具体地，如果在1705处识别出现有约束，则在1725处检查与现有约束相关联的(一个或多于一个)停止原因。如果停止原因为真(例如，如果停止原因仍存在)，则在1730处更新与约束或停止原因相关联的“最后一次看见时间”字段。如果停止原因为假(例如，停止原因不再存在)，则在1735处移除停止约束，使得与该特定停止约束或停止原因有关的不动计时器取消。

处理1700还包括：在1715处，识别其余停止约束。例如，该处理包括：在1740处，检查是否存在任何附加停止情境。例如，在该处理中，运载工具可能已知晓需要运载工具不动的一个情境(例如，如上所述的人行横道处的行人)。然而，在1740处，运载工具将识别是否存在将在1745处生成新停车约束的任何附加或新情境(例如，在人行横道处的附加行人或即将进入交叉口的小汽车)。

处理1700还包括：在1720处，识别出运载工具不动或卡住。这种识别在超时阈值1535到期之后发生，并且导致生成触发信号1545并将该触发信号1545传输到干预请求系统630。

参考图18，图18是根据各种实施例的与具有情境上下文的不动检测相关的替代示例处理1800的流程图。在一些实施例中，针对处理1800所述的要素中的一个或多于一个是由不动检测管道1500(例如，完全地和/或部分地等)进行的。附加地或可替代地，在一些实施例中，针对处理1800所述的一个或多于一个要素由与不动检测管道1500分开的另一装置或装置组(诸如图1、图2、图3和图4中的任何图的装置中的一个或多于一个)(例如，完全地和/或部分地等)进行。

处理1800包括：在1805处，针对运载工具在与运载工具变得在很长一段时间内不动相关联的环境中的轨迹确定至少一个当前或将来约束。如所述，约束涉及运载工具的空间、速度或时间约束、或者一些其他约束。约束是已导致或将导致运载工具变得不动的轨迹的约束。

处理1800还包括：在1810处，基于确定针对运载工具在环境中的轨迹的至少一个当前或将来约束来确定运载工具200不动的停止原因。如所述，停止原因是不动的原因。停止原因的示例包括：运载工具200在交通灯处等待、行人/乱穿马路的人穿过人行横道、运载工具在无交通灯的交叉口处等待、涉及或接近运载工具的事故、停放的运载工具、让路于无前进意图的另一运载工具、或者一些其他停止原因。在实施例中，确定停止原因包括：识别运载工具由于至少一个当前或将来约束而变得不动的第一时间和最后时间。在实施例中，停止原因包括与至少一个对象或地图约束相关联的标识符。

处理1800还包括：在1815处，基于停止原因来识别超时阈值。超时阈值是运载工具的系统(例如，干预请求系统630)在发起至少一个补救动作以解决不动之前将等待的时间量。在实施例中，元件1815可选地还包括：基于停止原因确定为停止原因与第一组停止原因和第二组停止原因其中之一相关联。在该实施例中，第一组停止原因是预计将解决不动的停止原因，并且第二组停止原因是预计将无法解决不动的停止原因。然后，基于停止原因是在第一组停止原因中还是在第二组停止原因中来识别超时阈值。超时阈值可以是基于标称交通灯等待时间、标称行人或乱穿马路的人步行速度、AV前方的运载工具的数量、标称等待时间(其在预计将无法解决不动的情况下可以小于或等于1秒)、预定等待时间等。在实施例中，超时阈值取决于与运载工具在很长一段时间内不动相关联的风险，例如阻碍交叉交通的风险。补救动作可以包括：生成运载工具的新路线、生成绕过停止的对象的新轨迹、移除与被识别为无继续前进意图的运载工具或行人有关的约束、向RVA助手报告运载工具不动(以及不动的原因和/或持续时间)等。

例如如以上针对不动计时器1540和触发信号数据614所述，技术1800还包括：在1820处，识别出满足超时阈值。技术1800还包括：在1825处，基于识别出满足超时阈值，发起诸如干预请求612等的针对运载工具的至少一个补救动作。

在先前描述中，已经参考许多具体细节描述了本公开的方面和实施例，这些具体细节可因实现而不同。因此，说明书和附图应被视为说明性的，而非限制性意义的。本发明范围的唯一且排他的指示、以及申请人期望是本发明范围的内容是以发布权利要求书的具体形式从本申请发布的权利要求书的字面和等同范围，包括任何后续修正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用的意义为准。另外，当在先前的说明书或所附权利要求书使用术语“还包括”时，该短语的下文可以是附加的步骤或实体、或先前所述的步骤或实体的子步骤/子实体。

Claims (20)

1.一种用于运载工具的方法，包括：

利用至少一个处理器，基于与环境的至少一个测量结果相关联的传感器数据来确定至少一个传感器条件，其中所述传感器数据是由与位于所述环境中的至少一个运载工具相关联的至少一个传感器生成的；

利用所述至少一个处理器，基于所述环境的所述至少一个测量结果来确定至少一个环境条件；

利用所述至少一个处理器，基于所述至少一个传感器条件、所述至少一个环境条件和所述至少一个运载工具的地点来生成感知可见性模型；以及

利用所述至少一个处理器，基于所述感知可见性模型来识别将被所述至少一个运载工具穿过的轨迹。

2.一种用于运载工具的方法，包括：

利用至少一个处理器，接收与由运载工具上所包括的至少一个传感器测量到的环境的至少一个测量结果相关联的传感器数据；

利用所述至少一个处理器，从所述运载工具的感知管道接收与位于所述环境中的至少一个对象的检测相关联的感知数据；

利用所述至少一个处理器，基于所述环境的所述至少一个测量结果来检测至少一个传感器条件；

利用所述至少一个处理器，基于所述环境的所述至少一个测量结果来检测至少一个环境条件；

利用所述至少一个处理器，基于所述运载工具的地点、所述至少一个传感器条件和所述至少一个环境条件来生成当前感知可见性模型，其中所述当前感知可见性模型表示所述环境中的所述运载工具的附近地区；以及

利用所述至少一个处理器，基于所述环境中的所述至少一个对象和所述当前感知可见性模型来确定所述运载工具的轨迹。

3.根据权利要求2所述的方法，还包括：

利用所述至少一个处理器，基于所述传感器条件和所述环境条件至少之一来确定所述当前感知可见性模型是否将被更新；以及

根据所述当前感知可见性模型未被更新，使用先验感知可见性模型作为所述当前感知可见性模型。

4.根据权利要求3所述的方法，其中，所述先验感知可见性模型是从先验感知可见性模型的数据库离线获得的，或者是基于在指定时间窗期间累积的过去感知可见性模型而在线获得的。

5.根据权利要求3所述的方法，其中，所述先验感知可见性模型指示多个对象检测中的在指定范围处的非遮挡对象的平均感知可见性。

6.根据权利要求2所述的方法，其中，所述感知数据包括语义点云，所述语义点云包括地平面和至少一个对象检测。

7.根据权利要求2所述的方法，其中，所述至少一个传感器条件是所述运载工具的至少一个传感器出现了故障，或者是所述运载工具的至少一个传感器的视场至少部分被遮挡。

8.根据权利要求2所述的方法，其中，所述至少一个环境条件是天气条件，或者是照明条件。

9.根据权利要求2所述的方法，其中，所述感知可见性模型包括针对所述环境中的所述至少一个对象检测的多个地点的感知可见性检测的概率。

10.根据权利要求9所述的方法，其中，所述感知可见性检测的概率是基于预先识别的阈值的。

11.一种用于运载工具的系统，包括：

至少一个处理器；以及

至少一个非暂时性计算机可读介质，其包括指令，在所述至少一个处理器执行所述指令时所述指令使得所述运载工具进行操作，所述操作包括：

基于与环境的至少一个测量结果相关联的传感器数据来确定至少一个传感器条件，其中所述传感器数据是由与位于所述环境中的至少一个运载工具相关联的至少一个传感器生成的；

基于所述环境的所述至少一个测量结果来确定至少一个环境条件；

基于所述至少一个传感器条件、所述至少一个环境条件和所述至少一个运载工具的地点来生成感知可见性模型；以及

基于所述感知可见性模型来识别将被所述至少一个运载工具穿过的轨迹。

12.一种用于运载工具的系统，包括：

至少一个处理器；以及

至少一个非暂时性计算机可读介质，其包括指令，在所述至少一个处理器执行所述指令时所述指令使得所述运载工具进行操作，所述操作包括：

接收与由运载工具上所包括的至少一个传感器测量到的环境的至少一个测量结果相关联的传感器数据；

从所述运载工具的感知管道接收与位于所述环境中的至少一个对象的检测相关联的感知数据；

基于所述环境的所述至少一个测量结果来检测至少一个传感器条件；

基于所述环境的所述至少一个测量结果来检测至少一个环境条件；

基于所述运载工具的地点、所述至少一个传感器条件和所述至少一个环境条件来生成当前感知可见性模型，其中所述当前感知可见性模型表示所述环境中的所述运载工具的附近地区；以及

基于所述环境中的所述至少一个对象和所述当前感知可见性模型来确定所述运载工具的轨迹。

13.根据权利要求12所述的系统，所述操作还包括：

基于所述传感器条件和所述环境条件至少之一来确定所述当前感知可见性模型是否将被更新；以及

根据所述当前感知可见性模型未被更新，使用先验感知可见性模型作为所述当前感知可见性模型。

14.根据权利要求13所述的系统，其中，所述先验感知可见性模型是从先验感知可见性模型的数据库离线获得的，或者是基于在指定时间窗期间累积的过去感知可见性模型而在线获得的。

15.根据权利要求13所述的系统，其中，所述先验感知可见性模型指示多个对象检测中的在指定范围处的非遮挡对象的平均感知可见性。

16.根据权利要求12所述的系统，其中，所述感知数据包括语义点云，所述语义点云包括地平面和至少一个对象检测。

17.根据权利要求12所述的系统，其中，所述至少一个传感器条件是所述运载工具的至少一个传感器出现了故障，或者是所述运载工具的至少一个传感器的视场至少部分被遮挡。

18.根据权利要求12所述的系统，其中，所述至少一个环境条件是天气条件，或者是照明条件。

19.根据权利要求12所述的系统，其中，所述感知可见性模型包括针对所述环境中的所述至少一个对象检测的多个地点的感知可见性检测的概率。

20.根据权利要求19所述的系统，其中，所述感知可见性检测的概率是基于预先识别的阈值的。

Images