CN115808921A - 用于运载工具的方法和系统 - Google Patents

Abstract

本发明提供了用于运载工具的方法和系统。公开了用于利用情境评估的操作包络检测(OED)的实施例。本文的实施例涉及操作包络检测器，该操作包络检测器被配置为接收与系统的传感器相关的信息以及与操作设计域(ODD)要求相关的信息作为输入。然后，OED将与系统的传感器相关的信息和与ODD要求相关的信息进行比较，并识别系统是否正在其ODD内运行，或者补救动作是否合适于基于当前传感器信息来调整ODD要求。描述和/或要求了其它实施例。

Description

用于运载工具的方法和系统

技术领域

本发明涉及用于运载工具的方法和系统。

背景技术

自主运载工具(AV)的操作设计域(operational design domain(ODD)是设计AV运行的特定条件。ODD可以基于各种条件(例如，AV的地点、AV需要行驶的速率等)。可以基于配置AV操作的ODD来限制AV的操作。

发明内容

一种用于运载工具的方法，包括：利用至少一个处理器，基于运载工具的地点以及与至少一个传感器相关联的传感器数据来确定所述运载工具的轨迹；利用所述至少一个处理器，确定所述轨迹是否与至少一个所定义的功能性要求相关联；以及根据确定为所述轨迹与至少一个所定义的功能性要求相关联：利用所述至少一个处理器，基于所述至少一个所定义的功能性要求和所述轨迹的进行来确定所述运载工具的不遵从的第一风险水平；利用所述至少一个处理器，基于所述运载工具的地点和所述轨迹来确定关注区域；利用所述至少一个处理器，基于所述轨迹来生成最小感知区；利用所述至少一个处理器，基于所述最小感知区来评估与所述运载工具对所述轨迹的进行相关联的所述运载工具的不遵从的第二风险水平；利用所述至少一个处理器，基于所述第一风险水平和所述第二风险水平的组合来确定总风险水平；利用所述至少一个处理器，确定所述总风险水平是将使所述运载工具处于安全状态还是不安全状态；根据所述总风险水平使所述运载工具处于安全状态，穿行所述轨迹；以及根据所述总风险水平使所述运载工具处于不安全状态，请求干预以使所述运载工具处于安全状态。

一种用于运载工具的系统，包括：至少一个处理器；以及至少一个包括指令的非暂时性计算机可读介质，在由至少一个处理器执行所述指令时所述指令使运载工具进行操作，所述操作包括：基于运载工具的地点以及与至少一个传感器相关联的传感器数据来确定所述运载工具的轨迹；确定所述轨迹是否与至少一个所定义的功能性要求相关联；以及根据确定为所述轨迹与至少一个所定义的功能性要求相关联：基于所述至少一个所定义的功能性要求和所述轨迹的进行来确定所述运载工具的不遵从的第一风险水平；基于所述运载工具的地点和所述轨迹来确定关注区域；基于所述轨迹来生成最小感知区；基于所述最小感知区来评估与所述运载工具对所述轨迹的进行相关联的所述运载工具的不遵从的第二风险水平；基于所述第一风险水平和所述第二风险水平的组合来确定总风险水平；确定所述总风险水平是将使所述运载工具处于安全状态还是不安全状态；根据所述总风险水平使所述运载工具处于安全状态，穿行所述轨迹；以及根据所述总风险水平使所述运载工具处于不安全状态，请求干预以使所述运载工具处于安全状态。

附图说明

图1是根据各种实施例的可以实现包括自主系统的一个或多个组件的运载工具的示例环境；

图2是根据各种实施例的包括自主系统的运载工具的一个或多个系统的图；

图3是根据各种实施例的图1和图2的一个或多个装置和/或一个或多个系统的组件的图；

图4是根据各种实施例的自主系统的某些组件的图；

图5例示根据各种实施例的运载工具可能遇到的示例场景。

图6例示根据各种实施例的示例操作包络检测(operational envelopedetection(OED))框架。

图7例示根据各种实施例的与利用情境评估的OED相关的示例处理流程。

图8是根据各种实施例的与传感器流水线相关的示例框图。

图9例示根据各种实施例的检出概率(probability of detection(PoD))地图的示例。

图10例示根据各种实施例的遮挡地图的示例。

图11例示根据各种实施例的与感知系统相关的示例处理流程。

图12例示根据各种实施例的与感知系统相关的替代示例处理流程。

图13是根据各种实施例的评估流水线的图示。

图14是根据各种实施例的用于自主运载工具的OED框架的情境评估的处理的流程图。

图15是根据各种实施例的与利用情境上下文的不动(immobility)检测相关的示例框图。

图16是根据各种实施例的与利用情境上下文的不动检测相关的示例处理的流程图。

图17是根据各种实施例的与利用情境上下文的不动检测相关的替代示例处理的流程图。

图18是根据各种实施例的与利用情境上下文的不动检测相关的替代示例处理的流程图。

具体实施方式

在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中，众所周知的构造和装置是以框图形式例示的，以避免不必要地使本公开的方面模糊。

在附图中，为了便于描述，例示了示意要素(诸如表示系统、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其它要素结合。

此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或更多个其它示意要素之间或之中的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中例示，以便不使本公开内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多个信号路径(例如，总线)。

尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素，但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如，在没有背离所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点这两者都是触点，但它们不是相同的触点。

在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，并且可以与“一个或多个”或者“至少一个”互换使用，除非上下文另有明确说明。还将理解的是，如本文所使用的术语“和/或”是指并且包括关联的列出项中的一个或多个的任何和所有可能的组合。还将理解的是，当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时，具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件，但并不排除存在或添加一个或多个其它特征、整数、步骤、操作、要素、组件和/或其群组。

如本文所使用的，术语“通信”和“进行通信”是指信息(或者由例如数据、信号、消息、指令和/或命令等表示的信息)的接收、收到、传输、传送和/或提供等中的至少一者。对于要与另一单元进行通信的一个单元(例如，装置、系统、装置或系统的组件、以及/或者它们的组合等)而言，这意味着该一个单元能够直接地或间接地从另一单元接收信息和/或向该另一单元发送(例如，传输)信息。这可以是指本质上为有线和/或无线的直接或间接连接。另外，即使可以在第一单元和第二单元之间修改、处理、中继和/或路由所传输的信息，两个单元也可以彼此进行通信。例如，即使第一单元被动地接收信息并且不主动地向第二单元传输信息，第一单元也可以与第二单元进行通信。作为另一示例，如果至少一个中介单元(例如，位于第一单元和第二单元之间的第三单元)处理从第一单元接收到的信息、并将处理后的信息传输至第二单元，则第一单元可以与第二单元进行通信。在一些实施例中，消息可以是指包括数据的网络分组(例如，数据分组等)。

如本文所使用的，取决于上下文，术语“如果”可选地被解释为意指“当…时”、“在…时”、“响应于确定为”和/或“响应于检测到”等。类似地，取决于上下文，短语“如果已确定”或“如果检测到[所陈述的条件或事件]”可选地被解释为意指“在确定…时”、“响应于确定为“或”在检测到[所陈述的条件或事件]时”和/或“响应于检测到[所陈述的条件或事件]”等。此外，如本文所使用的，术语“有”、“具有”或“拥有”等旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”意在是意味着“至少部分基于”。

结合阈值来描述本发明的一些实施例。如本文所描述的，满足阈值可以是指：值大于阈值、多于阈值、高于阈值、大于或等于阈值、小于阈值、少于阈值、低于阈值、小于或等于阈值、和/或等于阈值等。

现在将详细参考实施例，其示例在附图中例示出。在以下的详细描述中，阐述了许多具体细节，以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说将明显的是，可以在没有这些具体细节的情况下实施所描述的各种实施例。在其它情况下，尚未详细描述众所周知的方法、过程、组件、电路和网络，以便不会不必要地使实施例的方面模糊。

总体概述

在一些方面和/或实施例中，本文所述的系统、方法和计算机程序产品包括和/或实现具有用于设计自主系统运行的ODD的自主系统。本文的实施例涉及OED框架，该OED框架被配置为接收与自主系统的传感器相关的数据以及与ODD要求相关的数据作为输入。然后，OED将与自主系统的传感器相关的数据以及与ODD要求相关的数据进行比较，并且识别自主系统是否正在其ODD内操作、或者补救动作是否合适于基于当前传感器数据来调整ODD要求。

在另一方面和/或实施例中，本文所述的系统、方法和计算机程序产品包括或涉及自主系统的感知系统，该感知系统用于识别与传感器中的一个或多个传感器相关的可视性相关因素(诸如，会影响传感器的环境条件、所检测到的(例如，由传感器路径内的对象造成的)传感器遮挡、传感器的阻塞等)。感知系统使用这些因素来生成与传感器检测能力相关的感知可视性模型(PVM)。基于PVM，感知系统生成一个或多个地图。一个这样的地图是指示正在遮挡传感器的对象位于何处的遮挡地图。另一这样的地图是与能够在给定地点中检测到存在对象的传感器的可能性相关的PoD地图。在一个实施例中，如果感知系统未接收到与传感器相关的新数据，则以预先识别的时间间隔朝向默认模型迭代PVM模型或其一部分。

在另一方面和/或实施例中，本文所述的系统、方法和计算机程序产品包括和/或实现自主系统的OED框架，并且更具体地包括和/或实现OED框架的使用度量的情境情况评估(situation assessment using metrics(SAM))组件。SAM组件试图理解具有自主系统的运载工具在特定驾驶场景中的给定环境中正在穿行的轨迹，并且验证针对该特定驾驶场景是否满足运载工具的行为要求。在实施例中，SAM组件的处理流水线包括两个子系统：机动动作评估子系统和异常检测子系统。

在另一方面和/或实施例中，机动动作评估子系统接收来自规划器/控制器系统的轨迹、当前和预测的“世界”状态(例如，智能体数据、交通灯状况)、地图数据和目标分配(例如，特定目的地)。机动动作评估子系统输出针对明确定义的情境(例如，存在指定规则的驾驶场景)的遵从(compliance)分析、针对未明确定义的情境(例如，不存在指定规则的驾驶场景)的检测结果以及对感知系统的更新要求。机动动作评估的一些示例包括“间隙(gap)”分析以在进行车道改变机动动作时检查运载工具是否与环境中的其它智能体(例如，其它运载工具)维持安全间隙/距离。另一示例是“关注区域”遵从，其中需要运载工具所需的最小感知区(例如，运载工具的传感器套件所提供的视场)来进行安全机动动作。

在另一方面和/或实施例中，异常检测子系统接收未明确定义的情境检测和规划器/控制器系统内部状态作为输入。异常检测子系统输出与停止原因相关的上下文数据以辅助分配适当的干预(例如，远程运载工具辅助)。异常检测的一些示例包括不寻常的道路交通场景(诸如，交通事故、施工区、打破优先级的其它道路使用者(例如，乱穿马路者、闯红灯)等)。另一示例是运载工具处于或不久将进入不可解决的不动状态的“卡住”检出，这将需要远程干预。

在其它方面和/或实施例中，当运载工具变得“卡住”(例如，在延长的持续时间内不动)时，远程运载工具辅助(remote vehicle assistance(RVA))操作员理解不动的原因是有利的，使得RVA操作员能够进行适当的干预。公开了与用于在与停止相关的各种事件(在下文中也称为停止约束)发生时基于与这些停止约束相关的元数据来监测这些停止约束的程序流程相关的实施例。如果停止约束的持续时间持续超过预定义的阈值，则向RVA操作员提供与该停止约束相关的数据以进行干预。

在实施例中，一种方法，包括：利用至少一个处理器，基于运载工具的地点以及与至少一个传感器相关联的传感器数据来确定所述运载工具的轨迹；利用所述至少一个处理器，确定所述轨迹是否与至少一个所定义的功能性要求相关联；以及根据确定为所述轨迹与至少一个所定义的功能性要求相关联：利用所述至少一个处理器，基于所述至少一个所定义的功能性要求和所述轨迹的进行来确定所述运载工具的不遵从的第一风险水平；利用所述至少一个处理器，基于所述运载工具的地点和所述轨迹来确定关注区域；利用所述至少一个处理器，基于所述轨迹来生成最小感知区；利用所述至少一个处理器，基于所述最小感知区来评估与所述运载工具对所述轨迹的进行相关联的所述运载工具的不遵从的第二风险水平；利用所述至少一个处理器，基于所述第一风险水平和所述第二风险水平的组合来确定总风险水平；利用所述至少一个处理器，确定所述总风险水平是将使所述运载工具处于安全状态还是不安全状态；根据所述总风险水平使所述运载工具处于安全状态，穿行所述轨迹；以及根据所述总风险水平使所述运载工具处于不安全状态，请求干预以使所述运载工具处于安全状态。

在实施例中，所述方法还包括：基于确定为所述轨迹不与至少一个所定义的功能性要求相关联，请求干预以使所述运载工具处于安全状态。

在实施例中，所述第一风险水平基于所述关注区域的感知可视性模型，所述感知可视性模型指示在所述关注区域中所述运载工具的至少一个传感器对所述传感器数据中的对象检出可见的概率，以及其中，评估所述第一风险水平包括：基于在所述关注区域中所述运载工具的至少一个传感器对环境中的对象检出可见的概率来评估所述第一风险水平。

在实施例中，在所述运载工具穿行所述轨迹的情况下，确定所述运载工具不遵从所述至少一个所定义的功能性要求的第一风险水平进一步包括：确定是否满足与所定义的功能性要求相关联的至少一个定量度量。

在实施例中，所述至少一个定量度量与至少一个监管规则、安全规则或乘员舒适度规则相关联。

在实施例中，所述感知可视性模型基于至少一个先验感知可视性模型。

在实施例中，所述概率是基于与所述运载工具的至少一个传感器的操作状态相关联的传感器条件数据来确定的。

在实施例中，所述操作状态指示所述至少一个传感器的视场是否被遮挡。

在实施例中，所述操作状态指示所述至少一个传感器的视场是否发生了故障。

在实施例中，所述概率是基于至少一个环境条件来确定的。

在实施例中，所述至少一个环境条件是天气条件。

在实施例中，所述至少一个环境条件是照明条件。

在实施例中，所述干预是最小风险机动动作。

在实施例中，所述方法还包括：基于请求所述干预来接收与所述运载工具的控制相关联的数据，其中，该数据被配置为使所述运载工具采取一个或多个动作。

在实施例中，所述最小感知区基于所述轨迹。

在实施例中，一种系统，包括：至少一个处理器；以及至少一个非暂时性计算机可读介质，所述非暂时性计算机可读介质包括指令，所述指令在由所述至少一个处理器执行时使得运载工具进行任何前述方法。

在实施例中，至少一种包括指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时使运载工具进行任何前述方法。

上述技术的一些优点包括提供OED框架，该OED框架高效地解决在各种驾驶场景中的环境中的AV操作所涉及的复杂性。在本文的具体示例中，复杂性涉及多个因素(例如，照明、天气条件、在道路中或道路附近的其它对象、道路的特性等)影响自主系统的ODD的不同驾驶场景。OED框架使得能够基于驾驶场景的整体分析来触发最小风险机动动作(minimumrisk maneuver(MRM))或其它机动动作或干预。

另一优点在于本文的实施例提供了在不同条件下对传感器感知能力和性能建模的框架。这种条件包括环境条件(例如，雾、雨、阳光刺眼等)、传感器可视性条件(例如，传感器被诸如泥浆等的异物阻塞)、与遮挡相关的条件(例如，传感器对对象的检测)、或传感器结构条件(例如，传感器的类型或位置)。通过识别该OED框架，自主系统可使用传感器感知能力的模型来确定自主系统在不同场景中的操作能力，使得自主系统可以在这些能力内操作。

另一优点在于本文的实施例提供了在依旧能够使得响应于未明确的情境(例如，异常事件)或长时间不动(例如，“卡住”检出)而直接进行干预分配的情况下、在明确定义的不同驾驶场景下对关于安全、监管和舒适度规则的不遵从风险的定量测量。并发地评价多个情境或场景(例如，在交叉口导航期间的车道改变)。对于当前状态和预测未来状态这两者的遵从检查，概括了内部状态不可知度量。情境评估的适用性与(一个或多个)基础决策算法独立。情境评估可以用于评估多个并发轨迹提案。

另一优点在于本文的实施例提供了用于在向RVA操作员并发输送自主系统的简明的内部状态数据期间输送足够的情境上下文的轻量数据格式。因此，RVA操作员能够在不完全知道运载工具不动的原因的情况下提供适当的干预。例如，借助本文所述的技术的实现，将与自主系统的状态有关的更准确且相关的数据提供给RVA操作员，从而减少RVA操作员分析所提供的数据并实现适当干预所需的时间量。

系统和架构概述

现在参考图1，例示示例环境100，在该示例环境100中，包括自主系统的运载工具以及不包括自主系统的运载工具进行操作。如所例示的，环境100包括运载工具102a-102n、对象104a-104n、路线106a-106n、区域108、运载工具到基础设施(V2I)装置110、网络112、远程AV系统114、队列管理系统116和V2I系统118。运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、远程AV系统114、队列管理系统116和V2I系统118经由有线连接、无线连接、或者有线或无线连接的组合互连(例如，建立用于通信的连接等)。在一些实施例中，对象104a-104n经由有线连接、无线连接、或者有线或无线连接的组合与运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、远程AV系统114、队列管理系统116和V2I系统118中的至少一者互连。

运载工具102a-102n(单独称为运载工具102且统称为运载工具102)包括被配置为运输货物和/或人员的至少一个装置。在一些实施例中，运载工具102被配置为与V2I装置110、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，运载工具102包括小汽车、公共汽车、卡车和/或火车等。在一些实施例中，运载工具102与本文所述的运载工具200(参见图2)相同或类似。在一些实施例中，一组运载工具200中的运载工具200与自主队列管理器相关联。在一些实施例中，如本文所述，运载工具102沿着相应的路线106a-106n(单独称为路线106且统称为路线106)行驶。在一些实施例中，一个或多个运载工具102包括自主系统(例如，与自主系统202相同或类似的自主系统)。

对象104a-104n(单独称为对象104且统称为对象104)例如包括至少一个运载工具、至少一个行人、至少一个骑车者和/或至少一个构造物(例如，建筑物、标志、消防栓等)等。各对象104(例如，位于固定地点处并在一段时间内)是静止的或(例如，具有速度且与至少一个轨迹相关联地)移动。在一些实施例中，对象104与区域108中的相应地点相关联。

路线106a-106n(单独称为路线106且统称为路线106)各自与连接运载工具可以导航所沿着的状态的一系列动作(也称为轨迹)相关联(例如，规定该一系列动作)。各个路线106始于初始状态(例如，与第一时空地点和/或速度等相对应的状态)，并且结束于最终目标状态(例如，与不同于第一时空地点的第二时空地点相对应的状态)或目标区(例如，可接受状态(例如，终止状态)的子空间)。在一些实施例中，第一状态包括一个或多个个体将要搭载运载工具的地点，并且第二状态或区包括搭载运载工具的一个或多个个体将要下车的一个或多个地点。在一些实施例中，路线106包括多个可接受的状态序列(例如，多个时空地点序列)，这多个状态序列与多个轨迹相关联(例如，限定多个轨迹)。在示例中，路线106仅包括高级别动作或不精确的状态地点，诸如指示在车行道交叉口处转换方向的一系列连接道路等。附加地或可替代地，路线106可以包括更精确的动作或状态，诸如例如车道区域内的特定目标车道或精确地点以及这些位置处的目标速率等。在示例中，路线106包括沿着具有到达中间目标的有限前瞻视界的至少一个高级别动作的多个精确状态序列，其中有限视界状态序列的连续迭代的组合累积地与共同形成在最终目标状态或区处终止的高级别路线的多个轨迹相对应。

区域108包括运载工具102可以导航的物理区域(例如，地理区)。在示例中，区域108包括至少一个州(例如，国家、省、国家中所包括的多个州中的单独州等)、州的至少一部分、至少一个城市、城市的至少一部分等。在一些实施例中，区域108包括至少一个已命名干道(本文称为“道路”)，诸如公路、州际公路、公园道路、城市街道等。附加地或可替代地，在一些示例中，区域108包括至少一个未命名道路，诸如行车道、停车场的一段、空地和/或未开发地区的一段、泥路等。在一些实施例中，道路包括至少一个车道(例如，道路的运载工具102可以穿行的部分)。在示例中，道路包括与至少一个车道标记相关联的(例如，基于至少一个车道标记所识别的)至少一个车道。

运载工具到基础设施(V2I)装置110(有时称为运载工具到万物(Vehicle-to-Everything)(V2X)装置)包括被配置为与运载工具102和/或V2I基础设施系统118进行通信的至少一个装置。在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，V2I装置110包括射频识别(RFID)装置、标牌、照相机(例如，二维(2D)和/或三维(3D)照相机)、车道标记、路灯、停车计时器等。在一些实施例中，V2I装置110被配置为直接与运载工具102进行通信。附加地或可替代地，在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114和/或队列管理系统116经由V2I系统118进行通信。在一些实施例中，V2I装置110被配置为与V2I系统118经由网络112进行通信。

网络112包括一个或多个有线和/或无线网络。在示例中，网络112包括蜂窝网络(例如，长期演进(LTE)网络、第三代(3G)网络、第四代(4G)网络、第五代(5G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网(例如，公共交换电话网(PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、云计算网络等、以及/或者这些网络中的一部分或全部的组合等。

远程AV系统114包括被配置为与运载工具102、V2I装置110、网络112、队列管理系统116和/或V2I系统118经由网络112进行通信的至少一个装置。在示例中，远程AV系统114包括服务器、服务器组和/或其它类似装置。在一些实施例中，远程AV系统114与队列管理系统116位于同一位置。在一些实施例中，远程AV系统114参与运载工具的组件(包括自主系统、自主运载工具计算和/或由自主运载工具计算实现的软件等)中的一部分或全部的安装。在一些实施例中，远程AV系统114在运载工具的寿命期间维护(例如，更新和/或更换)这些组件和/或软件。

队列管理系统116包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或V2I基础设施系统118进行通信的至少一个装置。在示例中，队列管理系统116包括服务器、服务器组和/或其它类似装置。在一些实施例中，队列管理系统116与拼车公司(例如，用于控制多个运载工具(例如，包括自主系统的运载工具和/或不包括自主系统的运载工具)的操作等的组织)相关联。

在一些实施例中，V2I系统118包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或队列管理系统116经由网络112进行通信的至少一个装置。在一些示例中，V2I系统118被配置为与V2I装置110经由不同于网络112的连接进行通信。在一些实施例中，V2I系统118包括服务器、服务器组和/或其它类似装置。在一些实施例中，V2I系统118与市政当局或私营机构(例如，用于维护V2I装置110的私营机构等)相关联。

提供图1所例示的要素的数量和布置作为示例。与图1例示的要素相比，可以存在附加的要素、更少的要素、不同的要素和/或不同布置的要素。附加地或可替代地，环境100的至少一个要素可以进行被描述为由图1的至少一个不同要素进行的一个或多个功能。附加地或可替代地，环境100的至少一组要素可以进行被描述为由环境100的至少一个不同组的要素进行的一个或多个功能。

现在参考图2，运载工具200包括自主系统202、动力总成控制系统204、转向控制系统206和制动系统208。在一些实施例中，运载工具200与运载工具102(参见图1)相同或类似。在一些实施例中，运载工具200具有自主能力(例如，实现如下的至少一个功能、特征和/或装置等，该至少一个功能、特征和/或装置使得运载工具200能够在无人类干预的情况下部分地或完全地操作，其包括但不限于完全自主运载工具(例如，放弃依赖人类干预的运载工具)和/或高度自主运载工具(例如，在某些情形下放弃依赖人类干预的运载工具)等)。对于完全自主运载工具和高度自主运载工具的详细描述，可以参考SAE国际标准J3016:道路上机动车自动驾驶系统相关术语的分类和定义(SAE International's standard J3016:Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle AutomatedDriving Systems)，其全部内容通过引用而被包含。在一些实施例中，运载工具200与自主队列管理器和/或拼车公司相关联。

自主系统202包括传感器套件，该传感器套件包括诸如照相机202a、LiDAR传感器202b、雷达(radar)传感器202c和麦克风202d等的一个或多个装置。在一些实施例中，自主系统202可以包括更多或更少的装置和/或不同的装置(例如，超声波传感器、惯性传感器、(以下论述的)全球定位系统(GPS)接收器、以及/或者用于生成与运载工具200已行驶的距离的指示相关联的数据的里程计传感器等)。在一些实施例中，自主系统202使用自主系统202中所包括的一个或多个装置来生成与本文所述的环境100相关联的数据。由自主系统202的一个或多个装置生成的数据可以由本文所述的一个或多个系统使用以观测运载工具200所位于的环境(例如，环境100)。在一些实施例中，自主系统202包括通信装置202e、自主运载工具计算202f和安全控制器202g。

照相机202a包括被配置为与通信装置202e、AV计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。照相机202a包括用以捕获包括物理对象(例如，小汽车、公共汽车、路缘和/或人员等)的图像的至少一个照相机(例如，使用诸如电荷耦合器件(CCD)等的光传感器的数字照相机、热照相机、红外(IR)照相机和/或事件照相机等)。在一些实施例中，照相机202a生成照相机数据作为输出。在一些示例中，照相机202a生成包括与图像相关联的图像数据的照相机数据。在该示例中，图像数据可以指定与图像相对应的至少一个参数(例如，诸如曝光、亮度等的图像特性、以及/或者图像时间戳等)。在这样的示例中，图像可以采用格式(例如，RAW、JPEG和/或PNG等)。在一些实施例中，照相机202a包括配置在(例如，定位在)运载工具上以为了立体影像(立体视觉)的目的而捕获图像的多个独立照相机。在一些示例中，照相机202a包括生成图像数据并将该图像数据传输到AV计算202f和/或队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)的多个照相机。在这样的示例中，AV计算202f基于来自至少两个照相机的图像数据来确定多个照相机中的至少两个照相机的视场中的到一个或多个对象的深度。在一些实施例中，照相机202a被配置为捕获在相对于照相机202a的距离(例如，高达100米和/或高达1千米等)内的对象的图像。因此，照相机202a包括为了感知在相对于照相机202a一个或多个距离处的对象而优化的诸如传感器和镜头等的特征。

在实施例中，照相机202a包括被配置为捕获与一个或多个交通灯、街道标志和/或提供视觉导航数据的其它物理对象相关联的一个或多个图像的至少一个照相机。在一些实施例中，照相机202a生成与一个或多个图像相关联的交通灯数据。在一些示例中，照相机202a生成与包括格式(例如，RAW、JPEG和/或PNG等)的一个或多个图像相关联的TLD数据。在一些实施例中，生成TLD数据的照相机202a与本文所述的包含照相机的其它系统的不同之处在于：照相机202a可以包括具有宽视场(例如，广角镜头、鱼眼镜头、以及/或者具有约120度或更大的视角的镜头等)的一个或多个照相机，以生成与尽可能多的物理对象有关的图像。

激光检测和测距(LiDAR)传感器202b包括被配置为与通信装置202e、AV计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。LiDAR传感器202b包括被配置为从发光器(例如，激光发射器)发射光的系统。由LiDAR传感器202b发射的光包括在可见光谱之外的光(例如，红外光等)。在一些实施例中，在操作期间，由LiDAR传感器202b发射的光遇到物理对象(例如，运载工具)并被反射回到LiDAR传感器202b。在一些实施例中，由LiDAR传感器202b发射的光不会穿透该光遇到的物理对象。LiDAR传感器202b还包括至少一个光检测器，该至少一个光检测器在从发光器发射的光遇到物理对象之后检测到该光。在一些实施例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示LiDAR传感器202b的视场中所包括的对象的图像(例如，点云和/或组合点云等)。在一些示例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在这样的示例中，该图像用于确定LiDAR传感器202b的视场中的物理对象的边界。

无线电检测和测距(雷达)传感器202c包括被配置为与通信装置202e、AV计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。雷达传感器202c包括被配置为发射(脉冲的或连续的)无线电波的系统。由雷达传感器202c发射的无线电波包括预先确定的频谱内的无线电波。在一些实施例中，在操作期间，由雷达传感器202c发射的无线电波遇到物理对象并被反射回到雷达传感器202c。在一些实施例中，由雷达传感器202c发射的无线电波未被一些对象反射。在一些实施例中，与雷达传感器202c相关联的至少一个数据处理系统生成表示雷达传感器202c的视场中所包括的对象的信号。例如，与雷达传感器202c相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在一些示例中，该图像用于确定雷达传感器202c的视场中的物理对象的边界。

麦克风202d包括被配置为与通信装置202e、AV计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。麦克风202d包括捕获音频信号并生成与该音频信号相关联(例如，表示该音频信号)的数据的一个或多个麦克风(例如，阵列麦克风和/或外部麦克风等)。在一些示例中，麦克风202d包括变换器装置和/或类似装置。在一些实施例中，本文所述的一个或多个系统可以接收由麦克风202d生成的数据，并基于与该数据相关联的音频信号来确定对象相对于运载工具200的位置(例如，距离等)。

通信装置202e包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、AV计算202f、安全控制器202g和/或线控(DBW)系统202h进行通信的至少一个装置。例如，通信装置202e可以包括与图3的通信接口314相同或类似的装置。在一些实施例中，通信装置202e包括运载工具到运载工具(V2V)通信装置(例如，用于实现运载工具之间的数据的无线通信的装置)。

AV计算202f包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、安全控制器202g和/或DBW系统202h进行通信的至少一个装置。在一些示例中，AV计算202f包括诸如客户端装置、移动装置(例如，蜂窝电话和/或平板电脑等)和/或服务器(例如，包括一个或多个中央处理单元和/或图形处理单元等的计算装置)等的装置。在一些实施例中，AV计算202f与本文所述的自主运载工具计算400相同或类似。附加地或可替代地，在一些实施例中，AV计算202f被配置为与远程AV系统(例如，与图1的远程AV系统114相同或类似的远程AV系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)、V2I装置(例如，与图1的V2I装置110相同或类似的V2I装置)和/或V2I系统(例如，与图1的V2I系统118相同或类似的V2I系统)进行通信。

安全控制器202g包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、AV计算202f和/或DBW系统202h进行通信的至少一个装置。在一些示例中，安全控制器202g包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多个控制器(电气控制器和/或机电控制器等)。在一些实施例中，安全控制器202g被配置为生成优先于(例如，覆盖)由AV计算202f生成和/或传输的控制信号的控制信号。

DBW系统202h包括被配置为与通信装置202e和/或AV计算202f进行通信的至少一个装置。在一些示例中，DBW系统202h包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多个控制器(例如，电气控制器和/或机电控制器等)。附加地或可替代地，DBW系统202h的一个或多个控制器被配置为生成和/或传输控制信号以操作运载工具200的至少一个不同的装置(例如，转向信号灯、前灯、门锁和/或挡风玻璃雨刮器等)。

动力总成控制系统204包括被配置为与DBW系统202h进行通信的至少一个装置。在一些示例中，动力总成控制系统204包括至少一个控制器和/或致动器等。在一些实施例中，动力总成控制系统204从DBW系统202h接收控制信号，并且动力总成控制系统204使运载工具200开始向前移动、停止向前移动、开始向后移动、停止向后移动、沿某方向加速、沿某方向减速、进行左转和/或进行右转等。在示例中，动力总成控制系统204使提供至运载工具的马达的能量(例如，燃料和/或电力等)增加、保持相同或减少，由此使运载工具200的至少一个轮旋转或不旋转。

转向控制系统206包括被配置为使运载工具200的一个或多个轮旋转的至少一个装置。在一些示例中，转向控制系统206包括至少一个控制器和/或致动器等。在一些实施例中，转向控制系统206使运载工具200的两个前轮和/或两个后轮向左或向右旋转，以使运载工具200左转或右转。

制动系统208包括被配置为使一个或多个制动器致动以使运载工具200减速和/或保持静止的至少一个装置。在一些示例中，制动系统208包括被配置为使与运载工具200的一个或多个轮相关联的一个或多个卡钳在运载工具200的相应转子上闭合的至少一个控制器和/或致动器。附加地或可替代地，在一些示例中，制动系统208包括自动紧急制动(AEB)系统和/或再生制动系统等。

在一些实施例中，运载工具200包括用于测量或推断运载工具200的状态或条件的性质的至少一个平台传感器(未明确例示出)。在一些示例中，运载工具200包括诸如GPS接收器、惯性测量单元(IMU)、轮速率传感器、轮制动压力传感器、轮转矩传感器、引擎转矩传感器和/或转向角传感器等的平台传感器。

现在参考图3，例示装置300的示意图。如所例示的，装置300包括处理器304、存储器306、存储组件308、输入接口310、输出接口312、通信接口314和总线302。在一些实施例中，装置300对应于运载工具102的至少一个装置(例如，运载工具102的系统的至少一个装置)、远程AV系统114、队列管理系统116、运载工具到基础设施系统118、自主系统202、制动系统208、DBW系统202h、转向控制系统206、动力总成控制系统204、以及/或者网络112的一个或多个装置(例如，网络112的系统的一个或多个装置)。在一些实施例中，运载工具102的一个或多个装置(例如，运载工具102的系统的一个或多个装置)、远程AV系统114、队列管理系统116、运载工具到基础设施系统118、自主系统202、制动系统208、DBW系统202h、转向控制系统206、动力总成控制系统204、以及/或者网络112的一个或多个装置(例如，网络112的系统的一个或多个装置)包括至少一个装置300和/或装置300的至少一个组件。如图3所示，装置300包括总线302、处理器304、存储器306、存储组件308、输入接口310、输出接口312和通信接口314。

总线302包括许可装置300的组件之间的通信的组件。在一些实施例中，处理器304以硬件、软件、或者硬件和软件的组合来实现。在一些示例中，处理器304包括处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)和/或加速处理单元(APU)等)、麦克风、数字信号处理器(DSP)、以及/或者可被编程为进行至少一个功能的任意处理组件(例如，现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)等)。存储器306包括随机存取存储器(RAM)、只读存储器(ROM)、以及/或者存储供处理器304使用的数据和/或指令的另一类型的动态和/或静态存储装置(例如，闪速存储器、磁存储器和/或光存储器等)。

存储组件308存储与装置300的操作和使用相关的数据和/或软件。在一些示例中，存储组件308包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘等)、紧凑盘(CD)、数字多功能盘(DVD)、软盘、盒式磁带、磁带、CD-ROM、RAM、PROM、EPROM、FLASH-EPROM、NV-RAM和/或另一类型的计算机可读介质、以及相应的驱动器。

输入接口310包括许可装置300诸如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风和/或照相机等)等接收数据的组件。附加地或可替代地，在一些实施例中，输入接口310包括用于感测数据的传感器(例如，GPS接收器、加速度计、陀螺仪和/或致动器等)。输出接口312包括用于提供来自装置300的输出数据的组件(例如，显示器、扬声器和/或一个或多个发光二极管(LED)等)。

在一些实施例中，通信接口314包括许可装置300与其它装置经由有线连接、无线连接、或者有线连接和无线连接的组合进行通信的类似收发器那样的组件(例如，收发器和/或单独的接收器和发射器等)。在一些示例中，通信接口314许可装置300从另一装置接收数据和/或向另一装置提供数据。在一些示例中，通信接口314包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、

接口和/或蜂窝网络接口等。

在一些实施例中，装置300进行本文所述的一个或多个处理。装置300基于处理器304执行由诸如存储器305和/或存储组件308等的计算机可读介质所存储的软件指令来进行这些处理。计算机可读介质(例如，非暂时性计算机可读介质)在本文被限定为非暂时性存储器装置。非暂时性存储器装置包括位于单个物理存储装置内的存储空间或跨多个物理存储装置分布的存储空间。

在一些实施例中，经由通信接口314从另一计算机可读介质或从另一装置将软件指令读取到存储器306和/或存储组件308中。存储器306和/或存储组件308中所存储的软件指令在执行时，使处理器304进行本文所述的一个或多个处理。附加地或可替代地，代替软件指令或与软件指令组合使用硬连线电路以进行本文所述的一个或多个处理。因此，除非另外明确说明，否则本文所描述的实施例不限于硬件电路和软件的任何特定组合。

存储器306和/或存储组件308包括数据存储部或至少一个数据结构(例如，数据库等)。装置300能够从存储器306或存储组件308中的数据存储部或至少一个数据结构接收数据，将数据存储在该数据存储部或至少一个数据结构中，将数据通信至该数据存储部或至少一个数据结构，或者搜索该数据存储部或至少一个数据结构中所存储的数据。在一些示例中，该数据包括网络数据、输入数据、输出数据或其任何组合。

在一些实施例中，装置300被配置为执行存储在存储器306和/或另一装置(例如，与装置300相同或类似的另一装置)的存储器中的软件指令。如本文所使用的，术语“模块”是指存储器306和/或另一装置的存储器中所存储的至少一个指令，该至少一个指令在由处理器304和/或另一装置(例如，与装置300相同或类似的另一装置)的处理器执行时，使装置300(例如，装置300的至少一个组件)进行本文所述的一个或多个处理。在一些实施例中，模块以软件、固件和/或硬件等来实现。

提供图3所例示的组件的数量和布置作为示例。在一些实施例中，与图3所例示的组件相比，装置300可以包括附加的组件、更少的组件、不同的组件或不同布置的组件。附加地或可替代地，装置300的一组组件(例如，一个或多个组件)可以进行被描述为由装置300的另一组件或另一组组件进行的一个或多个功能。

现在参考图4，例示出自主运载工具计算400(有时称为“AV堆栈”)的示例框图。如所例示的，AV计算400包括感知系统402(有时称为感知模块)、规划系统404(有时称为规划模块)、定位系统406(有时称为定位模块)、控制系统408(有时称为控制模块)和数据库410。在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在运载工具的自动导航系统(例如，运载工具200的AV计算202f)中和/或在该自动导航系统中实现。附加地或可替代地，在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在一个或多个独立系统(例如，与AV计算400相同或类似的一个或多个系统等)中。在一些示例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在位于运载工具中的一个或多个独立系统以及/或者如本文所述的至少一个远程系统中。在一些实施例中，AV计算400中所包括的系统中的任意和/或全部以软件(例如，存储器中所存储的软件指令)、计算机硬件(例如，通过微处理器、微控制器、专用集成电路(ASIC)和/或FPGA等)、或者计算机软件和计算机硬件的组合来实现。还将理解，在一些实施例中，AV计算400被配置为与远程系统(例如，与远程AV系统114相同或类似的自主运载工具系统、与队列管理系统116相同或类似的队列管理系统116、以及/或者与V2I系统118相同或类似的V2I系统等)进行通信。

在一些实施例中，感知系统402接收与环境中的至少一个物理对象相关联的数据(例如，感知系统402检测至少一个物理对象所使用的数据)，并对该至少一个物理对象进行分类。在一些示例中，感知系统402接收由至少一个照相机(例如，照相机202a)捕获到的图像数据，该图像与该至少一个照相机的视场内的一个或多个物理对象相关联(例如，表示该一个或多个物理对象)。在这样的示例中，感知系统402基于物理对象(例如，自行车、运载工具、交通标志和/或行人等)的一个或多个分组来对至少一个物理对象进行分类。在一些实施例中，基于感知系统402对物理对象进行分类，感知系统402将与物理对象的分类相关联的数据传输到规划系统404。

在一些实施例中，规划系统404接收与目的地相关联的数据，并且生成与运载工具(例如，运载工具102)可以朝向目的地行驶所沿着的至少一个路线(例如，路线106)相关联的数据。在一些实施例中，规划系统404定期地或连续地从感知系统402接收数据(例如，上述的与物理对象的分类相关联的数据)，并且规划系统404基于感知系统402所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。在一些实施例中，规划系统404从定位系统406接收与运载工具(例如，运载工具102)的更新位置相关联的数据，并且规划系统404基于定位系统406所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。

在一些实施例中，定位系统406接收与运载工具(例如，运载工具102)在区域中的地点相关联(例如，表示该地点)的数据。在一些示例中，定位系统406接收与至少一个LiDAR传感器(例如，LiDAR传感器202b)所生成的至少一个点云相关联的LiDAR数据。在某些示例中，定位系统406从多个LiDAR传感器接收与至少一个点云相关联的数据，并且定位系统406基于各个点云来生成组合点云。在这些示例中，定位系统406将该至少一个点云或组合点云与数据库410中所存储的区域的二维(2D)和/或三维(3D)地图进行比较。然后，基于定位系统406将至少一个点云或组合点云与地图进行比较，定位系统406确定运载工具在区域中的位置。在一些实施例中，地图包括运载工具的导航之前生成的该区域的组合点云。在一些实施例中，地图包括但不限于车行道几何性质的高精度地图、描述道路网连接性质的地图、描述车行道物理性质(诸如交通速率、交通流量、运载工具和自行车交通车道的数量、车道宽度、车道交通方向或车道标记的类型和地点、或者它们的组合等)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型的其它行驶信号灯等)的空间地点的地图。在一些实施例中，基于感知系统所接收到的数据来实时地生成地图。

在另一示例中，定位系统406接收由GPS接收器所生成的全球导航卫星系统(GNSS)数据。在一些示例中，定位系统406接收与运载工具在区域中的地点相关联的GNSS数据，并且定位系统406确定运载工具在区域中的纬度和经度。在这样的示例中，定位系统406基于运载工具的纬度和经度来确定运载工具在区域中的位置。在一些实施例中，定位系统406生成与运载工具的位置相关联的数据。在一些示例中，基于定位系统406确定运载工具的位置，定位系统406生成与运载工具的位置相关联的数据。在这样的示例中，与运载工具的位置相关联的数据包括与对应于运载工具的位置的一个或多个语义性质相关联的数据。

在一些实施例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408控制运载工具的操作。在一些示例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408通过生成并传输控制信号以使动力总成控制系统(例如，DBW系统202h和/或动力总成控制系统204等)、转向控制系统(例如，转向控制系统206)和/或制动系统(例如，制动系统208)进行操作，来控制运载工具的操作。在示例中，在轨迹包括左转的情况下，控制系统408传输控制信号以使转向控制系统206调整运载工具200的转向角，由此使运载工具200左转。附加地或可替代地，控制系统408生成并传输控制信号以使运载工具200的其它装置(例如，前灯、转向信号灯、门锁和/或挡风玻璃雨刮器等)改变状态。

在一些实施例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型(例如，至少一个多层感知器(MLP)、至少一个卷积神经网络(CNN)、至少一个递归神经网络(RNN)、至少一个自动编码器和/或至少一个变换器等)。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408单独地或与上述系统中的一个或多个结合地实现至少一个机器学习模型。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型作为管道(例如，用于识别位于环境中的一个或多个对象的管道等)的一部分。

数据库410存储传输至感知系统402、规划系统404、定位系统406和/或控制系统408的、从其接收到的、以及/或者由其更新的数据。在一些示例中，数据库410包括用于存储与操作相关的数据和/或软件、并使用AV计算400的至少一个系统的存储组件(例如，与图3的存储组件308相同或类似的存储组件)。在一些实施例中，数据库410存储与至少一个区域的2D和/或3D地图相关联的数据。在一些示例中，数据库410存储与城市的一部分、多个城市的多个部分、多个城市、县、州和/或国家(State)(例如，国家)等的2D和/或3D地图相关联的数据。在这样的示例中，运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)可以沿着一个或多个可驾驶区(例如，单车道道路、多车道道路、高速公路、偏僻道路和/或越野道路等)驾驶，并且使至少一个LiDAR传感器(例如，与LiDAR传感器202b相同或类似的LiDAR传感器)生成与表示该至少一个LiDAR传感器的视场中所包括的对象的图像相关联的数据。

在一些实施例中，数据库410可以跨多个装置来实现。在一些示例中，数据库410包括在运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)、远程AV系统(例如，与远程AV系统114相同或类似的远程AV系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)中和/或V2I系统(例如，与图1的V2I系统118相同或类似的V2I系统)等中。

利用情境评估框架的操作包络检测

如本文所使用的，术语“操作包络”是指AV在其能力内操作的包络。通常，当AV的当前能力(例如，感知、规划、预测、控制、通信等)满足或超过由运载工具在具有所识别的功能性约束(例如，环境条件、道路结构、其它道路使用者的行为等)的给定情境下正在进行或预期进行的机动动作所施加的功能性要求时，AV正在其设计的操作包络内运行。

图5描绘具有自主系统202的运载工具200可能遇到的示例场景500。具体地，图5描绘意图在交叉口处右转的AV 200。描绘了右转，示出AV 200的意图轨迹520。如上所述，术语“轨迹”是指路径，AV 200跟随该路径通过环境作为时间函数。具体地，如本文所使用的，当AV 200进行动作序列时，AV 200将被称为“穿行轨迹”。在另一实施例中，这种动作被称为“进行(以及正在进行)机动动作”。

在该示例场景500中，存在诸如停放的运载工具510和行人515等的多个对象。具体地，停放的运载工具510被描绘为正停放在AV 200意图转向的车道中的路缘沿线。行人515也至少部分地在该车道中。在该实施例中，当AV 200沿着轨迹520通过右转进行机动动作时，停放的运载工具510可能阻挡AV 200的可视性，使得AV 200无法看见行人。因此，在该实施例中，AV 200的操作包络受停放的运载工具510的位置的影响，使得AV 200的能力(例如，AV 200的感知)影响(在这种情况下为约束)AV 200导航到轨迹520的能力。

本文的实施例涉及用于基于对AV 200所位于的环境和/或AV 200所涉及的情境的准确评估来测量AV 200的功能性能力和要求以辅助确保AV 200在其ODD内的操作的自主系统。

参考图6，图6是示例OED框架。在一些实施例中，由一个或多个运载工具102(例如，运载工具102的一个或多个装置)(例如，完全和/或部分地等)进行关于OED框架600所描述的要素中的一个或多个。附加地或可替代地，可以由与运载工具102分离或包括运载工具102的另一装置或一组装置(诸如，图1、2、3和4中的任一图的一个或多个其它装置等)来(例如，完全和/或部分地等)进行关于OED框架600所描述的一个或多个要素。

在一些实施例中，OED框架600包括至少一个传感器605，该至少一个传感器605包括照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d等中的至少一个。传感器605被配置为将传感器数据606输出到感知系统402。传感器数据606例如包括雷达数据、照相机数据、LiDAR数据等。

除了以上参考图4所述的功能之外，感知系统402提供至少一个感知地图607。感知地图607描述了AV的传感器605能够在给定时间准确地感知距AV 200一定距离处的对象的程度(例如，到何种程度)和距离。以下更详细地描述感知系统402。在一些实施例中，感知系统402被称为“环境限制和传感器异常(“ELSA”)”系统402。

OED框架600还包括规划系统404。规划系统404从如关于例如图4所描述的各种系统和子系统接收数据。另外，规划系统404从感知系统402接收感知数据619(例如，对象检测)和/或PVM数据618，规划系统404使用这些数据以生成或更新轨迹数据609以供自主运载工具计算400评估和/或以供运载工具102穿行。轨迹数据609包括轨迹(诸如轨迹520等)的一个或多个参数。在实施例中，如下面详细论述的，P VM数据618由感知系统402生成。

OED框架600还包括评估系统620。在一些实施例中，评估系统620可以作为独立系统包括在AV计算400中，或者包括在感知系统402中。在一些实施例中，评估系统620被称为“SAM”系统620。评估系统620被配置为提供指示关注区域中的所需的最小感知区的(沿着AV正在操作的环境的顶视图或鸟瞰图的)感知多边形(polygon)。如本文所使用的，“感知区”是在传感器605的检测能力内的操作环境的一部分，并且“关注区域”是指在AV附近之内的区域，并且更具体地是AV存在或将基于轨迹数据609而移动到的环境的区域。具体地，评估系统620基于规划系统404所提供的轨迹数据609来识别并输出最小感知区数据611。最小感知区数据611涉及执行轨迹数据609所描述的轨迹所需的最小感知区。

评估系统620无法识别所需的最小感知区可以指示所提出的轨迹没有与功能性要求相关联。在这种情况下，评估系统620将未定义的功能性要求617的指示提供到干预请求系统630。下面更详细地描述评估系统620。

OED框架600还包括仲裁器系统625。仲裁器系统625被配置为接收(一个或多个)感知地图607和最小感知区数据611。在实施例中，仲裁器系统625还被配置为直接从规划系统404接收轨迹数据609。然后，仲裁器系统625将(一个或多个)感知地图607和最小感知区数据611(在一个实施例中，以及轨迹数据609)进行比较，以识别AV是否正在其ODD内操作。具体地，仲裁器系统625被配置为将第一风险水平分配给感知系统402的输出。在一些实施例中，仲裁器系统625被配置为基于传感器数据606来分配不遵从与轨迹相关的功能性要求的第一风险水平。

仲裁器系统625还将不遵从功能性要求的第二风险水平分配给评估系统620的输出(例如，最小感知区数据611)。仲裁器系统625基于所分配的第一风险水平和第二风险水平来计算总风险水平。基于该总风险水平，仲裁器系统625识别AV是否处于安全状态。安全状态的示例是AV能够进行所分配的轨迹/机动动作或者在AV的ODD内导航所分配的轨迹/机动动作的情况。不安全状态的示例是轨迹/机动动作的要求超过AV的功能性能力的情况。如果仲裁器系统625识别为该AV处于不安全状态，则仲裁器系统625将不安全指标数据616输出到干预请求系统630，该干预请求系统630将干预请求生成并发送/传输到例如远程AV系统114以进行RVA干预，或者发送/传输到规划系统404和/或AV控制系统408以进行MRM干预。

OED框架600还包括不动检测系统635。不动检测系统635被配置为基于从规划系统404接收到的轨迹来识别为AV是不动的。如下面所更详细描述的，不动检测系统635还被配置为识别不动的原因，并将触发信号数据614和停止原因数据613输出到干预请求系统630。

OED框架600还包括干预请求系统630。干预请求系统630被配置为生成干预请求612。干预请求612可以基于感知地图607、不安全指标数据616、最小感知区数据611、停止原因数据613、触发信号数据614和未定义功能性要求617的指示中的至少一个。

在一个实施例中，干预请求612例如是向RVA操作员或遥控操作器的对与运载工具的控制相关联的数据的请求。例如，干预请求612可以包括对数据的请求，控制系统408可以根据该请求而行动以使AV采取一个或多个动作。在另一实施例中，干预请求612是MRM，该MRM可以是用于使AV返回到安全状态的预先识别的机动动作(诸如，AV减速、停止、路边停车等)。在另一实施例中，干预请求612可以包括对降级模式操作(degraded mode operation(DMO))任务(诸如，降低速速率操作等)的请求。

在干预请求612基于至少一个感知地图607的实施例中，感知系统610和/或干预请求系统630检测关于传感器运转或紧急情境的错误。在本实施例中，感知系统610可以直接通知干预请求系统630存在这种紧急情境，或者提供至少一个感知地图607，使得干预请求系统630可以生成干预请求612。

在一个实施例中，如下面关于图13进一步详细描述的，干预请求系统630被配置为直接从不动检测系统635接收诸如停止原因数据613和触发信号数据614等的数据。具体地，当不动检测系统635识别为AV“卡住”(例如，不动)时，不动检测系统635将与AV的不动相关的上下文数据(例如，数据613、614)提供到干预请求系统630。

图7描绘根据各种实施例的与利用情境评估的操作包络检测相关的示例处理流程。在一些实施例中，由示例OED框架600(例如，OED框架600中所包括装置或一组装置)(例如，完全和/或部分地等)进行关于处理700所描述的要素中的一个或多个。附加地或可替代地，在一些实施例中，可以由与示例OED框架600分离的另一装置或一组装置(诸如，图1、2、3和4中的任一图的装置中的一个或多个等)来(例如，完全和/或部分地等)进行关于OED框架600所描述的一个或多个要素。

处理700包括在705处基于AV的地点和传感器数据(诸如传感器数据606等)来确定AV的轨迹。例如，在如上所述的规划系统404处或通过规划系统404生成该轨迹。该轨迹包括将由控制系统408实现以使AV采取诸如转弯、加速、维持速率、制动等的动作的至少一个命令。另外，如下面更详细描述的，705可以基于定位数据801。

处理700还包括在710处确定该轨迹是否与至少一个所定义的功能性要求相关联。功能性要求是AV在穿行给定轨迹时必须遵从的规则或约束。这些要求包括但不限于：1)运载工具的基本控制，诸如停止、维持运载工具速率以及转弯等；2)用于感知环境的基本需要，诸如检测交通灯、行人、自行车、其它运载工具和任意其它静止或动态对象；3)用于确定运载工具在地图或车道中的位置(即，定位)的需要；4)运载工具顺利通过交叉口、U形转弯、车道改变、并道、无保护转弯、绕道和任何其它机动动作的能力。在一个实施例中，由评估系统620进行确定，而在其它实施例中，附加地或可替代地，由仲裁器系统625或运载工具的某些其它系统或子系统进行确定。

如果在710处(例如，基于未定义的功能性要求617的指示)确定为轨迹不与至少一个所定义的功能性要求相关联，则处理700直接前进到在715处请求干预以使运载工具置于安全状态。干预请求由如上所述的干预请求系统630进行。这种干预可以包括对RVA、MRM、DMO任务和某些其它干预中的一个或多个请求。在这种情况下，这种干预可能是期望的，因为机动动作不与功能性要求相关联的指示做出如下指示：该机动动作是异常机动动作。异常机动动作可以例如是撞车、紧急机动动作(例如，急转弯或紧急停止)或某种其它类型的机动动作。

然而，如果在710处确定为轨迹与至少一个所定义的功能性要求相关联，则处理700包括在720处确定在运载工具穿行轨迹的情况下运载工具不遵从至少一个所定义的功能性要求的第一风险水平。在实施例中，在720通过感知系统402和仲裁器系统625中的一个或这两者来确定第一风险水平。例如，在一个实施例中，感知系统402识别第一风险水平并将第一风险水平的指示提供到仲裁器系统625。在另一实施例中，第一风险水平由仲裁器系统625基于感知系统402所提供的(一个或多个)感知地图607来确定。

例如，基于机动动作的功能性要求是否超过运载工具的功能性能力、并且更具体地是基于(一个或多个)传感器605来确定不遵从的第一风险水平。具体地，基于PVM来进行确定。在一个实施例中，PVM的生成基于至少一个在先PVM。下面更详细地描述PVM。

在实施例中，第一风险水平的确定基于对是否满足与所定义的功能性要求相关联的至少一个定量度量的确定。这种定量度量可以基于至少一个规则手册，该定量度量是包括但不限于监管规则、安全规则、乘员舒适度规则或某种其它类型的规则的数据结构。

处理700还包括在725处基于(例如，定位系统406所提供的)运载工具的地点和(如规划系统404所提供的)轨迹数据来确定关注区域。这种确定例如由仲裁器系统625和规划系统404中的一个或这两者来进行。

处理700还包括在730处至少部分地基于传感器数据来生成关注区域所需的最小感知区。在实施例中，这种生成由评估系统620来进行。所需的最小感知区可以基于运载工具安全地穿行轨迹所需的最小感知数据量(例如，与环境相关联的最小数据量)。在实施例中，最小感知数据量基于对轨迹的分析(例如，最小感知数据量是动态的)，而在另一实施例中，最小感知数据量是预先识别的(例如，最小感知数据量是静态的)。

处理700还包括在735处基于最小感知区来评估与运载工具穿行轨迹相关联的第二风险水平。在实施例中，该评估由评估系统620和仲裁器系统625中的一个或这两者来进行。例如，在一个实施例中，评估系统620识别风险并将该数据提供到仲裁器系统625。在另一实施例中，评估系统620将最小感知区数据611提供到仲裁器系统625，并且仲裁器系统625识别第二风险水平。与对第一风险水平的评估类似，对第二风险水平的评估基于确定对AV操作的功能性要求是否超过AV或AV的传感器的能力。

处理700还包括在740处基于(如在要素720处所确定的)第一风险水平和(如在要素735处所评估的)第二风险水平的组合来确定总风险水平。这种确定由仲裁器系统625来进行，并且可以基于一个或多个数学函数，诸如风险的相加、风险的均值、风险的平均值、风险的中值或一些其它数学函数等。在另一实施例中，仅基于第一风险水平和第二风险水平中的最高风险水平来识别总风险水平。

处理700还包括在要素745处确定总风险水平是将使运载工具处于安全状态还是不安全状态。这种确定由仲裁器系统625来进行。在一个实施例中，该确定基于总风险水平以及与所识别的机动动作相关的阈值的比较。换句话说，阈值是动态的。在另一实施例中，该确定基于总风险水平与独立于机动动作的预先所识别的阈值的比较。换句话说，阈值是静态的。如果总风险水平满足(或超过)阈值，则仲裁器系统625识别出AV处于或将处于不安全状态，并通过例如将不安全指标数据提供到干预请求系统630而前进到要素715。然而，如果总风险水平低于(或者，等于或低于)阈值，则仲裁器系统625识别出AV处于或将处于安全状态，并在750处穿行轨迹(例如，进行机动动作)。具体地，仲裁器系统625促进了通过AV的另一系统或子系统(诸如控制系统408等)来穿行轨迹。

通常，关注区域的PVM指示感知数据中的对象检出对于关注区域中的AV的至少一个传感器来说是可见的概率。概率可以基于各种因素(诸如，与AV的至少一个传感器的操作状态相关联的传感器条件数据等)中的一个或多个。如本文所使用的，操作状态指示至少一个传感器的视场是否被遮挡(并且，如果是，则操作状态可以指示视场被遮挡到何种程度)，和/或至少一个传感器是否已故障。在另一实施例中，基于诸如天气条件(例如，是正在下雨还是晴天)、照明条件(例如，日光是否可用)或一些其它条件等的至少一个环境条件来确定该概率。

示例感知系统

如前所述，在实施例中，感知系统402提供与AV的传感器(例如，传感器605)能够在给定时间感知对象的程度和距离有关的数据。更具体地，感知系统402负责通过对感知系统402的能力进行建模和监测以检测AV周围关注的对象和环境特征来表征AV的感测能力。该能力被建模为传感器条件(例如，传感器阻塞、传感器脏污、传感器故障等)、环境条件(例如，天气、一天中的时间、传感器遮挡等)和传感器605的能力(例如，视场(FOV)、传感器的安装地点等)的函数。在替代实施例中，感知系统402负责对象检测，并且与感知系统402分离的另一系统负责通过对感知系统402的能力进行建模和监测以检测AV周围关注的对象和环境特征来表征AV的感测能力。

在实施例中，感知系统402生成用于封装AV外部的环境和感知系统402在运行时感知感测能力的PVM。可以基于在线和/或离线数据来生成PVM。在实施例中，一组传感器检测器用于检测和监测传感器条件和环境条件。传感器条件是传感器的包括但不限于如下项的条件：阻塞/遮挡、传感器脏污、传感器故障等。环境条件包括但不限于如下项的条件：天气、一天中的时间、正在遮挡传感器(例如，正在遮挡传感器的FOV)的其它对象等。

参考图8，图8描绘了包括感知系统402的示例传感器流水线800的框图。感知系统402包括被配置为从(一个或多个)传感器605接收传感器数据606并检测/监测传感器条件和/或环境条件的至少一个传感器系统810。具体地，诸如阻塞/遮挡、脏污和故障等的传感器条件或者诸如阳光刺眼等的环境条件可以降低感知系统402检测对象的能力。(一个或多个)传感器系统810被配置为基于传感器数据606来检测这些条件的存在和地点(例如，哪些传感器605正受到影响、以及正在如何或何处出现问题(诸如，太阳或光亮正产生刺眼效应的地点等))。在实施例中，(一个或多个)传感器检测器810被配置为通过例如与传感器数据606相关的数据分析、对与传感器数据606相关的元数据的分析、与(一个或多个)传感器605相关的控制数据、或(一个或多个)传感器605所输出的一些其它数据来识别这些传感器条件或环境条件。然后，(一个或多个)传感器系统810将与传感器/环境数据840相关的数据提供到PVM子系统820，这将在下面进一步详细描述。

在一些实施例中，如上所述，如在图8中可以看到的，传感器/环境数据840被直接提供到干预请求系统630。在实施例中，数据840被连续提供到干预请求系统630，而在另一实施例中，数据840仅在数据的参数达到或超过阈值时被提供到干预请求系统630，该阈值可以是动态的或静态的。在该实施例中，干预请求系统630被配置为作用于从(一个或多个)传感器系统810接收到的数据840，该数据840指示可能需要如上所述的干预的诸如传感器失灵(例如，极端环境条件、传感器故障等)等的情境。

感知系统402还包括至少一个感知流水线815。感知流水线815被配置为接收传感器数据，并进行与对象检测相关的动作。更具体地，感知流水线815被配置为生成作为感知数据619输出的中间感知结果。这种感知数据619包括但不限于承载地面数据和检测对象的数据的LiDAR语义点云。在其它实施例中，感知数据845例如包括与雷达检测相关的数据、与一个或多个照相机相关的数据等。感知数据619由(一个或多个)感知流水线815输出到PVM子系统820和规划系统404。

PVM使用感知数据619来识别环境遮挡以及识别/解释LiDAR数据。PVM还可以使用感知流水线815所输出的感知数据619来构造感知地图607(诸如，与AV附近之内的对象相关的PoD地图)。下面将进一步详细描述这种PoD地图。感知流水线815还被配置为进行类似功能，或生成与雷达数据、照相机数据或者(一个或多个)传感器605所生成的或与(一个或多个)传感器605相关的一些其它类型的数据相关的类似数据。还应理解，尽管图8仅示出单个感知流水线，但在其它实施例中，感知系统402包括多个感知流水线815。在一些实施例中，(一个或多个)传感器605的各个传感器具有其自身的感知流水线，而在其它实施例中，(一个或多个)传感器其中至少之一共享感知流水线。

感知系统402还包括PVM子系统820。PVM子系统820被配置为接收感知数据619和传感器/环境数据840并生成PVM。通常，PVM是指示AV的传感器605的可视区域的模型。如下面将更详细地描述的，PVM用于生成至少一个感知地图607，诸如各个关注对象(例如，运载工具、行人、与运载工具相邻的对象(诸如，邮箱或路灯等)等)的PoD附近地图等。PVM进一步生成感知地图607，诸如对AV周围的环境遮挡和严重性进行建模的遮挡等级地图等。下面更详细地描述和论述PoD附近地图和遮挡地图。

通常，PVM子系统820基于诸如传感器/环境数据840和感知数据619等的数据来生成PVM。在实施例中，PVM还基于诸如定位系统406所提供的定位数据801等的附加数据。定位数据801包括与AV的地点或环境相关的数据，并且可以由PVM子系统820使用以识别在AV附近是否存在影响AV的一个或多个传感器的可视性的一个或多个对象(例如，建筑物、立交桥等)。这种数据可以由例如全球导航卫星系统(例如GPS)来提供。

在实施例中，PVM还基于指示环境条件的环境数据802。这样的环境数据802例如包括与环境子系统850通信耦接的天气服务所生成的天气预报。附加地或可替代地，环境数据802可以包括与AV的传感器(或与该传感器所通信耦接的)相关的数据，该传感器是诸如气压计、湿度传感器或指示AV附近的环境条件的一些其它类型的传感器等。

在实施例中，PVM子系统820被配置为进一步将PVM或其合成地图(诸如PoD附近地图或遮挡地图等)基于PVM先验数据库825中所存储的先验数据806。这种先验数据806可以包括在先PVM、在先PoD附近地图、在先遮挡地图和/或一些其它类型的数据。

由感知系统402将PVM子系统的(一个或多个)合成地图输出到仲裁器系统625，以确定如上所述关于要素720的第一风险水平。在一些实施例中，还可以将地图607中的一个或多个直接输出到干预请求系统630，以基于地图的结果来确定干预。例如，在实施例中，将PVM子系统820基于PVM所生成的地图中的一个或多个地图连续提供到干预请求系统630，而在另一实施例中，仅在(一个或多个)地图的参数达到或超过阈值时将该(一个或多个)地图提供到干预请求系统630，该阈值可以是动态的或静态的。在该实施例中，干预请求系统630被配置为作用于从PVM子系统820接收到的(一个或多个)地图，该地图指示可能需要如上所述的干预的诸如极端遮挡、非常接近AV的对象等的情境。

参考图9，图9描绘PoD地图的示例900。如前所述，感知系统402，并且特别是PVM子系统820，被配置为生成不同对象的至少一个PoD地图(例如，运载工具的一个PoD地图，行人的另一PoD地图等)。另外，如所指出的，PoD地图可以基于从PVM先验数据库825供给的一个或多个在先PoD地图。

示例900描绘运载工具的PoD地图。具体地，运载工具200(例如，AV)位于道路930上，该道路930可以是街道、车道、公路、大道等。为了该示例900的目的，与道路930相邻的环境被进一步标记为“越野”925。运载工具940(例如，另一运载工具)位于运载工具200附近。另外，为了本示例900的目的，太阳920的地点被描绘在运载工具200的前方。

在该实施例中，PoD地图905是与诸如运载工具940等的智能体(例如，运载工具、行人、自行车、摩托车等)相关的PoD地图。具体地，PoD地图905表示距离阈值，在该距离阈值处运载工具200将被诸如(一个或多个)传感器605等的运载工具200的传感器检测到的概率为大约N％(N＝75％)或更大。在一些实施例中，PoD地图905可能受到方位角(即，对象与地平线的角)影响或基于该方位角，而在其它实施例中，方位角不是在PoD地图905的计算中所使用的因素。

如在图9的示例中可以看到的，PoD地图905大致覆盖运载工具200周围的邻近地区。然而，应注意到，PoD地图905具有图9所描绘的三个限制。第一限制是由于运载工具940的存在而引起的，这可以降低运载工具200的传感器检测位于如下位置的运载工具的能力，该位置使得运载工具940在运载工具200和其它运载工具之间。在太阳920处看到另一限制，该限制由于例如刺眼的光或另一与照明相关的环境条件而减小PoD地图905的范围。在运载工具200左侧看到另一限制，在该限制中PoD地图905通常与道路930的边缘一致。这种限制可以例如基于障碍物、建筑物的存在或一些其它限制。应当理解，该示地图仅意在作为仅一个示例，并且调整PoD地图905的特定角度、PoD地图905的大小或形状、影响PoD地图905的因素等在不同实施例中可以不同。另外，虽然在该示例900中用于PoD地图的值被描述为具有75％的示例阈值，但是在其它实施例中可以使用其它值。在一些实施例中，基于传感器的类型、与PoD地图相关联的对象类型、或一些其它因素来选择阈值。在实施例中，可以基于来自感知系统402上游或下游的模块的要求来选择PoD值。

如前所述，在实施例中，PVM子系统820被配置为在识别PVM或PoD地图时使用与先验PVM、先验PoD地图或一些其它数据相关的数据。这样的数据可以存储在PVM先验数据库825中。实施例900描绘先验PoD地图的两个这样的示例。具体地，要素915描绘了具有大于例如75％的检出概率的小汽车的在线先验PoD地图。如本文所使用的，“在线”先验PoD地图描述了与PVM子系统820的先前计算相关的先验PoD地图。这样的地图可以存储在PVM子系统820、PVM先验数据库825或这两者的存储器中。在实施例中，在线先验PoD地图915的值基于来自运载工具200在特定的过去时间窗期间的当前使用(例如，在过去5分钟的使用期间)的值的聚合，或特定数量的样本。在该实施例中，在线先验PoD地图915可以基于这些值的平均值，而在其它实施例中，图915可以基于均值、中值、最大值或与先验值相关的一些其它函数。

要素910描绘具有大于例如75％的检出概率的小型机动车的离线先验PoD地图。如本文所使用的，“离线”先验PoD地图描述了存储在PVM先验数据库825中、并且意图在如下实例中使用的PoD地图：在环境条件或传感器条件已显著改变以使得不存在足够大数量的样本来生成在线地图915的情况下，在线地图(例如，要素915)不可用。这样的离线地图可以被认为是PVM子系统820在不存在在线地图915的情况下所使用的默认地图或备用地图。在实施例中，与离线地图910相关的值与大量航程相关，并且可以进一步基于诸如天气、地点、一天中的时间等的特定环境条件。与在线地图915类似，地图910可以基于均值、中值、最大值或与先验值相关的一些其它函数。

在实施例中，最初基于例如感知数据619、传感器/环境数据840、离线先验PoD地图910、一些其它因素和/或其一些组合来生成地图905。然后，基于诸如附加感知数据619和/或附加传感器/环境数据840等的附加数据来更新地图905。换句话说，当接收到附加数据时，更新地图905。这种更新可以是定期的(例如，每x个时间单位)，或者可以是诸如仅当接收到新数据时等的动态的。可以将未更新的地图区域(例如，在接收到的感知数据619或传感器/环境数据840中不存在附加数据的地图区域)朝向诸如离线先验PoD地图910或在线先验PoD地图915中的值等的先验值来调整。这种偏移可以根据预定义的测量单位递增，或者可以动态地为当前值和先验值之间的中点等。在实施例中，可以，通过使用根据式[1]的贝叶斯更新以迭代地将先验概率与新信息/证据组合来更新PoD。

P(H|D)＝P(D|H)×P(H)/P(D) [1]

其中，H是检测到特定对象(例如，行人)的事件，D是数据/新信息，P(D)是观察到的事件(例如，下雨、全部照明)发生的概率(例如，使用全概率公式计算)，P(D|H)是在给定检测事件下该数据的可能性，P(H)是先验概率，P(H|D)是新检出概率。

转到图10，描绘示例1000遮挡地图。如上所述，该遮挡地图由PVM子系统820生成，并且描绘了运载工具200的传感器605被运载工具200附近的对象遮挡或阻挡的区域。运载工具200附近包括形成遮挡区(诸如，(一个或多个)低遮挡区1030、(一个或多个)中遮挡区1035和(一个或多个)高遮挡区1040等)的高度不同的若干对象。如本文所使用的，术语“低”、“中”和“高”用于区分彼此的相对高度。在一个实施例中，低遮挡区1030涉及在大约地平面和离地面大约1米之间的高度。中遮挡区1035涉及离地面大约1米到2米之间的高度。高遮挡区1040涉及大于大约2米的高度。然而，应当理解，其它实施例具有更多或更少的遮挡区、具有不同高度参数的区等。

运载工具200附近之内的对象包括将生成低遮挡区1030的小型行人1005(例如，儿童)。这些对象还包括高大型行人1010(例如，成人)和一个或多个运载工具(诸如，包括中遮挡区1035的轿车1020等)。这些对象还包括包含高遮挡区1040的一个或多个大型运载工具1015(诸如，移动的卡车、牵引式挂车等)。

应当注意，在一些实施例中，遮挡区可以随时间变化。例如，如在1045处所看到的，随着来自运载工具200的范围增加，高大型行人1010所生成的遮挡区从中遮挡区1035变为高遮挡区1040。这种变化可能是由诸如道路坡度变化、被遮挡的传感器类型或其它因素引起。类似地，在1050，可以看到，遮挡区从中遮挡区1035变为低遮挡区1030。这种变化可能是由道路向上坡度、轿车1020的形状(例如，轿车1020的内舱引起的遮挡区不同于轿车1020的引擎盖或后部引起的遮挡区)、被遮挡的传感器类型或其它因素引起。

转到图11，描绘了与PVM的生成和使用相关的示例处理1100。在一些实施例中，由示例传感器流水线800(并且更具体地是图8的感知系统402和PVM子系统820)(例如，完全和/或部分地等)进行关于处理1100所描述的要素中的一个或多个。附加地或可替代地，在一些实施例中，由与传感器流水线800分离的另一装置或一组装置(诸如，图1、2、3、4和6中的任一图的装置中的一个或多个等)或者传感器流水线800来(例如，完全和/或部分地等)进行关于处理1200所描述的一个或多个要素。

在实施例中，处理1100包括在1105处确定至少一个传感器条件(诸如，上述传感器条件等)。传感器条件基于与环境的至少一个测量结果相关联的传感器数据606，并且传感器数据606由传感器605其中至少之一来生成。在实施例中，要素1105由(一个或多个)传感器检测器810、PVM子系统820或其一些组合来进行。

处理1100还包括在1110处基于环境的至少一个测量结果来确定至少一个环境条件(诸如，上述环境条件等)。测量结果可以基于例如环境数据802或传感器数据606。与要素1105类似，要素1110可以由(一个或多个)传感器检测器810、PVM子系统820或其一些组合来进行。

处理1100还包括在1115处基于该至少一个传感器条件、该至少一个环境条件和至少一个运载工具的地点来生成PVM。在实施例中，要素1115由PVM子系统820来进行，并且定位数据801基于定位系统406所提供的数据。

处理1100还包括在1120处基于PVM来识别将由至少一个运载工具穿行的轨迹。要素1120可以通过例如规划系统404或通过干预请求系统630来进行。在实施例中，轨迹与上述轨迹520类似。在另一实施例中，如上所述，轨迹涉及诸如MRM、RVA请求、DMO等的机动动作。

转到图12，描绘了与PVM的生成和使用相关的替代示例处理1200。在一些实施例中，由示例传感器流水线800(并且更具体地是图8的感知系统402和PVM子系统820)(例如，完全和/或部分地等)进行关于处理1200所描述的要素中的一个或多个。附加地或可替代地，在一些实施例中，由与传感器流水线800分离的另一装置或一组装置(诸如，图1、2、3、4和6中的任一图的装置中的一个或多个等)或者传感器流水线800来(例如，完全和/或部分地等)进行关于处理1200所描述的一个或多个要素。

处理1200包括在1205处接收传感器数据。传感器数据例如是从(一个或多个)传感器605接收到的传感器数据606。

处理1200还包括在1210处从运载工具的感知流水线接收感知数据。感知数据例如是从(一个或多个)感知流水线815接收到的感知数据619。

处理1200还包括在1215处基于传感器数据来检测至少一个传感器条件。传感器条件由诸如传感器检测器810等的传感器检测器来检测，并且涉及诸如如上所述的故障、阻塞等的传感器条件。

处理1200还包括在1220处基于传感器数据来检测至少一个环境条件。环境条件是如上所述的环境条件，并且指示运载工具的操作环境的特征。在一些实施例中，附加地或可替代地，环境条件可以基于环境数据802。

处理1200还包括在1225处基于运载工具的地点、至少一个传感器条件和至少一个环境条件来生成针对至少一个对象检测的当前PVM。与要素1115类似，地点数据基于定位系统406所提供的数据。

处理1200还包括在1230处至少部分地基于感知数据619和PVM数据618来确定运载工具的轨迹。与要素1230类似，要素1230可以通过例如规划系统404或通过干预请求系统630来进行。在实施例中，轨迹与轨迹520类似。在另一实施例中，如上所述，轨迹涉及诸如MRM、RVA请求、DMO等的机动动作。

示例情境评估

图13是根据一些实施例的评估流水线1300的图。AV在特定时刻的行为要求经过AV正在进行的机动动作和AV的当前环境。例如，与当AV正在繁忙的城区环境中进行“停放的小汽车绕行”驾驶场景时相比，当AV在不存在其它脆弱道路使用者(如行人或骑自行车者)的情况下正在进行“公路之后的车道”驾驶场景时，行为要求相对较少。评估系统620具有如下任务：理解AV在当前环境中正在进行的机动动作，并且验证针对当前驾驶场景是否满足行为要求。

评估流水线1300包括规划系统404、评估系统620、仲裁器系统625和干预请求系统630。如图13所示，评估系统620包括机动动作评估子系统1303和异常检测子系统1304。尽管在图13中未明确示出，但是在实施例中，规划系统404包括控制系统408，或被控制系统408代替。

轨迹数据609由规划系统404(和/或控制系统408)基于感知数据、地图数据和定位数据来生成。轨迹数据609被输入到机动动作评估子系统1303中。机动动作评估子系统1303还将轨迹附近的各种智能体(例如，其它运载工具)的当前和未来世界状态、地图数据、目标分配和规则手册作为输入，并输出未明确定义的场景的检测结果(例如，不安全指标数据616)和不遵从风险分析(例如，最小感知区数据611)。在一些实施例中，还输出对感知系统402的更新要求。

机动动作评估子系统1303生成被输出到仲裁器系统625的最小感知区数据611。在实施例中，机动动作评估子系统1303确定轨迹数据609所指示的轨迹是否在ODD中以及其是否遵从预定义的行为要求，该行为要求包括但不限于：检查是否遵守监管、安全和舒适度规则。例如，如果机动动作评估子系统1303能够验证AV所采取的恰当动作，则可以避免在例如与骑车者共享车道的挑战性情境期间触发RVA请求或MRM。在另一实施例中，该确定由仲裁器系统625基于机动动作评估子系统1303所输出的最小感知区数据611来进行。

仅使用机动动作检测来评估不甚了解的情境(例如，没有预定义的行为要求)。例如，当交通信号员出现在故障交通灯交叉口处时，可以期望RVA请求或MRM。

机动动作评估的一些示例包括但不限于间隙分析和关注区域评估。间隙分析检查运载工具200是否与其它道路使用者维持安全间隙。例如，当运载工具200正在进行车道改变时，间隙分析检查运载工具200是否与在运载工具200的前方和后方的即将到来的运载工具维持安全间隙。使用关注区域分析来指定运载工具200进行安全机动动作所需的最小传感器感知区(例如，由传感器覆盖的区域)。

未明确定义的场景的检测结果连同规划器/控制器内部状态一起输入到异常检测子系统1304中。异常检测子系统1304输出上下文数据，诸如用于检测到的异常的不安全指标数据616等。异常检测的示例包括检测不寻常的道路交通场景(诸如，交通事故、施工区和打破优先级的其它道路使用者(诸如，“乱穿马路者”、或试图闯红灯的运载工具等)等)。

异常检测的另一示例是如下所述用于确定运载工具200是否处于(或不久将进入)不可解决的不动状态的“卡住”检测。这些情境可能需要远程干预、以及可以用于确定合适的干预任务的与运载工具200为何不动有关的上下文。

将上下文数据输入到干预请求系统630中，该干预请求系统630基于该上下文数据来为检测到的异常选择合适的干预。干预请求系统630启动至少一个干预，包括但不限于远程RVA请求、MRM和DMO任务。

图14是根据一些实施例的用于情境评估的处理1400的流程图。处理1400可以通过图13所示的评估流水线1300来实现。

处理1400通过在1401处接收输入数据而开始。输入数据包括轨迹、地图数据、(一个或多个)智能体的当前/预测状态以及运载工具的目标分配(例如，运载工具的目的地地点)。

处理1400通过在1402处基于输入数据来评估涉及运载工具的驾驶场景而继续。

处理1400通过在1403处确定场景是否具有所定义的行为要求集而继续。

根据不具有所定义的行为要求集的场景，处理1400通过在1405处生成异常事件的上下文数据(1404)并分配干预任务而继续。

根据具有所定义的行为要求集的场景(1403)，确定轨迹/状态是否遵从所定义的行为要求集(1406)，并提供不遵从风险的量化度量(1407)。

利用情境上下文的示例不动检测

如前所述，当AV面临挑战性路况情境时，AV可能会“卡住”(例如，在延长的持续时间内不动)。在这种情况下，期望理解不动背后的上下文(例如，停止原因)，使得可以请求或进行合适的干预。在该实施例中，还期望在确定为AV卡住之前识别与情境相关的等待时间。作为一个示例，在识别为运载工具“卡住”之前所使用的等待时间对于不同情境可以是不同的，该情境是诸如在红色交通灯处等待、在人行横道处等待行人通过、等待乱穿马路者通过道路、或在没有交通信号灯的交叉口处等待(例如，全向停车(all-way stop))。对于没有交通信号灯的交叉口，等待时间可能根据交叉口处存在的其它运载工具的数量而不同。类似地，不动的某些原因可能会立即被识别为预期不被解决，并且因此在请求干预之前的等待时间可能非常短。这种情况可能是例如交通事故、道路碎石、施工或正在阻挡车道的非法停放的运载工具。

通常，不同干预可以用于上面情境中的不同情境。例如，如果道路中的一个或多个车道被阻挡，则干预机制可以是或者包括对运载工具进行变更路线。如果只有一个车道被阻挡，则干预机制可以提供用于绕行阻塞的轨迹。如果停止原因包括向不具有所识别的前进意图的小汽车避让，则干预机制可以移除对AV的停止约束。类似地，如果停止原因包括向在人行道上的不具有前进意图的行人避让，则干预机制可以包括将该行人标记为不具有穿过的意图。

在较高水平上，实施例包括以下技术。应当理解，该技术以及关于上下文相关的不动检测所述的其它技术可以由不动检测系统635和/或干预请求系统630来进行。在另一实施例中，本文所述的技术可以附加地或可替代地由运载工具200的至少一个其它处理器、系统或子系统或者远离运载工具200但通信耦接到运载工具200的系统来进行。首先，利用约束对象标识符(例如，智能体和地图构造)形式的元数据来构造空间、速度和时间走廊(corridor)约束。然后，该技术包括检查导致零速率的电流约束。可以基于与这些约束相关的元数据来推断停止的原因。具体地，可以在无需考虑这些约束之外的全部数据量的情况下推断停止的原因。然后，根据上下文，该处理可以包括应用超时机制作为用于卡住检测的阈值(例如，运载工具可以被认为从不动的瞬间起卡住，但是仅在超时机制期满之后才识别出该不动)。在一个实施例中，阈值取决于给定上下文的预期“正常”等待时间。在另一实施例中，附加地或可替代地，阈值取决于在当前地点停留过长时间的预期风险(例如，由于遮挡交通的风险，因此运载工具不应在交叉口内停止延长的持续时间)。然后，该技术包括向诸如干预请求系统630等的干预请求子系统报告卡住的实例以及动的持续时间和原因。

图15描绘了根据各种实施例的与利用情境上下文的不动检测相关的示例框图。不动检测流水线1500的示例包括不动检测系统635和干预请求系统630。

不动检测系统635被配置为例如从规划系统404接收轨迹数据609。具体地，不动检测系统635包括约束检查子系统1510，该约束检查子系统1510被配置为接收与轨迹1505相关的数据。轨迹1505可以指示运载工具将要停止(例如，变得不动)。

约束检查子系统1510被配置为识别与轨迹1505相关的至少一个约束。例如，约束可以包括空间约束、速度约束或时间走廊约束。在一些实施例中，约束还可以包括与运载工具200停止的(例如，基于存储在约束数据库1515中的时间戳的)第一时间、运载工具200停止的最近时间、运载工具200已停止的持续时间、运载工具200是否已被确定为不动的指示等相关的约束。

更一般地，诸如速率约束等的约束可以由用于描述关于路径长度(S)的约束属性(例如，速度(V)、时间(T)或者如果左/右偏移之间的横向间隔对于AV来说太窄则可以间接影响停止决定的横向偏移(D))的函数来表示。例如，如果约束是线性函数，则可以通过斜率加上轴交点，加上有效范围[Smin，Smax]来描述。

基于所识别的约束，约束检查子系统1510识别可以是如上所述的停止原因的停止原因1520。停止原因1520数据可以包括例如对象的标识符(例如，标签、边界框)、与地图地点(例如，运载工具的地点)相关的数据或一些其它数据。

在实施例中，直接从约束检查子系统1510向干预请求系统630提供停止原因数据613。例如，如上所述，如果停止原因与预期不会解决的情境有关，则可能发生这种情况。在另一实施例中，如果停止原因被识别为与期望立即干预的情境(例如，即将发生的碰撞或一些其它情境)相关，则可以发生这种提供。

另外，可以将停止原因1520提供到超时阈值生成器1525。超时阈值生成器1525被配置为基于停止原因1520来确定直到要请求干预为止的超时。具体地，超时阈值生成器1525与被配置为存储与不同停止原因相关的超时值的超时数据库1530通信耦接。在一个实施例中，预定义各种超时值，而在另一实施例中，超时数据库1530存储可以由超时阈值生成器1525使用以基于停止原因(例如，基于全向停车处的小汽车的队列长度、基于运载工具附近的行人数量等)来计算超时值的数据。如本文所使用的，超时阈值是运载工具在发起至少一个补救动作(诸如，对RVA的请求、MRM、变更路线等)之前将等待的时间量。

然后，可以将超时阈值1535提供到能够跟踪运载工具不动的时间长度的不动计时器1540。如果不动情境得到解决，则取消超时序列并重新开始运载工具的正常动作。然而，如果不动情境没有得到解决并且不动的时间满足或超过超时阈值，则不动检测系统635将触发信号数据614传输到干预请求系统630。干预请求系统630被配置为基于触发信号数据614进行包括至少一个干预请求612的生成和传输的干预。

下面的示例脚本描述约束检查子系统1510和/或约束数据库1515如何分析各种速率约束。应当理解，下面的脚本仅是示例，并且可以根据不同的编程语言、数据结构、值等而不同。

TrackInfo和MapInfo至少包含唯一标识符(ID)。如果需要则这些ID用于查找进一步的详细属性。例如，可以期望检索与跟踪(对象/智能体)类型分类(行人、运载工具等)、地点、速率等相关的进一步数据。利用唯一标识符、几何和关系属性来类似地存储地图对象。可以部分地描述AV在MAP_TYPE enum中停止的原因的一些示例地图类型如下所示。

图16是根据各种实施例的与利用情境上下文的不动检测相关的示例处理1600的流程图。具体地，图16描绘了可以描述本文的概念所依据的示例。应当理解，以下描述的示例仅意在论述，并且其它示例包括更多、更少或不同的要素、约束、阈值等。在一些实施例中，关于处理1600所描述的一个或多个要素由不动检测流水线1500中所描绘的系统(例如，完全和/或部分地等)进行。附加地或可替代地，在一些实施例中，由与示例OED框架600分离的另一装置或一组装置(诸如，图1、2、3和4中的任一图的一个或多个装置等)或者示例OED框架600来(例如，完全和/或部分地等)进行关于处理1600所描述的一个或多个要素。

处理1600包括：在1605处确定运载工具200停止和/或避让的需要。例如，基于运载工具200与附近行人到达人行横道的时间相比通过人行横道的预计时间来确定运载工具200停止并避让行人的需要。因此，从人行横道前(如沿AV路径长度所测量的)2米(m)起施加速率约束以规定零速率。该约束与指定该约束的元数据一起发布，该约束是由特定的人行横道和行人以及各个对象的唯一ID引起的。针对规划系统404、不动检测系统635或一些其它系统或子系统的若干时间戳迭代，重新发布该约束。

处理1600还包括在1610处检查各个时间戳上的(例如，各个时间戳迭代上的)约束。具体地，虽然可能存在用于限制速率、空间偏移等的其它有效约束，但是将与人行横道相关的约束识别为导致运载工具200的不动的主要约束(在当前位置处有效的零速率约束、可能沿着路径进一步计算的其它较不相关的约束、或者在当前位置处有效的情况下被零速率约束控制并由此类似地较不相关的约束)。基于指示逻辑约束类型的元数据(包括与所识别的行人和人行横道相关的数据)，运载工具200(并且特别是约束检查子系统1510)被配置为知道当前时间戳不动的停止原因1520。

停止原因1520被输出到超时阈值生成器1525，并且处理1600还包括在1615处分配(一个或多个)等待时间阈值。具体地，超时阈值生成器1525针对不同的停止原因或停止原因的类别来分配不同的等待时间阈值。例如，用于在人行横道处避让的等待时间阈值可以与用于向乱穿马路者避让或一些其它分类的停止原因的等待时间阈值不同。等待时间阈值1535被输出到不动计时器1540以进行处理。在不动计时器1540跟踪在序列时间步骤中持续存在的相同停止原因时，将当前所累积的等待时间与等待时间阈值进行比较。如果所累积的等待时间超过阈值，则不动检测系统635确定运载工具“卡住”。例如，可以假定人行横道使用者以比乱穿马路者更慢的速度穿过道路，因此具有更长的时间阈值。或者作为进一步的改进，如果人行横道是有信号的人行横道，则不动检测系统635考虑“前行/绿色”信号的典型持续时间，并且不预期等待比该持续时间长得多的时间。

处理1600还包括在1620处生成诸如干预请求612等的干预请求。具体地，在确定为运载工具卡住时，将满足超时的触发信号数据614输出到用于生成干预请求612的干预请求系统630。干预请求612可以包括停止原因的上下文(例如，停止原因数据613)，在这种情况下，停止原因的上下文包括运载工具正在所识别的人行横道处等待所识别的行人的指示。这对于RVA操作员启动操控(override)以供进一步前进可能是有用的。例如，如果可以在视频馈送上看到所识别的行人，并且显然不意图穿过(与另一静止的人交谈、等待在正交方向上穿过、或者一些其它的视觉指示)，则操作员可以选择解除约束、发送加速命令、或者使用一些其它手段无论如何使运载工具穿过人行横道。或者类似地，感知系统可能已将附近的标志或邮箱错误地分类为行人，这也可以采用类似的视觉肯定和操控。注意，在不存在人行横道处的行人是不动的原因的上下文的情况下，这些干预手段可能不是明显的，并且所选择的干预机制对于其它不动原因可能也是不同的(例如，避开静态或慢速的乱穿马路者可能需要改变路径)。

参考图17，图17是根据各种实施例的与利用情境上下文的不动检测相关的替代示例处理1700的流程图。具体地，图17描绘与不动计时器1540和/或约束检查子系统1510相关的处理1700，并且该处理1700可以由该不动计时器1540和/或约束检查子系统1510来进行。在一些实施例中，关于处理1700所描述的一个或多个要素由不动检测流水线1500(例如，完全和/或部分地等)进行。附加地或可替代地，在一些实施例中，由与不动检测流水线1500分离的另一装置或一组装置(诸如，图1、2、3和4中的任一图的一个或多个装置等)或者不动检测流水线1500来(例如，完全和/或部分地等)进行关于处理1700所描述的一个或多个要素。

处理1700包括在1705处识别运载工具的状态。这种识别包括运载工具先前是否已被识别为不动的、是否存在与现有约束或现有停止原因相关的数据等。

处理1700还包括在1710处更新现有约束。具体地，如果在1705处识别现有约束，则在1725处检查与该现有约束相关联的(一个或多个)停止原因。如果停止原因为真(例如，如果停止原因仍然存在)，则在1730处更新与约束或停止原因相关联的“最后看到的时间”字段。如果停止原因为假(例如，停止原因不再存在)，则在1735处移除停止约束，使得与该特定停止约束或停止原因相关的不动计时器被取消。

处理1700还包括在1715处识别剩余的停止约束。例如，该处理包括在1740处检查是否存在任何附加的停止情境。例如，在该处理中，运载工具可能已经知道需要运载工具不动的一个情境(例如，如上所述的在人行横道处的行人)。然而，在1740处，运载工具将识别是否存在将在1745处生成新的停止约束的任何附加的或新的情境(例如，在人行横道处的附加的行人或即将进入交叉口的小汽车)。

处理1700还包括在1720处识别运载工具是不动的或卡住的。这种识别发生在超时阈值1535期满之后，并且导致生成触发信号数据614并将其传输到干预请求系统630。

参考图18，图18是根据各种实施例的与利用情境上下文的不动检测相关的替代示例处理1800的流程图。在一些实施例中，通过不动检测流水线1500来(例如，完全和/或部分地等)进行关于处理1800所描述的一个或多个要素。附加地或可替代地，在一些实施例中，由与不动检测流水线1500分离的另一装置或一组装置(诸如，图1、2、3和4中的任一图的一个或多个装置等)或者不动检测流水线1500来(例如，完全和/或部分地等)进行关于处理1800所描述的一个或多个要素。

处理1800包括在1805处确定与在延长的时间段内变得不动的运载工具相关联的环境中的运载工具的轨迹的至少一个当前或未来约束。如所指出的，约束涉及运载工具的空间、速度或时间约束，或者一些其它约束。约束是已导致或将导致运载工具变得不动的轨迹的约束。

处理1800还包括在1810处基于确定环境中的运载工具的轨迹的至少一个当前或未来约束来确定运载工具200的不动的停止原因。如所指出的，停止原因是动的原因。停止原因的示例包括：在交通灯处等待的运载工具200、穿过人行横道的行人/乱穿马路者、在没有交通灯的交叉口处等待的运载工具、涉及该运载工具或最接近该运载工具的事故、停放的运载工具、向不具有前进意图的另一运载工具避让、或一些其它停止原因。在实施例中，确定停止原因包括识别运载工具由于至少一个当前或未来约束而变得不动的第一时间和最后时间。在实施例中，停止原因包括与至少一个对象或地图约束相关联的标识符。

处理1800还包括在1815处基于停止原因来识别超时阈值。超时阈值是运载工具的系统(例如，干预请求系统630)在启动至少一个补救动作以解决不动之前将等待的时间量。在实施例中，要素1815可选地还包括基于停止原因来确定为停止原因与第一组停止原因和第二组停止原因其中之一相关联。在该实施例中，第一组停止原因是预期解决动的停止原因，并且第二组停止原因是预期不解决动的停止原因。然后，基于停止原因是在第一组停止原因中还是在第二组停止原因中来识别超时阈值。超时阈值可以基于名义交通灯等待时间、名义行人或乱穿马路者步行速率、AV前方的运载工具数量、名义等待时间(在不预期解决不动的情境下可以小于或等于1秒)、预定等待时间等。在实施例中，超时阈值取决于与在延长的时间段内不动的运载工具相关联的风险(例如，遮挡交叉路口的风险)。补救动作可以包括生成运载工具的新路线、生成绕行停止的对象的新轨迹、移除与被识别为不具有前进意图的运载工具或行人相关的约束、向RVA助理报告运载工具是不动的(以及动的原因和/或持续时间)等。

技术1800还包括在1820处识别出满足超时阈值，例如，如上面关于不动计时器1540和触发信号数据614所述。技术1800还包括在1825处基于满足超时阈值的识别而发起用于运载工具的至少一个补救动作(诸如干预请求612等)。

在先前描述中，已经参考许多具体细节描述了本公开的方面和实施例，这些具体细节可因实现而不同。因此，说明书和附图应被视为说明性的，而非限制性意义的。本发明范围的唯一且排他的指示、以及申请人期望是本发明范围的内容是以发布权利要求书的具体形式从本申请发布的权利要求书的字面和等同范围，包括任何后续修正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用的意义为准。另外，当在先前的说明书或所附权利要求书使用术语“还包括”时，该短语的下文可以是附加的步骤或实体、或先前所述的步骤或实体的子步骤/子实体。

Claims (20)

1.一种用于运载工具的方法，包括：

利用至少一个处理器，基于所述运载工具的地点以及与至少一个传感器相关联的传感器数据来确定所述运载工具的轨迹；

利用所述至少一个处理器，确定所述轨迹是否与至少一个所定义的功能性要求相关联；以及

根据确定为所述轨迹与至少一个所定义的功能性要求相关联：

利用所述至少一个处理器，基于所述至少一个所定义的功能性要求和所述轨迹的进行来确定所述运载工具的不遵从的第一风险水平；

利用所述至少一个处理器，基于所述运载工具的地点和所述轨迹来确定关注区域；

利用所述至少一个处理器，基于所述轨迹来生成最小感知区；

利用所述至少一个处理器，基于所述最小感知区来评估与所述运载工具对所述轨迹的进行相关联的所述运载工具的不遵从的第二风险水平；

利用所述至少一个处理器，基于所述第一风险水平和所述第二风险水平的组合来确定总风险水平；

利用所述至少一个处理器，确定所述总风险水平是将使所述运载工具处于安全状态还是不安全状态；

根据所述总风险水平使所述运载工具处于安全状态，穿行所述轨迹；以及

根据所述总风险水平使所述运载工具处于不安全状态，请求干预以使所述运载工具处于安全状态。

2.根据权利要求1所述的方法，还包括：

基于确定为所述轨迹不与至少一个所定义的功能性要求相关联，请求干预以使所述运载工具处于安全状态。

3.根据权利要求1所述的方法，其中，所述第一风险水平基于所述关注区域的感知可视性模型，所述感知可视性模型指示在所述关注区域中所述运载工具的至少一个传感器对所述传感器数据中的对象检出可见的概率，以及

其中，评估所述第一风险水平包括：

基于在所述关注区域中所述运载工具的至少一个传感器对环境中的对象检出可见的概率来评估所述第一风险水平。

4.根据权利要求3所述的方法，其中，在所述运载工具穿行所述轨迹的情况下，确定所述运载工具不遵从所述至少一个所定义的功能性要求的第一风险水平进一步包括：

确定是否满足与所定义的功能性要求相关联的至少一个定量度量。

5.根据权利要求4所述的方法，其中，所述至少一个定量度量与至少一个监管规则、安全规则或乘员舒适度规则相关联。

6.根据权利要求3所述的方法，其中，所述感知可视性模型基于至少一个先验感知可视性模型。

7.根据权利要求3所述的方法，其中，所述概率是基于与所述运载工具的至少一个传感器的操作状态相关联的传感器条件数据来确定的。

8.根据权利要求7所述的方法，其中，所述操作状态指示所述至少一个传感器的视场是否被遮挡。

9.根据权利要求7所述的方法，其中，所述操作状态指示所述至少一个传感器是否发生了故障。

10.根据权利要求3所述的方法，其中，所述概率是基于至少一个环境条件来确定的。

11.根据权利要求10所述的方法，其中，所述至少一个环境条件是天气条件。

12.根据权利要求10所述的方法，其中，所述至少一个环境条件是照明条件。

13.根据权利要求1所述的方法，其中，所述干预是最小风险机动动作。

14.根据权利要求1所述的方法，还包括：

基于请求所述干预来接收与所述运载工具的控制相关联的数据，其中，该数据被配置为使所述运载工具采取一个或多个动作。

15.根据权利要求1所述的方法，其中，所述最小感知区基于所述轨迹。

16.一种用于运载工具的系统，包括：

至少一个处理器；以及

至少一个包括指令的非暂时性计算机可读介质，在由至少一个处理器执行所述指令时所述指令使所述运载工具进行操作，所述操作包括：

基于运载工具的地点以及与至少一个传感器相关联的传感器数据来确定所述运载工具的轨迹；

确定所述轨迹是否与至少一个所定义的功能性要求相关联；以及

根据确定为所述轨迹与至少一个所定义的功能性要求相关联：

基于所述至少一个所定义的功能性要求和所述轨迹的进行来确定所述运载工具的不遵从的第一风险水平；

基于所述运载工具的地点和所述轨迹来确定关注区域；

基于所述轨迹来生成最小感知区；

基于所述最小感知区来评估与所述运载工具对所述轨迹的进行相关联的所述运载工具的不遵从的第二风险水平；

基于所述第一风险水平和所述第二风险水平的组合来确定总风险水平；

确定所述总风险水平是将使所述运载工具处于安全状态还是不安全状态；

根据所述总风险水平使所述运载工具处于安全状态，穿行所述轨迹；以及

根据所述总风险水平使所述运载工具处于不安全状态，请求干预以使所述运载工具处于安全状态。

17.根据权利要求16所述的系统，还包括：

基于确定为所述轨迹不与至少一个所定义的功能性要求相关联，请求干预以使所述运载工具处于安全状态。

18.根据权利要求16所述的系统，其中，所述第一风险水平基于所述关注区域的感知可视性模型，所述感知可视性模型指示在所述关注区域中所述运载工具的至少一个传感器对所述传感器数据中的对象检出可见的概率，以及

其中，评估所述第一风险水平包括：

基于在所述关注区域中所述运载工具的至少一个传感器对环境中的对象检出可见的概率来评估所述第一风险水平。

19.根据权利要求18所述的系统，其中，在所述运载工具穿行所述轨迹的情况下，确定所述运载工具不遵从所述至少一个所定义的功能性要求的第一风险水平进一步包括：

确定是否满足与所定义的功能性要求相关联的至少一个定量度量。

20.根据权利要求19所述的系统，其中，所述至少一个定量度量与至少一个监管规则、安全规则或乘员舒适度规则相关联。

Images