CN116128053A - 用于自主运载工具的方法和系统以及计算机可读介质 - Google Patents

Abstract

本发明提供用于自主运载工具的方法和系统以及计算机可读介质。提供了用于提供基于升级的响应的方法，其可以包括：获得传感器数据；以及确定该数据是否满足一个或多个准则中的至少一个准则。所描述的一些方法还包括：确定违反参数和/或指示原则违反的升级的响应。还提供了系统和计算机程序产品。

Description

用于自主运载工具的方法和系统以及计算机可读介质

技术领域

本发明通常涉及用于基于升级(escalation)的响应的方法和系统。

背景技术

运载工具可能包括供乘员在行驶时遵循的原则(policy)，从安全相关原则(例如，不篡改传感器)到操作原则(例如，在运载工具中禁止食物或饮料)。在非自主运载工具中，驾驶员负责执行这些原则，但在自主运载工具中，没人检测乘员何时违背了任何给定原则。

发明内容

一种用于自主运载工具的方法，所述方法包括：使用至少一个处理器，获得与所述自主运载工具相关联的传感器数据；使用所述至少一个处理器，确定所述传感器数据是否满足一个或多个准则中的至少一个准则；以及响应于确定为所述传感器数据满足所述一个或多个准则中的所述至少一个准则：使用所述至少一个处理器，基于所述传感器数据来确定指示所述自主运载工具的原则违反的违反参数，以及使用所述至少一个处理器，基于所述违反参数来提供指示原则违反的升级的响应。

一种存储有指令的非暂时性计算机可读介质，所述指令在被至少一个处理器执行时使得所述至少一个处理器执行操作，所述操作包括：使用至少一个处理器，获得与自主运载工具相关联的传感器数据；使用所述至少一个处理器，确定所述传感器数据是否满足一个或多个准则中的至少一个准则；以及响应于确定为所述传感器数据满足所述一个或多个准则中的所述至少一个准则：使用所述至少一个处理器，基于所述传感器数据来确定指示所述自主运载工具的原则违反的违反参数，以及使用所述至少一个处理器，基于所述违反参数来提供指示原则违反的升级的响应。

一种用于自主运载工具的系统，包括：至少一个处理器；以及存储有指令的至少一个存储器，所述指令在被所述至少一个处理器执行时使得所述至少一个处理器进行以下操作：获得与所述自主运载工具相关联的传感器数据；确定所述传感器数据是否满足一个或多个准则中的至少一个准则；以及响应于确定为所述传感器数据满足所述一个或多个准则中的所述至少一个准则：基于所述传感器数据来确定指示所述自主运载工具的原则违反的违反参数，以及基于所述违反参数来提供指示原则违反的升级的响应。

附图说明

图1是可以实现包括自主系统的一个或多个组件的运载工具的示例环境；

图2是包括自主系统的运载工具的一个或多个系统的图；

图3是图1和图2的一个或多个装置和/或一个或多个系统的组件的图；

图4是自主系统的某些组件的图；

图5是用于提供基于升级的响应的处理的示例实现的图；

图6A至6C是用于提供基于升级的响应的处理的示例实现的图；

图7是用于提供基于升级的响应的示例处理的流程图；以及

图8是用于提供基于升级的响应的示例处理的信号处理图。

具体实施方式

在以下描述中，为了解释的目的，阐述了许多具体细节，以提供对本发明的透彻理解。然而，本发明所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中，众所周知的构造和装置是以框图形式示出的，以避免不必要地使本发明的方面模糊。

在附图中，为了便于描述，示出了示意要素(诸如表示系统、装置、模块、指令块和/或数据要素等的那些要素等)的具体排列或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或排列并不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其它要素结合。

此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或更多个其它示意要素之间的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中示出，以不使本发明内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多个信号路径(例如，总线)。

尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素，但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如，在没有背离所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点这两者都是触点，但它们不是相同的触点。

在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，并且可以与“一个或多个”或者“至少一个”互换使用，除非上下文另有明确说明。还将理解的是，如本文所使用的术语“和/或”是指并且包括关联的列出项中的一个或多个的任何和所有可能的组合。还将理解的是，当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时，具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件，但并不排除存在或添加一个或多个其它特征、整数、步骤、操作、要素、组件和/或其群组。

如本文所使用的，术语“通信”和“进行通信”是指信息(或者由例如数据、信号、消息、指令和/或命令等表示的信息)的接收、收到、传输、传送和/或提供等中的至少一者。对于要与另一单元进行通信的一个单元(例如，装置、系统、装置或系统的组件、以及/或者它们的组合等)而言，这意味着该一个单元能够直接地或间接地从另一单元接收信息和/或向该另一单元发送(例如，传输)信息。这可以是指本质上为有线和/或无线的直接或间接连接。另外，即使可以在第一单元和第二单元之间修改、处理、中继和/或路由所传输的信息，两个单元也可以彼此进行通信。例如，即使第一单元被动地接收信息并且不主动地向第二单元传输信息，第一单元也可以与第二单元进行通信。作为另一示例，如果至少一个中介单元(例如，位于第一单元和第二单元之间的第三单元)处理从第一单元接收到的信息、并将处理后的信息传输至第二单元，则第一单元可以与第二单元进行通信。在一些实施例中，消息可以是指包括数据的网络分组(例如，数据分组等)。

如本文所使用的，取决于上下文，术语“如果”可选地被解释为意指“当..时”、“在…时”、“响应于确定为”和/或“响应于检测到”等。类似地，取决于上下文，短语“如果已确定”或“如果检测到[所陈述的条件或事件]”可选地被解释为意指“在确定…时”、“响应于确定为“或”在检测到[所陈述的条件或事件]时”和/或“响应于检测到[所陈述的条件或事件]”等。此外，如本文所使用的，术语“有”、“具有”或“拥有”等旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”意在是意味着“至少部分基于”。

“至少一个”和“一个或多个”包括由一个要素进行功能、由多于一个的要素例如以分布式方式进行功能、由一个要素进行数个功能、由数个要素进行数个功能、或者以上的任何组合。

本文中结合阈值来说明本发明的一些实施例。如本文所述，满足阈值可以指值大于阈值、多于阈值、高于阈值、大于或等于阈值、小于阈值、少于阈值、低于阈值、小于或等于阈值、以及/或者等于阈值等。

现在将详细参考实施例，其示例在附图中例示出。在以下的详细描述中，阐述了许多具体细节，以提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说将明显的是，可以在没有这些具体细节的情况下实施所描述的各种实施例。在其它情况下，尚未详细描述众所周知的方法、过程、组件、电路和网络，以不会不必要地使实施例的方面模糊。

总体概述

在一些方面和/或实施例中，本文所述的系统、方法和计算机程序产品包括和/或实现例如自主运载工具的基于升级的响应。具体地，本文描述了用于获得与自主运载工具相关联的传感器数据并确定对传感器数据的响应(诸如响应的一个或多个升级等)的系统、方法和计算机程序产品。

借助于本文所述的系统、方法和计算机程序产品的实现，公开了用于提供对原则违反的差异响应的技术。这些技术可以使得自主运载工具能够自动确定正确的动作方案，从而可以有效地对问题进行归类。这些技术可以实现不完全依赖于人类监测和干预的可扩展解决方案。借助于本文所述的某些技术的实现，自主运载工具(AV)可以从改进了的操作、改进了的完整性维护和改进了的安全性中受益。这些技术可以实现针对原则违反的优化响应。借助于本文所述的某些技术的实现，自主运载工具(AV)可以从处理原则违反的改进了的速度中受益。

现在参考图1，例示示例环境100，在该示例环境100中，包括自主系统的运载工具以及不包括自主系统的运载工具进行操作。如图所示，环境100包括运载工具102a-102n、对象104a-104n、路线106a-106n、区域108、运载工具到基础设施(V2I)装置110、网络112、远程自主运载工具(AV)系统114、队列管理系统116和V2I系统118。运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)系统114、队列管理系统116和V2I系统118经由有线连接、无线连接、或者有线或无线连接的组合互连(例如，建立用于通信的连接等)。在一些实施例中，对象104a-104n经由有线连接、无线连接、或者有线或无线连接的组合与运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)系统114、队列管理系统116和V2I系统118中的至少一者互连。

运载工具102a-102n(单独称为运载工具102且统称为运载工具102)包括被配置为运输货物和/或人员的至少一个装置。在一些实施例中，运载工具102被配置为与V2I装置110、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，运载工具102包括小汽车、公共汽车、卡车和/或火车等。在一些实施例中，运载工具102与本文所述的运载工具200(参见图2)相同或类似。在一些实施例中，一组运载工具200中的运载工具200与自主队列管理器相关联。在一些实施例中，如本文所述，运载工具102沿着相应的路线106a-106n(单独称为路线106且统称为路线106)行驶。在一些实施例中，一个或多个运载工具102包括自主系统(例如，与自主系统202相同或类似的自主系统)。

对象104a-104n(单独称为对象104且统称为对象104)例如包括至少一个运载工具、至少一个行人、至少一个骑车者和/或至少一个构造物(例如，建筑物、标志、消防栓等)等。各对象104(例如，位于固定地点处并在一段时间内)是静止的或(例如，具有速度且与至少一个轨迹相关联地)移动。在一些实施例中，对象104与区域108中的相应地点相关联。

路线106a-106n(单独称为路线106且统称为路线106)各自与连接AV可以导航所沿着的状态的一系列动作(也称为轨迹)相关联(例如，规定该一系列动作)。各路线106始于初始状态(例如，与第一时空地点和/或速度等相对应的状态)，并且结束于最终目标状态(例如，与不同于第一时空地点的第二时空地点相对应的状态)或目标区(例如，可接受状态(例如，终止状态)的子空间)。

在一些实施例中，第一状态包括一个或多个个体将要搭载AV的地点，并且第二状态或区包括搭载AV的一个或多个个体将要下车的一个或多个地点。

在一些实施例中，路线106包括多个可接受的状态序列(例如，多个时空地点序列)，这多个状态序列与多个轨迹相关联(例如，限定多个轨迹)。在示例中，路线106仅包括高级别动作或不精确的状态地点，诸如指示在车行道交叉口处转换方向的一系列连接道路等。附加地或可替代地，路线106可以包括更精确的动作或状态，诸如例如车道区域内的特定目标车道或精确地点以及这些位置处的目标速率等。在示例中，路线106包括沿着具有到达中间目标的有限前瞻视界的至少一个高级别动作的多个精确状态序列，其中有限视界状态序列的连续迭代的组合累积地与共同形成在最终目标状态或区处终止的高级别路线的多个轨迹相对应。

区域108包括运载工具102可以导航的物理区域(例如，地理区)。在示例中，区域108包括至少一个州(例如，国家、省、国家中所包括的多个州中的单独州等)、州的至少一部分、至少一个城市、城市的至少一部分等。在一些实施例中，区域108包括至少一个已命名干道(本文称为“道路”)，诸如公路、州际公路、公园道路、城市街道等。附加地或可替代地，在一些示例中，区域108包括至少一个未命名道路，诸如行车道、停车场的一段、空地和/或未开发地区的一段、泥路等。在一些实施例中，道路包括至少一个车道(例如，道路的运载工具102可以穿过的部分)。在示例中，道路包括与至少一个车道标记相关联的(例如，基于至少一个车道标记所识别的)至少一个车道。

运载工具到基础设施(V2I)装置110(有时称为车辆到基础设施(Vehicle-to-Infrastructure)或运载工具到万物(Vehicle-to-Everything)(V2X)装置)包括被配置为与运载工具102和/或V2I基础设施系统118进行通信的至少一个装置。在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，V2I装置110包括射频识别(RFID)装置、标牌、照相机(例如，二维(2D)和/或三维(3D)照相机)、车道标记、路灯、停车计时器等。在一些实施例中，V2I装置110被配置为直接与运载工具102进行通信。附加地或可替代地，在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114和/或队列管理系统116经由V2I系统118进行通信。在一些实施例中，V2I装置110被配置为与V2I系统118经由网络112进行通信。

网络112包括一个或多个有线和/或无线网络。在示例中，网络112包括蜂窝网络(例如，长期演进(LTE)网络、第三代(3G)网络、第四代(4G)网络、第五代(5G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网(例如，公共交换电话网(PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、云计算网络等、以及/或者这些网络中的一部分或全部的组合等。

远程AV系统114包括被配置为与运载工具102、V2I装置110、网络112、队列管理系统116和/或V2I系统118经由网络112进行通信的至少一个装置。在示例中，远程AV系统114包括服务器、服务器组和/或其它类似装置。在一些实施例中，远程AV系统114与队列管理系统116位于同一位置。在一些实施例中，远程AV系统114参与运载工具的组件(包括自主系统、自主运载工具计算和/或由自主运载工具计算实现的软件等)中的部分或全部的安装。在一些实施例中，远程AV系统114在运载工具的寿命期间维护(例如，更新和/或更换)这些组件和/或软件。

队列管理系统116包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或V2I基础设施系统118进行通信的至少一个装置。在示例中，队列管理系统116包括服务器、服务器组和/或其它类似装置。在一些实施例中，队列管理系统116与拼车公司(例如，用于控制多个运载工具(例如，包括自主系统的运载工具和/或不包括自主系统的运载工具)的操作等的组织)相关联。

在一些实施例中，V2I系统118包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或队列管理系统116经由网络112进行通信的至少一个装置。在一些示例中，V2I系统118被配置为与V2I装置110经由不同于网络112的连接进行通信。在一些实施例中，V2I系统118包括服务器、服务器组和/或其它类似装置。在一些实施例中，V2I系统118与市政当局或私营机构(例如，用于维护V2I装置110的私营机构等)相关联。

提供图1所示的要素的数量和排列作为示例。与图1所示的要素相比，可以存在附加的要素、更少的要素、不同的要素和/或不同排列的要素。附加地或可替代地，环境100的至少一个要素可以进行被描述为由图1的至少一个不同要素进行的一个或多个功能。附加地或可替代地，环境100的至少一组要素可以进行被描述为由环境100的至少一个不同组的要素进行的一个或多个功能。

现在参考图2，运载工具200包括自主系统202、动力总成控制系统204、转向控制系统206和制动系统208。在一些实施例中，运载工具200与运载工具102(参见图1)相同或类似。在一些实施例中，运载工具200具有自主能力(例如，实现如下的至少一个功能、特征和/或装置等，该至少一个功能、特征和/或装置使得运载工具200能够在无人类干预的情况下部分地或完全地操作，其包括但不限于完全自主运载工具(例如，放弃依赖人类干预的运载工具)和/或高度自主运载工具(例如，在某些情形下放弃依赖人类干预的运载工具)等)。对于完全自主运载工具和高度自主运载工具的详细描述，可以参考SAE国际标准J3016:道路上机动车自动驾驶系统相关术语的分类和定义(SAE International's standard J3016:Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle AutomatedDriving Systems)，其全部内容通过引用而被包含。在一些实施例中，运载工具200与自主队列管理器和/或拼车公司相关联。

自主系统202包括传感器套件，该传感器套件包括诸如照相机202a、LiDAR传感器202b、雷达(radar)传感器202c和麦克风202d等的一个或多个装置。在一些实施例中，自主系统202可以包括更多或更少的装置和/或不同的装置(例如，超声波传感器、惯性传感器、(以下论述的)GPS接收器、以及/或者用于生成与运载工具200已行驶的距离的指示相关联的数据的里程计传感器等)。在一些实施例中，自主系统202使用自主系统202中所包括的一个或多个装置来生成与本文所述的环境100相关联的数据。由自主系统202的一个或多个装置生成的数据可以由本文所述的一个或多个系统使用以观测运载工具200所位于的环境(例如，环境100)。在一些实施例中，自主系统202包括通信装置202e、自主运载工具计算202f和安全控制器202g。

照相机202a包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。照相机202a包括用以捕获包括物理对象(例如，小汽车、公共汽车、路缘和/或人员等)的图像的至少一个照相机(例如，使用诸如电荷耦合器件(CCD)等的光传感器的数字照相机、热照相机、红外(IR)照相机和/或事件照相机等)。在一些实施例中，照相机202a生成照相机数据作为输出。在一些示例中，照相机202a生成包括与图像相关联的图像数据的照相机数据。在该示例中，图像数据可以指定与图像相对应的至少一个参数(例如，诸如曝光、亮度等的图像特性、以及/或者图像时间戳等)。在这样的示例中，图像可以采用格式(例如，RAW、JPEG和/或PNG等)。在一些实施例中，照相机202a包括配置在(例如，定位在)运载工具上以为了立体影像(立体视觉)的目的而捕获图像的多个独立照相机。在一些示例中，照相机202a包括生成图像数据并将该图像数据传输到自主运载工具计算202f和/或队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)的多个照相机。在这样的示例中，自主运载工具计算202f基于来自至少两个照相机的图像数据来确定多个照相机中的至少两个照相机的视场中的到一个或多个对象的深度。在一些实施例中，照相机202a被配置为捕获在相对于照相机202a的距离(例如，高达100米和/或高达1千米等)内的对象的图像。因此，照相机202a包括为了感知在相对于照相机202a一个或多个距离处的对象而优化的诸如传感器和镜头等的特征。

在实施例中，照相机202a包括被配置为捕获与一个或多个交通灯、街道标志和/或提供视觉导航信息的其它物理对象相关联的一个或多个图像的至少一个照相机。在一些实施例中，照相机202a生成与一个或多个图像相关联的交通灯数据。在一些示例中，照相机202a生成与包括格式(例如，RAW、JPEG和/或PNG等)的一个或多个图像相关联的TLD数据。在一些实施例中，生成TLD数据的照相机202a与本文所述的包含照相机的其它系统的不同之处在于：照相机202a可以包括具有宽视场(例如，广角镜头、鱼眼镜头、以及/或者具有约120度或更大的视角的镜头等)的一个或多个照相机，以生成与尽可能多的物理对象有关的图像。

激光检测和测距(LiDAR)传感器202b包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。LiDAR传感器202b包括被配置为从发光器(例如，激光发射器)发射光的系统。由LiDAR传感器202b发射的光包括在可见光谱之外的光(例如，红外光等)。在一些实施例中，在操作期间，由LiDAR传感器202b发射的光遇到物理对象(例如，运载工具)并被反射回到LiDAR传感器202b。在一些实施例中，由LiDAR传感器202b发射的光不会穿透该光遇到的物理对象。LiDAR传感器202b还包括至少一个光检测器，该至少一个光检测器在从发光器发射的光遇到物理对象之后检测到该光。在一些实施例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示LiDAR传感器202b的视场中所包括的对象的图像(例如，点云和/或组合点云等)。在一些示例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在这样的示例中，该图像用于确定LiDAR传感器202b的视场中的物理对象的边界。

无线电检测和测距(雷达)传感器202c包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。雷达传感器202c包括被配置为发射(脉冲的或连续的)无线电波的系统。由雷达传感器202c发射的无线电波包括预定频谱内的无线电波。在一些实施例中，在操作期间，由雷达传感器202c发射的无线电波遇到物理对象并被反射回到雷达传感器202c。在一些实施例中，由雷达传感器202c发射的无线电波未被一些对象反射。在一些实施例中，与雷达传感器202c相关联的至少一个数据处理系统生成表示雷达传感器202c的视场中所包括的对象的信号。例如，与雷达传感器202c相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在一些示例中，该图像用于确定雷达传感器202c的视场中的物理对象的边界。

麦克风202d包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。麦克风202d包括捕获音频信号并生成与该音频信号相关联(例如，表示该音频信号)的数据的一个或多个麦克风(例如，阵列麦克风和/或外部麦克风等)。在一些示例中，麦克风202d包括变换器装置和/或类似装置。在一些实施例中，本文所述的一个或多个系统可以接收由麦克风202d生成的数据，并基于与该数据相关联的音频信号来确定对象相对于运载工具200的位置(例如，距离等)。

通信装置202e包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、自主运载工具计算202f、安全控制器202g和/或线控(DBW)系统202h进行通信的至少一个装置。例如，通信装置202e可以包括与图3的通信接口314相同或类似的装置。在一些实施例中，通信装置202e包括运载工具到运载工具(V2V)通信装置(例如，用于实现运载工具之间的数据的无线通信的装置)。

自主运载工具计算202f包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、安全控制器202g和/或DBW系统202h进行通信的至少一个装置。在一些示例中，自主运载工具计算202f包括诸如客户端装置、移动装置(例如，蜂窝电话和/或平板电脑等)和/或服务器(例如，包括一个或多个中央处理单元和/或图形处理单元等的计算装置)等的装置。在一些实施例中，自主运载工具计算202f与本文所述的自主运载工具计算400相同或类似。附加地或可替代地，在一些实施例中，自主运载工具计算202f被配置为与自主运载工具系统(例如，与图1的远程AV系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)、V2I装置(例如，与图1的V2I装置110相同或类似的V2I装置)和/或V2I系统(例如，与图1的V2I系统118相同或类似的V2I系统)进行通信。

安全控制器202g包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、自主运载工具计算202f和/或DBW系统202h进行通信的至少一个装置。在一些示例中，安全控制器202g包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多个控制器(电气控制器和/或机电控制器等)。在一些实施例中，安全控制器202g被配置为生成优先于(例如，覆写)由自主运载工具计算202f生成和/或传输的控制信号的控制信号。

DBW系统202h包括被配置为与通信装置202e和/或自主运载工具计算202f进行通信的至少一个装置。在一些示例中，DBW系统202h包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多个控制器(例如，电气控制器和/或机电控制器等)。附加地或可替代地，DBW系统202h的一个或多个控制器被配置为生成和/或传输控制信号以操作运载工具200的至少一个不同的装置(例如，转向信号灯、前灯、门锁和/或挡风玻璃雨刮器等)。

动力总成控制系统204包括被配置为与DBW系统202h进行通信的至少一个装置。在一些示例中，动力总成控制系统204包括至少一个控制器和/或致动器等。在一些实施例中，动力总成控制系统204从DBW系统202h接收控制信号，并且动力总成控制系统204使运载工具200开始向前移动、停止向前移动、开始向后移动、停止向后移动、沿某方向加速、沿某方向减速、进行左转和/或进行右转等。在示例中，动力总成控制系统204使提供至运载工具的马达的能量(例如，燃料和/或电力等)增加、保持相同或减少，由此使运载工具200的至少一个轮旋转或不旋转。

转向控制系统206包括被配置为使运载工具200的一个或多个轮旋转的至少一个装置。在一些示例中，转向控制系统206包括至少一个控制器和/或致动器等。在一些实施例中，转向控制系统206使运载工具200的两个前轮和/或两个后轮向左或向右旋转，以使运载工具200左转或右转。

制动系统208包括被配置为使一个或多个制动器致动以使运载工具200减速和/或保持静止的至少一个装置。在一些示例中，制动系统208包括被配置为使与运载工具200的一个或多个轮相关联的一个或多个卡钳在运载工具200的相应转子上闭合的至少一个控制器和/或致动器。附加地或可替代地，在一些示例中，制动系统208包括自动紧急制动(AEB)系统和/或再生制动系统等。

在一些实施例中，运载工具200包括用于测量或推断运载工具200的状态或条件的性质的至少一个平台传感器(未明确示出)。在一些示例中，运载工具200包括诸如全球定位系统(GPS)接收器、惯性测量单元(IMU)、轮速率传感器、轮制动压力传感器、轮转矩传感器、引擎转矩传感器和/或转向角传感器等的平台传感器。

现在参考图3，例示装置300的示意图。如图所示，装置300包括处理器304、存储器306、存储组件308、输入接口310、输出接口312、通信接口314和总线302。在一些实施例中，装置300对应于：运载工具102的至少一个装置(例如，运载工具102的系统的至少一个装置)；远程AV系统114、队列管理系统116和V2I系统118的至少一个装置；以及/或者网络112的一个或多个装置(例如，网络112的系统的一个或多个装置)。在一些实施例中，运载工具102的一个或多个装置(例如，运载工具102的系统的一个或多个装置，诸如远程AV系统114、队列管理系统116和V2I系统118的至少一个装置等)、以及/或者网络112的一个或多个装置(例如，网络112的系统的一个或多个装置)包括至少一个装置300和/或装置300的至少一个组件。如图3所示，装置300包括总线302、处理器304、存储器306、存储组件308、输入接口310、输出接口312和通信接口314。

总线302包括许可装置300的组件之间的通信的组件。在一些实施例中，处理器304以硬件、软件、或者硬件和软件的组合来实现。在一些示例中，处理器304包括处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)和/或加速处理单元(APU)等)、麦克风、数字信号处理器(DSP)、以及/或者可被编程为进行至少一个功能的任意处理组件(例如，现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)等)。存储器306包括随机存取存储器(RAM)、只读存储器(ROM)、以及/或者存储供处理器304使用的数据和/或指令的另一类型的动态和/或静态存储装置(例如，闪速存储器、磁存储器和/或光存储器等)。

存储组件308存储与装置300的操作和使用相关的数据和/或软件。在一些示例中，存储组件308包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘等)、紧凑盘(CD)、数字多功能盘(DVD)、软盘、盒式磁带、磁带、CD-ROM、RAM、PROM、EPROM、FLASH-EPROM、NV-RAM和/或另一类型的计算机可读介质、以及相应的驱动器。

输入接口310包括许可装置300诸如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风和/或照相机等)等接收信息的组件。附加地或可替代地，在一些实施例中，输入接口310包括用于感测信息的传感器(例如，全球定位系统(GPS)接收器、加速度计、陀螺仪和/或致动器等)。输出接口312包括用于提供来自装置300的输出信息的组件(例如，显示器、扬声器和/或一个或多个发光二极管(LED)等)。

在一些实施例中，通信接口314包括许可装置300与其它装置经由有线连接、无线连接、或者有线连接和无线连接的组合进行通信的类似收发器那样的组件(例如，收发器和/或单独的接收器和发射器等)。在一些示例中，通信接口314许可装置300从另一装置接收信息和/或向另一装置提供信息。在一些示例中，通信接口314包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、

接口和/或蜂窝网络接口等。

在一些实施例中，装置300进行本文所述的一个或多个处理。装置300基于处理器304执行由诸如存储器306和/或存储组件308等的计算机可读介质所存储的软件指令来进行这些处理。计算机可读介质(例如，非暂时性计算机可读介质)在本文被限定为非暂时性存储器装置。非暂时性存储器装置包括位于单个物理存储装置内的存储空间或跨多个物理存储装置分布的存储空间。

在一些实施例中，经由通信接口314从另一计算机可读介质或从另一装置将软件指令读取到存储器306和/或存储组件308中。存储器306和/或存储组件308中所存储的软件指令在执行时，使处理器304进行本文所述的一个或多个处理。附加地或可替代地，代替软件指令或与软件指令组合使用硬连线电路以进行本文所述的一个或多个处理。因此，除非另外明确说明，否则本文所描述的实施例不限于硬件电路和软件的任何特定组合。

存储器306和/或存储组件308包括数据存储部或至少一个数据结构(例如，数据库等)。装置300能够从存储器306或存储组件308中的数据存储部或至少一个数据结构接收信息，将信息存储在该数据存储部或至少一个数据结构中，将信息通信至该数据存储部或至少一个数据结构，或者搜索该数据存储部或至少一个数据结构中所存储的信息。在一些示例中，该信息包括网络数据、输入数据、输出数据或其任何组合。

在一些实施例中，装置300被配置为执行存储在存储器306和/或另一装置(例如，与装置300相同或类似的另一装置)的存储器中的软件指令。如本文所使用的，术语“模块”是指存储器306和/或另一装置的存储器中所存储的至少一个指令，该至少一个指令在由处理器304和/或另一装置(例如，与装置300相同或类似的另一装置)的处理器执行时，使装置300(例如，装置300的至少一个组件)进行本文所述的一个或多个处理。在一些实施例中，模块以软件、固件和/或硬件等来实现。

在一些实施例中，装置300被配置为执行如图7所示的所公开的方法的一个或多个步骤的软件指令。

提供图3所示的组件的数量和排列作为示例。在一些实施例中，与图3所示的组件相比，装置300可以包括附加的组件、更少的组件、不同的组件或不同布置的组件。附加地或可替代地，装置300的一组组件(例如，一个或多个组件)可以进行被描述为由装置300的另一组件或另一组组件进行的一个或多个功能。

现在参考图4，示出自主运载工具计算400(有时称为“AV堆栈”)的示例框图。如图所示，自主运载工具计算400包括感知系统402(有时称为感知模块)、规划系统404(有时称为规划模块)、定位系统406(有时称为定位模块)、控制系统408(有时称为控制模块)和数据库410。在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在运载工具的自动导航系统(例如，运载工具200的自主运载工具计算202f)中和/或在该自动导航系统中实现。附加地或可替代地，在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在一个或多个独立系统(例如，与自主运载工具计算400相同或类似的一个或多个系统等)中。在一些示例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库41包括在位于运载工具中的一个或多个独立系统以及/或者如本文所述的至少一个远程系统中。在一些实施例中，自主运载工具计算400中所包括的系统中的任意和/或全部以软件(例如，存储器中所存储的软件指令)、计算机硬件(例如，通过微处理器、微控制器、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)等)、或者计算机软件和计算机硬件的组合来实现。还将理解，在一些实施例中，自主运载工具计算400被配置为与远程系统(例如，与远程AV系统114相同或类似的自主运载工具系统、与队列管理系统116相同或类似的队列管理系统116、以及/或者与V2I系统118相同或类似的V2I系统等)进行通信。

在一些实施例中，感知系统402接收与环境中的至少一个物理对象相关联的数据(例如，感知系统402检测至少一个物理对象所使用的数据)，并对该至少一个物理对象进行分类。在一些示例中，感知系统402接收由至少一个照相机(例如，照相机202a)捕获到的图像数据，该图像与该至少一个照相机的视场内的一个或多个物理对象相关联(例如，表示该一个或多个物理对象)。在这样的示例中，感知系统402基于物理对象(例如，自行车、运载工具、交通标志和/或行人等)的一个或多个分组来对至少一个物理对象进行分类。在一些实施例中，基于感知系统402对物理对象进行分类，感知系统402将与物理对象的分类相关联的数据传输到规划系统404。

在一些实施例中，规划系统404接收与目的地相关联的数据，并且生成与运载工具(例如，运载工具102)可以朝向目的地行驶所沿着的至少一个路线(例如，路线106)相关联的数据。在一些实施例中，规划系统404定期地或连续地从感知系统402接收数据(例如，上述的与物理对象的分类相关联的数据)，并且规划系统404基于感知系统402所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。在一些实施例中，规划系统404从定位系统406接收与运载工具(例如，运载工具102)的更新位置相关联的数据，并且规划系统404基于定位系统406所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。

在一些实施例中，定位系统406接收与运载工具(例如，运载工具102)在区域中的地点相关联(例如，表示该地点)的数据。在一些示例中，定位系统406接收与至少一个LiDAR传感器(例如，LiDAR传感器202b)所生成的至少一个点云相关联的LiDAR数据。在某些示例中，定位系统406从多个LiDAR传感器接收与至少一个点云相关联的数据，并且定位系统406基于各个点云来生成组合点云。在这些示例中，定位系统406将该至少一个点云或组合点云与数据库410中所存储的区域的二维(2D)和/或三维(3D)地图进行比较。然后，基于定位系统406将至少一个点云或组合点云与地图进行比较，定位系统406确定运载工具在区域中的位置。在一些实施例中，地图包括运载工具的导航之前生成的该区域的组合点云。在一些实施例中，地图包括但不限于车行道几何性质的高精度地图、描述道路网连接性质的地图、描述车行道物理性质(诸如交通速率、交通流量、运载工具和自行车交通车道的数量、车道宽度、车道交通方向或车道标记的类型和地点、或者它们的组合等)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型的其它行驶信号灯等)的空间地点的地图。在一些实施例中，基于感知系统所接收到的数据来实时地生成地图。

在另一示例中，定位系统406接收由全球定位系统(GPS)接收器所生成的全球导航卫星系统(GNSS)数据。在一些示例中，定位系统406接收与运载工具在区域中的地点相关联的GNSS数据，并且定位系统406确定运载工具在区域中的纬度和经度。在这样的示例中，定位系统406基于运载工具的纬度和经度来确定运载工具在区域中的位置。在一些实施例中，定位系统406生成与运载工具的位置相关联的数据。在一些示例中，基于定位系统406确定运载工具的位置，定位系统406生成与运载工具的位置相关联的数据。在这样的示例中，与运载工具的位置相关联的数据包括与对应于运载工具的位置的一个或多个语义性质相关联的数据。

在一些实施例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408控制运载工具的操作。在一些示例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408通过生成并传输控制信号以使动力总成控制系统(例如，DBW系统202h和/或动力总成控制系统204等)、转向控制系统(例如，转向控制系统206)和/或制动系统(例如，制动系统208)进行操作，来控制运载工具的操作。在示例中，在轨迹包括左转的情况下，控制系统408传输控制信号以使转向控制系统206调整运载工具200的转向角，由此使运载工具200左转。附加地或可替代地，控制系统408生成并传输控制信号以使运载工具200的其它装置(例如，前灯、转向信号灯、门锁和/或挡风玻璃雨刮器等)改变状态。

在一些实施例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型(例如，至少一个多层感知器(MLP)、至少一个卷积神经网络(CNN)、至少一个递归神经网络(RNN)、至少一个自动编码器和/或至少一个变换器等)。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408单独地或与上述系统中的一个或多个结合地实现至少一个机器学习模型。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型作为管线(例如，用于识别位于环境中的一个或多个对象的管线等)的一部分。

数据库410存储传输至感知系统402、规划系统404、定位系统406和/或控制系统408的、从其接收到的、以及/或者由其更新的数据。在一些示例中，数据库410包括用于存储与操作相关的数据和/或软件、并使用自主运载工具计算400的至少一个系统的存储组件(例如，与图3的存储组件308相同或类似的存储组件)。在一些实施例中，数据库410存储与至少一个区域的2D和/或3D地图相关联的数据。在一些示例中，数据库410存储与城市的一部分、多个城市的多个部分、多个城市、县、州和/或国家(State)(例如，国家)等的2D和/或3D地图相关联的数据。在这样的示例中，运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)可以沿着一个或多个可驾驶区(例如，单车道道路、多车道道路、高速公路、偏僻道路和/或越野道路等)驾驶，并且使至少一个LiDAR传感器(例如，与LiDAR传感器202b相同或类似的LiDAR传感器)生成与表示该至少一个LiDAR传感器的视场中所包括的对象的图像相关联的数据。

在一些实施例中，数据库410可以跨多个装置来实现。在一些示例中，数据库410包括在运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)、自主运载工具系统(例如，与远程AV系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)中和/或V2I系统(例如，与图1的V2I系统118相同或类似的V2I系统)等中。

在一些实施例中，实现500包括AV计算540和运载工具(类似于图2的运载工具200，诸如自主运载工具等)。在一些实施例中，系统500与诸如远程AV系统、队列管理系统和/或V2I系统等的系统相同或类似。

现在参考图5，例示用于提供基于升级的响应的处理的实现(诸如系统等)500的图。在一些实施例中，实现500包括AV计算540和运载工具(类似于图2的运载工具200，诸如自主运载工具等)。在一些实施例中，实现500与诸如AV(例如，在图2、图3和图4中例示)、AV系统、远程AV系统、队列管理系统和/或V2I系统等的系统相同或类似。诸如系统等的实现500可用于操作自主运载工具。诸如系统等的实现500可以不用于操作自主运载工具。

有利地，本文公开了可以提供可扩展的原则违背检测和/或升级的系统、方法和计算机程序产品。作为示例，自主运载工具可以存储有将要求乘员遵循以使用自主运载工具(诸如搭乘AV等)的多个原则。本文所公开的系统、方法和计算机程序产品可以诸如使用一个或多个传感器等来确定是否发生了乘员的原则违反，然后提供对原则违反的适当响应。此外，诸如在乘员正继续原则违反的情况下和/或在乘员违反附加原则的情况下等，系统、方法和计算机程序产品可以提供响应的升级。这样的升级可以发生多次，直到原则违反得到解决为止。

在一个或多个实现中，诸如对于自主运载工具等，由于自主运载工具可能不具有诸如驾驶员等的人类操作员，因此检测原则的(一次或多次)违反(诸如(一次或多次)违背等)可以是有利的。升级(特别是适当地升级)对这种原则违反的响应可以是进一步有利的。可以将响应升级任何次数，并且在未纠正原则违反的情况下可以继续进行来自客户服务代理(CSA)的通信和/或使得在自主运载工具中发生最小风险机动动作(MRM)。严重的原则违反可以直接导致最小风险机动动作或来自客户服务代理的通信。例如，严重的原则违反可以跳过某些响应。

有利地，可以将传感器数据(诸如来自运载工具传感器和/或舱室监测系统等)与决策(诸如基于规则的决策等)协同地组合，以确定如何基于给定原则违反来解决和/或升级响应。可以设想，能够与可以是机器学习决策和/或人工智能决策的决策组合。响应可以从基于听觉和/或光的通信到乘员或运载工具的装置通知而变化。也可以进行其它响应。

本文公开了诸如图5的系统500等的系统。系统500可以包括至少一个处理器。系统500可以包括升级系统504和自主运载工具(AV)堆栈508以及任选的任务管理器系统506。自主运载工具(AV)堆栈508可被视为AV计算和/或该AV计算的一部分(诸如AV计算540等)。

系统500可以包括存储有指令的至少一个存储器，这些指令在由至少一个处理器执行时，使得至少一个处理器获得与自主运载工具相关联的传感器数据502。系统500可以包括存储有指令的至少一个存储器，这些指令在由至少一个处理器执行时，使得至少一个处理器确定传感器数据502是否满足一个或多个准则中的至少一个。系统500可以包括存储有指令的至少一个存储器，这些指令在由至少一个处理器执行时，使得至少一个处理器响应于确定为传感器数据502满足一个或多个准则中的至少一个，基于传感器数据502来确定指示自主运载工具的原则违反的违反参数。系统500可以包括存储有指令的至少一个存储器，这些指令在由至少一个处理器执行时，使得至少一个处理器响应于确定为传感器数据502满足一个或多个准则中的至少一个，确定指示自主运载工具的原则违反的违反参数。系统500可以包括存储有指令的至少一个存储器，这些指令在由至少一个处理器执行时，使得至少一个处理器响应于确定为传感器数据502满足一个或多个准则中的至少一个，基于违反参数来提供指示原则违反的升级的响应。系统500可以包括存储有指令的至少一个存储器，这些指令在由至少一个处理器执行时，使得至少一个处理器响应于确定为传感器数据502满足一个或多个准则中的至少一个，提供指示原则违反的升级的响应。

例如，升级系统504可以获得传感器数据502。例如，升级系统504可以确定传感器数据502是否满足一个或多个准则中的至少一个。一个或多个准则可以作为原则数据的一部分存储在存储器中。例如，升级系统504响应于确定为传感器数据502满足一个或多个准则中的至少一个，可以基于传感器数据502来确定指示自主运载工具的原则违反的违反参数。例如，升级系统504可以基于违反参数来提供指示原则违反的升级的响应。例如，升级系统504可以将响应提供到AV堆栈508和/或外部系统512。

例如，升级系统504可以将响应提供到AV堆栈508，例如以触发MRM，其中该响应指示MRM命令。例如，升级系统504可以将响应提供到AV堆栈508，例如以在AV的输出系统上触发向乘员输出通知。输出系统可以包括AV的显示系统和/或AV的扬声器系统。

例如，升级系统504可以将响应提供到外部系统512，诸如远程系统(诸如远程客户协助(RCA)系统)和/或乘员装置(诸如乘员的便携式装置等)中的一个或多个等。

传感器数据502可以从一个或多个传感器获得。传感器数据502可以由至少一个处理器组合。自主运载工具可以包括可被配置为监测AV操作的环境的一个或多个传感器。例如，监测可以提供指示在自主运载工具的内部和/或外部正在发生什么的传感器数据502。

可以使用的示例传感器可以包括可作为标准包括在汽车中的传感器。也可以使用不可作为标准包括在汽车中的传感器。特定类型的传感器不是限制性的。传感器或与传感器相关联的系统可以包括用于分析传感器数据502的方法。某些传感器可以一起工作以提供传感器数据502。有利地，可以组合(例如，融合)来自不同传感器的不同传感器数据502以确定原则违反和/或升级。传感器可以包括图1所示的传感器中的一个或多个。

原则可被视为指示与AV的操作有关的要遵循的一个或多个操作规则的信息。原则可以采用原则数据的形式，该原则数据指示为了AV以令人满意和/或安全方式操作而要满足的一个或多个操作规则或准则。原则可以包括一个或多个操作原则和/或一个或多个安全原则，以确保AV的操作和/或AV的完整性和/或乘员安全、以及/或者AV周围的安全。原则违反可被视为基于传感器数据502来确定触犯了例如用于AV的安全、完整性和/或维护的、操作AV的一个或多个原则的一个或多个事件。

违反参数可被视为指示例如与诸如AV等的运载工具有关地发生的原则违反的参数。例如，违反参数可以是指示违反运载工具的原则的参数。例如，违反参数可以是如下的参数，该参数诸如基于自主运载工具内部和/或外部的交互等，指示在乘员与自主运载工具相关联时乘员违反原则。例如，违反参数可以是指示是否存在原则违反的参数，诸如以标记的形式等。例如，违反参数可以是指示相应的原则违反和/或相应类型的原则违反的参数。例如，违反参数可以是使得能够映射到相应的原则违反和/或相应类型的原则违反的参数，这样得到相应的响应。违反参数可被视为违反数据。

升级可被视为增加对原则违反的反应级别，例如从向乘员通知到自主运载工具的更有限操作(诸如MRM等)。

传感器数据502可以从与自主运载工具相关联的一个或多个传感器获得。一个或多个传感器可被视为被配置为监测AV的环境(诸如AV所位于的环境等)的一个或多个传感器。例如，一个或多个传感器可以包括以下中的一个或多个：乘员占用检测系统(PODS)传感器、光学传感器(诸如照相机等)、红外传感器、压力传感器、安全带传感器和舱室监测系统(CMS)。

作为示例，PODS传感器可以检测何时某人或某物正在占用运载工具中的特定座椅。可以确定安全带是否扣上的安全带传感器也可以是示例传感器。

CMS可以结合自主运载工具中的一个或多个传感器使用，或者替代自主运载工具中的一个或多个传感器使用。CMS可以包括诸如照相机等的一个或多个图像传感器。CMS可以包括一个或多个处理器，该一个或多个处理器可以处理从一个或多个图像传感器接收到的传感器数据502，诸如以确定原则违反等。CMS可被视为基于视觉的传感器。CMS可能能够从其传感器数据502提取信息。例如，CMS可能能够提取(诸如检测等)以下中的一个或多个：乘员的位置、姿态和动作，或者乘员的部位。

传感器数据502可用于确定原则违反。例如，自主运载工具可以具有诸如规则、指南等的原则，以规范自主运载工具的使用。例如，原则可以是关于自主运载工具中的乘员行为。例如，这些原则可以旨在提高乘员的安全和/或确保自主运载工具的适当维护。原则可被设置到自主运载工具中。机器学习可用于添加、修改和/或更新自主运载工具的原则。

在一个或多个示例系统中，传感器数据502可以从以下中的一个或多个获得：基于视频的舱室监测系统、安全带传感器、姿态检测和座椅占用传感器。

传感器数据502可以是以下中的一个或多个：光学传感器数据、存在传感器数据、热传感器数据、图像数据、压力数据、重量数据、电导率数据和连接数据。特定类型的传感器数据502不是限制性的。

在一个或多个示例系统中，传感器数据502可以包括自主运载工具内部的传感器数据。

例如，传感器数据502可以指示在自主运载工具内部正在发生什么。例如，传感器数据502可以指示自主运载工具的舱室。

在一个或多个示例系统中，传感器数据502可以包括自主运载工具外部的传感器数据。

例如，传感器数据502可以指示在自主运载工具外部(诸如在自主运载工具的舱室外部等)正在发生的动作。例如，传感器数据502可以指示用户将身体部位伸出自主运载工具的窗户外。此外，传感器数据502可以指示自主运载工具的外部上的传感器的任何遮挡。

系统500可以直接从一个或多个传感器获得传感器数据502。系统500可以间接地从一个或多个传感器获得传感器数据502。例如，系统500可以从服务器和/或存储器获得传感器数据502。服务器和/或存储器可以是自主运载工具的组件。服务器和/或存储器可以与自主运载工具分开并且与自主运载工具进行通信。

传感器数据502可用于确定诸如指示原则违反等的违反参数。例如，传感器数据502可能能够示出乘员是否正在违反自主运载工具原则。可能存在任何数量的不同类型的原则违反。可以添加、删除和/或修改原则及其各自的原则违反。指示原则违反的原则数据可以由系统500例如从存储器和/或远程数据库获得。原则违反的示例可以包括以下中的任一个：在运载工具中携带食物或饮料、在运载工具中有太多乘员、坐姿不当、未系上安全带、身体部位在运载工具窗户外、坐在驾驶员座椅中、以及篡改照相机和/或传感器。可以包括其它原则违反，而原则违反的列表仅仅是示例性的。指示原则违反的原则数据可以包括指示以下中的任一个的原则数据：在运载工具中携带食物或饮料、在运载工具中有太多乘员、坐姿不当、未系上安全带、身体部位在运载工具窗户外、坐在驾驶员座椅中、以及篡改照相机和/或传感器。原则数据可以包括在满足时指示原则违反的一个或多个准则。

为了确定违反参数，系统500可以使用一个或多个准则。例如，系统500可被配置为确定传感器数据502是否满足诸如一个或多个阈值等的一个或多个准则中的至少一个。系统500可以包括以任意数量的组合的任意数量的准则。例如，舱室监测系统可以使用舱室监测视觉算法来确定传感器数据502是否满足一个或多个准则中的至少一个。

满足一个或多个准则可以指示乘员的原则违反。系统500可以具有任何数量的准则，但满足这些准则中的任一个可以导致提供响应。在一个或多个实现中，满足这些准则中的多个一个准则导致提供响应。

可以通过应用由一个或多个准则指示的和/或由所确定的违反参数指示的一组规则来确定响应。例如，通过参考预先确定的一组规则，升级软件可以确定为特定违反需要乘员通知，但不需要进一步升级或最小风险机动动作。

借助于本文所述的系统、方法和计算机程序产品的实现，公开了用于提供对原则违反的差异响应的技术。这些技术可以使得自主运载工具能够自动确定正确的动作方案，从而可以有效地对问题进行归类。这些技术可以实现不完全依赖于人类监测和干预的可扩展解决方案。借助于本文所述的某些技术的实现，自主运载工具(AV)可以从改进了的操作、改进了的完整性维护和改进了的安全性中受益。这些技术可以实现针对原则违反的优化响应。借助于本文所述的某些技术的实现，自主运载工具(AV)可以从处理原则违反的改进了的速度中受益。

一个或多个准则可以包括其它的参数、阈值、准则等。一个或多个准则可以包括第一、第二、第三、第四、第五和第六准则中的一个或多个。

在一个或多个示例系统中，一个或多个准则可以包括第一准则。第一准则可以基于时间阈值。

时间阈值可以指示原则被违反而导致响应的时间量。例如，系统500可能无法一违反原则就自动提供响应。在系统500给出响应之前，可能存在供采取纠正动作用的一些让步(诸如余地等)。可选地，可能无时间阈值和/或可以将时间阈值设置为0秒。

作为示例，用户在进入自主运载工具时可能需要一些时间来系上安全带。在提供指示应系上安全带的响应之前为乘员提供一些时间以系上安全带，这可以是有利的。

时间阈值可以是例如1、2、3、4、5、10、15、20秒。时间阈值可以是例如1、2、3、4、5、10、15、20分钟。时间阈值可以根据正在发生的特定原则违反而变化。

作为一个示例，时间阈值可以是预定时间长度的阈值，其中在该预定时间长度之后，升级软件由于该特定规则的违反延长而发起远程客户协助(RCA)呼叫。诸如升级软件等的升级系统504可以继续从舱室监测视觉算法和安全带扣传感器接收传感器数据502，并且在预定时间长度之后，升级系统504由于该特定规则的违反延长而发起RCA呼叫。

例如，如果原则违反超过时间阈值，则可以满足一个或多个准则。如果原则违反在时间阈值之前结束，则可以不满足一个或多个准则。

在一个或多个示例系统中，一个或多个准则可以包括第二准则。第二准则可以基于与乘员数量(例如，乘员的数量)相关联的阈值。

例如，第二准则可以基于自主运载工具中的可用座椅的数量。阈值可以与乘员数量相关联，其中，高于该乘员数量，存在原则违反。例如，AV可被授权基于AV的空间和/或容量以及/或者基于搭乘数据来运送多个乘员。当乘员的数量高于阈值时，确定原则违反和违反参数。根据自主运载工具的大小和空间，乘员数量可以是例如1、2、3、4、5、6、7、8、9或10。因此，处理器可被配置为确定自主运载工具中的乘员是否比可用座椅多。

例如，如果传感器数据502指示存在比与乘员数量相关联的阈值多的乘员，则可以满足第二准则，由此可以满足一个或多个准则中的至少一个。如果传感器数据502指示与同乘员数量相关联的阈值相比存在更少或相等的乘员，则可以不满足第二准则。

在一个或多个示例系统中，一个或多个准则可以包括第三准则。第三准则可以基于检测指示对一个或多个传感器的篡改的事件的传感器数据502。

例如，传感器数据502可以检测用户遮挡(诸如遮盖等)一个或多个传感器。传感器数据502可以检测用户试图修改一个或多个传感器。例如，篡改可以是对内部照相机和/或其它传感器进行篡改。篡改可以由指示正被篡改的传感器自身来确定。篡改可以由指示乘员正在对不同的传感器进行篡改的CMS来确定。

例如，当基于传感器数据502确定为乘员正在篡改一个或多个传感器时，可以满足第三准则，由此可以满足一个或多个准则中的至少一个。当确定为乘员没有正在篡改一个或多个传感器时，可以不满足第三准则。

在一个或多个示例系统中，一个或多个准则可以包括第四准则。第四准则可以基于用于检测指示自主运载工具的原则违反的姿态的传感器数据502。

例如，传感器数据502可以检测未坐直(诸如躺下等)的乘员。姿态可以是预定义的姿态，诸如指示乘员未坐直的姿态等。系统可以具有作为原则违反的预定义姿态。系统可以具有不是原则违反的预定义姿态。

例如，当传感器数据502指示乘员处于作为原则违反的姿态时，可以满足第四准则，由此可以满足一个或多个准则中的至少一个。当传感器数据502指示乘员处于不是原则违反的姿态时，可以不满足第四准则。

在一个或多个示例系统中，一个或多个准则可以包括第五准则，其中第五准则基于用于检测指示原则违反的自主运载工具中的乘员的位置的传感器数据502。例如，指示原则违反的自主运载工具中的乘员的位置可以是预定义的位置，诸如驾驶员座位位置等。

例如，传感器数据502可以检测坐在驾驶员座椅而不是乘员座椅中的乘员。位置可以是预定义的位置，诸如指示坐在驾驶员座椅中的乘员的位置等。系统可以具有作为原则违反的预定义位置。系统可以具有不是原则违反的预定义位置。

例如，当传感器数据502指示乘员处于作为原则违反的位置时，可以满足第五准则，由此可以满足一个或多个准则中的至少一个。当传感器数据502指示乘员处于不是原则违反的位置时，可以不满足第五准则。

一个或多个准则可以是上述准则中的任何和/或全部。一个或多个准则可以包括这里未论述的其它准则，并且以上仅仅是说明性的。

响应于确定为传感器数据502不满足一个或多个准则中的至少一个，至少一个处理器可以不采取任何动作。响应于确定为传感器数据502不满足一个或多个准则中的至少一个，至少一个处理器可以不确定违反参数。响应于确定为传感器数据502不满足一个或多个准则中的至少一个，至少一个处理器可以不提供响应。例如，自主运载工具可以继续正常操作。

响应于确定为传感器数据502确实满足一个或多个准则中的至少一个，可以确定指示自主运载工具的原则违反(诸如原则违背等)的违反参数。

例如，当确定为乘员违反原则时，可以采取一个或多个动作。在一个示例中，可以确定违反参数。违反参数可以指示原则违反。这可以帮助确保进行适当的响应和/或升级。

例如，自主运载工具可以具有与乘员安全和/或运载工具维护有关的一组原则(诸如一组规则等)。原则可以包括一个或多个操作原则和/或一个或多个安全原则，以确保自主运载工具的操作和/或自主运载工具的完整性和/或乘员安全、以及/或者自主运载工具周围的安全。基于违反这种原则而采取动作可以是有利的。由于原则可能差异很大，因此以特定违反的响应为目标可以是有利的。

响应于确定为传感器数据502确实满足一个或多个准则中的至少一个，可以提供响应。响应可以基于违反参数。例如，可以基于原则违反的类型(诸如基于违反参数等)来采取不同的响应。

可以通过应用由一个或多个准则指示的一组规则来确定响应。可以通过应用一组由违反参数指示的一组规则来确定响应。

响应例如可以存储在数据库中。响应可以通过机器学习来确定。响应可以是自主运载工具的物理响应。响应可以是自主运载工具的环境响应。

指示升级的响应可被视为增加对原则违反的反应级别，例如从向乘员通知到自主运载工具的更有限操作。通过参考预先确定的一组规则，升级软件可以确定为该特定违反需要乘员通知，但不需要进一步升级或最低风险机动动作(MRM)。

响应可以指示原则违反的升级。升级可以是响应的增加、上升、提前、变化。

升级可以是从无响应到特定响应。可选地，升级可以是从先前响应到更新响应。

在一个或多个示例系统中，提供指示原则违反的升级的响应可以包括基于传感器数据502和违反参数来确定响应。提供指示原则违反的升级的响应可以包括确定响应。

例如，系统可被配置为基于原则违反(诸如基于违反参数等)来确定适当响应。响应的确定可以是根据基于规则的系统。响应的确定可以基于机器学习。

任务管理器系统506可以提供操作的阶段。自主运载工具的操作的阶段可被视为搭乘中的阶段，诸如任务中的阶段等。例如，操作的阶段可以指示操作(诸如搭乘和/或任务等)开始之前的阶段。例如，操作的阶段可以指示操作(诸如搭乘和/或任务等)期间的阶段。例如，操作的阶段可以指示操作(诸如搭乘和/或任务等)之后的阶段。操作的阶段可以是当前操作的阶段和/或发生了违反的阶段。操作的阶段可以包括以下中的一个或多个：在启动运载工具之前、在运载工具操作之前、在运载工具操作期间、以及在运载工具的操作结束之后。也可以进一步分离阶段。

在一个或多个示例系统中，基于违反参数来确定响应可以包括获得由任务管理器系统506提供的自主运载工具的操作的阶段。在一个或多个示例系统中，基于违反参数来确定响应可以包括基于阶段来确定响应。例如，升级系统504可以从例如任务管理器系统506获得指示AV的操作的阶段的数据。

自主运载工具的操作的阶段可用于确定违反参数。例如，升级系统504可以使用至少一个处理器基于阶段来确定响应。自主运载工具的操作的阶段可用于确定传感器数据502是否满足一个或多个准则中的至少一个。响应可根据自主运载工具的操作的阶段而变化。例如，违反参数可以指示乘员携带有食物或饮料。对于包括在运载工具操作之前或期间在内的操作阶段，响应可以是向乘员通知。对于在搭乘结束之后的操作阶段，响应可以是发起RCA呼叫以检查运载工具中是否存在任何溢出。

作为另一示例，违反参数可以指示在运载工具中存在太多人。对于在运载工具操作之前的操作阶段，响应可以是向乘员通知和/或不能启动运载工具。然而，由于新乘员将不会在移动期间进入、并且在搭乘之后超过乘员数量可能不重要，因此在操作阶段指示AV在搭乘之后或搭乘期间时可以不存在响应。

作为示例，与在运载工具操作或搭乘之前相比，响应可以根据指示运载工具在操作或搭乘期间的阶段而不同。例如，在运载工具操作之前的响应可以包括不能启动运载工具。然而，如果运载工具已在操作中(诸如在运动中等)，则该响应将是不适当的。

在一个或多个示例系统中，提供指示原则违反的升级的响应可以包括将响应通信到乘员。

通信可以包括提供、传输、显示、联系和呈现中的一个或多个。通信可以包括向乘员的响应的任何提供。通信可以是音频和/或可视的。

提供指示原则违反的升级的响应可以包括向操作员(诸如RCA的操作员等)通信。

在一个或多个示例系统中，响应可以包括以下中的一个或多个：经由与自主运载工具相关联的至少一个音频源的音频响应、以及经由与自主运载工具相关联的至少一个光源的光响应。

例如，音频响应可以包括经由自主运载工具扬声器播放声音。音频响应可以包括在乘员的通信装置上播放声音。音频源可以与自主运载工具相关联。音频响应可以经由乘员的用户装置，从而使得用户装置发出音频响应。

例如，光响应可以包括使自主运载工具的内部内的灯闪光(诸如闪烁等)、点亮和熄灭、以及/或者改变(诸如修改)。光响应可以包括使自主运载工具的前照灯闪光和/或改变(诸如修改等)。光响应可以包括使自主运载工具中的显示灯闪光和/或改变(诸如修改等)。光源可以与自主运载工具相关联。例如，光响应可以是经由乘员的用户装置，从而使得用户装置发出光响应。

在一个或多个示例系统中，响应可以包括运载工具通知指示器(indicator)，该运载工具通知指示器使得与自主运载工具相关联的显示器显示指示响应的用户接口对象。

用户接口对象可以指示原则违反和/或原则违反的补救措施。响应可以显示在自主运载工具的显示器上。例如，自主运载工具显示器可以显示警告用户接口对象。自主运载工具可以显示被违反的原则。自主运载工具可以显示克服原则违反所需的响应。

在一个或多个示例系统中，响应可以包括针对乘员的用户装置的乘员通知指示器。

例如，通知指示器可以使得用户装置能够在用户装置(诸如移动电话等)的显示器上显示通知。例如，通知指示器可以使得用户装置在用户装置的显示器上进行通知。这可以例如包括文本消息、推送通知和应用通知中的一个或多个。

在一个或多个示例系统中，响应可以包括调整自主运载工具的速率、加速度和轨迹中的一个或多个。

调整可被视为例如最小风险机动动作(MRM)。可以存在多个不同级别的MRM，以对各种潜在事件提供细微差别的升级响应。不同的子系统可以触发给定的MRM。MRM可以包括使自主运载工具停车、使自主运载工具减速、使自主运载工具靠边停车中的一个或多个。

调整自主运载工具的速率、加速度和轨迹中的一个或多个可以是最终响应。系统500可以立即进入调整自主运载工具的速率、加速度和轨迹中的一个或多个。在其它响应被忽略之后，系统500可以进入调整自主运载工具的速率、加速度和轨迹中的一个或多个。

响应可以响应于相对“次要”的原则违反。最初，在违反次要原则之后，如果乘员遵守该原则，则自主运载工具无需采取主要动作。然而，一些原则违反可被解释为“严重”，并且诸如紧挨在违反之后可以采取升级动作。

在一个或多个示例系统中，调整自主运载工具的速率、加速度和轨迹中的一个或多个可以基于指示原则违反的严重性级别的严重性参数。

例如，违反参数可以包括严重性参数。根据严重性参数满足严重性准则，严重性参数可以指示高严重性。根据严重性参数不满足严重性准则，严重性参数可以指示低严重性。

可以基于严重性参数而发生不同的响应。例如，高严重性参数可能导致一个响应，但低严重性参数可能导致不同的响应。例如，高严重性参数与低严重性参数相比可能导致升级响应。

可以基于传感器数据502以及一个或多个准则来确定严重性参数。严重性参数可以基于是否确定了多个违反参数。

对于严重乘员原则违背，响应可以从变更路线到下车区域、到靠边停车到道路侧方、到立即减速并在车道中停车。

作为示例，传感器数据502可以指示乘员未系上其安全带。所确定的违反参数可以包括指示低严重性的严重性参数。升级系统504可以提供指示乘员应当扣上其安全带的通知。当检测到纠正了原则违反时，可以取消通知。

可选地，传感器数据502可以指示乘员遮盖CMS的一个或多个组件。所确定的违反参数可以包括指示高严重性的严重性参数。升级系统504可以调整自主运载工具的速率、加速度和轨迹中的一个或多个。向乘员的通知可以被跳过，或者可以结合该调整来进行。

在一个或多个示例系统中，响应于在提供响应之后确定为传感器数据502满足一个或多个准则中的至少一个，基于违反参数来提供升级响应。

响应于在提供响应之后确定为传感器数据502不满足一个或多个准则中的至少一个，不进行基于违反参数提供升级响应。

例如，在传感器数据指示乘员在响应之后没有纠正原则违反时，系统500可能能够连续地升级响应。系统500可以升级响应，直到达到最终响应为止、或者直到乘员不再违反原则为止。系统500可以连续地获得传感器数据502，以确定传感器数据502是否满足一个或多个准则中的一个准则。

与响应类似，升级响应可以基于违反参数。如违反参数所示，原则的不同违反可以导致不同的升级响应。

升级响应可以提供比响应的动作更严重的动作。

一个或多个准则可以包括是否存在当前违反参数。例如，第二违反参数可以提供升级响应。

升级可以发生任何次数，直到达到最终升级响应为止。升级量可以根据违反参数的类型而变化。例如，可以将响应升级1、2、3、4或5次。

表I例示根据本发明的一组违反参数和响应的非限制性示例。

表I：违反参数和响应示的例

在一个或多个示例系统中，系统500可以获得各乘员的乘员评级。各乘员可以具有乘员评级。乘员评级可以指示乘员的质量，例如乘员如何对待自主运载工具和/或乘员是否有任何原则违反等。例如，各乘员可存储有诸如数字评级等的乘员评级。乘员评级可由系统500存储和/或可访问。

系统500可能能够修改(诸如调整等)乘员的乘员评级。例如，如果针对乘员确定了指示原则违反的违反参数，则可以降低其乘员评级。确定具有高严重性的违反参数，与确定具有低严重性的违反参数相比，乘员评级可被降低得更多。

如果针对乘员没有确定指示原则违反的违反参数，则可以提高其乘员评级。

在一个或多个示例系统中，系统500可被配置为基于违反参数和乘员评级来提供响应。例如，具有低乘员评级的乘员与具有高乘员评级的乘员相比可以经历不同的响应。

现在参考图6A至6C，例示用于提供基于升级的响应的处理的示例情形实现600、620、630的图。实现600、620、630可以提供使用针对图5所论述的实现500的示例。

图6A例示诸如系统600等的示例实现600。如图所示，乘员可以解开(602)他或她的安全带。该动作可以由如下中的一个或多个来监测和/或捕获：舱室监测系统604、以及一个或多个运载工具传感器606。例如，一个或多个运载工具传感器606可以是安全带传感器。舱室监测系统604和/或一个或多个运载工具传感器606可以提供指示乘员的安全带解开的传感器数据。实现600和/或升级系统608可以确定传感器数据是否满足一个或多个准则其中之一。

当传感器数据满足一个或多个准则其中之一时，实现600和/或升级系统608然后可以确定违反参数。违反参数可以基于传感器数据。违反参数可以指示原则违反。在图6A所示的情形中，原则违反是违反了要求乘员系上安全带，并且违反参数将指示该情况。

此外，实现600和/或升级系统608可以将例如指示升级的响应609提供到AV的人机接口(HMI)610。响应609可以基于违反参数。例如，自主运载工具可以基于响应609使得HMI610(诸如通过闪光灯和/或音频信号)显示乘员通知。自主运载工具可以在显示器上向乘员显示指示乘员应扣上其安全带的通知。响应609可以是任何数量的响应，并且特定响应不是限制性的。

响应于HMI 610的通知，乘员可以扣上(612)其安全带。实现600不需要采取进一步的动作，因为传感器数据将不再满足一个或多个准则其中之一。此外，可以自动地取消(诸如移除或解决等)HMI 610的通知。

如图6A所示，原则违反的升级可以是从不采取动作到响应609。因此，升级可被解释为第一响应。

图6B例示示例实现620。具体地，图6B例示在乘员不遵守响应609的情况下发生的情形、以及与图6A的升级不同的升级。

如图6B所示，与针对图6A所论述的情形类似的情形展开。然而，关于经由HMI 610提供的响应609，乘员安全带保持(622)解开。因此，乘员没有适当地对响应609做出响应以纠正原则违反。这可以由升级系统608诸如再次通过舱室监测系统604和/或一个或多个运载工具传感器606(例如经由例示的反馈回路)等经由传感器数据来确定。因此，在响应609之后，传感器数据可以满足一个或多个准则其中之一。

实现620可以允许在采取任何进一步动作之前经过特定时间阈值。例如，乘员可以有30秒来扣上他们的安全带，尽管不需要特定时间阈值。可选地或者结合地，实现620可以从监测系统604获得指示新的原则违反(诸如乘员横躺在座位上等)的传感器数据。

基于缺少乘员的响应或新的原则违反，实现620和/或升级系统608可以基于违反参数来提供升级响应619。升级响应619可以是对先前响应609的升级，诸如更严重的响应等。可以将升级响应619提供到HMI 610。例如，升级响应619可以触发来自诸如代理等的远程客户协助(RCA)的呼叫。升级响应619可以触发MRM。升级响应619可以是经由HMI 610的更响亮的音频信号。可以进行任何数量的升级响应619。

图6C例示另一示例实现630。如图所示，乘员可以首先伸出到(632)运载工具窗户外。这可以经由舱室监测系统604来检测。运载工具传感器可以提供窗户打开状况的确认。实现630和/或升级系统608可以确定可以指示原则违反的违反参数。在该情形下，例如，原则违反是乘员应保持所有身体部位在自主运载工具的内部。实现630可以提供适当响应。例如，响应609可以是诸如RCA等的外部系统633的联系。可以设想，所公开的系统被配置为接收来自RCA的通信，例如以向乘员给出指令。在一个或多个实施例中，所公开的系统被配置为从诸如RCA等的外部系统接收MRM命令。

在RCA通信响应期间，乘员可以遮盖(634)运载工具的传感器。这可以经由一个或多个运载工具传感器606来确定。实现630和/或升级系统608可以确定第二违反参数。第二违反参数可以基于违反参数，因此可以提供第二响应619。第二响应619可以是升级响应，因为在自主运载工具中正在发生第二原则违反。可以将第二响应619提供到AV堆栈631以执行MRM。

现在参考图7，例示用于提供基于升级的响应(诸如用于操作和/或控制AV等)的方法或处理700的流程图。该方法可以由本文公开的系统(诸如AV计算400、以及图1、图2、图3、图4的运载工具100、200及图5的实现和/或AV计算540、以及图6A至6C的实现和/或系统等)来进行。所公开的系统可以包括至少一个处理器，该至少一个处理器可被配置为执行方法700的操作中的一个或多个。

本文公开了方法700。在一个或多个示例方法中，方法700可以包括：在步骤702处，诸如使用至少一个处理器等，获得与自主运载工具相关联的传感器数据。在一个或多个示例方法中，方法700可以包括：在步骤704处，诸如使用至少一个处理器等，确定传感器数据是否满足一个或多个准则中的至少一个。响应于确定为传感器数据满足一个或多个准则中的至少一个，方法700可以包括：在步骤706处，诸如使用至少一个处理器等，基于传感器数据来确定指示自主运载工具的原则违反的违反参数。响应于确定为传感器数据满足一个或多个准则中的至少一个，方法700可以包括：在步骤706处，确定指示自主运载工具的原则违反的违反参数。响应于确定为传感器数据满足一个或多个准则中的至少一个，方法700可以包括：在步骤708处，诸如使用至少一个处理器等，基于违反参数来提供指示原则违反的升级的响应。响应于确定为传感器数据满足一个或多个准则中的至少一个，方法700可以包括：在步骤708处，提供指示原则违反的升级的响应。

响应于确定为传感器数据不满足一个或多个准则中的至少一个，方法700可以包括：在步骤710处，不进行：诸如使用至少一个处理器等，基于传感器数据来确定指示自主运载工具的原则违反的违反参数。响应于确定为传感器数据不满足一个或多个准则中的至少一个，方法700可以包括：在步骤710处，违反参数指示不存在原则违反。响应于确定为传感器数据不满足一个或多个准则中的至少一个，方法700可以包括：不提供指示原则违反的升级的响应。

方法700可用于操作自主运载工具。传感器数据可以包括光学传感器数据、存在传感器数据、热传感器数据和压力传感器数据中的一个或多个。传感器数据可以来自一个或多个传感器。一个或多个传感器可以包括POD传感器、安全带传感器和CMS传感器中的一个或多个。

原则可以包括一个或多个操作原则和/或一个或多个安全原则，以确保自主运载工具的操作和/或自主运载工具的完整性和/或乘员安全、以及/或者自主运载工具周围的安全。

响应可以通过应用由一个或多个准则指示的一组规则来确定。该升级可被视为增加对原则违反的反应级别，例如从向乘员的通知到自主运载工具的更有限操作。例如，通过参考预先确定的一组规则，升级软件可以确定为该特定违反需要乘员通知，但不需要进一步升级或最小风险机动动作。

在一个或多个示例方法中，一个或多个准则可以包括第一准则。第一准则可以基于时间阈值。

例如，时间阈值可以是预定时间长度的阈值，其中在该预定时间长度之后，升级软件由于该特定规则的违反延长而发起RCA呼叫。升级软件可以继续接收来自舱室监测视觉算法和安全带扣传感器的输出，并且在预定时间长度之后，升级软件可以由于该特定规则的违反延长而发起RCA呼叫。

在一个或多个示例方法中，一个或多个准则可以包括第二准则。第二准则可以基于与乘员数量相关联的阈值。

例如，与乘员数量相关联的阈值可以是如下的阈值，其中，高于该阈值，则乘员数量不被授权。

在一个或多个示例方法中，一个或多个准则可以包括第三准则。第三准则可以基于检测指示对一个或多个传感器的篡改的事件的传感器数据。

例如，篡改可以包括对内部照相机和/或其它传感器进行篡改。

在一个或多个示例方法中，一个或多个准则可以包括第四准则。第四准则可以基于检测指示自主运载工具的原则违反的姿态的传感器数据。

例如，姿态可以是预定义的姿态，诸如指示乘员未坐直的姿态等。

在一个或多个示例方法中，一个或多个准则可以包括第五准则。第五准则可以基于检测指示原则违反的自主运载工具中的乘员的位置的传感器数据。

例如，位置可以是预定义的位置，诸如指示坐在驾驶员座位中的乘员的位置等。

在一个或多个示例方法中，在步骤708处使用至少一个处理器来提供指示原则违反的升级的响应可以包括：使用至少一个处理器，基于传感器数据和违反参数来确定响应。在步骤708处提供指示原则违反的升级的响应可以包括：确定响应。

在一个或多个示例方法中，在步骤706处使用至少一个处理器基于违反参数来确定响应可以包括：获得自主运载工具的操作的阶段。在一个或多个示例方法中，在步骤706处使用至少一个处理器基于违反参数来确定响应可以包括：使用至少一个处理器基于阶段来确定响应。

例如，自主运载工具的操作的阶段可被视为搭乘中的阶段(诸如任务中的阶段等)。例如，该阶段可以指示操作(诸如搭乘和/或任务等)开始之前的阶段。例如，该阶段可以指示操作(诸如搭乘和/或任务等)期间的阶段。例如，该阶段可以指示操作(诸如搭乘和/或任务等)之后的阶段。该阶段可以是当前操作的阶段和/或发生了违反的阶段。

在一个或多个示例方法中，在步骤708处使用至少一个处理器来提供指示原则违反的升级的响应可以包括：将响应通信到乘员。

在一个或多个示例方法中，在步骤708处使用至少一个处理器来提供指示原则违反的升级的响应可以包括：将响应通信到操作员(诸如RCA的操作员)等。

在一个或多个示例方法中，响应可以包括以下中的一个或多个：经由与自主运载工具相关联的至少一个音频源的音频响应、以及经由与自主运载工具相关联的至少一个光源的光响应。

例如，音频源可以与自主运载工具相关联。音频响应可以是经由乘员的用户装置，从而使得用户装置发出音频响应。

例如，光源可以与自主运载工具相关联。例如，光响应可以是经由乘员的用户装置，从而使得用户装置发出光响应。

在一个或多个示例方法中，响应可以包括运载工具通知指示器，该运载工具通知指示器使得与自主运载工具相关联的显示器显示指示响应的用户接口对象。

例如，用户接口对象可以替代地或结合地指示原则违反和/或原则违反的补救措施。响应可以显示在自主运载工具的显示器上。

在一个或多个示例方法中，响应可以包括针对乘员的用户装置的乘员通知指示器。

例如，通知指示器可以使得用户装置将通知显示在用户装置的显示器上。例如，通知指示器可以使得用户装置将通知显示在用户装置的显示器上。

在一个或多个示例方法中，响应可以包括调整自主运载工具的速率、加速度和轨迹中的一个或多个。

例如，调整可被视为最小风险机动动作(MRM)。可能存在多个不同级别的MRM，以对各种潜在事件提供具有细微差别的升级响应。不同的子系统可以触发一个或多个MRM。

在一个或多个示例方法中，调整自主运载工具的速率、加速度和轨迹中的一个或多个可以基于指示原则违反的严重性级别的严重性参数。

例如，严重性参数可以基于传感器数据以及一个或多个准则来确定。对于严重的乘员原则违背，响应可以从变更路线到下车区域、到靠边停车到道路侧方、到立即减速并在车道中停车。

在一个或多个示例方法中，传感器数据可以包括自主运载工具内部的传感器数据。

在一个或多个示例方法中，传感器数据可以包括自主运载工具外部的传感器数据。

在一个或多个示例方法中，传感器数据可以从以下中的一个或多个获得：基于视频的舱室监测系统、安全带传感器、姿态检测和座椅占用传感器中。

在一个或多个示例方法中，响应于在提供响应之后确定为传感器数据满足一个或多个准则中的至少一个准则，利用至少一个处理器基于违反参数来提供升级响应。

在一个或多个示例方法中，响应于在提供响应之后确定为传感器数据不满足一个或多个准则中的至少一个准则，不进行利用至少一个处理器基于违反参数提供升级响应。

例如，升级响应可以提供比响应的动作更严重的动作。

图8例示根据本发明的用于提供基于升级的响应的示例处理的信令图。

如图8所示，系统800可以诸如从CMS或者一个或多个传感器等获得传感器数据502。传感器数据502可用于确定指示自主运载工具的原则违反的一个或多个违反参数，诸如乘员手在窗户外、处于错误姿态的乘员、检测到食物或饮料、以及传感器遮挡中的一个或多个等。

升级系统504可以基于违反参数来提供响应。图8例示可以采取的多个不同响应。例如，升级系统504可以向AV堆栈508提供命令以调整自主运载工具的速率、加速度和轨迹中的一个或多个(诸如MRM等)。升级系统504可以向乘员提供通知指示器的响应，从而向乘员通知这样的动作。升级系统504可以提供呼叫诸如RCA等的外部系统512的响应。

另外，可以确定自主运载工具的操作的阶段，并且可以基于该阶段来确定响应。

升级系统504也可以提供升级响应。例如，如果传感器数据不指示乘员纠正原则违反或创建新的原则违反，或者如果传感器数据指示具有指示高严重性的严重性参数的原则违反，则可以提供升级响应。升级响应可以是例如呼叫RCA、或者调整自主运载工具的速率、加速度和轨迹中的一个或多个。此外，RCA可能能够与乘员进行通信。RCA可能能够(诸如在等待时间阈值之后等)提供升级响应。

在先前描述中，已经参考许多具体细节描述了本发明的方面和实施例，这些具体细节可因实现而不同。因此，说明书和附图应被视为说明性的，而非限制性意义的。本发明范围的唯一且排他的指示、以及申请人期望是本发明范围的内容是以发布权利要求书的具体形式从本申请发布的权利要求书的字面和等同范围，包括任何后续修正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用的意义为准。另外，当在先前的说明书或所附权利要求书使用术语“还包括”时，该短语的下文可以是附加的步骤或实体、或先前所述的步骤或实体的子步骤/子实体。

还公开了根据以下项中的任何项的方法、非暂时性计算机可读介质和系统。

项1.一种方法，所述方法包括：

使用至少一个处理器，获得与自主运载工具相关联的传感器数据；

使用所述至少一个处理器，确定所述传感器数据是否满足一个或多个准则中的至少一个准则；以及

响应于确定为所述传感器数据满足所述一个或多个准则中的所述至少一个准则：

使用所述至少一个处理器，基于所述传感器数据来确定指示所述自主运载工具的原则违反的违反参数，以及

使用所述至少一个处理器，基于所述违反参数来提供指示原则违反的升级的响应。

项2.根据项1所述的方法，其中，所述一个或多个准则包括第一准则，其中所述第一准则基于时间阈值。

项3.根据前述项中任一项所述的方法，其中，所述一个或多个准则包括第二准则，其中所述第二准则基于与乘员数量相关联的阈值。

项4.根据前述项中任一项所述的方法，其中，所述一个或多个准则包括第三准则，其中所述第三准则基于用于对指示一个或多个传感器的篡改的事件进行检测的传感器数据。

项5.根据前述项中任一项所述的方法，其中，所述一个或多个准则包括第四准则，其中所述第四准则基于用于对指示所述自主运载工具的原则违反的姿态进行检测的传感器数据。

项6.根据前述项中任一项所述的方法，其中，所述一个或多个准则包括第五准则，其中所述第五准则基于用于对指示原则违反的所述自主运载工具中的乘员的位置进行检测的传感器数据。

项7.根据前述项中任一项所述的方法，其中，使用所述至少一个处理器来提供指示原则违反的升级的响应包括：使用所述至少一个处理器，基于所述传感器数据和所述违反参数来确定所述响应。

项8.根据前述项中任一项所述的方法，其中，使用所述至少一个处理器基于所述违反参数来确定所述响应包括：

获得所述自主运载工具的操作的阶段；以及

使用所述至少一个处理器，基于所述阶段来确定所述响应。

项9.根据前述项中任一项所述的方法，其中，使用所述至少一个处理器来提供指示原则违反的升级的响应包括：将所述响应通信到乘员。

项10.根据前述项中任一项所述的方法，其中，所述响应包括以下中的一个或多个：经由与所述自主运载工具相关联的至少一个音频源的音频响应、以及经由与所述自主运载工具相关联的至少一个光源的光响应。

项11.根据前述项中任一项所述的方法，其中，所述响应包括运载工具通知指示器，所述运载工具通知指示器用于使得与所述自主运载工具相关联的显示器显示指示所述响应的用户接口对象。

项12.根据前述项中任一项所述的方法，其中，所述响应包括针对乘员的用户装置的乘员通知指示器。

项13.根据前述项中任一项所述的方法，其中，所述响应包括调整所述自主运载工具的速率、加速度和轨迹中的一个或多个。

项14.根据项13所述的方法，其中，调整所述自主运载工具的速率、加速度和轨迹中的一个或多个是基于指示原则违反的严重性级别的严重性参数的。

项15.根据前述项中任一项所述的方法，其中，所述传感器数据包括所述自主运载工具内部的传感器数据。

项16.根据前述项中任一项所述的方法，其中，所述传感器数据包括所述自主运载工具外部的传感器数据。

项17.根据前述项中任一项所述的方法，其中，所述传感器数据是从以下中的一个或多个获得的：基于视频的舱室监测系统、安全带传感器、姿态检测、以及座椅占用传感器。

项18.根据前述项中任一项所述的方法，其中，响应于在提供所述响应之后确定为所述传感器数据满足所述一个或多个准则中的所述至少一个准则，利用所述至少一个处理器，基于所述违反参数来提供升级响应。

项19.一种存储有指令的非暂时性计算机可读介质，所述指令在被至少一个处理器执行时使得所述至少一个处理器执行操作，所述操作包括：

使用至少一个处理器，获得与自主运载工具相关联的传感器数据；

使用所述至少一个处理器，确定所述传感器数据是否满足一个或多个准则中的至少一个准则；以及

响应于确定为所述传感器数据满足所述一个或多个准则中的所述至少一个准则：

使用所述至少一个处理器，基于所述传感器数据来确定指示所述自主运载工具的原则违反的违反参数，以及

使用所述至少一个处理器，基于所述违反参数来提供指示原则违反的升级的响应。

项20.根据项19所述的非暂时性计算机可读介质，其中，所述一个或多个准则包括第一准则，其中所述第一准则基于时间阈值。

项21.根据项19或20所述的非暂时性计算机可读介质，其中，所述一个或多个准则包括第二准则，其中所述第二准则基于与乘员数量相关联的阈值。

项22.根据项19至21中任一项所述的非暂时性计算机可读介质，其中，所述一个或多个准则包括第三准则，其中所述第三准则基于用于对指示一个或多个传感器的篡改的事件进行检测的传感器数据。

项23.根据项19至22中任一项所述的非暂时性计算机可读介质，其中，所述一个或多个准则包括第四准则，其中所述第四准则基于用于对指示所述自主运载工具的原则违反的姿态进行检测的传感器数据。

项24.根据项19至23中任一项所述的非暂时性计算机可读介质，其中，所述一个或多个准则包括第五准则，其中所述第五准则基于用于对指示原则违反的所述自主运载工具中的乘员的位置进行检测的传感器数据。

项25.根据项19至24中任一项所述的非暂时性计算机可读介质，其中，使用所述至少一个处理器来提供指示原则违反的升级的响应包括：使用所述至少一个处理器，基于所述传感器数据和所述违反参数来确定所述响应。

项26.根据项19至25中任一项所述的非暂时性计算机可读介质，其中，使用所述至少一个处理器基于所述违反参数来确定所述响应包括：

获得所述自主运载工具的操作的阶段；以及

使用所述至少一个处理器，基于所述阶段来确定所述响应。

项27.根据项19至26中任一项所述的非暂时性计算机可读介质，其中，使用所述至少一个处理器来提供指示原则违反的升级的响应包括：将所述响应通信到乘员。

项28.根据项19至27中任一项所述的非暂时性计算机可读介质，其中，所述响应包括以下中的一个或多个：经由与所述自主运载工具相关联的至少一个音频源的音频响应、以及经由与所述自主运载工具相关联的至少一个光源的光响应。

项29.根据项19至28中任一项所述的非暂时性计算机可读介质，其中，所述响应包括运载工具通知指示器，所述运载工具通知指示器用于使得与所述自主运载工具相关联的显示器显示指示所述响应的用户接口对象。

项30.根据项19至29中任一项所述的非暂时性计算机可读介质，其中，所述响应包括针对乘员的用户装置的乘员通知指示器。

项31.根据项19至30中任一项所述的非暂时性计算机可读介质，其中，所述响应包括调整所述自主运载工具的速率、加速度和轨迹中的一个或多个。

项32.根据项31所述的非暂时性计算机可读介质，其中，调整所述自主运载工具的速率、加速度和轨迹中的一个或多个是基于指示原则违反的严重性级别的严重性参数的。

项33.根据项19至32中任一项所述的非暂时性计算机可读介质，其中，所述传感器数据包括所述自主运载工具内部的传感器数据。

项34.根据项19至33中任一项所述的非暂时性计算机可读介质，其中，所述传感器数据包括所述自主运载工具外部的传感器数据。

项35.根据项19至34中任一项所述的非暂时性计算机可读介质，其中，所述传感器数据是从以下中的一个或多个获得的：基于视频的舱室监测系统、安全带传感器、姿态检测、以及座椅占用传感器。

项36.根据项19至35中任一项所述的非暂时性计算机可读介质，其中，响应于在提供所述响应之后确定为所述传感器数据满足所述一个或多个准则中的所述至少一个准则，利用所述至少一个处理器，基于所述违反参数来提供升级响应。

项37.一种系统，包括：至少一个处理器；以及存储有指令的至少一个存储器，所述指令在被所述至少一个处理器执行时使得所述至少一个处理器进行以下操作：

获得与自主运载工具相关联的传感器数据；

确定所述传感器数据是否满足一个或多个准则中的至少一个准则；以及

响应于确定为所述传感器数据满足所述一个或多个准则中的所述至少一个准则：

基于所述传感器数据来确定指示所述自主运载工具的原则违反的违反参数，以及

基于所述违反参数来提供指示原则违反的升级的响应。

项38.根据项37所述的系统，其中，所述一个或多个准则包括第一准则，其中所述第一准则基于时间阈值。

项39.根据项37或38所述的系统，其中，所述一个或多个准则包括第二准则，其中所述第二准则基于与乘员数量相关联的阈值。

项40.根据项37至39中任一项所述的系统，其中，所述一个或多个准则包括第三准则，其中所述第三准则基于用于对指示一个或多个传感器的篡改的事件进行检测的传感器数据。

项41.根据项37至40中任一项所述的系统，其中，所述一个或多个准则包括第四准则，其中所述第四准则基于用于对指示所述自主运载工具的原则违反的姿态进行检测的传感器数据。

项42.根据项37至41中任一项所述的系统，其中，所述一个或多个准则包括第五准则，其中所述第五准则基于用于对指示原则违反的所述自主运载工具中的乘员的位置进行检测的传感器数据。

项43.根据项37至42中任一项所述的系统，其中，提供指示原则违反的升级的响应包括：基于所述传感器数据和所述违反参数来确定所述响应。

项44.根据项37至43中任一项所述的系统，其中，基于所述违反参数来确定所述响应包括：

获得所述自主运载工具的操作的阶段；以及

基于所述阶段来确定所述响应。

项45.根据项37至44中任一项所述的系统，其中，提供指示原则违反的升级的响应包括：将所述响应通信到乘员。

项46.根据项37至45中任一项所述的系统，其中，所述响应包括以下中的一个或多个：经由与所述自主运载工具相关联的至少一个音频源的音频响应、以及经由与所述自主运载工具相关联的至少一个光源的光响应。

项47.根据项37至46中任一项所述的系统，其中，所述响应包括运载工具通知指示器，所述运载工具通知指示器用于使得与所述自主运载工具相关联的显示器显示指示所述响应的用户接口对象。

项48.根据项37至47中任一项所述的系统，其中，所述响应包括针对乘员的用户装置的乘员通知指示器。

项49.根据项37至48中任一项所述的系统，其中，所述响应包括调整所述自主运载工具的速率、加速度和轨迹中的一个或多个。

项50.根据项49所述的系统，其中，调整所述自主运载工具的速率、加速度和轨迹中的一个或多个是基于指示原则违反的严重性级别的严重性参数的。

项51.根据项37至50中任一项所述的系统，其中，所述传感器数据包括所述自主运载工具内部的传感器数据。

项52.根据项37至51中任一项所述的系统，其中，所述传感器数据包括所述自主运载工具外部的传感器数据。

项53.根据项37至52中任一项所述的系统，其中，所述传感器数据是从以下中的一个或多个获得的：基于视频的舱室监测系统、安全带传感器、姿态检测、以及座椅占用传感器。

项54.根据项37至53中任一项所述的系统，其中，响应于在提供所述响应之后确定为所述传感器数据满足所述一个或多个准则中的所述至少一个准则，基于所述违反参数来提供升级响应。

Claims (20)

1.一种用于自主运载工具的方法，所述方法包括：

使用至少一个处理器，获得与所述自主运载工具相关联的传感器数据；

使用所述至少一个处理器，确定所述传感器数据是否满足一个或多个准则中的至少一个准则；以及

响应于确定为所述传感器数据满足所述一个或多个准则中的所述至少一个准则：

使用所述至少一个处理器，基于所述传感器数据来确定指示所述自主运载工具的原则违反的违反参数，以及

使用所述至少一个处理器，基于所述违反参数来提供指示原则违反的升级的响应。

2.根据权利要求1所述的方法，其中，所述一个或多个准则包括第一准则，其中所述第一准则基于时间阈值。

3.根据前述权利要求中任一项所述的方法，其中，所述一个或多个准则包括第二准则，其中所述第二准则基于与乘员数量相关联的阈值。

4.根据前述权利要求中任一项所述的方法，其中，所述一个或多个准则包括第三准则，其中所述第三准则基于用于对指示一个或多个传感器的篡改的事件进行检测的传感器数据。

5.根据前述权利要求中任一项所述的方法，其中，所述一个或多个准则包括第四准则，其中所述第四准则基于用于对指示所述自主运载工具的原则违反的姿态进行检测的传感器数据。

6.根据前述权利要求中任一项所述的方法，其中，所述一个或多个准则包括第五准则，其中所述第五准则基于用于对指示原则违反的所述自主运载工具中的乘员的位置进行检测的传感器数据。

7.根据前述权利要求中任一项所述的方法，其中，使用所述至少一个处理器来提供指示原则违反的升级的响应包括：使用所述至少一个处理器，基于所述传感器数据和所述违反参数来确定所述响应。

8.根据前述权利要求中任一项所述的方法，其中，使用所述至少一个处理器基于所述违反参数来确定所述响应包括：

获得所述自主运载工具的操作的阶段；以及

使用所述至少一个处理器，基于所述阶段来确定所述响应。

9.根据前述权利要求中任一项所述的方法，其中，使用所述至少一个处理器来提供指示原则违反的升级的响应包括：将所述响应通信到乘员。

10.根据前述权利要求中任一项所述的方法，其中，所述响应包括以下中的一个或多个：经由与所述自主运载工具相关联的至少一个音频源的音频响应、以及经由与所述自主运载工具相关联的至少一个光源的光响应。

11.根据前述权利要求中任一项所述的方法，其中，所述响应包括运载工具通知指示器，所述运载工具通知指示器用于使得与所述自主运载工具相关联的显示器显示指示所述响应的用户接口对象。

12.根据前述权利要求中任一项所述的方法，其中，所述响应包括针对乘员的用户装置的乘员通知指示器。

13.根据前述权利要求中任一项所述的方法，其中，所述响应包括调整所述自主运载工具的速率、加速度和轨迹中的一个或多个。

14.根据权利要求13所述的方法，其中，调整所述自主运载工具的速率、加速度和轨迹中的一个或多个是基于指示原则违反的严重性级别的严重性参数的。

15.根据前述权利要求中任一项所述的方法，其中，所述传感器数据包括所述自主运载工具内部的传感器数据。

16.根据前述权利要求中任一项所述的方法，其中，所述传感器数据包括所述自主运载工具外部的传感器数据。

17.根据前述权利要求中任一项所述的方法，其中，所述传感器数据是从以下中的一个或多个获得的：基于视频的舱室监测系统、安全带传感器、姿态检测、以及座椅占用传感器。

18.根据前述权利要求中任一项所述的方法，其中，响应于在提供所述响应之后确定为所述传感器数据满足所述一个或多个准则中的所述至少一个准则，利用所述至少一个处理器，基于所述违反参数来提供升级响应。

19.一种存储有指令的非暂时性计算机可读介质，所述指令在被至少一个处理器执行时使得所述至少一个处理器执行操作，所述操作包括：

使用至少一个处理器，获得与自主运载工具相关联的传感器数据；

使用所述至少一个处理器，确定所述传感器数据是否满足一个或多个准则中的至少一个准则；以及

响应于确定为所述传感器数据满足所述一个或多个准则中的所述至少一个准则：

使用所述至少一个处理器，基于所述传感器数据来确定指示所述自主运载工具的原则违反的违反参数，以及

使用所述至少一个处理器，基于所述违反参数来提供指示原则违反的升级的响应。

20.一种用于自主运载工具的系统，包括：至少一个处理器；以及存储有指令的至少一个存储器，所述指令在被所述至少一个处理器执行时使得所述至少一个处理器进行以下操作：

获得与所述自主运载工具相关联的传感器数据；

确定所述传感器数据是否满足一个或多个准则中的至少一个准则；以及

响应于确定为所述传感器数据满足所述一个或多个准则中的所述至少一个准则：

基于所述传感器数据来确定指示所述自主运载工具的原则违反的违反参数，以及

基于所述违反参数来提供指示原则违反的升级的响应。

Images