CN115769049A - 映射系统和方法 - Google Patents

映射系统和方法 Download PDF

Info

Publication number
CN115769049A
CN115769049A CN202180043637.7A CN202180043637A CN115769049A CN 115769049 A CN115769049 A CN 115769049A CN 202180043637 A CN202180043637 A CN 202180043637A CN 115769049 A CN115769049 A CN 115769049A
Authority
CN
China
Prior art keywords
autonomous vehicle
semantic
metric data
understanding
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180043637.7A
Other languages
English (en)
Inventor
S·卡拉曼
A·黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magna Electronics Inc
Original Assignee
Magna Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magna Electronics Inc filed Critical Magna Electronics Inc
Publication of CN115769049A publication Critical patent/CN115769049A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/043—Distributed expert systems; Blackboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4026—Cycles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种方法、计算机程序产品和计算系统，其用于接收度量数据，该度量数据至少部分地基于由自主车辆的多种传感器生成的传感器数据；处理度量数据；以及至少部分地基于度量数据生成关于自主车辆的语义理解。

Description

映射系统和方法
相关申请
本申请主张于2020年5月4日提交的美国临时申请No.63/019,890的权益，其全部内容被通过引用并入本文。
技术领域
本公开涉及数据映射，并且更具体地，涉及用于与自主车辆一起使用的数据映射。
背景技术
随着交通走向自主(即无人驾驶)车辆，这些自主车辆的制造商和设计者必须定义在这些自主车辆内的一个或更多个系统发生故障时出现的意外情况。
众所周知，自主车辆包含多个电子控制单元(ECU)，其中这些ECU中的每一个均可执行特定的功能。例如，这些不同的ECU可以计算车辆的安全轨迹(例如，用于将车辆导航到其预期目的地)，并且可以向车辆的致动器、推进系统和制动系统提供控制信号。典型地，一个ECU(例如，自主控制单元)可以负责规划和计算车辆的轨迹，并且可以(例如，通过控制转向ECU、制动ECU和动力传动ECU)向其他ECU提供可能导致车辆移动的命令。
正如所预期的那样，这种自主车辆生成数字驱动数据。例如，可以跟踪自主车辆附近的物体……可以测量距离……可以确定速度……以及可监测角度。不幸的是，这种数字驱动数据并不能很好地呈现给人类。
发明内容
概念2
在一个实现方式中，一种计算机实现方法在计算装置上执行并且包括：接收度量数据，该度量数据至少部分地基于由自主车辆的多种传感器生成的传感器数据；处理度量数据以生成自主车辆的语义理解；以及部分地基于度量数据生成自主车辆的时间理解。
可包括以下特征中的一个或更多个。时间理解可涉及行为主体和物体的未来状态。行为主体和物体可包括动态行为主体和动态物体。处理度量数据可以包括：处理度量数据以生成自主车辆的语义理解。处理度量数据以生成自主车辆的语义理解可以包括：生成关于自主车辆的空间理解。处理度量数据以生成自主车辆的语义理解可以包括：创建/更新自主车辆和自主车辆的周围环境的状态的语义理解，由此生成语义视图。处理度量数据以生成自主车辆的语义理解可以还包括：处理语义理解以做出与环境中的动态行为主体和静态基础设施相关的复杂推断，由此生成语义推断。处理度量数据以生成自主车辆的语义理解可以还包括：处理语义理解和语义推断以做出复杂的行为决策，从而实现自主车辆的导航目标。
在另一实现方式中，计算机程序产品存在于计算机可读介质上并存储有多个指令。当由处理器执行时，这些指令致使处理器执行以下操作，这些操作包括：接收度量数据，该度量数据至少部分地基于由自主车辆的多种传感器生成的传感器数据；处理度量数据；以及至少部分地基于度量数据生成关于自主车辆的时间理解。
可包括以下特征中的一个或更多个。时间理解可涉及行为主体和物体的未来状态。行为主体和物体可以包括动态行为主体和动态物体。处理度量数据可以包括：处理度量数据以生成自主车辆的语义理解。处理度量数据以生成自主车辆的语义理解可以包括：生成关于自主车辆的空间理解。处理度量数据以生成自主车辆的语义理解可以包括：创建/更新自主车辆和自主车辆的周围环境的状态的语义理解，由此生成语义视图。处理度量数据以生成自主车辆的语义理解可以还包括：处理语义理解以做出与环境中的动态行为主体和静态基础设施相关的复杂推断，由此生成语义推断。处理度量数据以生成自主车辆的语义理解可以还包括：处理语义理解和语义推断以做出复杂的行为决策，从而实现自主车辆的导航目标。
在另一实现方式中，计算系统包括处理器和存储器，其被配置成执行以下操作，这些操作包括：接收至度量数据，该度量数据少部分地基于由自主车辆的多种传感器生成的传感器数据；处理度量数据；以及至少部分地基于度量数据生成关于自主车辆的语义理解。
可包括以下特征中的一个或更多个。时间理解可涉及行为主体和物体的未来状态。行为主体和物体可以包括动态行为主体和动态物体。处理度量数据可以包括：处理度量数据以生成自主车辆的语义理解。处理度量数据以生成自主车辆的语义理解可以包括：生成关于自主车辆的空间理解。处理度量数据以生成自主车辆的语义理解可以包括：创建/更新自主车辆和自主车辆的周围环境的状态的语义理解，由此生成语义视图。处理度量数据以生成自主车辆的语义理解可以还包括：处理语义理解以做出与环境中的动态行为主体和静态基础设施相关的复杂推断，由此生成语义推断。处理度量数据以生成自主车辆的语义理解可以还包括：处理语义理解和语义推断以做出复杂的行为决策，从而实现自主车辆的导航目标。
一个或更多个实现方式的细节在附图和下面的描述中予以阐述。其他特征和优点将通过说明书、附图和权利要求书而变得明显。
附图说明
图1是根据本公开实施例的自主车辆的示意图；
图2A是根据本公开实施例的图1的自主车辆内包括的多种系统的一个实施例的示意图；
图2B是根据本公开实施例的图1的自主车辆内包括的多种系统的另一实施例的示意图；
图3是根据本公开实施例的图1的自主车辆内包括的多种系统的另一实施例的示意图；
图4是根据本公开实施例的多个车辆监视器的示意图；
图5是根据本公开实施例的图1的自主车辆所遇到的环境的示意图；
图6是用于与根据本公开实施例的图5的环境交互的映射过程的流程图。
图7A-7C是根据本公开实施例的图1的自主车辆所遇到的环境的示意图；
图8A-8C是根据本公开实施例的图1的自主车辆所遇到的环境的示意图；
图9A-9C是根据本公开实施例的图8A-8C的环境的语义视图；
图10A是根据本公开实施例的图1的自主车辆所遇到的环境的示意图；和
图10B是根据本公开实施例的图10A的环境的语义视图。
不同视图中的相同的附图标记表示相同的元件。
具体实施方式
自主车辆概述
参考图1，示出了自主车辆10。如本领域所知，自主车辆(例如，自主车辆10)是一种能够感测其环境并在具有很少或没有人类输入的情况下移动的车辆。自主车辆(例如自主车辆10)可以结合多种传感器系统来感知其周围环境，其示例可以包括但不限于雷达、计算机视觉、激光雷达、GPS、里程表、温度和惯性传感器，其中这种传感器系统可被配置成解释道路上的车道和标记、路标、停车灯、行人、其他车辆、路边物体、危险等。
自主车辆10可包括多个传感器(例如传感器12)、多个电子控制单元(例如ECU 14)和多个致动器(例如致动器16)。因此，自主车辆10内的传感器12可以监控自主车辆10运行的环境，其中传感器12可以向ECU 14提供传感器数据18。ECU 14可以处理传感器数据18以确定自主车辆10的移动方式。ECU 14可以随后向致动器16提供控制数据20，使得自主车辆10可以以由ECU 14决定的方式移动。例如，包括在传感器12内的机器视觉传感器可以“读取”限速标志，该限速标志表明自主车辆10所行驶的道路上的限速现在是每小时35英里。包括在传感器12内的该机器视觉传感器可以向ECU 14提供传感器数据18，其表明自主车辆10所行驶的道路上的速度现在是35英里/小时(mph)。一旦接收到传感器数据18，ECU 14就可以处理传感器数据18并且可以确定自主车辆10(当前正以45mph的速度行驶)行驶得过快并且需要减速。因此，ECU 14可以向致动器16提供控制数据20，其中控制数据20可以例如施加自主车辆10的制动或消除当前正施加到加速器的任何致动信号(从而允许自主车辆10滑行，直到自主车辆10的速度降低到35mph为止)。
系统冗余
正如所想象到的那样，由于自主车辆10正由被包括在其中的多种电子系统(例如传感器12、ECU 14和致动器16)控制，因此在设计自主车辆10时，应考虑这些系统中的一个或更多个系统的潜在故障，并可采用适当的应急计划。
例如并且还参考图2A，自主车辆10内包括的多种ECU(例如，ECU 14)可以被分隔开，使得可以在逻辑方面对多种ECU(例如，ECU 14)的职能进行分组。例如，ECU 14可以包括自主控制单元50，该自主控制单元可以从传感器12接收传感器数据18。
自主控制单元50可被配置成执行多种功能。例如，自主控制单元50可以接收和处理外部感知传感器数据(例如，传感器数据18)，可以估计自主车辆10在其运行环境中的位置，可以计算自主车辆10的周围环境的表示，可以计算自主车辆10的安全轨迹，并且可以命令其他ECU(特别是车辆控制单元)使自主车辆10执行所期望的策略。自主控制单元50可以包括相当大的运算能力、永久性存储器和内存。
因此，自主控制单元50可以处理传感器数据18，以确定自主车辆10的运行方式。自主控制单元50可以随后向车辆控制单元54提供车辆控制数据52，其中车辆控制单元54可以随后处理车辆控制数据52，以确定各个控制系统(例如动力传动系统56、制动系统58和转向系统60)应该作出响应以便在车辆控制数据52内获得由自主控制单元50所定义的轨迹的方式。
车辆控制单元54可被配置成控制自主车辆10内的其他ECU。例如，车辆控制单元54可控制转向控制单元、动力传动控制单元和制动控制单元。例如，车辆控制单元54可以：向动力传动控制单元64提供动力传动控制信号62；向制动控制单元68提供制动控制信号66；以及向转向控制单元72提供转向控制信号70。
动力传动控制单元64可处理动力传动控制信号62，使得可以向动力传动系统56提供适当的控制数据(通常由控制数据20表示)。此外，制动控制单元68可处理制动控制信号66，使得可以向制动系统58提供适当的控制数据(通常由控制数据20表示)。此外，转向控制单元72可以处理转向控制信号70，使得可以向转向系统60提供适当的控制数据(通常由控制数据20表示)。
动力传动系统控制单元64可被配置成控制自主车辆10内的变速器(未示出)和发动机/牵引马达(未示出)；而制动控制单元68可被配置成控制自主车辆10内的机械/再生制动系统(未示出)；并且转向控制单元72可被配置成控制自主车辆10内的转向柱/转向齿条(未示出)。
自主控制单元50可以是高度复杂的计算系统，其可以提供密集处理能力(例如，具有多核处理器、离散协同处理单元、千兆字节内存和永久性存储器的工作站级计算系统)。相比之下，车辆控制单元54可以是一种简单得多的装置，其可以提供与包括在自主车辆10内的其他ECU(例如，具有适度的微处理器(CPU频率小于200兆赫)、小于1兆字节的系统内存和无永久性存储器的计算系统)等效的处理能力。由于这些更为简单的设计，导致车辆控制单元54可以比自主控制单元50具有更大的可靠性和耐久性。
为了进一步提高冗余性和可靠性，自主车辆10内包括的ECU(ECU 14)中的一个或更多个可被以冗余的方式配置。例如并且还参考图2B，示出了ECU 14的一种实现方式，其中使用了多个车辆控制单元。例如，该特定实现方式被示出为包括两个车辆控制单元，即第一车辆控制单元(例如，车辆控制单元54)和第二车辆控制单元(例如，车辆控制单元74)。
在该特定配置中，两个车辆控制单元(例如车辆控制单元54、74)可被以多种方式配置。例如，两个车辆控制单元(例如车辆控制单元54、74)可被配置成主动-被动配置，其中例如车辆控制器54执行处理车辆控制数据52的主动角色，而车辆控制器74承担被动角色并且基本上处于备用模式。在车辆控制单元54发生故障的情况下，车辆控制单元74可以从被动角色转变为主动角色，并承担处理车辆控制数据52的角色。作为选择，两个车辆控制单元(例如车辆控制单元54、74)可被配置成主动-主动配置，其中例如车辆控制单元52和车辆控制单元74两者都执行处理车辆控制数据54的主动角色(例如分摊工作负载)，其中在车辆控制单元54或车辆控制单元72发生故障的情况下，幸存的车辆控制单元可处理所有车辆控制数据52。
虽然图2B示出了自主车辆10内包括的多种ECU(例如ECU 14)可被以冗余的方式配置的方式的一个示例，但这仅出于说明的目的且并不旨在限制本公开，因为其他配置是可能的并且被认为处于本公开的范围内。例如，自主控制单元50可被以冗余的方式配置，其中第二自主控制单元(未示出)被包括在自主车辆10内并且被以主动-被动或主动-主动的方式配置。此外，可以预见的是，一个或更多个传感器(例如，传感器12)和/或一个或更多个致动器(例如，致动器16)可被以冗余的方式配置。因此，所明白的是，关于自主车辆10可实现的冗余水平可能仅由自主车辆10的设计标准和预算约束限制。
自主计算子系统
还参考图3，自主车辆10的多种ECU可以被分组/布置/配置以实现多种功能。
例如，一个或更多个ECU 14可被配置成实现/形成感知子系统100，其中感知子系统100可被配置成处理来自车载传感器的数据(例如，传感器数据18)，以计算自主车辆10附近的关注对象的简明表示(其示例可包括但不限于其他车辆、行人、交通信号灯、交通标志、道路标记、危险等)并识别可帮助确定自主车辆10的位置的环境特征。此外，一个或更多个ECU14可被配置成实现/形成状态估计子系统102，其中状态估计子系统102可被配置成处理来自车载传感器的数据(例如，传感器数据18)，以估计自主车辆10在其运行环境内的位置、定向和速度。此外，ECU 14中的一个或更多个可被配置成实现/形成规划子系统104，其中规划子系统104可被配置成(使用感知输出106和状态估计输出108)计算预期车辆轨迹。更进一步地，一个或更多个ECU 14可被配置成实现/形成轨迹控制子系统110，其中轨迹控制子系统110使用规划输出112和状态估计输出108(结合反馈和/或前馈控制技术)来计算致动器命令(例如控制数据20)，这些致动器命令可致使自主车辆10在其运行环境内实现其预期轨迹。
出于冗余的目的，上述子系统可被分布在多种装置(例如，自主控制单元50和车辆控制单元54、74)上。另外/作为选择，由于增大的计算需求，导致感知子系统100和规划子系统104可被几乎完全定位在自主控制单元50内，该自主控制单元50(如上所述)具有比车辆控制单元54、74高得多的计算能力。相反并且由于它们的低计算需求，导致在车辆控制单元54、74具有必要的计算能力的情况下，状态估计子系统102和轨迹控制子系统110可被完全定位在车辆控制单元54、74上；和/或被部分地定位在车辆控制单元54、74上以及部分地定位在自主控制单元50上。然而，状态估计子系统102和轨迹控制子系统110的位置在任何应急规划体系结构的设计中可能是至关重要的，因为这些子系统的位置可以决定如何计算、传输和/或实现应急计划。
轨迹计算
在自主车辆10的典型运行期间，上述自主子系统反复执行以下功能：
·使用车载传感器(例如使用传感器12)测量周围环境；
·(例如，使用感知子系统100)估计周围车辆、行人、骑车人、自主车辆10附近的其他物体的位置、速度和未来轨迹以及对位置确定有用的环境特征；
·(例如，使用状态估计子系统102)估计自主车辆10在运行环境内的位置、定向和速度；
·(例如，使用规划子系统104)规划自主车辆10所要遵循的标称轨迹，该标称轨迹使自主车辆10更为接近自主车辆10的预期目的地；以及
·(例如，使用轨迹控制子系统110)生成命令(例如，控制数据20)以致使自主车辆10实现预期轨迹
在每次迭代期间，规划子系统104可以计算可能跨越数米(距离)和数秒(时间)行程的轨迹。然而，可以更为频繁地(例如，每十毫秒)计算上述循环的每次迭代。因此，可以期望自主车辆10在计算新轨迹(由于例如感测到的环境变化，导致其可能与先前计算的轨迹不同)之前仅实现每个规划轨迹的一小部分。
轨迹实现
上述轨迹可被表示为描述自主车辆10的预期未来路径的参数曲线。在实现上述轨迹时，控制自主车辆的技术主要有两类：a)前馈控制和b)反馈控制。
在标称状况下，使用反馈控制来实现轨迹，其中反馈轨迹控制算法可以使用例如自主车辆10的运动动力学模型、每个车辆的配置参数以及对自主车辆10的位置、定向、速度进行的连续计算估计，以计算向包括在自主车辆10内的多种ECU提供的命令。
前馈轨迹控制算法可以使用自主车辆10的运动动力学模型、每个车辆的配置参数以及对于自主车辆10的初始位置、定向和速度进行的单一估计，以计算向自主车辆内包括的多种ECU提供的命令序列，其中在不使用(例如来自传感器12的)任何实时传感器数据或其他信息的情况下执行该命令序列。
为了实现上述轨迹，自主控制单元50可以使用车辆控制单元54/74作为中介而与多种ECU通信(并可以向其提供命令)。在上述轨迹实现循环的每次迭代中，自主控制单元50可以计算向它们各自的ECU(例如，分别为动力传动控制单元64、制动控制单元68和转向控制单元72)提供的转向命令、动力传动命令和制动命令，并且可将这些命令发送至车辆控制单元54/74。车辆控制单元54/74可随后验证这些命令并且可将它们传递到各个ECU(例如，分别为动力传动控制单元64、制动控制单元68和转向控制单元72)。
车辆监视器
如上所述并且在自主车辆10的典型运行期间，上述自主子系统可反复执行以下功能：使用车载传感器(例如使用传感器12)测量周围环境；(例如，使用感知子系统100)估计周围车辆、行人、骑车人、自主车辆10附近的其他物体的位置、速度和未来轨迹以及对位置确定有用的环境特征；(例如，使用状态估计子系统102)估计自主车辆10在运行环境内的位置、定向和速度；(例如，使用规划子系统104)规划自主车辆10的使自主车辆10更为接近自主车辆10的预期目的地的标称轨迹；以及(例如，使用轨迹控制子系统110)生成命令(例如，控制数据20)以使自主车辆10实现预期轨迹。
自主车辆10的运行可由车辆监视器(例如，人类车辆监视器)监控。具体地并且以与空中交通控制器监控一架或多架飞机的运行的方式类似的方式，车辆监视器可以监控一个或更多个自主车辆(例如，自主车辆10)的运行。
例如并且还参考图4，车辆监视器(例如，车辆监视器200、202、204)可被定位在集中位置(例如远程监控运行中心)中并且可以监控多个自主车辆(例如，自主车辆10)的运行。例如，车辆监视器200、202、204可以(在本示例中)监控九个自主车辆(例如，自主车辆#1至自主车辆#9)的运行，其中每一个自主车辆都在车辆监视器200、202、204的显示器上被表示为唯一的圆圈。具体地并且对于本示例，假设车辆监视器200正在监控三辆自主车辆(即，自主车辆1-3)，车辆监视器202正在监控四辆自主车辆(即，自主车辆4-7)，并且车辆监视器204正在监控两辆自主车辆(即，自主车辆8-9)。
数据映射
如上所述，自主车辆10可包括多个传感器(例如传感器12)、多个电子控制单元(例如ECU 14)和多个致动器(例如致动器16)。因此，自主车辆10内的传感器12可以监控自主车辆运行的环境，其中传感器12可以向ECU 14提供传感器数据18。ECU 14可以处理传感器数据18以确定自主车辆10的移动方式。ECU 14可随后向致动器16提供控制数据20，使得自主车辆10可以以由ECU 14决定的方式移动。因此，自主车辆10内的传感器12可被配置成感知自主车辆的周围环境，其中传感器12的示例可以包括但不限于雷达、计算机视觉、激光雷达、GPS、里程表、温度和惯性传感器，其中这种传感器系统可被配置成解释道路上的车道和标记、街道标志、停车灯、行人、其他车辆、路边物体、危险等。
因此，由传感器12生成的传感器数据18可能涉及位于自主车辆10附近的行为主体和物体，其中传感器数据18可以是数字驱动的。
因此，对于自主车辆10附近的物体，可以跟踪这些物体，其中：
·可确定自主车辆10的位置，
·可确定邻近物体(相对于自主车辆10)的位置，
·可测量每个邻近物体(相对于自主车辆10)的距离，
·可确定每个邻近物体(相对于自主车辆10)的极角，
·可确定每个邻近物体的速度，以及
·可确定每个邻近物体的轨迹。
不幸的是，由传感器12生成的传感器数据18可以是数字驱动的数据(通常被表示为度量数据152)，这些数据并不能很好地呈现给人类(并且不容易被人类所理解)。因此，自主车辆10可以执行映射过程150，其中映射过程150可被配置成处理由传感器12(直接或间接)产生的这些数字驱动的数据(例如，度量数据152)，以生成自主车辆10的语义理解(例如，语义理解154)(一般来说)和人类更容易理解的度量数据152(具体来说)。
映射过程150可被在单个ECU上执行，或者可以在多个ECU上协同执行。例如，映射过程150可以由自主控制单元50、车辆控制单元54或车辆控制单元74单独执行。作为选择，成本计算过程150可以在自主控制单元50、车辆控制模块54和车辆控制模块74的组合中协同执行。因此并且在后一种配置中，在自主控制单元50、车辆控制单元54或车辆控制单元74中的一个发生故障的情况下，幸存的控制单元可以继续执行成本计算过程150。
可被存储在与ECU 14耦合的存储装置156上的映射过程150的指令集和子程序可由ECU 14内包括的一个或更多个处理器(未示出)和一个或更多个存储器体系结构(未示出)执行。存储装置156的示例可包括但不限于：硬盘驱动器；RAID装置；随机存取存储器(RAM)；只读存储器(ROM)；以及所有形式的闪存存储装置。
对环境的传统理解与Symantec理解
自主车辆(例如，自主车辆10)可被配置成在混合交通中运行，自主车辆包括其他自主车辆、人力驾驶车辆、行人、动物和其他移动物体。传统上，自主车辆使用为人类驾驶员建造的现有基础设施并以度量方式依赖于自主车辆的周围环境的地图。例如，自主车辆将会尝试将每个物体放置在自主车辆的周围、处于通过一组坐标描述的精确位置中。
不幸的是，为了应对复杂场景，自主车辆可能需要了解其周围环境及其环境中其他行为主体的意图，其中这种理解在理论上应该是语义的(即，以符号和关系的形式予以描述)。例如，当另一轿车沿着道路堵塞住通道时，自主车辆应该理解处于该语义形式的“道路被轿车堵塞住”(与示出了道路中的障碍物的原始传感器数据形成对照)。因此，在这种情况下，自主车辆在理论上应能够区分停泊在路边的轿车与处于单行道中的车道中间的轿车。因此，在这种情况下，堵塞轿车的精确位置无关紧要，而道路是否被堵塞住则会影响自主车辆的决策过程。
应用于自主车辆的语义理解的另一示例可包括但不限于识别行为主体的意图(例如，“一个人将穿过街道”的预测)。此外，可以将更复杂的语义理解构建为预测的组合。在典型场景中，自主车辆可以同时考虑数十(或数百)种语义理解，以便做出关键决策。
一般来说，语义理解可能包括以下内容作为其主题：
·静态元素，例如道路、车道、人行横道、路标和标志；和
·动态元素，例如车辆、人和动物。
因此，可以经由以下内容构建语义理解：
·空间关系，其以语义方式就其位置相对于彼此描述静态和/或动态元素。例如，“轿车在路上”在空间上将“轿车”(动态元素)与“道路”(静态元素)联系起来，其被以语义方式(使用语言和逻辑)进行描述；和
·时间预测，其描述这些静态和/或动态元素的未来交互。例如，“一个人将穿过街道”是对在未来某个时刻穿过“街道”(空间元素)的“人”(动态元素)作出的时间预测，其被以语义方式(使用语言和逻辑)进行描述。
一般来说，对环境的语义理解不同于对环境的度量理解。在对环境的度量理解中，自主车辆可以获知另一轿车和道路的精确位置。然而，在对环境的语义理解中，自主车辆可以获知另一轿车的当前位置是否正堵塞住该道路。传统的自主车辆技术依赖于自主车辆的运行环境的度量理解。例如，关注对象(例如，人和车辆)可以仅由它们在附着到自主车辆的固定坐标系中的笛卡尔坐标表示。
然而，就自主车辆的运行环境的语义理解而言，自主车辆可以理解一个人何时将有可能穿过街道和/或另一车辆何时堵塞住车道，其中，这种语义理解会决定由自主车辆做出的未来决策的形成。
还参考图5，示出了停在交叉路口的自主车辆，并且该自主车辆根据其语义理解来解释其运行环境。
因此，自主车辆可能能够理解：
·人1和车辆1将可能相遇，并且人1将可能进入车辆1。
·车辆2位于停车位。
·人2将有可能经由人行横道穿过街道。
·车辆3将有可能停止并等待。
这种语义理解可能是有影响力的，因为它可能允许自主车辆做出以下推断决策：
·自主车辆必须在进入交叉路口前等待人2穿过街道。
·如果自主车辆需要左转，则自主车辆必须等待人1穿过街道。
重要的是，这种语义理解确实依赖于行为主体中的任一个的精确笛卡尔坐标。相反，这种语义理解依赖于逻辑和语言来得出结论。在真实世界场景中，自主车辆可能会实时做出数百个这样的推断和决策。
对环境的Symantec理解
还参考图6，映射过程150可被配置成接收300度量数据152，该度量数据152可至少部分地基于传感器数据18。如上所讨论，度量数据152可以是数字驱动数据，例如由包括在自主车辆10内的多种传感器(例如，传感器12)提供的原始传感器数据。如上所讨论，传感器12的示例可以包括但不限于雷达、计算机视觉、激光雷达、GPS、里程表、温度和惯性传感器。
映射过程150可被配置成处理302由传感器12(直接或间接)产生的这些数字驱动的数据(例如，度量数据152)，以生成自主车辆10的语义理解(例如，语义理解154)(一般来说)和人类更容易理解的度量数据152(具体来说)。
语义理解154可包括(通常)两个组成部分：空间理解158和时间理解160。因此，当处理302由传感器12(直接或间接)产生的度量数据152以生成语义理解(例如，语义理解154)时，映射过程150可以生成304关于自主车辆10的空间理解(例如，空间理解158)和/或可以生成306关于自主车辆10的时间理解(例如，时间理解160)。
·空间理解：自主车辆10的空间理解(一般来说)和度量数据152(具体来说)可能涉及自主车辆10附近的行为主体和物体及其与其当前位置相关的状态的理解。自主车辆10的周围环境的空间理解158可以通过多种算法(例如，所监督的机器学习)和通过使用原始的外部感知传感器数据(例如，光学摄像头和热摄像头、激光测距仪(或激光雷达)、雷达、超声波测距仪或自主车辆10可利用其获得周围环境的度量数据152的其他传感器，度量数据152例如为摄像头上的图素(像素)中的度量曝光值以及激光雷达、雷达和超声波测距仪中的度量范围值)而生成304。例如，语义分段算法可以将摄像头数据分割成预定义的一组语义标签，其包括人、车辆、动物和基础设施元素，例如道路、车道、人行道、标牌和信号。
·时间理解：自主车辆10的时间理解(一般来说)和度量数据152(具体来说)可能涉及其对关于其未来状态的行为主体和物体的理解。可以通过预测算法(例如，监督的、半监督的和/或自监督的机器学习方法)来生成306自主车辆10的周围环境的时间理解160，这些预测算法使用例如语义标签及其使用视觉或点云跟踪方法获得的时间轨迹。例如，可以通过环境跟踪人的度量位置，并且可以基于来自人的背景、位置、运动和视觉提示来预测人的未来轨迹。
自主车辆10的空间理解158可被经由语义空间关系来具体化，其中许多复杂的认知决策可被通过动态行为主体(例如，人和车辆)与静态基础设施(例如，道路和人行横道)之间的这些语义空间关系来实现。例如，语义空间关系“人在人行横道上”(如图7A中所示)可能要求遇到这种交互的自主车辆10表现出某种行为，以确保不会吓到人的清晰可辨的且安全的运动。在这种情况下，自主车辆10可以更快地减速以传达其停车意图。相反，当自主车辆10因交通信号灯而停车且人行横道上没有人时，这种减速可能会更加突然。
自主车辆10的时间理解160可以被经由时间预测来具体化，其中许多复杂的认知决策可被通过涉及潜在的多个动态行为主体(例如，人和车辆)和静态基础设施(例如，道路和人行横道)的语义时间预测来实现。例如，“人力驾驶车辆将在某个停车位停车”(如图7B中所示)的时间预测可能要求遇到这种交互的自主车辆10表现出某种行为。例如，自主车辆10可以为人力驾驶车辆留出足够的距离，以使该人力驾驶车辆能够进入该停车位。此外，更复杂的时间预测可能涉及多个动态行为主体和静态基础设施。例如，时间预测“一个人正进入街道对面的车道中的人力驾驶车辆”(如图7C中所示)可能要求遇到这种交互的自主车辆10表现出某种行为(例如，在这个人穿过街道到达该车辆的情况下减速以确保安全)。
一般来说，自主车辆10可以将空间语义关系和时间预测情境化，以便做出复杂的行为决策，人类驾驶员、行人和与自主车辆(例如，自主车辆10)共享道路的其他车辆都期望这种自主车辆做出这种行为决策。
因此，当处理302由传感器12(直接或间接)产生的度量数据152以生成语义理解(例如，语义理解154)时，映射过程150可以：
·创建/更新308自主车辆10和自主车辆的周围环境的状态的语义理解154(由此生成语义视图164)；
·处理310语义理解154以做出与环境中的动态行为主体和静态基础设施相关的复杂推断，由此生成语义推断162(其可被称为语义推断过程，如将在下面更详细地说明的那样)；以及
·处理312语义理解154和语义推断162以做出复杂的行为决策，从而实现自主车辆10的导航目标，同时确保安全和效率(其可被称为语义行为规划过程，如将在下面更详细地说明的那样)。
语义理解术语
静态基础设施可包括但不限于与自主车辆10的驾驶任务相关的所有静态元素，其示例可包括但不仅限于：建筑物、公园、车库、停车位、人行道、道路、机动车道、自行车道、专用车道、交叉路口、交通环岛、车道标记、道路标记、标志、锥标和信号。
动态行为主体可包括但不限于可处于与自主车辆10的驾驶任务相关的运动中的所有活动元件，其示例可包括但不仅限于：人、自行车、车辆、动物以及运动中的其他动态物体(例如，球、手推车和从车辆上落下的任何物体)。
空间关系可包括但不限于与静态基础设施和/或动态行为主体的任何组合之间的相对位置相关的语义关系。例如，“人在人行道上”(如图8A所示)描述了人(动态行为主体)和人行道(静态基础设施)之间的空间关系。
时间预测可包括但不限于与潜在的多个动态行为主体关于静态基础设施的未来语义状态相关的语义关系。时间预测可包括但不限于在概率、频率和/或任何其他不确定性编码方法方面的不确定性编码。例如，“人将通过人行横道穿过街道”(如图8B所示)是涉及人(动态行为主体)、街道(静态基础设施)和人行横道(静态基础设施)的时间预测。其他场景可涉及多个动态行为主体。例如，“人和车辆将在路边相遇”(如图8C所示)是涉及人(动态行为主体)、车辆(动态行为主体)和路边(静态基础设施)的时间预测。
语义视图
上述语义视图(例如，语义视图164)可以是具有动态广义有向树的集合的数据结构系统，包括：
·静态基础结构语义视图(例如，广义有向树图)，其具有包括所有静态基础结构元素的一组节点。广义边缘可以表示这些静态基础设施元素之间的所有语义空间关系，其中可以在标签上表明该关系的性质。例如，图8A所示场景的静态基础结构语义视图示于图9A中。
·动态行为主体语义视图(例如，广义有向树图)，其具有包括(i)静态基础结构语义视图的所有节点和(ii)所有动态行为主体的节点的一组节点。广义标记边缘的集合可包括：
1.动态行为主体与空间基础设施之间的空间关系，其中边缘被从动态行为主体节点指向空间基础设施节点，并且标签对该关系的性质进行编码。例如，图8B所示场景的动态行为主体语义视图示于图9B中
2.涉及多个动态行为主体和多个静态基础设施的时间预测，其中源节点包括所有动态行为主体，目标节点包括所有静态基础设施。标签表示该预测的性质。例如，图8C所示场景的动态行为主体语义视图示于图9C中。
图10A中示出了自主车辆遇到的示例环境，其中该示例环境包括多种静态基础设施元素以及涉及多种动态行为主体的空间关系和时间预测。与图10A的环境相对应的语义视图示于图10B中；其中所理解的是，在自主车辆10的典型运行中所面临的场景可以比图10A-10B中所描绘的示例大若干数量级。
语义视图(例如，语义视图164)可以由涉及(潜在地多个)动态行为主体和静态基础设施的一般语义关系来定义。其作为动态广义有向树图的集合的实现方式可以是通过将大量数据结合到该系统中的节点和标签中来支持最详细模型的一般抽象。语义视图(例如，语义视图164)可以将静态基础设施的显著特性(例如，它们的状况、颜色、类型、类别和状态)编码为与该静态基础设施相关联的节点中的数据。静态基础设施的可随时间流逝而改变的所有属性都可被编码为节点数据结构中的变量。例如，交通信号灯信号的状态(例如，绿色、黄色或红色)可以在表示静态基础设施语义视图中的相应静态基础设施(例如，交通信号灯信号)的节点中进行编码。
语义视图(例如，语义视图164)可以对动态行为主体和静态基础设施之间的复杂空间关系进行编码。这种关系的性质(无论多么复杂)可以被编码在广义标记边缘的标签中，其示例可以包括但不限于：动态行为主体位于静态基础设施上、邻近静态基础设施、处于静态基础设施的中心、处于静态基础设施的边缘、阻挡住静态基础设施、为静态基础设施除去障碍或以语义的方式在空间上相对于该静态基础设施描述该动态行为主体的任何其他属性。例如，在动态行为主体语义视图的相应广义标记边缘的标签中，使用必要的任何复杂数据结构对处于人行横道的起始边缘并步入该人行横道中的人进行编码。
语义视图(例如，语义视图164)可以将涉及多个动态行为主体和多个静态基础设施的复杂时间预测编码为处于其复杂关系的编码。这种关系的性质(无论多么复杂)可被编码在相应的广义标记边缘的标签中。时间预测可包括关于潜在未来空间关系的复杂时间谓词。例如，“一个人将在接下来的10秒内以90％的确定性走在人行横道上”表示复杂时间谓词，其涉及度量时间描述(在本示例中为“10秒”)以及概率谓词(在本示例中为“90％的确定性”)。通过涉及多个动态行为主体和多个空间基础设施，可以构建更为复杂的时间关系。诸如这些时间关系之类的复杂时间关系可被存储在动态语义视图中对应的广义标记边缘的标签中。
映射过程150可以若干种方式更新运行时间语义视图(例如，语义视图164)内包括的所有数据结构，其示例可包括但不限于：
·基于处理实时传感器数据的感知算法的输出，例如摄像头、激光雷达、雷达、超声波测距仪和/或任何其他外部感知数据源；
·基于与其他自主车辆或人力驾驶车辆的通信；
·基于与任何类型的静态或移动基础设施元件的通信；以及
·基于人类乘客、人类操作员和/或以任何形式向车辆提供输入的任何其他人类的输入。
语义推断方法
如上所讨论，关于将在下文描述的语义推断过程，映射过程150可以处理310语义理解154，以做出与环境中的动态行为主体和静态基础设施相关的复杂推断，由此生成语义推断162(其可被称为语义推断过程)。
一般来说，自主车辆(例如，自主车辆10)可以理解多种空间关系和时间预测如何影响其当前状态及其未来规划。因此，语义推断过程可以搜索语义视图(例如，语义视图164)，并且可以输出所有动态行为主体和静态基础设施以及影响自主车辆10的当前状态以及其规划的未来轨迹和行为的空间和时间谓词的列表。
例如，当映射过程150处理310语义理解154以做出与环境中的动态行为主体和静态基础设施相关的复杂推断时，映射过程150可以：
·通过指向静态基础结构语义视图的节点的指针，识别自主车辆10在静态基础设施语义视图中的位置。该指针可被称为自主车辆指针。例如，如果自主车辆10位于某一车道上，则自主车辆指针可以指向静态基础设施语义视图中与该车道相关联的节点。
·搜索以自主车辆指针的静态基础结构语义视图节点结尾的定向标记边缘。这种定向标记边缘的集合可被称为自主车辆关系。
·识别：
1.静态基础设施关系集：静态基础设施语义视图中的所有其他节点，其中自主车辆关系的定向标记边缘以及所述定向标记边缘的对应标签结束于该处；
2.动态行为主体关系集：动态行为主体语义视图中的所有节点，自主车辆关系的定向标记边缘以及所述定向标记边缘的相应标签开始于那里。
·返回静态基础结构关系集和动态行为主体关系集。
在静态基础设施关系集和动态基础设施关系集中，语义推断方法可以快速识别：
·自主车辆在语义上与之交互(或将来可能在语义上与之交互)的所有动态行为主体，其被编码在静态基础设施关系集中。
·此交互正在发生(或将来将发生)的所有静态基础设施，其被编码在动态行为主体关系集中的节点中。
·此类交互的性质，这些交互被编码在静态基础设施关系集和动态行为主体关系集中包含的标签中。
可以对静态基础设施视图中的自主车辆指针节点的一定数量的子节点执行语义推断方法。例如，如果车辆位于某个道路上的某个车道上的某个停车位内，则该语义推断方法可被在所有这些基础设施节点上执行，并使用所有这些节点作为其起点来返回其输出。因此，该语义推断方法可以返回影响自主车辆10的语义关系的更为广泛的视图。
语义推断方法可在自主车辆10的未来语义轨迹上执行。在这种情况下，该未来语义轨迹可通过自主车辆10计划穿越的节点列表来予以识别。可随后应用该语义推断方法，该方法将所有这样的节点视为自主车辆指针。在这种情况下，语义推断方法可被以更为有效的方式实现，例如：通过维护例如被实现为包含所有静态基础设施节点和所有动态行为主体节点的哈希表的有效列表，使得它们并不被多次处理。
语义行为规划方法
如上所讨论，并且关于将在下面描述的语义行为规划过程，映射过程150可以处理312语义理解154和语义推断162，以做出复杂的行为决策，从而实现自主车辆10的导航目标，同时确保安全和效率(其可被称为语义行为规划过程)。
一般来说，自主车辆10可以做出响应于多种复杂空间关系和时间预测的决策。这些决策通常是行为性的，其中它们可以施加一组特定的约束，在这些约束内，典型的度量规划方法可以选择特定的规划。这些行为可被在语义层面上加以设置。出于规划目的，可能需要额外的数据结构(例如，静态基础设施穿越转换系统)。该数据结构(例如，静态基础设施穿越转换系统)可以是一种转换系统，其中：
·这些状态是从静态基础结构语义视图中的节点中选择的节点；以及
·如果自主车辆10能够穿越节点所代表的相应静态基础设施元素，则存在从一个状态到另一状态的转换。
静态基础设施穿越转换系统可与基础设施一起被离线创建。然而，它可被在线更新，例如，经由从传感器获得的信息或经由与其他车辆或基础设施的通信来指示新的转换和/或受阻的转换。
语义行为规划方法可以是一种语义元规划方法，其使用语义视图(例如，语义视图164)来决定自主车辆10可能遵循的行为。因此，当映射过程150处理312语义理解154和语义推断162以做出复杂的行为决策，从而实现自主车辆10的导航目标，同时确保安全和效率时，映射过程150可以使用语义视图生成标记的马尔可夫(Markov)决策过程。
例如，映射过程150可以：
·创建马尔可夫决策过程，使得：
1.这组状态包括：
a.指示自主车辆10的空间状态的一个状态变量，该状态变量可以从静态基础设施穿越转换系统的状态中获取其值；
b.指示自主车辆10的语义状态的一个状态变量，例如：泊车、停车、加速、快速加速、缓慢移动、以运行速度移动、以运行减速度制动以及非常快速地制动；
c.表明动态行为主体的空间状态的用于每个动态行为主体的一个状态变量，其被表示为该动态行为主体可以在静态基础结构语义视图上穿越的所有节点的集合上的概率分布；以及
d.表明动态行为主体的语义状态的用于每个动态行为主体的一个状态变量，其被表示为一组语义状态的概率分布，其值取决于动态行为主体的类型及其属性。
2.动作可包括自主车辆10在穿越静态基础设施穿越转换系统中的所有潜在动作。对于静态基础设施穿越转换系统中的每个转换，在语义行为规划方法的马尔可夫决策过程中存在对应的动作，其中马尔可夫决策过程的开始状态和结束状态是静态基础设施穿越转换系统中的对应的开始状态与结束状态。
3.可以通过存储在动态行为主体语义视图的相应定向标记边缘的标签中的时间预测来计算转换概率。这些计算可以是为特定表示所特有的。根据时间预测和由自主车辆10选择的特定动作，所获得的转换概率可以表明对应的动态行为主体的新的空间状态和新的语义状态。
·通过搜索马尔可夫决策过程以查找达到不合乎要求的语义状态的风险，生成表示允许的语义行为的动作集合。通常可以从事实推断结果的方式指定不合乎要求的语义状态。例如，不合乎要求的行为是自主车辆10在接近行人将在不久的将来穿过的人行横道时加速。该方法通过将它们从对这些语义行为进行编码的动作集合中排除掉，来识别这些情况并禁止它们。
·关于其空间和时间关系的程度对所有允许的动作集合进行分组，如通过它们在语义视图(例如，语义视图164)中的接近程度(例如，通过连接它们的连续节点的数量)所描述的那样。以这种方式，这些行为在空间和时间上被局部化。
·输出所获得的标记马尔可夫决策过程以及被编码为动作集合的一组行为。
如上所讨论，自主车辆10可以执行映射过程150，其中映射过程150可被配置成处理由传感器12(直接或间接)产生的度量数据152，以生成自主车辆10的语义理解154(一般来说)和人类更容易理解的度量数据154(具体来说)。因此，一旦映射过程150生成了语义理解154，就可以以多种方式向多种实体提供语义理解154。例如：
·语义理解154可被作为显示装置168上呈现的文本提供给自主车辆10内的驾驶员(例如，驾驶员166)，该显示装置168处于驾驶员166的视觉附近。例如，映射过程150可以在显示装置166上呈现视觉消息“我们当前停止，因为道路被堵塞住”。
·语义理解154可被作为合成语音经由在驾驶员166的听觉附近的音频呈现装置170提供给自主车辆10内的驾驶员(例如，驾驶员166)。例如，映射过程150可以在音频呈现装置170上呈现音频消息“我们当前停止，因为道路被堵塞住”。
此外，可以向一个或更多个远程实体提供语义理解154。如上所讨论，车辆监视器(例如，车辆监视器200、202、204)可位于集中位置(例如远程监控运行中心)中，并且可以监控多个自主车辆(例如，自主车辆10)的运行。因此，语义理解154可被无线地发送到车辆监视器200、202、204所在的远程监控运行中心。一旦收到：
·语义理解154可被作为(分别)由车辆监视器(例如，车辆监视器200、202、204)使用的客户端电子装置(例如，客户端电子装置258、260、262)上呈现的文本提供给远程监控运行中心内的车辆监视器200和202、204。例如，映射过程150可以在客户端电子装置258、260、262中的一个或更多个上呈现视觉消息“自主车辆2613L当前停止，因为道路被堵塞住”。
通则
如本领域技术人员将理解的那样，本公开可被具体表现为方法、系统或计算机程序产品。因此，本公开可以采用完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或结合软件和硬件方面的实施例的形式，这些实施例在本文中通常被称为“电路”、“模块”或“系统”。此外，本公开可以采用计算机可用存储介质上的计算机程序产品的形式，该计算机可用存储介质具有具体体现在该介质中的计算机可用程序代码。
可以使用任何适用的计算机可用或计算机可读介质。计算机可用或计算机可读介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、设备、装置或传播介质。计算机可读介质的更具体的示例(非详尽列表)可包括以下内容：具有一根或多根导线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储装置、诸如支持因特网或内联网的传输介质之类的传输介质或磁性存储装置。计算机可用或计算机可读介质也可以是其上打印程序的纸或其他适用的介质，因为该程序可经由例如对纸或其他介质进行光学扫描而被以电子的方式捕获，然后根据需要以适用的方式进行编译、解释或以其他方式进行处理，并且随后存储在计算机存储器中。在本文献的上下文中，计算机可用或计算机可读介质可以是可以包含、存储、传送、传播或传输程序以供指令执行系统、设备或装置使用或与之相关联的任何介质。计算机可用介质可以包括所传播的数据信号，其中在基带中或作为载波的一部分具体体现了计算机可用程序代码。计算机可用程序代码可被使用任何适当的介质(包括但不限于互联网、有线、光纤电缆、RF等)来传输。
用于执行本公开的操作的计算机程序代码可被以诸如Java、Smalltalk、C++等之类的面向对象编程语言编写。然而，用于执行本公开的操作的计算机程序代码也可被以常规程序编程语言(例如“C”编程语言或类似的编程语言)编写。程序代码可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包，部分在用户的计算机上执行，部分在远程计算机上执行或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可被通过局域网/广域网/因特网(例如，网络14)连接到用户的计算机。
参考根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或框图来描述本公开。将会明白的是，流程图图示和/或框图的每个块以及流程图图示中的块和/或框图中的块的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机/专用计算机/其他可编程数据处理设备的处理器，使得经由计算机或其他可编程数据处理设备的处理器执行的指令创建了用于实现流程图和/或框图的一个或更多个块中指定的功能/动作的装置。
这些计算机程序指令也可被存储在计算机可读存储器中，这些计算机程序指令可以指示计算机或其他可编程数据处理设备以特定的方式运行，使得存储在计算机可读存储器中的指令产生包括实现在流程图和/或框图的一个或更多个块中指定的功能/动作的指令装置的制品。
计算机程序指令也可被加载到计算机或其他可编程数据处理设备上，以致使在计算机或其他编程设备上执行一系列操作步骤，以便产生计算机实现过程，使得在计算机或其他可编程设备上执行的指令提供用于实现在流程图和/或框图的一个或更多个块中指定的功能/动作的步骤。
附图中的流程图和框图可以说明根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现方式的体系结构、功能和操作。在这方面，流程图或框图中的每个块可以表示代码的模块、分段或部分，其包括用于实现指定逻辑功能的一个或更多个可执行指令。还应注意的是，在一些替代实现方式中，块中指出的功能可以有别于图中指出的顺序而出现。例如，事实上，根据所涉及的功能，连续显示的两个块可以基本上同时执行，或者这些块有时可以按照相反的顺序执行。还将注意到的是，框图和/或流程图图示的每个块以及框图和/或者流程图图示中的块的组合可以由执行指定功能或动作的基于专用硬件的系统或专用硬件和计算机指令的组合来实现。
本文中使用的术语仅出于描述具体实施例的目的且并不旨在限制本公开。如本文所用，单数形式“一种”、“一”和“该”也旨在包括复数形式，除非上下文另有明确规定。将进一步明白的是，当在本专利说明书中使用时，术语“包括”和/或“包含”指定了所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多个其他特征、整数、步骤、操作、元件、部件和/或其组的存在或添加。
所附权利要求书中的所有装置或步骤加功能元件的相应结构、材料、动作和等效物旨在包括用于与具体要求保护的其他所要求保护的元件组合执行功能的任何结构、材料或动作。对于本公开的描述已经出于说明和描述的目的而呈现，但并不旨在是穷尽的或受限于处于所公开形式的本公开。在不脱离本公开的范围和精神的情况下，许多修改和变化对于本领域技术人员来说都是显而易见的。选择和描述该实施例以便最好地解释本公开的原理和实际应用，并使本领域技术人员能够理解具有适合于预期的特定用途的各种修改的各种实施例的公开内容。
已经描述了许多实现方式。已经如此详细地描述了本申请的公开内容并通过参考其实施例，显而易见的是，在不脱离所附权利要求书中限定的公开内容的范围的情况下，可以进行修改和变化。

Claims (24)

1.一种在计算装置上执行的计算机实现方法，包括：
接收度量数据，所述度量数据至少部分地基于由自主车辆的多种传感器生成的传感器数据；
处理所述度量数据；以及
至少部分地基于所述度量数据生成关于所述自主车辆的时间理解。
2.如权利要求1所述的计算机实现方法，其中，所述时间理解涉及行为主体和物体的未来状态。
3.如权利要求2所述的计算机实现方法，其中，所述行为主体和物体包括动态行为主体和动态物体。
4.如权利要求1所述的计算机实现方法，其中，处理所述度量数据包括：
处理所述度量数据以生成所述自主车辆的语义理解。
5.如权利要求4所述的计算机实现方法，其中，处理所述度量数据以生成所述自主车辆的语义理解包括：
生成关于所述自主车辆的空间理解。
6.如权利要求4所述的计算机实现方法，其中，处理所述度量数据以生成所述自主车辆的语义理解包括：
创建/更新所述自主车辆和所述自主车辆的周围环境的状态的语义理解，由此生成语义视图。
7.如权利要求6所述的计算机实现方法，其中，处理所述度量数据以生成所述自主车辆的语义理解还包括：
处理所述语义理解以做出与所述环境中的动态行为主体和静态基础设施有关的复杂推断，由此生成语义推断。
8.如权利要求7所述的计算机实现方法，其中，处理所述度量数据以生成所述自主车辆的语义理解还包括：
处理所述语义理解和所述语义推断以做出复杂的行为决策，从而实现所述自主车辆的导航目标。
9.一种存在于计算机可读介质上的计算机程序产品，所述计算机可读介质上存储有多个指令，所述多个指令在由处理器执行时致使所述处理器执行操作，所述操作包括：
接收度量数据，所述度量数据至少部分地基于由自主车辆的多种传感器生成的传感器数据；
处理所述度量数据；以及
至少部分地基于所述度量数据生成关于所述自主车辆的时间理解。
10.如权利要求9所述的计算机实现方法，其中，所述时间理解涉及行为主体和物体的未来状态。
11.如权利要求10所述的计算机实现方法，其中，所述行为主体和物体包括动态行为主体和动态物体。
12.如权利要求9所述的计算机实现方法，其中，处理所述度量数据包括：
处理所述度量数据以生成所述自主车辆的语义理解。
13.如权利要求12所述的计算机程序产品，其中，处理所述度量数据以生成所述自主车辆的语义理解包括：
生成关于所述自主车辆的空间理解。
14.如权利要求12所述的计算机程序产品，其中，处理所述度量数据以生成所述自主车辆的语义理解包括：
创建/更新所述自主车辆和所述自主车辆的周围环境的状态的语义理解，由此生成语义视图。
15.如权利要求14所述的计算机程序产品，其中，处理所述度量数据以生成所述自主车辆的语义理解还包括：
处理所述语义理解以做出与所述环境中的动态行为主体和静态基础设施相关的复杂推断，由此生成语义推断。
16.如权利要求15所述的计算机程序产品，其中，处理所述度量数据以生成所述自主车辆的语义理解还包括：
处理所述语义理解和所述语义推断以做出复杂的行为决策，从而实现所述自主车辆的导航目标。
17.一种计算系统，所述计算系统包括被配置成执行操作的处理器和存储器，所述操作包括：
接收度量数据，所述度量数据至少部分地基于由自主车辆的多种传感器生成的传感器数据；
处理所述度量数据；以及
至少部分地基于所述度量数据生成关于所述自主车辆的时间理解。
18.如权利要求17所述的计算系统，其中，所述时间理解涉及行为主体和物体的未来状态。
19.如权利要求18所述的计算系统，其中，所述行为主体和物体包括动态行为主体和动态物体。
20.如权利要求17所述的计算系统，其中，处理所述度量数据包括：
处理所述度量数据以生成所述自主车辆的语义理解。
21.如权利要求20所述的计算系统，其中，处理所述度量数据以生成所述自主车辆的语义理解包括：
生成关于所述自主车辆的空间理解。
22.如权利要求20所述的计算系统，其中，处理所述度量数据以生成所述自主车辆的语义理解包括：
创建/更新所述自主车辆和所述自主车辆的周围环境的状态的语义理解，由此生成语义视图。
23.如权利要求22所述的计算系统，其中，处理所述度量数据以生成所述自主车辆的语义理解还包括：
处理所述语义理解以做出与所述环境中的动态行为主体和静态基础设施相关的复杂推断，由此生成语义推断。
24.如权利要求23所述的计算系统，其中，处理所述度量数据以生成所述自主车辆的语义理解还包括：
处理所述语义理解和所述语义推断以做出复杂的行为决策，从而实现所述自主车辆的导航目标。
CN202180043637.7A 2020-05-04 2021-05-04 映射系统和方法 Pending CN115769049A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063019890P 2020-05-04 2020-05-04
US63/019,890 2020-05-04
PCT/US2021/030665 WO2021226093A1 (en) 2020-05-04 2021-05-04 Mapping system and method

Publications (1)

Publication Number Publication Date
CN115769049A true CN115769049A (zh) 2023-03-07

Family

ID=78292423

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202180043634.3A Pending CN115769051A (zh) 2020-05-04 2021-05-04 映射系统和方法
CN202180043637.7A Pending CN115769049A (zh) 2020-05-04 2021-05-04 映射系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202180043634.3A Pending CN115769051A (zh) 2020-05-04 2021-05-04 映射系统和方法

Country Status (4)

Country Link
US (2) US20210339767A1 (zh)
EP (2) EP4147008A4 (zh)
CN (2) CN115769051A (zh)
WO (2) WO2021226090A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11878684B2 (en) * 2020-03-18 2024-01-23 Toyota Research Institute, Inc. System and method for trajectory prediction using a predicted endpoint conditioned network
US20230029993A1 (en) * 2021-07-28 2023-02-02 Toyota Research Institute, Inc. Systems and methods for behavior cloning with structured world models

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008089362A1 (en) * 2007-01-17 2008-07-24 Weidner David P Point of reference directions
WO2017079341A2 (en) * 2015-11-04 2017-05-11 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US9734455B2 (en) * 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US9645577B1 (en) * 2016-03-23 2017-05-09 nuTonomy Inc. Facilitating vehicle driving and self-driving
WO2018160724A1 (en) * 2017-02-28 2018-09-07 Wayfarer, Inc. Transportation system
US10671076B1 (en) * 2017-03-01 2020-06-02 Zoox, Inc. Trajectory prediction of third-party objects using temporal logic and tree search
US11537134B1 (en) * 2017-05-25 2022-12-27 Apple Inc. Generating environmental input encoding for training neural networks
US11555706B1 (en) * 2017-09-27 2023-01-17 Apple Inc. Processing graph representations of tactical maps using neural networks
EP3707572B1 (en) * 2017-11-10 2023-08-23 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles
US10627818B2 (en) * 2018-03-28 2020-04-21 Zoox, Inc. Temporal prediction model for semantic intent understanding
US11169536B2 (en) * 2018-04-09 2021-11-09 SafeAI, Inc. Analysis of scenarios for controlling vehicle operations
US11436504B1 (en) * 2018-06-11 2022-09-06 Apple Inc. Unified scene graphs
US11507099B2 (en) * 2018-09-10 2022-11-22 Drisk, Inc. Systems and methods for graph-based AI training
US11520346B2 (en) * 2019-01-30 2022-12-06 Perceptive Automata, Inc. Navigating autonomous vehicles based on modulation of a world model representing traffic entities
US11086322B2 (en) * 2019-03-19 2021-08-10 Gm Cruise Holdings Llc Identifying a route for an autonomous vehicle between an origin and destination location
US11392128B1 (en) * 2019-04-19 2022-07-19 Zoox, Inc. Vehicle control using directed graphs
EP3977226A4 (en) * 2019-06-03 2023-06-07 Realtime Robotics, Inc. APPARATUS, METHODS AND ARTICLES FOR FACILITATING MOVEMENT PLANNING IN ENVIRONMENTS HAVING DYNAMIC OBSTACLES

Also Published As

Publication number Publication date
EP4147007A4 (en) 2024-06-05
EP4147007A1 (en) 2023-03-15
EP4147008A4 (en) 2024-06-12
EP4147008A1 (en) 2023-03-15
CN115769051A (zh) 2023-03-07
US20210339767A1 (en) 2021-11-04
WO2021226093A1 (en) 2021-11-11
US20210341941A1 (en) 2021-11-04
WO2021226090A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
JP7153071B2 (ja) 自律型車両のための歩行者行動予測
US11919499B2 (en) Driving surface friction estimations using vehicle steering
US11577746B2 (en) Explainability of autonomous vehicle decision making
US11511762B2 (en) Redundancy system and method
KR20210074366A (ko) 자율주행 차량 계획 및 예측
US10730531B1 (en) Machine-learning based vehicle motion control system
CN117794803A (zh) 使用具有响应型代理预测的树搜索和/或代理滤波进行车辆轨迹控制
US20200353949A1 (en) Cost calculation system and method
CN112325898B (zh) 路径规划方法、装置、设备和存储介质
US20210341941A1 (en) Mapping System and Method
CN116261540A (zh) 碰撞避免规划系统
US20240043037A1 (en) Systems and methods related to controlling autonomous vehicle(s)
CN112969902A (zh) 运载工具的行驶表面摩擦力估计
US20190359222A1 (en) Contingency plan system and method
US20230303117A1 (en) Method and system for assessing whether a vehicle is likely to leave an off-road parking area
US11952001B1 (en) Autonomous vehicle safety system validation
US11733696B2 (en) Detecting loops for autonomous vehicles
US20240190452A1 (en) Methods and systems for handling occlusions in operation of autonomous vehicle
US11952015B2 (en) Systems and methods related to controlling autonomous vehicle(s)
US20210339766A1 (en) Infrastructure Interaction System and Method
US12005925B1 (en) Collaborative action ambiguity resolution for autonomous vehicles
Dong et al. Deep Learning for Autonomous Vehicles and Systems
CN117195678A (zh) 用于运载工具运动规划的基于控制参数的搜索空间
Al-Haija SysML-Based Design of Autonomous Multi-robot Cyber-Physical System Using

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination