CN114638148A - 用于自动化交通工具的文化敏感驾驶的安全的并且可扩展的模型 - Google Patents

用于自动化交通工具的文化敏感驾驶的安全的并且可扩展的模型 Download PDF

Info

Publication number
CN114638148A
CN114638148A CN202111543891.1A CN202111543891A CN114638148A CN 114638148 A CN114638148 A CN 114638148A CN 202111543891 A CN202111543891 A CN 202111543891A CN 114638148 A CN114638148 A CN 114638148A
Authority
CN
China
Prior art keywords
behavior
behavioral
query
data
models
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111543891.1A
Other languages
English (en)
Inventor
J·韦斯特
I·J·阿尔瓦雷兹
M·S·埃利
T·塞尔福斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobileye Vision Technologies Ltd
Original Assignee
Mobileye Vision Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobileye Vision Technologies Ltd filed Critical Mobileye Vision Technologies Ltd
Publication of CN114638148A publication Critical patent/CN114638148A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4046—Behavior, e.g. aggressive or erratic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Abstract

本申请公开了用于自动化交通工具的文化敏感驾驶的安全的并且可扩展的模型。公开了如下技术：从自然数据中导出本地驾驶行为，然后该本地驾驶行为被作为指导合并到自动交通工具(AV)的行为层中，以适应本地交通。此外，该本地驾驶行为被实现在AV性能验证过程中。该技术通过来自人类所驾驶的交通工具、ADAS交通工具和自动驾驶交通工具、和地图信息的自动众包行为数据聚合，促进这一过程的扩展。所公开的技术也实现空间行为关系数据库的创建，该数据库提供用于高效查询地理范围内的本地驾驶信息的接口，从而实现根据本地规范的自动交通工具驾驶策略的定制，并且实现交通行为分析。

Description

用于自动化交通工具的文化敏感驾驶的安全的并且可扩展的 模型
技术领域
本文所描述的方面总体上涉及实施行为建模的技术，以将文化敏感的行为调整应用于自动驾驶交通工具(AV)实施的驾驶策略。
背景技术
安全驾驶是有文化差异的。例如，纽约的人类驾驶员与爱荷华州的人类驾驶员不同地驾驶。除了安全性，自动化交通工具(AV)广泛部署的一个主要挑战是文化接受度。流行观点强烈反对AV的部署，这种不情愿的重要因素是AV驾驶像无脑的机器人，而不像本地的人类驾驶员。换言之，全局地扩展AV的能力与AV以运营AV的区域视为文化上可接受的的方式适应它们的驾驶行为能力密切相关。
附图说明
结合到本文中并构成本说明书的一部分的附图图示本公开的多个方面，并且与说明书一起，进一步用于解释多个方面的原理，并使相关领域的技术人员能够制造和使用多个方面。
图1A和图1B说明了创建行为模型的两种最先进的方法。
图2示出了根据本公开的一个或多个方面的本地行为建模系统的示例概述。
图3示出了根据本公开的一个或多个方面的示例本地行为建模系统的附加细节。
图4示出了根据本公开的一个或多个方面的被使用作为本地行为建模系统的部分的示例操纵序列过程。
图5A-图5B示出了根据本公开的一个或多个方面的示例行为模型输入/输出图。
图6示出了根据本公开的一个或多个方面的示例操纵分类状态图。
图7示出了根据本公开的一个和多个方面的地图中具有包括监管要素和被允许的操纵的属性的车道片段元素的示例。
图8A和图8B示出了根据本公开的一个或多个方面的示例行为模型图数据集的示例视觉表示。
图9A和图9B示出了根据本公开的一个或多个方面的用于从存储的行为模型图数据集中提取数据的示例API查询过程。
图10示出了根据本公开的一个或多个方面的集成过程的示例。
图11示出了根据本公开的一个或多个方面的计算设备的示例。
图12示出了根据本公开的一个或多个方面的计算设备的另一示例。
将参照附图描述本公开的示例性方面。其中要素第一次出现的附图通常由对应的附图标记中最左面的(多个)数字指示。
具体实施方式
在下面的描述中，阐述了众多具体细节以便提供对本公开的多个方面的完全理解。然而，对本领域技术人员将显而易见的是，可以在没有这些具体细节的情况下实施包括结构、系统和方法在内的多个方面。本文的描述和表示是由本领域的经验或技术人员使用来向本领域其他技术人员最有效地传达其工作的实质的通用手段。在其他实例中，未详细地描述公知的方法、过程、组件、和电路，以避免不必要地使本公开的多个方面变得模糊。
再次重申，当前的AV系统未能以反映不同地区和文化之间的本地驾驶行为的方式充分反映人类行为。取决于在AV决策逻辑的开发中采用的方法，由于超参数调整的指数性质，对文化规范的适应可能从困难(对于参数化/基于规则的系统)到几乎不可能(在数据学习依赖的情况下)。这并不奇怪，因为即使是人类驾驶员，在行驶时适应他们的驾驶风格也是具有挑战性的，因为他们自己的判断必需辨别(并内部化)其他驾驶员做的和被视为“正常的”。
不同的本地驾驶风格也会影响AV的操作的条件，在每个地理位置引入不同的安全挑战。对不同地区之间驾驶员行为的差异进行建模还可以导致更简化的系统故障率的分析以及更精确的地理特定的性能水平的预测。实现这一目的的传统尝试包括本地化的测试和微调整。此类方法执行测试/试验部署，在此期间，AV开发商对人类驾驶员(以及易受伤害的道路使用者)对AV的反应进行第一手观测，然后对驾驶策略算法进行手动调整，以模仿人类驾驶员的行为，以更好地符合他们测试的特定区域道路上的人类驾驶员。
然而，此类本地化测试和微调整技术是不可扩展的，因为理解不同位置的差异只能发生在实际部署之后。因此，本地化测试和微调整不能对“更简单”的部署位置执行有效的规划。例如，假设2年后在路上测试的AV现在已经充分优化，能够符合人类驾驶员并且像其他任何人一样在特定区域驾驶。要将该AV部署在其他任何地方(或至少具有足够不同驾驶行为的其他任何地方)，必须利用相同的昂贵的AV测试车队和所有的相同的耗时的修改重复训练过程。并且即使该过程可以被优化且只需6个月而不是2年，这仍然需要将AV与安全驾驶员和工程师一起预先部署到新区域，来手动学习新区域内人们的新驾驶方式，这些人可能不会像之前区域的人们一样驾驶。
执行区域AV模型训练的另一传统尝试包括机器学习技术的使用，诸如强化学习(RL)，其中奖励函数被指定，学习目标被确定，和/或AV的行为被动态地调节，以匹配本地行为模式，这具有的想法在于，通过这样做，AV将学习如何根据观察到的行为像本地人一样驾驶。然而，这一过程涉及使用大量观察进行训练，当位置表现出不同的行为分布时，当行为不存在于原始训练数据集中时，或者当情境提示(如标志、道路标记等)与原始数据集中显著不同时，这些大量观察需要被重复。
此外，基于RL的向人类学习的方法是众所周知有问题的。一方面，RL需要与环境交互以学习特定情况(即地理区域)的策略，因此，需要与代表性的真实人类驾驶员的集合的交互。此外，如果基准驾驶策略与真实人类驾驶员不同，那么与“真实世界”的交互也可能呈现其自身的危险，这可能导致在驾驶策略“学习”得足够以做得更好之前致使事故发生。在一些情况下，通过将人在回路中的仿真添加到RL训练流水线中，使得仿真可以在这方面有所帮助，其中策略是通过人机交互学习的(通过演示学习)。这种方法也称为“关闭策略”RL。然而，这些方法也遭受着与前文所提及的相同的问题，即，策略必须由AV将被部署的每个地理位置的人群的代表性的部分训练。
另一方面，当策略随着与环境的每次交互(即按策略RL)而不断更新时，现在的问题变成，策略学习不能以受控的方式进行，并且因此，“教师”(即与环境的交互)确实不能在任何时候都被信任。按策略RL方法的问题在于信任“教师”是利他主义的，并且不会试图与系统博弈。当人类驾驶员知道他们正在与AV打交道时(可能是由于特殊的车牌或视觉标识符)，人们可能会试图为了最大的优势而与AV博弈：比起正常人类驾驶员，他们会更多地阻断AV，比起如果是人类所驾驶的车辆，易受伤害的道路使用者会更多地走到AV的前面，等等。
因此，目前方法的任何一种都不足以实现AV的广泛的全局可扩展性而没有巨大的成本和费用。因此，为了解决这些问题，本文所描述的方面利用技术从自然数据中导出本地驾驶行为，然后将本地驾驶行为作为指导合并到AV的行为层中以适应本地交通此外，本地驾驶行为被实现到AV性能验证过程中。另外，还公开了用于通过来自人类所驾驶的交通工具和地图信息的自动众包行为数据聚合来扩展该过程的技术。仍进一步，还公开了空间行为关系数据库的创建，该空间行为关系数据库提供了用于高效查询地理范围内的本地驾驶信息的接口，实现根据本地规范定制自动交通工具驾驶策略，并实现交通行为分析。
为了这样做，并且如下文所讨论的，本文所描述的方面提取了所定义的区域内的行为特征(例如，地理围栏、道路类型等)，并将行为特征与安全行为模型(也称为安全驾驶模型或SDM)的安全保证相结合，提供观察到的行为特征作为驾驶策略的输入，以便在不违反安全保证的情况下应用文化敏感的行为调整。
根据本文进一步描述的方面，行为建模可通过多种方法实现。一种此类方法是利用众包数据，诸如当今道路上许多(如数百万)人类所驾驶的交通工具所收集的数据。另一种方法是利用保险公司或其他供应商获得的远程通信信息，这些保险公司或其他供应商精确监控他们的驾驶员的驾驶风格。使用此类方法，模型可以被离线训练，而没有恶意意图的风险，并理解加速度、制动、转向和其他与时间相关的特征，这些特征定义了某个位置的“正常”驾驶模式，或者更准确地，定义了特定位置的特定道路类型或道路段。
通过使用所得到的驾驶风格模型(使用地理或道路类型划分)，输入可以被提供给AV的特定驾驶策略的行为层，以便AV能够以这样的方式接受输入(以约束或建议的形式)：即使在没有任何实际的AV的“驾驶体验”的情况下，从它上路的那一刻起，结果的运动规划就类似于本地驾驶员。因此，本文所描述的可以从众包数据中建模驾驶行为的多个方面能够实现在不同位置对系统性能的部署前评估、以及舒适驾驶的地理特定定义。因此，本文所描述的方面通过从AV的初始部署开始以本地化定义的方式识别在这些位置处部署和驾驶的最安全位置来促进快速部署。
图1A和图1B说明了创建行为模型的两种最先进的方法。在图1A所示的方法中，使用具有路线规划、行为决策、本地运动规划和反馈控制子模块的分层结构AV系统方法创建行为模型。在图1B所示的方法中，使用端到端(E2E)方法创建行为模型，其中先前模块的所有或者一些被作为复杂神经网络构造中的潜在表示隐藏。
在图1A所示出的分层结构AV系统方法中，在找到指定被选择的道路段的序列的路线规划后，行为层负责基于其他交通参与者的所感知行为、道路状况和来自基础设施的可能信号，以便在任何时间点选择适当的驾驶行为。驾驶行为可以包括加速率、制动曲线坡度、横向运动的冲击性、喇叭的使用、转向信号，等等。传统上，指定AV应如何行为已经通过使用耦合了不同启发方式来涵盖驾驶规则和安全担忧的有限状态机来解决。然而，驾驶条件，尤其是城市场景中的驾驶条件，被表征为与道路代理(交通工具、易受伤害的道路使用者等)的大量交互，这些道路代理的行为不能被预测而没有不确定性。其他道路代理的行为中的不确定性通常在行为层使用马尔可夫决策过程或部分可观测马尔可夫决策过程(POMDP)等概率规划形式进行考虑。
另一方面，对于如图1B所示的E2E方法，驾驶决策逻辑在单个神经网络结构下被抽取，该神经网络结构根据原始或经处理的传感器输入和标记的专家控制数据进行训练。例如，网络可以使用相机输入对网络来训练，并根据输出转向和加速度的高级命令进行调节，从而使E2E网络能够遵循类似路线的引导(例如向右/向左转弯)。解决方案包括使用生成性对抗性模仿学习(GAIL)方法优化策略，克服一些级联错误，从而在长时间范围内产生稳定的轨迹。生成行为模型的学习方法需要大量的训练数据，这些数据很容易在合成(模拟)驾驶环境中创建，诸如“汽车学习行动(Car Learning to Act，CARLA)”，但在应用于实际驾驶环境时，这些数据通常会出现性能问题。这个问题被称为“域转移挑战”。
其他E2E方法通过从原始传感器数据提取网络并提供所抽取的信息来解决此问题，以应对传感器和交通工具动力学模拟器中缺乏真实感的问题。类似的方法包括使用合成环境(例如世界模型表示)呈现网络，该合成环境通过专家驾驶模拟来训练。然后向专家输入注入扰动，通过由此产生的不良行为中的损失学习来增强驾驶策略。
这项之前的工作示出，从数据中学习灵活的(可能是可推广的)行为模型是可能的。然而，尽管取得了这些进展，从真实世界数据中大规模学习行为驾驶模型仍然是一个问题。当前的研究聚焦于开发可推广的世界安全驾驶策略，该策略可以在多个领域安全地且高效地执行。但常识表明，世界上不存在任何地方行为都像“本地”司机的“世界”司机。因此，此类方法是有限的，最终需要大量的本地定制和调整，从而限制了部署的速度和规模。
本文所描述的方面提出了一种可扩展的方法，用于结合诸如安全驾驶模型(SDM)的安全行为模型的安全保证，从众包观测中确定地理围栏区域的行为特征。如本文所使用的，SDM可包括任何适当类型的模型，该模型促进、引导或以其他方式定义AV可在特定环境和特定条件集下操作的方式，诸如AV例如在环境内操作时使用的安全限制。例如，SDM可以包括开放、透明的数学模型，该模型用作确保自动驾驶交通工具安全所需遵循的目标的集合，该目标的集合已开发用于解决自动驾驶交通工具的安全问题。因此，SDM代表了模拟人类驾驶时遵循的基本原则的准则，诸如定义危险情况、危险情况的原因以及如何应对。SDM定义了与AV普遍遵循的安全考虑或安全限制相关的特定参数和技术，以尝试标准化其行为。例如，SDM可以包括可接受的安全或最小距离的定义，当满足该定义时，允许AV安全地合并到流动的交通中。作为另一个示例，SDM可定义AV保持在另一交通工具后面的安全距离。
图2示出了根据本公开的一个或多个方面的本地行为建模系统的示例概述如图2所示的本地行为建模系统200包括静态语义数据的聚合，该静态语义数据可与静态或静止地标相关联，并可与位置、道路场景或将要导航的任何合适环境(例如地图数据、车道边界、交通标志等)相关联，建模系统200还包括动态语义数据，其中可以包括来自动态的(如运动的、移动的或可移动的)道路参与者(例如交通工具、卡车、易受伤害的道路使用者等)的时间顺序语义数据。如本文进一步所讨论的，通过对道路段(或地图片)中不同驾驶操纵中的动态数据的分类来执行本地行为模型生成206。然后使用SDM 208作为对训练数据的约束来管理训练后的行为模型，以确保不安全行为不会被学习。然后在本地驾驶行为数据库210中的数据库结构中组织行为模型。应用编程接口(API)212可由部署的交通工具使用，如下文进一步详细讨论的，以对与存储在本地驾驶行为数据库210中的行为模型相关联的本地参数执行查询，该查询可根据当前道路段或其他合适的地理位置进行定义。附加地或替代地，诸如第三方、州和地方市政局等识别的其他计算设备也可以对与存储在本地驾驶行为数据库210中的行为模型相关联的本地参数执行查询，以获得交通行为分析，如本文进一步所讨论的。
图2中所示的本地行为建模系统200的细节将在本文中进一步讨论。然而，总体上，多个方面包括使用特定类型的数据经由API 212向AV的驾驶策略214的行为层提供输入，以便AV能够以生成的运动规划从它上路的那一刻就类似于本地驾驶员的方式接受输入。例如，被使用作为输入的数据可以表示与(多个)特定位置(诸如道路、交叉口、区域等)相关联的地理边界数据，并且可以可选地进一步包括针对在相应的位置重合的一天中的不同时间(例如高峰时间与周末、白天与夜晚等)的各种驾驶风格识别的数据。在示例实现中，此解决方案能够表现为类似于交通工具在驾驶任务期间使用的用于接收相关行为信息的高清地图上的语义层。
为了这样做，多个方面包括本地行为建模系统，该系统实现由任意合适数量N的驾驶员远程通信模块201.1-201.N提供的反馈，该模块可安装在不同地理位置的各种交通工具和/或道路基础设施源中。这些交通工具可以包括例如人类所驾驶的交通工具，而道路基础设施源可以包括例如道路标志和/或其他合适类型的“智能”基础设施，这些基础设施可能报告基于静态的指标。例如，远程通信模块201.1-201.N可以实现为集成在交通工具和/或道路基础设施源中的组件，或者可以实现为可以位于交通工具内或以其他方式被交通工具识别并被配置为监控、生成和发送指示每辆车的驾驶风格/行为的各种指标的组件(例如，移动设备)。替代地，如上文所提到的，动态语义信息的源可以包括其他源，诸如利用通过精确监控它们的驾驶员的驾驶风格的保险公司或其他提供商获得的远程通信信息。
此类指标的示例可包括，例如，交通工具报告的驾驶指标和/或道路基础设施源报告的静态指标，包括诸如加速度曲线(即加速度曲线的斜率)的加速度指标，诸如如制动曲线(即制动曲线的斜率)的制动指标，诸如转向曲线(即变道时转向曲线的坡度)的转向指标、车道位置、油门踏板角度、制动踏板角度、自我交通工具与所有可观察代理(即公路、城市道路、交叉口等)在不同道路类型中的其他代理之间的平均距离。附加地或替代地，远程通信模块201.1-201.N可以支持数据和/或其他无线发送的接收，诸如更新交通工具的行为模型、软件更新等。因此，远程通信模块201.1-201.N可以被实现为任何合适类型的处理电路、用于实现此功能的硬件和/或软件组件，包括使用用于实现此功能的的已知技术。在各种方面中，远程通信模块201.1-201.N可对应于任何合适类型的设备，该设备可作为任何合适类型交通工具(例如，人类所驾驶的、AV、ADAS等)的部分安装。附加地或者替代地，远程通信模块201.1-201.N可以构成现有ADAS和/或AV驾驶系统的一部分，该系统被配置为进行观测并收集关于驾驶行为、位置、不同位置的物体、道路类型等的数据。
在各种方面中，本地行为建模系统200还包括网络基础设施203，其用作远程通信模块201.1-201.N之间的接口，以向本地行为模型生成器206提供动态语义数据以及静态语义数据，这些数据可通过远程通信单元201.1-201.N或本文讨论的其他合适源提供。语义数据202、204可包括动态数据和静态数据的任何适当组合，其可在各种方面由不同类型的基础设施203、远程通信模块201等的任何组合提供。在一个方面中，网络基础设施203可以被实现为基于云的众包聚合基础设施，但是本文所描述的方面不限于此实现，并且可以为此目的实现任何合适类型的基础设施和/或接口。例如，网络基础设施203可以被实现为无线接入点、基站或其他通信网络的任何合适配置，其能够接收语义数据202、204以及转发、处理、格式化和/或发送与语义数据202、204到本地行为模型生成器206相关联的数据。
因此，在各种方面中，网络基础设施203促进大规模地从配备有远程通信模块201.1-201.N中的一个的任何交通工具收集驾驶员远程通信信息。尽管图2中示出了少量交通工具和远程通信模块201.1-201.N，但多个方面包括交通工具的数量并且对应的远程通信单元201为数百万或更多，其在本文中可被称为交通工具“车队”，提供用于此目的的各种度量。例如，远程通信模块201.1-201.N可由世界各地的实施高级驾驶员辅助系统(ADAS)技术的交通工具和/或AV实施，并且可以构成可以实施SDM 208或其他各种类型的合适驾驶模型的车队的部分。作为附加示例，当作为配备AV或ADAS的交通工具的部分实施时，远程通信模块201.1-201.N可以作为此类交通工具识别或以其他方式使用的现有AV或ADAS系统的部分或全部实施。这可以包括，例如，ADAS和/或AV系统本身和/或与此类系统相关的任何组件、传感器等(例如，相机、光检测和测距((多个)激光雷达)、无线电检测和测距((多个)雷达)、超声波传感器、处理系统、通信系统等)。
在一个方面，本地行为建模系统200还包括本地行为模型生成器206，该本地行为模型生成器206被配置为生成表示驾驶行为的驾驶行为模型。本地行为模型生成器206可以被配置为一个或多个处理器、硬件和/或软件组件，并且形成接收语义数据202、204的任何合适类型的基础设施或平台的部分，然后该基础设施或平台部分被处理以输出存储在本地驾驶行为数据库210中的本地行为模型。例如，本地行为模型生成器206、本地驾驶行为数据库210和API 212可以被实现为与一台或多台服务器计算机、数据中心或其他合适的处理设备相关联的处理电路和/或软件，合适的处理设备可以作为网络基础设施203的一部分工作，作为与网络基础设施203(例如，基于云的服务器和/或计算机)通信的单独处理组件，或图中未示出的单独网络基础设施。在其他方面中，本地行为模型生成器206、本地驾驶行为数据库210和API 212可以由AV或其他合适类型的交通工具(诸如电子控制单元(ECU)或其他合适的处理组件)本地实现。附加地，多个方面包括本地行为模型生成器206、本地驾驶行为数据库210和API 212的任意组合，这些本地行为模型生成器206、本地驾驶行为数据库210和API 212作为AV或其他合适交通工具的部分以及基于云或远程实现而在本地实现。
多个方面包括本地行为模型生成器206，其生成实现SDM 208提供的安全行为约束的本地行为模型。同样，SDM 208代表了模仿人类驾驶时遵循的基本原则的准则，诸如定义危险情况、危险情况的原因以及如何应对这些情况。通过本地行为模型生成器206生成的本地行为模型也是关于描述人类所驾驶的交通工具的行为的物理特征的数学表示。因此，本地模型生成器206可以记录与全局行为标准的偏差，并在发生此类偏差时传达这些偏差，以及用于偏离全局行为标准的驾驶行为。可以建立和实施阈值和公差，以简化任何更新(以及通信带宽以及此类更新所需的其他资源)。例如，测量的精度的水平可反映在阈值中，以避免由于测量精度约束而进行更新。
例如，本地行为模型可以使用语义数据202、204识别度量，诸如绿灯后交通工具加速的速度、交通工具在停车标志前完全停车的等待时间、换车道的时间、交通工具制动的力度，以及通常向其他驾驶员或其他非交通工具参与者(诸如易受伤害的道路使用者)提供多少距离，其中可以包括行人、自行车手或可能易受道路交通工具所采取行动伤害的任何其他合适的非交通工具参与者。
这些因素中的每一个都构成了由当地行为模式所代表的驾驶“个性”，由于文化和环境因素，这种行为模式通常与文化相关。本文所描述的方面生成本地行为模型以提供驾驶风格模型，该驾驶风格模型描述了像本地人一样驾驶意味着什么，但具有SDM 208定义的约束和特征。换言之，SDM定义了确定客观安全标准的安全边界的参数。本地驾驶风格可能最终通过在SDM208识别的安全行为所限定的准则内运行的行为模型的生成来反映(例如，交通工具加速、制动、转向、转弯等的速度)。在各种方面，这种本地行为模型的数学模型可以用不同的方式构建。例如，多个方面包括使用一系列参数(例如急动、油门踏板角度等)生成本地行为模型、耦合不同试探法的有限状态机以包含驾驶规则和安全问题或诸如马尔可夫决策过程概率规划形式。
在一个方面，本地行为建模系统200还包括本地行为数据库210，本地行为数据库210可实现为存储具有基于地理空间和操纵关系的特定结构的模型的任何合适类型的存储设备，如本文进一步所讨论的。例如，本地行为数据库210可以在包含空间和操纵关系的空间图数据库中承载或以其他方式存储现有模型及其关系，这将在下文被进一步详细讨论。为此，本地行为数据库210可以包括任何合适数量和类型的通信接口，以接收经由本地行为模型生成器206生成的本地行为模型以及支持与API 212的数据通信。在一个方面中，一旦行为模型被生成并存储在本地驾驶行为数据库210中，API 212可被实现以实现来自交通行为分析213的查询。例如，交通行为分析213可表示请求关于特定区域的特定驾驶度量的信息的第三方或州或地方政府。本文所描述的方面促进经由API 212对本地驾驶行为数据库210的此类查询。
例如，并且如下文进一步讨论的，本文所描述的方面可以支持在本地驾驶行为数据库210中存储数据，以支持查询和提取可能对各个政府当局、市政局等有用的任何适当类型的数据。尤其是，因为本地驾驶行为数据库210可以根据不同的区域级别存储数据，所以根据期望的区域和粒度，这对于不同的城市来说可能特别有用。例如，行为查询可以在多个尺度级别上执行(例如，道路段、本地区、自治市、市、县、州、国家等)。例如，州政府可能希望获得州内公路沿线驾驶行为的相关信息，而较小的城镇可能希望获得骑自行车者行为的相关信息。另一个例子是，较大市可能需要与市内某些点/位置(诸如十字路口)的异常驾驶行为相关的信息，这可能导致此类行为的根本原因，如基础设施差、交通灯周期太短、标志不充分等。在一个方面中，本文所描述的可以使用于本地驾驶行为数据库210的节点链式结构提供了元地理模型，该元地理模型实现在多个尺度级别(例如，道路段、本地区、自治市、市、县、州、国家等)进行行为查询以提供此类信息。
在一个方面，本地行为建模系统200还包括，对于实现本地行为模型的每个交通工具，查询接口被配置为促进代理使用本地行为数据库210进行基于位置的参数提取或地理边界分析。图2中示出了AV驾驶策略框214之间的查询接口，该查询接口是经由特定AV使用根据API 212的通信实现的，因此其功能是实现查询本地行为数据库210，并且经由API212，还实现查询与驾驶行为模型或行为模型本身相关的任何合适参数，例如驾驶风格参数、交通代理预测和交通行为分析。API 212可根据任何合适数量和/或类型的通信协议、数据通信接口等来实现，其可包括已知API和/或API结构。例如，AV驾驶策略框214可以由一个或多个本地AV组件(例如，一个或多个电子控制(多个)单元，(多个)ECU)实现，每个AV使用这些组件使用本地行为模型来执行自主导航功能。以这种方式，AV可以使用API 212来查询一个或多个本地驾驶风格参数，这些参数随后被合并到其自己的行为层中。这样做会产生一个运动规划任务，该任务会像本地人一样模拟驾驶。
图3示出了根据本公开的一个或多个方面的示例本地行为建模系统。如图3所示的本地行为建模系统300展示了从原始数据捕获到模型创建的流程图，并提供了关于本地行为建模系统200和本地行为模型的生成的附加细节，如参考图2所讨论的。在一个方面，一旦为特定位置创建了驾驶风格的本地行为模型，则可以使用相同的众包基础设施分发本地行为模型以收集数据，并且交通工具可以“动态”部署驾驶风格，而无需重大软件更新。
如图3所示的本地行为建模系统300提供了关于行为模型生成的两个阶段的附加细节，包括数据准备和模型训练。如图3所示的本地行为建模系统300包括与上文关于如图2所示的本地行为建模系统200讨论的过程相似或相同的几个过程。因此，为了简洁起见，将不重复与这些过程相关联的细节。如上文关于图2所讨论的，本地行为建模系统300可包括执行本文所描述的功能的各种阶段或框。例如，这可以通过与一个或多个服务器计算机相关联的任何合适类型的处理电路或其他合适的处理设备来实现，这些处理设备可以作为底层基础设施的部分操作，或者作为与基础设施通信的远程和/或单独的处理组件操作(例如，基于云的服务器和/或计算机)。在一个方面，本地行为建模系统300包括经由适当的基础设施(图3中未示出)收集语义数据202、204，如上文参考图2所讨论的。然而，阶段或框306、308、310、312、314和316提供了关于如图2所示的本地行为模型生成器206的操作方式的附加细节。
更具体地，作为数据准备和标记阶段306的部分，第一阶段包括准备和标记接收到的语义数据202、204，其可以包括静态语义数据和动态语义数据。这可以包括，例如，识别或分类本文所讨论的特定类型的驾驶和/或静态度量，该度量确定是否以及如何将所收集度量的特定组件使用作为行为模型的部分。该过程在图4中以附加细节描绘，示出了根据本公开的一个或多个方面的操纵序列过程。作为说明性示例，数据准备和标记阶段306可聚合静态语义数据和动态语义数据，其可包括从交通工具车队或其他来源(例如通过远程通信模块201.1-201.N)众包的道路参与者标记数据。如图4中所示，该过程可包括例如定位、与地图片和车道对齐以及用于模型训练的过滤。
接下来，在操纵分类阶段308中，准备和标记的数据被使用于在每个确定的地图片中将连续的目标轨迹划分为不同的驾驶操纵段。例如，可对顺序数据记录执行操纵分类，其中图4所示的来自操纵分类法数据库的操纵标签(例如车道保持、跟车、切出、切入、左转等)根据从初始时间戳到序列的结束时间的自我交通工具和其他周围交通工具的位置被匹配。因此，如图4所示，多个方面包括来自道路代理的众包动态参与者数据(例如，动态语义信息)，其随后与车道对齐、过滤、分类并存储在操纵序列数据库310中的每个操纵中。
返回参考图3，一旦操纵序列存储在操纵序列数据库310中，多个方面包括根据特定操纵序列在行为模型训练阶段312中训练行为模型。图5A－图5B中进一步示出了与该训练阶段相关联的细节。如图5A所示，数据准备和标记阶段306从过滤后的静态语义数据输出静态数据，并从过滤后的动态语义数据输出动态数据。因此，模型从如图5A－图5B所示的地图接收静态场景信息，包括车道几何描述、标识符、车道层次表示等。
此外，过滤后的动态数据被顺序提取，以提供与特定静态地图位置相关的一段时间内的数据序列的序列。例如，过滤可以基于先前位于相同地图片、道路段等的其他交通工具，这些交通工具已执行类似或相同的操纵，或作为类似或相同操纵的部分参与。换句话说，多个方面包括，在训练阶段，模型接收与之前提取的操纵相关联的输入度量，以包括历史增量观测的时间顺序的方式接收自我交通工具和其他操纵相关交通工具的数量“n”，其可表示为Ot＝{{{epose,Δpose},{vpose1,Δvpose1},…{vposen,Δvposen}},如图5A－图5B所示。例如，在上文所描述的符号中，epose可能代表自我交通工具的位置，Δpose可能表示与自我交通工具之前时间位置的差(增量)，vpose1可能代表另一辆车的速度，Δvpose1可能代表相对于自我交通工具的速度差，依此类推。
此外，行为模型每个输入接收SDM标签SDMstate将当前状态作为训练反馈，以将输出行为限制为SDM安全公式定义的安全观察行为。如图5B中进一步详细所示，为了车道保持操纵而训练或以其他方式生成的行为模型在本示例中由两个长期-短期记忆神经网络(LSTM)组成，其例如可以根据已知的LSTM神经网络运转。本文所描述的以生成行为模型的输入是通过示例而非限制的方式提供的，并且任何合适类型的数据可以基于将在特定位置和/或诸如一天中的时间、一天、一周、在不同类型天气期间等的其他各种驾驶情境定义的特定类型的驾驶行为来使用。因此，行为模型可以使用任何合适的数据集来生成，以便可以根据所使用的输入类型进行查询，如本文中进一步讨论的。
LSTM神经网络的使用是通过示例而非限制的方式提供的，并且方面包括任何合适类型的机器学习技术和/或架构的使用。此外，尽管这些模型在本发明中被称为经过训练，但这是为了便于解释，并且是通过示例而不是限制的方式使用。本文所描述的方面可以实现任何合适类型的行为模型构造，包括那些可以被训练的行为模型以及任何其他合适类型的行为模型，这些行为模型不一定需要训练，而是可以使用应用于其输入的约束集来生成期望的输出数据。例如，本文所描述的方面可实现基于规则的模型、回归模型、支持向量机、状态机Petri网等，其可以(但不一定要求)从训练数据集学习。
然而，与传统RNN、隐马尔可夫模型和其他序列学习方法相比，使用LSTM可能特别有利，因为LTSMs对时间延迟长度不太敏感，因此可以处理和预测给定未知持续时间的时滞以及各种大小和密度的数据的时间序列。这使得经训练的行为模型在输出预测所需的增量历史的持续时间以及行为模型能够预测轨迹的未来时间方面具有高度灵活性。在一个方面，如图5B所示，行为模型输出以概率密度函数形式给出的自我代理的预测轨迹，其中，对于从后面的操纵学习位置预测的未来f时间点t＝{tc+1,…,tc+f}，自我交通工具的位置的可能性为epred t＝(xt,yt)i。在一个方面，对于每个操纵，输出还可以附加地或替代地伴随特征参数，诸如纵向和横向最小距离或最小间隙(用于发起切出操纵)，或SDM定义的其他合适参数。
在一个方面，为了训练LSTM行为模型，根据下文等式1实现以下均方误差(MSE)损失函数，如下所示：
等式1：
Figure BDA0003415125420000151
其中t＝{tc+1,tc+2,…,tc+f}是未来的时间点，et pred是在时间t的自我交通工具的预测坐标，并且et true是真值。是SDM测量的危险状态的加权“折扣”。在一个方面，然后使用随机梯度下降优化器来训练LSTM行为模型。该训练过程针对特定道路段(例如地图片)中的现有操纵序列观测的每一个重复进行，对应于静态数据。例如，参考回图3，
Figure BDA0003415125420000152
关于图5A-图5B所讨论的示例行为模型可对应于车道保持模型，其在图3的框314处被标记为“行为模型‘A’”。因此，在该示例中，行为模型A能够实现未来在同一位置的其他交通工具的车道保持操纵，并且，由于行为模型根据静态地图数据链接到地理位置，该经训练的行为模型促进其他交通工具以在同一位置镜像其他驾驶员的方式这样做。本文所述的行为训练模型过程可针对任何适当数量的不同操纵和位置重复，以生成覆盖任何适当大小和/或形状的特定地理区域的经训练的行为模型组。继续参考图3，多个方面包括通过在框316应用行为模型空间/关系处理以集成方式将生成的行为模型存储在空间行为数据库318中，其实现如本文进一步讨论的地理边界查询。
如图3所示，空间行为数据库318存储行为模型和伴随参数，其具有通过框316的数据处理建立的空间关系结构。例如，参考图5A－图5B描述的操纵行为模型的输出，该输出存储在行为模型数据库314，可以用作创建空间行为模型数据库318的起点，该空间行为模型数据库318将本地学习的行为模型聚合在关系结构中。因此，如参考图2所示和描述的，行为模型数据库314和空间行为数据库318中的每一个可以用本地驾驶行为数据库210来识别。尽管图2示出了用于存储本地学习行为模型(例如存储在数据库314中)和本地学习行为模型(例如存储在数据库318中)的空间行为结构的单个数据库，但这是为了简洁和易于解释，并且本文所描述的方面可以将本地学习的行为模型和本地学习的行为模型的空间行为结构存储在相同的存储位置或单独的位置，在多个方面。
如图2所示，AV驾驶策略326因此可以被AV驾驶策略框214识别。AV驾驶策略框326可以包括AV驾驶策略，在目标环境(例如，在特定国家或地区)中部署AV策略之前或期间，该AV驾驶策略通过验证调整框322根据特定的一组度量(即安全基准)进行评估。此外，与法规比较框324可以表示根据现有道路的规则评估本地行为查询的结果的过程，现有道路的规则可以包括适用于地理围栏驾驶区域的几个法律交通规则。因此，部署规划框328可以表示AV交通工具在何处(地理上)行驶的规范以便被测试、收集额外数据、商业运营(包括先前的验证调整)、根据法规检查性能、其他车队管理考虑事项等。
在任何情况下，多个方面包括使用至少两种类型的关系属性来存储空间行为数据库318内的行为模型。本文提供的示例是以示例的方式而非限制性的方式，并且方面包括被使用于此目的的任何合适的关系属性。作为示例，第一关系属性包括一个操纵与特定地理位置的其他操纵之间的关系。图6中表示了操纵类型和转移概率的示例分类法，其中行为模型表示为节点，并且在时间t+1一个操纵转变为另一个操纵的可能性表示为连接各个节点的链路(或边)，每个相应的链接中的值表示归一化的可能性。当然，并不是所有的道路段或道路片都能实现所有的操纵。因此，给定完整的操纵分类法，根据众包自然数据，只有链路的子集可能存在且具有高于0的概率。
继续这个示例，重要的关系属性的第二个由空间位置表示。例如，行为模型每一个可以链接到特定道路段，并且道路段可以基于道路拓扑相互链接。此概念应用于现有地图数据结构中。例如，开放街道地图(OpenStreetMap)通过利用使用节点、路径和关系的拓扑图对环境进行建模，其中路径表示节点列表(多段线)，关系由指定的节点角色或属性组成。用于自动驾驶的其他地图格式中也实现了同样的想法。例如，参考图7，“车道片段(lanelets)”使用相邻多段线的图表示道路段，其中还包括其他信息，诸如监管速度限制或允许的操纵类型作为节点属性。
在一个方面，行为模型空间/关系处理框316按比例处理生成的行为模型，然后其被存储在空间行为数据库318中。为了这样做，多个方面包括行为模型空间/关系处理框316，其使用两种类型的节点来建立基于图形的数据库结构和各种行为道路模型之间的关系。例如，行为模型空间/关系处理框316可以建立表示地图描述符(诸如多段线)的道路节点，这些地图描述符通过邻接和位置与类似节点具有关系链接，并且可以包含道路属性，诸如上文监管元素、方向性、车道优先级等。行为模型空间/关系处理框316还可以建立行为节点，该行为节点包含到其中收集了相应训练数据的道路节点(位置)的链接，以及到具有作为操纵转移概率的值的其他行为节点的链接。
地图部分的示例行为模型图数据集的快照的视觉表示如图8A-图8B所示，其描绘了存储在空间行为数据库318中的行为模型的图形数据库结构的示例可视化如图8A所示，道路节点被标记为“1”，并且邻接关系被表示为道路节点之间的连接。在图8A中，行为节点表示为未标记的圆，并且道路节点和行为节点之间的连接表示本地性属性。如图8B中进一步详细所示，连接各种行为节点的链路表示操纵转移概率。因此，图8A中所示的行为模型图数据集800因而可以构成特定操纵的行为模型的集合，这些行为模型的集合在空间上链接到对应的位置(例如，道路段、片等)。图8A中所示的行为模型图数据集800是以示例的方式，并且当然可以包括任何合适数量的道路节点和行为节点，以覆盖任何合适大小的合适区域(例如交叉口、多条街道、整个城市等)。空间行为数据库318可以对于任何合适数量的这样的区域以行为模型图数据集格式存储任何合适数量的行为模型。
因此，各种行为节点表示与特定类型的操纵相关联的行为模型，该操纵根据如上文参考图5A－图5B所讨论的动态和静态数据进行训练。参考图8B，行为模型图850的部分包括连接到道路节点R001的三个行为节点B-1、B-2、B-3。因此，例如，道路节点R001表示与从上文参考例如图5A所讨论的静态数据导出的地图相关联的特定位置。因此，该道路节点R001可以表示特定的地理位置，诸如可以关联各种操纵分类的道路段或地图片。这些不同的操纵分类在图8B中表示为相应行为节点B-1、B-2和B-3。作为说明性示例，行为节点B-1可表示当前车道中剩余的交通工具，行为节点B-2可以表示向左切出的交通工具，行为节点B-3可表示向左切入的交通工具，如图4所示的已经通过操纵分类308分类的操纵序列310。
对于特定的操纵分类，各种行为节点之间的箭头表示转移概率，该转移概率表示交通工具将从一种操纵类型(例如与B-1相关联的操纵)转移到另一种操纵类型(例如与B-3相关的操纵)的概率，在本示例中为10％的概率。作为说明性示例，如果第一辆车已经跟随第二辆车10分钟，并且第二辆车被识别为正在减速，则第一辆车可能具有在特定时刻超越第二辆车的特定概率。当然，随着额外数据的收集，结构和转移概率可以以动态的方式随着时间发展，并且因此图8B中所示的示例表示具有相关位置(道路节点)的各种操纵转移的转移概率基于行为模型训练的特定时间实例，适用于以基于位置的方式查询行为模型的交通工具。换句话说，虽然道路节点之间的链接可能不会经常改变(例如，对于道路建设、绕道等)，但行为节点之间的链接本质上是动态的，并且随着新的自然数据被捕获以反映实际行为和操纵之间的转换可能会改变。
因此，回到图8A，存储在空间行为数据库318中的行为模型集可以具有所示示例提供的结构，使得每个特定位置(例如，由标记为1的道路节点表示的道路片或道路段)可能与由链接的行为节点(未标记)表示的特定动作集相关联。因此，当交通工具在不同地理位置之间移动时，交通工具可利用行为模型的不同部分，该行为模型由交通工具相对于道路节点的对应位置识别。
该结构实现AV使用与行为模型中的特定道路节点匹配的交通工具的特定位置，通过API 320查询空间行为数据库318，以获取本地行为，例如，如图3所示。本文讨论的查询可以实时或离线执行，识别需要跨多个模型的数据聚合的查询的延迟限制，尽管这些类型的查询通常不具有实时应用需求。为了这样作，在一个方面，行为模型图数据集可以实现为现有地图数据结构(诸如车道片段、开放驾驶(OpenDrive)或道路体验管理(REM))之上的层，其允许查询动态交通行为。下文进一步详细地提供关于各种使用例和用于查询空间行为数据库318和提取有用信息的所利用的机制(例如，经由API212)的示例。在一个方面，上文所描述的节点链接结构提供元地理模型，该元地理模型实现在多个尺度级别(例如，道路段、本地区、自治市、市、县、州、国家等)进行行为查询。方面包括空间行为数据库318，该空间行为数据库318除了存储与道路节点相关联的位置数据外，还存储与在特定地理位置驾驶相关的任何合适类型的情境参数(诸如例如，一天中的时间、天气条件等)。附加地或者替代地，空间行为数据库318可存储单独的行为模型图数据集，以促进使用一个或多个特定位置、时间、一周中的一天、天气条件等来查询数据，然后可根据所查询的特定数据或参数提供表示驾驶行为的数据。
如本文所描述的，行为模型图数据集可存储可为各种目的提取的有价值的数据。例如，这可以包括如图2所示的前述交通行为分析。附加地或者可选地，可以通过任何合适类型的API(例如，如图2所示的API 212)查询行为模型图数据集，以提取用户、人类所驾驶的交通工具、ADAS系统和/或AV的数据。
例如，查询可以链接到特定情境或应用，或者以其他方式基于特定情境或应用，为该情境或应用指定了从存储的行为模型图数据集中提取的特定类型的数据。查询可与存储的行为模型图数据集的任何合适部分相关联，其可包括行为模型本身、与本文所讨论的行为模型相关联的参数、到行为模型的输入和输出、与行为模型相关联的位置等。例如，在某些情况下，单个节点可以被查询，诸如例如经由在利用道路节点识别的特定位置处的AV然而，在其他情况下，查询可能与所请求的特定区域的数据相关联，因此可以涉及查询多个节点。在各种方面中，可以对于存储在空间行为数据库318中的行为模型图数据集执行单个节点和多个节点类型的查询。图9A和图9B说明了与用于从存储的行为模型图数据集提取数据的API查询过程相关联的附加细节，其中图9A表示单个节点查询的示例过程，图9B表示多节点查询的示例过程。
如图9A所示，用户901可代表例如交通工具自动化系统或在数据库后端执行分析的人类用户。查询可以以任何合适的格式、方式和/或根据任何合适的协议来构造，例如，以SQL类型语言构造的查询，该查询定义了具有用户901感兴趣的位置和操纵属性以及请求的参数的驾驶状况(情境)。API 212在框902处解析查询，并且，如果驾驶情境(情况)被充分定义，则查询将识别感兴趣的位置和操纵以及任何其他合适类型的情境搜索参数，该任何其他合适类型的情境搜索参数可能与在特定时间、地点和特定状况(诸如例如，一天中的时间，天气状况)等确定特定类型的驾驶行为相关。单个节点查询可以包括，例如，与在特定实例中影响自我交通工具的定制的参数相关的查询。自然语言表达式中此类单个节点查询的示例包括：
对于[该]道路段，在同一车道和方向上跟随交通工具的平均行车距离是多少？
进入[下一条]曲线时使用的平均破断拉力是多少？
停车时，交通工具在[该]四向交叉口等待多长时间？
沿同一方向和相反方向行驶的代理之间的平均横向间距是多少？
这些查询中的每一个都可能涉及独特的位置和操纵，并且因此该查询可以指向特定的道路节点和反映该操纵的链接行为节点，如图8A－图8B所示。因此，可以从存储在空间行为数据库318中的行为模型图数据集中提取信息。在一个方面，查询包括识别满足查询谓词的行为节点，将问题转换为模型的输入，以及检索和过滤正确答案。因此，查询可以包括匹配在查询中定义的位置，该位置用于存储在空间行为数据库318中的道路节点行为模型图数据集，以及匹配该位置和链接到该道路节点位置的特定(多个)操纵的(多个)链接行为模型。
图9B包括存储在空间行为数据库318中的行为模型图数据集的多节点查询的附加细节。在图9B所示的示例中，存在多个匹配节点，因此针对这些节点中的每一个重复查询，并且执行集成策略以聚合来自多个相关节点的数据。
多节点查询的一些示例可能涉及对一种类型的操纵感兴趣的较大地理位置、有多个操纵类型的单个道路节点，或两种类型的多个。自然语言中此类多节点查询的示例包括：
德国右转车道的间距大小(距离)是多少？
[该]道路段的平均横向距离是多少？
纽约市超过道路速度限制的平均驾驶时间百分比是多少？
因此，如图9B所示，提供此类查询的解决方案需要查询多个行为节点，并应用集成逻辑来组合来自多个行为模型的预测。换句话说，多个方面包括在图9B的框960处应用的集成逻辑，所述集成逻辑被执行为使得每个选择的行为模型对集成作出贡献，所述集成输出经由输出模型框962和滤波框914的读取返回给用户901的最终预测。下文参考图10提供与如图9B的框960所示的集成过程相关联的附加细节。
在框960处执行的集成过程可以包括用于多节点查询的模型输出的组合，以构造查询响应。取决于所进行的特定类型的查询，本文所描述的方面可以包括根据任何合适的策略或技术执行集成。集成技术的两个示例包括装袋和提升，下文将进一步详细描述这两个示例，但本文的方面不限于这些特定示例。例如，可以应用其他集成策略，诸如使用机器学习技术所学习的集成。
装袋可以作为集成过程的一个示例来实现，这对于请求“平均”数据值的查询可能特别有用，因为该技术专注于减少单个行为模型预测的方差。参考图10，取决于所涉及节点的数量，加权组合可以被应用于以下行为模型预测的每一个
Figure BDA0003415125420000211
其中权重wi被相等地或者遵循预定义地逻辑方案应用。例如，更多权重可以被应用于属于更靠近当前位置的道路段或与道路拓扑最匹配的道路段的行为模型。作为另一个示例，可以实现“多数票”，其中Y＝argKmax[card(i|w(yi)＝k)]作为装袋技术的又一示例，可根据在每个段上花费的平均时间(例如，在段上行驶的概率质量)对行为模型输出y执行加权。
提升可以作为集成过程的另一个示例来实现，这对于请求参数“最大”值的查询可能特别有用，因为序列中的每个行为模型都经过拟合，从而基于之前模型无法处理的内容更多的重要性，因此，在响应的分布中创建了强烈的偏差。例如，可以使用集成学习方法Adaboost来指导预测，其可以利用关系
Figure BDA0003415125420000212
其中ci表示序列系数，并且yi表示模型预测。当涉及大量模型时，此解决方案可能变得过于复杂，因此可能会应用近似技术，诸如Merler，S.，Caprile，B.，和Furlanello，C.(2007)中所描述的；通过权重动力学并行化AdaBoost。计算统计与数据分析，51(5)，2487-2498。
图11示出了根据本公开的各种方面的示例性计算设备。计算设备1100(在本文中也称为本地处理电路或本地处理系统)可作为本文所述的人类驾驶、ADAS交通工具和/或AV的部分实施，其使用驾驶策略来导航和作出关于特定操纵的决策，以及何时根据经训练的行为模型执行特定操纵。同样，本文所描述的方面不限于本文所描述的示例，并且在该示例中由计算设备1100执行的功能可以附加地或替代地由实现计算设备1100的交通工具的其他组件执行。
在一个方面，计算设备1100可以对于其安装或以其他方式构成部分的交通工具的特定应用、类型和用途以不同方式实现。例如，计算设备1100可以用交通工具安全系统的一个或多个部分来识别。继续该示例，计算设备1100可以包括处理电路1102以及一个或多个存储器1104。计算设备1100可以被集成为其被实现于的交通工具的部分，作为一个或多个虚拟机，该一个或多个虚拟机作为虚拟机监控程序相对于交通工具的一个或多个现有系统运行，作为AV的控制系统、作为AV的ECU等。作为另一个示例，计算设备1100可以被实现为计算系统，以促进对交通行为分析213的查询，如本文所讨论的。
因此，计算设备1100可以使用AV的安全系统或其他合适系统的现有组件来实现，并且可以通过修改这些处理组件中的一个或多个的操作和/或功能的软件更新来实现。在其他方面中，计算设备1100可包括扩展或补充AV的安全系统或其他合适系统的操作的一个或多个硬件和/或软件组件。这可以包括添加或更改AV安全系统或其他合适系统的一个或多个组件。在又一其它方面中，计算设备1100可实施为独立设备，其作为对其所实施于的AV的售后修改而安装。
计算设备1100还可以形成远程通信模块201.1-201.N的部分(或全部)，例如，如本文关于图2所讨论的。不管特定实现如何，为了执行本文所描述的各种功能，计算设备1100可以包括处理电路1102、存储器1104和通信接口1110。提供图11中所示的组件是为了便于解释，并且方面包括实现如图11中所示的附加、较少或替代组件的计算设备1100。
在各种方面中，处理电路1102可配置为任何合适数量和/或类型的计算机处理器，其可用于控制计算设备1100或其所实现于的交通工具的其他组件。处理电路1102可以用由计算设备1100实现的一个或多个处理器(或其合适部分)来识别。例如，可以例如利用一个或多个处理器(诸如主机处理器、数字信号处理器、一个或多个微处理器、图形处理器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)的部分(或全部)等)来识别处理电路1102。
在任何情况下，多个方面包括被配置为执行指令以执行算术、逻辑和/或输入/输出(I/O)操作的处理电路1102，和/或控制计算设备1100的一个或多个组件的操作，以从以本地相关的方式利用经训练的行为模型的交通工具的角度执行与本文所描述方面相关联的各种功能。例如，处理电路1102可包括一个或多个微处理器核、存储器寄存器、缓冲器、时钟等，并且可以生成与电子组件相关联的电子控制信号，以控制和/或修改计算设备1100和/或交通工具的一个或多个组件的操作，如本文所讨论的。此外，多个方面包括与存储器1104和/或通信接口1110相关联的功能进行通信和/或控制功能的处理电路1102。
在一方面，存储器1104存储数据和/或指令，使得当指令被处理电路1102执行时，处理电路1102执行如本文所描述的各种功能。存储器1104可以被实现为任何公知的易失性和/或非易失性存储器，包括例如只读存储器(ROM)、随机存取存储器(RAM)、闪存、磁存储介质、光盘、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)等等。存储器1104可以是不可移动的、可移动的、或两者的组合。例如，存储器1104可以被实现为存储一个或多个可执行指令(诸如例如，逻辑、算法、代码等)的非暂态计算机可读介质。
如下文进一步所讨论的，存储在存储器1104中的指令、逻辑、代码等由图11所示的各种模块表示，这些模块可使本文所公开的方面能够在功能上被实现。可替代地，如果经由硬件实现本文所描述的方面，则图11中所示的与存储器1104相关联的模块可以包括用于促进控制和/或监测此类硬件组件的操作的指令和/或代码。换言之，图11中所示的模块是为了易于对关于硬件与软件组件之间的功能关联进行解释而提供的。因此，多个方面包括处理电路1102，该处理电路602与一个或多个硬件组件一起执行存储在这些相应模块中的指令，以执行与如本文进一步讨论的各方面相关联的各种功能。
在一个方面，存储在驾驶策略模块1106中的可执行指令可与处理电路1102一起，促进存储和/或访问存储的用于特定位置的特定操纵的行为模型，其可响应于经由API引擎1108和查询模块1109执行的查询。因此，存储在存储器1104中的行为模型1107可以根据AV在对应地理位置执行的特定动作来训练或以其他方式生成(例如离线)，如本文所讨论的。当然，行为模型1107可以存储在另一个存储器位置中，或者由AV以各种方式访问。基于AV的特定位置和正在执行的操纵，AV可以实时访问行为模型1107(例如，如果行为模型1107先前或最近已经更新)，或者在这样做之前使用经由API发送的查询和响应更新行为模型1107，如本文所讨论的。
例如，多个方面包括存储在存储器1104中的正在离线训练或以其他方式生成的行为模型1107。更新过程随后可以实现来自各种数据源(例如，静态和动态语义数据)的数据的管理，这些数据源例如可以如本文参考图3所描述的来众包(例如，众包自然数据)。因此，当接收到新的语义数据时，行为模型生成过程可以更新特定空间区域的行为模型。这样做是为了反映观察到的行为随着时间的变化。以这种方式，确保对与行为模型相关联的数据的任何查询都是在最新的模型上完成的，这些模型存储在存储器1104中和/或通过查询获得(例如，对于与存储在空间行为数据库318中的行为模型相关联的数据)。可选地，多个方面包括存储较旧行为模型的存储器1104和/或空间行为数据库318，并且来自此类较旧行为模型的输出的组合随后可用于提供例如趋势的历史分析。
同样，驾驶策略1106可表示指示AV如何导航或以其他方式执行经训练的操纵的各种数学模型，其可包括基于本地衍生动态数据的驾驶风格，如本文所讨论的。因此，驾驶策略1106可以包括与AV SDM相关联的各种参数，以及可以包括如图11所示的行为层的行为模型1107的实现。行为模型1107可以包括，例如，如本文所讨论的，如图5A-5B中所述的一组空间链接的行为模型。这些可以本地存储在存储器1104中，在实现计算设备1100的交通工具导航到与行为模型图数据集中的道路节点相对应的位置时动态更新，或者动态查询和更新，如本文所讨论的。AV所使用的行为模型1107可以被作为输入提供给驾驶策略1106的行为层，以执行在特定地理位置和/或在特定条件集下的特定操纵，如本文所讨论的。
为了发送和接收数据，多个方面包括实现通信接口1110的计算设备1100(或利用作为交通工具现有安全系统或其他合适系统或组件的部分的此类接口)。通信接口1110可操作以根据合适的通信协议实现通信。通信接口可用于支持本文描述的关于远程通信模块201.1-201.N的功能，例如，用于从与将由AV导航的特定环境相关联的移动参与者发送动态语义数据。例如，通信接口1110可以促进如本文所讨论的指示交通工具的驾驶风格/行为的各种度量的发送，其可表示用于训练行为模型的动态语义数据和/或静态语义数据以及存储在空间行为数据库318中的地图部分、地图片、区域等的伴随行为模型图数据集。
通信接口1110可以促进经由API引擎1108和查询模块1109执行查询。因此，API引擎1108可以结合处理电路1108工作，以确定、格式化和发送特定类型的查询，以及接收、解码和更新行为模型1107，然后使用从行为模型图数据集返回的此类查询的结果执行(例如，执行动作)，如本文所描述的。因此，通信接口1110可以促进其中实现的交通工具接收响应于API查询的数据，以确定用于要执行的特定位置和操纵的特定类型的行为模型，如本文所讨论的。
图12示出了根据本发明各种方面的示例性设备。计算设备1200可以被实现为本文讨论的基础设施组件的部分(或全部)，其可以执行诸如接收发送的静态和动态语义数据、训练和存储行为模型等操作，以及响应所存储的行为模型图数据集的特定查询提供数据。例如，计算设备1200可以实现为各种基础设施或网络组件，诸如服务器、计算机、基于云的基础设施组件等。
在一个方面，计算设备1200可以包括处理电路1202以及一个或多个存储器1204和通信接口1212。提供图12中所示的组件是为了便于解释，并且方面包括实现如图12中所示的附加、较少或替代组件的计算设备1200。
在多个方面中，处理电路1202可配置为任何合适数量和/或类型的计算机处理器，其可用于控制计算设备1200或其所实现于的组件的其他组件。处理电路1202可以用由计算设备1200实现的一个或多个处理器(或其合适部分)来识别。例如，可以例如利用一个或多个处理器(诸如主机处理器、数字信号处理器、一个或多个微处理器、图形处理器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)的部分(或全部)等)来识别处理电路1202。
在任何情况下，多个方面包括处理电路1202，该处理电路1202被配置为执行指令以执行算术、逻辑和/或输入/输出(I/O)操作，和/或控制计算设备1200的一个或多个组件的操作，以从可以与一个或多个交通工具(例如AV)通信的一个或多个组件的角度执行与本文所述方面相关联的各种功能。例如，处理电路1202可以包括一个或多个微处理器核、存储器寄存器、缓冲器、时钟等，并且可以生成与电子组件相关联的电子控制信号，以控制和/或修改如本文所讨论的计算设备1200的一个或多个组件的操作。此外，多个方面包括与存储器1202和/或通信接口1204相关联的功能进行通信和/或控制功能的处理电路1212。
在一方面，存储器1204存储数据和/或指令，使得当指令被处理电路1202执行时，处理电路1202执行如本文所描述的各种功能。存储器1204可以被实现为任何公知的易失性和/或非易失性存储器，包括例如只读存储器(ROM)、随机存取存储器(RAM)、闪存、磁存储介质、光盘、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)等等。存储器1204可以是不可移动的、可移动的、或两者的组合。例如，存储器1204可以被实现为存储一个或多个可执行指令(诸如例如，逻辑、算法、代码等)的非暂态计算机可读介质。
如下文进一步所讨论的，存储在存储器1204中的指令、逻辑、代码等由图12所示的各种模块表示，这些模块可使本文所公开的各方面能够在功能上被实现。可替代地，如果经由硬件实现本文所描述的方面，则图12中所示的与存储器1204相关联的模块可以包括用于促进控制和/或监测此类硬件组件的操作的指令和/或代码。换言之，图12中所示的模块是为了易于对关于硬件与软件组件之间的功能关联进行解释而提供的。因此，多个方面包括处理电路1202，该处理电路602与一个或多个硬件组件一起执行存储在这些相应模块中的指令，以执行与如本文进一步讨论的各方面相关联的各种功能。
在一个方面，存储在行为模型生成引擎1206中的可执行指令可以结合处理电路1202，促进使用本文所讨论的静态和动态语义数据训练或以其他方式生成行为模型。例如，数据处理模块1207可以包括执行数据准备、标记、过滤和操纵分类的指令，如本文参考图3和图4所讨论的。例如，机器学习网络1209可以使用经由数据处理模块1207处理的数据的结果来根据任何合适类型的机器学习技术执行行为模型生成和/或训练。例如，机器学习训练网络1209可以实现诸如本文关于图5A-图5B所讨论的LSTM的神经网络生成操纵和地理位置特定行为模型。
在一个方面，数据处理模块1207可以附加地将生成的行为模型作为行为模型图数据集存储在合适的存储位置，诸如空间行为数据库318，例如，如本文参考图3所讨论的。因此，数据处理模块1207可结合处理电路1202促进将行为模型转换为图数据集格式，例如，如本文参考图8A-8B所讨论的。行为模型图数据集可以本地地存储在存储器1204(未示出)中或如本文所讨论的另一可访问位置(例如，经由通信接口1212发送到另一数据库或存储位置)。
为了发送和接收数据，多个方面包括实现通信接口1212的计算设备1200。通信接口1212可操作以根据合适的通信协议实现通信。通信接口可用于支持本文描述的关于接收由交通工具或其他组件(例如，计算设备1100)发送的查询和/或其他数据的功能，以接收与将由AV导航的特定环境相关联的静态和动态语义数据。
在一个方面，API引擎1210可以用于经由通信接口1212发送和接收查询和/或其他数据。为此，查询处理模块1211可包括当经由处理电路1202执行时促进对所接收的单个节点和/或多节点查询的解码的指令，如本文参考图9A－图9B所讨论的。查询处理模块1211因此可以解释与本文所讨论的行为模型图数据集相关联的数据和/或参数的特定查询。例如，这可以包括将查询中指定的地理位置与行为模型图数据集中的一个道路节点表示的地理位置相匹配，确定响应于根据连接到(多个)所识别的道路节点的行为节点的查询而提取和发送的行为模型和/或其他数据。查询处理模块1211还可以处理查询，并且一旦确定了适当的查询信息，使用如本文关于图10所讨论的集成过程来执行多节点查询。
一旦检索到查询的数据，查询处理模块1211可以与通信接口1212结合工作，通过API引擎1210执行的API返回查询的数据。因此，查询处理模块1211可以结合处理电路1202和API引擎1210，对从行为模型图数据集返回的此类查询的结果进行格式化和发送，如本文所讨论的。
本文描述的方面可以通过存储和查询行为模型图数据集的方式有利地促进各种应用。例如，一旦返回查询结果，自动驾驶系统可以通过在其运行时环境中加载所需的参数来利用这些结果来定制其行为。此外，结果可作为报告机制利用，以导出当前驾驶行为和当地法规之间的数据驱动的差异(差距)，或根据当地驾驶行为对自动交通工具性能的报告进行调整。可利用本文所述方面的实际应用的若干实例包括调整自我行为、预测更好的目标、调整对地理位置的验证结果，以及向监管机构提供用于部署前监管决策的具体的、数据驱动的案例。
示例
以下示例涉及进一步的多个方面。
示例1是一种计算设备，包括：通信接口，该通信接口配置为接收与静止地标相关联的静态语义数据和来自道路参与者的动态语义数据，静态语义数据和动态语义数据分别与将由自动交通工具(AV)导航的环境相关联；以及处理电路，该处理电路被配置为使用静态语义数据和动态语义数据生成行为模型的集合，该行为模型的集合中的每一个与将由AV在对应地理位置执行的操纵相关联，其中通信接口进一步被配置为：从AV接收查询，该查询与行为模型的集合中、具有与从AV接收的查询的地理位置匹配的对应地理位置的多个行为模型中的至少一个行为模型相关联；以及响应于该查询，发送与该多个行为模型中的至少一个行为模型相关联的数据，以使AV根据与所接收的行为模型中的至少一个行为模型相关联的所接收数据执行操纵。
在示例2中，示例1的主题，其中AV具有关联的驾驶策略，并且其中与至少一个行为模型关联的数据由AV接收，并作为输入提供给AV驾驶策略的行为层以执行操纵。
在示例3中，示例1-2的任何组合的主题，其中处理电路被配置为根据神经网络生成行为模型集。
在示例4中，示例1-3的任意组合的主题，其中AV利用安全驾驶模型(SDM)，该模型定义了AV在环境中操作时遵循的安全指南，并且其中处理电路被配置为使用以下各项作为输入来生成行为模型的集合中的行为模型：(i)AV的地理位置，(ii)度量的集合，包括与AV和同一地理位置的多个其他AV的历史增量观测相关联的时间顺序数据，以及(iii)SDM标签，该SDM标签将生成的行为模型的输出行为限制为SDM定义的安全观察行为
在示例5中，示例1-4的任意组合的主题，其中处理电路被配置为将行为模型集存储在具有图数据集结构的数据库中，以提供行为模型图数据集。
在示例6中，示例1-5的任意组合的主题，其中行为模型图数据集合包括(i)多个道路节点，该多个道路节点在图数据集中的每个边缘表示中彼此互连，多个道路节点中的每一个表示对应地理位置，以及(ii)多个行为节点，多个行为节点中的每一个连接到多个道路节点中的至少一个，行为节点中的相应每一个表示与特定操纵相关联的行为模型，该特定操纵将由AV在与相应连接的道路节点相关联的对应地理位置处执行。
在示例7中，示例1-6的任何组合的主题，其中，处理电路被进一步配置为：响应于查询，通过将查询的地理位置与由多个道路节点中的相应一个道路节点所表示的地理位置相匹配来识别与多个行为模型中的至少一个行为模型相关联的数据；并且响应于查询，根据连接到多个道路节点中的所识别的相应一个道路节点的行为节点来确定与多个行为模型中的至少一个行为模型相关联的数据以用于发送。
在示例8中，示例1-7的任意组合的主题，其中查询是对与行为模型图数据集相关联的数据的多节点查询，并且其中，处理电路进一步被配置为：响应于多节点查询，通过执行包括装袋或提升中的至少一个的集成过程来确定与多个行为模型中的至少一个行为模型相关联的数据以用于发送。
示例9是与自主交通工具(AV)相关联的电子控制单元(ECU)，该ECU包括：通信接口，该通信接口被配置为发送来自道路参与者的动态语义数据的通信接口，该动态语义数据与将由AV导航的环境相关联；以及处理电路，该处理电路被配置为生成与已使用与环境相关联的、动态语义数据和利用静止地标识别的静态语义数据生成的行为模型的集合中的至少一个相关联的查询，行为模型的集合中的每一个与将由AV在对应地理位置执行的操纵相关联，其中通信接口进一步被配置为：发送该查询；响应于所发送的查询，接收与行为模型的集合中、具有与由查询指定的地理位置相匹配的对应地理位置的多个行为模型中的至少一个行为模型相关联的数据；并且根据与多个行为模型中的至少一个行为模型相关联的所接收数据执行操纵。
在示例10中，示例9的主题，其中AV利用驾驶策略在环境中导航，并且其中与AV接收到的至少一个行为模型相关联的数据被作为输入提供给驾驶策略的行为层以执行操纵。
在示例11中，示例9-10的任意组合的主题，其中AV使用安全驾驶模型(SDM)，该模型定义了AV在环境中操作时遵循的安全指南，并且其中使用以下各项作为输入来生成模型的集合中的行为模型：(i)AV的地理位置，(ii)度量的集合，包括与对于AV和在同一地理位置的多个其他AV的历史增量观测相关联的时间顺序数据，以及(iii)SDM标签，该SDM标签将生成的行为模型的输出行为限制为SDM所定义的安全观察行为。
在示例12中，示例9-11的任意组合的主题，其中行为模型的集合存储在具有图数据集结构的数据库中，以提供行为模型图数据集，其中查询通过应用编程接口(API)发送，以从行为模型图数据集中检索数据。
在示例13中，示例9-12的任意组合的主题，其中行为模型图数据集合包括(i)多个道路节点，该多个道路节点在图数据集中的每个边缘表示中彼此互连，多个道路节点中的每一个表示相应的地理位置，以及(ii)多个行为节点，多个行为节点中的每一个连接到多个道路节点中的至少一个，行为节点中的相应每一个表示与特定操纵相关联的行为模型，该特定操纵将由AV在与对应连接的道路节点相关联的对应地理位置处执行。
在示例14中，示例9-13的任意组合的主题，其中所发送的查询导致：对与多个行为模型中的至少一个行为模型相关联的数据的识别，该识别是基于查询中指定的地理位置与由多个道路节点中的相应一个道路节点所表示的地理位置的匹配；以及对与多个行为模型中的至少一个行为模型相关联的数据的确定，该确定是根据连接到多个道路节点中的所识别的相应一个道路节点的行为节点。
在示例15中，示例9-14的任意组合的主题，其中查询是对于与行为模型图数据集关联的数据的多节点查询，并且其中，所发送的查询导致对与多个行为模型中的至少一个行为模型相关联的数据的确定，该确定是基于包括装袋或提升中的至少一个的集成过程。
示例16是与自主交通工具(AV)相关联的计算机可读媒体，其上存储有指令，该指令当由一个或多个处理器执行时，会导致AV：发送来自道路参与者的动态语义数据，该动态语义数据与将由自主交通工具(AV)导航的环境相关联；生成与行为模型的集合中的至少一个相关联的查询，该行为模型的集合是已经使用与环境相关联的、动态语义数据和利用静止地标识别的静态语义数据生成的，行为模型的集合中的每一个与将由AV在对应地理位置执行的操纵相关联；通过应用编程接口(API)发送查询；以及响应于所发送的查询，接收与行为模型的集合中、具有与由查询指定的地理位置匹配的对应地理位置的多个行为模型中的至少一个行为模型相关联的数据；以及根据与接收到的行为模型中的至少一个行为模型相关联的接收到的数据执行操纵。
在示例17中，示例16的主题，其中AV利用驾驶策略在环境中导航，并且其中计算机可读介质进一步包括指令，该指令当由一个或多个处理器执行时，使与AV接收到的至少一个行为模型相关联的数据，作为输入被提供给驾驶策略的行为层以执行操纵。
在示例18中，示例16-17的任意组合的主题，其中AV使用安全驾驶模型(SDM)，该模型定义了AV在环境中操作时遵循的安全指南，并且其中使用以下各项作为输入来生成行为模型的集合中的行为模型：(i)AV的地理位置，(ii)度量的集合，包括与对于AV和在同一地理位置的多个其他AV的历史增量观测相关联的时间顺序数据，以及(iii)SDM标签，该SDM标签将生成的行为模型的输出行为限制为SDM所定义的安全观察行为。
在示例19中，示例16-18的任意组合的主题，其中行为模型的集合存储在具有图数据集结构的数据库中，以提供行为模型图数据集，并且其中计算机可读介质进一步包括指令，该指令当由一个或多个处理器执行时，导致请求来自行为模型图数据集的数据的查询。
在示例20中，示例16-19的任意组合的主题，其中行为模型图数据集合包括(i)多个道路节点，该多个道路节点在图数据集中的每个边缘表示中彼此互连，多个道路节点中的每一个表示相应的地理位置，以及(ii)多个行为节点，多个行为节点中的每一个连接到多个道路节点中的至少一个，行为节点中的相应每一个表示与特定操纵相关联的行为模型，该特定操纵将由AV在与相应连接的道路节点相关联的对应地理位置处执行。
在示例21中，示例16-20的任意组合的主题，其中所发送的查询导致：对与多个行为模型中的至少一个行为模型相关联的数据的识别，该识别是基于查询中指定的地理位置与由多个道路节点中的相应一个道路节点所表示的地理位置的匹配；以及对与多个行为模型中的至少一个行为模型相关联的数据的确定，该确定是根据连接到多个道路节点中的所识别的相应一个道路节点的相应行为节点。
在示例22中，示例16-21的任意组合的主题，其中查询是对于与行为模型图数据集关联的数据的多节点查询，并且其中，所发送的查询导致基于对与多个行为模型中的至少一个行为模型相关联的数据的确定，该确定是根据包括装袋或提升中的至少一个的集成过程。
示例23是一种计算装置，包括：通信装置，该通信装置用于接收与静止地标相关联的静态语义数据和来自道路参与者的动态语义数据，静态语义数据和动态语义数据各自与将由自动交通工具(AV)导航的环境相关联；以及处理装置，该处理装置用于使用静态语义数据和动态语义数据生成行为模型的集合，该行为模型的集合中的每一个与将由AV在对应地理位置执行的操纵相关联，其中通信装置进一步：从AV接收查询，该查询与行为模型的集合中、具有与从AV接收的查询的地理位置相匹配的对应地理位置的多个行为模型中的至少一个行为模型相关联；以及响应于该查询，发送与该多个行为模型中的至少一个行为模型相关联的数据，以使AV根据与所接收的行为模型中的至少一个行为模型相关联的所接收数据执行操纵
在示例24中，示例23的主题，其中AV具有关联的驾驶策略，并且其中与至少一个行为模型关联的数据由AV接收，并作为输入提供给AV驾驶策略的行为层以执行操纵。
在示例25中，示例23-24的任意组合的主题，其中处理装置根据神经网络生成行为模型的集合。
在示例26中，示例23-25的任意组合的主题，其中AV利用安全驾驶模型(SDM)，该模型定义了AV在环境中操作时遵循的安全指南，并且其中处理装置使用以下各项作为输入来生成行为模型的集合中的行为模型：(i)AV的地理位置，(ii)度量的集合，包括与AV和同一地理位置的多个其他AV的历史增量观测相关联的时间顺序数据，以及(iii)SDM标签，该SDM标签将生成的行为模型的输出行为限制为SDM定义的安全观察行为
在示例27中，示例23-26的任意组合的主题，其中处理装置将行为模型的集合存储在具有图数据集结构的数据库中，以提供行为模型图数据集。
在示例28中，示例23-27的任意组合的主题，其中行为模型图数据集合包括(i)多个道路节点，该多个道路节点在图数据集中的每个边缘表示中彼此互连，多个道路节点中的每一个表示对应地理位置，以及(ii)多个行为节点，多个行为节点中的每一个连接到多个道路节点中的至少一个，行为节点中的相应每一个表示与特定操纵相关联的行为模型，该特定操纵将由AV在与相应连接的道路节点相关联的对应地理位置处执行。
在示例29中，示例23-28的任意组合的主题，其中处理装置进一步：响应于查询，通过将查询的地理位置匹配到多个道路节点中的相应一个道路节点所表示的地理位置，来识别与多个行为模型中的至少一个行为模型相关联的数据；并且响应于查询，根据连接到多个道路节点中的所识别的相应一个道路节点的行为节点来确定与多个行为模型中的至少一个行为模型相关联的数据，以用于发送。
在示例30中，示例23-29的任意组合的主题，其中查询是对与行为模型图数据集相关联的数据的多节点查询，并且其中，处理装置进一步：响应于该多节点查询，通过执行包括装袋或提升中的至少一个的集成过程，来确定与多个行为模型中的至少一个行为模型相关联的数据，以用于发送。
示例31是与自主交通工具(AV)相关联的电子控制单元(ECU)，该ECU包括：通信装置，用于发送来自道路参与者的动态语义数据，该动态语义数据与将由AV导航的环境相关联；以及处理装置，用于生成与行为模型的集合中的至少一个相关联的查询，该行为模型的集合是已使用与环境相关联的、动态语义数据和利用静止地标识别的静态语义数据生成的，该行为模型的集合中的每一个都与将由AV在对应地理位置执行的操纵相关联，其中通信装置进一步：发送查询；响应于所发送的查询，接收与行为模型的集合中、具有与查询指定的地理位置相匹配的多个行为模型中的的集合中至少一个行为模型相关联的数据；并且根据与该多个行为模型中的至少一个行为模型相关联的所接收数据执行操纵。
在示例32中，示例31的主题，其中AV利用驾驶策略在环境中导航，并且其中与AV接收到的至少一个行为模型相关联的数据被作为输入提供给驾驶策略的行为层的输入以执行操纵。
在示例33中，示例31-32的任意组合的主题，其中AV使用安全驾驶模型(SDM)，该模型定义了AV在环境中操作时遵循的安全指南，并且其中使用以下各项作为输入来生成行为模型的集合中的行为模型：(i)AV的地理位置，(ii)度量的集合，包括与对于AV和在同一地理位置的多个其他AV的历史增量观测相关联的时间顺序数据，以及(iii)SDM标签，该SDM标签将生成的行为模型的输出行为限制为SDM所定义的安全观察行为。
在示例34中，示例31-33的任意组合的主题，其中行为模型的集合存储在具有图数据集结构的数据库中，以提供行为模型图数据集，其中查询通过应用编程接口(API)发送，以从行为模型图数据集中检索数据。
在示例35中，示例31-34的任意组合的主题，其中行为模型图数据集合包括(i)多个道路节点，该多个道路节点在图数据集中的每个边缘表示中彼此互连，多个道路节点中的每一个表示对应地理位置，以及(ii)多个行为节点，多个行为节点中的每一个连接到多个道路节点中的至少一个，行为节点中的相应每一个表示与特定操纵相关联的行为模型，该特定操纵将由AV在与相应连接的道路节点相关联的对应地理位置处执行。
在示例36中，示例31-35的任意组合的主题，其中所发送的查询导致：对与多个行为模型中的至少一个行为模型相关联的数据的识别，该识别是基于查询中指定的地理位置与由多个道路节点中的相应一个所表示的地理位置的匹配；以及对与多个行为模型中的至少一个行为模型相关联的数据的确定，该确定是根据连接到多个道路节点中的所识别的相应一个道路节点的行为节点。
在示例37中，示例31-36的任意组合的主题，其中查询是对于与行为模型图数据集关联的数据的多节点查询，并且其中，所发送的查询导致对与多个行为模型中的至少一个行为模型相关联的数据的确定，该确定是基于包括装袋或提升中的至少一个的集成过程。
示例38是与自主交通工具(AV)相关联的计算机可读媒体，其上存储有指令，该指令当由一个或多个处理器装置执行时，会导致AV：发送来自道路参与者的动态语义数据，该动态语义数据与将由自主交通工具(AV)导航的环境相关联；生成与行为模型的集合中的至少一个相关联的查询，该行为模型是已使用与环境相关联的、动态语义数据和利用静止地标识别的静态语义数据生成的，行为模型的集合中的每一个与将由AV在对应地理位置执行的操纵相关联；通过应用编程接口(API)发送查询；以及响应于所发送的查询，接收与行为模型的集合中、具有与查询指定的地理位置匹配的对应地理位置的多个行为模型中的至少一个行为模型相关联的数据；以及根据与所接收的行为模型中的至少一个行为模型相关联的所接收的数据执行操纵。
在示例39中，示例38的主题，其中AV利用驾驶策略在环境中导航，并且其中计算机可读介质进一步包括指令，该指令当由一个或多个处理器装置执行时，使与AV接收到的至少一个行为模型相关联的数据，作为输入被提供给驾驶策略的行为层以执行操纵。
在示例40中，示例38-39的任意组合的主题，其中AV使用安全驾驶模型(SDM)，该模型定义了AV在环境中操作时遵循的安全指南，并且其中使用以下各项作为输入来生成模型的集合中的行为模型：(i)AV的地理位置，(ii)度量的集合，包括与对于AV和在同一地理位置的多个其他AV的历史增量观测相关联的时间顺序数据，以及(iii)SDM标签，该SDM标签将生成的行为模型的输出行为限制为SDM所定义的安全观察行为。
在示例41中，示例38-40的任意组合的主题，其中行为模型的集合存储在具有图数据集结构的数据库中，以提供行为模型图数据集，并且其中计算机可读介质进一步包括指令，该指令当由一个或多个处理器装置执行时，导致请求来自行为模型图数据集的数据的查询。
在示例42中，示例38-41的任意组合的主题，其中行为模型图数据集合包括(i)多个道路节点，该多个道路节点在图数据集中的每个边缘表示中彼此互连，多个道路节点中的每一个表示对应地理位置，以及(ii)多个行为节点，多个行为节点中的每一个连接到多个道路节点中的至少一个，行为节点中的相应每一个表示与特定操纵相关联的行为模型，该特定操纵将由AV在与各自连接的道路节点相关联的对应地理位置处执行。
在示例43中，示例38-42的任意组合的主题，其中所发送的查询导致：对与多个行为模型中的至少一个行为模型相关联的数据的识别，该识别是基于查询中指定的由多个道路节点中的相应一个所表示的地理位置的匹配；以及对与多个行为模型中的至少一个行为模型相关联的数据的确定，该确定是根据连接到多个道路节点中的所识别的相应一个道路节点的相应行为节点。
在示例44中，示例38-43的任意组合的主题，其中查询是对于与行为模型图数据集关联的数据的多节点查询，并且其中，所发送的查询导致对与多个行为模型中的至少一个行为模型相关联的数据的确定，该确定是基于包括装袋或提升中的至少一个的集成过程。
如所示出和所描述的设备。
如所示出和所描述的方法。
结论
具体方面的前述描述将如此充分地揭示本公开的一般性质，以至于其他人可以通过应用本领域技术内的知识就容易地修改和/或改编诸如这些具体方面之类的各种应用，而无需过度实验，并且不背离本公开的一般概念。因此，基于本文展现的教示和指导，此类改编和修改旨在落入所公开多个方面的等效方案的含义和范围内。应理解，本文中的措辞或术语是出于描述而非限制的目的，使得本说明书的术语或措辞将由本领域技术人员根据教示和指导来解释。
说明书中对“一个方面”、“方面”、“示例性方面”等的引用指示所描述的方面可包括特定的特征、结构或特性，但是并非每个方面都可必然包括该特定的特征、结构或特性。而且，此类短语不一定是指同一方面。此外，当结合一方面描述特定的特征、结构或特性时，认为结合无论是否被明确描述的其他方面而影响此类特征、结构或特性是在本领域技术人员的知识范围之内的。
本文所描述的示例性方面是出于说明性目的而提供的，而不是限制性的。其他示例性方面是可能的，并且可以对示例性方面进行修改。因此，说明书并旨在限制本公开。相反，本公开的范围仅根据所附权利要求及其等价物来限定。
多个方面可实现在硬件(例如电路)、固件、软件或其任何组合中。各方面还可实现为储存在机器可读介质上的指令，这些指令可由一个或多个处理器读取和执行。机器可读介质可包括用于存储或发送机器(例如，计算设备)可读形式的信息的任何机制。例如，机器可读介质可包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)等等。进一步地，固件、软件、例程、指令在本文中可被描述为执行特定动作。然而，应当理解，此类描述仅仅是出于方便起见，并且此类动作实际上起因于计算设备、处理器、控制器、或其他设备执行固件、软件、例程、指令等。进一步地，实现方式变体中的任一者可以由通用计算机执行。
出于本讨论的目的，术语处理电路摂或处理器电路摂应理解为(多个)电路、(多个)处理器、逻辑或其组合。例如，电路可以包括模拟电路、数字电路、状态机逻辑、其他结构电子硬件或其组合。处理器可以包括微处理器、数字信号处理器(DSP)、或其他硬件处理器。处理器可以利用指令“硬编码”，以根据本文描述的多个方面来执行相应的(多个)功能。可替代地，处理器可以访问内部和/或外部存储器以检索存储在存储器中的指令，当该指令由处理器执行时，执行与处理器相关联的(多个)相应功能，和/或与具有包含在其中的处理器的组件的操作相关的一个或多个功能和/或操作。
在本文所描述的一个或多个示例性方面中，处理电路可以包括存储数据和/或指令的存储器。存储器可以是任何公知的易失性和/或非易失性存储器，包括例如只读存储器(ROM)、随机存取存储器(RAM)、闪存存储器、磁存储介质、光盘、可擦除可编程只读存储器(EPROM)、和可编程只读存储器(PROM)。存储器可以是不可移动的、可移动的、或两者的组合。

Claims (23)

1.一种计算设备，包括：
通信接口，所述通信接口被配置为接受与静止地标相关联的静态语义数据和来自道路参与者的动态语义数据，所述静态语义数据和所述动态语义数据每个与将由自主交通工具(AV)导航的环境相关联；以及
处理电路，所述处理电路被配置为使用所述静态语义数据和所述动态语义数据生成行为模型的集合，所述行为模型的集合中的每一个与将由AV在对应地理位置执行的操纵相关联，
其中，所述通信接口进一步被配置为：从所述AV接收查询，所述查询与所述行为模型的集合中、具有与从所述AV接收的所述查询的地理位置相匹配的对应地理位置的多个行为模型中的至少一个行为模型相关联；以及响应于所述查询而发送与所述行为模型中的所述至少一个行为模型相关联的数据，以使得所述AV根据与所接收的多个行为模型中的至少一个行为模型相关联的所接收数据执行操纵。
2.如权利要求1所述的计算设备，其中所述AV具有相关联的驾驶策略，并且其中与所述多个行为模型中的至少一个行为模型相关联的数据由所述AV接收，并且作为输入被提供给所述AV的驾驶策略的行为层以执行所述操纵。
3.如权利要求1或2所述的计算设备，其中所述处理电路被配置为根据神经网络生成所述行为模型的集合。
4.如权利要求1或2所述的计算设备，其中所述AV利用安全驾驶模型(SDM)，所述安全驾驶模型(SDM)定义了所述AV在所述环境内操作时遵循的安全指南，以及
其中，所述处理电路被配置为使用以下各项作为输入生成所述行为模型的集合中的行为模型：(i)所述AV的地理位置；(ii)度量的集合，所述度量的集合包括与对所述AV和在相同地理位置的多个其他AV的历史增量观测相关联的时间顺序数据；以及(iii)SDM标签，所述SDM标签将所生成的行为模型的输出行为限制为所述SDM所定义的安全观察行为。
5.如权利要求1或2所述的计算设备，其中所述处理电路被配置为将所述行为模型的集合存储在具有图数据集结构的数据库中，以提供行为模型图数据集。
6.如权利要求5所述的计算设备，其中所述行为模型图数据集合包括：(i)多个道路节点，所述多个道路节点在所述图数据集中的每个边缘表示中彼此互连，所述多个道路节点中的每一个表示相应的地理位置；以及(ii)多个行为节点，所述多个行为节点中的每一个被连接到所述多个道路节点中的至少一个，其中，所述行为节点中的相应每一个表示与特定操纵相关联的行为模型，所述特定操纵将由所述AV在与相应的连接的道路节点相关联的对应地理位置处执行。
7.如权利要求6所述的计算设备，其中所述处理电路进一步被配置为：响应于所述查询，通过将所述查询的所述地理位置匹配到由所述多个道路节点中的相应一个所表示的地理位置，来识别与所述多个行为模型中的至少一个相关联的数据；并且响应于所述查询，根据连接到所述多个道路节点中的所识别的相应一个道路节点的行为节点来确定与所述行为模型中的所述至少一个相关联的数据以用于发送发送。
8.如权利要求6所述的计算设备，其中所述查询是对于与所述行为模型图数据集相关联的数据的多节点查询，并且
其中，所述处理电路进一步被配置为响应于所述多节点查询，通过执行包括装袋或提升中的至少一个的集成过程来确定与所述多个行为模型中的至少一个相关联的所述数据以用于发送。
9.一种与自主交通工具(AV)相关联的电子控制单元(ECU)，所述ECU包括：
通信接口，所述通信接口被配置发送来自道路参与者的动态语义数据，所述动态语义数据与将由AV导航的环境相关联；以及
处理电路，所述处理电路被配置为生成查询，所述查询与使用与所述环境相关联的、所述动态语义数据和用静止地标识别的静态语义数据所生成的行为模型的集合中的至少一个相关联，所述行为模型的集合中的每一个与将由所述AV在对应地理位置执行的操纵相关联；
其中，所述通信接口进一步被配置为：发送所述查询；响应于所发送的查询，接收与所述行为模型的集合中、具有与所述查询所指定的地理位置匹配的对应地理位置的多个行为模型中的至少一个行为模型相关联的数据；并且根据与所述多个行为模型中的至少一个相关联的所接收的数据执行操纵。
10.如权利要求9所述的ECU，其中所述AV利用在所述环境中导航的驾驶策略，以及
其中，与所述AV所接收的所述行为模型的至少一个相关联的所述数据作为输入被提供给所述驾驶策略的行为层以执行所述操纵。
11.如权利要求9或10所述的ECU，其中所述AV利用安全驾驶模型(SDM)，所述安全驾驶模型(SDM)定义了所述AV在所述环境中操作时遵循的安全指南，并且
其中，使用以下各项作为输入来生成所述行为模型的集合中的行为模型：(i)所述AV的地理位置；(ii)度量的集合，所述度量的集合包括与对于所述AV和在相同地理位置的多个其他AV的历史增量观测相关联的时间顺序数据；以及(iii)SDM标签，所述SDM标签将所生成的行为模型的输出行为限制为所述SDM所定义的安全观察行为。
12.如权利要求9或10所述的ECU，其中所述行为模型的集合被存储在具有图数据集结构的数据库中，以提供行为模型图数据集，以及
其中，所述查询通过应用编程接口(API)发送，以从所述行为模型图数据集检索数据。
13.如权利要求12所述的ECU，其中所述行为模型图数据集合包括：(i)多个道路节点，所述多个道路节点在所述图数据集中的每个边缘表示中彼此互连，所述多个道路节点中的每一个表示相应的地理位置；以及(ii)多个行为节点，所述多个行为节点中的每一个被连接到所述多个道路节点中的至少一个，所述行为节点中的相应每一个表示与特定操纵相关联的行为模型，所述特定操纵将由所述AV在与相应连接的道路节点相关联的对应地理位置处执行。
14.如权利要求13所述的ECU，其中所发送的查询导致：对与所述多个行为模型中的至少一个行为模型相关联的所述数据的识别，所述识别是基于所述查询中指定的地理位置与多个道路节点中的相应一个所表示的地理位置的匹配；以及对与所述多个行为模型中的至少一个行为模型相关联的所述数据的确定，所述确定是根据连接到所述多个道路节点中的所识别的相应一个道路节点的行为节点。
15.如权利要求13所述的ECU，其中所述查询是对于与所述行为模型图数据集相关联的数据的多节点查询，以及
其中，所发送的查询导致对与所述多个行为模型中的至少一个行为模型相关联的数据的确定，所述确定是基于包括装袋或提升中的至少一个的集成过程。
16.一种计算机实现的方法，包括：
发送来自道路参与者的动态语义数据，所述动态语义数据与将由自动交通工具(AV)导航的环境相关联；
生成与行为模型的集合中的至少一个行为模型相关联的查询，所述行为模型的集合是已经使用与所述环境相关联的、动态语义数据和用静止地标识别的静态语义数据生成的，所述行为模型的集合中的每一个与将由AV在对应地理位置执行的操纵相关联；
通过应用编程接口(API)发送所述查询；以及
响应于所发送的查询，接收与所述行为模型的集合中、具有匹配由所述查询指定的地理位置的对应地理位置的多个行为模型中的至少一个行为模型相关联的数据；以及
根据与所接收的多个行为模型中的至少一个相关联的所接收的数据执行操纵。
17.如权利要求16所述的计算机实现的方法，其中所述驾驶策略被所述AV利用于在所述环境中导航，并且其中执行所述操纵的动作包括：
将所述AV接收到的与所述多个行为模型中的至少一个行为模型相关联的所述数据作为输入提供给所述驾驶策略的行为层以执行所述操纵。
18.如权利要求16或17所述的计算机实现的方法，其中所述AV利用安全驾驶模型(SDM)，所述安全驾驶模型(SDM)定义了所述AV在所述环境中操作时遵循的安全指南，并且进一步包括：
使用以下各项作为输入来生成所述行为模型的集合中的行为模型：(i)所述AV的地理位置；(ii)度量的集合，所述度量的集合包括与对于所述AV和在相同地理位置的多个其他AV的历史增量观测相关联的时间顺序数据；以及(iii)SDM标签，所述SDM标签将所生成的行为模型的输出行为限制为所述SDM所定义的安全观察行为。
19.如权利要求16或17所述的计算机实现的方法，其中所述行为模型的集合存储在具有图数据集结构的数据库中以提供行为模型图数据集，以及
其中，生成所述查询的所述动作包括：
从所述行为模型图数据集生成请求数据的所述查询。
20.如权利要求19所述的计算实现的方法，其中所述行为模型图数据集合包括(i)多个道路节点，所述多个道路节点在所述图数据集中的每个边缘表示中彼此互连，所述多个道路节点中的每一个表示相应的地理位置，以及(ii)多个行为节点，所述多个行为节点中的每一个被连接到所述多个道路节点中的至少一个，所述行为节点中的相应每一个表示与特定操纵相关联的行为模型，所述特定操纵将由所述AV在与相应连接的道路节点相关联的对应地理位置处执行。
21.如权利要求20所述的计算机实现的方法，其中发送所述查询的所述动作导致：(i)对与所述多个行为模型中的至少一个行为模型相关联的所述数据的识别，所述识别是基于在所述查询中指定的地理位置与由所述多个道路节点中的相应一个道路节点所表示的地理位置的匹配、；以及(ii)对所述多个行为模型中的至少一个行为模型相关联的所述数据的确定，所述确定是根据连接到多个道路节点中的所识别的相应一个道路节点的所述相应行为节点。
22.如权利要求20所述的计算机实现的方法，其中所述查询是对于与所述行为模型图数据集相关联的数据的多节点查询，以及
其中，发送所述查询的所述动作导致对与所述多个行为模型中的至少一个行为模型行为模型相关联的所述数据的确定，所述确定是基于包括装袋或提升中的至少一个的集成过程。
23.一种机器可读介质，所述机器可读介质包括可执行的指令，所述可执行的指令当由自主交通工具(AV)中的一个或多个处理器执行时，使得所述AV执行权利要求16、17、20、21或22中任一项所述的方法。
CN202111543891.1A 2020-12-16 2021-12-16 用于自动化交通工具的文化敏感驾驶的安全的并且可扩展的模型 Pending CN114638148A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/123,826 US20210101619A1 (en) 2020-12-16 2020-12-16 Safe and scalable model for culturally sensitive driving by automated vehicles
US17/123,826 2020-12-16

Publications (1)

Publication Number Publication Date
CN114638148A true CN114638148A (zh) 2022-06-17

Family

ID=75273927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111543891.1A Pending CN114638148A (zh) 2020-12-16 2021-12-16 用于自动化交通工具的文化敏感驾驶的安全的并且可扩展的模型

Country Status (3)

Country Link
US (1) US20210101619A1 (zh)
CN (1) CN114638148A (zh)
DE (1) DE102021133415A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11907815B1 (en) * 2019-09-26 2024-02-20 Hrl Laboratories, Llc System and method for improved generalization from concept constrained dreams
US11321211B1 (en) * 2020-10-25 2022-05-03 Motional Ad Llc Metric back-propagation for subsystem performance evaluation
JP2022112971A (ja) * 2021-01-22 2022-08-03 株式会社デンソー 車両制御装置、車両制御方法および車両制御プログラム
US11858514B2 (en) 2021-03-30 2024-01-02 Zoox, Inc. Top-down scene discrimination
US11810225B2 (en) * 2021-03-30 2023-11-07 Zoox, Inc. Top-down scene generation
US11851063B2 (en) 2021-08-25 2023-12-26 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for protecting a vehicle at an intersection
US20230064267A1 (en) * 2021-09-02 2023-03-02 Aptiv Technologies Limited Crowd-Sourced Continuous Update Data Collection for Automotive Applications
TWI780953B (zh) * 2021-10-18 2022-10-11 財團法人車輛研究測試中心 基於雲端運算之隊列跟車決策系統及其決策方法
US20230256994A1 (en) * 2022-02-16 2023-08-17 Gm Cruise Holdings Llc Assessing relative autonomous vehicle performance via evaluation of other road users
WO2023194978A1 (en) * 2022-04-08 2023-10-12 Mobileye Vision Technologies Ltd. A safe and scalable model for culturally sensitive driving by automated vehicles using a probabilistic architecture
US11727671B1 (en) * 2022-08-26 2023-08-15 Motional Ad Llc Efficient and optimal feature extraction from observations

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010040803A1 (de) * 2010-09-15 2012-03-15 Continental Teves Ag & Co. Ohg Visuelles Fahrerinformations- und Warnsystem für einen Fahrer eines Kraftfahrzeugs
US9062979B1 (en) * 2013-07-08 2015-06-23 Google Inc. Pose estimation using long range features
US9522676B2 (en) * 2014-04-30 2016-12-20 Denso International America, Inc. Situation awareness assistant for vehicle control
DE102015221481A1 (de) * 2015-11-03 2017-05-04 Continental Teves Ag & Co. Ohg Vorrichtung zur Umfeldmodellierung für ein Fahrerassistenzsystem für ein Kraftfahrzeug
US10242455B2 (en) * 2015-12-18 2019-03-26 Iris Automation, Inc. Systems and methods for generating a 3D world model using velocity data of a vehicle
US11836165B2 (en) * 2016-08-22 2023-12-05 Nec Corporation Information processing apparatus, control method, and program including display of prioritized information
US10730531B1 (en) * 2017-02-02 2020-08-04 Uatc, Llc Machine-learning based vehicle motion control system
US10127818B2 (en) * 2017-02-11 2018-11-13 Clear Commute Ventures Pty Ltd Systems and methods for detecting and avoiding an emergency vehicle in the proximity of a substantially autonomous vehicle
US11798297B2 (en) * 2017-03-21 2023-10-24 Toyota Motor Europe Nv/Sa Control device, system and method for determining the perceptual load of a visual and dynamic driving scene
US10558864B2 (en) * 2017-05-18 2020-02-11 TuSimple System and method for image localization based on semantic segmentation
US11537134B1 (en) * 2017-05-25 2022-12-27 Apple Inc. Generating environmental input encoding for training neural networks
EP3616422B1 (en) * 2017-05-26 2021-02-17 Google LLC Machine-learned model system
US10599546B1 (en) * 2017-10-25 2020-03-24 Uatc, Llc Autonomous vehicle testing systems and methods
US20200042656A1 (en) * 2018-07-31 2020-02-06 Toyota Research Institute, Inc. Systems and methods for persistent simulation
US10997461B2 (en) * 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US20200293041A1 (en) * 2019-03-15 2020-09-17 GM Global Technology Operations LLC Method and system for executing a composite behavior policy for an autonomous vehicle
WO2020205629A1 (en) * 2019-03-29 2020-10-08 Intel Corporation Autonomous vehicle system
US20200379471A1 (en) * 2019-06-03 2020-12-03 Byton North America Corporation Traffic blocking detection
US11142212B2 (en) * 2019-06-06 2021-10-12 Nxp B.V. Safety-aware comparator for redundant subsystems in autonomous vehicles
US10625748B1 (en) * 2019-06-28 2020-04-21 Lyft, Inc. Approaches for encoding environmental information
US11157007B2 (en) * 2019-06-28 2021-10-26 Lyft, Inc. Approaches for encoding environmental information
US11531346B2 (en) * 2019-07-05 2022-12-20 Uatc, Llc Goal-directed occupancy prediction for autonomous driving
EP3770881B1 (en) * 2019-07-26 2023-11-15 Volkswagen AG Methods, computer programs, apparatuses, a vehicle, and a traffic entity for updating an environmental model of a vehicle
US11675357B2 (en) * 2019-09-18 2023-06-13 Waymo Llc Independently actuated wheel sets for large autonomous self-driving vehicles
US11675324B2 (en) * 2019-09-19 2023-06-13 Bao Tran Air transportation systems and methods
US11314258B2 (en) * 2019-12-27 2022-04-26 Intel Corporation Safety system for a vehicle
US20210286924A1 (en) * 2020-03-11 2021-09-16 Aurora Innovation, Inc. Generating autonomous vehicle simulation data from logged data
US11820403B2 (en) * 2020-03-30 2023-11-21 Wipro Limited Method and system of determining trajectory for an autonomous vehicle
US11708093B2 (en) * 2020-05-08 2023-07-25 Zoox, Inc. Trajectories with intent
DE102020211649A1 (de) * 2020-09-17 2022-03-17 Conti Temic Microelectronic Gmbh Verfahren und System zum Erstellen eines Straßenmodells
US11858536B1 (en) * 2020-10-31 2024-01-02 Uatc, Llc Systems and methods for interactive prediction and planning
US20220161830A1 (en) * 2020-11-23 2022-05-26 Lyft, Inc. Dynamic Scene Representation
US20230064267A1 (en) * 2021-09-02 2023-03-02 Aptiv Technologies Limited Crowd-Sourced Continuous Update Data Collection for Automotive Applications
US20230085147A1 (en) * 2021-09-14 2023-03-16 Yandex Self Driving Group Llc Method for operating a robotic vehicle
US11898871B2 (en) * 2021-09-15 2024-02-13 Here Global B.V. Apparatus and methods for providing a map layer of one or more temporary dynamic obstructions
US20230080540A1 (en) * 2021-09-16 2023-03-16 Aurora Operations, Inc. Lidar simulation system
US20230219597A1 (en) * 2021-11-22 2023-07-13 Cybernet Systems Corp. Gesture recognition system for autonomous vehicle traffic control
US20220111870A1 (en) * 2021-12-22 2022-04-14 Amar Srivastava Systems and methods for brokering peer-assisted safety models for autonomous and assisted-driving vehicles
US20230294716A1 (en) * 2022-03-17 2023-09-21 Gm Cruise Holdings Llc Filtering perception-related artifacts

Also Published As

Publication number Publication date
DE102021133415A1 (de) 2022-06-23
US20210101619A1 (en) 2021-04-08

Similar Documents

Publication Publication Date Title
US20210101619A1 (en) Safe and scalable model for culturally sensitive driving by automated vehicles
US11216355B2 (en) Autonomous vehicle testing systems and methods
CN108921200B (zh) 用于对驾驶场景数据进行分类的方法、装置、设备和介质
US11797407B2 (en) Systems and methods for generating synthetic sensor data via machine learning
US11537134B1 (en) Generating environmental input encoding for training neural networks
US11373115B2 (en) Asynchronous parameter aggregation for machine learning
Queiroz et al. GeoScenario: An open DSL for autonomous driving scenario representation
EP3035314B1 (en) A traffic data fusion system and the related method for providing a traffic state for a network of roads
CN110225852B (zh) 用于自主车辆的反馈
EP3628085B1 (en) Map uncertainty and observation modeling
US20230124864A1 (en) Graph Representation Querying of Machine Learning Models for Traffic or Safety Rules
Raju et al. Evolution of traffic microsimulation and its use for modeling connected and automated vehicles
US20210302187A1 (en) Systems and methods for deriving planned paths for vehicles using path priors
Kušić et al. A digital twin in transportation: Real-time synergy of traffic data streams and simulation for virtualizing motorway dynamics
CN111752258A (zh) 自主车辆的操作测试
US20220161830A1 (en) Dynamic Scene Representation
US20230252280A1 (en) Online learning by an instance of a deep learning model and sharing of learning with additional instances of the deep learning model
Lu et al. DeepQTest: Testing Autonomous Driving Systems with Reinforcement Learning and Real-world Weather Data
US20220348232A1 (en) Fleet-level av simulation system and method
CN114428889A (zh) 轨迹绑路方法、模型训练方法、装置、设备及存储介质
Gadepally Estimation of driver behavior for autonomous vehicle applications
Chen et al. Data-driven Traffic Simulation: A Comprehensive Review
WO2023194978A1 (en) A safe and scalable model for culturally sensitive driving by automated vehicles using a probabilistic architecture
US20230082365A1 (en) Generating simulated agent trajectories using parallel beam search
Zhang et al. Finding critical scenarios for automated driving systems: The data extraction form

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination