CN117416364A - 驾驶相关的增强虚拟场 - Google Patents

驾驶相关的增强虚拟场 Download PDF

Info

Publication number
CN117416364A
CN117416364A CN202310891527.7A CN202310891527A CN117416364A CN 117416364 A CN117416364 A CN 117416364A CN 202310891527 A CN202310891527 A CN 202310891527A CN 117416364 A CN117416364 A CN 117416364A
Authority
CN
China
Prior art keywords
virtual
vehicle
driving
objects
fields
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310891527.7A
Other languages
English (en)
Inventor
A·比斯
I·米斯利
J·恩格尔索伊
I·雷切尔高兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Altberui Technology Co ltd
Original Assignee
Altberui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Altberui Technology Co ltd filed Critical Altberui Technology Co ltd
Publication of CN117416364A publication Critical patent/CN117416364A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B60W2710/207—Steering angle of wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B60W2720/106—Longitudinal acceleration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

公开了一种用于增强驾驶相关虚拟场的方法，该方法包括获取关于位于交通工具环境内的一个或多个对象的对象信息；以及通过处理电路并基于对象信息来确定交通工具的期望虚拟加速度，其中交通工具的期望虚拟加速度的确定基于表示一个或多个对象对交通工具行为的影响的虚拟物理模型，其中虚拟物理模型是基于一个或多个物理定律和至少一个附加的驾驶相关参数而构建的。

Description

驾驶相关的增强虚拟场
相关申请的交叉引用
本申请是申请日为2022年8月29日的美国专利申请17/823,069的部分继续申请案，该美国专利申请要求美国临时申请63/260,839的优先权，此处以引证的方式将该美国临时申请并入。本申请要求申请日为2022年7月19日的美国临时专利申请63/368,874的优先权，此处将该美国临时专利申请全文并入。本申请要求申请日为2022年8月24日的美国临时专利申请63/373,454的优先权，此处将该美国临时专利申请全文并入
背景技术
自动交通工具(AV)可以极大地帮助减少交通事故数量和CO2排放，而且有助于更有效的运输系统。然而，目前的候选AV技术不能以以下三种方式扩展：
有限的视场、照明和天气挑战以及遮挡都导致检测错误和有噪定位/运动学。为了解决这种较差的真实世界感知输出，AV技术的一种方法是投资昂贵的传感器和/或将专门的基础设施集成到道路网中。然而，这种努力是非常昂贵的并且(在基础设施的情况下)是在地理上受限的，因此不能产生一般可使用的AV技术。
不基于昂贵的硬件和基础设施的AV技术完全依赖于机器学习并因此依赖于数据来处理真实世界的情形。为了解决检测错误以及学习用于复杂驾驶任务的足够好的驾驶策略，需要大量的数据和计算资源，并且仍然存在未被正确处理的边缘情况。这些边缘情况中的共同特性是机器学习模型没有很好地推广到未见过或令人迷惑的情形，并且由于深度神经网络的黑盒性质，难以分析错误行为。
当前的道路就绪自动驾驶以诸如ACC、AEB和LCA的单独先进驾驶辅助系统(ADAS)功能的形式实现。达到完全自动驾驶将需要将现有ADAS功能无缝地接合在一起以及通过添加更多这种功能(例如，变道、路口处理等)来覆盖任何当前非自动化间隙。简言之，当前的自动驾驶不是基于可以容易地扩展以产生全自动驾驶的整体方法。
附图说明
从以下结合附图采取的详细描述中，将更充分地理解和领会本公开的实施例，在附图中：
图1例示了方法的示例；
图2例示了方法的示例；
图3例示了方法的示例；
图4例示了方法的示例；
图5是交通工具的示例；
图6至图9例示了情形和感知场的示例；
图10例示了方法的示例；
图11例示了场景的示例；
图12例示了方法的示例；
图13-16例示了图像的示例；以及
图17、18、19、20和21例示了方法的示例。
具体实施方式
在以下详细描述中，阐述了许多具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解，本发明可以在没有这些具体细节的情况下实践。在其它情况下，没有详细描述公知的方法、过程和部件，以免使本发明模糊。
在说明书的总结部分特别指出并清楚地要求保护本发明的主题。然而，当结合附图阅读时，通过参考以下详细描述，可以最好地理解本发明的组织和操作方法、以及其目的、特征和优点。
应当理解，为了说明的简单和清楚，图中示出的元件不一定按比例绘制。例如，为了清楚起见，一些元件的尺寸可能相对于其他元件被放大。进一步地，在认为适当的情况下，附图标记可以在附图中重复以指示对应或类似的元件。
因为本发明的所例示实施例可以大部分使用本领域技术人员已知的电子部件和电路来实现，所以为了理解和领会本发明的基本概念并且为了不混淆或分散本发明的示教，将不会以比如上例示认为必要的程度更大的程度来解释细节。
说明书中对方法的任何引用应当加以必要的变更应用于能够执行该方法的装置或系统和/或存储用于执行该方法的指令的非瞬态计算机可读介质。
说明书中对系统或装置的任何引用应当加以必要的变更应用于可由系统执行的方法，和/或可加以必要的变更应用于存储可由系统执行的指令的非瞬态计算机可读介质。
说明书中对非瞬态计算机可读介质的任何引用应当加以必要的变更应用于能够执行存储在非瞬态计算机可读介质中的指令的装置或系统，和/或可以加以必要的变更应用于用于执行指令的方法。
可以提供在任何附图、说明书的任何部分和/或任何权利要求中列出的任何模块或单元的任何组合。
在本申请中例示的单元和/或模块中的任何一个可以以硬件实现，和/或存储在非瞬态计算机可读介质中的代码、指令和/或命令，它们可以被包括在交通工具中、交通工具外部、移动装置中、服务器中等等。
交通工具可以是任何类型的交通工具，诸如地面运输交通工具、空中交通工具或水上船舶。
说明书和/或附图可以引用图像。图像是介质单元的示例。对图像的任何引用可以加以必要的变更而应用于介质单元。介质单元可以是感测信息单元(SIU)的示例。对介质单元的任何引用可以加以必要的变更而应用于任何类型的自然信号(诸如但不限于自然生成的信号)、表示人类行为的信号、表示与股票市场有关的操作的信号、医学信号、金融序列、大地测量信号、地球物理、化学、分子、文本和数字信号、时间序列等。对介质单元的任何引用可以加以必要的变更而应用于感测信息单元(SIU)。SIU可以是任何种类的，并且可以由任何类型的传感器感测，诸如可见光相机、音频传感器、可以感测红外、雷达图像、超声、电光、射线照相、LIDAR(光检测和测距)的传感器、热传感器、无源传感器、有源传感器等。感测可以包括生成表示被发送或以其他方式到达传感器的信号的样本(例如，像素、音频信号)。SIU可以是一个或更多个图像、一个或更多个视频剪辑、关于一个或更多个图像的文本信息、描述关于对象的运动学信息的文本等。
对象信息可以包括与对象有关的任何类型的信息，诸如但不限于对象的位置、对象的行为、对象的速度、对象的加速度、对象的行进方向、对象的类型、对象的一个或更多个尺寸等。对象信息可以是原始SIU、处理过的SIU、文本信息、从SIU导出的信息等。
对象信息的获得可以包括接收对象信息、生成对象信息、参与对象信息的处理、仅处理对象信息的一部分和/或仅接收对象信息的另一部分。
对象信息的获得可以包括对象检测，或者可以在不执行对象检测的情况下执行。
对象信息的处理可以包括对象检测、降噪、信噪比的改进、定义边界框等中的至少一个。
对象信息可以从一个或更多个源接收，诸如一个或更多个传感器、一个或更多个通信单元、一个或更多个存储单元、一个或更多个图像处理器等。
对象信息可以以一种或多种方式提供，例如以绝对方式(例如提供对象位置的坐标)或者以相对方式，例如相对于交通工具(例如对象位于相对于交通工具的一定距离和一定角度处)。
交通工具也被称为自主交通工具(ego-vehicle)。
说明书和/或附图可以引用处理器或处理电路。处理器可以是处理电路。处理电路可以被实现为中央处理单元(CPU)和/或一个或更多个其他集成电路，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、全定制集成电路等、或者这些集成电路的组合。
可以提供说明书和/或附图中例示的任何方法的任何步骤的任何组合。
可以提供任何权利要求的任何主题的任何组合。
可以提供说明书和/或附图中例示的系统、单元、部件、处理器、传感器的任何组合。
对对象的任何引用都可以应用于模式。因此，对对象检测的任何引用可加以必要的变更应用于模式检测。
尽管成功的驾驶取决于基于周围道路对象的位置和移动而绕行它们，但众所周知，人类在估计运动学方面较差。我们猜想人类采用了为立即暗示动作的虚拟力场的形式的周围对象的内部表示，由此规避了对运动学估计的需要。考虑自主交通工具在一个车道中驾驶并且在相邻车道中对角地位于前方的交通工具开始转向进入主车道的场景。人类对刹车或转向的反应将是立即的和本能的，并且可以被体验为将自主交通工具从转向交通工具排斥的虚拟力。学习该虚拟力表示并将其与特定道路对象相关联。
受上述考虑的启发，我们提出了感知场的新概念。感知场是以虚拟力场的形式学习的道路对象的表示，其通过为ADAS和/或AV软件的形式的自主交通工具的控制系统来“感测”。在此，场被定义为取决于空间位置(或类似量)的数学函数。
图1中例示了推断方法100的示例并且其包括：
方法100可以针对交通工具的环境的一个或更多个帧来执行。
方法100的步骤110可以包括检测和/或跟踪一个或更多个对象(包括例如一个或更多个道路使用者)。检测和/或跟踪可以以任何方式完成。该一个或更多个对象可以是可能影响交通工具行为的任何对象。例如，道路使用者(行人、另一交通工具)、交通工具在其上前进的道路和/或路径(例如道路或路径的状态、道路的形状-例如曲线、直路段)、交通标志、交通信号灯、道路交叉口、学校、幼儿园等。步骤110可以包括获得附加信息，诸如与一个或更多个对象有关的运动学和上下文变量。该获得可以包括接收或生成。该获得可以包括处理一个或更多个帧以生成运动学和上下文变量。
应当注意，步骤110可以包括获得运动学变量(甚至在未获得一个或更多个帧的情况下)。
方法100还可以包括获得与一个或更多个对象有关的相应感知场的步骤120。步骤120可以包括确定在对象之间的哪个映射应该被检索和/或使用等。
步骤110(甚至步骤120)之后可以是步骤130，即通过使相关输入变量(诸如运动学和上下文变量)通过感知场(和一个或更多个虚拟物理模型函数)来确定与一个或更多个对象相关联的一个或更多个虚拟力。
步骤130之后可以是步骤140，即基于与一个或更多个对象相关联的一个或更多个虚拟力来确定施加在交通工具上的总虚拟力。例如，步骤140可以包括对与一个或更多个对象相关联的一个或更多个虚拟力执行向量加权和(或其他函数)。
步骤140之后可以是步骤150，即基于总虚拟力确定期望(或目标)虚拟加速度，例如基于牛顿第二定律的等同物。期望虚拟加速度可以是向量，或者具有方向。
步骤150之后可以是步骤160，即将期望虚拟加速度转换为将使交通工具根据期望虚拟加速度行进的一个或更多个交通工具驾驶操作。
例如，步骤160可以包括将期望加速度转化为加速度或减速度，或者改变交通工具的前进方向-使用加速踏板移动、制动踏板移动和/或方向盘角度。该转化可以基于具有特定控制方案的交通工具的动力学模型。
感知场的优点包括例如可解释性、可推广性和对噪声输入的鲁棒性。
可解释性。将自主移动(ego movement)表示为各个感知场的组成意味着将动作分解成更基本的分量，并且其本身是朝向可解释性的重要步骤。与常见的端到端黑盒深度学习方法相比，可视化这些场并且应用来自物理的直觉以便预测自主运动的可能性表示进一步的可解释性。这种增加的透明度还导致乘客和驾驶员能够更多地信任AV或ADAS技术。
可推广性。将对未知道路对象的自主反应表示为排斥虚拟力场构成了在未见过情况下的引导偏差。这种表示的潜在优点在于，它可以以较少训练的安全方式处理边缘情况。此外，在相同的方法可以用于驾驶策略的所有方面的意义上，感知场模型是全面整体的。它还可以被划分为窄的驱动功能，以用于ADAS中，诸如ACC、AEB、LCA等。最后，感知场的复合性质允许模型在原子场景上被训练，并且仍然能够适当地处理更复杂的场景。
对噪声输入的鲁棒性：与对定位和运动学数据的纯滤波相比，对感知场的时间演变的物理约束结合对输入的潜在滤波可以导致对输入数据中的噪声的更好处理。
物理力或虚拟力允许数学公式化，例如，根据包括所谓的动态系统的二阶常微分方程。这样表示控制策略的益处在于，它容易受到来自动态系统理论的直觉的影响，并且并入诸如预测、导航和输入/输出的滤波的外部模块是简单的事情。
感知场方法的附加益处在于，其不依赖于任何特定硬件，并且在计算上不比现有方法昂贵。
训练过程
用于学习感知场的过程可以是两种类型(即行为克隆(BC)和强化学习(RL))之一或其组合。BC通过将神经网络拟合到所观察的人类状态-动作对来近似控制策略，而RL需要在模拟环境中通过试错来学习，而不参考专家演示。
可以通过首先借助BC学习策略以将其用作要使用RL来微调的初始策略来组合这两类学习算法。另一种组合这两种方法的方式是首先通过BC来学习所谓的奖励函数(将在RL中使用)以推断什么构成了人类期望的行为，并且随后使用常规RL来通过试错进行训练。后一种方法的名称为反向RL(IRL)。
图2是用于通过BC学习的训练方法200的示例。
方法200可以开始于步骤210，即收集人类数据，作为如何处理该场景的专家演示。
步骤210之后可以是步骤220，即构造惩罚从感知场模型得到的运动学变量与人类演示的对应运动学变量之间的差异的损失函数。
步骤220之后可以是步骤230，即借助于诸如梯度下降的某一优化算法来更新感知场和辅助函数(其可以是不同于感知场的虚拟物理模型函数)的参数，以最小化损失函数。
图3是用于RL的训练方法250的示例。
方法250可以开始于步骤260，即建立逼真的模拟环境。
步骤260之后可以是步骤270，即通过从专家演示中学习奖励函数或通过手工设计来构造奖励函数。
步骤270之后可以是步骤280，即在模拟环境中运行片段并借助于诸如近似策略优化的某种算法来持续更新感知场和辅助函数的参数，以最大化预期的累积奖励。
图4例示了方法400的示例。
方法400可以用于感知场驾驶相关操作。
方法400可以开始于初始化步骤410。
初始化步骤410可包括接收被训练为执行方法400的步骤440的一组神经网络(NN)。
替代地，步骤410可包括训练执行方法400的步骤440的一组NN。
训练该组NN的各种示例在下面提供。
·该组NN可使用BC来训练以将对象信息映射到一个或更多个虚拟力。
·该组NN可使用RL来训练以将对象信息映射到一个或更多个虚拟力。
·该组NN可使用RL和BC的组合来训练以将对象信息映射到一个或更多个虚拟力。
·该组NN可使用RL来训练以将对象信息映射到一个或更多个虚拟力，该RL具有使用BC来定义的奖励函数。
·该组NN可使用RL来训练以将对象信息映射到一个或更多个虚拟力，该RL具有使用BC来定义的初始策略。
·该组NN可被训练为将对象信息映射到一个或更多个虚拟力和不同于感知场的一个或更多个虚拟物理模型函数。
·该组NN可包括第一NN和第二NN，其中，第一NN被训练为将对象信息映射到一个或更多个感知场，第二NN被训练为将对象信息映射到一个或更多个虚拟物理模型函数。
初始化步骤410之后可以是步骤420，即获得关于位于交通工具环境内的一个或更多个对象的对象信息。步骤410可以重复多次，并且随后的步骤也可以重复多次。对象信息可以包括视频、图像、音频或任何其他感测信息。
步骤420之后可以是步骤440，即使用一个或更多个NN确定施加在交通工具上的一个或更多个虚拟力。
一个或更多个NN可以是整组NN(来自初始化步骤410)或者可以仅是该组NN的一部分-留下该组中的一个或更多个未被选择的NN。
该一个或更多个虚拟力表示一个或更多个对象对交通工具的行为的一个或更多个影响。该影响可以是未来影响或当前影响。影响可能导致交通工具改变其行进。
该一个或更多个虚拟力属于虚拟物理模型。虚拟物理模型是可以对交通工具和/或对象虚拟地应用物理规则(例如机械规则、电磁规则、光学规则)的虚拟模型。
步骤440可以包括以下步骤中的至少一个：
·基于施加在交通工具上的一个或更多个虚拟力来计算施加在交通工具上的总虚拟力。
·基于通过总虚拟力施加在交通工具上的总虚拟加速度来确定交通工具的期望虚拟加速度。期望虚拟加速度可以等于总虚拟加速度-或者可以与其不同。
方法400还可以包括步骤431、432、433、434、435和436中的至少一个。
步骤431可以包括基于对象信息确定交通工具的情形。
步骤431之后可以是步骤432，即基于情形选择一个或更多个NN。
另外地或替代地，步骤431之后可以是步骤433，即向一个或更多个NN馈送情形元数据。
步骤434可以包括基于对象信息检测一个或更多个对象中的每一个对象的类。
步骤434之后可以是步骤435，即基于一个或更多个对象中的至少一个对象的类来选择一个或更多个NN。
另外地或替代地，步骤434之后可以是步骤436，即向一个或更多个NN馈送指示一个或更多个对象中的至少一个对象的类的类元数据。
步骤440之后可以是步骤450，即基于一个或更多个虚拟力执行交通工具的一个或更多个驾驶相关操作。
步骤450可以在没有人类驾驶员干预的情况下执行，并且可以包括改变交通工具的速度和/或加速度和/或行进方向。这可以包括执行自动驾驶或执行ADAS驾驶操作，ADAS驾驶操作可以包括暂时控制交通工具和/或交通工具的一个或更多个驾驶相关单元。这可以包括在有或没有人类驾驶员参与的情况下将交通工具的加速度设置为期望的虚拟加速度。
步骤440可以包括建议驾驶员将交通工具的加速度设置为期望的虚拟加速度。
图5是交通工具的示例。交通工具可以包括一个或更多个感测单元501、一个或更多个驾驶相关单元510(诸如自动驾驶单元、ADAS单元等)、被配置为执行任何方法的处理器560、用于存储指令和/或方法结果、函数等的存储单元508以及通信单元504。
图6例示了用于以车道样本点作为输入的车道居中RL的方法600的示例。车道样本点位于交通工具的环境内。
RL假定生成输入数据的模拟环境，在该输入数据中代理(自主交通工具)可以实现其学习的策略(感知场)。
方法600可以开始于步骤610，即检测最近车道或道路侧面样本点(XL,i,YL,i)和(XR,i,YR,i)，其中，L是左，R是右，并且索引i指样本点。自主交通工具(先前称为交通工具)的速度表示为Vego。
步骤610之后可以是步骤620，即将左车道输入向量(XL,i,YL,i)和Vego集中到XL中，并且将右车道输入向量(XR,i,YR,i)和Vego集中到XR中。
步骤620之后可以是步骤630，即计算车道感知场fθ(XL)和fθ(XR)。这通过一个或更多个NN来完成。
步骤630之后可以是步骤640，即构造描述施加在自主交通工具上的自主加速度的微分方程：a＝fθ(XL)+fθ(XR)。
这可以是推断过程的输出。步骤640之后可以是步骤450(未示出)。
方法可包括更新一个或更多个NN。在这种情况下，RL可以假定奖励函数，该函数基于专家演示而学习或手工制作，在图6的示例中，奖励函数可以针对自主交通工具维持其车道的每个时间戳而增加。
更新可以包括步骤670，即在模拟环境中实现，并且RL学习算法记录在下一个时间步骤中发生的内容，包括获得奖励。
步骤670可以包括使用特定RL算法(例如PPO、SAC、TTD3)来顺序地更新网络参数θ，以便最大化平均奖励。
图7例示了用于具有视觉输入的多对象RL的方法700。
方法700的步骤710可以包括接收一系列来自自主视角的在短时间窗口内的全景分割图像(由自主交通工具获得的图像)，到单独对象Xrel,i的相对距离。
步骤710之后可以是步骤720，即将时空CNN应用于个体实例(对象)以捕捉高级时空特征Xi。
步骤720之后可以是步骤730，即计算各个感知场fθ(Xi,i)以及和Σfθ(Xrel,I,Xi,i)。
步骤730之后可以是步骤740，即构造描述施加在自主交通工具上的自主加速度的微分方程：a＝Σfθ(Xrel,I,Xi,i)。
这可以是推断过程的输出。步骤740之后可以是步骤450(未示出)。
该方法可以包括使用某一RL过程来更新一个或更多个网络参数θ。
该方法可以包括步骤760，即在模拟环境中实现，并且RL学习算法记录在下一个时间步骤中发生的内容，包括所获得奖励。
RL可以假定基于专家演示而学习的或手工制作的奖励函数。
步骤760之后可以是步骤770，即使用诸如PPO、SAC、TTD3的特定RL算法来顺序地更新网络参数θ，以便最大化平均奖励。
图8例示了用于具有运动学输入的多对象BC的方法800。
方法800的步骤810可以包括接收所检测的对象相对运动学(Xrel,i,Vrel,i)的列表，其中，Xrel,i是所检测的对象i相对于自主交通工具的相对位置，Vrel,i是所检测的对象i相对于自主交通工具的相对速度。还接收自主交通工具速度Vego。
步骤810之后可以是步骤820，即针对各个对象计算感知场fθ(Xrel,i,Vrel,i,Vego,i)。
步骤820之后可以是步骤830，即将来自各个感知场的贡献求和。步骤830还可以包括归一化，使得所得到的2d向量的幅度等于各个项的最高幅度：N*Σfθ(Xrel,i,Vrel,i,Vego,i)。
步骤830之后可以是步骤840，即构造描述施加在自主交通工具上的自主加速度的微分方程：a＝N*Σfθ(Xrel,i,Vrel,i,Vego,i)。
这可以是推断过程的输出。步骤840之后可以是步骤450(未示出)。
方法可包括更新一个或更多个网络参数。
该方法可以包括步骤860，即在给定初始条件的情况下计算自主轨迹。
步骤860之后可以是步骤870，即计算并相应地传播损失。
图9例示了方法900的推断，其中增加了用于以运动学变量作为输入而实现的自适应巡航控制模型的损失函数。
方法900的步骤910可以包括接收自主交通工具的位置Xego、自主交通工具的速度Vego、自主交通工具前方最近交通工具的位置XCIPV以及自主交通工具前方最近交通工具的速度VCIPV。
步骤910之后可以是步骤920，即计算相对位置Xrel＝Xego-XCIPV以及相对速度Vrel＝Vego-VCIPV。
步骤920之后可以是步骤930：
·通过第一NN计算感知场函数gθ(Xrel,VCIPV)。
·通过第二NN计算辅助函数hψ(Vrel)。
·将gθ(Xrel,VCIPV)乘以hψ(Vrel)，以提供目标加速度(其等于目标力)。
这可以是推断过程的输出。步骤930之后可以是步骤450(未示出)。
方法可包括更新一个或更多个NN参数。
该方法可以包括步骤960，即在给定初始条件的情况下计算自主轨迹。
步骤960之后可以是步骤970，即计算并相应地传播损失。
可视化
感知场是一种新颖的计算框架，用于在不同的交通环境(例如，高速公路、城市、乡村)和不同的驾驶任务(例如，避免碰撞、车道保持、ACC、超车等)下在自动的自主交通工具中产生驾驶策略。感知场是道路对象的属性并编码力场，它从类别c的每个道路对象i(例如其他交通工具、行人、交通标志、道路边界等)中出现，并作用于自主交通工具，诱导驾驶行为。从自主环境的感知场表示中获得期望驾驶行为的关键是对力场进行建模，以便它们足够通用以允许多种驾驶行为，但又足够具体以允许使用人类驾驶数据进行有效学习。与现有方法(例如端到端方法)相比，感知场的应用具有多种优势，例如任务分解以及增强的可解释性和泛化能力，从而产生多样化的驾驶行为。
图10示出了用于可视化的方法3000的示例。
根据实施例，方法3000开始于获得关于位于交通工具环境内的一个或多个对象的对象信息的步骤3010。
根据实施例，步骤3010还包括分析对象信息。该分析可以包括确定一个或多个对象的位置信息和/或移动信息。位置信息和运动信息可以包括一个或多个对象(相对于交通工具)的相对位置和/或一个或多个对象(相对于交通工具)的相对运动。
根据一实施例，步骤3010之后是步骤3020，通过处理电路并基于对象信息确定一个或多个对象的一个或多个虚拟场，该一个或多个虚拟场表示一个或多个对象对交通工具行为的潜在影响。
步骤3020可以由虚拟物理模型驱动。例如，假设虚拟物理模型将对象表示为电磁电荷，一个或多个虚拟场是虚拟电磁场，并且虚拟力表示由于虚拟电荷而产生的电磁力。例如，假设虚拟物理模型是机械模型，则虚拟力场由对象的加速度驱动。应当注意，处理电路可以至少使用在申请中示出的任何训练方法来训练，例如，通过进行必要的修改，应用方法200、300和400中的任何一种。训练可以基于，例如，行为克隆(BC)和/或强化学习(RL)。
根据一实施例，步骤3020之后是基于一个或多个场生成用于向驾驶员可视化一个或多个虚拟场的可视化信息的步骤3030。
根据实施例，可视化信息表示每个虚拟场的多条场线。
根据一实施例，每个虚拟场的多个场线形成一个或多个对象中的每个对象的多个椭圆。
可视化信息可以被显示为图形界面的一部分，该图形界面包括表示虚拟场的图形元素。该方法可以包括向用户(例如交通工具的驾驶员)提供视野的视觉表示。
可视化信息和/或图形用户界面可以显示在交通工具的显示器上、用户设备的显示器上(例如在移动电话上)等。
图11示出了从交通工具传感器看到的交通工具环境的图像3091的示例，其中作为另一交通工具的对象的每个虚拟场具有多个场线3092。
图12示出了用于可视化的方法3001的示例。
根据一个实施例，方法3001开始于步骤3010。
根据一个实施例，步骤3010之后是步骤3020。
根据一实施例，步骤3020之后是基于一个或多个虚拟场确定由一个或多个对象虚拟地施加在交通工具上的一个或多个虚拟力的步骤3040。
一个或多个虚拟力与物理模型相关联并且表示一个或多个对象对交通工具行为的影响。
根据实施例，虚拟力是力场。
根据实施例，虚拟力是势场。
根据实施例，一个或多个虚拟力中的虚拟力由指示虚拟力的强度的虚拟曲线表示。
虚拟力的强度可以由虚拟曲线的密集度、虚拟曲线的形状或虚拟曲线的尺寸(例如宽度、长度等)中的一项或多项来表示。
步骤3040可以包括确定虚拟地施加在交通工具上的总虚拟力。总虚拟力可以是一个或多个虚拟力的总和。
根据实施例，步骤3040之后是基于虚拟力计算交通工具的期望虚拟加速度的步骤3050。
步骤3050可以基于关于虚拟力和交通工具的期望虚拟加速度之间的关系的假设来执行。例如，虚拟力可以具有虚拟加速度(虚拟地施加在交通工具上)，并且交通工具的期望虚拟加速度可以抵消虚拟地施加在交通工具上的虚拟加速度。
根据一个实施例，期望的虚拟加速度具有与虚拟施加的加速度相同的大小，但可以指向相反的方向。
根据一个实施例，期望的虚拟加速度具有与虚拟施加的加速度的大小不同的大小。
根据一个实施例，期望的虚拟加速度具有与虚拟施加的加速度的方向不相反的方向。
根据一实施例，步骤3050之后是基于一个或多个场生成用于可视化一个或多个虚拟场和力信息的可视化信息的步骤3060。
力信息可以表示一个或多个虚拟力和/或期望的虚拟加速度。
根据实施例，可视化信息表示每个虚拟场的多条场线。
根据一实施例，每个虚拟场的多个场线形成一个或多个对象中的每个对象的多个椭圆。
根据实施例，步骤3060之后是响应可视化信息的步骤3070。
步骤3060可以包括发送可视化信息和/或存储可视化信息和/或显示由可视化信息表示的内容。
步骤3060可以包括将可视化信息显示为图形界面的一部分，该图形界面包括表示虚拟场和/或期望加速度等的图形元素。图形用户界面向用户(例如交通工具驾驶员)提供视野和/或期望加速度的视觉表示。
根据实施例，步骤3050之后还跟随有进一步响应交通工具的期望虚拟加速度的步骤3080。
根据一个实施例，步骤3080包括以下至少之一：
a.基于一个或多个虚拟场触发对驾驶相关操作的确定。
b.基于一个或多个虚拟场触发驾驶相关操作的执行。
c.请求或指示执行与驾驶相关的操作。
d.基于所需的虚拟加速度触发驾驶相关操作的计算。
e.基于所需的虚拟加速度请求或指示驾驶相关操作的计算。
f.将关于所需虚拟加速度的信息发送到交通工具的控制单元。
g.控制交通工具——将控制权从驾驶员转移到自动驾驶单元。
图13示出了从航拍图像看到的交通工具环境的示例，其中具有每个虚拟力的多个场线，作为另一交通工具的对象的虚拟力施加在交通工具上。在图13中，图13中所示的点的颜色、方向和大小中的任何一种(或者两种或更多种的组合)可以指示施加在这些点处的一个或多个虚拟力。
图14示出了从交通工具传感器看到的交通工具环境的图像3093的示例，其中作为另一交通工具的对象的每个虚拟场具有多条场线3092，并且具有由对象施加的虚拟力的指示3094。在图14中，指示3094是也包括多条场线3092的椭圆的一部分。
图15示出了场景的示例的图像1033。
图15示出了位于第一道路的路段内的交通工具1031的示例。
行人1022开始穿过路段——在交通工具1301前面。行人由行人虚拟场表示(由虚拟等势场线1022'和力指示器1025示出)，图15还示出了方向矢量1041(可以显示或不显示)，其排斥交通工具1031。
另一交通工具1039在相对车道行驶，具有另一交通工具虚拟场1049、其他力指示器1049，并且在交通工具1031上施加另一虚拟力1049(可以显示或不显示)。
施加在交通工具1031上的虚拟力(由于行人和另一交通工具)被表示为1071(并且可以被显示或不被显示)。图15还示出了交通工具的期望加速度1042。可以显示或不显示期望的加速度。
图16是示出交通工具环境和使用标量场的可视化的另一个示例的图像3095。可视化信息是通过采样点生成的，并确定环境中的哪些位置来自虚拟场的力为零。图16包括密集度逐渐减小的同心椭圆3096，直到虚拟力为零的位置，以示出对象的虚拟场“结束”的位置。这种类型的可视化信息说明了如果交通工具位于虚拟场内的任何位置，将会对交通工具施加多少力。
驾驶相关的增强场
当前的ADAS和AV技术(尤其是基于视觉的)存在的问题在于，控制策略引起不平稳的和非人类的驾驶行为(例如，延迟制动)。感知场模型缓解了这个问题，并且可以进一步增强，以产生舒适的驾驶体验。
就通过模仿学习来学习感知场而言，它们自然地产生类似于人类驾驶的自主行为。在某种程度上，驾驶员和乘客认为人类的平均驾驶是舒适的，感知场引发的驾驶也是如此。然而，可以通过修改感知场的训练算法来进一步提高舒适感。
对驾驶体验的心理学和生理反应的研究表明，急动度(jerk，加加速度)的最小化在体验舒适性中起着关键作用。通过在训练过程中将急动度包含在损失/奖励函数中，可以轻松地将最小化急动度的额外要求纳入感知场框架中，以产生舒适增强的感知场。
舒适增强感知场还可以容纳其他因素，例如加速度和速度。简而言之，任何被发现影响舒适感的因素都可以包含在损失或奖励函数中，从而增强基本感知场模型。
已经发现基于舒适度或其他因素增强虚拟场可以进一步改善驾驶。
图17示出了用于增强驾驶相关虚拟场的方法4000的示例。
根据实施例，方法4000开始于获得关于位于交通工具环境内的一个或多个对象的对象信息的步骤4010。
根据实施例，步骤4010还包括分析对象信息。该分析可以包括确定一个或多个对象的位置信息和/或移动信息。位置信息和运动信息可以包括一个或多个对象(相对于交通工具)的相对位置和/或一个或多个对象(相对于交通工具)的相对运动。
根据一个实施例，步骤4010之后是通过处理电路并基于对象信息确定一个或多个对象的一个或多个虚拟场的步骤4020，其中确定一个或多个虚拟场基于虚拟物理模型，其中一个或多个虚拟场表示一个或多个对象对交通工具行为的潜在影响，其中虚拟物理模型基于一种或多种物理定律和至少一个附加的驾驶相关参数来构建。
根据一个实施例，处理电路是基于参考驾驶模式来训练的。至少一个附加的驾驶相关参数包括与驾驶员的一种或多种类型的驾驶模式与一种或多种类型的参考驾驶模式之间的一种或多种差异相关的驾驶员参数。
根据实施例，至少一个附加的驾驶相关参数包括与驾驶员的一个或多个驾驶模式相关的驾驶员驾驶模式相关参数。
根据实施例，至少一个附加的驾驶相关参数包括燃料消耗参数。
根据实施例，至少一个附加的驾驶相关参数包括安全参数。
根据实施例，至少一个附加的驾驶相关参数包括舒适度参数。
舒适度参数可以与交通工具驾驶员在驾驶期间的舒适度有关。
舒适度参数可以涉及位于交通工具外的一个或多个道路使用者的舒适度——例如位于交通工具附近(例如距离交通工具0.1-20米内)的其他驾驶员和/或行人的舒适度。
舒适度参数可以涉及驾驶期间除驾驶员之外的一名或多名乘客的舒适度。
舒适度参数可以涉及驾驶员和交通工具内的一名或多名其他乘客在驾驶期间的舒适度。
出于安全原因，驾驶员的舒适度可优先于一名或多名乘客的舒适度。
驾驶员、乘客或任何其他授权实体可以定义应当考虑任何人的舒适度的方式。
舒适度水平可由驾驶员、乘客或任何其他授权实体设定。
例如，假设虚拟物理模型将对象表示为电磁电荷，一个或多个虚拟场是虚拟电磁场，并且虚拟力表示由于虚拟电荷而产生的电磁力。
例如，假设虚拟物理模型是机械模型，则虚拟力场由对象的加速度驱动。应当注意，处理电路可以至少使用在申请中示出的任何训练方法来训练，例如，通过进行必要的修改，应用方法200、300和400中的任何一种。训练可以基于，例如行为克隆(BC)和/或强化学习(RL)。训练还可考虑一个或多个附加的驾驶相关参数。例如，损失函数可以由附加的驾驶相关参数的期望值和估计的当前驾驶相关参数来馈送，并且旨在减小期望的与估计的当前附加驾驶相关参数之间的差。
假设额外的驾驶相关参数是舒适度，可以基于来自驾驶员的明确反馈、通过监测生理参数(例如心率、汗液、血压、肤色变化)、检测喊叫或其他指示压力的音频和/或视觉信息来评估舒适度。
根据一实施例，步骤4020之后是根据虚拟物理模型确定由一个或多个对象施加在交通工具上的总虚拟力的步骤4030。
根据一实施例，步骤4030之后是基于一个或多个虚拟场确定交通工具的期望虚拟加速度的步骤4040。
步骤4040可以基于关于虚拟力和交通工具的期望虚拟加速度之间的关系的假设来执行。例如，虚拟力可以具有虚拟加速度(虚拟地施加在交通工具上)，并且交通工具的期望虚拟加速度可以抵消虚拟地施加在交通工具上的虚拟加速度。
根据一个实施例，期望的虚拟加速度具有与虚拟施加的加速度相同的大小，但可以指向相反的方向。
根据一个实施例，期望的虚拟加速度具有与虚拟施加的加速度的大小不同的大小。
根据一个实施例，期望的虚拟加速度具有与虚拟施加的加速度的方向不相反的方向。
根据实施例，执行步骤4040，与交通工具驾驶员的当前舒适度参数或交通工具的任何其他乘客的当前舒适度参数无关。
根据实施例，方法4000包括获得交通工具驾驶员的当前舒适度参数，并且还基于驾驶员的当前舒适度参数和/或基于任何其他乘客的当前舒适度参数来执行步骤4040交通工具的。
根据实施例，方法4000包括触发驾驶相关操作的确定和/或触发驾驶相关操作的确定的执行的步骤4060。
根据实施例，步骤4060之前是步骤4020，并且任何触发都是基于一个或多个虚拟场。
根据实施例，步骤4060之前是步骤4030，并且任何触发都是基于施加在交通工具上的总虚拟力。
根据实施例，步骤4060之前是步骤4040，并且任何触发都是基于交通工具的期望虚拟加速度。
图18示出了用于训练的方法4100的示例。
根据实施例，方法4100包括获得训练神经网络所需的信息的步骤4110。该信息可包括期望的驾驶员模式和/或附加驾驶相关参数的期望值和/或虚拟物理模型。
根据一个实施例，步骤4110之后是训练神经网络以基于对象信息确定一个或多个对象的一个或多个虚拟场的步骤4120，其中确定一个或多个虚拟场基于虚拟物理模型，其中一个或多个虚拟场表示一个或多个对象对交通工具行为的潜在影响，其中虚拟物理模型是基于一种或多种物理定律和至少一个附加驾驶相关参数构建。
根据一个实施例，步骤4120之后可以是训练神经网络(或另一计算体)以根据虚拟物理模型确定由一个或多个对象施加在交通工具上的总虚拟力。
根据实施例，步骤4120之后可以是训练神经网络(或另一计算体)以基于一个或多个虚拟场确定交通工具的期望虚拟加速度。
虚拟场的个性化
感知场(PF)的基本形式是使用人类和模拟数据来学习的。然而，配备PF技术的交通工具的最终用户有可能“微调”训练，以使感知场引起的行为更密切匹配该讨论的最终用户的行为。
根据一个实施例，这可以通过以下方式完成：
a.允许交通工具中的PF软件“解冻”包含PF的神经网络最后一层的权重和偏差
b.对于一组驾驶操作中的每个驾驶操作重复：
i.让最终用户执行一组预选的驾驶操作中的一个，驾驶操作与相关环境数据一起由软件记录。
ii.使用该驾驶操作与默认PF规定的驾驶操作之间的差作为损失函数，通过反向传播更新包含PF的神经网络最后一层的权重和偏差。
图19示出了用于更新神经网络的方法4200的示例。
根据实施例，方法4200开始于获得神经网络的步骤4210，该神经网络被训练以将关于位于交通工具环境内的一个或多个对象的对象信息映射到该一个或多个对象的一个或多个虚拟场，其中一个或多个虚拟场的确定是基于虚拟物理模型，其中一个或多个虚拟场表示一个或多个对象对交通工具的行为的潜在影响，其中虚拟物理模型基于一种或多种物理定律和至少一种附加的驾驶相关参数来构建。
在前面的文本和/或前面的图中提供了这样的神经网络的示例和/或训练这样的神经网络的示例。
根据一个实施例，神经网络由处理电路(例如执行方法4000的处理电路)来实现。
获得可以包括接收神经网络(例如不训练神经网络)或生成神经网络(例如生成可以包括训练)。
根据一实施例，步骤4210之后是基于一个或多个微调参数来微调神经网络的至少一部分的步骤4220。
根据实施例，微调是通过训练期间使用的相同损失函数来执行的。或者，微调是通过训练期间使用的新损失函数来执行的。在任何情况下，损失函数可以以任何方式确定，可以是预定义的和/或给予微调阶段的。
根据实施例，步骤4220不涉及训练或再训练整个神经网络。
步骤4220包括限制分配给微调的资源，尤其是与完全训练神经网络所需的资源有关。
资源的限制可以包括以下至少之一：
a.对部分神经网络而不是全部神经网络进行微调。该部分可以是单层、多于一层、达整个神经网络的1％、5％、10％、15％、25％、30％、35％、40％、45％、50％、55％。
b.限制数据集的大小。例如，将微调限制为交通工具在有限时间内获取的图像，例如少于1、5、10、15、30分钟，少于1、2、3、5小时，少于1、2天等。大小限制的另一个示例是将数据集限制为小于100、200、500、1000、2000、5000个图像和/或小于用于训练神经网络的数据集大小的0.001％、0.01％、0.1％、1％、5％。
c.限制学习率。
d.限制受微调影响的神经网络参数。
当在限制资源的同时应用微调时，获得各种计算机科学益处。与整个神经网络的完全训练或再训练相比，可能需要少得多的计算资源和/或少得多的存储器资源。
上述微调可以通过更紧凑的神经网络和损失函数来执行，在根据一个或多个微调参数来调整神经网络的同时。
根据一个实施例，微调可以由交通工具执行，并且可能不需要高度复杂的神经网络和/或基础设施和/或大数据集。
资源的减少可以是至少5、10、20、50、100、200、500、1000甚至更多倍。
根据一个实施例，一个或多个微调参数包括交通工具的燃料消耗和/或磨损和/或交通工具乘客的舒适度和/或安全参数和/或任何其他驾驶相关参数。
根据实施例，一个或多个微调参数是交通工具在交通工具驾驶员的控制下做出的驾驶模式。驾驶模式可以是预定义的，也可以不是预定义的。
根据一个实施例，该至少部分可以包括(或可以限于)一层或两层或更多层，或者可以在再训练期间修改神经网络的所有层。
例如，步骤4220包括更新一个或多个神经网络参数，例如神经网络的最后一层的权重和偏差中的至少一个，同时保持神经网络的其他层的权重和偏差不变。
又一个例子，在步骤4220期间仅修改多个最后层中的某最后层的权重和偏差，而其他层保持不变。
神经网络的任何其他层可以在再训练期间被修改。
训练神经网络来模仿参考驾驶模式。这可以使用RL和/或BC来完成。
根据实施例，步骤4220包括计算驾驶员做出的驾驶模式与参考驾驶模式之间的差，并且使用该差来修改神经网络。例如，差可以被馈送到损失函数。
图20示出了微调神经网络的方法4300的示例。
根据实施例，方法4300包括识别关于不同情况的期望驾驶模式的步骤4310。该识别可以是行为克隆的一部分或者是强化学习的一部分。
情况可以是以下中的至少一项：(a)交通工具的位置、(b)一种或多种天气状况、(c)一种或多种背景参数、(d)道路状况、(e)交通参数。道路状况可以包括道路的粗糙度、道路的维护水平、坑洼或其他相关道路障碍物的存在、道路是否湿滑、被雪或其他颗粒覆盖。交通参数和一个或多个背景参数可以包括时间(小时、天、周期或年、某些天的某些小时等)、交通负载、道路上交通工具的分布、一个或多个交通工具的行为(攻击性、冷静、可预测、不可预测等)、道路附近行人的存在性、交通工具附近行人的存在性、远离交通工具的行人的存在性、行人的行为(攻击性、冷静、可预测、不可预测等)、在交通工具附近与驾驶相关的风险、在交通工具内与驾驶相关的复杂性、幼儿园、学校、人员聚集等中的至少一个的存在性(在交通工具附近)。题为“SITUATION BASED PROCESSING”的美国专利申请16/729,589中提供了情况的示例，该专利申请通过引用并入本文。
建议的驾驶模式是通过使用神经网络(NN)生成的，并且表示由一个或多个对象施加在交通工具上的虚拟力，用于应用交通工具的驾驶相关操作，该虚拟力与表示一个或多个对象对交通工具行为的影响的虚拟物理模型相关。当捕获不同情况的感测信息单元向神经网络提供反馈时，神经网络会生成建议的驾驶模式。
根据实施例，步骤4310之后是获得关于不同情况的建议驾驶模式的步骤4315。建议的驾驶模式是通过使用神经网络生成的，并且表示由一个或多个对象施加在交通工具上的虚拟力，以用于应用交通工具的驾驶相关操作。虚拟力与表示一个或多个对象对交通工具行为的影响的虚拟物理模型相关。虚拟物理模型和/或虚拟力的示例在说明书的先前部分和/或图20之前的附图中示出。
根据实施例，步骤4315之后是微调神经网络的至少一部分的步骤4320。
根据一个实施例，基于一个或多个微调参数来执行微调。上面列出了一个或多个微调参数的至少一些示例。
根据实施例，微调可以由与神经网络的训练相同的实体来执行，例如由制造实体和/或编程实体和/或神经网络训练和微调实体。
根据一个实施例，微调是在软件更新之后执行的。
根据一个实施例，微调在交通工具被提供给用户之前执行。
根据一个实施例，微调由交通工具的用户发起。
根据一个实施例，微调基于在交通工具的一个或多个驾驶会话期间获得的感测数据单元。
根据实施例，微调基于驾驶参数以及期望驾驶模式与建议驾驶模式之间的关系。
根据实施例，微调基于期望驾驶模式和建议驾驶模式之间的关系。
根据实施例，微调包括减小(例如使用损失函数)期望驾驶模式与建议驾驶模式之间的差。该减少还可以响应于另一个微调参数。
根据一个实施例，步骤4320包括限制分配给微调的资源，尤其是与完全训练神经网络所需的资源有关。
资源的限制可以包括以下至少之一：
a.对部分神经网络而不是全部神经网络进行微调。该部分可以是单层、多于一层、达整个神经网络的1％、5％、10％、15％、25％、30％、35％、40％、45％、50％、55％。
b.限制数据集的大小。例如，将微调限制为交通工具在有限时间内获取的图像，例如少于1、5、10、15、30分钟，少于1、2、3、5小时，少于1、2天等。大小限制的另一个示例是将数据集限制为小于100、200、500、1000、2000、5000个图像和/或小于训练神经网络所用数据集大小的0.001％、0.01％、0.1％、1％、5％。
c.限制学习率。
d.限制一些受微调影响的神经网络参数。
当在限制资源的同时应用微调时，获得各种计算机科学益处。与整个神经网络的完全训练或再训练相比，可能需要少得多的计算资源和/或少得多的存储器资源。
上述微调可以通过更紧凑的神经网络和损失函数来执行，同时根据一个或多个微调参数来调整神经网络。
根据一个实施例，微调可以由交通工具执行，并且可能不需要高度复杂的神经网络和/或基础设施和/或大数据集。
资源的减少可以是至少5、10、20、50、100、200、500、1000甚至更多倍。
图21示出了方法4350的示例。
根据一个实施例，方法4350开始于获得神经网络(NN)的步骤4360，该神经网络生成建议的驾驶模式并表示由一个或多个对象施加在交通工具上的虚拟力，以用于应用交通工具的驾驶相关操作，虚拟力与表示一个或多个对象对交通工具行为的影响的虚拟物理模型相关。
根据一实施例，步骤4350之后是基于一个或多个微调参数来微调神经网络的至少一部分的步骤4370。
根据一个实施例，步骤4370包括仅调整NN的选定部分。
根据实施例，步骤4370包括仅微调NN的选定层。
根据一个实施例，步骤4370包括仅微调NN的最后一层。
根据一个实施例，步骤4370由交通工具的驾驶员触发，例如使用与交通工具通信的移动设备，通过与人机界面(语音命令和/或触摸屏和/或旋钮或按钮接口)。
根据实施例，步骤4370由与交通工具驾驶员相关联的驾驶动作触发。例如，执行某种驾驶操作。
根据一个实施例，步骤4370包括由软件更新触发的微调。软件更新可以使得驾驶员能够选择是否执行微调。或者，微调可以通过软件更新自动触发。
根据实施例，步骤4370包括将微调期间使用的数据集的大小限制为小于用于训练NN的数据集的百分之一。
该方法可以包括(参见例如图20)获得期望的驾驶模式，并且其中步骤4370包括减少期望的驾驶模式与建议的驾驶模式之间的差。因此，微调可以提供更好地模仿期望的驾驶模式的驾驶模式。
在前述说明书中，已经参考本发明的实施例的具体示例描述了本发明。然而，很明显，在不背离所附权利要求中阐述的本发明的更宽的精神和范围的情况下，可以对其进行各种修改和改变。而且，如果有的话，说明书和权利要求中的术语“前”、“后”、“顶部”、“底部”、“上方”、“下方”等用于描述性目的，而不一定用于描述永久的相对位置。
应当理解，这样使用的术语在适当的情况下是可互换的，使得本文描述的本发明的实施例例如能够以不同于本文例示或以其他方式描述的取向的取向操作。此外，当指代将信号、状态位或类似设备分别呈现为其逻辑真或逻辑假状态时，本文使用术语“断言”或“设置”和“否定”(或“解除断言”或“清除”)。如果逻辑真状态是逻辑电平一，则逻辑假状态是逻辑电平零。如果逻辑真状态是逻辑电平零，则逻辑假状态是逻辑电平一。
本领域技术人员将认识到，逻辑块之间的边界仅仅是说明性的，并且替代实施例可以合并逻辑块或电路元件，或者对各种逻辑块或电路元件施加替代的功能分解。由此，应当理解，本文描绘的架构仅仅是示例性的，并且实际上可以实现许多其他架构，其实现相同的功能。实现相同功能的部件的任何布置被有效地“关联”，使得实现期望的功能。
因此，本文中组合以实现特定功能的任何两个部件可以被视为彼此“相关联”，使得实现期望的功能，而不管架构或中间部件。同样，这样关联的任何两个部件也可以被视为彼此“可操作地连接”或“可操作地耦合”以实现期望的功能。
此外，本领域技术人员将认识到，上述操作之间的边界仅是说明性的。多个操作可以被组合成单个操作，单个操作可以被分布在附加操作中，并且操作可以在时间上至少部分重叠地执行。而且，替代实施例可以包括特定操作的多个实例，并且在各种其他实施例中可以改变操作的顺序。又例如，在一个实施例中，所例示示例可以被实现为位于单个集成电路上或同一装置内的电路。替代地，这些示例可被实现为以合适的方式彼此互连的任何数量的单独的集成电路或单独的装置。
然而，其他修改、变化和替代也是可能的。因此，说明书和附图应被认为是说明性的而不是限制性的。在权利要求中，括号中的任何附图标记不应被解释为限制权利要求。词语“包括”不排除权利要求中列出的元件或步骤之外的元件或步骤的存在。
除非另有说明，否则诸如“第一”和“第二”的术语用于任意区分这些术语所描述的元件。由此，这些术语不一定旨在指示这些元素的时间或其他优先级。
在相互不同的权利要求中引用某些措施的事实并不指示这些措施的组合不能被有利地使用。尽管在本文中已经说明和描述了本发明的某些特征，但是本领域的普通技术人员现在将想到许多修改、替换、改变和等同物。因此，应当理解，所附权利要求旨在覆盖落入本发明的真实精神内的所有这样的修改和改变。
应当理解，为了清楚起见而在单独实施例的上下文中描述的本公开的实施例的各种特征也可以在单个实施例中组合提供。相反地，为了简洁起见而在单个实施例的上下文中描述的本公开的实施例的各种特征也可以单独地或以任何合适的子组合提供。本领域技术人员将理解，本公开的实施例不受上文具体示出和描述的内容的限制。相反，本公开的实施例的范围由所附权利要求及其等同物限定。

Claims (17)

1.一种用于增强的驾驶相关虚拟场的方法，该方法包括：
获取关于位于交通工具环境内的一个或多个对象的对象信息；和
通过处理电路并基于对象信息确定一个或多个对象的一个或多个虚拟场，其中一个或多个虚拟场的确定基于虚拟物理模型，其中一个或多个虚拟场表示一个或多个对象对交通工具行为的潜在影响，其中虚拟物理模型基于一种或多种物理定律和至少一个附加驾驶相关参数构建。
2.根据权利要求1所述的方法，其中所述至少一个附加驾驶相关参数是舒适度参数。
3.根据权利要求1所述的方法，包括基于所述一个或多个虚拟场来确定所述交通工具的期望虚拟加速度。
4.根据权利要求3所述的方法，其中期望虚拟加速度的确定被执行，与交通工具驾驶员的当前舒适度参数无关。
5.根据权利要求3所述的方法，包括获得交通工具的驾驶员的当前舒适度参数，并且其中还基于驾驶员的当前舒适度参数来执行期望虚拟加速度的确定。
6.根据权利要求3所述的方法，其中所述处理电路基于参考驾驶模式进行训练，并且其中所述至少一个附加驾驶相关参数包括驾驶员参数，所述驾驶员参数相关于一种或多种类型的所述驾驶员的驾驶模式与一种或多种类型的所述参考驾驶模式之间的一个或多个差。
7.根据权利要求3所述的方法，其中，所述交通工具的期望虚拟加速度的确定基于由所述一个或多个对象根据所述虚拟物理模型施加在所述交通工具上的总虚拟力。
8.根据权利要求1所述的方法，其中所述至少一个附加驾驶相关参数包括燃料消耗参数。
9.根据权利要求1所述的方法，其中所述至少一个附加驾驶相关参数包括安全参数。
10.根据权利要求1所述的方法，其中所述至少一个附加驾驶相关参数包括与交通工具驾驶员的一种或多种驾驶模式相关的驾驶员驾驶模式相关参数。
11.根据权利要求1所述的方法，包括基于所述一个或多个虚拟场触发对驾驶相关操作的确定。
12.根据权利要求1所述的方法，包括基于所述一个或多个虚拟场触发驾驶相关操作的执行。
13.一种用于增强的驾驶相关虚拟场的非瞬态计算机可读介质，所述非瞬态计算机可读介质存储用于以下操作的指令：
获取关于位于交通工具环境内的一个或多个对象的对象信息；和
通过处理电路并基于对象信息确定一个或多个对象的一个或多个虚拟场，其中一个或多个虚拟场的确定基于虚拟物理模型，其中一个或多个虚拟场表示一个或多个对象对交通工具行为的潜在影响，其中虚拟物理模型基于一种或多种物理定律和至少一个附加驾驶相关参数构建。
14.根据权利要求13所述的非瞬态计算机可读介质，其存储用于基于所述一个或多个虚拟场确定所述交通工具的期望虚拟加速度的指令。
15.根据权利要求14所述的非瞬态计算机可读介质，其中所述处理电路基于参考驾驶模式被训练以确定期望的虚拟加速度。
16.根据权利要求14所述的非瞬态计算机可读介质，其中所述交通工具的期望虚拟加速度的确定基于由所述一个或多个对象根据所述虚拟物理模型施加在所述交通工具上的总虚拟力。
17.根据权利要求13所述的非瞬态计算机可读介质，其中所述至少一个附加驾驶相关参数包括驾驶员参数，所述驾驶员参数相关于一种或多种类型的驾驶员驾驶模式与一种或多种类型的参考驾驶模式之间的一个或多个差。
CN202310891527.7A 2021-09-01 2023-07-19 驾驶相关的增强虚拟场 Pending CN117416364A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163260839P 2021-09-01 2021-09-01
US63/368,874 2022-07-19
US63/373,454 2022-08-24
US17/823,069 US20230064387A1 (en) 2021-09-01 2022-08-29 Perceptual fields for autonomous driving
US17/823,069 2022-08-29

Publications (1)

Publication Number Publication Date
CN117416364A true CN117416364A (zh) 2024-01-19

Family

ID=83506453

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202211067131.2A Pending CN115759264A (zh) 2021-09-01 2022-09-01 基于感知场的驾驶相关操作
CN202310848137.1A Pending CN117382667A (zh) 2021-09-01 2023-07-11 虚拟场驾驶相关操作
CN202310849113.8A Pending CN117382668A (zh) 2021-09-01 2023-07-11 虚拟场驾驶相关操作
CN202310891527.7A Pending CN117416364A (zh) 2021-09-01 2023-07-19 驾驶相关的增强虚拟场

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN202211067131.2A Pending CN115759264A (zh) 2021-09-01 2022-09-01 基于感知场的驾驶相关操作
CN202310848137.1A Pending CN117382667A (zh) 2021-09-01 2023-07-11 虚拟场驾驶相关操作
CN202310849113.8A Pending CN117382668A (zh) 2021-09-01 2023-07-11 虚拟场驾驶相关操作

Country Status (4)

Country Link
US (2) US20230064387A1 (zh)
EP (1) EP4145242A1 (zh)
JP (1) JP2023039926A (zh)
CN (4) CN115759264A (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10539967B2 (en) * 2016-08-23 2020-01-21 King Fahd University Of Petroleum And Minerals GPS-free robots
CN107632614B (zh) * 2017-08-14 2020-09-01 广东技术师范大学 一种基于刚性图理论的多无人机编队自组织协同控制方法
US10928832B2 (en) * 2017-09-29 2021-02-23 Huawei Technologies Co., Ltd. Impedance-based motion control for autonomous vehicles

Also Published As

Publication number Publication date
US20230064387A1 (en) 2023-03-02
CN117382667A (zh) 2024-01-12
EP4145242A1 (en) 2023-03-08
CN115759264A (zh) 2023-03-07
US20240051557A1 (en) 2024-02-15
CN117382668A (zh) 2024-01-12
JP2023039926A (ja) 2023-03-22

Similar Documents

Publication Publication Date Title
US11733703B2 (en) Automatic braking of autonomous vehicles using machine learning based prediction of behavior of a traffic entity
US11055544B2 (en) Electronic device and control method thereof
KR102060662B1 (ko) 차량의 주행 이벤트를 검출하는 전자 장치 및 방법
US20200180647A1 (en) Neural network based modeling and simulation of non-stationary traffic objects for testing and development of autonomous vehicle systems
WO2016077029A1 (en) Continuous occlusion models for road scene understanding
US11235776B2 (en) Systems and methods for controlling a vehicle based on driver engagement
US11919545B2 (en) Scenario identification for validation and training of machine learning based models for autonomous vehicles
US11467579B2 (en) Probabilistic neural network for predicting hidden context of traffic entities for autonomous vehicles
US20210354730A1 (en) Navigation of autonomous vehicles using turn aware machine learning based models for prediction of behavior of a traffic entity
Cai et al. A driving fingerprint map method of driving characteristic representation for driver identification
CN116331221A (zh) 辅助驾驶方法、装置、电子设备及存储介质
CN117416364A (zh) 驾驶相关的增强虚拟场
US20230356747A1 (en) Driving related augmented virtual fields
US20230365157A1 (en) Driving related augmented virtual fields
US20240083463A1 (en) Augmented driving related virtual force fields
US20240083431A1 (en) Training and testing a machine learning process
JP2024013226A (ja) 運転関連の向上した仮想フィールド
US20240005794A1 (en) Adaptive perception affected by V2X signal
US20230365155A1 (en) Virtual fields driving related operations
CN117719523A (zh) 场相关驾驶和外部内容
US20230365156A1 (en) Virtual fields driving related operations
JP2024009792A (ja) 仮想フィールド運転関連操作
JP2023044080A (ja) 運転技能評価システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication