CN112203916A - 用于确定目标车辆变道相关信息的方法和设备、用于确定车辆舒适性度量用以预测目标车辆的驾驶机动操纵的方法和设备以及计算机程序 - Google Patents

用于确定目标车辆变道相关信息的方法和设备、用于确定车辆舒适性度量用以预测目标车辆的驾驶机动操纵的方法和设备以及计算机程序 Download PDF

Info

Publication number
CN112203916A
CN112203916A CN201980035107.0A CN201980035107A CN112203916A CN 112203916 A CN112203916 A CN 112203916A CN 201980035107 A CN201980035107 A CN 201980035107A CN 112203916 A CN112203916 A CN 112203916A
Authority
CN
China
Prior art keywords
target vehicle
vehicle
information related
driving maneuver
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980035107.0A
Other languages
English (en)
Inventor
N·S·纳加拉贾
O·谢尔
L·施瓦茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN112203916A publication Critical patent/CN112203916A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0018—Method for the design of a control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0022—Gains, weighting coefficients or weighting functions
    • B60W2050/0025—Transfer function weighting factor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

一些实施方式涉及一种用于确定与目标车辆的变道相关的信息的方法和设备、一种用于确定车辆舒适性度量用以预测目标车辆驾驶机动操纵的方法以及一种计算机程序。用于确定与目标车辆的变道相关的信息的方法包括：获取(110)与目标车辆的环境相关的信息。与环境相关的信息涉及目标车辆的环境的多个特征。所述多个特征被划分成两个或更多个特征组。所述方法还包括：确定(120)用于所述两个或更多个特征组的两个或更多个加权因子。注意力机制被用于确定所述两个或更多个加权因子。所述方法还包括：利用机器学习网络，基于与目标车辆的环境相关的信息，确定(130)与目标车辆的变道相关的信息。在机器学习网络内目标车辆的环境的所述多个特征的加权基于用于所述两个或更多个特征组的所述两个或更多个加权因子。

Description

用于确定目标车辆变道相关信息的方法和设备、用于确定车 辆舒适性度量用以预测目标车辆的驾驶机动操纵的方法和设 备以及计算机程序
技术领域
一些实施方式涉及一种用于确定与目标车辆的变道相关的信息的方法和设备，涉及一种用于确定车辆舒适性度量用于预测目标车辆的驾驶机动操纵的方法和设备，以及涉及一种计算机程序，更具体地、而非排他地涉及预测目标车辆的变道，其中利用具有注意力机制的机器学习网络。
背景技术
自主驾驶是在汽车研究中的主要焦点。在自主驾驶中，预测其他车辆将要怎样行为是关键特征。基于这些预测，自主车辆可以确定，在自主车辆周围形成怎样的交通情形，并且自主车辆可以被允许针对变化的交通情形来调整其驾驶。一个重要的预测是预测其他车辆的变道。如果在自主车辆前方的目标车辆在多车道道路上变道，例如从坡道上到高速公路或者沿着高速公路的多个车道变道，存在高的可能性，自主车辆需要调整其速度和前进方向，要么因为其被正在变道的车辆阻挡，要么因为引起其他车辆的变道。
发明内容
可以存在以下需求：提供一种改进的用于预测目标车辆的变道的方案。
这种需求可以通过权利要求的主题来满足。
至少一些实施方式涉及一种用于车辆的方法。所述方法可以被用于在利用机器学习网络的情况下预测目标车辆的变道。在机器学习网络内，注意力机制例如注意力层被用于选择性地关注于网络的输入特征，所述输入特征被认为有提高的重要性。例如，如果目标车辆接近道路坡道，提高的关注点可以被设置在去往机器学习网络的映射数据输入特征上；在密集的交通情形中，提高的关注点可以是(直接地)围绕目标车辆的车辆。附加地，在至少一些实施方式中，机器学习网络可以是循环的机器学习网络，例如循环的神经网络，使得变道可能不仅仅基于机器学习网络的当前输入特征被预测，而是也基于机器学习网络的先前状态被预测。为了该效果，机器学习网络例如可以包括长短期记忆网络(LSTM)单元。
一些实施方式提供一种用于车辆的方法。该方法适用于确定与目标车辆的变道相关的信息。与目标车辆的变道相关的信息表明，是否目标车辆被预期执行变道。所述方法包括：获取与目标车辆的环境相关的信息。与环境相关的信息涉及目标车辆的环境的多个特征。所述多个特征被划分成两个或更多个特征组。所述方法还包括：为所述两个或更多个特征组确定两个或更多个加权因子。注意力机制被用于确定所述两个或更多个加权因子。所述方法还包括：利用机器学习网络，基于与目标车辆的环境相关的信息，确定与目标车辆的变道相关的信息。在机器学习网络内目标车辆的环境的所述多个特征的加权基于用于所述两个或更多个特征组的所述两个或更多个加权因子。
利用具有注意力机制的机器学习网络可以不进允许变道的预测的更好的质量，而且允许预测的更好的可解释性，因为预测的评价可以显示哪些输入特征具有提高的影响。
例如，所述两个或更多个特征组包括与目标车辆的驾驶参数相关的一组特征、与在目标车辆附近的一个或多个其他车辆相关的一组特征以及与目标车辆的静态环境相关的一组特征之中的至少两个元素。将输入特征分组成多个特征组可以允许根据分组例如利用用于所述两个或更多个特征组的两个或更多个LSTM将机器学习网络分开。
在至少一些实施方式中，与目标车辆的环境相关的信息基于车辆的经处理的传感器数据和/或基于映射数据。例如，与目标车辆的驾驶参数相关的特征组的特征可以基于车辆的经处理的传感器数据。与在目标车辆附近的一个或多个其他车辆相关的特征组的特征可以基于车辆的经处理的传感器数据。与目标车辆的静态环境相关的特征组的特征可以基于映射数据。利用不同来源的输入特征，例如车辆的经处理的传感器数据和映射数据，可以改进预测的质量，并且可以允许在输入特征之中的选择性的关注。
在一些实施方式中，机器学习网络包括注意力层。注意力层可以被用于确定所述两个或更多个加权因子。所述注意力层可以被用于在机器学习网络的输入特征或输入特征组之中选择性关注。
例如，注意力层可以被构造成用于，基于所述两个或更多个特征组的特征来确定所述两个或更多个加权因子。附加地或替换地，所述注意力层可以被构造成用于，基于与环境相关的当前信息以及基于注意力层的先前状态来确定所述两个或更多个加权因子。利用处于不同空间中和/或具有不同形态的特征可以允许关注点的改进的选择。此外，如果一个或多个加权因子基于与环境相关的当前信息以及基于注意力层的先前状态来确定，那么在所述一个或多个加权因子的确定之内考虑变道预测的连续的性质。
在至少一些实施方式中，所述方法包括：重复确定与目标车辆的变道相关的信息。对于每一次重复确定与目标车辆的变道相关的信息，所述两个或更多个加权因子可以被重新确定。这可以允许针对目标车辆的驾驶情形来调整加权情形。
在一些实施方式中，机器学习网络是循环的机器学习网络。机器学习网络可以被构造成用于，基于与目标车辆的环境相关的当前信息以及基于机器学习网络的先前状态来确定与目标车辆的变道相关的信息。这可以考虑变道预测的连续的性质。
例如，机器学习网络可以包括两个或更多个长短期记忆网络单元。与目标车辆的变道相关的信息可以利用所述两个或更多个长短期记忆网络单元基于与目标车辆的环境相关的当前信息以及基于一个或更多个长短期记忆网络单元的先前状态来确定。这可以考虑变道预测的连续的性质，因为LSTM基于它们的当前的输入特征以及它们的先前状态。附加地或替换地，所述两个或更多个长短期记忆网络单元之中的每一个可以配设有所述两个或更多个特征组之中的特征组。这可以便于在机器学习网络内通过注意力机制给所述两个或更多个特征组加权。
在一些实施方式中，所述方法包括：基于与目标车辆的变道相关的信息引导车辆。例如，车辆可以通过对车辆加速或减速和/或通过对车辆转向来被引导。这可以允许对目标车辆的预测的变道做出反应。
例如，与目标车辆的变道相关的信息可以被确定用来预测目标车辆的变道。预测的变道可以被用来改变车辆的速度或前进方向。
所述方法包括：为处于车辆附近的多个目标车辆确定与目标车辆的变道相关的信息。这可以允许预测在车辆附近的多个车辆的变道。
一些实施方式还提供一种用于确定车辆舒适性度量用以预测目标车辆的驾驶机动操纵的方法。所述方法包括：获取与目标车辆的驾驶机动操纵的程度相关的信息。所述方法还包括：获取与目标车辆的驾驶机动操纵的预测相关的信息。所述方法还包括：基于与驾驶机动操纵的程度相关的信息和与驾驶机动操纵的预测相关的信息的比较，确定车辆舒适性度量用于预测驾驶机动操纵。所述舒适性度量基于如下组：在驾驶机动操纵的开始与驾驶机动操纵的第一次预测之间的延迟、在驾驶机动操纵与驾驶机动操纵的预测之间的重叠、驾驶机动操纵的多个不连续的预测以及驾驶机动操纵的错失的预测之中的一个或多个元素来确定。车辆舒适性度量可以被用于评价和改进用于预测目标车辆的机动操纵的预测方法。
一些实施方式还提供一种计算机程序，其具有程序代码，所述计算机程序用于：当计算机程序在计算机、处理器或者可编程硬件上执行时，实施各所述方法之中的至少一个方法。
一些实施方式还提供一种用于车辆的设备。所述设备适用于确定与目标车辆的变道相关的信息。与目标车辆的变道相关的信息表明，是否目标车辆预期执行变道。所述设备包括用于获取与目标车辆的环境相关的信息的至少一个接口。与环境相关的信息涉及目标车辆的环境的多个特征。所述多个特征被划分成两个或更多个特征组。所述设备包括计算模块，其构造成用于确定用于所述两个或更多个特征组的两个或更多个加权因子。注意力机制被用于确定所述两个或更多个加权因子。计算模块构造成用于，利用机器学习网络，基于与目标车辆的环境相关的信息，确定与目标车辆的变道相关的信息。在机器学习网络内目标车辆的环境的所述多个特征的加权基于用于所述两个或更多个特征组的所述两个或更多个加权因子。
一些实施方式还提供一种用于确定车辆舒适性度量用于预测目标车辆的驾驶机动操纵的设备。所述设备包括至少一个接口，其用于获取与目标车辆的驾驶机动操纵的程度相关的信息和用于获取与目标车辆的驾驶机动操纵的预测相关的信息。所述设备还包括计算模块，其构造成用于，基于与驾驶机动操纵的程度相关的信息和与驾驶机动操纵的预测相关的信息的比较，确定车辆舒适性度量用以预测驾驶机动操纵。所述舒适性度量基于如下组：在驾驶机动操纵的开始与驾驶机动操纵的第一次预测之间的延迟、在驾驶机动操纵与驾驶机动操纵的预测之间的重叠、驾驶机动操纵的多个不连续的预测以及驾驶机动操纵的错失的预测之中的一个或多个元素来确定。
附图说明
下面仅借助于示例和参照附图来说明设备和/或方法的一些示例，在附图中：
图1a和1b显示用于车辆的方法的实施方式的流程图；
图1c显示用于车辆的设备的实施方式的框图；
图1d显示用于确定车辆舒适性度量用以预测目标车辆的驾驶机动操纵的方法的实施方式的流程图；
图1e显示用于确定车辆舒适性度量用以预测目标车辆的驾驶机动操纵的设备的实施方式的框图；
图2a显示具有注意力层的分布式的长短期记忆网络的框图；
图2b显示变道的预测和相应的基于舒适性相关度量的评价的示意图；
图3a显示注意力机制可以怎样理解情景的样图；
图3b显示来自车队数据的样图的示图；
图3c显示动态环境特征的可视化；
图3d显示长短期记忆网络的可视化；
图3e显示注意力计算的示例；
图3f显示具有五车道的高速公路(US-101)的数据集的概略图；
图3g显示在发展中的变道机动操纵的事件的序列；
图3h显示变道机动操纵和变道机动操纵的相应预测的时间序列；
图3i显示由评估人执行的变道机动操纵的标记的表格；
图4显示在不同度量上的不同预测方法的比较和排序；
图5a至5e显示注意力对网络做决定、突显其正确的且直觉的贡献的影响；
图6a显示如由一系列汽车记录的向右变道的可视化；以及
图6b显示“假的”向左变道的可视化。
具体实施方式
现在参考附图更全面地说明一些示例，在这些附图中描述了一些示例。在附图中，线条、层和/或区域的厚度可以因清晰性而被夸张。
相应地，其他示例能够是不同的修改和替换形式，而它们的一些具体的示例显示于附图中并且随后具体地说明。然而，该具体说明不将其他示例限制于所说明的具体形式。其他示例可以覆盖落在公开范围之内的所有的变型、等效形式和替换形式。相同或类似的数字在对附图的整个说明中表示相同或类似的元件，它们可以相同地或者在相互比较时以修改的形式实施，然而提供相同或类似的功能性。
理解的是，如果一个元件被表示与另一个元件“连接”或“联接”，这些元件可以直接连接或联接，或者经由一个或多个中间元件来连接或联接。如果两个元件A和B通过使用“或”来组合，这要被理解成公开了所有可能的组合，即仅仅A、仅仅B以及A和B，除非明确地或隐含地另行定义。对于这些相同组合的替换的表述是“A和B中的至少一个”或者“A和/或B”。相同规定适用于超过两个元件的组合。
在此使用的用来说明具体示例目的的术语无意于对于其他示例形成限制。无论何时使用单数形式例如“一个”和“所述一个”以及仅仅使用单个元件并非明确地或隐含地定义为强制性的，其他示例也可以使用复数个元件来实施相同的功能性。类似地，如果一种功能性随后说明为利用多个元件来实施，其他示例可以利用单个的元件或处理实体来实施相同的功能性。进一步要理解的是，术语“包括”、“包含”在使用时表明存在所陈述的特征、整数、步骤、操作、过程、动作、元件和/或组成部分，而不排除存在或附加一个或多个其他特征、整数、步骤、操作、过程、动作、元件、组成部分和/或它们的任一个集合。
除非另行定义，在此，所有术语(包括技术术语和科学术语)按照它们的在示例所属的技术的常规意义使用。
图1a和1b显示用于车辆100的方法的实施方式的流程图。所述方法适用于确定与目标车辆的变道相关的信息。与目标车辆的变道相关的信息表示，是否目标车辆被预期执行变道。所述方法包括：获取110与目标车辆的环境相关的信息。与环境相关的信息涉及目标车辆的环境的多个特征。所述多个特征被划分成两个或更多个特征组。所述方法还包括：确定120用于所述两个或更多个特征组的两个或更多个加权因子。注意力机制被用于确定所述两个或更多个加权因子。所述方法还包括：利用机器学习网络，基于与目标车辆的环境相关的信息，确定130与目标车辆的变道相关的信息。在机器学习网络内目标车辆的环境的所述多个特征的加权基于用于所述两个或更多个特征组的所述两个或更多个加权因子。
图1c显示用于车辆100的(对应的)设备10的实施方式的框图。所述设备10适用于确定与目标车辆的变道相关的信息。与目标车辆的变道相关的信息表示，是否目标车辆被预期执行变道。所述设备10包括至少一个接口12，用于获取与目标车辆的环境相关的信息。与环境相关的信息涉及目标车辆的环境的多个特征。所述多个特征被划分成两个或更多个特征组。所述设备10包括计算模块14，用于确定用于所述两个或更多个特征组的两个或更多个加权因子。注意力机制被用于确定所述两个或更多个加权因子。计算模块14构造成用于，利用机器学习网络，基于与目标车辆的环境相关的信息，确定与目标车辆的变道相关的信息。在机器学习网络内目标车辆的环境的所述多个特征的加权基于用于所述两个或更多个特征组的所述两个或更多个加权因子。所述至少一个接口12联接至计算模块14。图1c还显示所述车辆100包括所述设备10。
例如，结合图1a和1b介绍的方法的方法特征可以被车辆100执行。计算模块14可以构造成用于执行结合图1a和/或1b介绍的方法特征/步骤，例如所述计算模块与所述至少一个接口12相结合。
以下说明不仅涉及图1a和/或1b的方法，而且涉及图1c的设备10。
方法和/或设备的一些实施方式适用于确定与目标车辆的变道相关的信息。换言之，方法和/或设备可以用于确定，是否目标车辆(其可以是处于车辆100前方的车辆)可能执行变道，例如是否可能从同一条公路的第一条车道移动到第二条车道。例如，与目标车辆的变道相关的信息可以被确定用来预测目标车辆的变道。与目标车辆的变道相关的信息可以包括：与目标车辆在预定的时间点或时间阶段变道的可能性相关的信息和/或与变道机动操纵的预测的开始和/或结束相关的信息。换言之，与目标车辆的变道相关的信息可以包括如下的与变道相关的信息，其可以被车辆的自主驾驶模块或半自主驾驶模块利用以调整车辆驾驶。例如，所述方法可以包括：将与目标车辆的变道相关的信息提供给车辆100的半自住的或自主的驾驶模块，例如经由所述至少一个接口12。
方法和/或设备的一些实施方式适用于确定与目标车辆的变道相关的信息。例如，目标车辆是与车辆100处于同一条道路上的车辆，例如处于车辆100前方的车辆。所述车辆100可以确定与位于车辆100附近的多个车辆的变道相关的信息，例如用来预测位于车辆100附近的所述多个车辆的变道。例如，所述方法可以包括：确定160与位于车辆100附近的多个目标车辆的目标车辆变道相关的信息，例如分别对于所述多个目标车辆之中的每一个目标车辆进行确定。所述方法可以包括依次确定160与位于车辆100附近的上述多个目标车辆的变道相关的信息。例如所述多个(目标)车辆可以与车辆100位于同一条公路上，例如包括相邻的道路结构例如高速公路坡道。例如目标车辆可以是位于车辆100附近的多个车辆之中的车辆。
所述方法包括：获取110与目标车辆的环境相关的信息。与环境相关的信息涉及目标车辆的环境的多个特征。所述多个特征被划分成两个或更多个特征组。例如，所述两个或更多个特征组可以包括与目标车辆的驾驶参数相关的特征组、与在目标车辆附近的一个或多个其他车辆相关的特征组和/或与目标车辆的静态环境相关的特征组。与目标车辆的驾驶参数相关的特征组可以包括如下组：与目标车辆的纵向的(例如在行驶方向上)速度相关的信息、与目标车辆的横向的(例如与行驶方向正交)速度相关的信息、与目标车辆的纵向加速度相关的信息、与目标车辆的横向加速度相关的信息和与目标车辆的前进角度相关的信息之中的至少一个元素。与在目标车辆附近的一个或多个其他车辆相关的特征组可以包括如下组：在相同车道中在目标车辆前方驾驶的车辆的(暂时的)距离、在相邻车道(左侧或右侧)中在目标车辆前方驾驶的车辆的(暂时的)距离、在相同车道中在目标车辆后方驾驶的车辆的(暂时的)距离以及在相邻车道(左侧或右侧)中在目标车辆后方驾驶的车辆的(暂时的)距离之中的一个或多个元素。暂时的距离可以是由追踪车辆的速度划分的车辆之间的距离。与目标车辆的静态环境相关的特征组可以包括与目标车辆的静态环境相关的一个或多个特征，例如目标车辆正在行驶的道路的特征。例如，与目标车辆的静态环境相关的特征组可以包括与目标车辆距坡道的距离相关的信息、与目标车辆正在行驶的道路的车道数量相关的信息和/或与目标车辆正在行驶的道路的车道数量的变化相关的信息。在此使用的术语“特征”涉及用于机器学习网络的输入数据或者输入数据集。例如，一个特征可以是正在被观察的现象的特定的可测量的属性或特性，例如目标车辆的驾驶参数的属性或特性、在目标车辆附近的一个或多个其他车辆的属性或特性或者目标车辆的静态环境的属性或特性。
在至少一些实施方式中，与目标车辆的环境相关的信息基于车辆100的经处理的传感器数据和/或基于映射数据。例如，经处理的传感器数据可能不是“原始的”传感器数据；而是如下的传感器数据，在这些传感器数据中，特征被分离，例如为了便于被机器学习网络处理。经处理的传感器数据可以是经处理的感知传感器数据。车辆100可以包括一个或多个感知传感器，例如至少一个LIDAR(激光雷达)传感器、雷达传感器、飞行时间(TOF)传感器和相机传感器，它们可以构造成用于提供传感器数据。车辆可以还包括一个或多个计算模块，其构造成用于处理LIDAR/雷达/TOF/相机传感器的传感器数据，以便提供经处理的传感器数据。所述方法可以包括：从所述一个或多个计算模块获取经处理的传感器数据。例如，与目标车辆的驾驶参数相关的特征组的特征可以基于车辆100的经处理的传感器数据。与在目标车辆附近的一个或多个其他车辆相关的特征组的特征可以基于车辆100的经处理的传感器数据。与目标车辆的静态环境相关的特征组的特征可以基于映射数据，例如基于地图信息。
在下文中可以使用术语“先前的”和“当前的”，例如用来表示与目标车辆的环境相关的“先前的”或“当前的”信息、机器学习网络的“先前的”状态、注意力层的“先前的”状态等等。术语“先前的”和“当前的”可以涉及时步，所述方法在所述时步上实施。例如，当前的时步可以是如下的时步，对于该时步，与目标车辆的环境相关的(当前的)信息被用于确定与目标车辆的变道相关的信息，并且先前的时步可以是(直接地)在当前的时步之前的时步。在至少一些实施方式中，如图1b所示，所述方法包括：重复140确定与目标车辆的变道相关的信息。例如，在t＝0时，与变道相关的信息可以被首次确定。在t＝0时与目标车辆的环境相关的信息可以是与目标车辆的环境相关的当前的信息，并且可能没有与目标车辆的环境相关的先前的信息或者没有机器学习网络的先前的状态。在t＝1时，可以重复140确定与变道相关的信息。在这种情况下，在t＝1时与目标车辆的环境相关的信息可以是与目标车辆的环境相关的当前的信息，在t＝0时与目标车辆的环境相关的信息可以是与目标车辆的环境相关的先前的信息，并且在t＝0时的机器学习网络的状态可以是机器学习网络的先前的状态。
所述方法包括：确定120用于所述两个或更多个特征组的两个或更多个加权因子。在机器学习网络内目标车辆的环境的所述多个特征的加权基于用于所述两个或更多个特征组的所述两个或更多个加权因子。例如，所述两个或更多个加权因子可以表示，在确定与目标车辆的变道相关的信息中，多少权重被施加在所述两个或更多个特征组之中的特征组上。注意力机制被用于确定所述两个或更多个加权因子。注意力机制可以是用于确定所述多个输入特征之中的特征子集的选择性关注的一种机制。例如，注意力机制可以适用于将权重分配给所述两个或更多个特征组之中的特征组。例如，机器学习网络可以包括注意力层。注意力层可以被用于确定所述两个或更多个加权因子。注意力层可以实施注意力机制。注意力层可以被训练成分配权重给所述两个或更多个特征组之中的特征组，例如利用所述两个或更多个特征组的特征和/或作为训练输入的注意力层的先前状态。例如，注意力层的先前状态可以包括与环境相关的先前的信息和/或由注意力层称号暗示的先前的权重。注意力层可以构造成用于，基于所述两个或更多个特征组的特征来确定所述两个或更多个加权因子。所述两个或更多个特征组可以是用于注意力层的输入特征。在至少一个实施方式中，注意力层构造成用于，基于与环境相关的当前的信息以及基于注意力层的先前的状态(例如基于与环境相关的先前的信息)来确定所述两个或更多个加权因子。与所述两个或更多个特征组一起，注意力层的先前的状态可以是注意力层的输入特征。对于每一次重复确定与目标车辆的变道相关的信息，可以重新确定142所述两个或更多个加权因子。
所述方法包括：利用机器学习网络，基于与目标车辆的环境相关的信息，确定130与目标车辆的变道相关的信息。例如，与目标车辆的环境相关的信息，例如所述多个特征和/或所述两个或更多个特征组，可以是机器学习网络的输入特征。例如，机器学习网络可以是循环的机器学习网络，例如循环神经网络。换言之，机器学习网络可以构造成用于，基于与目标车辆的环境相关的当前的信息，并且基于机器学习网络的先前的状态，确定与目标车辆的变道相关的信息。例如，机器学习网络的先前的状态可以包括与目标车辆的环境相关的先前的信息和/或与目标车辆的变道相关的先前确定的信息。
在一种示例性的实施方式中，机器学习网络包括两个或更多个用于所述两个或更多个特征组的两个或更多个长短期记忆网络(LSTM)单元，例如用于三个特征组的三个LSTM单元。与目标车辆的变道相关的信息可以利用两个或更多个长短期记忆网络单元基于与目标车辆的环境相关的当前的信息并且基于一个或多个长短期记忆网络单元的先前的状态被确定130。所述两个或更多个长短期记忆网络单元之中的每一个可以配设于所述两个或更多个特征组之中的特征组。例如，每个LSTM单元可以处理(正好)所述两个或更多个特征组之中的一个特征组，作为输入特征。
在一些实施方式中，如在图1b中进一步显示的，所述方法包括：基于与目标车辆的变道相关的信息，引导150(例如自主地或半自主地驾驶)车辆100。例如，车辆100可以基于与目标车辆的变道相关的信息加速152或减速154。替换地或补充地，所述方法可以包括：基于与目标车辆的变道相关的信息对车辆100进行转向156。
例如，车辆100和/或目标车辆可以是陆地车辆、公路车辆、轿车、汽车、越野车、机动车、卡车或货车。在至少一些实施方式中，车辆100和/或目标车辆可以是自主地或半自主地运行的车辆。
所述至少一个接口12(和/或如结合图1e介绍的至少一个接口22)可以对应于用于接收和/或发射信息的一个或多个输入端和/或输出端，所述信息可以在一个模块内、在模块之间或者在不同实体的模块之间以根据特定代码的数字的(二进制的)值的形式。
在一些实施方式中，计算模块14(和/或如结合图1e介绍的计算模块24)可以利用一个或多个计算单元、一个或多个计算装置、任何用于计算的装置、一个或多个处理单元、一个或多个处理装置、任何用于处理的装置、例如处理器、计算机或者能够用相应地适配的软件运行的可编程硬件部件来实现。换言之，所说明的计算模块14、24的功能也可以在软件中实现，于是所述软件在一个或多个可编程硬件部件中执行。这种硬件部件可以包括一般性目的的处理器、数字信号处理器(DSP)、微控制器等等。
方法和/或设备10的更多细节和方面结合所建议的构思或者在前面或后面说明的一个或多个示例(例如图1d至6b)来提及。方法和/或设备10可以包括一个或多个附加的可选的特征，它们对应于所建议的构思或者在前面或后面说明的一个或多个示例的一个或多个方面。
图1d显示用于确定用于预测目标车辆的驾驶机动操纵的车辆舒适性度量的方法的实施方式的流程图。所述方法包括：获取210与目标车辆的驾驶机动操纵的程度相关的信息。所述方法还包括：获取220与目标车辆的驾驶机动操纵的预测相关的信息。所述方法还包括：基于与驾驶机动操纵的程度相关的信息和与驾驶机动操纵的预测相关的信息的比较，确定230用于预测驾驶机动操纵的车辆舒适性度量。舒适性度量基于如下组：在驾驶机动操纵的开始与驾驶机动操纵的第一次预测之间的延迟、在驾驶机动操纵与驾驶机动操纵的预测之间的重叠、驾驶机动操纵的不连续的预测的数量和驾驶机动操纵的措施的预测之中的一个或多个元素来确定。
图1c显示用于确定用于预测目标车辆的驾驶机动操纵的车辆舒适性度量的(相应的)设备20的实施方式的框图。设备20包括至少一个接口22，用于获取与目标车辆的驾驶机动操纵的程度相关的信息和用于获取与目标车辆的驾驶机动操纵的预测相关的信息。所述设备20包括计算模块24，其构造成用于，基于与驾驶机动操纵的程度相关的信息和与驾驶机动操纵的预测相关的信息的比较，确定用于预测驾驶机动操纵的车辆舒适性度量。所述车辆舒适性度量基于如下组：在驾驶机动操纵的开始与驾驶机动操纵的第一次预测之间的延迟、在驾驶机动操纵与驾驶机动操纵的预测之间的重叠、驾驶机动操纵的不连续的预测的数量和驾驶机动操纵的错失的预测之中的一个或多个元素来确定。所述至少一个接口22与计算模块24耦合。所述计算模块24可以构造成用于执行图1d的方法的方法特征/步骤，例如与所述至少一个接口22相结合。
以下说明涉及图1d的方法和图1e的设备20。
所述方法和/或设备适用于确定用于预测目标车辆的驾驶机动操纵的车辆舒适性度量。例如，如结合图1a至1c所介绍的，驾驶机动操纵可以是或者可以包括变道机动操纵。例如，驾驶机动操纵可以是超车机动操纵或者并线机动操纵，它们包括变道机动操纵。车辆舒适性度量可以表示被目标车辆的驾驶机动操纵的预测所允许的舒适性水平。例如，车辆舒适性度量可以用于评价一个或多个驾驶机动操纵预测方法，例如用于选择一个驾驶机动操纵预测方法，其在利用预测方法的车辆(例如不是目标车辆)内允许改进的舒适性。在至少一些实施方式中，所述方法可以被线下执行，例如在车辆之外执行。车身舒适性度量的确定可以基于与目标车辆的驾驶机动操纵的程度相关的线下信息(例如与目标车辆的驾驶机动操纵的程度相关的记录的或模拟的信息)，和/或基于与目标车辆的驾驶机动操纵的预测相关的线下信息、与在车辆外部模拟的目标车辆的驾驶机动操纵的预测相关的信息。目标车辆可以是“实际的”目标车辆，例如驾驶机动操纵可以被实际的目标车辆执行并且与驾驶机动操纵的程度相关的信息可以基于如由实际的目标车辆执行的驾驶机动操纵；或者目标车辆可以是模拟的目标车辆，例如驾驶机动操纵可以在计算机模拟中执行。例如，与模拟的目标车辆的驾驶机动操纵的程度相关的信息可以基于模拟的驾驶机动操纵。在至少一些实施方式中，驾驶机动操纵的程度可以自动地确定，例如基于目标车辆的横向加速度或者基于目标车辆的横向速度。替换地，驾驶机动操纵的程度可以手动地确定。与驾驶机动操纵的程度相关的信息可以包括或者表示如下组：驾驶机动操纵的持续时间、驾驶机动操纵的开始时间和驾驶机动操纵的结束时间之中的一个或多个元素。
所述方法包括：获取220与目标车辆的驾驶机动操纵的预测相关的信息。例如，与驾驶机动操纵的预测相关的信息可以包括或表示如下组：驾驶机动操纵的一个或多个预测的持续时间(在一个实际的驾驶机动操纵内，预测可以确定一个或多个预测的驾驶机动操纵)和驾驶机动操纵(一个或多个预测的驾驶机动操纵的第一次预测的驾驶机动操纵)的第一次预测的开始之中的一个或多个元素。
所述方法包括：基于与驾驶机动操纵的程度相关的信息和与驾驶机动操纵的预测相关的信息的比较，确定230用于预测驾驶机动操纵的舒适性度量。
例如，所述方法可以包括：基于确定230的车辆舒适性度量，评价预测方法(例如用于确定与目标车辆的变道相关的信息的方法)。
舒适性度量可以基于在驾驶机动操纵的开始与驾驶机动操纵的第一次预测之间的延迟来确定，例如基于在驾驶机动操纵的开始时间与驾驶机动操纵的第一次预测的开始之间的延迟。预测越早，利用预测的车辆有越多时间来调整其驾驶。舒适性度量可以基于在驾驶机动操纵与驾驶机动操纵的预测之间的重叠来确定，例如基于在驾驶机动操纵的整个持续时间与一个持续时间(在该持续时间中驾驶机动操纵已被预测)的比较。舒适性度量可以基于驾驶机动操纵的不连续的预测的数量来确定，例如基于在导致在单个的预测之间的间隙的驾驶机动操纵程度之内做了多少次预测。舒适性度量可以基于驾驶机动操纵的错失的预测来确定，例如基于是否驾驶机动操纵被错失/完全未被识别。
所述方法和/或设备10的更多细节和方面结合所建议的构思或者在前面或后面说明的一个或多个示例(例如图1d至6b)而被提及。所述方法和/或设备10可以包括一个或多个附加的可选的特征，它们对应于所建议的构思或者在前面或后面说明的一个或多个示例的一个或多个方面。
至少一些实施方式提供基于注意力的变道预测，其可以基于与舒适性相关的度量。
预测是在实施自主驾驶中的重要因素。变道预测是特别重要的，因为变道经常在高速度下执行。此外，变道对于18％的事故负责。
在一些系统中，采用“经典的”机器学习方法，例如所谓的支持向量机或随机森林，或者使用简单的循环神经网络。在这些方式中，输入特征(例如速度、横向加速度等)被连结并且传递给方法。
有大量的评价准则来评价在自主驾驶中的变道预测的质量。评价准则可以通过信息收集来促进，使得用于每一个时步的评价准则可以与其他时步无关地被确定。
不幸的是，在许多情况下，变道机动操纵不能被考虑为单个的时步，而是考虑为包括多个时步的连续过程。
如果这种属性被丢弃，那么重要信息是失去的，该重要信息是与驾驶舒适性相关的信息。例如，预测可以是不连续的，这可以导致在一个变道机动操纵中的多个制动和加速机动操纵。驾驶舒适性受到影响的另一个场景是如下的场景：在该场景中在晚的时间点做出预测，这可以导致跳跃的加速或减速。在其他系统中使用的评价准则能不考虑这些因素。
另外，在一些系统中，所有因素可能被同时考虑，这可以导致在极端情况下的错误。驾驶舒适性可能不免于评价准则。每个时步可能被单独地考虑，而不作为连续的事件。
在至少一些实施方式中，可以使用循环神经网络来预测(例如结合图1a至1c介绍的机器学习网络)，其包括所谓的LSTM单元(长短期记忆网络单元)。图2a显示具有注意力层208(例如注意力机制)的分布式LSTM的框图。输入特征210(例如多个特征)被提供给LSTM202；204；206和注意力层208，并且预测212基于LSTM 202；204；206和基于注意力层208来确定。网络例如可以包括三个单独的LSTM单元，它们分别覆盖预定义的属性，例如目标车辆的特征、地图信息等等(“解耦”)。此外，在至少一些实施方式中，网络可以被扩展有“注意力层”(例如注意力机制)。一些实施方式可以提供一种机制，其允许网络基于当前情形来关注特定的属性。一个示例是通过高速公路坡道。在这种场景中，有非常高的可能性，在坡道上的车辆将要执行变道。在这种情况下，系统可能关注环境的静态属性(例如街道数据、与目标车辆的静态环境相关的特征组)并且基于这种关注来执行预测。这可以避免其他属性的错误解释。利用注意力机制的另一个积极的副作用可以是预测结果的可解释性：通过解释结果，可能重建和评价，哪些特征/属性对预测有提高的影响。
另外，至少一些实施方式可以提供评价准则(离去车辆舒适性度量)，其将变道解释为综合的连续的事件，并且其表示驾驶员舒适性/驾驶舒适性(例如“与舒适性相关的度量”)。例如可以利用以下四个评价准则的至少一些。在实际事件与预测之间的延迟越高，剩下用于制动或加速的时间越少；并且反应可以变得越跳跃。重叠可以表示变道的第一次正确预测与实际变道机动操纵的相对比例。重叠越高，反应可以是越光滑的或者更不跳跃的。频率可以表示，在单个变道期间做出的一定预测有多么频繁。理想情况是频率1，因为它可能仅仅导致单个加速或减速。第四个准则可以被表示为“错失”。错失可以表示未被识别的变道的数量。越多变道未被识别，驾驶员可以越频繁地需要干预并且驾驶可以变得更不舒服。在图2b中显示变道的预测和基于与舒适性相关的度量的相应评价的示例。
图2b显示驾驶分段成多个不同时步。“F”可以表示“跟随”，并且“LC”可以表示“变道”。条220显示实际变道机动操纵的时间跨度(“地面实况”)。在条分区222和226中，目标车辆跟随，例如保持在其车道内，并且在条分区224中，目标车辆执行变道。条230和240显示可能的预测，其中，预测230是有利的，因为预测234是不连续的，预测244和246在尖刻的预测240中。在预测230和240内，条分区232、238、242和248显示目标车辆的“跟随”的精确的预测，条234、244和246显示对于实际变道机动操纵224的一部分的精确的变道预测，并且条分区显示目标车辆的“跟随”的错误的预测。
在一些实施方式中，错误的解释可以通过对有关属性的有针对性的关注而减少。可以提高预测的可解释性。评价准则可以允许得出关于驾驶舒适性/驾驶员舒适性的结论。变道机动操纵可以被考虑为连续的过程。
预测构思和/或与舒适性相关的度量的更多细节和方面结合所建议的构思或者在前面或后面说明的一个或多个示例(例如图1a至1e、2a至6b)来提及。预测构思和/或与舒适性相关的度量可以包括一个或多个附加的可选的特征，它们对应于所建议的构思或者在前面或后面说明的一个或多个示例的一个或多个方面。
周围的车辆的变道预测可以是路径规划的关键的基本构成要素。通常关注，以如下方式提高预测精度，即将其单纯地作为估计问题的函数，以模型的可理解性为代价。然而，任何变道预测模型的效率可能被改进，如果不仅极端情况而且失败情况是人类可理解的。基于循环模型的注意力(例如在机器学习网络中实施)被建议来处理不仅可理解性而且预测质量。此外，一些度量被呈现，它们反映驾驶员感觉的不舒适性。在至少一些实施方式中展示在可公开获得的数据集和专有车队数据上的令人鼓舞的结果。
在许多情况下，人工智能被视为用于完全自主驾驶的关键的促成者。传感和映射、感知和(路径)规划通常视为任何并非端对端的自主系统的基本构成要素。深度学习的兴起已经导致在映射和感知中的空前的进步。然而，路径规划具有混合性质，其趋向于利用在使用深度学习的情况下学习的一些子部件被模型驱动。这可能主要是由于不同代理(静态和动态)和现有知识(地图和交通信息)的十分复杂的相互作用。包括各种极端情况在内的数据死亡进一步限制完全地基于数据驱动的规划。
预测可以在自主驾驶的重要部分中被考虑，作为用于诸如路径规划、自适应巡航控制、侧面碰撞报警等等的任务的构成要素。至少一些实施方式可以解决车辆变道预测的问题。这可能是极其重要的，因为所有事故的大约18％在变道机动操纵期间发生，并且变道经常在高速度情形下、例如在高速公路上执行。因此，精确预测可以降低风险并且可以允许更安全的驾驶。这种源自于灵敏预测的安全收益是硬币的一面。在另一方面，尽管错误的预测可能需要被避免，因为它们可以对驾驶员舒适性有负面影响。每个错误预测可能导致不必要的制动或加速。
为了预测变道，可以利用几种“经典的”模型，例如支持向量机(SVM)或者随机森林。这些经典的方法，尽管在理论上很好，但是可能将机动操纵预测视为函数估计。尽管在不同特征上的权重可以暗示函数将什么考虑为重要的，在将先前的指示也作为输入时理解这些模型可以在分析中缺乏清晰性。要被回答的问题可能是：系统是否看到/是否能够看到人类观察的东西？例如，如果驾驶员接近高速公路入口坡道，车辆在坡道上变道的可能性是高的，并且人类驾驶员利用这种现有知识减速(见图3a)。
图3a显示注意力机制可以怎样感知场景的图样：在预测目标车辆302的即将来临的变道时，强的权重可以被给予在坡道上结束304。此外，目标的固有的特征，例如横向速度，也可以给高的权重，因为它们通常是良好的指标。小的权重可能被给予在相邻车道上的相邻的车辆308，间隙可能被确定为对于并线机动操纵不关键的。自主车辆306因此可以平滑地减速。
为了回答上面的有趣问题，一些实施方式可以提供：
a)循环神经网络(例如机器学习网络)，其利用在不同特征和时步上的注意力机制。模型可以被设计成理解复杂情形并且也可以解释其决定。像人类一样，它可以将其关注点转移至当前场景的一定的重要的方面。
b)引入度量(例如车辆舒适性度量)，其可以间接地反映驾驶员的舒适性，并且因此可能允许预测质量的有意义的量化。
c)提供针对相同任务的多个模型在相同基准上的综合评价，并且分析关键的极端情况和形象地解释它们。
d)利用可公开获得的NGSIM(下一代仿真)数据集以及属性车队数据(图3b)来展示与其他方法相关的令人鼓舞的结果。
图3b显示来自车队数据的样图的示图。边界框312突显正在进行变道的车辆，边界框314显示两个另外的车辆。
变道预测是用于自主驾驶任务的基本构成要素，是研究的热门问题并且已经被投资若干年。根据准则采取最信息丰富的特征并且然后利用“经典的”方法例如SVM或者随机森林，这可以有助于在变道预测中的研究的核心。Schlechtriemen等人(“A lane changedetection approach using feature ranking with maximized predictive power”，智能车大会(IV)，2014年)分析了多个特征的表达力并且得出结论：与车道中心线的横向距离、横向速度以及与前行车辆的相对速度是最有区别性的特征。它们介绍两个模型：朴素贝叶斯方法和在朴素贝叶斯模型顶上的隐马尔科夫模型，利用香草朴素贝叶斯方法(vanillaNaive Bayesian approach)执行更好。在另一工作中，Schlechtriemen等人(“When willit change the lane？A probabilistic regression approach for rarely occurringevents”，智能车大会(IV)，2015年)处理预测轨迹的问题，其中，他们考虑变道预测作为帮助性的子任务。为了实现更好的总结，他们将所有可用的特征输入至随机森林。
Woo等人(“Dynamic potential-model-based feature for lane changeprediction”，Systems,Man,and Cybernetics(SMC)国际大会，2016年)建议一种手工制作的能量场，用来对车辆的周围环境建模，以便利用通常的SVM模型进行预测。Weidl等人(“Situation awareness and early recognition of traffic maneuvers”，EUROSIM建模和仿真大会，2016年)介绍动态的贝叶斯网络，用于驾驶机动操纵，利用来自不同传感器的输入特征和与周围车辆的安全距离。
上述方式的潜在的缺陷是暂时的特征方面的不适当的处理。跨越时间的简单的特征连结可以损失在时域中的表达性，主要因为在特征中的高度相关性。Patel等人(“Predicting feature lane changes of other highway vehicles using rnn-baseddeep models”，arXiv预印本arXiv:1801.04340.2018)介绍一种用于这种问题的结构性的循环神经网络。三个长短期记忆网络(LSTM)单元处理驾驶和相邻车道，其中，输入是周围的车辆在相应的车道上的特征以及目标的特征。Zeisler等人(“Vision based lane changedetection using true flow features”，智能运输系统国际大会(ITSC)，2017年)接着提出通过利用原始视频数据而不是高级特征的不同计划。利用光学流，被观察的车辆的变道被预测。一般性的意图预测密切相关于驾驶机动操纵。Jain等人(“Recurrent neutralnetworks for driver activity anticipation via sensory-fusion architecture”，机器人和自动化国际大会(ICRA)，2016年)展示在预测驾驶员意图上的结果。
注意力机制可以被用在视觉和翻译任务中。关键构思可以是引导模型朝向特定的输入点，例如用于视觉任务的重要的图像区域以及在翻译中特别相关的单词。至少一些实施方式将暂时的注意力机制集成到模型中，该模型可以从序列中选出相关特征。
至少一些实施方式涉及预测在自主车辆(例如车辆100)周围的车辆(例如目标车辆)的变道机动操纵。在一些实施方式和示例中，可以使用以下符号。Ft可以表示在时步t包含N各车辆的场景的快照。预测算法将机动操纵标签(左侧：L，跟随：F，右侧：R)分配给在Ft存在的N个车辆之中的每一个。预测L或R可以表达算法相信车辆已经开始朝相应侧的变道机动操纵。相反地，预测F可以暗示车辆保持其当前的车道。为了获取预测，例如，以下特征可以被用于在Ft的N个车辆之中的每一个(考虑为目标车辆)：
●目标车辆特征(例如与目标车辆的驾驶参数相关的特征组)：GZ＝(m，vlat，vlong，alat，h)。m：目标至其车道中心线的横向距离，vlat：横向速度，vlong：纵向速度，alat：横向加速度，h：前进角度。这些特征可以在Frenet坐标中被计算。坐标轴沿着目标物体的车道中心线。
●动态的环境特征，即在目标周围的车辆的特征(例如与在目标车辆附近的一个或多个其他车辆相关的特征组)：
GE＝(dtXfor X∈PV，RV，PLVL，PLVR，PFVL，PFVR)根据Nie等人的定义(“Modeling ofdecision making behavior for discretionary lane-changing execution”，智能运输系统国际大会(ITSC)，2016年)(见图3c)。在此，dtx表示在目标与车辆X之间的暂时的距离，即被后行车辆的速度相除的距离。
●静态的环境数据(例如与目标车辆的静态环境相关的特征组)：静态特征说明环境类型例如基于地图的特征。在NGSIM数据集中存在驶入/驶出坡道，其整合成GM＝(don,doff,lane)。don,doff相应地表示与最近的驶入/驶出坡道的距离。lane是车道识别器的一个热编码。
图3c显示动态环境特征的可视化，行驶方向朝右。图3c显示目标车辆321朝右移动，车辆RV 322在目标车辆的后方，车辆PV 323在目标车辆的前方，车辆PFVL 324跟随并且PLVL 325领先目标车辆于中央车道左侧的车道上，并且车辆PFVR 326跟随并且车辆PLVR327领先目标车辆于中央车道右侧的车道上。
至少一些实施方式利用两种循环网络用以机动操纵预测：
(a)包括多个LSTM单元或者由它们组成，和
(b)在网络顶部上的注意力层。
模型可以被以顺序对顺序的方式训练，即在每一个时步t可以产生一个输出yt∈{L，F，R}。用于该方法的输入特征(T,E和M)在后面更详细地说明。
至少一些实施方式利用具有三个不同的LSTM单元(LSTMZ,LSTME,LSTMM)的LSTM网络(例如机器学习网络)，用以相应地处理特征组(GZ,GE,GM)。这种解耦成多个单独的LSTM可以提供，组内部的相关性是高的，但是组间的相关性是低的。以下简化符号可以用于LSTM单元。
Figure BDA0002796665450000221
其中，X∈{GZ，GEE，GM}是输入，h表示隐藏状态，并且
Figure BDA0002796665450000222
表示记忆单元。整个网络在图3d中可见。图3d显示使用的LSTM网络的可视化。每个特征种类由不同的LSTM单元处理(LSTMZ用于t-1331a，LSTMZ用于t 331b，LSTME用于t-1332a，LSTME用于t 332b，LSTMM用于t-1333a，LSTMM用于t 333b)。各LSTM接收相应的输入
Figure BDA0002796665450000223
各结果然后通过层ut-1,ut 335和ot-1,ot 336融合。预测输出y(例如与目标车辆的变道相关的信息)通过应用柔性最大值函数(softmax)337来获取。FC 334表述完全连接层。
在数学上着三个LSTM的融合可以表达为等式(1):
Figure BDA0002796665450000231
ot＝tanh(Wu·ut+bu)
yt＝softmax(Wo·ot+bo)
其中，带下标的W是权重矩阵，带下标的b是偏置向量，u是融合层，并且y是输出层。
至少一些实施方式可以利用注意力网络(例如注意力机制)。在注意力机制后面的构思是要对选择性的关注点例如输入的特定部分进行建模。其主要包括处理钥匙(K)和询问(Q)以获得情景向量的函数或者由该函数组成。所述情景向量是多个钥匙的累加，这些钥匙通过它们关于询问的重要性被加权。一些实施方式可以采用两种注意力机制：
(a)注意先前的时步，即自注意；和
(b)注意不同的特征组。
如与一些其他注意力方法相反，特征实施方式利用可以在于不同的空间并且具有不同的形态。它们可能不被累加，但是它们的量级可能(仅仅)根据加权而被改变，并且这些特征向量可以在时步上被累加，见用于直觉可视化的图3e。
图3e显示用于在时间t的帧的注意力计算的示例：为此，时步t-N,…,t被考虑。用于时间t的场景340a和用于时间t-1的场景340b被按照垂直的顺序绘制。嵌入物Et,Et-1,341a,341b在其之后显示。利用层ut 342a,342b作为钥匙，计算注意力权重βt,βt-1。嵌入物然后利用它们按种类缩放。再次利用ut做为钥匙(K)，计算注意力权重Yt 343(例如两个或更多个加权因子)，显示不同时步的重要性。关于Yt的缩放的嵌入物的加权和构成情景向量ct344。车辆345a/b,346a/b,347a/b和348a/b翻译成相应的嵌入物。
在至少一些实施方式中，特征可以被划分成种类，但是比在先前的节III中具有更精细的细微性，即Hz＝GZ,HS＝[dtPV,dtRV]，
Figure BDA0002796665450000236
Figure BDA0002796665450000232
和
Figure BDA0002796665450000233
注意力函数
Figure BDA0002796665450000234
Figure BDA0002796665450000235
由等式(2)给出。
Ψ(W，v，Q，K)＝vTtanh(W[Q；K])
对于在Ψ的所有调用中的时步t，层ut做为钥匙。让T＝{t-N，…，t}是用于自注意力的时步。在一些示例中，利用N＝20。对于每个i∈T，特征种类可以被嵌入到较高维度的空间中，并且每个特征种类的重要性，
Figure BDA0002796665450000241
以及做为整体的每个时步，γi，可以被确定。给出等式(3)：
C＝{HZ，HL，HS，HR，HM}
Figure BDA0002796665450000242
Figure BDA0002796665450000243
Figure BDA0002796665450000244
Figure BDA0002796665450000245
其中，X∈C，i∈T。最后，特征种类用
Figure BDA0002796665450000246
缩放并且在所有时步上计算加权和。结果的情景向量添加至融合层并且计算按照等式(1)。
γt＝softmax(concat(γi)])
Figure BDA0002796665450000247
ut＝[ut；ct]
至少一些实施方式可以提供注意力的可视化。除了改进的性能之外，注意力的另一大优点是其可解释性。在至少一些方式中，仅仅显示注意力权重的量级，它们用在加权平均的计算中。在此然而由于特征种类的不同尺度和维度，这可能不必然导致期望的结果。相反，在一些实施方式中，预测分类的派生物可以通过注意力权重
Figure BDA0002796665450000248
和γi来计算，它们在所有时步上求和。该派生物表示种类X对引起的预测的贡献，甚至提供是否该贡献是积极还是负面的信息。
至少一些实施方式可以采用指数增长损失以鼓励早的预测。使用的Softmax损失可以用αwtexp(-T)加权，其中，在时间t，变道即将在接下来的T秒中发生。损失函数的指数加权可能不被进行用于车队数据，因为人类标签是无错误的。α可以被选择，使得在每一个变道机动操纵的所有帧上的平均值α·exp(-T)等于1。对于在时间t给定的机动操纵，wt可以与在训练数据中的驾驶机动操纵全局尺寸成反比。
如由Schlechtriemen等人提及的，简单的场景覆盖大多数变道，并且相对好的预测可以已经通过利用来自GZ的小的特征子集而实现。为了处理这种不平衡和引起在所有情况下用于注意力的有意义的梯度流，一些实施方式将退出(dropout)层引入到层u和o之间，即：
Dropout＝[WDrop，Fusion；WDrop，c]·[ut；ct]+bdrop
以概率p＝0.33，WDrop，Fusion和WDrop，c可以独立地设置为0，迫使模型仅仅依赖于其循环架构或注意力。
一些实施方式已经利用不同的数据集被评价。下一代仿真(NNGSIM)项目由四个可公开获得的交通数据集组成。图3f，已经利用US Highway101数据集(US-101)和州际80高速公里数据集(I-80)。图3f显示US-101数据集的草图(与实际尺寸不按比例)，具有五条车道352和一条有灯车道354。注意到，I-80数据集没有驶出坡道。数据从利用静态相机的高速公路鸟瞰图获取，并且车辆相关的高级特征从中提取。数据集包含以10Hz的测量。在除去嘈杂的轨迹，观察到3184个变道。另一个数据集源自于车队数据：车队数据来源于车辆系列的环境模型。该数据关于配备有数个相机和雷达传感器的移动中的自主车辆以25Hz获取，以便给出完整的360°视角。830个变道被记录。
多种多样的度量被用于测量变道预测算法的性能。主要地，它们受信息检索影响并且与其他算法独立地被计算处理每个时步。
■精确性：正确地分类的时步的百分比。
Jain等人引入的如下基于机动操纵的度量的第一个方案。
■精度：真实预测关于机动操纵预测总数量的百分比。
■召回率：真实预测关于机动操纵总数量的百分比。
■距机动操纵的时间(TTM)：在预测时间与在地面实况中机动操纵实际开始之间的间隔。
地面实况标签是以事件方式连续的(见图3g)。机动操纵标签是连续的事件。在图3g中，F表示t＝[0，t1]和t＝[t2，T]的跟随，标签LC表示t＝[t1，t2]的变道事件。
然而信息提取度量可能不反应该按事件方式的性质或者驾驶员在车辆中体验什么。车辆的控制器可以对第一个预测事件做出反应(见图3h)。如果预测是不连续的，那么这引起给驾驶员的不舒适性(停停走走功能)。此外，预测事件可以与关于地面实况尽可能一样早，预测越早，舒适性越高。为了反映这种与舒适性相关的行为，一些实施方式可以利用如下的按事件的度量：
■延迟：在预测中关于地面实况标签的延迟(以秒为单位测量)。
如果预测恰好与地面实况对齐，则延迟为0。
■重叠：对于给定的地面实况事件，对于预测的最早的机动操纵的重叠的百分比。重叠越高，控制器的反应越光滑。
■频率：对于每个地面实况事件预测的机动操纵事件的次数。对于跟随事件，这表示假正确率(FPR)。
■错失：完全错失的变道的数量。错失数量越高，不舒适性越高，因为驾驶员需要干预。
在图3h中，如果给定的地面实况事件372具有多个相应的预测事件，那么对于在尖利的预测378中的重叠LCI 374和LCI 376，用于图3h的事件的与舒适性相关的度量是：延迟＝0，重叠＝20％，频率＝2，错失＝0。
当变道开始时的精确时刻的感知因人而异，见图3i。在图3i中比较人对人的标签：在专有的车队数据上的地面实况变道的精度和召回率。每个踪迹由三个不同人标记。度量以“1对其余方式”进行计算，然后求平均。这显示人同意几乎所有变道，但是在何时实际开始机动操纵有微小的不同意，即机动操纵强度的见解因人而异。
因此，在车队数据中的手动贴标签的变道可以暗示意图。然而，自动贴标签可以在NGSIM情况中有利的，因为变道的类似的时间跨度。因此，可以采用3秒准则，在目标的车道分配改变之前，以给变道贴标签。尽管人类贴标签是精确的和无错误的，但这可以是耗时的且昂贵的。智能的自动的贴标签可能是略微不精确的，但是相反可以更快并且可能证明对于深度模型是更好的，所述模型可能提取对于人类而言感知不到的好的线索。
一些实施方式被评价。两种建议的循环方法表示为LSTM-E(扩展的LSTM)和LSTM-A(用注意力扩展的LSTM)。对于这两者，使用128的隐藏尺寸。最先进的基准线被用于展示实施方式的更好性能。
A.基准线方法
基于帧：使用来自单个时步的特征。
■随机森林(RF)：连结的特征(GZ，GE，GM)用作为输入。
■朴素贝叶斯(NB)：使用特征m,vlat和与前行车辆的相对速度。
基于顺序：
■结构性的RNN(SRNN)：SRNN包括三个不同的LSTM单元，它们分别覆盖目标、左侧车道和右侧车道。对于每个LSTM单元，给出三个特征的特征Q，即目标车辆的两个相邻车辆的特征(PV–RV/PLVL–PLVR/PLVR-PFVR)和目标车辆本身的特征。Q可以由绝对的世界坐标、横向和和纵向的速度、前进角度和去往左侧和右侧的车道的数量组成。三个LSTM单元的输出传递给另一个LSTM单元，其最终输出预测。
■香草LSTM(LSTM)：香草LSTM由具有连结的各特征(GZ,GE,GM)的单个单元组成。
图4显示关于所有度量的所有测试方法在NGSIM和车队数据集上的结果。图4显示用于NGSIM(上表)和车队数据(下表)在不同度量上的不同方法的比较和排序。全局排序可以是每一栏的算法排序的平均值、较低、较好。用于特定栏的算法的排序是指标，其在排序之后占据那一栏。
如可见的，由于评价度量的多样性，一些方法在不同种类中胜任或失败。基于顺序的方法可以优于基于帧的方法，因为后者不携带关于顺序历史的信息。在基于顺序的方法中，三种循环方法，一些实施方式的LSTM、LSTM-E和LSTM-A出类拔萃(参考在表格中的“排序”栏)。
在NGSIM数据集上，具有注意力的LSTM网络是最佳执行方法。其具有最低的延迟，而预测变道具有在“跟随”期间较低的假正确率和通过“重叠”显示的良好的连续的预测。在车队数据上LSTM-A以第二结束。对此的可信的理由是数据集的过分单纯化的结构，因为场景趋向于不那么拥挤，并且因此不利用复杂的注意力机制的完全能力。
如由图4可见的，一些方法的性能是相对类似的。分析和解释少数关键的极端情况有助于评估性能。这可以提供关于注意力机制的优点的清晰性。这些关键的极端情况没有出现的数据中。它们通过对围绕关于它们在场景中的位置的存在的轨迹进行翻译而创造，并且因此保持现实性。
对于车队数据没有静态数据记录可用，而是相反移动的自主车辆(例如图6a中的616)，场景的测量从该自主车辆获取。采用两种可视化：(a)单个帧的快照可视化和场景的暂时的发展的可视化。第一种可以包括单个图像，其显示地面实况用于那一帧的单个算法的预测，以及用于五个特征种类的注意力可视化。为了种类的较好的可读性，HZ、HS、HL、HR和HM被目标、相同、左侧、右侧和地图/街道表示。(b)跨越一定数量的时间的数个帧的连结，与不同算法的预测一起。
图5a至5e显示注意力对网络做出决定、突显其正确且直观的贡献的影响。
在图5e中，目标车辆502正在执行从辅助车道向左的变道。由于在驶入坡道之后变道是常见的和期望的行为，街道504对于预测L具有高的正面的贡献。
在图5b至5e中显示向左变道的两个场景。图5b和5c的场景(a)和图5d和5e的场景(b)源于相同的实际场景并且区别仅仅在于PV 512的位置，其在场景(a)中接近目标并且在场景(b)中消失。在各第一图(图5b、图5d)中分别地，F被预测，在各第二图(图5c、图5e)中分别地，L被预测。
在图5b/5c中，目标(514)快速地接近PV 512并且人类能够预见即将发生的变道。相同推理由注意力机制进行。相同516对于预测F具有强的负面贡献以及对于可能的预测L具有强的正面的贡献。在图5d/5e中，相同的贡献正好与a相反。
图6a和6b显示两个场景的暂时的发展，同时绘制三个算法的输出RF 610、LSTM-E612和LSTM-A 614。总体上可以观察到循环模型特别是LSTM-A的优秀的性能。
图6a显示如从一系列车辆所记录的向右变道的可视化(图3b显示前相机图像)。LSTM-A 614首先预测，接着随机森林610和LSTM-E 612预测。自主车辆通过附图标记616显示在所描绘的场景中，通过附图标记618显示车辆执行变道。
图6b显示“假的”向左变道。目标车辆(620)开始朝其左侧车道边界移动。变道是不可能的，因为这被相邻车辆(622)阻挡。尽管这一点，随机森林被快速地“愚弄”并且预测“左”变道，然而循环网络正确地预测“跟随”并且仅仅在即将结束时具有错误的预测。注意到，注意力机制可能不完全防止错误的变道行为，因为与周围车辆的关系被学习并且不是硬编码的。一旦观察到强烈的横向运动，那么可以考虑即将到来的变道的可能性，与当前道路情形无关。尽管在这些情况的绝大多数中，注意力机制可以防止错误的变道预测。
一些实施方式提供用于变道预测的具有注意力机制的LSTM网络，其可以比关于不同评价方案的现有方法更好地执行。注意力机制可以处理预测质量和可理解性。至少一些实施方式可以提供为驾驶员舒适性服务的新的按事件的度量。在公共数据集以及车队数据上的结果表明，利用用于驾驶员的实施方式的方法，根据在预测中的早期性、假正确率和错失率，有高等级的舒适性。此外，利用关键情况的可视化分析，展示利用注意力的效率。
与一个或多个先前详细说明的示例和附图一起提及和说明的方面和特征可以此外与一个或多个其他示例相结合，以便替换其他示例的类似的特征或者以便附加地将特征引入到其他示例中。
一些示例可以进一步是或者涉及具有程序代码的计算机程序，当计算机程序在计算机或处理器上执行时，所述计算机程序用于执行一个或多个上述方法。上述各种方法的步骤、操作或处理可以由编程的计算机或处理器执行。一些示例也可以覆盖程序存储装置例如数字数据存储介质，它们是机器、处理器或计算机可读的并且将机器可执行的、处理器可执行的或者计算机可执行的指令程序编码。指令执行或引起上述方法的一些动作或所有动作的执行。程序存储装置可以包括或者是例如数字存储器、磁存储介质例如磁盘和磁带、硬盘或者光学刻度的数字数据存储介质。其他示例也可以覆盖被编程为执行上述方法的动作的计算机、处理器或者控制单元；或者(现场)可编程逻辑阵列(FPLA、PLA)或者(现场)可编程门阵列(FPGA、PGA)，其被编程为执行上述方法的动作。
说明书和附图仅仅描述公开的原理。此外，在此记载的所有示例主要目的清楚地在于仅仅描述的目的，以帮助读者理解由发明人对于技术改进做出贡献的公开和构思的原理。在此描述原理、方面的陈述、公开的示例以及它们的具体示例要包含它们的等同措施。
表示为“用于……的装置”的执行一定功能的功能块可以涉及电路，其构造成用于执行一定的功能。因此，“用于某事的装置”可以被实施为“构造成用于某事或者适用于某事的装置”，例如构造成或者适用于相应任务的设备或电路。
在附图中显示的各个元件的功能，包括标记为“装置”、“用于提供信号的装置”、“用于产生信号的装置”等等的任何功能块，可以实施形式为专用的硬件例如“信号提供器”、“信号处理单元”、“处理器”、“控制器”等等以及能够与适宜的软件相关地执行软件的硬件。如果由处理器提供，那么功能可以被单个专用处理器、被单个共享处理器或者被多个单个的处理器提供，这些处理器之中的一些或全部可以是共享的。然而，术语“处理器”或“控制器”不限制于仅仅能够执行软件的硬件，而是可以包括数字信号处理器(DSP)硬件、网络处理器、特殊应用集成电路(ASIC)、现场可编程门阵列(FPGA)、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失存储器。其他硬件、传统的和/或定制的，也可以被包括在内。
框图可以例如描述事实公开原理的高级电路简图。类似地，流程图、流程简图、状态传递简图、伪码和类似物可以表示不同的过程、操作或步骤，它们可以例如基本上表示在计算机可读介质中并且被计算机或处理器执行，无论这种计算机或处理器是否被明确地显示。在说明书或权利要求书中公开的方法可以由具有用于执行这些方法的每个相应动作的装置的设备实施。
可以理解，在说明书或权利要求书中公开的多个动作、过程、操作、步骤或功能可以不被构造为要在具体的顺序中，除非另外明确地或隐含地表明的，例如由于技术原因。因此，多个动作或功能的公开不限制它们到特定的顺序，除非这种动作或功能由于技术原因是不可互换的。此外，在一些示例中，单个动作、功能、过程、操作或步骤可以分别包括或者可以分解到多个子动作、子功能、子过程、子操作或子步骤中。这种子动作可以被包括并且是该单个动作的公开的一部分，除非被明确地排除。
此外，随后的权利要求书因此被整合到具体的说明书中，每个权利要求可以本身作为一个单独的示例。虽然每个权利要求可以本身作为一个单独的示例，但是要注意到，尽管一项从属权利要求可以在权利要求书中涉及与一个或多个其他特征的具体组合，但是其他示例也可以包括该从属权利要求与任意其他的从属权利要求和独立权利要求的主题的组合。这样的组合在此被明确地建议，除非表明某个具体的组合是不期望的。此外也意图将一个权利要求的特征包含到任何其他的独立权利要求中，即使该权利要求没有直接从属于该独立权利要求。

Claims (15)

1.一种用于车辆(100)的方法，该方法适用于确定与目标车辆的变道相关的信息，其中，与目标车辆的变道相关的信息表明，是否目标车辆被预期执行变道，所述方法包括：
获取(110)与目标车辆的环境相关的信息，与环境相关的信息涉及目标车辆的环境的多个特征，所述多个特征被划分成两个或更多个特征组；
确定(120)用于所述两个或更多个特征组的两个或更多个加权因子，其中，注意力机制被用于确定所述两个或更多个加权因子；并且
利用机器学习网络，基于与目标车辆的环境相关的信息，确定(130)与目标车辆的变道相关的信息，其中，在机器学习网络内目标车辆的环境的所述多个特征的加权基于用于所述两个或更多个特征组的所述两个或更多个加权因子。
2.根据权利要求1所述的方法，其中，所述两个或更多个特征组包括与目标车辆的驾驶参数相关的一组特征、与在目标车辆附近的一个或多个其他车辆相关的一组特征以及与目标车辆的静态环境相关的一组特征之中的至少两个元素。
3.根据权利要求2所述的方法，其中，与目标车辆的环境相关的信息基于车辆(100)的经处理的传感器数据和/或基于映射数据；
和/或与目标车辆的驾驶参数相关的特征组的特征基于车辆(100)的经处理的传感器数据；
和/或与在目标车辆附近的一个或多个其他车辆相关的特征组的特征基于车辆(100)的经处理的传感器数据；
和/或与目标车辆的静态环境相关的特征组的特征基于映射数据。
4.根据上述权利要求中任一项所述的方法，其中，机器学习网络包括注意力层，所述注意力层被用于确定所述两个或更多个加权因子。
5.根据权利要求4所述的方法，其中，所述注意力层被构造成用于，基于所述两个或更多个特征组的特征来确定所述两个或更多个加权因子；
和/或所述注意力层被构造成用于，基于与环境相关的当前信息以及基于注意力层的先前状态来确定所述两个或更多个加权因子。
6.根据权利要求4或5所述的方法，其中，所述方法包括：重复(140)确定与目标车辆的变道相关的信息，其中，对于每一次重复确定与目标车辆的变道相关的信息，所述两个或更多个加权因子被重新确定(142)。
7.根据上述权利要求中任一项所述的方法，其中，机器学习网络是循环的机器学习网络，和/或机器学习网络被构造成用于，基于与目标车辆的环境相关的当前信息以及基于机器学习网络的先前状态来确定与目标车辆的变道相关的信息。
8.根据权利要求7所述的方法，其中，机器学习网络包括两个或更多个长短期记忆网络单元，其中，与目标车辆的变道相关的信息利用所述两个或更多个长短期记忆网络单元基于与目标车辆的环境相关的当前信息以及基于一个或更多个长短期记忆网络单元的先前状态来确定；
和/或所述两个或更多个长短期记忆网络单元之中的每一个配设有所述两个或更多个特征组之中的特征组。
9.根据上述权利要求中任一项所述的方法，其中，所述方法包括：基于与目标车辆的变道相关的信息引导(150)车辆(100)，其中，车辆(100)通过对车辆(100)加速(152)或减速(154)和/或通过对车辆(100)转向(156)来被引导。
10.根据上述权利要求中任一项所述的方法，其中，与目标车辆的变道相关的信息被确定用来预测目标车辆的变道。
11.根据上述权利要求中任一项所述的方法，其中，所述方法包括：为处于车辆(100)附近的多个目标车辆确定(160)与目标车辆的变道相关的信息。
12.一种用于确定车辆舒适性度量用以预测目标车辆的驾驶机动操纵的方法，所述方法包括：
获取(210)与目标车辆的驾驶机动操纵的程度相关的信息；
获取(220)与目标车辆的驾驶机动操纵的预测相关的信息；并且
基于与驾驶机动操纵的程度相关的信息和与驾驶机动操纵的预测相关的信息的比较，确定(230)用于预测驾驶机动操纵的车辆舒适性度量；
其中，所述舒适性度量基于如下组之中的一个或多个元素来确定：在驾驶机动操纵的开始与驾驶机动操纵的第一次预测之间的延迟、在驾驶机动操纵与驾驶机动操纵的预测之间的重叠、驾驶机动操纵的多个不连续的预测以及驾驶机动操纵的错失的预测。
13.一种计算机程序，其具有程序代码，所述计算机程序用于：当计算机程序在计算机、处理器或者可编程硬件上执行时，实施上述权利要求中任一项所述的方法之中的至少一个方法。
14.一种用于车辆(100)的设备(10)，所述设备适用于确定与目标车辆的变道相关的信息，与目标车辆的变道相关的信息表明，是否目标车辆被预期执行变道，所述设备包括：
用于获取与目标车辆的环境相关的信息的至少一个接口(12)，其中，与环境相关的信息涉及目标车辆的环境的多个特征，所述多个特征被划分成两个或更多个特征组；和
计算模块(14)，所述计算模块构造成用于：
-确定用于所述两个或更多个特征组的两个或更多个加权因子，
注意力机制被用于确定所述两个或更多个加权因子，并且
-利用机器学习网络，基于与目标车辆的环境相关的信息，确定与目标车辆的变道相关的信息，其中，在机器学习网络内目标车辆的环境的所述多个特征的加权基于用于所述两个或更多个特征组的所述两个或更多个加权因子。
15.一种用于确定车辆舒适性度量用以预测目标车辆的驾驶机动操纵的设备(20)，所述设备(20)包括：
至少一个接口(22)，其用于获取与目标车辆的驾驶机动操纵的程度相关的信息和用于获取与目标车辆的驾驶机动操纵的预测相关的信息；和
计算模块(24)，所述计算模块构造成用于：基于与驾驶机动操纵的程度相关的信息和与驾驶机动操纵的预测相关的信息的比较，确定用于预测驾驶机动操纵的车辆舒适性度量；
其中，所述舒适性度量基于如下组之中的一个或多个元素来确定：在驾驶机动操纵的开始与驾驶机动操纵的第一次预测之间的延迟、在驾驶机动操纵与驾驶机动操纵的预测之间的重叠、驾驶机动操纵的多个不连续的预测以及驾驶机动操纵的错失的预测。
CN201980035107.0A 2018-11-08 2019-05-28 用于确定目标车辆变道相关信息的方法和设备、用于确定车辆舒适性度量用以预测目标车辆的驾驶机动操纵的方法和设备以及计算机程序 Pending CN112203916A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18205225.8A EP3650297B1 (en) 2018-11-08 2018-11-08 Method and apparatus for determining information related to a lane change of a target vehicle, and computer program
EP18205225.8 2018-11-08
PCT/EP2019/063826 WO2020094264A1 (en) 2018-11-08 2019-05-28 Method and apparatus for determining information related to a lane change of a target vehicle, method and apparatus for determining a vehicle comfort metric for a prediction of a driving maneuver of a target vehicle and computer program

Publications (1)

Publication Number Publication Date
CN112203916A true CN112203916A (zh) 2021-01-08

Family

ID=64426635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980035107.0A Pending CN112203916A (zh) 2018-11-08 2019-05-28 用于确定目标车辆变道相关信息的方法和设备、用于确定车辆舒适性度量用以预测目标车辆的驾驶机动操纵的方法和设备以及计算机程序

Country Status (4)

Country Link
US (1) US12049230B2 (zh)
EP (1) EP3650297B1 (zh)
CN (1) CN112203916A (zh)
WO (1) WO2020094264A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114852099A (zh) * 2021-02-03 2022-08-05 郑州宇通客车股份有限公司 机动车换道行为的预测方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11691650B2 (en) * 2019-07-08 2023-07-04 Uatc, Llc Systems and methods for generating motion forecast data for a plurality of actors with respect to an autonomous vehicle
US11468774B2 (en) 2020-03-17 2022-10-11 Honda Motor Co., Ltd. Systems and methods for cooperative ramp merge
US11400934B2 (en) * 2020-03-17 2022-08-02 Honda Motor Co., Ltd. Systems and methods for cooperative ramp merge
US11753006B2 (en) * 2020-06-08 2023-09-12 Robert Bosch Gmbh Representing objects in a surrounding environment of a vehicle using a frenet coordinate system
CN111882878B (zh) * 2020-09-02 2021-07-02 烟台大学 一种基于交通流预测的最大化关键道路通行能力的方法
US20220097690A1 (en) * 2020-09-30 2022-03-31 Toyota Motor Engineering & Manufacturing North America, Inc. Optical sense-compute solution for real-time navigation involving multiple vehicles
CN112498354B (zh) * 2020-12-25 2021-11-12 郑州轻工业大学 考虑个性化驾驶体验的多时间尺度自学习变道方法
CN113147766A (zh) * 2021-05-21 2021-07-23 蔚来汽车科技(安徽)有限公司 目标车辆的换道预测方法及设备
CN113291308B (zh) * 2021-06-02 2022-04-29 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种考虑驾驶行为特性的车辆自学习换道决策系统及方法
US20230009173A1 (en) * 2021-07-12 2023-01-12 GM Global Technology Operations LLC Lane change negotiation methods and systems
CN113720346B (zh) * 2021-09-02 2023-07-04 重庆邮电大学 基于势能场和隐马尔可夫模型的车辆路径规划方法及系统
CN113954863B (zh) * 2021-09-07 2024-06-11 江苏大学 基于双注意力机制和改进Social Gan的车辆轨迹预测方法
CN114141009B (zh) * 2021-10-31 2023-01-31 际络科技(上海)有限公司 基于多时序网络的仿真交通流变道方法和系统
CN114253274B (zh) * 2021-12-24 2024-03-26 吉林大学 基于数据驱动的网联混合车辆编队滚动优化控制方法
US11634156B1 (en) 2022-07-29 2023-04-25 Plusai, Inc. Aerial view generation for vehicle control
US11628859B1 (en) * 2022-07-29 2023-04-18 Plusai, Inc. Vehicle placement on aerial views for vehicle control
CN116129627B (zh) * 2023-01-18 2023-12-01 东南大学 一种智能网联车队下匝道前的协同换道策略
CN116383731B (zh) * 2023-03-06 2023-11-14 南京航空航天大学 一种战术机动的识别方法、系统、电子设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005043838A1 (de) * 2005-09-13 2007-03-15 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Einrichtung zur automatischen Ermittlung von Fahrmanövern
EP2562060A1 (en) * 2011-08-22 2013-02-27 Honda Research Institute Europe GmbH A method and system for predicting movement behavior of a target traffic object
CN106476806A (zh) * 2016-10-26 2017-03-08 上海理工大学 基于交通信息的协同式自适应巡航系统算法
US9760806B1 (en) * 2016-05-11 2017-09-12 TCL Research America Inc. Method and system for vision-centric deep-learning-based road situation analysis
DE102016106983A1 (de) * 2016-04-15 2017-10-19 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erkennen eines möglichen Spurwechselmanövers eines Zielfahrzeugs, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
CN107909151A (zh) * 2017-07-02 2018-04-13 小蚁科技（香港）有限公司 用于在人工神经网络中实现注意力机制的方法和系统
WO2018118112A1 (en) * 2016-12-21 2018-06-28 Baidu Usa Llc Method and system to predict one or more trajectories of a vehicle based on context surrounding the vehicle
US20180186371A1 (en) * 2017-01-04 2018-07-05 Robert Bosch Gmbh Reducing lateral position deviation during an automated lane change
US20180194286A1 (en) * 2017-01-12 2018-07-12 Mobileye Vision Technologies Ltd. Determining a road surface characteristic
CN108352112A (zh) * 2015-11-04 2018-07-31 大众汽车有限公司 用于确定车辆的驾驶意图的方法和车辆通信系统
CN108431549A (zh) * 2016-01-05 2018-08-21 御眼视觉技术有限公司 具有施加的约束的经训练的系统
WO2018184204A1 (en) * 2017-04-07 2018-10-11 Intel Corporation Methods and systems for budgeted and simplified training of deep neural networks

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788134B1 (en) * 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
US10099724B2 (en) 2014-01-21 2018-10-16 Continental Automotive Systems, Inc. Road departure protection system
EP3272611B1 (en) * 2015-04-21 2019-07-24 Panasonic Intellectual Property Management Co., Ltd. Information processing system, information processing method, and program
US9878710B2 (en) * 2015-05-04 2018-01-30 Honda Research Institute Europe Gmbh Method for improving performance of a method for computationally predicting a future state of a target object, driver assistance system, vehicle including such driver assistance system and respective program storage medium and program
US9934688B2 (en) * 2015-07-31 2018-04-03 Ford Global Technologies, Llc Vehicle trajectory determination
US11120353B2 (en) * 2016-08-16 2021-09-14 Toyota Jidosha Kabushiki Kaisha Efficient driver action prediction system based on temporal fusion of sensor data using deep (bidirectional) recurrent neural network
US10402723B1 (en) * 2018-09-11 2019-09-03 Cerebri AI Inc. Multi-stage machine-learning models to control path-dependent processes
JP6838241B2 (ja) * 2017-06-01 2021-03-03 日立Astemo株式会社 移動体挙動予測装置
WO2018232680A1 (en) 2017-06-22 2018-12-27 Baidu.Com Times Technology (Beijing) Co., Ltd. EVALUATION FRAME FOR PREDICTED TRAJECTORIES IN A SELF-CONTAINING VEHICLE TRAFFIC PREDICTION
US10579063B2 (en) * 2017-07-21 2020-03-03 Uatc, Llc Machine learning for predicting locations of objects perceived by autonomous vehicles
US10782693B2 (en) * 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10739775B2 (en) * 2017-10-28 2020-08-11 Tusimple, Inc. System and method for real world autonomous vehicle trajectory simulation
US20210081754A1 (en) * 2018-01-08 2021-03-18 Eyesight Mobile Technologies Ltd. Error correction in convolutional neural networks
US11636375B2 (en) 2018-02-27 2023-04-25 Toyota Research Institute, Inc. Adversarial learning of driving behavior
TWI701174B (zh) * 2018-06-06 2020-08-11 緯創資通股份有限公司 駕駛預測方法及其處理裝置與系統
WO2020004375A1 (ja) * 2018-06-29 2020-01-02 ソニー株式会社 情報処理装置及び情報処理方法
US20210312725A1 (en) * 2018-07-14 2021-10-07 Moove.Ai Vehicle-data analytics
US10981564B2 (en) * 2018-08-17 2021-04-20 Ford Global Technologies, Llc Vehicle path planning
US11861458B2 (en) 2018-08-21 2024-01-02 Lyft, Inc. Systems and methods for detecting and recording anomalous vehicle events
US10940863B2 (en) * 2018-11-01 2021-03-09 GM Global Technology Operations LLC Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005043838A1 (de) * 2005-09-13 2007-03-15 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Einrichtung zur automatischen Ermittlung von Fahrmanövern
EP2562060A1 (en) * 2011-08-22 2013-02-27 Honda Research Institute Europe GmbH A method and system for predicting movement behavior of a target traffic object
CN108352112A (zh) * 2015-11-04 2018-07-31 大众汽车有限公司 用于确定车辆的驾驶意图的方法和车辆通信系统
CN108431549A (zh) * 2016-01-05 2018-08-21 御眼视觉技术有限公司 具有施加的约束的经训练的系统
DE102016106983A1 (de) * 2016-04-15 2017-10-19 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erkennen eines möglichen Spurwechselmanövers eines Zielfahrzeugs, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
US9760806B1 (en) * 2016-05-11 2017-09-12 TCL Research America Inc. Method and system for vision-centric deep-learning-based road situation analysis
CN106476806A (zh) * 2016-10-26 2017-03-08 上海理工大学 基于交通信息的协同式自适应巡航系统算法
WO2018118112A1 (en) * 2016-12-21 2018-06-28 Baidu Usa Llc Method and system to predict one or more trajectories of a vehicle based on context surrounding the vehicle
US20180186371A1 (en) * 2017-01-04 2018-07-05 Robert Bosch Gmbh Reducing lateral position deviation during an automated lane change
US20180194286A1 (en) * 2017-01-12 2018-07-12 Mobileye Vision Technologies Ltd. Determining a road surface characteristic
WO2018184204A1 (en) * 2017-04-07 2018-10-11 Intel Corporation Methods and systems for budgeted and simplified training of deep neural networks
CN107909151A (zh) * 2017-07-02 2018-04-13 小蚁科技（香港）有限公司 用于在人工神经网络中实现注意力机制的方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114852099A (zh) * 2021-02-03 2022-08-05 郑州宇通客车股份有限公司 机动车换道行为的预测方法

Also Published As

Publication number Publication date
US12049230B2 (en) 2024-07-30
EP3650297B1 (en) 2023-06-14
US20210114604A1 (en) 2021-04-22
WO2020094264A1 (en) 2020-05-14
EP3650297A1 (en) 2020-05-13

Similar Documents

Publication Publication Date Title
CN112203916A (zh) 用于确定目标车辆变道相关信息的方法和设备、用于确定车辆舒适性度量用以预测目标车辆的驾驶机动操纵的方法和设备以及计算机程序
US11710303B2 (en) Systems and methods for prioritizing object prediction for autonomous vehicles
Lin et al. Vehicle trajectory prediction using LSTMs with spatial–temporal attention mechanisms
US10981567B2 (en) Feature-based prediction
US11164016B2 (en) Object detection and property determination for autonomous vehicles
JP6842574B2 (ja) 自律車両運転イベントに応答して乗車者フィードバックを取得するシステムおよび方法
EP3278317B1 (en) Method and electronic device
Scheel et al. Attention-based lane change prediction
US11577750B2 (en) Method and apparatus for determining a vehicle comfort metric for a prediction of a driving maneuver of a target vehicle
US11465650B2 (en) Model-free reinforcement learning
CN113228040B (zh) 多级对象行进方向估计的系统和方法
Klingelschmitt et al. Combining behavior and situation information for reliably estimating multiple intentions
JP5278419B2 (ja) 運転シーンの遷移予測装置及び車両用推奨運転操作提示装置
US11977382B2 (en) Ranking agents near autonomous vehicles by mutual importance
US11860634B2 (en) Lane-attention: predicting vehicles' moving trajectories by learning their attention over lanes
CN109109863A (zh) 智能设备及其控制方法、装置
US11810365B1 (en) Perception error modeling
Zhang et al. Predictive trajectory planning for autonomous vehicles at intersections using reinforcement learning
CN114655227A (zh) 驾驶风格识别方法、辅助驾驶方法及装置
Platho et al. Predicting velocity profiles of road users at intersections using configurations
Abraham et al. Real-time prediction of multi-class lane-changing intentions based on highway vehicle trajectories
Dong et al. An enhanced motion planning approach by integrating driving heterogeneity and long-term trajectory prediction for automated driving systems: A highway merging case study
Lucente et al. Deep Learning Algorithms for Longitudinal Driving Behavior Prediction: A Comparative Analysis of Convolutional Neural Network and Long–Short-Term Memory Models
Chi et al. Multi-Modal GPT-4 Aided Action Planning and Reasoning for Self-driving Vehicles
Toytziaridis et al. Road user position prediction in urban environments via locally weighted learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination