CN115812052A - 用于控制机动车的方法以及控制器 - Google Patents

用于控制机动车的方法以及控制器 Download PDF

Info

Publication number
CN115812052A
CN115812052A CN202180047640.6A CN202180047640A CN115812052A CN 115812052 A CN115812052 A CN 115812052A CN 202180047640 A CN202180047640 A CN 202180047640A CN 115812052 A CN115812052 A CN 115812052A
Authority
CN
China
Prior art keywords
dimensional
motor vehicle
traffic participant
utility value
further traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180047640.6A
Other languages
English (en)
Inventor
安妮·施托克姆诺沃
蒂尔·纳特曼
马丁·克吕格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Publication of CN115812052A publication Critical patent/CN115812052A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明描述了用于控制机动车的方法，该机动车在道路上正在当前的车道内行驶。借助传感器获知环境数据。基于环境数据获知至少一个效用值泛函，其中，效用值泛函在预先限定的时刻给当前的车道和/或至少一个另外的车道的不同的空间区域分别配属针对至少一个另外的交通参与者的效用值。获知至少一个效用值泛函的二维表示。通过对二维表示运用图样识别，基于效用值泛函的二维表示获知至少一个另外的交通参与者的至少一个预测的轨迹。此外，本发明描述了控制器、机动车和计算机程序。

Description

用于控制机动车的方法以及控制器
技术领域
本发明涉及用于控制机动车的方法。本发明还涉及针对用于控制机动车的系统的控制器、机动车以及计算机程序。
背景技术
驾驶辅助系统的任务之一是部分自动化地控制机动车的纵向运动和横向运动，并且特别是针对完全自动化行驶的机动车的任务在于，分析机动车所正处于的具体情况，并且基于此实时地获知相应的有意义的针对机动车的驾驶操纵并进行实施。
驾驶操纵的计算的复杂性一般随各个驾驶操纵的持续时间而增加。如果要确定较长的时间段的、例如长于三秒的时间段的不同的可能的驾驶操纵或如果涉及到具有多次变道的复杂的驾驶操纵，则迄今已知的方法往往不再能够实时地获知这些驾驶操纵。
这特别是在另外的交通参与者正处在行车道上时尤其如此，这是因为在此情况中必须也要考虑到另外的交通参与者可能变道、制动、加速等。
发明内容
因此，本发明的任务是提供用于控制机动车的方法和控制器，以便预告另外的交通参与者的可能的驾驶操纵。
该任务根据本发明通过一种用于控制机动车的方法来解决，机动车在道路上正在当前的车道内行驶，其中，机动车具有至少一个传感器，传感器被构造成至少用于检测当前的车道的位于机动车前方的区域，并且其中，在当前的车道上和/或在至少一个另外的车道上存在至少一个另外的交通参与者。方法包括如下步骤：
-借助至少一个传感器检测环境数据，其中，环境数据包括关于当前的车道的特性的信息、关于至少一个另外的车道的特性的信息、和/或关于至少一个另外的交通参与者的信息；
-基于环境数据获知至少一个效用值泛函，其中，效用值泛函在预先限定的时刻给当前的车道和/或至少一个另外的车道的不同的空间区域分别配属针对至少一个另外的交通参与者的效用值；
-获知至少一个效用值泛函的二维表示；并
-通过对二维表示运用图样识别，基于效用值泛函的二维表示获知至少一个另外的交通参与者的至少一个预测的轨迹。
效用值表示前往相应的区域内的至少一个另外的交通参与者的代价-效用衡量。
在此，高的效用值相应于高代价或低效用，而低的效用值相应于低代价或高效用。
如果必须破坏交通规则以到达相应的区域，则效用值例如升高。此外，如果低于与另外的交通参与者的预先限定的纵向距离和/或横向距离，需要高的加速等，则效用值升高。
如果道路的相应的区域能够实现快速到达目的地，可靠地避免碰撞，相应的驾驶操纵仅需要低的加速等，则效用值例如降低。
二维表示是在机动车环境中在确定的时刻的交通情况的呈现。对应地，二维表示具有两个空间轴，尤其是其中，其中一个空间轴相应于机动车的驾驶方向，并且其中，其中另一空间轴相应于横向方向。
根据本发明的方法基于如下基本构思，即，至少一个另外的交通参与者的预测的轨迹不根据常规的算法直接从效用值泛函计算，而是替代地获知效用值泛函的二维表示，并且对二维表示运用图样识别。然后基于此图样识别获知预测的轨迹。
以此方式模拟出人类的自然的驾驶方式，此驾驶方式较少地基于所有相关参数的直接计算，而是更多地基于经验的代价-效用评估。
预测的轨迹可以是轨迹群。换言之，针对至少一个另外的交通参与者可以获知不同的可能的轨迹及其各自的概率。
本发明的一个方面设置的是，在多个预先限定的时刻，尤其是在过去的多个预先限定的时刻，分别获知相应的效用值泛函的二维表示，并且其中，通过对二维表示运用图样识别，基于二维表示获知至少一个另外的交通参与者的至少一个预测的轨迹。
不同时刻的二维表示的集合表示了在观测时间段内的交通情况的时间变化过程。换言之，在观测时间段内获知多个效用值泛函及其各自的二维表示，二维表示分别表示了固定的时刻。来自观测时间段的数据被用于预告至少一个另外的交通参与者的未来的轨迹。
观测时间段可以例如在一秒至五秒之间，尤其是在两至三秒之间。
根据本发明的另一个方面，基于二维表示获知三维张量，其中，通过对张量运用图样识别，基于张量获知至少一个另外的交通参与者的预测的轨迹。换言之，来自观察时间段可用的数据被组合为单独的三维张量，从而使得来自观察时间段的所有数据都可以被用于图样识别。
优选地，二维表示沿时间维度相互堆叠，以便获知张量。三维张量因此具有两个相应于道路的空间维度的维度和一个时间维度。
在本发明的一个设计方案中，将不同的空间区域表示为栅格点。换言之，道路被划分为二维栅格，其中，栅格的各个栅格点分别表示道路的一个区域。
效用值泛函给每个栅格点分别配属针对至少一个另外的交通参与者的相应的效用值。
优选地，图样识别借助人工神经网络执行，尤其是借助卷积神经网络执行。人工神经网络、尤其是卷积神经网络特别好地适用于多维结构的图样识别。
本发明的另一个方面设置的是，人工神经网络具有二维和/或三维滤波器核，和/或人工神经网络具有二维和/或三维池化层。
尤其地，人工神经网络具有二维滤波器核和二维池化层。三维张量的全部时间带在此借助二维滤波器核被同时处理，其中，滤波器核沿时间方向的深度相应于输入信道的数量。输入信道的数量在此等于三维张量的时间带的数量，即等于观察时间段内的二维表示的数量。已发现的是，在本发明的设计方案中的人工神经网络可以更容易以及更快地被训练，并且需要存储的数据量更少。
例如，人工神经网络包括三维滤波器核和三维池化层。对应地，在此只有预定数量的三维张量的时间带借助三维滤波器核被同时处理。对应地，此处滤波器核沿时间方向的深度也小于三维张量的时间带的数量。除沿空间维度移动外，滤波器核也沿时间维度移动，从而使得图样识别也沿时间维度发生。已发现的是，虽然在本发明的此设计方案中的人工神经网络更难训练，但至少一个另外的交通参与者的预测轨迹的准确性得到显著改善。
更优选地，人工神经网络在使用在机动车内之前以训练数据库被训练。一方面，这提供的优点是对于每个机动车可以使用相同的训练数据库，从而使得不必每个机动车只有在使用时才被训练。另一方面，这提供的优点是，使得人工神经网络的耗时的且计算要求强的训练可以集中在对应的配备有计算资源的计算机或计算机网络上执行。
根据本发明的一个设计方案，二维表示是二维图像，尤其是其中，各个图像点的颜色基于相应的效用值的值来获知。换言之，将当前的交通情况转化为一个或多个图像。对至少一个另外的交通参与者的预测的轨迹的预估则基于对一个或多个图像运用图样识别来进行。
例如，二维表示中的效用值的值以灰度级进行编码，尤其是在相应的网格点处。但是替选地也可以使用任意其他合适的颜色方案。
在此，效用值的更高的值相应于二维表示中的更暗的图像点，而更低的效用值相应于二维表示中的更亮的图像点。
当然，替选地也可以使得效用值的更高的值相应于更亮的图像点，而更低的效用值相应于二维表示中的更暗的图像点。
根据本发明的另一设计方案，将空间上处在预先限定的相互距离内的另外的交通参与者视作成组的另外的交通参与者，其中，针对成组的另外的交通参与者获知共同的效用值。由此节约了计算时间，这是因为不必针对每个另外的交通参与者获知自己的效用值泛函或自己的张量。
例如，针对其中每个另外的交通参与者计算自己的预测的轨迹。
本发明的另一方面设置的是，尤其是针对组中的每个另外的交通参与者获知至少一个另外的交通参与者的迄今为止的轨迹，其中，基于所获知的迄今为止的轨迹来获知至少一个另外的交通参与者的至少一个预测的轨迹，尤其是其中，将图样识别的结果和迄今为止的轨迹输送给获知至少一个预测的轨迹的人工神经网络。
换言之，至少一个另外的交通参与者的预测的轨迹因此基于由图样识别和对迄今为止的轨迹的观察构成的组合来获知，尤其是借助另外的人工神经网络来获知，该人工神经网络的输入数据是图样识别的结果和所获知的迄今为止的轨迹。
尤其地，迄今为止的轨迹借助轨迹识别模块来获知。预测的轨迹可以借助轨迹获知模块来实现。
应指出的是，轨迹识别模块和轨迹获知模块的结构和工作方式本身已从N.Deo和M.M.Trivedi在2018年IEEE CVPR研讨会上发表的出版物“Convolutional Social Poolingfor Vehicle Trajectory Prediction(用于车辆轨迹预测的卷积社交池)”，arXiv：1805.06771中获知。
但根据本发明，将这些模块与图样识别组合，以识别二维表示中或三维张量中的图样。
关于当前的车道的特性的信息和/或关于至少一个另外的车道的特性的信息可以包括如下元素中的至少一个：行车道标记的位置和/或走向、行车道标记的类型、交通标记的位置和/或类型、护栏的位置和/或走向、至少一个信号灯的位置和/或切换状态、至少一个停泊的车辆的位置。
例如，关于至少一个另外的交通参与者的信息包括至少一个另外的交通参与者的位置、至少一个另外的交通参与者的速度、和/或至少一个另外的交通参与者的加速度。
本发明的一个方面设置的是，将至少一个预测的轨迹传送给机动车的驾驶操纵规划模块。一般而言，驾驶操纵规划模块基于至少一个预测的轨迹以及基于环境数据获知将由机动车实施的驾驶操纵。在此，经由另外的交通参与者的预测的轨迹，考虑到机动车的与另外的交通参与者的相互作用。待实施的驾驶操纵然后被传送给机动车的轨迹规划模块。轨迹规划模块基于所获得的驾驶操纵获知机动车应遵循的具体的轨迹。
然后可以基于所获知的轨迹至少部分自动地、尤其全自动地控制机动车。
尤其地，至少是当前的车道和/或至少一个另外的车道被转换到弗莱纳(Frenet-Serret)坐标系中。在此坐标系中，每个道路是无曲率的，从而使得与道路的实际走向无关地可以以相同的方式和方法处理每个道路交通情况。
本发明的任务根据本发明还通过针对用于控制机动车的系统的或针对机动车的控制器来解决，其中，控制器被构造成用于执行以上所述的方法。
在控制器的优点和特性方面，参考以上的关于方法的解释，所述解释也适用于控制器，并且反之亦然。
本发明的任务根据本发明还通过具有以上所述的控制器的机动车来解决。
在机动车的优点和特性方面，参考以上的关于方法的解释，所述解释也适用于机动车，并且反之亦然。
该任务根据本发明还通过计算机程序来解决，计算机程序具有程序代码介质，以便在计算机程序在计算机上或相应的计算单元上实施时，尤其是在以上所述的控制器的计算单元上实施时，执行以上所述的方法。
在计算机程序的优点和特性方面，参考以上的关于方法的解释，所述解释也适用于计算机程序，并且反之亦然。
“程序代码介质”在此和在下文中应被理解为程序代码形式的可计算机实施的指令和/或已编译和/或未编译的形式的程序代码模块，它们以任意的计算机语言和/或机器语言存在。
附图说明
本发明的另外的特性从如下的描述和参考附图中得到。其中：
-图1示意性地示出道路交通情况；
-图2示出用于借助根据本发明的方法控制机动车的系统的示意性方框图；
-图3示出根据本发明的方法的步骤的流程图表；
-图4(a)和图4(b)示意性地示出变换到弗莱纳坐标系中之前的道路和变换到弗莱纳坐标系中之后的道路；
-图5示例地示出效用值泛函的标绘图；
-图6示意性地示出图5中的效用值泛函在不同的时刻的二维表示的堆叠；
-图7示意性地示出用于执行根据本发明的方法的计算机程序的方框图；
-图8示意性地示出图7的计算机程序的人工神经网络的第一可能的架构；
-图9示意性地示出图7的计算机程序的人工神经网络的第二可能的架构；和
-图10示意性地示出图7的计算机程序的替选的架构。
具体实施方式
在图1中示意性地示出了道路交通情况，其中，机动车10在道路12上正在当前的车道14内行驶。在当前的车道14旁还延伸有另外的车道16。
此外，在道路12上，还有第一另外的交通参与者18、第二另外的交通参与者20以及第三另外的交通参与者21在当前的车道14内或在另外的车道16内行驶。在所示的示例中，另外的交通参与者18、20、21是乘用车辆，但它们也可能是载重车辆、摩托车或任意其他交通参与者。
通过虚线22和24指出，第一另外的交通参与者18在不久的将来计划从当前的车道14改变到另外的车道16内，或者第二另外的交通参与者20在不久的将来计划从另外的车道16改变到机动车10的当前的车道14内。另外的交通参与者18、20例如通过使用相应的行驶方向指示灯来指示这一情况。
此外，在图1中还示出具有纵坐标轴和横坐标轴的坐标系，其中，纵坐标轴限定了纵向方向L，并且其中，横坐标轴限定了横向方向N。坐标系的原点沿纵向方向L处在机动车10的车头的当前的定位处，并且沿纵向方向L观察处在道路右边沿处。
也在下文中使用的此特殊的坐标系是相对道路固定的坐标系，该坐标系因此不随机动车10运动。但是当然也可以使用任意其他的坐标系。
如在图2中所示，机动车10具有用于控制机动车10的系统26。系统26包括多个传感器28和至少一个控制器30。
传感器28布置在机动车10前部、后部和/或侧部，并且被构造成用于检测机动车10的周围环境，生成相应的环境数据，并且将该环境数据转发给控制器30。确切而言，传感器28检测至少是关于当前的车道14、另外的车道16和另外的交通参与者18、20、21的信息。
传感器28分别是相机、雷达传感器、距离传感器、激光雷达传感器和/或适用于检测机动车10的周围环境的任意的其他类型的传感器。
替选地或附加地，其中至少一个传感器28可以被构造为通向指引系统的接口，该指引系统至少配属给所示的道路12的区段，并且被构造成用于将关于道路12和/或关于另外的交通参与者18、20、21的环境数据传送给机动车10，和/或传送给另外的交通参与者18、20、21。其中一个传感器28在此情况中可以被构造为移动无线通信模块，例如以用于根据5G标准进行通信。
一般而言，控制器30对由传感器28获得的环境数据进行处理，并基于所处理的环境数据至少部分自动化地、尤其是全自动化地控制机动车10。在控制器30上因此实现了驾驶辅助系统，驾驶辅助系统可以至少部分自动化地、尤其是全自动地控制机动车10的横向运动和/或纵向运动。
为此目的，控制器30被构造成用于执行在下文中根据图3至图10解释的方法步骤。
确切而言，控制器30包括数据载体32和计算单元34，其中，在数据载体32上存储有计算机程序，计算机程序在计算单元34上实施并且包括程序代码介质，以便执行在下文中解释的方法的步骤。
首先，借助传感器28检测环境数据(步骤S1)。
一般而言，环境数据包括所有对于自动化地控制机动车10是重要的关于机动车10的周围环境的信息。
确切而言，环境数据包括关于当前的车道14的特性和另外的车道16的特性的信息以及关于另外的交通参与者18、20、21的信息。
关于当前的车道14的特性和另外的车道16的特性的信息包括如下元素中的一个或多个：车道标记的位置和/或走向、行车道标记的类型、交通标记的位置和/或类型、护栏的位置和/或走向、至少一个信号灯的位置和/或切换状态、至少一个停泊的车辆的位置。
此外，关于另外的交通参与者18、20、21的信息包括另外的交通参与者18、20、21各自的位置、另外的交通参与者18、20、21的各自的速度、和/或另外的交通参与者18、20、21的各自的加速度。
也能想到的是，关于另外的交通参与者18、20、21的信息包括各自的另外的交通参与者18、20、21的类型，即例如是否为机动车、载重车辆、摩托车或行人。
道路12，确切而言基于由传感器28获得的环境数据的当前的车道14和另外的车道16的图像，被转换到弗莱纳坐标系中(步骤S2)。
步骤S2在图4中说明。图4(a)示出实际走向的道路12。在所示的示例中，道路沿纵向方向L观察具有向左的曲率。通过局部坐标变换，将道路12变换到弗莱纳坐标系中，其中，道路12不再具有曲率，其中，此变换的结果在图4(b)中示出。如清晰地可见，道路12在此坐标系中直地延伸，并且不具有曲率地沿纵向方向L延伸。
基于所获知的环境数据获知效用值泛函，效用值泛函在预先限定的时刻给道路12的不同的空间区域分别配属针对另外的交通参与者18、20、21的效用值(步骤S3)。
确切而言，分别针对处在相互间预先限定的距离内的成组的另外的交通参与者获知共同的效用值泛函。
在图1的示例中，第一另外的交通参与者18距离另两个另外的交通参与者20、21较远。因此，针对第一另外的交通参与者获知其自己的效用值泛函。
第二和第三另外的交通参与者20、21则相互靠近。因此，针对第二和第三另外的交通参与者20、21获知共同的效用值泛函。
为了获知效用值泛函，将道路12划分为二维栅格，其中栅格的各个栅格点分别表示道路12的各一个区域。
效用值泛函给其中每个栅格点分别配属第一另外的交通参与者18的相应的效用值或包括第二和第三另外的交通参与者20、21的组的相应的效用值。
各个栅格点上的各自的效用值表示第一另外的交通参与者18的或由第二和第三另外的交通参与者20、21构成的组前往相应的区域内的代价-效用衡量。
在此，高的效用值相应于高代价或低效用，而低效用值相应于低代价或高效用。
如果必须破坏交通规则以到达相应的区域，则效用值例如升高。此外，如果低于与另外的交通参与者的预先限定的纵向距离和/或横向距离，需要高的加速等，则效用值升高。
如果道路的相应的区域能够实现快速到达目的地，可靠地避免碰撞，相应的驾驶操纵仅需要低的加速等，则效用值例如降低。
步骤S3的结果在图5中说明，其中示出了两个示例的效用值泛函的标绘图。
如在图5中所示，效用值泛函是纵坐标L和横坐标N的函数U，并且给具有坐标(L,N)的各个栅格点分别配属效用值U(L,N)。
尤其地，效用值泛函是分别反映了上述方面中的一个或多个方面的多个效用值函数的叠加。
例如，效用值泛函根据如下公式确定：
U＝URE+ULM+UOV+UDV
在此，URE是道路12的边界对于效用值泛函的贡献。道路12之外的区域在图5的示例中包含最大的效用值，即高代价，这是因为另外的交通参与者18、20、21必须离开道路12以到达那里。
ULM是行车道标记及其类型的贡献，交通指示牌及其类型的贡献，和/或信号灯及其切换状态的贡献。
UOV是其他交通参与者的贡献。此贡献反映了其他交通参与者阻挡了道路的区域。此外，此贡献也可以反映另外的交通参与者18、20、21的类型，这是因为例如必须维持与易受伤害的交通参与者的更大的距离。
UDV是希望所要达到的速度的贡献。
如通过在图5中所示的效用值泛函的两个标绘图之间的三个点暗示的那样，可以以预先限定的频率获知效用值泛函，从而使得在预先限定的观察时间段内获知预先限定数量的效用值泛函。
预先限定的频率可以例如在5Hz至20Hz之间，尤其是在8Hz至15Hz之间，例如为10Hz。
换言之，在观察时间段内获知分别与固定的时刻相配属的多个的效用值泛函。
观察时间段可以例如在一到五秒之间，尤其是在两到三秒之间。观察时间段在此从过去的某一开始时刻直至现在。
对于其中每个所获知的效用值泛函，分别获知相应的效用值泛函的二维表示(步骤S4)。
二维表示分别是二维图像，其中，各个图像点的颜色基于相应的栅格点上的相应的效用值的值来获知。
尤其地，将相应的栅格点上的效用值的值编码为灰度级。但是替选地也可以使用任意其他合适的颜色方案。
在此，效用值的更高的值相应于二维表示中的更暗的图像点，而更低的效用值相应于二维表示中的更亮的图像点。
当然，替选地也可以使得效用值的更高的值相应于更亮的图像点，而更低的效用值相应于二维表示中的更暗的图像点。
如在图6中说明，针对在不同的时间获知的其中每个效用值泛函分别获知二维表示。
换言之，针对观察时间段内的多个时间带分别获知二维表示。
所获知的二维表示沿时间方向相互堆叠，从而获得三维张量(步骤S5)。
在三维张量中，对应地针对其中每个时间带，给每个栅格点(L,N)分别配属有相应的图像点的颜色值。
基于三维张量，针对其中每个另外的交通参与者分别获知预测的轨迹(步骤S6)。
步骤S6的历程在图7中说明，图7示意性地示出相应的计算机程序的结构及其计算机程序模块。
计算机程序包括图样识别模块36、轨迹识别模块38和轨迹获知模块40。
应注意的是，轨迹识别模块38和轨迹获知模块40的结构和工作方式自身已从N.Deo和M.M.Trivedi在2018年IEEE CVPR研讨会上发表的出版物“Convolutional SocialPooling for Vehicle Trajectory Prediction”，arXiv：1805.06771中获知。
对应地，在下文中仅详细描述图样识别模块36的结构和工作方式。
图样识别模块36具有人工神经网络42和扁平化层44。
优选地，人工神经网络42被构造为卷积神经网络。
一般而言，人工神经网络42包含获知的三维张量作为输入参量，并且借助图样识别产生输出参量。
人工神经网络42的输出参量在此根据人工神经网络42的架构而不同。
在图8中示出了人工神经网络的第一可能的架构。
在此，人工神经网络42具有二维滤波器核和二维池化层。
三维张量的全部时间带在此借助二维滤波器核同时被处理，其中，滤波器核沿时间方向的深度相应于输入信道的数量。在此，输入信道的数量等于三维张量的时间带的数量。
人工神经网络42的输出参量是二维矩阵，二维矩阵借助扁平化层44被转变为向量。
在图9中示出了人工神经网络的第二可能的架构。
在此，人工神经网络42具有三维滤波器核和三维池化层。
对应地，只有预先限定的数量的三维张量时间带借助三维滤波器核被同时处理。对应地，滤波器核沿时间方向的深度小于三维张量的时间带的数量。
除了沿空间维度移动外，滤波器核也沿时间维度移动，从而使得图样识别也沿时间维度发生。
人工神经网络42的输出参量在此是三维输出张量，其借助扁平化层44被转变为向量。
三维的输出张量可以直接转变为向量，即直接从三维转变为一维。
替选地，也可以设有一个或多个二维中间层，其中，最后的中间层然后被转变为向量。
因此，在以上解释的两种情况中，图样识别模块36的输出参量分别是向量。
用于确定另外的交通参与者18、20、21的预测的轨迹的另外的步骤基本上如N.Deo和M.M.Trivedi发表的出版物“Convolutional Social Pooling for Vehicle TrajectoryPrediction”，arXiv：1805.06771中所描述。
轨迹识别模块38确定另外的交通参与者18、20、21的迄今为止的轨迹，其中，轨迹识别模块38的输出参量也是向量。
图样识别模块36和轨迹识别模块38的输出向量相互关联，并且被传递给轨迹获知模块40。
基于图样识别模块36和轨迹识别模块38的关联的输出向量，使得轨迹获知模块40针对其中每个另外的交通参与者18、20、21，即也针对组中的每个交通参与者20、21分别获知预测的轨迹。
预测的轨迹可以是轨迹群。换言之，可以为其中每个另外的交通参与者18、20、21分别获知不同的可能的轨迹及其概率。
所获知的预测的轨迹然后被传送给机动车10或控制器30的驾驶操纵规划模块。
一般而言，驾驶操纵规划模块基于预测的轨迹并且基于环境数据获知由机动车10待实施的驾驶操纵。在此，经由另外的交通参与者18、20、21的预测的轨迹，考虑到机动车10与另外的交通参与者18、20、21的相互作用。
待实施的驾驶操纵然后被传送给机动车10的轨迹规划模块或控制器30。基于获得的驾驶操纵，轨迹规划模块获知机动车10应遵循的具体轨迹。
最后，基于所获知的轨迹，可以至少部分自动地、尤其是全自动地控制机动车。
在图10中，示出了图7的计算机程序的替选实施方式。
在此，三维张量的各个时间带在图样识别模块36中分别借助二维滤波器核进行处理，由此分别生成二维矩阵作为输出参量。
换言之，总是同时仅处理一个时间带。
在此，二维滤波器核对于不同的时间带可以分别具有相同的加权因数。
二维矩阵分别被转变为向量并且与轨迹识别模块38的相应的状态向量hi关联，其中，hi是时间带i的状态向量。
关联的向量在此分别是轨迹识别模块38的反馈神经网络(RNN)的输入参量，其中，反馈神经网络的输出参量用作下一个反馈神经网络的输入参量，或在最后一个反馈神经网络的情况中是轨迹识别模块38的输出参量。
轨迹识别模块38的输出参量被传送给轨迹获知模块40，轨迹获知模块然后例如借助至少一个另外的反馈神经网络获知另外的交通参与者18、20、21的预测的轨迹。

Claims (12)

1.用于控制机动车(10)的方法，所述机动车(10)在道路(12)上正在当前的车道(14)内行驶，其中，所述机动车(10)具有至少一个传感器(28)，所述传感器被构造成至少用于检测所述当前的车道(14)的位于所述机动车(10)前方的区域，并且其中，在所述当前的车道(14)上和/或在至少一个另外的车道(16)上存在至少一个另外的交通参与者(18、20、21)，所述方法具有如下步骤：
-借助所述至少一个传感器(28)检测环境数据，其中，所述环境数据包括关于所述当前的车道(14)的特性的信息、关于所述至少一个另外的车道(16)的特性的信息、和/或关于所述至少一个另外的交通参与者(18、20、21)的信息；
-基于所述环境数据获知至少一个效用值泛函，其中，所述效用值泛函在预先限定的时刻给所述当前的车道(14)的和/或所述至少一个另外的车道(16)的不同的空间区域分别配属针对所述至少一个另外的交通参与者(18、20、21)的效用值；
-获知所述至少一个效用值泛函的二维表示；并
-通过对所述二维表示运用图样识别，基于所述效用值泛函的二维表示获知所述至少一个另外的交通参与者(18、20、21)的至少一个预测的轨迹。
2.根据权利要求1所述的方法，其特征在于，在多个预先限定的时刻，尤其是在过去的多个预先限定的时刻，分别获知相应的效用值泛函的二维表示，并且其中，通过对所述二维表示运用图样识别，基于所述二维表示获知所述至少一个另外的交通参与者(18、20、21)的至少一个预测的轨迹。
3.根据权利要求2所述的方法，其特征在于，基于所述二维表示获知三维张量，并且其中，通过对所述张量运用图样识别，基于所述张量获知所述至少一个另外的交通参与者(18、20、21)的至少一个预测的轨迹，其中尤其地，将所述二维表示沿时间维度相互堆叠，以便获知所述张量。
4.根据前述权利要求中任一项所述的方法，其特征在于，将不同的空间区域表示为栅格点，和/或所述二维表示是二维图像，尤其是其中，各个图像点的颜色基于相应的效用值的值来获知。
5.根据前述权利要求中任一项所述的方法，其特征在于，所述图样识别借助人工神经网络(42)执行，尤其是借助卷积神经网络执行，其中尤其地，所述人工神经网络(42)具有二维和/或三维滤波器核，和/或所述人工神经网络具有二维或三维池化层。
6.根据前述权利要求中任一项所述的方法，其特征在于，将空间上处在预先限定的相互距离内的另外的交通参与者(20、21)视作成组的另外的交通参与者(20、21)，其中，针对所述成组的另外的交通参与者(20、21)获知共同的效用值泛函。
7.根据前述权利要求中任一项所述的方法，其特征在于，尤其是针对组中的每个另外的交通参与者(18、20、21)，获知所述至少一个另外的交通参与者(18、20、21)的迄今为止的轨迹，其中，基于所获知的迄今为止的轨迹获知所述至少一个另外的交通参与者(18、20、21)的至少一个预测的轨迹，尤其是其中，将所述图样识别的结果和所述迄今为止的轨迹输送给获知至少一个预测的轨迹的人工神经网络。
8.根据前述权利要求中任一项所述的方法，其特征在于，关于所述当前的车道(14)的特性的信息和/或关于所述至少一个另外的车道(16)的特性的信息包括如下元素中的至少一个：行车道标记的位置和/或走向、行车道标记的类型、交通标记的位置和/或类型、护栏的位置和/或走向、至少一个信号灯的位置和/或切换状态、至少一个停泊的车辆的位置。
9.根据前述权利要求中任一项所述的方法，其特征在于，关于所述至少一个另外的交通参与者(18、20、21)的信息包括所述至少一个另外的交通参与者(18、20、21)的位置、所述至少一个另外的交通参与者(18、20、21)的速度、和/或所述至少一个另外的交通参与者(18、20、21)的加速度。
10.根据前述权利要求中任一项所述的方法，其特征在于，所述至少一个预测的轨迹被传送给所述机动车(10)的驾驶操纵规划模块。
11.针对用于控制机动车(10)的系统(26)的或针对机动车(10)的控制器，其中，所述控制器(30)被构造成用于执行根据前述权利要求中任一项所述的方法。
12.计算机程序，所述计算机程序具有程序代码介质，以便在所述计算机程序在计算机或相应的计算单元上实施时，尤其是在根据权利要求12所述的控制器(30)的计算单元(34)上实施时，执行根据权利要求1至10中任一项所述的方法的步骤。
CN202180047640.6A 2020-07-06 2021-06-17 用于控制机动车的方法以及控制器 Pending CN115812052A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020208421.1 2020-07-06
DE102020208421.1A DE102020208421A1 (de) 2020-07-06 2020-07-06 Verfahren sowie Steuergerät zum Steuern eines Kraftfahrzeugs
PCT/EP2021/066487 WO2022008200A1 (de) 2020-07-06 2021-06-17 Verfahren sowie steuergerät zum steuern eines kraftfahrzeugs

Publications (1)

Publication Number Publication Date
CN115812052A true CN115812052A (zh) 2023-03-17

Family

ID=76641666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180047640.6A Pending CN115812052A (zh) 2020-07-06 2021-06-17 用于控制机动车的方法以及控制器

Country Status (5)

Country Link
US (1) US20230257002A1 (zh)
EP (1) EP4176376A1 (zh)
CN (1) CN115812052A (zh)
DE (1) DE102020208421A1 (zh)
WO (1) WO2022008200A1 (zh)

Also Published As

Publication number Publication date
US20230257002A1 (en) 2023-08-17
WO2022008200A1 (de) 2022-01-13
DE102020208421A1 (de) 2022-01-13
EP4176376A1 (de) 2023-05-10

Similar Documents

Publication Publication Date Title
EP3588226B1 (en) Method and arrangement for generating control commands for an autonomous road vehicle
CN110007675B (zh) 一种基于行车态势图的车辆自动驾驶决策系统及基于无人机的训练集制备方法
US11718300B2 (en) Method and control unit for a system for controlling a motor vehicle
CN110843789B (zh) 一种基于时序卷积网络的车辆换道意图预测方法
US11714418B2 (en) Method for the automated control of a motor vehicle
CN111332283B (zh) 用于控制机动车的方法和系统
CN113165648A (zh) 用于基于采样对机动车辆的可能轨迹进行规划的控制系统和控制方法
CN107544518A (zh) 基于拟人驾驶的acc/aeb系统及车辆
CN110799402B (zh) 车辆控制装置
CN111868641A (zh) 用于产生用于训练车辆控制设备的人工智能模块的训练数据组的方法
JP7048455B2 (ja) 学習装置、シミュレーションシステム、学習方法、およびプログラム
US20230174103A1 (en) Method and system for feasibility-based operation of an autonomous agent
WO2021134357A1 (zh) 感知信息处理方法、装置、计算机设备和存储介质
US12024194B2 (en) Vehicle control method, vehicle control device, and storage medium
CN114399743A (zh) 一种障碍物未来轨迹的生成方法
CN116629114A (zh) 多智能体的模型训练方法、系统、计算机设备和存储介质
CN115731531A (zh) 对象轨迹预测
CN108182428A (zh) 前车状态识别和车辆跟随的方法
US20200097005A1 (en) Object detection device, object detection method, and vehicle controller
Oudainia et al. Personalized decision making and lateral path planning for intelligent vehicles in lane change scenarios
CN113382908A (zh) 用于获取车辆动作预测的系统及相应方法
CN113557524A (zh) 用于表示移动平台环境的方法
US20210300350A1 (en) Vehicle control device, vehicle control method, and storing medium
CN117320945A (zh) 用于确定自主车辆控制中的运动预测的运动模型的方法和系统
US11591012B2 (en) Vehicle trajectory prediction using road topology and traffic participant object states

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination