CN112639808B - 用于机动车辆的纵向和/或横向控制的驾驶辅助 - Google Patents

用于机动车辆的纵向和/或横向控制的驾驶辅助 Download PDF

Info

Publication number
CN112639808B
CN112639808B CN201980057133.3A CN201980057133A CN112639808B CN 112639808 B CN112639808 B CN 112639808B CN 201980057133 A CN201980057133 A CN 201980057133A CN 112639808 B CN112639808 B CN 112639808B
Authority
CN
China
Prior art keywords
longitudinal
additional
image
motor vehicle
control command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980057133.3A
Other languages
English (en)
Other versions
CN112639808A (zh
Inventor
T.布赫特
L.乔治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of CN112639808A publication Critical patent/CN112639808A/zh
Application granted granted Critical
Publication of CN112639808B publication Critical patent/CN112639808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/12—Lateral speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于机动车辆的纵向和/或横向控制的驾驶辅助系统(3)，所述系统包括：图像处理设备(31a)，所述图像处理设备(31a)已经使用学习算法进行了预先训练，并且被配置为根据在输入端提供的由车载数字相机(2)捕获的图像(Im1)在输出端生成用于所述机动车辆的控制指令(Scom1)；数字图像处理模块(32)，其被配置为在与所述设备(31a)完全相同的附加设备(31b)的输入端提供至少一个附加图像(Im2)，用于并行处理由所述相机(2)捕获的图像(Im1)和所述至少一个附加图像(Im2)，以使所述附加设备(31b)生成用于所述机动车辆的至少一个附加控制指令(Scom2)，所述附加图像(Im2)是由对所述捕获的图像(Im1)进行的至少一次几何和/或辐射变换生成的；以及数字融合模块(33)，其被配置为基于所述控制指令(Scom1)和所述至少一个附加控制指令(Scom2)生成合成的控制指令(Scom)。

Description

用于机动车辆的纵向和/或横向控制的驾驶辅助
技术领域
本发明总体上涉及机动车辆，更具体地涉及用于机动车辆的纵向和/或横向控制的驾驶辅助方法和系统。
背景技术
如今，为改善交通安全状况，提供了许多驾驶辅助系统。
在可能的功能中，尤其可以提及速度控制或ACC(自适应巡航控制AdaptiveCruise Control的首字母缩写)，基于交通状况和/或信号(交通信号灯、停车标志、让行标志等)自动停止和重新启动车辆的发动机，如被称为车道保持辅助系统所提出的自动保持车辆的行驶轨迹在其行驶车道内的辅助，警告驾驶员离开车道或无意越线(车道偏离警告)，辅助更改车道或LCC(车道变更控制Lane Change Control)等。
因此，驾驶辅助系统具有以下一般性作用：警告驾驶员需要注意的情况和/或定义车辆为了到达给定目的地而应遵循的轨迹，从而使得可以控制用于控制车辆的转向和/或制动以及加速的单元，因此可以有效地自动跟踪该轨迹。在这种情况下，应该根据其数学定义来理解轨迹，也就是说，是随着时间的推移车辆必须占据的一组连续位置。因此，驾驶辅助系统不仅必须定义要走的路，而且还要定义要遵守的速度(或加速度)曲线。为此，他们使用来自例如相机、雷达、激光雷达等安装在车辆上的一个或多个检测手段的大量有关车辆的即时周围环境的信息(行人、自行车或其他机动车辆等障碍物的存在、路标的检测、道路配置等)，以及与车辆本身相关的信息，例如其速度、加速度，以及例如由GPS导航系统提供的其位置。
在下文中，更特别感兴趣的是仅基于处理由安装在机动车辆上的相机捕获的图像进行机动车辆的纵向和/或横向控制的驾驶辅助系统。图1示意性地示出了机动车辆1的平面图，机动车辆1配备有在此设置在车辆前方的数字相机2，并且配备有在输入端接收由相机2捕获的图像的驾驶辅助系统3。
这些系统中的某些系统实现了不同种类的(像素处理、通过自动学习进行的对象识别、光流)查看算法(viewing algorithms)，从而检测车辆的即时周围环境中的障碍物或更一般地检测车辆的即时周围环境中的对象，以估算车辆与检测到的障碍物之间的距离，并相应地控制车辆的方向盘或转向柱、制动单元和/或加速器等单元。这些系统使得仅可以识别预先定义的有限数量的对象(例如行人、骑自行车的人、其他汽车、路标、动物等)。
其他系统使用人工智能，并试图模仿复杂道路情景下的人类行为。题为“用于自动驾驶汽车的端到端学习”的文献(M.Bojarski等人，2016年4月25日，https：//arxiv.org/abs/1604.07316)特别公开了卷积神经网络或CNN，该网络一旦经过“离线”学习过程的训练，便能够从相机提供的视频图像中生成转向指令(steering instruction)。
在图2中示意性地示出了这种类型的一种已知系统3的“在线”操作。系统3包括神经网络31，例如深度神经网络或DNN，以及可选地包括模块30用于重新度化(redimensioning)图像以根据由相机2提供的图像Im生成用于神经网络的输入图像Im'，图像Im'的尺寸与网络兼容。构成图像处理设备31的神经网络已经过预先训练并且被配置以在输出端生成输出控制指令Scom，例如，希望对机动车辆进行纵向控制时，生成用于车辆的(正或负)设定加速度或速度，或者希望对机动车辆进行横向控制时，生成用于方向盘的设定转向角，或者如果希望进行纵向和横向控制，甚至可以生成这两种指令的结合。
在图3中示意性地示出的人工智能驾驶辅助系统的另一已知实现中，可能被重新度化以形成图像Im'的、相机2捕获的图像Im由模块310中的多个神经网络并行处理，已经为每个网络训练了特定的任务。在图3中示出了三个神经网络，每个神经网络根据同一输入图像Im'生成用于车辆的纵向和/或横向控制的指令P1、P2或P3。然后，将指令融合在数字模块311中，以传递合成的纵向和/或横向控制指令Scom。
在两种情况下，已经基于与涉及各种人类的各种车辆的实际驾驶状况相对应的大量图像记录来训练神经网络，并且因此已经学会了识别场景并生成接近人类行为的控制指令。
诸如上述神经网络之类的人工智能系统的优势在于，这些系统将能够同时理解道路场景中的大量参数(例如亮度降低、多种类的多个障碍物的存在，在机动车辆前的其尾灯打开的汽车的存在，道路上弯曲和/或褪色的标记线等)，并且其响应方式与人类驾驶员相同。但是，与对象检测系统不同，人工智能系统不必对物体进行分类或检测，因此不必估算有关车辆和潜在危险之间距离的信息。
现在，在使用条件下，可能存在控制指令的响应不够充分的从而可能导致危险情况。例如，在某些情况下，图2和图3中描述的系统3可能不足以预测车辆1前方的另一车辆的存在，从而可能导致例如制动延迟。
第一种可能的解决方案是将指令Scom与来自安装在车辆上的另一传感器(例如激光雷达或雷达等)的距离信息进行组合。然而，该解决方案是昂贵的。
另一解决方案是修改在设备31的一个或多个神经网络中执行的算法。在这种情况下，该解决方案也是昂贵的。另外，并非总是可能对设备31的内容(content)采取行动。
此外，尽管上述解决方案使得可以在了解情况时管理网络中可能的错误，但是它们均无法预测算法的计算时间或修改车辆的行为从而采用特定的驾驶方式，例如安全驾驶或更激进的驾驶。
发明内容
本发明旨在通过提供一种简单且廉价的解决方案来减轻上述系统的局限性，该解决方案使得可以改进由设备31实现的算法的响应性而不必修改其内部处理过程。
为此，本发明的第一目的是一种用于机动车辆的纵向和/或横向控制的驾驶辅助方法，所述方法包括使用已经由学习算法预先训练的处理算法处理由安装在所述机动车辆上的数字相机捕获的图像以生成用于所述机动车辆的纵向和/或横向控制指令的步骤，所述方法的特征在于其还包括：
-使用所述处理算法来附加处理至少一个附加图像以生成用于所述机动车辆的至少一个附加纵向和/或横向控制指令的、与处理所述图像的所述步骤并行的至少一个附加处理步骤，所述至少一个附加图像是由对所述捕获的图像进行的至少一次几何和/或辐射变换生成的；以及
-基于所述纵向和/或横向控制指令和所述至少一个附加纵向和/或横向控制指令，生成合成的纵向和/或横向控制指令。
根据本发明的方法的一种可能的实施方式，所述至少一个几何和/或辐射变换包括缩放、放大所述捕获的图像的感兴趣区域。
根据其他可能的实现方式，所述至少一个几何和/或辐射变换包括对所述捕获的图像或所述捕获的图像的感兴趣区域进行旋转、和/或修改亮度、和/或裁剪。
在一种可能的实施方式中，所述纵向和/或横向控制指令和所述至少一个附加纵向和/或横向控制指令包括与所述机动车辆方向盘的设定转向角相关的信息。
作为变型或组合，所述纵向和/或横向控制指令和所述至少一个附加纵向和/或横向控制指令包括与设定速度和/或设定加速度相关的信息。
可以通过计算所述纵向和/或横向控制指令和所述至少一个附加纵向和/或横向控制指令的平均值生成所述合成的纵向和/或横向控制指令。作为变型，相对于所述纵向和/或横向控制指令，所述合成的纵向和/或横向控制指令可以对应于设定速度的最小值，而相对于所述至少一个附加纵向和/或横向控制指令，所述合成的纵向和/或横向控制指令可以对应于附加设定速度。
本发明的第二个目的是一种用于机动车辆的纵向和/或横向控制的驾驶辅助系统，所述系统包括用于安装在所述机动车辆上的图像处理设备，所述图像处理设备已经使用学习算法进行了预先训练并且被配置为根据在输入端提供的由车载数字相机捕获的图像在输出端生成用于所述机动车辆的纵向和/或横向控制指令，所述系统的特征在于其还包括：
-至少一个附加图像处理设备，其与所述图像处理设备完全相同；
-数字图像处理模块，其被配置为在所述附加图像处理设备的输入端提供至少一个附加图像，用于并行处理由所述相机捕获的图像和所述至少一个附加图像，以使所述附加图像处理设备生成用于所述机动车辆的至少一个附加纵向和/或横向控制指令，所述至少一个附加图像是由对所述捕获的图像进行的至少一次几何和/或辐射变换生成的；以及
-数字融合模块，其被配置为基于所述纵向和/或横向控制指令和所述至少一个附加纵向和/或横向控制指令生成合成的纵向和/或横向控制指令。
附图说明
通过阅读以下参照附图给出的描述，将会更好地理解本发明，其中：
-已经在上面描述的图1以简化的形式示出了由驾驶辅助系统共享的体系结构，该体系结构被安装在车辆中，实现对来自车载相机的图像的处理；
-已经在上面描述的图2是使用神经网络的用于机动车辆的纵向和/或横向控制的已知系统的简化概图；
-已经在上面描述的图3是图2中系统的已知变型；
-图4以简化的概图的形式示出了根据本发明的驾驶辅助系统的一种可能的实施例；
-图5和图6示出了由图4的系统应用于两种示例性道路情况的原理。
在说明书的其余部分中，除非另有规定，否则所有附图共有的元件具有相同的附图标记。
具体实施方式
将参照图4在机动车辆的纵向控制的背景下描述根据本发明的驾驶辅助系统。然而，本发明不限于该示例，并且可以特别地被用于允许机动车辆的横向控制，或者允许机动车辆的纵向和横向控制。在图4中，如在现有技术中描述的那样，纵向控制辅助系统3包括图像处理设备31a，图像处理设备31a安装在机动车辆上，在输入端接收由同样安装在机动车辆上的数字相机2捕获的图像Im1。图像处理设备31a已经预先使用学习算法进行了训练，并且被配置为在输出端生成适合于图像Im1中所示情况的纵向控制指令Scom1，例如设定速度值或设定加速度。设备31a可以是参考图2描述的设备31，或者可以是参考图3描述的设备31。如果有必要，所述系统包括重新度化模块30a，其被配置为重新度化图像Im1以形成与设备31a能够处理的图像尺寸兼容的图像Im1'。
图像处理设备31a包括例如深度神经网络。
在本发明提出不影响其内部操作的情况下提高其执行的算法的响应性的意义上，图像处理设备31a在此被认为是黑匣子。
为此，本发明规定，与由设备31a执行的处理并行地、使用与由设备31a执行的算法相同的算法对由图像Im1形成的附加图像执行至少一个附加处理操作。
为此，根据本发明的一个可能的实施例，系统3包括数字图像处理模块32，其被配置为在与设备31a相同的附加图像处理设备31b的输入端提供至少一个附加图像Im2，并且相应地执行相同的处理算法，该附加图像Im2是由对相机2最初捕获的图像Im1进行的至少一次几何和/或辐射变换生成的。在这种情况下，系统3也可以包括类似于重新度化模块30a的重新度化模块30b以提供与附加设备31b的输入端兼容的图像Im2'。
如通过图4中的非限制性示例所示，数字模块32被配置为执行缩放、放大由相机2捕获的图像Im1的感兴趣区域，例如图像Im1的中心区域。图5和图6给出了由缩放(zooming)、放大了由安装在车辆前部的相机捕获的图像Im1的中心得到的两个示例性变换图像Im2。在图5的情况下，图像Im1所示的车辆前方的道路场景显示了车辆前方的完全畅通的直路。相反，图6中的图像Im1示出在车辆前方存在另一辆其后停车灯打开的车辆。对于图5和图6，图像Im2是缩放的图像，图像Im1的中心区域被放大了。在存在危险的情况下(图6中的情况)，放大的缩放(magnifying zoom)给人的印象是另一辆车比实际上相距更近。
因此，根据本发明的系统3将能够执行至少两个并行处理操作，特别是：
-由设备31a执行的对捕获图像Im1(可能是对重新度化图像Im1')的第一处理操作，允许其生成控制指令Scom1；
-由附加设备31b对附加图像Im2(可能是对附加重新度化图像Im2')进行至少一个第二处理操作，从而使其生成附加控制指令Scom2，该控制指令可能独立于控制指令Scom1。
指令Scom1和附加指令Scom2是相同的类型，并且每个包括例如与装备有系统3的机动车辆将采用的设定速度相关的信息。作为变型，所述两个指令Scom1和Scom2可以分别包括设定加速度，当车辆必须加速时其具有正值，或者当车辆必须减速时其具有负值。
在系统3应允许在机动车辆的横向控制的情况下提供的驾驶辅助的其他实施例中，两个指令Scom1和Scom2各自包括优选地与机动车辆的方向盘的设定转向角相关的信息。
在图5所示的道路情况的示例中，放大的缩放不会产生任何实际影响，因为图像Im1和Im2都不表示存在危险。在这种情况下，并行执行的两个处理操作将生成可能相同或相似的两个指令Scom1和Scom2。
另一方面，对于图6中所示的道路情况的示例，由于设备31b将判断另一辆车相距更近有必要尽早制动的事实，附加指令Scom2将对应于远高于指令Scom1设定减速度的设定减速度。
根据本发明的系统3还包括数字融合模块33，其将处理设备31a和处理设备31b的输出端连接并且在输入端接收指令Scom1和Scom2。
数字融合模块33被配置为基于其在输入端接收的指令生成合成的纵向控制指令Scom，在此情况下，其是基于由对捕获图像Im1的处理生成的指令Scom1和由对图像Im2的处理生成的附加指令Scom2。可以在此级别(level)应用各种融合规则，以对应于各种驾驶风格。
例如，如果指令Scom1对应于机动车辆的设定速度，并且附加指令Scom2对应于机动车辆的附加设定速度，则数字融合模块33将能够：
-对于所谓的“安全”驾驶方式，生成与设定速度和附加设定速度中的最小值相对应的结果指令Scom；或者
-对于所谓的“常规”驾驶方式，生成与设定速度和附加设定速度的平均值相对应的结果指令Scom。
在不脱离本发明的范围的情况下，可以设想除了放大的缩放以外的几何变换。作为非限制性示例的方式，有可能特别地存在规定对数字模块32进行配置，使得它旋转时，剪切或变形图像Im1或图像Im1的感兴趣区域。
就改进由设备31a和设备31b执行的算法的响应度而言，例如修改亮度或对比度的辐射变换也可能是有益的。
当然，这些变换的全部或一部分可以组合以便生成变换图像Im2。
作为变型，可以存在规定使系统3包括多个并行执行的附加处理操作，每个处理操作包括将所述捕获的图像Im1预定义变换成第二图像Im2，和由与设备31a完全相同的设备生成相关联的指令。举例来说，可以在同一图像Im1上以各种比例执行各种缩放，或将亮度修改为各种程度，或执行各种不同类型的变换。
这些并行处理操作的好处在于，能够从对同一图像执行的变换中生成多个可能的不同的指令，从而改善设备31a使用的算法的整体性能。
基于所述多个指令而应用的融合规则可以取决于是否优先考虑安全性而变化。举例来说，数字融合模块可以被配置为：
-对于所谓的“安全”驾驶方式，生成与各种处理操作所生成的各种设定速度中的最小值相对应的结果指令Scom；或者
-对于所谓的“常规”驾驶方式，生成与由各种处理操作生成的各种设定速度的平均值相对应的结果指令Scom；或者
-对于所谓的“激进”驾驶方式，生成与由各种处理操作生成的两个最高设定值速度的平均值相对应的结果指令Scom。

Claims (8)

1.一种用于机动车辆(1)的纵向和/或横向控制的驾驶辅助方法，所述方法包括使用已经由学习算法预先训练的处理算法处理由安装在所述机动车辆(1)上的数字相机(2)捕获的图像(Im1)，以生成用于所述机动车辆(1)的纵向和/或横向控制指令(Scom1)的步骤，所述方法的特征在于其还包括：
-使用所述处理算法来附加处理至少一个附加图像(Im2)以生成用于所述机动车辆(1)的至少一个附加纵向和/或横向控制指令(Scom2)的、与处理所述图像(Im1)的所述步骤并行的至少一个附加处理步骤，所述至少一个附加图像(Im2)是由对所述捕获的图像(Im1)进行的至少一个几何和/或辐射变换生成的；以及
-基于所述纵向和/或横向控制指令(Scom1)和所述至少一个附加纵向和/或横向控制指令(Scom2)，生成合成的纵向和/或横向控制指令(Scom)；
其特征在于，所述至少一个几何和/或辐射变换包括缩放、放大所述捕获的图像(Im1)的感兴趣区域。
2.根据权利要求1所述的方法，其特征在于，所述至少一个几何和/或辐射变换包括对所述捕获的图像(Im1)或所述捕获的图像(Im1)的感兴趣区域进行旋转、或修改亮度、或裁剪。
3.根据权利要求1或2所述的方法，其特征在于，所述纵向和/或横向控制指令(Scom1)和所述至少一个附加纵向和/或横向控制指令(Scom2)包括与所述机动车辆方向盘的设定转向角相关的信息。
4.根据权利要求1或2所述的方法，其特征在于，所述纵向和/或横向控制指令(Scom1)和所述至少一个附加纵向和/或横向控制指令(Scom2)包括与设定速度和/或设定加速度相关的信息。
5.根据权利要求4所述的方法，其特征在于，通过计算所述纵向和/或横向控制指令(Scom1)和所述至少一个附加纵向和/或横向控制指令(Scom2)的平均值生成所述合成的纵向和/或横向控制指令(Scom)。
6.根据权利要求4所述的方法，其特征在于，相对于所述纵向和/或横向控制指令(Scom1)，所述合成的纵向和/或横向控制指令(Scom)对应于设定速度的最小值，而相对于所述至少一个附加纵向和/或横向控制指令(Scom2)，所述合成的纵向和/或横向控制指令(Scom)对应于附加设定速度。
7.一种用于机动车辆(1)的纵向和/或横向控制的驾驶辅助系统(3)，所述系统包括用于安装在所述机动车辆(1)上的图像处理设备(31a)，所述图像处理设备(31a)已经使用学习算法进行了预先训练并且被配置为根据在输入端提供的由车载数字相机(2)捕获的图像(Im1)在输出端生成用于所述机动车辆(1)的纵向和/或横向控制指令(Scom1)，所述系统(3)的特征在于其还包括：
-至少一个附加图像处理设备(31b)，其与所述图像处理设备(31a)完全相同；
-数字图像处理模块(32)，其被配置为在所述附加图像处理设备(31b)的输入端提供至少一个附加图像(Im2)，用于并行处理由所述相机(2)捕获的图像(Im1)和所述至少一个附加图像(Im2)，以使所述附加图像处理设备(31b)生成用于所述机动车辆(1)的至少一个附加纵向和/或横向控制指令(Scom2)，所述至少一个附加图像(Im2)是由对所述捕获的图像(Im1)进行的至少一个几何和/或辐射变换生成的；以及
-数字融合模块(33)，其被配置为基于所述纵向和/或横向控制指令(Scom1)和所述至少一个附加纵向和/或横向控制指令(Scom2)生成合成的纵向和/或横向控制指令(Scom)；
其特征在于，所述至少一个几何和/或辐射变换包括缩放、放大所述捕获的图像(Im1)的感兴趣区域。
8.根据权利要求7所述的系统，其特征在于，所述图像处理设备(31a)和所述设备(31b)包括深度神经网络。
CN201980057133.3A 2018-07-31 2019-07-30 用于机动车辆的纵向和/或横向控制的驾驶辅助 Active CN112639808B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1857180A FR3084631B1 (fr) 2018-07-31 2018-07-31 Assistance a la conduite pour le controle longitudinal et/ou lateral d'un vehicule automobile
FR1857180 2018-07-31
PCT/EP2019/070447 WO2020025590A1 (fr) 2018-07-31 2019-07-30 Assistance a la conduite pour le controle d'un vehicule automobile comprenant des étappes parralèles de traitement d'images transformées.

Publications (2)

Publication Number Publication Date
CN112639808A CN112639808A (zh) 2021-04-09
CN112639808B true CN112639808B (zh) 2023-12-22

Family

ID=65951619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980057133.3A Active CN112639808B (zh) 2018-07-31 2019-07-30 用于机动车辆的纵向和/或横向控制的驾驶辅助

Country Status (5)

Country Link
US (1) US20210166090A1 (zh)
EP (1) EP3830741B1 (zh)
CN (1) CN112639808B (zh)
FR (1) FR3084631B1 (zh)
WO (1) WO2020025590A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003198903A (ja) * 2001-12-25 2003-07-11 Mazda Motor Corp 撮像方法、撮像システム、撮像制御サーバ、並びに撮像プログラム
CN103745241A (zh) * 2014-01-14 2014-04-23 浪潮电子信息产业股份有限公司 一种基于自学习算法的智能驾驶方法
CN104903946A (zh) * 2013-01-09 2015-09-09 三菱电机株式会社 车辆周边显示装置
WO2016012524A1 (fr) * 2014-07-23 2016-01-28 Valeo Schalter Und Sensoren Gmbh Détection de feux tricolores à partir d'images
CN105654073A (zh) * 2016-03-25 2016-06-08 中国科学院信息工程研究所 一种基于视觉检测的速度自动控制方法
CN107206941A (zh) * 2014-11-04 2017-09-26 康诺特电子有限公司 用于操作机动车辆的驾驶员辅助系统的方法，驾驶员辅助系统和机动车辆
CN107644197A (zh) * 2016-07-20 2018-01-30 福特全球技术公司 后部摄像机车道检测
CN108202669A (zh) * 2018-01-05 2018-06-26 中国第汽车股份有限公司 基于车车通信的不良天气视觉增强行车辅助系统及其方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9165468B2 (en) * 2010-04-12 2015-10-20 Robert Bosch Gmbh Video based intelligent vehicle control system
US9180908B2 (en) * 2010-11-19 2015-11-10 Magna Electronics Inc. Lane keeping system and lane centering system
US8694224B2 (en) * 2012-03-01 2014-04-08 Magna Electronics Inc. Vehicle yaw rate correction
US9171213B2 (en) * 2013-03-15 2015-10-27 Xerox Corporation Two-dimensional and three-dimensional sliding window-based methods and systems for detecting vehicles
CA2976344A1 (en) * 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
US10402670B2 (en) * 2016-04-19 2019-09-03 GM Global Technology Operations LLC Parallel scene primitive detection using a surround camera system
US20170329331A1 (en) * 2016-05-16 2017-11-16 Magna Electronics Inc. Control system for semi-autonomous control of vehicle along learned route
US10336326B2 (en) * 2016-06-24 2019-07-02 Ford Global Technologies, Llc Lane detection systems and methods
US10248124B2 (en) * 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
US10139823B2 (en) * 2016-09-13 2018-11-27 Toyota Motor Engineering & Manufacturing North America, Inc. Method and device for producing vehicle operational data based on deep learning techniques
CN110313017B (zh) * 2017-03-28 2023-06-20 赫尔实验室有限公司 基于对象组件来对输入数据进行分类的机器视觉方法
US20190026588A1 (en) * 2017-07-19 2019-01-24 GM Global Technology Operations LLC Classification methods and systems
JP6638172B2 (ja) * 2017-10-04 2020-01-29 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP6614509B2 (ja) * 2017-10-05 2019-12-04 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US10692244B2 (en) * 2017-10-06 2020-06-23 Nvidia Corporation Learning based camera pose estimation from images of an environment
JP7346401B2 (ja) * 2017-11-10 2023-09-19 エヌビディア コーポレーション 安全で信頼できる自動運転車両のためのシステム及び方法
DE102018206743A1 (de) * 2018-05-02 2019-11-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Fahrerassistenzsystems eines Egofahrzeugs mit wenigstens einem Umfeldsensor zum Erfassen eines Umfelds des Egofahrzeugs, Computer-lesbares Medium, System, und Fahrzeug
US10706294B2 (en) * 2018-05-03 2020-07-07 Volvo Car Corporation Methods and systems for generating and using a road friction estimate based on camera image signal processing
US11966838B2 (en) * 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
WO2020014683A1 (en) * 2018-07-13 2020-01-16 Kache.AI Systems and methods for autonomous object detection and vehicle following
US11042157B2 (en) * 2018-07-23 2021-06-22 Baidu Usa Llc Lane/object detection and tracking perception system for autonomous vehicles
US11042992B2 (en) * 2018-08-03 2021-06-22 Logitech Europe S.A. Method and system for detecting peripheral device displacement
US10839263B2 (en) * 2018-10-10 2020-11-17 Harman International Industries, Incorporated System and method for evaluating a trained vehicle data set familiarity of a driver assitance system
US11068724B2 (en) * 2018-10-11 2021-07-20 Baidu Usa Llc Deep learning continuous lane lines detection system for autonomous vehicles
US11170299B2 (en) * 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
WO2020140049A1 (en) * 2018-12-28 2020-07-02 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
JP2022526825A (ja) * 2019-04-12 2022-05-26 エヌビディア コーポレーション 自律マシン・アプリケーションのためのマップ情報で拡張されたグラウンド・トゥルース・データを使用するニューラル・ネットワーク・トレーニング
US11292462B1 (en) * 2019-05-14 2022-04-05 Zoox, Inc. Object trajectory from wheel direction
US11163990B2 (en) * 2019-06-28 2021-11-02 Zoox, Inc. Vehicle control system and method for pedestrian detection based on head detection in sensor data
WO2021069967A1 (en) * 2019-10-08 2021-04-15 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation
US11885907B2 (en) * 2019-11-21 2024-01-30 Nvidia Corporation Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications
US11532168B2 (en) * 2019-11-15 2022-12-20 Nvidia Corporation Multi-view deep neural network for LiDAR perception
US11689526B2 (en) * 2019-11-19 2023-06-27 Paypal, Inc. Ensemble method for face recognition deep learning models
US20230175852A1 (en) * 2020-01-03 2023-06-08 Mobileye Vision Technologies Ltd. Navigation systems and methods for determining object dimensions
CN111860425B (zh) * 2020-07-30 2021-04-09 清华大学 一种深度多模态跨层交叉融合方法、终端设备及存储介质
JP2023111192A (ja) * 2022-01-31 2023-08-10 本田技研工業株式会社 画像処理装置、移動体制御装置、画像処理方法、およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003198903A (ja) * 2001-12-25 2003-07-11 Mazda Motor Corp 撮像方法、撮像システム、撮像制御サーバ、並びに撮像プログラム
CN104903946A (zh) * 2013-01-09 2015-09-09 三菱电机株式会社 车辆周边显示装置
CN103745241A (zh) * 2014-01-14 2014-04-23 浪潮电子信息产业股份有限公司 一种基于自学习算法的智能驾驶方法
WO2016012524A1 (fr) * 2014-07-23 2016-01-28 Valeo Schalter Und Sensoren Gmbh Détection de feux tricolores à partir d'images
CN107206941A (zh) * 2014-11-04 2017-09-26 康诺特电子有限公司 用于操作机动车辆的驾驶员辅助系统的方法，驾驶员辅助系统和机动车辆
CN105654073A (zh) * 2016-03-25 2016-06-08 中国科学院信息工程研究所 一种基于视觉检测的速度自动控制方法
CN107644197A (zh) * 2016-07-20 2018-01-30 福特全球技术公司 后部摄像机车道检测
CN108202669A (zh) * 2018-01-05 2018-06-26 中国第汽车股份有限公司 基于车车通信的不良天气视觉增强行车辅助系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于稀疏激光点云数据和单帧智能车辆安全辅助驾驶技术研究近况;王荣本等;《公路交通科技》;第24卷(第7期);第107-111页 *

Also Published As

Publication number Publication date
FR3084631A1 (fr) 2020-02-07
FR3084631B1 (fr) 2021-01-08
US20210166090A1 (en) 2021-06-03
EP3830741A1 (fr) 2021-06-09
WO2020025590A1 (fr) 2020-02-06
CN112639808A (zh) 2021-04-09
EP3830741B1 (fr) 2023-08-16

Similar Documents

Publication Publication Date Title
EP3825803B1 (en) Collision-avoidance system for autonomous-capable vehicles
US11713038B2 (en) Vehicular control system with rear collision mitigation
CN110895674B (zh) 用于基于自我中心视觉的未来车辆定位的系统和方法
US9235767B2 (en) Detection region modification for driving assistance apparatus and driving assistance method
US20170329331A1 (en) Control system for semi-autonomous control of vehicle along learned route
CN113128326A (zh) 具有语义地图和lstm的车辆轨迹预测模型
JP7213667B2 (ja) 区画領域および移動経路の低次元の検出
EP3575174B1 (en) Object position history playback for automated vehicle transition from autonomous-mode to manual-mode
US20220301320A1 (en) Controller, method, and computer program for controlling vehicle
EP4184452A1 (en) Vehicle light classification system
CN116653964B (zh) 变道纵向速度规划方法、装置和车载设备
CN112639808B (zh) 用于机动车辆的纵向和/或横向控制的驾驶辅助
US20230245468A1 (en) Image processing device, mobile object control device, image processing method, and storage medium
CN112249016A (zh) 用于自动驾驶车辆的掉头控制系统和方法
JP2022162787A (ja) センサ異常推定装置
US20200384991A1 (en) Vehicle control apparatus, vehicle, operation method of vehicle control apparatus, and non-transitory computer-readable storage medium
JP2023049749A (ja) 車両制御装置、情報処理装置、それらの動作方法及びプログラム
CN117302215A (zh) 用于执行最小危险操纵的车辆和操作该车辆的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant