CN112581793A - 操作具有立体摄像机系统和lidar传感器的机动车辆的方法 - Google Patents

操作具有立体摄像机系统和lidar传感器的机动车辆的方法 Download PDF

Info

Publication number
CN112581793A
CN112581793A CN202011016404.1A CN202011016404A CN112581793A CN 112581793 A CN112581793 A CN 112581793A CN 202011016404 A CN202011016404 A CN 202011016404A CN 112581793 A CN112581793 A CN 112581793A
Authority
CN
China
Prior art keywords
motor vehicle
data
orientation
image data
road user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011016404.1A
Other languages
English (en)
Inventor
图尔加伊·伊斯克·阿斯兰德里
埃万盖洛斯·比特萨尼斯
迈克尔·玛拜沙
阿兰·玛丽·罗杰·谢瓦利埃
弗雷德里克·斯蒂芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN112581793A publication Critical patent/CN112581793A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种用于操作机动车辆(2)的方法，该机动车辆(2)具有用于捕获图像数据(BD)的立体摄像机系统(4)和用于捕获LIDAR数据(LD)的LIDAR传感器(6)，其中确定道路使用者(2’)的定向，该方法的步骤如下：读取请求信号(AF)，如果请求信号(AF)指示以低优度确定道路使用者(2’)的定向，则读取和评估图像数据(BD)以确定道路使用者(2’)的定向，以及如果请求信号(AF)指示以高优度确定道路使用者(2’)的定向，则读取和评估LIDAR数据(LD)和图像数据(BD)以确定道路使用者(2’)的定向。

Description

操作具有立体摄像机系统和LIDAR传感器的机动车辆的方法
技术领域
本发明涉及一种用于操作机动车辆的方法，该机动车辆具有立体摄像机系统并且具有LIDAR传感器。此外，本发明涉及一种计算机程序产品以及这种机动车辆。
背景技术
可以将机动车辆设计为所谓的自主驾驶。自主地驾驶机动车辆是指不受人类驾驶员影响的驾驶、操作以及停车的无人驾驶机动车辆(高度自动驾驶或自主驾驶)。在不需要驾驶员手动操作的情况下，也使用术语无人车。在这种情况下，驾驶员座椅可以保持空置；方向盘、制动踏板和油门踏板可能是不存在的。
这种自主驾驶机动车辆可以借助各种传感器捕获环境，并且根据获取的信息确定其自身位置和其他道路使用者的位置、与导航软件合作向行驶目的地行驶以及避免在通往上述目的地的过程中发生碰撞。
这种传感器可以是所谓的LIDAR传感器。LIDAR(光检测和测距的缩写)在这种情况下表示一种与雷达有关的光学测量距离和速度以及进行测距的方法。而不是像在雷达中那样使用无线电波，而是使用激光束。
LIDAR传感器提供的优势在于，它们可以高分辨率和高速度扫描机动车辆周围的360度范围。LIDAR传感器通常使用高速旋转(倍数100n/min)的基于激光的传感器(例如64)的设置。然后，LIDAR传感器能够捕获被激光束撞击的障碍物。因此，可以确定机动车辆附近的每次撞击或每个障碍物的坐标。通过评估上述LIDAR数据，还可以获取与机动车辆周围区域中的地形拓扑有关的信息。
然而，尤其是由于必须处理的数据量，对LIDAR数据的评估需要相当大的计算能力。
另一种传感器可以是立体摄像机系统。这种立体摄像机系统具有两个摄像机，并且提供图像数据集，该图像数据集还提供与捕获的环境有关的深度信息。
在许多交通场景(例如超车或停车)中，有必要捕捉其他道路使用者的方位。捕捉其他道路使用者的方位必须非常准确和快速。否则，机动车辆的控制系统将延迟响应或对错误的输入做出响应，这可能会导致事故。
存在使用各种类型的传感器(例如单摄像机系统和LIDAR传感器)来实现对其他道路使用者的方位的捕获的各种方法。基于机器学习来识别道路使用者(例如其他机动车辆)的算法仅提供有限的优势。另一方面，图像处理算法(例如结合迭代最近点(ICP)算法的光流)能够提供准确的结果。但是，这些算法需要相当大的计算能力，并且通常仅用于识别运动对象。此外，不可能在自主驾驶车辆硬件中使用它们，因为机动车辆不应为操作相应的处理器提供过多的功率。
例如从US 7 974 442 A1中已知这种评估立体摄像机系统的图像数据和LIDAR传感器的LIDAR数据的方法。
因此，需要指定可以减少计算资源需求的方式。
发明内容
本发明的目的通过一种用于操作具有用于捕捉图像数据的立体摄像机系统和具有用于捕捉LIDAR数据的LIDAR传感器的机动车辆的方法来解决，其中确定道路使用者的定向，该方法具有以下步骤：
读取请求信号，
如果请求信号指示以低优度确定道路使用者的定向，则读取和评估图像数据以确定道路使用者的定向，以及
如果请求信号指示以高优度确定道路使用者的定向，则读取和评估LIDAR数据和图像数据以确定道路使用者的定向。
换言之，根据用于确定道路使用者定向的所需预定优度，仅评估立体摄像机系统的图像数据或另外还评估系统的LIDAR数据。优度在这里是信息内容的一种度量。优度可以是一个数据量、附加类别，例如深度信息或速度值、噪声值或置信区间。这样，就可以灵活地响应各自的请求，并且此外，仅在必要时才对计算费用特别高的LIDAR数据进行评估。这减少了对计算机资源的需求。
根据一实施例，基于CAD数据集的训练数据用于评估图像数据。换言之，CAD数据集基于已用于前者建立的其他道路使用者的模型。因此，可以获得特别高质量的训练数据，这样就可以在训练数据特别短的情况下保持学习阶段。
根据另一实施例，使用人工神经网络(尤其是卷积神经网络或深层神经网络)或AdaBoost算法来评估图像数据。因此，具有多个人工神经元的人工神经网络可以体现为具有一个或多个卷积层、之后是池化层的卷积神经网络(convolutional neural network，CNN)。人工神经网络还可以是多层设计的，即人工神经元被设置在多层，特别是中间层。AdaBoost算法是一种自动分类算法，它将多个弱分类器组合起来形成一个强分类器。通过这种方法，可以在保持低计算机资源需求的同时获得特别准确的评估。
根据另一实施例，使用迭代最近点(Iterative Closest Point，ICP)算法来评估LIDAR数据。迭代最近点算法是一种允许将以点云形式存在的数据彼此适配的算法。以这种方式可以实现特别精确的匹配，同时保持对计算机资源的低需求。
根据另一实施例，通过评估图像数据而仅评估LIDAR数据的相关部分。换句话说，图像数据还用于确定与图像数据相关的LIDAR数据LD的相关部分。因此，仅对LIDAR数据的这一相关部分进行评估以确定第二数据集。这样，就可以减少必须处理的数据量以及从而减少对计算机资源的需求。
根据另一实施例，执行与另一道路使用者的数据交换。换句话说，C2C通信用于读取和评估指示定向的数据。因此，进一步的数据可用于数据协调，并且由于多个道路使用者捕获的多个定向的比较，可以进一步提高定向确定的优度。
本发明还涉及一种计算机程序产品和这种类型的机动车辆。
附图说明
现在将参照附图说明本发明。在附图中：
图1显示了系统概述的示意图；
图2显示了图1所示系统操作细节的示意图；
图3显示了机动车辆和其他道路使用者之间的数据交换的示意图；
图4显示了方法序列的示意图。
具体实施方式
首先参考图1和图2。
示出了机动车辆2和机动车辆2的其他部件。
图示的部件是立体摄像机系统4、LIDAR传感器6、图像数据评估模块8、LIDAR数据评估模块10、传感器数据融合模块12、定向确定模块14、控制设备16和致动器18。
机动车辆2和所列的其他部件可以各自具有用于以下所述任务和/或功能的硬件和/或软件部件。
在本示例性实施例中，机动车辆2被设计为乘用车。此外，本示例性实施例中的机动车辆2用于自主驾驶，即作为无人驾驶机动车辆。在偏离本示例性实施例的情况下，机动车辆2也可以按照SAE自主性等级1到5中的一个来实现。
自主性等级0在此表示无自动化，自主性等级1表示驾驶员辅助，自主性等级2表示部分自动化，自主性等级3表示条件自动化，自主性等级4表示高度自动化，自主性等级5表示完全自动化。
立体摄像机系统4实现为提供代表机动车辆2附近的图像数据BD，而LIDAR传感器6实现为提供代表机动车辆2附近的LIDAR数据LD。
这里提供图像数据评估模块8以用空间深度信息来评估图像数据数据BD，以确定道路使用者2’的定向(参见图3)，道路使用者2’例如另一个机动化的道路使用者2’(例如乘用车、卡车或另一辆多用途车)。
此处，道路使用者2’的定向被理解为指被捕获的道路使用者2’正在行驶的方向，或者如果另一道路使用者2’没有移动，道路使用者2’的定向被理解为驾驶方向指向的方向。例如，定向可以指示另一个道路使用者2’是朝着机动车辆2移动还是在机动车辆2前面行驶。
为此，实现用于机器学习的图像数据评估模块8。因此，图像数据评估模块8从示例中学习，并且在完成学习阶段之后还可以将其概括。换言之，这些示例不仅仅是通过记忆来学习的，而且训练数据中的模式和规则也会被检测出来。因此，图像数据评估模块8还可以评估未知数据。
为了在学习阶段训练图像数据评估模块8，使用基于与诸如各种乘用车之类的其他道路使用者2’的模型相关的CAD数据集的训练数据。
在本示例性实施例中，用于评估图像数据BD的图像数据评估模块8使用基于机器学习的例如AdaBoost算法的元算法(Meta-Algorithmus)。AdaBoost算法是一种自动分类算法，它将多个弱分类器组合起来形成一个强分类器。在偏离本示例性实施例的情况下，还可以使用其他算法，例如随机森林(random forest)、DNN(Deep Neuronal Network，深度神经网络)和CNN(ConvolutionalNeural Network，卷积神经网络)。
图像数据评估模块8仅基于图像数据BD的评估提供指示道路使用者2’的定向的第一数据集D1。
这里提供了LIDAR数据评估模块10，该LIDAR数据评估模块10用于评估LIDAR数据LD以同样地确定另一个道路使用者2’的定向。
为此目的，LIDAR数据评估模块10同样被实施为用于机器学习。因此，LIDAR数据评估模块10也可以评估未知数据。
在本示例性实施例中，用于评估LIDAR数据LD的LIDAR数据评估模块10使用迭代最近点算法。迭代最近点算法是一种允许将以点云形式存在的数据彼此适配的算法。
LIDAR数据评估模块10仅基于对LIDAR数据LD的评估提供指示道路使用者2’的定向的第二数据集D2。
传感器数据融合模块12被实施为确定以低优度确定道路使用者2’的定向是否足够，或者是否需要以高优度确定道路使用者2’的定向。为此目的，传感器数据融合模块12评估在机动车辆2周围捕获的交通场景。如果例如机动车辆2以恒定速度跟随另一个道路使用者2’，则只需要低优度，而如果在由于弯道而仅具有条件能见度的道路上执行超车操作，则需要高优度。
在本示例性实施例中，传感器数据融合模块12生成请求信号AF。请求信号AF是逻辑变量，如果需要高优度，则该逻辑变量被分配为逻辑值一。否则，请求信号AF被分配为逻辑值零。
定向确定模块14被实施为在请求信号AF指示以低优度确定道路使用者2’的定向时仅评估第一数据集D1。在这种情况下，基于图像数据BD，仅对第一数据集D1执行评估。
如果请求信号AF指示以高优度确定道路使用者2’的定向，则定向确定模块14还被实施为除了图像数据BD之外还评估LIDAR数据LD。在这种情况下，分别基于图像数据BD和LIDAR数据LD对两个数据集D1和D2执行评估。
然后，定向确定模块14提供表示所捕获道路使用者2’的定向的输出数据集AU，在第一种情况下，该输出数据集AU仅基于一个数据源且因此具有低优度，而在第二种情况下，两个数据源被组合作为传感器数据融合的一部分。因此，在第二种情况下，输出数据集AU具有更高的优度。
控制设备16被实施为读取和评估输出数据集AU。控制设备16例如可以实施为碰撞保护系统，该碰撞保护系统可以使用控制信号SS来控制致动器18，以实现例如对传动系部件和/或机动车辆2的转向的干预。
另外参考图2，现在将解释机动车辆2，机动车辆2被实施为与在本示例性实施例中同样地是机动车辆(例如乘用车、卡车或多用途车)的另一道路使用者2’进行数据交换。
因此，图2中示出的机动车辆2与图1中示出的机动车辆2的区别在于附加的传输模块20，将对其同样具有硬件和/或软件部件的任务和功能在下面进行详细说明。
本示例性实施例中的道路使用者2’具有与图1所示机动车辆2相同的部件，即立体摄像机系统4’、LIDAR传感器6’、图像数据评估模块8’、LIDAR数据评估模块10’、传感器数据融合模块12’、定向确定模块14’、控制设备16’、致动器18’、以及还有传输模块20。
传输模块20被实施为经由无线数据传输链路读取和评估道路使用者4的输出数据集AU，以确定指示机动车辆2的定向的进一步数据。换言之，传输模块20将由另一道路使用者2’确定的自己的定向转移到自身的协调系统中。道路使用者2’的传输模块20’以类似方式工作。
因此，更多的数据可用于数据协调，并且由于多个定向的比较，由多个道路使用者2’捕获，因此可以进一步提高定向确定的优度。
现在将另外参考图3解释方法序列。
在第一步骤S100中，图像数据评估模块8读取使用立体摄像机系统4捕获的图像数据BD。
在另一步骤S200中，LIDAR数据评估模块10读取使用LIDAR传感器6捕获的LIDAR数据LD。
在另一步骤S300中，图像数据评估模块8通过评估图像数据BD来确定指示道路使用者2’的定向的第一数据集D1。
在这种情况下，基于CAD数据集的训练数据用于评估图像数据BD。此外，可以使用AdaBoost算法来评估图像数据BD。
在另一步骤S400中，LIDAR数据评估模块10通过评估LIDAR数据LD来确定指示道路使用者2’的定向的第二数据集D2。
可以另外使用这里的图像数据BD来确定LIDAR数据LD的相关部分，以及然后仅评估LIDAR数据LD的该相关部分以确定第二数据集D2。
此外，迭代最近点算法可以用于评估LIDAR数据LD。
在另一步骤S500中，由定向确定模块14确定并读取请求信号AF。
如果请求信号AF指示低优度，则定向确定模块14基于图像数据BD评估第一数据集D1。另一方面，如果请求信号AF指示高优度，则定向确定模块14不仅基于图像数据BD评估第一数据集D1，而且也是基于LIDAR数据LD评估第二数据集D2。然后，定向确定模块14提供表示所捕获的道路使用者2’的定向的输出数据集AU。
在另一步骤S600中，控制设备16读取输出数据集AU并且确定用于控制致动器18的控制信号SS。
此外，还可以(如前所述)与其他机动车辆进行数据交换。
与本示例性实施例不同，步骤的顺序也可以不同。此外，还可以同时执行多个步骤。在偏离本示例性实施例的情况下，还可以进一步跳过或省略各个步骤。
以此方式，对各个请求有灵活的反应，并且此外，仅在必要时才执行在计算费用方面特别高的LIDAR数据LD的评估。这减少了对计算机资源的需求。
附图标记列表
2 机动车辆
4 立体摄像机系统
6 LIDAR传感器
8 图像数据评估模块
10 LIDAR数据评估模块
12 传感器数据融合模块
14 定向确定模块
16 控制设备
18 致动器
20 传输模块
2’ 道路使用者
4’ 立体摄像机系统
6’ LIDAR传感器
8’ 图像数据评估模块
10’ LIDAR数据评估模块
12’ 传感器数据融合模块
14’ 定向确定模块
16’ 控制设备
18’ 致动器
20’ 传输模块
AF 请求信号
AU 输出数据集
BD 图像数据
D1 数据集
D2 数据集
LD LIDAR数据
SS 控制信号
S100 步骤
S200 步骤
S300 步骤
S400 步骤
S500 步骤
S600 步骤

Claims (13)

1.一种用于操作机动车辆(2)的方法，所述机动车辆(2)具有用于捕获图像数据(BD)的立体摄像机系统(4)和用于捕获LIDAR数据(LD)的LIDAR传感器(6)，其中确定道路使用者(2’)的定向，所述方法的步骤如下：
读取请求信号(AF)，
如果所述请求信号(AF)指示以低优度确定所述道路使用者(2’)的定向，则读取和评估所述图像数据(BD)以确定所述道路使用者(2’)的定向，以及
如果所述请求信号(AF)指示以高优度确定所述道路使用者(2’)的定向，则读取和评估所述LIDAR数据(LD)和所述图像数据(BD)以确定所述道路使用者(2’)的定向。
2.根据权利要求1所述的方法，其中，基于CAD数据集的训练数据被用于评估所述图像数据(BD)。
3.根据权利要求1或2所述的方法，其中，使用尤其是卷积神经网络或深度神经网络的人工神经网络或AdaBoost算法来评估所述图像数据(BD)。
4.根据权利要求1、2或3所述的方法，其中，使用迭代最近点算法来评估所述LIDAR数据(LD)。
5.根据权利要求1至4中的任一项所述的方法，其中，通过评估所述图像数据(BD)而仅评估所述LIDAR数据(LD)的相关部分。
6.根据权利要求1至5中的任一项所述的方法，其中，执行与另一道路使用者(2’)的数据交换。
7.计算机程序产品，其被设计为执行根据权利要求1至6中的一项所述的方法。
8.机动车辆(2)，所述机动车辆(2)具有用于捕获图像数据(BD)的立体摄像机系统(4)和用于捕获LIDAR数据(LD)的LIDAR传感器(6)，其中所述机动车辆(2)被实施为确定道路使用者(2’)的定向，其中所述机动车辆(2)为此目的被实施为：读取请求信号(AF)，如果所述请求信号(AF)指示以低优度确定所述道路使用者(2’)的定向，则读取和评估所述图像数据(BD)以确定所述道路使用者(2’)的定向，以及如果所述请求信号(AF)指示以高优度确定所述道路使用者(2’)的定向，则读取和评估所述LIDAR数据(LD)和所述图像数据(BD)并且结合它们来确定所述道路使用者(2’)的定向。
9.根据权利要求8所述的机动车辆(2)，其中，所述机动车辆(2)被实施为使用基于CAD数据集的训练数据来评估所述图像数据(BD)。
10.根据权利要求8或9所述的机动车辆(2)，其中，所述机动车辆(2)被实施为使用尤其是卷积神经网络或深度神经网络的人工神经网络或AdaBoost算法来评估所述图像数据(BD)。
11.根据权利要求8、9或10所述的机动车辆(2)，其中，所述机动车辆(2)被实施为使用迭代最近点算法来评估所述LIDAR数据(LD)。
12.根据权利要求8至11中的任一项所述的机动车辆(2)，其中，所述机动车辆(2)被实施为通过评估所述图像数据(BD)而仅评估所述LIDAR数据(LD)的相关部分。
13.根据权利要求8至12中的任一项所述的机动车辆(2)，其中，所述机动车辆(2)被实施为执行与另一道路使用者(2’)的数据交换。
CN202011016404.1A 2019-09-30 2020-09-24 操作具有立体摄像机系统和lidar传感器的机动车辆的方法 Pending CN112581793A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019126398.0 2019-09-30
DE102019126398.0A DE102019126398A1 (de) 2019-09-30 2019-09-30 Verfahren zum Betrieb eines Kraftfahrzeugs mit einem Stereokamerasystem und mit einem LIDAR-Sensor

Publications (1)

Publication Number Publication Date
CN112581793A true CN112581793A (zh) 2021-03-30

Family

ID=74872931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011016404.1A Pending CN112581793A (zh) 2019-09-30 2020-09-24 操作具有立体摄像机系统和lidar传感器的机动车辆的方法

Country Status (3)

Country Link
US (1) US20210097710A1 (zh)
CN (1) CN112581793A (zh)
DE (1) DE102019126398A1 (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016106715A1 (en) * 2014-12-31 2016-07-07 SZ DJI Technology Co., Ltd. Selective processing of sensor data

Also Published As

Publication number Publication date
US20210097710A1 (en) 2021-04-01
DE102019126398A1 (de) 2021-04-01

Similar Documents

Publication Publication Date Title
CN109814130B (zh) 用于在车辆感知系统中自由空间推断以分开群集对象的系统和方法
CN114391088B (zh) 轨线规划器
CN113228131B (zh) 用于提供周围环境数据的方法和系统
JP7472832B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
CN112046481B (zh) 自动驾驶装置和方法
WO2020116206A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20210061350A1 (en) Driving support device
US20220366175A1 (en) Long-range object detection, localization, tracking and classification for autonomous vehicles
US11892574B2 (en) Dynamic lidar to camera alignment
JP2021197009A (ja) リスク判定システム、リスク判定プログラム
KR20220144917A (ko) 차량의 주행을 보조하는 장치 및 그 방법
CN113771845B (zh) 预测车辆轨迹的方法、装置、车辆和存储介质
US20220237921A1 (en) Outside environment recognition device
CN115440069B (zh) 信息处理服务器、信息处理服务器的处理方法、非易失性存储介质
JP2020203587A (ja) 自動運転システム
CN112581793A (zh) 操作具有立体摄像机系统和lidar传感器的机动车辆的方法
US11830254B2 (en) Outside environment recognition device
WO2020250528A1 (ja) 外部環境認識装置
KR20220092303A (ko) 차량 및 그 제어 방법
US20240257636A1 (en) Methods and systems for sensor fusion for traffic intersection assist
KR102708154B1 (ko) 음원의 위치를 판단할 수 있는 음원센싱장치 및 음원센싱방법
WO2022075039A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
US20190066511A1 (en) Determination device and determination method
US20220309798A1 (en) Control apparatus and control method using captured image of external environment of vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination