CN116263324A - 用于确定车辆环境的三维数据的设备、车辆和方法 - Google Patents

用于确定车辆环境的三维数据的设备、车辆和方法 Download PDF

Info

Publication number
CN116263324A
CN116263324A CN202211536013.1A CN202211536013A CN116263324A CN 116263324 A CN116263324 A CN 116263324A CN 202211536013 A CN202211536013 A CN 202211536013A CN 116263324 A CN116263324 A CN 116263324A
Authority
CN
China
Prior art keywords
image
acquisition device
predetermined
environment
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211536013.1A
Other languages
English (en)
Inventor
S·克林根霍夫
M·简森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carrida Europe
Original Assignee
Carrida Europe
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carrida Europe filed Critical Carrida Europe
Publication of CN116263324A publication Critical patent/CN116263324A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993—Three dimensional imaging systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Computational Linguistics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种用于确定车辆环境(6)的三维数据的获取设备(2)，其中，获取设备(2)具有摄像机单元(3)，该摄像机单元设计用于获取车辆环境(6)的至少一个环境图像(5)，相应的环境图像(5)具有图像点(7)，图像点处于环境图像(5)的相应的图像坐标上。本发明规定，获取设备(2)具有评估单元(9)，评估单元设计用于，根据预定的高度确定方法处理相应的环境图像(5)，环境图像(5)在预定的高度确定方法中被输入第一人工神经网络(13)，其被训练，为相应的环境图像(5)的相应图像点(7)分派在车辆环境(6)的世界坐标系中相对于预定的水平平面(12)的相应高度值(10)。

Description

用于确定车辆环境的三维数据的设备、车辆和方法
技术领域
本发明涉及一种用于确定车辆环境的三维数据/地形数据(Topographie)的设备、一种具有用于确定车辆环境的三维数据的设备的车辆和一种用于确定车辆环境的三维数据的方法。
背景技术
理解车辆环境的三维结构对于自动驾驶来说是至关重要的。针对该目的，例如使用经典的、基于摄像机的方法、如运动恢复结构算法或立体摄像机方法：这些方法依赖于车辆环境的多个环境图像并且计算量大。近年来开发出了基于机器学习的方法，其能够确定车辆环境的世界点与摄像机单元之间距离的图像点精确的估计，该世界点是环境图像的相应图像点的基础。该方法包括所谓的单目深度方法。
对于自动驾驶来说，确定关于车辆环境的三维数据的信息是重要的，这样才能例如将道路的可驶过区域(“自由空间”)与道路的不可驶过区域区分开，或识别道路上的对象、如掉落的保险杠。在此，三维数据描述了车辆的车辆环境中的世界点位置的总集。相应的位置可以包括世界点相对于车辆环境的地面的相应高度值和/或世界点与摄像机单元的距离。
EP 3 627 378A1描述了一种系统和方法，其用于自动识别在车辆——尤其是具有驾驶辅助系统的车辆——的车道上的非结构性对象。该系统设置用于将对象分类为可驶过的或不可驶过的，其方法是，该系统确定对象相对于车道(其被认为是地平面)的高度。该系统包括确定模块和深度模块，该确定模块配置为将图像的明显的部分确定为候选对象，该深度模块配置为确定候选对象的深度值。为了计算深度值而需要的是，在确定深度值之前预先识别候选对象。深度值由经训练的神经网络或用于运动恢复结构的方法计算出。
US 2020/0380316A1描述了一种用于从单目图像估计对象高度的系统和方法。该系统设计用于，借助经训练的机器学习算法来确定对象的大小，尤其是其高度。该方法包括以下步骤：识别候选对象，处理图像的与候选对象相关的部分，其方法是，该部分被切割和/或重新缩放，并且将候选对象的如此被处理的图像发送到经训练的机器学习算法，以便确定对象的大小。机器学习算法根据深度传感器的深度数据、例如LiDAR(光成像、检测和测距)被训练。
在上述的方法中，必须首先识别出候选对象，才能计算出候选对象的大小及其高度。
发明内容
本发明的目的是，提供一种方法，其能够更简单地确定车辆环境的深度或高度数据。
该目的通过独立权利要求的主题实现。本发明的有利的改进方案由从属权利要求的特征、以下的描述和附图得到。
本发明的第一方面涉及一种用于确定车辆环境的三维数据的获取设备。获取设备具有摄像机单元，该摄像机单元设计用于获取车辆环境的至少一个环境图像。相应的环境图像具有图像点，图像点处于图像的相应的图像坐标上。换言之，获取设备的摄像机单元设计用于利用相应的环境图像来获取车辆环境的至少一个区域。环境图像具有图像点。由摄像机单元获取的图像点可以是相应的车辆环境的世界点到环境图像的图像平面上的投影。因此，图像点可以是相应的世界点从世界坐标系中的三维空间到相应传感器单元的在图像坐标系中的二维图像平面上的投影。环境图像例如可以是图像点图形。车辆的坐标系也被称为世界坐标系。为了能够实现两个坐标系之间的变换而需要的是，获取摄像机坐标系与世界坐标系之间的旋转/变换。旋转可以通过转动矩阵或欧拉角来描述。在此，在使用欧拉角时，章动角、旋进角和自转角被广泛使用。其可以与摄像机和/或车辆的纵轴线、横轴线或竖直轴线相关。
本发明提出，获取设备具有评估单元，评估单元设计用于根据预定的高度确定方法对相应的环境图像进行处理，其中，环境图像在预定的高度确定方法中被输入第一人工神经网络，其被训练为，为相应的环境图像的相应的图像点分派在车辆环境的世界坐标系中相对于预定的水平平面的相应高度值。换言之本发明提出，由获取设备的评估单元对所获取的相应的环境图像进行评估。该评估单元设计用于执行预定的高度确定方法，以确定环境图像的相应图像点的相应高度值。
在此，在与车辆的车辆环境相关的世界坐标系中描述该高度值。为相应的图像点确定的高度值描述了在车辆环境中作为图像点基础的世界点的高度。在预定的高度确定方法中规定了，具有图像点的环境图像被输送到第一人工神经网络。第一人工神经网络可以是以下神经网络，其可以根据预定的训练方法被训练，以用于确定图像点的相应的高度值。第一人工神经网络可以为每个图像点指派相应的高度值，该高度值表示该图像点在世界坐标系中相对于车辆环境的预定的水平平面的距离。例如，水平平面可以是车辆下方的水平平面。高度值也可以相对于在车辆环境中获取到的另外的平面来定义。
在此以及在下文中，人工神经网络可以理解为软件代码，其存储在计算机可读的存储介质上，并且代表一个或多个联网的人工神经元或者可以复现其功能。软件代码在此也可以包含多个软件代码成分，这些软件代码成分例如可以具有不同的功能。尤其地，人工神经网络可以实现将输入映射到输出的非线性模型或非线性算法，其中，输入由输入特征向量或输入序列/数列给出，并且输出例如可以包含用于分类任务的输出的类别、一个或多个预测值或预测序列。
本发明的优点在于，车辆环境的高度值可以通过评估唯一的环境图像来获取。
本发明还包括产生另外的优点的改进方案。
本发明的改进方案规定了，评估单元设计用于获取具有相应的、由预定的精度区域限定的横向分辨率的图像点。换句话说规定了，环境图像包括预定的精度区域，其中，精度区域限定了图像点之间的相应的距离。换句话说规定了，环境图像包括其横向分辨率彼此不同的精度区域。横向分辨率是指相应的精度区域内的图像点的距离，其中，较高的横向分辨率描述了图像点之间的较小的距离。可以规定，与包括环境图像的上半部分的精度区域相比，包括环境图像的下半部分的精度区域预定了图像点之间的更小的距离。由此产生以下优点，即环境图像的对于确定高度值和/或深度值来说不太重要的精度区域可以被分配较低的分辨率，使得这些精度区域在评估中需要比更重要的图像区域更少的资源。例如可以规定，为了确定道路走向，示出道路的精度区域比示出建筑物的精度区域更重要。为了节省计算资源可以规定，与环境图像的示出道路的精度区域相比，示出建筑物的精度区域在图像点之间距离更大的情况下被获取。
本发明的改进方案规定了，获取设备设计用于，所述获取设备设计用于，在环境图像的预定的精度区域中以相应由该预定的精度区域限定的、高度值的高度值分辨率确定图像点的高度值。本发明的改进方案规定了，预定的精度区域限定高度值的相应的高度值分辨率。换言之规定了，环境图像的精度区域规定了，以什么样的高度值分辨率为相应的精度区域中的图像点确定高度值。例如可以规定，在示出道路的环境图像的精度区域内限定的高度值分辨率规定以厘米精度确定高度值。而示出建筑物的精度区域可以规定以分米或米的精度来确定高度值。由此产生以下优点，即获取设备的计算资源可以集中在与评估相关的精度区域上。
本发明的改进方案规定，评估单元设计用于，以相应的高度值分辨率来确定根据所述预定的高度确定方法所确定的高度值，其中，相应的高度值分辨率依赖于相应高度值的大小。例如可以规定，评估单元以不同的高度值分辨率确定和/或输出高度值。例如可以规定，相应的高度值越高，那么相应的高度值的高度值分辨率越低。由此产生以下优点，例如使与其他的高度值相比与路线确定关联度更低的高度低被以更小的精度输出。也可以规定，只要在方法步骤期间确定例如高度值超过预定的阈值，那么以较低的精度继续高度确定方法。由此，与远离地面的对象相比，例如可以以更高的高度值分辨率确定和/或输出例如可能针对靠近地面的对象、例如路边石边缘或坑洼而确定的更小高度值。低于阈值的高度值分辨率例如可以精确被预定为一厘米。而高于阈值的高度值分辨率可以精确到一分米或一米。
本发明的改进方案规定，获取设备设计用于，根据预定的深度确定方法处理相应的环境图像。为此，评估单元可以设计用于，在预定的深度确定方法中将环境图像输入第二人工神经网络，第二人工神经网络被训练为，为相应的环境图像的图像点分派在车辆环境的世界坐标系中的相应的距离值或深度值。深度值在世界坐标系中被描述，该世界坐标系与车辆的车辆环境相关。因此，为图像点确定的深度值描述了车辆环境中的作为相应图像点基础的世界点的距离/深度。在此，深度可以是作为相应图像点的基础的相应世界点到摄像机单元的距离，尤其是在水平平面上延伸的距离。换言之，获取设备设计用于根据预定的距离确定方法或深度确定方法来评估相应的环境图像，以便为相应的图像点确定相应的深度值。例如，深度值可以描述车辆环境的世界坐标系中的相应的世界点到摄像机单元的距离。例如，可以根据预定的训练方法来训练预定的第二人工神经网络，其中，可以在训练方法中给第二人工神经网络输送环境图像和相关的获取到的深度值。第二人工神经网络可以基于训练为相应的图像点确定相应的深度值。通过该改进方案产生以下优点，即除了确定的高度值之外，还可以通过获取设备确定图像点的深度值。
本发明的改进方案规定，评估单元设计用于，以相应的深度值分辨率确定根据预定的深度确定方法确定的深度值，其中，相应的深度值分辨率依赖于相应的深度值的大小。例如可以规定，评估单元以不同的深度值分辨率确定或输出深度值。例如可以规定，相应的深度值越大，那么相应的深度值的深度值分辨率越低。由此产生以下优点，例如使与其他的深度值相比与路线确定相关性更低的深度值被以更小的精度输出。也可以规定，只要在方法步骤期间确定例如深度值超过相应的预定的阈值，那么以较低的精度继续深度确定方法。低于预定的阈值(的深度)的深度值分辨率例如可以精确预定为一厘米。而高于阈值(的深度)的深度值分辨率可以精确到一分米或一米。
本发明的改进方案规定，评估单元设计用于，在预定的精度区域中以相应由该预定的精度区域限定的、深度值的深度值分辨率确定图像点的深度值。本发明的改进方案规定，预定的精度区域限定深度值的相应的深度值分辨率。换言之规定了，环境图像的精度区域预定以什么样的精度确定位于相应的精度区域中的图像点的深度值。例如可以规定，在包括停放的汽车的精度区域中预定深度值的较高的精度，以便可以例如为了停车辅助可靠地确定与汽车的距离。而对于示出遥远对象的精度区域可以分派较低的深度值精度，这是因为在执行泊车动作时更精确地为这样的相关精度区域确定距离值并不重要。
本发明的改进方案规定，获取设备设计用于，根据预定的路径确定方法由高度值和/或深度值确定车辆的行驶路径。换言之，获取设备设计用于为车辆确定在车辆环境的可驶过区域中的路径。获取设备例如设计用于根据特定的三维数据确定可驶过的表面。由此也可以与语义分割或对象识别的常见的方法无关地确定可驶过的表面。因此，获取设备设计用于确定没有障碍物出现的区域。可以借助获取的三维数据来识别障碍物。
本发明的改进方案规定，评估单元设计用于，根据预定的检查方法检查相应图像点的相应高度值与相应图像点的深度值的一致性。换言之规定，由评估单元检查至少一些相应图像点的高度值与相应图像点的深度值的兼容性。例如可以规定，根据环境图像中的图像点之一的位置和该图像点的确定的高度值来确定该图像点在世界坐标系中的坐标。针对该图像点，同样可以从环境图像中的图像点的位置和该图像点的确定的深度值确定该图像点在世界坐标系中的坐标。在预定的检查方法中，可以将图像点在世界坐标系中的通过高度值确定的坐标与图像点在世界坐标系中的通过深度值确定的坐标相比较。在此，例如可以确定两个被确定的坐标之间的距离。如果该距离低于预定的阈值，则高度值和深度值可以被评估为彼此兼容。
本发明的改进方案规定，评估单元设计用于，根据预定的对象识别方法对图像点的高度值和/或深度值进行评估，以识别出车辆环境中的预定的对象。预定的对象识别方法例如可以是预定的语义分割方法，其设计用于基于确定的高度值和/或确定的深度值将环境图像的图像点分配给预定的语义类别。预定的对象识别方法也可以是根据现有技术的方法，该方法设计用于识别数据点云中的预定的对象。预定的语义类别例如可以涉及房屋、车辆、可驶过的表面、路边石边缘或其他的对象。由此产生以下优点，即可以在考虑高度值和/或深度值的情况下获取车辆环境中的对象。
本发明的第二方面涉及一种车辆，该车辆具有用于确定车辆环境的三维数据的获取设备。根据本发明的车辆优选设计为机动车，尤其是设计为乘用车或商用车，或设计为大巴车或摩托车。
本发明的第三方面涉及一种用于运行用于确定车辆环境的三维数据的获取设备的方法。在该方法中，获取设备的至少一个摄像机单元获取车辆环境的至少一个相应的环境图像。相应的环境图像具有图像点，图像点处于环境图像的相应的图像坐标上。规定了，获取设备的评估单元根据预定的高度确定方法处理相应的环境图像，其中，环境图像在预定的高度确定方法中被引导至第一人工神经网络，第一人工神经网络被训练为，为相应的环境图像的相应的图像点分派在车辆环境的世界坐标系中相对于预定的水平平面的相应高度值。规定了，为环境图像的相应图像点分配相应的高度值，并且通过获取设备输出相关的高度值。
本发明的第四方面涉及一种用于训练第一人工神经网络的方法。规定了，由获取设备的摄像机单元获取车辆环境的至少一个环境图像。相应的环境图像包括图像点，图像点处于环境图像的相应的图像坐标上。由环境检测单元获取车辆环境的世界点的在车辆环境的世界坐标系中相对于车辆环境的预定的水平平面的相应的高度值。由评估单元为相应的图像点分派该图像点所基于的相应的世界点。由此，可以为相应的图像点分派相应的世界点的相应的高度值。可以基于几何计算来确定相应图像点图像点所基于的世界点。包括图像点的环境图像和确定的高度值被输入第一人工神经网络。第一人工神经网络使能确定图像点高度值的模型得到更新。
改进方案规定了，由环境检测单元获取车辆环境的世界点的在车辆环境的世界坐标系中的相应的深度值，其描述了图像点在世界坐标中与摄像机单元的距离。由评估单元分派相应图像点所基于的相应的世界点。由此，可以为相应的图像点分派相应的世界点的相应深度值。可以基于几何计算确定相应图像点所基于的世界点。包括图像点的环境图像和确定的深度值被输入第二人工神经网络。第二人工神经网络使能确定相应图像点深度值的模型得到更新。
改进方案规定了，第一神经网络和第二神经网络并行地在多任务学习训练方法中被训练。换言之规定了，多任务学习训练方法用于训练第一神经网络和第二神经网络。第一神经网络和第二神经网络例如可以在其相应的模型中具有相同的基层。相应的模型的基层可以是非特定的，从而可以在基层上构建特定层，该特定层可以设置用于确定高度值或深度值。例如，第一神经网络和第二神经网络可以只在特定层中彼此不同。因此，在训练第一神经网络的情况下，可以训练第一神经网络的也可由第二神经网络使用的基层和仅由第一神经网络使用的特定层。因此，在训练第二神经网络的情况下，可以训练第二神经网络的也可由第一神经网络使用的基层和仅由第二神经网络使用的特定层。
本发明还涉及一种用于获取设备的评估单元。评估单元可以具有数据处理设备或处理器装置，其设计用于执行根据本发明的方法的实施方式。处理器装置可以为此具有至少一个微处理器和/或至少一个微控制器和/或至少一个FPGA(现场可编程门阵列)和/或至少一个DSP(数字信号处理器)。此外，处理器装置可以具有程序代码，该程序代码设计用于，在通过处理器装置实施时执行根据本发明的方法的实施方式。程序代码可以存储在处理器装置的数据存储器中。
本发明还涉及根据本发明的车辆和根据本发明的方法的改进方案，其具有已经结合根据本发明的获取设备的改进方案描述的特征。由于该原因，在此不再描述根据本发明的车辆和根据本发明的方法的相应的改进方案。
本发明还包括所描述的实施方式的特征的组合。因此，本发明还包括以下实现方案，其分别具有多个描述的实施方式的特征的组合，只要这些实施方式没有被描述为相互排斥的。
附图说明
下面描述本发明的实施例。为此：
图1示出了具有获取设备的车辆的示意图，
图2示出了用于运行获取设备的方法的流程的示意图，
图3示出了用于训练第一和第二人工神经网络的方法的流程的示意图，
图4示出了环境图像的示意图以及为环境图像的图像点确定的深度值和高度值。
具体实施方式
接下来阐述的实施例是本发明的优选的实施方式。在实施例中，实施方式的所描述的组成部分分别是本发明的彼此被视为独立的各个特征，其分别也彼此独立地改进本发明。因此，本公开也应该包括与实施方式的特征的所示的组合不同的组合。此外，所描述的实施方式也可以通过本发明的另外的已经描述的特征来补充。
在附图中，相同的附图标记分别表示功能相同的元件。
图1示出了具有获取设备的车辆的示意图。车辆1例如可以是乘用车或商用车。获取设备2例如可以具有摄像机单元3和环境检测单元4。摄像机单元3例如可以是单目摄像头。摄像机单元3可以设计用于获取车辆1的车辆环境6的相应的环境图像5。环境图像5可以设计为像素图形/图像点图形并且具有图像点7，其对应于车辆环境6中的世界点8。获取设备2可以具有评估单元9，评估单元可以设计用于，从至少一个摄像机单元3接收至少一个相应的环境图像5，并根据预定的高度确定方法对该环境图像进行评估。
高度确定方法可以包括用于确定相应图像点7的高度值10的高度求取方法和用于确定深度值11的深度确定方法。相应的图像点7的高度值10可以参考车辆环境6中的预定的平面12。该平面例如可以是车辆1下方的预定的区域。深度值11可以是图像点7与摄像机单元3或一般的传感器装置的距离。为了在预定的深度确定方法中确定深度值11，环境图像5可以被分派给第二人工神经网络14，其可以被训练以用于确定图像点7的深度值11。为了确定高度值10，环境图像5可以被分派给第一神经网络13，其可以被训练为用于确定相应的图像点7的高度值10。
所确定的高度值10和/或深度值11可以用于识别车辆环境6中的对象15。预定的对象15例如可以是建筑物、行人、其他的交通参与者、车辆1或路边石。对象15的识别例如可以通过语义分割方法来进行。可以规定，高度值10或深度值11用于确定车辆1可驶过的区域16，以及为车辆1确定行驶路径17。为了训练第一人工神经网络13和/或第二人工神经网络14可以规定，获取设备2可以具有环境检测单元4。环境检测单元例如可以设计为激光雷达传感器单元、立体摄像机单元3、超声波传感器单元或单目摄像头，其设计用于借助运动恢复结构方法来确定高度值10或深度值11。环境检测单元4可以设计用于，为车辆环境6的环境图像5的图像点7分派相应的高度值10或深度值11。所确定的高度值10和/或深度值11可以与拍摄的环境图像5一起被传送到第一和/或第二人工神经网络13、14，其中，高度值10和/或深度值11可以被分配给环境图像5的图像点7。例如，这种分派也被称为贴标签。因此，通过多次执行训练可以实现的是，训练神经网络13、14的模型或层12，使其能为环境图像5的相应图像点7确定高度值10和/或深度值11。
图2示出了用于运行获取设备的方法流程的示意图。在第一步骤S1中可以规定，由获取设备2的摄像机单元3获取车辆环境6的环境图像5。
在步骤S2A中，环境图像5可以被传输至评估单元9，其可以执行预定的高度确定方法，以确定环境图像5的相应的图像点7的相应的高度值10。在预定的高度确定方法中可以规定，具有图像点7的环境图像5被传送至第一神经网络13，第一神经网络可以被训练成，为环境图像5的图像点7分派高度值10。第一神经网络13可以确定图像点7例如相对于预定的平面12的高度值10。
相对于步骤S2A附加地或替代地，在与该步骤S2A并行运行的步骤S2B中，将具有图像点7的环境图像5传输至评估单元9，评估单元执行预定的深度确定方法，以为相应的图像点7分派相应的深度值11。深度值11例如可以描述分配给相应的图像点7的世界点8与摄像机单元3的距离。在预定的深度确定方法中，具有图像点7的环境图像5可以被输入第二人工神经网络14，第二人工神经网络可以被训练为分派深度值11。确定的深度值11可以由获取设备2输出。
在步骤S3中，例如可以基于高度值10和/或深度值11导出相应分配给图像点7的世界点8的坐标，并由此确定车辆环境6的三维数据。
在步骤S4中可以规定，在预定的对象识别方法中确定对象15。这可以例如通过语义分割方法进行。在步骤S4中可以确定车辆1所能够驶过的、可驶过表面16。可以规定，附加地可以确定车辆1的行驶路径17，该行驶路径可以在所述可驶过表面内延伸。
可以根据所确定的行驶路径17来控制车辆1，以沿行驶路径17引导车辆。
图3示出了用于训练第一和第二人工神经网络的方法的流程的示意图。
在第一步骤L1A中，可以由车辆1的获取设备2的摄像机单元3获取车辆环境6的环境图像5，其包括图像点7。
与之并行地，在步骤L1B中，可以由获取设备2的环境检测单元4确定车辆环境6的世界点8的高度值10、深度值11。这例如可以通过激光雷达、雷达、超声波或立体图形摄像技术来实现。由此，可以为车辆环境6的每个世界点8获取相应的高度值10和/或相应的深度值11。
在步骤L2中，具有图像点7的环境图像5可以与所获取的世界点8一起被合并。
在步骤L3A中，具有图像点7的环境图像5可以根据预定的分配方法被分派世界点8和相应的高度值10。在步骤L4A中，图像点7和相关的高度值10可以被输入第一神经网络13，第一神经网络于是可以在高度确定方法中或者说在高度确定方法的意义上更新第一神经网络13的模型或网络层。
在步骤L3B中，车辆环境6的世界点8和世界点8的相应的深度值11可以被分派给环境图像5的相应的图像点7。相应的深度值11和相应的图像点7可以在步骤L4B中被输入第二神经网络14，其于是可以在深度确定方法中或者说在深度确定方法的意义上更新第二神经网络14的模型或网络层。
可以规定，使用所谓的多任务学习。在此可以应用以下事实，即由于两个神经网络13、14之间差异小，所以神经网络13、14的基层可以共同被训练。
图4示出了环境图像的示意图以及为环境图像的图像点确定的深度值和高度值。上方图像示出了车辆1的车辆环境6的已被获取设备2的摄像机单元3拍摄的环境图像5。中间图像示出了为环境图像5确定的深度值11。下方图像示出了为环境图像5确定的高度值10。环境图像5可以包括两个精度区域17a、17b。通过两个精度区域17a、17b可以预定，通过评估单元9以什么样的深度值分辨率确定图像点7的深度值11，和/或通过评估单元9以什么样的高度值分辨率确定图像点7的高度值10。上方的精度区域17a可以规定较低的分辨率，因为环境图像5的相应的区域不包括与车辆引导相关的对象。而下方的精度区域17b可以规定较高的分辨率，因为环境图像5的相应的区域包括与车辆引导相关的对象、例如路边石。为了可以在对象识别方法中通过评估单元9可靠地识别对象，例如可以为高度值10和深度值11预定厘米精度内的分辨率。
所描述的方法允许，确定单个图像中的每个图像点7的高度，而不考虑该像点是否与对象15相关。高度值10可以用于尤其通过确定可能存在的路边石的高度来估计车辆1的可通行路径。附加地或替代地，高度值10可以作为附加的信息被发送至其他的系统、例如对象识别系统或语义分割系统。在对象识别系统的情况中，高度值10在此例如可以帮助限定对象15的边框和/或尺寸。在语义分割系统中，高度值10可以用于更好地分类可通行路径。
总体上，示例性地展示了如何能够提供一种方法，用以确定来自唯一的环境图像的各个图像点的高度值。

Claims (15)

1.一种用于确定车辆环境(6)的三维数据的获取设备(2)，其中，
该获取设备(2)具有摄像机单元(3)，该摄像机单元设计用于获取车辆环境(6)的至少一个环境图像(5)，
相应的环境图像(5)具有图像点(7)，所述图像点处于环境图像(5)的相应的图像坐标上，
其特征在于，
获取设备(2)具有评估单元(9)，该评估单元设计用于，针对相应的图像点(7)根据预定的高度确定方法确定在车辆环境(6)的世界坐标系中相对于预定的水平平面(12)的相应高度值(10)，
该评估单元(9)设计用于在预定的高度确定方法中将环境图像(5)输入第一人工神经网络(13)，该第一人工神经网络已被训练为，为相应的环境图像(5)的相应图像点(7)确定在车辆环境(6)的世界坐标系中相对于预定的水平平面(12)的相应高度值(10)。
2.根据权利要求1所述的获取设备(2)，其特征在于，该获取设备(2)设计用于，在环境图像(5)的预定的精度区域(17a、17b)中以相应的由该预定的精度区域(17a、17b)限定的横向分辨率获取图像点(7)。
3.根据权利要求2所述的获取设备(2)，其特征在于，所述获取设备(2)设计用于，在环境图像的所述预定的精度区域(17a、17b)中以相应的由该预定的精度区域(17a、17b)限定的、高度值(10)的高度值分辨率确定图像点(7)的高度值(10)。
4.根据权利要求1或2所述的获取设备(2)，其特征在于，该评估单元(9)设计用于，以相应的高度值分辨率来确定根据所述预定的高度确定方法所确定的高度值(10)，其中，相应的高度值分辨率依赖于相应高度值(10)的大小。
5.根据前述权利要求中任一项所述的获取设备(2)，其特征在于，该评估单元(9)设计用于，针对相应的图像点(7)根据预定的深度确定方法确定在车辆环境(6)的世界坐标系中的相应深度值(11)，该深度值描述了图像点(7)在世界坐标中与摄像机单元(3)的距离、尤其是水平距离，
该评估单元(9)设计用于，在预定的深度确定方法中将环境图像(5)输入第二人工神经网络(14)，该第二人工神经网络已被训练为，为相应的环境图像(5)的相应图像点(7)确定在车辆环境(6)的世界坐标系中的相应深度值(11)。
6.根据权利要求5所述的获取设备(2)，其特征在于，该评估单元(9)设计用于，以相应的深度值分辨率来确定根据所述预定的深度确定方法所确定的深度值(11)，其中，相应的深度值分辨率依赖于相应的深度值(11)的大小。
7.根据引用权利要求2或3的权利要求5所述的获取设备(2)，其特征在于，该获取设备(2)设计用于，在预定的精度区域(17a、17b)中以相应的由该预定的精度区域(17a、17b)限定的、深度值(11)的深度值分辨率确定图像点(7)的深度值(11)。
8.根据权利要求5至7中任一项所述的获取设备(2)，其特征在于，该评估单元(9)设计用于，根据预定的路径确定方法由高度值(10)和/或深度值(11)确定车辆(1)的行驶路径(17)。
9.根据权利要求5至8中任一项所述的获取设备(2)，其特征在于，该评估单元(9)设计用于，根据预定的检查方法检查相应的高度值(10)与相应的深度值(11)之间的一致性。
10.根据权利要求5至9中任一项所述的获取设备(2)，其特征在于，该评估单元(9)设计用于，根据预定的对象识别方法对图像点的高度值(10)和/或深度值(11)进行评估，以识别出车辆环境(6)中的预定的对象(15)。
11.一种车辆(1)，其包括根据前述权利要求中任一项所述的获取设备(2)。
12.一种用于运行根据权利要求1至10中任一项所述的获取设备的方法，其中，
由获取设备(2)的摄像机单元(3)获取车辆环境(6)的至少一个环境图像(5)，
相应的环境图像(5)具有图像点(7)，所述图像点处于环境图像(5)的相应的图像坐标上，
其特征在于，
由获取设备(2)的评估单元(9)根据预定的高度确定方法确定相应的图像点(7)的相应高度值(10)，
环境图像(5)在预定的高度确定方法中被输入第一人工神经网络(13)，该第一人工神经网络已被训练为，为相应的环境图像(5)的相应的图像点(7)分派在车辆环境(6)的世界坐标系中相对于预定的水平平面(12)的相应高度值(10)，
评估单元(9)为图像的相应的图像点(7)分配相应的高度值(10)。
13.一种用于训练第一人工神经网络(13)的方法，其中，由获取设备(2)的摄像机单元(3)获取车辆环境(6)的至少一个环境图像(5)，
相应的环境图像(5)包括图像点(7)，所述图像点处于环境图像(5)的相应的图像坐标上，
由环境检测单元(4)获取车辆环境(6)的世界点(8)的在车辆环境(6)的世界坐标系中相对于预定的水平平面(12)的相应高度值(10)，
为相应的图像点(7)分配该图像点(7)所基于的相应的世界点(8)，
为环境图像(5)的相应的图像点(7)分派相应分配的世界点(8)的相应高度值(10)，在训练方法中，将环境图像(5)的图像点(7)连同相应确定的高度值(10)输入第一人工神经网络(13)。
14.根据权利要求13所述的方法，其特征在于，由环境检测单元(4)获取车辆环境(6)的世界点(8)的在车辆环境(6)的世界坐标系中的相应的深度值(11)，该深度值描述了图像点(7)在世界坐标中与摄像机单元(3)的距离，
为相应的图像点(7)分配该图像点(7)所基于的相应的世界点(8)，
为环境图像(5)的相应的图像点(7)分派相应分配的世界点(8)的相应深度值(11)，在训练方法中，将环境图像(5)的图像点(7)连同相应的确定的深度值(10)输入第二人工神经网络(14)。
15.根据权利要求14所述的方法，其特征在于，该第一神经网络(13)和第二神经网络(14)一起在多任务学习训练方法中被训练。
CN202211536013.1A 2021-12-14 2022-12-01 用于确定车辆环境的三维数据的设备、车辆和方法 Pending CN116263324A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021133089.0A DE102021133089A1 (de) 2021-12-14 2021-12-14 Vorrichtung zur Ermittlung einer Topographie einer Fahrzeugumgebung, Fahrzeug und Verfahren
DE102021133089.0 2021-12-14

Publications (1)

Publication Number Publication Date
CN116263324A true CN116263324A (zh) 2023-06-16

Family

ID=86498492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211536013.1A Pending CN116263324A (zh) 2021-12-14 2022-12-01 用于确定车辆环境的三维数据的设备、车辆和方法

Country Status (3)

Country Link
US (1) US20230186638A1 (zh)
CN (1) CN116263324A (zh)
DE (1) DE102021133089A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016110461A1 (de) 2016-06-07 2017-12-07 Connaught Electronics Ltd. Verfahren zum Erkennen einer Neigung in einer Fahrbahn für ein Kraftfahrzeug, Fahrerassistenzsystem sowie Kraftfahrzeug
US10733482B1 (en) 2017-03-08 2020-08-04 Zoox, Inc. Object height estimation from monocular images
US11254329B2 (en) 2017-04-24 2022-02-22 Mobileye Vision Technologies Ltd. Systems and methods for compression of lane data
CN115393536A (zh) 2018-04-18 2022-11-25 移动眼视力科技有限公司 利用相机进行车辆环境建模
US20200020117A1 (en) 2018-07-16 2020-01-16 Ford Global Technologies, Llc Pose estimation
EP3627378A1 (en) 2018-09-19 2020-03-25 Conti Temic microelectronic GmbH Enhancing the detection of non-structured objects on a driveway

Also Published As

Publication number Publication date
DE102021133089A1 (de) 2023-06-15
US20230186638A1 (en) 2023-06-15

Similar Documents

Publication Publication Date Title
CN111291676B (zh) 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片
US10025317B2 (en) Methods and systems for camera-based autonomous parking
JP3937414B2 (ja) 平面検出装置及び検出方法
US8751154B2 (en) Enhanced clear path detection in the presence of traffic infrastructure indicator
US8699754B2 (en) Clear path detection through road modeling
US20210276574A1 (en) Method and apparatus for lane detection on a vehicle travel surface
CN111442776A (zh) 顺序地面场景图像投影合成与复杂场景重构的方法及设备
CN112740225B (zh) 一种路面要素确定方法及装置
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
JP6911312B2 (ja) 物体識別装置
CN111178122A (zh) 道路场景中三维车道的检测及平面表示
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN115705780A (zh) 关联被感知和映射的车道边缘以进行定位
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
Park et al. Vehicle localization using an AVM camera for an automated urban driving
JP2019212154A (ja) 道路境界検出装置
CN116524454A (zh) 物体追踪装置、物体追踪方法及存储介质
CN112613335B (zh) 识别装置、识别方法及存储介质
CN116263324A (zh) 用于确定车辆环境的三维数据的设备、车辆和方法
KR101706455B1 (ko) 도로표지판 검출 기반 주행 차로 추정 방법 및 장치
JP7028838B2 (ja) 周辺認識装置、周辺認識方法、およびプログラム
CN117836818A (zh) 信息处理装置、信息处理系统、模型以及模型的生成方法
EP3540643A1 (en) Image processing apparatus and image processing method
JP2020148601A (ja) 認識装置、車両制御装置、認識方法、およびプログラム
JP2019152976A (ja) 画像認識制御装置、画像認識制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination