CN117121062A - 用于估计深度信息的方法和系统 - Google Patents

用于估计深度信息的方法和系统 Download PDF

Info

Publication number
CN117121062A
CN117121062A CN202280024600.4A CN202280024600A CN117121062A CN 117121062 A CN117121062 A CN 117121062A CN 202280024600 A CN202280024600 A CN 202280024600A CN 117121062 A CN117121062 A CN 117121062A
Authority
CN
China
Prior art keywords
information
image information
receiving
image
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280024600.4A
Other languages
English (en)
Inventor
S·海因里希
D·克勒克尔
T·费希纳
H·G·库尔兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Driving Germany Ltd
Volkswagen AG
Original Assignee
Continental Autonomous Driving Germany Ltd
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Driving Germany Ltd, Volkswagen AG filed Critical Continental Autonomous Driving Germany Ltd
Publication of CN117121062A publication Critical patent/CN117121062A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种在车辆(1)中借助人工神经网络(2)确定关于图像信息的深度信息的方法，包括以下步骤：‑提供至少一个发射器(3、3’)以及至少一个第一和一个第二接收传感器(4、5)，所述第一和第二接收传感器(4、5)彼此间隔开布置(810)；‑通过发射器(3、3’)发射电磁辐射(811)；‑通过第一和第二接收传感器(4、5)接收发射器(3、3’)发射的电磁辐射的反射分量并基于接收的反射分量，通过第一接收传感器(4)生成第一图像信息(B1)，通过第二接收传感器(5)生成第二图像信息(B2)(S12)；‑比较第一和第二图像信息(B1、B2)，以确定第一和第二图像信息中的至少一个不均匀照亮的图像区域(D1、D2)，所述至少一个不均匀照亮的图像区域由于接收传感器(4、5)的间隔布局通过视差而产生(S13)；‑对至少一个不均匀照亮的图像区域(D1、D2)的几何信息进行分析并基于所述至少一个不均匀照亮的图像区域的几何信息的分析结果，通过人工神经网络(2)来估计深度信息(S14)。

Description

用于估计深度信息的方法和系统
技术领域
本发明涉及用于借助人工神经网络确定关于车辆的成像传感器所提供的图像信息的深度信息的方法和系统。
背景技术
原则上已知借助成像传感器来三维地检测车辆的周围环境。此外，也可以将立体摄像机用于3D环境检测。为了计算距离信息，将两个摄像头所提供的图像信息相关联并借助三角测量确定图像点距车辆的距离。
用于立体摄像系统的摄像头例如集成至车辆的前区中。在此情况下，安装位置通常是挡风玻璃区域或散热格栅。为了在夜间产生足够的亮度以进行图像分析，通常会使用车辆的前照灯。
当前3D环境检测的问题在于，立体摄像系统的摄像头所获得的图像信息中的不均匀照亮的图像区域使得深度信息的确定更为困难，因为在这些不均匀照亮的区域中，无法通过立体摄像系统获得距离信息。如果因不同的安装位置而在前照灯与摄像头之间产生由视差而引起的阴影，则特别适用上述情形。
发明内容
有鉴于此，本发明的目的是提出一种确定关于图像信息的深度信息的方法，所述方法能够有所改进地确定深度信息。
本发明用以达成上述目的的解决方案在于具有独立权利要求1的特征的方法。优选的实施方式是从属权利要求的主题。用于确定关于图像信息的深度信息的系统是并列权利要求15的主题。
根据第一方面，本发明涉及一种在车辆中借助人工神经网络确定关于图像信息的深度信息的方法。所述神经网络优选地为卷积神经网络(CNN)。
所述方法包括以下步骤：
首先，提供至少一个发射器以及至少一个第一和第二接收传感器。所述发射器可以适于发射人类可见光谱范围内的电磁辐射。作为替代方案，发射器可以发射红外光谱范围内的频率范围为约24GHz或约77GHz的电磁辐射(发射器为雷达发射器)或激光辐射(发射器为激光雷达发射器)。所述第一和第二接收传感器以彼此间隔开的方式布置。这些接收传感器适配发射器类型，即这些接收传感器适于接收至少一个发射器所发射的电磁辐射的反射分量。这些接收传感器特别是可以适于接收可见光谱范围或红外光谱范围内的频率范围为约24GHz或约77GHz的电磁辐射(雷达接收器)或激光辐射(激光雷达接收器)。
随后，通过所述发射器发射电磁辐射并且通过所述第一和第二接收传感器接收所述发射器所发射的电磁辐射的反射分量。基于所接收的反射分量，第一接收传感器生成第一图像信息，第二接收传感器生成第二图像信息。
随后，对第一和第二图像信息进行比较，以便确定第一和第二图像信息中的至少一个不均匀照亮的图像区域，所述至少一个不均匀照亮的图像区域基于接收传感器的间隔布局通过视差而产生。如果第一和第二接收传感器并非位于发射器、特别是大灯的投影中心，则不均匀照亮的图像区域也可能通过相应接收传感器与其所对应的发射器之间的视差而产生。因此，换句话说，与在第二图像信息中相比在第一图像信息中更亮或更暗的至少一个图像区域被确定为“不均匀照亮的图像区域”。
然后，对所述至少一个不均匀照亮的图像区域的几何信息进行分析并基于所述至少一个不均匀照亮的图像区域的几何信息的分析结果，通过人工神经网络来估计深度信息。即对不均匀照亮的图像区域的大小或延伸度进行分析，因为这样就能借助神经网络得出关于物体的三维设计方案(例如物体的特定区域与车辆的距离小于另一区域)或处于车辆的环境区域中的两个物体之间的距离的结论。
所提出的方法的技术优势在于，即使在无法借助三角测量确定深度的不均匀照亮的区域，也可以通过神经网络根据不均匀照亮的图像区域的几何信息得出关于不均匀照亮的图像区域中和/或不均匀照亮的区域周围的一个或多个物体的间距的结论。这样就能更精确且相对于干扰因素更稳健地进行三维环境检测。
根据一个实施例，所述不均匀照亮的图像区域产生于第一物体与第二物体之间的过渡区域中，这两个物体距第一和第二接收传感器的距离不同。因此，所估计的深度信息是深度差信息，其包含关于第一和第二物体与车辆之间的距离差的信息。这样就能更好地分离前景物体和背景物体。在此，前景物体是与背景物体相比更靠近车辆的物体。
此外，不均匀照亮的图像区域可以与单个物体相关，其中图像区域的不均匀照明基于单个物体的三维设计方案而产生。因此，可以改进对物体三维表面形状的确定。
根据一个实施例，所述发射器为发射波长范围在380nm到800nm之间的可见光的至少一个大灯，所述第一和第二接收传感器分别为摄像头。这样就能将位于车辆上的前照灯和在可见光谱范围内工作的摄像头用作检测传感机构。
第一和第二接收传感器优选地形成立体摄像系统。在此情况下，将这些接收传感器所提供的图像信息相互关联并根据这些接收传感器的安装位置确定图像信息的各个像点距车辆的距离。这样就能获得关于两个接收传感器所检测的图像区域的深度信息。
根据一个实施例，设有至少两个形式为车辆前照灯的发射器，并且接收传感器分别对应于一个前照灯，使得待检测物体与前照灯之间的视线基本上平行于待检测物体与前照灯所对应的接收传感器之间的视线。“基本上平行”在此特别是指角度小于10°。接收传感器特别是可以非常靠近其所对应的大灯的投影中心，例如距离小于20cm。因此，大灯的照明区域与接收传感器的检测区域基本相同，安装情况基本上无视差，从而均匀地照亮接收传感器的检测区域，而不会因接收传感器所对应的大灯而产生的照明阴影。
根据一个实施例，所述第一和第二接收传感器集成至车辆的前照灯中。这样一来，大灯的照明区域与接收传感器的检测区域基本相同。由此实现完全或几乎完全无视差的安装情况。
根据一个实施例，人工神经网络根据在水平方向上测得的不均匀照亮的图像区域的宽度进行深度估计。神经网络优选地被训练成利用不均匀照亮的图像区域的宽度与图像区域所表示的环境区域的三维形状的相关性来估计深度信息。在此情况下，不均匀照亮的图像区域的水平宽度特别是适于确定不均匀照亮的图像区域的深度差。在此，深度差可能与单个轮廓物体相关，也可能与多个物体相关，其中一个物体(也称为前景物体)位于另一物体(也称为背景物体)的前方。
当然，除了在水平方向上测得的不均匀照亮的图像区域的宽度外，还可以确定不均匀照亮的图像区域的其他几何信息和/或尺寸，以便估计深度信息。上述几何信息和/或尺寸特别是可以是在竖直方向上测得的高度或在倾斜方向(横向于水平方向)上测得的尺寸。
根据一个实施例，所述人工神经网络基于第一和第二图像信息中的像点与第一和第二接收传感器之间的三角测量，在通过所述第一和第二接收传感器进行检测的图像区域中确定深度信息。优选地通过人工神经网络来借助三角测量确定深度信息，人工神经网络也会根据不均匀照亮的图像区域的几何信息来估计深度信息，即通过三角测量确定深度并通过同一神经网络来分析不均匀照亮的图像区域的几何信息。由于采用多种不同的深度信息确定机制，可以有所改进且更稳健地进行三维环境确定。
根据一个实施例，所述神经网络将通过三角测量确定的深度信息与通过分析至少一个不均匀照亮的图像区域的几何信息而获得的估计深度信息相互比较并根据上述比较生成经适配的深度信息。这样就能有利地消除三角测量的误差，从而整体上获得更可靠的深度信息。
根据一个实施例，所述人工神经网络根据对至少一个不均匀照亮的图像区域的几何信息的分析，对通过三角测量确定的深度信息进行适配。即根据所估计的深度信息对通过三角测量确定的深度信息进行修改。借此更稳健地进行三维环境确定。
根据一个实施例，通过至少一个发射器发射红外辐射、雷达信号或激光辐射。与此相应地，这些接收传感器的至少一部分可以由红外摄像头、雷达接收器或用于激光辐射的接收器构成。特别是根据这些接收传感器所对应的至少一个发射器来选择这些接收传感器。因此，在这些接收传感器对应于红外发射器时，这些接收传感器例如适于接收红外辐射(IR)。特别是可以将不发射可见波长范围内的光的发射器和接收传感器用于检测车辆侧面或车辆后方的环境区域，因为可见波长范围内的光会影响到其他交通参与者。这样就能实现对车辆的环境区域的至少部分的全方位检测。
根据一个实施例，为了估计关于表示车辆侧面和/或车辆后方区域的图像信息的深度信息，将一个以上的发射器和两个以上的接收传感器用于确定图像信息，其中设有多个传感器组，所述传感器组分别具有至少一个发射器和至少两个接收传感器，且其中将各个传感器组的图像信息合并成整体图像信息。这样就能实现对车辆的环境区域的至少部分的全方位检测。
根据一个实施例，所述传感器组至少部分利用不同频带的电磁辐射。例如可以在车辆的前区中使用立体摄像系统，立体摄像系统使用的发射器发射可见光谱范围内的光，而在车辆的侧面区域中例如可以使用利用红外辐射或雷达辐射的发射器。
根据另一个方面，本发明涉及一种用于在车辆中确定关于图像信息的深度信息的系统，所述系统包括执行人工神经网络的计算操作的计算单元、适于发射电磁辐射的至少一个发射器以及至少一个第一和第二接收传感器，所述第一和第二接收传感器以彼此间隔开的方式布置。所述第一和第二接收传感器适于接收所述发射器所发射的电磁辐射的反射分量。第一接收传感器适于根据所接收的反射分量生成第一图像信息，第二接收传感器适于根据所接收的反射分量生成第二图像信息。所述人工神经网络适于：
-对第一和第二图像信息进行比较，以确定第一和第二图像信息中的至少一个不均匀照亮的图像区域，其中所述不均匀照亮的图像区域基于接收传感器的间隔布局通过视差而产生；
-对所述至少一个不均匀照亮的图像区域的几何信息进行分析并基于所述至少一个不均匀照亮的图像区域的几何信息的分析结果来估计深度信息。
如果第一和第二接收传感器并非位于发射器、特别是大灯的投影中心，则不均匀照亮的图像区域也可能通过相应接收传感器与其所对应的发射器之间的视差而产生。
在本公开案中，“图像信息”指的是可以对车辆环境进行多维表示的任何信息。特别是成像传感器(如摄像头)、雷达传感器或激光雷达传感器所提供的信息。
在本公开案中，“发射器”指的是适于发射电磁辐射的发射单元。其例如是大灯、红外线辐射器、雷达发射单元或激光雷达发射单元。
在本发明中，术语“大致”、“基本上”或“大约”指的是与精确值的+/-10％、优选地+/-5％的偏差和/或形式为对于函数而言并不重要的变化的偏差。
本发明的改进方案、优点和用途也由实施例的以下描述和附图给出。所描述和/或图示的所有特征原则上都是本发明的主题(作为单项或以任意组合的形式)，无论这些特征在权利要求中如何概述或如何回溯引用。权利要求的内容也是本说明书的组成部分。
附图说明
下面参照附图结合实施例对本发明进行详细说明。其中：
图1为具有立体摄像系统的车辆的示例性示意图，该立体摄像系统适于检测位于车辆前方的物体；
图2为通过第一检测传感器采集的第一图像信息的示例性示意图，其中，可以识别出两个物体以及位于这两个物体之间的过渡区域中的不均匀照亮的区域；
图3为通过第二检测传感器采集的第二图像信息的示例性示意图，其中，可以识别出两个物体以及位于这两个物体之间的过渡区域中的不均匀照亮的区域；
图4为具有多个传感器组的车辆的示例性示意图，这些传感器组适于检测位于车辆的环境区域中的物体；以及
图5为用于说明借助人工神经网络确定关于图像信息的深度信息的方法的步骤的示例性流程图。
具体实施方式
图1示例性地示出配备有立体摄像系统的车辆1。立体摄像系统包括第一接收传感器4和第二接收传感器5，这些接收传感器例如为图像记录装置、特别是摄像头。此外，车辆1还具有第一发射器3和第二发射器3’，其例如由车辆1的前照灯构成。因此，发射器3、3’设计为发射人类可见光、特别是波长范围在380nm到800nm之间的光。与此相应地，接收传感器4、5设计为接收处于该波长范围内的光并提供图像信息。第一接收传感器4特别是提供第一图像信息B1，第二接收传感器5特别是提供第二图像信息B2。
为了对接收传感器所提供的图像信息B1、B2进行分析，车辆1具有计算单元8，其设计为分析图像信息B1、B2。计算单元8特别是设计为根据至少两个接收传感器4、5的图像信息B1、B2生成深度信息，以便能够对车辆1周围的环境进行三维检测。
为了对图像信息B1、B2进行分析，在计算单元8中设有个人工神经网络2。人工神经网络2构建和训练为，使得其借助三角测量计算关于图像信息B1、B2的深度信息且随后借助深度信息估计对这些计算的深度信息进行检查或修改，上述深度信息估计通过对图像信息B1、B2进行比较来确定不均匀照亮的图像区域，分析这些图像区域的几何形状或尺寸并在此基础上确定所估计的深度信息，可以基于这些深度信息对借助三角测量计算出的深度信息进行调整。
图1示出位于车辆1前方并且可被车辆1的前照灯照亮的第一物体O1和第二物体O2。接收传感器4、5可以接收物体O1、O2所反射的由前照灯发射的部分光。
物体O1、O2距车辆1的距离不同。此外，从车辆1的角度来看并且相对于物体O1、O2与接收传感器4、5之间的视线而言，第二物体O2位于第一物体O1前方。第二物体O2的朝向车辆1的正面与第一物体O1的同样朝向车辆1的正面例如相隔距离Δd。
通过发射器3、3’(在此为车辆1的前照灯)和接收传感器4、5的间隔布局，由于视差而在第一和第二图像信息B1、B2中产生亮度差，即第一接收传感器4所提供的图像信息B1与第二接收传感器5所生成的第二图像信息B2相比，在其他区域中具有亮度差。
图2和图3示例性且示意性地示出这种效果。图2示例性地示出第一图像信息B1，其由第一接收传感器4提供，第一接收传感器沿车辆1的前进方向FR设于车辆1的左侧。可以看到两个不均匀照亮的图像区域D1、D2，这些不均匀照亮的图像区域通过以下方式而产生：这些图像区域D1、D2所描绘的场景仅分别被一个发射器3、3’照亮并且第一接收传感器4在倾斜向左的视向上从正面看到物体O1、O2。由此，不均匀照亮的图像区域D2的宽度b(在水平方向上测量)大于不均匀照亮的图像区域D1的宽度。
图3示例性地示出第二接收传感器5所提供的第二图像信息B2，第二接收传感器沿车辆1的前进方向FR设于车辆1的右侧。在第二图像信息B2中也可以识别出两个不均匀照亮的图像区域D1、D2，这些不均匀照亮的图像区域又通过以下方式而产生：这些图像区域D1、D2所描绘的场景仅分别被一个发射器3、3’照亮并且第二接收传感器4在倾斜向右的视向上从正面看到物体O1、O2。由此，不均匀照亮的图像区域D1的宽度b’(在水平方向上测量)大于不均匀照亮的图像区域D2的宽度。
要注意的是，由于接收传感器4、5彼此之间的距离，一个发射器3就足以在第一和第二图像信息B1、B2中产生不均匀照亮的图像区域D1、D2。然而，有利的是，每个接收传感器4、5分别对应有一个发射器3、3’，并且这些发射器3、3’分别位于其所对应的接收传感器4、5附近，其中“附近”特别是指小于20cm的距离。接收传感器4、5优选地集成至发射器3、3’中，例如作为集成至前照灯中的摄像头。
神经网络2适于对图像信息B1、B2进行相互比较，确定不均匀照亮的图像区域D1、D2，并通过分析第一和第二图像信息B1、B2中的不均匀照亮的图像区域D1、D2之间存在的几何差异来估计深度信息。
如上所述，神经网络2配置为通过三角测量确定车辆1距所检测的场景区域的距离，这些区域通过第一和第二接收传感器4、5可见且由此可以在两个图像信息B1、B2上看到。在此情况下，例如将图像信息B1、B2合并成整体图像并针对对应于两个图像信息B1、B2所示区域的整体图像的像素来计算深度信息。
在此情况下，缺点在于无法针对背景物体(在图2和图3中为物体O1)的由于视差而在两个图像信息B1和B2中不可见的区域(在图2和图3中为不均匀照亮的区域D1和D2)来计算深度信息。
然而，通过神经网络2的估计过程，可以通过对图像信息B1、B2中的不均匀照亮的区域D1、D2的几何尺寸进行比较来估计深度信息。特别是可以将在水平方向上测得的不均匀照亮的区域D1、D2的宽度用于估计深度信息。神经网络2例如可以根据不均匀照亮的区域D1、D2的几何尺寸的比较得出物体O1、O2的间距Δd有多大，即在所示实施例中，物体O2布置在物体O1前方的多远处。借此获得所估计的深度信息，基于深度信息对通过三角测量计算出的深度信息进行修正。由此产生经修改的深度信息，将其用于车辆环境的三维表示。
如果例如在特定像素处通过三角测量计算出物体O1与O2之间的距离Δd为2m，而基于不均匀照亮的区域的深度估计仅得出物体O1与O2之间的距离为1.8m，则可以基于所估计的深度信息对通过三角测量获得的深度信息进行修改，使得经修改的深度信息例如给出O1、O2之间的距离Δd为1.9m。
当然，基于对不均匀照亮的区域D1、D2的比较，也可以确定这些区域可以对应于哪个物体O1、O2，借此也可以在两个接收传感器4、5都无法检测到的区域中进行深度估计。
为了训练神经网络2，可以使用形式为模拟车辆范围内的环境的图像信息对的训练数据。在此情况下，这些图像信息对的图像信息是从不同方向对同一场景的表示，即彼此间隔开的检测传感器4、5、6、6’从其检测位置感知场景。此外，这些图像信息对的图像信息具有不均匀照亮的图像区域，其通过至少一个、优选地为两个发射器3、3’而产生。此外，在这些训练数据中，也存在关于不均匀照亮的图像区域的深度信息。这样就能对神经网络2进行训练并对其加权因子进行适配，使得根据这些不均匀照亮的图像区域的几何信息估计的深度信息接近实际深度信息。
图4示出车辆1，在车辆上设有多个用于采集车辆的环境信息的传感器组S1-S4。传感器组S1例如适于检测车辆1前方的环境，传感器组S2例如适于检测车辆1右侧的环境，传感器组S3例如适于检测车辆1后方的环境，传感器组S4例如适于检测车辆1左侧的环境。
传感器组S1-S4各具有至少一个发射器6、6’，优选地为至少两个发射器6、6’，以及至少两个检测传感器7、7’。
如上所述，各个传感器组S1-S4的传感器分别在其检测区域内生成三维局部环境信息。传感器组S1-S4的检测区域优选地重叠，因此，这些传感器组所提供的局部环境信息也会重叠。局部环境信息能够有利地相关联以形成整体环境信息，其中整体环境信息例如是全方位环境表示(360°)或部分全方位环境表示(例如大于90°但小于360°)。
由于无法借助类似于前照灯的可见光进行侧向或后部照明，就传感器组S2至S4而言，可以发射非可见波长范围内的电磁辐射，例如红外辐射、雷达辐射或激光辐射。因此，发射器6、6’例如可以是红外线发射器、雷达发射器或激光雷达发射器。在此情况下，接收传感器7、7’分别适配对应发射器6、6’的辐射，即为红外接收器、雷达接收器或激光雷达接收器。
图5为说明在车辆1中借助人工神经网络2确定关于图像信息的深度信息的方法的步骤的框图。
首先，提供至少一个发射器以及至少一个第一和第二接收传感器(S10)。在此情况下，第一和第二接收传感器以彼此间隔开的方式布置。
随后，通过发射器发射电磁辐射(S11)。其例如可以是可见光谱范围内的光、红外光谱范围内的光、激光或雷达辐射。
随后，通过第一和第二接收传感器接收发射器发射的电磁辐射的反射分量并且根据所接收的反射分量，通过第一接收传感器生成第一图像信息，通过第二接收传感器生成第二图像信息(S12)。
然后，对第一和第二图像信息进行比较，以确定第一和第二图像信息中的至少一个不均匀照亮的图像区域(S13)。在此情况下，不均匀照亮的图像区域基于接收传感器的间隔布局通过视差而产生。
随后，对至少一个不均匀照亮的图像区域的几何信息进行分析并基于至少一个不均匀照亮的图像区域的几何信息的分析结果，通过人工神经网络来估计深度信息(S14)。
上文已通过实施例对本发明进行了说明。当然，在不脱离专利权利要求所定义的保护范围的情况下，可以采用诸多更改和变型。
附图标记表
1 车辆
2 神经网络
3 第一发射器
3’ 第二发射器
4 第一接收传感器
5 第二接收传感器
6、6’ 发射器
7、7’ 接收传感器
8 计算单元
b、b’ 宽度
B1 第一图像信息
B2 第二图像信息
D1、D2 不均匀照亮的区域
Δd 间距/距离
O1 第一物体
O2 第二物体
S1-S4 传感器组

Claims (15)

1.一种在车辆(1)中借助人工神经网络(2)确定关于图像信息的深度信息的方法，所述方法包括以下步骤：
-提供至少一个发射器(3、3’)以及至少一个第一和一个第二接收传感器(4、5)，其中第一和第二接收传感器(4、5)以彼此间隔开的方式布置(S10)；
-通过所述发射器(3、3’)发射电磁辐射(S11)；
-通过所述第一和第二接收传感器(4、5)接收所述发射器(3、3’)发射的电磁辐射的反射分量并基于所接收的反射分量，通过第一接收传感器(4)生成第一图像信息(B1)，通过第二接收传感器(5)生成第二图像信息(B2)(S12)；
-对第一和第二图像信息(B1、B2)进行比较，以确定所述第一和第二图像信息中的至少一个不均匀照亮的图像区域(D1、D2)，所述至少一个不均匀照亮的图像区域基于接收传感器(4、5)的间隔布局通过视差而产生(S13)；
-对所述至少一个不均匀照亮的图像区域(D1、D2)的几何信息进行分析并基于所述至少一个不均匀照亮的图像区域的几何信息的分析结果，通过所述人工神经网络(2)来估计深度信息(S14)。
2.根据权利要求1所述的方法，其特征在于，所述不均匀照亮的图像区域(D1、D2)产生于第一物体(O1)与第二物体(O2)之间的过渡区域中，所述第一物体与第二物体距所述第一和第二接收传感器(4、5)的距离不同，且所估计的深度信息是深度差信息，其包含关于所述第一和第二物体(O1、O2)与所述车辆(1)之间的距离差的信息。
3.根据权利要求1或2所述的方法，其特征在于，所述发射器(3、3’)为发射波长范围在380nm到800nm之间的可见光的至少一个大灯，所述第一和第二接收传感器(4、5)分别为摄像头。
4.根据前述权利要求中任一项所述的方法，其特征在于，所述第一和第二接收传感器(4、5)形成立体摄像系统。
5.根据前述权利要求中任一项所述的方法，其特征在于，设有至少两个形式为所述车辆(1)的前照灯的发射器(3、3’)，并且接收传感器(4、5)分别对应于前照灯(3、3’)，使得待检测物体(O1、O2)与所述前照灯之间的视线基本上平行于所述待检测物体(O1、O2)与所述前照灯所对应的接收传感器(4、5)之间的视线。
6.根据前述权利要求中任一项所述的方法，其特征在于，所述第一和第二接收传感器(4、5)集成至所述车辆(1)的前照灯中。
7.根据前述权利要求中任一项所述的方法，其特征在于，所述人工神经网络(2)根据在水平方向上测得的所述不均匀照亮的图像区域(D1、D2)的宽度(b)对深度进行估计。
8.根据前述权利要求中任一项所述的方法，其特征在于，所述人工神经网络(2)基于所述第一和第二图像信息(B1、B2)中的像点与所述第一和第二接收传感器(4、5)之间的三角测量，在通过所述第一和第二接收传感器(4、5)进行检测的图像区域中确定深度信息。
9.根据权利要求8所述的方法，其特征在于，所述神经网络(2)将通过三角测量确定的深度信息与通过分析所述至少一个不均匀照亮的图像区域(D1、D2)的几何信息而获得的估计深度信息相互比较并根据所述比较生成经适配的深度信息。
10.根据权利要求8或9所述的方法，其特征在于，所述人工神经网络(2)根据对所述至少一个不均匀照亮的图像区域(D1、D2)的几何信息的分析，对通过三角测量获得的深度信息进行适配。
11.根据前述权利要求中任一项所述的方法，其特征在于，通过至少一个发射器(6、6’)发射红外辐射、雷达信号或激光辐射。
12.根据权利要求11所述的方法，其特征在于，所述接收传感器(7、7’)的至少一部分为红外摄像头、雷达接收器或用于激光辐射的接收器。
13.根据前述权利要求中任一项所述的方法，其特征在于，为了估计关于表示所述车辆(1)的侧面区域和/或所述车辆(1)的后方区域的图像信息的深度信息，将一个以上的发射器(3、3’、6、6’)和两个以上的接收传感器(4、5、7、7’)用于确定图像信息，其中设有多个传感器组(S1、S2、S3、S4)，所述传感器组分别具有至少一个发射器和至少两个接收传感器，且其中将各个传感器组(S1、S2、S3、S4)的图像信息合并成整体图像信息。
14.根据权利要求13所述的方法，其特征在于，所述传感器组(S1、S2、S3、S4)至少部分地利用不同频带的电磁辐射。
15.一种用于在车辆(1)中确定关于图像信息的深度信息的系统，所述系统包括执行人工神经网络(2)的计算操作的计算单元(8)、配置为发射电磁辐射的至少一个发射器(3、3’)以及至少一个第一和第二接收传感器(4、5)，所述第一和第二接收传感器以彼此间隔开的方式布置，其中所述第一和第二接收传感器(4、5)配置为接收所述发射器(3、3’)发射的电磁辐射的反射分量，且其中第一接收传感器(4)配置为根据所接收的反射分量生成第一图像信息(B1)，第二接收传感器(5)配置为根据所接收的反射分量生成第二图像信息(B2)，其中所述人工神经网络(2)配置为：
-对所述第一和第二图像信息(B1、B2)进行比较，以确定所述第一和第二图像信息中的至少一个不均匀照亮的图像区域(D1、D2)，其中所述不均匀照亮的图像区域(D1、D2)由于所述接收传感器(4、5)的间隔布局通过视差而产生；
-对所述至少一个不均匀照亮的图像区域(D1、D2)的几何信息进行分析并基于所述至少一个不均匀照亮的图像区域(D1、D2)的几何信息的分析结果来估计深度信息。
CN202280024600.4A 2021-03-29 2022-03-24 用于估计深度信息的方法和系统 Pending CN117121062A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102021107903.9A DE102021107903A1 (de) 2021-03-29 2021-03-29 Verfahren und System zur Schätzung von Tiefeninformationen
DE102021107903.9 2021-03-29
PCT/EP2022/057733 WO2022207438A1 (de) 2021-03-29 2022-03-24 Verfahren und system zur schätzung von tiefeninformationen

Publications (1)

Publication Number Publication Date
CN117121062A true CN117121062A (zh) 2023-11-24

Family

ID=81384746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280024600.4A Pending CN117121062A (zh) 2021-03-29 2022-03-24 用于估计深度信息的方法和系统

Country Status (5)

Country Link
US (1) US20240212186A1 (zh)
EP (1) EP4315272A1 (zh)
CN (1) CN117121062A (zh)
DE (1) DE102021107903A1 (zh)
WO (1) WO2022207438A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5723417B2 (ja) 2013-06-26 2015-05-27 富士重工業株式会社 車両用前照灯
WO2015157410A1 (en) 2014-04-08 2015-10-15 Tk Holdings Inc. System and method for night vision object detection and driver assistance
US10891745B1 (en) 2017-08-14 2021-01-12 Apple Inc. Hybrid system with a structured-light stereo device and a time of flight device
US10591605B2 (en) 2017-10-19 2020-03-17 Gerard Dirk Smits Methods and systems for navigating a vehicle including a novel fiducial marker system
EP3607744A4 (en) * 2017-12-08 2020-04-29 Baidu.com Times Technology (Beijing) Co., Ltd. DEPTH DETECTION IN A STEREO CAMERA WITH HARDWARE ACCELERATOR
WO2019182974A2 (en) 2018-03-21 2019-09-26 Nvidia Corporation Stereo depth estimation using deep neural networks
CN112184731B (zh) * 2020-09-28 2024-05-28 北京工业大学 一种基于对抗性训练的多视图立体深度估计方法

Also Published As

Publication number Publication date
WO2022207438A1 (de) 2022-10-06
US20240212186A1 (en) 2024-06-27
EP4315272A1 (de) 2024-02-07
DE102021107903A1 (de) 2022-09-29

Similar Documents

Publication Publication Date Title
US10156437B2 (en) Control method of a depth camera
US8976999B2 (en) Vehicle detection apparatus
EP2061687B1 (en) Sight-line end estimation device and driving assist device
WO2014073322A1 (ja) 物体検出装置及び物体検出方法
US9313462B2 (en) Vehicle with improved traffic-object position detection using symmetric search
JP5472538B2 (ja) 距離計測装置及び環境地図生成装置
US8861787B2 (en) Environment recognition device and environment recognition method
US9224055B2 (en) Exterior environment recognition device
EP3070641B1 (en) Vehicle body with imaging system and object detection method
US11073379B2 (en) 3-D environment sensing by means of projector and camera modules
US10055655B2 (en) Traffic light detection device and traffic light detection method
JP6704607B2 (ja) 撮像システム、画像処理システム、移動体制御システム、移動体装置、投光装置、物体検出方法、物体検出プログラム
US20140347484A1 (en) Apparatus and method for providing surrounding environment information of vehicle
JP6782433B2 (ja) 画像認識装置
TW201724027A (zh) 產生具有減少過度平滑之視差圖
EP2347931B1 (en) Headlamp controller
JP6687886B2 (ja) 画像処理システム、移動体制御システム、移動体装置、物体検出方法、物体検出プログラム
EP3067826B1 (en) Image processing system and parallax image generation method
JP4123138B2 (ja) 車両検知方法及び車両検知装置
JPWO2019135246A5 (zh)
CN117121062A (zh) 用于估计深度信息的方法和系统
JPH07146137A (ja) 車間距離計測装置
WO2017169704A1 (ja) 環境認識装置
EP3168779A1 (en) Method for identifying an incoming vehicle and corresponding system
US20210041235A1 (en) Method and device for determining a parallax problem in sensor data of two sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination