CN115720633A - 用于检测交通工具的周围环境的设备和方法 - Google Patents

用于检测交通工具的周围环境的设备和方法 Download PDF

Info

Publication number
CN115720633A
CN115720633A CN202180045321.1A CN202180045321A CN115720633A CN 115720633 A CN115720633 A CN 115720633A CN 202180045321 A CN202180045321 A CN 202180045321A CN 115720633 A CN115720633 A CN 115720633A
Authority
CN
China
Prior art keywords
light pattern
surroundings
camera module
analysis unit
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180045321.1A
Other languages
English (en)
Inventor
T.克劳斯
M.海德里奇
T.伊肯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Volkswagen AG
Original Assignee
Audi AG
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG, Volkswagen AG filed Critical Audi AG
Publication of CN115720633A publication Critical patent/CN115720633A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种用于检测交通工具(10)的周围环境的设备。本发明还涉及一种用于检测周围环境的方法以及一种设计用于实施所述方法的交通工具(10)。在此提供相机模块(11)、相机控制装置(15)、分析单元(16)和照明装置(13)。照明装置(13)由交通工具(10)的矩阵大灯构成并且设计为，使得照明装置可以将光图案(14)投射到周围环境(12)中。投射的光图案(14)在相机模块(11)的检测区域中被成像，并且由光图案(14)在周围环境(12)中形成的测量点(18)的3D位置由分析单元(16)确定。然而，照明装置(13)只将光图案(14)投射到以下周围环境区域中，在这些周围环境区域中，分析单元(16)已基于图像数据确定对3D位置确定关键的值。

Description

用于检测交通工具的周围环境的设备和方法
本发明涉及一种用于检测交通工具的周围环境的设备。本发明还涉及一种用于通过赋予结构的相机模块检测周围环境的方法，并且本发明还涉及一种设计用于实施所述方法的交通工具。
越来越多的交通工具、特别是乘用车配备了驾驶员辅助系统，它们辅助驾驶员或(部分)自主地影响交通工具的驾驶动态。今天的驾驶员辅助系统、特别是机动车的驾驶员辅助系统设计为能够对交通中的交通工具的周围环境作出动态反应。特别是，提前评估道路的能力需要能够确定几何和动态特性、例如周围环境中的特定对象与机动车之间的空间距离的手段。因此，这种影响纵向和横向引导的驾驶员辅助系统需要有效的周围环境模型，以便实现安全导航。这种信息在交通工具中尤其通过雷达传感器、激光雷达传感器和相机传感器来提供。
所有这些传感器都有特定的属性和特点，这些属性和特点促进特定模态针对某些应用情况的使用或者限制其适用性。根据应用情况，对位置的二维测量或对周围环境中的对象的速度的测量就足够了。在需要精确导航的应用中，例如在(部分)自动驾驶的情况下，3D传感器是有利的。通过这种方式，可以对三维空间中的结构进行成像，并且确保稳健、无碰撞的导航。
激光扫描仪、立体相机和单声道相机用于使用所谓的“运动恢复结构”算法(英文：Structure-from-motion，缩写：SfM)测量对象和周围环境结构。同样，在可应用于单声道或立体相机图像的神经元网络的基础上，正在进行重建算法的开发工作。
激光扫描仪方法是已知的，在该方法中，由激光束源发出的激光图案通过三角测量法进行分析。为此，如果使用红外线激光，所采用的相机必须对红外线敏感，但这会扭曲可见光谱范围内的颜色感知，或者激光图案必须在可见光谱范围内，但这在道路交通中可能造成干扰。此外，激光扫描仪由于其复杂的技术仍然是非常昂贵的。
在用于对周围环境进行3D检测的立体相机中，相机图像之间的图像信息是相关的，以便计算出距离信息。为了利用这项技术，立体相机需要待检测对象的纹理。在有利的光线条件下，视频图像中通常有足够的纹理信息可供用于确定深度信息。因此，当涉及到立体图像处理时，日光通常足以进行相关性分析。纹理信息基本上可以从沿对象的边缘的对比度差异中获得。然而，在恶劣的光线条件下，例如在夜间，尽管有交通工具照明，但立体方法很快达到其极限。
越来越多的现代交通工具具有LED大灯。在高端车型中，这些大灯配置为所谓的矩阵LED大灯。这些矩阵大灯的结构、特别是由于其可单独操控的像素，使其能够将图案投射到道路上和周围环境中的对象上。
本发明所要解决的技术问题是克服现有技术的缺点并且提供允许对周围环境、尤其非结构化表面的简化且改进的三维检测的方法和交通工具。该技术问题通过根据独立权利要求的设备、方法和交通工具解决。本发明的优选实施例可以从引用独立权利要求的相应的从属权利要求以及配属的说明书中得出。
本发明的第一方面涉及一种用于检测交通工具的周围环境的设备、尤其是赋予结构的相机传感器，所述设备包括至少一个相机模块、相机控制装置、分析单元和照明装置。照明装置由交通工具的矩阵大灯构成并且设计用于将光图案投射到周围环境中，所述光图案随着与照明装置的距离而变化。至少一个相机模块配置用于，对投射到周围环境中的光图案的至少一部分进行成像。分析单元设计用于基于通过相机模块获取的图像数据来确定3D位置。此外，分析单元设计用于基于对确定3D位置关键的值来确定周围环境区域。此外，照明装置配置用于只将光图案投射到由分析单元确定的关键的周围环境区域中，并且此外，分析单元配置用于基于通过至少一个相机模块获取的图像数据来确定由光图案在周围环境中形成的测量点的3D位置。
本发明的优点是生成覆盖整个表面区域的可靠的三维图像。在此，所述设备设计为，根据所观察到的场景的关键值，给具有例如产生不能使用的3D图像数据的对比度的对象和图像区域提供附加的结构或纹理，从而有选择地改善或者事实上甚至形成部分区域的三维识别。相机模块使用图像传感器来获取二维图像数据，并且在此基础上，分析单元以一般已知的方式计算三维图像。在驾驶员辅助系统的范围内，对象识别和对象分类可用于进行风险评估并且提出建议或者直接影响交通工具的驾驶动态。
由光图案提供的结构化照明使得能够产生覆盖表面的、可靠的距离信息。分析单元关于对确定三维位置重要的预设标准来检查图像数据。由于附加的结构化照明，例如实际上不符合标准的无对比度的或重复的图像区域也被赋予足够的可区分的对比度，因此，照明装置确保即使在那些没有自然结构的区域中也可以找到可靠的对应关系。因此，例如，在结构化的周围环境如停车场中，往往没有足够的表面纹理。根据本发明，特别是对由立体相机对周围环境的三维检测造成困难的均质路面或单色光滑墙面也可以检测到。
然而，对整个场景进行曝光的永久性静态光图案也可能带来弊端；例如，光图案与场景的自然纹理的叠加会导致一些区域曝光过度或者会导致所需的对比度改善在总体上再次丧失。因此，由于对比度或明确性的变差，距离信息的质量和可靠性可能会受到损害。本发明避免了这一缺点，方式为光图案只被投射到这样的区域中，在这些区域中，分析单元基于检测到的图像数据已确定关键区域。这减少了分析工作以及照明装置所需的功率。在这种情况下，优选将对比度值用作关键值。同样，优选关于极限值地分析例如由纹理形成的测量点的密度。同样，优选将周围环境区域的速度值或者快速变化的距离值用作关键值。因此，当快速接近的对象超过关键速度值或距离时，可以为所述对象铺设光图案，从而使它们的三维识别得到改善。同样优选的是，关键区域可以通过由分析单元在图像数据的基础上进行的对象识别和/或对象分类来确定。因此，在本发明的意义上，优选将某些识别到的对象类别视作关键值。因此，特别优选地为包括人和动物等生物的对象类别铺设光图案。例如，在夜间，如果即使是用交通工具大灯对周围环境进行照明也产生图像数据，在该图像数据中，自然对比度和/或纹理产生关键值，那么由相机模块检测到的整个周围环境区域被视为关键的周围环境区域并且优选铺设光图案。
术语由光图案形成的测量点不只包括作为光图案元素的点状或圆形光点，还包括可由照明装置以不同强度照明的平面区域。因此，孔、即变暗的区域也被测量点的概念涵盖。光图案的测量点也可以具有各种几何形状并且也可以构成线。此外，测量点可以有规律地被确定或者也可以无关联或不规律地、但借助于分析单元确定。为了能够产生这样的光图案，照明装置由矩阵大灯构成，该矩阵大灯的各个单独的像素可以在亮度和方向方面精确地被操控。由于交通工具的大灯被用作照明装置，因此不需要安装附加的光源，并且刚性安装定义了相对于相机模块的固定位置，该固定位置有利于整个设备的校准。因此，交通工具中存在的部件被利用和组合，以便提高对交通工具的周围环境的观察的稳健性和精确性，而不必使用附加的部件。
本发明的其它优选实施例可以由从属权利要求中给出的其它特征得出。特别是，照明装置优选具有可切换的LED或激光二极管阵列。必须能够快速地将照明装置切换过来，特别是快速到对于驾驶员显现的是常规前大灯的大致均匀的光线分布。这优选通过如下方式实现，即，光图案优选不是通过亮度差异形成而是通过光线的频率差异来形成。因此具有多个LED或激光二极管的可切换的半导体阵列非常合适。在此，每个像素优选由LED或激光二极管构成，或者可单独操控并且可切换的微镜阵列由镜头照明。可能的前大灯包括矩阵LED大灯以及矩阵激光大灯，但后者由于成本高尚未在一般大众市场上使用。此外，控制单元优选如此同步相机模块和照明装置，使得投射的光图案与通过相机模块获得的图像相关联，补充或备选地，光图案投射只在相机模块的光圈打开期间被调节。
在本发明的优选实施例中规定，相机模块包括立体相机。为此，相机模块具有两个图像传感器，这两个图像传感器的视角相互偏移并且保持相对彼此固定的距离，并且分析单元针对通过图像传感器获取的图像数据的相关部分区域之一使用立体算法，以便计算距离信息，通常通过三角测量法。
根据本发明规定，照明装置设计用于投射随着与照明装置的距离而变化的光图案。以此方式不只可以通过检测和计算图案及其单个图案元素的变形来确定对象的距离、例如通过三角测量法，而且事实上图案本身是可变的并且构成距离指标，如果参考图案序列对于分析单元是已知的，就可以容易地通过分析单元确定该距离指标。如此，用于确定距离数据的计算工作和计算时间再次被明显地减少。
此外，优选将照明装置设计用于投射光图案，其中，光图案的各个单独测量点的形状随着与照明装置的距离而变化。这为分析提供了另外的简单的距离指标，以便减少计算工作和计算时间，并且这可以取代相关性算法，以便创建在需要时可用相关性算法进一步改善的第一快速深度图像。
本发明的主题还在于一种对交通工具的周围环境进行空间检测的方法，该空间检测通过至少一个相机模块、相机控制装置、分析单元和照明装置进行，其中，由交通工具的矩阵大灯构成的照明装置将光图案投射到交通工具的周围环境中。在此，通过至少一个相机模块对投射的光图案的至少一部分进行成像。分析单元基于来自至少一个相机模块的图像数据确定3D位置，并且基于对确定3D位置关键的值来确定周围环境区域。照明装置将光图案投射到由分析单元确定的关键的周围环境区域中，并且分析单元使用通过至少一个相机模块获取的图像数据来确定由光图案在周围环境中形成的测量点的3D位置。
所述方法特别适合以软件的形式在交通工具的一个控制单元或多个控制单元或相机模块的分析单元上实施。所述方法允许在无纹理的表面上进行距离测量。由于在测量点密度较低的区域中只进行光图案的情境投射，因此对于在其它方面均匀的非对比表面也可以产生距离信息。同时，所需的测量和处理工作也被减少，因为通常情况下，视频图像中的可见结构被用于距离测量。
同样优选的是，如此投射光图案，使得光图案随着与照明装置的距离而变化，并且同样优选的是，投射这样的光图案，在所述光图案中，各个单独的图案元素的形状随着与照明装置的距离而变化。此外优选的是，如此短暂地投射光图案，使得驾驶员感觉到传统前大灯的均匀的光线分布。因此，驾驶员或者其它道路使用者的感官印象可能只由照明的整个表面区域组成。此外，这可以防止投射的光图案干扰其它检测传感器。
本申请中提出的本发明的各种实施例，如果未单独地另行说明则可以有利地相互结合。
以下将结合相关附图解释本发明的实施例。在附图中：
图1示意性地示出具有根据本发明的用于通过立体相机对周围环境进行三维检测的设备的交通工具；
图2示出根据本发明的投射的光图案的示意图，其具有与距离有关的可变的测量点布置结构；并且
图3示意性地示出根据本发明的投射的光图案，其具有与距离有关的可变的测量点。
图1示出交通工具10的示意图，该交通工具具有朝向驾驶方向并且配置为立体相机的相机模块11。相机模块11例如布置在交通工具10的挡风玻璃的区域中。相机模块11设计用于获取交通工具10的周围环境区域12的三维图像数据，这些三维图像数据也被称为距离图像或深度图。
在所示的实施例中，相机模块11由两个相机单元11a、11b组成，这两个相机单元以相对彼此的已知的固定距离安装并且分别获取周围环境区域12的图像数据。每个相机单元11a、b包括图像传感器，通常是获取(或者说采集)矩形的像素图像的矩阵型的采集芯片，例如，CCD或CMOS传感器。图像传感器通常与具有成像镜头的物镜相关联，该物镜在实践中可以实现为任何种类的一般已知的成像镜头。配置为立体相机的相机模块11的两个相机单元11a、b具有重叠区12，在该重叠区中，两个相机单元11a、b的检测区域重叠。
在图中示出照明装置13，该照明装置配置为交通工具10的前大灯并且具有光源和透射镜头。照明装置13允许实时投射基于像素的、量化的结构化的光图案14，该光图案以简化形式示出为点状图案。在实践中，光图案14应当优选是至少局部明确的或自异的，即，光图案14的结构不导致虚假的相关性或者明确地描绘(或者说表征)照明区域。
照明装置13能够通过控制相机模块11和照明装置13的相机控制装置15实时投射预设的随机像素图案作为结构化的光图案14。这样的适应性的动态照明装置13例如可以通过使用微型显示器来实现，该微型显示器具有形式为一个或多个高功率LED或激光二极管的光源，这些高功率LED或激光二极管尤其形成阵列。照明装置13使用可切换的LED或激光二极管阵列。在此，各个单独的光源本身形成光图案14的像素。
组合的分析单元和控制单元、以下简称为分析单元16，与相机模块11和照明装置13连接。分析单元16可以集成到交通工具控制装置中，以便分析单元可以使用集成的交通工具电子器件来访问交通工具大灯13和相机模块11以及通过驾驶员辅助系统也可以访问驾驶电子器件和机械系统。分析单元16预设结构化的光图案14并且接收来自图像传感器的图像数据。基于这些图像数据，分析单元16使用一般已知的立体算法来计算所观察的周围环境区域12的三维图像数据。通过输出端，相机模块11可以输出三维图像数据，但也可以输出其它测量结果，例如来自相机模块11的原始图像数据、分析结果如对象数据或对某些对象17的识别。
照明装置13和相机模块11应当优选经过校准过程，以便确定照明像素和检测到的图像像素之间的精确关联。这在图1所示的集成的照明装置13的情况下优选在工厂就已经完成。
根据本发明规定，投射的光图案14适应于周围环境12。在第一步骤中，相机模块11、优选作为无源的立体相机连续获取周围环境数据并且使用这些数据来生成三维深度图。这可以例如在没有交通工具10的辅助照明的情况下进行，但通常在通过照明装置13的均匀照明下进行，例如用日间行驶灯，或者在恶劣的自然光条件下，例如在夜间或在隧道里，用交通工具10的照明装置13的近光灯或远光灯。
基于来自图像传感器的检测到的图像数据以及如果适用的话来自基于该数据在立体相机中生成的三维图像的检测到的图像数据计算当前检测到的周围环境区域12的对比度信息并且如果适用的话计算当前检测到的周围环境区域12的距离信息。分析单元16可以针对图像区域确定是否缺乏用于生成相关深度图像的信息，例如，因为由对象17的边缘或对象17的表面的边缘构成的自然纹理不足，例如如果该自然纹理低于关键值。随后，待投射的光图案14可以确保在所有相关的地方有足够的对比度，以便允许可靠的3D检测。根据本发明，只在对比度条件不充分或距离值不可靠的地方使用光图案14。
在下一步骤中，照明装置13将待投射的光图案14投射到周围环境区域12中。两个二维的原始图像均由相机模块11的图像传感器获取，并且分析单元计算这些二维原始图像以便形成三维图像。随后，光图案14可以用在附加地获取的图像中，以便检测三维图像。这使得光图案14和图像数据的分析能够适应于周围环境中的情况。因此，在某些情况下，例如当对象17正在接近或者当对象17正在被接近时，周围环境12的一部分以比在其它情况下更大的结构被照明和分析，例如在无阻碍的视野情况下。特别是，在(部分)自动驾驶期间可以实现照明、分析和光图案14的有针对性的适配，例如在弯道行驶时或与交通工具10的行驶速度有关。
尽管本发明使用图1所示的立体相机实施，但其它的三维相机也是可以考虑的，特别是那些只具有一个高分辨率相机和采用以下投射方法的相机，在所述投射方法中，图像数据点18的移动是由与距离相关的光图案14的图案变形造成的(主动三角测量)。因此，可以省去一个相机单元，并且相应地重新配置立体相机以形成三角测量单元。然而，光图案投射方法也可以附加地在立体相机中利用相机单元11a、b中的一个实现，其中，相机控制装置15和分析单元16由此配置用于两种方法。
图2示意性地示出光图案14的投射的例子，其方式为光图案14随着与照明装置13的距离而变化。这样的变化性例如可以通过如下方式实现，即，几个单独的可操控的照明像素、即例如在亮度和光束方向方面可以改变的可切换的LED或者其它形成光图案元素的微镜阵列的元素彼此不平行地延伸。那么，如果对于光图案14存储有一些参考元素，则分析单元16可以简单地基于各个单独的表面测量点18的改变的距离推断出表面的距离。对于其它方面相同的非结构化的光滑表面，这也是可能的。另一种可能性是使用投射镜头、特别是微透镜。投射镜头可以具有不同的焦距，使得投射到交通工具10的周围环境12中的光图案14随距离而变化。即，在这种情况下不是所有的测量点18出现在与距离相关的不同的图像平面19中。示例性地示出各个单独的光束路径20，其中，这些光束路径由像素矩阵大灯13的各个单独的可操控的像素的投射光构成。这些光束路径20与第一和第二图像平面19相交并且在该处形成测量点18。测量点18的第一组21与距离无关地保持恒定，而测量点18的第二组22相对于第一组21是可变的。在此，这由不同的光束角表征。在这种情况下，测量点18的第一组21构成参考，分析单元16相对于该参考确定第二组22的相对变化。
也可以想象，以如下方式投射光图案14，即，光图案14的各个单独的元素、即测量点18实际上随着与照明装置13的距离而变化，如在图3中示意性地所示的那样。例如，为此可以使用微透镜，其中，一些或所有的微透镜具有多个不同的焦距，因此测量点18不出现在所有的图像平面19中。散光微型投射镜头也可以用作微透镜，其使测量点19的形状发生变化。由于这种可以被相对快地分析的距离信息，可以附加地减少计算工作和计算时间，因为例如可以使用两阶段的3D识别。因此，例如最初能够以此方式进行粗略的分析，并且例如一旦识别了正在高速接近的区域，就可以进行更精确且更复杂的分析。
原则上，在本发明的范围内可以使用各种光图案14，例如，线条图案、条纹图案、点状图案、网格图案、棋盘图案和/或伪随机图案，但明确地不限于这些。在这种情况下，伪随机意味着光图案14是随机产生的，但它对于进行光图案14的发射和投射的像素大灯13的控制单元以及对于使用光图案14来识别针对周围环境特定的属性的相机控制装置15或相机模块11的分析单元16来说是已知的。
优选使用非均匀的不相关的光图案14。这也包括例如准周期性的光图案14，该光图案具有在第一方向上平行延伸的部分，而这些部分又包含在第二方向上不相关的图案。在这种情况下，不相关的光图案14意味着测量点18的位置是不相关的，使得图案14的自动相关性对于大于点尺寸18的移动而言变得无关紧要。这对于与立体相机模块11一起使用特别重要，从而各个单独的相机单元11a、b总是分析光图案14的相同的测量点18，而不是例如像在常规图案中那样将相同但移位的图案部分相互比较。

Claims (9)

1.一种用于检测交通工具(10)的周围环境的设备，所述设备包括至少一个用于从周围环境(12)获取图像数据的相机模块(11)、相机控制装置(15)、分析单元(16)和照明装置(13)，其中，
-照明装置(13)由交通工具(10)的矩阵大灯构成并且设计用于将光图案(14)投射到周围环境(12)中，所述光图案(14)随着与照明装置(13)的距离而变化，
-至少一个相机模块(11)配置用于，对投射到周围环境(12)中的光图案(14)的至少一部分进行成像，
-分析单元(16)配置用于，基于来自至少一个相机模块(11)的图像数据确定3D位置，并且
-分析单元(16)还配置用于，基于对确定3D位置关键的值来确定周围环境区域，
-照明装置(13)配置用于，只将光图案(14)投射到由分析单元(16)确定的关键的周围环境区域中，并且
-分析单元还配置用于，基于通过至少一个相机模块(11)获取的图像数据来确定由光图案(14)在周围环境(12)中形成的测量点(18)的3D位置。
2.根据权利要求1所述的设备，其特征在于，关键值由图像数据的对比度值构成。
3.根据权利要求1所述的设备，其特征在于，关键值由测量点的密度的极限值构成。
4.根据权利要求1至3中任一项所述的设备，其特征在于，照明装置(13)具有能切换的LED或激光二极管阵列。
5.根据权利要求1至4中任一项所述的设备，其特征在于，相机模块(11)包括立体相机。
6.根据权利要求1至5中任一项所述的设备，其特征在于，照明装置(13)配置用于投射光图案(14)，其中，各个单独的图案元素(18)的形状随着与照明装置(13)的距离而变化。
7.一种用于对交通工具(10)的周围环境(12)进行空间检测的方法，该空间检测通过至少一个用于从周围环境(12)获取图像数据的相机模块(11)、相机控制装置(15)、分析单元(16)和照明装置(13)进行，其中，
-由交通工具(10)的矩阵大灯构成的照明装置(13)将光图案(14)投射到周围环境(12)中，所述光图案随着与照明装置(13)的距离而变化，其中，
-通过至少一个相机模块(11)对投射的光图案(14)的至少一部分进行成像，其中，
-分析单元(16)基于来自至少一个相机模块(11)的图像数据确定3D位置，并且
-分析单元(16)基于对确定3D位置关键的值来确定周围环境区域，其中，
-照明装置(13)只将光图案(14)投射到由分析单元(16)确定的关键的周围环境区域中，并且其中，
-分析单元使用通过至少一个相机模块(11)获取的图像数据来确定由光图案(14)在周围环境(12)中形成的测量点(18)的3D位置。
8.根据权利要求7所述的方法，其特征在于，光图案(14)被如此短暂地投射，使得驾驶员感觉到传统前大灯的均匀的光线分布。
9.一种交通工具(10)，具有根据权利要求1至6中任一项所述的用于检测周围环境的设备。
CN202180045321.1A 2020-06-29 2021-06-23 用于检测交通工具的周围环境的设备和方法 Pending CN115720633A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020117060.2 2020-06-29
DE102020117060.2A DE102020117060B4 (de) 2020-06-29 2020-06-29 Vorrichtung und Verfahren zur Umfelderfassung eines Fahrzeugs
PCT/EP2021/067156 WO2022002719A1 (de) 2020-06-29 2021-06-23 Vorrichtung und verfahren zur umfelderfassung eines fahrzeugs

Publications (1)

Publication Number Publication Date
CN115720633A true CN115720633A (zh) 2023-02-28

Family

ID=76744813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180045321.1A Pending CN115720633A (zh) 2020-06-29 2021-06-23 用于检测交通工具的周围环境的设备和方法

Country Status (4)

Country Link
US (1) US20230236320A1 (zh)
CN (1) CN115720633A (zh)
DE (1) DE102020117060B4 (zh)
WO (1) WO2022002719A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240027049A1 (en) * 2022-07-25 2024-01-25 Lumileds Llc Controllable headlamp system

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011017707A1 (de) 2011-04-28 2012-10-31 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von einem Objekt in einer Umgebung einer Kamera
DE102011017770A1 (de) 2011-04-29 2012-10-31 Voith Patent Gmbh Ballendrahtschneider
US9992474B2 (en) * 2015-12-26 2018-06-05 Intel Corporation Stereo depth camera using VCSEL with spatially and temporally interleaved patterns
JP7022057B2 (ja) * 2016-09-01 2022-02-17 ソニーセミコンダクタソリューションズ株式会社 撮像装置
DE102016223671A1 (de) 2016-11-29 2018-05-30 Continental Automotive Gmbh Leuchtsystem zur Ermittlung geometrischer Eigenschaften sowie Fahrerassistenzsystem und Verfahren dazu
DE102017117614B4 (de) * 2017-08-03 2019-07-04 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum trajektorienbasierten Bestimmen eines Auswertebereiches in einem Bild einer Fahrzeugkamera
DE102017222708A1 (de) * 2017-12-14 2019-06-19 Conti Temic Microelectronic Gmbh 3D-Umfelderfassung mittels Projektor und Kameramodulen

Also Published As

Publication number Publication date
US20230236320A1 (en) 2023-07-27
DE102020117060A1 (de) 2021-12-30
DE102020117060B4 (de) 2022-05-05
WO2022002719A1 (de) 2022-01-06

Similar Documents

Publication Publication Date Title
US11662433B2 (en) Distance measuring apparatus, recognizing apparatus, and distance measuring method
US11073379B2 (en) 3-D environment sensing by means of projector and camera modules
US10632899B2 (en) Illumination device for a motor vehicle for increasing the perceptibility of an obstacle
JP6387407B2 (ja) 周辺検知システム
US9823340B2 (en) Method for time of flight modulation frequency detection and illumination modulation frequency adjustment
EP2910971A1 (en) Object recognition apparatus and object recognition method
JP2006054504A (ja) 画像生成方法および装置
KR20050099623A (ko) 차량의 내부 또는 외부 장면의 3차원 검출용 차량 장치
KR102059244B1 (ko) 라이다 장치
CN105723239A (zh) 测距摄像系统
CN113227839A (zh) 具有结构光照明器的飞行时间传感器
JP6782433B2 (ja) 画像認識装置
CN115720633A (zh) 用于检测交通工具的周围环境的设备和方法
JP7135081B2 (ja) 装置および方法
US20200045297A1 (en) Depth map generator
US20080074894A1 (en) Occupant-Sensing Imaging System
KR101868293B1 (ko) 차량용 라이다 장치
US20220214434A1 (en) Gating camera
JP2006031101A (ja) 画像生成方法およびその装置
WO2021193645A1 (ja) ゲーティングカメラ、センシングシステム、車両用灯具
JP7096701B2 (ja) 撮像装置
CN114761825A (zh) 飞行时间成像电路、飞行时间成像系统、飞行时间成像方法
JP5330120B2 (ja) 三次元形状計測装置および半導体集積回路
JP7298562B2 (ja) 車両の周辺検知装置
US20240092259A1 (en) Structured lighting system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination