CN111465819B - 借助伪随机图案序列的投射以及立体摄像模块的三维环境感测 - Google Patents
借助伪随机图案序列的投射以及立体摄像模块的三维环境感测 Download PDFInfo
- Publication number
- CN111465819B CN111465819B CN201880080303.5A CN201880080303A CN111465819B CN 111465819 B CN111465819 B CN 111465819B CN 201880080303 A CN201880080303 A CN 201880080303A CN 111465819 B CN111465819 B CN 111465819B
- Authority
- CN
- China
- Prior art keywords
- light source
- vehicle
- source projection
- point light
- projection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007613 environmental effect Effects 0.000 title description 2
- 238000005259 measurement Methods 0.000 claims abstract description 34
- 238000003384 imaging method Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000011156 evaluation Methods 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 238000005286 illumination Methods 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012883 sequential measurement Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明涉及一种车辆(1)用的摄像装置，该摄像装置用于确保三维立体周围环境感测，以及一种借助所述摄像装置进行三维立体周围环境感测的方法。所述装置和方法尤其可用在驾驶员辅助系统范围。用于车辆(1)的摄像装置包括至少两个摄像模块(21、22)，所述至少两个摄像模块具有至少部分重叠的感测区域；摄像装置控制单元；分析评估单元和点光源投射装置(3)。点光源投射装置(3)的设置和配置方式是，使点光源投射装置(3)将具有测量点(6、16、26)的光图案投射到车辆周围环境(10、11)。至少两个摄像模块(21、22)的设置和配置方法是，使所投射的光图案的至少一部分在重叠的感测区域中成像。分析评估单元配置成用于，根据用至少两个摄像模块(21、22)拍摄的图像数据确定测量点(6、16、26)在车辆周围环境(10、11)中的三维位置。点光源投射装置(3)配置成用于，生成一个“伪噪声图案”序列作为光图案，“伪噪声图案”在时间上先后地(t0、t1、......、tn)被投射到车辆周围环境(10、11)中。
Description
技术领域
本发明涉及一种确保三维环境感测的车辆用摄像装置，以及一种借助所述摄像装置进行三维环境感测的方法。所述装置和方法尤其可用在驾驶员辅助系统领域。
背景技术
为识别车辆周围环境中的目标，将立体摄像装置用于三维环境感测。为计算距离信息，使摄像图像之间的图像信息相关联。
在车辆周围环境中用于由立体图像之间的相关性确定距离信息的常用方法是半全局匹配(SGM)。
在此，可能会出现以下问题：
在有利的照明条件下(例如白天)，视频图像中大部分情况下存在足够的纹理信息来确定密集的(图像充填)深度信息。因此，对立体图像处理而言，大部分情况下仅凭日光便足以进行相关分析。
然而，在不良的照明条件下(例如夜间)，尽管车辆有照明，但所使用的立体相关法(SGM)会迅速达到其极限。由于所用成像器的有限的暗灵敏度，视频传感装置的图像中的结构在夜晚无法足够好地被相互关联。
长曝光时间在夜间会造成一额外的负面影响，因为相关分析所要求的结构由于视频数据中的运动模糊而不再能被识别。
从DE 19730414 A1中已知一种用于提前判断机动车辆轮子在其上滚动的车道的状态的方法，其中，由激光光源发射的激光图案通过三角剖分方法分析评估。
DE 202015105376 U1中描述了一种三维立体摄像装置，该装置从一监视区域拍摄三维立体图像并且具有一照明单元，所述照明单元用于在监视区域生成结构化照明图案。在三维立体摄像装置中，两个摄像模块以一已知的相距彼此的固定距离安装，分别拍摄监视区域的图像。一分析评估单元设置成用于，通过图像数据计算三维立体图像，并首先生成没有结构化照明图案的监控区域的预扫描，并以所述预扫描和监视区域中所需的结构化照明图案计算一要投射的结构化照明图案。照明单元设置成用于实时投射像素分辨的量化的结构化照明图案，并具有可切换的发光二极管(LED)阵列或激光二极管阵列。
DE 102015008551 A1涉及一种用于校准机动车辆摄像单元的方法。一可预定义的图案借助机动车的前照灯投射到机动车的周围环境中。被投射到机动车辆周围环境中的可预定图案借助摄像单元被光学地感测。在考虑到光学感测图案的情况下，摄像单元被自动校准。
发明内容
下文中，提出了一种确保三维立体周围环境的改进型检测的解决方案。根据本发明所述的用于车辆的摄像装置包括至少两个摄像模块，这两个摄像模块具有至少部分重叠的感测区域；摄像装置控制单元；分析评估单元和点光源投射装置。点光源投射装置的设置和配置方式是，使点光源投射装置将具有测量点的光图案投射到车辆周围环境。至少两个摄像模块的设置和配置方法是，使所投射的光图案的至少一部分在重叠的感测区域中成像。分析评估单元配置成用于，根据由至少两个摄像模块拍摄的图像数据确定车辆周围环境中的测量点的三维位置。点光源投射装置配置成用于，生成一个“伪噪声图案”序列作为光图案，其中，“伪噪声图案”按时间顺序/在时间上先后地(t0、t1、......、tn)被投射到车辆周围环境中。
摄像装置控制单元优选配置成用于，借助至少两个摄像模块建立投射序列与图像序列拍摄之间的时间关系。为此，摄像装置控制单元可将数据发送到点光源投射装置和/或从点光源投射装置接收数据。作为选项，摄像装置控制单元可预先规定至少两个摄像模块的同步拍摄起始时间。
术语“点光源投射装置”和“测量点”不应理解为仅提供圆形光点作为光图案的基础/组成部分。相反，它意味着投射装置能以至少不同的强度照亮平面区域。光图案例如可由“孔”(在其他均匀照明中的负标记/测量点)组成。也可使用相交线、角或棋盘格图案的光图案。
所述摄像装置控制单元或分析评估单元尤其可包括微控制器或微处理器，数字信号处理器(DSP)，专用集成电路(ASIC)，现场可编程门阵列(FPGA)等许多类似器件，以及用于执行相应控制或分析评估步骤的软件等。
因此，本发明可在数字电子电路、计算机硬件、固件或软件中实现。
本发明的主题还涉及一种用于借助具有至少部分重叠感测区域的至少两个摄像模块以及点光源投射装置对车辆周围环境进行空间感测的方法。点光源投射装置将具有测量点的光图案投射到车辆周围环境中。所投射光图案的至少一部分在至少两个摄像模块的重叠感测区域中成像。根据用至少两个摄像模块所拍摄的图像数据确定车辆周围环境中测量点的三维位置。生成一个“伪噪声图案”序列作为光图案，它们在时间上先后地(t0、t1、......、tn)被发射到车辆周围环境中。所述方法尤其能以软件的形式在摄像装置的一个控制单元或多个控制单元或分析评估单元上实现。
其他有益的方面是从属权利要求的主题。明确摘录的说明内容构成了权利要求的内容。下面给出其他有益的方面。
由伪噪声序列构成的光图案
-点光源图案在任何时间点都是不规则的。
-所投射的光图案由一“伪噪声图案”序列构成，它们在时间上先后地(t0、t1、......、tn)被发射到车辆周围环境中。
-由于在时间上相继的“伪噪声图案”，在n个时间步长内，每个周围环境位置被光图案的测量点占位至少一次。
-摄像系统可籍此确定在每个空间方向均匀分布的三维测量值。
-在由立体摄像装置或视频传感装置拍摄的图像之间，各点光源图案会发生变换。
变换的点光源投射的持续时间
-点光源图案发射期间的持续时间与视频传感装置曝光时间适配成使得，点光源图案在视频传感装置的曝光阶段内是可见的。
调整光点的距离和大小，使其适配视频传感装置的相关性掩模大小
-对“伪噪声图案”内测量点之间的空间距离进行调整，使其适配立体摄像传感器的三角剖分算法的相关性掩模大小。
-照射的光点之间的角度相当于视频图像中补丁相关器大小的大约两倍。
-测量点不大于补丁相关器大小的1/3。
摄像装置和点光源投射装置的校准/耦合
-在所介绍方法的情况下，不需要在摄像系统和点光源之间进行校准。
-通过立体摄像装置或多摄像装置已完全实现三维测量功能。
-在本方法中，投射装置和摄像装置之间无须像“经典”结构化光源那样进行三角剖分。
-因此，不需要在摄像装置和投射装置之间进行机械耦合或校准。
三维位置和相对速度的直接测量
-由于投射装置和摄像装置之间的“准静态”安装，即使在摄像装置运动的情况下，也可对光点进行捕捉而不产生运动模糊。
-但是，如果在曝光时间内到一测量点的距离改变了，则在视频图像中立体图像内各相应光点处会发生一线性失真。
-因此，在线性失真的光点中，直接根据线性元素的长度确定测量点的相对速度。
-因此，相对于经典立体系统和激光系统，它能实现“直接”的速度测量，不然这种速度测量只能通过依次测量和跟踪来测定。
独立于行驶方向的组装
-可在车辆任意方向进行光图案构建和测量点检测。
-这独立于相关行驶方向。该系统可安装在车辆尾部或侧面。
-点光源投射装置可安装在挡风玻璃后或前照灯区。
日/夜模式＝>改善眼睛安全性
-根据周围环境光的不同，该系统可在两种运行模式下使用。
-在白天，立体系统在没有投射光点的情况下工作。在存在足够周围环境光的情况下，立体系统根据视频图像中的可见结构测定三维测量值。
-在所介绍的方法中不需要通过测量点的“日光过度感光”。因此，在眼睛安全方面，这带来了优于“经典”激光系统的优势(可发射更少的激光束/更少的光)。
-点光源投射装置用在夜间或光线条件不良的情况。由于残留光较低(没有日光)，为达到相当的作用范围，只需要较低的激光功率。
像素光源、车辆前照灯
-车辆中现存的发光二极管(LED)前照灯(像素灯)可用作点光源。
-在此，点光源以较快序列变换，使得为驾驶员生成常规前照灯的均匀光分布。
-光点随时间变化，使得分析评估区域的每个区域在24分之一秒内至少被照明一次。
使用不可见的红外光
-可见范围或不可见范围内的光可被使用以用于测量点的投射。
-在使用不可见红外范围内的点光源时，可通过摄像装置中的红外线带通滤波器抑制周围环境光。
由光点编制三维深度图
-所述系统通过由立体传感器或多摄像传感器依时间顺序拍摄的三维点云中的三维测量值的重叠测定一“完整”的三维周围环境图。
-测量的时间重叠例如借助迭代最近点(ICP)算法进行。
任意光图案
-替代指定的光图案(圆形光点)，也可使用由“孔”(其他均匀照明中的负标记/测量点)构成的点图案。
-也可使用相交线、角或棋盘格图案的图案。
利用多个传感器的应用
-点光源投射装置的光点可同时由多个传感器分析评估。
-传感器彼此之间以及与点光源投射装置之间不需要实现时间上的同步。
-替代立体摄像装置，还可使用由多个摄像装置组成的摄像系统进行三维测量点的三角剖分。
利用多个点光源投射装置的应用
-光点图案可由多个点光源投射装置的光点组合而成。
-投射装置可安装在车辆的不同位置处。
组装位置校准
-通过将光点投射到一平坦表面上，摄像系统可执行组装位置校准。
-在车辆静止不动和行驶期间可通过光图案进行摄像装置校准。
-可连续测定相对于一平坦表面(例如车道表面)的组装位置。
干扰的识别
-由于对点图案的连续监控，可识别车辆周围环境或光路中的干扰(例如由脏污导致的干扰)。
-如果图案的光点在一空间方向不再被识别，则存在缺陷或干扰。
-存在性(所有光点的识别)的测试在每次车辆启动前作为自检来执行。
所提出的解决方案的优点
-相对于经典的“结构化光”的方法，所提出的方法不需要在点光源和摄像系统之间进行校准。
-由于点光源投射不会相对于摄像装置移动，因此视频数据中没有“运动模糊”效果。
-该方法能在无纹理表面上进行距离测量。也要在其他“均匀”表面上对到图案点的距离进行测量/三角剖分。
-由于“变换的”光图案，三维立体测量值可在每个空间方向上均匀分布。
-相对于经典的立体摄像系统、多摄像装置系统和激光系统，可进行“直接”速度测量。
-相对于“经典”系统，在所提出方法中具有增大的作用范围，因为可见结构在白天用于视频图像中的距离测量。
-对于眼睛安全，也同样具有优势，因为相对于“经典”系统，所发出的激光束/光更少。
-不需要“特殊”的点光源。可使用车辆中已有的发光二极管(LED)前照灯(像素光源)。
其它使用可能性
-环绕视野摄像装置(环绕视野摄像系统)的可能应用，即置于车辆侧面或后面的多个环绕视野摄像装置可借助三角剖分测定光点的三维位置。
附图说明
本发明的其他特征、优点和效果可从以下对本发明优选示例实施例的描述中得出。其中：
图1示意性地示出了用摄像装置将测量点投射到车辆周围环境；
图2示意性地示出了空间中的测量点的三维立体三角剖分；
图3示意性地示出了独立于行驶方向的点光源投射装置和立体摄像装置的布置结构；
图4示意性地示出了摄像装置的图像平面中的测量点的距离；以及
图5示意性地示出了伪噪声图案的时间序列。
具体实施方式
为改善尤其是夜间的立体性能，根据一示例性实施例，将激光点光源投射装置(3)与立体摄像装置(2)一起使用。图1描述了车辆(1)，该车辆具有朝向行驶方向，例如在车辆(1)的挡风玻璃区域中的立体摄像装置(2)。点光源投射装置(3)固定在车辆(1)上，以使其光图案被投射到车辆周围环境中。点光源投射装置(3)将具有显示为黑色实心圆的被照亮的测量点(6)的图案投射到车辆(1)前方的周围环境中。所示车辆(1)前方的周围环境对应于一平面，例如平整的车道表面。各个被激活的、例如点光源投射装置(3)的发光二极管(LED)或激光二极管等照明元件的投射光束(5)在此示意性地以虚线表示。点光源投射装置(3)当前未被照亮的点(7)以白色圆圈表示。立体摄像装置(2)的两个摄像模块具有重叠区域，其中两个摄像模块的感测区域重叠。该重叠区域中的测量点(6)由两个摄像模块检测。图1中以实线示意性表示针对一个测量点的两个摄像模块的检测方向(4)。
图2说明如何可通过三角剖分确定测量点(16；26)的三维位置。立体摄像装置(2)包括第一摄像模块(21)和第二摄像模块(22)，它们通过一个壳体牢固地相互连接，并具有限定的基部宽度(彼此之间的侧面距离)。点光源投射装置(3)将被照亮的测量点(16、26)的图案投射到周围环境(10、11)中。该周围环境包括平坦表面(10)和抬高的立方体物体(11)。在平坦表面区域中，点光源投射装置(3)以与图1中的情形相比拟的方式投射具有被照亮的第一测量点(16)和未被照亮的表面(白色圆圈)的图案。第二测量点(26)和未被照亮的区域投射到抬高物体(11)的朝向点光源投射装置(3)的一侧(12)上。第一测量点和第二测量点(16、26)由立体摄像装置(2)的两个摄像模块(21、22)成像。以本身已知的方式，可根据第一摄像模块(21)和第二摄像模块(2)同时拍摄的图像中的测量点(16；26)的位移(差异)确定或计算车辆周围环境(10、11)的、被照亮的测量点(16、26)的三维位置。由此可重建所述三维立体周围环境。
在图3中，示意性地说明车辆(1)上的立体摄像装置(22)和点光源投射装置(33)作为替代选择的一种设置。在此情况下，可检测或测定车辆(1)左侧和后方的周围环境。其工作原理对应于先前图1和2的解释。
图4示意性地说明光点的距离和大小如何能与一相关性掩模(40；41)(补丁相关器)的大小相匹配。这里指的是可被投射装置照亮的两个相邻点之间的距离。“伪噪声图案”内测量点之间的空间距离适配于立体摄像装置传感器(2)的三角剖分算法的相关性掩模(40；41)大小。所发射的光点之间的角度相当于视频图像中立体相关法(SGM)补丁相关器大小的大约2倍。测量点不大于立体相关法(SGM)补丁相关器大小的1/3。
图5示意性地示出了n个随时间变化的伪噪声点光源图案的一个序列。点光源图案——即由点光源投射装置(3)照亮(6)和未照亮(7)区域的总体——在任何时候都不是规则的，而是伪随机地逐渐褪去。投射光图案(6、7)由一个序列的“伪噪声图案”构成，这些伪噪声图案在前后连续的时间点t0、t1、......tn发射或被投射到车辆周围环境。
图5中通过示例示出的图案分别包括10x10个点，从编号a1(左上)到j10(右下)。在时间点t0，点a2、a10、b7、c4、e2、e8、g6、g10、h3、i7、j1和j5被照亮。在随后的时间t1，点a5、b2、b8、c10、d6、e3、g1、g5、h8、i2、j6和j10被照亮。在时间点tn，点a1、a8、b4、c7、d3、d10、f5、g2、g8、h10、i6、j3和j9被照亮。
由于在时间上相继的“伪噪声图案”，在n个时间步长中，每个周围环境位置被光图案的测量点所占据至少一次。摄像装置由此可确定在每个空间方向上均匀分布的三维测量值，即三维立体点云。各点光源图案在摄像模块拍摄的图像之间变换。点光源图案发射期间的持续时间与摄像模块的曝光时间适配的方法是，使点光源图案在摄像模块曝光阶段内是可见的。通过所述系统使立体摄像装置依先后时间所拍摄的三维立体点云中的三维测量重叠来测定一“完整”的三维立体周围环境图。测量的时间重叠例如借助迭代最近点(ICP)算法进行。
Claims (10)
1.用于车辆(1)的摄像装置，所述摄像装置包括至少两个摄像模块(21、22)、摄像装置控制单元、分析评估单元和点光源投射装置(3)，所述至少两个摄像模块具有至少部分重叠的感测区域，
-所述点光源投射装置(3)设置和配置成，所述点光源投射装置(3)将具有测量点(6、16、26)的光图案投射到车辆周围环境(10、11)中，
-所述至少两个摄像模块(21、22)设置和配置成使得，所投射的光图案的至少一部分在重叠的感测区域中成像，
-所述分析评估单元配置成用于，根据由所述至少两个摄像模块(21、22)拍摄的图像数据，确定测量点(6、16、26)在车辆周围环境(10、11)中的三维位置，以及
-所述点光源投射装置(3)配置成用于生成一个“伪噪声图案”序列作为所述光图案，所述“伪噪声图案”在时间上先后地(t0、t1、......、tn)被投射到所述车辆周围环境(10、11)中；所述点光源投射装置(3)配置成使得，所述光图案的相邻的能被照亮的测量点(6、7、16、26)之间的距离与一相关性掩模(40、41)的大小适配，其中，所述相关性掩模(40、41)被分析评估单元利用以由所拍摄的图像数据来确定三维位置；
所述点光源投射装置(3)和所述至少两个摄像模块被“准静态”安装；所述摄像装置根据周围环境光能够在日模式和夜模式下使用，其中在所述日模式下，所述摄像装置在没有投射光点的情况下工作；在所述夜模式下，所述点光源投射装置被使用。
2.根据权利要求1所述的摄像装置，所述点光源投射装置(3)配置成使得，由于在时间上相继的“伪噪声图案”，在n个时间步长中，处于所述至少两个摄像模块(21、22)的重叠感测区域中的每个周围环境位置被所述光图案的测量点(6、16、26)占据至少一次。
3.根据权利要求1或2所述的摄像装置，所述车辆(1)的前照灯用作所述点光源投射装置(3)，该车辆的前照灯的照明元件以阵列形式设置并且能被单一驱动。
4.根据权利要求3所述的摄像装置，前照灯配置成使得，点光源以较快序列变换以便为驾驶员生成常规前照灯的均匀光分布。
5.根据权利要求1或2所述的摄像装置，所述分析评估单元配置成，通过使由所述至少两个摄像模块按时间顺序拍摄的光图案的测量点的三维测量值重叠，确定车辆周围环境的三维构建。
6.根据权利要求1或2所述的摄像装置，所述至少两个摄像模块(21、22)彼此刚性连接，并且作为具有平行光轴的立体摄像装置(2)的组成部分。
7.根据权利要求1或2所述的摄像装置，所述摄像装置设置成使得，所述至少两个摄像模块(21、22)固定在车辆(1)中或车辆上的不同位置。
8.根据权利要求7所述的摄像装置，所述至少两个摄像模块(21、22)作为一环绕视野摄像系统的组件，该环绕视野摄像系统提供车辆(1)的周围环境(10、11)的360度光学感测。
9.根据权利要求1或2所述的摄像装置，所述摄像装置配置成用于，通过将光点投射到一平坦表面上，执行所述至少两个摄像模块(21、22)的组装位置校准。
10.借助具有至少部分重叠感测区域的至少两个摄像模块(21、22)以及点光源投射装置(3)对车辆(1)的周围环境(10、11)进行空间感测的方法，
-所述点光源投射装置(3)将具有测量点(6、16、17)的光图案投射到车辆周围环境(10、11)中，
-所投射的光图案的至少一部分在所述至少两个摄像模块(21、22)的重叠感测区域中成像，
-根据由所述至少两个摄像模块(21、22)所拍摄的图像数据确定测量点(6、16、26)在车辆周围环境中的三维位置，以及
-生成一个“伪噪声图案”序列作为光图案，所述“伪噪声图案”在时间上先后地(t0、t1、......、tn)被发射到车辆周围环境(6、16、26)中；
其中所述点光源投射装置(3)配置成使得，所述光图案的相邻的能被照亮的测量点(6、7、16、26)之间的距离与一相关性掩模(40、41)的大小适配，其中，所述相关性掩模(40、41)被分析评估单元利用以由所拍摄的图像数据来确定三维位置；其中，所述点光源投射装置(3)和所述至少两个摄像模块被“准静态”安装，且能够根据周围环境光在日模式和夜模式下使用，其中在所述日模式下，所述摄像装置在没有投射光点的情况下工作；在所述夜模式下，所述点光源投射装置被使用。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102017222708.7A DE102017222708A1 (de) | 2017-12-14 | 2017-12-14 | 3D-Umfelderfassung mittels Projektor und Kameramodulen |
| DE102017222708.7 | 2017-12-14 | ||
| PCT/DE2018/200094 WO2019114889A1 (de) | 2017-12-14 | 2018-10-19 | 3d-umfelderfassung mittels projektion einer reihe pseudo-zufälligen mustern und stereo-kameramodulen |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111465819A CN111465819A (zh) | 2020-07-28 |
| CN111465819B true CN111465819B (zh) | 2023-07-25 |
Family
ID=64267408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880080303.5A Active CN111465819B (zh) | 2017-12-14 | 2018-10-19 | 借助伪随机图案序列的投射以及立体摄像模块的三维环境感测 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11073379B2 (zh) |
| JP (1) | JP2021507205A (zh) |
| CN (1) | CN111465819B (zh) |
| DE (2) | DE102017222708A1 (zh) |
| WO (1) | WO2019114889A1 (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112930557A (zh) * | 2018-09-26 | 2021-06-08 | 相干逻辑公司 | 任何世界视图生成 |
| KR102310102B1 (ko) * | 2020-05-13 | 2021-10-08 | 이동우 | 그린라이 상태정보를 바탕으로 사용자의 예상 퍼팅경로를 제공하는 그린라이 계측장치 |
| DE102020117060B4 (de) * | 2020-06-29 | 2022-05-05 | Audi Aktiengesellschaft | Vorrichtung und Verfahren zur Umfelderfassung eines Fahrzeugs |
| DE102020130473B3 (de) * | 2020-11-18 | 2022-01-27 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren und System zur abstandsabhängigen Projektion von Bildobjekten bei HD-Matrix-Scheinwerfern |
| DE102021202779A1 (de) | 2021-03-23 | 2022-09-29 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Vorrichtung zur Kalibrierung einer Kamera in einem Fortbewegungsmittel |
| DE102021206336A1 (de) | 2021-06-21 | 2022-12-22 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung und Verfahren zur optischen Analyse einer Oberfläche |
| US20240027049A1 (en) * | 2022-07-25 | 2024-01-25 | Lumileds Llc | Controllable headlamp system |
| DE102022003313A1 (de) | 2022-09-09 | 2024-03-14 | Mercedes-Benz Group AG | Verfahren zur Kalibrierung von Fahrzeugscheinwerfern |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0687377A (ja) * | 1992-09-04 | 1994-03-29 | Yazaki Corp | 車両周辺監視装置 |
| JP2013114290A (ja) * | 2011-11-25 | 2013-06-10 | Seiko Epson Corp | 安全支援装置、及び、安全支援方法 |
| CN105222752A (zh) * | 2015-09-29 | 2016-01-06 | 中国民用航空总局第二研究所 | 一种使用结构光的移动式道面检测装置及方法 |
| EP3067826A1 (en) * | 2015-03-11 | 2016-09-14 | Ricoh Company, Ltd. | Imaging system, image processing system, and object detection method |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19730414A1 (de) | 1997-07-16 | 1999-01-21 | Opel Adam Ag | Verfahren und Vorrichtung zur vorausschauenden Fahrbahnbeurteilung |
| JP2001338280A (ja) * | 2000-05-30 | 2001-12-07 | Nippon Telegr & Teleph Corp <Ntt> | ３次元空間情報入力装置 |
| US7027634B2 (en) * | 2002-02-13 | 2006-04-11 | Ascension Technology Corporation | Range adaptable system for determining the angular position and distance of a radiating point source and method of employing |
| JP2006054504A (ja) * | 2004-08-09 | 2006-02-23 | Olympus Corp | 画像生成方法および装置 |
| EP1971820B1 (de) * | 2006-01-08 | 2012-10-17 | Hermann Tropf | Erstellung eines abstandsbildes |
| JP4837610B2 (ja) * | 2007-03-29 | 2011-12-14 | パナソニック株式会社 | 暗視撮像装置及びヘッドライトモジュール |
| DE102010007396B4 (de) | 2010-02-03 | 2013-10-02 | Carl Zeiss Oim Gmbh | Verfahren und Vorrichtung zum optischen Inspizieren eines Prüflings mit einer zumindest teilweise reflektierenden Oberfläche |
| EP2400261A1 (de) * | 2010-06-21 | 2011-12-28 | Leica Geosystems AG | Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche |
| JP2012166652A (ja) * | 2011-02-14 | 2012-09-06 | Stanley Electric Co Ltd | 車両用前照灯の点灯制御装置、車両用前照灯システム |
| DE102011121696A1 (de) * | 2011-12-16 | 2013-06-20 | Friedrich-Schiller-Universität Jena | Verfahren zur 3D-Messung von tiefenlimitierten Objekten |
| DE102012207716A1 (de) * | 2012-05-09 | 2013-11-14 | Robert Bosch Gmbh | Optisches Abtastsystem und optisches Abtastverfahren |
| DE102012015939A1 (de) * | 2012-08-10 | 2014-02-13 | Audi Ag | Kraftfahrzeug mit Fahrerassistenzsystem und Verfahren zum Betrieb eines Fahrerassistenzsystems |
| DE102013102820A1 (de) * | 2013-03-19 | 2014-09-25 | Conti Temic Microelectronic Gmbh | Stereokameramodul sowie Verfahren zur Herstellung |
| US20140307055A1 (en) * | 2013-04-15 | 2014-10-16 | Microsoft Corporation | Intensity-modulated light pattern for active stereo |
| DE102014203335A1 (de) * | 2014-02-25 | 2015-08-27 | Automotive Lighting Reutlingen Gmbh | Lichtmodul eines Kraftfahrzeugscheinwerfers und Scheinwerfer mit einem solchen Lichtmodul |
| JP6687886B2 (ja) * | 2015-03-11 | 2020-04-28 | 株式会社リコー | 画像処理システム、移動体制御システム、移動体装置、物体検出方法、物体検出プログラム |
| EP3070641B1 (en) * | 2015-03-11 | 2021-11-24 | Ricoh Company, Ltd. | Vehicle body with imaging system and object detection method |
| JP6704607B2 (ja) * | 2015-03-11 | 2020-06-03 | 株式会社リコー | 撮像システム、画像処理システム、移動体制御システム、移動体装置、投光装置、物体検出方法、物体検出プログラム |
| DE102015008551A1 (de) | 2015-07-07 | 2016-01-14 | Daimler Ag | Kalibrierung einer Kameraeinheit eines Kraftwagens |
| DE202015105376U1 (de) | 2015-10-12 | 2015-10-19 | Sick Ag | 3D-Kamera zur Aufnahme von dreidimensionalen Bildern |
-
2017
- 2017-12-14 DE DE102017222708.7A patent/DE102017222708A1/de not_active Withdrawn
-
2018
- 2018-10-19 WO PCT/DE2018/200094 patent/WO2019114889A1/de active Application Filing
- 2018-10-19 DE DE112018002835.6T patent/DE112018002835A5/de active Pending
- 2018-10-19 JP JP2020527930A patent/JP2021507205A/ja active Pending
- 2018-10-19 CN CN201880080303.5A patent/CN111465819B/zh active Active
- 2018-10-19 US US16/766,070 patent/US11073379B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0687377A (ja) * | 1992-09-04 | 1994-03-29 | Yazaki Corp | 車両周辺監視装置 |
| JP2013114290A (ja) * | 2011-11-25 | 2013-06-10 | Seiko Epson Corp | 安全支援装置、及び、安全支援方法 |
| EP3067826A1 (en) * | 2015-03-11 | 2016-09-14 | Ricoh Company, Ltd. | Imaging system, image processing system, and object detection method |
| CN105222752A (zh) * | 2015-09-29 | 2016-01-06 | 中国民用航空总局第二研究所 | 一种使用结构光的移动式道面检测装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021507205A (ja) | 2021-02-22 |
| CN111465819A (zh) | 2020-07-28 |
| WO2019114889A1 (de) | 2019-06-20 |
| DE102017222708A1 (de) | 2019-06-19 |
| DE112018002835A5 (de) | 2020-02-20 |
| US11073379B2 (en) | 2021-07-27 |
| US20200348127A1 (en) | 2020-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111465819B (zh) | 借助伪随机图案序列的投射以及立体摄像模块的三维环境感测 | |
| CN113227839B (zh) | 具有结构光照明器的飞行时间传感器 | |
| US10632899B2 (en) | Illumination device for a motor vehicle for increasing the perceptibility of an obstacle | |
| US9927293B2 (en) | Sensor array for detecting control gestures on vehicles | |
| JP6293134B2 (ja) | 立体ゲーテッド画像システム及び方法 | |
| US9964643B2 (en) | Vehicle occupancy detection using time-of-flight sensor | |
| KR102059244B1 (ko) | 라이다 장치 | |
| CN110121659B (zh) | 用于对车辆的周围环境进行特征描述的系统 | |
| KR20050099623A (ko) | 차량의 내부 또는 외부 장면의 3차원 검출용 차량 장치 | |
| JP2004523769A (ja) | 表面形状測定 | |
| CN104620260B (zh) | 用于识别用于车辆的至少一个脉冲光源的方法和设备 | |
| CN102971776A (zh) | 障碍物检测系统以及方法、障碍物检测装置 | |
| JP7135081B2 (ja) | 装置および方法 | |
| JP7348414B2 (ja) | ライダー計測においてブルーミングを認識するための方法及び装置 | |
| EP4204847A1 (en) | Detecting retroreflectors in nir images to control lidar scan | |
| US20230236320A1 (en) | Device and method for detecting the surroundings of a vehicle | |
| US11002419B2 (en) | Linearly polarized light emission by a vehicle headlight for use in a camera-based driver assistance system | |
| CN111971527B (zh) | 摄像装置 | |
| WO2022196779A1 (ja) | ３次元計測装置 | |
| US20230311770A1 (en) | Vehicular camera focus test system using light collimator in controlled test chamber | |
| WO2023085403A1 (ja) | センシングシステム | |
| US20240067094A1 (en) | Gating camera, vehicle sensing system, and vehicle lamp | |
| JP6369898B2 (ja) | 自己位置算出装置及び自己位置算出方法 | |
| WO2023287668A1 (en) | Camera calibration for stereoscopic depth determination in a vehicle control system | |
| CN113960623A (zh) | 车辆的周边检测装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240412 Address after: Ingolstadt, Germany Patentee after: Continental Zhixing Germany Co.,Ltd. Country or region after: Germany Address before: Nuremberg, Germany Patentee before: CONTI TEMIC MICROELECTRONIC GmbH Country or region before: Germany |