CN204229115U - 用于获取三维图像数据的3d相机 - Google Patents

用于获取三维图像数据的3d相机 Download PDF

Info

Publication number
CN204229115U
CN204229115U CN201420375463.1U CN201420375463U CN204229115U CN 204229115 U CN204229115 U CN 204229115U CN 201420375463 U CN201420375463 U CN 201420375463U CN 204229115 U CN204229115 U CN 204229115U
Authority
CN
China
Prior art keywords
camera
minute surface
imageing sensor
optics element
mirror optics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201420375463.1U
Other languages
English (en)
Inventor
索斯顿·菲斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sick AG
Original Assignee
Sick AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sick AG filed Critical Sick AG
Application granted granted Critical
Publication of CN204229115U publication Critical patent/CN204229115U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/16—Optical objectives specially designed for the purposes specified below for use in conjunction with image converters or intensifiers, or for use with projectors, e.g. objectives for projection TV
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/002—Arrays of reflective systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G02B17/0804—Catadioptric systems using two curved mirrors
    • G02B17/0812—Catadioptric systems using two curved mirrors off-axis or unobscured systems in which all of the mirrors share a common axis of rotational symmetry
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/08—Mirrors
    • G02B5/10—Mirrors with curved faces

Abstract

本实用新型涉及一种用于获取三维图像数据的3D相机。提供一种3D相机(10)，其具有至少一个用于从监控区域(12、34、36)获取三维图像数据的图像传感器(16，16a-b)以及布置在所述图像传感器(16、16a)前面的用于扩展视场(44)的反射镜光学元件(38)。其中，所述反射镜光学元件(38)具有前镜面(40)和后镜面(42)并且在图像传感器(16、16a-b)的视场(44)中被布置成，使得前镜面(40)生成在第一角度范围内的第一部分视场(34)而后镜面(42)生成在第二角度范围内的第二部分视场(36)，其中第一角度范围和第二角度范围不重合并通过未被监控的角度范围彼此隔开。

Description

用于获取三维图像数据的3D相机
技术领域
本实用新型涉及一种根据借助用于扩展视场的反射镜光学元件来获取三维图像数据的3D相机。
背景技术
与传统的相机相比，3D相机也采集深度信息并因此通过3D图像各个像素的间距值或距离值生成三维图像数据，所述3D图像也被称为距离图像或深度图。额外的距离维度可在多种应用中使用，以获取更多有关由相机所捕获的场景中对象的信息，从而解决工业传感器领域中的不同任务。
在自动化技术中可借助三维图像数据来采集对象并将其分类，以便根据所识别出来的对象(优选包括其位置和方向)来采取进一步的自动处理步骤。因此例如可有助于控制传送带上的机器人或各种致动器。
在移动应用中，不管是有司机的车辆如轿车(PKW)、载重汽车(LKW)、工作机或叉车还是无人驾驶的车辆如AGV(自动导引车)或搬运车，都应尽可能全面且三维地了解周围环境特别是计划的行驶路径。为此应该能使自主导航成为可能或给司机提供帮助，以便识别障碍，避免碰撞或便于装载和卸载包括纸箱、托盘、集装箱或拖车在内的在运货物。
各种用于确定深度信息的方法是已知的，如飞行时间测量法(Time-of-Flight)或立体视法。飞行时间测量法是发出光信号并测量截至接收到所传送的光信号的时间。此种测量法分为脉冲法和相位法。立体视法是以用两眼的空间视觉为基础，并在从不同视角拍摄的两张图片中寻找彼此关联的图像元素，根据其差异获悉立体相机的光学参数通过三角测量法来估计距离。立体系统可以被动运行(即仅使用环境光工作)，或具有 其本身的照明装置，所述照明装置优选生成照明图形，以便使得在无结构场景中也能估计距离。在例如由US 7 433 024已知的另一3D成像法中，照明图形仅由一台相机拍摄并通过图形分析来估计距离。
这种3D相机的视场(FOV，Field of View)自身通过鱼眼镜头被限制在小于180°且在实践中甚至通常限制在90°以下。通过使用多台相机来扩展视场是可能的，只是要付出大量的硬件成本和调节成本。
在例如根据US 6 157 018或WO 0 176 233 A1的现有技术中已知了各种反射镜光学元件，以便实现全景3D成像。这种相机因组合成像光学元件和串联的反射镜光学元件而被称为反射折射相机。Nayar和Baker在1997年5月在新奥尔良出版的1997DARPA Image Understanding Workshop论文集第1341-1437页的“Catadioptric image formation(反折射成像)”一文中指出，必须满足所谓的单视点条件来进行畸变校正。所述条件指定用于普通的反射镜形状如椭圆反射镜、抛物面反射镜、双曲面反射镜和锥形反射镜。
或者也可使用多个连续排列的反射镜，例如EP 1 141 760 B1或US 6 611 282 B1中就是如此。EP 0 989 436 A2公开一种具有镜元件的立体全景系统，它的形状像一个具有方形底面的倒金字塔。在US 7 710 451 B1中，借助镜元件来划分相机的视场，从而产生两个虚拟相机，其被用作立体相机。WO 2012/038601 A1给两个图像传感器分别分配反射镜光学元件，以便能够立体捕获360°范围。在US 6 304 285 B1中使用的一种相似的结构(但其具有另外一种反射镜形状)中，在三角测量法中使用了结构化的光源和单相机。这会导致结构高度过高。此外反射镜光学元件像总体结构一样复杂，因此不可低成本生产。
实用新型内容
因此本实用新型的任务在于，用简单的方法来扩展3D相机的视场。
此任务通过第一方面所述的用于获取三维图像数据的3D相机得以实现。同时本实用新型的基本思路是，对两部分视场进行监视，即借助反射 镜光学元件将3D相机变成双向相机。为此反射镜光学元件优选具有正好两个镜面，所述镜面分别产生相应的部分视场。于是两个单独的部分视场被监视，所述部分视场分别延伸一定的角度范围。这两个部分视场最好也由两个角度范围隔开，所述角度范围不能被两个镜面捕获，致使在这些角度中不会产生3D图像数据。这类具有两个镜面的反射镜光学元件允许相对于全景3D相机明显简化反射镜光学元件的结构化设计。同时双向图像捕获恰好对车辆特别有利。原因在于，尽管有些车辆可以在任意方向上运动，但是通常将所述运动限制在向前或向后运动，并且侧向运动或旋转是不可行的。因此只要捕获车辆前面和后面的区域就足够了。
本实用新型具有这样的优点，即3D相机可用非常简单的方式进行扩展。本实用新型所使用的反射镜光学元件甚至适合将传统的视场小的3D相机改装成双向相机。这便于使用和转换成为根据本实用新型的3D相机。三维环境探测变得尤为紧凑、高效且便宜。此外，双向3D相机具有较小的结构尺寸，特别是结构高度，从而使得将其应用到车辆上时它最多略微突出于车辆。
反射镜光学元件的形状优选类似屋脊，其脊部与图像传感器的光轴垂直定向并面朝图像传感器，从而使屋脊面构成前镜面和后镜面。有意形象地选择了屋脊这一术语。或者可将这种形状称为楔形，数学上称三棱镜更准确。然而这些术语都是广义上的理解。首先不要求规律性，外表面也不必是平的，而是也可具有曲度，而这对于屋脊而言至少是不常见的。再则还只取决于两个面，这两个面相当于屋脊的实际屋脊面，因为它们是两个镜面。其余的几何形状在光学上不起作用且可符合结构化要求。还包括在内的是，反射镜光学元件的屋脊仅被缩减到镜面。
在一种优选实施形式中，所述屋脊结构是规则且对称的。同时三角形底面是等腰的，脊部与所述底面及三角形底面的对称轴垂直，并通过三角形底面的、两边相交的顶点。于是产生两个相似的、特别也是平的、尺寸和斜度相同的镜面并因此产生两个相似的第一和第二部分视场。由此避免图像的径向畸变，垂直分辨率只可线性变化，且使简单的图像变换成为可能。此外这种反射镜光学元件可以简易而精确地制造出来。
所述脊部优选与图像传感器的光轴有偏移地布置。为此，图像传感器的较大部分面积被分配给其部分视场中的一个，因此其中一个部分视场相应地以另一部分视场为代价得以变大。
前镜面和后镜面优选具有不同的尺寸。这指的是相关的面积，即实际上位于图像传感器视场中的部分。例如如果是类似屋脊形状的反射镜光学元件，则将其中一个屋脊面移至比另一个屋脊面低。再次用同样的方法以另一部分视场为代价来使一个部分视场变大。
前镜面优选具有相对于图像传感器光轴与后镜面不同的斜度。因此被监视的部分视场在不同的高度角中。若镜面不平，则斜度不是指局部斜度，而是指全部的整体斜度，例如连接各屋脊面的最外侧点的割线(Sekante)。
镜面中的至少一个镜面具有至少部分为凸形或凹形的轮廓。所述轮廓在一种实施形式中遍及整个镜面。可选地，曲度和由此产生的部分视场甚至要进行局部调整。
所述轮廓优选在图像传感器的光轴方向上构造。所述光轴的方向也被称为高度方向。而凹曲度则意味着更多横向视角，即视场在高度方向的宽度更大，为此每个角度范围的像素会少一些或分辨率低一些，而凸曲率则相反。
所述轮廓优选环绕图像传感器的光轴构造，以便改变第一角度范围和/或第二角度范围。这种轮廓改变所属部分视场的角度范围，所述角度范围在凹曲度时在受到分辨率损失的情况下而变大，在凸曲率时则相反。若曲率只是局部形成的，则也只会在受到影响的部分角度范围产生效果。由于反射镜光学元件被分成前镜面和后镜面两部分，故这种轮廓比在传统的全景反射镜光学元件的情况下更平。
3D相机优选构造成立体相机，并因此具有至少两个相机模块(其在相互偏移角度分别带图像传感器)并且具有立体视觉单元，其中通过立体算法将两个相机模块所拍摄图像中彼此关联的部分区域识别出来并借助视差计算其距离，其中每个相机模块借助布置在图像传感器前面的具有前镜面和后镜面的反射镜光学元件构造成双向相机。所述反射镜光学元件可具 有在本文中所描述的任意形状，但是其结构优选对所有相机模块而言至少基本上类似，这是因为当偏差过大时会更难找到或无法找到立体算法中的匹配对象。
反射镜光学元件优选具有环绕所属图像传感器的光轴的凸形轮廓，所述轮廓正好弯曲成使得相应相机模块的未被监控的角度范围通过其它相机模块与阴影区一致。这利用了被分成两部分的反射镜光学元件的优势。全景反射镜光学元件可能会更复杂以及有更强的畸变，尽管额外的可视范围无论如何都会因阴影而丢失。
3D相机优选具有照明单元用于在监控区域中生成结构化的照明图形，其中在所述照明单元前面布置了具有前镜面和后镜面的反射镜光学元件。所述反射镜光学元件原则上也可具有任何在本文中所述的形状。与立体相机的相机模块相比，也不必强调所述反射镜光学元件与其它反射镜光学元件类似，尽管这可能会因易于制造和加工而在此处有利。
3D相机优选构造成飞行时间相机并因此具有照明单元和飞行时间单元，以便确定光信号的飞行时间，所述光信号由照明单元发出，传送到监控区域中的对象上并在图像传感器中被捕获。在这一过程中，照明单元和图像传感器或传感单元优选分别具有反射镜光学元件。再则照明单元可具有多个光源，所述光源分别单独具有、成组具有或整体具有反射镜光学元件。所述反射镜光学元件也可具有任何在本文中所描述的形状且它们优选是相同的。
优选将反射镜光学元件构造成共同的部件。每当需要多个反射镜光学元件时，例如为了将立体相机的两个模块或立体相机、单相机或飞行时间相机的照明模块和检测模块的视场和照明场划分开来，用这种方式可节省至少一个单独的部件。如此一来所述系统变得更稳健，此外还更容易制造和调节。共同的部件特别易于制造，条件是所述反射镜光学元件都相同，且其在彼此相互偏移地布置方向上被构造成是平的。
附图说明
下面借助实施形式并参考附图也对本实用新型的其它特征和优点示例性地进行详细描述。附图中的图片示出：
图1为立体3D相机的框图；
图2为飞行时间相机的框图；
图3a为有带双向3D相机的车辆的侧视图；
图3b为根据图3a的车辆的顶视图；
图4为具有反射镜光学元件的双向3D相机的侧视图；
图5为立体相机的顶视图，该立体相机具有照明装置和分别分配给模块的反射镜光学元件；
图6a为双向3D相机的侧视图，该3D相机具有按一定规律构造的反射镜光学元件；
图6b为与图6a类似的侧视图，其中具有不同斜度的镜面；
图6c为与图6a类似的侧视图，其中具有横向偏移的反射镜光学元件；
图6d为与图6a类似的侧视图，其中具有弯曲的镜面；
图7a为立体3D相机的顶视图，该立体3D相机具有二面的反射镜光学元件和阴影区；
图7b示出了反射镜光学元件，其中双向3D相机的镜面的部分视场间的盲区因镜面的圆周凸形轮廓而恰好与图7a所示阴影区一致；
图8a为飞行时间相机的顶视图，该飞行时间相机具有照明装置和分别分配给模块的反射镜光学元件；
图8b为与图8a类似的飞行时间相机的示意性顶视图，该飞行时间相机具有照明光源和分配给这些光源的反射镜光学元件的第一种变体；
图8c为与图8a类似的飞行时间相机的示意性顶视图，该飞行时间相机具有照明光源和分配给这些光源的反射镜光学元件的第二种变体。
具体实施方式
图1以框图形式首先示出了不具有根据本实用新型的反射镜光学元件的3D相机10的一般结构，所述3D相机用于拍摄监控区域或空间区域12的深度图。所述深度图例如被用于进一步分析以上提及的应用。
在3D相机10中，两个相机模块14a-b以已知固定的间距进行安装且分别拍摄空间区域12的图像。在每台相机中都设置了图像传感器16a-b，通常为拍摄矩形像素图像的矩阵式摄像芯片，例如CCD传感器或CMOS传感器。图像传感器16a-b分别被分配有成像光学元件的物镜，所述物镜被描述成透镜18a-b且实际上可作为任意已知的成像光学元件来实现。
在两个相机模块14a-b的中间位置示出了具有光源22的照明单元20。这种空间排布仅作为示例来理解，且相机模块14a-b和照明单元20相互定位的含义会在下文详细讲述。所述照明单元20借助空间区域12中的图形生成元件24生成结构化的照明图形。所述照明图形应该优选为至少局部清楚或不自相似，以便照明图形的结构不会导致伪相关，或将照明区域清楚地标识出来。
组合的分析和控制单元26与两个图像传感器16a-b和照明单元20连接。借助分析和控制单元26来生成结构化的照明图形，而且它还接收图像传感器16a-b的图像数据。分析和控制单元26的立体视觉单元28用已知的立体算法从这些图像数据中计算出空间区域12的三维图像数据(距离图像，深度图)。
3D相机10能够通过输出端30输出深度图或其它测量结果，例如相机模块14a-b的原始图像数据，但是也可以是分析结果(如对象数据)或特定对象的识别。特别地，在安全技术相关应用中可将未经允许侵入保护区识别出来，所述保护区在空间区域12中进行了定义，这可能会导致显示与安全相关的关闭信号。为此，输出端30优选设计成安全输出端(OSSD，输出信号转换装置)且3D相机总体上按照相关安全标准来防止出现故障地构造。
图2以另一个框图形式示出了作为飞行时间相机的3D相机10的另一种实施形式。同时在此处以及下文中，相同的参考标记表示相同的或相应的特征。鉴于描绘水平相对粗糙，飞行时间相机与立体相机的主要区别在 于缺少第二相机模块。这种结构也是一种使用投影法从照明图形根据距离变化来估计距离的3D相机。另一个区别在于，分析是不同的。为此在分析和控制单元26中设置飞行时间单元32来代替立体视觉单元28，所述飞行时间单元测量在发射出光和接收到光之间的飞行时间。飞行时间单元32也可直接集成到图像传感器16中，例如集成在PMD芯片(光子混合探测)中。因此3D相机中为投影法设置适用于分析照明图形的单元。
图3a和图3b用侧视图或顶视图示出了车辆100，所述车辆使用根据本实用新型的双向3D相机10监视其周围环境。为此在下面以各种实施形式说明的特殊反射镜光学元件被布置在传统的如图1和图2所示3D相机的后面。3D相机的视场通过所述反射镜光学元件被分成前部分视场34和后部分视场36两个部分。在图3b所示顶视图中，相应于绘图平面环绕车辆100的360°范围被分成部分视场34、36的两个受到监视的角度范围φ1，φ2和位于其之间的未被监视的角度范围。用这种方式可以有针对性地用同一台3D相机10来监视车辆100的前面和后面的空间区域。在图3a-b中还给所述车辆100额外配备了两台激光扫描仪102a-b，它们的保护区104a-b被用于避免人员发生意外。只要3D监控尚不能实现与实时识别人员同等的可靠性，则出于安全技术方面的原因使用激光扫描仪102a-b。
图4用侧视图示出了反射镜光学元件38的第一个实施例。所述元件具有三棱镜形状，其在侧视图中仅可识别出被构造成等腰三角形的底面。由于涉及直角三棱镜，因此所述底面在各切割高度上其形状和位置相同。为了清楚起见，所述三棱镜的几何形状在下文中被称为屋脊。同时要注意的是，所述屋脊的规则且对称的形状首先仅指定用于此实施例。在其它实施形式中，形状和位置因角度和侧面改变而变化并且甚至会因侧面弯曲而变化。构成前镜面40和后镜面42的、所述屋脊的各个屋脊面在光学上是相关的。将反射镜光学元件构造成巨大的屋脊，这在结构上是特别简单的。但几乎可任意地对该结构进行变形，只要屋脊面依然存在即可，并且这些变体仍然被理解成屋脊的形状。
3D相机10自身在这里只基本上通过其图像传感器16和其接收光学元件18来描述。在无反射镜光学元件38时产生具有孔径角θ的视场44，所 述视场关于图像传感器16的光轴46对称地延伸。在该视场44中，具有屋脊脊部的反射镜光学元件38朝下布置，使得光轴46垂直通过该脊部且特别是通过脊部中心，其中光轴46还同时构成屋脊的三角形底面的对称轴。用这种方式将视场44分成两个部分视场34，36，它们基本上与光轴46垂直。部分视场34、36相对于光轴46的准确取向取决于反射镜光学元件的几何形状。因此在车辆上使用相机的示例中，3D相机10向上看去，而其视场则被反射镜光学元件36分成朝向前的部分视场34和朝向后的部分视场36。
图5示出了构造成立体相机的3D相机10的顶视图。分别在相机模块14a-b和照明单元20之前设有反射镜光学元件38a-c。这优选为彼此类似的反射镜光学元件38a-c，特别是用于相机模块14a-b的反射镜光学元件38a-b，以便不给立体算法提供不必要的失真。相机模块14a-b和照明单元20的各个视场和照明场通过反射镜光学元件38a-c分别分成前部分场和后部分场。作为有效的前部分视场34和后部分视场36产生重叠区，两个相机模块14a-b在该重叠区内获取图像数据并将场景照亮。该区域在图5中特别小，原因在于此图中仅示出了近距离范围。
在另一个未被示出的可选实施形式中，反射镜光学元件38a-c被设计成共同的组件。这特别在如下情况中是可能的，即在反射镜光学元件38a-c被彼此偏移地布置的方向上没有设置曲度，下文所描述的实施形式中有许多就是如此。
图6用侧视图示出了反射镜光学元件38的各种实施形式，以及因此产生的部分视场34、36。其中图6a大体上与图4一致，且被视为用于阐述众多可能变体形式中的一些变体形式的起始点。这些变体也可彼此组合，以便得到其它的实施形式。
借助图6来阐述的实施形式共有的特点是，前镜面40和后镜面42在用y表示的、与绘图平面垂直的方向没有形状变化。若将光轴46的方向理解成高度方向，则镜面40，42在所有高度剖面中仍然是平的。这种特征的优点在于，无需对立体算法进行调节，或无需对被投影的照明图形的三角测量分析进行调节。其原因在于，不管怎样照明图形的视差估计或相 关性分析只在y方向进行，即在同一高度进行，而在该高度上没有任何失真会被引入。
此外，若根据图6a的反射镜光学元件38是规则且对称的，则屋脊的屋脊面是平的且彼此等大，其中前镜面40和后镜面42在此处通常被称为屋脊面。相对于光轴46，倾斜角α1，α2也相同。为此，光均匀且同质地偏转到前后方向上或从前后方向上偏转出来。部分视场34、36彼此等大且具有同一垂直方向，所述方向由倾斜角α1＝α2来确定。
图6b示出了另一种变体，其中两个倾斜角α1，α2不同。由此使得镜面中的一个镜面42比另一个镜面40大，以便反射镜光学元件38充分利用原始视场44。或者可选地，在当镜面40，42大小一样时通过将脊部相对于光轴46偏移也可实现这一点。
不同的倾斜角α1，α2会导致部分视场34、36的垂直取向不同。举例来说，为了在车辆100前面监控接近地面的区域，以及在车辆100后面监控在地面上方(如拖车上部)的空间区域，这样做可能是有利的。
图6c示出了具有反射镜光学元件38偏心位置的实施形式。此时顶脊部获得相对于光轴46的偏移量Δx。同时视场44被进一步完全覆盖，方式是根据偏移量来增大其中一个镜面40并缩小另一个镜面42。由此，图像传感器16的像素或其表面分布不均匀，并产生具有较大孔径角θ1的较大部分视场34和具有较小孔径角θ2的较小部分视场36。当往前需要的视场比向后需要的视场大或往前需要的测量点比向后需要的测量点多时，例如这在车辆100中是有用的。
图6d示出了一种实施形式，其中镜面40、42不再是平的，而是具有曲度或轮廓。但是所述曲度仍局限于由光轴46指定的高度方向。此外镜面在横向方向上，即在同一高度上，相应于用y方向表示的垂直于绘图平面的垂直线是平的。测量点的密度会因凹曲度(如前镜面40的凹曲度)而提高，并因此在所属部分视场34中的垂直分辨率会以垂直孔径角θ1减少为代价而增加。相反地，可通过凸曲率(如后镜面42的凸曲率)来减少测量点的密度，以便以分辨率变差为代价来得到较大的垂直孔径角θ2。
作为另一种变体，可统一地设置也可只部分地设置曲度或轮廓来代替图6d中所述。例如给镜面40、42设置s形的轮廓，所述轮廓的上部是凸的而下部则是凹的。由此，在部分视场34、36内的测量点的密度会改变。用类似的方法可组合任意区段，特别是抛物线、双曲线、球形、锥形或者椭圆形区段，以便实现将可用测点分布到一定高度且所述分布是所期望的并适合应用。
根据图6所述的实施形式可以互相组合。这样会产生许多镜面40、42变体，而且这些镜面具有不同的倾斜角和尺寸，相对于光轴的偏移量也不同，而且在高度方向上的轮廓也不一样，其中相应的单独描述的效果互相补充。
在根据图6所述的实施形式中，镜面40、42在用y表示的方向上，即在相对于光轴46的同一高度上是平的，并因此不具有轮廓，而现在借助图7来描述另一种实施形式，该实施形式在同一高度还具有圆周轮廓。但在以单光三角测量或立体三角测量为基础的3D相机10中，即分析被投影的照明图形或立体算法时，需要畸变校正图像或调节分析。
类似于传统的全景反射镜光学元件，圆周轮廓应该满足上文提及的单视点条件，也就是说例如应该为椭圆形、双曲线或锥形，以便能够无损失地进行畸变校正。但是与传统的反射镜光学元件不同的是不会产生360°全景视野，而是仍会产生两个分开的，通过未被监视的角度范围彼此隔开的部分视场34、36。
如果再进一步观察根据图7a所示的顶视图中的立体3D相机10，则会看出，两个相机模块14a-b彼此部分遮蔽，如用暗区48a-b所示出的。若现在反射镜光学元件38a-b允许全景视角，则会送出图像传感器16的可用像素中的一部分，因为所述反射镜光学元件只可拍摄被遮蔽的暗区48a-b，而该暗区不可用于3D分析。
因此在如图7b所示的根据本实用新型的实施形式中选择了反射镜光学元件38，其上的两个镜面40、42因其圆周轮廓恰好不能捕获与暗区48a-b一致的角度范围。因此所有可用的像素被集中在部分视场34、36上。所述反射镜光学元件38具有明显小得多的曲度也行并因此引入更小的失真。
图8a根据图2的基本结构用顶视图示出了作为飞行时间相机的3D相机10的另一种实施形式。相机模块14和照明20分别有反射镜光学元件38a-b，以便划分视场或照明场。因此在重叠区域中产生受到监控的部分视场34、36。飞行时间相机对于畸变较不敏感，从而使得在y方向上有可能有轮廓而且无需进行复杂的图像畸变校正或调节分析。
如图8b和8c所示，这些附图中示出了根据图8a的飞行时间相机变体的顶视图，照明单元20可具有多个光源或照明单元20a-c。在不同实施形式中，照明单元20a-c共有，成组具有或者甚至单独具有反射镜光学元件38a-c。

Claims (14)

1.一种3D相机(10)，所述3D相机(10)具有至少一个用于从监控区域(12、34、36)获取三维图像数据的图像传感器(16、16a-b)，以及布置在所述图像传感器(16、16a)前面的用于扩展视场(44)的反射镜光学元件(38)，其特征在于，所述反射镜光学元件(38)具有前镜面(40)和后镜面(42)，并且在图像传感器(16、16a-b)的视场(44)中被布置成，使得前镜面(40)生成在第一角度范围内的第一部分视场(34)而后镜面(42)生成在第二角度范围内的第二部分视场(36)，其中第一角度范围和第二角度范围不重合并通过未被监控的角度范围彼此隔开。
2.如权利要求1所述的3D相机(10)，其中所述反射镜光学元件(38)以类似屋脊的形式构造，所述屋脊的脊部垂直于所述图像传感器(16、16a-b)的光轴(46)定向并且朝向图像传感器(16、16a-b)，从而使得屋脊面构成所述前镜面(40)和后镜面(42)。
3.如权利要求2所述的3D相机(10)，其中所述屋脊被规则且对称地构造。
4.如权利要求2或3所述的3D相机(10)，其中所述脊部与所述图像传感器(16、16a)的光轴(46)有偏移地布置。
5.如权利要求1所述的3D相机(10)，其中所述前镜面(40)和后镜面(42)具有不同的尺寸。
6.如权利要求1所述的3D相机(10)，其中所述前镜面(40)具有与所述后镜面(42)不同的、相对于图像传感器(16、16a-b)的光轴(46)的斜度。
7.如权利要求1所述的3D相机(10)，其中镜面(40，42)中的至少一个镜面至少部分地具有凸形或凹形的轮廓。
8.如权利要求7所述的3D相机(10)，其中所述轮廓在所述图像传感器(16、16a-b)的光轴(46)方向上构造。
9.如权利要求7所述的3D相机(10)，其中所述轮廓环绕所述图像传感器(16、16a-b)的光轴(46)构造，以便改变第一角度范围和/或第二角度范围。
10.如权利要求1所述的3D相机(10)，所述3D相机(10)被构造成立体相机，并因此具有立体视觉单元(28)和至少两个相机模块(14a-b)，所述至少两个相机模块(14a-b)在相互偏移角度分别带有图像传感器(16a-b)，其中借助于立体算法将两个相机模块(14a-b)所拍摄图像中彼此关联的部分区域识别出来并借助视差计算其距离，其中每个相机模块(14a-b)借助布置在所述图像传感器(16、16a-b)前面的具有前镜面(40)和后镜面(42)的反射镜光学元件(38a-b)构造成双向相机。
11.如权利要求10所述的3D相机(10)，其中所述反射镜光学元件(38a-b)具有环绕所属图像传感器(16a-b)的光轴(46)的凸形轮廓，所述轮廓正好弯曲成使得相应的相机模块(14a-b)的未被监控的角度范围通过其它相机模块(14a-b)与阴影区一致。
12.如权利要求10所述的3D相机(10)，所述3D相机(10)具有用于在监控区域(12)生成结构化的照明图形的照明单元(20)，其中所述照明单元(20)前面布置了具有前镜面(40)和后镜面(42)的反射镜光学元件(38c)。
13.如权利要求1所述的3D相机(10)，所述3D相机(10)被构造成飞行时间相机并因此具有照明单元(20)和飞行时间单元(32)，以便确定光信号的飞行时间，所述光信号由所述照明单元(20)发出，传送到在所述监控区域(12)内的对象上并在图像传感器(16)中被捕获。
14.如权利要求10所述的3D相机(10)，其中所述反射镜光学元件(38a-c)被构造成共同的组件。
CN201420375463.1U 2013-08-06 2014-07-08 用于获取三维图像数据的3d相机 Active CN204229115U (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP13179412.5A EP2835973B1 (de) 2013-08-06 2013-08-06 3D-Kamera und Verfahren zur Erfassung von dreidimensionalen Bilddaten
EP13179412.5 2013-08-06

Publications (1)

Publication Number Publication Date
CN204229115U true CN204229115U (zh) 2015-03-25

Family

ID=48914172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201420375463.1U Active CN204229115U (zh) 2013-08-06 2014-07-08 用于获取三维图像数据的3d相机

Country Status (4)

Country Link
US (1) US20150042765A1 (zh)
EP (1) EP2835973B1 (zh)
CN (1) CN204229115U (zh)
DK (1) DK2835973T3 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105301600A (zh) * 2015-11-06 2016-02-03 中国人民解放军空军装备研究院雷达与电子对抗研究所 一种基于锥形反射镜的无扫描激光三维成像装置
CN110072750A (zh) * 2016-12-16 2019-07-30 本田技研工业株式会社 车辆控制装置和方法
CN110579749A (zh) * 2018-06-11 2019-12-17 视锐光科技股份有限公司 飞行时间测距装置以及辨识图像的方法
CN110595390A (zh) * 2019-09-02 2019-12-20 深圳技术大学 基于四棱锥反射镜条纹投影装置及三维重建成像系统
CN110595389A (zh) * 2019-09-02 2019-12-20 深圳技术大学 基于单目镜头的采集装置及三维重建成像系统
CN110617780A (zh) * 2019-09-02 2019-12-27 深圳技术大学 激光干涉装置及应用该激光干涉装置的三维重建成像系统
CN110617781A (zh) * 2019-09-02 2019-12-27 深圳技术大学 基于双目镜头的采集装置及三维重建成像系统
CN111953875A (zh) * 2020-08-12 2020-11-17 Oppo广东移动通信有限公司 深度检测组件及电子设备
WO2021208041A1 (zh) * 2020-04-16 2021-10-21 华为技术有限公司 一种光发射组件、飞行时间摄像模组及移动终端
CN114527551A (zh) * 2022-01-27 2022-05-24 西安理工大学 基于圆锥镜面反射的目标外壁全貌成像系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6132659B2 (ja) * 2013-02-27 2017-05-24 シャープ株式会社 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
US10291329B2 (en) * 2013-12-20 2019-05-14 Infineon Technologies Ag Exchanging information between time-of-flight ranging devices
US11288517B2 (en) * 2014-09-30 2022-03-29 PureTech Systems Inc. System and method for deep learning enhanced object incident detection
CN105589463A (zh) * 2016-03-15 2016-05-18 南京亚标机器人有限公司 一种激光扫描仪内置的自动导引小车
US9992480B1 (en) 2016-05-18 2018-06-05 X Development Llc Apparatus and methods related to using mirrors to capture, by a camera of a robot, images that capture portions of an environment from multiple vantages
DE102017107903A1 (de) * 2017-04-12 2018-10-18 Sick Ag 3D-Lichtlaufzeitkamera und Verfahren zur Erfassung dreidimensionaler Bilddaten
US10440349B2 (en) * 2017-09-27 2019-10-08 Facebook Technologies, Llc 3-D 360 degrees depth projector
JP6971470B2 (ja) * 2018-01-09 2021-11-24 ＩＴＤ Ｌａｂ株式会社 カメラ用支持装置、及び、これを用いたステレオカメラ、並びに、マルチステレオカメラ
US11353588B2 (en) * 2018-11-01 2022-06-07 Waymo Llc Time-of-flight sensor with structured light illuminator
KR101995344B1 (ko) * 2019-01-22 2019-07-02 김흥수 사각지역이 없는 듀얼 깊이 카메라 모듈
EP3748393A1 (en) * 2019-06-04 2020-12-09 Jabil Optics Germany GmbH Surround-view imaging system
CN111618856B (zh) * 2020-05-27 2021-11-05 山东交通学院 基于视觉兴奋点的机器人控制方法、系统及机器人
CN112666955B (zh) * 2021-03-18 2021-07-06 中科新松有限公司 用于轨道物料输送车的安全保护方法及安全保护系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5666227A (en) * 1994-05-02 1997-09-09 Ben-Ghiath; Yehoshua Passive panoramic viewing systems
CN2240156Y (zh) * 1995-01-16 1996-11-13 宛晓 立体照像机
JP3086204B2 (ja) 1997-12-13 2000-09-11 株式会社アコウル 全方位撮影装置
US20010015751A1 (en) 1998-06-16 2001-08-23 Genex Technologies, Inc. Method and apparatus for omnidirectional imaging
US6304285B1 (en) 1998-06-16 2001-10-16 Zheng Jason Geng Method and apparatus for omnidirectional imaging
US6141145A (en) 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
CA2358220A1 (en) 1999-01-04 2000-07-13 Cyclovision Technologies, Inc. Panoramic imaging apparatus
US7710451B2 (en) 1999-12-13 2010-05-04 The Trustees Of Columbia University In The City Of New York Rectified catadioptric stereo sensors
WO2001080545A2 (en) * 2000-04-19 2001-10-25 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for capturing and viewing stereoscopic panoramic images
JP3841621B2 (ja) * 2000-07-13 2006-11-01 シャープ株式会社 全方位視覚センサー
GB2368221A (en) * 2000-08-31 2002-04-24 Lee Scott Friend Camera apparatus having both omnidirectional and normal view imaging modes.
US6744569B2 (en) * 2001-06-19 2004-06-01 Genex Technologies, Inc Method and apparatus for omnidirectional three dimensional imaging
US6917701B2 (en) * 2001-08-29 2005-07-12 Intel Corporation Omnivergent stereo image capture
JP2004257837A (ja) * 2003-02-25 2004-09-16 Olympus Corp ステレオアダプタ撮像システム
KR101256391B1 (ko) * 2004-10-08 2013-04-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 테스트 표면의 광학 검사
JP4917615B2 (ja) * 2006-02-27 2012-04-18 プライム センス リミティド スペックルの無相関を使用した距離マッピング（ｒａｎｇｅｍａｐｐｉｎｇ）
CN102298216A (zh) * 2010-06-25 2011-12-28 韩松 一种用于普通照相机或摄像机的立体镜头
DE102010036775A1 (de) * 2010-07-30 2012-02-02 Sick Ag Entfernungsmessender optoelektronischer Sensor zur Montage an einer Durchgangsöffnung
FI20105977A0 (fi) 2010-09-22 2010-09-22 Valtion Teknillinen Optinen järjestelmä
US20120154535A1 (en) * 2010-12-15 2012-06-21 Microsoft Corporation Capturing gated and ungated light in the same frame on the same photosurface
EP2772676B1 (de) * 2011-05-18 2015-07-08 Sick Ag 3D-Kamera und Verfahren zur dreidimensionalen Überwachung eines Überwachungsbereichs

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105301600A (zh) * 2015-11-06 2016-02-03 中国人民解放军空军装备研究院雷达与电子对抗研究所 一种基于锥形反射镜的无扫描激光三维成像装置
CN105301600B (zh) * 2015-11-06 2018-04-10 中国人民解放军空军装备研究院雷达与电子对抗研究所 一种基于锥形反射镜的无扫描激光三维成像装置
CN110072750A (zh) * 2016-12-16 2019-07-30 本田技研工业株式会社 车辆控制装置和方法
CN110072750B (zh) * 2016-12-16 2021-12-28 本田技研工业株式会社 车辆控制装置和方法
CN110579749A (zh) * 2018-06-11 2019-12-17 视锐光科技股份有限公司 飞行时间测距装置以及辨识图像的方法
CN110617780A (zh) * 2019-09-02 2019-12-27 深圳技术大学 激光干涉装置及应用该激光干涉装置的三维重建成像系统
CN110595389A (zh) * 2019-09-02 2019-12-20 深圳技术大学 基于单目镜头的采集装置及三维重建成像系统
CN110617781A (zh) * 2019-09-02 2019-12-27 深圳技术大学 基于双目镜头的采集装置及三维重建成像系统
CN110617780B (zh) * 2019-09-02 2021-11-09 深圳技术大学 激光干涉装置及应用该激光干涉装置的三维重建成像系统
CN110595390A (zh) * 2019-09-02 2019-12-20 深圳技术大学 基于四棱锥反射镜条纹投影装置及三维重建成像系统
WO2021208041A1 (zh) * 2020-04-16 2021-10-21 华为技术有限公司 一种光发射组件、飞行时间摄像模组及移动终端
CN115380238A (zh) * 2020-04-16 2022-11-22 华为技术有限公司 一种光发射组件、飞行时间摄像模组及移动终端
CN111953875A (zh) * 2020-08-12 2020-11-17 Oppo广东移动通信有限公司 深度检测组件及电子设备
CN111953875B (zh) * 2020-08-12 2022-02-15 Oppo广东移动通信有限公司 深度检测组件及电子设备
CN114527551A (zh) * 2022-01-27 2022-05-24 西安理工大学 基于圆锥镜面反射的目标外壁全貌成像系统

Also Published As

Publication number Publication date
EP2835973B1 (de) 2015-10-07
US20150042765A1 (en) 2015-02-12
EP2835973A1 (de) 2015-02-11
DK2835973T3 (da) 2015-11-30

Similar Documents

Publication Publication Date Title
CN204229115U (zh) 用于获取三维图像数据的3d相机
CN101825431B (zh) 用于三维传感的参考图像技术
JP7157054B2 (ja) 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション
US11002537B2 (en) Distance sensor including adjustable focus imaging sensor
EP3113146B1 (en) Location computation device and location computation method
US9686532B2 (en) System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices
JP4918676B2 (ja) 校正装置および校正方法
CN108692719B (zh) 物体检测装置
CN102927908B (zh) 机器人手眼系统结构光平面参数标定装置及方法
KR102516326B1 (ko) 이미지 라인들로부터의 카메라 외부 파라미터들 추정
CN107122770B (zh) 多目相机系统、智能驾驶系统、汽车、方法和存储介质
EP3113147B1 (en) Self-location calculating device and self-location calculating method
CN102798350A (zh) 一种臂架挠度的测量方法、装置及系统
EP3664447A1 (en) Structured light projector, three-dimensional camera module and terminal device
US20110090317A1 (en) Stereovision system and method for calcualting distance between object and diffractive optical element
Xu et al. An omnidirectional 3D sensor with line laser scanning
EP3505865A1 (en) On-vehicle camera, method for adjusting on-vehicle camera, and on-vehicle camera system
CN103486979A (zh) 混合系统
Zhang et al. Development of an omni-directional 3D camera for robot navigation
CN101981407A (zh) 底盘测量系统以及确定底盘测量系统的测量头的位置参量的方法
CN112602117A (zh) 图像处理装置和三维测量系统
CN103630118B (zh) 一种立体高光谱成像装置
US20210132382A1 (en) Distance measurement device, head-mounted display device, mobile information terminal, image display device, surroundings monitoring system, and distance measurement method
Schönbein et al. Panoramic 3d reconstruction with three catadioptric cameras
CN105737803B (zh) 航空双面阵立体测绘系统

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant