CN104519343A - 根据立体视图原理的3d相机和用于获取深度图的方法 - Google Patents

Abstract

本发明涉及根据立体视图原理的3D相机和用于获取深度图的方法。本发明提出了一种根据用于获取监控区域的深度图的立体视图原理的3D相机(10)，其具有：至少两个相机模块，其中每一个都具有在相互偏移角度下的图像传感器以拍摄二维原始图像；以及，立体视图单元，其被设计用于使用立体视图算法来生成深度图，方式是将两张从偏移角度拍摄的二维图像中彼此关联的部分区域在视差范围内识别出来并借助视差计算其距离。设置像素组合单元，以通过组合来自二维图像的多个像素生成分辨率较低的二维中间图像，还设置合成单元，其将至少两张深度图合并成共同的深度图，其中至少一张深度图由中间图像生成。

Description

根据立体视图原理的3D相机和用于获取深度图的方法

本发明涉及根据权利要求1或10前序部分所述的一种根据立体视图原理的3D相机和一种用于获取深度图的方法。

与传统的相机相比，3D相机也采集深度信息，并因此通过关于3D图像各个像素的间距值或距离值生成三维图像信息，所述图像也被称为距离图像或深度图。额外的距离维度可在多种应用中使用，以得到更多有关由相机所获取的场景中对象的信息，从而解决工业传感器领域中的不同任务。

在自动化技术中可借助三维图像信息来获取对象并将其分类，以便根据其采取进一步的自动处理步骤，在所述步骤中识别对象，优选包括其位置和方向。因此例如可有助于控制机器人或传送带上的各种致动器。一种典型的安全技术上的应用是为危险性设备提供安全防护，例如为压力设备或机器人提供安全防护，在所述危险设备处当身体进入在机器周围的危险区域时便进行安全防护。

在移动应用中，不管是有司机的车辆如轿车(PKW)、载重汽车(LKW)、工作机或叉车还是无人驾驶的车辆如(AGV：自动导引车)或搬运车，都应尽可能全面且三维地获取周围环境，特别是计划的行驶路径。为此，应该有可能进行自主导航或给司机提供帮助，以便识别障碍，避免碰撞或便于装载和卸载包括纸箱、托盘、集装箱或拖车在内的在运货物。

一种已知的用于获得深度信息的方法是以人的双眼视觉为基础的立体视图。为此，两台相机从不同视角拍摄图像对(Bildpaar)，并在其中将彼此对应的像素或图像元素识别出来。其被称为视差的相互偏移代表了距离的测量，从而使得一旦获悉立体相机的光学参数就可通过三角测量法将相应的距离计算出来。立体系统可以被动运行，即仅用环境光运行，或具有自己的照明，所述照明优选生成照明图形，以便使得在无结构场景中也能够估计出距离。

对象的距离与相应的视差之间的关系不是线性的，而是双曲线型的。因此，近场中对应图像元素的相对位移大大增加。为此具有常规图像传感器的立体相机在近场中的分辨率比在远场中要精细得多，其中所述图像传感器等距地扫描场景。

在搜索相应的图像元素时，通过称之为视差范围的搜索区域来确定两个图像中的图像元素最大可以相距多远。视差范围对应于立体相机可获取的距离范围：为此较大的视差范围会导致更大、更广泛地延伸的距离范围，但需要的分析能力也越多。

然而，实际上通常并不需要在立体相机的近距离范围中有非常高的距离分辨率。但是由于在距离与视差之间的相互关系，在确定像素或图像元素匹配时大部分的分析成本都消耗在近距离范围。为了实时且有效地运行，可在能并行处理的模块上，如FPGA(现场可编程门阵列)上执行立体算法。如此一来可同时处理不同的图像部分。但在此过程中许多资源，如门或存储器不成比例地负责处理近距离范围并与此紧密相关。

因此，本发明的任务在于提供一种更有效的立体视图方法。

此任务通过权利要求1或10所述的根据立体视法的3D相机和用于获取深度图的方法得以实现。深度图，即三维图像信息(例如以距离值的像素解析矩阵形式的图像信息)是由立体视图算法构成，所述立体视图算法例如通过相关性来识别两个相机模块的两个图像中彼此对应的图像元素并根据视差计算出距离，即从像素的相互位移计算出距离。匹配对象只寻找到最大位移，所述位移由视差窗指定。

现在，本发明的基本思路是，用不同方式来处理近距离范围和远距离范围。为此从所拍摄的图像通过将多个像素相应地合并(“像素叠加”)首先生成分辨率较低的中间图像。从这些中间图像中通过立体算法构成分辨率被相应降低的，特别是边缘处分辨率被降低的深度图。由于分辨率有所降低，比在分析近距离范围中分辨率较高的原始图像时更小的视差范围就够了。从原始图像或额外的中间图像得到另一幅深度图，所述额外的中间图像具有的分辨率与最初通过另外将像素组合所观测到的中间图像的分辨率不同。由分辨率被降低的深度图和另外一幅深度图合并成共同的深度图。为此，共同的深度图有两个来源：一个是分辨率较高的深度图，其范围优选将更大的距离覆盖；另一个是分辨率被降低的深度图，其优选用于近距离范围且特别是对其进行最终补充。

本发明的优点在于，可大大降低近距离范围的分析成本。代价是近距离范围的距离分辨率较低，但由于在近距离范围中不成比例的精细的距离分辨率，因此所述距离分辨率较低这一情况实际上并不明显。因此通过明显降低的硬件成本或计算成本可将预先给定的距离范围覆盖。反过来在资源确定时可得到更大的可分析的距离范围。

优选使用两个以上的相机模块并成对地分析其图像。由此来防止细长结构的伪匹配(Scheinkorrespondenzen)，所述细长结构与两个相机模块的连接线平行地布置。

立体单元优选具有多通道结构，以便并行计算至少一个由第一对图像构成的第一深度图和由第二对图像构成的第二深度图。如此一来，近距离范围和远距离范围的距离信息的获取速度明显加快。根据本发明的方法接近所述并行处理的时间特性。因为对于近距离范围分析来说，由于像素组合，只需要较小的视差范围就够了。因此，特别是分析通道可用相同的视差范围来运行，并因此可更容易依次同步。原则上也有可能将原始图像或中间图像串行处理成深度图。优选地，还可在分析通道内进行进一步并行化处理，所述并行化同时处理各种图像部分。

像素组合单元优选设计用于分别将矩形或正方形的像素相邻区域从多个像素组合成一个像素。其中特别是原始图像的n*m个像素的矩形或n*n个像素的正方形分别组合成中间图像的一个像素。例如通过将每2*2个像素进行叠加来实现中间图像的分辨率减半。由于立体算法的相关性核心通常是逐行运行，因此n*1个像素的叠加也是可以设想的，即只在图像行内。因此，中间图像只在行方向损失分辨率，而在列方向没有损失分辨率。

像素组合单元优选被设计用于将组合的像素设置成待组合像素的平均值、最大值、最小值或中间值。此外，被组合像素的值一般为待组合像素的值的预定函数。所述函数可确保的是，被组合的像素尽可能好地描绘待组合的像素。此种用法(Sprachgebrauch)是根据单色图像数据，例如是根据灰值图像或亮度值图像。若为彩色图像，则应该用类似的方式相应地考虑各像素的其它值。

立体视图单元优选被设计用于确定所计算的距离的可靠性程度。此可靠性程度特别是直接与彼此对应的图像区域的一致性的质量有关。由于匹配情况通常通过相关性来识别，因此提供相应的相关系数时额外的花费很少或不需要额外花费。所测得距离的可靠性在后面的分析中可以代表重要信息。

合并单元优选被设计用于分别将根据两张深度图最可靠地确定的距离放在共同的深度图中。所述共同的深度图的值会超定(ü berbestimmt)，条件是两个引入的深度图提供距离值。然后，根据本实施形式，可靠性程度被用作决策准则，用于确定哪个距离值更好。

合并单元优选被设计用于在某种程度上将分辨率最高的深度图中的已有距离放在共同的深度图中并且根据分辨率较低的深度图只填补间隙(Lücke)。中间图像会因像素组合而损失分辨率。因此，如果立体算法用原始图像或使用分辨率最高的中间图像来计算距离的话，则这些值通常更好。接着通过由较低分辨率的中间图像构成的深度图来填充可能的间隙，其中视差范围是为较近的对象设计的。

优选使用近距离范围的被减小的深度图也是可以设想的，因为在不同的应用中，例如安全技术相关的对象在近距离范围内具有更重大的意义。在此形式中，被减小的深度图的间隙由高分辨率深度图的值来补充。

合并单元优选被设计用于通过复制像素来提高深度图的分辨率。这是一个中间步骤，以便在合并具有相同分辨率的深度图时能运行。简单来说，由此可将组合(“像素叠加”)反过来，正好还可借助被降低的信息实现(“升采样”)。一种简单的提高分辨率的方法在于，由分辨率低的深度图的每个原始像素生成具有原始像素值的n*m个像素。例如用于填充对象结构或平滑过渡而进行后处理也是可能的。

合并单元优选被设计用于合并三张或三张以上的具有不同分辨率的深度图。为此在这里不仅将距离范围划分成近距离范围和远距离范围，而且还增加至少一个中间区域，所述中间区域由具有不同分辨率的中间图像覆盖。因此可使用三张用于合并的深度图，它们分别来自原始图像，来自使用第一像素组合的第一中间图像对和使用第二像素组合的第二中间图像对，或可替代地使用三个中间图像对，其中所述三个中间图像对成对地使用不同的像素组合。在合并四张或四张以上的深度图时上述方法也同样适用。相应的视差范围和距离范围以及像素组合优选彼此匹配，由此使得共同的深度图整体覆盖作为3D相机的工作区的期望的距离范围。

根据本发明的方法可用类似的方式进一步改进并同时显示出类似的优点。所述有利的特征是示例性的，但是并不限于隶属于独立权利要求的从属权利要求所述的范围。

下面示例性地借助实施形式并参考附图来进一步详细说明本发明的其它特征和优点。附图中的图片示出：

图1为立体相机的示意性剖视图；

图2为用立体相机估计距离时的光学关系示意图；

图3示出了在统一分析立体相机的原始图像时视差和分辨率与距离相关的特性；

图4为使用额外的深度图的立体分析的框图，所述深度图来源于通过像素组合产生的中间图像和随后进行的合并；

图5为与图3类似的视图，示出了在原始图像和中间图像的两部分分析时视差和分辨率与距离相关的特性；

图6a示出了在统一分析时的原始图像和深度图；

图6b示出了原始图像，从中通过像素组合生成的中间图像，相应的根据原始图像和中间图像的深度图以及在合并深度图后得到的共同的深度图。

图1以框图形式示出了3D相机10的结构，所述3D相机10用于拍摄监控区域或空间区域12的深度图。其中两个相机模块14a-b以已知彼此间固定的间距进行安装并且分别拍摄空间区域12的图像。每台相机中都设置了图像传感器16a-b，通常为拍摄矩形像素图像的矩阵式摄像芯片，例如CCD传感器或CMOS传感器。图像传感器16a-b分别有一个成像光学元件的物镜，该物镜被表示成透镜18a-b并且实际上可作为任意已知的成像光学元件来实现。在两个相机模块14a-b之间示出了具有光源22的可选择的照明单元20，其空间排列仅理解为示例性的。

组合的分析和控制单元26与两个图像传感器16a-b和照明单元20连接，且具有立体单元28、像素组合单元30以及合并单元32。其中用待描述的方式用立体算法由图像传感器16a-b的图像信息来生成空间区域12的三维图像信息(距离图像，深度图)。分析和控制单元26可包括一个或多个数字模块，特别是具有被设计用于快速地、并行地处理大量数据的模块，例如FPGA(现场可编程门阵列)或GPU(图形处理单元)。

3D相机10能够通过输出端34输出深度图或其它测量结果，例如相机模块14a-b的原始图像信息，但是也可以是分析结果如对象数据或特定对象的识别。特别是在安全技术相关的应用中可将未经允许侵入保护区识别出来，所述保护区在空间区域12中进行了定义，这会导致输出与安全性相关的关闭信号。为此，输出端34优选被设计成安全输出端(OSSD，输出信号切换装置)且3D相机总体上按照相关安全标准来防止故障地构造。

图2示意性地显示了根据立体视法原理获取深度图和计算距离时的光学关系。两个相机模块14a-b具有图像传感器16a-b和被显示成透镜18a-b的物镜，这两个相机模块并排地并且根据彼此平行的光轴以沿着基线测得的基准距离b来布置。透镜18a-b的焦距为f。所获取的对象36在以物距z指示的距离处。由于图像传感器16a-b的角度不同，因此对象36的结构，所述结构例如在其中一个图像传感器16a的中心成像，而在另一个图像传感器16b上以偏移视差d成像。可获取的、从Z_min到Z_max的距离对应于视差区域38，在所述视差区域内搜寻在图像传感器16a-b的两个图像中相对应的图像元素。在视差d和距离z之间的关系用几何变量表示为z＝z’b/d≈fb/d，前提是物距z比像距z’大得多。

因此偏移量或视差反比于距离增加或以1/z增加。这样一来用于寻找匹配对象的成本被不成比例地增加，这是因为非常大的视差范围在极端情况下等于与基线平行的图像传感器16a-b每行的像素。同时，立体相机10的对象越靠近，距离分辨率就越好。图3示出了视差(虚线)和分辨率(实线，用对数表示)与距离相关的特性。

图4以框图形式示出了使用额外深度图的立体分析，所述额外深度图是由像素组合产生的中间图像以及随后进行的合并而生成的。这样一来有可能的是，在具有相对较小视差范围的近距离范围中也能识别对象36的匹配。同时，距离分辨率有所降低，以便节省费用，因为在近距离范围中通常不需要那么高的距离分辨率。

分析和控制单元26由两张图像的图像传感器16a-b引入分析周期以生成共同的深度图，所述两张图像在图4中被称为左图和右图。在图4的下部，分别用参考标记来命名分析和控制单元26的相关子单元28-32。此种任务分配是示例性的而不应僵化理解，因为单元28-32能够与在其它实施形式中的任务相互替代。

在第一通道内，直接将原始图像送入立体单元30，并在此处借助立体算法生成第一深度图。为此，如往常一样确定在所属视差范围内的视差。但是，该视差与3D相机10全部距离范围所需视差相比有所减小，例如减半，从而使得从第一通道的深度图中还可获取相对较远的，优选中心和更广的距离范围。视差范围的限制允许相应地节省第一通道中的硬件资源或计算成本。

与此类似，在第二通道中计算第二深度图，该第二深度图将剩余的近距离范围覆盖。在这里，首先将图像传感器16a-b的左图和右图送入像素组合单元30。在这里将相邻像素组合(“叠加”)成一个像素叠加块，例如将每二乘二个像素(在水平方向上的两个像素和在垂直方向上的两个像素)合并成一个组合像素。通过组合产生尺寸更大的准像素(“降采样”)，如此一来与左图和右图相比生成的中间图像的边缘分辨率会降低，因而距离分辨率也会降低。中间图像的组合像素的值由左图和右图中组合像素的值通过函数如平均值、中值、最大值或最小值来确定。

像素组合单元30传送立体单元28的中间图像，所述立体单元从中间图像生成分辨率降低的第二深度图。像素匹配的搜寻优选在对应于待覆盖的近距离的视差范围内进行。但是由于像素组合的缘故，无论如何都会减少成本，从而使得可替代地能够在更广的或由总像素所给定有意义的框架内甚至用最大可能的视差范围来操作。通道中的视差范围优选不管怎样都应彼此一致，以便能够确保完全覆盖3D相机10所要求的距离范围。

在其它实施形式中，可选择性地布置第三通道或其它通道。这些通道原则上与第二通道一样操作，其中分别实施不同的像素组合并且相应地选择和分配视差范围，从而使得整个3D相机10的距离范围无间隙地覆盖，同时通道中有重叠或无重叠。在另一种可替代的实施形式中，也在第一通道进行像素合并，该像素合并与其它通道中的像素合并不同。

这种在通道中生成的两张或多于两张的深度图接着在合并单元32彼此合并成共同的深度图。在准备中，将分辨率被降低的深度图调至所提供的深度图的最高分辨率，特别是调至左图和右图的分辨率。这是通过复制像素(“升采样”，“像素复制”)来进行的，其方式是由分辨率被降低的深度图的每个像素生成具有多个像素的相邻块。

接着在合并时逐像素地比较引入的深度图的距离。不同的合并策略是可以设想的。例如为共同的深度图分别选择最可靠的计算距离，其中可靠性是对分别找到的视差进行立体视图算法的根据距离逐像素存储的质量尺度，例如相关系数。也可以设想的是，只有一张深度图在像素中包含有效距离。然后，其中一张深度图的间隙能够在相应的可靠性下通过来自另一张深度图或其它深度图的信息来补充。

通过上面图2中所示换算法将视差换算成距离，所述换算在用于各深度图的立体视图单元30中进行或者优选仅在合并单元32中进行，所述深度图由分别在此处选择的视差构成，因为所需要的计算步骤较少。因此，与上述用法相反合并单元32不是比较距离而是比较视差，由于换算规则是单调的因此距离和视差是等效的。

图5用与图3类似的示意图示出了根据图4的部分分析的、与距离相关的视差特性(虚线)和分辨率特性(实线)。分辨率在两通道的交汇处40会出现跳跃。因此分辨率并不总是越接近越好。大多数应用并不利用所述较高的分辨率，可以通过选择像素合并和视差范围来确保，所述跳跃仍然在要求的最低分辨率以下。

最后，图6示出了在示例图像上通过像素合并成应用分部立体视图方法。该示例是以将根据本发明的方法应用到数据集为基础，作者D.Scharstein和R.Szeliski于2003年6月在威斯康星州麦迪逊出版的IEEEComputer Society Conference on Computer Vision and Pattern Recognition(关于计算机视觉和模式识别的计算机协会会议)(CVPR2003)第1卷第195-202页的“High-accuracy stereo depth maps using structured light(使用结构光的高精度立体深度图)”一文的网页上非常友好地使用了所述数据集并将其发表使用。其中图6a为了进行比较描述了常规的分析，其中所述分析具有64个像素宽的视差范围，而图6b描述了部分分析，其中所述分析具有关于两个通道被减半的32个像素的视差范围。

在图6a所示的常规方法中，由原始图像(替代该原始图像，左图42被示出)通过立体视图算法直接生成待确定的深度图44。

图6b在左列中示出了相同的左图42，根据在第一通道中的、相对于图6a减半的视差范围生成第一深度图46。与图6a中的深度图44相比，清晰可见第一深度图46在近距离范围内具有间隙，原因在于近距离范围内的匹配会因视差变小而不能被识别出来。首先，在图6b的右列的上方显示了在第二通道的像素组合单元30由左边图像42生成的、分辨率被降低的中间图像48，其中分别将2*2个像素合并成一个像素。立体视图单元28从中间图像48计算出分辨率相应降低的第二深度图50。此处可看到与第一深度图46互补的、在近距离范围中的结构以及在远距离范围的间隙。

合并单元32由第一深度图46和第二深度图50生成共同的深度图52。在这过程中首先要将相互间隙填充好。对于在两张深度图46、50中以其指定了距离值的像素而言，必须为这些像素做出决定或进行分配，例如通过立体算法的效果来进行。中间步骤没有在图6b中示出，在所述步骤中通过将第二深度图50的每个像素复制成2*2个像素的块来提高其分辨率。能立刻看出来的是，共同的深度图52较之各单独的深度图46、50能更好地再现场景。特别地，在常规方法中将视差范围简单地减半会产生重要影响，正如相比于深度图44、52来观察第一深度图46就可看出这一点。

将常规的用宽视差范围生成的深度图44和共同的深度图52进行比较会看到在近距离范围某些地方出现一定程度的分辨率损失。如多次提到的那样，这种分辨率损失实际上大多无关紧要。为此只有共同的深度图52才会分解特别近的结构，这是因为应用到中间图像的、适当的视差范围离3D相机10靠得更近了。主要是关于被减半的视差范围的成本大大降低。当依次实现分析信道时，这是特别有用的。

Claims (10)

1.一种根据用于获取监控区域(12)的深度图(52)的立体视法原理的3D相机(10)，所述3D相机具有至少两个相机模块(14a-b)，其中每一个都具有在相互偏移角度下的图像传感器(16a-b)用于拍摄二维原始图像(42)；以及，立体视图单元(28)，所述立体视图单元被设计用于使用立体视图算法来生成深度图(46、50)，方式是将两张从偏移角度拍摄的二维图像中彼此关联的部分区域在视差范围内被识别出来并借助视差计算其距离，

其特征在于

具有像素组合单元(30)，以便通过组合来自二维图像(42)的多个像素生成分辨率较低的二维中间图像(48)，还具有合成单元(32)，所述合成单元将至少两张深度图(46、50)合并成共同的深度图(52)，其中至少一张深度图(50)由中间图像(48)生成。

2.如权利要求1所述的3D相机(10)，其中所述立体单元(28)具有多通道结构，以便并行计算至少一个由第一对图像(42)构成的第一深度图(46)和由第二对图像(48)构成的第二深度图(50)。

3.如权利要求1或2所述的3D相机(10)，其中所述像素组合单元(30)被设计用于分别将矩形或正方形的像素相邻区域从多个像素组合成一个像素。

4.如前述权利要求中任一项所述的3D相机(10)，其中所述像素组合单元(30)被设计用于将组合的像素设置成待组合像素的平均值、最大值、最小值或中间值。

5.如前述权利要求中任一项所述的3D相机(10)，其中所述立体视图单元(28)被设计用于确定所计算的距离的可靠性程度。

6.如权利要求5所述的3D相机(10)，其中所述合并单元(32)被设计用于分别将根据两张深度图(46、50)最可靠地确定的距离放在共同的深度图(52)中。

7.如前述权利要求中任一项所述的3D相机(10)，其中所述合并单元(32)被设计用于将分辨率最高的深度图(46)中的已有距离放在共同的深度图(52)中并且根据分辨率较低的深度图(50)只填补间隙。

8.如前述权利要求中任一项所述的3D相机(10)，其中所述合并单元(32)被设计用于通过复制像素来提高深度图(50)的分辨率。

9.如前述权利要求中任一项所述的3D相机(10)，其中所述合并单元(32)被设计用于合并三张或三张以上的具有不同分辨率的深度图(46、50)。

10.一种用于借助立体视图算法获取监控区域(12)的深度图(52)的方法，所述立体视图算法将所述监控区域(12)的两张由偏移角度拍摄的二维图像(42)中彼此关联的部分区域在视差范围内识别出来并且借助视差来计算相应的距离，

其特征在于，

由二维图像(42)通过组合多个像素生成分辨率较低的二维中间图像(48)，以及由至少两张深度图(46、50)合并成共同的深度图(52)，其中至少一张深度图(50)由中间图像(48)生成。