CN104634276A - 三维测量系统、拍摄设备和方法、深度计算方法和设备 - Google Patents

Abstract

本发明提供了一种三维测量系统、拍摄设备和方法、深度计算方法和设备。拍摄设备包括投射装置，用于向拍摄区域投射离散光束，所述离散光束被调制以在所述拍摄区域中形成多个离散斑点，所述离散斑点能够被从其周围预定空间范围内的其它离散斑点中识别出；以及第一成像单元，用于对所述拍摄区域进行拍摄以获得所述第一二维图像；以及第二成像单元，与所述第一成像单元之间具有预定相对位置关系，用于对所述拍摄区域进行拍摄以获得所述第二二维图像。由此，可以在不受环境光以及背景的影响的情况下，准确地获得待测物体的空间深度信息。例如，即使待测物体被置于背景单一的环境或背景纹理自相似的环境也能够准确地获得待测物体的空间深度信息。

Description

三维测量系统、拍摄设备和方法、深度计算方法和设备

技术领域

本发明涉及图像测量与处理领域，特别涉及三维测量系统、拍摄设备和方法、深度计算方法和设备。

背景技术

三维信息，亦可称深度信息或景深信息。传统的图像拍摄方法只能获得物体的二维信息，无法得到物体的空间深度信息。但是，实际上物体表面的空间深度信息在各种工业、生活及娱乐应用中都至关重要，尤其是深度信息的实时获取。

三维测量系统是一种对物体进行三维尺寸绘制的精确测量系统。目前三维测量技术多采用激光进行辅助，例如可以通过三角测量法计算得出待测物体表面的空间深度值。目前，下列的双目视觉识别技术能够实时地对物体表面进行三维测量。

双目视觉识别技术直接模拟人类双眼处理景物的方式，根据三角测量的原理，采用不同位置的两台摄像机拍摄同一景物，以一个摄像机所拍摄到的画面为主画面，通过在另一个摄像机所拍摄到的画面上去寻找与主画面匹配的同一目标，通过计算目标在两幅图像中的视差，即可计算得到该目标的三维空间坐标。该技术只需要经过简单的标定程序，获得两台摄像机之间的相对空间关系，就可以建立测量物体所在的空间坐标系统。同时因为双目测量方法通常依赖于摄像头的色彩信息，因此对于待测物的轮廓边缘信息能够很准确地进行检测。

由于双目视觉识别技术是以一个摄像机所拍摄到的画面为主画面，通过在另一个摄像机所拍摄到的画面上去寻找与主画面匹配的同一特征点，通过视差计算得到深度信息，所以当设备被置于背景单一的环境时，如纯色物体表面，由于缺少用于左右摄像机进行图像匹配的纹理特征，所以无法正确获取表面三维信息；同时当设备被置于背景纹理自相似的环境时，例如带有大量相同网格纹理的墙面，其网格大小相同、排列方向一致，由于各处纹理高度相似，很难精确地进行左右视角图像匹配，从而难以准确获得系统与该背景的距离信息。

因此，需要一种三维测量系统、拍摄设备和方法、深度计算方法和设备，使得即使待测物体被置于背景单一的环境或待测物体被置于背景纹理自相似的环境也能够准确地获得待测物体的空间深度信息。

发明内容

本发明所要解决的一个技术问题是，提供一种三维测量系统、拍摄设备和方法、深度计算方法和设备，使得能够在不受环境光以及背景的影响的情况下，准确地获得待测物体的空间深度信息。例如，即使待测物体被置于背景单一的环境或待测物体被置于背景纹理自相似的环境也能够准确地获得待测物体的空间深度信息。

根据本发明的一个方面，提供了一种三维图像拍摄设备，三维图像包括彼此具有视差的第一二维图像和第二二维图像，该设备包括：投射装置，用于向拍摄区域投射离散光束，离散光束被调制以在拍摄区域中形成多个离散斑点，离散斑点能够被从其周围预定空间范围内的其它离散斑点中识别出；以及第一成像单元，用于对拍摄区域进行拍摄以获得第一二维图像；以及第二成像单元，与第一成像单元之间具有预定相对位置关系，用于对拍摄区域进行拍摄以获得第二二维图像。

优选地，该设备还可以包括：均匀光源，用于向拍摄区域投射基本上均匀的均匀光，均匀光的强度与离散光束的强度被配置为使得能够从图像中识别出离散斑点，并且均匀光使得能够从图像中识别出待测对象的轮廓。

优选地，该设备还可以包括：激光发生器，用于产生激光；以及分束器，用于将激光发生器产生的激光分为两束激光，其中第一束激光被引导至投射装置，第二束激光被引导至均匀光源，投射装置通过对第一束激光进行调制来产生离散光束，并且均匀光源包括匀光片，用于将第二束激光转变为均匀光。

优选地，该设备还可以包括：激光发生器，用于产生激光，其中，投射装置通过对激光进行调制来产生离散光束，并且均匀光源包括发光二极管阵列，用于产生均匀光。

优选地，离散光束和均匀光是波长在人类肉眼不可见光波波长范围内的不可见光，第一成像单元和第二成像单元具有带通滤光片，不可见光能够透过带通滤光片。

优选地，离散斑点能够通过离散斑点之间的位置关系和/或离散斑点的形状，而被从其周围预定空间范围内的其它离散斑点中识别出。

优选地，该设备还可以包括：相对位置调整机构，用于调整第一成像单元和第二成像单元之间的预定相对位置关系。

根据本发明的另一方面，提供了一种三维测量系统，包括：三维图像拍摄设备；以及处理器，用于基于三维图像以及第一成像单元和第二成像单元之间的预定相对位置关系，计算待测对象上的多个离散斑点的深度数据，深度数据表示待测对象上的点相对于第一成像单元和/或第二成像单元的距离。

根据本发明的又一方面，提供了一种拍摄三维图像的方法，三维图像包括彼此具有视差的第一二维图像和第二二维图像，该方法包括：向拍摄区域投射离散光束，离散光束被调制以在拍摄区域中形成多个离散斑点，离散斑点能够被从其周围预定空间范围内的其它离散斑点中识别出；使用第一成像单元对拍摄区域进行拍摄以获得第一二维图像；以及使用第二成像单元对拍摄区域进行拍摄以获得第二二维图像，第二成像单元与第一成像单元之间具有预定相对位置关系。

优选地，该方法还可以包括：向拍摄区域投射基本上均匀的均匀光，均匀光的强度与离散光束的强度被配置为使得能够从图像中识别出离散斑点，并且均匀光使得能够从图像中识别出待测对象的轮廓。

优选地，离散光束和均匀光是波长在人类肉眼不可见光波波长范围内的不可见光，该方法还包括对第一成像单元和第二成像单元设置带通滤光片，不可见光能够透过带通滤光片。

根据本发明的再一方面，提供了一种基于前述方法拍摄的三维图像来获得待测对象的深度数据的方法，三维图像包括彼此具有视差的第一二维图像和第二二维图像，深度数据表示待测对象上的点相对于第一成像单元和/或第二成像单元的距离，该方法包括：识别第一二维图像和第二二维图像中的离散斑点；确定第一二维图像的离散斑点和第二二维图像中的离散斑点之间的对应关系；以及基于第一二维图像和第二二维图像中对应的离散斑点在第一二维图像和第二二维图像中的位置差异，以及第二成像单元与第一成像单元之间的预定相对位置关系，计算离散斑点的深度数据。

优选地，在拍摄三维图像时，还向拍摄区域透射了基本上均匀的均匀光，该方法还包括：基于第一二维图像和/或第二二维图像中区域之间的对比度差异，确定待测对象图像区域的轮廓，其中，在识别离散斑点的步骤中，识别待测对象图像区域中的离散斑点；和/或在确定离散斑点之间的对应关系的步骤中，确定待测对象图像区域中的离散斑点之间的对应关系；和/或在计算离散斑点的深度数据的步骤中，计算待测对象图像区域中的离散斑点的深度数据。

根据本发明的再一方面，提供了一种基于前述方法拍摄的三维图像来获得待测对象的深度数据的设备，三维图像包括彼此具有视差的第一二维图像和第二二维图像，深度数据表示待测对象上的点相对于第一成像单元和/或第二成像单元的距离，该设备包括：离散斑点识别装置，用于识别第一二维图像和第二二维图像中的离散斑点；对应关系确定装置，用于确定第一二维图像的离散斑点和第二二维图像中的离散斑点之间的对应关系；以及深度数据计算装置，用于基于第一二维图像和第二二维图像中对应的离散斑点在第一二维图像和第二二维图像中的位置差异，以及第二成像单元与第一成像单元之间的预定相对位置关系，计算离散斑点的深度数据。

优选地，在拍摄三维图像时，还向拍摄区域透射了基本上均匀的均匀光，该设备还可以包括：轮廓确定装置，用于基于第一二维图像和/或第二二维图像中区域之间的对比度差异，确定待测对象所在图像区域的轮廓，其中，离散斑点识别装置识别待测对象图像区域中的离散斑点；和/或对应关系确定装置确定待测对象图像区域中的离散斑点之间的对应关系；和/或深度数据计算装置计算待测对象图像区域中的离散斑点的深度数据。

通过使用本发明的三维测量系统、拍摄设备和方法、深度计算方法和设备，利用在拍摄区域中形成的多个离散斑点以及两个成像单元之间的相对位置关系，使得即使待测物体被置于背景单一的环境或待测物体被置于背景纹理自相似的环境也能够准确地获得待测物体的空间深度信息，进而提高了对待测物体轮廓边缘检测的准确性。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了根据本发明的三维图像拍摄设备的示意性方框图。

图2示出根据本发明的投射装置的一个示例的结构示意图。

图3示出子激光束投影到待测对象表面的离散斑点示意图。

图4示出待测对象的一个示例的示意图。

图5示出将离散斑点投影到待测对象后的示意图。

图6示出根据本发明的三维图像拍摄设备的另一示例的示意性方框图。

图7示出根据本发明的均匀光源的一个示例的示意图。

图8示出根据本发明的均匀光源的另一示例的示意图。

图9示出了根据本发明的三维测量系统的示意性方框图。

图10是根据本发明的拍摄三维图像的方法的流程图。

图11示出根据本发明的基于前述的拍摄三维图像的方法拍摄的三维图像来获得待测对象的深度数据的方法的流程图。

图12示出根据本发明的景深信息测量方法的示意图。

图13示出根据本发明进行景深测量的方法的流程图。

图14示出未利用均匀光源照射后的待测对象图像的示意图。

图15示出未利用均匀光源计算得到的待测对象轮廓的示意图。

图16示出利用均匀光源和离散斑点照射后的待测对象图像的示意图。

图17示出利用均匀光源计算得到的待测对象轮廓的示意图。

图18示出根据本发明的基于拍摄三维图像的方法拍摄的三维图像来获得待测对象的深度数据的设备的示意性方框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本发明的下述实施例基于双成像单元，采用辅助激光对空间中的物体表面投射编码的离散斑点，并且通过空间上布置为不同位置的两个成像单元对物体表面的反射激光编码图像进行实时捕获，再通过比较同一时刻在不同位置(即，两个成像单元)捕获的图像中同一位置编码的视差，能够实时计算得到图像中该位置的空间三维信息。

图1示出了根据本发明的三维图像拍摄设备的示意性方框图。

如图1所示，该实施例中的三维图像拍摄设备1可以包括投射装置10、第一成像单元11与第二成像单元12。三维图像可以包括彼此具有视差的第一二维图像和第二二维图像，第一二维图像与第二二维图像既可以为静态图像，也可以为动态图像。其中，

投射装置10，用于向拍摄区域投射离散光束，离散光束被调制以在拍摄区域中形成多个离散斑点，离散斑点能够被从其周围预定空间范围内的其它离散斑点中识别出。

第一成像单元11，用于对拍摄区域进行拍摄以获得第一二维图像。

第二成像单元12，与第一成像单元之间具有预定相对位置关系，用于对拍摄区域进行拍摄以获得第二二维图像。

其中，离散斑点可以被编码。第一成像单元11与第二成像单元12可以同步地对二维图像进行捕获。

针对现有技术中当被测对象被置于背景单一的环境或当被测对象被置于背景纹理自相似的环境时无法准确地测量被测对象的三维信息的问题，本实施例基于两个成像单元的立体视觉技术，将激光作为辅助手段，在被测对象表面投影可识别的离散斑点，增加被测对象表面纹理多样性，即使多台设备联合使用，激光投影区有所重叠，设备仍然能够正常进行第一二维图像和第二二维图像的图像匹配，计算出待测对象表面的三维信息。由于采用了激光散斑辅助投影测量的方式，因此有助于快速计算得到被测对象表面的深度信息。

此外，虽然现有的基于结构光检测的三维测量方法也是利用投射带有编码信息的二位激光纹理图案来对运动的物体表面进行实时三维检测，即，首先向运动物体表面投射带有编码信息的二维激光纹理图案，例如，离散化的散斑图，由另一位置相对固定的图像采集装置对激光纹理进行连续采集，处理单元将采集的激光纹理序列与预先存储在寄存器(或存储器)内的已知纵深距离的参考面纹理序列进行比较，计算出投射在运动物体表面的各个激光纹理序列片段的纵深距离，并进一步测量得出待测物表面的三维数据。但是，为了实现精准的三维测量，由于使用单目识别技术，基于结构光检测的三维测量方法在测量前需要采集并存储数个精准定位的参考面纹理序列，以完成参数校准。在校准过程中，还要求参考面与图像采集传感器的感应平面互为平行，且保持精确的距离，这一校准过程对于设备在制造过程中有较高的生产工艺要求，且过程控制要求严格。此外，激光器与图像采集装置的相对位置需要通过多次采集参考面进行校准，由于激光器是消耗型器件，所以一旦激光器发生损坏并更换后，需要重新对激光器和图像采集装置的相对位置进行校准，因此使得采用基于结构光检测的三维测量方法的设备在使用维护上成本较高。

而本发明的实施例则将双目识别技术与离散光斑技术相结合，通过捕获离散光斑，并基于离散光斑和两个成像单元之间的相对位置关系计算景深信息，而无需在单目识别之前预先采集并存储参考面纹理序列，进而无需校准过程，即，无需校准投射装置与第一成像单元和第二成像单元之间的相对位置，因此不仅降低了对生产工艺与过程控制的要求，而且也降低了维护成本。

还需要指出的是，在现有技术中，采用基于结构光检测的三维测量方法的多台设备不能同时使用。因为当两台或多台设备的激光投影有交叠的时候，图像采集装置所捕获的激光纹理与初始标定的参考面纹理数据不同，会发生图像匹配失败，从而无法正确计算得到待测对象表面的三维数据。

而在本发明中，由于投射离散光斑的目的可以只是为了增加被测对象表面可识别的特征纹理，并且也无需使用参考面纹理序列数据，因此即使是多台设备同时使用而导致离散光斑发生交联投影也不影响对被测对象空间三维信息的测量。

进一步地，第一成像单元11和第二成像单元12可以为两个阵列式图像传感器，例如，CCD(Charge-coupled Device，电荷耦合元件)或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)，可以将物像聚焦到第一成像单元11和第二成像单元12的表面，从而转化为可处理的数字信号。同时第一成像单元11和第二成像单元12例如可以通过带通滤光片来使得仅允许投射装置10所在工作波长的激光通过，除此之外的其他波长的光线均被截止，这样能够防止工作激光的照明强度湮没在其他波长的环境光照中，起到抗干扰作用。

另外，第一成像单元11和第二成像单元12之间有相对固定的空间关系，在空间布置上具有公共视场，即，两者的图像捕获视场有重叠。一般地，第一成像单元11和第二成像单元12并列布置，从光心出去的轴线(例如，以下图11中所示的O₁₁和O₁₂)相互平行。一般地，投射装置10可以被布置在第一成像单元11和第二成像单元12的中间，但这并不是唯一的布置方式，投射装置10与第一成像单元11和第二成像单元12之间的空间关系可以是任意的，只要满足离散斑点的投影区完全覆盖第一成像单元11和第二成像单元12的公共视场即可。

在一个示例中，投射装置10可以包含激光光源以及用以激光散射编码的光学元件。

图2示出根据本发明的投射装置的一个示例的结构示意图。

如图2所示，从激光发生器201发出的激光光束203经过分束器202之后发生分束，发散成许多子激光束204，并投射到待测对象P的表面。激光发生器201一般可采用激光二极管和准直透镜构成，激光波长小于1cm，一般可以为不可见的红外光波长，准直透镜例如为平凸透镜，在对发散的半导体激光进行聚焦和准直后，可得到激光光束203，光束发散度小于1mrad。分束器202对激光光束203进行分束，子光束204投影到待测对象P的表面，所形成的离散斑点具有随机性，即任何一处的离散斑点分布具有随机性和唯一性，从而在该处形成唯一的空间编码。分束器202的作用是将激光束203进行散射以生成投影离散斑点，该分束器202可以被设计为诸如毛玻璃等能够将激光散射成随机光斑的光学元件。

可选地，投射装置10还可以采用基于DMD(Digital MicromirrorDevice，数字微镜器件设备)芯片的投影技术，直接投射符合设计需求的激光离散斑点。选用特定波长的激光或LED作为光源，经过整形、匀场和消相干后，光束入射到DMD芯片上经过反射和整形后进行投影，通过预先设定的程序控制DMD以投影出按需设计的离散斑点纹理。其优点是产生的投影纹理灵活性高、操作控制方便。

图3示出子激光束投影到待测对象表面的离散斑点示意图。

图4示出待测对象的一个示例的示意图。

图5示出将离散斑点投影到待测对象后的示意图。

从图3和图5中可以看出，由于离散化的各个激光光斑间有一定距离，因此针对投射面较细窄的位置无法发射较多的光斑信息，这样就容易丢失部分真实深度信息。即使在较大的投射面，也会因为该原因而无法稳定连续描述其边缘轮廓，从而引起轮廓边缘的测量数据不稳定。

图6示出根据本发明的三维图像拍摄设备的另一示例的示意性方框图。

如图6所示，针对上述问题，还可以在三维图像拍摄设备中增加：

均匀光源61，用于向拍摄区域投射基本上均匀的均匀光，均匀光的强度与离散光束的强度被配置为使得能够从图像(即，第一二维图像与第二二维图像)中识别出离散斑点，并且均匀光使得能够从图像中识别出待测对象的轮廓。

在此引入均匀光源，使得均匀光照明能够让待测对象与背景图像之间具有亮度差，进而可以识别待测对象的轮廓。识别轮廓不但有助于获得待测对象的轮廓信息，还可以在计算待测对象的深度数据时减小计算量，即只需根据轮廓内的离散光斑计算景深信息。

本发明中的光源可以有两种产生方式：

方式一是由激光发生器产生投射激光，由发光二极管阵列产生均匀光。

具体地，三维图像拍摄设备还可以包括：激光发生器，用于产生激光，其中，投射装置通过对激光进行调制来产生离散光束，并且均匀光源包括发光二极管阵列，用于产生均匀光，所产生的均匀光与离散光束属于同一波段范围。

图7示出根据本发明的均匀光源的一个示例的示意图。

如图7所示，可以采用包含若干与所用编码激光同一波段范围的LED对环境进行辅助照明。对用以辅助照明的LED的空间布置没有严格约束，一般地，可以在第一成像单元11和第二成像单元12之间对称布置，以使得第一成像单元11和第二成像单元12的公共视场得到强度均匀的照明。

具体地，发光二极管阵列701的发光波段与激光发生器201相同，从发光二极管阵列701发出的激光光束703经过匀光装置702之后形成具有特定发散角度且光强能量分布均匀的光场704，投射到待测对象P的表面。匀光装置702可以为高透光性的扩散片，能够对激光光束703进行匀场和消相干，出射得到有一定发散角度的均匀光场704。相应地，可以根据使用需求使用光学系统来增加出射光场704的发散角度。

需要指出的是，第一成像单元11和第二成像单元12的采集区域要与投射装置的投影区、均匀光的照明区域有重合。一般情况下，在方式一下可以将激光发生器和发光二极管阵列布置在第一成像单元11和第二成像单元12之间，这样可以更高效地利用离散斑点的投影尺寸及辅助照明。

方式二是由激光发生器同时产生用于投射的激光与均匀光。

具体地，三维图像拍摄设备还可以包括：激光发生器，用于产生激光；以及分束器，用于将激光发生器产生的激光分为两束激光，其中第一束激光被引导至投射装置，第二束激光被引导至均匀光源，投射装置通过对第一束激光进行调制来产生离散光束，并且均匀光源包括匀光片，用于将第二束激光转变为均匀光，例如，产生均匀照明的面光源，以对环境进行辅助照明。由于面光源与投射装置所使用的激光均来自同一激光发生器，因此两者所使用的激光属于同一波段范围。这样由于仅利用激光发生器来产生投射激光与均匀光减小了三维图像拍摄设备的体积。

图8示出根据本发明的均匀光源的另一示例的示意图。

均匀光源可以与投射装置10共享同一激光发生器。其中，激光发生器801的构成与激光发生器201相同，其发射所需工作波长的准直激光803。激光光束803在经过一个分束器802后分为能量不同的两束激光804和805，这两束激光分别进入到分束器202和匀光装置702，最后同时发射子激光束204和光场704至待测对象P的表面。

需要指出的是，离散光束和均匀光可以是波长在人类肉眼不可见光波波长范围内的不可见光，第一成像单元和第二成像单元具有带通滤光片，使得不可见光能够透过带通滤光片。其中，不可见光可以是但不限于红外光。这样一方面可以避免可见光的干扰，另一方面，当待测对象是人员时，可以避免引起人员的注意，进而避免导致人员的不良体验。

此外，投射装置10在设计上可以有多种实现方案，例如，采用衍射元件设计和采用DMD设计。

投射装置10中的分束器202可采用衍射元件对透过的激光光束203进行随机散射。一般衍射元件采用高透光材料作为基板，如石英玻璃、聚碳酸酯等，通过在其表面进行纳米蚀刻或压印加工，使其对透射的激光光束203进行定向散射。

目前已有成熟的投射离散斑点的方案。

通过设计光学系统，投射装置10所投射的离散斑点能够通过离散斑点之间的位置关系和/或离散斑点的形状，而被从其周围预定空间范围内的其它离散斑点中识别出。其中，整个空间投射的离散斑点图案可以是各处完全不同的，也可以是多块相同图案的拼接，即，通过光学处理从一块变成多块。针对后一种情况，可以首先通过大致位置关系确定是哪一块，然后再在一块图案内部基于位置关系和/或形状来识别。

此外，如果第一成像单元与第二成像单元的位置被预先设定好，在图像采集过程中可能会存在视角盲区。这样，还可以在三维图像拍摄设备中包括：相对位置调整机构(图中未示出)，用于调整第一成像单元11和第二成像单元12之间的预定相对位置关系，进而可以通过调整第一成像单元11与第二成像单元12之间的相对位置关系来获取原来视角盲区的图像。

图9示出了根据本发明的三维测量系统的示意性方框图。

如图9所示，该实施例中的三维测量系统13可以包括前述实施例中的三维图像拍摄设备1，以及处理器131，用于基于三维图像以及第一成像单元和第二成像单元之间的预定相对位置关系，计算待测对象上的多个离散斑点的深度数据，深度数据表示待测对象上的点相对于第一成像单元和/或第二成像单元的距离。例如，处理器131可以从第一成像单元与第二成像单元在同一时刻拍摄的不同二维图像中搜索相同的激光编码片段，进而计算并获得图像深度信息。

如上所述，待测对象P表面的三维测量计算可以通过三维测量系统13中的处理器131完成，处理器131的功能可以在计算机处理器上通过编写的计算机程序来实现。可替代地，该处理器131的部分或全部功能可在定制的或半定制的集成电路上实现，也可以在DSP(DigitalSignal Processor，数字信号处理器)或FPGA(Field ProgrammableGate Array，现场可编程门阵列)等通用计算芯片上通过运行预先编写的程序实现。

该实施例采用激光散斑作为辅助标记手段，在测量过程中对待测对象表面三维信息进行抽样测量，最后对离散的三维信息进行数据重建，从而无限拟合物体表面实际的三维信息。当待测对象表面为复杂曲面，尤其是多个曲面相互连接，且表面没有任何具有可识别的纹理时，能够测量并拟合得到没有纹理信息的曲面的三维信息。

图10是根据本发明的拍摄三维图像的方法的流程图。

如图10所示，三维图像包括彼此具有视差的第一二维图像和第二二维图像，该实施例中的拍摄三维图像的方法可以包括：

S1402，向拍摄区域投射离散光束，离散光束被调制以在拍摄区域中形成多个离散斑点，离散斑点能够被从其周围预定空间范围内的其它离散斑点中识别出；

S1404，使用第一成像单元对拍摄区域进行拍摄以获得第一二维图像；以及

S1406，使用第二成像单元对拍摄区域进行拍摄以获得第二二维图像，第二成像单元与第一成像单元之间具有预定相对位置关系。

另外，因为物体表面深度信息是通过离散激光光斑逐一计算得到后通过插值等数理方法进行计算得到的，所以轮廓边缘很难稳定并准确地描述。

为了更准确地测量物体的轮廓边缘，除了将激光进行分束形成离散斑点纹理外，同时还将同一波段的点状激光源进行多次光学匀化后，形成面光源，对外界环境进行辅助照明，即，还可以向拍摄区域投射基本上均匀的均匀光，均匀光的强度与离散光束的强度被配置为使得能够从图像中识别出离散斑点，并且均匀光使得能够从图像中识别出待测对象的轮廓。因此，在不影响激光离散斑点拍摄效果的同时，还能对待测对象进行照明，使得待测对象轮廓更加清晰，便于更加精准地获得待测对象的轮廓信息。

另外，为了防止可见光的干扰以及提升待测人员的体验，离散光束和均匀光可以是波长在人类肉眼不可见光波波长范围内的不可见光，可以对第一成像单元和第二成像单元设置带通滤光片，不可见光能够透过带通滤光片。

图11示出根据本发明的基于前述的拍摄三维图像的方法拍摄的三维图像来获得待测对象的深度数据的方法的流程图。

如图11所示，三维图像包括彼此具有视差的第一二维图像和第二二维图像，深度数据表示待测对象上的点相对于第一成像单元和/或第二成像单元的距离，该实施例中的方法可以包括：

S1502，识别第一二维图像和第二二维图像中的离散斑点；

S1504，确定第一二维图像的离散斑点和第二二维图像中的离散斑点之间的对应关系；以及

S1506，基于第一二维图像和第二二维图像中对应的离散斑点在第一二维图像和第二二维图像中的位置差异，以及第二成像单元与第一成像单元之间的预定相对位置关系，计算离散斑点的深度数据。

图12示出根据本发明的景深信息测量方法的示意图。

如图12所示，第一成像单元11和第二成像单元12在布置上有固定的空间关系，在应用中，第一成像单元11和第二成像单元12一般被固定在平整的电路板表面，并保持一定的距离B，该距离B称为基线长度。因为基线距离B的存在会导致同一待测对象在第一成像单元11和第二成像单元12上成像的位置有所不同。这一原理可以理解为，第一成像单元11在O₁₁处拍摄到待测对象P，待测对象P在第一成像单元11上的成像p距离所在捕获画面左侧的长度为x₁₁，当第一成像单元11移动距离B后到达第二成像单元12所在的O₁₂处，再次拍摄待测对象P，此时待测对象P在第二成像单元上的成像p’距离所在捕获画面左侧的长度为x₁₂。

根据相似三角形Ppp’和PO₁₁O₁₂的关系，可以得到方程式：

$\frac{b}{Z}=\frac{b-(x_{11}-x_{12})}{Z-f}---\left(1\right)$

其中，Z为待测对象P到基线的距离，即，需要测量的景深距离，f为图像的焦距，b为基线B的长度。取d＝x₁₁-x₁₂，即，待测对象P在第一成像单元11和第二成像单元12上的视差，将Z提取出来后，就得到以下Z的计算公式：

$Z=\frac{\mathrm{bf}}{d}---\left(2\right)$

由上面的公式可以看出，b与f都是常数，因此当待测对象P的景深距离Z越大，则其在第一成像单元11和第二成像单元12上的视差d越小，反之亦然。因此对待测对象P的景深距离Z的测量可以根据以上数学模型转换为计算待测对象P在不同成像单元上成像的像素差，该转换过程可以通过坐标转换模型实现。

进一步地，为了提高对待测对象轮廓边缘的测量准确性，可以在拍摄三维图像时，还向拍摄区域透射了基本上均匀的均匀光，再基于第一二维图像和/或第二二维图像中区域之间的对比度差异，确定待测对象图像区域的轮廓，其中，在识别离散斑点的步骤中，识别待测对象图像区域中的离散斑点；和/或在确定离散斑点之间的对应关系的步骤中，确定待测对象图像区域中的离散斑点之间的对应关系；和/或在计算离散斑点的深度数据的步骤中，计算待测对象图像区域中的离散斑点的深度数据。

图13示出根据本发明进行景深测量的方法的流程图。

如图13所示，该实施例中的方法可以包括：

S1702，在三维测量系统13对待测对象进行景深测量之前，确定第一成像单元11和第二成像单元12各自的光学焦距及相互之间的空间关系。典型地，可以通过已知公开的棋盘格立体视觉标定法获得第一成像单元11和第二成像单元12所配的光学系统焦距及两者的空间关系。因为在三维测量系统13的使用中，第一成像单元11和第二成像单元12之间没有不受控制的相对运动，因此该步骤可在三维测量系统13制造时进行，得到的坐标转换模型相关系数可以直接存储在存储器中。存储器可以是独立于处理器131的外置存储器，也可以是与处理器131集成在一起的内置存储器。

S1704，当三维测量系统13开始工作时，三维测量系统13中的第一成像单元11与第二成像单元12对投射装置10和均匀光源投影在待测对象P上的图像进行连续捕获。第一成像单元11与第二成像单元12对待测对象图像进行同时捕获。该三维测量系统13中的第一成像单元11和第二成像单元12连续捕获图像时要同步，一般性地，按照时钟频率来读取图像数据，因为待测对象P的景深计算是基于第一成像单元11和第二成像单元12在同一时刻所捕获的同一待测对象映射在传感器上的成像像素距离的，因此要求第一成像单元11和第二成像单元12所读取的图像数据是以同一时钟频率来读取的，我们称第一成像单元11和第二成像单元12同步捕获图像。第一成像单元11和第二成像单元12同步捕获的图像11A和12A被存储在存储器中，以便在接下来的步骤中由处理器131进行读取计算。

S1706，处理器131一次读取同一时序的红外图像11A和12A，以图像11A作为参考图像，以图像12A作为匹配图像，亦可替代性地，以图像12A为参考图像，以图像11A作为匹配图像。处理器131以窗口滑动的形式在匹配图像上选择不同子图像，并与参考图像的各部分进行比较，直到在参考图像上找到与该窗口中的子图像最匹配的部分。由前面所述的景深测量原理可知，成像视差是由于不同成像单元之间的基线距离产生的，因此为了减少计算量，处理器131在参考图像上寻找与匹配图像的子图像最匹配部分时，只需要沿基线方向进行搜索即可完成快速搜索匹配。

S1708，在匹配成功后，处理器131将进一步计算各个匹配成功的像素点的视差数据，根据S1702中的坐标转换模型参数，由视差数据计算得到该像素处的景深数据。

S1710，在计算完整的深度图过程中，当匹配图像与参考图像中的对应区域匹配成功并计算得到该处的深度距离后，该区域能够为图像中相邻区域的像素深度测量提供参考和预测。处理器131通过不断增长匹配区域范围，可以显著减少计算量，同时降低对低信噪比图像的敏感性，增强了系统鲁棒性。均匀光源可以采用面光源，在光线投射的纵深方向，光强变化较为明显，增加了物体表面亮度梯度，同时照明产生的阴影也增强了待测对象轮廓的对比度。

图14示出未利用均匀光源照射后的待测对象图像的示意图。

图15示出未利用均匀光源计算得到的待测对象轮廓的示意图。

图16示出利用均匀光源和离散斑点照射后的待测对象图像的示意图。

图17示出利用均匀光源计算得到的待测对象轮廓的示意图。

通过图15与图17的对比可以看出，处理器131在增长匹配区域计算时，采用离散斑点投影配合均匀光源比单纯采用离散斑点投影的图像能够更好地把匹配区域扩张至待测对象的边缘，进而获得更加准确的待测对象轮廓数据。

S1712，在计算得到物体的三维信息后，三维测量系统13通过数据传输线向其他需要对待测对象三维信息进行后处理运算的设备传输三维数据，典型地，如个人桌面电脑、笔记本电脑，甚至移动通讯设备。通过不断重复S1704到S1710，三维测量系统13能够连续不断地检测待测对象P运动时的三维信息并实时发回交给后端应用处理。

图18示出根据本发明的基于拍摄三维图像的方法拍摄的三维图像来获得待测对象的深度数据的设备的示意性方框图。

如图18所示，三维图像包括彼此具有视差的第一二维图像和第二二维图像，深度数据表示待测对象上的点相对于第一成像单元和/或第二成像单元的距离，该实施例中的设备22可以包括离散斑点识别装置221、对应关系确定装置222和深度数据计算装置223，其中，离散斑点识别装置221，用于识别第一二维图像和第二二维图像中的离散斑点；对应关系确定装置222，用于确定第一二维图像的离散斑点和第二二维图像中的离散斑点之间的对应关系；以及深度数据计算装置223，用于基于第一二维图像和第二二维图像中对应的离散斑点在第一二维图像和第二二维图像中的位置差异，以及第二成像单元与第一成像单元之间的预定相对位置关系，计算离散斑点的深度数据。

该实施例利用基于双图像传感器的立体视觉技术对待测对象进行三维检测，同时运用激光离散斑点投影，有效规避了这两者的缺点，可以对待测对象的轮廓边缘进行准确的检测。

进一步地，在拍摄三维图像时，还向拍摄区域透射了基本上均匀的均匀光，该设备还可以包括：轮廓确定装置，用于基于第一二维图像和/或第二二维图像中区域之间的对比度差异，确定待测对象所在图像区域的轮廓，其中，离散斑点识别装置识别待测对象图像区域中的离散斑点；和/或对应关系确定装置确定待测对象图像区域中的离散斑点之间的对应关系；和/或深度数据计算装置计算待测对象图像区域中的离散斑点的深度数据。

本发明的上述实施例能够适用于对物体三维信息测量具有实时性要求的场景，例如：

(1)电视或计算机游戏，用户可以通过肢体动作对游戏中的虚拟目标进行抓取、释放、移动等操作，例如，新型人机体感交互应用；

(2)机器操控，用户可以通过肢体动作控制程序所连接的机器对真实目标完成诸如移动、抓取、释放等动作，例如，工业机械手臂自动化操作；

(3)智能设备定位，为智能设备如室内机器人、智能飞行器提供环境三维扫描和建模功能，实现智能设备的三维空间的定位传感，例如，机器人导航定位；

(4)智能监控设备，检测人员肢体姿态和动作，分析人员行为意图，实现对某些危险监控场景诸如非法人员入侵、人员摔倒等提供预警的功能。

上文中已经参考附图详细描述了根据本发明的三维测量系统、拍摄设备和方法、深度计算方法和设备。本发明的技术方案标定简单，只需采用已知公开的棋盘格自标定法，即可完成双成像单元的空间位置关系标定，快速建立坐标转换模型。同时系统维护简单，可对易耗品投射装置和均匀光源进行独立的模块化设计，便于系统发生损坏后直接快速更换修复。抗干扰能力强，多台设备能够联合使用，而不会相互干扰各自系统的三维测量。由于采用立体视觉和激光编码投影相结合的技术，因此对于环境光线的干扰不敏感，测量效果及系统稳定性均远高于单独使用立体视觉或激光编码投影的技术方案。

此外，根据本发明的方法还可以实现为一种计算机程序产品，该计算机程序产品包括计算机可读介质，在该计算机可读介质上存储有用于执行本发明的方法中限定的上述功能的计算机程序。本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (15)

1.一种三维图像拍摄设备，所述三维图像包括彼此具有视差的第一二维图像和第二二维图像，该设备包括：

投射装置，用于向拍摄区域投射离散光束，所述离散光束被调制以在所述拍摄区域中形成多个离散斑点，所述离散斑点能够被从其周围预定空间范围内的其它离散斑点中识别出；以及

第一成像单元，用于对所述拍摄区域进行拍摄以获得所述第一二维图像；以及

第二成像单元，与所述第一成像单元之间具有预定相对位置关系，用于对所述拍摄区域进行拍摄以获得所述第二二维图像。

2.根据权利要求1所述的三维图像拍摄设备，还包括：

均匀光源，用于向所述拍摄区域投射基本上均匀的均匀光，

所述均匀光的强度与所述离散光束的强度被配置为使得能够从所述图像中识别出所述离散斑点，并且

所述均匀光使得能够从所述图像中识别出所述待测对象的轮廓。

3.根据权利要求2所述的三维图像拍摄设备，还包括：

激光发生器，用于产生激光；以及

分束器，用于将所述激光发生器产生的激光分为两束激光，其中第一束激光被引导至所述投射装置，第二束激光被引导至所述均匀光源，

所述投射装置通过对所述第一束激光进行调制来产生所述离散光束，并且

所述均匀光源包括匀光片，用于将所述第二束激光转变为所述均匀光。

4.根据权利要求2所述的三维图像拍摄设备，还包括：

激光发生器，用于产生激光，

其中，所述投射装置通过对所述激光进行调制来产生所述离散光束，并且

所述均匀光源包括发光二极管阵列，用于产生所述均匀光。

5.根据权利要求2所述的三维图像拍摄设备，其中，

所述离散光束和所述均匀光是波长在人类肉眼不可见光波波长范围内的不可见光，

所述第一成像单元和所述第二成像单元具有带通滤光片，所述不可见光能够透过所述带通滤光片。

6.根据权利要求1所述的三维图像拍摄设备，其中，

所述离散斑点能够通过离散斑点之间的位置关系和/或离散斑点的形状，而被从其周围预定空间范围内的其它离散斑点中识别出。

7.根据权利要求1所述的三维图像拍摄设备，还包括：

相对位置调整机构，用于调整所述第一成像单元和所述第二成像单元之间的所述预定相对位置关系。

8.一种三维测量系统，包括：

根据权利要求1至7中任何一项所述的三维图像拍摄设备；以及

处理器，用于基于所述三维图像以及所述第一成像单元和所述第二成像单元之间的所述预定相对位置关系，计算所述待测对象上的所述多个离散斑点的深度数据，所述深度数据表示所述待测对象上的点相对于第一成像单元和/或第二成像单元的距离。

9.一种拍摄三维图像的方法，所述三维图像包括彼此具有视差的第一二维图像和第二二维图像，该方法包括：

向拍摄区域投射离散光束，所述离散光束被调制以在所述拍摄区域中形成多个离散斑点，所述离散斑点能够被从其周围预定空间范围内的其它离散斑点中识别出；

使用第一成像单元对所述拍摄区域进行拍摄以获得所述第一二维图像；以及

使用第二成像单元对所述拍摄区域进行拍摄以获得所述第二二维图像，所述第二成像单元与所述第一成像单元之间具有预定相对位置关系。

10.根据权利要求9所述的方法，还包括：

向所述拍摄区域投射基本上均匀的均匀光，

所述均匀光的强度与所述离散光束的强度被配置为使得能够从所述图像中识别出所述离散斑点，并且

所述均匀光使得能够从所述图像中识别出所述待测对象的轮廓。

11.根据权利要求10所述的方法，其中，

所述离散光束和所述均匀光是波长在人类肉眼不可见光波波长范围内的不可见光，

该方法还包括对所述第一成像单元和所述第二成像单元设置带通滤光片，所述不可见光能够透过所述带通滤光片。

12.一种基于根据权利要求9至11中任何一项所述的方法拍摄的三维图像来获得待测对象的深度数据的方法，所述三维图像包括彼此具有视差的第一二维图像和第二二维图像，所述深度数据表示所述待测对象上的点相对于第一成像单元和/或第二成像单元的距离，该方法包括：

识别所述第一二维图像和所述第二二维图像中的所述离散斑点；

确定所述第一二维图像的所述离散斑点和所述第二二维图像中的所述离散斑点之间的对应关系；以及

基于所述第一二维图像和所述第二二维图像中对应的离散斑点在所述第一二维图像和所述第二二维图像中的位置差异，以及所述第二成像单元与所述第一成像单元之间的所述预定相对位置关系，计算所述离散斑点的深度数据。

13.根据权利要求12所述的方法，其中，在拍摄所述三维图像时，还向所述拍摄区域透射了基本上均匀的均匀光，

该方法还包括：

基于所述第一二维图像和/或所述第二二维图像中区域之间的对比度差异，确定待测对象图像区域的轮廓，

其中，

在所述识别离散斑点的步骤中，识别所述待测对象图像区域中的离散斑点；和/或

在所述确定离散斑点之间的对应关系的步骤中，确定所述待测对象图像区域中的离散斑点之间的对应关系；和/或

在所述计算离散斑点的深度数据的步骤中，计算所述待测对象图像区域中的离散斑点的深度数据。

14.一种基于根据权利要求9至11中任何一项所述的方法拍摄的三维图像来获得待测对象的深度数据的设备，所述三维图像包括彼此具有视差的第一二维图像和第二二维图像，所述深度数据表示所述待测对象上的点相对于第一成像单元和/或第二成像单元的距离，该设备包括：

离散斑点识别装置，用于识别所述第一二维图像和所述第二二维图像中的所述离散斑点；

对应关系确定装置，用于确定所述第一二维图像的所述离散斑点和所述第二二维图像中的所述离散斑点之间的对应关系；以及

深度数据计算装置，用于基于所述第一二维图像和所述第二二维图像中对应的离散斑点在所述第一二维图像和所述第二二维图像中的位置差异，以及所述第二成像单元与所述第一成像单元之间的所述预定相对位置关系，计算所述离散斑点的深度数据。

15.根据权利要求14所述的设备，其中，在拍摄所述三维图像时，还向所述拍摄区域透射了基本上均匀的均匀光，

该设备还包括：

轮廓确定装置，用于基于所述第一二维图像和/或所述第二二维图像中区域之间的对比度差异，确定待测对象所在图像区域的轮廓，

其中，

所述离散斑点识别装置识别所述待测对象图像区域中的离散斑点；和/或

所述对应关系确定装置确定所述待测对象图像区域中的离散斑点之间的对应关系；和/或

所述深度数据计算装置计算所述待测对象图像区域中的离散斑点的深度数据。