CN108645353A - 基于多帧随机二元编码光场的三维数据采集系统及方法 - Google Patents

Abstract

本发明公开了一种基于多帧随机二元编码光场的三维数据采集系统及方法，能够在各种环境中采集非静态、准静态、静态目标的三维数据，其采集精度和分辨率可调，且投影和拍摄无需严格同步，不受投影装置非线性的影响，不依赖精密切换机构，减小了设备体积并降低了成本。该系统包括：具有左相机和右相机的双目相机、投影装置、以及同步控制电路；其中，投影装置用于投影随机二元编码图像序列至测量目标的表面；同步控制电路用于在投影装置投影每一幅随机二元编码图像时触发双目相机拍摄经过测量目标表面形貌调制的光场图像；三维重建算法模块用于对获得的二维立体图像序列对进行图像分析处理，得到测量目标的在不同视图下的三维点云数据。

Description

基于多帧随机二元编码光场的三维数据采集系统及方法

技术领域

本发明涉及三维测量技术领域，尤其涉及一种基于多帧随机二元编码光场的三维数据采集系统及方法。

背景技术

三维数据数据采集是光学三维测量技术与计算机视觉技术学科交叉的一个重要应用领域。获取人脸的三维形貌数据在医学美容、影视娱乐、人脸识别、虚拟现实、视频会议等领域具有广泛的应用。

基于结构光投影的三维数据采集方法具有精度高、全场非接触、数据处理自动化、可视化程度高、采集速度快等显著优点。市面上低成本、体积小的设备主要有微软公司的Kinect和因特尔公司的RealSense系列，但是二者适用于消费类电子等领域精度要求不高的场合，如果用于人脸等目标的三维数据采集，难以获得高精度的三维人脸面形数据。工业领域的高精密设备可以获取几乎任何具有漫反射表面特性目标的表面形貌数据，但是大多数结构光扫描的设备均是面向工业应用，设备体积硕大，造价高昂，并且要求测量目标静止，对环境的控制较为严格。其成本较高的一个根本原因在于，采用正弦结构光场照明或者基于其他时间序列编码的结构光编码方法要求投影序列之间有严格的空间位移关系，且要求投影装置和相机之间有严格的同步，这就必然依赖于精密昂贵的切换机构，因此难以真正意义上用于人脸等非静态或准静态目标的三维数据采集。

发明内容

本发明的目的之一至少在于，针对如何克服上述现有技术存在的问题，提供一种基于多帧随机二元编码光场的三维数据采集系统及方法，能够在各种环境中采集非静态、准静态、静态目标的三维数据，其采集精度和分辨率可调，且投影和拍摄无需严格同步，不受投影装置非线性的影响，不依赖精密切换机构，减小了设备体积并降低了成本。

为了实现上述目的，本发明采用的技术方案包括以下各方面。

一种基于多帧随机二元编码光场的三维数据采集系统，其包括：具有左相机和右相机的双目相机、投影装置、以及同步控制电路；

其中，投影装置，用于投影随机二元编码图像序列至测量目标的表面；同步控制电路与投影装置和双目相机连接，用于在投影装置投影每一幅随机二元编码图像时触发双目相机拍摄经过测量目标表面形貌调制的光场图像，以使其分别得到左、右二维立体图像序列；三维重建算法模块与双目相机连接，用于对获得的二维立体图像序列对进行图像分析处理，得到测量目标的在不同视图下的三维点云数据。

优选的，所述随机二元编码图像的分辨率大小与双目相机的分辨率大小匹配并满足采样定理，图像上每一像素点为通过全局随机和局域随机生成的二元点阵。

优选的，所述随机二元编码图像序列中具有M幅图像且M≥1；左、右二维立体图像序列各自具有N幅变形随机二元编码光场图像且N≥3。

优选的，所述投影装置具有数字投影方式、光学投影方式、或者衍射光学投影的方式，并根据系统的几何参数与相机物理参数计算得到最小单点大小。

优选的，所述投影装置包括：封装有的随机二元编码图像基片和光源的投射模组、楔形反射镜以及旋转电机；其中光源为可见光源或者近红外光源。

优选的，所述投影装置采用光学投影方式，在随机二元编码图像序列中图像数量M＝1时，通过几何光学投影实现随机二元编码光场；当M≥2时，采用旋转的楔形反射镜装置调制投射光场实现光场在视场中的随机扫描。

优选的，所述三维数据采集方法包括：

获取成对的左、右二维立体图像序列，其各自具有多幅经过测量目标表面调制的变形随机二元编码光场图像；根据系统标定参数校正所获取的二维立体图像序列对；在左二维立体图像序列上确定待匹配像素点；

在右二维立体图像序列上、预设的视差范围内搜索待匹配像素点的对应像素点，并计算待匹配像素点与对应像素点的相关系数；根据相关系数将待匹配像素点与对应像素点设置为匹配点，以获取第一组匹配点；

对获取的匹配点逐一进行一致性检查；逐一计算通过一致性检查的匹配点中像素点之间的视差，获取视差数据；根据标定参数和获取的视差数据进行三维重建，获取测量目标的三维点云数据。

优选的，采用时空相关算法来计算相关系数δ，计算公式为：

式中，G(i，j，t)表示左二维立体图像序列中N幅图像中每一幅上像素(i，j，t)的灰度值，G_avg表示匹配窗口内所有像素的平均灰度值；G’(m’，n’，t)表示右二维立体图像序列中N幅图像中每一幅上像素(i’，j’，t)的灰度值，G’_avg表示匹配窗口内所有像素的平均灰度值；其中， 匹配窗口大小为(2m_x+1)×(2m_y+1)；m_x，m_y均为大于1的正整数。

优选的，所述进行一致性检查包括：以右视角的N幅变形随机二元编码光场图像为参考，选择其上感兴趣区域内的像素点作为待匹配像素点，在左二维立体图像序列上、预设的视差范围内搜索待匹配像素点的对应像素点，根据计算的相关系数确定第二组匹配点，并与第一组匹配点进行比较，如果同一像素点的不同匹配点之间的误差小于或等于设定的阈值则通过一致性检查。

优选的，当相关系数大于设定的阈值δ_th时，将二维立体图像序列对中的待匹配像素点与对应像素点设置为匹配点；其中δ_th＝0.08。

综上所述，由于采用了上述技术方案，本发明至少具有以下有益效果：

通过多帧随机二元编码结构光场对目标表面进行编码，不受投影装置非线性的影响，且光场之间的不需要任何精密的切换机构；可根据需要投影的光场数量以及投影方式确定是否需要严格保证投影与拍摄的同步，系统装置具有很强的灵活性，实现成本低廉；实现测量目标的三维重建可选择投影光场的数量从一到无穷大，其采集精度和分辨率也不断提升，可根据实际测量需要建立精度与投影光场的数量个映射表，选择适宜的参数；并且，具有广泛的应用范围，可满足非静态、准静态、静态目标的三维测量。

附图说明

图1是根据本发明实施例的基于多帧随机二元编码光场的三维数据采集系统的结构示意图。

图2是根据本发明实施例的随机二元编码图像的示意图。

图3是根据本发明示例性实施例的投影装置的结构示意图。

图4是根据本发明实施例的基于多帧随机二元编码光场的三维数据采集方法的流程图。

具体实施方式

下面结合附图及实施例，对本发明进行进一步详细说明，以使本发明的目的、技术方案及优点更加清楚明白。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图1示出了根据本发明实施例的基于多帧随机二元编码光场的三维数据采集系统的结构示意图，其以塑料模特100作为测量目标，示例性地说明该系统采集真实人脸应用场景下的结构和原理。

如图1所示，该系统主要包括：具有左相机(或第一相机)101和右相机(或第二相机，左右均为相对概念，仅用于区分二者)102的双目相机、投影装置103、以及同步控制电路(图中未示出，其可以设置在投影装置中，也可以单独设置)。其中，投影装置103，用于投影随机二元编码图像序列104(其具有M幅图像，图中M为4，且可以根据所要获得的三维数据精度来设置M的值，通常M≥1)至测量目标的表面；同步控制电路与投影装置和双目相机连接，用于在投影装置投影每一幅随机二元编码图像时触发双目相机拍摄经过测量目标(即塑料模特100脸部)表面形貌调制的光场图像，以使其分别得到左、右(或第一、第二)二维立体图像序列105和106(各自具有N幅变形随机二元编码光场图像，图中N为4，但在各种实施例中，N≥3即可)；三维重建算法模块107与双目相机连接(图中未示出连接线，其可以采用具有计算机程序的存储器和处理器来实现)，用于对获得的二维立体图像序列对105和106进行图像分析处理，得到测量目标的在不同视图下的三维点云数据108、109和110。例如图像分析处理可以采用空时相关算法对二维立体图像序列对进行对应点匹配以实现三维重建，其中匹配窗口大小和相关阈值可根据后文实施例以及应用的精度需求和实验值得到最优解。

在示例性的实施方式中，当投影装置103投射随机二元编码图像序列104至模特100的脸部表面时，同步控制电路向按照双目立体视觉位置布置的两台工业相机101和102发送触发信号，使二者同时(此处仅指双目相机中的两个相机，而投影装置与两台工业相机之间无需严格时钟同步)各自获取具有N幅受脸部表面形貌调制的二维立体图像的图像序列对105和106，其中，左相机对应105，右相机对应106。然后通过三维重建算法模块107进行图像分析，最后输出模特100脸部的三维点云数据，108～110分别示例性地示出了左中右三个视角的三维点云数据示意图。

更具体地，可以使用分别设置在投影装置左右两侧的两台相机(例如均为德国IDS公司生产的3060P型黑白工业相机，其分辨率为1936×1216像素、CCD靶面尺寸为1/1.2”、焦距f＝16mm)构成的双目相机来抓拍受人脸调制的变形编码图像。其中，双目立体视觉布局的左右相机的基线距离(即左右相机光心的直线距离)约为360mm，以获取距离投影装置600-800mm处的人脸三维数据。

投影装置可以采用数字投影方式，例如采用图像序列投影(需保证投影装置和两台相机抓拍的严格同步)，或者视频播放模式(无需保证投影和两台相机抓拍的同步)。投影装置也可以采用光学投影方式，例如随机二元编码图像序列中具有M＝1幅图像时，可通过几何光学投影实现随机二元编码光场；当M≥2时，可以采用例如旋转的楔形反射镜装置调制投射光场实现光场在视场中的随机扫描；还进一步可以采用衍射光学(DiffractionOptics)投影的方式，并根据系统具体采用的几何参数与相机物理参数计算得到最小单点大小。

图2示出了根据本发明实施例的一幅随机二元编码图像的示意图，其示例性地展示了随机二元编码图像的构造，上述实施例中的随机二元编码图像序列104中的每一幅可以采用与图2所示类似的构造方案。每一幅随机二元编码图像的分辨率大小与双目相机的分辨率大小匹配并满足采样定理，图像上每一像素点为通过全局随机和局域随机生成的二元点阵。

具体地，每幅随机二元编码图像被分割成X(X≥4且X为偶数)个区域，在每个区域进行局部随机编码，然后对整幅编码图像进行全局编码，保证空间全局随机性。为进一步提高随机性，优选的X≥8。例如，可以将与投影装置分辨率大小相同的图像区域分割成12个相同大小区域，例如图2中标示出的200～202。在每个区域内随机确定X1(例如X1＝16)个非边界的像素点，然后以这16个像素点为锚点通过区域生长的方式在各个分割的区域内进行扩散；最后对整幅图像进行搜索，对例如5×5像素，1×5像素，5×1像素区域进行填充，使得整幅图像的平均颗粒度满足投影视场和相机采集视场的采样定理，同时随机二元编码整幅图像中灰度为255的像素点总和占总像素点的42～47％，图2中为42.7％。所生成的随机二元编码图像序列中的每一幅图像在空间上和时间上均保持随机性，不存在任何关联。

图3示出了根据本发明示例性实施例的投影装置303的结构示意图，其包括：封装有的随机二元编码图像基片和光源的投射模组3030、楔形反射镜3031以及旋转电机3032。其中光源可选择可见光源，也可以是近红外光源，同时需选择与之匹配的相机。

在具体应用中，可以将上述随机二元编码图像通过电子束光刻技术刻蚀在直径约为10mm的镀铬玻璃基片上，然后通过LED白光光源照明，封装完整的投射模组为3030；将投射模组3030投射的编码光场经过由旋转电机3032驱动的楔形反射镜3031反射后在测量视场形成不断扫描的随机二元编码光场。测量目标模特300(图中用包括了模特后面的黑色背景的图片进行示例说明，相应的二维立体图像的图像序列对也具有黑色背景)的脸部置于扫描视场中央，两台黑白工业相机301和302(其物理参数可以与上述实施例具体示出的相同或者不同)在同步控制电路的控制下，同时连续抓拍，各自得到具有N幅图像的二维立体图像序列(例如，图1中的105和106，N＝4)。

图4示出了根据本发明实施例的基于多帧随机二元编码光场的三维数据采集方法的流程图，其包括以下步骤：

步骤401：获取成对的左、右二维立体图像序列，其各自具有多幅经过测量目标表面调制的变形随机二元编码光场图像

例如，当人脸模型至于测量空间中，同步控制电路发送触发信号启动投射模组和电机基于随机二元编码图像序列产生扫描随机二元编码光场；置于投影模块两侧成双目立体视觉布置的两台工业相机在同步控制电路的控制下，同时抓拍受人脸调制的N帧变形光场图像的序列，形成N对二维立体图像。

步骤402：根据系统标定参数校正所获取的二维立体图像序列对

具体地，可以采用文献Z.Y.Zhang,“一种灵活的摄像机标定新技术A FlexibleNew Technique for Camera Calibration,”IEEE模式分析与机器智能汇刊IEEETransactions on Pattern Analysis&Machine Intelligence,2000,22(11):1330-1334.所述的方法预先对系统进行标定，利用系统标定参数对获得的二维立体图像序列对进行极线校正。

步骤403：在左二维立体图像序列上确定待匹配像素点

例如，以左视角的N幅变形随机二元编码光场图像为参考，选择其上感兴趣区域内的像素点作为待匹配像素点。

步骤404：在右二维立体图像序列上、预设的视差范围内搜索待匹配像素点的对应像素点，并计算待匹配像素点与对应像素点的相关系数

具体地，搜索待匹配像素点(i，j)的对应像素点(i’，j’)可以采用时空相关算法来计算相关系数δ，具体计算公式如下：

式中，G(i，j，t)表示左二维立体图像序列中N幅图像中每一幅上像素(i，j，t)的灰度值，G_avg表示匹配窗口内所有像素的平均灰度值；G’(m’，n’，t)表示右二维立体图像序列中N幅图像中每一幅上像素(i’，j’，t)的灰度值，G’_avg表示匹配窗口内所有像素的平均灰度值。其中，N在上述实施例中取值为4，但在也可以获取更多幅变形随机二元编码光场图像，使得N大于4；匹配窗口大小为(2m_x+1)×(2m_y+1)，m_x，m_y为大于1的正整数。

步骤405：根据相关系数将待匹配像素点与对应像素点设置为匹配点

例如，当相关系数δ大于设定的阈值δ_th(例如，δ_th＝0.08)时，将二维立体图像序列对中的待匹配像素点与对应像素点设置为匹配点，即该两像素点对应于测量目标上的同一点。对于相关系数小于或等于设定的阈值的像素点，则匹配失败，将对应的视差设置为无穷大，返回步骤403开始确定下一个待匹配像素点并执行后续步骤。

步骤406：对获取的匹配点逐一进行一致性检查

具体地，可以重复步骤403～405，不同的是，以右视角的N幅变形随机二元编码光场图像为参考，选择其上感兴趣区域内的像素点作为待匹配像素点，在左二维立体图像序列上、预设的视差范围内搜索待匹配像素点的对应像素点，并根据计算的相关系数设置第二组匹配点。将步骤403～405获得的第一组匹配点和本步骤获取的第二组匹配点进行比较，如果同一像素点的不同匹配点之间的误差大于设定的阈值(例如0.5像素)，则认为是误匹配，未通过一致性检查，将对应的视差设置为无穷大；如果同一像素点的不同匹配点之间的误差小于或等于设定的阈值(例如0.5像素)则通过一致性检查。

步骤407：逐一计算通过一致性检查的匹配点中像素点之间的视差，获取视差数据

步骤408：根据标定参数和获取的视差数据进行三维重建，获取测量目标的三维点云数据

具体地，可以基于每一组匹配点中像素点之间的视差和双目立体视觉布局，根据三角原理计算测量目标上对应点的深度，继而根据测量目标上每个点的深度数据，获取测量目标表面的三维坐标数据。图1中示例性地示出了本发明采集塑料模特左中右三个视图下的三维点云数据108～110。

以上所述，仅为本发明具体实施方式的详细说明，而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下，做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多帧随机二元编码光场的三维数据采集系统，其特征在于，所述三维数据采集系统包括：具有左相机和右相机的双目相机、投影装置、以及同步控制电路；

其中，投影装置，用于投影随机二元编码图像序列至测量目标的表面；同步控制电路与投影装置和双目相机连接，用于在投影装置投影每一幅随机二元编码图像时触发双目相机拍摄经过测量目标表面形貌调制的光场图像，以使其分别得到左、右二维立体图像序列；三维重建算法模块与双目相机连接，用于对获得的二维立体图像序列对进行图像分析处理，得到测量目标的在不同视图下的三维点云数据。

2.根据权利要求1所述的三维数据采集系统，其特征在于，所述随机二元编码图像的分辨率大小与双目相机的分辨率大小匹配并满足采样定理，图像上每一像素点为通过全局随机和局域随机生成的二元点阵。

3.根据权利要求1所述的三维数据采集系统，其特征在于，所述随机二元编码图像序列中具有M幅图像且M≥1；左、右二维立体图像序列各自具有N幅变形随机二元编码光场图像且N≥3。

4.根据权利要求1所述的三维数据采集系统，其特征在于，所述投影装置具有数字投影方式、光学投影方式、或者衍射光学投影的方式，并根据系统的几何参数与相机物理参数计算得到最小单点大小。

5.根据权利要求4所述的三维数据采集系统，其特征在于，所述投影装置包括：封装有的随机二元编码图像基片和光源的投射模组、楔形反射镜以及旋转电机；其中光源为可见光源或者近红外光源。

6.根据权利要求5所述的三维数据采集系统，其特征在于，所述投影装置采用光学投影方式，在随机二元编码图像序列中图像数量M＝1时，通过几何光学投影实现随机二元编码光场；当M≥2时，采用旋转的楔形反射镜装置调制投射光场实现光场在视场中的随机扫描。

7.一种基于多帧随机二元编码光场的三维数据采集方法，其特征在于，所述三维数据采集方法包括：

获取成对的左、右二维立体图像序列，其各自具有多幅经过测量目标表面调制的变形随机二元编码光场图像；根据系统标定参数校正所获取的二维立体图像序列对；在左二维立体图像序列上确定待匹配像素点；

在右二维立体图像序列上、预设的视差范围内搜索待匹配像素点的对应像素点，并计算待匹配像素点与对应像素点的相关系数；根据相关系数将待匹配像素点与对应像素点设置为匹配点，以获取第一组匹配点；

对获取的匹配点逐一进行一致性检查；逐一计算通过一致性检查的匹配点中像素点之间的视差，获取视差数据；根据标定参数和获取的视差数据进行三维重建，获取测量目标的三维点云数据。

8.根据权利要求7所述的三维数据采集方法，其特征在于，采用时空相关算法来计算相关系数δ，计算公式为：

式中，G(i，j，t)表示左二维立体图像序列中N幅图像中每一幅上像素(i，j，t)的灰度值，G_avg表示匹配窗口内所有像素的平均灰度值；G’(m’，n’，t)表示右二维立体图像序列中N幅图像中每一幅上像素(i’，j’，t)的灰度值，G’_avg表示匹配窗口内所有像素的平均灰度值；其中， 匹配窗口大小为(2m_x+1)×(2m_y+1)；m_x，m_y均为大于1的正整数。

9.根据权利要求7所述的三维数据采集方法，其特征在于，所述进行一致性检查包括：以右视角的N幅变形随机二元编码光场图像为参考，选择其上感兴趣区域内的像素点作为待匹配像素点，在左二维立体图像序列上、预设的视差范围内搜索待匹配像素点的对应像素点，根据计算的相关系数确定第二组匹配点，并与第一组匹配点进行比较，如果同一像素点的不同匹配点之间的误差小于或等于设定的阈值则通过一致性检查。

10.根据权利要求7所述的三维数据采集方法，其特征在于，当相关系数大于设定的阈值δ_th时，将二维立体图像序列对中的待匹配像素点与对应像素点设置为匹配点；其中δ_th＝0.08。