CN113012277B - 一种基于dlp面结构光多相机重建方法 - Google Patents

Abstract

本发明提供一种基于DLP面结构光多相机重建方法，包括：搭建四目结构光检测系统，标定相机，PC端生成格雷码与相移码图案，控制DLP投影仪投射，电平信号触发相机拍摄编码图案受调制后的图像；矫正拍摄得到的图像并进行去噪处理；对去噪后的格雷码图案和相移编码图案分别进行解码和解包裹操作计算截断相位，结合两者的结果进行绝对相位值的计算；进行立体匹配，获得待测物的点云信息；对两组双目结构光系统得到的点云进行滤波处理，通过旋转平移变换将两组点云进行初步的拼接；拼接得到的点云进行融合处理，并进行曲面重建，本发明通过格雷码结合相移码完成高精度编码过程，提高编解码的准确性与最终重建的精度，达到工业中检测的要求。

Description

一种基于DLP面结构光多相机重建方法

技术领域

本发明涉及三维重建技术技术领域，尤其涉及一种基于DLP面结构光多相机重建方法。

背景技术

三维重建技术可分为接触式与非接触式两种，接触式三维重建的方法主要通过传感器与目标物直接接触，来获取其轮廓的点云数据。该方式检测的精度较高，但是整体的效率偏低，同时在接触的过程中可能会对待测物造成一定的损害。非接触式三维重建技术主要通过光、声音、电磁波等方式接触目标物来获取物体的三维信息或者通过多视图几何地原理进行三维重建，通过多个相机进行同时拍摄或者使用单个相机从不同的角度进行拍摄，但是该方式对于表面光滑无纹理的对象检测效果较差，并且环境光对其的影响比较大。其中基于光学的非接触式重建技术是目前比较常用的，常见的光学三维传感技术主要包括光度立体视觉法、飞行时间法、激光三角重建法、结构光投影法等等。光度立体法通过使用一个相机和多个光强相同的光源，通过改变光源的照射方向，同时拍摄物体在不同照射条件下的图像，根据表面法向信息进行三维重建，但是该方法对环境光的抗干扰性较差。飞行时间法通过记录光束传播时间来计算被测物表面的深度距离，该方法可以避免遮挡物的影响，但是整体的精度较低。激光三角法是通过相机采集物体表面变形的线激光，然后根据三角测量原理得到物体的三维信息，但是由于投影图案是一条直线，所以测量的效率较低。结构光投影法是目前应用较多的一种三维重建的方法，具有精度高，测量速度快等特点，目前市场上多见的为双目结构光测量方法，即通过两个两个相机和一个结构光投影仪组成，但是该方式测量的视场范围有限，若想得到完整的点云信息需要拍摄多次，并且对于一些高反光的物体容易造成点云的缺失，因此本项目拟采用四目结构光技术，通过投射格雷码和相移编码图案实现对各个像素的精确编码，并结合点云拼接融合技术进行三维重建。

发明内容

有鉴于此，本发明目的是提供一种基于DLP面结构光多相机重建方法。

一种基于DLP面结构光多相机重建方法，包括以下步骤：

S1：搭建四目结构光检测系统，四个工业相机周向分布，DLP面结构光投影仪置于系统中央，通过电平信号同时触发四个工业相机，重建过程将所述四个工业相机分为两组不同的双目结构光系统；

S2：标定相机，先通过标定单个相机获得其内参数及外参数，再进行多次双目标定将坐标系进行统一；

S3：PC端生成格雷码与相移码图案，控制DLP投影仪投射，同时电平信号触发相机拍摄编码图案受调制后的图像；

S4：根据标定的内参数及外参数矫正S3中拍摄得到的图像并对其进行去噪处理；

S5：对去噪后的格雷码图案进行解码操作，对去噪后的相移编码图案进行解包裹操作计算截断相位，结合两者的结果进行绝对相位值的计算；

S6：根据计算的绝对相位值进行立体匹配，通过视差的原理获得待测物的点云信息；

S7：对两组双目结构光系统得到的点云进行滤波处理，去除杂点，并通过旋转平移变换将两组点云进行初步的拼接；

S8：对S7拼接得到的点云进行融合处理，去除冗余和重叠的部分，并进行曲面重建，分析重建结果的精度。

本发明提供的技术方案带来的有益效果是：本发明简单易行，能够实现高精度的多目联合标定；在点云拼接方面通过将两组点云转换至不同的坐标系下进行拼接，无需结合电动转台等机械装置实现多方位的点云重建；针对高反光的物体因过曝造成的点云缺失问题也可通过不同视角下的图像信息进行补偿；本发明通过格雷码结合相移码完成高精度编码过程，提高编解码的准确性与最终重建的精度，达到工业中检测的要求。

附图说明

图1是本发明一种基于DLP面结构光多相机重建方法的流程图；

图2是本发明一种基于DLP面结构光多相机重建方法的机械结构图；

图3是本发明一种基于DLP面结构光多相机重建方法的多相机标定流程图；

图4是本发明一种基于DLP面结构光多相机重建方法的流程示意图；

图5是本发明一种基于DLP面结构光多相机重建方法的格雷码示意图；

图6是本发明一种基于DLP面结构光多相机重建方法的相移编码示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

为解决双目结构光系统视场局限的问题，本项目使用四个相机结合一DLP面结构光投影仪通过结合格雷码与相移码图案进行三维重建，请参考图1，本发明提供了一种基于DLP面结构光多相机重建方法，包括以下步骤：

S1：搭建四目结构光检测系统，四个工业相机周向分布，DLP面结构光投影仪置于系统中央，将DLP面结构光投影仪的信号输出口连接至四个工业相机的光耦隔离输入端并设置相机触发方式为硬触发，如图2所示；通过电平信号同时触发四个工业相机，重建过程将所述四个工业相机分为两组不同的双目系统；

S2：标定相机，先通过标定单个相机获得其内参数及外参数，再进行多次双目标定将坐标系进行统一；具体如下：

S2.1：通过使用棋盘格标定板，根据张正友标定原理对四个单目相机进行标定，得到每个相机相对于标定板的外参数主要包括单相机相对于标定板的旋转平移矩阵及内参数

其中，u₀，v₀主点的实际位置，γ为偏轴系数，通常设为0，f_x，f_y为使用像素来描述x轴与y轴方向上焦距的长度；

S2.2：通过双目标定原理分别对四个相机进行两两标定，最终将多个相机的坐标系转换至同一坐标系下，通过两个相机之间的旋转

及平移矩阵

将两个相机统一，其中R_l，R_r，T_l，T_r分别为单个相机相对于标定板的旋转矩阵和平移矩阵，通过其联合求解得到两个相机之间的相对位姿，通过旋转平移矩阵进行坐标系统一，将四摄像机分为相机0、相机1、相机2与相机3，第一次双目标定将坐标系变换至相机1下，第二次双目标定将坐标系统一到相机2下，最后一次双目标定实现将坐标系统一到相机3下，完成整个系统的标定，请参考图3。

S3：PC端生成格雷码与相移码图案，控制DLP投影仪投射，同时电平信号触发相机拍摄编码图案受调制后的图像，请参考图4，具体如下：

S3.1：根据投影仪的频率确定格雷码图案的位数及相移编码图案的周期；

S3.2：DLP投影仪先投射一组纵向及横向的格雷码图案，再投射相应的纵向及横向相移编码图案，通过交叉定位提高解码精度。

S4：根据标定的内参数及外参数矫正S3中拍摄得到的图像并对其进行去噪处理；

S5：对去噪后的格雷码图案进行解码操作，对去噪后的相移编码图案进行解包裹操作计算截断相位，结合两者的结果进行绝对相位值的计算；本发明使用六幅格雷码图案结合四步相移的方法来进行编码图案的设计，格雷码是一种二值编码图案，如图5所示，具体如下：

S5.1：首先对去噪后的格雷码图案进行二值化；

S5.2：对二值化之后的格雷码图案进行解码操作，解码过程如下式所示，

k(x，y)＝i(V(x，y))

其中GC_i表示第i幅去噪后的格雷码图案，V(x，y)根据二进制数进行求解，最后通过查表的方式对结果进行排序，得到最终结果k(x，y)；

S5.3：采用四步相移的方式对去噪后的相移码图案进行解包裹操作，参考图6，得到的每张图像的光强函数如下：

其中A(x，y)表示背景光强，B(x，y)表示调制度，下标n表示第几幅条纹图像，N表示相移图的步数，本发明采用四步相移，所以N＝4，

是条纹的相位每次移动Π/2个相位，四组相移图案的光强函数如下：

根据包裹相位的计算公式相移编码的截断相位：

S6：根据计算的绝对相位值进行立体匹配，通过视差的原理获得待测物的点云信息；具体如下：

S6.1：遍历计算出的绝对相位的图像，搜索匹配满足阈值的匹配点；

S6.2：根据得到的匹配点及立体视觉中视差的原理得到待测物的点云信息，公式如下：

其中Q为双目标定过程中计算出的深度映射矩阵，T_x为两组相机之间的距离，T_z为通过立体标定获得的平移矩阵T的z方向的分量，c_x，c′_x为左右相机图像平面的原点水平分量在像素坐标系下的坐标值，计算过程中二者相差的值很小，近似为0，d为视差值，L_x，R_x为物点在左右相机平面下的坐标。

S7：对两组双目结构光系统得到的点云进行滤波处理，去除杂点，并通过旋转平移变换将两组点云进行初步的拼接；具体如下：

S7.1：通过点云算法对得到的两组点云信息进行去噪处理；

S7.2：计算去噪后两组点云的旋转平移矩阵，通过刚性变换将源点云变换至目标点云坐标系下。

S8：对S7拼接得到的点云进行融合处理，去除冗余和重叠的部分，并进行曲面重建，分析重建结果的精度，具体如下：

S8.1：将空间划分为若干栅格，再根据每个栅格的有向距离进行点云的合并操作；

S8.2：对点云进行三角网格化；

S8.3：通过泊松曲面重建构建出待测物体的三维模型；

S8.4：通过对标定球进行重建，分析其重建精度。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于DLP面结构光多相机重建方法，其特征在于，包括以下步骤：

S1：搭建四目结构光检测系统，四个工业相机周向分布，DLP面结构光投影仪置于系统中央，通过电平信号同时触发四个工业相机，重建过程将所述四个工业相机分为两组不同的双目结构光系统；所述检测系统是将DLP面结构光投影仪的信号输出口连接至四个工业相机的光耦隔离输入端并设置相机触发方式为硬触发，实现DLP触发四个相机进行同步拍摄；

S2：标定相机，先通过标定单个相机获得其内参数及外参数，再进行多次双目标定将坐标系进行统一；

S3：PC端生成格雷码与相移码图案，控制DLP投影仪投射，同时电平信号触发相机拍摄编码图案受调制后的图像；

S4：根据标定的内参数及外参数矫正S3中拍摄得到的图像并对其进行去噪处理；

S5：对去噪后的格雷码图案进行解码操作，对去噪后的相移编码图案进行解包裹操作计算截断相位，结合两者的结果进行绝对相位值的计算；

S6：根据计算的绝对相位值图像进行立体匹配，通过视差的原理获得待测物的点云信息；

S7：对两组双目结构光系统得到的点云进行滤波处理，去除杂点，并通过旋转平移变换将两组点云进行初步的拼接；

S8：对S7拼接得到的点云进行融合处理，去除冗余和重叠的部分，并进行曲面重建，分析重建结果的精度。

2.根据权利要求1所述的一种基于DLP面结构光多相机重建方法，其特征在于，S2中所述标定相机具体如下：

S2.1：通过使用棋盘格标定板，根据张正友标定原理对四个单目相机进行标定，得到每个相机相对于标定板的外参数包括单个相机相对标定板得旋转平移矩阵及内参数

其中，u₀，v₀为主点的实际位置，γ为偏轴系数，通常设为0，f_x，f_y为使用像素来描述x轴与y轴方向上焦距的长度；

S2.2：通过双目标定原理分别对四个相机进行两两标定，最终将多个相机的坐标系转换至同一坐标系下，通过两个相机之间的旋转

及平移矩阵

将两个相机统一，其中R_l，R_r，T_l，T_r分别为单个相机相对于标定板的旋转矩阵和平移矩阵，通过其联合求解得到两个相机之间的相对位姿，通过旋转平移矩阵进行坐标系统一。

3.根据权利要求1所述的一种基于DLP面结构光多相机重建方法，其特征在于，所述S3具体如下：

S3.1：根据投影仪的频率确定格雷码图案的位数及相移编码图案的周期；

S3.2：DLP投影仪先投射一组纵向及横向的格雷码图案，再投射相应的纵向及横向相移编码图案，通过交叉定位提高解码精度。

4.根据权利要求1所述的一种基于DLP面结构光多相机重建方法，其特征在于，所述S5具体如下：

S5.1：首先对去噪后的格雷码图案进行二值化；

S5.2：对二值化之后的格雷码图案进行解码操作，解码过程如下式所示，

k(x,y)＝i(V(x,y))

其中GC_i表示第i幅去噪后的格雷码图案，V(x,y)根据二进制数进行求解，最后通过查表的方式对结果进行排序，得到最终结果k(x,y)；

S5.3：采用四步相移的方式对去噪后的相移码图案进行解包裹操作，得到的每张图像的光强函数如下：

其中A(x,y)表示背景光强，B(x,y)表示调制度，下标n表示第几幅条纹图像，N表示相移图的步数，

是条纹的相位，因采用四步相移法，所以使用投影仪将正弦条纹在一个周期内均匀移动4次，每次移动Π/2个相位，四组相移图案的光强函数如下：

根据包裹相位的计算公式相移编码的截断相位：

S5.4：根据格雷码的解码结果通过下式进行相位展开，得到绝对相位值：

Ψ(x,y)＝ф(x,y)+2Пk(x,y)。

5.根据权利要求1所述的一种基于DLP面结构光多相机重建方法，其特征在于，所述S6具体如下：

S6.1：遍历计算得到的绝对相位的图像，搜索匹配满足阈值的匹配点；

S6.2：根据得到的匹配点及立体视觉中视差的原理得到待测物的点云信息，公式如下：

d＝L_x-R_x

其中Q为双目标定过程中计算出的深度映射矩阵，T_x为两组相机之间的距离，T_z为通过立体标定获得的平移矩阵T的z方向的分量，c_x,c′_x为左右相机图像平面的原点水平分量在像素坐标系下的坐标值，计算过程中二者相差的值很小，近似为0，d为视差值，L_X，R_x为物点在左右相机平面下的坐标。

6.根据权利要求1所述的一种基于DLP面结构光多相机重建方法，其特征在于，所述S7具体如下：

S7.1：通过点云算法对得到的两组点云信息进行去噪处理；

S7.2：计算去噪后两组点云的旋转平移矩阵，通过刚性变换将源点云变换至目标点云坐标系下。

7.根据权利要求1所述的一种基于DLP面结构光多相机重建方法，其特征在于，所述S8具体如下：

S8.1：将空间划分为若干栅格，再根据每个栅格的有向距离进行点云的合并操作；

S8.2：对S8.1操作后的点云进行三角网格化；

S8.3：通过泊松曲面重建构建出待测物体的三维模型；

S8.4：通过对标定球进行重建，分析其重建精度。

Images