CN114719780B - 基于深度学习的反光物体表面结构光投影三维测量方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的反光物体表面结构光投影三维测量方法，属于计算机视觉测量技术领域。本发明的测量方法包括：通过相移条纹投影法获得经过物体表面调制的条纹图像；通过深度学习获得预测的无反光图像；将预测的无反光图像与原始图像进行比较并融合；通过融合的图像获取包裹相位；对包裹相位进行相位展开，结合系统标定参数获得被测物体的三维形貌信息。本发明解决了结构光法测量时物体表面反光导致的相位提取错误，从而引起三维数据计算错误的问题，能够有效修复三维测量中由于反光引起的测量失真。

Description

基于深度学习的反光物体表面结构光投影三维测量方法

技术领域

本发明涉及一种基于深度学习的反光物体表面结构光投影三维测量方法，属于计算机视觉测量技术领域。具体指一种基于相移条纹法的非接触式反光物体三维测量方法。

背景技术

随着现代制造业与生活水平的发展，以及虚拟现实和增强现实技术的普及，传统的二维机器视觉技术与接触式测量已经难以满足现代智能制造的需求，对实物的三维测量与重构的应用领域与需求也越来越多，广泛应用于三维设计、工业、汽车制造、航空航天、电子产品制造、逆向工程、动画制作、建筑行业。非接触式三维测量技术成为了一个发展趋势。

在众多三维测量技术中，结构光技术是一种较为成熟的主动光学三维测量方法。使用DLP投影仪将正弦条纹投影到被测物体表面，物体表面的高低起伏会使条纹产生变形，使用相机采变形条纹图像，计算其相位信息后，既可以对物体表面进行测量与三维重构。与接触式测量相比有很大优势，具有测量速度快、成本低、精度高、应用灵活方便等特点，能够测量温度高、易损坏等不易测量的物体。近年来，深度学习技术发展迅速，在计算机视觉领域得到了广泛的应用，使用深度学习技术也可以估计出无高光的条纹图像，它通过使用多层次的卷积神经网络(CNN)来拟合输入与输出之间的关系，通过训练后可以快速、高效的实现无高光条纹图像的估计。

目前，采用结构光法对具有反光的光滑物体表面进行测量时，由于物体表面反光会导致反光部位的测量失真。传统的解决方法是在测量反光物体时在物体表面涂抹一层粉末，以此来改变物体表面的反光特性，但是粉末涂抹的厚度与均匀程度都会对测量结果造成影响，测量结束后还要把粉末清楚干净，使整个测量过程变得繁琐。对于一些表面不宜涂粉的被测物体，此种方法也变得不再适用。本发明将深度学习应用结构光测量系统上，使用深度学习的方法对条纹图像中的高光进行修复，便于后续的三维重构。

目前，采用多张图像消除图像中反光的方法在采集图片时较为繁琐，需要改变相机、光源的位置或使用多个相机。从不同的角度拍摄相同的物体，还会产生复杂的拼接问题。而使用单张图像分离反射分量的方法通常需要用到图片的色彩信息，当测量非彩色物体时，一些方法的表现就会变得不太理想。而使用卷积神经网络处理后的图像为估计的无高光图像，虽然高光部分得到了消除与修复，但或多或少地对图像中无高光的部分也进行了修改。

发明内容

本发明涉及一种基于深度学习的反光物体表面结构光投影三维测量方法，用于满足如今制造业在对反光物体视觉测量方面的需求，解决了结构光系统测量时反光部位的相位提取错误，从而引起三维数据计算错误的问题，本发明将估计的无高光图像与原始图像根据亮度信息进行混合，在修复条纹图像中高光的同时保留了原始图片无高光部分的特征。

本发明采用的技术特征是：一种基于深度学习的反光物体表面结构光投影三维测量方法，包括如下步骤：

通过相移条纹投影法获得经过物体表面调制的条纹图像；

通过深度学习获得预测的无反光图像；

将预测的无反光图像与原始图像进行比较并融合；

通过融合的图像获取包裹相位；

对包裹相位进行相位展开，结合系统标定参数获得被测物体的三维形貌信息。

具体地，包括以下步骤：

步骤1：采用结构光投影测量系统，将n幅同频率、相位差相等的正弦光栅条纹图分别投影到被测物体上，使用相机采集这些经过被测物体表面调制后的变形条纹图像I₁,I₂,I₃,...,I_n。采用相同的方式在参考品平面上投影相同的条纹图像，用相机采集参考面上的条纹图像R₁,R₂,R₃,...,R_n；

步骤2：将每张图片的尺寸扩充至分割后子图尺寸S_h×S_w的整数倍，S_h、S_w分别为分割后子图的长和宽，对原始图像周围扩张的区域采用边缘镜像的方式进行填充，获得扩张后的图像

步骤3：基于步骤2，将扩张后的图像分割成S_h×S_w大小的n组子图，其中每组有m幅子图：

步骤4：基于步骤3，将分割后的子图作为输入，通过卷积神经网络预测，输出其去除反光之后的图像：

步骤5：基于步骤4与步骤2，分别将每一组去除反光之后的图像按照其分割时的位置进行合并，获得与

同样尺寸的无反光预测图像

步骤6：基于步骤5与步骤1，裁剪掉步骤2中图像中扩张出来的区域，获得与I₁,I₂,I₃,...,I_n同样尺寸的无反光预测图像P₁,P₂,P₃,...,P_n；

步骤7：基于步骤6与步骤1，比较I₁,I₂,I₃,...,I_n与P₁,P₂,P₃,...,P_n的亮度

和

取二者中亮度较小的作为最终去除高光的结果M₁,M₂,M₃,...,M_n；

步骤8：基于步骤7与步骤1，由融合后的图像M₁,M₂,M₃,...,M_n获得包裹相位

由R₁,R₂,R₃,...,R_n获得参考相位

使用包裹相位

与参考相位

求差，得到相对的包裹形变相位

步骤9：基于步骤8，对包裹相位

进行相位展开，得到真实形变相位

步骤10：基于步骤9，将真实形变相位

结合系统标定参数获得被测物体的三维形貌信息。

具体地，所述步骤1中，所述结构光投影测量系统由DLP投影仪、CCD相机、被测物体和参考平面组成；所述CCD相机与参考平面之间的距离为C，所述DLP投影仪与所述CCD相机之间水平方向的距离为d。

具体地，所述步骤2中，在对图像进行扩张时，图像左侧扩张像素数l与右侧扩张像素数r相等，上侧扩张像素数t与下侧扩张像素数b相等。

具体地，所述步骤3中，每一张分割后的子图具有唯一的文件名，通过子图的文件名即可知到其在原始图片中的位置。

具体地，所述步骤4中，所述卷积神经网络采用编码器-解码器结构与空洞残差网络进行串联的结构。

具体地，所述步骤5中，每一组去除反光之后的图像具有与输入图像类似的唯一文件名，通过唯一的文件名即可对应其在原始图片中的位置，以此对每一组去除反光之后的图像进行拼接合并。

具体地，所述步骤7中，将无反光预测图像P₁,P₂,P₃,...,P_n与原始图像I₁,I₂,I₃,...,I_n逐个像素比较亮度，将每个像素三通道中最大值与最小值的平均数作为亮度：

L＝(max(I_r,I_g,I_b)+min(I_r,I_g,I_b))/2

式中，L为图像的亮度，I_r,I_g,I_b为该图像RGB三个通道的数值。

优选的，所述步骤8中，所述融合后的图像M₁,M₂,M₃,...,M_n与原始的条纹图像I₁,I₂,I₃,...,I_n具有相同的尺寸，但高光部分已被修复。

具体地，所述步骤10中，通过计算被测物体表面与参考平面之间的高度差，即可获得被测物体的三维形貌信息，具体计算方式为：

式中，C为CCD相机与参考平面之间的距离，d为DLP投影仪与CCD相机之间水平方向的距离；Δh(x,y)为被测物体表面某点p(x,y)相对于参考面的高度；

为被测物体表面某点p(x,y)展开后的相位；f₀为所投影的正弦条纹的频率。

本发明的有益效果是：本发明提出了一种去除光栅条纹图像中镜面反射分量的新方法，这种方法采用了深度学习的方式估计无高光的条纹图像。将此图像与原始图像进行逐个像素比较，取二者中亮度较小的作为最终去除高光的结果。使用这种方法可以实现对单张图像进行高光去除，同时保留了原始图片无高光部分的特征，消除物体表面高光对三维测量的影响。该方法使用一个256×256尺寸为输入的深度学习模型，使用将图像分割后分块处理的方法，可以实现对任意尺寸的图像进行处理。而且该方法无须使用多个相机采集图像，对具有强反光、色彩信息较少的图像也具有良好的效果。三维重构的表面过度也较为平滑。本发明可以很好的修复相移条纹投影法中由于反光引起的测量失真。

附图说明

图1为本发明的系统流程图；

图2为本发明的结构光测量系统框图；

图3为本发明实施例中的四步相移正弦光栅条纹图；

图4为本发明的图像扩张与裁剪过程的流程图；

图5为本发明的图像融合过程的流程图。

具体实施方式

实施例1：本实施例提供一种基于深度学习的反光物体表面结构光投影三维测量方法，使用估计的无高光图像与原始图像相互结合，最后计算相位值，获取三维数据，结构框图如图1所示。

如图2所示，一种基于深度学习的反光物体表面结构光投影三维测量方法，包括DLP投影仪1、工业相机2、被测物体3、参考平面4，支架5。其中，DLP投影仪1与工业相机2呈一定角度固定在支架5上，被测物体3放置在参考平面4上。

所述基于深度学习和结构光相结合的反光物体三维测量方法，包括以下步骤：

步骤1：采用结构光投影测量系统，使用四步相移法，将4幅同频率、相位差相等的正弦光栅条纹图分别投影到被测物体上(正弦光栅条纹图如图3所示)，使用工业相机采集这些经过被测物体表面调制后的变形条纹图像I₁,I₂,I₃,...,I_n。采用相同的方式在参考品平面上投影相同的条纹图像，用相机采集参考面上的条纹图像R₁,R₂,R₃,...,R_n；结构光投影测量系统由DLP投影仪、CCD相机、被测物体和参考平面组成；所述CCD相机与参考平面之间的距离为C，所述DLP投影仪与所述CCD相机之间水平方向的距离为d；

步骤2：将每张图片的尺寸扩充至分割后子图尺寸256×256的整数倍，对原始图像周围扩张的区域采用边缘镜像的方式进行填充，获得扩张后的图像

在对图像进行扩张时，图像左侧扩张像素数l与右侧扩张像素数r相等，上侧扩张像素数t与下侧扩张像素数b相等；

步骤3：基于步骤2，将扩张后的图像分割成256×256大小的n组子图，其中每组有m幅子图：

每一张分割后的子图具有唯一的文件名，通过子图的文件名即可知到其在原始图片中的位置，扩张与裁剪的具体方式参看图4；

步骤4：基于步骤3，将分割后的子图作为输入，通过卷积神经网络预测，输出其去除反光之后的图像：

所述卷积神经网络采用编码器-解码器结构与空洞残差网络进行串联的结构；

步骤5：基于步骤4与步骤2，每一组去除反光之后的图像具有与输入图像类似的唯一文件名，通过唯一的文件名即可对应其在原始图片中的位置，分别将每一组预测的子图按照其分割时的位置进行合并，获得与

同样尺寸的无反光预测图像

步骤6：基于步骤5与步骤1，裁剪掉步骤2中图像中扩张出来的区域，获得与I₁,I₂,I₃,...,I_n同样尺寸的无反光预测图像P₁,P₂,P₃,...,P_n；

步骤7：基于步骤6与步骤1，比较I₁,I₂,I₃,...,I_n与P₁,P₂,P₃,...,P_n的亮度

和

取二者中亮度较小的作为最终去除高光的结果M₁,M₂,M₃,...,M_n，图像混合的具体方式参看图5；

具体为：将无反光预测图像P₁,P₂,P₃,...,P_n与原始图像I₁,I₂,I₃,...,I_n逐个像素比较亮度，将每个像素三通道中最大值与最小值的平均数作为亮度：

L＝(max(I_r,I_g,I_b)+min(I_r,I_g,I_b))/2

式中，L为图像的亮度，I_r,I_g,I_b为该图像RGB三个通道的数值；

步骤8：基于步骤7与步骤1，由融合后的图像M₁,M₂,M₃,...,M_n获得包裹相位

由R₁,R₂,R₃,...,R_n获得参考相位

使用包裹相位

与参考相位

求差，得到相对的包裹形变相位

融合后的图像M₁,M₂,M₃,...,M_n与原始的条纹图像I₁,I₂,I₃,...,I_n具有相同的尺寸，但高光部分已被修复；

步骤9：基于步骤8，对包裹相位

进行相位展开，得到真实形变相位

其中，使用现有技术进行相位展开，如使用质量引导法；

步骤10：基于步骤9，将真实形变相位

结合系统标定参数获得被测物体的三维形貌信息。其中，对所述结构光系统采用现有技术进行标定，如采用使用广泛的张氏标定法。然后通过计算被测物体表面与参考平面之间的高度差，即可获得被测物体的三维形貌信息，具体计算方式为：

式中，C为CCD相机与参考平面之间的距离，d为DLP投影仪与CCD相机之间水平方向的距离；Δh(x,y)为被测物体表面某点p(x,y)相对于参考面的高度；

为被测物体表面某点p(x,y)展开后的相位；f₀为所投影的正弦条纹的频率。

综上，本发明采用一种新的正弦条纹高光去除方法，首先使用深度学习的方式估计无高光的条纹图像。将此图像与原始图像进行逐个像素比较，取二者中亮度较小的作为最终去除高光的结果。采用处理后的图像进行相位计算，从而消除物体表面高光对三维测量的影响。

本发明至少包括如下技术效果：

(1)可以实现对单张正弦条纹图像进行高光去除，同时保留了原始图片无高光部分的特征，消除物体表面高光引起的三维数据计算错误。

(2)由于使用一个256×256尺寸为输入的深度学习模型，将图像分割后再处理，即可对任意尺寸的条纹图像进行操作，能够将本方法应用到一些现有的结构光测量测量系统中。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.一种基于深度学习的反光物体表面结构光投影三维测量方法，其特征在于：包括如下步骤：

通过相移条纹投影法获得经过物体表面调制的条纹图像；

通过深度学习获得预测的无反光图像；

将预测的无反光图像与原始图像进行比较并融合；

通过融合的图像获取包裹相位；

对包裹相位进行相位展开，结合系统标定参数获得被测物体的三维形貌信息；

具体包括以下步骤：

步骤1：采用结构光投影测量系统，将n幅同频率、相位差相等的正弦光栅条纹图分别投影到被测物体上，使用相机采集这些经过被测物体表面调制后的变形条纹图像I₁,I₂,I₃,...,I_n，采用相同的方式在参考品平面上投影相同的条纹图像，用相机采集参考面上的条纹图像R₁,R₂,R₃,...,R_n；

步骤2：将每张图片的尺寸扩充至分割后子图尺寸S_h×S_w的整数倍，S_h、S_w分别为分割后子图的长和宽，对原始图像周围扩张的区域采用边缘镜像的方式进行填充，获得扩张后的图像

步骤3：基于步骤2，将扩张后的图像分割成S_h×S_w大小的n组子图，其中每组有m幅子图：

步骤4：基于步骤3，将分割后的子图作为输入，通过卷积神经网络预测，输出其去除反光之后的图像：

步骤5：基于步骤4与步骤2，分别将每一组去除反光之后的图像按照其分割时的位置进行合并，获得与

同样尺寸的无反光预测图像

步骤6：基于步骤5与步骤1，裁剪掉步骤2中图像中扩张出来的区域，获得与I₁,I₂,I₃,...,I_n同样尺寸的无反光预测图像P₁,P₂,P₃,...,P_n；

步骤7：基于步骤6与步骤1，比较I₁,I₂,I₃,...,I_n与P₁,P₂,P₃,...,P_n的亮度

和

取二者中亮度较小的作为最终去除高光的结果M₁,M₂,M₃,...,M_n；

步骤8：基于步骤7与步骤1，由融合后的图像M₁,M₂,M₃,...,M_n获得包裹相位

由R₁,R₂,R₃,...,R_n获得参考相位

使用包裹相位

与参考相位

求差，得到相对的包裹形变相位

步骤9：基于步骤8，对包裹相位

进行相位展开，得到真实形变相位

步骤10：基于步骤9，将真实形变相位

结合系统标定参数获得被测物体的三维形貌信息。

2.根据权利要求1所述的一种基于深度学习的反光物体表面结构光投影三维测量方法，其特征在于：所述步骤1中，结构光投影测量系统由DLP投影仪、CCD相机、被测物体和参考平面组成；CCD相机与参考平面之间的距离为C，DLP投影仪与CCD相机之间水平方向的距离为d。

3.根据权利要求1所述的一种基于深度学习的反光物体表面结构光投影三维测量方法，其特征在于：所述步骤2中，在对图像进行扩张时，图像左侧扩张像素数l与右侧扩张像素数r相等，上侧扩张像素数t与下侧扩张像素数b相等。

4.根据权利要求1所述的一种基于深度学习的反光物体表面结构光投影三维测量方法，其特征在于：所述步骤3中，每一张分割后的子图具有唯一的文件名，通过子图的文件名即可知到其在原始图片中的位置。

5.根据权利要求1所述的一种基于深度学习的反光物体表面结构光投影三维测量方法，其特征在于：所述步骤4中，所述卷积神经网络采用编码器-解码器结构与空洞残差网络进行串联的结构。

6.根据权利要求1所述的一种基于深度学习的反光物体表面结构光投影三维测量方法，其特征在于：所述步骤5中，每一组去除反光之后的图像具有与输入图像类似的唯一文件名，通过唯一的文件名即可对应其在原始图片中的位置，以此对每一组去除反光之后的图像进行拼接合并。

7.根据权利要求1所述的一种基于深度学习的反光物体表面结构光投影三维测量方法，其特征在于：所述步骤7中，将无反光预测图像P₁,P₂,P₃,...,P_n与原始图像I₁,I₂,I₃,...,I_n逐个像素比较亮度，将每个像素三通道中最大值与最小值的平均数作为亮度：

L＝(max(I_r,I_g,I_b)+min(I_r,I_g,I_b))/2

式中，L为图像的亮度，I_r,I_g,I_b为该图像RGB三个通道的数值。

8.根据权利要求1所述的一种基于深度学习的反光物体表面结构光投影三维测量方法，其特征在于，所述步骤8中，所述融合后的图像M₁,M₂,M₃,...,M_n与原始的条纹图像I₁,I₂,I₃,...,I_n具有相同的尺寸，但高光部分已被修复。

9.根据权利要求2所述的一种基于深度学习的反光物体表面结构光投影三维测量方法，其特征在于：所述步骤10中，通过计算被测物体表面与参考平面之间的高度差，即可获得被测物体的三维形貌信息，具体计算方式为：

式中，Δh(x,y)为被测物体表面某点p(x,y)相对于参考面的高度；

为被测物体表面某点p(x,y)展开后的相位；f₀为所投影的正弦条纹的频率。

Images