CN112697071B - 一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法 - Google Patents

Abstract

本发明公开了一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法，首先通过投影仪向参考平面投射彩色结构光，利用彩色CCD相机获取具有彩色结构光条纹的背景图像，接着将被测物放置参考平面上方，并利用彩色CCD相机获取具有彩色结构光条纹的被测物条纹图像，然后彩色CCD相机将背景图像和被测物图像传输至计算机，计算机对以上图像进行阴影检测和消除各通道的串扰，接着进行阴影补偿，最后利用三步相移法和相位‑高度映射关系得到被测物的三维测量数据。本发明有效减少了所需投影帧数，并且通过阴影检测和阴影补偿，有效避免了测量过程中的阴影干扰的影响，从而提高了采用结构光方式测量的速度与鲁棒性。

Description

一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法

技术领域

本发明涉及结构光三维测量的技术领域，尤其涉及到一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法。

背景技术

随着计算机视觉的迅速发展，三维重建已成为计算机视觉的核心研究方向。三维重建是指对某些三维物体或者三维场景的一种恢复和重构，重建出来的模型，方便计算机表示和处理。在实际重建过程中，三维重建是对三维空间中的物体、场景和人体等图像描述的一种逆过程，由二维的图像还原出三维的立体物体、场景和动态人体。因此三维重建是在计算机中建立表达客观世界的虚拟现实的关键技术。

基于结构光的三维重建在现代工业检测、测绘、智能制造、逆向工程等行业有着广泛的应用。在结构光三维测量的工业应用中，被测物表面不连续是非常常见的。然而，物体的不连续区域会产生阴影，阴影区域意味着丢失了正常的结构光信息，因此严重影响相位解包裹的准确性。常用的空域相位解包裹方法虽然测量速度快，只需3帧条纹图像即可恢复三维形貌，但鲁棒性较差。在带有阴影干扰的情况下，传统空域测量方法无法正确提取相位，并且会引起严重的误差扩散，最终无法恢复正常三维形貌。然而，时域相位解包裹方法虽然可以提高鲁棒性，但其需要增加大量投影张数，严重降低了测量效率。因此，尽可能减少投影帧数和解决阴影干扰问题是提高结构光方式测量的速度和鲁棒性的重要研究方向。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于深度神经网络DenseNet阴影补偿的彩色结构光投影三维测量方法，此方法较传统的相位编码的三维测量方法，所需帧数更少，从而提高三维测量速度；通过阴影检测和阴影补偿可以有效解决阴影干扰问题，从而提高三维测量的鲁棒性。因此，该方法适用于实时动态的三维测量场合。

为实现上述目的，本发明所提供的技术方案为：

一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法，首先通过投影仪向参考平面投射彩色结构光，利用彩色CCD相机获取具有彩色结构光条纹的背景图像，接着将被测物放置参考平面上方，并利用彩色CCD相机获取具有彩色结构光条纹的被测物条纹图像，然后彩色CCD相机将背景图像和被测物图像传输至计算机，计算机对以上图像进行阴影检测和消除各通道的串扰，接着进行阴影补偿，最后利用三步相移法和相位-高度映射关系得到被测物的三维测量数据。

进一步地，包括以下步骤：

S1、对三维测量系统进行标定，得到a，b，c标定参数；

S2、投影仪向参考平面投射一幅彩色正弦条纹结构光，其中相邻的红、绿、蓝通道中的正弦条纹结构光的相位差为

并用彩色CCD相机采集一帧背景条纹图像background；

S3、将被测物置于参考平面上方，投影仪向被测物投射与步骤S2中所述的彩色正弦条纹结构光，并用彩色CCD相机采集一帧被测物条纹图像object；

S4、将被测物条纹图像object输入到DenseNet阴影检测网络，其输出为标记阴影区域的二值掩膜图像shadow，其中阴影像素的值为1，非阴影像素的值为0；

S5、背景条纹图像background和被测物条纹图像object通过补偿公式消除各通道的串扰，然后矫正各个通道的强度；

S6、利用背景条纹图像background、被测物条纹图像object和标记阴影区域的二值掩膜图像shadow进行阴影补偿处理，得到补偿后被测物图像object_c；

S7、通过三步相移法分别求出背景条纹图像background和补偿后被测物图像object_c的像素相位值，分别表示为

和

其解包裹相位计算公式为：

其中，I_R、I_G、I_B分别为图像红、绿、蓝通道的像素灰度值矩阵，I(x,y)为图像中第x行第y列的像素灰度值，k为条纹级数；其相位差可表示为：

S8、根据相位-高度映射公式：

上式中，a，b，c为标定参数，可得到被测物表面的高度信息。

进一步地，所述步骤S4将被测物条纹图像object输入到DenseNet阴影检测网络进行检测的具体过程如下：

S4-1、利用DenseNet网络从输入图像中提取四种不同尺寸的卷积特征；

S4-2、嵌入方向感知上下文模块，分别为步骤4-1所述四种不同尺寸的特征生成方向感知上下文特征；

S4-3、将步骤4-2所述的每层方向感知上下文特征与其对应卷积特征拼接起来，然后将拼接后的特征进行卷积核尺寸为1×1的卷积操作并上采样成与输入图像大小相同；

S4-4、利用深度监督机制对步骤4-3所述的拼接后特征生成预测的阴影掩膜图，并融合得到最终的阴影掩膜图；在训练网络时，使用交叉熵损失函数进行训练。

进一步地，所述步骤S4-2的具体过程如下：

S4-2-1、将输入的特征进行卷积核尺寸为1×1的卷积操作，并利用IRNN模块产生上、下、左、右方向的特征；

S4-2-2、将步骤S4-2-1所述方向特征拼接起来，进行卷积核尺寸为1×1的卷积操作；

S4-2-3、进行卷积核尺寸为1×1的卷积操作，然后执行ReLU非线性运算，生成方向感知上下文特征。

进一步地，所述步骤S6利用背景条纹图像background、被测物条纹图像object和标记阴影区域的二值掩膜图像shadow进行阴影补偿处理，得到补偿后被测物图像object_c的具体过程如下：

S6-1、对二值掩膜图像shadow取反得到反向图像shadow_inv；

S6-2、用二值掩膜图像shadow与背景条纹图像background的各通道分别进行图像代数乘法运算，得到阴影背景条纹图像background_new；

S6-3、用反向图像shadow_inv与被测物条纹图像object的各通道分别进行图像代数乘法运算，得到无阴影被测物图像object_new；

S6-4、用阴影背景条纹图像background_new与无阴影被测物图像object_new进行图像代数加法运算，最后得到阴影补偿后被测物图像object_c。

与现有技术相比，本方案原理及优点如下：

本方案通过彩色结构光投影方式进行三维测量，有效减少了所需投影帧数，并且通过阴影检测和阴影补偿，有效避免了测量过程中的阴影干扰的影响，从而提高了采用结构光方式测量的速度与鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法采用到的三维测量系统；

图2为被测物条纹图像；

图3为二值掩膜图像；

图4为基于DenseNet阴影检测网络的结构图；

图5为方向感知上下文模块的结构图。

具体实施方式

下面结合具体实施例对本发明作进一步说明：

而在此之前，先对本发明实施例所述的一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法采用到的三维测量系统作具体说明：

如图1所示，彩色结构光投影三维测量系统包括投影仪1、彩色CCD相机2、计算机3、被测物4、参考平面5；投影仪1和彩色CCD相机分别通过数据线连接计算机3；投影仪1与彩色CCD相机2在同一高度，它们间的距离为d，它们到参考平面的距离为L。

本发明实施例所述的一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法的工作原理如下：

首先通过投影仪1向参考平面5投射彩色结构光，利用彩色CCD相机2获取具有彩色结构光条纹的背景图像，接着将被测物4放置参考平面5上方，并利用彩色CCD相机2获取具有彩色结构光条纹的被测物条纹图像，然后彩色CCD相机2将背景图像和被测物图像传输至计算机3，计算机3对以上图像进行阴影检测和消除各通道的串扰，接着进行阴影补偿，最后利用三步相移法和相位-高度映射关系得到被测物的三维测量数据。

具体的工作步骤如下：

S1、对三维测量系统进行标定，得到a，b，c标定参数；

S2、投影仪1向参考平面投射一幅彩色正弦条纹结构光，其中相邻的红、绿、蓝通道中的正弦条纹结构光的相位差为

其各通道设置强度如下所示：

其中x为投影仪水平方向的像素，p为条纹间距；并用彩色CCD相机2采集一帧背景条纹图像background；

S3、将被测物4置于参考平面5上方，投影仪1向被测物4投射与步骤S2中所述的彩色正弦条纹结构光，并用彩色CCD相机2采集一帧如图2所示的被测物条纹图像object；

S4、将被测物条纹图像object输入到如图4所示的DenseNet阴影检测网络，其输出为如图3所示的标记阴影区域的二值掩膜图像shadow，其中阴影像素的值为1，非阴影像素的值为0；

其中，将被测物条纹图像object输入到DenseNet阴影检测网络进行检测的具体过程如下：

S4-1、利用DenseNet网络从输入图像中提取四种不同尺寸的卷积特征；

S4-2、嵌入如图5所示的方向感知上下文模块，分别为步骤4-1所述四种不同尺寸的特征生成方向感知上下文特征，具体包括：

S4-2-1、将输入的特征进行卷积核尺寸为1×1的卷积操作，并利用IRNN模块产生上、下、左、右方向的特征；

S4-2-2、将步骤S4-2-1所述方向特征拼接起来，进行卷积核尺寸为1×1的卷积操作；

S4-2-3、进行卷积核尺寸为1×1的卷积操作，然后执行ReLU非线性运算，生成方向感知上下文特征；

S4-3、将步骤4-2所述的每层方向感知上下文特征与其对应卷积特征拼接起来，然后将拼接后的特征进行卷积核尺寸为1×1的卷积操作并上采样成与输入图像大小相同；

S4-4、利用深度监督机制对步骤4-3所述的拼接后特征生成预测的阴影掩膜图，并融合得到最终的阴影掩膜图；在训练网络时，使用交叉熵损失函数进行训练；

S5、背景条纹图像background和被测物条纹图像object通过补偿公式消除各通道的串扰，然后矫正各个通道的强度；

S6、利用背景条纹图像background、被测物条纹图像object和标记阴影区域的二值掩膜图像shadow进行阴影补偿处理，得到补偿后被测物图像object_c；

本步骤的具体过程如下：

S6-1、对二值掩膜图像shadow取反得到反向图像shadow_inv；

S6-2、用二值掩膜图像shadow与背景条纹图像background的各通道分别进行图像代数乘法运算，得到阴影背景条纹图像background_new；

S6-3、用反向图像shadow_inv与被测物条纹图像object的各通道分别进行图像代数乘法运算，得到无阴影被测物图像object_new；

S6-4、用阴影背景条纹图像background_new与无阴影被测物图像object_new进行图像代数加法运算，最后得到阴影补偿后被测物图像object_c。

S7、通过三步相移法分别求出背景条纹图像background和补偿后被测物图像object_c的像素相位值，分别表示为

和

其解包裹相位计算公式为：

其中，I_R、I_G、I_B分别为图像红、绿、蓝通道的像素灰度值矩阵，I(x,y)为图像中第x行第y列的像素灰度值，k为条纹级数；其相位差可表示为：

S8、根据相位-高度映射公式：

上式中，a，b，c为标定参数，可得到被测物表面的高度信息。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (4)

1.一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法，其特征在于，首先通过投影仪向参考平面投射彩色结构光，利用彩色CCD相机获取具有彩色结构光条纹的背景图像，接着将被测物放置参考平面上方，并利用彩色CCD相机获取具有彩色结构光条纹的被测物条纹图像，然后彩色CCD相机将背景图像和被测物图像传输至计算机，计算机对以上图像进行阴影检测和消除各通道的串扰，接着进行阴影补偿，最后利用三步相移法和相位-高度映射关系得到被测物的三维测量数据；

包括以下步骤：

S1、对三维测量系统进行标定，得到a，b，c标定参数；

S2、投影仪向参考平面投射一幅彩色正弦条纹结构光，其中相邻的红、绿、蓝通道中的正弦条纹结构光的相位差为

并用彩色CCD相机采集一帧背景条纹图像background；

S3、将被测物置于参考平面上方，投影仪向被测物投射与步骤S2中所述的彩色正弦条纹结构光，并用彩色CCD相机采集一帧被测物条纹图像object；

S4、将被测物条纹图像object输入到DenseNet阴影检测网络，其输出为标记阴影区域的二值掩膜图像shadow，其中阴影像素的值为1，非阴影像素的值为0；

S5、背景条纹图像background和被测物条纹图像object通过补偿公式消除各通道的串扰，然后矫正各个通道的强度；

S6、利用背景条纹图像background、被测物条纹图像object和标记阴影区域的二值掩膜图像shadow进行阴影补偿处理，得到补偿后被测物图像object_c；

S7、通过三步相移法分别求出背景条纹图像background和补偿后被测物图像object_c的像素相位值，分别表示为

和

其解包裹相位计算公式为：

其中，I_R、I_G、I_B分别为图像红、绿、蓝通道的像素灰度值矩阵，I(x,y)为图像中第x行第y列的像素灰度值，k为条纹级数；其相位差可表示为：

S8、根据相位-高度映射公式：

上式中，a，b，c为标定参数，可得到被测物表面的高度信息。

2.根据权利要求1所述的一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法，其特征在于，所述步骤S4将被测物条纹图像object输入到DenseNet阴影检测网络进行检测的具体过程如下：

S4-1、利用DenseNet网络从输入图像中提取四种不同尺寸的卷积特征；

S4-2、嵌入方向感知上下文模块，分别为步骤4-1所述四种不同尺寸的特征生成方向感知上下文特征；

S4-3、将步骤4-2所述的方向感知上下文特征与其对应卷积特征拼接起来，然后将拼接后的特征进行卷积核尺寸为1×1的卷积操作并上采样成与输入图像大小相同；

S4-4、利用深度监督机制对步骤4-3所述的拼接后的特征生成预测的阴影掩膜图，并融合得到最终的阴影掩膜图；在训练网络时，使用交叉熵损失函数进行训练。

3.根据权利要求2所述的一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法，其特征在于，所述步骤S4-2的具体过程如下：

S4-2-1、将输入的特征进行卷积核尺寸为1×1的卷积操作，并利用IRNN模块产生上、下、左、右方向的特征；

S4-2-2、将步骤S4-2-1所述方向的特征拼接起来，进行卷积核尺寸为1×1的卷积操作；

S4-2-3、进行卷积核尺寸为1×1的卷积操作，然后执行ReLU非线性运算，生成方向感知上下文特征。

4.根据权利要求1所述的一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法，其特征在于，所述步骤S6利用背景条纹图像background、被测物条纹图像object和标记阴影区域的二值掩膜图像shadow进行阴影补偿处理，得到补偿后被测物图像object_c的具体过程如下：

S6-1、对二值掩膜图像shadow取反得到反向图像shadow_inv；

S6-2、用二值掩膜图像shadow与背景条纹图像background的各通道分别进行图像代数乘法运算，得到阴影背景条纹图像background_new；

S6-3、用反向图像shadow_inv与被测物条纹图像object的各通道分别进行图像代数乘法运算，得到无阴影被测物图像object_new；

S6-4、用阴影背景条纹图像background_new与无阴影被测物图像object_new进行图像代数加法运算，最后得到阴影补偿后被测物图像object_c。

Images