CN111402149B - 一种基于卷积神经网络去噪正则化的条纹图修复方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络去噪正则化的条纹图修复方法，涉及图像处理技术领域，该方法包括S1、除曝光时间外，利用相同的拍摄条件获取正常曝光条纹图I_bright和短曝光条纹图I_dark；S2、对短曝光条纹图I_dark的调制度图进行二值化处理，以此确定正常曝光条纹图I_bright中的高光区域；S3、根据正常曝光条纹图I_bright和短曝光条纹图I_dark，采用灰度调节及图像区域替换的方法，获取CNN去噪正则化的迭代修复算法的初值I_fused；S4、根据正常曝光条纹图I_bright的高光区域以及迭代修复算法的初值I_fused，利用CNN去噪正则化的迭代修复算法，计算得到最终的条纹图，完成条纹图的修复。本发明操作简单，修复结果好，处理时间短，无需引入额外的硬件设施，操作成本低廉。

Description

一种基于卷积神经网络去噪正则化的条纹图修复方法

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种基于卷积神经网络去噪正则化的条纹图修复方法。

背景技术

条纹投影轮廓术(FPP)，是一种广泛应用的三维重建方法。条纹投影轮廓术测量表面存在高动态范围反射率物体时，采集的条纹图中出现的强度饱和区域将导致对应区域的相位计算的误差或缺失，最终影响三维形貌的恢复。

目前条纹图修复方法有三种，分别是多曝光融合修复方法、直接对条纹缺失区域进行修复的方法、利用光的性质添加偏振片的方法，该三种方法存在的缺陷如下：

1)利用多曝光融合的方法，需要对被测物体进行多次曝光，就普遍情况来说需要数十次，操作非常麻烦；

2)直接对条纹缺失区域进行修复的方法，对较大范围的高亮区域效果不理想，且修复出的结果没有引入物体的真实高度分布；

3)利用光的性质添加偏振片的方法，需要额外的硬件，增加了测量系统的成本。

发明内容

本发明在于提供一种基于卷积神经网络去噪正则化的条纹图修复方法，其能够缓解上述问题。

为了缓解上述的问题，本发明采取的技术方案如下：

本发明提供了一种基于卷积神经网络去噪正则化的条纹图修复方法，包括以下步骤：

S1、除曝光时间外，利用相同的拍摄条件获取正常曝光条纹图I_bright和短曝光条纹图I_dark；

S2、对短曝光条纹图I_dark的调制度图进行二值化处理，以此确定正常曝光条纹图I_bright中的高光区域；

S3、根据正常曝光条纹图I_bright和短曝光条纹图I_dark，采用灰度调节及图像区域替换的方法，获取CNN去噪正则化的迭代修复算法的初值I_fused；

S4、根据正常曝光条纹图I_bright的高光区域以及迭代修复算法的初值I_fused，利用CNN去噪正则化的迭代修复算法，计算得到最终的条纹图，完成条纹图的修复。

本技术方案的技术效果是：只需要使用两帧条纹图进行条纹图的修复，操作非常简单；同时利用短曝光条纹图建立了迭代修复初值，使得CNN去噪正则化的修复算法在忠于物体真实高度的基础上可以有更好的修复结果，其次在运算时间上由于CNN有很好的并行特性，用GPU进行CNN去噪正则化迭代修复，在时间消耗上与传统修复方法相比有很大优势；整个方法无需引入额外的硬件设施，操作成本低廉。

可选地，拍摄正常曝光条纹图I_bright和短曝光条纹图I_dark的相机型号为Baumer工业相机，正常曝光条纹图指的是曝光时间为60000微秒的条纹图，短曝光条纹图指的是曝光时间为1000微秒的条纹图。

本技术方案的技术效果是：获取两帧不同曝光时间下的条纹图，仅仅需要使用两帧条纹图，比一般多曝光融合方法有较大提升，同时，所用的系统没有引入其他硬件，比使用偏振片的方法减少了硬件开支。

可选地，所述步骤S2中，采用Otsu方法对短曝光条纹图I_dark的调制度图进行二值化处理，得到同时与短曝光条纹图I_dark和正常曝光条纹图I_bright对应的表征高光区域位置的二进制矩阵A，二进制矩阵A中为0的区域R对应正常曝光条纹图I_bright的高光区域，二进制矩阵A中为1的区域对应正常曝光条纹图I_bright的非高光区域。

具体地，对短曝光条纹图I_dark的调制度图进行二值化处理的具体过程包括：

S21、计算短曝光条纹图I_dark的调制度，对短曝光条纹图I_dark的调制度图使用Otsu方法，计算出背景和前景类间方差最大的灰度值threshold；

S22、将短曝光条纹图I_dark的调制度图中大于threshold的像素设置为0，小于threshold的像素设置为1，继而得到表征高光区域位置的所述二进制矩阵A。

本技术方案的技术效果是：使用短曝光条纹图的调制度确定正常曝光条纹图的高光区域，比从条纹图的灰度直接确定高光区域有更好的准确性。

具体地，所述步骤S3具体包括以下步骤：

S31、对二进制矩阵A中为0的区域R进行膨胀操作，得到位于二进制矩阵A中的区域Ω，将区域Ω中不为0的区域表示为Ω\R；

S32、计算短曝光条纹图I_dark中与二进制矩阵A中区域R对应的区域DR的平均灰度HD1，将平均灰度HD1减去区域DR内的最小灰度值后得到的差值，定义为短曝光条纹图I_dark中区域DR的条纹强度动态范围range_dark；

S33、计算正常曝光条纹图I_bright中与二进制矩阵A中区域Ω\R对应的区域ZR的平均灰度HD2，将平均灰度HD2减去区域ZR内的最小灰度值后得到的差值，定义为正常曝光条纹图I_bright中区域ZR的条纹强度动态范围range_bright；

S34、将range_bright/range_dark作为灰度拉伸系数，对短曝光条纹图I_dark中区域DR的灰度进行拉伸，得到短曝光条纹图I_dark1；

S35、计算短曝光条纹图I_dark的调制度分布M，并将调制度分布M进行归一化处理，得到M*；

S36、利用短曝光条纹图I_dark1除以M*，得到灰度调节后的短曝光条纹图I^* _dark；

S37、根据公式I_fused＝I^* _dark(1-A)+A计算得到迭代修复算法的初值I_fused。

本技术方案的技术效果是：用两帧不同曝光时间条纹图融合，获得迭代修复算法的初值I_fused，使用该初值进行修复，与不引入初值的情况相比，可以让修复结果建立在物体真实高度分布的基础上，同时提高了修复算法的可处理范围。

具体地，所述步骤S4具体包括：

将迭代修复算法的初值I_fused与表征高光区域位置的二进制矩阵A一起作为CNN去噪正则化修复算法的输入；

设定CNN去噪正则化修复算法的最大迭代次数D，在CNN去噪正则化修复算法的每次迭代去噪过程中，用训练好的去噪CNN模型对前一次迭代的结果进行去噪操作，再用二进制矩阵A作为退化矩阵使每次迭代的更新都沿着退化过程进行；

CNN去噪正则化修复算法的迭代次数达到最大迭代次数D后，CNN去噪正则化修复算法得到的当前的结果即为最终的条纹图。

本技术方案的技术效果是：借助CNN去噪正则化方法求解期望的条纹图，很大地节约了时间，同时在效果上也有较大优势，与使用CNN直接修复相比，也摆脱了对数据集的依赖，因为结构光三维测量中条纹图的数据集建立并没有生活中普通图像那么容易。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举本发明实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是实施例中基于卷积神经网络去噪正则化的条纹图修复方法流程图；

图2是实施例中对短曝光条纹图I_dark的调制度图进行二值化处理的方法流程图；

图3是实施例中获取CNN去噪正则化的迭代修复算法的初值的方法流程图；

图4是实施例中CNN去噪正则化的迭代修复算法流程图；

图5是实施例中获取被测物体的正常曝光条纹图I_bright和短曝光条纹图I_dark的装置示意图；

图6是采用TV-H、Transport修复方法、多曝光融合的方法以及本发明方法分别对原始条纹图进行修复的图像结果图；

图7是采用TV-H、Transport修复方法、多曝光融合的方法以及本发明方法分别对原始条纹图进行修复的相位结果图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参照图1～图5，本实施例提供了一种基于卷积神经网络去噪正则化的条纹图修复方法，包括以下步骤：

S1、除曝光时间外，利用相同的拍摄条件获取正常曝光条纹图I_bright和短曝光条纹图I_dark。

在本实施例中，正常曝光条纹图I_bright和短曝光条纹图I_dark均是对陶瓷杯进行测量时所拍摄到的图，拍摄正常曝光条纹图I_bright和短曝光条纹图I_dark的装置如图5所示，

其中拍摄正常曝光条纹图I_bright和短曝光条纹图I_dark的相机型号为Baumer工业相机，正常曝光条纹图指的是曝光时间在60000微秒左右获取的条纹图，短曝光条纹图指的是曝光时间在1000微秒左右获取的条纹图。

S2、对短曝光条纹图I_dark的调制度图进行二值化处理，以此确定正常曝光条纹图I_bright中的高光区域；

在本实施例中，用短曝光条纹图的调制度图的阈值处理结果确定正常曝光条纹图的高光区域位置的理论依据为：求调制度的方法主要有傅里叶变换以及相移方法，两种方法求出的调制度都是对应原条纹图对应像素点的调制度信息，同时在实验中只改变了曝光时间这一个变量，所以两个曝光时间的两帧条纹图对应像素点的物体信息相同，只是曝光时间不同。值得注意的是，短曝光时间条纹图曝光时间仅在1000微秒左右，说明本方法对动态场景也有一定适用性。

在本实施例中，采用Otsu方法对短曝光条纹图I_dark的调制度图进行二值化处理，得到同时与短曝光条纹图I_dark和正常曝光条纹图I_bright对应的表征高光区域位置的二进制矩阵A，二进制矩阵A中为0的区域R对应正常曝光条纹图I_bright的高光区域，二进制矩阵A中为1的区域对应正常曝光条纹图I_bright的非高光区域。

如图2所示，对短曝光条纹图I_dark的调制度图进行二值化处理的具体过程包括：

S21、计算短曝光条纹图I_dark的调制度，对短曝光条纹图I_dark的调制度图使用Otsu方法，计算出背景和前景类间方差最大的灰度值threshold；

S22、将短曝光条纹图I_dark的调制度图中大于threshold的像素设置为0，小于threshold的像素设置为1，继而得到表征高光区域位置的所述二进制矩阵A。

S3、根据正常曝光条纹图I_bright和短曝光条纹图I_dark，采用灰度调节及图像区域替换的方法，获取CNN去噪正则化的迭代修复算法的初值I_fused；

在本实施例中，如图3所示，获取CNN去噪正则化的迭代修复算法的初值I_fused的方法具体包括以下步骤：

S31、对二进制矩阵A中为0的区域R进行膨胀操作，得到位于二进制矩阵A中的区域Ω，将区域Ω中不为0的区域表示为Ω\R；

S32、计算短曝光条纹图I_dark中与二进制矩阵A中区域R对应的区域DR的平均灰度HD1，将平均灰度HD1减去区域DR内的最小灰度值后得到的差值，定义为短曝光条纹图I_dark中区域DR的条纹强度动态范围range_dark；

S33、计算正常曝光条纹图I_bright中与二进制矩阵A中区域Ω\R对应的区域ZR的平均灰度HD2，将平均灰度HD2减去区域ZR内的最小灰度值后得到的差值，定义为正常曝光条纹图I_bright中区域ZR的条纹强度动态范围range_bright；

S34、将range_bright/range_dark作为灰度拉伸系数，对短曝光条纹图I_dark中区域DR的灰度进行拉伸，得到短曝光条纹图I_dark1；

S35、计算短曝光条纹图I_dark的调制度分布M，并将调制度分布M进行归一化处理，得到M*；

S36、利用短曝光条纹图I_dark1除以M*，得到灰度调节后的短曝光条纹图I^* _dark；

S37、根据公式I_fused＝I^* _dark(1-A)+A计算得到迭代修复算法的初值I_fused。

S4、根据正常曝光条纹图I_bright的高光区域以及迭代修复算法的初值I_fused，利用CNN去噪正则化的迭代修复算法，计算得到最终的条纹图，具体过程如下：

将迭代修复算法的初值I_fused与表征高光区域位置的二进制矩阵A一起作为CNN去噪正则化修复算法的输入；

设定CNN去噪正则化修复算法的最大迭代次数D，在CNN去噪正则化修复算法的每次迭代去噪过程中，用训练好的去噪CNN模型对前一次迭代的结果进行去噪操作，再用二进制矩阵A作为退化矩阵使每次迭代的更新都沿着退化过程进行；

CNN去噪正则化修复算法的迭代次数达到最大迭代次数D后，CNN去噪正则化修复算法得到的当前的结果即为最终的条纹图。为证明所提修复方法的有效性，我们采用了现有技术中的TV-H、Transport修复方法以及多曝光融合的方法对实施例1中获取到的正常曝光条纹图I_bright和短曝光条纹图I_dark进行修复。如图6和图7所示，其中图6为几种方法修复条纹图的结果以及原始图和迭代初值图的展示：(a)原始条纹图；(b)迭代初值图；(c)多次曝光融合的图像修复结果；(d)TV-H方法修复结果；(e)Transport方法修复结果；(f)实施例1修复的结果。图7为用几种方法修复的条纹图的相位恢复结果：(a)多次曝光融合方法结果；(b)TV-H方法结果；(c)Transport方法结果；(d)实施例1结果。

将图6(c)、(d)、(e)所示的三种结果与图6(f)所示结果进行对比，将图7(a)、(b)、(c)所示的三种结果与图7(d)所示结果进行对比，可以知道，实施例1只用了两次曝光，即恢复出一幅高质量的条纹图，且修复过程与现有图像修复方法相比在速度和效果上都有明显优势，因此本发明提供了一种新颖地条纹图修复思路。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种一种基于卷积神经网络去噪正则化的条纹图修复方法，其特征在于，包括以下步骤：

S1、除曝光时间外，利用相同的拍摄条件获取正常曝光条纹图I_bright和短曝光条纹图I_dark；

S2、对短曝光条纹图I_dark的调制度图进行二值化处理，以此确定正常曝光条纹图I_bright中的高光区域；

S3、根据正常曝光条纹图I_bright和短曝光条纹图I_dark，采用灰度调节及图像区域替换的方法，获取CNN去噪正则化的迭代修复算法的初值I_fused；

所述步骤S3具体包括以下步骤：

S31、对二进制矩阵A中为0的区域R进行膨胀操作，得到位于二进制矩阵A中的区域Ω，将区域Ω中不为0的区域表示为Ω\R；

S32、计算短曝光条纹图I_dark中与二进制矩阵A中区域R对应的区域DR的平均灰度HD1，将平均灰度HD1减去区域DR内的最小灰度值后得到的差值，定义为短曝光条纹图I_dark中区域DR的条纹强度动态范围range_dark；

S33、计算正常曝光条纹图I_bright中与二进制矩阵A中区域Ω\R对应的区域ZR的平均灰度HD2，将平均灰度HD2减去区域ZR内的最小灰度值后得到的差值，定义为正常曝光条纹图I_bright中区域ZR的条纹强度动态范围range_bright；

S34、将range_bright/range_dark作为灰度拉伸系数，对短曝光条纹图I_dark中区域DR的灰度进行拉伸，得到灰度拉伸后的短曝光条纹图I_dark1；

S35、计算短曝光条纹图I_dark的调制度分布M，并将调制度分布M进行归一化处理，得到M*；

S36、利用短曝光条纹图I_dark1除以M*，得到灰度调节后的短曝光条纹图I^* _dark；

S37、根据公式I_fused＝I^* _dark(1-A)+A计算得到迭代修复算法的初值I_fused；

S4、根据正常曝光条纹图I_bright的高光区域以及迭代修复算法的初值I_fused，利用CNN去噪正则化的迭代修复算法，计算得到最终的条纹图，完成条纹图的修复。

2.根据权利要求1所述的基于卷积神经网络去噪正则化的条纹图修复方法，其特征在于，所述步骤S1中，拍摄正常曝光条纹图I_bright和短曝光条纹图I_dark的相机型号为Baumer工业相机，正常曝光条纹图指的是曝光时间为60000微秒的条纹图，短曝光条纹图指的是曝光时间为1000微秒的条纹图。

3.根据权利要求1所述的基于卷积神经网络去噪正则化的条纹图修复方法，其特征在于，所述步骤S2中，采用Otsu方法对短曝光条纹图I_dark的调制度图进行二值化处理，得到同时与短曝光条纹图I_dark和正常曝光条纹图I_bright对应的表征高光区域位置的二进制矩阵A，二进制矩阵A中为0的区域R对应正常曝光条纹图I_bright的高光区域，二进制矩阵A中为1的区域对应正常曝光条纹图I_bright的非高光区域。

4.根据权利要求3所述的基于卷积神经网络去噪正则化的条纹图修复方法，其特征在于，对短曝光条纹图I_dark的调制度图进行二值化处理的具体过程包括：

S21、计算短曝光条纹图I_dark的调制度，对短曝光条纹图I_dark的调制度图使用Otsu方法，计算出背景和前景类间方差最大的灰度值threshold；

S22、将短曝光条纹图I_dark的调制度图中大于threshold的像素设置为0，小于threshold的像素设置为1，继而得到表征高光区域位置的所述二进制矩阵A。

5.根据权利要求4所述的基于卷积神经网络去噪正则化的条纹图修复方法，其特征在于，所述步骤S4具体包括：

将迭代修复算法的初值I_fused与表征高光区域位置的二进制矩阵A一起作为CNN去噪正则化修复算法的输入；

设定CNN去噪正则化修复算法的最大迭代次数D，在CNN去噪正则化修复算法的每次迭代去噪过程中，用训练好的去噪CNN模型对前一次迭代的结果进行去噪操作，再用二进制矩阵A作为退化矩阵使每次迭代的更新都沿着退化过程进行；

CNN去噪正则化修复算法的迭代次数达到最大迭代次数D后，CNN去噪正则化修复算法得到的当前的结果即为最终的条纹图。

Images