CN115689995A - 一种复杂光照背景条件下的圆孔边缘亚像素级提取方法 - Google Patents

Abstract

本发明公开了一种复杂光照背景条件下的圆孔边缘亚像素级提取方法。首先，在Deeplabv3+语义分割网络中融入注意力机制构建模型；其次，基于已标注圆孔特征的含孔类零件图像数据集和结合相位一致性提取的额外信息，完成模型的训练；再次，输入待测零件图像，输出目标圆孔的语义分割掩膜，并提取待测零件图像的边缘信息，将上述二者共同进行后处理；最后，基于提取的环形外边缘区域的边缘信息，与提取的全图亚像素点取交，完成目标圆孔边缘的亚像素点拟合。本发明降低了实际测量过程中变化光照、复杂背景噪声等的干扰，提升了边缘提取的精度和边缘提取算法的稳定性，提升了分割精度，进一步提高了圆孔边缘提取的精度和稳定性。

Description

一种复杂光照背景条件下的圆孔边缘亚像素级提取方法

技术领域

本发明涉及一种圆孔边缘提取方法，尤其是涉及了一种复杂光照背景条件下的圆孔边缘亚像素级提取方法。

背景技术

含孔零部件的自动化装配、对接过程需要实时检测目标圆孔位姿，而圆孔位姿准确测量的基础是圆孔边缘的高精度提取。

在实际测量环境中，光照变换、噪声干扰等复杂背景条件会影响边缘提取精度，且Robert等微分算子法对于噪声比较敏感，这会导致传统基于微分算子的边缘提取算法稳定性较差，尤其是在实际的工业生产环境中，光照变化、工况不稳定等条件时刻制约着图像采集水平，这些不利的环境因素会使得采集图像出现成像质量差、对比度小等不理想情况，进而无法提取准确的图像边缘，甚至提取出混杂大量噪声点的伪边缘，这样会对后续的椭圆拟合过程造成很大的不利影响。因此，快速、高精度的圆孔图像边缘提取仍是一项具有挑战性的任务。

Tabatabai于1984年在《IEEE Transactions on Pattern Analysis and MachineIntelligence》的论文“Edge location to subpixel values in digital imagery”中首先建立边缘阶跃模型，利用灰度矩变量来得到边缘变量的四个参数。Ghosal S等人于1993年在《Pattern Recognition》中的论文“Orthogonal moment operators for subpixeledge detection”提出基于通过背景灰度、步长、边缘到掩模中心的距离和边缘的方向四个参数来拟合理想的二维边缘，利用离散的Zernike矩获取三个复杂掩模，计算亚像素检测的所有边缘参数。但是基于矩的方法及其改进方法计算量大，且对图像噪声敏感。KrisJensen等人于1995年在《IEEETransactions on image》的论文“Sub pixel localizationand the interpolation of still images”中对非线性插值进行了研究，并利用此方法进行了亚像素检测，但这类方法同样易受噪声点的影响。Fabi于2014年在《IEEE FederatedConference on Computer Science and Information Systems》的论文“Gaussian-basrdapproach to subpixel detection of blurred and unsharp edges”中首先利用Sobel算子进行像素级边缘的检测，然后在像素级边缘的附近利用高斯拟合来定位亚像素，最后用基于三次样条插值的方法将已经检测出来的亚像素边缘点进行拟合连接起来，但这种方法受限于边缘区域的判定精度。Liu等人于2019年在《IEEE TPAMI》中的论文“RicherConvolutional Features for Edge Detection”中利用深度卷积神经网络多尺度特征，并改进损失函数的计算方式，在ODS指标下的边缘检测精度有了很大的提升。

以上研究使得圆孔位姿测量的的精度有所提升，然而仍然面临着圆孔边缘模糊、高频信息不准确以及耗时长的问题。

发明内容

为了解决背景技术中存在的问题，本发明提出一种复杂光照背景条件下的圆孔边缘亚像素级提取方法，具有快速高效、高精度等优点。

本发明首先在业界常用的Deeplabv3+语义分割模型中融入注意力机制，将标注圆孔的样本图像和结合相位一致性提取的额外信息对模型进行训练；其次，对含孔类零件进行检测，输出目标圆孔的语义分割掩膜，并对原图进行边缘提取得到边缘信息图，将上述二者作为后处理的输入；进一步提取环形边缘区域的边缘信息进而获得精确边缘，最后对目标圆孔的精确边缘完成亚像素拟合。

本发明所采用的具体技术方案如下：

1)采集多张含孔类零件图像，利用边缘一致性方法对各张含孔类零件图像分别进行相位特征的信息提取，获得对应的相位一致性零件图像；由多张含孔类零件图像和对应的相位一致性零件图像构成数据集；

2)将数据集输入到改进后的Deeplabv3+语义分割网络中对网络进行训练，获得孔类零件语义分割模型；

3)将待预测含孔类零件图像输入到孔类零件语义分割模型中进行预测，输出圆孔边缘掩膜Mask；

4)利用边缘提取算子对待预测含孔类零件图像进行边缘提取，获得零件初始边缘图像，将零件初始边缘图像与圆孔边缘掩膜Mask进行相乘后，获得零件粗边缘图像；

5)对零件粗边缘图像进行边缘精提取，获得准确边缘图像；

6)根据待预测含孔类零件图像和准确边缘图像，计算获得亚像素级边缘图像。

所述步骤1)中，每张含孔类零件图像通过数据增广方法进行图像增广，增广获得多张增广后的含孔类零件图像。

所述步骤2)中，改进后的Deeplabv3+语义分割网络是在Deeplabv3+语义分割网络的金字塔池化ASPP模块前加上注意力机制模块，金字塔池化ASPP模块与注意力机制模块之间级联。

所述步骤4)中，边缘提取算子具体为roberts算子。

所述步骤5)具体为：

对零件粗边缘图像依次进行孔边缘的拟合、连接和细化，获得准确边缘图像。

所述步骤6)具体为：

对待预测含孔类零件图像进行全图亚像素点提取，获得全图亚像素点，将全图亚像素点与准确边缘图像进行取交运算，获得圆孔边缘亚像素点，从而获得亚像素级边缘图像。

本发明的有益效果是：

1)通过结合相位一致性特征的边缘提取方法，降低了实际测量过程中变化光照、复杂背景噪声等的干扰，提升了边缘提取的精度和边缘提取算法的稳定性。

2)通过在语义分割网络中融入注意力机制模块，提升了分割精度，即帮助网络精准分割目标圆孔区域，进而捕捉到更加精细的目标圆孔区域边缘信息。

3)通过本发明提出的上述圆孔边缘亚像素提取流程，即先训练网络并得到目标圆孔输出，辅之以边缘信息图进行后处理得到圆孔精细边缘，最后进行亚像素拟合，进一步提高了圆孔边缘提取的精度和稳定性。

附图说明

图1是本发明的流程图。

图2是含孔类零件样本库中经相位一致性提取特征的图像示例，左图为含孔类零件原图，右图为相位一致性提取结果。

图3是含孔类零件图像目标圆孔输出的掩膜结果，左图为输出的目标边缘掩膜，右图为将边缘掩膜以红色的形式贴到原图上的结果。

图4是通过各算子提取的边缘信息图。

图5是获取的含孔类零件目标圆孔精细边缘。

图6是含孔类零件目标圆孔边缘轮廓的亚像素提取结果。

具体实施方式

下面结合附图和实例对本发明作进一步说明。

本发明的实施例及其实施过程如下：

如图1所示，本发明包括以下步骤：

1)采集多张含孔类零件图像，如图2的(a)所示，利用边缘一致性方法对各张含孔类零件图像分别进行相位特征的信息提取，获得对应的相位一致性零件图像，如图2的(b)所示；由多张含孔类零件图像和对应的相位一致性零件图像构成数据集；

所述步骤1)中，每张含孔类零件图像已使用Labelme等工具标注目标原孔，每张含孔类零件图像通过数据增广方法进行图像增广，增广获得多张增广后的含孔类零件图像，数据增广方法包括随机Crop、旋转、Resize等操作，增广后的含孔类零件图像与原始的含孔类零件图像均作为含孔类零件图像并进行相位特征的信息提取，获得对应的相位一致性零件图像。

任一点x处的相位一致性函数定义为下式：

其中，PC(x)表示图像上像素点X处的相位一致性信息，PC(x)∈(0,1)；n为傅里叶级数值；A_n为幅值系数；φ_n(x)表示第n个傅里叶分量在x点处的相位；

是函数在x处取最大值时各谐波局部相角的加权平均值。

搜索局部能量函数中的峰值，可以等效的计算出最大相位一致性点。局部能量函数E(x)定义为一维亮度分部，且能量等于傅里叶振幅之和所标度的相位一致性。二维图像上各像素点的相位一致性计算公式如下式所示：

其中，o为像素点指定的方向，一般取30°、60°、90°；T_o为指定方向上的补偿噪声；e一般取1e^-5。PC(x)表示图像上像素点X处的相位一致性信息，E_o(x)表示在二维图像上某一点在某一方向上的能量函数值，A_no(x)表示二维图像上某一点在某方向上的幅值，n表示整个图像上二维点幅值求和。

2)将数据集输入到改进后的Deeplabv3+语义分割网络中对网络进行训练，其中，每张含孔类零件图像作为网络的第一输入，对应的相位一致性零件图像作为网络的第二输入，获得孔类零件语义分割模型；

所述步骤2)中，改进后的Deeplabv3+语义分割网络是在Deeplabv3+语义分割网络的金字塔池化ASPP模块前加上注意力机制模块，金字塔池化ASPP模块与注意力机制模块之间级联，Deeplabv3+语义分割网络中设置在金字塔池化ASPP模块前并与金字塔池化ASPP模块级联的模块也与注意力机制模块级联。含孔类零件图像要先经注意力机制模块筛选特征信息，进而针对性的对结果进行语义分割。

3)将待预测含孔类零件图像输入到孔类零件语义分割模型中进行预测，输出圆孔边缘掩膜Mask；如图3所示，图3的(a)为输出的圆孔边缘掩膜Mask，图3的(b)为将圆孔边缘掩膜Mask贴到待预测含孔类零件图像后的结果图。

4)利用边缘提取算子对待预测含孔类零件图像进行边缘提取，获得零件初始边缘图像，将零件初始边缘图像与圆孔边缘掩膜Mask进行相乘后，获得零件粗边缘图像；

所述步骤4)中，边缘提取算子具体为roberts算子。各典型算子的边缘提取效果如图4所示。图4的(a)-(e)分别是canny算子、mh算子、prewitt算子、sobel算子和roberts算子。

5)对零件粗边缘图像进行边缘精提取，获得准确边缘图像；

所述步骤5)具体为：

对零件粗边缘图像依次进行孔边缘的拟合、连接和细化，获得准确边缘图像，如图5所示。

6)根据待预测含孔类零件图像和准确边缘图像，计算获得亚像素级边缘图像。

所述步骤6)具体为：

对待预测含孔类零件图像进行全图亚像素点提取，获得全图亚像素点，将全图亚像素点与准确边缘图像进行取交运算，获得圆孔边缘亚像素点，从而获得亚像素级边缘图像，如图6所示。

为了检测算法效率，验证本发明亚像素级边缘图像的提取效果，本实例进行相关测试验证过程，如表1和表2所示。首先选取常用的几种边缘提取算子，测试其默认参数下单张图片的边缘完整百分比，并比较优缺点，判断是否适用于能够适用于相关场景，亦便于目标圆孔边缘亚像素级提取。

表1不同算子边缘提取效果

表2不同算子边缘提取效果(续)

直接使用Deeplabv3+模型和使用本发明方法构建的语义分割模型对圆孔图像进行边缘分割的结果如表3所示。通过比较语义分割领域常用的评价指标平均交并比(Miou)和像素精度(Pixel-Accuracy)，验证本发明语义分割模型在背景区域和目标圆孔区域的分割效果。如表3所示，本发明方法无论在背景部分还是在目标圆孔区域相对于原Deeplabv3+模型均表现出更好的语义分割效果。

表3图像分割结果

综合上述实验结果可以看出，本发明方法实现了光照变化、噪声等复杂背景条件下圆孔边缘的亚像素级提取。根据本发明方法，含孔类零件图像的背景区域与目标圆孔区域的语义分割精度较目前业界主流的模型均有一定的提升，可满足实际应用中高速高效高精度的测量需求。

上述实施例不应视为对本发明的限制，但任何基于本发明的精神所做的改进，都应在本发明的保护范围之内。

Claims (6)

1.一种复杂光照背景条件下的圆孔边缘亚像素级提取方法，其特征在于，包括以下步骤：

1)采集多张含孔类零件图像，利用边缘一致性方法对各张含孔类零件图像分别进行相位特征的信息提取，获得对应的相位一致性零件图像；由多张含孔类零件图像和对应的相位一致性零件图像构成数据集；

2)将数据集输入到改进后的Deeplabv3+语义分割网络中对网络进行训练，获得孔类零件语义分割模型；

3)将待预测含孔类零件图像输入到孔类零件语义分割模型中进行预测，输出圆孔边缘掩膜Mask；

4)利用边缘提取算子对待预测含孔类零件图像进行边缘提取，获得零件初始边缘图像，将零件初始边缘图像与圆孔边缘掩膜Mask进行相乘后，获得零件粗边缘图像；

5)对零件粗边缘图像进行边缘精提取，获得准确边缘图像；

6)根据待预测含孔类零件图像和准确边缘图像，计算获得亚像素级边缘图像。

2.根据权利要求1所述的一种复杂光照背景条件下的圆孔边缘亚像素级提取方法，其特征在于，所述步骤1)中，每张含孔类零件图像通过数据增广方法进行图像增广，增广获得多张增广后的含孔类零件图像。

3.根据权利要求1所述的一种复杂光照背景条件下的圆孔边缘亚像素级提取方法，其特征在于，所述步骤2)中，改进后的Deeplabv3+语义分割网络是在Deeplabv3+语义分割网络的金字塔池化ASPP模块前加上注意力机制模块，金字塔池化ASPP模块与注意力机制模块之间级联。

4.根据权利要求1所述的一种复杂光照背景条件下的圆孔边缘亚像素级提取方法，其特征在于，所述步骤4)中，边缘提取算子具体为roberts算子。

5.根据权利要求1所述的一种复杂光照背景条件下的圆孔边缘亚像素级提取方法，其特征在于，所述步骤5)具体为：

对零件粗边缘图像依次进行孔边缘的拟合、连接和细化，获得准确边缘图像。

6.根据权利要求1所述的一种复杂光照背景条件下的圆孔边缘亚像素级提取方法，其特征在于，所述步骤6)具体为：

对待预测含孔类零件图像进行全图亚像素点提取，获得全图亚像素点，将全图亚像素点与准确边缘图像进行取交运算，获得圆孔边缘亚像素点，从而获得亚像素级边缘图像。

Images