CN110533675B - 一种激光条纹遮挡噪声滤除及补偿方法 - Google Patents

Abstract

本发明一种激光条纹遮挡噪声滤除及补偿方法属于视觉测量领域，涉及一种激光条纹遮挡噪声滤除及补偿方法。该方法首先根据噪声与激光条纹的相似程度，将噪声分类为线型噪声和块状噪声；然后，基于Hough直线检测及激光条纹在图像边界处的特性，检测并识别激光条纹和线型噪声，并提出宽度条件约束补偿线型噪声；最后，基于激光条纹骨架的形态学处理，检测并过滤块状噪声，采用线性插值补偿缺损的激光条纹。本发明从图像处理角度出发，有效避免了激光条纹遮挡噪声造成的关键测量信息缺失等问题，提高了视觉测量中图像信息获取精度，通用性强。

Description

一种激光条纹遮挡噪声滤除及补偿方法

技术领域

本发明属于视觉测量领域，涉及一种激光条纹遮挡噪声滤除及补偿方法。

背景技术

随着智能制造的发展，视觉测量技术已被广泛应用于工业检测、航空航天等重大工程领域。激光光条图像的处理是决定测量精度的关键因素之一,在实际生产中，受现场复杂背景、多源扰动等因素影响，激光条纹可能因为反光、背光、以及背景物或噪声对目标物体的遮挡等因素，造成部分缺损甚至关键信息的丢失。因此，过滤遮挡噪声、补偿缺损激光对于精确获取特征信息、保障测量精度具有重要意义。对于激光条纹缺损的情况，目前的研究大多通过硬件和拍摄手段来避免，通常从光源、光路和相机出发，通过调整光源的亮度、相机的曝光参数和采用滤光片直接调整图像中的明暗关系，通过相机的拍摄角度来寻找合适的光路实现图像明暗的控制，但是这种方法操作复杂，通用性较差，很难适用于航空零部件在线制造装配的过程。此外也有部分研究从图像处理角度出发，通过拟合高直线度激光条纹中心以补偿缺损激光。但是对于激光条纹中噪声遮挡区域的补偿效果较差，应用局限性较大。

对于缺损条纹的补偿方法，福建农林大学的甘宏等人于2019年在《光电工程》第2期发表了文章《复杂背景下激光条纹中心亚像素提取方法》，针对激光条纹中心提取的复杂背景及噪声干扰问题，提出一种自适应双阈值分割方法及改进灰度权重模型。对光条图像的特征及噪声来源进行分析，并用双边滤波进行图像预处理；然后采用双阈值分区获得二值化图像，提取初始条纹中心及宽度后基于改进灰度权重模型提取亚像素中心。该方法能有效避免复杂背景及激光条纹法线方向噪声的影响，但是对激光条纹遮挡噪声的过滤及补偿精度较低，应用局限性较大。

发明内容

本发明为克服现有技术缺陷，从图像处理的角度解决激光条纹缺损问题，满足航空零部件在线制造装配过程中对视觉检测的精度要求，发明了一种激光条纹遮挡噪声滤除及补偿方法。该方法首先根据噪声与激光条纹的相似程度，将噪声分类为线型噪声和块状噪声；然后，基于Hough直线检测及激光条纹在图像边界处的特性，检测并识别激光条纹和线型噪声，并提出宽度条件约束补偿线型噪声；最后，基于激光条纹骨架的形态学处理，检测并过滤块状噪声，采用线性插值补偿缺损的激光条纹。本发明从图像处理角度出发，有效避免了激光条纹遮挡噪声造成的关键测量信息缺失等问题，提高了视觉测量中图像信息获取精度。

本发明采用的技术方案是一种激光条纹遮挡噪声滤除及补偿方法，其特征是，该方法首先利用Hough变换，识别激光条纹和线性噪声；然后基于宽度条件约束，补偿线性噪声；最后基于激光条纹骨架的形态学处理，检测并过滤块状噪声，采用线性插值补偿缺损的激光条纹。方法的具体步骤如下：

第一步，基于Hough变换的线性噪声识别

遮挡激光条纹的噪声包括了线型噪声和块状噪声，获取的激光图像中通常包括线性噪声、块状噪声及激光条纹；首先基于Hough变换检测激光图像中的激光条纹及线性噪声。

在图像笛卡尔坐标系uOv中，给定一条确定的直线v＝ku+b，k和b分别为直线的斜率和截距，则这条直线在参数空间中的点为(k,b)。将该直线映射到极坐标系中，在有限可控的搜索范围内找到直线，直线方程为：

ucos(θ)+vsin(θ)＝ρ (1)

式中，ρ为直线到坐标原点的距离，θ为直线法线与u轴的夹角。则直线在极坐标系的形状为一正弦曲线，极坐标参考空间点为(θ,ρ)。

表征图像坐标系中所有可能的直线模板，即让θ和ρ取所有可能的值。在图像笛卡尔坐标系中，当直线从与u轴重合处逆时针旋转时，θ的值开始由0°累加到180°。根据下式(2)，ρ的值由0累加到

只需要确定ρ和θ的累加分辨率，来表征图像坐标系中所有的直线模板。

然后，把图像中的白色像素放在其所在的直线模板中，并让相应直线模板的计数器加一，计数器保存了每个模板直线包含的白色像素个数。当某个模板直线的白色像素计数足够多时，可以认为这条模板直线在图像中存在，即检测到该直线。

对激光条纹二值图像birol分为p段，使每一段图像birol_p中的激光条纹近似于直线，而且线型噪声在一定长宽范围内也可构成直线，利用Hough变换检测每一段图像中的所有直线。针对分段的激光条纹二值图像，其具有两大特征：1)激光条纹必然与图像边界相交，相邻分段图像在交界处的激光条纹宽度具有连续性；2)相邻分段图像在交界处的激光条纹斜率具有连续性，且具有公共点。根据这两种特征，可以判断激光条纹和线型噪声。

首先计算birol_p上、下、左、右四个边界的灰度重心，其中m_p×n_p是birol_p的像素尺寸。

式中,LB为左边界灰度重心，UpB为上边界的灰度重心，RB为右边界的灰度重心，DnB为下边界的灰度重心。

分割后的二值激光图像中，具有最大灰度重心的边界即为激光条纹的相交边界，此边界的局部图像构成的直线斜率即为激光条纹直线的斜率。比较四个边界的灰度重心：

如果LB最大，则

如果UpB最大，则

如果RB最大，则

如果DnB最大，则

由此进一步寻找与k和b最接近的Hough变换检测到的直线，对激光条纹图像利用Hough变换检测直线，并将构成这些直线的端点提取出来，分别识别激光条纹直线与线性噪声直线。

第二步，基于宽度条件约束的线性噪声补偿

在已知线型噪声的端点(u₁,v₁)和(u₂,v₂)，以及解析式v＝k_nu+b_n，可以获得该线型噪声给定宽度的覆盖区域，将像素坐标整理成集合的形式：

式中，[x]代表对有理数x取整。

为了避免线性噪声与激光噪声重叠区域被补偿掉，基于线型噪声直线方向上白色像素的宽度，根据下式(9)选择窄的白色像素区域滤除，宽的白色像素区域即认为是激光条纹交界。

式中，minwidth为宽度阈值。

第三步，基于形态学骨架的块状噪声检测及过滤

首先，提取图像中高亮的块状噪声，基于上述分析已经通过Hough变换检测出了局部激光条纹像素点构成的直线，这条直线可以近似看作激光条纹的骨架，采用形态学方法，可以有效滤除激光条纹。

闵可夫斯基减法是对二维区域R和结构元S，使用S中的所有向量s来移动区域R中的每个点，即计算这些点的向量差：

如果在向量平移后，向量s被完全包含在R中，则将平移后的参考点作为输出。因为Hough检测的激光条纹直线关于原点中心对称，当作为结构元S时，闵可夫斯基减法即为形态学的腐蚀运算。

通过腐蚀运算处理可以将输入区域R收缩，把图像中符合结构元的特征进行收缩或滤除。定义结构元S为激光条纹内的直线：

S＝{(u,v)|v＝k_Lu+b_L} (11)

因为腐蚀减小了块状噪声，需要通过膨胀处理进行恢复：

然后基于图像差分法，滤除激光条纹二值分段图像birol_p中的块状噪声，可以得到只存在激光条纹信息的二值图像

公式为：

最后，在激光条纹每行图像上分别求解激光条纹二值图像的左右边界，对两个边界分别进行分段线性插值，填充两边界的中间区域，即可实现缺损区域的补偿。

本发明的有益效果是从图像处理的角度出发，提出了激光条纹遮挡噪声的识别及过滤方法，并采用线性插值补偿缺损激光条纹。避免了在激光扫描测量中由于激光条纹遮挡噪声造成的关键测量信息缺损等问题，并且该方法经实验验证能够有效滤除激光图像中的遮挡噪声，通用性强，对激光条纹遮挡噪声的过滤及补偿精度较高。

附图说明

图1是本发明提出的激光条纹遮挡噪声滤除及补偿方法流程图。

图2是遮挡激光条纹的线性噪声和块状噪声示例图，其中，1为激光条纹，2为块状噪声，3为线性噪声。

图3是基于宽度条件约束的补偿结果，其中，1为激光条纹，2为块状噪声，

图4是基于激光条纹骨架的腐蚀结果

图5是处理后的激光条纹图像

具体实施方式

如图1所示为本发明提出的激光条纹遮挡噪声滤除及补偿方法流程图，该方法首先根据噪声与激光条纹的相似程度，将噪声分类为线型噪声和块状噪声。然后，基于Hough直线检测及激光条纹在图像边界处的特性，检测并识别激光条纹和线型噪声，并提出宽度条件约束补偿线型噪声。最后，基于激光条纹骨架的形态学处理，检测并过滤块状噪声，采用线性插值补偿缺损的激光条纹。方法的具体实施步骤如下：

第一步，基于Hough变换的线性噪声识别

如图2所示为遮挡激光条纹的线性噪声和块状噪声图像，1为激光条纹，2为块状噪声，3为线性噪声。在激光条纹图像中，截取某一段有线型噪声和激光条纹的区域，组成局部激光条纹的白色像素可以构成允差范围内的直线。

根据式(1)、(2)表征图像坐标系中所有可能的直线模板，然后，将图像中的白色像素放在其所在的直线模板中，并让相应直线模板的计数器加一，计数器保存了每个模板直线包含的白色像素个数。当某个模板直线的白色像素计数足够多时，可以认为这条模板直线在图像中存在，即检测到该直线。

对激光条纹二值图像分为3段，使每一段图像中的激光条纹近似于直线，而且线型噪声在一定长宽范围内也可构成直线，利用Hough变换检测每一段图像中的所有直线。然后根据式(3)计算每段图像上下左右四个边界的灰度重心，比较四个边界的灰度重心，根据式(4)-(7)计算相应的k、b，由此进一步寻找与k和b最接近的Hough变换检测到的直线，对激光条纹图像利用Hough变换检测直线，并将构成这些直线的端点提取出来，分别识别激光条纹直线与线性噪声直线。

第二步，基于宽度条件约束的线性噪声补偿

根据实验可知激光条纹的宽度一般不超过30像素，线型噪声的宽度一般不超过5像素。因此补偿线型噪声方向上宽度为5的像素区域，即可确保滤除线型噪声。在已知线型噪声的端点及解析式时，可以获得该线型噪声宽度为5的覆盖区域，按式(8)将像素坐标整理成集合的形式。

为了避免线性噪声与激光噪声重叠区域被补偿掉，基于线型噪声直线方向上白色像素的宽度，根据式(9)选择窄的白色像素区域滤除，宽的白色像素区域即认为是激光条纹交界，上述基于宽度条件约束的补偿结果如图3所示，1为激光条纹，2为块状噪声，此时线性噪声已被基本滤除。

第三步，基于形态学骨架的块状噪声检测及过滤

首先，提取图像中高亮的块状噪声，基于上述分析已经通过Hough变换检测出了局部激光条纹像素点构成的直线，这条直线可以近似看作激光条纹的骨架，采用形态学方法，可以有效滤除激光条纹。根据式(10)、(11)对图像进行形态学腐蚀运算，图4为滤除激光条纹后的块状噪声，基于激光条纹骨架的腐蚀结果如图4所示。

根据式(12)进行膨胀处理，对部分块状噪声进行恢复，然后基于图像差分法，根据式(13)滤除激光条纹二值分段图像中的块状噪声，得到只存在激光条纹信息的二值图像。

最后，在激光条纹每行图像上分别求解激光条纹二值图像的左右边界，对两个边界分别进行分段线性插值，填充两边界的中间区域，即可实现缺损区域的补偿。

图5为处理后的激光条纹图像，对比图2可见本发明所提出的激光条纹遮挡噪声滤除及补偿方法，对于激光条纹中线性噪声与块状噪声的滤除有明显效果，处理后的图像较为完全的保留了测量有效信息，实现了激光条纹缺损区域的补偿，具有一定工程应用价值。

Claims (1)

1.一种激光条纹遮挡噪声滤除及补偿方法，其特征是，该方法首先利用Hough变换，识别激光条纹和线型噪声；然后基于宽度条件约束，补偿线型噪声；最后基于激光条纹骨架的形态学处理，检测并过滤块状噪声，采用线性插值补偿缺损的激光条纹；方法的具体步骤如下：

第一步，基于Hough变换的线型噪声识别

遮挡激光条纹的噪声包括了线型噪声和块状噪声，获取的激光图像中通常包括线型噪声、块状噪声及激光条纹，首先基于Hough变换检测激光图像中的激光条纹及线型噪声；

在图像笛卡尔坐标系uOv中，给定一条确定的直线v＝ku+b，k和b分别为直线的斜率和截距，则这条直线在参数空间中的点为(k,b)；将该直线映射到极坐标系中，在有限可控的搜索范围内找到直线，则直线方程为：

ucos(θ)+vsin(θ)＝ρ (1)

式中，ρ为直线到坐标原点的距离，θ为直线法线与u轴的夹角；则直线在极坐标系的形状为一正弦曲线，极坐标参考空间点为(θ,ρ)；

表征图像坐标系中所有可能的直线模板，即让θ和ρ取所有可能的值；在图像笛卡尔坐标系中，当直线从与u轴重合处逆时针旋转时，θ的值开始由0°累加到180°；根据下式(2)，ρ的值由0累加到

只需要确定ρ和θ的累加分辨率，即表征图像坐标系中所有的直线模板；

然后，把图像中的白色像素放在其所在的直线模板中，并让相应直线模板的计数器加一，计数器保存了每个模板直线包含的白色像素个数；当某个模板直线的白色像素计数足够多时，可以认为这条模板直线在图像中存在，即检测到该直线；

对激光条纹二值图像birol分为p段，使每一段图像birol_p中的激光条纹近似于直线，而且线型噪声在一定长宽范围内也可构成直线，利用Hough变换检测每一段图像中的所有直线；针对分段的激光条纹二值图像，其具有两大特征：1)激光条纹必然与图像边界相交，相邻分段图像在交界处的激光条纹宽度具有连续性；2)相邻分段图像在交界处的激光条纹斜率具有连续性，且具有公共点；根据这两种特征，判断激光条纹和线型噪声；

首先计算birol_p上、下、左、右四个边界的灰度重心，其中m_p×n_p是birol_p的像素尺寸；

式中，LB为左边界灰度重心，UpB为上边界的灰度重心，RB为右边界的灰度重心，DnB为下边界的灰度重心；

分割后的二值激光图像中，具有最大灰度重心的边界即为激光条纹的相交边界，此边界的局部图像构成的直线斜率即为激光条纹直线的斜率；比较四个边界的灰度重心：

如果LB最大，则

如果UpB最大，则

如果RB最大，则

如果DnB最大，则

由此，进一步寻找与k和b最接近的Hough变换检测到的直线，对激光条纹图像利用Hough变换检测直线，并将构成这些直线的端点提取出来，分别识别激光条纹直线与线型噪声直线；

第二步，基于宽度条件约束的线型噪声补偿

在已知线型噪声的端点(u₁,v₁)和(u₂,v₂)，以及解析式v＝k_nu+b_n，得到该线型噪声给定宽度的覆盖区域，将像素坐标整理成集合的形式：

式中，[x]代表对有理数x取整；

为了避免线型噪声与激光噪声重叠区域被补偿掉，基于线型噪声直线方向上白色像素的宽度，根据下式(9)选择窄的白色像素区域滤除，宽的白色像素区域即认为是激光条纹交界；

式中，minwidth为宽度阈值；

第三步，基于形态学骨架的块状噪声检测及过滤

首先，提取图像中高亮的块状噪声，基于上述分析已经通过Hough变换检测出了局部激光条纹像素点构成的直线，这条直线可以近似看作激光条纹的骨架，采用形态学方法，有效滤除激光条纹；

闵可夫斯基减法是对二维区域R和结构元S，使用S中的所有向量s来移动区域R中的每个点，即计算这些点的向量差：

如果在向量平移后，向量s被完全包含在R中，则将平移后的参考点作为输出；因为Hough检测的激光条纹直线关于原点中心对称，当作为结构元S时，闵可夫斯基减法即为形态学的腐蚀运算；

通过腐蚀运算处理可以将输入区域R收缩，把图像中符合结构元的特征进行收缩或滤除；定义结构元S为激光条纹内的直线：

S＝{(u,v)|v＝k_Lu+b_L} (11)

因为腐蚀减小了块状噪声，需要通过膨胀处理进行恢复：

然后，基于图像差分法，滤除激光条纹二值分段图像birol_p中的块状噪声，得到只存在激光条纹信息的二值图像

公式为：

最后，在激光条纹每行图像上分别求解激光条纹二值图像的左右边界，对两个边界分别进行分段线性插值，填充两边界的中间区域，实现缺损区域的补偿。

Images