CN109801281B - 一种无纹理金属零件图像规整化直线段边缘检测方法 - Google Patents

Abstract

本发明公开了一种无纹理金属零件图像规整化直线段边缘检测方法。本发明首先计算输入零件图像各像素点的梯度，之后利用LSD算法检测出初步的直线段，下一步利用直线段之间的距离和角度关系对不连续的直线段进行连接，达到检测完整直线段的目的，避免了检测出的直线段发生断裂的问题。本发明基于LSD算法进行改进，在保留了LSD算法速度快的基础上，又能输出完整的直线段，且同时适用RGB图像与灰度图像，可满足实际应用的需求。

Description

一种无纹理金属零件图像规整化直线段边缘检测方法

技术领域

本发明涉及计算机视觉及工业自动化技术领域，具体涉及一种无纹理金属零件图像规整化直线段边缘检测方法。

背景技术

无纹理金属零件的边缘直线检测一直以来都是计算机视觉领域的一个重要研究方向。在很多应用场景下都需要对零件边缘的直线进行检测，如对金属零件进行识别和抓取等。

目前最通用的直线检测方法均是在霍夫变换直线检测方法上进行改进得到的。但霍夫变换直线检测方法有两方面的问题：第一，由于霍夫变换直线检测方法需要将图像空间中的点变换到霍夫空间中进行计算，计算量比较大，运算时间就会比较长。第二，从霍夫空间映射回图像空间时，只能返回直线段所在的直线，并不能将分离的直线段独立返回。当某些应用需要以直线段作为输入时，只能在图像空间中再一次遍历所有像素，判断直线是否连续，这进一步增加了计算量。

Gioi等人在2012年提出了一种基于生长算法的直线检测方法(Line SegmentDetector,LSD)。这种方法能够在线性时间内完成对图像内的直线段的检测，速度较霍夫变换直线检测方法有了大幅提升，并且输出的结果是直线段。但是，检测出的直线段可能会由于阴影、局部模糊或其他原因使得检测出的直线段不连续(如图1所示)。

发明内容

为了解决背景技术中的问题，本发明提供了一种无纹理金属零件图像规整化直线段边缘检测方法，在LSD算法的基础之上，利用直线段之间的相互关系，对不连续的直线段进行连接，达到检测完整直线段的目的。如此，既保留了LSD算法速度快的特点，又避免了检测出的直线段发生断裂的问题，满足实际应用的需求。

本发明的技术方案包括以下步骤：

步骤1：输入待测的零件图像，计算零件图像中每个像素点的梯度幅值和梯度方向；

步骤2：计算所有像素点的方向线角度：每个像素点的方向线角度是将x轴正半轴沿逆时针方向旋转至与方向线重合所转过的角度；x轴正半轴为从左到右的行方向；

所述步骤2中像素点的方向线(Level-Line)为经过像素点且与像素点的梯度方向垂直的直线。

步骤3：通过以下步骤获得零件图像中各个连通域：

步骤3.1：选取零件图像中梯度幅值最大的像素点作为连通域，进行步骤3.2开始区域生长；

步骤3.2：判断与连通域相邻的像素点是否需要包含在连通域中：对与连通域相邻的各个像素点进行是否需要包含在连通域的判断处理，将与连通域相邻且判断为需要包含在连通域的像素点加入到连通域，并不断向外扩张将相邻的像素点判断后并加入连通域，直到与当前连通域相邻的所有像素点被判断为不需要包含在连通域中，则输出当前获得的连通域，再在零件图像中去除当前获得的连通域后回到步骤3.1迭代处理，获得各个连通域；

所述步骤3.2中对与连通域相邻的各个像素点进行是否需要包含在连通域的判断处理的方法具体是：若与连通域相邻的像素点的方向线角度与连通域的方向线角度之差小于生长阈值τ，则判定与连通域相邻的像素点包含在连通域中；

所述步骤3.2中对与连通域相邻的各个像素点进行是否需要包含在连通域的判断处理的方法具体是：若与连通域相邻的像素点的方向线角度与连通域的方向线角度之差小于生长阈值τ，则判定与连通域相邻的像素点包含在连通域中；所述生长阈值τ为已设定的参数值。

步骤4：通过矩形拟合各个连通域得到所对应的拟合矩形，连接拟合矩形的两条短边的中点即可获得连通域所对应的直线段，每个连通域中对应建立一条直线段，并删除长度小于长度控制阈值t_d的短直线段，输出所有连通域所对应的直线段；

所述阈值t_d为已设定的参数。

步骤5：将步骤4中所有直线段两两配对构成直线段对，根据限制条件1和2筛选所有直线段对：直线段对中的两条直线段分别设为直线段A'A和直线段BB'，A'、A分别为直线段A'A的两个端点，B、B'分别为直线段BB'的两个端点，且A和B是距离最近的两个点；连接同时满足限制条件1和2的直线段A'A和直线段BB'；

所述的限制条件1和2分别为：

限制条件1：两条直线段的斜率必须接近，同时两条直线段之间的最近端点距离

必须小于阈值t_d，即满足下式：

其中，t_θ为角度阈值；

所述t_θ定义为t_θ＝2arctan(t_d/w)，其中，w为输入的零件图像中所检测零件的边缘像素宽度。

限制条件2：两条直线段之间的最近端点距离

和角度θ需要满足下式：

其中，θ_max为直线段A'A和BB'的连接控制参数；θ为向量

与向量t之间的夹角，向量t为向量

与向量

的平均方向向量。

限制条件2的意义是：当角θ的值较小时，

的长度可以适当变长，反之亦然。

步骤6：输出经步骤5处理后的完整的直线段边缘。

所述的无纹理金属零件是表面为平面且光滑、无凹凸和纹理的多面体金属零件。

所述步骤1中计算零件图像中每个像素点的梯度幅值和梯度方向的方法具体是：若零件图像为灰度图像，使用梯度差分算子计算零件图像每个像素的梯度幅值和梯度方向；若零件图像为RGB图像，使用由三通道梯度组合而成的梯度张量T计算零件图像每个像素的梯度幅值和梯度方向：RGB图像的每个像素的梯度幅值是梯度张量T最大特征值的平方根，梯度方向则是梯度张量T最大特征值所对应的特征向量的方向；

所述梯度张量T的阵列如下：

其中，

u为像素在零件图像行方向上的合成梯度，v为像素在零件图像列方向上的合成梯度，r、g、b分别表示红色、绿色、蓝色通道的单位向量；g_xx为像素点在行方向上合成梯度的平方值；g_xy为像素在行方向和列方向上合成梯度的乘积值；g_yy为像素在列方向上合成梯度的平方值；

x，y，z表示像素点分别在红、绿、蓝通道上的值；r表示行方向；c表示列方向；

分别表示在红、绿、蓝通道上像素点在行方向上的导数，

分别表示在红、绿、蓝通道上像素点在列方向上的导数；

由梯度张量T获得RGB图像的梯度幅值为：

由梯度张量T获得RGB图像的梯度方向为

根据以下公式计算连通域的方向线角度：

其中，level-line-angle_region是连通域的方向线角度，level-line-angle_j是连通域中第j个像素点的方向线角度，j为像素点的序数。

所述步骤5中连接控制参数θ_max的值通过以下方式计算：

取两条直线段之间的最近端点距离

为2，角度θ的值为45°，将

θ＝45°代入以下公式求得连接控制参数θ_max的值：

其中，θ_max为直线段A'A和BB'的连接控制参数；θ为向量

与向量t之间的夹角，向量t为向量

与向量

的平均方向向量。

所述步骤5中角度θ由下式计算得到：

其中：θ∈[0,π)，

向量t表示向量

与向量

的平均方向向量。

本发明的有益效果是：

1)本发明基于LSD算法进行改进，保留了LSD算法速度快的特点。

2)本发明针对LSD算法无法对RGB图像进行检测的问题，重新对RGB图像的梯度进行定义，使本发明方法同时适用RGB图像与灰度图像。

3)本发明与LSD算法相比不会将圆弧检测为直线。

4)本发明针对LSD算法检测出的直线段不连续的问题，本方法利用直线段之间的相互关系，对满足条件的不连续的直线段进行连接，达到检测完整直线段的目的，之后可以通过现有的直线段对零件进行描述。相比于直接利用不完整的直线段对零件进行描述，本发明可以大大提高零件识别的准确度，提升工业零件分拣的效率，降低分类错误的概率。

附图说明

图1为在无纹理金属零件上应用LSD算法的结果示意图；

图2为本发明的流程图；

图3为Level-Line方向示意图；

图4为直线段连接示意图；

图5为在无纹理金属零件上应用本发明的结果示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

本发明的无纹理金属零件规整化直线段边缘检测方法包括以下步骤(如图2所示的流程图)：

步骤1：具体实施以工业光源固定块零件为无纹理金属零件，计算输入图像每个像素位置上的梯度大小和方向。对于灰度图像，梯度大小和方向可以通过梯度差分算子计算得到。对于RGB图像，图像中像素点的梯度向量norm为：

其中：

步骤2：计算所有像素点的Level-Line角：如图3所示，图像中每个像素点的Level-Line与该像素点的梯度方向垂直，该像素点的Level-Line角就是将x轴正半轴沿逆时针方向旋转至与Level-Line重合所转过的角度。

步骤3：选择图像中所有像素点中梯度幅值最大且未被访问过的像素，将该像素点作为第一个连通域的起始点，计算该连通域的Level-Line角。之后访问该连通域的邻接像素，依次判断这些邻接像素的Level-Line角与该连通域的Level-Line角之差是否小于阈值τ，小于则将其加入连通域，并更新连通域的Level-Line角，直至连通域的所有邻接像素均不能加入该连通域后，重新选择剩余像素中梯度幅值最大且未被访问过的像素，重复上述步骤，直至所有像素点均被访问完毕。

连通域的Level-Line角为：

其中，level-line-angle_region是连通域的方向线角度，level-line-angle_j是连通域中第j个像素点的方向线角度，j为像素点的序数。

步骤3：使用矩形拟合每一个连通域，输出所有直线段。

使用矩形拟合连通域具体是：矩形的中心点可由下式得到：

其中c_x与c_y分别是该连通域所拟合的矩形中心的x方向与y方向的坐标，G(j)是第j个像素处的梯度幅值，x(j)与y(j)分别是第j个像素的x方向与y方向的坐标，j为像素点的序数。

而该矩形的倾斜角度由下式中的矩阵M的最小特征向量所对应的特征值所决定：

此时矩形两条短边的中点即是直线段的两个端点，c_x与c_y分别是该矩形中心的x方向与y方向的坐标，G(j)是第j个像素处的梯度幅值，x(j)与y(j)分别是第j个像素的x方向与y方向的坐标，j为像素点的序数。

步骤4：依据阈值t_d删去长度小于t_d的短直线段；

步骤5：连接不完整直线段。如图4所示，选择一对未访问过的直线段A’A和BB’，这四个点中A和B是距离最近的两个点；如果

并且

并且

则将线段A’B’加入线段列表，并删除A’A和BB’，否则选取下一组直线段，直至所有直线段之间都被两两访问过；

步骤6：如图5所示，最后输出完整的直线段。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (6)

1.一种无纹理金属零件图像规整化直线段边缘检测方法，其特征在于：

步骤1：输入待测的零件图像，计算零件图像中每个像素点的梯度幅值和梯度方向；

步骤2：计算所有像素点的方向线角度：每个像素点的方向线角度是将x轴正半轴沿逆时针方向旋转至与方向线重合所转过的角度；

步骤3：通过以下步骤获得零件图像中各个连通域：

步骤3.1：选取零件图像中梯度幅值最大的像素点作为连通域，进行步骤3.2开始区域生长；

步骤3.2：判断与连通域相邻的像素点是否需要包含在连通域中：对与连通域相邻的各个像素点进行是否需要包含在连通域的判断处理，将与连通域相邻且判断为需要包含在连通域的像素点加入到连通域，并不断向外扩张将相邻的像素点判断后并加入连通域，直到与当前连通域相邻的所有像素点被判断为不需要包含在连通域中，则输出当前获得的连通域，再在零件图像中去除当前获得的连通域后回到步骤3.1迭代处理，获得各个连通域；

所述步骤3.2中对与连通域相邻的各个像素点进行是否需要包含在连通域的判断处理的方法具体是：若与连通域相邻的像素点的方向线角度与连通域的方向线角度之差小于生长阈值τ，则判定与连通域相邻的像素点包含在连通域中；

步骤4：通过矩形拟合各个连通域得到所对应的拟合矩形，连接拟合矩形的两条短边的中点即可获得连通域所对应的直线段，每个连通域中对应建立一条直线段，并删除长度小于长度控制阈值t_d的直线段，输出所有连通域所对应的直线段；

步骤5：将步骤4中所有直线段两两配对构成直线段对，根据限制条件1和2筛选所有直线段对：直线段对中的两条直线段分别设为直线段A'A和直线段BB'；连接同时满足限制条件1和2的直线段A'A和直线段BB'，即连接线段A’B’，并删除直线段A’A和直线段BB’；

所述的限制条件1和2分别为：

限制条件1：两条直线段的斜率必须接近，同时两条直线段之间的最近端点距离

必须小于阈值t_d，即满足下式：

其中，t_θ为角度阈值；

所述t_θ定义为t_θ＝2arctan(t_d/w)，其中，w为输入的零件图像中所检测零件的边缘像素宽度；

限制条件2：两条直线段之间的最近端点距离

和角度θ需要满足下式：

其中，θ_max为直线段A'A和BB'的连接控制参数；θ为向量

与向量t之间的夹角，向量t为向量

与向量

的平均方向向量；

步骤6：输出经步骤5处理后的完整的直线段边缘。

2.根据权利要求1所述的一种无纹理金属零件图像规整化直线段边缘检测方法，其特征在于，所述步骤1中计算零件图像中每个像素点的梯度幅值和梯度方向的方法具体是：若零件图像为灰度图像，使用梯度差分算子计算零件图像每个像素的梯度幅值和梯度方向；若零件图像为RGB图像，使用由三通道梯度组合而成的梯度张量T计算零件图像每个像素的梯度幅值和梯度方向：RGB图像的每个像素的梯度幅值是梯度张量T最大特征值的平方根，梯度方向则是梯度张量T最大特征值所对应的特征向量的方向；

所述梯度张量T的阵列如下：

其中，

u为像素在行方向上的合成梯度，v为像素在列方向上的合成梯度，r、g、b分别表示红色、绿色、蓝色通道的单位向量；g_xx为像素点在行方向上合成梯度的平方值；g_xy为像素在行方向和列方向上合成梯度的乘积值；g_yy为像素在列方向上合成梯度的平方值；

x，y，z表示像素点分别在红、绿、蓝通道上的值；r表示行方向；c表示列方向；

分别表示在红、绿、蓝通道上像素点在行方向上的导数，

分别表示在红、绿、蓝通道上像素点在列方向上的导数；

由梯度张量T获得RGB图像的梯度幅值为：

由梯度张量T获得RGB图像的梯度方向为

3.根据权利要求1所述的一种无纹理金属零件图像规整化直线段边缘检测方法，其特征在于，根据以下公式计算连通域的方向线角度：

其中，level-line-angle_region是连通域的方向线角度，level-line-angle_j是连通域中第j个像素点的方向线角度，j为像素点的序数。

4.根据权利要求1所述的一种无纹理金属零件图像规整化直线段边缘检测方法，其特征在于，所述步骤5中连接控制参数θ_max的值通过以下方式计算：

取两条直线段之间的最近端点距离

为2，角度θ的值为45°，将

θ＝45°代入以下公式求得连接控制参数θ_max的值：

其中，θ_max为直线段A'A和BB'的连接控制参数；θ为向量

与向量t之间的夹角，向量t为向量

与向量

的平均方向向量。

5.根据权利要求4所述的一种无纹理金属零件图像规整化直线段边缘检测方法，其特征在于，所述步骤5中角度θ由下式计算得到：

其中：θ∈[0,π)，

向量t表示向量

与向量

的平均方向向量。

6.根据权利要求1所述的一种无纹理金属零件图像规整化直线段边缘检测方法，其特征在于，所述步骤2中像素点的方向线为经过像素点且与像素点的梯度方向垂直的直线。

Images