CN114332063A - 一种基于背景差分的线束顺序检测方法 - Google Patents

Abstract

本发明公开了一种基于背景差分的线束顺序检测方法，其步骤包括：1、通过背景差分法得到线束图像的差分图像；2、采用基于端子定位基准的待检区域定位分割算法提取线束差分图像的排线区域，并采用Otsu阈值分割算法对排线图像进行二值化处理；3、计算排线的二值化图像中每根排线的质心，并在线束图像上以质心为中心截取ROI区域；4、提取ROI内区域颜色特征信息，并将其与模板线束颜色特征信息进行匹配，从而判断线束颜色排序是否正确。本发明能适应光照条件的变化，并能提高检测效率、降低误检率。

Description

一种基于背景差分的线束顺序检测方法

技术领域

本发明涉及机器视觉领域，具体是涉及一种基于背景差分的线束顺序检测方法。

背景技术

线束是设备生产中常用的一种部件，由排线和压接线的胶壳两部分组成，是信号传输的主体，广泛的应用于电子设备、仪表设备当中。在线束生产组装时，各色线束按顺序排列，目前针对线束的检测主要还是采用人工目视检测法，即查看待测线束颜色顺序是否和模板一致，人工目检受主观因素影响较大，极易出现产品的误检、漏检的情况，因此使用人工检测不仅需要消耗大量人力资源，检测效率、精度也不高。

现有的基于机器视觉技术的线束检测装置大多采用模板匹配算法，模板匹配算法具有不能适应光照变化以及目标剧烈形变情况的缺点，而且对于颜色相近的颜色极有可能出现误判。

发明内容

为了解决上述技术问题，本发明提供一种基于背景差分的线束顺序检测方法，以期能够适应光照条件的变化，并能提高检测效率、降低误检率。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于背景差分的线束顺序检测方法的特点在于，包括以下步骤：

S1：从背景图像集合中获取一幅不包含线束的彩色图像即背景图像p₀，从线束图像集合中获取一幅包含线束的彩色图像即线束图像p₁，并依据式(1)计算两者的差分图像p₂：

p₂(x,y)＝|p₁(x,y)-p₀(x,y)| (1)

式(1)中，p₀(x,y)表示背景图像p₀中(x,y)处的像素点，p₁(x,y)表示线束图像中(x,y)处的像素点，p₂(x,y)表示差分图像p₂中(x,y)处的像素点；

S2：采用基于端子定位基准的待检区域定位分割算法提取所述差分图像p₂的排线区域，采用Otsu阈值分割算法对所述排线区域进行二值化处理，得到排线的二值化图像p₆；

S3：采用基于最大包围矩形的质心定位法计算所述排线的二值化图像p₆中每根排线的质心，并在所述线束图像p₁上以质心为中心截取矩形图像块，从而得到ROI区域；

S4：在HSV空间中，提取所述ROI区域内H、S、V分量的一阶矩，用于线序检测，以判断线序的正确性。

本发明所述的一种基于背景差分的线束顺序检测方法的特点也在于，所述步骤S1中的背景图像集合和线束图像集合是按如下方式获取：

S11：令视频序列在未放置线束时所获取的第一帧图像作为背景图像，其余帧图像为放置线束时所获取的线束图像；

S12：采用Canny边缘检测算法得到当前帧的线束图像的轮廓梯度图，并计算当前帧的线束图像的轮廓梯度图的梯度平均值和梯度标准差；

S13：如果所述梯度标准差小于预先设定的阈值T₀，则表示当前帧的线束图像为背景图像，并存入背景图像集合，否则将当前帧的线束图像存入线束图像集合。

所述步骤S2包括如下步骤：

S21：采用Canny边缘检测算法对所述差分图像p₂进行边缘检测，并采用形态学闭运算对检测到的边缘图像中的断裂边缘进行处理，再采用形态学开运算对检测到边缘图像中的噪声进行消除，从而得到预处理后的边缘图像p₃；

S22：采用Hough变换检测所述预处理后的边缘图像p₃中存在的n条线段，其中，第i条线段l_i的两个端点的坐标分别记为(x_i1,y_i1)、(x_i2,y_i2)，i＝1,2,…,n；

S23：利用式(2)得到集合L：

L＝{(x_i1,y_i1,x_i2,y_i2)||y_i2-y_i1||＜k|x_i2-x_i1||i＝1,2,…,n} (2)

式(2)中，k表示预先设定的参数，k∈(0,100)；

S24：取集合L中y_i2值最大的线段作为定位基准线L_b，将所述定位基准L_b变换为水平位置后，得到变换参数，利用所述变换参数对所述差分图像p₂进行变换，得到变换后的差分图像p′₂，再根据水平变换后的定位基准线L′_b从变换后的差分图像p′₂中分割出排线差分图像p₄；

S25：将排线差分图像p₄转换至HSV颜色空间，并提取V通道的排线差分图像p₅，使用Otsu阈值分割算法对V通道的排线差分图像p₅进行二值化处理，得到排线的二值化图像p₆。

所述步骤S3包括如下步骤：

S31：对排线的二值化图像p₆进行连通域分析，提取每根排线轮廓拐点的坐标信息，再根据每根排线轮廓拐点的坐标信息得到每根排线轮廓的最大外接矩形；

S32：基于所获得的每根排线轮廓的最大外接矩形，采用图像矩的方法计算得到每根排线轮廓的质心，分别以每根排线轮廓的质心为中心，截取面积为m×m个像素点的矩形区域作为各个ROI区域；

S33：计算ROI区域内的每个像素点到其自身排线轮廓最近边的带符号距离，用于判断ROI区域内的所有像素点是否均在自身排线轮廓内，若均在，则不改变ROI区域的面积，否则，缩小ROI区域的面积，直到ROI区域中所有像素点均在自身排线轮廓内。

所述步骤S4中的线序检测包括：

S41：按照步骤S1-S4的过程得到线束模板图像中所提取的所有ROI区域内H、S、V分量的一阶矩，并分别记为

其中，

表示所述线束模板图像中第N₁根排线的H分量的一阶矩，

表示所述线束模板图像中第N₁根排线的S分量的一阶矩，

表示所述线束模板图像中第N₁根排线的V分量的一阶矩，N₁为线束模板图像中排线数目；

S42：根据所述线束模板图像中的H、V分量的一阶矩H^*、V^*确定所述线束模板图像的排线颜色值；

S43：按照步骤S1-S4的过程得到待检测线束图像中所提取的所有ROI区域内H、S、V分量的一阶矩，并分别记为

其中，

表示所述检测线束图像中的第N₂根排线的H分量的一阶矩，

表示所述检测线束图像中的第N₂根排线的S分量的一阶矩，

表示所述检测线束图像中的第N₂根排线的V分量的一阶矩，N₂为所述检测线束图像中排线数目；

S44：根据所述检测线束图像中的H、V分量的一阶矩H^**、V^**确定所检测线束图像的排线颜色值；

S45：判断所述待检测线束图像的排线数目N₂与所述模板线束图像的排线数目N₁是否一致，如果一致，则执行步骤S46；否则，表示待检测线束图像的线序不正确，结束检测；

S46：将所述待检测线束图像的排线颜色值与所述模板线束图像的排线颜色值依次对比，如果一致，则执行步骤S47；否则，表示待检测线束图像的线序不正确，结束检测；

S47：判断所述待检测线束图像中S分量的一阶矩S^**与所述模板线束图像中的S分量一阶矩S^*是否一致，如果一致，则待检测线束图像的线序正确，否则，表示待检测线束图像的线序不正确，结束检测。

所述S47是按如下过程进行：

S471：计算模板线束图像与待检测线束图像中各根排线S分量一阶矩的第j个差值

从而得到差值集合

S472：如果差值集合ΔE中的差值均小于预先设定的阈值T₁，则表示两者一致，否则表示两者不一致。

与现有技术相比，本发明的有益效果在于：

1)本发明的线束颜色顺序检测方法采用背景差分法得到的差分图像，增强了目标线束与背景图像的对比度，再结合Otsu阈值分割算法可以完整的将目标线束从背景中分割出来，从而提高了图像分割的准确度。

2)本发明在分割出线束轮廓后，对轮廓区域提取ROI区域采用的是最大包围矩形的质心定位法，只提取小块区域，减小了图片尺寸、去除了无效区域，从而提高了后续颜色特征提取的运算效率。

附图说明

图1为本发明的线束顺序检测方法的应用场景示意图；

图2为本发明的线束顺序检测的流程图；

图3为本发明获取差分图像的流程图；

图4为本发明获取排线颜色特征提取ROI区域的流程图；

图中标号：1背面光源；2工业相机；3支具；4一侧面光源；5另一侧面光源、6图像处理单元；7人机交互单元；8语音提示单元。

具体实施方式

本实施例中，一种基于背景差分算法的线束检测方法所应用的场景如图1所示，首先将背面光源1布置在待检测线束的背面，用于突出待测线束边缘轮廓特征，工业相机2放置于待测线束正上方，用于获取待测线束的图像信息；支具3用于固定工业相机，以及调整工业相机2的位置；两个侧面光源4、5布置在待测线束的两边的侧上方，用于突出待测线束表面纹理细节特征；图像处理单元6，是利用检测算法对工业相机2拍摄的图像进行处理，并与预设的线束模板图像信息进行对比判断待测线束的颜色顺序是否正确；人机交互单元7，用于设置检测的阈值参数，以及显示检测结果，包括出错线束的位置、不良品数、不良品率和检测总数；语音提示单元8，语音提示检测结果是否正确。具体实施中，该基于背景差分的线束顺序检测方法，如图3所示，包括如下步骤：

步骤S1：计算差分图像；

S11)令视频序列在未放置线束时所获取的第一帧图像作为背景图像，其余帧图像为放置线束时所获取的线束图像；

S12)采用Canny边缘检测算法得到当前帧的线束图像的轮廓梯度图，并计算当前帧的线束图像的轮廓梯度图的梯度平均值和梯度标准差；

S13)如果梯度标准差小于预先设定的阈值T₀＝5，则表示当前帧的线束图像为背景图像，并存入背景图像集合，否则将当前帧的线束图像存入线束图像集合。

S14)从背景图像集合中获取一幅不包含线束的彩色图像即背景图像p₀，从线束图像集合中获取一幅包含线束的彩色图像即线束图像p₁，并依据式(1)计算两者的差分图像p₂：

p₂(x,y)＝|p₁(x,y)-p₀(x,y)| (1)

式(1)中，p₀(x,y)表示背景图像p₀中(x,y)处的像素点，p₁(x,y)表示线束图像中(x,y)处的像素点，p₂(x,y)表示差分图像p₂中(x,y)处的像素点；

步骤S2：如图4所示，采用基于端子定位基准的待检区域定位分割算法提取差分图像p₂的排线区域，采用Otsu阈值分割算法对排线区域进行二值化处理，得到排线的二值化图像p₆；

S21)采用Canny边缘检测算法对差分图像p₂进行边缘检测，并采用形态学闭运算对检测到的边缘图像中的断裂边缘进行处理，再采用形态学开运算对检测到边缘图像中的噪声进行消除，从而得到预处理后的边缘图像p₃；

S22)采用Hough变换检测预处理后的边缘图像p₃中存在的n条线段，其中，第i条线段l_i的两个端点的坐标分别记为(x_i1,y_i1)、(x_i2,y_i2)，i＝1,2,…,n；

S23)利用式(2)得到集合L：

L＝{(x_i1,y_i1,x_i2,y_i2)||y_i2-y_i1|＜k|x_i2-x_i1||i＝1,2,…,n} (2)

式(2)中，k表示预先设定的参数，k∈(0,100)；

S24)取集合L中y_i2值最大的线段作为定位基准线L_b，将定位基准L_b变换为水平位置后，得到变换参数，利用变换参数对差分图像p₂进行变换，得到变换后的差分图像p′₂，再根据水平变换后的定位基准线L′_b从变换后的差分图像p′₂中分割出排线差分图像p₄；

S25)将排线差分图像p₄转换至HSV颜色空间，并提取V通道的排线差分图像p₅，使用Otsu阈值分割算法对V通道的排线差分图像p₅进行二值化处理，得到排线的二值化图像p₆。

步骤S3.采用基于最大包围矩形的质心定位法计算排线的二值化图像p₆中每根排线的质心，并在线束图像p₁上以质心为中心截取矩形图像块，从而得到ROI区域；

S31)对排线的二值化图像p₆进行连通域分析，提取每根排线轮廓拐点的坐标信息，再根据每根排线轮廓拐点的坐标信息得到每根排线轮廓的最大外接矩形；

S32)基于所获得的每根排线轮廓的最大外接矩形，采用图像矩的方法计算得到每根排线轮廓的质心，分别以每根排线轮廓的质心为中心，截取面积为9×9个像素点的矩形区域作为各个ROI区域；

S33)计算ROI区域内的每个像素点到其自身排线轮廓最近边的带符号距离，用于判断ROI区域内的所有像素点是否均在自身排线轮廓内，若均在，则不改变ROI区域的面积，否则，缩小ROI区域的面积，直到ROI区域中所有像素点均在自身排线轮廓内。

步骤S4.在HSV空间中，提取ROI区域内H、S、V分量的一阶矩，用于如图2所示的线序检测，以判断线序的正确性。

S41)通过人机交互单元7设定前述阈值T₀为5、T₁为20，参数m为9、k为1；

S42)按照步骤S1-S4的过程得到线束模板图像中所提取的所有ROI区域内H、S、V分量的一阶矩，并分别记为

其中，

表示线束模板图像中第N₁根排线的H分量的一阶矩，

表示线束模板图像中第N₁根排线的S分量的一阶矩，

表示线束模板图像中第N₁根排线的V分量的一阶矩，N₁为线束模板图像中排线数目；

S43)根据线束模板图像中的H、V分量的一阶矩H^*、V^*确定线束模板图像的排线颜色值；

S44)按照步骤S1-S4的过程得到待检测线束图像中所提取的所有ROI区域内H、S、V分量的一阶矩，并分别记为

其中，

表示检测线束图像中的第N₂根排线的H分量的一阶矩，

表示检测线束图像中的第N₂根排线的S分量的一阶矩，

表示检测线束图像中的第N₂根排线的V分量的一阶矩，N₂为检测线束图像中排线数目；

S45)根据检测线束图像中的H、V分量的一阶矩H^**、V^**确定所检测线束图像的排线颜色值；

S46)判断待检测线束图像的排线数目N₂与模板线束图像的排线数目N₁是否一致，如果一致，则执行S47；否则，表示待检测线束图像的线序不正确，结束检测；

S47)将待检测线束图像的排线颜色值与模板线束图像的排线颜色值依次对比，如果一致，则执行S48)；否则，表示待检测线束图像的线序不正确，结束检测；

S48)判断待检测线束图像中S分量的一阶矩S^**与模板线束图像中的S分量一阶矩S^*是否一致，计算模板线束图像与待检测线束图像中各根排线S分量一阶矩的第j个差值

从而得到差值集合

如果差值集合ΔE中的差值均小于预先设定的阈值20，则表示待检测线束图像的线序正确，否则，表示待检测线束图像的线序不正确，结束检测。

Claims (6)

1.一种基于背景差分的线束顺序检测方法，其特征在于，包括以下步骤：

S1：从背景图像集合中获取一幅不包含线束的彩色图像即背景图像p₀，从线束图像集合中获取一幅包含线束的彩色图像即线束图像p₁，并依据式(1)计算两者的差分图像p₂：

p₂(x,y)＝|p₁(x,y)-p₀(x,y)| (1)

式(1)中，p₀(x,y)表示背景图像p₀中(x,y)处的像素点，p₁(x,y)表示线束图像中(x,y)处的像素点，p₂(x,y)表示差分图像p₂中(x,y)处的像素点；

S2：采用基于端子定位基准的待检区域定位分割算法提取所述差分图像p₂的排线区域，采用Otsu阈值分割算法对所述排线区域进行二值化处理，得到排线的二值化图像p₆；

S3：采用基于最大包围矩形的质心定位法计算所述排线的二值化图像p₆中每根排线的质心，并在所述线束图像p₁上以质心为中心截取矩形图像块，从而得到ROI区域；

S4：在HSV空间中，提取所述ROI区域内H、S、V分量的一阶矩，用于线序检测，以判断线序的正确性。

2.根据权利要求1所述的一种基于背景差分的线束顺序检测方法，其特征在于，所述步骤S1中的背景图像集合和线束图像集合是按如下方式获取：

S11：令视频序列在未放置线束时所获取的第一帧图像作为背景图像，其余帧图像为放置线束时所获取的线束图像；

S12：采用Canny边缘检测算法得到当前帧的线束图像的轮廓梯度图，并计算当前帧的线束图像的轮廓梯度图的梯度平均值和梯度标准差；

S13：如果所述梯度标准差小于预先设定的阈值T₀，则表示当前帧的线束图像为背景图像，并存入背景图像集合，否则将当前帧的线束图像存入线束图像集合。

3.根据权利要求1所述的一种基于背景差分的线束顺序检测方法，其特征在于，所述步骤S2包括如下步骤：

S21：采用Canny边缘检测算法对所述差分图像p₂进行边缘检测，并采用形态学闭运算对检测到的边缘图像中的断裂边缘进行处理，再采用形态学开运算对检测到边缘图像中的噪声进行消除，从而得到预处理后的边缘图像p₃；

S22：采用Hough变换检测所述预处理后的边缘图像p₃中存在的n条线段，其中，第i条线段l_i的两个端点的坐标分别记为(x_i1,y_i1)、(x_i2,y_i2)，i＝1,2,…,n；

S23：利用式(2)得到集合L：

L＝{(x_i1,y_i1,x_i2,y_i2)||y_i2-y_i1|＜k|x_i2-x_i1||i＝1,2,…,n} (2)

式(2)中，k表示预先设定的参数，k∈(0,100)；

S24：取集合L中y_i2值最大的线段作为定位基准线L_b，将所述定位基准L_b变换为水平位置后，得到变换参数，利用所述变换参数对所述差分图像p₂进行变换，得到变换后的差分图像p′₂，再根据水平变换后的定位基准线L′_b从变换后的差分图像p′₂中分割出排线差分图像p₄；

S25：将排线差分图像p₄转换至HSV颜色空间，并提取V通道的排线差分图像p₅，使用Otsu阈值分割算法对V通道的排线差分图像p₅进行二值化处理，得到排线的二值化图像p₆。

4.根据权利要求1所述的一种基于背景差分的线束顺序检测方法，其特征在于，所述步骤S3包括如下步骤：

S31：对排线的二值化图像p₆进行连通域分析，提取每根排线轮廓拐点的坐标信息，再根据每根排线轮廓拐点的坐标信息得到每根排线轮廓的最大外接矩形；

S32：基于所获得的每根排线轮廓的最大外接矩形，采用图像矩的方法计算得到每根排线轮廓的质心，分别以每根排线轮廓的质心为中心，截取面积为m×m个像素点的矩形区域作为各个ROI区域；

S33：计算ROI区域内的每个像素点到其自身排线轮廓最近边的带符号距离，用于判断ROI区域内的所有像素点是否均在自身排线轮廓内，若均在，则不改变ROI区域的面积，否则，缩小ROI区域的面积，直到ROI区域中所有像素点均在自身排线轮廓内。

5.根据权利要求1所述的一种基于背景差分的线束顺序检测方法，其特征在于，所述步骤S4中的线序检测包括：

S41：按照步骤S1-S4的过程得到线束模板图像中所提取的所有ROI区域内H、S、V分量的一阶矩，并分别记为

其中，

表示所述线束模板图像中第N₁根排线的H分量的一阶矩，

表示所述线束模板图像中第N₁根排线的S分量的一阶矩，

表示所述线束模板图像中第N₁根排线的V分量的一阶矩，N₁为线束模板图像中排线数目；

S42：根据所述线束模板图像中的H、V分量的一阶矩H^*、V^*确定所述线束模板图像的排线颜色值；

S43：按照步骤S1-S4的过程得到待检测线束图像中所提取的所有ROI区域内H、S、V分量的一阶矩，并分别记为

其中，

表示所述检测线束图像中的第N₂根排线的H分量的一阶矩，

表示所述检测线束图像中的第N₂根排线的S分量的一阶矩，

表示所述检测线束图像中的第N₂根排线的V分量的一阶矩，N₂为所述检测线束图像中排线数目；

S44：根据所述检测线束图像中的H、V分量的一阶矩H^**、V^**确定所检测线束图像的排线颜色值；

S45：判断所述待检测线束图像的排线数目N₂与所述模板线束图像的排线数目N₁是否一致，如果一致，则执行步骤S46；否则，表示待检测线束图像的线序不正确，结束检测；

S46：将所述待检测线束图像的排线颜色值与所述模板线束图像的排线颜色值依次对比，如果一致，则执行步骤S47；否则，表示待检测线束图像的线序不正确，结束检测；

S47：判断所述待检测线束图像中S分量的一阶矩S^**与所述模板线束图像中的S分量一阶矩S^*是否一致，如果一致，则待检测线束图像的线序正确，否则，表示待检测线束图像的线序不正确，结束检测。

6.根据权利要求5所述的一种基于背景差分的线束顺序检测方法，其特征在于，所述S47是按如下过程进行：

S471：计算模板线束图像与待检测线束图像中各根排线S分量一阶矩的第j个差值

从而得到差值集合

S472：如果差值集合ΔE中的差值均小于预先设定的阈值T₁，则表示两者一致，否则表示两者不一致。

Images