CN109583306A - 一种基于机器视觉的纱管残留纱线检测方法 - Google Patents

Abstract

本发明提出了一种基于机器视觉的纱管残留纱线检测方法，本发明具体包括图像检测区域获取、图像梯度处理和统计最大连通域三大部分。首先需要从获取等待检测的目标纱管图像。接着，需要对判纱图像做梯度处理，配合以两次阈值拒绝函数处理，精确查找纱线与纱线管相交边缘。最后，需要对处理后的三通道梯度图做连通域的腐蚀膨胀处理还原纱线，统计各个通道的最大连通域面积，与设定阈值比较确定是否含有纱线。根据大量实验测量，采用本发明的检测方法，检测精度可以达到单圈残留纱线检测，将其应用在纺织工业中，大幅度的提高检测效率和检测精度，减少误判率。

Description

一种基于机器视觉的纱管残留纱线检测方法

技术领域

本发明涉及机器视觉检测技术领域，具体涉及一种纺织领域中残留纱线检测方法。

背景技术

在工业纺织领域，一般需要对绕纱纱线管进行含纱与否进行挑选，尤其在分拣过程中纱线管含剩余沙量非常少的情况下，需要将存在剩余纱线的纱线管从理管机器中挑选出来，送入回流装置中。传统的人工检测方法已经无法满足目前的工艺需求，很大程度上程度上限制了纺织制造业的发展和进步。来源于传统人工检测方法效率低下，出错率高，人工成本大；另一方面人类眼镜的生理极限也导致了人类在该方法上无法达到计算机检测技术的精度已经持久度，而计算机的快速性、方法的可靠性与精确性与人类视觉的智能化相结合，使得机器视觉在工业检测中的应用越来越广泛。

机器视觉在工业检测上的运用，具有智能化程度高、实时性好和精度高等优点。目前，在国内纺织领域纱线管残纱检测方法的研究中，有根据纱线灰度值，已经颜色对比法等来对纱线进行识别，确定纱线管上是否含有纱线，虽然这些方法可以识别出含纱量比较多的情况下的纱线管，但是对于只有极少量残留纱线的纱线管的方法识别判断效果并不理想，而且精度不够理想，并且受到拍摄环境光照，纱线管反光区域噪声等方面的问题，导致存在前期投入成本高，后期效果不理想的现状。

发明内容

本发明是为了解决上述纺织行业现有技术的缺陷，提供了一种基于机器视觉的纱线管残留纱线的检测方法，该系统通过图像采集，图像处理以及纱管分类等步骤实现了对传送带上的纱线管进行实时监控并分类的功能，提高了纱管分拣自动化程度，加快检测的工作效率，节约了人工成本。

本发明的所提技术方案整体如下：

步骤(1)：特定图像区域捕获

通过工业相机采集图像；对捕获的图像截取特定区域，该区域是必须剔除纱管头部与尾部区域对判断残留纱线产生的干扰，截取特定区域公式如下：

其中f_{Original_Image}(x,y)表示相机捕获图像中点(x,y)处的像素值，点 (x_coordinate,y_coordinate)表示截取图像左上角点，width_parameter,height_parameter分别表示截取图像的宽度和高度。

步骤(2)：图像去噪与梯度处理

(a)将提取出的判纱区域图RGB三个通道分离，分别做高斯滤波处理，去除图像中的噪点，其中公式如下：

其中w表示高斯算子，a,b表示算子大小，f表示R、G和B三通道图像。

(b)对去噪的三个通道图像的各个像素点分别做梯度，并保留三个通道的边缘轮廓图Grads_R、Grads_G和Grads_B其中梯度运算如下：

Δx＝Af(x+1,y)-Af(x-1,y)

Δy＝Af(x,y+1)-Af(x,y-1)

其中Af(x,y)表示去噪图像点(x,y)处RGB三个通道的像素值，G(x,y)表示三个通道梯度图中点(x,y)处的梯度值描绘子。

步骤(3)：阈值分割：

①将步骤(2)-(b)中所得RGB三通道梯度图Grads_R、Grads_G和Grads_B 分别与同样大小的单位矩阵F相乘，得到图像Grads_R_First_Threshold、 Grads_G_First_Threshold和Grads_B_First_Threshold。将三幅梯度图分别取第一次阈值5，排除纱线管上杂点对判纱区域的影响。拒绝函数如下：

其中f_x(x,y)表示处理后的三通道梯度图f_R、f_G和f_B在点(x,y)处的像素值,Grads_X_First_Threshold(x,y)表示梯度图Grads_R_First_Threshold、 Grads_G_First_Threshold和Grads_B_First_Threshold在点(x,y)处的梯度值。

②将梯度图f_R、f_G和f_B的梯度非零点分别放入数组Array_Of_Grads_R、 Array_Of_Grads_G和Array_Of_Grads_B，分别取Array_Of_Grads_R、 Array_Of_Grads_G和Array_Of_Grads_B数组的中值MedianValue_R、 MedianValue_G和MedianValue_B，并加上偏移量ΔR>0、ΔG>0和ΔB>0作为第二次阈值拒绝函数如下：

其中X所表示的与步骤①中相同。

步骤(4)：噪点及纱管卡槽处理：

㈠用7行1列的窗口滑动滤波剔除Grads_Second_Threshold_R、 Grads_Second_Threshold_G和Grads_Second_Threshold_B三幅图中纱线管卡槽对判纱结果的影响，遍历三幅梯度图Grads_Second_Threshold_R、 Grads_Second_Threshold_G和Grads_Second_Threshold_B，查找梯度值不为零的点。

㈡以每一个梯度值不为零的点作为7*1窗口的末尾点，向上查找7个像素点，统计该窗口下梯度点不为零的点。

㈢当统计值小于阈值4时，则认为该窗口中的点为卡槽边缘，应当将窗口中7个像素点的梯度值置零，否则认为是纱线与纱管的连续边缘点；依次排除三个通道梯度图中卡槽边缘对判纱结果的影响。得result_R、result_G和 result_B三幅梯度图。

步骤(5)：最大连通域统计

I、将处理后的result_R，result_G和result_B图像做3x3腐蚀膨胀操作，尽可能的扩大连续纱线点范围。

II、设计连通域外围轮廓查找法，即分别找出result_R、result_G和result_B 中的连通区域，记为{R1,R2,…,Rn}、{G1,G2,…,Gn}、{B1,B2,…,Bn}。其中的Ri,Gi和Bi分别表示为梯度图中的各个连通区域的点集合。

III、分别从{R1,R2,…,Rn}、{G1,G2,…,Gn}、{B1,B2,…,Bn}中查找出最大连通区域：

MaxArea_R＝Smax{S_R1,S_R2,...,S_Rn}

MaxArea_G＝Smax{S_G1,S_G2,...,S_Gn}

MaxArea_B＝Smax{S_B1,S_B2,...,S_Bn}

其中MaxArea_R,MaxArea_G,MaxArea_B为三通道最大连通域；其中S_Rn表示R通道梯度图第n个连通域的面积大小，S_Gn表示G通道梯度图第n个连通域的面积大小，S_Bn表示B通道梯度图第n个连通域的面积大小。

步骤(6)：判纱结果认定：

基于步骤(5)III中所得三通道的最大连通区域 MaxArea_R,MaxArea_G,MaxArea_B，通过比较得出最大连通域MaxArea＝ Smax{S_{MaxArea_R},S_{MaxArea_G},S_{MaxArea_B}}。与设置的阈值Set_Threshold＝70比较：

根据Judge_Wire得出是否含有纱线的结论，若Judge_Wire为True,则含有纱线；否则不含有纱线。

本发明所基于的系统可以分为三个部分，图像采集模块，图像处理模块以及控制模块。图像处理模块主要采集高质量纱管图像，其中包括四根LED 条形光源，8mm定焦镜头，130万像素、210fps的工业相机采集图像；图像处理模块通过特定方法对纱管含纱与否进行测量，其包括了工业PC机；控制模块控制整套设备的运行，并根据图像处理模块的结果对纱管进行分拣，其中包含了传送带、红外传感器、STM32控制系统、步进电机。

本发明所提出的系统的工作流程：

纱线管顺着传送带移动方向移动，移动到检测区域时，红外传感器获取到获取到纱线管到达信号，该信号处理后触发相机拍摄一帧照片，采集到的图像经过电缆传输到工业PC机，PC机进行相应的图像处理程序，图像处理的结果以指令的形式通过RS232传输到控制模块，若纱管含有纱线，SIM32 控制系统控制击打电机转动，分拣出含纱纱管，否则，进行颜色，长度的判断。

本发明相对于现有技术具有如下优点及效果：

(1)本发明所提出的纱线管残留纱线检测方法：基于图像梯度和最大连通域的检测方法，相比较现有的基于RGB颜色对比法、光照调节法等方法，方法识别的准确率和精度有所改善，对杂点和噪声点的处理效果较为理想，得到实际纱管残留纱线信息准确。

(2)相比较于传统的检测相同规格大小的纱线管，本发明可以检测在一定范围内不同规格的纱线管，检测残留纱线精度可以达到单圈1-2圈残留纱线；另外一方面，由于选择210fps的高帧率工业相机，配合合适的方法实现，可以达到每秒5根的检测速度，应用在工业检测上，可以大大的降低误差，提高生产率。

附图说明

以下附图是对本发明实施方案关键点进行描述，其中：

图1是本发明实例项目整体系统示意图；

图(2)是本发明实例图像判纱过程的方法流程步骤图；

图(3-1)是本发明实例初次截取的纱线管判纱源图；

图(3-2)从上往下依次是R、G、B三通道的灰度图；

图(3-3)从上往下依次是R、G、B三通道的梯度图；

图(3-4)从上往下依次是经过第一次拒绝函数的三通道梯度图；

图(3-5)从上往下依次是经过第二次拒绝函数的三通道梯度图；

图(3-6)从上往下依次是经过腐蚀膨胀后的三通道连通域图；

具体实施方式

下面结合本发明基于机器视觉的残留纱线检测的系统和附图进行详细说明，以便于对本发明实施实例中的技术方案进行清楚完整地描述。

本发明实例中提出了一种基于机器视觉的残留纱线检测方法，如图(2) 所示，在具体方案中可以分为图像检测区域获取、图像梯度处理和统计最大连通域三大步骤。首先需要从一定光源照射条件下稳定捕获纱线管图片并且需要裁定需要检测纱线的图像区域，所谓稳定就是在本发明的理管系统传送带上能取到恒定不变范围的判纱区域。接着，需要对判纱图像做梯度处理，配合两次阈值拒绝函数处理，找出纱线与纱线管相交边缘。最后，需要对处理后的三通道梯度图做连通域的腐蚀膨胀处理还原纱线，统计各个通道的最大连通域面积，与设定阈值比较确定是否含有纱线。

本实例中提出的一种残留纱线检测方法的具体步骤为：

步骤(1)：特定图像区域捕获

四根LED条形光源，8mm定焦镜头，130万像素、210fps的工业相机采集图像。对捕获的图像截取特定区域，如图(3-1)所示，该区域是必须剔除纱管头部与尾部区域对判断残留纱线产生的干扰，截取特定区域公式如下：

其中f_{Original_Image}(x,y)表示相机捕获图像中点(x,y)处的像素值，点 (x_coordinate,y_coordinate)表示截取图像左上角点， width_parameter,height_parameter分别表示截取图像的宽度和高度。

步骤(2)：图像去噪与梯度处理：

(a)将提取出的判纱区域图RGB三个通道分离，分别做高斯滤波处理，来去除图像中的噪点，如图(3-2)所示，其中公式如下：

其中w表示高斯算子，a,b表示算子大小，f表示R、G和B三幅图像素点。

(b)对去除噪声的三个通道图像的各个像素点分别做梯度，并保留三个通道的边缘轮廓，如图(3-3)所示，其中梯度运算如下：

Δx＝f(x+1,y)-f(x-1,y)

Δy＝f(x,y+1)-f(x,y-1)

其中f(x,y)表示去噪图像点(x,y)点处RGB三个通道的像素值，G(x,y)表示三个通道梯度图中点(x,y)处的梯度值描绘子。

步骤(3)：阈值分割：

①将步骤(2)的(b)中所得RGB三通道梯度图Grads_R、Grads_G和Grads_B分别与同样大小的单位矩阵F相乘，得到图像 Grads_R_First_Threshold、Grads_G_First_Threshold_Grads_B_First_Threshold。将三幅梯度图分别取第一次阈值5，排除纱线管上杂点对判纱区域的影响。其中处理后如图(3-4)所示，拒绝函数如下：

其中X表示R、G和B三个通道,Grads_X_First_Threshold(x,y)表示某点 (x,y)梯度值。

②将梯度图f_R、f_G和f_B的梯度非零点分别放入数组Array_Of_Grads_R、 Array_Of_Grads_G和Array_Of_Grads_B，分别取Array_Of_Grads_R、 Array_Of_Grads_G和Array_Of_Grads_B数组的中值MedianValue_R、 MedianValue_G和MedianValue_B，并加上偏移量ΔR>0、ΔG>0和ΔB>0作为第二次阈值拒绝函数如下：

其中X所表示的与步骤①中相同,其中ΔX的ΔR＝12，ΔG＝11，ΔB＝8。处理后的图像如图(3-5)所示。

步骤(4)：噪点及纱管卡槽处理：

㈠用7行1列的窗口滑动滤波剔除Grads_Second_Threshold_R、 Grads_Second_Threshold_G和Grads_Second_Threshold_B三幅图中纱线管卡槽对判纱结果的影响，遍历三幅梯度图Grads_Second_Threshold_R、 Grads_Second_Threshold_G和Grads_Second_Threshold_B，查找梯度值不为零的点。

㈡以每一个梯度值不为零的点作为7*1窗口的末尾点，向上查找7个像素点，统计该窗口下梯度点不为零的点。

㈢当统计值小于阈值4时，则认为该窗口中的点为卡槽边缘，应当将窗口中7个像素点的梯度值置零。否则认为是纱线与纱管的连续边缘点。依次排除三个通道梯度图中卡槽边缘对判纱结果的影响。得result_R、result_G和 result_B三幅梯度图。

步骤(5)：最大连通域统计

I、将处理后的result_R，result_G和result_B图像做3x3腐蚀膨胀操作，尽可能的扩大连续纱线点范围，如图(3-6)所示。

II、设计连通域外围轮廓查找法，即分别找出result_R、result_G和result_B 中的连通区域，记为{R1,R2,…,Rn}、{G1,G2,…,Gn}、{B1,B2,…,Bn}。其中的Ri,Gi和Bi分别表示为梯度图中的各个连通区域的点集合。

III、分别从{R1,R2,…,Rn}、{G1,G2,…,Gn}、{B1,B2,…,Bn}中查找出最大连通区域：

MaxArea_R＝Smax{S_R1,S_R2,…,S_Rn}

MaxArea_G＝Smax{S_G1,S_G2,...,S_Gn}

MaxArea_B＝Smax{S_G1,S_G2,...,S_Gn}

其中MaxArea_R,MaxArea_G,MaxArea_B为三通道最大连通域。

步骤(6)：判纱结果认定：

基于步骤(5)III中所得三通道的最大连通区域

MaxArea_R,MaxArea_G,MaxArea_B，通过比较得出最大连通域MaxArea＝ Smax{S_{MaxArea_R},S_{MaxArea_G},S_{MaxArea_B}}。与设置的阈值Set_Threshold＝70比较：

根据Judge_Wire得出是否含有纱线的结论，若Judge_Wire为True,则含有纱线；否则不含有纱线。

以上步骤即为整个残留纱线检测方法的全过程。

采用本发明的纺织残留纱线检测过程，针对原有在检测纱线管上残留纱线的检测手段落后，检测精度不高等问题，引入高精度图像采集方法和图像识别技术对残留纱线的精确识别，为纺织行业来分拣纱线提供改进的可行的技术方案，具有一定的参考价值与现实意义。

换而言之，本发明虽然已被为实例所运用，实例整体框图如图(1)所示。但本发明并非限定在该系统实例中。若任何熟悉本领域的技术人员，在不脱离本发明所述之技术方案，即对上述技术方案稍加改动和修饰，未背离本发明之精神实质与原理，或者仅仅脱离本发明所应用之实例，均仍然属于本发明技术方案所保护之范围内。

Claims (1)

1.一种基于机器视觉的纱管残留纱线检测方法，其特征在于，该检测方法包括下列具体步骤：

步骤(1)：特定图像区域捕获

通过工业相机采集图像；对捕获的图像截取特定区域，该区域是必须剔除纱管头部与尾部区域对判断残留纱线产生的干扰，截取特定区域公式如下：

其中f_{Original_Image}(x,y)表示相机捕获图像中点(x,y)处的像素值，点(x_coordinate,y_coordinate)表示截取图像左上角点，width_parameter,height_parameter分别表示截取图像的宽度和高度；

步骤(2)：图像去噪与梯度处理

(a)将提取出的判纱区域图RGB三个通道分离，分别做高斯滤波处理，去除图像中的噪点，其中公式如下：

其中w表示高斯算子，a,b表示算子大小，f表示R、G和B三通道图像；

(b)对去噪的三个通道图像的各个像素点分别做梯度，并保留三个通道的边缘轮廓图Grads_R、Grads_G和Grads_B其中梯度运算如下：

Δx＝Af(x+1,y)-Af(x-1,y)

Δy＝Af(x,y+1)-Af(x,y-1)

其中Af(x,y)表示去噪图像点(x,y)处RGB三个通道的像素值，G(x,y)表示三个通道梯度图中点(x,y)处的梯度值描绘子；

步骤(3)：阈值分割：

①将步骤(2)-(b)中所得RGB三通道梯度图Grads_R、Grads_G和Grads_B分别与同样大小的单位矩阵F相乘，得到图像Grads_R_First_Threshold、Grads_G_First_Threshold和Grads_B_First_Threshold；将三幅梯度图分别取第一次阈值5，排除纱线管上杂点对判纱区域的影响；拒绝函数如下：

其中f_x(x,y)表示处理后的三通道梯度图f_R、f_G和f_B在点(x,y)处的像素值,Grads_X_First_Threshold(x,y)表示梯度图Grads_R_First_Threshold、Grads_G_First_Threshold和Grads_B_First_Threshold在点(x,y)处的梯度值；

②将梯度图f_R、f_G和f_B的梯度非零点分别放入数组Array_Of_Grads_R、Array_Of_Grads_G和Array_Of_Grads_B，分别取Array_Of_Grads_R、Array_Of_Grads_G和Array_Of_Grads_B数组的中值MedianValue_R、MedianValue_G和MedianValue_B，并加上偏移量ΔR>0、ΔG>0和ΔB>0作为第二次阈值拒绝函数如下：

其中X所表示的与步骤①中相同；

步骤(4)：噪点及纱管卡槽处理：

㈠用7行1列的窗口滑动滤波剔除Grads_Second_Threshold_R、Grads_Second_Threshold_G和Grads_Second_Threshold_B三幅图中纱线管卡槽对判纱结果的影响，遍历三幅梯度图Grads_Second_Threshold_R、Grads_Second_Threshold_G和Grads_Second_Threshold_B，查找梯度值不为零的点；

㈡以每一个梯度值不为零的点作为7*1窗口的末尾点，向上查找7个像素点，统计该窗口下梯度点不为零的点；

㈢当统计值小于阈值4时，则认为该窗口中的点为卡槽边缘，应当将窗口中7个像素点的梯度值置零，否则认为是纱线与纱管的连续边缘点；依次排除三个通道梯度图中卡槽边缘对判纱结果的影响；得result_R、result_G和result_B三幅梯度图；

步骤(5)：最大连通域统计

I、将处理后的result_R，result_G和result_B图像做3x3腐蚀膨胀操作，尽可能的扩大连续纱线点范围；

II、设计连通域外围轮廓查找法，即分别找出result_R、result_G和result_B中的连通区域，记为{R1,R2,…,Rn}、{G1,G2,…,Gn}、{B1,B2,…,Bn}；其中的Ri,Gi和Bi分别表示为梯度图中的各个连通区域的点集合；

III、分别从{R1,R2,…,Rn}、{G1,G2,…,Gn}、{B1,B2,…,Bn}中查找出最大连通区域：

MaxArea_R＝Smax{S_R1,S_R2,...,S_Rn}

MaxArea_G＝Smax{S_G1,S_G2,...,S_Gn}

MaxArea_B＝Smax{S_B1,S_B2,...,S_Bn}

其中MaxArea_R,MaxArea_G,MaxArea_B为三通道最大连通域；其中S_Rn表示R通道梯度图第n个连通域的面积大小，S_Gn表示G通道梯度图第n个连通域的面积大小，S_Bn表示B通道梯度图第n个连通域的面积大小；

步骤(6)：判纱结果认定：

基于步骤(5)III中所得三通道的最大连通区域MaxArea_R,MaxArea_G,MaxArea_B，通过比较得出最大连通域MaxArea＝Smax{S_{MaxArea_R},S_{MaxArea_G},S_{MaxArea_B}}；与设置的阈值Set_Threshold＝70比较：

根据Judge_Wire得出是否含有纱线的结论，若Judge_Wire为True,则含有纱线；否则不含有纱线。