CN109461150A - 一种基于机器视觉的纱线管颜色分拣方法 - Google Patents

Abstract

本发明提出了一种基于机器视觉的纱线管颜色分拣方法，所述方法分为判断管头管尾图像区域、管体管尾颜色提取和纱管分拣等步骤。首先需要对纱线管管头与管尾的的摆放顺序做出判断，根据不同的管尾颜色可以分为多种不同纱管。接着，提取当前纱线管管体和管尾颜色。最后，需要将当前的纱线管颜色统计值与库中纱管比较，得出颜色样式最相似纱管，并将信息反馈给执行机构做出分拣动作。根据现场测试，采用本发明的检测方法，可以大幅度提高检测效率和精度，减少分拣错误。

Description

一种基于机器视觉的纱线管颜色分拣方法

技术领域

本发明涉及机器视觉检测技术领域，具体涉及一种纺织领域中纱线管颜色分拣方法

背景技术

在工业纺织领域，对绕纱所用纱线管的分拣挑选一直是比较关注的方面。传统的机械分拣对于纱管种类较少的情况下的分拣效果是可行的，但是目前为满足市场上层出不穷的纱线种类，绕纱纱线管种类随之越来越多，显然，传统的分拣方法有诸如检测效率低下，误检、漏检等问题，已经无法保证纱线管分拣的可靠性。因此研究一种可在线、高效率、高准确性的纱线管分拣系统，可减少人工成本，并提高了分拣效率与产品质量的一致性，具有重要的工程实际意义。

发明内容

本发明是为了解决上述纺织行业现有技术的缺陷，提供了一种基于机器视觉的纱线管分拣系统，该系统通过图像采集，图像处理以及纱管分类等步骤实现了对传送带上的纱线管进行在线监测并分类的功能，提高了纱管分拣自动化程度，加快检测的工作效率，节约了人工成本。

该系统中基于机器视觉的纱线颜色分拣方法的步骤如下：

步骤(1)：判断纱管头尾端：

(a)从源图像f(x,y)中截取纱线管的左右两端图像f_{Image_Left}(x,y)、f_{Image_Right}(x,y)，截取范围如下：

其中Width,Height分别表示截取图像的宽度与高度，rows表示源纱管图像的最大宽度；

(b)对左右端口图像f_{Image_Left}(x,y)、f_{Image_Right}(x,y)的RGB三个通道分别做5*5模版的高斯滤波去除噪点，其公式如下：

其中w表示高斯算子，a,b表示算子大小，f_{Image_x}(x,y)，表示左右端口图像的R、G和B三通道在点(x,y)处的像素值；

(c)对去除噪声的三个通道图像的各个像素点分别做梯度，并保留三个通道的边缘轮廓，其中梯度运算如下：

Δx＝f_{Image_u}(x+1,y)-f_{Image_u}(x-1,y)

Δy＝f_{Image_u}(x,y+1)-f_{Image_u}(x,y-1)

其中f_{Image_u}(x,y)表示去噪图像点(x,y)处RGB三个通道的像素值，G(x,y)表示三个通道梯度图中点(x,y)处的梯度值描绘子,并得到RGB三通道梯度图G_R、G_G和G_B；

(d)对G_R、G_G和G_B分别做二值化处理，拒绝函数如下：

其中X表示R、G和B三个通道的梯度图在(x,y)处的梯度值；

同时为了排除端口图像中的边界噪点的影响，现将G_R、G_G和G_B三幅梯度图的上下五行，左右五列都设置为零，其余不变，得梯度图G_R’、G_G’和G_B’；

(e)将所得梯度图G_R’、G_G’和G_B’分别按行累加，当该行白点个数大于5个则记录行号，分别求得上下边界Up_Row、Down_Row，并计算R、G和B三个通道端口距离：

Distance[i]＝Up_Row-Down_Row,i＝0,1,2

比较数组Distance[0]、Distance[1]和Distance[2]得出左端口最大宽度LAver_Distance,同理可得右端口最大宽度RAver_Distance.

(f)若LAver_Distance大于RAver_Distance，则管尾在右，否则管尾在左；

步骤(2)：纱线管管体颜色提取：

I从步骤(1)中截取的源图像f(x,y)分离出RGB三个颜色通道图，并剔除f(x,y)中x∈[rows/2-10,rows/2+10]，y∈[col/2-10,col/2+10]的白色反光点对平均值求取的影响，记录白色反光点坐标集White；其中若三通道像素值White_R(x,y)>＝235,White_G(x,y)>＝235,White_B>＝235，则认为是白色反光点；其中col表示源纱管图像的最大高度；

II分别统计在区域x∈[rows/2-10,rows/2+10]，y∈[col/2-10,col/2+10]中R、G和B三个通道的管体像素值，累加求和取平均；运算公式如下：

Piple_B+＝f_R(i,j)

Piple_G+＝f_G(i,j)

Piple_R+＝f_B(i,j)

i∈[rows/2-10,rows/2+10]，j∈[col/2-10,col/2+10]，并且点(i,j)不在白色反光点中；同时统计累计的点数Total_number_Pixel；管体颜色计算如下：

Piple_B＝Piple_B/Total_Number_Pixel

Piple_G＝Piple_G/Total_Number_Pixel

Piple_R＝Piple_R/Total_Number_Pixel

步骤(3)：纱线管管尾颜色提取：

i统计从步骤(1)中截取的源图像f(x,y)中x∈[rows/2-8,rows/2+8]，y∈[5,30]，并剔除白色反光点；其中白色反光点阈值与步骤(2)中I相同；其拒绝函数如下：

其中f_R(x,y)、f_G(x,y)和f_B(x,y)为该点(x,y)处RGB三通道像素值，数组B[Length],G[Length],R[Length]大小Length为256，分别表示源图像f(x,y)的三个通道B、G和R颜色分布直方图；

ii分别从B、G和R的颜色分布直方图中寻找直方图中占比最大的像素值，即数组下标Max_B、Max_G和Max_R；查找函数如下：

其中i∈[0,255],并且Head_R,Head_G和Head_B分别表示管尾颜色R,G和B三通道值；

Head_B＝Max_B

Head_G＝Max_G

Head_R＝Max_R

步骤(4)：纱管分拣：

①根据管体颜色Piple_B,Piple_G和Piple_R分别与库中记录的纱线管管体颜色Array分别做差求绝对值ΔR、ΔG和ΔB；

ΔR＝abs(Piple_R-Array[i*6])

ΔG＝abs(Piple_G-Array[i*6+1])

ΔB＝abs(Piple_B-Array[i*6+2])

将所得三个通道的差值经过第一次拒绝函数判断，若满足条件则将库中的该根纱管记录，其中拒绝函数如下：

其中FA数组表示保留的入库纱管，i表示库中所有纱管；

②根据管尾颜色Head_R,Head_G,Head_B分别与库中记录的纱线管管尾颜色Array分别做差值取绝对值ΔR、ΔG和ΔB；

ΔR＝abs(Head_R-Array[i*6+3])

ΔG＝abs(Head_G-Array[i*6+4])

ΔB＝abs(Head_B-Array[i*6+5])

在步骤(4)-①的前提下，将所得三个通道的差值经过第二次拒绝函数判断，若满足条件则将库中的该根纱管记录，其中拒绝函数如下：

其中HA数组表示记录保留的入库纱管，s表示数组FA所有值；

③根据所得数组FA和HA，若HA非空，则从该数组HA[i]找出ΔR,ΔG和ΔB和为最小值所对应的纱管标号Flag；否则从FA中找出ΔR,ΔG和ΔB和为最小值所对应的纱管标号Flag；那么所得结果Flag为与当前纱管颜色最为接近的库中纱管；

④将结果Flag以8字节帧形式发送给主控STM32，STM32驱动对应击打电机送入对应通道实现分拣。

本发明所基于的系统可以分为三个部分，图像采集模块，图像处理模块以及分拣模块。图像处理模块主要采集高质量纱管图像，其中包括四根LED条形光源，8mm定焦镜头，130万像素、210fps的工业相机采集图像；图像处理模块通过颜色分拣方法判断纱管类别；分拣模块主要是对识别出的纱线管进行分类击打，其中包括了传送带、红外传感器、STM32控制系统、击打电机等执行机构。

本发明所提出的系统的工作流程：

纱线管顺着传送带移动方向移动，移动到检测区域时，红外传感器获取到纱线管到达信号，该信号处理后触发相机拍摄一帧照片，采集到的图像经过电缆传输到工业PC机，PC机进行相应的图像处理程序，图像处理的结果以指令帧的形式通过RS232传输到分拣模块，STM32控制系统控制对应的击打电机转动，分拣不同颜色类别的纱管。

本发明相对于现有技术具有如下优点及效果：

(1)本发明所提出的纱线管颜色分拣方法：对纱线管管体取特定区域的颜色均值，对纱线管管尾取特定区域的RGB颜色分布直方图统计最大值。方法识别的准确率和精度大大提高，对杂点和噪声点的处理效果较为理想，使得分类的结果较为一致。

(2)本发明系统采用图像采集、图像处理以及分拣等步骤实现了对传送带上不同颜色种类的纱线管进行在线检测并分类的功能，提高了纱管分拣的自动化程度，克服传统检测效率低下，无法保证产品质量一致性等弊端。另外本发明可在线调整方法参数，增强了上述方法对环境的适应性与灵活性，可大大提高企业生产效率，提高产品质量的一致性，有助于推动企业实现智能制造和精细管理的模式，提高企业综合竞争力。

具体实施方式

下面结合本发明基于机器视觉的纱线管分拣系统进行详细说明，以便于对本发明实施实例中的技术方案进行清楚完整地描述。

本发明实例中提出了一种基于机器视觉的纱线管颜色分拣方法，在具体方案中可以分为管头管尾检测判断、管体管尾颜色提取和纱管分拣。首先需要对纱线管管头与管尾的的摆放顺序做出判断，以便于后期管尾颜色统计。接着，提取当前纱线管管体和管尾颜色。最后，需要将当前的纱线管颜色统计值与库中纱管比较，按照设置的阈值，挑选出最相似的纱管，并告知执行机构，做出分拣动作。

本实例中提出的一种纱线管颜色分拣方法的具体步骤为：

步骤(1)：判断纱管头尾端：

(a)从源图像f(x,y)中截取纱线管的左右两端图像f_{Image_Left}(x,y)、f_{Image_Right}(x,y)，截取范围如下：

其中Width,Height分别表示截取图像的宽度与高度，rows表示源纱管图像的最大宽度。

(b)对左右端口图像f_{Image_Left}(x,y)、f_{Image_Right}(x,y)的RGB三个通道分别做5*5模版的高斯滤波去除噪点，其公式如下：

其中w表示高斯算子，a,b表示算子大小，f(x,y)表示左右端口图像的R、G和B三通道在点(x,y)处的像素值。

(c)对去除噪声的三个通道图像的各个像素点分别做梯度，并保留三个通道的边缘轮廓，其中梯度运算如下：

Δx＝f(x+1,y)-f(x-1,y)

Δy＝f(x,y+1)-f(x,y-1)

其中f(x,y)表示去噪图像点(x,y)处RGB三个通道的像素值，G(x,y)表示三个通道梯度图中点(x,y)处的梯度值描绘子,并得到RGB三通道梯度图G_R、G_G和G_B。

(d)对G_R、G_G和G_B分别做二值化处理，拒绝函数如下：

其中X表示R、G和B三个通道的梯度图在(x,y)处的梯度值。

同时为了排除端口图像中的边界噪点的影响，现将G_R、G_G和G_B三幅梯度图的上下五行，左右五列都设置为零，其余不变。

(e)将所得梯度图G_R,G_G,G_B分别按行累加，当该行白点个数大于5个则记录行号，分别求得上下边界Up_Row、Down_Row，并计算R、G和B三个通道端口距离：

Distance[i]＝Up_Row-Down_Row(i＝0,1,2)

比较数组Distance[0]、Distance[1]和Distance[2]可得出左端口最大宽度LAver_Distance,同理可得右端口最大宽度RAver_Distance.

(f)若LAver_Distance大于RAver_Distance，则管尾在右，否则管尾在左。

步骤(2)：纱线管管体颜色提取：

I从步骤(1)中截取的图像f(x,y)分离出RGB三个颜色通道图，并剔除f(x,y)中x∈[row/2-10,row/2+10]，y∈[col/2-10,col/2+10]的反光白点对颜色平均值求取的影响，记录白点坐标集White。其中若三通道像素值White_R(x,y)>＝235,White_G(x,y)>＝235,White_B>＝235，则认为是白色反光点。

II分别统计在区域x∈[row/2-10,row/2+10]，y∈[col/2-10,col/2+10]中R、G和B三个通道的管体像素值，累加求和取平均。运算公式如下：

Piple_B+＝f_R(i,j)

Piple_G+＝f_G(i,j)

Piple_R+＝f_B(i,j)

i∈[row/2-10,row/2+10]，j∈[col/2-10,col/2+10]，并且点(i,j)不在白色反光点中。同时统计累计的点数Total_number_Pixel。管体颜色计算如下：

Piple_B＝Piple_B/Total_Number_Pixel

Piple_G＝Piple_G/Total_Number_Pixel

Piple_R＝Piple_R/Total_Number_Pixel

步骤(3)：纱线管管尾颜色提取：

i统计从步骤(1)中截取的图像f(x,y)中x∈[row/2-8,row/2+8]，y∈[5,30]，并剔除白色反光点。其中白色反光点阈值与步骤(3)中I相同。其拒绝函数如下：

其中数组B[Length],G[Length],R[Length]长度Length为256，分别表示图像f(x,y)的三个通道B、G和R颜色分布直方图。

ii分别从B、G和R的颜色分布直方图中寻找直方图中占比最大的像素值，即数组下标Max_B、Max_G和Max_R。查找函数如下：

其中i∈[0,255],并且Head_R,Head_G和Head_B分别表示管尾颜色R,G和B三通道值。

Head_B＝Max_B

Head_G＝Max_G

Head_R＝Max_R

步骤(4)：纱管分拣：

①根据管体颜色Piple_B,Piple_G和Piple_R分别与库中记录的纱线管管体颜色Array分别做差求绝对值ΔR、ΔG和ΔB。

ΔR＝abs(Piple_R-Array[i*6])

ΔG＝abs(Piple_G-Array[i*6+1])

ΔB＝abs(Piple_B-Array[i*6+2])

将所得三个通道的差值经过第一次拒绝函数判断，若满足条件则将库中的该根纱管记录，其中拒绝函数如下：

其中FA数组表示保留的入库纱管，i表示库中所有纱管。

②根据管尾颜色Head_R,Head_G,Head_B分别与库中记录的纱线管管尾颜色Array分别做差值取绝对值ΔR、ΔG和ΔB。

ΔR＝abs(Head_R-Array[i*6+3])

ΔG＝abs(Head_G-Array[i*6+4])

ΔB＝abs(Head_B-Array[i*6+5])

在步骤(4)-①的前提下，将所得三个通道的差值经过第二次拒绝函数判断，若满足条件则将库中的该根纱管记录，其中拒绝函数如下：

其中HA数组表示记录保留的入库纱管，s表示数组FA所有值。

③根据所得数组FA和HA，若FA非空，则从该数组HA[i]找出D_R,D_G,D_B和为最小值所对应的纱管标号Flag。否则从FA中找出D_R,D_G,D_B和为最小值所对应的纱管标号Flag。那么所得结果Flag为与当前纱管颜色最为接近的库中纱管。

④将结果Flag以8字节帧形式发送给主控STM32，STM32驱动对应击打电机送入对应通道实现分拣。

以上步骤即为纱线管颜色分拣方法的全过程。

采用本发明的纺织纱线管分拣方法，针对原有在分拣纱线管上检测手段落后，检测精度不高等问题，引入高精度图像采集方法和图像识别技术对不同颜色种类纱线管的精确识别，为纺织行业来分拣纱线管提供改进的可行的技术方案，具有一定的参考价值与现实意义。

Claims (1)

1.一种基于机器视觉的纱线管颜色分拣方法，其特征在于，该分拣方法包括以下具体步骤：

步骤(1)：判断纱管头尾端：

(a)从源图像f(x,y)中截取纱线管的左右两端图像f_{Image_Left}(x,y)、f_{Image_Right}(x,y)，截取范围如下：

其中Width,Height分别表示截取图像的宽度与高度，rows表示源纱管图像的最大宽度；

(b)对左右端口图像f_{Image_Left}(x,y)、f_{Image_Right}(x,y)的RGB三个通道分别做5*5模版的高斯滤波去除噪点，其公式如下：

其中w表示高斯算子，a,b表示算子大小，f_{Image_x}(x,y)，表示左右端口图像的R、G和B三通道在点(x,y)处的像素值；

(c)对去除噪声的三个通道图像的各个像素点分别做梯度，并保留三个通道的边缘轮廓，其中梯度运算如下：

Δx＝f_{Image_u}(x+1,y)-f_{Image_u}(x-1,y)

Δy＝f_{Image_u}(x,y+1)-f_{Image_u}(x,y-1)

其中f_{Image_u}(x,y)表示去噪图像点(x,y)处RGB三个通道的像素值，G(x,y)表示三个通道梯度图中点(x,y)处的梯度值描绘子,并得到RGB三通道梯度图G_R、G_G和G_B；

(d)对G_R、G_G和G_B分别做二值化处理，拒绝函数如下：

其中X表示R、G和B三个通道的梯度图在(x,y)处的梯度值；

同时为了排除端口图像中的边界噪点的影响，现将G_R、G_G和G_B三幅梯度图的上下五行，左右五列都设置为零，其余不变，得梯度图G_R’、G_G’和G_B’；

(e)将所得梯度图G_R’、G_G’和G_B’分别按行累加，当该行白点个数大于5个则记录行号，分别求得上下边界Up_Row、Down_Row，并计算R、G和B三个通道端口距离：

Distance[i]＝Up_Row-Down_Row,i＝0,1,2

比较数组Distance[0]、Distance[1]和Distance[2]得出左端口最大宽度LAver_Distance,同理可得右端口最大宽度RAver_Distance.

(f)若LAver_Distance大于RAver_Distance，则管尾在右，否则管尾在左；

步骤(2)：纱线管管体颜色提取：

I从步骤(1)中截取的源图像f(x,y)分离出RGB三个颜色通道图，并剔除f(x,y)中x∈[rows/2-10,rows/2+10]，y∈[col/2-10,col/2+10]的白色反光点对平均值求取的影响，记录白色反光点坐标集White；其中若三通道像素值White_R(x,y)>＝235,White_G(x,y)>＝235,White_B>＝235，则认为是白色反光点；其中col表示源纱管图像的最大高度；

II分别统计在区域x∈[rows/2-10,rows/2+10]，y∈[col/2-10,col/2+10]中R、G和B三个通道的管体像素值，累加求和取平均；运算公式如下：

Piple_B+＝f_R(i,j)

Piple_G+＝f_G(i,j)

Piple_R+＝f_B(i,j)

i∈[rows/2-10,rows/2+10]，j∈[col/2-10,col/2+10]，并且点(i,j)不在白色反光点中；同时统计累计的点数Total_number_Pixel；管体颜色计算如下：

Piple_B＝Piple_B/Total_Number_Pixel

Piple_G＝Piple_G/Total_Number_Pixel

Piple_R＝Piple_R/Total_Number_Pixel

步骤(3)：纱线管管尾颜色提取：

i统计从步骤(1)中截取的源图像f(x,y)中x∈[rows/2-8,rows/2+8]，y∈[5,30]，并剔除白色反光点；其中白色反光点阈值与步骤(2)中I相同；其拒绝函数如下：

其中f_R(x,y)、f_G(x,y)和f_B(x,y)为该点(x,y)处RGB三通道像素值，数组B[Length],G[Length],R[Length]大小Length为256，分别表示源图像f(x,y)的三个通道B、G和R颜色分布直方图；

ii分别从B、G和R的颜色分布直方图中寻找直方图中占比最大的像素值，即数组下标Max_B、Max_G和Max_R；查找函数如下：

其中i∈[0,255],并且Head_R,Head_G和Head_B分别表示管尾颜色R,G和B三通道值；

Head_B＝Max_B

Head_G＝Max_G

Head_R＝Max_R

步骤(4)：纱管分拣：

①根据管体颜色Piple_B,Piple_G和Piple_R分别与库中记录的纱线管管体颜色Array分别做差求绝对值ΔR、ΔG和ΔB；

ΔR＝abs(Piple_R-Array[i*6])

ΔG＝abs(Piple_G-Array[i*6+1])

ΔB＝abs(Piple_B-Array[i*6+2])

将所得三个通道的差值经过第一次拒绝函数判断，若满足条件则将库中的该根纱管记录，其中拒绝函数如下：

其中FA数组表示保留的入库纱管，i表示库中所有纱管；

②根据管尾颜色Head_R,Head_G,Head_B分别与库中记录的纱线管管尾颜色Array分别做差值取绝对值ΔR、ΔG和ΔB；

ΔR＝abs(Head_R-Array[i*6+3])

ΔG＝abs(Head_G-Array[i*6+4])

ΔB＝abs(Head_B-Array[i*6+5])

在步骤(4)-①的前提下，将所得三个通道的差值经过第二次拒绝函数判断，若满足条件则将库中的该根纱管记录，其中拒绝函数如下：

其中HA数组表示记录保留的入库纱管，s表示数组FA所有值；

③根据所得数组FA和HA，若HA非空，则从该数组HA[i]找出ΔR,ΔG和ΔB和为最小值所对应的纱管标号Flag；否则从FA中找出ΔR,ΔG和ΔB和为最小值所对应的纱管标号Flag；那么所得结果Flag为与当前纱管颜色最为接近的库中纱管；

④将结果Flag以8字节帧形式发送给主控STM32，STM32驱动对应击打电机送入对应通道实现分拣。