CN109550712A - 一种化纤丝尾丝外观缺陷检测系统及方法 - Google Patents

Abstract

本发明公开了一种化纤丝尾丝外观缺陷检测系统及方法。系统包括装载丝锭的托盘，对托盘进行传输的传送带，丝锭上设置有标签，在传动带上设置有暗箱，在暗箱后的传动带上设置有分拣单元，在暗箱中设置有采集标签图像和丝锭图像的图像采集单元，图像采集单元将采集信息发送给处理单元进行尾丝缺陷检测。系统从标签图形中识别标签信息并读取，从丝锭图像中筛选出具有丝锭纸管的待测图像，对待测图像的纸管区域进行边缘检测，提取主要特征描述纸管区域，将处理后的待测图像带入尾丝分类器进行分类，获得丝锭尾丝检测信息并发送给分拣单元，分拣单元根据丝锭尾丝分类对丝锭良次品进行分拣。本发明节约了成本，工作效率更高，且检测更加准确。

Description

一种化纤丝尾丝外观缺陷检测系统及方法

技术领域

本发明涉及一种丝锭缺陷检测技术领域，尤其是涉及一种化纤丝尾丝外观缺陷检测系统及方法。

背景技术

化纤丝无尾丝主要由四个因素产生。操作原因：升头时留尾，没留好，可能是因为人员倾向。工艺因素：留尾丝的工艺设置不合适。纸管因素：尾丝槽长度、深浅、切口的角度不合适，也可能是纸管的长度不合适。设备因素：有些国产的设备不好留尾丝。

目前大部分化纤丝锭生产厂的生产线均采用人工进行外观观察的人工检测方式，但是人工检测劳动强度大，生产效率低，只能在丝筒下机后进行，人的主观性会直接影响产品的缺陷检测质量，并且人工检测的数据还无法准确及时地纳入质量管理系统来对整个产品批次形成生产质量评估，这使得传统的人工检测方式具有滞后性，影响下游加工性能，还无法准确及时地找到缺陷出现的真正原因来排除生产和管理故障。化纤丝锭生产是一个速度很高、高度自动化的生产过程，传统的人工缺陷检测已经远远不能满足精细生产的需要，而基于机器视觉和图像处理技术的在线尾丝检测系统，能够有效保证缺陷的检测精度，并实时生成产品质量统计评估报告，辅助规范生产和管理流程。

目前，化纤行业丝线的种类与等级繁多，工业机器人已代替生产工人完成繁重的工作，但是对于外观检测，并没有较大的突破，申请号为201210049619.2，名称为“丝束外观质量检测系统”的专利说明书中公开了一种丝束外观检测系统，该发明检测系统关于高精度的检测算法中使用的方法过于传统，没有使用当前检测质量较好的深度学习算法，并且分类不够智能，后续还需要加入人工方式进行分类，其算法以及相关自动化程度都有提升空间。申请号为CN201510883141.7,名称为“表面检测装置及方法”的专利说明书中公开了一种基于图像处理的外观检测方法，通过吹气单元减少废丝干扰，但是依旧存在一些无法被吹气单元去除的废丝干扰情况，并且该发明只是确保检出，并没有解决后期的分级问题。

发明内容

本发明主要是解决现有技术中人工检测劳动强度大，生产效率低的问题，以及一般检测系统自动化程度低、检测不精确的问题，提供了一种化纤丝尾丝外观缺陷检测系统及方法。

本发明的上述技术问题主要是通过下述技术方案得以解决的：一种化纤丝尾丝外观缺陷检测系统，包括装载丝锭的托盘，对托盘进行传输的传送带，丝锭上设置有标签，在传动带上设置有暗箱，在暗箱后的传动带上设置有分拣单元，在暗箱中设置有采集标签图像和丝锭图像的图像采集单元，图像采集单元将采集信息发送给处理单元进行尾丝缺陷检测；

处理单元，从标签图形中识别标签信息并读取，从丝锭图像中筛选出具有丝锭纸管的待测图像，对待测图像的纸管区域进行边缘检测，提取主要特征描述纸管区域，将处理后的待测图像带入尾丝分类器进行分类；

分拣单元，根据丝锭尾丝分类对丝锭良次品进行分拣。

本发明在丝锭输送过程中采用机器视觉和图像处理技术对丝锭尾丝进行检测，并设置分拣单元将具有尾丝的次品丝锭进行剔除，整个检测系统不影响丝锭的正常生产，实现对丝锭由图像采集到次品剔除一整套连贯的在线处理流程。本发明由图像采集单元和处理单元通过图像处理技术来进行标签信息的提取，避免了多余硬件设备的安装，节约了成本，依次拍照既明确了丝锭的身份，又完成了丝锭的缺陷检测。本发明利用了传动带本身的运动规律，以及通过安装分拣单元，实现了对缺陷丝锭及时、准确、高速的剔除。

系统在检测前建立尾丝分类器，尾丝分类器的建立包括，由处理单元收集大量丝锭图像，分别对丝锭图像进行纸管区域检测、纸管判断，获取具有纸管的丝锭图像，然后对这些丝锭图像的纸管区域进行边缘检测，提取凸显尾丝特征的主要特征描述纸管区域，再将这些具有主要特征的丝锭图像带入bp神经网络训练获得尾丝分类器。

图像采集单元包括对丝锭标签图像进行采集的第一摄像单元和对丝锭各面图像进行采集的第二摄像单元，第一摄像单元可以为一个相机，第二摄像单元包括相机组和光源组，相机组包括一个顶部相机、两个侧面相机以及两个底部相机。相机为CCD相机，每个相机内置能够获取高精度图像的光电传感器，通过结合外触发扫描方式和可控曝光时间，来获取稳定时间段内运动物体的高精度图像。光源组主要用来对丝锭进行稳定打光，可以安装在相机组的赏析合适方位，优选的包含一个顶部中心垂直光源，底部左右两个环形光源，三个光源各自由四角型的角度锁紧装置进行固定以防止光源抖动，造成图像成像不稳定。当丝锭到达相机曝光范围内时，丝锭反射的光线通过相机镜头投射到光电传感器上，当光电传感器曝光后，光电二极管收到光线的激发释放出电荷，产生电信号，电信号通过相机芯片利用感光元件中的控制信号线路对光电二极管产生的电流进行控制，由电流传输电路输出，相机芯片将一次成像产生的电信号收集起来，统一输出到放大器，经过放大和滤波后的电信号被送到A/D,由A/D将电信号转化为数字信号，并输出到相机数字信号处理器(DSP)中，DSP将这些图像进行色彩校正，白平衡处理等后期图像处理，编码为DC所支持的特定分辨率和图像格式的图像文件，最后保存图像文件到存储器。

在传动带上设置有固定并旋转丝锭的托盘紧固机构，托盘紧固机构受控连接于处理单元。

作为一种优选方案，所述传送带后端分岔形成良品输送通道和次品输送通道，所述分拣单元设置在传动带分岔处，分拣单元包括底盘，在底盘上分别设置有位于良品输送通道前的第一挡杆和位于次品输送通道前的第二挡杆，第一挡杆和第二挡杆分别连接在气缸上，气缸受控连接于处理单元。分拣单元能由处理单元控制运行，当丝锭分类为存在尾丝，则判断为良品，则控制第一档杆降下，丝锭输送到优良产品输送通道，当丝锭分类为无尾丝，则判断为次品即次品，则控制第二挡杆降下，丝锭输送到缺陷产品输送通道。

一种化纤丝尾丝外观缺陷检测方法，包括，

建立用于检测是否存在尾丝的尾丝分类器，其步骤包括：

S1.通过图像采集单元收集大量丝锭图像；

S2.对丝锭图像进行纸管区域定位并分割；在进行定位和分割对丝锭图像进行预处理，预处理为使用中值滤波对丝锭图像进行去噪。

S3.对纸管区域进行纸管分类；纸管分类通过一个训练好的二分类器判断纸管区域是否存在纸管。

S4.对分类为纸管的纸管区域图像进行边缘检测，提取尾丝主要特征；

S5.将步骤S4中处理后的纸管区域的丝锭图像进行尾丝分类，将分类好的纸管区域的丝锭图像送入bp神经网络训练尾丝分类器；尾丝分类器对输入的丝锭图像进行判断，判断是否存在尾丝，完成对化纤丝锭尾丝的检测。通过bp神经网络训练分类器为现有技术，可以参考Y.Le Cun,B.Boser,J.S.Denker,D.Henderson,R.E.Howard,W.Hubbard,L.D.Jackel,et al.Hand-written digit recognition with a back-propagationnetwork.In Advances in neural information processing systems,1990。

获取待测丝锭的标签图像，识别并读取标签信息，获取待测丝锭的丝锭图像，将待测丝锭图像进行步骤S2-S4的处理，然后将处理后的待测丝锭图像通过尾丝分类器进行分类。待测丝锭图像为获取待测丝锭的丝锭图像。

本发明在丝锭输送过程中采用机器视觉和图像处理技术对丝锭尾丝进行检测，并设置分拣单元将具有尾丝的次品丝锭进行剔除，整个检测系统不影响丝锭的正常生产，实现对丝锭由图像采集到次品剔除一整套连贯的在线处理流程。

处理单元在对丝锭进行尾丝分类后，将分类信息以及生产线上日统计数据共同写入电子标签，电子标签对于当前检测的丝锭，然后根据输送带输送速度以及丝锭开始当前位置到分拣单元的距离计算出当前丝锭到达分拣单元的时间，将时间也写入电子标签，这样使得丝锭到达分拣单元时，分拣单元能获得对应丝锭的信息，能正确对丝锭进行分拣。

作为一种优选方案，步骤S2中对丝锭图像进行纸管区域定位并分割的具体过程包括：

S21.收集大量的丝锭图像，使用BBox-Label-Tool工具进行标注纸管区域，生成纸管区域的外界矩形框，将标注好的丝锭图像作为训练集，将训练集转换成LMDB格式的数据；本步骤对数据进行准备。

S22.使用SSD demo中提供的预训练好的的VGG-16网络作为SSD检测网络的基础网络，将步骤S21中获得数据集带入训练；本步骤使用SSD训练检测纸管区域。其中VGG-16网络为深度学习网络，通过样本训练后，这里标准有纸管区域的丝锭图像为样本，能够对丝锭图像的纸管区域进行定位。VGG-16深度学习网络为较成熟的技术，其具体内容可以参考Simonyan,K.,Zisserman,A.:Very deep convolutional networks for large-scaleimage recognition.In:NIPS.(2015)。

S23.使用SSD检测丝锭图像的纸管区域，并根据检测的矩形外接切割出纸管区域。

作为一种优选方案，步骤S3中对纸管区域进行纸管分类的具体过程包括：

S31.收集大量丝锭图像，采用步骤S2获取丝锭图像的纸管区域图像作为训练集；

S32.将纸管区域图像进行分类，分类为纸管和非纸管的纸管区域图像，将分类后的纸管区域图像使用VGG-16网络训练，获得纸管分类器；纸管分类器为一个二分类器，0类表示纸管，1类表示非纸管，检测过程中，去除损失函数层，并提取网络最后层的输出结果，后接一个sigmod函数将检测得分归一化到0～1之间，作为最终的检测得分。

S33.将待测纸管区域图像送入纸管分类器，若判断为纸管，进入步骤S4，若判断为非纸管，返回步骤S2，对下一丝锭图像进行操作。本步骤剔除所有非纸管的图像。

作为一种优选方案，步骤S4中对分类为纸管的纸管区域图像进行边缘检测，提取尾丝主要特征的具体过程包括：

S41.进行高斯滤波；高斯滤波平滑图像，消除噪音。

S42.计算纸管区域图像中每个像素点的剔除强度和方向；

S43.应用非极大值抑制，消除边缘检测到来的杂散相应；

S44.应用双阈值检测确定真实和潜在的边缘；

S45.通过抑制鼓励的弱边缘完成canny边缘检测；本步骤中采用canny边缘检测，明显化尾丝特征。

S46.对所有纸管区域图像进行主成分分析，主成分分析包括计算特征的协方差矩阵，求出协方差矩阵的特征值和特征向量，根据特征值大小来判定特征的重要程度，选取一定数量的特征值和特征向量作为图像的表达，降低提取到的特征维度，该选取一定数量的特征值和特征向量为选取较为较为明显的特征值和特征向量，即选取设定阈值，当特征值和特征向量的值大于阈值时判断为明显的特征值和特征向量；其中协方的计算公式为：

C＝∑(x-u)(x-u)^T

其中C为协方差矩阵，x为图像的像素值，u为图像的均值。

本步骤用一种较少数量的特征对纸管区域图像即样本进行描述，这些特征都是凸显尾丝的特征。提取主要特征，可以加快分类速度。

作为一种优选方案，获取待测丝锭的标签图像，识别并读取标签信息的具体过程包括：

A1.通过计算设定丝锭每次旋转角度，丝锭旋转一个角度后，由图像采集单元采集标签图像；

A2.预先构建分割模型

收集大量标签图像作为训练集，对标签图像进行标注标签区域的形状和外接矩形框，将数据带入FCN进行分割训练；FCN(Fully Convolutional Networks for SemanticSegmentation)是一种基于全卷积的网络结构实现目标分割，采用端到端的分割结构，输入整张图输出分割结果，分割的结果会将目标区域以区域集合的形式表现出来。该技术可以参考：J.Long,E.Shelhamer,and T.Darrell.Fully convolutional networks forsemantic segmentation.In CVPR,2015。

A3.将待测标签图像送入FCN测试，FCN的测试结果即为标签所在位置，获得分割后的标签区域图像；根据ROC曲线找出最符合实际应用场景的结构作为标签的所在位置。receiver operating characteristic curve简称ROC曲线。

A4.预先构建识别模型

收集大量标签图像进行步骤A3，获得标签区域图像，使用VGG-16网络提取标签区域图像的特征，将标签区域图像处理结果复制N份，送入识别不定长度符号的循环神经网络进行训练；采用循环神经网络进行训练然后进行字符识别为现有的技术，具体内容可以参考(Long-Short Term Memory(LSTM-RNN),Recurrent Neural Network(RNN),Predictionof Single Stock Price,Artificial Intelligence Finance JOURNAL NAME:Journal ofMathematical Finance,Vol.8No.1,January 31,2018。

A5.将待测标签区域图像送入循环神经网络进行标签字符识别，获取标签信息。

作为一种优选方案，所述步骤A3中获得分割出的标签区域图像后还进行校正的步骤，包括：

A31.根据FCN的分割结果将标签区域图像从原始标签图像中切割出来作为感兴趣区域，利用edge函数对感兴趣区域图像做二值化，使用该二值化图像检测标签区域的边界位置；

A32.使用Radon矫正倾斜的字符标签，计算边缘图像的Radon变换，对倾斜字符在标签区域图像中的位置的每一个像素为1的点进行Radon变换；Radon(拉东)算法是一种通过定方向投影叠加，找到最大投影值时角度，从而确定图像倾斜角度的算法。0-179度方向上分别作投影。通过校正同一标签区域图像的大小，方便于训练。

A33.检测出Radon变换矩阵中g(s,θ)的峰值，根据峰值对标签区域进行校正，Radon变换平面与元平面的关系为：

其中f(x,y)为原图像平面上点(x,y)的灰度值，g(s,θ)为f(x,y)在角度θ上的一维投影，即峰值，s表示点到坐标原点的距离。峰值g(s,θ)对应原始标签图像中的直线，Radon变换矩阵中的这些峰值的列坐标θ就是与原始标签图像中的直线垂直的直线的倾斜角度，所以图像中直线的倾角为90-θ。

作为一种优选方案，处理单元对丝锭进行尾丝分类后，将线上所有丝锭进行质量统计，得到日检丝锭总量统计、日检尾丝数目统计、日检缺陷剔除量统计以及批量异常丝统计信息，将相应信息和当前丝锭检测信息共同写入电子标签内，并将电子标签发送给分拣单元。该电子标签对应其丝锭，电子标签内存在有丝锭的信息，发送给分拣单元，使得分拣单元能够对到达其位置的丝锭进行良次品判断，并进行分拣。本方案中将统计信息写入电子标签，给出了详细的检测结果报表，使得操作人员能根据统计信息能对缺陷更好进行追本溯源，规范生产管理和操作流程。

作为一种优选方案，还包括分拣步骤，包括：

B1.当丝锭进入分拣单元时，分拣单元根据收到对应的丝锭分类信息对丝锭进行良次品判断；

B2.若丝锭分类结果为有尾丝，则判断丝锭为良品，控制降下第一挡杆，丝锭进入良品输送通道，若丝锭分类为非尾丝，则判断丝锭为次品，控制降下第二挡杆，丝锭进入次品输送通道。

因此，本发明的优点是：

1.采用机器视觉和图像处理技术对丝锭尾丝进行检测，并设置分拣单元将具有尾丝的次品丝锭进行剔除，整个检测系统不影响丝锭的正常生产，实现对丝锭由图像采集到次品剔除一整套连贯的在线处理流程；

2.本发明由图像采集单元和处理单元通过图像处理技术来进行标签信息的提取，避免了多余硬件设备的安装，节约了成本，依次拍照既明确了丝锭的身份，又完成了丝锭的缺陷检测；

3.利用了传动带本身的运动规律，以及通过安装分拣单元，实现了对缺陷丝锭及时、准确、高速的剔除；

4.测算方法采用深度学习方法，速度更快，精度更高。

附图说明

图1是本发明系统的一种结构示意图；

图2是本发明的一种流程示意图。

1-传送带2-托盘3-暗箱4-图像采集单元5-分拣单元6-第一挡杆7-第二挡杆8-良品输送通道9-次品输送通道10-处理单元。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

本实施例一种化纤丝尾丝外观缺陷检测系统，如图1所示，系统包括装载丝锭的托盘2，对托盘进行传输的传送带3，丝锭上设置有标签，在传动带上设置有暗箱3，在暗箱后的传动带上设置有分拣单元5，在暗箱中设置有采集标签图像和丝锭图像的图像采集单元4，图像采集单元将采集信息发送给处理单元10进行尾丝缺陷检测；

处理单元，从标签图形中识别标签信息并读取，从丝锭图像中筛选出具有丝锭纸管的待测图像，对待测图像的纸管区域进行边缘检测，提取主要特征描述纸管区域，将处理后的待测图像带入尾丝分类器进行分类；

分拣单元，根据丝锭尾丝分类对丝锭良次品进行分拣。

其中托盘用于装载丝锭，托盘包括底盘和设置在底盘中心的支撑杆，在支撑杆上设有弹性抓手，丝锭套入在支撑杆上后，弹性抓手将丝锭稳定在支撑杆上，避免丝锭运送过程中的晃动影响丝锭传送和成像质量。

传动带上设置有固定并旋转丝锭的托盘紧固机构，托盘紧固机构受控连接于处理单元。紧固机构包括转动盘，转动盘转动收处理单元控制，转动盘上设有装卸阀门，可以通过装卸阀门将托盘紧固在转动盘上。

暗箱中为图像采集区，图像采集单元4设置在暗箱中，图像采集单元4主要包括对丝锭标签图像进行采集的第一摄像单元和对丝锭各面图像进行采集的第二摄像单元，第一摄像单元可以为一个相机，第二摄像单元包括相机组合光源组，相机组包括一个顶部相机、两个侧面相机以及两个底部相机，相机为CCD相机，每个相机内置光电传感器，通过结合外触发扫描方式和可控曝光时间，来获取稳定时间段内运动物体的高精度图像。光源组主要用来对丝锭进行稳定打光，包含一个顶部中心垂直光源，底部左右两个环形光源，三个光源各自由四角型的角度锁紧装置进行固定以防止光源抖动，造成图像成像不稳定。相机芯片内置能够获取高精度图像的光电传感器，通过结合外触发扫描方式和可控曝光时间，来获取稳定时间段内运动物体的图像。将光源组采用角度锁紧机构安装，防止震动对光源角度产生影响，来对丝锭进行稳定打光，在暗箱的上端和底端的合适位置和方向安装相机。当丝锭到达相机曝光范围内时，丝锭反射的光线通过相机镜头投射到传感器上，当传感器曝光后，光电二极管收到光线的激发释放出电荷，产生电信号，电信号通过相机芯片利用感光元件中的控制信号线路对光电二极管产生的电流进行控制，由电流传输电路输出，相机芯片将一次成像产生的电信号收集起来，统一输出到放大器，经过放大和滤波后的电信号被送到A/D,由A/D将电信号转化为数字信号，并输出到数字信号处理器(DSP)中，DSP将这些图像进行色彩校正，白平衡处理等后期图像处理，编码为DC所支持的特定分辨率和图像格式的图像文件，最后保存图像文件到存储器。

传送带后端分岔形成良品输送通道8和次品输送通道9，分拣单元设置在传动带分岔处，分拣单元包括底盘，在底盘上分别设置有位于良品输送通道前的第一挡杆6和位于次品输送通道前的第二挡杆7，第一挡杆和第二挡杆分别连接在气缸上，气缸受控连接于处理单元10。分拣单元能由处理单元控制运行，当丝锭检测后为良品，则控制第一档杆降下，丝锭输送到良品输送通道，当丝锭检测后为次品，则控制第二挡杆降下，丝锭输送到次品输送通道。

一种化纤丝尾丝外观缺陷检测方法，如图2所示，包括，

建立用于检测是否存在尾丝的尾丝分类器，其步骤包括：

S1.通过图像采集单元收集大量丝锭图像；

S2.对丝锭图像进行纸管区域定位并分割；在进行定位和分割对丝锭图像进行预处理，预处理为使用中值滤波对丝锭图像进行去噪。

S3.对纸管区域进行纸管分类；

S4.对分类为纸管的纸管区域图像进行边缘检测，提取尾丝主要特征；

S5.将步骤S4中处理后的纸管区域的丝锭图像进行尾丝分类，将分类好的纸管区域的丝锭图像送入bp神经网络训练，获得尾丝分类器；

获取待测丝锭的标签图像，识别并读取标签信息，获取待测丝锭的丝锭图像，将待测丝锭图像进行步骤S2-S4的处理，然后将处理后的待测丝锭图像通过尾丝分类器进行分类。

本实施例在丝锭输送过程中采用机器视觉和图像处理技术对丝锭尾丝进行检测，并设置分拣单元将具有尾丝的次品丝锭进行剔除，整个检测系统不影响丝锭的正常生产，实现对丝锭由图像采集到次品剔除一整套连贯的在线处理流程。

步骤S2中对丝锭图像进行纸管区域定位并分割的具体过程包括：

S21.收集大量的丝锭图像，对丝锭图像进行中值滤波进行去噪，使用BBox-Label-Tool工具进行标注纸管区域，生成纸管区域的外界矩形框，将标注好的丝锭图像作为训练集，将训练集转换成LMDB格式的数据；

S22.使用SSD demo中提供的预训练好的的VGG-16网络作为SSD检测网络的基础网络，将步骤S21中获得数据集带入训练；本步骤使用SSD训练检测纸管区域。其中VGG-16网络为深度学习网络，通过样本训练后，这里标准有纸管区域的丝锭图像为样本，能够对丝锭图像的纸管区域进行定位。

S23.使用SSD检测丝锭图像的纸管区域，并根据检测的矩形外接切割出纸管区域。

步骤S3中对纸管区域进行纸管分类的具体过程包括：

S31.收集大量丝锭图像，采用步骤S2获取丝锭图像的纸管区域图像作为训练集；

S32.将纸管区域图像进行分类，分类为纸管和非纸管的纸管区域图像，将分类后的纸管区域图像使用VGG-16网络训练，获得纸管分类器；纸管分类器为一个二分类器，0类表示纸管，1类表示非纸管，检测过程中，去除损失函数层，并提取网络最后层的输出结果，后接一个sigmod函数将检测得分归一化到0～1之间，作为最终的检测得分。

S33.将待测纸管区域图像送入纸管分类器，若判断为纸管，进入步骤S4，若判断为非纸管，返回步骤S2，对下一丝锭图像进行操作。本步骤剔除所有非纸管的图像。

步骤S4中对分类为纸管的纸管区域图像进行边缘检测，提取尾丝主要特征的具体过程包括：

S41.进行高斯滤波；

S42.计算纸管区域图像中每个像素点的剔除强度和方向；

S43.应用非极大值抑制，消除边缘检测到来的杂散相应；

S44.应用双阈值检测确定真实和潜在的边缘；

S45.通过抑制鼓励的弱边缘完成canny边缘检测；本步骤中采用canny边缘检测，明显化尾丝特征。

S46.对所有纸管区域图像进行主成分分析，主成分分析包括计算特征的协方差矩阵，求出协方差矩阵的特征值和特征向量，根据特征值大小来判定特征的重要程度，选取一定数量的特征值和特征向量作为图像的表达，降低提取到的特征维度；其中协方的计算公式为：

C＝∑(x-u)(x-u)^T

其中C为协方差矩阵，x为图像的像素值，u为图像的均值。本步骤采用PCA对特征进行降维，用一种较少数量的特征对纸管区域图像即样本进行描述，这些特征都是凸显尾丝的特征。提取主要特征，可以加快分类速度。

在获取待测丝锭图像的同时还获取待测丝锭的标签图像，识别并读取标签信息，其具体过程包括：

A1.通过计算设定丝锭每次旋转角度，丝锭旋转一个角度后，由图像采集单元采集标签图像；具体的采集具有标签图像的过程为：

A11.通过计算设定丝锭每次旋转角度，丝锭进入图像采集区域时，丝锭进行旋转，丝锭旋转一个角度后，由图像采集单元采集标签图像；

A12.对标签图像进行二值化、腐蚀膨胀处理，获取图像连通区域，并计算连通区域面积大小，根据预先设定的先验阈值[AreaMin,AreaMax]，根据连通区域面积是否落在先验阈值[AreaMin,AreaMax]范围内来判断是否存在标签，当不落在先验范围内是，判断不存在标签，则继续旋转丝锭，直到判断存在标签；若存在标签，则计算连通区域中心位置偏移角度，将标签旋转至相机图像中心区域。将标签置于相机中心位置防止角度偏差造成的精度损失。

A2.预先构建分割模型

收集大量标签图像作为训练集，对标签图像进行标注标签区域的形状和外接矩形框，将数据带入FCN进行分割训练；FCN(Fully Convolutional Networks for SemanticSegmentation)是一种基于全卷积的网络结构实现目标分割，采用端到端的分割结构，输入整张图输出分割结果，分割的结果会将目标区域以区域集合的形式表现出来。

A3.将待测标签图像送入FCN测试，FCN的测试结果即为标签所在位置，获得分割后的标签区域图像；根据ROC曲线找出最符合实际应用场景的结构作为标签的所在位置。receiver operating characteristic curve简称ROC曲线。

对获得分割出的标签区域图像后进行校正，其步骤包括：

A31.根据FCN的分割结果将标签区域图像从原始标签图像中切割出来作为感兴趣区域，利用edge函数对感兴趣区域图像做二值化，使用该二值化图像检测标签区域的边界位置；

A32.使用Radon矫正倾斜的字符标签，计算边缘图像的Radon变换，对倾斜字符在标签区域图像中的位置的每一个像素为1的点进行Radon变换；Radon(拉东)算法是一种通过定方向投影叠加，找到最大投影值时角度，从而确定图像倾斜角度的算法。0-179度方向上分别作投影。通过校正同一标签区域图像的大小，方便于训练。

A33.检测出Radon变换矩阵中g(s,θ)的峰值，根据峰值对标签区域进行校正，Radon变换平面与元平面的关系为：

其中f(x,y)为原图像平面上点(x,y)的灰度值，g(s,θ)为f(x,y)在角度θ上的一维投影，即峰值，s表示点到坐标原点的距离。峰值g(s,θ)对应原始标签图像中的直线，Radon变换矩阵中的这些峰值的列坐标θ就是与原始标签图像中的直线垂直的直线的倾斜角度，所以图像中直线的倾角为90-θ。

A4.预先构建识别模型

收集大量标签图像进行步骤A3，获得标签区域图像，使用VGG-16网络提取标签区域图像的特征，将标签区域图像处理结果复制N份，送入识别不定长度符号的循环神经网络进行训练；

A5.将待测标签区域图像送入循环神经网络进行标签字符识别，获取标签信息。

处理单元将尾丝检测的信息写入新建的电子标签，另外处理单元对丝锭进行尾丝分类后，将线上所有丝锭进行质量统计，得到日检丝锭总量统计、日检尾丝数目统计、日检缺陷剔除量统计以及批量异常丝统计信息，将相应信息一同写入电子标签内并存储，并还将电子标签发送给分拣单元。

在丝锭到达分拣单元位置时，分拣单元根据收到的对应该丝锭的电子标签信息进行分拣。具体的处理单元可以根据输送带输送速度以及丝锭开始当前位置到分拣单元的距离计算出当前丝锭到达分拣单元的时间，将时间也写入电子标签，这样使得丝锭到达分拣单元时，分拣单元能获得对应丝锭的信息。

分拣步骤包括：

B1.当丝锭进入分拣单元时，分拣单元根据收到对应的丝锭分类信息对丝锭进行良次品判断；

B2.若丝锭分类结果为有尾丝，则判断丝锭为良品，控制降下第一挡杆，丝锭进入良品输送通道，若丝锭分类为非尾丝，则判断丝锭为次品，控制降下第二挡杆，丝锭进入次品输送通道。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了传送带、托盘、暗箱、图像采集单元、分拣单元等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (10)

1.一种化纤丝尾丝外观缺陷检测系统，其特征是：包括装载丝锭的托盘，对托盘进行传输的传送带，丝锭上设置有标签，在传动带上设置有暗箱，在暗箱后的传动带上设置有分拣单元，在暗箱中设置有采集标签图像和丝锭图像的图像采集单元，图像采集单元将采集信息发送给处理单元进行尾丝缺陷检测；

处理单元，从标签图形中识别标签信息并读取，从丝锭图像中筛选出具有丝锭纸管的待测图像，对待测图像的纸管区域进行边缘检测，提取主要特征描述纸管区域，将处理后的待测图像带入尾丝分类器进行分类；

分拣单元，根据丝锭尾丝分类对丝锭良次品进行分拣。

2.根据权利要求1所述的一种化纤丝尾丝外观缺陷检测系统，其特征是所述传送带后端分岔形成良品输送通道和次品输送通道，所述分拣单元设置在传动带分岔处，分拣单元包括底盘，在底盘上分别设置有位于良品输送通道前的第一挡杆和位于次品输送通道前的第二挡杆，第一挡杆和第二挡杆分别连接在气缸上，气缸受控连接于处理单元。

3.一种化纤丝尾丝外观缺陷检测方法，采用权利要求1或2中所述的系统，其特征在于：包括，

建立用于检测是否存在尾丝的尾丝分类器，其步骤包括：

S1.通过图像采集单元收集大量丝锭图像；

S2.对丝锭图像进行纸管区域定位并分割；

S3.对纸管区域进行纸管分类；

S4.对分类为纸管的纸管区域图像进行边缘检测，提取尾丝主要特征；

S5.将步骤S4中处理后的纸管区域的丝锭图像进行尾丝分类，将分类好的纸管区域的丝锭图像送入bp神经网络训练尾丝分类器；

获取待测丝锭的标签图像，识别并读取标签信息，获取待测丝锭的丝锭图像，将待测丝锭图像进行步骤S2-S4的处理，然后将处理后的待测丝锭图像通过尾丝分类器进行分类。

4.根据权利要求3所述的一种化纤丝尾丝外观缺陷检测方法，其特征是步骤S2中对丝锭图像进行纸管区域定位并分割的具体过程包括：

S21.收集大量的丝锭图像，使用BBox-Label-Tool工具进行标注纸管区域，生成纸管区域的外界矩形框，将标注好的丝锭图像作为训练集，将训练集转换成LMDB格式的数据；

S22.使用SSD demo中提供的预训练好的的VGG-16网络作为SSD检测网络的基础网络，将步骤S21中获得数据集带入训练；

S23.使用SSD检测丝锭图像的纸管区域，并根据检测的矩形外接切割出纸管区域。

5.根据权利要求4所述的一种化纤丝尾丝外观缺陷检测方法，其特征是步骤S3中对纸管区域进行纸管分类的具体过程包括：

S31.收集大量丝锭图像，采用步骤S2获取丝锭图像的纸管区域图像作为训练集；

S32.将纸管区域图像进行分类，分类为纸管和非纸管的纸管区域图像，将分类后的纸管区域图像使用VGG-16网络训练，获得纸管分类器；

S33.将待测纸管区域图像送入纸管分类器，若判断为纸管，进入步骤S4，若判断为非纸管，返回步骤S2，对下一丝锭图像进行操作。

6.根据权利要求5所述的一种化纤丝尾丝外观缺陷检测方法，其特征是步骤S4中对分类为纸管的纸管区域图像进行边缘检测，提取尾丝主要特征的具体过程包括：

S41.进行高斯滤波；

S42.计算纸管区域图像中每个像素点的剔除强度和方向；

S43.应用非极大值抑制，消除边缘检测到来的杂散相应；

S44.应用双阈值检测确定真实和潜在的边缘；

S45.通过抑制鼓励的弱边缘完成canny边缘检测；

S46.对所有纸管区域图像进行主成分分析，主成分分析包括计算特征的协方差矩阵，求出协方差矩阵的特征值和特征向量，根据特征值大小来判定特征的重要程度，选取一定数量的特征值和特征向量作为图像的表达，降低提取到的特征维度；其中协方差的计算公式为：

C＝∑(x-u)(x-u)^T

其中C为协方差矩阵，x为图像的像素值，u为图像的均值。

7.根据权利要求1所述的一种化纤丝尾丝外观缺陷检测方法，其特征是获取待测丝锭的标签图像，识别并读取标签信息的具体过程包括：

A1.通过计算设定丝锭每次旋转角度，丝锭旋转一个角度后，由图像采集单元采集标签图像；

A2.预先构建分割模型

收集大量标签图像作为训练集，对标签图像进行标注标签区域的形状和外接矩形框，将数据带入FCN进行分割训练；

A3.将待测标签图像送入FCN测试，FCN的测试结果即为标签所在位置，获得分割后的标签区域图像；

A4.预先构建识别模型

收集大量标签图像进行步骤A3，获得标签区域图像，使用VGG-16网络提取标签区域图像的特征，将标签区域图像处理结果复制N份，送入识别不定长度符号的循环神经网络进行训练；

A5.将待测标签区域图像送入循环神经网络进行标签字符识别，获取标签信息。

8.根据权利要求7所述的一种化纤丝尾丝外观缺陷检测方法，其特征是所述步骤A3中获得分割出的标签区域图像后还进行校正的步骤，包括：

A31.根据FCN的分割结果将标签区域图像从原始标签图像中切割出来作为感兴趣区域，利用edge函数对感兴趣区域图像做二值化，使用该二值化图像检测标签区域的边界位置；

A32.使用Radon矫正倾斜的字符标签，计算边缘图像的Radon变换，对倾斜字符在标签区域图像中的位置的每一个像素为1的点进行Radon变换；

A33.检测出Radon变换矩阵中g(s,θ)的峰值，根据峰值对标签区域进行校正，Radon变换平面与元平面的关系为：

其中f(x,y)为原图像平面上点(x,y)的灰度值，g(s,θ)为f(x,y)在角度θ上的一维投影，即峰值，s表示点到坐标原点的距离。

9.根据权利要求3所述的一种化纤丝尾丝外观缺陷检测方法，其特征是处理单元对丝锭进行尾丝分类后，将线上所有丝锭进行质量统计，得到日检丝锭总量统计、日检尾丝数目统计、日检缺陷剔除量统计以及批量异常丝统计信息，将相应信息和当前丝锭检测信息共同写入电子标签内并存储，同时将电子标签发送给分拣单元。

10.根据权利要求3所述的一种化纤丝尾丝外观缺陷检测方法，其特征是还包括分拣步骤，包括：

B1.当丝锭进入分拣单元时，分拣单元根据收到对应的丝锭分类信息对丝锭进行良次品判断；

B2.若丝锭分类结果为有尾丝，则判断丝锭为良品，控制降下第一挡杆，丝锭进入良品输送通道，若丝锭分类为非尾丝，则判断丝锭为次品，控制降下第二挡杆，丝锭进入次品输送通道。