CN113658131A - 一种基于机器视觉巡游式环锭纺断纱检测方法 - Google Patents
一种基于机器视觉巡游式环锭纺断纱检测方法 Download PDFInfo
- Publication number
- CN113658131A CN113658131A CN202110936624.4A CN202110936624A CN113658131A CN 113658131 A CN113658131 A CN 113658131A CN 202110936624 A CN202110936624 A CN 202110936624A CN 113658131 A CN113658131 A CN 113658131A
- Authority
- CN
- China
- Prior art keywords
- yarn
- image
- target
- class
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 238000007378 ring spinning Methods 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000009499 grossing Methods 0.000 claims abstract description 9
- 230000033001 locomotion Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000009987 spinning Methods 0.000 claims description 11
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000005728 strengthening Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 150000001875 compounds Chemical class 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 5
- 230000009467 reduction Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 9
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- KCXVZYZYPLLWCC-UHFFFAOYSA-N EDTA Chemical compound OC(=O)CN(CC(O)=O)CCN(CC(O)=O)CC(O)=O KCXVZYZYPLLWCC-UHFFFAOYSA-N 0.000 description 2
- 229960001484 edetic acid Drugs 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 240000007651 Rubus glaucus Species 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000009985 spun yarn production Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
- G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
- G01N21/898—Irregularities in textured or patterned surfaces, e.g. textiles, wood
- G01N21/8983—Irregularities in textured or patterned surfaces, e.g. textiles, wood for testing textile webs, i.e. woven material
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Textile Engineering (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Wood Science & Technology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于机器视觉巡游式环锭纺断纱检测方法，其特征在于，包括以下步骤：带有工业摄像头的工业相机对纱线进行巡游式检测，处理器获取工业相机巡游中的图片；建立目标区域识取模型并对目标区域识取模型进行训练，将获得的实时图像输入训练后的目标区域识取模型，判断图像中是否包含纱线目标，并提取包含纱线目标的图像的感兴趣区域；对正常矩形图像进行平滑处理；计算每根纱线的长度从而判断是否发生断纱现象。本发明考虑检测纱线数量动态变化的问题；考虑了适应不同场合下环锭纺细纱机的检测和移动下图像畸变问题，具有较好的鲁棒性；能够适应于图像纱线间距变化的问题；考虑到了多次降噪问题，有效的提高了检测的准确率。
Description
技术领域
本发明涉及一种基于机器视觉的环锭纺细纱视觉检测方法，属于图像处理和深度学习技术领域。
背景技术
细纱工序是纺纱工艺的一个重要环节，细纱生产过程中断纱(从前罗拉输出至筒管之间连续的细纱条发生断裂的现象)问题直接导致细纱工序中断。细纱断头率是细纱生产的主要技术指标之一，高断头率则是限制环锭纺产能的主要原因，也是影响劳动生产率的重要因素，细纱断头多不仅会增加工人巡检劳动强度，也会对能源损耗、纱线质量、原料损耗产生影响。
现有技术检测细纱断纱的方式通常有机械式、电气接触式、气压非接触式、光电非接触式和温度传感式等。此类方法都为单锭式检测，优势是准确率高、实时性强、寿命较长、性能较为稳定，但单锭式检测存在着对现有细纱机改造成本高的问题，部分方法也会对纺纱过程产生影响。因此，单锭式检测存在改造成本大甚至无法改造的缺点。
目前随着视觉传感器价格逐步降低，数字图像处理技术不断发展，工业中各个生产领域开始广泛采用机器视觉进行表面缺陷检测、工件定位、目标识别等，而通过使用机器视觉的方式可以适应于市面上大部分细纱机进行断纱检测，价格低可改造性强，同时对纺纱过程不会产生任何影响。
虽然机器视觉具有上述众多优点，但目前市面上仍然没有一套比较完善的机器视觉断纱检测的方法，大部分方法仍处于理论阶段，在实际应用中仍存在许多不足，同时没有考虑到移动检测时所产生的问题。
发明内容
本发明要解决的技术问题是：巡游式环锭纺断纱检测准确率低。
为了解决上述技术问题，本发明的技术方案是提供了一种基于机器视觉巡游式环锭纺断纱检测方法，其特征在于，包括以下步骤：
步骤1、带有工业摄像头的工业相机对纱线进行巡游式检测，处理器获取工业相机巡游中的图片；
步骤2、建立目标区域识取模型并对目标区域识取模型进行训练，将步骤1获得的实时图像输入训练后的目标区域识取模型，判断图像中是否包含纱线目标，并提取包含纱线目标的图像的感兴趣区域，具体包括以下步骤：
步骤201、建立基于目标检测的深度神经网络结构作为目标区域识取模型。该目标区域识取模型由一个输入层、一个卷积层COV.1、5个Inverted Residual Block层、一个卷积层COV.2、一个平均池化层和一个输出层组成，其中：
每个Inverted Residual Block层使用深度可分离卷积和残差结构；
输出层通过全连接层输出3个坐标点及一个CLASS类，其中，CLASS类分为两类，一类表示输入的图像包含纱线目标，另一类表示输入的图像不包含纱线目标；通过4个坐标点确定一个矩形框，当通过CLASS类显示输入的图像包含纱线目标时，利用该矩形框将图像中带纱线的目标区域框选出来；
步骤202、利用训练数据集对步骤201构建的目标区域识取模型进行训练，包括：
步骤2021、获取训练数据集：
使用工业摄像头收集在工厂中纺纱相关数据图片，拍摄多张带纱线目标的图像及多张不带纱线目标的黑白图像；
利用矩形框对带纱线目标的图像中的纱线目标进行框选，从而获得矩形框的三个角部坐标(X1,Y1)、(X2,Y2)、(X3,Y3)，该矩形框为倾斜梯形；
不带纱线目标的图像所对应的四个角部坐标的值为0；
为每张图像设定标签数据，标签数据由三个角部坐标及CLASS类4个参数组成；
步骤2022、利用上一步得到的训练数据集对目标区域识取模型进行训练，训练时，计算全连接层的输出
与训练数据集中标签数据
的距离
至
为全连接层输出的三个角部坐标，
为全连接层输出的CLASS类，
至
为标签数据的三个角部坐标，
为标签数据的CLASS类；通过最小化距离
来减少目标区域识取模型的预测误差，则目标区域识取模型的损失函数Loss定义为下式：
上式中，Ls交叉熵函数，用于判断图像是否包含纱线目标，p(x)为期望输出，q(x)为实际输出；Lc代表输出坐标点与真实坐标点之间的协方差；
步骤203、将实时图像输入训练好的目标区域识取模型，由目标区域识取模型输出该图像的CLASS类，若通过CLASS类判断当前图像包含纱线目标，则目标区域识取模型还输出4个用于确定矩形框的坐标点，利用该矩形框将图像中带纱线的目标区域框选出来，提取成单独的图片；
步骤3、通过透视处理将步骤2获得的图片恢复成正常矩形图像，对正常矩形图像进行平滑处理，达到突出纱线特征、平滑图像背景的目的；
步骤5、使用改进的sobel算子去除上一步骤获取到图像的背景，同时保留图像中纱线相关特征；
步骤6、利用阈值化对图像进行处理提取出纱线目标，再通过边缘轮廓查找进一步筛选并排除噪声，提取出纱线特征，随后通过添加霍夫变换，提取数值方向上达到要求长度的直线，最终得到n根纱线；
步骤7、基于上一步骤提取出的纱线特征，计算每根纱线的长度从而判断是否发生断纱现象，并在输出图像中将发生断纱现象的纱线标记出来，以达到可视化目的。
优选的，步骤1中，所述图片为黑白图像。
优选的，步骤201中，卷积层COV.1及卷积层COV.2采用下式：
上式中：Zij是经过卷积运算后得到的特征图，(i,j)表示特征图中的高度和宽度，
H和W分表示输入卷积层COV.1或卷积层COV.2的图像数据的高度和宽度，F表示卷积核的高度和宽度大小；ρ表示非线性激活函数；wrc表示卷积核位于(r,c)位置处的权重；x(r+i×t)(c+j×t)表示输入卷积层COV.1或卷积层COV.2的图像数据，t表示卷积核运动的步长；b表示偏差。
优选的，步骤201中，所述Inverted Residual Block层通过使用1×1的普通卷积先进行升维操作，然后利用3×3的深度可分离卷积进行特征提取，再利用1×1的普通卷积降维，最终将输入和输出直接相接；
3×3的深度可分离卷积采用下式：
上式中：Mijn为第n个通道的特征图；wrcn为位于卷积核中第n个通道的(r,c)位置处的权重；x(r+i×t)(c+j×t)n表示输入深度可分离卷积层第n个通道的图像数据；Mij′表示输出的N个通道的特征图像；wn′表示第n个通道的特征图的权重；Mout表示输入数据与卷积后的数据之和；xrcn代表该时刻输入第n个通道的图像数据。
优选的，步骤201中，全连接层执行下式：
式中，
表示第n个通道的全连接层第k个输出的权重；bk表示全连接层第k个输出的偏差；hn表示第n个通道自适应平均池化层输入的参数。
优选的，步骤2021中，用P(X)来表示当前图像包含纱线目标的置信度，如下式所示：
式中，P(X)为概率，是由CLASS类输出加以激活函数softmax进行激活得到[0,1]之间的数值，ux表示预先设定的阈值，超过该阈值ux则认为当前图像可靠，并利用矩形框进行纱线目标框选，否则不进行纱线目标框选。
优选的，步骤5中，使用面向纱线特征强化的sobel算子如下式所示：
Gij＝sobel×Hij
上式中：
Gij为经过面向纱线特征强化的sobel算子处理后的图像中(i,j)位置处的像素点；
Hij为未经过面向纱线特征强化的sobel算子处理的图像中(i,j)位置处的像素点；
sobel为矩阵算子，矩阵算子sobel采用如下式所示的改进的面向纱线特征强化的sobel算子矩阵：
sobel＝2f(x,y+i)+f(x-1,y+i)+f(x+1,y+i)-2f(x+2,y+i)-2f(x+2,y-i)
式中，f(x,y)表示输入图像数据，i∈[-1,0,1]。
优选的，步骤6中，利用下式对图像进行阈值化处理：
上式中，Pij为经过阈值化处理的位于(i,j)位置处的图像像素点的值，Pij′为阈值化处理前的位于(i,j)位置处的图像像素点的值，u为阈值参数。
优选的，步骤6中，基于下式进行前述的边缘轮廓查找：
上式中，I(x)为阈值分割后各部分图像内容，
为图像框选的长度，α为额定阈值大小。
优选的，步骤7中，判断是否发生断纱现象包括以下步骤：
步骤701、计算每根纱线的格拉布斯检验统计量，如下式所示：
Gi＝(di-u)/s
式中：Gi为第i根纱线的格拉布斯检验统计量；di为第i根纱线的实时纱线长度；u为样本平均值，
s为样本标准差，
步骤702、根据每根实时纱线长度，确定检出水平α，查表得出对应的格拉布斯检验临界值α(n)；当Gi>α(n)，则判断di为异常值，第i根纱线为断纱，否则无异常值，纱线正常。
与现有技术相比，本发明具有以下有益效果：(1)考虑检测纱线数量动态变化的问题；(2)考虑了适应不同场合下环锭纺细纱机的检测和移动下图像畸变问题，具有较好的鲁棒性；(3)能够适应于图像纱线间距变化的问题；(4)考虑到了多次降噪问题，有效的提高了检测的准确率。
附图说明
图1是本发明实施例的基于机器视觉的巡游式断纱检测流程图；
图2是本发明实施例的获取图像数据；
图3是本发明实施例的目标区域选取的深度神经网络结构；
图4是本发明实施例的目标选取结果图像；
图5至图9是本发明实施例的目标图像处理流程。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
如图1所示，本实施例公开的一种基于机器视觉巡游式环锭纺断纱检测方法流采用python语言编写，包括以下步骤：
步骤1、带有工业摄像头的工业相机对纱线进行巡游式检测，处理器以每秒五帧的速率获取工业相机巡游中的图片。
本实施例中，工业摄像头可以选择海康威视MVL-KF3528M-12MP的FA镜头，工业相机可以选择MV-CA050-20UM的摄像机，从而在最大程度上保证获取到的图片的清晰度。处理器选择使用JESTONNANO
工业相机获取的图片为黑白图像，以达到减少数据传输量的目的。工业相机获取到的黑白图像如图2所示。
步骤2、对获取到的包含纱线目标的黑白图像进行感兴趣区域的选取，主要包括以下步骤：
步骤201、建立基于目标检测的深度神经网络结构作为目标区域识取模型。该目标区域识取模型由一个输入层、一个卷积层COV.1、5个Inverted Residual Block层、一个卷积层COV.2、一个平均池化层和一个输出层组成。
卷积层COV.1及卷积层COV.2采用下式(1)：
式(1)中：Zij是经过卷积运算后得到的特征图，(i,j)表示特征图中的高度和宽度，
H和W分表示输入卷积层COV.1或卷积层COV.2的图像数据的高度和宽度，F表示卷积核的高度和宽度大小；ρ表示非线性激活函数；wrc表示卷积核位于(r,c)位置处的权重；x(r+i×t)(c+j×t)表示输入卷积层COV.1或卷积层COV.2的图像数据，t表示卷积核运动的步长；b表示偏差。
如图3所示，每个Inverted Residual Block层使用的是深度可分离卷积和残差结构，用于减少参数量提升运算效率抑制过拟合问题。其中，深度可分离卷积可以减少运算量和参数，使得本发明可以在树莓派上运行，残差结构用于防止图像信息丢失。
具体而言，Inverted Residual Block层通过使用1×1的普通卷积先进行升维操作，然后利用3×3的深度可分离卷积进行特征提取，再利用1×1的普通卷积降维，最终将输入和输出直接相接。
3×3的深度可分离卷积采用下式(2)：
式(2)中：Mijn为第n个通道的特征图；wrcn为位于卷积核中第n个通道的(r,c)位置处的权重；x(r+i×t)(c+j×t)n表示输入深度可分离卷积层第n个通道的图像数据，t表示卷积核运动的步长；Mij′表示输出的N个通道的特征图像；wn′表示第n个通道的特征图的权重；Mout表示输入数据与卷积后的数据之和；xrcn代表该时刻输入第n个通道的图像数据。
输出层通过全连接层输出参数为4个，代表3个坐标点及一个CLASS类。其中，CLASS类分为两类，一类表示输入的黑白图像包含纱线目标，另一类表示输入的黑白图像不包含纱线目标。通过3个坐标点确定一个矩形框，该矩形框大致为倾斜梯形。正常情况下目标区域为规则长方形，因此目标区域产生变形具有一致性(如倾斜抖动是对图像整体进行变化)，最终得到的矩阵框大致为倾斜梯形，因此可以通过三个坐标可以确定，进行后续仿射变换也可只用三个坐标。当通过CLASS类显示输入的黑白图像包含纱线目标时，利用该矩形框将黑白图像中带纱线的目标区域框选出来。
全连接层执行下式(3)：
式(3)中：
表示全连接层的第k个输出，k＝1,2,3,4，本实施例中，全连接层的第1个输出至第3个输出为3个坐标点，全连接层的第4个输出为CLASS类；
表示第n个通道的全连接层第k个输出的权重；bk表示全连接层第k个输出的偏差；hn表示第n个通道自适应平均池化层输入的参数。
步骤202、利用训练数据集对步骤201构建的目标区域识取模型进行训练，包括：
步骤2021、获取训练数据集：
使用工业摄像头收集在工厂中纺纱相关数据图片，拍摄2000张带纱线目标的黑白图像及1000张不带纱线目标的黑白图像。
利用矩形框对带纱线目标的黑白图像中的纱线目标进行框选，从而获得矩形框的三个角部坐标(X1,Y1)、(X2,Y2)、(X3,Y3)。
不带纱线目标的黑白图像所对应的三个角部坐标的值为0。
为每张黑白图像设定标签数据，标签数据由三个角部坐标及CLASS类4个参数组成。
用POUT(X)来表示当前黑白图像包含纱线目标的置信度，如下式(4)所示：
式(4)中，ux表示预先设定的阈值，P(X)超过该阈值ux则认为当前黑白图像可靠，并利用矩形框进行纱线目标框选，否则不进行纱线目标框选，P(X)为概率，是由CLASS类输出加以激活函数softmax进行激活得到[0,1]之间的数值。
步骤2022、利用上一步得到的训练数据集对目标区域识取模型进行训练，训练时，计算全连接层的输出
与训练数据集中标签数据
的距离
通过最小化距离
来减少目标区域识取模型的预测误差，其中
前三个数据代表定位目标，第四个数据为CLASS类，需要用不同的损失函数进行计算。
在本实施例中，目标区域识取模型的损失函数Loss定义为下式(5)：
式(5)中，Ls交叉熵函数，用于判断图像是否包含纱线目标，p(x)为期望输出，为
q(x)为实际输出，为
Lc代表输出坐标点与真实坐标点之间的协方差。
步骤203、将实时获得的黑白图像输入训练好的目标区域识取模型，由目标区域识取模型输出该黑白图像的CLASS类，若通过CLASS类判断当前黑白图像包含纱线目标，则目标区域识取模型还输出3个用于确定矩形框的坐标点，利用该矩形框将黑白图像中带纱线的目标区域框选出来，提取成单独的图片，效果大致如图4所示。
相机在移动的情况下会因为移动速度不规律、急停、装配零件抖动从而出现相机位置拍摄角度、高度的偏移，同时部分相机拍摄时也会有畸变现象发生(如广角相机拍摄时在边缘产生严重失真变形)，如果使用固定矩阵框进行框选会导致多余图像，对后续纱线区域的选择将影响到断纱检测判断的精度。因此，本发按摩针对该特点采用矩形框的方式选目标区域，并通过自适应的仿射变换复原目标区域图像。
步骤3、通过透视处理将步骤2获得的图片恢复成正常矩形图像，经过L0正则化后平滑图像保留特征。如图5至图6所示，L0正则化是用于初步平滑图像的方法，通过L0正则化突出纱线特征、平滑图像背景。也可以使用其它平滑方式，如均值滤波、高斯滤波等，速度更快但效果稍差。
步骤4、使用面向纱线特征强化的sobel算子去除上一步骤获取到图像的背景，同时保留图像中纱线相关特征。再利用阈值化对图像进行处理提取出纱线目标。再通过边缘轮廓查找进一步筛选并排除噪声，提取出纱线特征。
使用面向纱线特征强化的sobel算子如下式(6)所示：
Gij＝sobel×Hij (6)
式(6)中，Gij为经过面向纱线特征强化的sobel算子处理后的图像中(i,j)位置处的像素点，Hij为未经过面向纱线特征强化的sobel算子处理的图像中(i,j)位置处的像素点，sobel为矩阵算子。使用面向纱线特征强化的sobel算子对每个像素点及周围像素点进行一次乘积从而获得输出像素点。
本实施例中，矩阵算子sobel采用如下式(7)所示的改进的sobel算子矩阵：
sobel＝2f(x,y+i)+f(x-1,y+i)+f(x+1,y+i)-2f(x+2,y+i)-2f(x+2,y-i) (7)
式(7)中，f(x,y)表示输入图像数据，i∈[-1,0,1]。
利用下式(8)对图像进行阈值化处理：
式(8)中，Pij为经过阈值化处理的位于(i,j)位置处的图像像素点的值，Pij′为阈值化处理前的位于(i,j)位置处的图像像素点的值，u为阈值参数。
基于下式(9)进行前述的边缘轮廓查找：
式(9)中，I(x)为阈值分割后各部分图像内容，
为图像框选的长度，α为额定阈值大小。
如图8所示，通过边缘轮廓查找筛选掉了小噪声，强化了纱线特征，但对一些大噪声也会产生强化。因此在图像处理中，通过添加霍夫变换，提取数值方向上达到要求长度的直线，最终结果如图9所示。
步骤5、基于上一步骤提取出的纱线特征，计算纱线的长度从而判断是否发生断纱现象，并在输出图像中用矩形标记出来，以达到可视化目的。
设通过步骤4提取得到n个纱线特征，判断是否发生断纱现象包括以下步骤：
步骤501、计算每根纱线的格拉布斯检验统计量，如下式(10)所示：
Gi＝(di-u)/s (10)
式(10)中：Gi为第i根纱线的格拉布斯检验统计量；di为第i根纱线的实时纱线长度；u为样本平均值，
s为样本标准差，
步骤502、根据每根实时纱线长度，确定检出水平α，查表(GB4883)得出对应的格拉布斯检验临界值α(n)。当Gi>α(n)，则判断di为异常值，第i根纱线为断纱，否则无异常值，纱线正常。
最后所应说明的是：以上实施例仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应该理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于机器视觉巡游式环锭纺断纱检测方法，其特征在于，包括以下步骤：
步骤1、带有工业摄像头的工业相机对纱线进行巡游式检测，处理器获取工业相机巡游中的图片；
步骤2、建立目标区域识取模型并对目标区域识取模型进行训练，将步骤1获得的实时图像输入训练后的目标区域识取模型，判断图像中是否包含纱线目标，并提取包含纱线目标的图像的感兴趣区域，具体包括以下步骤：
步骤201、建立基于目标检测的深度神经网络结构作为目标区域识取模型。该目标区域识取模型由一个输入层、一个卷积层COV.1、5个Inverted Residual Block层、一个卷积层COV.2、一个平均池化层和一个输出层组成，其中：
每个Inverted ResidualBlock层使用深度可分离卷积和残差结构；
输出层通过全连接层输出3个坐标点及一个CLASS类，其中，CLASS类分为两类，一类表示输入的图像包含纱线目标，另一类表示输入的图像不包含纱线目标；通过4个坐标点确定一个矩形框，当通过CLASS类显示输入的图像包含纱线目标时，利用该矩形框将图像中带纱线的目标区域框选出来；
步骤202、利用训练数据集对步骤201构建的目标区域识取模型进行训练，包括：
步骤2021、获取训练数据集：
使用工业摄像头收集在工厂中纺纱相关数据图片，拍摄多张带纱线目标的图像及多张不带纱线目标的黑白图像；
利用矩形框对带纱线目标的图像中的纱线目标进行框选，从而获得矩形框的三个角部坐标(X1，Y1)、(X2，Y2)、(X3，Y3)，该矩形框为倾斜梯形；
不带纱线目标的图像所对应的三个角部坐标的值为0；
为每张图像设定标签数据，标签数据由三个角部坐标及CLASS类4个参数组成；
步骤2022、利用上一步得到的训练数据集对目标区域识取模型进行训练，训练时，计算全连接层的输出
与训练数据集中标签数据
的距离
至
为全连接层输出的三个角部坐标，
为全连接层输出的CLASS类，
至
为标签数据的三个角部坐标，
为标签数据的CLASS类；通过最小化距离
来减少目标区域识取模型的预测误差，则目标区域识取模型的损失函数Loss定义为下式：
上式中，Ls交叉熵函数，用于判断图像是否包含纱线目标，p(x)为期望输出，q(x)为实际输出；Lc代表输出坐标点与真实坐标点之间的协方差；
步骤203、将实时图像输入训练好的目标区域识取模型，由目标区域识取模型输出该图像的CLASS类，若通过CLASS类判断当前图像包含纱线目标，则目标区域识取模型还输出4个用于确定矩形框的坐标点，利用该矩形框将图像中带纱线的目标区域框选出来，提取成单独的图片；
步骤3、通过透视处理将步骤2获得的图片恢复成正常矩形图像，对正常矩形图像进行平滑处理，达到突出纱线特征、平滑图像背景的目的；
步骤5、使用改进的sobel算子去除上一步骤获取到图像的背景，同时保留图像中纱线相关特征；
步骤6、利用阈值化对图像进行处理提取出纱线目标，再通过边缘轮廓查找进一步筛选并排除噪声，提取出纱线特征，随后通过添加霍夫变换，提取数值方向上达到要求长度的直线，最终得到n根纱线；
步骤7、基于上一步骤提取出的纱线特征，计算每根纱线的长度从而判断是否发生断纱现象，并在输出图像中将发生断纱现象的纱线标记出来，以达到可视化目的。
2.如权利要求1所述的基于机器视觉巡游式环锭纺断纱检测方法，其特征在于，其特征在于，步骤1中，所述图片为黑白图像。
3.如权利要求1所述的基于机器视觉巡游式环锭纺断纱检测方法，其特征在于，其特征在于，步骤201中，卷积层COV.1及卷积层COV.2采用下式：
上式中：Zij是经过卷积运算后得到的特征图，(i，j)表示特征图中的高度和宽度，
H和W分表示输入卷积层COV.1或卷积层COV.2的图像数据的高度和宽度，F表示卷积核的高度和宽度大小；ρ表示非线性激活函数；wrc表示卷积核位于(r，c)位置处的权重；x(r+i×t)(c+j×t)表示输入卷积层COV.1或卷积层COV.2的图像数据，t表示卷积核运动的步长；b表示偏差。
4.如权利要求3所述的基于机器视觉巡游式环锭纺断纱检测方法，其特征在于，其特征在于，步骤201中，所述Inverted Residual Block层通过使用1×1的普通卷积先进行升维操作，然后利用3×3的深度可分离卷积进行特征提取，再利用1×1的普通卷积降维，最终将输入和输出直接相接；
3×3的深度可分离卷积采用下式：
上式中：Mijn为第n个通道的特征图；wrcn为位于卷积核中第n个通道的(r，c)位置处的权重；x(r+i×t)(c+j×t)n表示输入深度可分离卷积层第n个通道的图像数据；Mij′表示输出的N个通道的特征图像；wn′表示第n个通道的特征图的权重；Mout表示输入数据与卷积后的数据之和；xrcn代表该时刻输入第n个通道的图像数据。
5.如权利要求4所述的基于机器视觉巡游式环锭纺断纱检测方法，其特征在于，其特征在于，步骤201中，全连接层执行下式：
式中，
表示第n个通道的全连接层第k个输出的权重；bk表示全连接层第k个输出的偏差；hn表示第n个通道自适应平均池化层输入的参数。
6.如权利要求1所述的基于机器视觉巡游式环锭纺断纱检测方法，其特征在于，其特征在于，步骤2021中，用P(X)来表示当前图像包含纱线目标的置信度，如下式所示：
式中，P(X)为概率，是由CLASS类输出加以激活函数softmax进行激活得到[0，1]之间的数值，ux表示预先设定的阈值，超过该阈值ux则认为当前图像可靠，并利用矩形框进行纱线目标框选，否则不进行纱线目标框选。
7.如权利要求1所述的基于机器视觉巡游式环锭纺断纱检测方法，其特征在于，其特征在于，步骤5中，使用面向纱线特征强化的sobel算子如下式所示：
Gij＝sobel×Hij
上式中：
Gij为经过面向纱线特征强化的sobel算子处理后的图像中(i，j)位置处的像素点；
Hij为未经过面向纱线特征强化的sobel算子处理的图像中(i，j)位置处的像素点；
sobel为矩阵算子，矩阵算子sobel采用如下式所示的改进的面向纱线特征强化的sobel算子矩阵：
sobel＝2f(x，y+i)+f(x-1，y+i)+f(x+1，y+i)-2f(x+2，y+i)-2f(x+2，y-i)
式中，f(x，y)表示输入图像数据，i∈[-1，0，1]。
8.如权利要求1所述的基于机器视觉巡游式环锭纺断纱检测方法，其特征在于，其特征在于，步骤6中，利用下式对图像进行阈值化处理：
上式中，Pij为经过阈值化处理的位于(i，j)位置处的图像像素点的值，Pij′为阈值化处理前的位于(i，j)位置处的图像像素点的值，u为阈值参数。
9.如权利要求8所述的基于机器视觉巡游式环锭纺断纱检测方法，其特征在于，其特征在于，步骤6中，基于下式进行前述的边缘轮廓查找：
上式中，I(x)为阈值分割后各部分图像内容，LI(x)为图像框选的长度，α为额定阈值大小。
10.如权利要求1所述的基于机器视觉巡游式环锭纺断纱检测方法，其特征在于，步骤7中，判断是否发生断纱现象包括以下步骤：
步骤701、计算每根纱线的格拉布斯检验统计量，如下式所示：
Gi＝(di-u)/s
式中：Gi为第i根纱线的格拉布斯检验统计量；di为第i根纱线的实时纱线长度；u为样本平均值，
s为样本标准差，
步骤702、根据每根实时纱线长度，确定检出水平α，查表得出对应的格拉布斯检验临界值α(n)；当Gi＞α(n)，则判断di为异常值，第i根纱线为断纱，否则无异常值，纱线正常。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110936624.4A CN113658131B (zh) | 2021-08-16 | 2021-08-16 | 一种基于机器视觉巡游式环锭纺断纱检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110936624.4A CN113658131B (zh) | 2021-08-16 | 2021-08-16 | 一种基于机器视觉巡游式环锭纺断纱检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113658131A true CN113658131A (zh) | 2021-11-16 |
| CN113658131B CN113658131B (zh) | 2024-06-18 |
Family
ID=78479239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110936624.4A Active CN113658131B (zh) | 2021-08-16 | 2021-08-16 | 一种基于机器视觉巡游式环锭纺断纱检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113658131B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581404A (zh) * | 2022-03-03 | 2022-06-03 | 常州市宏发纵横新材料科技股份有限公司 | 一种用于交织捆绑纱的断丝检测方法 |
| CN114596269A (zh) * | 2022-03-01 | 2022-06-07 | 常州市新创智能科技有限公司 | 一种玻纤布面经纱少丝缠丝的检测方法及装置 |
| CN114998268A (zh) * | 2022-06-07 | 2022-09-02 | 常州市新创智能科技有限公司 | 一种花边捆绑纱并丝断丝的检测方法及装置 |
| CN115690037A (zh) * | 2022-10-28 | 2023-02-03 | 富尔美技术纺织(苏州)有限公司 | 环锭纺细纱机纱线断头检测方法、装置、系统及存储介质 |
| CN116815365A (zh) * | 2023-08-28 | 2023-09-29 | 江苏恒力化纤股份有限公司 | 一种环锭纺细纱机断纱自动检测方法 |
| CN117670843A (zh) * | 2023-12-07 | 2024-03-08 | 常州市宏发纵横新材料科技股份有限公司 | 一种彩色纱线断纱检测方法、装置、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107247930A (zh) * | 2017-05-26 | 2017-10-13 | 西安电子科技大学 | 基于cnn和选择性注意机制的sar图像目标检测方法 |
| CN108315852A (zh) * | 2018-02-12 | 2018-07-24 | 首都师范大学 | 纺纱机穿线方法及装置 |
| CN110717903A (zh) * | 2019-09-30 | 2020-01-21 | 天津大学 | 一种利用计算机视觉技术进行农作物病害检测的方法 |
| CN111235709A (zh) * | 2020-03-18 | 2020-06-05 | 东华大学 | 一种基于机器视觉的环锭纺细纱条干在线检测系统 |
| WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| CN111738413A (zh) * | 2020-06-04 | 2020-10-02 | 东华大学 | 基于特征自匹配迁移学习的纺纱全流程能耗监测方法 |
| CN112150423A (zh) * | 2020-09-16 | 2020-12-29 | 江南大学 | 一种经纬稀疏网孔缺陷识别方法 |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
-
2021
- 2021-08-16 CN CN202110936624.4A patent/CN113658131B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107247930A (zh) * | 2017-05-26 | 2017-10-13 | 西安电子科技大学 | 基于cnn和选择性注意机制的sar图像目标检测方法 |
| CN108315852A (zh) * | 2018-02-12 | 2018-07-24 | 首都师范大学 | 纺纱机穿线方法及装置 |
| WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| CN110717903A (zh) * | 2019-09-30 | 2020-01-21 | 天津大学 | 一种利用计算机视觉技术进行农作物病害检测的方法 |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
| CN111235709A (zh) * | 2020-03-18 | 2020-06-05 | 东华大学 | 一种基于机器视觉的环锭纺细纱条干在线检测系统 |
| CN111738413A (zh) * | 2020-06-04 | 2020-10-02 | 东华大学 | 基于特征自匹配迁移学习的纺纱全流程能耗监测方法 |
| CN112150423A (zh) * | 2020-09-16 | 2020-12-29 | 江南大学 | 一种经纬稀疏网孔缺陷识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| 吴旭东;吕汉明;: "基于深度学习的细纱断头检测模型", 天津纺织科技, no. 02 * |
| 吴易洲;苗瑞;朱健华;张洁;: "基于三维激光扫描的窄搭接焊特征提取与缺陷识别", 应用激光, no. 05 * |
| 常海涛;苟军年;李晓梅: "Faster R-CNN在工业CT图像缺陷检测中的应用", 中国图象图形学报, no. 007 * |
| 牟新刚;蔡逸超;周晓;陈国良;: "基于机器视觉的筒子纱缺陷在线检测系统", 纺织学报, no. 01 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114596269A (zh) * | 2022-03-01 | 2022-06-07 | 常州市新创智能科技有限公司 | 一种玻纤布面经纱少丝缠丝的检测方法及装置 |
| CN114596269B (zh) * | 2022-03-01 | 2022-07-29 | 常州市新创智能科技有限公司 | 一种玻纤布面经纱少丝缠丝的检测方法及装置 |
| CN114581404A (zh) * | 2022-03-03 | 2022-06-03 | 常州市宏发纵横新材料科技股份有限公司 | 一种用于交织捆绑纱的断丝检测方法 |
| CN114998268A (zh) * | 2022-06-07 | 2022-09-02 | 常州市新创智能科技有限公司 | 一种花边捆绑纱并丝断丝的检测方法及装置 |
| CN114998268B (zh) * | 2022-06-07 | 2022-11-25 | 常州市新创智能科技有限公司 | 一种花边捆绑纱并丝断丝的检测方法及装置 |
| CN115690037A (zh) * | 2022-10-28 | 2023-02-03 | 富尔美技术纺织(苏州)有限公司 | 环锭纺细纱机纱线断头检测方法、装置、系统及存储介质 |
| CN116815365A (zh) * | 2023-08-28 | 2023-09-29 | 江苏恒力化纤股份有限公司 | 一种环锭纺细纱机断纱自动检测方法 |
| CN116815365B (zh) * | 2023-08-28 | 2023-11-24 | 江苏恒力化纤股份有限公司 | 一种环锭纺细纱机断纱自动检测方法 |
| CN117670843A (zh) * | 2023-12-07 | 2024-03-08 | 常州市宏发纵横新材料科技股份有限公司 | 一种彩色纱线断纱检测方法、装置、设备及存储介质 |
| CN117670843B (zh) * | 2023-12-07 | 2024-05-24 | 常州市宏发纵横新材料科技股份有限公司 | 一种彩色纱线断纱检测方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113658131B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113658131B (zh) | 一种基于机器视觉巡游式环锭纺断纱检测方法 | |
| WO2022099598A1 (zh) | 一种基于图像像素相对统计特征的视频动态目标检测的方法 | |
| CN115063421B (zh) | 极片区域检测方法及系统及装置及介质及缺陷检测方法 | |
| CN113449606B (zh) | 一种目标对象识别方法、装置、计算机设备及存储介质 | |
| CN112734690A (zh) | 一种表面缺陷检测方法、装置及计算机可读存储介质 | |
| CN113177924A (zh) | 一种工业流水线产品瑕疵检测方法 | |
| CN112907519A (zh) | 一种基于深度学习的金属曲面缺陷分析系统及方法 | |
| CN111861990B (zh) | 一种产品不良外观检测的方法、系统及存储介质 | |
| CN114119591A (zh) | 一种显示屏画面质量检测方法 | |
| CN107480678A (zh) | 一种棋盘识别方法和识别系统 | |
| CN113298809A (zh) | 基于深度学习和超像素分割的复材超声图像缺陷检测方法 | |
| CN107958253A (zh) | 一种图像识别的方法和装置 | |
| CN115266732B (zh) | 基于机器视觉的碳纤维丝束缺陷检测方法 | |
| CN109544513A (zh) | 一种钢管端面缺陷提取识别的方法 | |
| CN118014933A (zh) | 一种基于图像检测的缺陷检测识别方法和装置 | |
| CN111753572A (zh) | 一种基于深度学习的复杂背景低质量二维条码检测方法 | |
| CN117115171B (zh) | 一种应用于地铁lcd显示屏的轻微亮点缺陷检测方法 | |
| CN113192061A (zh) | Led封装外观检测图像的提取方法、装置、电子设备和存储介质 | |
| CN111192261A (zh) | 一种镜片疵病类型识别的方法 | |
| CN116433978A (zh) | 一种高质量瑕疵图像自动生成与自动标注方法及装置 | |
| CN116152191A (zh) | 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备 | |
| CN114550069B (zh) | 一种基于深度学习的仔猪乳头计数方法 | |
| CN115482207A (zh) | 一种螺栓松动检测方法及系统 | |
| CN115908301A (zh) | 一种基于增强输入的缺陷检测方法、装置及存储介质 | |
| CN110827272B (zh) | 一种基于图像处理的轮胎x光图像缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |