CN116385401B - 一种高精度纺织品缺陷可视化检测方法 - Google Patents
一种高精度纺织品缺陷可视化检测方法 Download PDFInfo
- Publication number
- CN116385401B CN116385401B CN202310359018.XA CN202310359018A CN116385401B CN 116385401 B CN116385401 B CN 116385401B CN 202310359018 A CN202310359018 A CN 202310359018A CN 116385401 B CN116385401 B CN 116385401B
- Authority
- CN
- China
- Prior art keywords
- module
- textile
- defects
- defect detection
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 119
- 238000001514 detection method Methods 0.000 title claims abstract description 110
- 239000004753 textile Substances 0.000 title claims abstract description 81
- 230000000007 visual effect Effects 0.000 title claims abstract description 10
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000011176 pooling Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 50
- 238000000034 method Methods 0.000 claims description 29
- 238000012360 testing method Methods 0.000 claims description 7
- 238000011179 visual inspection Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000010200 validation analysis Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009940 knitting Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种高精度纺织品缺陷可视化检测方法方法，该方法包括以下步骤：基于改进YOLOv5目标检测网络构建纺织品缺陷检测模型，纺织品缺陷检测模型包括用于实现特征提取的主干网络、用于实现特征融合的颈部网络和用于输出预测结果的检测头，主干网络包括Focus模块、若干CBS模块、若干C3‑N模块、SPP模块、CSE模块和ASPP模块，ASPP模块用于对特征图进行池化操作而获得不同感受野的特征图，CSE模块包括SE模块和卷积模块，SE模块输出与卷积模块输出之和作为CSE模块的输出；按照设定的训练参数对纺织品缺陷检测模型进行多轮训练获得最优纺织品缺陷检测模型；将被测纺织品图像输入到所述最优纺织品缺陷检测模型中。本发明实现对于纺织品多种缺陷的精确检测。
Description
技术领域
本发明涉及一种图像检测方法，具体涉及一种高精度纺织品缺陷可视化检测方法，属于机器视觉检测技术领域。
背景技术
纺织品生产过程中，由于机器、原料及人为因素的影响，其成品难免存在断经、断纬、经缩、纬缩、破洞、松经及松纬等缺陷。随着机器视觉技术的发展，对于上述缺陷的检测通常通过机器视觉检测进行，从而提高检测效率和检测准确率。传统机器视觉检测往往需要图像预处理、图像分割、特征选择等，容易受到光照、灰尘等环境因素干扰，不适合处理复杂背景的多分类问题，算法的鲁棒性、泛化能力不强。
纺织品缺陷检测精度要求相对较高，而且要求标出缺陷的准确位置，以便进行生产工艺、设备参数等的优化。目标检测网络可以同时获得目标精准的位置和分类信息，是最接近满足缺陷检测任务的网络。目标检测网络一般分为单阶段网络和双阶段网络。双阶段网络先根据找出的目标物体位置得到建议框，保证足够的准确率和召回率，再通过对建议框进行分类寻找更精确的位置，算法精度较高，但速度较慢。单阶段网络不需要得到建议框，直接产生物体的类别概率和位置坐标值，通过单次检测即可直接得到最终的检测结果，速度比双阶段网络较快，但在精度上有微笑损失，单阶段网络主要包括SSD及YOLOv3、YOLOv4、YOLOv5、YOLOv6、YOLOv7系列等。
YOLOv5网络是性能较为优良的单阶段目标检测网络，可以实现端到端的训练，没有中间过程的干扰，而且检测速度快，可以满足纺织品实时检测的需求。但是，纺织品纹理背景复杂、缺陷大小不一且类型繁多，一些细微缺陷的特征与背景信息高度相似，甚至人眼都难以区分，采用YOLOv5网络直接进行纺织品缺陷检测无法达到检测精度的要求。
发明内容
基于以上背景，本发明的目的在于提供一种高精度纺织品缺陷可视化检测方法，通过改进YOLOv5目标检测网络，构建适合的纺织品缺陷检测模型，提高纺织品缺陷检测精度和检测效率。
为了实现上述发明目的，本发明提供以下技术方案：
一种高精度纺织品缺陷可视化检测方法，该方法包括以下步骤：
基于改进YOLOv5目标检测网络构建纺织品缺陷检测模型，所述纺织品缺陷检测模型包括用于实现特征提取的主干网络、用于实现特征融合的颈部网络和用于输出预测结果的检测头，所述主干网络包括Focus模块、若干CBS模块、若干C3-N模块、SPP模块、CSE模块和ASPP模块，所述ASPP模块包括若干具有不同膨胀率的卷积核，ASPP模块用于对特征图进行池化操作而获得不同感受野的特征图，所述CSE模块包括SE模块和卷积模块，SE模块输出与卷积模块输出之和作为CSE模块的输出；
设置所述纺织品缺陷检测模型的损失函数，采集数据集并将其划分为训练集、验证集和测试集，按照设定的训练参数对所述纺织品缺陷检测模型进行多轮训练，获得最优纺织品缺陷检测模型；
将被测纺织品图像输入到所述最优纺织品缺陷检测模型中，输出被测纺织品的缺陷检测结果和缺陷位置信息。
作为优选，每个所述C3-N模块包括堆叠次数为N的Bottleneck模块、三个CBS模块和一个concat模块，其中，第一个CBS模块和堆叠次数为N的Bottleneck模块形成一条传播路径，第二个CBS模块形成另一条传播路径，两条传播路径的输出由concat模块拼接后经过第三个CBS模块调整为C3-N模块的输出通道数输出；包括堆叠次数为1的Bottleneck模块的C3-N模块被配置为C3-1模块，包括堆叠次数为2的Bottleneck模块的C3-N模块被配置为C3-2模块，包括堆叠次数为3的Bottleneck模块的C3-N模块被配置为C3-3模块；所述主干网络的结构为依次设置的Focus模块、CBS模块、C3-1模块、CBS模块、C3-3模块、CBS模块、C3-3模块、CBS模块、SPP模块、C3-1模块、CSE模块和ASPP模块。
作为优选，所述ASPP模块中卷积核的数量为四个，四个卷积核的膨胀率分别为6、12、18和24。
作为优选，所述SE模块包括全局平均值池化层、第一全连接层、ReLU激活函数、第二全连接层和Sigmoid函数，第一全连接层用于减小通道数而减少参数，第二全连接层用于恢复通道维度，Sigmoid函数用于执行归一化而获得通道权重；所述卷积模块具有3×3卷积核。
作为优选，所述损失函数的数学表达式为，
loss＝lbox+lobj+lcls
式中，lbox表示用于计算预测框与真实框误差的定位误差函数，lobj表示用于计算网络置信度误差的置信度损失函数，lcls表示用于计算分类是否正确的分类损失函数。
作为优选，所述定位误差函数采用CIOU损失函数，所述CIOU损失函数的数学表达式为，
式中，ρ2(b,bg)表示预测框与真实框中心点的欧式距离，c表示覆盖预测框和真实框的最小闭合框对角线的长度，α为权重系数，hg和wg分别表示预测框的长和宽，h和w分别表示真实框的长和宽。
作为优选，所述分类损失函数和所述置信度损失函数均采用二元交叉熵损失函数，所述二元交叉熵损失函数的数学表达式为，
作为优选，在采集数据集并将其划分为训练集、验证集和测试集之前，该纺织品缺陷检测方法还包括以下步骤：
将纺织品缺陷划分为破洞缺陷、长条缺陷和短条缺陷三种类别；
在采集数据集时，对于长条缺陷的采集数据量和对于短条缺陷的采集数据量均大于对于破洞缺陷的采集数据量。
与现有技术相比，本发明具有以下优点：
本发明的一种高精度纺织品缺陷可视化检测方法，将ASPP模块和CSE模块引入传统的YOLOv5目标检测网络构建纺织品缺陷检测模型，利用ASPP模块获取多尺度物体信息，扩大对图像进行特征提取时的感受野，提高模型的缺陷检测能力，利用CSE模块提高模型对于狭长类缺陷的检测能力，最终使模型对于纺织品缺陷的平均检测精度达到99％以上，实现对于纺织品多种缺陷的精确检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明一种高精度纺织品缺陷可视化检测方法的流程示意图；
图2是本发明中纺织品缺陷检测模型的结构示意图；
图3是本发明中ASPP模块的结构示意图；
图4是本发明中SE模块的结构示意图；
图5是本发明中CSE模块的结构示意图；
图6是本发明中纺织品缺陷的类别图像示例图；
图7是本发明一种高精度纺织品缺陷可视化检测方法对纺织品缺陷检测的部分检测结果图。
具体实施方式
下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体说明。应当理解，本发明的实施并不局限于下面的实施例，对本发明所做的任何形式上的变通和/或改变都将落入本发明保护范围。
在本发明中，若非特指，所有的份、百分比均为重量单位，所采用的设备和原料等均可从市场购得或是本领域常用的。下述实施例中的方法，如无特别说明，均为本领域的常规方法。下述实施例中的部件或设备如无特别说明，均为通用标准件或本领域技术人员知晓的部件，其结构和原理都为本技术人员均可通过技术手册得知或通过常规实验方法获知。
以下结合附图对本发明的实施例做出详细说明，在下面的详细说明中，为便于解释，阐述了许多具体的细节以提供对本发明的实施例的全面理解。
如图1所示的一种高精度纺织品缺陷可视化检测方法，该方法包括以下步骤：
S1.基于YOLOv5目标检测网络构建纺织品缺陷检测模型，纺织品缺陷检测模型包括用于实现特征提取的主干网络、用于实现特征融合的颈部网络和用于输出预测结果的检测头，主干网络包括Focus模块、若干CBS模块、若干C3-N模块、SPP模块、CSE模块和ASPP模块，ASPP模块包括若干具有不同膨胀率的卷积核，ASPP模块用于对特征图进行池化操作而获得不同感受野的特征图，CSE模块包括SE模块和卷积模块，SE模块输出与卷积模块输出之和作为CSE模块的输出；
S2.设置纺织品缺陷检测模型的损失函数，采集数据集并将其划分为训练集、验证集和测试集，按照设定的训练参数对纺织品缺陷检测模型进行多轮训练，获得最优纺织品缺陷检测模型；
S3.将被测纺织品图像输入到最优纺织品缺陷检测模型中，输出被测纺织品的缺陷检测结果和缺陷位置信息。
现有技术中的YOLOv5目标检测网络通常采用CSPDarknet53作为主干网络，结合特征金字塔网络(FPN)模块和像素聚合网络(PAN)模块作为颈部网络，利用mosaic的数据增强方法，通过翻转、随机剪裁、亮度改变等方法将四幅图像拼接成一幅图像，使图像信息更加丰富，网络的鲁棒性增强。YOLOv5目标检测网络便于部署，是目前最常用的单阶段目标检测网络。YOLOv5目标检测网络使用大小为3×3的卷积核，虽然经过多次下采样可以提取到深层的特征信息，但会造成特征图分辨率降低，丢失一些浅层信息，因此，很难检测出小目标，也不利于定位。
本实施例利用空洞空间金字塔池化(Atrous Spatial Pyramid Pooling，简称ASPP)模块和CSE模块改进YOLOv5目标检测网络，构建纺织品缺陷检测模型，模型结构如图2所示。
主干网络的结构为依次设置的Focus模块、CBS模块、C3-1模块、CBS模块、C3-3模块、CBS模块、C3-3模块、CBS模块、SPP模块、C3-1模块、CSE模块和ASPP模块。
Focus模块用于将高分辨率的图像信息由空间纬度转化为通道纬度。
CBS模块由卷积操作、批归一化和SILU激活函数组成。
每个C3-N模块包括堆叠次数为N的Bottleneck模块、三个CBS模块和一个concat模块。其中，第一个CBS模块和堆叠次数为N的Bottleneck模块形成一条传播路径，该条路径中，输入的特征图先通过1×1的卷积后送入Bottleneck模块。第二个CBS模块形成另一条传播路径，该条路径中，输入的特征图经1×1卷积后通道数减半。两条传播路径的输出由concat模块拼接后经过第三个CBS模块调整为C3-N模块的输出通道数输出。包括堆叠次数为1的Bottleneck模块的C3-N模块被配置为C3-1模块，包括堆叠次数为2的Bottleneck模块的C3-N模块被配置为C3-2模块，包括堆叠次数为3的Bottleneck模块的C3-N模块被配置为C3-3模块。
SPP模块增加模型的平移不变性，能够将不同大小的图像输出为一固定维度。
ASPP模块用于获得特征图的多尺度信息，从而增强主干网络的信息提取能力。ASPP模块利用不同膨胀率的卷积核对特征图进行池化操作，得到不同感受野的特征图，从而在多尺度提取特征信息，且过程中不需要增加参数量，不改变输入图像的分辨率。如下式所示，
r表示膨胀率，通过在原卷积核中间增加r-1个0，得到不同大小的卷积核，因为添加的是0，所以不会增加参数和计算量，r＝1表示标准卷积。
如图3所示，ASPP模块利用3×3大小的卷积核，通过膨胀率分别为6，12，18，24的空洞卷积核对特征图进行四个尺度的特征提取，获得四个不同感受野的特征图，经过concat模块拼接在一起，实现多尺度特征提取。
CSE模块也用于提高主干网络的特征提取能力。在YOLOv5网络中引入注意力机制，赋予纺织品缺陷目标更大的权重，就可以使模型更加关注存在缺陷的区域，提高模型的缺陷检测能力。CSE模块包括SE模块和卷积模块。SE模块可以通过自学习的方式获取每个特征通道的重要性，给通道相应的权重，增加对目标信息的学习，忽略一些干扰信息。如图4所示，SE模块由Squeeze、Excitation和Scale三部分组成，其结构中包括全局平均值池化层、第一全连接层、ReLU激活函数、第二全连接层和Sigmoid函数，第一全连接层用于减小通道数而减少参数，第二全连接层用于恢复通道维度，Sigmoid函数用于执行归一化而获得通道权重。SE模块建立了Ftr:X→U的卷积映射，如下式所示，
式中，*表示标准卷积操作，X∈RH′×W′×C′表示输入，输出为U＝[u1,u2,…,uc]∈RH ×W×C，卷积核为V＝[v1,v2,…,vc]，vc表示第c个卷积核，表示第s个通道上的2D卷积核。
SE模块的工作原理如下，首先，采用全局平均值池化，将W×H×C的特征图压缩为1×1×C(C是通道数)大小，得到向量z，从而把每个通道的空间特征转换为具有全局感受野的全局特征，如下式所示，
然后，再将z向量送入两个全连接层和ReLU激活函数学习通道的相关性，第一全连接层通过减小通道数来减小参数，第二全连接层恢复通道的维度，接着经过Sigmoid函数进行归一化得到通道权重，如下式所示，
s＝Fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z))
式中，
最后，Scale将得到的归一化权重加权到每个通道的特征上，利用权重对输入特征映射进行调整，如下式所示，
SE模块提高了模型对通道特征的敏感性，同时是轻量化的，因此对模型计算负担不大。同时，为了改进单独SE模块全局平均池过于简单而无法捕获复杂的全局信息，且单独SE模块全连接层增加了模型复杂性的缺点，本实施例将卷积模块与SE模块结合形成如图5所示的CSE模块，卷积模块具有3×3卷积核，CSE模块通过将通道加权结果与3×3卷积结果相加，使模型对于狭长缺陷的检测能力得到大大提高。
颈部网络通过四个concat模块融合四层特征图，充分提取上下文信息，减少特征图信息的损失，提高网络的识别精度。不同深度的网络可以用于不同大小物体的识别，为了适应目标检测时物体大小的变化，需要将主干网络中不同深度的特征信息融合。本实施例沿用YOLOv5目标检测网络的颈部网络结构，FPN模块和PAN模块都是基于金字塔池化操作，但方向不同，FPN模块通过从上到下的上采样操作，有利于大物体的检出，PAN模块通过从下到上的传递特征信息，使得小物体的检出率得到提高，两个模块结合使模型的特征融合能力得到加强。
损失函数用来衡量真实标签值与模型预测值的差异，损失函数的选取会影响模型的性能，并且函数值与模型性能成反比。本实施例中，模型输出端的损失函数的数学表达式为，
loss＝lbox+lobj+lcls
式中，lbox表示用于计算预测框与真实框误差的定位误差函数，lobj表示用于计算网络置信度误差的置信度损失函数，lcls表示用于计算分类是否正确的分类损失函数。
定位误差函数采用CIOU损失函数，CIOU损失函数的数学表达式为，
式中，ρ2(b,bg)表示预测框与真实框中心点的欧式距离，c表示覆盖预测框和真实框的最小闭合框对角线的长度，α为权重系数，hg和wg分别表示预测框的长和宽，h和w分别表示真实框的长和宽。
分类损失函数和置信度损失函数均采用二元交叉熵损失函数，二元交叉熵损失函数的数学表达式为，
由于纺织品的缺陷种类很多，直接用模型进行检测，不仅会增加模型结构，而且会导致缺陷检测精度和效率的降低。
因此，本实施例中，在采集数据集并将其划分为训练集、验证集和测试集之前，该纺织品缺陷检测方法还包括以下步骤：
将纺织品缺陷划分为破洞缺陷、长条缺陷和短条缺陷三种类别，三种类别的图像示例如图6所示，其中图6.a和图6.d表示破洞缺陷，图6.b和图6.e表示长条缺陷，图6.c和图6.f表示短条缺陷。
在采集数据集时，对于长条缺陷的采集数据量和对于短条缺陷的采集数据量均大于对于破洞缺陷的采集数据量。
根据本实施例建立了纺织品缺陷检测系统，主要包括图像采集单元和图像处理单元，图像采集单元由2K面阵相机和多角度光源组成，用于对大圆机生产的纺织品进行高质量成像，捕获其断经、断纬、经缩、纬缩、破洞、松经及松纬等缺陷，图像处理单元由工业计算机组成，执行本实施例的方法，实现对纺织品各种缺陷的精确实时检测。
工业计算机的硬件环境和软件环境如表1所示，
表1工业计算机的硬件环境和软件环境
本实施例的数据集采集于上述大圆机生产线，由面阵相机拍摄，经裁剪处理得到分辨率为400×400的图像，图像总数是2764幅，再由熟练的技术人员进行分类，并打上标签。考虑到不同类别缺陷的检测难度，破洞缺陷因为形状较为规则，采集图像数量比较少，为243张，而对重点要区分的长条缺陷和短条缺陷，采集了更多的图像，分别是1644张和877张。每类缺陷的数据集按照大致70％：10％：20％的比例划分为训练集、验证集和测试集。
通过数据集按照如表2所示的模型训练参数对模型进行训练。
表2模型训练参数
| Training parameters | Value |
| Batch size | 1 |
| Dynamic parameters | 0.937 |
| Learning rate | 0.01 |
| Cosine annealing learning rate | 0.01 |
| Data augmentation | 1.0 |
| Input image size | 400×400 |
| Epochs | 100 |
为了定量分析检测结果，本实施例采用精确率、召回率和平均精度均值三个评价指标。
其中，TP表示是纺织品上的缺陷且检测结果为真，FP表示不是缺陷但检测结果为真，FN表示不是纺织品上的缺陷且检测为假。
TP、FP、FN等具体含义如表3所示：
表3混淆矩阵
Real表示纺织品上真实的缺陷，Prediction表示模型计算的预测结果。
精确率和平均准确率的数学表达式如下：
式中，AP表示每一类别的平均检测精度，N表示数据集的类别数。
为了验证模型的有效性，本实施例进行了消融实验，实验结果如表4所示。
表4消融实验结果
| Method | P | R | mAp | FPS | Flops |
| YOLOv5 | 95％ | 95.1％ | 98.2％ | 476 | 15.8 |
| YOLOv5+ASPP | 97.9％ | 92.6％ | 98.6％ | 476 | 18.5 |
| YOLOv5+CSE | 95.1％ | 97.5％ | 98.8％ | 454 | 17.7 |
| 本实施例的纺织品缺陷检测模型 | 97.8％ | 98.5％ | 99.1％ | 476 | 20.4 |
由表4可知，YOLOv5网络的mAP为98.2％，单独在主干网络加入ASPP模块后，mAP可以提高到98.6％，召回率下降；单独加入CSE模块后，mAP提高到98.8％，但检测速度有所下降；同时加入ASPP模块和CSE模块，检测精度可达99.1％，且检测速度没有下降。
将本实施例的纺织品缺陷检测模型与其它常见的目标检测网络进行比较，比较结果如表5所示。
表5与常见目标网络在纺织品数据集的检测结果对比
由表5可知，本实施例的纺织品缺陷检测模型的平均检测精度是最高的，相较于YOLOv5、YOLOv6、YOLOv7分别提高了0.9％、2.3％、1.7％，检测精度超过99％，满足工业检测的需求。同时，在单个类型缺陷的检测上也存在优势，是上述对比中表现最好的。
通过本实施例对纺织品缺陷检测的部分检测结果如图7所示，图中，Hole表示破洞缺陷，L_line表示长条缺陷，S_line表示短条缺陷。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (7)
1.一种高精度纺织品缺陷可视化检测方法，其特征在于：该方法包括以下步骤：
基于改进YOLOv5目标检测网络构建纺织品缺陷检测模型，所述纺织品缺陷检测模型包括用于实现特征提取的主干网络、用于实现特征融合的颈部网络和用于输出预测结果的检测头，所述主干网络包括Focus模块、若干CBS模块、若干C3-N模块、SPP模块、CSE模块和ASPP模块，所述ASPP模块包括若干具有不同膨胀率的卷积核，ASPP模块用于对特征图进行池化操作而获得不同感受野的特征图，所述CSE模块包括SE模块和卷积模块，SE模块输出与卷积模块输出之和作为CSE模块的输出；
设置所述纺织品缺陷检测模型的损失函数，采集数据集并将其划分为训练集、验证集和测试集，按照设定的训练参数对所述纺织品缺陷检测模型进行多轮训练，获得最优纺织品缺陷检测模型；
将被测纺织品图像输入到所述最优纺织品缺陷检测模型中，输出被测纺织品的缺陷检测结果和缺陷位置信息；
所述主干网络的结构为依次设置的Focus模块、CBS模块、C3-1模块、CBS模块、C3-3模块、CBS模块、C3-3模块、CBS模块、SPP模块、C3-1模块、CSE模块和ASPP模块；
在采集数据集并将其划分为训练集、验证集和测试集之前，该纺织品缺陷检测方法还包括以下步骤：将纺织品缺陷划分为破洞缺陷、长条缺陷和短条缺陷三种类别；在采集数据集时，对于长条缺陷的采集数据量和对于短条缺陷的采集数据量均大于对于破洞缺陷的采集数据量。
2.根据权利要求1所述的一种高精度纺织品缺陷可视化检测方法，其特征在于：每个所述C3-N模块包括堆叠次数为N的Bottleneck模块、三个CBS模块和一个concat模块，其中，第一个CBS模块和堆叠次数为N的Bottleneck模块形成一条传播路径，第二个CBS模块形成另一条传播路径，两条传播路径的输出由concat模块拼接后经过第三个CBS模块调整为C3-N模块的输出通道数输出；包括堆叠次数为1的Bottleneck模块的C3-N模块被配置为C3-1模块，包括堆叠次数为2的Bottleneck模块的C3-N模块被配置为C3-2模块，包括堆叠次数为3的Bottleneck模块的C3-N模块被配置为C3-3模块。
3.根据权利要求1所述的一种高精度纺织品缺陷可视化检测方法，其特征在于：所述ASPP模块中卷积核的数量为四个，四个卷积核的膨胀率分别为6、12、18和24。
4.根据权利要求1所述的一种高精度纺织品缺陷可视化检测方法，其特征在于：所述SE模块包括全局平均值池化层、第一全连接层、ReLU激活函数、第二全连接层和Sigmoid函数，第一全连接层用于减小通道数而减少参数，第二全连接层用于恢复通道维度，Sigmoid函数用于执行归一化而获得通道权重；所述卷积模块具有3×3卷积核。
5.根据权利要求1所述的一种高精度纺织品缺陷可视化检测方法，其特征在于：所述损失函数的数学表达式为，
，
式中，表示用于计算预测框与真实框误差的定位误差函数，/>表示用于计算网络置信度误差的置信度损失函数，/>表示用于计算分类是否正确的分类损失函数。
6.根据权利要求5所述的一种高精度纺织品缺陷可视化检测方法，其特征在于：所述定位误差函数采用损失函数，所述/>损失函数的数学表达式为，
，
，
，
式中，表示预测框与真实框中心点的欧式距离，c表示覆盖预测框和真实框的最小闭合框对角线的长度，α为权重系数，/>和/>分别表示预测框的长和宽，/>和/>分别表示真实框的长和宽。
7.根据权利要求5所述的一种高精度纺织品缺陷可视化检测方法，其特征在于：所述分类损失函数和所述置信度损失函数均采用二元交叉熵损失函数，所述二元交叉熵损失函数的数学表达式为，
。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310359018.XA CN116385401B (zh) | 2023-04-06 | 2023-04-06 | 一种高精度纺织品缺陷可视化检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310359018.XA CN116385401B (zh) | 2023-04-06 | 2023-04-06 | 一种高精度纺织品缺陷可视化检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116385401A CN116385401A (zh) | 2023-07-04 |
| CN116385401B true CN116385401B (zh) | 2023-11-24 |
Family
ID=86974594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310359018.XA Active CN116385401B (zh) | 2023-04-06 | 2023-04-06 | 一种高精度纺织品缺陷可视化检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385401B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152139A (zh) * | 2023-10-30 | 2023-12-01 | 华东交通大学 | 一种基于实例分割技术的贴片电感缺陷检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842503A (zh) * | 2022-04-18 | 2022-08-02 | 南京理工大学 | 基于YOLOv5网络的头盔检测方法 |
| CN115393587A (zh) * | 2022-08-22 | 2022-11-25 | 东南大学 | 基于融合卷积神经网络的高速公路沥青路面病害感知方法 |
| CN115601696A (zh) * | 2022-09-27 | 2023-01-13 | 山东省科学院自动化研究所（Cn） | 一种基于YOLOv5的火灾早期烟雾检测方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210157312A1 (en) * | 2016-05-09 | 2021-05-27 | Strong Force Iot Portfolio 2016, Llc | Intelligent vibration digital twin systems and methods for industrial environments |
-
2023
- 2023-04-06 CN CN202310359018.XA patent/CN116385401B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842503A (zh) * | 2022-04-18 | 2022-08-02 | 南京理工大学 | 基于YOLOv5网络的头盔检测方法 |
| CN115393587A (zh) * | 2022-08-22 | 2022-11-25 | 东南大学 | 基于融合卷积神经网络的高速公路沥青路面病害感知方法 |
| CN115601696A (zh) * | 2022-09-27 | 2023-01-13 | 山东省科学院自动化研究所（Cn） | 一种基于YOLOv5的火灾早期烟雾检测方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| Progressive refined redistribution pyramid network for defect detection in complex scenarios;Xuyi Yu et al.;Knowledge-Based Systems;全文 * |
| 基于神经网络模型学习算法的吸油烟机烟雾识别研究;乔友伟 等;2022年中国家用电器技术大会;第1486-1489页 * |
| 改进YOLOv5 网络的鱼眼图像目标检测算法;吕晓玲 等;计算机工程与应用;第241-249页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116385401A (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113052210B (zh) | 一种基于卷积神经网络的快速低光照目标检测方法 | |
| CN110222604B (zh) | 基于共享卷积神经网络的目标识别方法和装置 | |
| CN111160249A (zh) | 基于跨尺度特征融合的光学遥感图像多类目标检测方法 | |
| CN109902576B (zh) | 一种头肩图像分类器的训练方法及应用 | |
| CN116342894B (zh) | 基于改进YOLOv5的GIS红外特征识别系统及方法 | |
| CN116385401B (zh) | 一种高精度纺织品缺陷可视化检测方法 | |
| CN116597224A (zh) | 基于改进yolo v8网络模型的马铃薯缺陷检测方法 | |
| CN113901874A (zh) | 一种基于改进R3Det旋转目标检测算法的茶叶嫩芽识别与采摘点定位方法 | |
| CN111488766A (zh) | 目标检测方法和装置 | |
| CN117392496A (zh) | 基于红外与可见光图像融合的目标检测方法及系统 | |
| CN111160100A (zh) | 一种基于样本生成的轻量级深度模型航拍车辆检测方法 | |
| CN115423734A (zh) | 一种基于多尺度注意机制的红外与可见光图像融合方法 | |
| CN114170526A (zh) | 基于轻量化网络的遥感影像多尺度目标检测识别方法 | |
| CN116681742A (zh) | 基于图神经网络的可见光与红外热成像图像配准方法 | |
| CN116664941A (zh) | 一种轴承套圈表面缺陷视觉检测方法 | |
| CN117315509A (zh) | 基于YOLOv7的无人机航拍图像小目标检测方法 | |
| Zhou et al. | Lrfnet: an occlusion robust fusion network for semantic segmentation with light field | |
| CN117132910A (zh) | 一种用于无人机的车辆检测方法、装置及存储介质 | |
| CN113159158A (zh) | 一种基于生成对抗网络的车牌矫正与重构方法及系统 | |
| CN117152601A (zh) | 一种基于动态感知区域路由的水下目标检测方法及系统 | |
| CN116091793A (zh) | 一种基于光流融合的光场显著性检测方法 | |
| CN116342536A (zh) | 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备 | |
| CN115797970A (zh) | 基于YOLOv5模型的密集行人目标检测方法及系统 | |
| CN116912670A (zh) | 基于改进yolo模型的深海鱼类识别方法 | |
| Wang et al. | Improved glove defect detection algorithm based on YOLOv5 framework |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |