CN117152484A - 改进YOLOv5s的小目标布匹瑕疵检测方法 - Google Patents
改进YOLOv5s的小目标布匹瑕疵检测方法 Download PDFInfo
- Publication number
- CN117152484A CN117152484A CN202310887250.0A CN202310887250A CN117152484A CN 117152484 A CN117152484 A CN 117152484A CN 202310887250 A CN202310887250 A CN 202310887250A CN 117152484 A CN117152484 A CN 117152484A
- Authority
- CN
- China
- Prior art keywords
- yolov5s
- small target
- network
- data set
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000004744 fabric Substances 0.000 title claims abstract description 73
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000007621 cluster analysis Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 37
- 230000002457 bidirectional effect Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 230000007547 defect Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 3
- 230000007246 mechanism Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种改进YOLOv5s的小目标布匹瑕疵检测方法，属于机器视觉检测技术领域，获取小目标布匹瑕疵图像，建立初始的数据集；对小目标布匹瑕疵数据集进行聚类分析并得到聚类中心；将聚类中心值输入至YOLOv5s网络；在YOLOv5s网络引入CA注意力模块，使网络在更大区域内进行注意；采用BiFPN结构作为YOLOv5s网络模型的特征融合网络；采用Eiou损失函数代替原损失函数，不仅考虑了中心点距离和纵横比，而且还考虑了预测框与真实框宽度和高度的真实差异，提高了锚框的预测精度。结果表明，相较于原YOLOv5s算法，本发明在小目标布匹瑕疵检测上具有更强的特征提取能力和更高的检测精度。
Description
技术领域
本发明属于轻工业生产检测技术领域，具体说是一种改进YOLOv5s的小目标布匹瑕疵检测方法。
背景技术
布匹瑕疵检测是一种重要的质量控制程序，旨在保障纺织品在生产过程中的质量，同时提高生产效率和降低成本。在传统生产中，一项瑕疵检测通常需要手动进行，需要耗费大量人力和时间，并且很难保证检测的准确性和一致性。这不仅会导致制造商的成本高昂，而且还可能导致质量问题更难以解决。因此，自动化的布匹瑕疵检测系统应运而生。这些系统利用计算机视觉技术和机器学习算法，能够准确地检测出布匹中的缺陷，并大大提高生产效率和质量一致性。
基于深度学习的目标检测方法现今已广泛应用到各种领域，包括社会安全领域的火焰检测、农林领域的植物病害检测等等。目标检测的任务是在图像中找到感兴趣的目标，并且标注目标的名称以及位置大小。当前已有的目标检测方法对牛仔布匹的瑕疵检测由于其纹理干扰，识别效果并不好，在光线较低的情况下更是有无法识别的情况，
目前使用深度学习技术进行布匹瑕疵的检测主要包括两类：基于候选区域的两阶段瑕疵检测方法和基于回归的一阶段瑕疵检测方法。基于候选区域的两阶段检测算法，主要有RCNN、Fast RCNN等，然而对于基于候选区域的检测算法在RPN阶段，anchor的长宽比通常是固定的，不能适应极端情况(长宽比悬殊的目标)，并且生成的大量anchor大多都是负样本，影响最终的检测精度。而基于回归的一阶段检测算法主要有SSD、YOLO系列等。YOLO系列通过结合布匹瑕疵尺寸和k-means算法对目标瑕疵进行维度聚类，然后将底层特征与高层信息相结合，在不同大小的特征图上加入YOLO检测层，检测速度快，但是对于具有复杂纹理的瑕疵检测效果精度较差。
布匹瑕疵中大多数为尺寸较小的瑕疵，可提取的特征信息少、像素低。且布匹瑕疵种类繁多，形状大小不一，部分瑕疵存在极端长宽比悬殊的情况。对于纹理背景复杂的花色布匹来说，很多表面的瑕疵花纹和花色图案背景极其相似，造成布匹图片纹理信息复杂，瑕疵特征提取困难。因此亟待一种检测方法来提高小目标布匹瑕疵检测精度。
发明内容
发明目的：针对上述现有技术存在的不足，本发明的目的是提供一种，不仅提高了网络训练模型的精度和准确性，尤其对小目标布匹瑕疵能够进行更好的检测的改进YOLOv5s的小目标布匹瑕疵检测方法。
技术方案：为了实现上述发明目的，本发明采用的技术方案如下：
一种改进YOLOv5s的小目标布匹瑕疵检测方法，包括以下步骤：
步骤1：获取小目标布匹瑕疵图像，进行标签标注，并使用图像处理方法对数据集进行扩充，建立初始的小目标布匹瑕疵数据集；
步骤2：采用聚类算法对小目标布匹瑕疵数据集进行聚类分析并得到聚类中心，将获得的聚类中心值输入至YOLOv5s网络；
步骤3：使用标注工具对数据集进行标注，将标注后的图像数据划分为训练集、验证集以及测试集；
步骤4：以YOLOv5s模型为基本架构，在Backbone的C3结构与SPP结构之间引入CA注意力模块；采用BiFPN结构作为特征融合网络；用Eiou损失函数代替原有的损失函数作为目标框回归的损失函数；
步骤5：将训练集输入改进YOLOv5s网络模型中，对改进YOLOv5s网络模型进行训练，验证模型检测效果；
进一步地，在步骤1中，布匹的瑕疵种类包括：0结头、1断经、2破洞；对初始数据集的图像进行仿射变换、平移、旋转、裁剪，将数据集扩充；
进一步地，在步骤2中，利用DBScan结合二分K-means算法对布匹瑕疵数据集进行聚类分析，得到更适合小目标布匹瑕疵的聚类中心；
进一步地，DBScan结合二分K-means算法的实现过程为：
利用DBScan算法的密度可达特性将小目标布匹瑕疵数据集聚合成若干个簇，排除边缘点和孤立点因素的干扰；将每一簇的数据集作为新的输入，利用二分K-means算法的迭代聚合分为两个簇，并计算每个簇的误差，选择能使总误差SSE最小的簇划分为两个簇；重复操作直到选出簇数目达到给定的K值为止；最终共聚类出9个锚框。其中，总误差SSE计算公式如下：
其中，ωi为每簇中聚类中心的权重，pi为子簇的点云数据，p′i为聚类中心点。将通过改进聚类算法获得的锚框信息和小目标布匹瑕疵数据集的训练数据集输入到YOLOv5s算法网络中，进行参数设置；
进一步地，在步骤3中，使用数据标注工具LabelImg对小目标布匹瑕疵数据集进行标注，将标注好的数据集按照8∶2划分成训练集和测试集；
进一步地，在步骤4中，在YOLOv5s模型的Backbone结构中的CSP结构后添加CA注意力机制模块，实现增强网络学习特征的表达能力，提高网络训练模型的平均精度均值；
进一步地，CA注意力机制模块的实现过程为：
为了获取图像宽度和高度上的注意力并对精确位置信息进行编码，先对输入特征图的宽度和高度两个方向进行全局平均池化，得到两个方向的特征图；接着将获得全局感受野的宽度和高度两个方向的特征图拼接在一起，然后将其送入共享的卷积核为1×1的卷积模块，将维度降为原来的C/r，之后将经过批归一化处理后的特征图f送入Sigmoid激活函数得到特征图F；接着将特征图F按照原来的高度和宽度进行卷积核为1×1的卷积分别得到通道数和原来一样的fh和fw经过Sigmoid激活函数分别得到特征图在高度和宽度上的注意力权重；最后在原始特征图上通过乘法加计算，最终得到在宽度和高度方向上带有注意力权重的特征图；
进一步地，在步骤4中，采用BiFPN结构作为特征融合网络，所述BiFPN结构是一种加权双向特征金字塔网络，基于FPN结构BiFPN网络的每个节点都会对输入的特征向量以加权融合的方式来融合不同特征层，基于PANet结构BiFPN网络重复实现自上而下和自下而上的双向融合，最终三个BiFPN基础结构叠加输出融合低维和高维的特征；
进一步地，在步骤4中，采用Eiou损失函数替代原有的Ciou损失函数，
EIoU损失函数如式下：
其中，LIoU表示两个矩形框重叠部分的交并比IoU的损失，Ldis表示距离损失，Lasp表示边长损失；ρ2(b，bgt)表示预测框和真实框的中心点的欧式距离，b表示预测框中心点的坐标，bgt表示真实框中心点的坐标，gt表示真实值，c表示能够同时包含预测框和真实框的最小闭包区域的对角线距离，ρ2(ω，ωgt)表示预测框和真实框的宽度的欧式距离，ω表示预测框的宽，ωgt表示真实框的宽，Cω表示能够同时包含预测框和真实框的最小闭包区域的宽，ρ2(h，hgt)表示预测框和真实框的高度的欧式距离，h表示预测框的高度，hgt表示真实框的高度；Ch表示能够同时包含预测框和真实框的最小闭包区域的高。
进一步地，在步骤5中，训练网络模型：对改进后的YOLOv5s网络配置文件进行参数设置，将设置好参数的yaml文件及改进后YOLOv5s网络结构放入配置好环境的计算机中，运用训练集和验证集中标记好的图片进行训练，训练过程中，得到每一个阶段训练的效果，并设置过程监控参数观察训练的mAP值，训练结束后保存训练好的网络模型权重。
有益效果：与现有技术相比，本发明有以下有益效果：
(1)在Backbone的C3结构与SPP结构之间引入CA注意力机制。CA注意力机制将水平方向的全局特征和垂直方向的全局特征拼接成整个的全局特征，在一定程度上解决了长距离依赖问题，使网络在更大区域内进行注。
(2)采用BiFPN结构作为YOLOv5s网络模型的特征融合网络，优化原有的FPN和PANet结构。BiFPN运用双向融合思想，在前向传播之外重新构造自顶向下，自底向上的双向通道，对来自主干网不同尺度的特征信息进行融合，通过上采样与下采样统一特征分辨率尺度，并在同一尺度的特征间添加双横向连接，缓解因网络层级过多造成的特征信息丢失。
(3)对原先的损失函数进行修改，采用Eiou_Loss代替，Eiou_Loss不仅考虑了中心点距离和纵横比，而且还考虑了预测框与真实框宽度和高度的真实差异，提高了锚框的预测精度，加快网络的收敛速度。
(4)将改进后的算法应用在布匹瑕疵检测中，实验结果表明，相较于原始YOLOv5s算法，该算法在小目标布匹瑕疵检测上具有更强的特征提取能力和更高的检测精度。
附图说明
图1为本发明中改进YOLOv5s的小目标布匹瑕疵检测方法的流程图。
图2为本发明中改进的Yolov5s网络模型图。
图3为本发明中使用改进yolov5s网络后的小目标布匹瑕疵检测结果图(部分)。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，本实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。
如图1所示，本发明实施公开了改进YOLOv5s的小目标布匹瑕疵检测方法，首先，建立小目标布匹瑕疵数据集；对小目标布匹瑕疵数据集进行聚类分析并得到聚类中心；引入yolov5s网络模型并对模型的Backbone结构及neck结构加以改进，使用Eiou损失函数作为目标框回归的损失函数；使用改进后的yolov5s网络模型对数据集进行训练，得到最终的小目标布匹瑕疵检测模型，得到最终的检测结果。具体通过以下步骤实现：
S1、建立小目标布匹瑕疵数据集：
获取小目标布匹瑕疵图像，构建初始的数据集，主要为牛仔型布料，包括不同的瑕疵种类：0结头、1断经、2破洞。采用图像处理方法对数据集进行扩充，图像处理方法有仿射变换、平移、旋转、裁剪，将数据集扩充，来增加数据集的丰富性，防止模型过拟合，提高模型的泛化能力。
S2、采用聚类算法对小目标布匹瑕疵数据集进行聚类分析并得到聚类中心，将获得的聚类中心值输入至YOLOv5s网络：
本实施例中采用DBScan(Density-Based Spatial Clustering of Applicationswith Noise)与二分K-means结合的聚类算法对布匹瑕疵数据集进行聚类分析，得到更适合小目标布匹瑕疵的聚类中心；通过改进聚类算法获得的锚框信息和小目标布匹瑕疵数据集的训练数据集输入到YOLOv5s算法网络中，进行相关参数设置。
利用DBScan算法的密度可达特性将小目标布匹瑕疵数据集聚合成若干个簇，排除边缘点和孤立点因素的干扰；将每一簇的数据集作为新的输入，利用二分K-means算法的迭代聚合分为两个簇，并计算每个簇的误差，选择能使总误差SSE最小的簇划分为两个簇；重复操作直到选出簇数目达到给定的K值为止；最终共聚类出9个锚框。其中，总误差SSE计算公式如下：
其中，ωi为每簇中聚类中心的权重，pi为子簇的点云数据，p′i为聚类中心点。
S3、使用数据标注工具LabelImg对小目标布匹瑕疵数据集进行标注，将标注好的数据集按照8：2划分成训练集和测试集：
对小目标布匹瑕疵数据集进行标注，用矩形框标注出图像中布匹瑕疵的位置，将目标物体完全框住，以保证检测的准确率，将标注布匹瑕疵的种类(0结头、1断经、2破洞)和位置信息保存为YOLOv5s可以直接识别的yolo_txt文件；将标注好的数据集按照8：2划分成训练集和测试集。
S4、构建改进的YOLOv5S网络模型：
以YOLOv5s模型为基本架构，分别对YOLOv5s特征提取网络、Backbone结构、特征融合网络和进行改进。包括(1)在Backbone的C3结构与SPP结构之间引入CA注意力机制(coordinate attention，CA)模型；(2)采用BiFPN结构作为YOLOv5s网络模型的特征融合网络，优化原有的FPN和PANet结构。(3)使用Eiou损失函数代替原有的损失函数作为目标框回归的损失函数，提高了锚框的预测精度。具体内容如下：
S41：在Backbone的C3结构与SPP结构之间引入CA注意力模块；CA注意力模块是为了增强网络学习特征的表达能力，提高网络训练模型的平均精度均值。
CA注意力模块实现过程：CA注意力模块为了获取图像宽度和高度上的注意力并对精确位置信息进行编码，先对输入特征图的宽度和高度两个方向进行全局平均池化，得到两个方向的特征图，公式如下：
其中，W是输入特征图的宽度，H是输入特征图的高度，xc表示第c个通道处的输入，h表示处于特征图的h高度处，xc(h，i)表示在h高度处将宽度W分成W等分第i个等分处的输入，xc(j，w)表示在w宽度处将高度H分成H等分第j个等分处的输入；
接着将获得全局感受野的宽度和高度两个方向的特征图拼接在一起，然后将其送入共享的卷积核为1×1的卷积模块，将维度降为原来的C/r，之后将经过批归一化处理后的特征图f送入Sigmoid激活函数得到特征图F，公式如下：
其中，δ表示Sigmoid激活函数，激活函数的公式如下：
接着将特征图F按照原来的高度和宽度进行卷积核为1×1的卷积分别得到通道数和原来一样的fh和fw，经过Sigmoid激活函数分别得到特征图在高度和宽度上的注意力权重ωh和ωw，公式如下：
ωh＝δ(fh(Fh))
ωw＝δ(fw(Fw))
其中，Fh和Fw分别是特征图F在高度和宽度方向上的分量，fh和fw分别是特征图F两个分量经过1×1卷积后的特征图；
最后在原始特征图上通过乘法计算，最终得到在宽度和高度方向上带有注意力权重的特征图，公式如下：
其中，xc(m，n)是原始特征图，和/>分别是高度和宽度方向带有注意力权重的特征图。
S42：用BiFPN结构作为YOLOv5s网络模型的特征融合网络，优化原有的FPN和PANet结构：
BiFPN结构是一种加权双向特征金字塔网络，基于FPN结构BiFPN网络的每个节点都会对输入的特征向量以加权融合的方式来融合不同特征层，基于PANet结构BiFPN网络重复实现自上而下和自下而上的双向融合，最终三个BiFPN基础结构叠加输出融合低维和高维的特征。BiFPN运用双向融合思想，在前向传播之外重新构造自顶向下，自底向上的双向通道，对来自主干网不同尺度的特征信息进行融合，通过上采样与下采样统一特征分辨率尺度，并在同一尺度的特征间添加双横向连接，缓解因网络层级过多造成的特征信息丢失。
S43：使用Eiou损失函数代替原有的损失函数作为目标框回归的损失函数：
IoU和IoU损失函数的公式如下：
其中：B表示预测框的面积；Bi表示真实框的面积。
YOLOv5s网络使用Ciou作为网络损失函数。Ciou在Diou的基础上将Boundingbox的纵横比考虑进损失函数中，在Diou的惩罚项基础上加了一个影响因子dv，进一步提升了回归精度。
其中，d是权重系数，v表示检测框和真实框的长宽比的距离，b和bgt分别表示类别是布匹瑕疵的预测框和非布匹瑕疵的预测框的中心点，ρ表示欧氏距离，c表示目标最小外接矩形的对角线距离，IoU表示两个框的交集面积比上两个框的并集面积，d和v的表达式为：
其中，ωgt为真实矩形框的宽，hgt为真实矩形框的高，ω为检测矩形框的宽，h为检测矩形框的高。
Ciou虽然考虑了边界框回归的重叠面积、中心点距离、纵横比，但是其公式中的v反映的是纵横比的差异，而不是宽高分别与其置信度的真实差异，所以有时会阻碍模型优化。Eiou不仅考虑了中心点距离和纵横比，而且还考虑了目标和锚箱宽度和高度的真实差异。Eiou损失函数直接最小化这些差异，并加速模型收敛。EIoU损失函数如式下：
其中，LIoU表示两个矩形框重叠部分的交并比IoU的损失，Ldis表示距离损失，Lasp表示边长损失；ρ2(b，bgt)表示预测框和真实框的中心点的欧式距离，b表示预测框中心点的坐标，bgt表示真实框中心点的坐标，gt表示真实值，c表示能够同时包含预测框和真实框的最小闭包区域的对角线距离，ρ2(ω，ωgt)表示预测框和真实框的宽度的欧式距离，ω表示预测框的宽，ωgt表示真实框的宽，Cω表示能够同时包含预测框和真实框的最小闭包区域的宽，ρ2(h，hgt)表示预测框和真实框的高度的欧式距离，h表示预测框的高度，hgt表示真实框的高度；Ch表示能够同时包含预测框和真实框的最小闭包区域的高。
本发明中，采用Eiou损失函数替代原有的Ciou损失函数，不仅考虑了中心点距离和纵横比，而且还考虑了预测框与真实框宽度和高度的真实差异，提高了锚框的预测精度。
S5、使用改进后的yolov5s网络模型对数据集进行训练，得到最终的小目标布匹瑕疵检测模型，得到最终的检测结果。
训练网络模型：对改进后的YOLOv5s网络配置文件进行参数设置，将设置好参数的yaml文件及改进后YOLOv5s网络结构放入配置好环境的计算机中，运用训练集和验证集中标记好的图片进行训练，训练过程中，得到每一个阶段训练的效果，并设置过程监控参数观察训练的mAP值，训练结束后保存训练好的网络模型权重。
将训练数据集和测试数据集传入改进后的yolov5s网络模型，设置如下参数：输入图像大小设置为640*640，batch_size设置为4，训练次数epoch设置为100，然后进行模型的训练。
本发明还对于了改进后的yolov5s网络模型和原来的yolov5s网络模型进行了性能验证，实验环境为：CPU：Intel(R)Core(TM)i9-9900K，内存32g，显卡为RTX 2080Ti，Cuda版本12.1，框架采用的是Pytorch。实验结果如下。
改进后的yolov5s模型的mAP值为96.7％，原先yolov5s的mAP值为84.3％，提高了12.4个百分点；改进后的yolov5s模型的精度值93.5％，原先的yolov5s模型的精度值为83.7％，提高了9.8个百分点；改进后的yolov5s模型的召回率为94.1％，原先的yolov5s模型的召回率为89.3％，提高了4.8个百分点，综合可知，改进后的yolov5s模型在多个性能评价指标上都优于原先的yolov5s模型。
输出检测结果，检测结果图(部分)如图2所示，可知，本发明的小目标布匹瑕疵检测模型能够准确识别小目标布匹瑕疵。
具体实施方式只是本发明的一个优选实施例，并不是用来限制本发明的实施与权利要求范围的，凡依据本发明申请专利保护范围内容做出的等效变化和修饰，均应包括于本发明专利申请范围内。
Claims (8)
1.一种改进YOLOv5s的小目标布匹瑕疵检测方法，其特征在于，包括以下步骤：
步骤1：获取小目标布匹瑕疵图像，进行标签标注，并使用图像处理方法对数据集进行扩充，建立初始的小目标布匹瑕疵数据集；
步骤2：采用聚类算法对小目标布匹瑕疵数据集进行聚类分析并得到聚类中心，将获得的聚类中心值输入至YOLOv5s网络；
步骤3：使用标注工具对数据集进行标注，将标注后的图像数据划分为训练集和测试集；
步骤4：以YOLOv5s模型为基本架构，在Backbone的C3结构与SPP结构之间引入CA注意力模块；采用BiFPN结构作为特征融合网络；用Eiou损失函数代替原有的损失函数作为目标框回归的损失函数；
步骤5：将训练集输入改进YOLOv5s网络模型中，对改进YOLOv5s网络模型进行训练，验证模型检测效果。
2.根据权利要求1所述的改进YOLOv5s的小目标布匹瑕疵检测方法，其特征在于，在步骤1中，布匹的瑕疵种类包括：0结头、1断经、2破洞；对初始数据集的图像进行仿射变换、平移、旋转、裁剪，将数据集扩充。
3.根据权利要求1所述的改进YOLOv5s的小目标布匹瑕疵检测方法，其特征在于，在步骤2中，利用DBScan结合二分K-means算法对布匹瑕疵数据集进行聚类分析，得到更适合小目标布匹瑕疵的聚类中心；利用DBScan算法的密度可达特性将小目标布匹瑕疵数据集聚合成若干个簇，排除边缘点和孤立点因素的干扰；将每一簇的数据集作为新的输入，利用二分K-means算法的迭代聚合分为两个簇，并计算每个簇的误差，选择能使总误差SSE最小的簇划分为两个簇；重复操作直到选出簇数目达到给定的K值为止；最终共聚类出9个锚框，将通过改进聚类算法获得的锚框信息和小目标布匹瑕疵数据集的训练数据集输入到YOLOv5s算法网络中，进行参数设置。
4.根据权利要求1所述的改进YOLOv5s的小目标布匹瑕疵检测方法，其特征在于，在步骤3中，使用数据标注工具LabelImg对小目标布匹瑕疵数据集进行标注，用矩形框标注出图像中布匹瑕疵的位置，将目标物体完全框住，以保证检测的准确率，将图像中被标注物体的种类信息和位置信息保存至YOLOv5s可以直接识别的yolo_txt文件；将标注好的数据集按照8:2划分成训练集和测试集。
5.根据权利要求1所述的改进YOLOv5s的小目标布匹瑕疵检测方法，其特征在于，在步骤4中，CA注意力模块为了获取图像宽度和高度上的注意力并对精确位置信息进行编码，先对输入特征图的宽度和高度两个方向进行全局平均池化，得到两个方向的特征图；
接着将获得全局感受野的宽度和高度两个方向的特征图拼接在一起，然后将其送入共享的卷积核为1×1的卷积模块，将维度降为原来的C/r，之后将经过批归一化处理后的特征图f送入Sigmoid激活函数得到特征图F；
然后将特征图F按照原来的高度和宽度进行卷积核为1×1的卷积分别得到通道数和原来一样的fh和fw，经过Sigmoid激活函数分别得到特征图在高度和宽度上的注意力权重ωh和ωw，fh和fw分别是特征图F两个分量经过1×1卷积后的特征图；
最后在原始特征图上通过乘法计算，最终得到在宽度和高度方向上带有注意力权重的特征图。
6.根据权利要求1所述的改进YOLOv5s的小目标布匹瑕疵检测方法，其特征在于，在步骤4中，所述BiFPN结构是一种加权双向特征金字塔网络，基于FPN结构BiFPN网络的每个节点都会对输入的特征向量以加权融合的方式来融合不同特征层，基于PANet结构BiFPN网络重复实现自上而下和自下而上的双向融合，最终三个BiFPN基础结构叠加输出融合低维和高维的特征；BiFPN运用双向融合思想，在前向传播之外重新构造自顶向下，自底向上的双向通道，对来自主干网不同尺度的特征信息进行融合，通过上采样与下采样统一特征分辨率尺度，并在同一尺度的特征间添加双横向连接，缓解因网络层级过多造成的特征信息丢失。
7.根据权利要求9所述的改进YOLOv5s的小目标布匹瑕疵检测方法，其特征在于，采用Eiou损失函数替代原有的Ciou损失函数，
EIoU损失函数如式下：
其中，LIoU表示两个矩形框重叠部分的交并比IoU的损失，Ldis表示距离损失，Lasp表示边长损失；ρ2(b,bgt)表示预测框和真实框的中心点的欧式距离，b表示预测框中心点的坐标，bgt表示真实框中心点的坐标，gt表示真实值，c表示能够同时包含预测框和真实框的最小闭包区域的对角线距离，ρ2(ω,ωgt)表示预测框和真实框的宽度的欧式距离，ω表示预测框的宽，ωgt表示真实框的宽，Cω表示能够同时包含预测框和真实框的最小闭包区域的宽，ρ2(h,hgt)表示预测框和真实框的高度的欧式距离，h表示预测框的高度，hgt表示真实框的高度；Ch表示能够同时包含预测框和真实框的最小闭包区域的高。
8.根据权利要求1所述的改进YOLOv5s的小目标布匹瑕疵检测方法，其特征在于，在步骤5中，训练网络模型：对改进后的YOLOv5s网络配置文件进行参数设置，将设置好参数的yaml文件及改进后YOLOv5s网络结构放入配置好环境的计算机中，运用训练集和验证集中标记好的图片进行训练，训练过程中，得到每一个阶段训练的效果，并设置过程监控参数观察训练的mAP值，训练结束后保存训练好的网络模型权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310887250.0A CN117152484B (zh) | 2023-07-19 | 2023-07-19 | 基于改进的YOLOv5s的小目标布匹瑕疵检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310887250.0A CN117152484B (zh) | 2023-07-19 | 2023-07-19 | 基于改进的YOLOv5s的小目标布匹瑕疵检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117152484A true CN117152484A (zh) | 2023-12-01 |
| CN117152484B CN117152484B (zh) | 2024-03-26 |
Family
ID=88897546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310887250.0A Active CN117152484B (zh) | 2023-07-19 | 2023-07-19 | 基于改进的YOLOv5s的小目标布匹瑕疵检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117152484B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117522864A (zh) * | 2024-01-02 | 2024-02-06 | 山东旭美尚诺装饰材料有限公司 | 基于机器视觉的欧松板表面瑕疵检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115049619A (zh) * | 2022-06-16 | 2022-09-13 | 浙江理工大学 | 一种针对复杂场景的高效瑕疵检测方法 |
| CN115187544A (zh) * | 2022-07-07 | 2022-10-14 | 浙江理工大学 | 基于DR-RSBU-YOLOv5的织物瑕疵检测方法 |
| CN115205274A (zh) * | 2022-07-26 | 2022-10-18 | 西南石油大学 | 一种基于轻量化级联网络的布匹瑕疵检测方法 |
| CN115346177A (zh) * | 2022-08-15 | 2022-11-15 | 西京学院 | 一种新的路侧视角下目标检测系统及方法 |
-
2023
- 2023-07-19 CN CN202310887250.0A patent/CN117152484B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115049619A (zh) * | 2022-06-16 | 2022-09-13 | 浙江理工大学 | 一种针对复杂场景的高效瑕疵检测方法 |
| CN115187544A (zh) * | 2022-07-07 | 2022-10-14 | 浙江理工大学 | 基于DR-RSBU-YOLOv5的织物瑕疵检测方法 |
| CN115205274A (zh) * | 2022-07-26 | 2022-10-18 | 西南石油大学 | 一种基于轻量化级联网络的布匹瑕疵检测方法 |
| CN115346177A (zh) * | 2022-08-15 | 2022-11-15 | 西京学院 | 一种新的路侧视角下目标检测系统及方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117522864A (zh) * | 2024-01-02 | 2024-02-06 | 山东旭美尚诺装饰材料有限公司 | 基于机器视觉的欧松板表面瑕疵检测方法 |
| CN117522864B (zh) * | 2024-01-02 | 2024-03-19 | 山东旭美尚诺装饰材料有限公司 | 基于机器视觉的欧松板表面瑕疵检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117152484B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111612763B (zh) | 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质 | |
| CN112396002B (zh) | 一种基于SE-YOLOv3的轻量级遥感目标检测方法 | |
| CN113920107A (zh) | 一种基于改进yolov5算法的绝缘子破损检测方法 | |
| CN109858547A (zh) | 一种基于bssd的目标检测方法与装置 | |
| CN110647802A (zh) | 基于深度学习的遥感影像舰船目标检测方法 | |
| CN111932511B (zh) | 一种基于深度学习的电子元器件质量检测方法与系统 | |
| CN112529005B (zh) | 基于语义特征一致性监督金字塔网络的目标检测方法 | |
| CN113435282B (zh) | 基于深度学习的无人机影像麦穗识别方法 | |
| CN117152484B (zh) | 基于改进的YOLOv5s的小目标布匹瑕疵检测方法 | |
| CN112215217B (zh) | 模拟医师阅片的数字图像识别方法及装置 | |
| CN114037907A (zh) | 输电线路的检测方法、装置、计算机设备、存储介质 | |
| CN116597224A (zh) | 基于改进yolo v8网络模型的马铃薯缺陷检测方法 | |
| CN110909656B (zh) | 一种雷达与摄像机融合的行人检测方法和系统 | |
| CN115147644A (zh) | 图像描述模型的训练和描述方法、系统、设备及存储介质 | |
| Wen et al. | PCDNet: Seed operation–based deep learning model for pavement crack detection on 3D asphalt surface | |
| CN113128564B (zh) | 一种基于深度学习的复杂背景下典型目标检测方法及系统 | |
| Wang et al. | Improved YOLOv3 detection method for PCB plug-in solder joint defects based on ordered probability density weighting and attention mechanism | |
| CN114332473A (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
| CN116503677B (zh) | 一种湿地分类信息提取方法、系统、电子设备及存储介质 | |
| CN117372898A (zh) | 一种基于改进yolov8的无人机航拍图像目标检测方法 | |
| CN115620083B (zh) | 模型训练方法、人脸图像质量评价方法、设备及介质 | |
| CN111582057A (zh) | 一种基于局部感受野的人脸验证方法 | |
| CN116310899A (zh) | 基于YOLOv5改进的目标检测方法及装置、训练方法 | |
| CN116310688A (zh) | 基于级联融合的目标检测模型及其构建方法、装置及应用 | |
| CN113139540B (zh) | 背板检测方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |