CN116402769A - 一种兼顾大小目标的高精度纺织品瑕疵智能检测方法 - Google Patents

一种兼顾大小目标的高精度纺织品瑕疵智能检测方法 Download PDF

Info

Publication number
CN116402769A
CN116402769A CN202310285940.9A CN202310285940A CN116402769A CN 116402769 A CN116402769 A CN 116402769A CN 202310285940 A CN202310285940 A CN 202310285940A CN 116402769 A CN116402769 A CN 116402769A
Authority
CN
China
Prior art keywords
network
textile
yolov7
flaws
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310285940.9A
Other languages
English (en)
Inventor
李俊峰
何彦弘
李永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University Of Science And Technology Tongxiang Research Institute Co ltd
Original Assignee
Zhejiang University Of Science And Technology Tongxiang Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University Of Science And Technology Tongxiang Research Institute Co ltd filed Critical Zhejiang University Of Science And Technology Tongxiang Research Institute Co ltd
Priority to CN202310285940.9A priority Critical patent/CN116402769A/zh
Publication of CN116402769A publication Critical patent/CN116402769A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明属于纺织品瑕疵检测技术领域，具体公开了一种兼顾大小目标的高精度纺织品瑕疵智能检测方法，包括使用图像采集设备采集纺织品的图像，然后将图像进行裁剪并输入改进后的YOLOv7网络获得带有纺织品瑕疵标记框和置信度的检测结果，改进YOLOv7网络为在YOLOv7网络的头部网络中三个尺度特征图输出路径上的RepConv卷积前各增加一个SimAM注意力机制，并将头部网络中大尺度特征图输出路径上的ELAN‑H结构替换为Conv‑TR模块。本发明的改进YOLOv7网络能够同时适应小目标和极端长宽比的目标，与现有技术相比，提高了检测精度和检测性能。

Description

一种兼顾大小目标的高精度纺织品瑕疵智能检测方法
技术领域
本发明属于纺织品瑕疵检测技术领域，具体涉及一种兼顾大小目标的高精度纺织品瑕疵智能检测方法。
背景技术
中国是大的纺织品服装生产和出口国，纺织业对我国的经济和发展至关重要。在纺织品生产过程中常会出现多种瑕疵，包括断经、断纬、粗节等等，而这些瑕疵会严重影响纺织品的质量，降低纺织品生产合格率。因此在纺织品出厂前需要经过一道检测工序，检测是否有瑕疵，对出厂产品的质量进行把关。
传统纺织品瑕疵检测主要依靠人工结合放大镜进行质检，但是人工检查布匹的速度较慢一般为10～20m/min,效率较低，同时存在人工成本高，对瑕疵的判断主要依靠主观判断和判断标准不统一的问题且易出现大量漏检和误检。
现有采用深度学习网络技术用于目标检测的主要分为两大类，一类是以R-CNN为代表的两阶段目标检测方法，检测精度高但速度较慢；另一类是以YOLO为代表的单阶段目标检测算法，精度虽较第一类算法低但检测速度快。单阶段目标检测技术能更好地平衡检测精度和检测速度，更加适合本发明的应用场景。YOLOv7是目前最新提出的网络，结合了多种现有技术，但是仍然难以直接利用到纺织品检测任务上，具体表现在以下问题问：第一，部分瑕疵具有极端长宽比，检测难度大；第二，部分瑕疵非常小，检出率低，模型难以学习小目标的特征；第三，纺织品检测尺寸过大，采集图片无法直接进行检测。因此需要改进现有技术使之能够兼顾大小目标地用于纺织品的瑕疵检测场景。
发明内容
本发明要解决的技术问题是提供一种兼顾大小目标的高精度纺织品瑕疵智能检测方法，用以对纺织品上的大小目标均能快速、准确地检测。
为了解决上述技术问题，本发明提供一种兼顾大小目标的高精度纺织品瑕疵智能检测方法，包括：采集纺织品的图像并发送至上位机，然后将采集的图像进行裁剪并输入改进YOLOv7网络获得带有纺织品瑕疵标记框和置信度的检测结果；
所述改进YOLOv7网络包括在YOLOv7网络的头部网络中三个尺度特征图输出路径上的RepConv卷积前各增加一个SimAM注意力机制，并将头部网络中大尺度特征图输出路径上的ELAN-H结构替换为Conv-TR模块。
作为本发明的一种兼顾大小目标的的高精度纺织品瑕疵智能检测方法的改进：
所述改进YOLOv7网络的锚框大小分别为(22,27)、(71,38)、(46,94)、(220,63)、(98,248)、(74,399)、(386,101)、(114,401)、(162,397)。
作为本发明的一种兼顾大小目标的高精度纺织品瑕疵智能检测方法的改进：
所述Conv-TR模块包括依次连接的三个CBS模块和一个Transformer模块；
所述Transformer模块包括卷积核为1×1的CBS模块、线性变换模块和Transformer层，仅当输入特征图的通道数与输出特征图的通道数不同时使用卷积核为1×1的CBS模块，再将输入特征图压缩变换为2维后经过线性变换再与原来的输入特征图相加，然后经过Transformer层和维度变换得到三维特征图输出；
所述Transformer层为一个。
作为本发明的一种兼顾大小目标的高精度纺织品瑕疵智能检测方法的改进：
所述改进YOLOv7网络的训练和测试过程为：利用相机采集待检测纺织品的图像构建训练集，对训练集中的图像进行瑕疵标注和数据增强处理，设定训练网络参数，采用Adam优化器进行训练；每轮训练以训练集的32张图片为一批进行正向推理，通过损失函数计算损失值；在每轮训练结束后，将验证集图片输入当前的改进YOLOv7网络进行测试，获得测试集中的图片的预测类别与置信度，统计模型性能。
作为本发明的一种兼顾大小目标的高精度纺织品瑕疵智能检测方法的改进：
所述数据增强处理具体为：先对于所述训练集中的图像先进行Copy-pasting数据增强处理，再采用水平和垂直翻转、随机旋转和椒盐噪声方法进行处理。
作为本发明的一种兼顾大小目标的高精度纺织品瑕疵智能检测方法的改进：
所述Copy-pasting数据增强处理为将小于30×30像素的标注裁剪下来再通过泊松融合随机粘贴到图像上无标注的位置。
作为本发明的一种兼顾大小目标的的高精度纺织品瑕疵智能检测方法的改进：
所述损失函数为：
Loss＝wbboxLbbox+wclsLcls+wobjLobj (7)
Lcls的值为0，wbbox，wobj的值分别为0.7和0.3，Lbbox为采用αCIoU损失函数作为定位损失函数，Lobj指置信度误差。
本发明的有益效果主要体现在：
1、本发明通过k-means聚类得到的合适的锚框，使得本发明改进YOLOv7网络能够同时适应小目标和极端长宽比的目标，与现有技术相比，提高了检测精度。
2、本发明通过加权损失函数，提高了边界框损失函数对损失函数的贡献，优化了网络的性能。
3、本发明通过添加SimAM注意力机制和运用Transformer模块，提升网络对特征提取能力，从而提升网络检测精度。
4、本发明通过数据增强方法扩充数据集，同时对数据集中的小目标运用Copy-Pasting方法进行数据增强，提高了其对损失函数的贡献，从而提升网络的检测性能。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1为YOLOv7的网络结构示意图；
图2为本发明的改进YOLOv7的网络结构示意图；
图3为图2中Covn-TR模块的结构示意图；
图4为Copy-Pasting数据增强处理的效果示意图；
图5为随机旋转、椒盐噪声以及同时采用随机旋转椒盐噪声方法进行数据增强处理的效果示意图；
图6为本发明的改进YOLOv7网络的检测结果的二个示意图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：
实施例1、一种兼顾大小目标的高精度纺织品瑕疵智能检测方法，基于改进YOLOv7网络来进行纺织品瑕疵方法，首先构建改进YOLOv7网络，然后利用相机采集待检测纺织品图像构建训练集，对训练集中的小目标采用Copy-Pasting策略进行数据增强处理，然后输入至改进YOLOv7网络中进行训练和测试，从而获得可以实时检测纺织品瑕疵使用的改进YOLOv7网络，不仅解决了人工检测速度慢和主观性强的问题，而且能有效提升纺织品检测效率提升产品质量，具体过程如下：
步骤1、构建YOLOv7目标检测网络
本发明对YOLOv7目标检测网络进行改进，从而能检测到纺织品大小瑕疵并得到其坐标信息。
步骤1.1、构建基础的YOLOv7网络
基础的YOLOv7网络，由输入端(input)、骨干网络(backbone)和头部网络(head)三部分组成，如图1所示，特征图输入到骨干网络(backbone)中，经过包括4个CBS和三个MP+ELAN的结构，经过三个MP+ELAN对应输出三个特征图C3/C4/C5进入头部网络(head)，头部网络(head)为PAFPN的结构，其中，大尺寸特征图C5经过SPPCSP按照top down和C4、C3融合，得到P3、P4和P5；再按bottom-up和P4、P5做融合并再经过一个ELAN-H结构，从而获得三个不同尺度大小的特征图F，再各自经过Rep和conv输出三个不同尺度上的预测结果。
步骤1.2改进YOLOv7网络
在基于步骤1.1构建的基础的YOLOv7网络中进行两个方面(Improvement1和Improment2)的改进，如图2所示，从而获得改进YOLOv7网络：
(1)在头部网络(head)中的三个尺度特征图输出路径上的RepConv卷积前各增加一个SimAM注意力机制；
(2)在头部网络(head)中，将特征图C5经过SPPCSP与P4融合后的ELAN-H结构替换为Conv-TR模块。
步骤1.2.1、增加SimAM注意力机制
SimAM是一个用于卷积神经网络简单但高效的模块，该注意力机制以神经科学理论为基础，通过优化能量函数来得到网络中每个神经元的重要性。在视觉神经科学中，信息量最高的神经元与周围神经元具有明显不同的发射模式，同时，一个活跃的神经元可能会抑制周围的神经元。因此能带来显著抑制效应的神经元应该在视觉信息处理中更为重要。SimAM注意力机制为每个神经元定义能量函数如下：
Figure BDA0004139878920000041
其中，
Figure BDA0004139878920000042
分别是t和xi的线性变换；t和xi分别表示在输入特征图/>
Figure BDA0004139878920000043
一个通道中的要寻找的目标神经元和其他神经元，i表示空间维度，M＝H×W表示该通道神经元的数量，wt和bt分别是线性变换的权重和偏置。
当式(1)得取得最小值时，可以找到同一通道中目标神经元和其他神经元的线性分离方法，此时
Figure BDA0004139878920000051
且/>
Figure BDA0004139878920000052
用数值-1和1对yt和yo二值化以简化式(1)，同时在能量函数中增加正则化项，最终能量函数下式：
Figure BDA0004139878920000053
式(2)的解析解如下：
Figure BDA0004139878920000054
Figure BDA0004139878920000055
其中，
Figure BDA0004139878920000056
和/>
Figure BDA0004139878920000057
分别是除目标神经元以外所有神经元的均值与方差。假设通道中的所有像素都遵循相同的分布，均值和方差可以在所有神经元上计算得到从而大大减少了计算成本。因此最小能量可以表示如下
Figure BDA0004139878920000058
其中，
Figure BDA0004139878920000059
和/>
Figure BDA00041398789200000510
每个神经元的重要性可以通过计算1/et *得到。最终SimAM注意力机制的计算方法如下：
Figure BDA00041398789200000511
其中E包含了所有通道和空间维度上的et *。sigmoid函数可以限制E中过大的值，同时由于sigmoid具有单调性，不会影响每个神经元的相对重要性。
改进YOLOv7网络在每个对应不同尺度输出的RepConv卷积前添加了SimAm注意力机制。
步骤1.2.2、Transformer模型的应用
本发明采用卷积和Transformer结合的方法得到Conv-TR模块来替代原有的ELAN-H。Conv-TR模块结合了卷积和Transformer，如图3所示：输入的特征图通过3个CBS模块，再进入Transformer模块(Transformer Block)。Transformer模块包括卷积核为1×1的CBS模块、线性变换(Linear)模块和Transformer层(Transformer Layer)，仅当输入特征图的通道数与输出特征图的通道数不同时使用卷积核为1×1的CBS模块，然后将三维特征图压缩变换为2维后得到p，经过线性变换(Linear)再与原来的输入特征图相加，然后经过Transformer层(Transformer Layer)和维度变换得到三维特征图输出。Transformer模块(Transformer Block)中Transformer层(Transformer Layer)的数量是可以自行定义的，本发明中出于模型大小的计算速度的考虑仅使用了一个Transformer层(TransformerLayer)。
Transformer层中最重要的组成部分是多头注意力机制(Multi-headAttention)，输入的二维数组分别通过三个线性变换(linear)和进入多头注意力机制(Multi-head Attention)，然后与输入相加，再经过两次线性变化后再一次与输入相加得到最终输出。
步骤1.2.3、相关超参数的设置
由于纺织品瑕疵存在极端长宽比和部分为小目标的特点，故YOLOv7默认的锚框大小并不适用。本发明对数据集内所有的目标(瑕疵)尺寸采用k-means聚类算法，得到了9个适应本数据集的大小适应的锚框，分别为(22,27)、(71,38)、(46,94)、(220,63)、(98,248)、(74,399)、(386,101)、(114,401)、(162,397)，使得本发明的改进YOLOv7网络能够同时适应小目标和极端长宽比的目标，解决了现有技术检测精度较低的问题
步骤2、测试和训练改进YOLOv7网络
步骤2.1、改进YOLOv7网络的训练数据集
采用手机或数码相机等工具对带有瑕疵的纺织品进行拍摄，手动采集原始图像共2723张，上传至计算机中进行进一步处理：
1)、对每张原始图像用LabelImg软件对原始图像上的瑕疵采用矩形框进行标注，一张原始图像上可能存在多个瑕疵，因此一张图像对应于一个或多个标注，最终共获得3262个标注：
2)、将每张带有标注的图像统一缩放大小至416×416像素，按照85％：15％的比例划分训练集和测试集，其中，训练集为2314张，测试集为409张；
3)、对训练集中的图像进行数据增强，具体方法为：
第一，采用Copy-pasting数据增强方法对于小目标进行扩充：对于大小小于30×30像素的标注，将其裁剪下来再通过泊松融合随机粘贴到图像上无标注的位置(即无瑕疵的位置)避免与原有瑕疵重合，如图4所示；第二，对于Copy-pasting数据增强后的图像再采用水平和垂直翻转、随机旋转(-15°-15°范围)和椒盐噪声(2％)方法进行数据增强：先在训练集中的随机选择578张图像进行水平翻转，并与原始训练集的2314图像合并为水平翻转后的训练集(包括578张水平翻转后的图像和原始训练集的2314图像)，然后水平翻转后的训练集中随机选择579张图像进行垂直翻转，并与水平翻转后的训练集合并为垂直翻转后的训练集(包括579张垂直翻转后的图像、578张水平翻转后的图像和原始训练集的2314图像)，然后在垂直翻转后的训练集中随机选取578张图像进行随机旋转(-15°-15°范围)，最后在垂直翻转后的训练集中随机选取579张图像进行椒盐噪声(2％)处理，最终获得的数据增强后的训练集为原来的两倍，即4628张图片。部分数据集及数据增强效果如图5所示。
步骤2.2、建立损失函数
Loss＝WbboxLbbox+WclsLcls+wobjLobj (7)
在本发明中，仅要求网络能够检出瑕疵，提示产品不合格，并没有对瑕疵进行分类，因此Lcls的值为0，Wbbox，wobj的值分别为0.7和0.3，提高了定位损失的权重，使得边界框绘制的更加精确，有利于后续操作。
Lbbox指的是定位损失函数，本发明使用了aCIoU，被定义为：
Figure BDA0004139878920000071
Figure BDA0004139878920000072
Figure BDA0004139878920000073
Figure BDA0004139878920000074
其中，p和pgt表示预测边界框和真实边界框的中心点，ρ2()表示欧式距离，c表示两个边界框的最小包围框的对角线长度，α为一个参数，V表示两边界框宽度和长度一致性，Wgt，hgt，w和h分别表示真实框和预测框的长度与宽度。所使用的aCIoU方法可以帮助模型专注与高IoU的目标，从而提高模型的定位和检测性能，同时可以提高网络学习的速度。
Lobj指置信度误差，被定义为：
Figure BDA0004139878920000075
其中n表示输入样本的数量，yn是实际值，xn是网络的预测值。
步骤2.3、训练和测试过程
步骤2.3.1、改进YOLOv7网络训练
改进YOLOv7网络训练的学习率采用One Cycle Policy方法，先使用3个epoch对神经网络进行线性预热，即学习率线性增长，然后开始训练时，学习率下降至初始学习率，最后在整个训练过程中，学习率逐渐下降至0。设定网络训练参数：改进YOLOv7网络训练输入的图像尺寸为416×416像素，训练100epoch，并采用Adam优化器进行训练，初始学习率设为0.01，动量设置为0.937，batch size设置为32(部分实验由于GPU显存限制，降低为显存允许范围内最大的2n，即16或8)。
在训练阶段，将训练集输入YOLOv7网络，在训练过程中，以32张图片为一批送入网络，首先进行正向推理，得到结果后，按步骤2.2建立的损失函数计算损失值，并使用梯度下降的方法实现反向传播使模型参数向着损失函数值最小化的方向不断迭代。在每轮训练结束后，将验证集图片输入当前轮次的改进YOLOv7网络进行测试，获得测试集中的图片的中的瑕疵位置与置信度，并统计模型性能：统计模型参数数量、FPS和与瑕疵真实位置的标注计算后得到F1值和mAP其中：
(1)参数数量是指网络中参数总量；
(2)查准率(P)、查全率(R)的定义分别为：
Figure BDA0004139878920000081
Figure BDA0004139878920000082
其中，TP是指被预测正确的正例数量，FP是指被预测错误的正例数量，FN是指被预测错误的反例数量。
(3)mAP计算公式如下：
平均精度均值(mAP)用于衡量模型对不同目标检测的整体检测效果，其计算公式如下：
Figure BDA0004139878920000083
其中，cls表示任务中的类别总数，在本发明中cls＝1。
(4)FPS表示每秒网络能处理的帧数，即图像数量。
步骤3、在线使用改进YOLOv7网络
实际生产过程中，首先使用图像采集设备，例如数码相机，对纺织品进行图像采集并发送至上位机处理，接着将图像进行裁剪为小尺寸图片(416*416)以加快后续检测数据，将裁剪后的小图片依次输入改进YOLOv7网络即可得到结果，如图6所示：纺织品的瑕疵位置和置信度。
实验
1.实验环境
本实验的硬件环境：显卡为Tesla T4，显存为16GB。
软件环境为：操作系统为Ubantu18.4，深度学习框架为Pytorch1.12.1，开发环境PyCharm，开发语言为Python，GPU加速库为CUDA11.3和cuDNN8.2.1。
2、实验中对结果的评判参数包括：参数数量，GFLOP，查准率，查全率，mAP和FPS。参数数量和GFLOP用于评价模型的计算量；查准率，查全率和mAP用于评价模型的精度；FPS用于评价模型的速度。GFLOP指的是表示每秒10亿次的浮点运算数，是模型计算量评价指标。
实验中使用的数据集为实施例1中步骤2.1所建立的训练数据集，按照所述参数设置，利用训练集训练网络，然后使用测试集测试模型性能。
3.改进YOLOv7网络的消融实验
消融实验是指采用SimAM注意力机制和Conv-TR模块对YOLOv7网络进行改进的对比实验，其中，YOLOv7+SimAM为仅在YOLOv7的头部网络(head)中的三个尺度输出的RepConv卷积前各增加一个SimAM注意力机制，YOLOv7+Transformer1是指仅将大尺度输出层前的ELAN-H替换为Conv-TR模块，YOLOv7+Transformer2是指将大尺度输出层前的ELAN-H替换为Conv-TR模块同时在中尺度和小尺寸的输出层前均加入Conv-TR模块，
消融实验用于研究各模块之间的影响和有效性，实验结果如下表1所示，表中
表1、消融实验数据
Figure BDA0004139878920000091
Figure BDA0004139878920000101
从上述实验中可以发现：
(1)SimAM注意力机制不会产生额外的模型参数，仅稍影响到FPS指标，但是能大幅度提高模型的查准率，查全率和mAP这些指标；
(2)Transformer2方案虽然在参数上占优势，但在检测速度和准确率指标上均较Transformer1方案差；Transformer对大尺度的目标有显著的提升效果，而用在小目标检测层中则逊色于原ELAN-H结构。且在实验中，由于小目标的特征图过大，在计算时对GPU显存要求较高。因此仅仅在大目标检测层使用Transformer更加合理。
本发明同时使用SimAM注意力机制和Transformer对YOLOv7进行改进，mAP达96.8％，具有较好的检测效果。
2.YOLOv7网络对比实验
为了进一步验证本发明的改进YOLOv7网络的性能，将本发明与YOLOv5s、YOLOv7进行了实验比较，实验结果如表2所示。
表2、YOLOv5s对比实验
Figure BDA0004139878920000102
YOLOv5s是在https://github.com/ultralytics/yolov5中的YOLOv5系列基本网络之一。YOLOv7即为未经改进YOLOv7网络。本发明在参数数量和计算量与YOLOv5s和原YOLOv7相当的情况下，在检测精度上有较大的提升。
最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (7)

1.一种兼顾大小目标的高精度纺织品瑕疵智能检测方法，其特征在于：采集纺织品的图像并发送至上位机，然后将采集的图像进行裁剪并输入改进YOLOv7网络获得带有纺织品瑕疵标记框和置信度的检测结果；
所述改进YOLOv7网络包括在YOLOv7网络的头部网络中三个尺度特征图输出路径上的RepConv卷积前各增加一个SimAM注意力机制，并将头部网络中大尺度特征图输出路径上的ELAN-H结构替换为Conv-TR模块。
2.根据权利要求1所述的一种兼顾大小目标的高精度纺织品瑕疵智能检测方法，其特征在于：
所述改进YOLOv7网络的锚框大小分别为(22,27)、(71,38)、(46,94)、(220,63)、(98,248)、(74,399)、(386,101)、(114,401)、(162,397)。
3.根据权利要求2所述的一种兼顾大小目标的高精度纺织品瑕疵智能检测方法，其特征在于：
所述Conv-TR模块包括依次连接的三个CBS模块和一个Transformer模块；
所述Transformer模块包括卷积核为1×1的CBS模块、线性变换模块和Transformer层，仅当输入特征图的通道数与输出特征图的通道数不同时使用卷积核为1×1的CBS模块，再将输入特征图压缩变换为2维后经过线性变换再与原来的输入特征图相加，然后经过Transformer层和维度变换得到三维特征图输出；
所述Transformer层为一个。
4.根据权利要求3所述的一种兼顾大小目标的高精度纺织品瑕疵智能检测方法，其特征在于：
所述改进YOLOv7网络的训练和测试过程为：利用相机采集待检测纺织品的图像构建训练集，对训练集中的图像进行瑕疵标注和数据增强处理，设定训练网络参数，采用Adam优化器进行训练；每轮训练以训练集的32张图片为一批进行正向推理，通过损失函数计算损失值；在每轮训练结束后，将验证集图片输入当前的改进YOLOv7网络进行测试，获得测试集中的图片的预测类别与置信度，统计模型性能。
5.根据权利要求4所述的一种兼顾大小目标的高精度纺织品瑕疵智能检测方法，其特征在于：
所述数据增强处理具体为：先对于所述训练集中的图像先进行Copy-pasting数据增强处理，再采用水平和垂直翻转、随机旋转和椒盐噪声方法进行处理。
6.根据权利要求5所述的一种兼顾大小目标的高精度纺织品瑕疵智能检测方法，其特征在于：
所述Copy-pasting数据增强处理为将小于30×30像素的标注裁剪下来再通过泊松融合随机粘贴到图像上无标注的位置。
7.根据权利要求6所述的一种兼顾大小目标的高精度纺织品瑕疵智能检测方法，其特征在于：
所述损失函数为：
Loss＝wbboxLbbox+wclsLcls+wobjLobj (7)
Lcls的值为0，wbbox，wobj的值分别为0.7和0.3，Lbbox为采用αCIoU损失函数作为定位损失函数，Lobj指置信度误差。
CN202310285940.9A 2023-03-22 2023-03-22 一种兼顾大小目标的高精度纺织品瑕疵智能检测方法 Pending CN116402769A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310285940.9A CN116402769A (zh) 2023-03-22 2023-03-22 一种兼顾大小目标的高精度纺织品瑕疵智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310285940.9A CN116402769A (zh) 2023-03-22 2023-03-22 一种兼顾大小目标的高精度纺织品瑕疵智能检测方法

Publications (1)

Publication Number Publication Date
CN116402769A true CN116402769A (zh) 2023-07-07

Family

ID=87015217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310285940.9A Pending CN116402769A (zh) 2023-03-22 2023-03-22 一种兼顾大小目标的高精度纺织品瑕疵智能检测方法

Country Status (1)

Country Link
CN (1) CN116402769A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935473A (zh) * 2023-07-28 2023-10-24 山东智和创信息技术有限公司 基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及系统
CN117173646A (zh) * 2023-08-17 2023-12-05 金陵科技学院 高速公路障碍物检测方法、系统、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935473A (zh) * 2023-07-28 2023-10-24 山东智和创信息技术有限公司 基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及系统
CN117173646A (zh) * 2023-08-17 2023-12-05 金陵科技学院 高速公路障碍物检测方法、系统、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN109543606B (zh) 一种加入注意力机制的人脸识别方法
CN116402769A (zh) 一种兼顾大小目标的高精度纺织品瑕疵智能检测方法
CN114841244B (zh) 一种基于鲁棒采样和混合注意力金字塔的目标检测方法
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
CN108229523A (zh) 图像检测、神经网络训练方法、装置和电子设备
CN108320306B (zh) 融合tld和kcf的视频目标跟踪方法
CN111860171A (zh) 一种大规模遥感图像中不规则形状目标的检测方法及系统
CN111738344A (zh) 一种基于多尺度融合的快速目标检测方法
CN113435282B (zh) 基于深度学习的无人机影像麦穗识别方法
CN112818969A (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN114463759A (zh) 一种基于无锚框算法的轻量化文字检测方法及装置
CN109886937A (zh) 基于超像素分割图像识别的绝缘子缺陷检测方法
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN111860587A (zh) 一种用于图片小目标的检测方法
Arikan et al. Surface defect classification in real-time using convolutional neural networks
CN116188419A (zh) 一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法
CN113780423A (zh) 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型
CN116597224A (zh) 基于改进yolo v8网络模型的马铃薯缺陷检测方法
Dong et al. Lightweight and efficient neural network with SPSA attention for wheat ear detection
CN109726754A (zh) 一种lcd屏缺陷识别方法及装置
CN117495836A (zh) 一种素色织物疵点检测方法
CN116385401B (zh) 一种高精度纺织品缺陷可视化检测方法
CN117079125A (zh) 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法
CN116664941A (zh) 一种轴承套圈表面缺陷视觉检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination