CN116188419A - 一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法 - Google Patents

一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法 Download PDF

Info

Publication number
CN116188419A
CN116188419A CN202310142953.0A CN202310142953A CN116188419A CN 116188419 A CN116188419 A CN 116188419A CN 202310142953 A CN202310142953 A CN 202310142953A CN 116188419 A CN116188419 A CN 116188419A
Authority
CN
China
Prior art keywords
target detection
lightweight
detection network
network model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310142953.0A
Other languages
English (en)
Inventor
李俊峰
李永强
何彦弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University Of Science And Technology Tongxiang Research Institute Co ltd
Original Assignee
Zhejiang University Of Science And Technology Tongxiang Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University Of Science And Technology Tongxiang Research Institute Co ltd filed Critical Zhejiang University Of Science And Technology Tongxiang Research Institute Co ltd
Priority to CN202310142953.0A priority Critical patent/CN116188419A/zh
Publication of CN116188419A publication Critical patent/CN116188419A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

本发明提供一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法，该方法包括以下步骤：基于YOLOv7目标检测网络构建轻量化目标检测网络模型，采用MobileNetv3结构作为所述YOLOv7目标检测网络的骨干网络，将所述YOLOv7目标检测网络的ELAN结构中3×3卷积部分替换为ShuffleNetv2结构中具有通道混洗的卷积层，在每个ELAN结构后增加ECA通道注意力机制，并将SPPCSPC模块替换为GhostSPPCSPC模块，即将SPPCSPC模块中的普通卷积替换为Ghost卷积；通过数据集对所述轻量化目标检测网络模型进行多轮训练获得最优轻量化目标检测网络模型；将被测布匹图像输入到所述最优轻量化目标检测网络模型中进行缺陷检测。本发明的轻量化布匹瑕疵检测方法可以部署于嵌入式设备及应用于边缘计算的场景。

Description

一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法
技术领域
本发明涉及一种轻量化布匹瑕疵检测方法，具体涉及一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法，属于机器视觉缺陷检测技术领域。
背景技术
在纺织品生产过程中常会出现多种瑕疵，包括断经、断纬、粗节等，布匹表面的瑕疵严重影响着其美观和质量，降低纺织品生产合格率，因此，在纺织品出厂前需要经过一道检测工序以检测布匹是否有瑕疵。
传统的布匹瑕疵检测主要依靠人工结合放大镜进行质检，但是人工检查布匹的速度较慢，一般为10～20m/min，且存在成本高、效率低、容易导致误检和漏检等问题。现有技术中，使用传统机器视觉方法等自动化方法实现布匹瑕疵检测,但传统机器视觉方法存在检测瑕疵类型单一、计算成本高等缺陷，不能满足布匹瑕疵检测的高效多样化要求。
新型的机器视觉方法中，以YOLO系列为代表的单阶段目标检测技术最为典型。虽然YOLO系列中最新的YOLOv7网络模型能够在保证检测精度的条件下实现较快的检测速度，但由于YOLOv7网络模型的参数较多且计算量大，且布匹瑕疵存在极端长宽比和小目标两大特点而加大检测难度，因此不适用于嵌入式设备等边缘计算的场景，从而无法在嵌入式设备部署该网络模型而实现对于布匹瑕疵准确快速的实时在线检测。
发明内容
基于以上背景，本发明的目的在于提供一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法，在大幅度降低计算参数的同时保证检测模型对于布匹瑕疵较高的检测精度，使得该方法可以部署于嵌入式设备及应用于边缘计算的场景。
为了实现上述发明目的，本发明提供以下技术方案：
一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法，该方法包括以下步骤：
基于YOLOv7目标检测网络构建轻量化目标检测网络模型，采用MobileNetv3结构作为所述YOLOv7目标检测网络的骨干网络，将所述YOLOv7目标检测网络的ELAN结构中3×3卷积部分替换为ShuffleNetv2结构中具有通道混洗的卷积层，在每个ELAN结构后增加ECA通道注意力机制，并将SPPCSPC模块替换为GhostSPPCSPC模块，即将SPPCSPC模块中的普通卷积替换为Ghost卷积；
设置所述轻量化目标检测网络模型的损失函数，采集数据集并将其划分为训练集和测试集，通过数据集对所述轻量化目标检测网络模型进行多轮训练，每轮训练中按照所述损失函数计算损失值，训练迭代直至所述轻量化目标检测网络模型的损失曲线向着损失值最小化的方向趋于平缓，停止训练，获得最优轻量化目标检测网络模型；
将被测布匹图像输入到所述最优轻量化目标检测网络模型中进行缺陷检测，输出被测布匹的缺陷检测结果和缺陷目标位置信息。
作为优选，采用MobileNetv3结构作为所述YOLOv7目标检测网络的骨干网络，包括：
所述MobileNetv3结构包括15个线性瓶颈残差结构，其中第1、2、3个线性瓶颈残差结构不使用SE-Net注意力机制并使用ReLU6激活函数，第4、5、6个线性瓶颈残差结构使用SE-Net注意力机制并使用ReLU6激活函数，第7、8、9、10个线性瓶颈残差结构不使用SE-Net注意力机制并使用h-swish激活函数，第11、12、13、14、15个线性瓶颈残差结构使用SE-Net注意力机制并使用h-swish激活函数；将所述MobileNetv3结构的第6个线性瓶颈残差结构连接所述YOLOv7目标检测网络的头部网络结构中的一个CBS模块，将所述MobileNetv3结构的第13个线性瓶颈残差结构连接所述YOLOv7目标检测网络的头部网络结构中的另一个CBS模块，将所述MobileNetv3结构的第15个线性瓶颈残差结构连接所述YOLOv7目标检测网络的头部网络结构中的GhostSPPCSPC模块。
作为优选，增加ECA通道注意力机制，包括：
对输入特征图进行全局平均池化操作；进行1-D卷积操作，使每层通道与相邻层的通道进行信息交互；进行Sigmoid激活；将输入特征图与特征图权重相乘得到结果。
作为优选，所述损失函数采用以下表达式，
Loss＝Lbbox+Lcls+Lobj
式中，Loss为损失函数，Lbbox为定位误差，Lcls为类别误差，Lobj为置信度误差；
其中，Lbbox采用基于αCIoU方法的以下表达式，
Figure BDA0004088144360000021
Figure BDA0004088144360000031
Figure BDA0004088144360000032
Figure BDA0004088144360000033
式中，p和pgt表示预测边界框和真实边界框的中心点，ρ2()表示欧式距离，c表示两个边界框的最小包围框的对角线长度，V表示两个边界框的宽度和长度一致性，wgt，hgt，w和h分别表示真实框和预测框的长度与宽度；
其中，Lobj采用以下表达式，
Figure BDA0004088144360000034
式中，n表示输入样本的数量，yn为实际值，xn为预测值。
采用CIoU方法改进损失函数，增加了检测框尺度的误差和检测框长度及宽度的误差，使预测框更加符合真实框，基于αCIoU方法的Lbbox表达式可以辅助模型专注于高IoU的目标，从而提高模型的定位和检测性能，同时可以提高网络学习的速度。
作为优选，采集数据集并将其划分为训练集和测试集，包括：
采集不合格样本布匹的原始图像，对每张原始图像进行手工标注并缩放至416×416像素，按照85％和15％的比例将数据集划分为训练集和测试集，对训练集中的图像进行数据增强处理。
作为优选，对训练集中的图像进行数据增强处理，包括：
对图像中小于30×30像素的小目标进行标注、裁剪，通过泊松融合复制到原图随机位置，从而对小目标进行扩充；采用水平翻转和垂直翻转、-15°～+15°范围的随机旋转以及椒盐噪声方法对训练集中的图像进行数据增强处理。
作为优选，通过数据集对所述轻量化目标检测网络模型进行多轮训练，包括：
每轮将训练集中设定数量的图像输入所述轻量化目标检测网络模型进行正向推理，每轮训练结束后，将测试集中设定数量的图像输入完成当前轮的轻量化目标检测网络模型进行测试，从而衡量轻量化目标检测网络模型的训练状态。
作为优选，通过数据集对所述轻量化目标检测网络模型进行多轮训练，还包括：
完成全部轮训练后，将测试集中图像输入训练完毕的轻量化目标检测网络模型，获得测试集中每个图像的预测类别与置信度，并将其与手工标注的真实类别进行比较。
作为优选，在获得测试集中每个图像的预测类别与置信度并将其与手工标注的真实类别进行比较之后，还包括：
统计轻量化目标检测网络模型的参数数量、F1值、平均精度均值和模型每秒处理图像数量；其中，所述参数数量为轻量化目标检测网络模型中的参数总量，所述F1值根据查准率和查全率采用以下表达式计算获得，
Figure BDA0004088144360000041
Figure BDA0004088144360000042
Figure BDA0004088144360000043
式中，TP为被预测正确的正例数量，FP为被预测错误的正例数量，FN为被预测错误的反例数量。
作为优选，训练迭代直至所述轻量化目标检测网络模型的损失曲线向着损失值最小化的方向趋于平缓，包括：
采用动量项为0.937的梯度下降策略寻优，并设置初始学习率为0.01。
与现有技术相比，本发明具有以下优点：
本发明的一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法，通过将MobileNetv3结构作为YOLOv7目标检测网络的骨干网络，结合Ghost卷积，大幅减少计算参数，降低模型计算量；通过引入ShuffleNetv2中的卷积方法，结合增加ECA通道注意力机制，在保证计算效率的同时提升模型的特征学习能力，从而提升模型的检测精度；此外，通过数据增强方法扩充数据集，结合对数据集中的小目标进行数据增强，提高了其对损失函数的贡献，从而提升模型的检测性能；该方法使得轻量化目标检测网络模型能够适用于边缘计算的场景，能够部署于嵌入式设备实现准确快速的布匹瑕疵检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明可部署于嵌入式设备的轻量化布匹瑕疵检测方法的步骤示意图；
图2是本发明中轻量化目标检测网络模型的结构示意图；
图3是本发明中MobileNetv3结构的Inverted Residual模块的示意图；
图4是本发明中ShuffleNetv2方法的示意图；
图5是本发明中ECA注意力机制的示意图；
图6是本发明中小目标增强效果图；
图7是本发明中所使用的部分数据集与增强方法及效果图；
图8是本发明可部署于嵌入式设备的轻量化布匹瑕疵检测方法的效果示意图。
具体实施方式
下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体说明。应当理解，本发明的实施并不局限于下面的实施例，对本发明所做的任何形式上的变通和/或改变都将落入本发明保护范围。
在本发明中，若非特指，所有的份、百分比均为重量单位，所采用的设备和原料等均可从市场购得或是本领域常用的。下述实施例中的方法，如无特别说明，均为本领域的常规方法。下述实施例中的部件或设备如无特别说明，均为通用标准件或本领域技术人员知晓的部件，其结构和原理都为本技术人员均可通过技术手册得知或通过常规实验方法获知。
以下结合附图对本发明的实施例做出详细说明，在下面的详细说明中，为便于解释，阐述了许多具体的细节以提供对本发明的实施例的全面理解。
本发明的实施例公开了一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法，参考图1，该方法包括以下步骤：
S1.基于YOLOv7目标检测网络构建轻量化目标检测网络模型，采用MobileNetv3结构作为所述YOLOv7目标检测网络的骨干网络，将所述YOLOv7目标检测网络的ELAN结构中3×3卷积部分替换为ShuffleNetv2结构中具有通道混洗的卷积层，在每个ELAN结构后增加ECA通道注意力机制，并将SPPCSPC模块替换为GhostSPPCSPC模块，即将SPPCSPC模块中的普通卷积替换为Ghost卷积；
S2.设置所述轻量化目标检测网络模型的损失函数，采集数据集并将其划分为训练集和测试集，通过数据集对所述轻量化目标检测网络模型进行多轮训练，每轮训练中按照所述损失函数计算损失值，训练迭代直至所述轻量化目标检测网络模型的损失曲线向着损失值最小化的方向趋于平缓，停止训练，获得最优轻量化目标检测网络模型；
S3.将被测布匹图像输入到所述最优轻量化目标检测网络模型中进行缺陷检测，输出被测布匹的缺陷检测结果和缺陷目标位置信息。
下面结合附图对方法的各步骤做出详细说明。
步骤S1的目的是构建轻量化目标检测网络模型，其结构参考图2，其构建步骤详细说明如下。
S1.1基于YOLOv7目标检测网络的构建及改进
基于YOLOv7目标检测网络，为了使模型轻量化，使用MobileNetv3结构作为YOLOv7目标检测网络的骨干网络。MobileNetv3结构是一种轻量化网络结构，具体结构如表1所示。
表1MobileNetv3结构
Figure BDA0004088144360000061
Figure BDA0004088144360000071
其中，Inverted Residual表示线性瓶颈残差结构，其结构参考图3；SE表示是否使用SE-Net注意力机制；NL表示所使用激活函数的类型，其中RE表示ReLU6激活函数，HS表示h-swish激活函数，其表达式为：
Figure BDA0004088144360000072
如表1所述的MobileNetv3结构包括15个线性瓶颈残差结构，其中第1、2、3个线性瓶颈残差结构不使用SE-Net注意力机制并使用ReLU6激活函数，第4、5、6个线性瓶颈残差结构使用SE-Net注意力机制并使用ReLU6激活函数，第7、8、9、10个线性瓶颈残差结构不使用SE-Net注意力机制并使用h-swish激活函数，第11、12、13、14、15个线性瓶颈残差结构使用SE-Net注意力机制并使用h-swish激活函数。
对YOLOv7目标检测网络的改进为，将所述MobileNetv3结构的第6个线性瓶颈残差结构连接所述YOLOv7目标检测网络的头部网络结构中的一个CBS模块，将所述MobileNetv3结构的第13个线性瓶颈残差结构连接所述YOLOv7目标检测网络的头部网络结构中的另一个CBS模块，将所述MobileNetv3结构的第15个线性瓶颈残差结构连接所述YOLOv7目标检测网络的头部网络结构中的GhostSPPCSPC模块。
S1.2基于YOLOv7目标检测网络的进一步改进
对上述初步构建的模型从以下三个方面进行进一步的改进：
(1)将ELAN结构中3×3卷积部分替换为ShuffleNetv2中的具有通道混洗的卷积层；
(2)在每个ELAN结构后增加ECA通道注意力机制；
(3)将原SPPCSPC模块替换为GhostSPPCSPC模块，即将原SPPCSPC模块中的普通卷积替换为Ghost卷积，从而减少模块中的参数。
第一方面，参照ShuffleNetv2方法的改进说明如下，参考图4，在每个单元的开始，c特征通道的输入被均分为两个分支，其中一个分支不作改变，另外的一个分支由三个卷积组成，它们具有相同的输入和输出通道。其中，第一个卷积和第三个卷积为1×1的普通卷积，第二个卷积为3×3的深度可分离卷积。卷积操作后，两个分支被连接起来，在经过channels shuffle(通道混洗)操作来启用两个分支之间的信息通信。将ELAN结构中的两个3×3卷积替换成上述ShuffleNetv2中的通道混洗方法，能够在保证计算效率的前提下提升模型性能。
第二方面，参考图5，增加ECA注意力机制的具体步骤如下：首先对输入特征图进行全局平均池化操作；然后进行1-D卷积操作，使得每层通道与相邻层的通道进行信息交互；接着进行Sigmoid激活；最后将输入特征图与特征图权重相乘即得到结果。
第三方面，Ghost卷积的作用是，由于特征图中存在着相似度很高的特征图，即特征冗余，因此通过对特征图进行线性运算来产生相似的特征图能够利用更少的参数生成更多的特征图。Ghost卷积首先使用1×1卷积对输入图片进行通道数的压缩，再通过线性变换和深度可分离卷积得到更多的特征图，最后将不同的特征图融合在一起组成新的输出以此来替代普通的卷积操作，大大减少了模型参数和计算开销。
例如，要生成通道数为n的特征图，首先按传统卷积生成identity map，通道数为m，大小<n，再对通道数为m的特征图进行处理，每一层分别采用卷积生成通道数为m的特征图，重复操作生成s-1套新的特征图，加上原来的特征图，共生成了s套特征图，通道数为sm＝n。
给定输入
Figure BDA0004088144360000081
则
Y＝X*f+b
其中，*表示卷积，b为偏置，
Figure BDA0004088144360000082
是n通道的输出特征图，/>
Figure BDA0004088144360000083
是卷积核，C表示卷积核特征通道数，k表示卷积核大小，n是卷积核数量。
将网络在中所有的卷积都替换成了Ghost卷积，以此来得到更加轻量化的网络，可以有效减少模型参数和计算开销。
例如，对于一个特征图和
Figure BDA0004088144360000084
的线性操作，线性操作的卷积核等于d·d，因此对于n·(s-1)个线性操作存在不同的大小和参数。假设在一个Ghost卷积中线性操作的大小一样，均为3×3或5×5，则将传统卷积换位Ghost卷积后，理论上的加速率为
Figure BDA0004088144360000085
模型的压缩率
Figure BDA0004088144360000091
步骤S2的目的是对模型进行训练以获得最优轻量化目标检测网络模型，其训练步骤详细说明如下。
S2.1设置损失函数
损失函数采用以下表达式，
Loss＝Lbbox+Lcls+Lobj
式中，Loss为损失函数，Lbbox为定位误差，Lcls为类别误差，Lobj为置信度误差。
其中，本实施例中，仅要求模型能够检出瑕疵而提示产品不合格，并没有对瑕疵进行分类，因此Lcls的值为0。Lbbox采用基于αCIoU方法的以下表达式，
Figure BDA0004088144360000092
Figure BDA0004088144360000093
Figure BDA0004088144360000094
Figure BDA0004088144360000095
式中，p和pgt表示预测边界框和真实边界框的中心点，ρ2()表示欧式距离，c表示两个边界框的最小包围框的对角线长度，V表示两个边界框的宽度和长度一致性，wgt，hgt，w和h分别表示真实框和预测框的长度与宽度；
其中，Lobj采用以下表达式，
Figure BDA0004088144360000096
式中，n表示输入样本的数量，yn为实际值，xn为预测值。
采用CIoU方法改进损失函数，增加了检测框尺度的误差和检测框长度及宽度的误差，使预测框更加符合真实框，基于αCIoU方法的Lbbox表达式可以辅助模型专注于高IoU的目标，从而提高模型的定位和检测性能，同时可以提高网络学习的速度。
S2.2采集数据集
数据集通过自行拍摄不合格样本布匹的图像构建，原始图像共2722张。用LabelImg软件对图像进行标注，共有3262个标注，然后将每张原始图像统一缩放大小至416×416像素。按照85％：15％的比例划分训练集和测试集，分别为2314张和409张。
接着对训练集中的图像进行数据增强，具体为：第一，对于小于30×30像素的小目标标注，将其裁剪下来再通过泊松融合随机粘贴到原图无目标的位置，对小目标进行扩充，小目标增强效果如图6所示；第二，采用水平翻转和垂直翻转、-15°～+15°范围的随机旋转和椒盐噪声(2％)方法进行数据增强，随机选择训练集中的578或579张图片，即第一次选择578张进行水平翻转，第二次选择上述步骤处理后的训练集中的579张进行垂直翻转，依次类推，数据增强后的数据集为原来的两倍，即4628张图片。部分数据集及增强效果如图7所示。
S2.3训练得到最优轻量化目标检测网络模型
学习率采用One Cycle Policy方法，先使用3个epoch对神经网络进行线性预热，即学习率线性增长，然后开始训练时，学习率下降至初始学习率，最后在整个训练过程中，学习率逐渐下降至0。输入的图像尺寸为416×416像素，训练100epoch，并采用Adam优化器进行训练，初始学习率设为0.01，动量设置为0.937，batch size设置为64。
将训练集输入模型，在训练过程中，32张图片为一批送入网络，首先进行正向推理，得到结果后，按照上述损失函数计算损失值，并使用梯度下降的方法实现反向传播使模型参数向着损失函数值最小化的方向不断迭代。在每轮训练结束后，将测试集图片输入当前轮次训练结束的模型进行测试，以衡量模型的训练状态，例如判断模型是否有过拟合。
完成全部轮训练后，将测试集中图像输入训练完毕的轻量化目标检测网络模型，获得测试集中每个图像的预测类别与置信度，并将其与手工标注的真实类别进行比较。
统计轻量化目标检测网络模型的参数数量、F1值、平均精度均值和模型每秒处理图像数量。其中，参数数量为轻量化目标检测网络模型中的参数总量，F1值根据查准率和查全率采用以下表达式计算获得，
Figure BDA0004088144360000101
Figure BDA0004088144360000111
Figure BDA0004088144360000112
式中，TP为被预测正确的正例数量，FP为被预测错误的正例数量，FN为被预测错误的反例数量。
平均精度均值(mAP)用于衡量模型对不同目标检测的整体检测效果，其计算公式如下：
Figure BDA0004088144360000113
其中，cls表示任务中的类别总数，在本实施例中cls＝1。
模型每秒处理图像数量用FPS表示。
训练得到最优轻量化目标检测网络模型，达到的mAP和FPS详见后述。
步骤S3即将被测布匹图像输入到最优轻量化目标检测网络模型中进行缺陷检测，输出被测布匹的缺陷检测结果和缺陷目标位置信息。实际应用中，将该方法部署于嵌入式设备，通过嵌入式设备对被测布匹进行图像采集，图像输入到最优轻量化目标检测网络模型即可得到结果，检测效果参考图8。
对该方法的轻量化目标检测网络模型进行消融实验，以研究各模块之间的影响和有效性，实验结果如表2所示。
表2消融实验结果
Figure BDA0004088144360000114
Figure BDA0004088144360000121
为了进一步验证该方法中模型的性能，将其与YOLOv5s、YOLOv7进行对比实验，YOLOv5s参考在https://github.com/ultralytics/yolov5中提到的YOLOv5系列网络模型、YOLOv7参考在https://github.com/WongKinYiu/yolov7中提到的YOLOv7网络模型。对比实验结果如表3所示。
表3对比试验结果
模型名称 参数数量 GFLOPS P R mAP FPS
YOLOv5s 46.108M 107.6 0.911 0.921 0.932 68
YOLOv7 36.481M 103.2 0.923 0.926 0.937 139
轻量化目标检测网络模型 10.306M 15.5 0.912 0.917 0.937 76.9
上述实验结果表明，本发明在参数数量大幅度降低的前提下，取得了与YOLOv5s和YOLOv7相近的结果，mAP达到93.7％，超过YOLOv5s并与YOLOv7持平。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法，其特征在于：该方法包括以下步骤：
基于YOLOv7目标检测网络构建轻量化目标检测网络模型，采用MobileNetv3结构作为所述YOLOv7目标检测网络的骨干网络，将所述YOLOv7目标检测网络的ELAN结构中3×3卷积部分替换为ShuffleNetv2结构中具有通道混洗的卷积层，在每个ELAN结构后增加ECA通道注意力机制，并将SPPCSPC模块替换为GhostSPPCSPC模块，即将SPPCSPC模块中的普通卷积替换为Ghost卷积；
设置所述轻量化目标检测网络模型的损失函数，采集数据集并将其划分为训练集和测试集，通过数据集对所述轻量化目标检测网络模型进行多轮训练，每轮训练中按照所述损失函数计算损失值，训练迭代直至所述轻量化目标检测网络模型的损失曲线向着损失值最小化的方向趋于平缓，停止训练，获得最优轻量化目标检测网络模型；
将被测布匹图像输入到所述最优轻量化目标检测网络模型中进行缺陷检测，输出被测布匹的缺陷检测结果和缺陷目标位置信息。
2.根据权利要求1所述的一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法，其特征在于：采用MobileNetv3结构作为所述YOLOv7目标检测网络的骨干网络，包括：
所述MobileNetv3结构包括15个线性瓶颈残差结构，其中第1、2、3个线性瓶颈残差结构不使用SE-Net注意力机制并使用ReLU6激活函数，第4、5、6个线性瓶颈残差结构使用SE-Net注意力机制并使用ReLU6激活函数，第7、8、9、10个线性瓶颈残差结构不使用SE-Net注意力机制并使用h-swish激活函数，第11、12、13、14、15个线性瓶颈残差结构使用SE-Net注意力机制并使用h-swish激活函数；将所述MobileNetv3结构的第6个线性瓶颈残差结构连接所述YOLOv7目标检测网络的头部网络结构中的一个CBS模块，将所述MobileNetv3结构的第13个线性瓶颈残差结构连接所述YOLOv7目标检测网络的头部网络结构中的另一个CBS模块，将所述MobileNetv3结构的第15个线性瓶颈残差结构连接所述YOLOv7目标检测网络的头部网络结构中的GhostSPPCSPC模块。
3.根据权利要求1所述的一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法，其特征在于：增加ECA通道注意力机制，包括：
对输入特征图进行全局平均池化操作；进行1-D卷积操作，使每层通道与相邻层的通道进行信息交互；进行Sigmoid激活；将输入特征图与特征图权重相乘得到结果。
4.根据权利要求1所述的一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法，其特征在于：所述损失函数采用以下表达式，
Loss＝Lbbox+Lcls+Lobj
式中，Loss为损失函数，Lbbox为定位误差，Lcls为类别误差，Lobj为置信度误差；
其中，Lbbox采用基于αCIoU方法的以下表达式，
Figure FDA0004088144350000021
Figure FDA0004088144350000022
/>
Figure FDA0004088144350000023
Figure FDA0004088144350000024
式中，p和pgt表示预测边界框和真实边界框的中心点，ρ2()表示欧式距离，c表示两个边界框的最小包围框的对角线长度，V表示两个边界框的宽度和长度一致性，wgt，hgt，w和h分别表示真实框和预测框的长度与宽度；
其中，Lobj采用以下表达式，
Figure FDA0004088144350000025
式中，n表示输入样本的数量，yn为实际值，xn为预测值。
5.根据权利要求1所述的一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法，其特征在于：采集数据集并将其划分为训练集和测试集，包括：
采集不合格样本布匹的原始图像，对每张原始图像进行手工标注并缩放至416×416像素，按照85％和15％的比例将数据集划分为训练集和测试集，对训练集中的图像进行数据增强处理。
6.根据权利要求5所述的一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法，其特征在于：对训练集中的图像进行数据增强处理，包括：
对图像中小于30×30像素的小目标进行标注、裁剪，通过泊松融合复制到原图随机位置，从而对小目标进行扩充；采用水平翻转和垂直翻转、-15°～+15°范围的随机旋转以及椒盐噪声方法对训练集中的图像进行数据增强处理。
7.根据权利要求1所述的一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法，其特征在于：通过数据集对所述轻量化目标检测网络模型进行多轮训练，包括：
每轮将训练集中设定数量的图像输入所述轻量化目标检测网络模型进行正向推理，每轮训练结束后，将测试集中设定数量的图像输入完成当前轮的轻量化目标检测网络模型进行测试，从而衡量轻量化目标检测网络模型的训练状态。
8.根据权利要求7所述的一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法，其特征在于：通过数据集对所述轻量化目标检测网络模型进行多轮训练，还包括：
完成全部轮训练后，将测试集中图像输入训练完毕的轻量化目标检测网络模型，获得测试集中每个图像的预测类别与置信度，并将其与手工标注的真实类别进行比较。
9.根据权利要求8所述的一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法，其特征在于：在获得测试集中每个图像的预测类别与置信度并将其与手工标注的真实类别进行比较之后，还包括：
统计轻量化目标检测网络模型的参数数量、F1值、平均精度均值和模型每秒处理图像数量；其中，所述参数数量为轻量化目标检测网络模型中的参数总量，所述F1值根据查准率和查全率采用以下表达式计算获得，
Figure FDA0004088144350000031
Figure FDA0004088144350000032
Figure FDA0004088144350000033
式中，TP为被预测正确的正例数量，FP为被预测错误的正例数量，FN为被预测错误的反例数量。
10.根据权利要求1所述的一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法，其特征在于：训练迭代直至所述轻量化目标检测网络模型的损失曲线向着损失值最小化的方向趋于平缓，包括：
采用动量项为0.937的梯度下降策略寻优，并设置初始学习率为0.01。
CN202310142953.0A 2023-02-21 2023-02-21 一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法 Pending CN116188419A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310142953.0A CN116188419A (zh) 2023-02-21 2023-02-21 一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310142953.0A CN116188419A (zh) 2023-02-21 2023-02-21 一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法

Publications (1)

Publication Number Publication Date
CN116188419A true CN116188419A (zh) 2023-05-30

Family

ID=86441921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310142953.0A Pending CN116188419A (zh) 2023-02-21 2023-02-21 一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法

Country Status (1)

Country Link
CN (1) CN116188419A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116611503A (zh) * 2023-07-21 2023-08-18 浙江双元科技股份有限公司 用于多类别瑕疵实时检测的轻量化模型构建方法及装置
CN116958086A (zh) * 2023-07-21 2023-10-27 盐城工学院 具有增强特征融合能力的金属表面缺陷检测方法及系统
CN117974673A (zh) * 2024-04-02 2024-05-03 泉州装备制造研究所 一种花色布匹瑕疵检测方法、系统及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116611503A (zh) * 2023-07-21 2023-08-18 浙江双元科技股份有限公司 用于多类别瑕疵实时检测的轻量化模型构建方法及装置
CN116611503B (zh) * 2023-07-21 2023-09-22 浙江双元科技股份有限公司 用于多类别瑕疵实时检测的轻量化模型构建方法及装置
CN116958086A (zh) * 2023-07-21 2023-10-27 盐城工学院 具有增强特征融合能力的金属表面缺陷检测方法及系统
CN116958086B (zh) * 2023-07-21 2024-04-19 盐城工学院 具有增强特征融合能力的金属表面缺陷检测方法及系统
CN117974673A (zh) * 2024-04-02 2024-05-03 泉州装备制造研究所 一种花色布匹瑕疵检测方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN116188419A (zh) 一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法
CN109272500B (zh) 基于自适应卷积神经网络的织物分类方法
CN113408423B (zh) 适用于tx2嵌入式平台的水产品目标实时检测方法
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
CN115205274A (zh) 一种基于轻量化级联网络的布匹瑕疵检测方法
CN110660046B (zh) 基于轻量级深度神经网络的工业产品缺陷图像分类方法
CN113034483B (zh) 基于深度迁移学习的烟支缺陷检测方法
CN113538375A (zh) 一种基于YOLOv5的PCB缺陷检测方法
CN111626960A (zh) 图像去雾方法、终端及计算机存储介质
CN114463759A (zh) 一种基于无锚框算法的轻量化文字检测方法及装置
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN116402769A (zh) 一种兼顾大小目标的高精度纺织品瑕疵智能检测方法
CN115170529A (zh) 基于注意力机制的多尺度微小瑕疵检测方法
CN115797808A (zh) 一种无人机巡检缺陷图像的识别方法、系统、装置及介质
CN114120066B (zh) 一种基于轻量化网络的小样本钢材表面缺陷分类方法
CN115063650A (zh) 一种轻量型实时目标检测方法
CN109284667B (zh) 一种面向视频的三流式人体运动行为空间域检测方法
CN114677357A (zh) 航拍绝缘子自爆缺陷的检测模型、方法、设备及存储介质
CN114663382A (zh) 基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法
CN116385401B (zh) 一种高精度纺织品缺陷可视化检测方法
CN117392568A (zh) 一种复杂场景下无人机巡检变电设备的方法
CN116664941A (zh) 一种轴承套圈表面缺陷视觉检测方法
CN115601357B (zh) 一种基于小样本的冲压件表面缺陷检测方法
CN116342542A (zh) 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法
CN116012372A (zh) 基于改进YOLOv5的铝表面实时缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination