CN116611503B - 用于多类别瑕疵实时检测的轻量化模型构建方法及装置 - Google Patents

用于多类别瑕疵实时检测的轻量化模型构建方法及装置 Download PDF

Info

Publication number
CN116611503B
CN116611503B CN202310902710.2A CN202310902710A CN116611503B CN 116611503 B CN116611503 B CN 116611503B CN 202310902710 A CN202310902710 A CN 202310902710A CN 116611503 B CN116611503 B CN 116611503B
Authority
CN
China
Prior art keywords
lightweight
lightweight model
image
mixing unit
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310902710.2A
Other languages
English (en)
Other versions
CN116611503A (zh
Inventor
陈文君
张圆
刘姗姗
谢甜
唐玉辉
韦云声
虞沛文
胡美琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shuangyuan Technology Co ltd
Original Assignee
Zhejiang Shuangyuan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shuangyuan Technology Co ltd filed Critical Zhejiang Shuangyuan Technology Co ltd
Priority to CN202310902710.2A priority Critical patent/CN116611503B/zh
Publication of CN116611503A publication Critical patent/CN116611503A/zh
Application granted granted Critical
Publication of CN116611503B publication Critical patent/CN116611503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于多类别瑕疵实时检测的轻量化模型构建方法及装置，方法包括如下步骤：获取含多类别瑕疵的目标物体图像，形成图像数据集；搭建初始的轻量化模型，并设置轻量化模型训练的超参数，其中，初始的轻量化模型包括轻量主干网络、颈部网络和头部检测网络，轻量主干网络用于提取融合位置信息的多尺度图像特征；根据图像数据集对初始的轻量化模型进行模型训练迭代，至收敛；构建得到用于多类别瑕疵实时检测的轻量化模型。本发明给出的轻量化模型提升了多类别缺陷产品的生产设备的工作效率和产品表面瑕疵的检测准确率。

Description

用于多类别瑕疵实时检测的轻量化模型构建方法及装置
技术领域
本发明属于图像识别技术领域，具体涉及用于多类别瑕疵实时检测的轻量化模型构建方法及装置。
背景技术
当前的一些产品在生产过程中，可能存在多种类别的瑕疵。如作为生活必需用品，卫生巾具有干净、舒适、功能强大的特点，已经成为了目前市面上必不可少的一类生活用品。在卫生巾的生产工艺过程中，需要将棉花、不织布、纸浆及吸水高分子材料等多种原料通过机器进行混合、整理、成型，并在机器传送过程中，完成指定芯体形状的内层压合以及两侧无纺布的切刀操作，最后使用包膜进行纵向和横向的封装。
在自动生产线的多工序产出过程中，由于原料梳理混乱、芯体分层不当以及部件错位等原因，易导致产品的不合格。因此，为保证卫生巾生产过程的可靠运行，设置产品在生产线上进行瑕疵检测与分类成为了一项十分有意义的研究。
如专利CN113514369A给出一种一次性卫生用品使用性能测试方法，包括以下步骤：1)选取至少八个重量在标准范围值内的产品放置于工作台上；2)通过自动量取加液装置依次对各个产品进行自动加液，并通过图像识别单元获取产品图像；3)通过获取的产品图像识别液体被完全吸收的状态，并自动计时吸收时间；4)将产品图像二值化处理，使得产品上的扩散图形形成斑点；5)提取斑点分布图数据形成虚拟图像；6)将虚拟图像与预先设置的尺寸图像比较，尺寸图像为呈矩阵分布的具有确定尺寸大小的测量单元格组成，通过识别覆盖于虚拟图像上的斑点的单元格个数以及位置。该方案主要解决了现有技术中一次性卫生用品的使用性能测量速度慢且测量误差大。
现有的卫生巾瑕疵检测方法主要是基于卫生巾产品图像的对比进行检查。通过与标准卫生巾产品的形状、花纹对比，剔除不合格的不良品。如以上现有技术的方法在检测种类较多时，存在准确度低、识别速度慢等问题，难以精确检测瑕疵位置。
因此，如何构建实时检测多类别瑕疵产品的轻量化模型，能够实现检测的高效、高精度是本领域技术人员亟待解决的问题。
发明内容
针对上述现有技术中存在的缺陷，本发明提供了用于多类别瑕疵实时检测的轻量化模型构建方法及装置，搭建包括轻量主干网络的初始的轻量化模型，并对初始的轻量化模型进行迭代训练，旨在从深度学习领域出发，构建针对多类别瑕疵实时检测的轻量化模型。以此，对多瑕疵类型进行识别分类，旨在提升产品生产设备的工作效率和多类别表面瑕疵产品的检测准确率，有助于对不良品进行瑕疵类别的整理与数据分析，从而进一步评估和改良产品的生产线。
第一方面，本发明提供一种用于多类别瑕疵实时检测的轻量化模型构建方法，包括如下步骤：
获取含多类别瑕疵的目标物体图像，形成图像数据集；
搭建初始的轻量化模型，并设置轻量化模型训练的超参数，其中，初始的轻量化模型包括轻量主干网络、颈部网络和头部检测网络，轻量主干网络用于提取融合位置信息的多尺度图像特征；
根据图像数据集对初始的轻量化模型进行模型训练迭代，至收敛；
构建得到用于多类别瑕疵实时检测的轻量化模型。
进一步的，获取含多类别瑕疵的目标物体图像，形成图像数据集，还包括：
对图像的瑕疵进行矩形框标记，并对应生成瑕疵信息，其中，瑕疵信息包括瑕疵类别、矩形框中心坐标及矩形框尺寸。
进一步的，超参数包括用于轻量化模型训练的图像批量大小、初始学习率、动量因子、权重衰减系数及迭代次数。
进一步的，搭建初始的轻量化模型，具体包括如下步骤：
构建轻量主干网络，其中，轻量主干网络包括Focus单元、HDC单元及多个ShuffleNet混合单元，HDC单元包括多个空洞卷积层组，且每个空洞卷积层组的空洞系数不同；
Focus单元连接第一ShuffleNet混合单元，第一ShuffleNet混合单元连接HDC单元，HDC单元再与第二ShuffleNet混合单元、第三ShuffleNet混合单元及第四ShuffleNet混合单元依次连接；
构建与ShuffleNet混合单元连接的FPN-PAN的颈部网络，及对应颈部网络设置的头部检测网络，得到初始的轻量化模型。
进一步的，ShuffleNet混合单元包括ShuffleNetV2_1结构、ShuffleNetV2_2结构和CA结构，其中，ShuffleNetV2_1结构的结构步长为1，ShuffleNetV2_2结构的结构步长为2，CA结构为坐标注意力机制。
进一步的，第一ShuffleNet混合单元包括依次连接的ShuffleNetV2_1结构、CA结构、ShuffleNetV2_1结构、CA结构、ShuffleNetV2_1结构及ShuffleNetV2_2结构，第二ShuffleNet混合单元、第三ShuffleNet混合单元及第四ShuffleNet混合单元均包括依次连接的ShuffleNetV2_1结构、CA结构、ShuffleNetV2_1结构及ShuffleNetV2_2结构。
进一步的，HDC单元包括第一空洞卷积层组、第二空洞卷积层组和第三空洞卷积层组，其中，第一空洞卷积层组、第二空洞卷积层组和第三空洞卷积层组的卷积核大小相同；
第一空洞卷积层组和第三空洞卷积层组均为单个空洞卷积层，卷积系数分别为2和1，第二空洞卷积层组为两分支分别进行卷积运算，再进行级联合并的双空洞卷积层，双空洞卷积层的两个空洞卷积层卷积系数分别为1和3。
进一步的，根据图像数据集对初始的轻量化模型进行模型训练迭代，至收敛，具体包括如下步骤：
对图像进行Mosaic数据增强，获取预处理图像；
迭代如下步骤，至收敛：预处理图像输入初始的轻量化模型中，经Focus单元得到多张压缩图像，并对多张压缩图像进行多通道连接和卷积，形成第一特征图；
第一特征图输入第一ShuffleNet混合单元进行下采样，得到第二特征图；
第二特征图经过HDC单元后依次输入第二ShuffleNet混合单元、第三ShuffleNet混合单元及第四ShuffleNet混合单元，且自第二ShuffleNet混合单元、第三ShuffleNet混合单元及第四ShuffleNet混合单元的输出分别得到第三特征图、第四特征图及第五特征图；
第三特征图、第四特征图及第五特征图分别输入颈部网络进行特征信息融合后，由检测网络给出目标检测的结果，通过目标检测的预测值与真实值比较，计算误差值，迭代训练过程。
进一步的，通过目标检测的预测值与真实值比较，计算误差值，迭代训练过程，具体包括如下步骤：
基于对目标检测的预测值与真实值的比对，计算损失函数，其中，损失函数具体表示为：
其中，Loss为初始的轻量化模型的总损失，Losscls为分类损失，Lossbbox为矩形框回归损失，Lossobj为置信度损失；
对初始的轻量化模型的损失函数进行走向分析，若达到阈值，确定训练迭代结束，构建得到用于多类别瑕疵实时检测的轻量化模型。
第二方面，本发明还提供一种用于多类别瑕疵实时检测的轻量化模型构建装置，采用如上述用于多类别瑕疵实时检测的轻量化模型构建方法，包括：
采集模块，获取含多类别瑕疵的目标物体图像，形成图像数据集；
搭建模块，搭建初始的轻量化模型，并设置轻量化模型训练的超参数，其中，初始的轻量化模型包括轻量主干网络、颈部网络和头部检测网络，轻量主干网络用于提取融合位置信息的多尺度图像特征；
训练模块，根据图像数据集对初始的轻量化模型进行模型训练迭代，至收敛，构建得到用于多类别瑕疵实时检测的轻量化模型。
本发明提供的一种用于多类别瑕疵实时检测的轻量化模型构建方法及装置，至少包括如下有益效果：
（1）本发明提供了用于多类别瑕疵实时检测的轻量化模型构建方法及装置，旨在从深度学习领域出发，构建针对多类别瑕疵实时检测的轻量化模型，从而提升产品生产设备的工作效率和多类别表面瑕疵产品的检测准确率。该方法及装置有助于对不良品进行瑕疵类别的整理与数据分析，进而评估和改良产品的生产线。
（2）ShuffleNet混合单元中，利用通道稀疏连接的组卷积与深度可分离卷积相结合，减少模型的参数量，降低模型的复杂度。多次通道改组可对图像特征进行信息共享，以此提高特征信息的重复利用，充分提升模型的泛化能力。
（3）在ShuffleNet混合单元中加入坐标注意力机制CA，不仅可以获取通道间信息，还能对目标进行方向感知和快速定位，促进网络对具有判别力的局部特征加强关注。
（4）轻量化模型利用HDC单元的空洞卷积层扩大卷积感受野，获取特征图的全局特征信息，实现浅层语义信息的多尺度学习。
附图说明
图1为本发明提供的一种用于多类别瑕疵实时检测的轻量化模型构建方法的流程示意图；
图2为本发明提供的一种用于多类别瑕疵实时检测的轻量化模型的架构示意图；
图3为本发明提供的第一ShuffleNet混合单元的架构示意图；
图4为本发明提供的HDC单元的架构示意图；
图5为本发明提供的一种用于多类别瑕疵实时检测的轻量化模型构建装置的结构图。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。
针对多类别瑕疵的产品在进行图像比对检测时，往往存在诸如准确度低、识别速度慢、难以精确检测瑕疵位置等问题。而基于深度学习的模型检测算法可以自动提取图像特征，保证检测精度的基础上具有良好的泛化能力。
如图1所示，本发明提供一种用于多类别瑕疵实时检测的轻量化模型构建方法，包括如下步骤：
获取含多类别瑕疵的目标物体图像，形成图像数据集；
搭建初始的轻量化模型，并设置轻量化模型训练的超参数，其中，初始的轻量化模型包括轻量主干网络、颈部网络和头部检测网络，轻量主干网络用于提取融合位置信息的多尺度图像特征；
根据图像数据集对初始的轻量化模型进行模型训练迭代，至收敛；
构建得到用于多类别瑕疵实时检测的轻量化模型。
获取含多类别瑕疵的目标物体图像，形成图像数据集，还包括：
对图像的瑕疵进行矩形框标记，并对应生成瑕疵信息，其中，瑕疵信息包括瑕疵类别、矩形框中心坐标及矩形框尺寸。
在某个实施例中，目标物体为卫生巾，以卫生巾生产线上对卫生巾表面瑕疵的检测为例进行说明。获取含多类别瑕疵的目标物体图像，形成图像数据集，具体可以包括如下步骤：利用工业相机在卫生巾生产线上进行卫生巾表面瑕疵图像数据的获取；将相机一垂直放置于压合芯体内层后的传送带上方，相机二垂直放置于无纺布切刀并贴合离型纸后的传送带上方；使用恒定光源照射传送带上的卫生巾，每隔设定时间采集一张图像，最终将采集到的全部图像作为卫生巾瑕疵检测的数据集。
其中，相机一采集图像的瑕疵类型包括：芯体面层污点、芯体面层接头、芯体中层接头、芯体两侧接头、芯体缺失、芯体折叠、芯体偏位以及芯体余料等。相机二采集图像的瑕疵类型包括：护翼尾翼折叠、护翼尾翼张开、离型纸接头、离型纸缺失、离型纸折叠以及离型纸偏位等。
对图像数据集中的图像进行人工标记，也可以再按照8：2的比例将图像数据集中所有图像划分为训练图像和测试图像。
其中，人工识别图像中卫生巾瑕疵的基础上，结合labelimg标签标注软件对所有类别的瑕疵对象进行矩形框的标记。每标注一张图像对应生成一个txt文件，txt文件内的存储信息为所有瑕疵对应的类别、矩形框中心坐标、矩形框的宽和高等。
获取可进行模型训练的图像数据集后，搭建初始的轻量化模型。如图2所示，初始的轻量化模型包括轻量主干网络、颈部网络和检测网络。
其中，轻量主干网络以ShuffleNet混合单元结合混合空洞卷积（HDC）单元，在轻量化基础上，提升模型的特征提取能力。具体为：
构建轻量主干网络，其中，轻量主干网络包括Focus单元、HDC单元及多个ShuffleNet混合单元，HDC单元包括多个空洞卷积层组，且每个空洞卷积层组的空洞系数不同；
Focus单元连接第一ShuffleNet混合单元，第一ShuffleNet混合单元连接HDC单元，HDC单元再与第二ShuffleNet混合单元、第三ShuffleNet混合单元及第四ShuffleNet混合单元依次连接。
ShuffleNet混合单元根据输出特征图的尺寸大小设计了步长不同的两个结构，并添加了坐标注意力机制CA结构。因此，ShuffleNet混合单元包括ShuffleNetV2_1结构、ShuffleNetV2_2结构和CA结构；
其中，如图3所示，第一ShuffleNet混合单元包括依次连接的ShuffleNetV2_1结构、CA结构、ShuffleNetV2_1结构、CA结构、ShuffleNetV2_1结构及ShuffleNetV2_2结构，第二ShuffleNet混合单元、第三ShuffleNet混合单元及第四ShuffleNet混合单元均包括依次连接的ShuffleNetV2_1结构、CA结构、ShuffleNetV2_1结构及ShuffleNetV2_2结构。
主干网络中，ShuffleNet为通道重排的轻量级神经网络结构，使用ShuffleNetV2_1结构与CA结构进行多层连接的构造方式，有助于浅层网络有效提取特征信息。同时，引入HDC单元学习全局特征，缓解了浅层网络特征丢失的问题，并结合Focus单元和第一ShuffleNet混合单元实现浅层小尺寸目标的检测与分类。
ShuffleNetV2_1结构的结构步长为1，输出特征图的尺寸大小不发生改变。ShuffleNetV2_1结构利用随机通道分离手段将输入通道分为两个分支，通道维度的降低缓解了深度可分离卷积（DWConv）操作带来的较高内存访问成本。经深度可分离卷积层的分支计算完成后，与直接向下传递的另一分支进行级联，避免了元素级相加。随后利用通道改组对图像特征进行信息共享，依次提高特征信息的重复利用，充分提升模型的泛化能力。
坐标注意力机制CA，使特征图在垂直和水平方向上经平均池化层对各通道进行编码，得到两个方向的感知特征图。并利用通道拼接及卷积得到中间特征图，最终经过卷积层和激活函数层生成权重，通过不同分支的特征加权更新输出图像。CA结构的引入获取了目标的位置特征信息和方向感知信息，大大增强了模型对显著性区域的关注。
ShuffleNetV2_2结构的结构步长为2，输出特征图的尺寸减小为原来的一半。该模块对输入通道分别进行两个分支的深度可分离卷积计算，并对卷积结果进行级联，结合通道改组实现图像的下采样。
如图4所示，HDC单元包括第一空洞卷积层组、第二空洞卷积层组和第三空洞卷积层组，其中，第一空洞卷积层组、第二空洞卷积层组和第三空洞卷积层组的卷积核大小相同；
第一空洞卷积层组和第三空洞卷积层组均为单个空洞卷积层，卷积系数分别为2和1，第二空洞卷积层组为两分支分别进行卷积运算，再进行级联合并的双空洞卷积层，双空洞卷积层的两个空洞卷积层卷积系数分别为1和3。
该HDC单元通过对卷积核设置不同的空洞系数，并填充相应个数的0来扩增卷积学习过程中的感受野。采用单个空洞卷积层的第一空洞卷积层组，再连接两个空洞卷积层的第二卷积层组，最后连接单个空洞卷积层的第三空洞卷积层组，能融合不同层的特征进行并行采样，能更好学习到图像的多尺度特征。
随后再构建颈部网络和检测网络，颈部网络可以直接选用Yolov5结构中FPN-PAN。该网络利用多次特征图采样、特征图级联和C3结构（CSP Bottleneck with 3Convolutions）来实现多尺度图像特征的信息融合，从而增强网络学习能力。
对应FPN-PAN颈部网络设置的检测网络也可以选用Yolov5的头部检测网络，其中，头部检测网络可以由3个预测检测头组成，且3个预测检测头分别与FPN-PAN颈部网络进行连接，头部检测网络对应颈部网络在不同尺度上的目标检测结果，从而组成完整的初始的轻量化模型。
完成初始的轻量化模型搭建后，根据图像数据集对初始的轻量化模型进行模型训练。
根据图像数据集对初始的轻量化模型进行模型训练迭代，至收敛，具体包括如下步骤：
对图像进行Mosaic数据增强，获取预处理图像；通过对图像进行随机的剪裁、缩放、再拼接手段来丰富数据。同时，利用图像拼接增加小样本目标个数，有益于小目标的训练与检测。该方法不仅可以实现数据集的有效扩充，而且也提升了模型的鲁棒性和泛化能力。
轻量化模型训练的超参数包括用于轻量化模型训练的图像批量大小、初始学习率、动量因子、权重衰减系数及迭代次数。
超参数的数值大小根据不同的应用场景进行设定，在此不做具体的限定。例如，在某个实施例中，轻量化模型训练的图像批量大小为16，初始学习率为0.001，动量因子为0.98，权重衰减系数为0.0005，首次迭代次数为100轮。
迭代如下步骤，至收敛：预处理图像输入初始的轻量化模型中，经Focus单元得到多张压缩图像，并对多张压缩图像进行多通道连接和卷积，形成第一特征图；
第一特征图输入第一ShuffleNet混合单元进行下采样，得到第二特征图；
第二特征图经过HDC单元的后依次输入第二ShuffleNet混合单元、第三ShuffleNet混合单元及第四ShuffleNet混合单元，且自第二ShuffleNet混合单元、第三ShuffleNet混合单元及第四ShuffleNet混合单元的输出分别得到第三特征图、第四特征图及第五特征图；
第三特征图、第四特征图及第五特征图分别输入颈部网络进行特征信息融合后，由检测网络给出目标检测的结果，通过目标检测的预测值与真实值比较，计算误差值，迭代训练过程。
通过比较预测结果和真实结果，来计算误差值，不断地进行迭代训练，优化模型参数，最终保留预测效果最佳的模型权重。
在某个实施例中，预处理图像以480×480×3的尺寸输入，通过Focus单元的切片处理，转化为4张240×240×3的压缩图像，并结合多通道连接，将通道数调整为12。随后，进行第一层卷积，输出尺寸为240×240×64的第一特征图。
接着，将240×240×64的第一特征图输入到第一ShuffleNet混合单元，利用下采样降低图像分辨率，输出的第二特征图尺寸为120×120×128。其中，第一ShuffleNet混合单元中的ShuffleNetV2网络通过深度可分离卷积减少模型的参数量，降低模型复杂度。同时使用CA结构提升模型对目标位置信息的表征能力。然后，轻量化模型利用HDC单元的空洞卷积层扩大卷积感受野，获取第二特征图的全局特征信息，实现浅层语义信息的多尺度学习。最后，将120×120×128大小的第二特征图输入到三个连续的第二ShuffleNet混合单元、第三ShuffleNet混合单元及第四ShuffleNet混合单元进行连续下采样，以此获取图像多尺度的特征信息。最终分别输出尺寸大小为60×60×256、30×30×512和15×15×1024的第三特征图、第四特征图和第五特征图。
颈部网络为FPN-PAN，该网络通过自顶向下和自底向上的两种特征金字塔结构进行特征信息融合。轻量主干网络输出的第三特征图、第四特征图和第五特征图利用卷积和上采样进行尺寸调整，使之分别与次深层尺寸大小相同的输出特征图进行拼接，以此加强深层目标语义信息的学习。自底向上则是在反向信息融合的基础上与深层特征图进行前向拼接。通过二次信息传递获取浅层目标位置特征，进而实现不同尺度上的特征信息融合。
头部检测网络对应颈部网络在不同尺度上的目标检测结果，使用三个预测检测头分别对尺寸大小为60×60×57、30×30×57和15×15×57的特征图进行目标检测。
通过目标检测的预测值与真实值比较，计算误差值，迭代训练过程，具体包括如下步骤：
基于对检测结果与真实值的比对，计算损失函数，其中，损失函数具体表示为：
其中，Loss为初始的轻量化模型的总损失，Losscls为分类损失，Lossbbox为矩形框回归损失，Lossobj为置信度损失；
对初始的轻量化模型的损失函数进行走向分析，若达到阈值，如当损失函数的值下降到平稳状态时，确定训练迭代结束，构建得到用于多类别瑕疵实时检测的轻量化模型。
构建得到的轻量化模型检测效果进行评价的指标有：精确率（P）、召回率（R）、平均精度均值（mAP）以及每秒传输的图像帧数（FPS）。其中，FPS用于表示实时检测目标的推理速度，其他评价指标的表达式为：
；
；
。
上式中，表示为正确检测到目标的数量，/>表示为错误检测的目标的数量，表示为实际有目标，但未检测出目标的数量，/>表示为每个缺陷类别对应的平均精度。
轻量化模型迭代训练结束后，选择对应的评价指标数值进行分析。如以下表1所示。
表1 本发明轻量化模型与Yolov5模型的性能指标比对表
通过对比Yolov5网络模型的预测结果发现，本发明给出的轻量化模型对卫生巾的多类型瑕疵实时检测准确率达到94.56%，召回率达到96.23%，平均精度均值达到98.76%以及每秒传输的图像帧数达到75FPS。相比于Yolov5网络模型的检测结果分别提升了3.52%、5.3%、6.8%和32FPS。
结果表明：本发明给出的轻量化模型针对诸如卫生巾等的多类别瑕疵实时的检测，具备更高的检测精度和更快的检测速度，可以实现对多类别瑕疵的自动检测与分类。
如图5所示，本发明还提供一种用于多类别瑕疵实时检测的轻量化模型构建装置，采用如上述用于多类别瑕疵实时检测的轻量化模型构建方法，包括：
采集模块，获取含多类别瑕疵的目标物体图像，形成图像数据集；
搭建模块，搭建初始的轻量化模型，并设置轻量化模型训练的超参数，其中，初始的轻量化模型包括轻量主干网络、颈部网络和检测网络，轻量主干网络用于提取融合位置信息的多尺度图像特征；
训练模块，根据图像数据集对初始的轻量化模型进行模型训练迭代，至收敛，构建得到用于多类别瑕疵实时检测的轻量化模型。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种用于多类别瑕疵实时检测的轻量化模型构建方法，其特征在于，包括如下步骤：
获取含多类别瑕疵的目标物体图像，形成图像数据集；
搭建初始的轻量化模型，并设置轻量化模型训练的超参数，其中，初始的轻量化模型包括轻量主干网络、颈部网络和头部检测网络，轻量主干网络用于提取融合位置信息的多尺度图像特征；
根据图像数据集对初始的轻量化模型进行模型训练迭代，至收敛；
构建得到用于多类别瑕疵实时检测的轻量化模型；
其中，搭建初始的轻量化模型，具体包括如下步骤：
构建轻量主干网络，其中，轻量主干网络包括Focus单元、HDC单元及多个ShuffleNet混合单元，HDC单元包括多个空洞卷积层组，且每个空洞卷积层组的空洞系数不同；
Focus单元连接第一ShuffleNet混合单元，第一ShuffleNet混合单元连接HDC单元，HDC单元再与第二ShuffleNet混合单元、第三ShuffleNet混合单元及第四ShuffleNet混合单元依次连接，其中，第一ShuffleNet混合单元包括依次连接的ShuffleNetV2_1结构、CA结构、ShuffleNetV2_1结构、CA结构、ShuffleNetV2_1结构及ShuffleNetV2_2结构，第二ShuffleNet混合单元、第三ShuffleNet混合单元及第四ShuffleNet混合单元均包括依次连接的ShuffleNetV2_1结构、CA结构、ShuffleNetV2_1结构及ShuffleNetV2_2结构，ShuffleNetV2_1结构的结构步长为1，ShuffleNetV2_2结构的结构步长为2，CA结构为坐标注意力机制，HDC单元包括第一空洞卷积层组、第二空洞卷积层组和第三空洞卷积层组，第一空洞卷积层组和第三空洞卷积层组均为单个空洞卷积层，卷积系数分别为2和1，第二空洞卷积层组为两分支分别进行卷积运算，再进行级联合并的双空洞卷积层；
构建与ShuffleNet混合单元连接的FPN-PAN的颈部网络，及对应颈部网络设置的头部检测网络，得到初始的轻量化模型；
根据图像数据集对初始的轻量化模型进行模型训练迭代，至收敛，具体包括如下步骤：
对图像进行Mosaic数据增强，获取预处理图像；
迭代如下步骤，至收敛：预处理图像输入初始的轻量化模型中，经Focus单元得到多张压缩图像，并对多张压缩图像进行多通道连接和卷积，形成第一特征图；
第一特征图输入第一ShuffleNet混合单元进行下采样，得到第二特征图；
第二特征图经过HDC单元后依次输入第二ShuffleNet混合单元、第三ShuffleNet混合单元及第四ShuffleNet混合单元，且自第二ShuffleNet混合单元、第三ShuffleNet混合单元及第四ShuffleNet混合单元的输出分别得到第三特征图、第四特征图及第五特征图；
第三特征图、第四特征图及第五特征图分别输入颈部网络进行特征信息融合后，由检测网络给出目标检测的结果，通过目标检测的预测值与真实值比较，计算误差值，迭代训练过程。
2.如权利要求1所述用于多类别瑕疵实时检测的轻量化模型构建方法，其特征在于，获取含多类别瑕疵的目标物体图像，形成图像数据集，还包括：
对图像的瑕疵进行矩形框标记，并对应生成瑕疵信息，其中，瑕疵信息包括瑕疵类别、矩形框中心坐标及矩形框尺寸。
3.如权利要求1所述用于多类别瑕疵实时检测的轻量化模型构建方法，其特征在于，超参数包括用于轻量化模型训练的图像批量大小、初始学习率、动量因子、权重衰减系数及迭代次数。
4.如权利要求1所述用于多类别瑕疵实时检测的轻量化模型构建方法，其特征在于，第一空洞卷积层组、第二空洞卷积层组和第三空洞卷积层组的卷积核大小相同；
双空洞卷积层的两个空洞卷积层卷积系数分别为1和3。
5.如权利要求1所述用于多类别瑕疵实时检测的轻量化模型构建方法，其特征在于，通过目标检测的预测值与真实值比较，计算误差值，迭代训练过程，具体包括如下步骤：
基于对目标检测的预测值与真实值的比对，计算损失函数，其中，损失函数具体表示为：
；
其中，Loss为初始的轻量化模型的总损失，Losscls为分类损失，Lossbbox为矩形框回归损失，Lossobj为置信度损失；
对初始的轻量化模型的损失函数进行走向分析，若达到阈值，确定训练迭代结束，构建得到用于多类别瑕疵实时检测的轻量化模型。
6.一种用于多类别瑕疵实时检测的轻量化模型构建装置，其特征在于，采用如权利要求1-5任一所述用于多类别瑕疵实时检测的轻量化模型构建方法，包括：
采集模块，获取含多类别瑕疵的目标物体图像，形成图像数据集；
搭建模块，搭建初始的轻量化模型，并设置轻量化模型训练的超参数，其中，初始的轻量化模型包括轻量主干网络、颈部网络和头部检测网络，轻量主干网络用于提取融合位置信息的多尺度图像特征；
训练模块，根据图像数据集对初始的轻量化模型进行模型训练迭代，至收敛，构建得到用于多类别瑕疵实时检测的轻量化模型。
CN202310902710.2A 2023-07-21 2023-07-21 用于多类别瑕疵实时检测的轻量化模型构建方法及装置 Active CN116611503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310902710.2A CN116611503B (zh) 2023-07-21 2023-07-21 用于多类别瑕疵实时检测的轻量化模型构建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310902710.2A CN116611503B (zh) 2023-07-21 2023-07-21 用于多类别瑕疵实时检测的轻量化模型构建方法及装置

Publications (2)

Publication Number Publication Date
CN116611503A CN116611503A (zh) 2023-08-18
CN116611503B true CN116611503B (zh) 2023-09-22

Family

ID=87684100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310902710.2A Active CN116611503B (zh) 2023-07-21 2023-07-21 用于多类别瑕疵实时检测的轻量化模型构建方法及装置

Country Status (1)

Country Link
CN (1) CN116611503B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021004402A1 (zh) * 2019-07-05 2021-01-14 深圳数字生命研究院 图像识别方法及装置、存储介质和处理器
WO2021244079A1 (zh) * 2020-06-02 2021-12-09 苏州科技大学 智能家居环境中图像目标检测方法
CN114092467A (zh) * 2021-12-01 2022-02-25 重庆大学 一种基于轻量化卷积神经网络的划痕检测方法及系统
CN115170529A (zh) * 2022-07-20 2022-10-11 西安电子科技大学广州研究院 基于注意力机制的多尺度微小瑕疵检测方法
CN115601610A (zh) * 2022-10-08 2023-01-13 浙江理工大学（Cn） 一种基于改进EfficientDet模型的织物瑕疵检测方法
CN116188419A (zh) * 2023-02-21 2023-05-30 浙江理工大学桐乡研究院有限公司 一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021004402A1 (zh) * 2019-07-05 2021-01-14 深圳数字生命研究院 图像识别方法及装置、存储介质和处理器
WO2021244079A1 (zh) * 2020-06-02 2021-12-09 苏州科技大学 智能家居环境中图像目标检测方法
CN114092467A (zh) * 2021-12-01 2022-02-25 重庆大学 一种基于轻量化卷积神经网络的划痕检测方法及系统
CN115170529A (zh) * 2022-07-20 2022-10-11 西安电子科技大学广州研究院 基于注意力机制的多尺度微小瑕疵检测方法
CN115601610A (zh) * 2022-10-08 2023-01-13 浙江理工大学（Cn） 一种基于改进EfficientDet模型的织物瑕疵检测方法
CN116188419A (zh) * 2023-02-21 2023-05-30 浙江理工大学桐乡研究院有限公司 一种可部署于嵌入式设备的轻量化布匹瑕疵检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于感受野模块的绝缘子实时识别定位方法;吉志朋;张国伟;卢秋红;;电工电气(09);全文 *
基于轻量级CNN与主动学习的工件疵病识别方法研究;姚明海;杨圳;;高技术通讯(04);全文 *

Also Published As

Publication number Publication date
CN116611503A (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
Gomez-Donoso et al. Lonchanet: A sliced-based cnn architecture for real-time 3d object recognition
CN101667245B (zh) 基于支持向量新颖检测分类器级联的人脸检测方法
CN110533084A (zh) 一种基于自注意力机制的多尺度目标检测方法
CN104658038B (zh) 基于动作捕捉的三维数字内容智能制作方法及制作系统
CN109658419A (zh) 一种医学图像中小器官的分割方法
CN108596329A (zh) 基于端到端深度集成学习网络的三维模型分类方法
CN111027547A (zh) 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN109523552A (zh) 基于视锥点云的三维物体检测方法
CN107066934A (zh) 胃部肿瘤细胞图像识别判定装置、方法及胃部肿瘤切片识别判定设备
CN110766051A (zh) 一种基于神经网络的肺结节形态学分类方法
CN110310259A (zh) 一种基于改进YOLOv3算法的木结瑕疵检测方法
CN107316058A (zh) 通过提高目标分类和定位准确度改善目标检测性能的方法
CN110135513A (zh) 一种基于深度学习的焊接机器人的焊缝识别方法
CN110033023A (zh) 一种基于绘本识别的图像数据处理方法及系统
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN104484886B (zh) 一种mr图像的分割方法及装置
CN110136101A (zh) 一种基于孪生距离比对的轮胎x光病疵检测方法
CN109558902A (zh) 一种快速目标检测方法
CN105260734A (zh) 一种具有自建模功能的商品油表面激光标码识别方法
CN112183240B (zh) 一种基于3d时间流和并行空间流的双流卷积行为识别方法
CN105844602A (zh) 一种基于体元的机载lidar点云三维滤波方法
CN106355579A (zh) 烟条表面褶皱的缺陷检测方法
CN113435269A (zh) 一种基于YOLOv3改进的水面漂浮物检测与识别方法及系统
CN104574391A (zh) 一种基于自适应特征窗口的立体视觉匹配方法
CN112070727A (zh) 一种基于机器学习的金属表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant