CN114972952A - 一种基于模型轻量化的工业零部件缺陷识别方法 - Google Patents

一种基于模型轻量化的工业零部件缺陷识别方法 Download PDF

Info

Publication number
CN114972952A
CN114972952A CN202210595003.9A CN202210595003A CN114972952A CN 114972952 A CN114972952 A CN 114972952A CN 202210595003 A CN202210595003 A CN 202210595003A CN 114972952 A CN114972952 A CN 114972952A
Authority
CN
China
Prior art keywords
teacher
student
convolution
network
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210595003.9A
Other languages
English (en)
Other versions
CN114972952B (zh
Inventor
利节
黄晓薇
董志诚
颜定江
吴瑞
张祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Science and Technology
Original Assignee
Chongqing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Science and Technology filed Critical Chongqing University of Science and Technology
Priority to CN202210595003.9A priority Critical patent/CN114972952B/zh
Publication of CN114972952A publication Critical patent/CN114972952A/zh
Application granted granted Critical
Publication of CN114972952B publication Critical patent/CN114972952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明涉及工业视觉缺陷检测技术领域，具体公开了一种基于模型轻量化的工业零部件缺陷识别方法，首先构建基础神经网络模型用于缺陷识别，该基础神经网络模型由骨干网络、RPN网络、特征图融合模块和缺陷区域分类网络组成，能够提取高维抽象特征并实现特征自学习，然后通过权重量化加速训练、采用过滤器剪枝对模型进行压缩、通过知识蒸馏对模型进一步压缩，得到轻量化的单个模型(工业零部件缺陷识别模型)，最后通过Keras、Tensorflow、Tensorflow.js将该轻量化的工业零部件缺陷识别模型部署于Web端，从而在Web端实现对待检测工业零部件图片的快速高精度识别。

Description

一种基于模型轻量化的工业零部件缺陷识别方法
技术领域
本发明涉及工业视觉缺陷检测技术领域，尤其涉及一种基于模型轻量化的工业零部件缺陷识别方法。
背景技术
现有的工业视觉缺陷检测方面的技术以图像处理技术与机器视觉技术为主，比如西华大学赖定敏的《基于图像处理的罐装瓶喷码缺陷检测》，对采集的图像进行图像增强、图像滤波等图像处理操作提取区域检测框，对喷码字符进行数学形态学处理、字符倾斜校正实现字符区域的精确分割；比如刘浩的《基于机器视觉的卷烟小盒商标纸表面缺陷在线检测技术》，采用图像差分算法，以标准图像的定位点通过偏移和相似度量实现快速定位配准。这些缺陷检测算法通常首先通过数据预处理、特征提取等方法提取原始图像中的特征，然后训练分类器，将特征输入到分类器中得到检测结果。其中的特征提取往往提取的是人工设计的特征，无法很好地提取到图像本身的特征，造成信息缺失。传统的分类器模型主要有决策树、支持向量机、逻辑斯特回归等，这类分类器模型因为数据质量、特征设计与模型描述能力等因素限制，其泛化能力有限，难以达到实际应用需要。
综上所述，现有工业视觉缺陷检测算法识别准确率低、高维抽象特征提取难、模型边缘端轻量化部署要求高，无法满足当下工业视觉缺陷检测对模型大小、速度、识别准确率的高要求。
发明内容
本发明提供一种基于模型轻量化的工业零部件缺陷识别方法，解决的技术问题在于：现有的工业零部件缺陷识别算法识别准确率低、高维抽象特征提取难、模型边缘端轻量化部署要求高，无法满足当下工业视觉缺陷检测对模型大小、速度、识别准确率的高要求。
为解决以上技术问题，本发明提供一种基于模型轻量化的工业零部件缺陷识别方法，包括步骤：
S1、收集工业零部件错装、漏装、多装的原始图像并进行分组、缺陷标注，得到预处理图像；
S2、构建基础神经网络模型并采用所述预处理图像对所述基础神经网络模型进行训练，在训练过程中对所述基础神经网络模型中的权重进行量化处理以加速训练，训练完成后得到第一识别模型；
S3、采用基于几何中位数的过滤器剪枝对所述第一识别模型进行压缩，得到第二识别模型；
S4、基于所述第一识别模型构建教师网络，将所述第二识别模型作为学生网络，采用所述教师网络对所述学生网络进行局部与全局的知识蒸馏，蒸馏后的学生网络作为最后的工业零部件缺陷识别模型；
S5、将预处理后的待识别工业零部件图片输入所述工业零部件缺陷识别模型进行缺陷识别后，得到对应的缺陷识别结果。
进一步地，在所述步骤S2中，所述基础神经网络模型包括骨干网络、RPN网络、特征图融合模块和缺陷区域分类网络；
所述骨干网络由卷积层和最大池化层构成，用于对输入的预处理图像进行特征提取，得到对应的特征图；
所述RPN网络用于生成所述特征图的缺陷区域的提议框；
所述特征图融合模块用于将所述特征图与所述提议框进行融合，得到含框特征图；
所述缺陷区域分类网络用于对所述含框特征图进行缺陷分类，得到缺陷边框预测结果和缺陷类别预测结果。
进一步地，所述缺陷区域分类网络包括1个ROI池化层、4个全连接层、2个Relu激活层和1个Softmax激活层；
所述含框特征图依次经ROI池化层、第一个全连接层、第一个Relu激活层、第二个全连接层、第二个Relu激活层进行相应处理后分为两路，一路经第三个全连接层后输出缺陷边框预测结果，另一路依次经第四个全连接层、Softmax激活层后输出缺陷类别预测结果。
进一步地，所述骨干网络包括顺序连接的7×7卷积层、3×3卷积层、第一卷积块、第二卷积块、第三卷积块和第四卷积块；
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行3次残差连接得到所述第一卷积块；
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行4次残差连接得到所述第二卷积块；
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行6次残差连接得到所述第三卷积块；
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行3次残差连接得到所述第四卷积块；
所述预处理图像依次经所述7×7卷积层、所述3×3卷积层、所述第一卷积块、所述第二卷积块、所述第三卷积块和所述第四卷积块的相应处理后，得到所述特征图。
进一步地，在所述步骤S4中，基于所述第一识别模型构建教师网络，具体为：
将所述第一识别模型中的所述第三卷积块替换为第五卷积块，其余结构保持不变，得到所述教师网络；
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行23次残差连接得到所述第五卷积块。
进一步地，在所述步骤S4中，采用所述教师网络对所述学生网络进行局部与全局的知识蒸馏，具体包括步骤：
S41、将所述原始图像分别输入所述教师网络的骨干网络和所述学生网络的骨干网络，得到对应的教师特征图和学生特征图；
S42、将所述教师特征图和所述学生特征图分别输入教师全局关系捕获模块和学生全局关系捕获模块，得到对应的教师全局关系特征图和学生全局关系特征图；
S43、将所述教师特征图分别经教师二进制掩码和教师尺度掩码得到教师前景特征图和教师背景特征图，将所述教师特征图分别经教师空间注意力掩码和教师通道注意力掩码得到教师空间注意力特征图和教师通道注意力特征图；
S44、将所述学生特征图分别经学生二进制掩码和学生尺度掩码得到学生前景特征图和学生背景特征图，将所述学生特征图分别经学生空间注意力掩码和学生通道注意力掩码得到学生空间注意力特征图和学生通道注意力特征图；
S45、采用所述教师全局关系特征图对所述学生全局关系特征图进行指导，进行全局的知识蒸馏；分别采用所述教师前景特征图、所述教师背景特征图、所述教师空间注意力特征图和所述教师通道注意力特征图对所述学生前景特征图、所述学生背景特征图、所述学生空间注意力特征图和所述学生通道注意力特征图进行指导，进行局部的知识蒸馏。
进一步地，所述教师全局关系捕获模块包括第一单元、第二单元、第三单元；
所述第一单元包括顺序连接的1×1卷积层、softmax激活层；
所述第二单元包括顺序连接的相乘模块、1×1卷积层、正则化层与ReLU激活层、1×1卷积层，所述相乘模块用于将所述第一单元的输出与输入进行相乘并将相乘的结果输出至所述第三单元；
所述第三单元为相加模块，所述相加模块用于将所述第一单元的输入与所述第二单元的输出进行相加并将相加的结果输出；
所述教师全局关系捕获模块的输出表示为：
Figure BDA0003667823140000041
其中，xt表示输入所述教师网络的教师特征图，Wv1、Wv2为所述第二单元中两个1×1卷积层的线性变换权重矩阵，Np表示所述教师特征图的像素数，Wk表示所述第一单元中1×1卷积层的线性变换权重矩阵，xm表示输入所述第一单元的图像xt的第m个像素，xj表示输入所述相乘模块的图像xt的第j个像素，LN()表示层归一化函数，ReLU()表示ReLU激活函数；
所述教师二进制掩码表示为：
Figure BDA0003667823140000051
其中r表示所述预处理图像中目标图像部分的批注框，i、j分别表示了所述教师特征图的水平坐标和垂直坐标，如果像素点(i,j)落在r中，那么二进制掩码值Mi,j为1，否则为0，使用所述教师二进制掩码将所述教师特征图的目标信息即前景信息和背景信息进行分离；
所述教师尺度掩码表示为：
Figure BDA0003667823140000052
Figure BDA0003667823140000053
Hr和Wr分别表示所述教师特征图中批注框r的高度和宽度，Nbg计算不在批注框r中的像素数即背景像素数；
所述教师通道注意力掩码表示为：
AC(F)＝C·softmax(GC(F)/T)，
Figure BDA0003667823140000054
GC(F)表示所述教师特征图的空间局部特征平均值，H、W、C表示所述教师特征图的高度、宽度和通道，|Fi,j|表示所述教师特征图上高宽索引分别为i、j的像素点的特征值的绝对值，T表示调节分布的温度超参数；
所述教师通道注意力掩码表示为：
AS(F)＝H·W·softmax(GS(F)/T)，
Figure BDA0003667823140000055
GS(F)表示所述教师特征图的通道局部特征平均值，Fc表示所述教师特征图的第c个通道上的局部特征；
所述学生全局关系捕获模块、所述学生二进制掩码、所述学生尺度掩码、所述学生空间注意力掩码、所述学生通道注意力掩码分别与所述教师全局关系捕获模块、所述教师二进制掩码、所述教师尺度掩码、所述教师空间注意力掩码、所述教师通道注意力掩码的构造相同。
进一步地，在全局的知识蒸馏和局部的知识蒸馏中，采用的损失函数为：
L＝Loriginal+Lfocal+Lglobal，
Loriginal是所述教师网络与所述学生网络之间的原始损失，Lfocal是局部蒸馏损失，Lglobal是全局蒸馏损失；
所述局部蒸馏损失Lfocal是特征损失Lfea和注意力损失Lat之和，表示为：Lfocal＝Lfea+Lat；
所述特征损失Lfea表示为：
Figure BDA0003667823140000061
Mi,j表示所述教师二进制掩码也即所述学生二进制掩码，Si,j表示所述教师尺度掩码也即所述学生尺度掩码，
Figure BDA0003667823140000062
表示所述教师空间注意力掩码也即所述学生空间注意力掩码，
Figure BDA0003667823140000063
表示所述教师空间注意力掩码也即所述学生空间注意力掩码教师通道注意力掩码，
Figure BDA0003667823140000064
和
Figure BDA0003667823140000065
分别表示教师网络和学生网络的特征，α、β是用于平衡损失的超参数，H、W、C分别表示所述教师特征图也即所述学生特征图的高度、宽度和通道数，f()表示将
Figure BDA0003667823140000066
重置为与
Figure BDA0003667823140000067
相同的维度；
所述注意力损失Lat表示为：
Figure BDA0003667823140000068
Figure BDA0003667823140000069
分别表示所述教师空间注意力掩码、所述学生空间注意力掩码，
Figure BDA00036678231400000610
分别表示所述教师通道注意力掩码、所述学生通道注意力掩码，l()表示L1loss，γ是用于平衡损失的超参数；
所述全局蒸馏损失Lglobal表示为：
Figure BDA0003667823140000071
Figure BDA0003667823140000072
FT、FS分别表示所述教师特征图的特征和所述学生特征图的特征，
Figure BDA0003667823140000073
分别表示所述教师全局关系捕获模块、所述学生全局关系捕获模块提取的全局特征，λ是用于平衡损失的超参数，Fm表示输入所述第一单元的图像xt的第m个像素的特征，Fj表示输入所述相乘模块的图像xt的第j个像素的特征。
进一步地，在所述步骤S2中，在训练过程中对所述基础神经网络模型中的权重进行量化处理，具体包括步骤：
S21、输入所述基础神经网络模型的浮动型权重，获得所述浮动型权重中的权重最大值和权重最小值；
S22、根据所述权重最大值和所述权重最小值对所述浮动型权重进行量化后重新输入所述基础神经网络模型进行训练直至网络收敛，在训练过程中找到对应的量化关系对所述基础神经网络模型的输出值进行反量化以获得最终的输出结果。
进一步地，所述步骤S3具体包括步骤：
S31、给出在d维空间内的任意n个点a(1),…,a(n)，求取X中与n个点a(1),…,a(n)的欧氏距离之和最小的点x*作为X的几何中位数点，X具体指所述待处理图像的点的集合；
S32、使用几何中位数点x*来获取第一识别模型中所述骨干网络的第i层卷积层内所有滤波器的几何中位数
Figure BDA0003667823140000074
作为该层的信息估计或数据中心：
Figure BDA0003667823140000075
Figure BDA0003667823140000076
代表在所述骨干网络的第i层卷积层中大小为K×K的特征图，Fi,j′j′∈[1,Ni+1]代表在所述骨干网络中第i层卷积层中的第j′个滤波器，Ni+1代表滤波器的总数，
Figure BDA0003667823140000081
代表x*与所述骨干网络中第i层卷积层所有滤波器的欧氏距离之和；
S33、在所述骨干网络的第i层卷积层中，找到与几何中位数
Figure BDA0003667823140000082
相接近的多个滤波器
Figure BDA0003667823140000083
Figure BDA0003667823140000084
S34、剪除这些滤波器
Figure BDA0003667823140000085
本发明提供的一种基于模型轻量化的工业零部件缺陷识别方法，首先构建基础神经网络模型用于缺陷识别，该基础神经网络模型由骨干网络、RPN网络、特征图融合模块和缺陷区域分类网络组成，能够提取高维抽象特征并实现特征自学习，然后通过权重量化加速训练、采用过滤器剪枝对模型进行压缩、通过知识蒸馏对模型进一步压缩，得到轻量化的单个模型(工业零部件缺陷识别模型)，最后通过Keras、Tensorflow、Tensorflow.js将该轻量化模型部署于Web端，从而在Web端实现对待检测工业零部件图片的快速高精度识别。
附图说明
图1是本发明实施例提供的一种基于模型轻量化的工业零部件缺陷识别方法的流程图；
图2是本发明实施例提供的基础神经网络模型的网络架构图；
图3是本发明实施例提供的量化权重加速基础神经网络模型训练的流程图；
图4是本发明实施例提供的教师全局关系捕获模块(GcBlock)的网络架构图。
图5是本发明实施例提供的对待检测工业零部件图片的检测效果图。
具体实施方式
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
为了使工业零部件等小目标物体的实时检测具有较高的精度，并实现模型的轻量化部署，参考图1所示的流程图，本发明实施例提供了一种基于模型轻量化的工业零部件缺陷识别方法，包括步骤：
(1)生成工业零部件缺陷识别模型；
该步骤(1)具体包括步骤S1～S4：
S1、收集工业零部件错装、漏装、多装的原始图像(实时数据提取)并进行分组、缺陷标注(数据预处理)，得到预处理图像。
S2、构建基础神经网络模型(智能零部件错装、漏装、多装深度学习实时检测模型)并采用预处理图像对基础神经网络模型进行训练，在训练过程中对基础神经网络模型中的权重进行量化处理以加速训练，训练完成后得到第一识别模型。
在步骤S2中，如图2所示，基础神经网络模型包括骨干网络、RPN网络、特征图融合模块和缺陷区域分类网络。
骨干网络由卷积层和最大池化层构成，用于对输入的预处理图像进行特征提取，得到对应的特征图。具体的，骨干网络包括顺序连接的7×7卷积层、3×3卷积层、第一卷积块、第二卷积块、第三卷积块和第四卷积块；
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行3次残差连接得到第一卷积块；
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行4次残差连接得到第二卷积块；
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行6次残差连接得到第三卷积块；
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行3次残差连接得到第四卷积块；
预处理图像依次经7×7卷积层、3×3卷积层、第一卷积块、第二卷积块、第三卷积块和第四卷积块的相应处理后，得到特征图。
RPN网络用于生成特征图的缺陷区域的提议框。具体的，RPN网络的结构如图2所示。
特征图融合模块用于将特征图与提议框进行融合，得到含框特征图(即含框的特征图)。
缺陷区域分类网络用于对含框特征图进行缺陷分类，得到缺陷边框预测结果和缺陷类别预测结果。
具体的，如图2所示，缺陷区域分类网络包括1个ROI池化层、4个全连接层、2个Relu激活层和1个Softmax激活层；
含框特征图依次经ROI池化层、第一个全连接层、第一个Relu激活层、第二个全连接层、第二个Relu激活层进行相应处理后分为两路，一路经第三个全连接层后输出缺陷边框预测结果，另一路依次经第四个全连接层、Softmax激活层后输出缺陷类别预测结果。
在步骤S2中，参考图3所示的流程图，在训练过程中对基础神经网络模型中的权重进行量化处理，具体包括步骤：
S21、输入基础神经网络模型的浮动型权重，获得浮动型权重中的权重最大值和权重最小值；
S22、根据权重最大值和权重最小值对浮动型权重进行量化后重新输入基础神经网络模型进行训练直至网络收敛，在训练过程中找到对应的量化关系对基础神经网络模型的输出值进行反量化以获得最终的输出结果。
模型量化则是指将模型中连续的权值进一步稀疏化、离散化。经过离散化之后，相较于原来的连续稠密的权值就可以用离散的权值来表示了。量化的具体方式是更改权值矩阵的值，原始数据类型为float32，转变为int8，以减少内存大小和计算时间。
本方法通过基础神经网络模型的骨干网络以及RPN网络提取高维抽象特征获取缺陷区域的提议框，通过缺陷区域分类网络对缺陷区域分类，通过大量数据的训练，可实现对工业零部件错装、漏装、多装的实时识别或检测，且准确度较高。但此时生成的第一识别模型还存在参数量大、识别速度慢、无法轻量化部署等问题，还需要如下的改进。
S3、采用基于几何中位数的过滤器剪枝对第一识别模型进行压缩，得到第二识别模型。
步骤S3具体包括步骤：
S31、给出在d维空间内的任意n个点a(1),…,a(n)，求取X中与n个点a(1),…,a(n)的欧氏距离之和最小的点x*作为X的几何中位数点，X具体指待处理图像的点的集合；
S32、使用几何中位数点x*来获取第一识别模型中骨干网络的第i层卷积层内所有滤波器的几何中位数
Figure BDA0003667823140000111
作为该层的信息估计或数据中心：
Figure BDA0003667823140000112
Figure BDA0003667823140000113
代表在骨干网络的第i层卷积层中大小为K×K的特征图，Fi,j′j′∈[1,Ni+1]代表在骨干网络中第i层卷积层中的第j′个滤波器，Ni+1代表滤波器的总数，
Figure BDA0003667823140000114
代表x*与骨干网络中第i层卷积层所有滤波器的欧氏距离之和；
S33、在骨干网络的第i层卷积层中，找到与几何中位数
Figure BDA0003667823140000115
相接近的多个滤波器
Figure BDA0003667823140000116
Figure BDA0003667823140000117
S34、剪除这些滤波器
Figure BDA0003667823140000118
这些滤波器认为是信息冗余的，可以被剩余滤波器替代，剪除这些冗余的滤波器不会对网络性能造成较大影响。
S4、基于第一识别模型构建教师网络，将第二识别模型作为学生网络，采用教师网络对学生网络进行局部与全局的知识蒸馏，蒸馏后的学生网络作为最后的工业零部件缺陷识别模型。
在步骤S4中，基于第一识别模型构建教师网络，具体为：
将第一识别模型中的第三卷积块替换为第五卷积块，其余结构保持不变，得到教师网络；
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行23次残差连接得到第五卷积块。
在步骤S4中，参考图1所示的流程，采用教师网络对学生网络进行局部与全局的知识蒸馏，具体包括步骤：
S41、将原始图像分别输入教师网络的骨干网络和学生网络的骨干网络，得到对应的教师特征图和学生特征图；
S42、将教师特征图和学生特征图分别输入教师全局关系捕获模块(教师GcBlock)和学生全局关系捕获模块(学生GcBlock)，得到对应的教师全局关系特征图和学生全局关系特征图；
S43、将教师特征图分别经教师二进制掩码和教师尺度掩码得到教师前景特征图和教师背景特征图，将教师特征图分别经教师空间注意力掩码和教师通道注意力掩码得到教师空间注意力特征图和教师通道注意力特征图；
S44、将学生特征图分别经学生二进制掩码和学生尺度掩码得到学生前景特征图和学生背景特征图，将学生特征图分别经学生空间注意力掩码和学生通道注意力掩码得到学生空间注意力特征图和学生通道注意力特征图；
S45、采用教师全局关系特征图对学生全局关系特征图进行指导，进行全局的知识蒸馏；分别采用教师前景特征图、教师背景特征图、教师空间注意力特征图和教师通道注意力特征图对学生前景特征图、学生背景特征图、学生空间注意力特征图和学生通道注意力特征图进行指导，进行局部的知识蒸馏。
具体的，如图4所示，教师全局关系捕获模块包括第一单元、第二单元、第三单元；
第一单元包括顺序连接的1×1卷积层、softmax激活层；
第二单元包括顺序连接的相乘模块、1×1卷积层、正则化层与ReLU激活层、1×1卷积层，相乘模块用于将第一单元的输出与输入进行相乘并将相乘的结果输出至第三单元；
第三单元为相加模块，相加模块用于将第一单元的输入与第二单元的输出进行相加并将相加的结果输出；
教师全局关系捕获模块的输出表示为：
Figure BDA0003667823140000131
其中，xt表示输入教师网络的教师特征图，Wv1、Wv2为第二单元中两个1×1卷积层的线性变换权重矩阵，Np表示教师特征图的像素数(等于教师特征图的长输入图像的宽乘以高)，Wk表示第一单元中1×1卷积层的线性变换权重矩阵，xm表示输入第一单元的图像xt的第m个像素，xj表示输入相乘模块的图像xt的第j个像素，LN()表示层归一化函数，ReLU()表示ReLU激活函数；
教师二进制掩码表示为：
Figure BDA0003667823140000132
其中r表示预处理图像中目标图像部分的批注框，i、j分别表示了教师特征图的水平坐标和垂直坐标，如果像素点(i,j)落在r中，那么二进制掩码值Mi,j为1，否则为0，使用教师二进制掩码将教师特征图的目标信息即前景信息和背景信息进行分离；
教师尺度掩码表示为：
Figure BDA0003667823140000133
Figure BDA0003667823140000134
Hr和Wr分别表示教师特征图中批注框r的高度和宽度，Nbg计算不在批注框r中的像素数即背景像素数；
教师通道注意力掩码表示为：
AC(F)＝C·softmax(GC(F)/T)，
Figure BDA0003667823140000135
GC(F)表示教师特征图的空间局部特征平均值，H、W、C表示教师特征图的高度、宽度和通道，|Fi,j|表示教师特征图上高宽索引分别为i、j的像素点的特征值的绝对值，T表示调节分布的温度超参数；
教师通道注意力掩码表示为：
AS(F)＝H·W·softmax(GS(F)/T)，
Figure BDA0003667823140000141
GS(F)表示教师特征图的通道局部特征平均值，Fc表示教师特征图的第c个通道上的局部特征；
学生全局关系捕获模块、学生二进制掩码、学生尺度掩码、学生空间注意力掩码、学生通道注意力掩码分别与教师全局关系捕获模块、教师二进制掩码、教师尺度掩码、教师空间注意力掩码、教师通道注意力掩码的构造相同。
就小目标物体检测问题，本例提出针对特征图之间不均匀差异的局部和全局蒸馏，实现重要信息的高效迭代及迁移学习、缩减了网络的规模，并极大地提升了系统检测效率及准确率。而在全局的知识蒸馏和局部的知识蒸馏中，本方法采用的损失函数为：
L＝Loriginal+Lfocal+Lglobal，
Loriginal是教师网络与学生网络之间的原始损失，Lfocal是局部蒸馏损失，Lglobal是全局蒸馏损失。知识蒸馏是一种迁移学习，由教师网络去迫使学生网络学习教师从图像中学习到的知识，本身存在一定的误差值即为原始损失，最小化损失的过程主要是最小化局部与全局知识蒸馏的损失。
局部蒸馏损失Lfocal是特征损失Lfea和注意力损失Lat之和，表示为：Lfocal＝Lfea+Lat。学生和老师的掩码之间存在显著差异。在训练过程中，使用教师的掩码来指导学生，遂提出了特征损失。
特征损失Lfea表示为：
Figure BDA0003667823140000142
Mi,j表示教师二进制掩码也即学生二进制掩码，Si,j表示教师尺度掩码也即学生尺度掩码，
Figure BDA0003667823140000151
表示教师空间注意力掩码也即学生空间注意力掩码，
Figure BDA0003667823140000152
表示教师空间注意力掩码也即学生空间注意力掩码教师通道注意力掩码，
Figure BDA0003667823140000153
和
Figure BDA0003667823140000154
分别表示教师网络和学生网络的特征，α、β是用于平衡损失的超参数，H、W、C分别表示教师特征图也即学生特征图的高度、宽度和通道数，f()表示将
Figure BDA0003667823140000155
重置为与
Figure BDA0003667823140000156
相同的维度。
本方法还使用注意力损失Lat来迫使学生网络模仿教师网络的空间和通道注意力掩码，注意力损失Lat表示为：
Figure BDA0003667823140000157
Figure BDA0003667823140000158
分别表示教师空间注意力掩码、学生空间注意力掩码，
Figure BDA0003667823140000159
分别表示教师通道注意力掩码、学生通道注意力掩码，l()表示L1loss，γ是用于平衡损失的超参数。
本方法利用GcBlock去捕获单个图像中的全局关系信息，并强制学生网络从老师网络那里学习这些关系，输入分别是教师和学生的特征图。全局蒸馏损失Lglobal表示为：
Figure BDA00036678231400001510
Figure BDA00036678231400001511
FT、FS分别表示教师特征图的特征和学生特征图的特征，
Figure BDA00036678231400001512
分别表示教师全局关系捕获模块、学生全局关系捕获模块提取的全局特征，λ是用于平衡损失的超参数，Fm表示输入第一单元的图像xt的第m个像素的特征，Fj表示输入相乘模块的图像xt的第j个像素的特征。
(2)将工业零部件缺陷识别模型部署于Web端；
该步骤(2)具体包括步骤：
A1：使用Keras，以Tensorflow作为后端运行，得到缺陷识别准确率符合预期的工业零部件缺陷识别模型之后，将该工业零部件缺陷识别模型保存下来(命名为Keras.h5模型)，并转换为tf.js层格式；
A2：安装Tensorflow.js，将tf.js层格式的工业零部件缺陷识别模型加载到Tensorflow.js中，从而完成工业零部件缺陷识别模型的轻量化部署。
(3)输入待检测工业零部件图片进行实时检测；具体为：
S5、在Web端将预处理后的待检测工业零部件图片输入工业零部件缺陷识别模型进行缺陷识别后，得到对应的缺陷识别结果，如图5所示。
综上，本发明实施例提供的一种基于模型轻量化的工业零部件缺陷识别方法，首先构建基础神经网络模型用于缺陷识别，该基础神经网络模型由骨干网络、RPN网络、特征图融合模块和缺陷区域分类网络组成，能够提取高维抽象特征并实现特征自学习，然后通过权重量化加速训练、采用过滤器剪枝对模型进行压缩、通过知识蒸馏对模型进一步压缩，得到轻量化的单个模型(工业零部件缺陷识别模型)，最后通过Keras、Tensorflow、Tensorflow.js将该轻量化模型部署于Web端，从而在Web端实现对待检测工业零部件图片的快速高精度识别。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于模型轻量化的工业零部件缺陷识别方法，其特征在于，包括步骤：
S1、收集工业零部件错装、漏装、多装的原始图像并进行分组、缺陷标注，得到预处理图像；
S2、构建基础神经网络模型并采用所述预处理图像对所述基础神经网络模型进行训练，在训练过程中对所述基础神经网络模型中的权重进行量化处理以加速训练，训练完成后得到第一识别模型；
S3、采用基于几何中位数的过滤器剪枝对所述第一识别模型进行压缩，得到第二识别模型；
S4、基于所述第一识别模型构建教师网络，将所述第二识别模型作为学生网络，采用所述教师网络对所述学生网络进行局部与全局的知识蒸馏，蒸馏后的学生网络作为最后的工业零部件缺陷识别模型；
S5、将预处理后的待识别工业零部件图片输入所述工业零部件缺陷识别模型进行缺陷识别后，得到对应的缺陷识别结果。
2.根据权利要求1所述的一种基于模型轻量化的工业零部件缺陷识别方法，其特征在于，在所述步骤S2中，所述基础神经网络模型包括骨干网络、RPN网络、特征图融合模块和缺陷区域分类网络；
所述骨干网络由卷积层和最大池化层构成，用于对输入的预处理图像进行特征提取，得到对应的特征图；
所述RPN网络用于生成所述特征图的缺陷区域的提议框；
所述特征图融合模块用于将所述特征图与所述提议框进行融合，得到含框特征图；
所述缺陷区域分类网络用于对所述含框特征图进行缺陷分类，得到缺陷边框预测结果和缺陷类别预测结果。
3.根据权利要求2所述的一种基于模型轻量化的工业零部件缺陷识别方法，其特征在于：所述缺陷区域分类网络包括1个ROI池化层、4个全连接层、2个Relu激活层和1个Softmax激活层；
所述含框特征图依次经ROI池化层、第一个全连接层、第一个Relu激活层、第二个全连接层、第二个Relu激活层进行相应处理后分为两路，一路经第三个全连接层后输出缺陷边框预测结果，另一路依次经第四个全连接层、Softmax激活层后输出缺陷类别预测结果。
4.根据权利要求3所述的一种基于模型轻量化的工业零部件缺陷识别方法，其特征在于：所述骨干网络包括顺序连接的7×7卷积层、3×3卷积层、第一卷积块、第二卷积块、第三卷积块和第四卷积块；
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行3次残差连接得到所述第一卷积块；
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行4次残差连接得到所述第二卷积块；
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行6次残差连接得到所述第三卷积块；
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行3次残差连接得到所述第四卷积块；
所述预处理图像依次经所述7×7卷积层、所述3×3卷积层、所述第一卷积块、所述第二卷积块、所述第三卷积块和所述第四卷积块的相应处理后，得到所述特征图。
5.根据权利要求4所述的一种基于模型轻量化的工业零部件缺陷识别方法，其特征在于，在所述步骤S4中，基于所述第一识别模型构建教师网络，具体为：
将所述第一识别模型中的所述第三卷积块替换为第五卷积块，其余结构保持不变，得到所述教师网络；
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行23次残差连接得到所述第五卷积块。
6.根据权利要求5所述的一种基于模型轻量化的工业零部件缺陷识别方法，其特征在于，在所述步骤S4中，采用所述教师网络对所述学生网络进行局部与全局的知识蒸馏，具体包括步骤：
S41、将所述原始图像分别输入所述教师网络的骨干网络和所述学生网络的骨干网络，得到对应的教师特征图和学生特征图；
S42、将所述教师特征图和所述学生特征图分别输入教师全局关系捕获模块和学生全局关系捕获模块，得到对应的教师全局关系特征图和学生全局关系特征图；
S43、将所述教师特征图分别经教师二进制掩码和教师尺度掩码得到教师前景特征图和教师背景特征图，将所述教师特征图分别经教师空间注意力掩码和教师通道注意力掩码得到教师空间注意力特征图和教师通道注意力特征图；
S44、将所述学生特征图分别经学生二进制掩码和学生尺度掩码得到学生前景特征图和学生背景特征图，将所述学生特征图分别经学生空间注意力掩码和学生通道注意力掩码得到学生空间注意力特征图和学生通道注意力特征图；
S45、采用所述教师全局关系特征图对所述学生全局关系特征图进行指导，进行全局的知识蒸馏；分别采用所述教师前景特征图、所述教师背景特征图、所述教师空间注意力特征图和所述教师通道注意力特征图对所述学生前景特征图、所述学生背景特征图、所述学生空间注意力特征图和所述学生通道注意力特征图进行指导，进行局部的知识蒸馏。
7.根据权利要求6所述的一种基于模型轻量化的工业零部件缺陷识别方法，其特征在于：
所述教师全局关系捕获模块包括第一单元、第二单元、第三单元；
所述第一单元包括顺序连接的1×1卷积层、softmax激活层；
所述第二单元包括顺序连接的相乘模块、1×1卷积层、正则化层与ReLU激活层、1×1卷积层，所述相乘模块用于将所述第一单元的输出与输入进行相乘并将相乘的结果输出至所述第三单元；
所述第三单元为相加模块，所述相加模块用于将所述第一单元的输入与所述第二单元的输出进行相加并将相加的结果输出；
所述教师全局关系捕获模块的输出表示为：
Figure FDA0003667823130000041
其中，xt表示输入所述教师网络的教师特征图，Wv1、Wv2为所述第二单元中两个1×1卷积层的线性变换权重矩阵，Np表示所述教师特征图的像素数，Wk表示所述第一单元中1×1卷积层的线性变换权重矩阵，xm表示输入所述第一单元的图像xt的第m个像素，xj表示输入所述相乘模块的图像xt的第j个像素，LN()表示层归一化函数，ReLU()表示ReLU激活函数；
所述教师二进制掩码表示为：
Figure FDA0003667823130000042
其中r表示所述预处理图像中目标图像部分的批注框，i、j分别表示了所述教师特征图的水平坐标和垂直坐标，如果像素点(i,j)落在r中，那么二进制掩码值Mi,j为1，否则为0，使用所述教师二进制掩码将所述教师特征图的目标信息即前景信息和背景信息进行分离；
所述教师尺度掩码表示为：
Figure FDA0003667823130000043
Figure FDA0003667823130000044
Hr和Wr分别表示所述教师特征图中批注框r的高度和宽度，Nbg计算不在批注框r中的像素数即背景像素数；
所述教师通道注意力掩码表示为：
AC(F)＝C·softmax(GC(F)/T)，
Figure FDA0003667823130000051
GC(F)表示所述教师特征图的空间局部特征平均值，H、W、C表示所述教师特征图的高度、宽度和通道，|Fi,j|表示所述教师特征图上高宽索引分别为i、j的像素点的特征值的绝对值，T表示调节分布的温度超参数；
所述教师通道注意力掩码表示为：
AS(F)＝H·W·softmax(GS(F)/T)，
Figure FDA0003667823130000052
GS(F)表示所述教师特征图的通道局部特征平均值，Fc表示所述教师特征图的第c个通道上的局部特征；
所述学生全局关系捕获模块、所述学生二进制掩码、所述学生尺度掩码、所述学生空间注意力掩码、所述学生通道注意力掩码分别与所述教师全局关系捕获模块、所述教师二进制掩码、所述教师尺度掩码、所述教师空间注意力掩码、所述教师通道注意力掩码的构造相同。
8.根据权利要求7所述的一种基于模型轻量化的工业零部件缺陷识别方法，其特征在于，在全局的知识蒸馏和局部的知识蒸馏中，采用的损失函数为：
L＝Loriginal+Lfocal+Lglobal，
Loriginal是所述教师网络与所述学生网络之间的原始损失，Lfocal是局部蒸馏损失，Lglobal是全局蒸馏损失；
所述局部蒸馏损失Lfocal是特征损失Lfea和注意力损失Lat之和，表示为：Lfocal＝Lfea+Lat；
所述特征损失Lfea表示为：
Figure FDA0003667823130000053
Mi,j表示所述教师二进制掩码也即所述学生二进制掩码，Si,j表示所述教师尺度掩码也即所述学生尺度掩码，
Figure FDA0003667823130000061
表示所述教师空间注意力掩码也即所述学生空间注意力掩码，
Figure FDA0003667823130000062
表示所述教师空间注意力掩码也即所述学生空间注意力掩码教师通道注意力掩码，
Figure FDA0003667823130000063
和
Figure FDA0003667823130000064
分别表示教师网络和学生网络的特征，α、β是用于平衡损失的超参数，H、W、C分别表示所述教师特征图也即所述学生特征图的高度、宽度和通道数，f()表示将
Figure FDA0003667823130000065
重置为与
Figure FDA0003667823130000066
相同的维度；
所述注意力损失Lat表示为：
Figure FDA0003667823130000067
Figure FDA0003667823130000068
分别表示所述教师空间注意力掩码、所述学生空间注意力掩码，
Figure FDA0003667823130000069
分别表示所述教师通道注意力掩码、所述学生通道注意力掩码，l()表示L1loss，γ是用于平衡损失的超参数；
所述全局蒸馏损失Lglobal表示为：
Figure FDA00036678231300000610
Figure FDA00036678231300000611
FT、FS分别表示所述教师特征图的特征和所述学生特征图的特征，
Figure FDA00036678231300000612
分别表示所述教师全局关系捕获模块、所述学生全局关系捕获模块提取的全局特征，λ是用于平衡损失的超参数，Fm表示输入所述第一单元的图像xt的第m个像素的特征，Fj表示输入所述相乘模块的图像xt的第j个像素的特征。
9.根据权利要求1所述的一种基于模型轻量化的工业零部件缺陷识别方法，其特征在于，在所述步骤S2中，在训练过程中对所述基础神经网络模型中的权重进行量化处理，具体包括步骤：
S21、输入所述基础神经网络模型的浮动型权重，获得所述浮动型权重中的权重最大值和权重最小值；
S22、根据所述权重最大值和所述权重最小值对所述浮动型权重进行量化后重新输入所述基础神经网络模型进行训练直至网络收敛，在训练过程中找到对应的量化关系对所述基础神经网络模型的输出值进行反量化以获得最终的输出结果。
10.根据权利要求2所述的一种基于模型轻量化的工业零部件缺陷识别方法，其特征在于，所述步骤S3具体包括步骤：
S31、给出在d维空间内的任意n个点a(1),…,a(n)，求取X中与n个点a(1),…,a(n)的欧氏距离之和最小的点x*作为X的几何中位数点，X具体指所述待处理图像的点的集合；
S32、使用几何中位数点x*来获取第一识别模型中所述骨干网络的第i层卷积层内所有滤波器的几何中位数
Figure FDA0003667823130000071
作为该层的信息估计或数据中心：
Figure FDA0003667823130000072
Figure FDA0003667823130000073
代表在所述骨干网络的第i层卷积层中大小为K×K的特征图，Fi,j′j′∈[1,Ni+1]代表在所述骨干网络中第i层卷积层中的第j′个滤波器，Ni+1代表滤波器的总数，
Figure FDA0003667823130000074
代表x*与所述骨干网络中第i层卷积层所有滤波器的欧氏距离之和；
S33、在所述骨干网络的第i层卷积层中，找到与几何中位数
Figure FDA0003667823130000075
相接近的多个滤波器
Figure FDA0003667823130000076
Figure FDA0003667823130000077
S34、剪除这些滤波器
Figure FDA0003667823130000078
CN202210595003.9A 2022-05-29 2022-05-29 一种基于模型轻量化的工业零部件缺陷识别方法 Active CN114972952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210595003.9A CN114972952B (zh) 2022-05-29 2022-05-29 一种基于模型轻量化的工业零部件缺陷识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210595003.9A CN114972952B (zh) 2022-05-29 2022-05-29 一种基于模型轻量化的工业零部件缺陷识别方法

Publications (2)

Publication Number Publication Date
CN114972952A true CN114972952A (zh) 2022-08-30
CN114972952B CN114972952B (zh) 2024-03-22

Family

ID=82957287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210595003.9A Active CN114972952B (zh) 2022-05-29 2022-05-29 一种基于模型轻量化的工业零部件缺陷识别方法

Country Status (1)

Country Link
CN (1) CN114972952B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385794A (zh) * 2023-04-11 2023-07-04 河海大学 基于注意力流转移互蒸馏的机器人巡检缺陷分类方法及装置
CN116912637A (zh) * 2023-09-13 2023-10-20 国网山东省电力公司济南供电公司 输变电缺陷识别的方法、装置、计算机设备和存储介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754507A (zh) * 2020-07-03 2020-10-09 征图智能科技(江苏)有限公司 一种轻量化的基于强注意力机制的工业缺陷图像分类方法
US20210034913A1 (en) * 2018-05-23 2021-02-04 Beijing Sensetime Technology Development Co., Ltd. Method and device for image processing, and computer storage medium
US20210097400A1 (en) * 2019-10-01 2021-04-01 Samsung Display Co., Ltd. System and method for knowledge distillation
WO2021098323A1 (zh) * 2019-11-19 2021-05-27 清华大学 一种基于多模态融合深度学习的布匹缺陷检测方法
CN112907523A (zh) * 2021-02-04 2021-06-04 中山大学 一种基于轻量化网络的工业产品表面缺陷检测方法
CN112991330A (zh) * 2021-04-19 2021-06-18 征图新视(江苏)科技股份有限公司 基于知识蒸馏的正样本工业缺陷检测方法
CN113362320A (zh) * 2021-07-07 2021-09-07 北京工业大学 基于深度注意力网络的晶圆表面缺陷模式检测方法
CN113392915A (zh) * 2021-06-23 2021-09-14 宁波聚华光学科技有限公司 一种基于深度学习的工业零件缺陷检测方法
US20210287040A1 (en) * 2020-03-16 2021-09-16 Fares AL-QUNAIEER Training system and processes for objects to be classified
CN113469344A (zh) * 2021-07-23 2021-10-01 成都数联云算科技有限公司 深度卷积神经网络模型改进方法及系统及装置及介质
CN113506282A (zh) * 2021-07-26 2021-10-15 广东省珠海市质量计量监督检测所 一种船舶发动机配件备件的机器视觉装箱核验方法及装置
CN113537138A (zh) * 2021-03-29 2021-10-22 泉州装备制造研究所 一种基于轻量化神经网络的交通标志识别方法
CN113570571A (zh) * 2021-07-27 2021-10-29 深圳大学 一种工业边缘端动力电池缺陷检测方法及系统
US20210374940A1 (en) * 2019-12-30 2021-12-02 Goertek Inc. Product defect detection method, device and system
CN113888472A (zh) * 2021-09-09 2022-01-04 上海深视信息科技有限公司 一种针对消费电子产品缺陷的检测方法和设备
CN113947590A (zh) * 2021-10-26 2022-01-18 四川大学 一种基于多尺度注意力引导和知识蒸馏的表面缺陷检测方法
CN114037653A (zh) * 2021-09-23 2022-02-11 上海仪电人工智能创新院有限公司 基于二阶段知识蒸馏的工业机器视觉缺陷检测方法和系统
CN114359153A (zh) * 2021-12-07 2022-04-15 湖北工业大学 一种基于改进CenterNet的绝缘子缺陷检测方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210034913A1 (en) * 2018-05-23 2021-02-04 Beijing Sensetime Technology Development Co., Ltd. Method and device for image processing, and computer storage medium
US20210097400A1 (en) * 2019-10-01 2021-04-01 Samsung Display Co., Ltd. System and method for knowledge distillation
WO2021098323A1 (zh) * 2019-11-19 2021-05-27 清华大学 一种基于多模态融合深度学习的布匹缺陷检测方法
US20210374940A1 (en) * 2019-12-30 2021-12-02 Goertek Inc. Product defect detection method, device and system
US20210287040A1 (en) * 2020-03-16 2021-09-16 Fares AL-QUNAIEER Training system and processes for objects to be classified
CN111754507A (zh) * 2020-07-03 2020-10-09 征图智能科技(江苏)有限公司 一种轻量化的基于强注意力机制的工业缺陷图像分类方法
CN112907523A (zh) * 2021-02-04 2021-06-04 中山大学 一种基于轻量化网络的工业产品表面缺陷检测方法
CN113537138A (zh) * 2021-03-29 2021-10-22 泉州装备制造研究所 一种基于轻量化神经网络的交通标志识别方法
CN112991330A (zh) * 2021-04-19 2021-06-18 征图新视(江苏)科技股份有限公司 基于知识蒸馏的正样本工业缺陷检测方法
CN113392915A (zh) * 2021-06-23 2021-09-14 宁波聚华光学科技有限公司 一种基于深度学习的工业零件缺陷检测方法
CN113362320A (zh) * 2021-07-07 2021-09-07 北京工业大学 基于深度注意力网络的晶圆表面缺陷模式检测方法
CN113469344A (zh) * 2021-07-23 2021-10-01 成都数联云算科技有限公司 深度卷积神经网络模型改进方法及系统及装置及介质
CN113506282A (zh) * 2021-07-26 2021-10-15 广东省珠海市质量计量监督检测所 一种船舶发动机配件备件的机器视觉装箱核验方法及装置
CN113570571A (zh) * 2021-07-27 2021-10-29 深圳大学 一种工业边缘端动力电池缺陷检测方法及系统
CN113888472A (zh) * 2021-09-09 2022-01-04 上海深视信息科技有限公司 一种针对消费电子产品缺陷的检测方法和设备
CN114037653A (zh) * 2021-09-23 2022-02-11 上海仪电人工智能创新院有限公司 基于二阶段知识蒸馏的工业机器视觉缺陷检测方法和系统
CN113947590A (zh) * 2021-10-26 2022-01-18 四川大学 一种基于多尺度注意力引导和知识蒸馏的表面缺陷检测方法
CN114359153A (zh) * 2021-12-07 2022-04-15 湖北工业大学 一种基于改进CenterNet的绝缘子缺陷检测方法

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
JIE LI等: "Cognitive visual anomaly detection with constrained latent representations for industrial inspection robot", APPLIED SOFT COMPUTING, 1 October 2020 (2020-10-01), pages 1 - 11 *
M. SALEHI, 等: "Multiresolution Knowledge Distillation for Anomaly Detection", 2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 12 November 2021 (2021-11-12), pages 14897 - 14907 *
MING ZHAO等: "A Novel Deep Learning Model Compression Algorithm", ELECTRONICS, vol. 11, no. 7, 28 March 2022 (2022-03-28), pages 1 - 12 *
PAUL BERGMANN等: "Uninformed Students: Student-Teacher Anomaly Detection with Discriminative Latent Embeddings", COMPUTER VISION AND PATTERN RECOGNITION (CS.CV), 18 March 2020 (2020-03-18), pages 1 - 11 *
Y. CAO, 等: "GCNet: Non-Local Networks Meet Squeeze-Excitation Networks and Beyond", 2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOP (ICCVW), 5 March 2020 (2020-03-05), pages 1971 - 1980 *
Y. HE 等: "Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration", 2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 9 January 2020 (2020-01-09), pages 4335 - 4344 *
YANG, ZHENDONG等: "Focal and Global Knowledge Distillation for Detectors", HTTPS://DOI.ORG/10.48550/ARXIV.2111.11837, 23 November 2021 (2021-11-23), pages 1 - 10 *
乔丽: "基于CNN的工件缺陷检测方法研究及系统设计", 中国优秀硕士学位论文全文数据库 (信息科技辑), no. 2017, 15 February 2017 (2017-02-15), pages 138 - 3469 *
吴瑞: "基于激光超声的表面微裂纹检测技术研究", 中国优秀硕士学位论文全文数据库 (基础科学辑), no. 2020, 15 October 2020 (2020-10-15), pages 005 - 39 *
曹桢淼 等: "基于扩展跨阶段局部网络的表面缺陷检测", 计算机集成制造系统, vol. 28, no. 8, 11 August 2021 (2021-08-11), pages 2399 - 2407 *
龚赛君 等: "基于遗传搜索的卷积神经网络结构化剪枝", 电脑知识与技术, vol. 18, no. 11, 15 April 2022 (2022-04-15), pages 4 - 6 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385794A (zh) * 2023-04-11 2023-07-04 河海大学 基于注意力流转移互蒸馏的机器人巡检缺陷分类方法及装置
CN116385794B (zh) * 2023-04-11 2024-04-05 河海大学 基于注意力流转移互蒸馏的机器人巡检缺陷分类方法及装置
CN116912637A (zh) * 2023-09-13 2023-10-20 国网山东省电力公司济南供电公司 输变电缺陷识别的方法、装置、计算机设备和存储介质
CN116912637B (zh) * 2023-09-13 2023-12-22 国网山东省电力公司济南供电公司 输变电缺陷识别的方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN114972952B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN109886121B (zh) 一种遮挡鲁棒的人脸关键点定位方法
CN111325203B (zh) 一种基于图像校正的美式车牌识别方法及系统
WO2022147965A1 (zh) 基于MixNet-YOLOv3和卷积递归神经网络CRNN的算术题批阅系统
CN112232241B (zh) 一种行人重识别方法、装置、电子设备和可读存储介质
CN111931664A (zh) 混贴票据图像的处理方法、装置、计算机设备及存储介质
KR20200028330A (ko) 네트워크 연산 에지 전반에 걸쳐 연속적으로 애플리케이션을 작동하는 딥 러닝과 인공 지능에서 지속적인 메모리 기반 학습을 가능하게 하는 시스템 및 방법
CN108549893A (zh) 一种任意形状的场景文本端到端识别方法
CN114972952B (zh) 一种基于模型轻量化的工业零部件缺陷识别方法
CN112150493B (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
CN110866530A (zh) 一种字符图像识别方法、装置及电子设备
CN112036447B (zh) 零样本目标检测系统及可学习语义和固定语义融合方法
CN104504365A (zh) 视频序列中的笑脸识别系统及方法
CN112926396A (zh) 一种基于双流卷积注意力的动作识别方法
CN111340738A (zh) 一种基于多尺度渐进融合的图像去雨方法
CN111368766A (zh) 一种基于深度学习的牛脸检测与识别方法
CN113378706B (zh) 一种辅助儿童观察植物和学习生物多样性的绘画系统
CN110929746A (zh) 一种基于深度神经网络的电子卷宗标题定位提取与分类方法
CN111126155B (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN114492634B (zh) 一种细粒度装备图片分类识别方法及系统
CN115761240B (zh) 一种混沌反向传播图神经网络的图像语义分割方法及装置
CN116075820A (zh) 用于搜索图像数据库的方法、非暂时性计算机可读存储介质和设备
CN117011515A (zh) 基于注意力机制的交互式图像分割模型及其分割方法
CN116012903A (zh) 一种人脸表情自动标注的方法及系统
CN115131671A (zh) 一种跨域高分辨率遥感图像典型目标细粒度识别方法
CN114111647A (zh) 一种基于人工智能的绝缘子伞裙破损面积测量方法及测量系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant