CN114972952B - 一种基于模型轻量化的工业零部件缺陷识别方法 - Google Patents
一种基于模型轻量化的工业零部件缺陷识别方法 Download PDFInfo
- Publication number
- CN114972952B CN114972952B CN202210595003.9A CN202210595003A CN114972952B CN 114972952 B CN114972952 B CN 114972952B CN 202210595003 A CN202210595003 A CN 202210595003A CN 114972952 B CN114972952 B CN 114972952B
- Authority
- CN
- China
- Prior art keywords
- teacher
- feature map
- student
- convolution
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000003062 neural network model Methods 0.000 claims description 31
- 230000004913 activation Effects 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 23
- 238000013140 knowledge distillation Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 16
- 238000004821 distillation Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000013139 quantization Methods 0.000 claims description 11
- 238000007667 floating Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000013138 pruning Methods 0.000 claims description 6
- 230000000712 assembly Effects 0.000 claims description 3
- 238000000429 assembly Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 239000013585 weight reducing agent Substances 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims 2
- 238000001514 detection method Methods 0.000 abstract description 14
- 230000000007 visual effect Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000002950 deficient Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011897 real-time detection Methods 0.000 description 3
- 238000005507 spraying Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及工业视觉缺陷检测技术领域,具体公开了一种基于模型轻量化的工业零部件缺陷识别方法,首先构建基础神经网络模型用于缺陷识别,该基础神经网络模型由骨干网络、RPN网络、特征图融合模块和缺陷区域分类网络组成,能够提取高维抽象特征并实现特征自学习,然后通过权重量化加速训练、采用过滤器剪枝对模型进行压缩、通过知识蒸馏对模型进一步压缩,得到轻量化的单个模型(工业零部件缺陷识别模型),最后通过Keras、Tensorflow、Tensorflow.js将该轻量化的工业零部件缺陷识别模型部署于Web端,从而在Web端实现对待检测工业零部件图片的快速高精度识别。
Description
技术领域
本发明涉及工业视觉缺陷检测技术领域,尤其涉及一种基于模型轻量化的工业零部件缺陷识别方法。
背景技术
现有的工业视觉缺陷检测方面的技术以图像处理技术与机器视觉技术为主,比如西华大学赖定敏的《基于图像处理的罐装瓶喷码缺陷检测》,对采集的图像进行图像增强、图像滤波等图像处理操作提取区域检测框,对喷码字符进行数学形态学处理、字符倾斜校正实现字符区域的精确分割;比如刘浩的《基于机器视觉的卷烟小盒商标纸表面缺陷在线检测技术》,采用图像差分算法,以标准图像的定位点通过偏移和相似度量实现快速定位配准。这些缺陷检测算法通常首先通过数据预处理、特征提取等方法提取原始图像中的特征,然后训练分类器,将特征输入到分类器中得到检测结果。其中的特征提取往往提取的是人工设计的特征,无法很好地提取到图像本身的特征,造成信息缺失。传统的分类器模型主要有决策树、支持向量机、逻辑斯特回归等,这类分类器模型因为数据质量、特征设计与模型描述能力等因素限制,其泛化能力有限,难以达到实际应用需要。
综上所述,现有工业视觉缺陷检测算法识别准确率低、高维抽象特征提取难、模型边缘端轻量化部署要求高,无法满足当下工业视觉缺陷检测对模型大小、速度、识别准确率的高要求。
发明内容
本发明提供一种基于模型轻量化的工业零部件缺陷识别方法,解决的技术问题在于:现有的工业零部件缺陷识别算法识别准确率低、高维抽象特征提取难、模型边缘端轻量化部署要求高,无法满足当下工业视觉缺陷检测对模型大小、速度、识别准确率的高要求。
为解决以上技术问题,本发明提供一种基于模型轻量化的工业零部件缺陷识别方法,包括步骤:
S1、收集工业零部件错装、漏装、多装的原始图像并进行分组、缺陷标注,得到预处理图像;
S2、构建基础神经网络模型并采用所述预处理图像对所述基础神经网络模型进行训练,在训练过程中对所述基础神经网络模型中的权重进行量化处理以加速训练,训练完成后得到第一识别模型;
S3、采用基于几何中位数的过滤器剪枝对所述第一识别模型进行压缩,得到第二识别模型;
S4、基于所述第一识别模型构建教师网络,将所述第二识别模型作为学生网络,采用所述教师网络对所述学生网络进行局部与全局的知识蒸馏,蒸馏后的学生网络作为最后的工业零部件缺陷识别模型;
S5、将预处理后的待识别工业零部件图片输入所述工业零部件缺陷识别模型进行缺陷识别后,得到对应的缺陷识别结果。
进一步地,在所述步骤S2中,所述基础神经网络模型包括骨干网络、RPN网络、特征图融合模块和缺陷区域分类网络;
所述骨干网络由卷积层和最大池化层构成,用于对输入的预处理图像进行特征提取,得到对应的特征图;
所述RPN网络用于生成所述特征图的缺陷区域的提议框;
所述特征图融合模块用于将所述特征图与所述提议框进行融合,得到含框特征图;
所述缺陷区域分类网络用于对所述含框特征图进行缺陷分类,得到缺陷边框预测结果和缺陷类别预测结果。
进一步地,所述缺陷区域分类网络包括1个ROI池化层、4个全连接层、2个Relu激活层和1个Softmax激活层;
所述含框特征图依次经ROI池化层、第一个全连接层、第一个Relu激活层、第二个全连接层、第二个Relu激活层进行相应处理后分为两路,一路经第三个全连接层后输出缺陷边框预测结果,另一路依次经第四个全连接层、Softmax激活层后输出缺陷类别预测结果。
进一步地,所述骨干网络包括顺序连接的7×7卷积层、3×3卷积层、第一卷积块、第二卷积块、第三卷积块和第四卷积块;
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行3次残差连接得到所述第一卷积块;
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行4次残差连接得到所述第二卷积块;
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行6次残差连接得到所述第三卷积块;
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行3次残差连接得到所述第四卷积块;
所述预处理图像依次经所述7×7卷积层、所述3×3卷积层、所述第一卷积块、所述第二卷积块、所述第三卷积块和所述第四卷积块的相应处理后,得到所述特征图。
进一步地,在所述步骤S4中,基于所述第一识别模型构建教师网络,具体为:
将所述第一识别模型中的所述第三卷积块替换为第五卷积块,其余结构保持不变,得到所述教师网络;
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行23次残差连接得到所述第五卷积块。
进一步地,在所述步骤S4中,采用所述教师网络对所述学生网络进行局部与全局的知识蒸馏,具体包括步骤:
S41、将所述原始图像分别输入所述教师网络的骨干网络和所述学生网络的骨干网络,得到对应的教师特征图和学生特征图;
S42、将所述教师特征图和所述学生特征图分别输入教师全局关系捕获模块和学生全局关系捕获模块,得到对应的教师全局关系特征图和学生全局关系特征图;
S43、将所述教师特征图分别经教师二进制掩码和教师尺度掩码得到教师前景特征图和教师背景特征图,将所述教师特征图分别经教师空间注意力掩码和教师通道注意力掩码得到教师空间注意力特征图和教师通道注意力特征图;
S44、将所述学生特征图分别经学生二进制掩码和学生尺度掩码得到学生前景特征图和学生背景特征图,将所述学生特征图分别经学生空间注意力掩码和学生通道注意力掩码得到学生空间注意力特征图和学生通道注意力特征图;
S45、采用所述教师全局关系特征图对所述学生全局关系特征图进行指导,进行全局的知识蒸馏;分别采用所述教师前景特征图、所述教师背景特征图、所述教师空间注意力特征图和所述教师通道注意力特征图对所述学生前景特征图、所述学生背景特征图、所述学生空间注意力特征图和所述学生通道注意力特征图进行指导,进行局部的知识蒸馏。
进一步地,所述教师全局关系捕获模块包括第一单元、第二单元、第三单元;
所述第一单元包括顺序连接的1×1卷积层、softmax激活层;
所述第二单元包括顺序连接的相乘模块、1×1卷积层、正则化层与ReLU激活层、1×1卷积层,所述相乘模块用于将所述第一单元的输出与输入进行相乘并将相乘的结果输出至所述相乘模块所连接的1×1卷积层;
所述第三单元为相加模块,所述相加模块用于将所述第一单元的输入与所述第二单元的输出进行相加并将相加的结果输出;
所述教师全局关系捕获模块的输出表示为:
其中,xt表示输入所述教师网络的教师特征图,Wv1、Wv2为所述第二单元中两个1×1卷积层的线性变换权重矩阵,Np表示所述教师特征图的像素数,Wk表示所述第一单元中1×1卷积层的线性变换权重矩阵,xm表示输入所述第一单元的图像xt的第m个像素,xj表示输入所述相乘模块的图像xt的第j个像素,LN()表示层归一化函数,ReLU()表示ReLU激活函数;
所述教师二进制掩码表示为:
其中r表示所述预处理图像中目标图像部分的批注框,i、j分别表示了所述教师特征图的水平坐标和垂直坐标,如果像素点(i,j)落在r中,那么二进制掩码值Mi,j为1,否则为0,使用所述教师二进制掩码将所述教师特征图的目标信息即前景信息和背景信息进行分离;
所述教师尺度掩码表示为:
Hr和Wr分别表示所述教师特征图中批注框r的高度和宽度,Nbg计算不在批注框r中的像素数即背景像素数;
所述教师通道注意力掩码表示为:
AC(F)=C·softmax(GC(F)/T),
GC(F)表示所述教师特征图的空间局部特征平均值,H、W、C表示所述教师特征图的高度、宽度和通道,|Fi,j|表示所述教师特征图上高宽索引分别为i、j的像素点的特征值的绝对值,T表示调节分布的温度超参数;
所述教师通道注意力掩码表示为:
AS(F)=H·W·softmax(GS(F)/T),
GS(F)表示所述教师特征图的通道局部特征平均值,Fc表示所述教师特征图的第c个通道上的局部特征;
所述学生全局关系捕获模块、所述学生二进制掩码、所述学生尺度掩码、所述学生空间注意力掩码、所述学生通道注意力掩码分别与所述教师全局关系捕获模块、所述教师二进制掩码、所述教师尺度掩码、所述教师空间注意力掩码、所述教师通道注意力掩码的构造相同。
进一步地,在全局的知识蒸馏和局部的知识蒸馏中,采用的损失函数为:
L=Loriginal+Lfocal+Lglobal,
Loriginal是所述教师网络与所述学生网络之间的原始损失,Lfocal是局部蒸馏损失,Lglobal是全局蒸馏损失;
所述局部蒸馏损失Lfocal是特征损失Lfea和注意力损失Lat之和,表示为:Lfocal=Lfea+Lat;
所述特征损失Lfea表示为:
Mi,j表示所述教师二进制掩码也即所述学生二进制掩码,Si,j表示所述教师尺度掩码也即所述学生尺度掩码,表示所述教师空间注意力掩码也即所述学生空间注意力掩码,/>表示所述教师空间注意力掩码也即所述学生空间注意力掩码教师通道注意力掩码,和/>分别表示教师网络和学生网络的特征,α、β是用于平衡损失的超参数,H、W、C分别表示所述教师特征图也即所述学生特征图的高度、宽度和通道数,f()表示将/>重置为与/>相同的维度;
所述注意力损失Lat表示为:
分别表示所述教师空间注意力掩码、所述学生空间注意力掩码,分别表示所述教师通道注意力掩码、所述学生通道注意力掩码,l()表示L1loss,γ是用于平衡损失的超参数;
所述全局蒸馏损失Lglobal表示为:
FT、FS分别表示所述教师特征图的特征和所述学生特征图的特征,分别表示所述教师全局关系捕获模块、所述学生全局关系捕获模块提取的全局特征,λ是用于平衡损失的超参数,Fm表示输入所述第一单元的图像xt的第m个像素的特征,Fj表示输入所述相乘模块的图像xt的第j个像素的特征。
进一步地,在所述步骤S2中,在训练过程中对所述基础神经网络模型中的权重进行量化处理,具体包括步骤:
S21、输入所述基础神经网络模型的浮动型权重,获得所述浮动型权重中的权重最大值和权重最小值;
S22、根据所述权重最大值和所述权重最小值对所述浮动型权重进行量化后重新输入所述基础神经网络模型进行训练直至网络收敛,在训练过程中找到对应的量化关系对所述基础神经网络模型的输出值进行反量化以获得最终的输出结果。
进一步地,所述步骤S3具体包括步骤:
S31、给出在d维空间内的任意n个点a(1),…,a(n),求取X中与n个点a(1),…,a(n)的欧氏距离之和最小的点x*作为X的几何中位数点,X具体指所述待处理图像的点的集合;
S32、使用几何中位数点x*来获取第一识别模型中所述骨干网络的第i层卷积层内所有滤波器的几何中位数作为该层的信息估计或数据中心:
代表在所述骨干网络的第i层卷积层中大小为K×K的特征图,Fi,j′j′∈[1,Ni+1]代表在所述骨干网络中第i层卷积层中的第j′个滤波器,Ni+1代表滤波器的总数,代表x*与所述骨干网络中第i层卷积层所有滤波器的欧氏距离之和;
S33、在所述骨干网络的第i层卷积层中,找到与几何中位数相接近的多个滤波器/>
S34、剪除这些滤波器
本发明提供的一种基于模型轻量化的工业零部件缺陷识别方法,首先构建基础神经网络模型用于缺陷识别,该基础神经网络模型由骨干网络、RPN网络、特征图融合模块和缺陷区域分类网络组成,能够提取高维抽象特征并实现特征自学习,然后通过权重量化加速训练、采用过滤器剪枝对模型进行压缩、通过知识蒸馏对模型进一步压缩,得到轻量化的单个模型(工业零部件缺陷识别模型),最后通过Keras、Tensorflow、Tensorflow.js将该轻量化模型部署于Web端,从而在Web端实现对待检测工业零部件图片的快速高精度识别。
附图说明
图1是本发明实施例提供的一种基于模型轻量化的工业零部件缺陷识别方法的流程图;
图2是本发明实施例提供的基础神经网络模型的网络架构图;
图3是本发明实施例提供的量化权重加速基础神经网络模型训练的流程图;
图4是本发明实施例提供的教师全局关系捕获模块(GcBlock)的网络架构图。
图5是本发明实施例提供的对待检测工业零部件图片的检测效果图。
具体实施方式
下面结合附图具体阐明本发明的实施方式,实施例的给出仅仅是为了说明目的,并不能理解为对本发明的限定,包括附图仅供参考和说明使用,不构成对本发明专利保护范围的限制,因为在不脱离本发明精神和范围基础上,可以对本发明进行许多改变。
为了使工业零部件等小目标物体的实时检测具有较高的精度,并实现模型的轻量化部署,参考图1所示的流程图,本发明实施例提供了一种基于模型轻量化的工业零部件缺陷识别方法,包括步骤:
(1)生成工业零部件缺陷识别模型;
该步骤(1)具体包括步骤S1~S4:
S1、收集工业零部件错装、漏装、多装的原始图像(实时数据提取)并进行分组、缺陷标注(数据预处理),得到预处理图像。
S2、构建基础神经网络模型(智能零部件错装、漏装、多装深度学习实时检测模型)并采用预处理图像对基础神经网络模型进行训练,在训练过程中对基础神经网络模型中的权重进行量化处理以加速训练,训练完成后得到第一识别模型。
在步骤S2中,如图2所示,基础神经网络模型包括骨干网络、RPN网络、特征图融合模块和缺陷区域分类网络。
骨干网络由卷积层和最大池化层构成,用于对输入的预处理图像进行特征提取,得到对应的特征图。具体的,骨干网络包括顺序连接的7×7卷积层、3×3卷积层、第一卷积块、第二卷积块、第三卷积块和第四卷积块;
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行3次残差连接得到第一卷积块;
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行4次残差连接得到第二卷积块;
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行6次残差连接得到第三卷积块;
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行3次残差连接得到第四卷积块;
预处理图像依次经7×7卷积层、3×3卷积层、第一卷积块、第二卷积块、第三卷积块和第四卷积块的相应处理后,得到特征图。
RPN网络用于生成特征图的缺陷区域的提议框。具体的,RPN网络的结构如图2所示。
特征图融合模块用于将特征图与提议框进行融合,得到含框特征图(即含框的特征图)。
缺陷区域分类网络用于对含框特征图进行缺陷分类,得到缺陷边框预测结果和缺陷类别预测结果。
具体的,如图2所示,缺陷区域分类网络包括1个ROI池化层、4个全连接层、2个Relu激活层和1个Softmax激活层;
含框特征图依次经ROI池化层、第一个全连接层、第一个Relu激活层、第二个全连接层、第二个Relu激活层进行相应处理后分为两路,一路经第三个全连接层后输出缺陷边框预测结果,另一路依次经第四个全连接层、Softmax激活层后输出缺陷类别预测结果。
在步骤S2中,参考图3所示的流程图,在训练过程中对基础神经网络模型中的权重进行量化处理,具体包括步骤:
S21、输入基础神经网络模型的浮动型权重,获得浮动型权重中的权重最大值和权重最小值;
S22、根据权重最大值和权重最小值对浮动型权重进行量化后重新输入基础神经网络模型进行训练直至网络收敛,在训练过程中找到对应的量化关系对基础神经网络模型的输出值进行反量化以获得最终的输出结果。
模型量化则是指将模型中连续的权值进一步稀疏化、离散化。经过离散化之后,相较于原来的连续稠密的权值就可以用离散的权值来表示了。量化的具体方式是更改权值矩阵的值,原始数据类型为float32,转变为int8,以减少内存大小和计算时间。
本方法通过基础神经网络模型的骨干网络以及RPN网络提取高维抽象特征获取缺陷区域的提议框,通过缺陷区域分类网络对缺陷区域分类,通过大量数据的训练,可实现对工业零部件错装、漏装、多装的实时识别或检测,且准确度较高。但此时生成的第一识别模型还存在参数量大、识别速度慢、无法轻量化部署等问题,还需要如下的改进。
S3、采用基于几何中位数的过滤器剪枝对第一识别模型进行压缩,得到第二识别模型。
步骤S3具体包括步骤:
S31、给出在d维空间内的任意n个点a(1),…,a(n),求取X中与n个点a(1),…,a(n)的欧氏距离之和最小的点x*作为X的几何中位数点,X具体指待处理图像的点的集合;
S32、使用几何中位数点x*来获取第一识别模型中骨干网络的第i层卷积层内所有滤波器的几何中位数作为该层的信息估计或数据中心:
代表在骨干网络的第i层卷积层中大小为K×K的特征图,Fi,j′j′∈[1,Ni+1]代表在骨干网络中第i层卷积层中的第j′个滤波器,Ni+1代表滤波器的总数,代表x*与骨干网络中第i层卷积层所有滤波器的欧氏距离之和;
S33、在骨干网络的第i层卷积层中,找到与几何中位数相接近的多个滤波器
S34、剪除这些滤波器这些滤波器认为是信息冗余的,可以被剩余滤波器替代,剪除这些冗余的滤波器不会对网络性能造成较大影响。
S4、基于第一识别模型构建教师网络,将第二识别模型作为学生网络,采用教师网络对学生网络进行局部与全局的知识蒸馏,蒸馏后的学生网络作为最后的工业零部件缺陷识别模型。
在步骤S4中,基于第一识别模型构建教师网络,具体为:
将第一识别模型中的第三卷积块替换为第五卷积块,其余结构保持不变,得到教师网络;
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行23次残差连接得到第五卷积块。
在步骤S4中,参考图1所示的流程,采用教师网络对学生网络进行局部与全局的知识蒸馏,具体包括步骤:
S41、将原始图像分别输入教师网络的骨干网络和学生网络的骨干网络,得到对应的教师特征图和学生特征图;
S42、将教师特征图和学生特征图分别输入教师全局关系捕获模块(教师GcBlock)和学生全局关系捕获模块(学生GcBlock),得到对应的教师全局关系特征图和学生全局关系特征图;
S43、将教师特征图分别经教师二进制掩码和教师尺度掩码得到教师前景特征图和教师背景特征图,将教师特征图分别经教师空间注意力掩码和教师通道注意力掩码得到教师空间注意力特征图和教师通道注意力特征图;
S44、将学生特征图分别经学生二进制掩码和学生尺度掩码得到学生前景特征图和学生背景特征图,将学生特征图分别经学生空间注意力掩码和学生通道注意力掩码得到学生空间注意力特征图和学生通道注意力特征图;
S45、采用教师全局关系特征图对学生全局关系特征图进行指导,进行全局的知识蒸馏;分别采用教师前景特征图、教师背景特征图、教师空间注意力特征图和教师通道注意力特征图对学生前景特征图、学生背景特征图、学生空间注意力特征图和学生通道注意力特征图进行指导,进行局部的知识蒸馏。
具体的,如图4所示,教师全局关系捕获模块包括第一单元、第二单元、第三单元;
第一单元包括顺序连接的1×1卷积层、softmax激活层;
第二单元包括顺序连接的相乘模块、1×1卷积层、正则化层与ReLU激活层、1×1卷积层,相乘模块用于将第一单元的输出与输入进行相乘并将相乘的结果输出至相乘模块所连接的1×1卷积层;
第三单元为相加模块,相加模块用于将第一单元的输入与第二单元的输出进行相加并将相加的结果输出;
教师全局关系捕获模块的输出表示为:
其中,xt表示输入教师网络的教师特征图,Wv1、Wv2为第二单元中两个1×1卷积层的线性变换权重矩阵,Np表示教师特征图的像素数(等于教师特征图的长输入图像的宽乘以高),Wk表示第一单元中1×1卷积层的线性变换权重矩阵,xm表示输入第一单元的图像xt的第m个像素,xj表示输入相乘模块的图像xt的第j个像素,LN()表示层归一化函数,ReLU()表示ReLU激活函数;
教师二进制掩码表示为:
其中r表示预处理图像中目标图像部分的批注框,i、j分别表示了教师特征图的水平坐标和垂直坐标,如果像素点(i,j)落在r中,那么二进制掩码值Mi,j为1,否则为0,使用教师二进制掩码将教师特征图的目标信息即前景信息和背景信息进行分离;
教师尺度掩码表示为:
Hr和Wr分别表示教师特征图中批注框r的高度和宽度,Nbg计算不在批注框r中的像素数即背景像素数;
教师通道注意力掩码表示为:
AC(F)=C·softmax(GC(F)/T),
GC(F)表示教师特征图的空间局部特征平均值,H、W、C表示教师特征图的高度、宽度和通道,|Fi,j|表示教师特征图上高宽索引分别为i、j的像素点的特征值的绝对值,T表示调节分布的温度超参数;
教师通道注意力掩码表示为:
AS(F)=H·W·softmax(GS(F)/T),
GS(F)表示教师特征图的通道局部特征平均值,Fc表示教师特征图的第c个通道上的局部特征;
学生全局关系捕获模块、学生二进制掩码、学生尺度掩码、学生空间注意力掩码、学生通道注意力掩码分别与教师全局关系捕获模块、教师二进制掩码、教师尺度掩码、教师空间注意力掩码、教师通道注意力掩码的构造相同。
就小目标物体检测问题,本例提出针对特征图之间不均匀差异的局部和全局蒸馏,实现重要信息的高效迭代及迁移学习、缩减了网络的规模,并极大地提升了系统检测效率及准确率。而在全局的知识蒸馏和局部的知识蒸馏中,本方法采用的损失函数为:
L=Loriginal+Lfocal+Lglobal,
Loriginal是教师网络与学生网络之间的原始损失,Lfocal是局部蒸馏损失,Lglobal是全局蒸馏损失。知识蒸馏是一种迁移学习,由教师网络去迫使学生网络学习教师从图像中学习到的知识,本身存在一定的误差值即为原始损失,最小化损失的过程主要是最小化局部与全局知识蒸馏的损失。
局部蒸馏损失Lfocal是特征损失Lfea和注意力损失Lat之和,表示为:Lfocal=Lfea+Lat。学生和老师的掩码之间存在显著差异。在训练过程中,使用教师的掩码来指导学生,遂提出了特征损失。
特征损失Lfea表示为:
Mi,j表示教师二进制掩码也即学生二进制掩码,Si,j表示教师尺度掩码也即学生尺度掩码,表示教师空间注意力掩码也即学生空间注意力掩码,/>表示教师空间注意力掩码也即学生空间注意力掩码教师通道注意力掩码,/>和/>分别表示教师网络和学生网络的特征,α、β是用于平衡损失的超参数,H、W、C分别表示教师特征图也即学生特征图的高度、宽度和通道数,f()表示将/>重置为与/>相同的维度。
本方法还使用注意力损失Lat来迫使学生网络模仿教师网络的空间和通道注意力掩码,注意力损失Lat表示为:
分别表示教师空间注意力掩码、学生空间注意力掩码,/>分别表示教师通道注意力掩码、学生通道注意力掩码,l()表示L1loss,γ是用于平衡损失的超参数。
本方法利用GcBlock去捕获单个图像中的全局关系信息,并强制学生网络从老师网络那里学习这些关系,输入分别是教师和学生的特征图。全局蒸馏损失Lglobal表示为:
FT、FS分别表示教师特征图的特征和学生特征图的特征,分别表示教师全局关系捕获模块、学生全局关系捕获模块提取的全局特征,λ是用于平衡损失的超参数,Fm表示输入第一单元的图像xt的第m个像素的特征,Fj表示输入相乘模块的图像xt的第j个像素的特征。
(2)将工业零部件缺陷识别模型部署于Web端;
该步骤(2)具体包括步骤:
A1:使用Keras,以Tensorflow作为后端运行,得到缺陷识别准确率符合预期的工业零部件缺陷识别模型之后,将该工业零部件缺陷识别模型保存下来(命名为Keras.h5模型),并转换为tf.js层格式;
A2:安装Tensorflow.js,将tf.js层格式的工业零部件缺陷识别模型加载到Tensorflow.js中,从而完成工业零部件缺陷识别模型的轻量化部署。
(3)输入待检测工业零部件图片进行实时检测;具体为:
S5、在Web端将预处理后的待检测工业零部件图片输入工业零部件缺陷识别模型进行缺陷识别后,得到对应的缺陷识别结果,如图5所示。
综上,本发明实施例提供的一种基于模型轻量化的工业零部件缺陷识别方法,首先构建基础神经网络模型用于缺陷识别,该基础神经网络模型由骨干网络、RPN网络、特征图融合模块和缺陷区域分类网络组成,能够提取高维抽象特征并实现特征自学习,然后通过权重量化加速训练、采用过滤器剪枝对模型进行压缩、通过知识蒸馏对模型进一步压缩,得到轻量化的单个模型(工业零部件缺陷识别模型),最后通过Keras、Tensorflow、Tensorflow.js将该轻量化模型部署于Web端,从而在Web端实现对待检测工业零部件图片的快速高精度识别。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (5)
1.一种基于模型轻量化的工业零部件缺陷识别方法,其特征在于,包括步骤:
S1、收集工业零部件错装、漏装、多装的原始图像并进行分组、缺陷标注,得到预处理图像;
S2、构建基础神经网络模型并采用所述预处理图像对所述基础神经网络模型进行训练,在训练过程中对所述基础神经网络模型中的权重进行量化处理以加速训练,训练完成后得到第一识别模型;
S3、采用基于几何中位数的过滤器剪枝对所述第一识别模型进行压缩,得到第二识别模型;
S4、基于所述第一识别模型构建教师网络,将所述第二识别模型作为学生网络,采用所述教师网络对所述学生网络进行局部与全局的知识蒸馏,蒸馏后的学生网络作为最后的工业零部件缺陷识别模型;
S5、将预处理后的待识别工业零部件图片输入所述工业零部件缺陷识别模型进行缺陷识别后,得到对应的缺陷识别结果;
在所述步骤S2中,所述基础神经网络模型包括骨干网络、RPN网络、特征图融合模块和缺陷区域分类网络;
所述骨干网络由卷积层和最大池化层构成,用于对输入的预处理图像进行特征提取,得到对应的特征图;
所述RPN网络用于生成所述特征图的缺陷区域的提议框;
所述特征图融合模块用于将所述特征图与所述提议框进行融合,得到含框特征图;
所述缺陷区域分类网络用于对所述含框特征图进行缺陷分类,得到缺陷边框预测结果和缺陷类别预测结果;
所述缺陷区域分类网络包括1个ROI池化层、4个全连接层、2个Relu激活层和1个Softmax激活层;
所述含框特征图依次经ROI池化层、第一个全连接层、第一个Relu激活层、第二个全连接层、第二个Relu激活层进行相应处理后分为两路,一路经第三个全连接层后输出缺陷边框预测结果,另一路依次经第四个全连接层、Softmax激活层后输出缺陷类别预测结果;
所述骨干网络包括顺序连接的7×7卷积层、3×3卷积层、第一卷积块、第二卷积块、第三卷积块和第四卷积块;
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行3次残差连接得到所述第一卷积块;
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行4次残差连接得到所述第二卷积块;
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行6次残差连接得到所述第三卷积块;
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行3次残差连接得到所述第四卷积块;
所述预处理图像依次经所述7×7卷积层、所述3×3卷积层、所述第一卷积块、所述第二卷积块、所述第三卷积块和所述第四卷积块的相应处理后,得到所述特征图;
在所述步骤S4中,基于所述第一识别模型构建教师网络,具体为:
将所述第一识别模型中的所述第三卷积块替换为第五卷积块,其余结构保持不变,得到所述教师网络;
对顺序连接的1×1卷积、3×3卷积、1×1卷积构成的卷积块进行23次残差连接得到所述第五卷积块;
在所述步骤S4中,采用所述教师网络对所述学生网络进行局部与全局的知识蒸馏,具体包括步骤:
S41、将所述原始图像分别输入所述教师网络的骨干网络和所述学生网络的骨干网络,得到对应的教师特征图和学生特征图;
S42、将所述教师特征图和所述学生特征图分别输入教师全局关系捕获模块和学生全局关系捕获模块,得到对应的教师全局关系特征图和学生全局关系特征图;
S43、将所述教师特征图分别经教师二进制掩码和教师尺度掩码得到教师前景特征图和教师背景特征图,将所述教师特征图分别经教师空间注意力掩码和教师通道注意力掩码得到教师空间注意力特征图和教师通道注意力特征图;
S44、将所述学生特征图分别经学生二进制掩码和学生尺度掩码得到学生前景特征图和学生背景特征图,将所述学生特征图分别经学生空间注意力掩码和学生通道注意力掩码得到学生空间注意力特征图和学生通道注意力特征图;
S45、采用所述教师全局关系特征图对所述学生全局关系特征图进行指导,进行全局的知识蒸馏;分别采用所述教师前景特征图、所述教师背景特征图、所述教师空间注意力特征图和所述教师通道注意力特征图对所述学生前景特征图、所述学生背景特征图、所述学生空间注意力特征图和所述学生通道注意力特征图进行指导,进行局部的知识蒸馏。
2.根据权利要求1所述的一种基于模型轻量化的工业零部件缺陷识别方法,其特征在于:
所述教师全局关系捕获模块包括第一单元、第二单元、第三单元;
所述第一单元包括顺序连接的1×1卷积层、softmax激活层;
所述第二单元包括顺序连接的相乘模块、1×1卷积层、正则化层与ReLU激活层、1×1卷积层,所述相乘模块用于将所述第一单元的输出与输入进行相乘并将相乘的结果输出至所述相乘模块所连接的1×1卷积层;
所述第三单元为相加模块,所述相加模块用于将所述第一单元的输入与所述第二单元的输出进行相加并将相加的结果输出;
所述教师全局关系捕获模块的输出表示为:
其中,xt表示输入所述教师网络的教师特征图,Wv1、Wv2为所述第二单元中两个1×1卷积层的线性变换权重矩阵,Np表示所述教师特征图的像素数,Wk表示所述第一单元中1×1卷积层的线性变换权重矩阵,xm表示输入所述第一单元的图像xt的第m个像素,xj表示输入所述相乘模块的图像xt的第j个像素,LN()表示层归一化函数,ReLU()表示ReLU激活函数;
所述教师二进制掩码表示为:
其中r表示所述预处理图像中目标图像部分的批注框,i、j分别表示了所述教师特征图的水平坐标和垂直坐标,如果像素点(i,j)落在r中,那么二进制掩码值Mi,j为1,否则为0,使用所述教师二进制掩码将所述教师特征图的目标信息即前景信息和背景信息进行分离;
所述教师尺度掩码表示为:
Hr和Wr分别表示所述教师特征图中批注框r的高度和宽度,Nbg计算不在批注框r中的像素数即背景像素数;
所述教师通道注意力掩码表示为:
AC(F)=C·softmax(GC(F)/T),
GC(F)表示所述教师特征图的空间局部特征平均值,H、W、C表示所述教师特征图的高度、宽度和通道,|Fi,j|表示所述教师特征图上高宽索引分别为i、j的像素点的特征值的绝对值,T表示调节分布的温度超参数;
所述教师通道注意力掩码表示为:
AS(F)=H·W·softmax(GS(F)/T),
GS(F)表示所述教师特征图的通道局部特征平均值,Fc表示所述教师特征图的第c个通道上的局部特征;
所述学生全局关系捕获模块、所述学生二进制掩码、所述学生尺度掩码、所述学生空间注意力掩码、所述学生通道注意力掩码分别与所述教师全局关系捕获模块、所述教师二进制掩码、所述教师尺度掩码、所述教师空间注意力掩码、所述教师通道注意力掩码的构造相同。
3.根据权利要求2所述的一种基于模型轻量化的工业零部件缺陷识别方法,其特征在于,在全局的知识蒸馏和局部的知识蒸馏中,采用的损失函数为:
L=Loriginal+Lfocal+Lglobal,
Loriginal是所述教师网络与所述学生网络之间的原始损失,Lfocal是局部蒸馏损失,Lglobal是全局蒸馏损失;
所述局部蒸馏损失Lfocal是特征损失Lfea和注意力损失Lat之和,表示为:Lfocal=Lfea+Lat;
所述特征损失Lfea表示为:
Mi,j表示所述教师二进制掩码也即所述学生二进制掩码,Si,j表示所述教师尺度掩码也即所述学生尺度掩码,表示所述教师空间注意力掩码也即所述学生空间注意力掩码,表示所述教师空间注意力掩码也即所述学生空间注意力掩码教师通道注意力掩码,和/>分别表示教师网络和学生网络的特征,α、β是用于平衡损失的超参数,H、W、C分别表示所述教师特征图也即所述学生特征图的高度、宽度和通道数,f()表示将/>重置为与/>相同的维度;
所述注意力损失Lat表示为:
分别表示所述教师空间注意力掩码、所述学生空间注意力掩码,/>分别表示所述教师通道注意力掩码、所述学生通道注意力掩码,l()表示L1loss,γ是用于平衡损失的超参数;
所述全局蒸馏损失Lglobal表示为:
FT、FS分别表示所述教师特征图的特征和所述学生特征图的特征,分别表示所述教师全局关系捕获模块、所述学生全局关系捕获模块提取的全局特征,λ是用于平衡损失的超参数,Fm表示输入所述第一单元的图像xt的第m个像素的特征,Fj表示输入所述相乘模块的图像xt的第j个像素的特征。
4.根据权利要求1所述的一种基于模型轻量化的工业零部件缺陷识别方法,其特征在于,在所述步骤S2中,在训练过程中对所述基础神经网络模型中的权重进行量化处理,具体包括步骤:
S21、输入所述基础神经网络模型的浮动型权重,获得所述浮动型权重中的权重最大值和权重最小值;
S22、根据所述权重最大值和所述权重最小值对所述浮动型权重进行量化后重新输入所述基础神经网络模型进行训练直至网络收敛,在训练过程中找到对应的量化关系对所述基础神经网络模型的输出值进行反量化以获得最终的输出结果。
5.根据权利要求1所述的一种基于模型轻量化的工业零部件缺陷识别方法,其特征在于,所述步骤S3具体包括步骤:
S31、给出在d维空间内的任意n个点a(1),…,a(n),求取X中与n个点a(1),…,a(n)的欧氏距离之和最小的点x*作为X的几何中位数点,X具体指待处理图像的点的集合;
S32、使用几何中位数点x*来获取第一识别模型中所述骨干网络的第i层卷积层内所有滤波器的几何中位数作为该层的信息估计或数据中心:
代表在所述骨干网络的第i层卷积层中大小为K×K的特征图,Fi,j′j′∈[1,Ni+1]代表在所述骨干网络中第i层卷积层中的第j′个滤波器,Ni+1代表滤波器的总数,代表x*与所述骨干网络中第i层卷积层所有滤波器的欧氏距离之和;
S33、在所述骨干网络的第i层卷积层中,找到与几何中位数相接近的多个滤波器
S34、剪除这些滤波器
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210595003.9A CN114972952B (zh) | 2022-05-29 | 2022-05-29 | 一种基于模型轻量化的工业零部件缺陷识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210595003.9A CN114972952B (zh) | 2022-05-29 | 2022-05-29 | 一种基于模型轻量化的工业零部件缺陷识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114972952A CN114972952A (zh) | 2022-08-30 |
CN114972952B true CN114972952B (zh) | 2024-03-22 |
Family
ID=82957287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210595003.9A Active CN114972952B (zh) | 2022-05-29 | 2022-05-29 | 一种基于模型轻量化的工业零部件缺陷识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114972952B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116385794B (zh) * | 2023-04-11 | 2024-04-05 | 河海大学 | 基于注意力流转移互蒸馏的机器人巡检缺陷分类方法及装置 |
CN116912637B (zh) * | 2023-09-13 | 2023-12-22 | 国网山东省电力公司济南供电公司 | 输变电缺陷识别的方法、装置、计算机设备和存储介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111754507A (zh) * | 2020-07-03 | 2020-10-09 | 征图智能科技(江苏)有限公司 | 一种轻量化的基于强注意力机制的工业缺陷图像分类方法 |
WO2021098323A1 (zh) * | 2019-11-19 | 2021-05-27 | 清华大学 | 一种基于多模态融合深度学习的布匹缺陷检测方法 |
CN112907523A (zh) * | 2021-02-04 | 2021-06-04 | 中山大学 | 一种基于轻量化网络的工业产品表面缺陷检测方法 |
CN112991330A (zh) * | 2021-04-19 | 2021-06-18 | 征图新视(江苏)科技股份有限公司 | 基于知识蒸馏的正样本工业缺陷检测方法 |
CN113362320A (zh) * | 2021-07-07 | 2021-09-07 | 北京工业大学 | 基于深度注意力网络的晶圆表面缺陷模式检测方法 |
CN113392915A (zh) * | 2021-06-23 | 2021-09-14 | 宁波聚华光学科技有限公司 | 一种基于深度学习的工业零件缺陷检测方法 |
CN113469344A (zh) * | 2021-07-23 | 2021-10-01 | 成都数联云算科技有限公司 | 深度卷积神经网络模型改进方法及系统及装置及介质 |
CN113506282A (zh) * | 2021-07-26 | 2021-10-15 | 广东省珠海市质量计量监督检测所 | 一种船舶发动机配件备件的机器视觉装箱核验方法及装置 |
CN113537138A (zh) * | 2021-03-29 | 2021-10-22 | 泉州装备制造研究所 | 一种基于轻量化神经网络的交通标志识别方法 |
CN113570571A (zh) * | 2021-07-27 | 2021-10-29 | 深圳大学 | 一种工业边缘端动力电池缺陷检测方法及系统 |
CN113888472A (zh) * | 2021-09-09 | 2022-01-04 | 上海深视信息科技有限公司 | 一种针对消费电子产品缺陷的检测方法和设备 |
CN113947590A (zh) * | 2021-10-26 | 2022-01-18 | 四川大学 | 一种基于多尺度注意力引导和知识蒸馏的表面缺陷检测方法 |
CN114037653A (zh) * | 2021-09-23 | 2022-02-11 | 上海仪电人工智能创新院有限公司 | 基于二阶段知识蒸馏的工业机器视觉缺陷检测方法和系统 |
CN114359153A (zh) * | 2021-12-07 | 2022-04-15 | 湖北工业大学 | 一种基于改进CenterNet的绝缘子缺陷检测方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875787B (zh) * | 2018-05-23 | 2020-07-14 | 北京市商汤科技开发有限公司 | 一种图像识别方法及装置、计算机设备和存储介质 |
US11710045B2 (en) * | 2019-10-01 | 2023-07-25 | Samsung Display Co., Ltd. | System and method for knowledge distillation |
CN111179253B (zh) * | 2019-12-30 | 2023-11-24 | 歌尔股份有限公司 | 一种产品缺陷检测方法、装置与系统 |
US20210287040A1 (en) * | 2020-03-16 | 2021-09-16 | Fares AL-QUNAIEER | Training system and processes for objects to be classified |
-
2022
- 2022-05-29 CN CN202210595003.9A patent/CN114972952B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021098323A1 (zh) * | 2019-11-19 | 2021-05-27 | 清华大学 | 一种基于多模态融合深度学习的布匹缺陷检测方法 |
CN111754507A (zh) * | 2020-07-03 | 2020-10-09 | 征图智能科技(江苏)有限公司 | 一种轻量化的基于强注意力机制的工业缺陷图像分类方法 |
CN112907523A (zh) * | 2021-02-04 | 2021-06-04 | 中山大学 | 一种基于轻量化网络的工业产品表面缺陷检测方法 |
CN113537138A (zh) * | 2021-03-29 | 2021-10-22 | 泉州装备制造研究所 | 一种基于轻量化神经网络的交通标志识别方法 |
CN112991330A (zh) * | 2021-04-19 | 2021-06-18 | 征图新视(江苏)科技股份有限公司 | 基于知识蒸馏的正样本工业缺陷检测方法 |
CN113392915A (zh) * | 2021-06-23 | 2021-09-14 | 宁波聚华光学科技有限公司 | 一种基于深度学习的工业零件缺陷检测方法 |
CN113362320A (zh) * | 2021-07-07 | 2021-09-07 | 北京工业大学 | 基于深度注意力网络的晶圆表面缺陷模式检测方法 |
CN113469344A (zh) * | 2021-07-23 | 2021-10-01 | 成都数联云算科技有限公司 | 深度卷积神经网络模型改进方法及系统及装置及介质 |
CN113506282A (zh) * | 2021-07-26 | 2021-10-15 | 广东省珠海市质量计量监督检测所 | 一种船舶发动机配件备件的机器视觉装箱核验方法及装置 |
CN113570571A (zh) * | 2021-07-27 | 2021-10-29 | 深圳大学 | 一种工业边缘端动力电池缺陷检测方法及系统 |
CN113888472A (zh) * | 2021-09-09 | 2022-01-04 | 上海深视信息科技有限公司 | 一种针对消费电子产品缺陷的检测方法和设备 |
CN114037653A (zh) * | 2021-09-23 | 2022-02-11 | 上海仪电人工智能创新院有限公司 | 基于二阶段知识蒸馏的工业机器视觉缺陷检测方法和系统 |
CN113947590A (zh) * | 2021-10-26 | 2022-01-18 | 四川大学 | 一种基于多尺度注意力引导和知识蒸馏的表面缺陷检测方法 |
CN114359153A (zh) * | 2021-12-07 | 2022-04-15 | 湖北工业大学 | 一种基于改进CenterNet的绝缘子缺陷检测方法 |
Non-Patent Citations (11)
Title |
---|
A Novel Deep Learning Model Compression Algorithm;Ming Zhao等;Electronics;20220328;第11卷(第7期);1-12 * |
Cognitive visual anomaly detection with constrained latent representations for industrial inspection robot;Jie Li等;Applied Soft Computing;20201001;1-11 * |
Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration;Y. He 等;2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR);20200109;4335-4344 * |
Focal and Global Knowledge Distillation for Detectors;Yang, Zhendong等;https://doi.org/10.48550/arXiv.2111.11837;20211123;1-10 * |
GCNet: Non-Local Networks Meet Squeeze-Excitation Networks and Beyond;Y. Cao, 等;2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW);20200305;1971-1980 * |
Multiresolution Knowledge Distillation for Anomaly Detection;M. Salehi, 等;2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR);20211112;14897-14907 * |
Uninformed Students: Student-Teacher Anomaly Detection with Discriminative Latent Embeddings;Paul Bergmann等;Computer Vision and Pattern Recognition (cs.CV);20200318;1-11 * |
基于CNN的工件缺陷检测方法研究及系统设计;乔丽;中国优秀硕士学位论文全文数据库 (信息科技辑);20170215(第(2017)02期);I138-3469 * |
基于扩展跨阶段局部网络的表面缺陷检测;曹桢淼 等;计算机集成制造系统;20210811;第28卷(第8期);2399-2407 * |
基于激光超声的表面微裂纹检测技术研究;吴瑞;中国优秀硕士学位论文全文数据库 (基础科学辑);20201015(第(2020)10期);A005-39 * |
基于遗传搜索的卷积神经网络结构化剪枝;龚赛君 等;电脑知识与技术;20220415;第18卷(第11期);4-6 * |
Also Published As
Publication number | Publication date |
---|---|
CN114972952A (zh) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109886121B (zh) | 一种遮挡鲁棒的人脸关键点定位方法 | |
CN114972952B (zh) | 一种基于模型轻量化的工业零部件缺陷识别方法 | |
CN111144490B (zh) | 一种基于轮替知识蒸馏策略的细粒度识别方法 | |
CN112036447B (zh) | 零样本目标检测系统及可学习语义和固定语义融合方法 | |
CN113657560B (zh) | 基于节点分类的弱监督图像语义分割方法及系统 | |
CN110766041A (zh) | 一种基于深度学习的害虫检测方法 | |
CN111368637B (zh) | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 | |
CN111368766A (zh) | 一种基于深度学习的牛脸检测与识别方法 | |
CN111881958A (zh) | 车牌分类识别方法、装置、设备及存储介质 | |
CN115147418B (zh) | 缺陷检测模型的压缩训练方法和装置 | |
CN115761240B (zh) | 一种混沌反向传播图神经网络的图像语义分割方法及装置 | |
CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
CN116258990A (zh) | 一种基于跨模态亲和力的小样本参考视频目标分割方法 | |
CN116075820A (zh) | 用于搜索图像数据库的方法、非暂时性计算机可读存储介质和设备 | |
CN117372764A (zh) | 一种弱光环境下非合作目标检测方法 | |
CN111578956A (zh) | 一种基于深度学习的视觉slam定位方法 | |
CN110929013A (zh) | 一种基于bottom-up attention和定位信息融合的图片问答实现方法 | |
CN114492634B (zh) | 一种细粒度装备图片分类识别方法及系统 | |
CN115511061A (zh) | 基于YOLOv5模型的知识蒸馏方法 | |
CN115661694A (zh) | 一种聚焦关键特征的轻量型主变压器智能检测方法、系统、存储介质及电子设备 | |
Chen et al. | Design and Implementation of Second-generation ID Card Number Identification Model based on TensorFlow | |
CN111353509B (zh) | 一种视觉slam系统的关键点提取器生成方法 | |
CN114549958A (zh) | 基于上下文信息感知机理的夜间和伪装目标检测方法 | |
CN115131671A (zh) | 一种跨域高分辨率遥感图像典型目标细粒度识别方法 | |
CN114155540A (zh) | 基于深度学习的文字识别方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |