CN113962928A - 一种基于多尺度特征蒸馏的缺陷检测方法、装置及介质 - Google Patents

一种基于多尺度特征蒸馏的缺陷检测方法、装置及介质 Download PDF

Info

Publication number
CN113962928A
CN113962928A CN202111031303.6A CN202111031303A CN113962928A CN 113962928 A CN113962928 A CN 113962928A CN 202111031303 A CN202111031303 A CN 202111031303A CN 113962928 A CN113962928 A CN 113962928A
Authority
CN
China
Prior art keywords
feature
network
defect detection
distillation
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111031303.6A
Other languages
English (en)
Inventor
张重阳
姚欣成
张保柱
刘振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Haitang Information Technology Co Ltd
Original Assignee
Ningbo Haitang Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Haitang Information Technology Co Ltd filed Critical Ningbo Haitang Information Technology Co Ltd
Priority to CN202111031303.6A priority Critical patent/CN113962928A/zh
Publication of CN113962928A publication Critical patent/CN113962928A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像缺陷检测技术领域，提供了一种基于多尺度特征蒸馏的缺陷检测方法、装置及介质，包括步骤：构建基于多尺度特征蒸馏的缺陷检测模型，所述检测模型包括老师网络和学生网络；对所述缺陷检测模型进行训练，利用所述学生网络通过特征蒸馏机制学习老师网络的知识，得到训练后的缺陷检测模型；通过训练后的缺陷检测模型对检测样本进行缺陷检测，判定检测样本中的缺陷品以及缺陷区域。本发明的优点在于通过输出多个尺度下的特征图，算法可以检测不同尺度的缺陷，并且由于本方法主要在于运行两次前向传播，该方法可以达到实时检测的要求，更加适合于工业缺陷检测等场景中的应用。

Description

一种基于多尺度特征蒸馏的缺陷检测方法、装置及介质
技术领域
本发明涉及图像缺陷检测技术领域，尤其涉及一种基于多尺度特征蒸馏的缺陷检测方法、装置及介质。
背景技术
工业产品缺陷检测领域中主要有两大方向，一是基于目标检测，二是基于异常检测，基于目标检测的缺陷检测方法已经存在较多的研究，但是从异常检测的角度来解决缺陷检测还存在很多的挑战。缺陷检测中存在着很多的难点和挑战：不确定性，缺陷和很多的不确定性相关联，例如不确定的视觉特征，有一些缺陷在没有实际出现之前都是不确定的；稀缺性，缺陷样本通常是相当稀缺的，想要收集一个带有大量标注的缺陷数据集是相当困难也是几乎不太可能的；异构性，缺陷是不规则的，因此一类缺陷可能和另一类缺陷表现出完全不同的视觉特征，甚至同一类缺陷也会存在特征上的变化。上述的缺陷特性使得基于目标检测的方法有时不能很好发挥作用，但基于异常检测的方法可以一定程度上解决上述的难点和挑战。
当前，异常检测主要是基于正常特征建模。该类方法通常只需要正常样本用于网络的训练，且更关注于正常样本特征，在检测过程中通过特征对比将特征远离正常特征的样本视作异常样本，这类方法最大的优点在于不需要有标注的异常样本作为训练样本，这可以极大程度上减少数据收集中的人力和钱力开销，在异常并不是完全已知并且数据收集代价较高时更具有吸引力，但是这类方法的问题在于，可能将特征不同于正常特征的样本都归类于异常。
由于缺陷的不确定性和稀缺性，基于正常特征建模的异常检测算法更值得关注，基于正常特征建模的异常检测算法中有通过建立特定的学习任务来学习正常特征的方法，如自编码器网络和生成对抗网络，也可以使用预训练的网络提取正常特征，然后进行特征对比以检测异常。
上述的基于自编码器网络、生成对抗网络和特征对比的异常检测方法，主要都是使用较浅层的网络提取特征然后进行异常检测，但是由于浅层网络提取的特征表征能力不足，这些方法的性能往往受限。当前检测效果最好的方法大都使用预训练的深层卷积网络提取特征然后应用特征对比，而这些方法却只是使用了预训练的网络，却没有在特定的异常数据集上训练深层卷积网络。
发明内容
本发明的目的在于提供一种基于多尺度特征蒸馏的缺陷检测方法，用以解决现有基于深度学习的异常检测方法不易利用深层卷积网络的问题；
为了实现上述目的，本发明采用的技术方案为：
一种基于多尺度特征蒸馏的缺陷检测方法，包括步骤：
构建基于多尺度特征蒸馏的缺陷检测模型，所述检测模型包括老师网络和学生网络；
对所述缺陷检测模型进行训练，利用所述学生网络通过特征蒸馏机制学习老师网络的知识，得到训练后的缺陷检测模型；
通过训练后的缺陷检测模型对检测样本进行缺陷检测，判定检测样本中的缺陷品以及缺陷区域。
进一步的，老师网络是经图像数据集上预训练的深度卷积神经网络，学生网络为随机初始化的深度卷积神经网络，学生网络与老师网络具有相同的网络结构。
进一步的，对所述缺陷检测模型进行训练的步骤包括：
将经预处理的正常样本图像集分别输入老师网络和学生网络，得到两个网络分别输出的多尺度特征图；
在相同尺度的特征图对中，将老师网络生成的特征图上每个位置处的特征向量作为参考特征，学生网络生成的特征图上每个位置处的特征向量作为学习特征，利用特征蒸馏机制优化参考特征和学习特征间的距离，使得学生网络和老师网络对正常样本图像的特征表征相同。
进一步的，所述参考特征和学习特征间的距离是使用欧式距离和余弦距离结合的组合距离进行度量的。
进一步的，利用特征蒸馏机制优化参考特征和学习特征间的距离的步骤包括：
对每个位置的参考特征和学习特征进行范式的归一化操作；
度量归一化的参考特征和归一化的学习特征之间的欧式距离作为每个位置处的损失函数值，并结合余弦距离构建基于组合距离的损失函数值；
对所有位置处的损失函数值平均后得到特征图的损失函数值；
对不同尺度的特征图进行特征蒸馏并对得到的不同尺度特征图的损失函数值进行加权平均，得到总损失函数值，通过总损失函数值优化参考特征和学习特征间的距离。
进一步的，对检测样本进行缺陷检测的具体步骤包括：
将经预处理后的测试样本分别送入所述老师网络和学生网络提取出各自的多尺度特征图，将相同尺度下的两个特征图作为一个特征图对；
在特征图对中，将特征图上同一位置相对应的两个特征作为匹配特征对；
计算所述匹配特征对中两个特征之间的欧式距离和余弦距离，并将获得的欧式距离和余项距离经加权求和后作为该位置处的异常得分值，通过各位置的异常得分值获得该特征图对应的异常得分图；
通过基于高斯核函数的感受野上采样将不同尺度下生成的异常得分图上采样至同样大小的分辨率，并对上采样后的所有异常得分图通过逐元素点乘操作生成测试样本的最终异常得分图；
通过图像级异常阈值和像素级异常阈值对生成的最终异常得分图判定缺陷品以及缺陷区域。
进一步的，对测试样本的预处理包括图像的缩放、剪裁和归一化。
本发明还提供了一种基于多尺度特征蒸馏的缺陷检测装置，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行上述的基于多尺度特征蒸馏的缺陷检测方法。
本发明还提供了一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行上述的基于多尺度特征蒸馏的缺陷检测方法。
本发明与现有技术相比，至少包含以下有益效果：
(1)本发明通过利用学生网络学习老师网络的中间层输出，有效实现了在小型缺陷数据集上训练深层卷积网络的需求；
(2)本发明可以只利用正常样本建模，就可以实现缺陷检测及定位，避免了对大规模有标注的缺陷样本数据集的需求；
(3)本发明通过输出多个尺度下的特征图，算法可以检测不同尺度的缺陷，并且由于本方法主要在于运行两次前向传播，该方法可以达到实时检测的要求，更加适合于工业缺陷检测等场景中的应用。
附图说明
图1是本发明基于多尺度特征蒸馏的缺陷检测方法的总体流程图；
图2是本发明实施例中对所述缺陷检测模型进行训练的流程图；
图3是本发明实施例中模型训练的示意图；
图4是本发明实施例中对检测样本进行缺陷检测的流程图；
图5是本发明实施例中缺陷检测的示意图。
具体实施方式
以下是本发明的具体实施例，并结合附图对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
如图1所示，本发明一种基于多尺度特征蒸馏的缺陷检测方法，包括步骤：
S1、构建基于多尺度特征蒸馏的缺陷检测模型，所述检测模型包括老师网络和学生网络；
S2、对所述缺陷检测模型进行训练，利用所述学生网络通过特征蒸馏机制学习老师网络的知识，得到训练后的缺陷检测模型；
S3、通过训练后的缺陷检测模型对检测样本进行缺陷检测，判定检测样本中的缺陷品以及缺陷区域。
其中，老师网络是经图像数据集上预训练的深度卷积神经网络，学生网络为随机初始化的深度卷积神经网络，学生网络与老师网络具有相同的网络结构。
在本发明中，可以选择使用ResNet、Vgg和EfficientNet等深层卷积网络作为老师网络和学生网络，通过使用学生网络学习老师网络的方式，有效实现了在小型缺陷数据集上训练深层卷积网络。
如图2所示，为了使得学生网络可以更有效地学到老师网络中间层的知识，步骤S2具体包括：
S21、将经预处理的正常样本图像集分别输入老师网络和学生网络，得到两个网络分别输出的多尺度特征图；
S22、在相同尺度的特征图对中，将老师网络生成的特征图上每个位置处的特征向量作为参考特征，学生网络生成的特征图上每个位置处的特征向量作为学习特征，利用特征蒸馏机制优化参考特征和学习特征间的距离，使得学生网络和老师网络对正常样本图像的特征表征相同。
对于正常图像集Normal Images的预处理，可以包括对图像的缩放、裁剪和归一化，缩放和裁剪的目的是保证输入图像大小一致，从而可以批量输入到特征提取网络中，归一化的目的是保证输入网络的数值大小合理，不会引起数值溢出的问题。比如，在本实施例中，对样本尺度缩放的方法可以为：将所有正常样本统一缩放并裁剪到265×265分辨率；对输入图像归一化的方法可以是对图像RGB三通道分别使用均值[0.485,0.456,0.406]和标准差[0.229,0.224,0.225]归一化到[0,1]之间。
如图3所示，在第1层特征图上，由学生网络输出的特征图Fs l学习老师网络输出的特征图Ft l，这一过程称为特征蒸馏或知识迁移。
进一步的，通过优化特征图上任意位置(i，j)处两特征向量之间的距离达到特征蒸馏的目的。具体的，首先对位置(i，j)处的参考特征Ft l(i,j)和学习特征
Figure BDA0003245362120000061
进行L2范式的归一化操作，如下式所示：
Figure BDA0003245362120000062
然后度量归一化的参考特征和归一化的学习特征之间的欧式距离作为位置(i，j)处的损失函数值，如下式所示：
Figure BDA0003245362120000071
欧式距离用于衡量两特征间的模值相似性，除了使用欧式距离外，还使用了余弦距离用于衡量两特征间的方向相似性，如下式所示：
Figure BDA0003245362120000072
通过结合欧式距离和余弦距离构建出组合距离来更全面度量两特征间的相似性，可以使得学习特征更好地学习到参考特征的知识，基于组合距离的损失函数公式如下式所示：
Figure BDA0003245362120000073
在一具体实施例中，上述基于组合距离的特征蒸馏方式可以扩展至整个特征图，对于第1层的特征图，对所有(i，j)位置处的损失函数值
Figure BDA0003245362120000074
求和平均后得到整个特征图的损失函数值，如下式所示：
Figure BDA0003245362120000075
在老师网络和学生网络生成的多尺度特征图中，对于每个尺度的特征图Ft l和
Figure BDA0003245362120000076
都会进行特征蒸馏并得到基于组合距离的损失函数值
Figure BDA0003245362120000077
最终总的损失函数值为所有尺度下计算的损失函数值的加权平均，如下式所示：
Figure BDA0003245362120000078
上述基于组合距离的损失函数公式中的参数λ可以设置为一个经验值，使得欧式距离和余弦距离间大小相差不多，参数λ可以简单地设置为0.5，也可以在网络训练过程中根据两个距离值实时计算出的大小来相应地调整参数λ，从而实现两距离值的数值平衡。上述总的损失函数值计算中对各尺度下的损失值加权系数αl可以简单设置为固定常数(如设置为1)，也可以将αl设置为可变参数，在网络训练的过程中自适应地学习出每个尺度下的加权系数αl。
进一步的，如图4和图5所示，对检测样本进行缺陷检测的具体步骤包括：
S31、将经预处理后的测试样本分别送入所述老师网络和学生网络提取出各自的多尺度特征图，将相同尺度下的两个特征图作为一个特征图对；
S32、在特征图对中，将特征图上同一位置相对应的两个特征作为匹配特征对；
S33、计算所述匹配特征对中两个特征之间的欧式距离和余弦距离，并将获得的欧式距离和余项距离经加权求和后作为该位置处的异常得分值，通过各位置的异常得分值获得该特征图对应的异常得分图；
S34、通过基于高斯核函数的感受野上采样将不同尺度下生成的异常得分图上采样至同样大小的分辨率，并对上采样后的所有异常得分图通过逐元素点乘操作生成测试样本的最终异常得分图；
S35、通过图像级异常阈值和像素级异常阈值对生成的最终异常得分图判定缺陷品以及缺陷区域。
在检测时，测试样本经过和训练阶段时一样的预处理后，分别送入老师网络和学生网络提取出多尺度特征图{Ft 1,Ft 2,...,Ft L}和{Ft 1,Ft 2,...,Ft L}，在第1层特征图中，Ft l和
Figure BDA0003245362120000081
形成匹配特征图对，对于特征图上的任意位置(i，j)处的两特征向量Ft l(i,j)和
Figure BDA0003245362120000082
利用上述训练阶段所述的组合距离计算两特征间的距离，该特征距离作为该位置处的异常得分值，如下式所示：
Figure BDA0003245362120000091
欧式距离
Figure BDA0003245362120000092
与上述训练阶段所述的
Figure BDA0003245362120000093
一致，余弦距离dcos(i,j)与上述训练阶段所述的
Figure BDA0003245362120000094
一致。第1层的异常得分图Al和该层的特征图(Ft l,
Figure BDA0003245362120000095
)具有一样的分辨率hl×wl。
在一具体实施例中，上述基于组合距离的异常得分值公式中的参数λf可以设置为经验值，也可以和上述训练阶段中的参数λ一致，设置为自适应调整λ过程中最终确定下来的λ值。
检测过程进一步将每个尺度特征图对Ft l和
Figure BDA0003245362120000096
生成的分辨率为hl×wl的异常得分图Al上采样到原图大小h0×w0，然后将所有上采样后的异常得分图逐元素点乘后作为最终的异常得分图，公式化表示为：
Figure BDA0003245362120000097
其中Upsample表示上采样操作。
可以优选使用基于高斯核函数的感受野上采样操作作为上采样函数。异常得分图上的某一点会对其感受野区域内的所有点的异常得分有着二维高斯分布形式的影响(靠近中心值越大，远离中心值越小)；具体地，感受野内的一点(x，y)受到的影响符合以下的二维高斯核函数(表示为G2)：
Figure BDA0003245362120000098
其中μ＝(u1,u2)表示感受野的中心，σ表示高斯分布的方差。
假设上采样后的异常得分图为A，其分辨率为h0×w0，初始化A中所有元素为0，对于第1层的异常得分图Al中的每个元素
Figure BDA0003245362120000099
其感受野为fij，感受野的中心为cij，上采样的异常得分图A可以按照如下的方式更新：
Figure BDA00032453621200000910
上述异常得分图A的更新公式中的参数σ可以设置为经验值，其中σ设置为16是一较好的经验值。不同尺度异常得分图中的点对应到上采样得分图中的感受野区域大小也不同，小尺度下对应的感受野区域更小，大尺度下对应的感受野区域更大，从而生成测试样本的最终异常得分图。
在生成测试样本最终的异常得分图后，异常得分图中的最大值作为该样本的图像级异常得分，图像级异常得分大于图像级异常阈值时，该样本被判定为缺陷品，异常得分图中大于像素级异常阈值的区域被判定为缺陷区域；
在所有异常得分中，选择精确率和召回率的调和平均数这一项分数最高的得分作为图像级异常阈值，像素级异常阈值设置为图像级异常阈值的一半加0.05是一个较合适的值，在具体检测时，可以根据实际检测结果在上述阈值的基础上不断调整，以获得最优的阈值。
本发明上述实施例通过利用学生网络学习老师网络的中间层输出，有效实现了在小型缺陷数据集上训练深层卷积网络，因为输出多个尺度下的特征图，算法可以检测不同尺寸的缺陷，并且由于只需同时前向传播老师网络和学生网络各一次就可以提取出层次化的特征图，该算法可以达到实时检测的要求，更加适合于工业缺陷检测等场景中的应用。
在本发明另一实施例中，还提供一种基于多尺度特征蒸馏的缺陷检测装置，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行上述任一项实施例的基于多尺度特征蒸馏的缺陷检测方法。
在本发明另一实施例中，还提供一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行上述任一项所述的基于多尺度特征蒸馏的缺陷检测方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于多尺度特征蒸馏的缺陷检测方法，其特征在于，包括步骤：
构建基于多尺度特征蒸馏的缺陷检测模型，所述检测模型包括老师网络和学生网络；
对所述缺陷检测模型进行训练，利用所述学生网络通过特征蒸馏机制学习老师网络的知识，得到训练后的缺陷检测模型；
通过训练后的缺陷检测模型对检测样本进行缺陷检测，判定检测样本中的缺陷品以及缺陷区域。
2.根据权利要求1所述的一种基于多尺度特征蒸馏的缺陷检测方法，其特征在于，老师网络是经图像数据集上预训练的深度卷积神经网络，学生网络为随机初始化的深度卷积神经网络，学生网络与老师网络具有相同的网络结构。
3.根据权利要求1所述的一种基于多尺度特征蒸馏的缺陷检测方法，其特征在于，对所述缺陷检测模型进行训练的步骤包括：
将经预处理的正常样本图像集分别输入老师网络和学生网络，得到两个网络分别输出的多尺度特征图；
在相同尺度的特征图对中，将老师网络生成的特征图上每个位置处的特征向量作为参考特征，学生网络生成的特征图上每个位置处的特征向量作为学习特征，利用特征蒸馏机制优化参考特征和学习特征间的距离，使得学生网络和老师网络对正常样本图像的特征表征相同。
4.根据权利要求3所述的一种基于多尺度特征蒸馏的缺陷检测方法，其特征在于，所述参考特征和学习特征间的距离是使用欧式距离和余弦距离结合的组合距离进行度量的。
5.根据权利要求4所述的一种基于多尺度特征蒸馏的缺陷检测方法，其特征在于，利用特征蒸馏机制优化参考特征和学习特征间的距离的步骤包括：
对每个位置的参考特征和学习特征进行范式的归一化操作；
度量归一化的参考特征和归一化的学习特征之间的欧式距离作为每个位置处的损失函数值，并结合余弦距离构建基于组合距离的损失函数值；
对所有位置处的损失函数值平均后得到特征图的损失函数值；
对不同尺度的特征图进行特征蒸馏并对得到的不同尺度特征图的损失函数值进行加权平均，得到总损失函数值，通过总损失函数值优化参考特征和学习特征间的距离。
6.根据权利要求1所述的一种基于多尺度特征蒸馏的缺陷检测方法，其特征在于，对检测样本进行缺陷检测的具体步骤包括：
将经预处理后的测试样本分别送入所述老师网络和学生网络提取出各自的多尺度特征图，将相同尺度下的两个特征图作为一个特征图对；
在特征图对中，将特征图上同一位置相对应的两个特征作为匹配特征对；
计算所述匹配特征对中两个特征之间的欧式距离和余弦距离，并将获得的欧式距离和余项距离经加权求和后作为该位置处的异常得分值，通过各位置的异常得分值获得该特征图对应的异常得分图；
通过基于高斯核函数的感受野上采样将不同尺度下生成的异常得分图上采样至同样大小的分辨率，并对上采样后的所有异常得分图通过逐元素点乘操作生成测试样本的最终异常得分图；
通过图像级异常阈值和像素级异常阈值对生成的最终异常得分图判定缺陷品以及缺陷区域。
7.根据权利要求5所述的一种基于多尺度特征蒸馏的缺陷检测方法，其特征在于，对测试样本的预处理包括图像的缩放、剪裁和归一化。
8.一种基于多尺度特征蒸馏的缺陷检测装置，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行权利要求1-7任一项所述的基于多尺度特征蒸馏的缺陷检测方法。
9.一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行权利要求1-7任一项所述的基于多尺度特征蒸馏的缺陷检测方法。
CN202111031303.6A 2021-09-03 2021-09-03 一种基于多尺度特征蒸馏的缺陷检测方法、装置及介质 Pending CN113962928A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111031303.6A CN113962928A (zh) 2021-09-03 2021-09-03 一种基于多尺度特征蒸馏的缺陷检测方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111031303.6A CN113962928A (zh) 2021-09-03 2021-09-03 一种基于多尺度特征蒸馏的缺陷检测方法、装置及介质

Publications (1)

Publication Number Publication Date
CN113962928A true CN113962928A (zh) 2022-01-21

Family

ID=79460900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111031303.6A Pending CN113962928A (zh) 2021-09-03 2021-09-03 一种基于多尺度特征蒸馏的缺陷检测方法、装置及介质

Country Status (1)

Country Link
CN (1) CN113962928A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742799A (zh) * 2022-04-18 2022-07-12 华中科技大学 基于自监督异构网络的工业场景未知类型缺陷分割方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991330A (zh) * 2021-04-19 2021-06-18 征图新视(江苏)科技股份有限公司 基于知识蒸馏的正样本工业缺陷检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991330A (zh) * 2021-04-19 2021-06-18 征图新视(江苏)科技股份有限公司 基于知识蒸馏的正样本工业缺陷检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GUODONG WANG等: "Student-Teacher Feature Pyramid Matching for Unsupervised Anomaly Detection", 《ARXIV》 *
MOHAMMADREZA SALEHI等: "Multiresolution Knowledge Distillation for Anomaly Detection", 《ARXIV》 *
PHILIPP LIZNERSKI等: "Explainable Deep One-Class Classification", 《ARXIV》 *
XINCHENG YAO等: "Multi-Scale Feature Distillation for Anomaly Detection", 《 2021 27TH INTERNATIONAL CONFERENCE ON MECHATRONICS AND MACHINE VISION IN PRACTICE (M2VIP)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742799A (zh) * 2022-04-18 2022-07-12 华中科技大学 基于自监督异构网络的工业场景未知类型缺陷分割方法
CN114742799B (zh) * 2022-04-18 2024-04-26 华中科技大学 基于自监督异构网络的工业场景未知类型缺陷分割方法

Similar Documents

Publication Publication Date Title
CN106683048B (zh) 一种图像超分辨率方法及设备
CN110276745B (zh) 一种基于生成对抗网络的病理图像检测算法
CN116664559B (zh) 基于机器视觉的内存条损伤快速检测方法
CN111369550A (zh) 图像配准与缺陷检测方法、模型、训练方法、装置及设备
CN107784288A (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN110070539A (zh) 基于信息熵的图像质量评价方法
CN112561881A (zh) 基于评价模型的红外图像自适应数据增强方法
CN114596290A (zh) 缺陷检测方法及其装置、存储介质、程序产品
CN116758491A (zh) 应用于3d打印的打印监控图像分析方法及系统
CN110633711A (zh) 训练特征点检测器的计算机装置、方法及特征点检测方法
CN110334775B (zh) 一种基于宽度学习的无人机线路故障识别方法和装置
CN116228686A (zh) 一种基于轻量级网络的划痕缺陷检测方法、装置以及设备
CN113962928A (zh) 一种基于多尺度特征蒸馏的缺陷检测方法、装置及介质
CN111047618A (zh) 基于多尺度的无参考屏幕内容图像质量评估方法
CN111047559A (zh) 一种数字病理切片异常区域快速检测的方法
Nikoo et al. A supervised method for determining displacement of gray level co-occurrence matrix
CN112270404A (zh) 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法
CN112766419A (zh) 一种基于多任务学习的图像质量评估方法及装置
CN112270370A (zh) 一种车辆表观毁伤评估方法
JPWO2021181627A5 (ja) 画像処理装置、画像認識システム、画像処理方法および画像処理プログラム
CN110211122A (zh) 一种检测图像处理方法及装置
CN114897884A (zh) 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法
CN115063679A (zh) 一种基于深度学习的路面质量评估方法
CN112529081A (zh) 基于高效注意力校准的实时语义分割方法
CN112396648B (zh) 一种可定位目标物质心的目标识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220121