CN112381788A - 一种基于双分支匹配网络的零部件表面缺陷增量检测方法 - Google Patents

一种基于双分支匹配网络的零部件表面缺陷增量检测方法 Download PDF

Info

Publication number
CN112381788A
CN112381788A CN202011264991.6A CN202011264991A CN112381788A CN 112381788 A CN112381788 A CN 112381788A CN 202011264991 A CN202011264991 A CN 202011264991A CN 112381788 A CN112381788 A CN 112381788A
Authority
CN
China
Prior art keywords
image
template
network
defect
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011264991.6A
Other languages
English (en)
Other versions
CN112381788B (zh
Inventor
王瑜
王一诺
刘博�
罗晓燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Beijing Technology and Business University
Original Assignee
Beihang University
Beijing Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University, Beijing Technology and Business University filed Critical Beihang University
Priority to CN202011264991.6A priority Critical patent/CN112381788B/zh
Publication of CN112381788A publication Critical patent/CN112381788A/zh
Application granted granted Critical
Publication of CN112381788B publication Critical patent/CN112381788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

本发明公开了一种基于双分支匹配网络的零部件表面缺陷增量检测方法，能够在摄像机采集图像和其中的零部件缺陷区域之间进行相似度测量并匹配，通过本发明的技术方案，能够通过深度双分支匹配网络的相似度计算能力对零部件图像表面缺陷进行检测，可以避免现有深度学习方法导致的模型泛化能力不佳以及输出信息不充分的问题。通过增量学习机制自动扩充缺陷模板库，突破了数据更新时模型能力难以提升的瓶颈，利用图像分类模型对新增模板进行类别预测，降低了系统检测错误的可能，提升了系统鲁棒性。

Description

一种基于双分支匹配网络的零部件表面缺陷增量检测方法
技术领域
本发明属于计算机视觉技术中基于深度学习的图像检测技术领域，尤其涉及一种基于双分支匹配网络的零部件表面缺陷增量检测方法。
背景技术
工业生产过程中的安全保障向来是一个不可小视的重要问题。一个复杂的机械系统，往往有近千种零部件承载着不同的工作。一个零部件上的缺陷，有可能引起其它零部件出现异常的连锁反应，进而引发系统整体的异常甚至瘫痪。因此，定期的零部件缺陷检测可以作为产品组装出厂前的最后一个重要环节，保障工业生产过程的顺利进行。相比于传统的人眼检测方式，基于计算机视觉的缺陷检测方法充分利用了计算机的高速运算能力，无疑是灵活性更高，经济成本更低，且检测速度更快的选择。
目前，基于计算机视觉的零部件缺陷检测，主要可以分为使用传统图像处理方法和使用深度学习方法两大类。传统图像处理方法中可采用基于视觉显著性的方法，先通过滤波提高目标显著性再通过超像素分割方法提取缺陷区域；另外也可采用以模板匹配为核心的检测方法，它通过构建零部件模板，在待检图像中搜寻与模板相似的部分，通过匹配和比较来进行缺陷类型的判断。
由于传统方法泛化能力和检测效率的受限，基于深度学习的方法越来越受到该领域学者的青睐。深度学习的方法通常建立一个深层的神经网络，通过多层卷积来从大量的图像中提取并学习特征，以便后续在图像上的像素级分类。而在基于深度学习的图像检测方法中，比较经典的有以R-CNN为代表的结合区域候选框和CNN分类的两阶段检测框架，和以YOLO为代表的将检测问题转换为回归问题的单阶段检测框架。然而这两种框架的检测输出是圈定检测对象的锚定框，在检测形状复杂的缺陷痕迹时效果较为一般。
现有零部件表面缺陷的传统检测方法泛化性较差，对于复杂纹理背景，光照不均等条件适应能力较弱。而譬如R-CNN、YOLO等深度学习方法输出的锚定框无法在检测出缺陷的同时很好地描述缺陷的形状，为复杂的缺陷情况提供更完备的具体信息。另外，零部件表面缺陷的类别丰富，难以界定，且每一种类别的表面缺陷的产生通常是小概率事件，难以获得大量的特定缺陷样本以供神经网络学习，这使得采用常规的分类网络容易产生过拟合的问题。
发明内容
为了解决上述已有技术存在的不足，本发明提出一种能够在摄像机采集图像和其中的零部件缺陷区域之间进行相似度测量并匹配的双分支神经网络方法，本发明的具体技术方案如下：
一种基于双分支匹配网络的零部件表面缺陷增量检测方法，包括以下步骤：
S1：通过固定摄像器材获取零部件表面图像，对图像进行直方图均衡和同态滤波，标准化亮度并且增强局部对比度，突出潜在的显著性区域：
exp(g(x,y))＝IDFT(H(u,v)*DFT[lnf(x,y)])
其中，f(x,y)为包含图像的低频和高频两个分量，H(u,v)是高通滤波器，g(x,y)为滤波后图像；
S2：构建基础模板库；
S2-1：在经过步骤S1处理后的一幅搜索图像中搜索并裁剪缺陷图像块作为模板块，由模板块构成基础模板库；
S2-2：对其余搜索图像进行模板块所在位置的模糊高斯核标注，标注后的图像为参考真实图像，基础模板库中图像为模板图像；
S3：构建双分支嵌入模块，包括两个分支，两个分支均采用权重共享的ResNet50作为将搜索图像和模板图像转化为对应特征图的卷积主干网络，转换过程为：
Figure BDA0002775782170000021
其中，
Figure BDA0002775782170000022
表示将模板图像通过卷积主干网络与池化扩展操作进行转化，t为模板图像输入，
Figure BDA0002775782170000023
表示将搜索图像通过卷积主干网络进行转化，s为搜索图像输入；
第一个分支将图像长、宽和通道数分别为H×W×3的搜索图像输入s进行特征编码，转换成大小为
Figure BDA0002775782170000024
的特征图ms；第二个分支将图像长、宽和通道数分别为h×w×3的模板图像输入t进行特征编码，并将大小为
Figure BDA0002775782170000025
的特征图经过池化扩展后得到与搜索图像特征图相同尺度的特征图mt；
S4：构建匹配模块；对双分支嵌入模块得到的特征图进行串联，使得大小为
Figure BDA0002775782170000026
的特征图经过一个包含至少一个卷积层的相似度网络后输出大小为
Figure BDA0002775782170000031
的相似性密度图f(s,t)；
损失函数采取加权均方误差的形式：
Figure BDA0002775782170000032
其中，L(s,t)为相似度网络学习的损失函数，F(sn,t)表示模糊核标注的真实图即步骤S2-2中的参考真实图像，N为批大小，n为批次序号，W(·)代表每个像素的损失权重，该损失能够引导相似性密度图f(s,t)学习真实的相似性图，从而训练网络权重，之后对双分支匹配网络训练得到相似度测量模型；
S5：构建后处理模块；将相似性密度图转为通过阈值ts判断的可视化分割图：
Figure BDA0002775782170000033
其中，SegImage(·)表示通过阈值对相似性密度图进行分割的分割算子；最终，在搜索图像区域中输出基础模板库中包含的图像缺陷信息。
进一步地，所述方法还包括步骤S6：添加增量机制，具体地：
S6-1：对步骤S1得到的搜索图像训练一个显著性检测网络，通过显著性检测网络，得到搜索图像对应的显著性图，显著性图中包含已有异常种类和潜在新异常种类；对于同一幅搜索图像，显著性图提取图中的前景缺陷目标，不分辨缺陷目标的类别；
S6-2：对步骤S5得到的分割图和步骤S6-1得到的显著性图进行匹配：
一个显著性区域的超过一半的面积在分割图中作为前景，则认为是已有的缺陷目标类别；没有超过一半的面积在分割图中作为前景，则认为是新的缺陷目标类别；
S6-3：将步骤S6-2中确定的新的缺陷目标类别从搜索图像中裁剪下来，加入到基础模板库中进行缺陷类别扩充。
进一步地，所述方法还包括步骤S7：半监督图像分类；对步骤S2-1得到的基础模板库进行人工界定的分类，步骤S6-3得到的新增模板为未分类模板，运用半监督的图像分类网络，将已有的缺陷类别的知识迁移到对未分类模板的学习当中，通过聚类来界定新的类别；具体地：
S7-1：在步骤S2-1得到的既定类别的基础模板库之上，采用交叉熵作为损失函数，采用resnet18作为主干网络，训练图像分类网络模型；
S7-2：对于步骤S7-1得到的网络模型，将不包含全连接层的所有卷积层作为特征编码器，将步骤S6-3得到的未分类模板通过特征编码器，映射到特征空间中；
S7-3：采用主成分分析对未分类模板的特征进行降维，维度降至K，K是为未分类模板定义的类别数量；使用K-means方法，对在特征空间中降维后的未分类模板初始化聚类中心；
S7-4：在特征编码器的最后一层植入PCA降维层，作为特征编码器的最后一个线性层；设aij为将特征空间第i个样本点分配给第j个聚类的概率，则设
aij∝(1+||zi-μj||2)-1/2
其中，zi为特征空间样本点，μj为第j个聚类；
构建目标分布bij，
Figure BDA0002775782170000041
其中，N为样本点总数；通过最小化aij与bij之间的KL散度，在未分类模板上优化特征编码器，优化目标分布bij，实现通过aij来对第i个样本进行类别预测。
进一步地，所述步骤S4中的相似度网络中的卷积层为三层，将特征图的通道降为1，每个卷积层的卷积核尺寸为3×3，其中，第一个卷积层后经过批正则化和激活函数ReLU层，第二个卷积层后经过批正则化和激活函数ReLU层，第三个卷积层后经过激活函数ReLU层。
进一步地，所述步骤S6中的显著性检测网络以resnet50为主干网络。
进一步地，所述步骤S7中的半监督的图像分类网络以resnet18为主干网络。
本发明的有益效果在于：
1.本发明的方法通过深度双分支匹配网络的相似度计算能力对零部件图像表面缺陷进行检测，可以避免现有深度学习方法导致的模型泛化能力不佳以及输出信息不充分的问题。
2.本发明的方法通过增量学习机制自动扩充缺陷模板库，突破了数据更新时模型能力难以提升的瓶颈，利用图像分类模型对新增模板进行类别预测，降低了系统检测错误的可能，提升了系统鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：
图1是本发明的基于双分支匹配网络的零部件表面缺陷检测模型结构；
图2是本发明的系统流程框架及增量机制。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
基于深度学习的零部件表面缺陷检测方法的两大问题，分别是锚定框对缺陷信息的描述不全问题，以及用于训练模型的图像样本受限所致的模型泛化能力问题。针对以上两种问题，本发明提出了一种基于双分支匹配网络的零部件表面缺陷增量检测方法，先将缺陷模板和待检测图像分别作为两种输入，通过共享权重的卷积网络映射到特征空间，再进行特征级的相似度测量及匹配。增量检测系统在双分支匹配网络的基础上引入了增量学习机制和缺陷分类模块。前者在新的待检测图像上通过显著性前景区域和相似性密度分割区域的匹配对比，找到新增缺陷模板并将其添加至模板库；后者将已有的模板库知识迁移到对新增模板特征分布聚类的学习中，以对新增模板进行适当的归类。各个部分相辅相成，对待测图像的表面缺陷区域进行更合理、有效地像素级检测。
如图1所示，本发明的网络主要分为双分支嵌入模块，匹配模块和后处理模块。在双分支嵌入模块，采用共享权重的主干网络将原图转换到特征空间，并进行分辨率的降采样，通过分别的适应性操作得到两个相同大小的特征图；在匹配模块中通过相似性网络将通道降为1，输出一幅相似性密度图；最后通过后处理模块输出缺陷分割图，实现输出可视化。通过整个网络，在搜索图像区域中输出模板库中所包含的图像缺陷的位置、大小和形状等信息。
具体地，一种基于双分支匹配网络的零部件表面缺陷增量检测方法，包括以下步骤：
S1：通过固定摄像器材获取零部件表面图像，对图像进行直方图均衡和同态滤波，标准化亮度并且增强局部对比度，突出潜在的显著性区域：
exp(g(x,y))＝IDFT(H(u,v)*DFT[lnf(x,y)])
其中，f(x,y)为包含图像的低频和高频两个分量，H(u,v)是高通滤波器，g(x,y)为滤波后图像；
S2：构建基础模板库；
S2-1：在经过步骤S1处理后的一幅搜索图像中搜索并裁剪缺陷图像块作为模板块，由模板块构成基础模板库；
S2-2：对其余搜索图像进行模板块所在位置的模糊高斯核标注，标注后的图像为参考真实图像，基础模板库中图像为模板图像；
S3：构建双分支嵌入模块，包括两个分支，两个分支均采用权重共享的ResNet50作为将搜索图像和模板图像转化为对应特征图的卷积主干网络，转换过程为：
Figure BDA0002775782170000061
其中，
Figure BDA0002775782170000062
表示将模板图像通过卷积主干网络与池化扩展操作进行转化，t为模板图像输入，
Figure BDA0002775782170000063
表示将搜索图像通过卷积主干网络进行转化，s为搜索图像输入；
第一个分支将图像长、宽和通道数分别为H×W×3的搜索图像输入s进行特征编码，转换成大小为
Figure BDA0002775782170000064
的特征图ms；第二个分支将图像长、宽和通道数分别为h×w×3的模板图像输入t进行特征编码，并将大小为
Figure BDA0002775782170000065
的特征图经过池化扩展后得到与搜索图像特征图相同尺度的特征图mt；
在双分支嵌入模块，采用共享权重的主干网络将原图转换到特征空间，并进行分辨率的降采样，通过分别的适应性操作得到两个相同大小的特征图；
S4：构建匹配模块；对双分支嵌入模块得到的特征图进行串联，使得大小为
Figure BDA0002775782170000066
的特征图经过一个包含至少一个卷积层的相似度网络后输出大小为
Figure BDA0002775782170000067
的相似性密度图f(s,t)；
损失函数采取加权均方误差的形式：
Figure BDA0002775782170000071
其中，L(s,t)为相似度网络学习的损失函数，F(sn,t)表示模糊核标注的真实图即步骤S2-2中的参考真实图像，N为批大小，n为批次序号，W(·)代表每个像素的损失权重，该损失能够引导相似性密度图f(s,t)学习真实的相似性图，从而训练网络权重，之后对双分支匹配网络训练得到相似度测量模型；
在匹配模块中通过相似性网络将通道降为1，输出一幅相似性密度图；
S5：构建后处理模块；将相似性密度图转为通过阈值ts判断的可视化分割图：
Figure BDA0002775782170000072
其中，SegImage(·)表示通过阈值对相似性密度图进行分割的分割算子。通过后处理模块输出缺陷分割图，实现输出可视化，在搜索图像区域中输出基础模板库中包含的图像缺陷的位置、大小和形状等信息。
图2为本发明的缺陷检测系统框架和增量机制。通过两个网络分别得到显著性图和后处理模块分割图进行比对和匹配，输出新增缺陷的可视化分割图，将未出现过的缺陷目标视为新增缺陷，经过裁剪后加入模板库中。同时，通过半监督图像分类方法来预测新增模板的类别，以合理地管理基础模板库。
一种基于双分支匹配网络的零部件表面缺陷增量检测方法，还包括步骤S6：添加增量机制，具体地：
S6-1：对步骤S1得到的搜索图像训练一个显著性检测网络，通过显著性检测网络，得到搜索图像对应的显著性图，显著性图中包含已有异常种类和潜在新异常种类；对于同一幅搜索图像，显著性图提取图中的前景缺陷目标，不分辨缺陷目标的类别；
S6-2：对步骤S5得到的分割图和步骤S6-1得到的显著性图进行匹配：
一个显著性区域的超过一半的面积在分割图中作为前景，则认为是已有的缺陷目标类别；没有超过一半的面积在分割图中作为前景，则认为是新的缺陷目标类别；
S6-3：将步骤S6-2中确定的新的缺陷目标类别从搜索图像中裁剪下来，加入到基础模板库中进行缺陷类别扩充。
一种基于双分支匹配网络的零部件表面缺陷增量检测方法，还包括步骤S7：半监督图像分类；对步骤S2-1得到的基础模板库进行人工界定的分类，步骤S6-3得到的新增模板为未分类模板，运用半监督的图像分类网络，将已有的缺陷类别的知识迁移到对未分类模板的学习当中，通过聚类来界定新的类别；具体地：
S7-1：在步骤S2-1得到的既定类别的基础模板库之上，采用交叉熵作为损失函数，采用resnet18作为主干网络，训练图像分类网络模型；
S7-2：对于步骤S7-1得到的网络模型，将不包含全连接层的所有卷积层作为特征编码器，将步骤S6-3得到的未分类模板通过特征编码器，映射到特征空间中；
S7-3：采用主成分分析对未分类模板的特征进行降维，维度降至K，K是为未分类模板定义的类别数量；使用K-means方法，对在特征空间中降维后的未分类模板初始化聚类中心；
S7-4：在特征编码器的最后一层植入PCA降维层，作为特征编码器的最后一个线性层；设aij为将特征空间第i个样本点分配给第j个聚类的概率，则设
aij∝(1+||zi-μj||2)-1/2
其中，zi为特征空间样本点，μj为第j个聚类；
构建目标分布bij，
Figure BDA0002775782170000081
其中，N为样本点总数；通过最小化aij与bij之间的KL散度，在未分类模板上优化特征编码器，优化目标分布bij，实现通过aij来对第i个样本进行类别预测。
在一些实施方式中，步骤S4中的相似度网络中的卷积层为三层，将特征图的通道降为1，每个卷积层的卷积核尺寸为3×3，其中，第一个卷积层后经过批正则化和激活函数ReLU层，第二个卷积层后经过批正则化和激活函数ReLU层，第三个卷积层后经过激活函数ReLU层。
在一些实施方式中，步骤S6中的显著性检测网络以resnet50为主干网络。
在一些实施方式中，步骤S7中的半监督的图像分类网络以resnet18为主干网络。
在本发明中，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于双分支匹配网络的零部件表面缺陷增量检测方法，其特征在于，包括以下步骤：
S1：通过固定摄像器材获取零部件表面图像，对图像进行直方图均衡和同态滤波，标准化亮度并且增强局部对比度，突出潜在的显著性区域：
exp(g(x,y))＝IDFT(H(u,v)*DFT[lnf(x,y)])
其中，f(x,y)为包含图像的低频和高频两个分量，H(u,v)是高通滤波器，g(x,y)为滤波后图像；
S2：构建基础模板库；
S2-1：在经过步骤S1处理后的一幅搜索图像中搜索并裁剪缺陷图像块作为模板块，由模板块构成基础模板库；
S2-2：对其余搜索图像进行模板块所在位置的模糊高斯核标注，标注后的图像为参考真实图像，基础模板库中图像为模板图像；
S3：构建双分支嵌入模块，包括两个分支，两个分支均采用权重共享的ResNet50作为将搜索图像和模板图像转化为对应特征图的卷积主干网络，转换过程为：
Figure FDA0002775782160000011
其中，
Figure FDA0002775782160000012
表示将模板图像通过卷积主干网络与池化扩展操作进行转化，t为模板图像输入，
Figure FDA0002775782160000013
表示将搜索图像通过卷积主干网络进行转化，s为搜索图像输入；
第一个分支将图像长、宽和通道数分别为H×W×3的搜索图像输入s进行特征编码，转换成大小为
Figure FDA0002775782160000014
的特征图ms；第二个分支将图像长、宽和通道数分别为h×w×3的模板图像输入t进行特征编码，并将大小为
Figure FDA0002775782160000015
的特征图经过池化扩展后得到与搜索图像特征图相同尺度的特征图mt；
S4：构建匹配模块；对双分支嵌入模块得到的特征图进行串联，使得大小为
Figure FDA0002775782160000016
的特征图经过一个包含至少一个卷积层的相似度网络后输出大小为
Figure FDA0002775782160000017
的相似性密度图f(s,t)；
损失函数采取加权均方误差的形式：
Figure FDA0002775782160000018
其中，L(s,t)为相似度网络学习的损失函数，F(sn,t)表示模糊核标注的真实图即步骤S2-2中的参考真实图像，N为批大小，n为批次序号，W(·)代表每个像素的损失权重，该损失能够引导相似性密度图f(s,t)学习真实的相似性图，从而训练网络权重，之后对双分支匹配网络训练得到相似度测量模型；
S5：构建后处理模块；将相似性密度图转为通过阈值ts判断的可视化分割图：
Figure FDA0002775782160000021
其中，SegImage(·)表示通过阈值对相似性密度图进行分割的分割算子；最终，在搜索图像区域中输出基础模板库中包含的图像缺陷信息。
2.根据权利要求1所述的一种基于双分支匹配网络的零部件表面缺陷增量检测方法，其特征在于，所述方法还包括步骤S6：添加增量机制，具体地：
S6-1：对步骤S1得到的搜索图像训练一个显著性检测网络，通过显著性检测网络，得到搜索图像对应的显著性图，显著性图中包含已有异常种类和潜在新异常种类；对于同一幅搜索图像，显著性图提取图中的前景缺陷目标，不分辨缺陷目标的类别；
S6-2：对步骤S5得到的分割图和步骤S6-1得到的显著性图进行匹配：
一个显著性区域的超过一半的面积在分割图中作为前景，则认为是已有的缺陷目标类别；没有超过一半的面积在分割图中作为前景，则认为是新的缺陷目标类别；
S6-3：将步骤S6-2中确定的新的缺陷目标类别从搜索图像中裁剪下来，加入到基础模板库中进行缺陷类别扩充。
3.根据权利要求1或2所述的一种基于双分支匹配网络的零部件表面缺陷增量检测方法，其特征在于，所述方法还包括步骤S7：半监督图像分类；对步骤S2-1得到的基础模板库进行人工界定的分类，步骤S6-3得到的新增模板为未分类模板，运用半监督的图像分类网络，将已有的缺陷类别的知识迁移到对未分类模板的学习当中，通过聚类来界定新的类别；具体地：
S7-1：在步骤S2-1得到的既定类别的基础模板库之上，采用交叉熵作为损失函数，采用resnet18作为主干网络，训练图像分类网络模型；
S7-2：对于步骤S7-1得到的网络模型，将不包含全连接层的所有卷积层作为特征编码器，将步骤S6-3得到的未分类模板通过特征编码器，映射到特征空间中；
S7-3：采用主成分分析对未分类模板的特征进行降维，维度降至K，K是为未分类模板定义的类别数量；使用K-means方法，对在特征空间中降维后的未分类模板初始化聚类中心；
S7-4：在特征编码器的最后一层植入PCA降维层，作为特征编码器的最后一个线性层；设aij为将特征空间第i个样本点分配给第j个聚类的概率，则设
aij∝(1+‖zi-μj‖2)-1/2
其中，zi为特征空间样本点，μj为第j个聚类；
构建目标分布bij，
Figure FDA0002775782160000031
其中，N为样本点总数；通过最小化aij与bij之间的KL散度，在未分类模板上优化特征编码器，优化目标分布bij，实现通过aij来对第i个样本进行类别预测。
4.根据权利要求1或2所述的一种基于双分支匹配网络的零部件表面缺陷增量检测方法，其特征在于，所述步骤S4中的相似度网络中的卷积层为三层，将特征图的通道降为1，每个卷积层的卷积核尺寸为3×3，其中，第一个卷积层后经过批正则化和激活函数ReLU层，第二个卷积层后经过批正则化和激活函数ReLU层，第三个卷积层后经过激活函数ReLU层。
5.根据权利要求2所述的一种基于双分支匹配网络的零部件表面缺陷增量检测方法，其特征在于，所述步骤S6中的显著性检测网络以resnet50为主干网络。
6.根据权利要求3所述的一种基于双分支匹配网络的零部件表面缺陷增量检测方法，其特征在于，所述步骤S7中的半监督的图像分类网络以resnet18为主干网络。
CN202011264991.6A 2020-11-13 2020-11-13 一种基于双分支匹配网络的零部件表面缺陷增量检测方法 Active CN112381788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011264991.6A CN112381788B (zh) 2020-11-13 2020-11-13 一种基于双分支匹配网络的零部件表面缺陷增量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011264991.6A CN112381788B (zh) 2020-11-13 2020-11-13 一种基于双分支匹配网络的零部件表面缺陷增量检测方法

Publications (2)

Publication Number Publication Date
CN112381788A true CN112381788A (zh) 2021-02-19
CN112381788B CN112381788B (zh) 2022-11-22

Family

ID=74583563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011264991.6A Active CN112381788B (zh) 2020-11-13 2020-11-13 一种基于双分支匹配网络的零部件表面缺陷增量检测方法

Country Status (1)

Country Link
CN (1) CN112381788B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113588672A (zh) * 2021-09-29 2021-11-02 武汉绿色塑料包装有限公司 一种塑料制品的质量检测方法
CN114429153A (zh) * 2021-12-31 2022-05-03 苏州大学 基于终身学习的齿轮箱增量故障诊断方法及系统
CN114663428A (zh) * 2022-05-16 2022-06-24 网思科技股份有限公司 基于人工智能的物体表面异常检测方法、装置及相关设备
CN114724188A (zh) * 2022-05-23 2022-07-08 北京圣点云信息技术有限公司 基于灰度共生矩阵的静脉识别方法及装置
CN115239657A (zh) * 2022-07-18 2022-10-25 无锡雪浪数制科技有限公司 一种基于深度学习目标分割的工业零件增量识别方法
CN116089883A (zh) * 2023-01-30 2023-05-09 北京邮电大学 用于提高已有类别增量学习新旧类别区分度的训练方法
CN116309554A (zh) * 2023-05-12 2023-06-23 广东奥普特科技股份有限公司 缺陷检测网络的构建及缺陷检测方法、装置和设备
CN116824271A (zh) * 2023-08-02 2023-09-29 上海互觉科技有限公司 基于三模态向量空间对齐的smt芯片缺陷检测系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909625A (zh) * 2017-01-20 2017-06-30 清华大学 一种基于Siamese网络的图像检索方法及系统
US20180225823A1 (en) * 2017-02-09 2018-08-09 Siemens Healthcare Gmbh Adversarial and Dual Inverse Deep Learning Networks for Medical Image Analysis
CN109191491A (zh) * 2018-08-03 2019-01-11 华中科技大学 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统
CN109740416A (zh) * 2018-11-19 2019-05-10 深圳市华尊科技股份有限公司 目标跟踪方法及相关产品

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909625A (zh) * 2017-01-20 2017-06-30 清华大学 一种基于Siamese网络的图像检索方法及系统
US20180225823A1 (en) * 2017-02-09 2018-08-09 Siemens Healthcare Gmbh Adversarial and Dual Inverse Deep Learning Networks for Medical Image Analysis
CN109191491A (zh) * 2018-08-03 2019-01-11 华中科技大学 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统
CN109740416A (zh) * 2018-11-19 2019-05-10 深圳市华尊科技股份有限公司 目标跟踪方法及相关产品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DOMEN TABERNIK 等: "Segmentation-Based Deep-Learning Approach for Surface-Defect Detection", 《ARXIV.ORG》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113588672A (zh) * 2021-09-29 2021-11-02 武汉绿色塑料包装有限公司 一种塑料制品的质量检测方法
CN114429153A (zh) * 2021-12-31 2022-05-03 苏州大学 基于终身学习的齿轮箱增量故障诊断方法及系统
CN114429153B (zh) * 2021-12-31 2023-04-28 苏州大学 基于终身学习的齿轮箱增量故障诊断方法及系统
CN114663428A (zh) * 2022-05-16 2022-06-24 网思科技股份有限公司 基于人工智能的物体表面异常检测方法、装置及相关设备
CN114724188A (zh) * 2022-05-23 2022-07-08 北京圣点云信息技术有限公司 基于灰度共生矩阵的静脉识别方法及装置
CN115239657B (zh) * 2022-07-18 2023-11-21 无锡雪浪数制科技有限公司 一种基于深度学习目标分割的工业零件增量识别方法
CN115239657A (zh) * 2022-07-18 2022-10-25 无锡雪浪数制科技有限公司 一种基于深度学习目标分割的工业零件增量识别方法
CN116089883A (zh) * 2023-01-30 2023-05-09 北京邮电大学 用于提高已有类别增量学习新旧类别区分度的训练方法
CN116089883B (zh) * 2023-01-30 2023-12-19 北京邮电大学 用于提高已有类别增量学习新旧类别区分度的训练方法
CN116309554B (zh) * 2023-05-12 2023-08-22 广东奥普特科技股份有限公司 缺陷检测网络的构建及缺陷检测方法、装置和设备
CN116309554A (zh) * 2023-05-12 2023-06-23 广东奥普特科技股份有限公司 缺陷检测网络的构建及缺陷检测方法、装置和设备
CN116824271A (zh) * 2023-08-02 2023-09-29 上海互觉科技有限公司 基于三模态向量空间对齐的smt芯片缺陷检测系统及方法
CN116824271B (zh) * 2023-08-02 2024-02-09 上海互觉科技有限公司 基于三模态向量空间对齐的smt芯片缺陷检测系统及方法

Also Published As

Publication number Publication date
CN112381788B (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN112381788B (zh) 一种基于双分支匹配网络的零部件表面缺陷增量检测方法
WO2023070911A1 (zh) 一种基于自注意力的彩色纹理织物缺陷区域的检测方法
CN111080620B (zh) 一种基于深度学习的道路病害检测方法
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN112561910B (zh) 一种基于多尺度特征融合的工业表面缺陷检测方法
CN110648310B (zh) 基于注意力机制的弱监督铸件缺陷识别方法
Guan et al. A steel surface defect recognition algorithm based on improved deep learning network model using feature visualization and quality evaluation
CN113724231B (zh) 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN111754498A (zh) 一种基于YOLOv3的传送带托辊检测方法
CN111179263B (zh) 一种工业图像表面缺陷检测模型、方法、系统及装置
CN111369526B (zh) 基于半监督深度学习的多类型旧桥裂痕识别方法
CN115631369A (zh) 一种基于卷积神经网络的细粒度图像分类方法
CN114581782A (zh) 一种基于由粗到精检测策略的细微缺陷检测方法
CN107545281B (zh) 一种基于深度学习的单一有害气体红外图像分类识别方法
Singh et al. CNN based approach for traffic sign recognition system
CN110618129A (zh) 一种电网线夹自动检测与缺陷识别方法及装置
CN115410059B (zh) 基于对比损失的遥感图像部分监督变化检测方法及设备
CN116843657A (zh) 基于注意力融合的焊接缺陷检测方法及装置
CN111539931A (zh) 一种基于卷积神经网络和边界限定优化的外观异常检测方法
CN116563230A (zh) 焊缝缺陷识别方法及系统
Li et al. An unsupervised concrete crack detection method based on nnU-Net
CN112699898A (zh) 一种基于多层特征融合的图像方向识别方法
Jia et al. A Novel Fault Inspection Method of Steel Plate Surface
Wang et al. A deep learning-based method for aluminium foil-surface defect recognition
CN113792630B (zh) 一种基于对比学习的地外探测图像识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant