CN113643268B - 基于深度学习的工业制品缺陷质检方法、装置及存储介质 - Google Patents

基于深度学习的工业制品缺陷质检方法、装置及存储介质 Download PDF

Info

Publication number
CN113643268B
CN113643268B CN202110971349.XA CN202110971349A CN113643268B CN 113643268 B CN113643268 B CN 113643268B CN 202110971349 A CN202110971349 A CN 202110971349A CN 113643268 B CN113643268 B CN 113643268B
Authority
CN
China
Prior art keywords
defect
image
product
detected
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110971349.XA
Other languages
English (en)
Other versions
CN113643268A (zh
Inventor
魏骁勇
田昊
张栩禄
杨震群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202110971349.XA priority Critical patent/CN113643268B/zh
Publication of CN113643268A publication Critical patent/CN113643268A/zh
Application granted granted Critical
Publication of CN113643268B publication Critical patent/CN113643268B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了基于深度学习的工业制品缺陷质检方法、装置及存储介质，解决缺陷检测中缺陷部分与无缺陷部分因纹理、颜色相似而难以正确判断的问题。本发明包括神经网络模型预训练；已质检出为无缺陷或有缺陷的制品的图像收集；确定神经网络模型对应的损失函数并训练神经网络模型；利用神经网络模型得到图像的深度特征和缺陷预测结果；通过深度特征与缺陷预测结果进行分类决策；可视化样本缺陷部分并给出决策结果。本发明用于工业制品缺陷质检。

Description

基于深度学习的工业制品缺陷质检方法、装置及存储介质
技术领域
一种基于深度学习的工业制品缺陷质检方法，用于工业制品缺陷质检，属于深度学习技术领域，特别涉及由计算机进行的工业制品缺陷质检方法。
背景技术
在工业制造产品的制造过程中，表面缺陷的产生往往是不可避免的，不同产品的表面缺陷有着不同的定义和类型，一般而言表面缺陷是产品表面局部物理或化学性质不均匀的区域，如金属表面的划痕、斑点、孔洞，纸张表面的色差、压痕，玻璃等非金属表面的夹杂、破损、污点等等。表面缺陷不仅影响产品的美观和舒适度，而且一般也会对其使用性能带来不良影响。因此，在产品的制造过程中对工业产品的实时缺陷检测是一个具有现实意义的问题。
然而，人工检测是产品表面缺陷的传统检测方法，该方法抽检率低、准确性不高、实时性差、效率低、劳动强度大、受人工经验和主观因素的影响大，而基于深度学习的人工智能检测方法可以很大程度上克服上述弊端。在目前的传统机器视觉检测方法中，基于人工设计特征的检测方式先利用图像处理技术提取绝缘子的轮廓、纹理，颜色等特征，再将这些特征通过数学模型进行缺陷识别，这些方法受到照片拍摄时的光照情况影响很大，获得的特征较为单一，鲁棒性差，无法应对更为复杂的图片背景。
近年来，深度学习在计算机视觉领域不断取得突破，一次一次的刷新各领域的成绩。目前，已经有大量深度学习的工作在缺陷检测上进行，但大多数缺陷检测仅仅能够提供目标样本有无缺陷的判断，而在进一步判断缺陷位置的步骤中，未能取得较好的效果。在实际应用中，若算法仅仅能够通过所给样本判断有无缺陷而无法提供准确的缺陷位置信息，对于后续的人工核查缺陷以及针对缺陷进行的修缮步骤将是一个巨大的考验：对于大多数工业制品的缺陷而言，由于划痕、色差、污点等造成的缺陷的实际特征与制品正常区域相似度很高，若没有丰富的经验很难快速地凭借肉眼定位缺陷位置，还是会在缺陷的定位步骤上耗费大量的时间和精力。
发明内容
针对上述研究的问题，本发明的目的在于提供一种基于深度学习的工业制品缺陷质检方法，解决现有技术无法提供有缺陷的产品的缺陷位置的问题，即因工业制品缺陷质检中缺陷部分与无缺陷部分因纹理、颜色相似而难以正确判断的问题。
为了达到上述目的，本发明采用如下技术方案：
一种基于深度学习的工业制品缺陷质检方法，包括如下步骤：
步骤1：获取工业质检制品数据集对神经网络模型进行预训练，其中，神经网络模型为SINet的基础分割网络与自定义的分类决策网络融合所得，即为融合模型；
步骤2：获取待检测制品的图像数据集，对无缺陷的待检测制品的图像打上正标签作为正样本，有缺陷的待检测制品的图像打上负标签作为负样本，同时，对负样本中的缺陷区域进行像素级别的标注，其中，图像数据集包括各待检测制品的图像是已质检出为无缺陷或有缺陷的制品；
步骤3：定义预训练后的融合模型的损失函数，并基于获取的工业质检制品数据集训练定义了损失函数的融合模型；
步骤4：将带有标签的图像数据集中的各图像分别输入已训练的定义了损失函数的融合模型，得到深度特征和缺陷预测结果；
步骤5：将深度特征与缺陷预测输入自定义的分类决策网络，得到待检测制品的图像包含的缺陷的概率预测；
步骤6：基于缺陷的预测概率可视化有缺陷的待检测制品的缺陷部分并给出决策结果。
进一步，所述融合模型中的SINet的基础分割网络的结构依次包括深度特征模块Res2Net、纹理增强模块TEM、近邻连接解码器NCD和注意力机制模块；
自定义的分类决策网络的结构依次包括拼接层、3个串行的大小为5×5的卷积层、全局最大池化层和全连接层。
进一步，所述步骤3中定义的神经网络模型的注意力机制模块的损失函数具体为：
Figure BDA0003223816290000021
其中，Loss表示总损失函数，Lossseg表示分割损失，Seg表示分割，Losscls表示分类损失，cls表示分类，
Figure BDA0003223816290000022
为带权重的交并比IoU损失，用于刻画缺陷定位的全局约束，
Figure BDA0003223816290000023
为带权重的二值交叉熵BCE损失，用于刻画缺陷定位的局部像素级别约束，
Figure BDA0003223816290000024
为真实分类标签与分类预测值之间的二值交叉熵损失，是为了保证分类的准确性。
进一步，所述步骤4的具体步骤为：
步骤4.1：将带有标签的图像数据集中的各图像分别输入已训练的定义了损失函数的的融合模型，利用融合模型中的深度特征模块Res2Net提取图像的深度特征，即形成一组从高分辨率低语义到低分辨率高语义的特征金字塔，其中，特征金字塔有5层；
步骤4.2：将特征金字塔中最底的三层深度特征f3、f4、f5分别经过融合模型中的纹理增强模块TEM进行加强，加强后得到纹理特征f3′、f4′、f5′一起输入融合模型中的近邻连接解码器NCD进行特征聚合，特征聚合后得到初步缺陷检测区域的定位信息C6，将初步缺陷检测区域的位置信息反转，并与纹理特征f5′拼接得到向量
Figure BDA0003223816290000031
拼接，拼接后，向量
Figure BDA0003223816290000032
经过注意力机制模块得到神经网络模型对待检测制品的图像的缺陷定位输出C5，继续将缺陷定位输出C5的位置信息反转并与纹理特征f4′拼接得到向量
Figure BDA0003223816290000033
向量
Figure BDA0003223816290000034
经过注意力机制模块得到神经网络模型对待检测制品的图像的缺陷定位输出C5，继续将缺陷定位输出C5的位置信息反转并与纹理特征f3′拼接得到向量
Figure BDA0003223816290000035
重复上述操作得到缺陷定位输出C3，即最终的缺陷预测结果。
进一步，所述步骤4.2中特征聚合后得到初步缺陷检测区域的定位信息C6具体为：
Figure BDA0003223816290000036
其中，f′k表示输入的纹理特征，k表示第k个纹理特征，k∈{3，4，5}，
Figure BDA0003223816290000037
表示一个3×3卷积层接一个批归一化操作，
Figure BDA0003223816290000038
表示相乘，δ2↑(·)表示上采样操作，·表示输入，
Figure BDA0003223816290000039
表示f5′经过提纯得到的特征，
Figure BDA00032238162900000310
表示f4′经过提纯得到的特征，
Figure BDA00032238162900000311
表示f3′经过提纯得到的特征，将
Figure BDA00032238162900000312
拼接后得到的即为初步缺陷检测区域的定位信息C6，即粗糙定位图；
Figure BDA00032238162900000313
表示卷积操作，其中，NC表示卷积，n表示用到的第n个卷积操作的对应编号。
进一步，所述步骤5的具体步骤为：
步骤5.1：将深度特征与缺陷预测结果输入分类决策网络，并通过分类决策网络的拼接层将深度特征与缺陷预测结果在通道维数上进行拼接，得到拼接向量；
步骤5.2：拼接向量输入分类决策网络的3个串行的大小为5×5的卷积层，再与缺陷预测结果分别经过全局最大池化层后进行拼接，全局最大池化层拼接后得到的向量经全连接层输出，得到待检测制品的图像包含的缺陷的概率预测。
进一步，所述步骤6的具体步骤为：
将缺陷的预测概率与给定标准进行缺陷判断；
若不存在缺陷，表示待检测制品无缺陷；
若存在缺陷，利用SINet的基础分割网络进行缺陷预测结果输出，并在待检测制品的图像中覆盖缺陷定位输出的掩膜，其中，掩膜每个位置的值为从0到255的unit8型数据，数据值越靠近255，表示神经网络模型对待检测制品的图像的像素位置的预测更倾向于缺陷部分，越靠近0，表示神经网络模型对待检测制品的图像的像素位置的预测更倾向于正常部分，掩膜结果用以描述整个待检测制品的判断是否倾向于有缺陷的区域。
本发明还提供了一种基于深度学习的工业制品缺陷质检装置，包括如下模块：
预训练模块：获取工业质检制品数据集对神经网络模型进行预训练，其中，神经网络模型为SINet的基础分割网络与自定义的分类决策网络融合所得，即为融合模型；
标签模块：获取待检测制品的图像数据集，对无缺陷的待检测制品的图像打上正标签作为正样本，有缺陷的待检测制品的图像打上负标签作为负样本，同时，对负样本中的缺陷区域进行像素级别的标注，其中，图像数据集包括各待检测制品的图像是已质检出为无缺陷或有缺陷的制品；
融合模型训练模块：定义预训练后的融合模型的损失函数，并基于获取的工业质检制品数据集训练定义了损失函数的融合模型；
深度特征和缺陷预测模块：将带有标签的图像数据集中的各图像分别输入已训练的定义了损失函数的融合模型，得到深度特征和缺陷预测结果；
预测模块：将深度特征与缺陷预测输入自定义的分类决策网络，得到待检测制品的图像包含的缺陷的概率预测；
决策模块：基于缺陷的预测概率可视化有缺陷的待检测制品的缺陷部分并给出决策结果。
上述装置中，所述融合模型中的SINet的基础分割网络的结构依次包括深度特征模块Res2Net、纹理增强模块TEM、近邻连接解码器NCD和注意力机制模块；
自定义的分类决策网络的结构依次包括拼接层、3个串行的大小为5×5的卷积层、全局最大池化层和全连接层。
本发明还提供了一种存储介质，所述存储介质内存储有一种基于深度学习的工业制品缺陷质检的程序，CPU在执行所述程序时实现上述一种基于深度学习的工业制品缺陷质检方法。
本发明同现有技术相比，其有益效果表现在：
本发明不仅可对工业质检制品的缺陷进一步进行检测，即在现有技术的缺陷检测基础上进一步提高对工业质检制品的缺陷检测精度，而且还解决了现有技术其无法准确地定位到有缺陷产品的缺陷位置的问题，具体为：
1.通过改进得到的融合模型对已标注的待检测制品的图像数据集图像依次进行深度特征提取、加强、聚合、反转、拼接等操作，在提升现有技术对工业质检产品的缺陷检测精度的基础上，解决其无法准确地定位到有缺陷产品的缺陷位置这一痛点，即在保证缺陷分类指标的处于业界领先水平时，同时能够大幅度的提高模型对缺陷产品的缺陷定位性能，给出准确的缺陷位置，对于工业质检中及时发现缺陷并定位、补全缺陷有着良好的实际意义，并且本发明不同于传统缺陷检测方法将模型重点置于提高分类指标模块上，而是选取更先进的缺陷定位模块与分类决策模块同时学习互补，在分类指标进一步提升的前提下大幅提高分割指标，给出缺陷位置的精准定位。本发明在目前缺陷检测主流数据集MVTecAD中时，对于测试数据而言，分类准确率能够达到97.63％，而目前在该数据集上效果最好的模型Mixed_SegDec模型准确率为80.68％，在346个总样本数的条件下错检样本数减少了58个，这一结果应用于实际缺陷检测中动辄成千上万张待检样本时，将更进一步的减少错误率，是一个巨大的提升；
同时，本发明所提出的技术在达到超高的缺陷分类准确率的同时，还能够给出缺陷的精准定位，若使用预测缺陷位置与实际缺陷位置的交并比IoU作为缺陷定位的衡量指标的话，本发明的1oU值能够达到67.29％，而同样Mixed_SegDec模型只有17.63％，增幅达到了近50％。
2.本发明不同于针对单一数据集的缺陷检测模型，本发明中的融合模型利用先进的深度学习模块提取输入图像的纹理等深度特征，采用先分割、分割结果结合所学特征再进行分类的思路，将其先后应用于缺陷的定位以及决策步骤中，能够很好的适用于大多数工业产品中，鲁棒性好，对于任何一个新的工业质检数据集，只需要少量训练样本就能够拟合(即当需要对指定类型的工业产品进行缺陷检测时，只需提供少量该类型的样本参与训练，即可使得神经网络模型对该类型的但从未接触过的产品进行检测)，并应用于该类样本对应的缺陷检测实际场景中。
附图说明
图1为本发明缺陷质检方法的框架简图，其中，
Figure BDA0003223816290000051
表示元素相加，GRA表示注意力机制模块；
图2为本发明中纹理增强模块TEM的示意图，其中，convH×w表示卷积操作，H表示卷积核的高，w表示卷积核的宽，dilate表示卷积操作的膨胀率；
图3为本发明近邻解码器的示意图，其中，
Figure BDA0003223816290000052
表示按元素相乘，
Figure BDA0003223816290000053
表示拼接操作，upsample表示上采样操作；
图4为本发明分类决策网络的示意图，其中，SegmentationNetwork表示SINet的基础分割网络，Global Max Pooling表示全局最大池化层，Pdefect表示缺陷的预测概率。
具体实施方式
下面将结合附图及具体实施方式对本发明作进一步的描述。
一种在提供样本有无缺陷判断的基础之上，更进一步精准的提供其缺陷位置的深度学习算法是一个具有更大应用前景的方向。同时，现有的技术仅仅只是针对单一的数据集取得良好的效果，而若将其应用于其他工业制品数据集时，由于其泛化性差，鲁棒性低，很难取得优异的成绩，而本案提出的方案鲁棒性高，仅需数十张图片就能拟合全新的样本，这一特性能够较好的适用于工业制造这样的产品多样、繁杂的领域中来。
具体实施流程主要分为六步：神经网络模型预训练；已质检出为无缺陷或有缺陷的制品的图像收集；确定神经网络模型对应的损失函数并训练神经网络模型；利用神经网络模型得到图像的深度特征和缺陷预测结果；通过深度特征与缺陷预测结果进行分类决策；可视化样本缺陷部分并给出决策结果。
一、神经网络模型预训练
采用已公开的数据集辅助神经网络模型训练是神经网络训练的通用方式，方便同领域方法间的对照，且能快速获取大量的图像数据。针对目前缺陷检测领域中的大量数据集，选取其中工业产品种类多、缺陷类别多、样本数量充足的MVTecAD数据集作为工业质检制品数据集，本发明在神经网络模型预训练阶段采用该数据集作为神经网络的输入。MVTecAD数据集是缺陷检测领域中的数据集，包含瓷砖、木材、牙刷、皮革以及电缆等共15个类别的工业产品，每一类别有至少100张图像，包含1462张训练图像，346张测试图像，每张图像都有精确到像素级别的标注，这有助于训练完成的神经网络模型适应复杂的实际情况。
二、正常与缺陷工业样本图像收集，即已质检出为无缺陷或有缺陷的制品的图像收集，得到图像数据集
在使用MVTecAD数据集对本发明的神经网络模型进行预训练之后，收集将要使用该神经网络模型进行检测的图像数据集，这一图像数据集需要提供少量的训练样本，样本图像包含指定类别的工业产品，根据有无缺陷将这些图像数据分为正、负样本，其中，负样本提供像素级别的缺陷标注，正样本无需提供缺陷标注。
三、确定神经网络模型对应的损失函数并训练神经网络模型
对所使用的神经网络模型定义损失函数，用于计算模型预测结果和真实标签的误差，神经网络模型的损失函数的表达式如下：
Figure BDA0003223816290000071
其中，Loss表示总损失函数，Lossseg表示分割损失，Seg表示分割，Losscls表示分类损失，cls表示分类，
Figure BDA0003223816290000072
为带权重的交并比IoU损失，用于刻画缺陷定位的全局约束，
Figure BDA0003223816290000073
为带权重的二值交叉熵BCE损失，用于刻画缺陷定位的局部像素级别约束，
Figure BDA0003223816290000074
为真实分类标签与分类预测值之间的二值交叉熵损失，是为了保证分类的准确性。
本发明使用python编程语言采用Pytorch框架搭建神经网络模型。神经网络模型分为缺陷定位模块(即SINet的基础分割网络)和分类决策模块两个模块，神经网络模型以自然图像作为输入。
四、利用神经网络模型得到图像的深度特征和缺陷预测结果
对于带有标签的图像数据集中的一张输入图像I∈RW×H×3，由深度特征模块Res2Net(深度特征模块Res2Net将每个残差结构输入的特征等分成k个子特征xk，子特征xk+1都需经过一个残差块，再将所得的残差块特征拼接得到残差结构的输出)提取出一组深度特征fk，k∈{1，2，3，4，5}。每个深度特征的分辨率fk大小是H/2k×W/2k，涵盖了从高分辨率低语义到低分辨率高语义的特征金字塔，即深度特征。
选取提取得到的k∈{1，2，3，4，5}共5层深度特征中的底三层特征，将其作为输入共同输入模型的缺陷定位模块中。在实际实现中，输入图像大小为352×352×3，所得到的底三层特征大小分别为f3＝44×44×512，f4＝22×22×1024，f4＝11×11×2048，将其分别通过纹理增强模块TEM以便融合更多具有辨识度的特征，每个纹理增强模块TEM包含四个平行的残差分支{bi，i＝1，2，3，4}相对应着不同的膨胀率d∈{1，3，5，7}和一个短链接。在每个残差分支中bi，第一层卷积使用一个1×1卷积(Conv1×1)核将通道数降至32。接下来的另外两层：第二层为(2i-1)×(2i-1)大小的卷积层和第三层为具有(2i-1)膨胀率、大小为3×3的卷积层(当i＞1时)，接着，第四层为3×3卷积操作层，前四个残差分支{bi，i＝1，2，3，4}被拼接在一起再通过一个3×3卷积操作将通道数降至32，通道数降至32后，通过加上恒等映射后传入ReLU函数来获得输出纹理特征fk′，即纹理特征f3′、f4′、f5′。
随后，将纹理特征f3′、f4′、f5′输入近邻连接解码器NCD进行特征聚合，特征聚合后得到初步缺陷检测区域的定位信息C6，具体的：
Figure BDA0003223816290000081
其中，f′k表示输入的候选特征，k表示第k个纹理特征，k∈{3，4，5}，
Figure BDA0003223816290000082
表示一个3×3卷积层接一个批归一化操作，·表示输入，为
Figure BDA0003223816290000083
表示相乘，δ2T(·)表示上采样操作，·表示输入，
Figure BDA0003223816290000084
表示f5′经过提纯得到的特征，
Figure BDA0003223816290000085
获示f4′经过提纯得到的特征，
Figure BDA0003223816290000086
表示f3′经过提纯得到的特征，将
Figure BDA0003223816290000087
拼接后得到的即为初步缺陷检测区域的定位信息C6，即粗糙定位图；
Figure BDA0003223816290000088
表示卷积操作，其中，NC代指卷积，n表示用到的第n个卷积操作的对应编号。；
五、通过深度特征与缺陷预测结果进行分类决策
在上一步完成后，神经网络模型已具备对缺陷样本的缺陷定位能力：随后进行模型关于分类决策网络的训练部分：将经过提取得到的深度特征f3∈(512，44，44)与上一步中所得到的缺陷预测结果C3∈(1，44，44)在通道维数上进行拼接，得到维数为513×44×4的向量，将其输入分类决策网络，经过一系列的最大池化层与卷积层的组合，得到形状为32×1的高度抽象特征，再将其与缺陷预测结果C3(即最终的缺陷预测结果)的平均池化结果1×1进行拼接，得到的33×1向量输入全连接层，输出待检测质检样本图像包含缺陷的概率预测：
六、可视化样本缺陷部分并给出决策结果
得到待检测制品的图像的缺陷预测概率后，根据给定标准判断该样本是否存在缺陷，若不存在缺陷，表示待检测制品无缺陷；若存在缺陷，利用SINet的基础分割网络进行缺陷预测结果输出，并在待检测制品的图像中覆盖缺陷定位输出的掩膜，其中，掩膜每个位置的值为从0到255的unit8型数据，数据值越靠近255，表示神经网络模型对待检测制品的图像的像素位置的预测更倾向于缺陷部分，越靠近0，表示神经网络模型对待检测制品的图像的像素位置的预测更倾向于正常部分，掩膜结果用以描述整个待检测制品的判断是否倾向于有缺陷的区域。
以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (6)

1.一种基于深度学习的工业制品缺陷质检方法，其特征在于，包括如下步骤：
步骤1：获取工业质检制品数据集对神经网络模型进行预训练，其中，神经网络模型为SINet的基础分割网络与自定义的分类决策网络融合所得，即为融合模型；
步骤2：获取待检测制品的图像数据集，对无缺陷的待检测制品的图像打上正标签作为正样本，有缺陷的待检测制品的图像打上负标签作为负样本，同时，对负样本中的缺陷区域进行像素级别的标注，其中，图像数据集包括各待检测制品的图像是已质检出为无缺陷或有缺陷的制品；
步骤3：定义预训练后的融合模型的损失函数，并基于获取的工业质检制品数据集训练定义了损失函数的融合模型；
步骤4：将带有标签的图像数据集中的各图像分别输入已训练的定义了损失函数的融合模型，得到深度特征和缺陷预测结果；
步骤5：将深度特征与缺陷预测输入自定义的分类决策网络，得到待检测制品的图像包含的缺陷的概率预测；
步骤6：基于缺陷的预测概率可视化有缺陷的待检测制品的缺陷部分并给出决策结果；
所述融合模型中的SINet的基础分割网络的结构依次包括深度特征模块Res2Net、纹理增强模块TEM、近邻连接解码器NCD和注意力机制模块；
自定义的分类决策网络的结构依次包括拼接层、3个串行的大小为5×5的卷积层、全局最大池化层和全连接层；
所述步骤3中定义的神经网络模型的注意力机制模块的损失函数具体为：
Figure FDA0004164261870000011
其中，Loss表示总损失函数，Lossseg表示分割损失，Seg表示分割，Losscls表示分类损失，cls表示分类，
Figure FDA0004164261870000012
为带权重的交并比IoU损失，用于刻画缺陷定位的全局约束，
Figure FDA0004164261870000013
为带权重的二值交叉熵BCE损失，用于刻画缺陷定位的局部像素级别约束，
Figure FDA0004164261870000014
为真实分类标签与分类预测值之间的二值交叉熵损失，是为了保证分类的准确性；
所述步骤5的具体步骤为：
步骤5.1：将深度特征与缺陷预测结果输入分类决策网络，并通过分类决策网络的拼接层将深度特征与缺陷预测结果在通道维数上进行拼接，得到拼接向量；
步骤5.2：拼接向量输入分类决策网络的3个串行的大小为5×5的卷积层，再与缺陷预测结果分别经过全局最大池化层后进行拼接，全局最大池化层拼接后得到的向量经全连接层输出，得到待检测制品的图像包含的缺陷的概率预测。
2.根据权利要求1所述的一种基于深度学习的工业制品缺陷质检方法，其特征在于，所述步骤4的具体步骤为：
步骤4.1：将带有标签的图像数据集中的各图像分别输入已训练的定义了损失函数的的融合模型，利用融合模型中的深度特征模块Res2Net提取图像的深度特征，即形成一组从高分辨率低语义到低分辨率高语义的特征金字塔，其中，特征金字塔有5层；
步骤4.2：将特征金字塔中最底的三层深度特征f3、f4、f5分别经过融合模型中的纹理增强模块TEM进行加强，加强后得到纹理特征f3′、f4′、f5′一起输入融合模型中的近邻连接解码器NCD进行特征聚合，特征聚合后得到初步缺陷检测区域的定位信息C6，将初步缺陷检测区域的位置信息反转，并与纹理特征f5′拼接得到向量
Figure FDA0004164261870000021
拼接，拼接后，向量
Figure FDA0004164261870000022
经过注意力机制模块得到神经网络模型对待检测制品的图像的缺陷定位输出C5，继续将缺陷定位输出C5的位置信息反转并与纹理特征f4′拼接得到向量
Figure FDA0004164261870000023
向量
Figure FDA0004164261870000024
经过注意力机制模块得到神经网络模型对待检测制品的图像的缺陷定位输出C5，继续将缺陷定位输出C5的位置信息反转并与纹理特征f3′拼接得到向量
Figure FDA0004164261870000025
重复上述操作得到缺陷定位输出C3，即最终的缺陷预测结果。
3.根据权利要求2所述的一种基于深度学习的工业制品缺陷质检方法，其特征在于，所述步骤4.2中特征聚合后得到初步缺陷检测区域的定位信息C6具体为：
Figure FDA0004164261870000026
其中，f′k表示输入的纹理特征，k表示第k个纹理特征，k∈{3,4,5}，
Figure FDA0004164261870000027
表示一个3×3卷积层接一个批归一化操作，
Figure FDA00041642618700000213
表示相乘，δ2↑(·)表示上采样操作，·表示输入，
Figure FDA0004164261870000028
表示f5′经过提纯得到的特征，
Figure FDA0004164261870000029
表示f4′经过提纯得到的特征，
Figure FDA00041642618700000210
表示f3′经过提纯得到的特征，将
Figure FDA00041642618700000211
拼接后得到的即为初步缺陷检测区域的定位信息C6，即粗糙定位图；
Figure FDA00041642618700000212
表示卷积操作，其中，NC表示卷积，n表示用到的第n个卷积操作的对应编号。
4.根据权利要求3所述的一种基于深度学习的工业制品缺陷质检方法，其特征在于，所述步骤6的具体步骤为：
将缺陷的预测概率与给定标准进行缺陷判断；
若不存在缺陷，表示待检测制品无缺陷；
若存在缺陷，利用SINet的基础分割网络进行缺陷预测结果输出，并在待检测制品的图像中覆盖缺陷定位输出的掩膜，其中，掩膜每个位置的值为从0到255的unit8型数据，数据值越靠近255，表示神经网络模型对待检测制品的图像的像素位置的预测更倾向于缺陷部分，越靠近0，表示神经网络模型对待检测制品的图像的像素位置的预测更倾向于正常部分，掩膜结果用以描述整个待检测制品的判断是否倾向于有缺陷的区域。
5.一种基于深度学习的工业制品缺陷质检装置，其特征在于，包括如下模块：
预训练模块：获取工业质检制品数据集对神经网络模型进行预训练，其中，神经网络模型为SINet的基础分割网络与自定义的分类决策网络融合所得，即为融合模型；
标签模块：获取待检测制品的图像数据集，对无缺陷的待检测制品的图像打上正标签作为正样本，有缺陷的待检测制品的图像打上负标签作为负样本，同时，对负样本中的缺陷区域进行像素级别的标注，其中，图像数据集包括各待检测制品的图像是已质检出为无缺陷或有缺陷的制品；
融合模型训练模块：定义预训练后的融合模型的损失函数，并基于获取的工业质检制品数据集训练定义了损失函数的融合模型；
深度特征和缺陷预测模块：将带有标签的图像数据集中的各图像分别输入已训练的定义了损失函数的融合模型，得到深度特征和缺陷预测结果；
预测模块：将深度特征与缺陷预测输入自定义的分类决策网络，得到待检测制品的图像包含的缺陷的概率预测；
决策模块：基于缺陷的预测概率可视化有缺陷的待检测制品的缺陷部分并给出决策结果；
所述融合模型中的SINet的基础分割网络的结构依次包括深度特征模块Res2Net、纹理增强模块TEM、近邻连接解码器NCD和注意力机制模块；
自定义的分类决策网络的结构依次包括拼接层、3个串行的大小为5×5的卷积层、全局最大池化层和全连接层；
融合模型训练模块中定义的神经网络模型的注意力机制模块的损失函数具体为：
Figure FDA0004164261870000031
其中，Loss表示总损失函数，Lossseg表示分割损失，Seg表示分割，Losscls表示分类损失，cls表示分类，
Figure FDA0004164261870000032
为带权重的交并比IoU损失，用于刻画缺陷定位的全局约束，
Figure FDA0004164261870000033
为带权重的二值交叉熵BCE损失，用于刻画缺陷定位的局部像素级别约束，
Figure FDA0004164261870000034
为真实分类标签与分类预测值之间的二值交叉熵损失，是为了保证分类的准确性；
预测模块的具体步骤为：
步骤5.1：将深度特征与缺陷预测结果输入分类决策网络，并通过分类决策网络的拼接层将深度特征与缺陷预测结果在通道维数上进行拼接，得到拼接向量；
步骤5.2：拼接向量输入分类决策网络的3个串行的大小为5×5的卷积层，再与缺陷预测结果分别经过全局最大池化层后进行拼接，全局最大池化层拼接后得到的向量经全连接层输出，得到待检测制品的图像包含的缺陷的概率预测。
6.一种存储介质，其特征在于，所述存储介质内存储有一种基于深度学习的工业制品缺陷质检的程序，CPU在执行所述程序时实现如权利要求1-4所述的一种基于深度学习的工业制品缺陷质检方法。
CN202110971349.XA 2021-08-23 2021-08-23 基于深度学习的工业制品缺陷质检方法、装置及存储介质 Active CN113643268B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110971349.XA CN113643268B (zh) 2021-08-23 2021-08-23 基于深度学习的工业制品缺陷质检方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110971349.XA CN113643268B (zh) 2021-08-23 2021-08-23 基于深度学习的工业制品缺陷质检方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113643268A CN113643268A (zh) 2021-11-12
CN113643268B true CN113643268B (zh) 2023-05-12

Family

ID=78423481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110971349.XA Active CN113643268B (zh) 2021-08-23 2021-08-23 基于深度学习的工业制品缺陷质检方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113643268B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820497A (zh) * 2022-04-20 2022-07-29 深圳市国电科技通信有限公司 污渍检测方法、装置、系统及存储介质、电子设备
CN115587989B (zh) * 2022-10-21 2023-08-18 国家工业信息安全发展研究中心 一种工件ct图像缺陷检测分割方法及系统
CN115631186B (zh) * 2022-11-08 2023-10-03 哈尔滨工业大学 一种基于双分支神经网络的工业元件表面缺陷检测方法
CN116129221B (zh) * 2023-01-16 2024-02-20 五邑大学 锂电池缺陷检测方法、系统及存储介质
CN115937526B (zh) * 2023-03-10 2023-06-09 鲁东大学 基于搜索识别网络的双壳贝类性腺区域分割方法
CN116883416B (zh) * 2023-09-08 2023-11-24 腾讯科技（深圳）有限公司 工业产品缺陷的检测方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179251A (zh) * 2019-12-30 2020-05-19 上海交通大学 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN111553929A (zh) * 2020-05-12 2020-08-18 重庆邮电大学 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN112907530A (zh) * 2021-02-08 2021-06-04 南开大学 基于分组反向注意力的伪装物体检测方法及系统
KR20210086303A (ko) * 2019-12-31 2021-07-08 엘지디스플레이 주식회사 딥러닝 기반 패턴 검사 장치 및 그 장치를 이용한 검사 방법
CN113192091A (zh) * 2021-05-11 2021-07-30 紫清智行科技(北京)有限公司 一种基于激光雷达与相机融合的远距离目标感知方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179251A (zh) * 2019-12-30 2020-05-19 上海交通大学 基于孪生神经网络利用模板比对的缺陷检测系统及方法
KR20210086303A (ko) * 2019-12-31 2021-07-08 엘지디스플레이 주식회사 딥러닝 기반 패턴 검사 장치 및 그 장치를 이용한 검사 방법
CN111553929A (zh) * 2020-05-12 2020-08-18 重庆邮电大学 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN112907530A (zh) * 2021-02-08 2021-06-04 南开大学 基于分组反向注意力的伪装物体检测方法及系统
CN113192091A (zh) * 2021-05-11 2021-07-30 紫清智行科技(北京)有限公司 一种基于激光雷达与相机融合的远距离目标感知方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deng-Ping Fan等.Concealed Object Detection.IEEE Transactions on Pattern Analysis and Machine Intelligence.2021,第44卷(第10期),6024 - 6042. *
王靖然等.深度学习在焊缝缺陷检测的应用研究综述.机电工程技术.2021,第50卷(第03期),65-68. *
谷静等.基于卷积神经网络的焊缝缺陷图像分类研究.应用光学.2020,第41卷(第03期),531-537. *

Also Published As

Publication number Publication date
CN113643268A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN113643268B (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
Huang et al. Fabric defect segmentation method based on deep learning
CN108074231B (zh) 一种基于卷积神经网络的磁片表面缺陷检测方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN113239930B (zh) 一种玻璃纸缺陷识别方法、系统、装置及存储介质
CN110648310B (zh) 基于注意力机制的弱监督铸件缺陷识别方法
WO2023050563A1 (zh) 一种基于自编码器的彩色纹理织物缺陷区域的检测方法
CN111932511B (zh) 一种基于深度学习的电子元器件质量检测方法与系统
CN112102229A (zh) 一种基于深度学习的工业ct检测缺陷的智能识别方法
CN112037219A (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN111476307B (zh) 一种基于深度领域适应的锂电池表面缺陷检测方法
CN113393438B (zh) 一种基于卷积神经网络的树脂镜片缺陷检测方法
Yao et al. A feature memory rearrangement network for visual inspection of textured surface defects toward edge intelligent manufacturing
CN114581782A (zh) 一种基于由粗到精检测策略的细微缺陷检测方法
CN115631186B (zh) 一种基于双分支神经网络的工业元件表面缺陷检测方法
CN116612106A (zh) 一种基于yolox算法的光学元件表面缺陷检测方法
CN112819748A (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN115731400A (zh) 基于自监督学习的x光图像异物检测方法
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN114897802A (zh) 一种基于改进Faster RCNN算法的金属表面缺陷检测方法
CN115866502A (zh) 一种麦克风零件表面缺陷在线检测流程
Chen et al. Real-time defect detection of TFT-LCD displays using a lightweight network architecture
CN113962980A (zh) 基于改进yolov5x的玻璃容器瑕疵检测方法及系统
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN112396580B (zh) 一种圆形零件缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant