CN112164035A - 基于图像的缺陷检测方法、装置、电子设备及存储介质 - Google Patents

基于图像的缺陷检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112164035A
CN112164035A CN202010965616.8A CN202010965616A CN112164035A CN 112164035 A CN112164035 A CN 112164035A CN 202010965616 A CN202010965616 A CN 202010965616A CN 112164035 A CN112164035 A CN 112164035A
Authority
CN
China
Prior art keywords
image
defect
network
dsnet
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010965616.8A
Other languages
English (en)
Other versions
CN112164035B (zh
Inventor
徐明亮
姜晓恒
张力
张晨民
闫杰
李丙涛
乔利稳
李飞飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHENGZHOU JINHUI COMPUTER SYSTEM ENGINEERING CO LTD
Original Assignee
ZHENGZHOU JINHUI COMPUTER SYSTEM ENGINEERING CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHENGZHOU JINHUI COMPUTER SYSTEM ENGINEERING CO LTD filed Critical ZHENGZHOU JINHUI COMPUTER SYSTEM ENGINEERING CO LTD
Priority to CN202010965616.8A priority Critical patent/CN112164035B/zh
Publication of CN112164035A publication Critical patent/CN112164035A/zh
Application granted granted Critical
Publication of CN112164035B publication Critical patent/CN112164035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及工业产品表面缺陷检测技术领域，具体涉及基于图像的缺陷检测方法、装置、电子设备及存储介质。该检测方法包括以下步骤：将待检测图像输入DSNet网络，提取多张输出响应图，根据输出的多通道响应图生成的缺陷位置分割图；根据所述输出响应图与由真实缺陷位置生成的真实响应图作交叉熵损失，利用所述交叉熵损失优化所述DSNet网络的网络参数。该检测方法在一次正向传播中直接确定缺陷类型并定位缺陷位置，由于无需将输入图像截取为图像块后进行多次预测或是先对图像所包含的材质进行分类再确定缺陷位置的复杂过程，因此提高了检测的效率，达到实时检测的目的。

Description

基于图像的缺陷检测方法、装置、电子设备及存储介质
技术领域
本发明涉及工业产品表面缺陷检测技术领域，具体涉及基于图像的缺陷检测方法、装置、电子设备及存储介质。
背景技术
现在的工业产品除要求满足基本使用的性能需求以外，还要有良好的外观和表面质量。工业产品表面缺陷是产品表面局部物理或化学性质不均匀的区域，如金属表面的划痕、斑点、孔洞等，纸张表面的色差、压痕，玻璃等，非金属表面的夹杂、破损、污点等。在生产制造过程中，偶尔出现的外观缺陷不可避免，而随着产量的逐步增大，依靠人工检查产品的表面缺陷已不太现实，并且该方法只能以抽检的方式进行，准确率低下，而基于计算机视觉的检测方法可以很大程度上克服上述弊端。
在采集到工业产品的表面图像后，利用基于深度学习的缺陷检测方法对图像中的缺陷特征进行提取和识别。例如《Design of Deep Convolutional Neural NetworkArchitectures for Automated Feature Extraction in Industrial Inspection》(Daniel W,Bernd S R,Moshe S,CIRP Annals,2016:417-420)利用卷积神经网络充当分类器，利用在原图中滑动窗口的方式进行切片采样，并利用神经网络把采样结果分类为缺陷切片或非缺陷切片，该方法虽然达到了比图像级别更加精细的检测精度，最小精度单位为图像切片的大小，但仍然没有达到像素级别的精度，并且由于其采用滑动窗口进行检测，检测效率低下。
相似的方法也被《Deep Learning-Based Crack Damage Detection UsingConvolutional Neural Networks》(Cha Y J,Choi W,Buyukozturk O.,Computer-aidedCivil&Infrastructure Engineering,2017,32(5):361-378.)采用，该方法将检测任务分为了切片采样和分类两部分。其需要在全图按照固定步长截取图像块，对于高分辨率的输入图片来说是一种低效的计算方法，且该方法框架的精度只是图像块级别的，并不能对缺陷进行更精细的分割。
《Multiscale Fully Convolutional Network with Application toIndustrial Inspection》(Bian X,Lim S N,Zhou N.,WACV2016:1-8.)将航空发动机叶片的缺陷检测问题处理为像素级别的图像分割，该方法分别单独训练了几组用于缺陷分割的不同大小感受野的全卷积神经网络，并把各个独立的分割网络的隐藏层拼接成一个高维的特征向量，再用该特征向量进行组合后的最终分割训练。
发明人在实践中，发现上述现有技术存在以下缺陷：
上述航空发动机叶片的缺陷检测的训练过程复杂低效，其工作量和所添加的独立分割网络的数量成正比，检测效率低。
发明内容
为了解决上述技术问题，本发明的目的在于提供基于图像的缺陷检测方法、装置、电子设备及存储介质，所采用的技术方案具体如下：
第一方面，本发明实施例提供了基于图像的缺陷检测方法，该检测方法包括以下步骤：
将待检测图像输入DSNet网络，提取多张输出响应图，根据所述输出响应图生成的缺陷位置分割图；
根据所述输出响应图与由真实缺陷位置生成的真实响应图作交叉熵损失，利用所述交叉熵损失优化所述DSNet网络的网络参数。
进一步，所述根据所述输出响应图生成的缺陷位置分割图的方法，包括以下步骤：
根据所述真实缺陷位置和与所述真实缺陷位置所对应的缺陷类型生成目标响应图；所述目标响应图包括多张二值图，第一张所述二值图对应非缺陷位置，其余每张所述二值图对应一种缺陷类型；
根据所述目标响应图预测所述输出响应图的缺陷位置和类型。
进一步，所述DSNet网络的网络结构包括：输入层、卷积层、池化层、转置卷积层和输出层，所述待检测图像通过所述输入层输入所述DSNet网络，在经过依次交替设置的卷积层和池化层提取特征图后，通过所述转置卷积层和两个卷积层恢复所述特征图的通道数，通过所述输出层输出，得到所述输出响应图。
进一步，所述检测方法还包括利用数据集进行验证，并采用像素准确率对预测的结果进行评价。
第二方面，本发明实施例提供了基于图像的缺陷检测装置，该检测装置包括：
检测模块，用于将待检测图像输入DSNet网络，提取多张输出响应图，根据所述输出响应图生成的缺陷位置分割图；和
优化模块，用于根据所述输出响应图与由真实缺陷位置生成的真实响应图作交叉熵损失，利用所述交叉熵损失优化所述DSNet网络的网络参数。
进一步，所述检测模块还包括：
响应模块，用于根据所述真实缺陷位置和与所述真实缺陷位置所对应的缺陷类型生成目标响应图；所述目标响应图包括多张二值图，第一张所述二值图对应非缺陷位置，其余每张所述二值图对应一种缺陷类型；和
分割模块，用于根据所述目标响应图预测所述输出响应图的缺陷位置和类型。
进一步，所述DSNet网络的网络结构包括：输入层、卷积层、池化层、转置卷积层和输出层，所述待检测图像通过所述输入层输入所述DSNet网络，在经过依次交替设置的卷积层和池化层提取特征图后，通过所述转置卷积层和两个卷积层恢复所述特征图的通道数，通过所述输出层输出，得到所述输出响应图。
进一步，所述检测装置还包括验证模块，所述验证模块用于利用数据集进行验证，并采用像素准确率对预测的结果进行评价。
第三方面，本发明实施例提供了一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行上述任意一种所述的检测方法。
第四方面，本发明实施例提供了一种存储介质，该存储介质中存储有计算机可读的程序指令，其特征在于，所述程序指令被处理器执行时实现上述任意一种所述的检测方法。
本发明具有如下有益效果：
本发明实施例提供了基于图像的缺陷检测方法，该检测方法将待检测图像输入DSNet网络，提取多张输出响应图；根据所述输出响应图与由真实缺陷位置生成的真实响应图作交叉熵损失，利用所述交叉熵损失优化所述DSNet网络的网络参数。本发明实施例所提供的方法在网络输入与输出的分辨率一致的情况下，能够生成像素级的分割结果，即可以确定输入图像中的每一个像素显示的内容属于哪种类型。该检测方法在一次正向传播中直接确定缺陷类型并定位缺陷位置，由于无需将输入图像截取为图像块后进行多次预测或是先对图像所包含的材质进行分类再确定缺陷位置的复杂过程，因此提高了检测的效率，达到实时检测的目的。
附图说明
图1为本发明一个实施例所提供的基于图像的缺陷检测方法的方法流程图；
图2为本发明一个实施例所提供的关于训练DSNet卷积神经网络的结构模型示意图；
图3为本发明一个实施例所提供的关于DSNet卷积神经网络结构图；
图4为本发明一个实施例所提供的关于训练结果的示意图；
图5为本发明另一个实施例所提供的基于图像的缺陷检测装置的结构框图；
图6为本发明另一个实施例所提供的一种电子设备的结构示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于图像的缺陷检测方法、装置、电子设备及存储介质，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的属于只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图具体的说明本发明所提供的基于图像的缺陷检测方法、装置、电子设备及存储介质的具体方案。
请参阅图1，其示出了本发明一个实施例提供的基于图像的缺陷检测方法流程图，该检测方法在一次正向传播中直接确定缺陷类型并定位缺陷位置，由于无需将输入图像截取为图像块后进行多次预测或是先对图像所包含的材质进行分类再确定缺陷位置的复杂过程，因此提高了检测的效率，达到实时检测的目的，该检测方法包括以下步骤：
步骤S001，将待检测图像输入DSNet网络，提取多张输出响应图，根据输出的多通道响应图生成的缺陷位置分割图。
首先，将所采集到的工业产品的表面图像输入DSNet网络，经过DSNet网络处理后得到多张输出响应图。
请参阅图2和图3，该DSNet网络包括输入层、卷积层、池化层、转置卷积层和输出层。
具体的，输入层的输入通道数量为3，该通道数量与彩色输入图像的通道数量一致，如果输入图像为灰度图像，则将单通道复制为三份，或者作为三通道图像输入网络。在网络的输入为单通道时，例如，将彩色图像转换为灰度图像输入网络，或者将灰度图像输入网络，同样可以取得相似的效果。
该DSNet网络包括交替设置的卷积层C(iC,oC,kC)和池化层MP(kMP)、以及转置卷积层TC(iTC,oTC,kTC)。
对于该网络中的卷积层C(iC,oC,kC)：其中，kC代表设置的卷积核大小，卷积核的实际大小为kC×kC，窗口大小和卷积核大小一致，为kC×kC。该网络中的所有卷积层的窗口滑动步长均设置为1×1。
对于该网络中的池化层MP(kMP)：其中kMP代表设置的池化窗口大小，池化层MP(kMP)的步长为kMP×kMP，窗口大小为kMP×kMP。即每次由kMP×kMP大小的区域内的值池化得到输出。该网络中的所有池化层的窗口滑动步长均与其窗口大小保持一致。具体到本实施例中，该网络中池化层的参数k均设置为2。
对于该网络中的转置卷积层TC(iTC,oTC,kTC)：其中，kTC代表设置的卷积核大小，卷积核的实际大小为kTC×kTC，窗口大小和卷积核大小一致。该网络中的所有转置卷积层的窗口滑动步长均设置为kTC×kTC。具体到本实施例中，该网络中仅有一个转置卷积层，该转置卷积层的参数kTC设置为2。
待检测图像通过输入层输入DSNet网络，在经过依次交替设置的卷积层和池化层提取特征图后，通过转置卷积层和两个卷积层恢复特征图的通道数，通过输出层输出，得到输出响应图。
输出层的输出通道数量设置为N+1，输出响应图的数量和需要预测的缺陷类型的数量相关，输出响应图的数量比缺陷类型的数量多一，多出的一张输出响应图用于预测非缺陷区域。每张响应图是一个二维数组，二维数组形状大小一致。若有N个缺陷类型，共有N+1张响应图，其中N张响应图对应N个缺陷类型，多出的一张响应图对应背景，也即共有N+1张响应图与N种缺陷和背景一一对应，即输入图像中的每一个位置属于这N+1类中的某一类，而这个位置在对应类的响应图的对应位置的响应值会较高。也就是说，原始图像中的任意一个位置都有N+1个响应值与之对应，这N+1个响应值分别来自于N+1张响应图中对应的位置，并且任意一个位置的N+1个响应值中存在一个最大值，若有多个相等最大值，则认为第一个最大值为最大值；这个最大值所属的响应图对应的类型，某种缺陷或者背景，即为这个位置的类型，由此可以确定每个位置的类型。
在该DSNet网络中，除了输入通道数量和输出通道数量的设置外，其余设置可以更改，例如增减卷积层数量及其通道数量等，修改网络结构后仍然可以取得相似的效果。在该DSNet网络中，随着卷积层或者转置卷积层数量或通道数量的增加，网络的性能会有所提升，但超过一定的阈值后，DSNet网络的性能又会有所下降，这个阈值与用于训练的数据、优化算法(反向传播算法)和网络结构等有关。
DSNet网络在检测过程中的处理过程为：将待检测图像输入该DSNet网络，在经过特征提取后，得到输出响应图，根据该输出响应图生成缺陷位置分割图。该DSNet网络的结构简洁，能够实现端对端实时预测缺陷位置和类型，因此，能够提高缺陷检测的效率。与传统的检测方法相比，传统的检测方法有两种，第一种需要先检测缺陷类型，再检测缺陷位置，这种方法需要使用两个网络来实现；第二种需要将图像分为小块检测，这种方法需要多次检测，这两种方法的检测过程比较复杂，效率较低。
具体的，请再次参阅图2和图3，图2为结构模型图，图3为网络结构图，图3的网络结构图与图2相对应。在图2中的每一个长方体均代表一个卷积层或转置卷积层的输出特征图，图中相同颜色和大小的长方体表示相同大小的特征图，因此相同灰度和大小的长方体仅标注了一个大小信息，图中每个长方体的长、宽和高都只是示意，并不代表实际的比例。图中的“输入”代表输入的图像，图中的“输出”代表输出的响应图。
图2的结构模型中，其输入为H×W×3的待检测图像，通过第一个卷积核大小为3×3的卷积层得到H×W×64的特征图，该特征图再经过一个卷积核大小为3×3的卷积层得到H×W×64的特征图，该特征图再经过一个池化层得到H/2×W/2×128的特征图，该特征图再经过一个卷积核大小为3×3的卷积层得到H/2×W/2×128的特征图，该特征图再经过一个卷积核大小为3×3的卷积层得到H/2×W/2×128的特征图，该特征图再经过一个池化层得到H/4×W/4×256的特征图，该特征图再经过一个卷积核大小为3×3的卷积层得到H/4×W/4×256的特征图，该特征图再经过一个卷积核大小为3×3的卷积层得到H/4×W/4×256的特征图，该特征图再经过一个卷积核大小为3×3的卷积层得到H/4×W/4×256的特征图，该特征图再经过一个池化层得到H/8×W/8×512的特征图，该特征图再经过一个卷积核大小为3×3的卷积层得到H/8×W/8×512的特征图，该特征图再经过一个卷积核大小为3×3的卷积层得到H/8×W/8×512的特征图，该特征图再经过一个卷积核大小为3×3的卷积层得到H/8×W/8×512的特征图，该特征图再经过一个池化层得到H/16×W/16×512的特征图，该特征图再经过一个卷积核大小为3×3的卷积层得到H/16×W/16×512的特征图，该特征图再经过一个卷积核大小为3×3的卷积层得到H/16×W/16×512的特征图，该特征图再经过一个卷积核大小为3×3的卷积层得到H/16×W/16×512的特征图，该特征图再经过一个卷积核大小为1×1的卷积层得到H/16×W/16×256的特征图，该特征图再经过一个卷积核大小为2×2的转置卷积层得到H/8×W/8×128的特征图，该特征图再经过一个卷积核大小为3×3的卷积层得到H/8×W/8×128的特征图，该特征图再经过一个卷积核大小为1×1的卷积层得到H/8×W/8×(N+1)的特征图，将该特征图作为输出响应图输出。
步骤S002，根据输出响应图与由真实缺陷位置生成的真实响应图作交叉熵损失，利用交叉熵损失优化DSNet网络的网络参数。
使用二进制交叉熵损失算法计算输出响应图与由真实缺陷位置生成的真实响应图之间的损失，从而根据损失大小修正网络参数。二进制交叉熵损失定义如下：
Figure BDA0002682193080000071
其中，k为响应图的总像素数量，yn为相应位置的真实值，xn为相应位置的输出(预测)值。该交叉熵损失是作为反向传播算法的输入参数，修改DSNet网络的参数。
具体的，利用交叉熵损失修正DSNet网络中所有卷积层所包含的参数，例如：卷积层和转置卷积层。通过深度学习领域常用的反向传播算法进行修正，其中，反向传播算法说明如下：该DSNet网络可以被定义为y＝F(x,w1,w2,…wn)，其中，x为输入图像，y为输出响应图，wi(i＝1,2,…n)为网络所包含的参数，F为代表网络结构的函数。在正向传播时，对函数F输入图像x，得到预测响应图y，将y与真实响应图g输入损失函数得到损失值l。反向传播修正参数wi得到修正后的参数wi′的公式为
Figure BDA0002682193080000072
其中，η为预先设定的学习率，
Figure BDA0002682193080000074
为偏导符号，使得损失减小，并重复以上过程直至网络性能足够良好。
在本实施例中，还可以包括验证步骤，利用公开的数据集DAGM进行验证。采用工业产品表面缺陷检测方面普遍使用的像素准确率(pixel accuracy，PA)对预测的结果进行评价。PA的详细定义如下：
Figure BDA0002682193080000073
其中cij为图像中正确的像素，pij为图像中所有的像素，h为测试图像的高，w为测试图像的宽；将图像理解为由很多行像素组成的二维数组，则i表示该像素在数组中的纵坐标，j表示该像素在数组中的橫坐标，ij表示该像素的坐标。
通过本发明实施例所提供的方法进行检测的检测结果如图4所示，图4中的a～c为输入的三种含有不同缺陷的待检测图像，也即输入特征图；图4中的d～f为与a～c相对应的真实缺陷位置图；图4中的g～i为与a～c相对应的由DSNet网络所预测的预测缺陷位置图，从g、h、i三张预测图中可以看出，其预测的缺陷位置具有不同的灰度，其代表不同类型的缺陷。
综上所述，本发明实施例提供了基于图像的缺陷检测方法，该检测方法将待检测图像输入DSNet网络，提取多张输出响应图；根据所述输出响应图与由真实缺陷位置生成的真实响应图作交叉熵损失，利用所述交叉熵损失优化所述DSNet网络的网络参数。本发明实施例所提供的方法在网络输入与输出的分辨率一致的情况下，能够生成像素级的分割结果，即可以确定输入图像中的每一个像素显示的内容属于哪种类型。该检测方法在一次正向传播中直接确定缺陷类型并定位缺陷位置，由于无需将输入图像截取为图像块后进行多次预测或是先对图像所包含的材质进行分类再确定缺陷位置的复杂过程，因此提高了检测的效率，达到实时检测的目的。由于本发明实施例采用多张响应图来判断缺陷位置和类型，若新增缺陷类型，只需增加响应图数量，再经过相同的训练步骤，即可实现同等的效果，减少缺陷类型与增加缺陷类型类似。
优选的，DSNet网络的训练方法包括以下步骤：首先，在DSNet网络中加载预先在与工业产品表面缺陷检测无关的分类数据集上训练的网络参数，这部分参数会初始化网络结构中位于浅层的卷积层的参数，而位于深层的卷积层的参数随机初始化，这一操作是为了加快网络收敛的速度，如果不加载预训练参数，网络随机初始化后训练一定时间，仍然可以得到同等的效果。然后，网络前端传入待检测图像信息进行特征提取，通过一系列卷积层和池化层的正向传播得到输出响应图。DSNet网络在训练过程中生成输出响应图，不需要生成缺陷位置分割图。在网络训练过程中，本发明需要首先根据训练集提供的真实缺陷位置和相应缺陷类型生成目标响应图，目标响应图包括多张二值图，第一张二值图对应背景，也即非缺陷位置。之后的每一张二值图对应每一种缺陷类型，每张二值图中属于其对应目标(例如背景或某种缺陷)的位置为1，其它位置为0。本发明实施例希望输出响应图与目标响应图保持一致，即准确地预测缺陷位置和类型。因此，需要先将输出响应图与目标响应图之间的差异量化，即计算交叉熵损失，然后根据交叉熵损失对网络反向传播修正网络参数。本发明实施例结构简洁高效，无需繁琐的多次或分结构训练，可以直接端到端地训练。
请参阅图5，其示出了本发明实施例所提供的基于图像的缺陷检测装置的结构框图，该检测装置包括检测模块501和优化模块502，其中，该检测模块501用于将待检测图像输入DSNet网络，提取多张输出响应图，根据输出的多通道响应图生成的缺陷位置分割图。优化模块502用于根据输出响应图与由真实缺陷位置生成的真实响应图作交叉熵损失，利用交叉熵损失优化DSNet网络的网络参数。
进一步，检测模块501还包括响应模块51和分割模块52，其中，响应模块51用于根据真实缺陷位置和与真实缺陷位置所对应的缺陷类型生成目标响应图；分割模块52用于根据目标响应图预测输出响应图的缺陷位置和类型。
进一步，DSNet网络的网络结构包括：输入层、卷积层、池化层、转置卷积层和输出层，待检测图像通过输入层输入DSNet网络，在经过依次交替设置的卷积层和池化层提取特征图后，通过转置卷积层恢复特征图的通道数，通过输出层输出，得到输出响应图。
进一步，检测装置还包括验证模块503，验证模块503用于利用数据集进行验证，并采用像素准确率对预测的结果进行评价。
请参阅图6，基于同一发明构思，其示出了一种电子设备的结构示意图，该电子设备包括存储器601和处理器602，本领域技术人员可以理解，在图6中所示出的终端设备的结构并不构成对终端设备的限定，可以包括比图示更多或者更少的部件，或者组合某些部件，或者不同的部件的布置。其中：
存储器601用于存储处理器602执行任务所需的指令。
处理器602用于执行存储器601存储的指令，通过将待检测图像输入DSNet网络，提取多张输出响应图，根据输出的多通道响应图生成的缺陷位置分割图；根据输出响应图与由真实缺陷位置生成的真实响应图作交叉熵损失，利用交叉熵损失优化DSNet网络的网络参数。
在其他实施例中，该电子设备还包括通过总线或其它方式与存储器601和处理器602相连的通信接口603，用于执行主体与其他设备或通信网络通信。
优选的，处理器602用于执行存储器601存储的指令，在进行监测时，执行上述任意一个实施例中所提供的基于图像的缺陷检测方法。
本发明实施例还提供了一种存储介质，该存储介质可存储有计算机可读的程序，该程序执行时执行上述任意一个实施例所提供的基于图像的缺陷检测方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.基于图像的缺陷检测方法，其特征在于，该检测方法包括以下步骤：
将待检测图像输入DSNet网络，提取多张输出响应图，根据所述输出响应图生成的缺陷位置分割图；
根据所述输出响应图与由真实缺陷位置生成的真实响应图作交叉熵损失，利用所述交叉熵损失优化所述DSNet网络的网络参数。
2.根据权利要求1所述的基于图像的缺陷检测方法，其特征在于，所述根据所述输出响应图生成的缺陷位置分割图的方法，包括以下步骤：
根据所述真实缺陷位置和与所述真实缺陷位置所对应的缺陷类型生成目标响应图；所述目标响应图包括多张二值图，第一张所述二值图对应非缺陷位置，其余每张所述二值图对应一种缺陷类型；
根据所述目标响应图预测所述输出响应图的缺陷位置和类型。
3.根据权利要求1所述的基于图像的缺陷检测方法，其特征在于，所述DSNet网络的网络结构包括：输入层、卷积层、池化层、转置卷积层和输出层，所述待检测图像通过所述输入层输入所述DSNet网络，在经过依次交替设置的卷积层和池化层提取特征图后，通过所述转置卷积层和两个卷积层恢复所述特征图的通道数，通过所述输出层输出，得到所述输出响应图。
4.根据权利要求1~3任意一项所述的基于图像的缺陷检测方法，其特征在于，所述检测方法还包括利用数据集进行验证，并采用像素准确率对预测的结果进行评价。
5.基于图像的缺陷检测装置，其特征在于，该检测装置包括：
检测模块，用于将待检测图像输入DSNet网络，提取多张输出响应图，根据所述输出响应图生成的缺陷位置分割图；和
优化模块，用于根据所述输出响应图与由真实缺陷位置生成的真实响应图作交叉熵损失，利用所述交叉熵损失优化所述DSNet网络的网络参数。
6.根据权利要求5所述的基于图像的缺陷检测装置，其特征在于，所述检测模块还包括：
响应模块，用于根据所述真实缺陷位置和与所述真实缺陷位置所对应的缺陷类型生成目标响应图；所述目标响应图包括多张二值图，第一张所述二值图对应非缺陷位置，其余每张所述二值图对应一种缺陷类型；和
分割模块，用于根据所述目标响应图预测所述输出响应图的缺陷位置和类型。
7.根据权利要求5所述的基于图像的缺陷检测装置，其特征在于，所述DSNet网络的网络结构包括：输入层、卷积层、池化层、转置卷积层和输出层，所述待检测图像通过所述输入层输入所述DSNet网络，在经过依次交替设置的卷积层和池化层提取特征图后，通过所述转置卷积层和两个卷积层恢复所述特征图的通道数，通过所述输出层输出，得到所述输出响应图。
8.根据权利要求5~7任意一项所述的基于图像的缺陷检测装置，其特征在于，所述检测装置还包括验证模块，所述验证模块用于利用数据集进行验证，并采用像素准确率对预测的结果进行评价。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行权利要求1至4中任意一项所述的检测方法。
10.一种存储介质，该存储介质中存储有计算机可读的程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至4中任意一项所述的检测方法。
CN202010965616.8A 2020-09-15 2020-09-15 基于图像的缺陷检测方法、装置、电子设备及存储介质 Active CN112164035B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010965616.8A CN112164035B (zh) 2020-09-15 2020-09-15 基于图像的缺陷检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010965616.8A CN112164035B (zh) 2020-09-15 2020-09-15 基于图像的缺陷检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112164035A true CN112164035A (zh) 2021-01-01
CN112164035B CN112164035B (zh) 2023-04-28

Family

ID=73858785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010965616.8A Active CN112164035B (zh) 2020-09-15 2020-09-15 基于图像的缺陷检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112164035B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170262735A1 (en) * 2016-03-11 2017-09-14 Kabushiki Kaisha Toshiba Training constrained deconvolutional networks for road scene semantic segmentation
CN109191476A (zh) * 2018-09-10 2019-01-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法
CN110232394A (zh) * 2018-03-06 2019-09-13 华南理工大学 一种多尺度图像语义分割方法
CN110532859A (zh) * 2019-07-18 2019-12-03 西安电子科技大学 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN110781845A (zh) * 2019-10-29 2020-02-11 北京迈格威科技有限公司 基于图像统计目标对象的方法、装置和电子系统
CN110992317A (zh) * 2019-11-19 2020-04-10 佛山市南海区广工大数控装备协同创新研究院 一种基于语义分割的pcb板缺陷检测方法
CN111091130A (zh) * 2019-12-13 2020-05-01 南京邮电大学 基于轻量级卷积神经网络的实时图像语义分割方法及系统
CN111489357A (zh) * 2019-01-29 2020-08-04 广州市百果园信息技术有限公司 一种图像分割方法、装置、设备及存储介质
CN111612758A (zh) * 2020-05-19 2020-09-01 南京航空航天大学 一种基于卷积神经网络的隧道表面缺陷检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170262735A1 (en) * 2016-03-11 2017-09-14 Kabushiki Kaisha Toshiba Training constrained deconvolutional networks for road scene semantic segmentation
CN110232394A (zh) * 2018-03-06 2019-09-13 华南理工大学 一种多尺度图像语义分割方法
CN109191476A (zh) * 2018-09-10 2019-01-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法
CN111489357A (zh) * 2019-01-29 2020-08-04 广州市百果园信息技术有限公司 一种图像分割方法、装置、设备及存储介质
CN110532859A (zh) * 2019-07-18 2019-12-03 西安电子科技大学 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN110781845A (zh) * 2019-10-29 2020-02-11 北京迈格威科技有限公司 基于图像统计目标对象的方法、装置和电子系统
CN110992317A (zh) * 2019-11-19 2020-04-10 佛山市南海区广工大数控装备协同创新研究院 一种基于语义分割的pcb板缺陷检测方法
CN111091130A (zh) * 2019-12-13 2020-05-01 南京邮电大学 基于轻量级卷积神经网络的实时图像语义分割方法及系统
CN111612758A (zh) * 2020-05-19 2020-09-01 南京航空航天大学 一种基于卷积神经网络的隧道表面缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PING-RONG CHEN 等: "DSNet: An Efficient CNN for Road Scene Segmentation", 《2019 ASIA-PACIFIC SIGNAL AND INFORMATION PROCESSING ASSOCIATION ANNUAL SUMMIT AND CONFERENCE (APSIPA ASC)》 *
王佳盛 等: "基于全卷积神经网络的荔枝表皮缺陷提取", 《华南农业大学学报》 *

Also Published As

Publication number Publication date
CN112164035B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN110570396B (zh) 一种基于深度学习的工业产品缺陷检测方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN111462120B (zh) 一种基于语义分割模型缺陷检测方法、装置、介质及设备
US20190228268A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
CN108416266B (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN108154222B (zh) 深度神经网络训练方法和系统、电子设备
CN112241679B (zh) 一种垃圾自动分类的方法
CN107622274B (zh) 用于图像处理的神经网络训练方法、装置以及计算机设备
CN110826596A (zh) 一种基于多尺度可变形卷积的语义分割方法
CN109934826A (zh) 一种基于图卷积网络的图像特征分割方法
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
CN105657402A (zh) 一种深度图恢复方法
CN107506792B (zh) 一种半监督的显著对象检测方法
CN112906794A (zh) 一种目标检测方法、装置、存储介质及终端
CN111798447B (zh) 一种基于Faster RCNN的深度学习塑化材料缺陷检测方法
CN110879982A (zh) 一种人群计数系统及方法
CN108154153B (zh) 场景分析方法和系统、电子设备
CN113780423A (zh) 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型
CN111985488B (zh) 一种基于离线高斯模型的目标检测分割方法及系统
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN114037684B (zh) 一种基于yolov5和注意力机制模型的疵点检测方法
CN117670860A (zh) 光伏玻璃缺陷检测方法及装置
CN117975096A (zh) 一种钨精矿浮选图像工况识别方法
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant