CN112017182B - 一种工业级智能表面缺陷检测方法 - Google Patents

一种工业级智能表面缺陷检测方法 Download PDF

Info

Publication number
CN112017182B
CN112017182B CN202011135204.8A CN202011135204A CN112017182B CN 112017182 B CN112017182 B CN 112017182B CN 202011135204 A CN202011135204 A CN 202011135204A CN 112017182 B CN112017182 B CN 112017182B
Authority
CN
China
Prior art keywords
image
defect
industrial
network
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011135204.8A
Other languages
English (en)
Other versions
CN112017182A (zh
Inventor
叶振飞
郑秀征
王英利
梁长国
王秘
朱超平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING ZODNGOC AUTOMATIC TECHNOLOGY CO LTD
Original Assignee
BEIJING ZODNGOC AUTOMATIC TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING ZODNGOC AUTOMATIC TECHNOLOGY CO LTD filed Critical BEIJING ZODNGOC AUTOMATIC TECHNOLOGY CO LTD
Priority to CN202011135204.8A priority Critical patent/CN112017182B/zh
Publication of CN112017182A publication Critical patent/CN112017182A/zh
Application granted granted Critical
Publication of CN112017182B publication Critical patent/CN112017182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种工业级智能表面缺陷检测方法，通过构建并训练生成孪生生成对抗网络GAN，将输入图像通过改进型GAN网络修复成“正常样本”，将该输出同人工标注的正样本通过孪生CNN网络做比对，不同之处即为缺陷。本发明设计的孪生生成对抗式网络无需大量的样本，也不用进行数据扩增，可解决常见的工业产品样本量少的问题，减少深度学习少样本和零样本带来的过拟合现象的产生，使得缺陷样本量少的产品和新品开发时的缺陷检测成为可能。利用交叉对齐损失函数CA和分布对齐损失函数DA，来加强两个网络输出之间的关系，取得较好的分类识别效果。通过Attention机制以及硬件GPU实现模型训练速度的提升，使得工业快速部署成为可能。

Description

一种工业级智能表面缺陷检测方法
技术领域
本发明涉及一种工业级智能表面缺陷检测方法，属于深度学习技术的工业应用技术领域。
背景技术
随着以深度学习为基础的机器视觉在图像处理相关应用上的不断发展，学术界中，深度学习已经独占鳌头，工业领域中，对其的需求亦越发迫切。然而，由于图像处理应用在工业领域中的特殊性：
1）、样本量少：工业生产中，很多产品根据需求进行生产，导致了一个批次中产品数量较少，含有缺陷的可作为样本的产品更少，此外，一些产品成本较高，难以提供大量可以用来进行训练的样本。
2）、分辨率高，工业生产中，对于产品的精度有很高的要求，常见的精度是百分之一毫米，在大视野的情况下需要高分辨率的工业相机，需要从大量的元素中识别出缺陷。
3）、种类繁多，工业领域，各式各样的产品种类繁多，不同的材质，不同的缺陷均需要检测出来，降低模型生成的时间是必须的。显然直接将学术界上的方法搬运到工业领域中，难以满足工业领域的需求。
此外，深度神经网络的难解释性与不可控性决定了当前的机器视觉还难以满足许多工业级应用的要求，影响着实际应用，针对工业领域中的样本量少、分辨率高、种类繁多，提出本发明。
发明内容
本发明针对现有技术存在的不足，提供了一种工业级智能表面缺陷检测方法，具体技术方案如下：
一种工业级智能表面缺陷检测方法，包括以下步骤：
步骤一、对待检物品的材质进行分类；
步骤二、根据待检物品的材质，调整工业相机的光圈、焦距以及调整光源装置的色彩、明暗，使得通过工业相机采集待检物品的表面灰度图像的清晰度达到最大值；
步骤三、对采集待检物品的表面灰度图像进行预处理提取有效区域得到有效图像；
步骤四、构建并训练生成改进型GAN网络，将有效图像输入到改进型GAN网络，利用人造缺陷模块对有效图像进行处理得到缺陷样本图像；生成器接收缺陷样本图像，根据变分自动编码器VAE和wGAN生成特征，通过交叉对齐损失函数CA提取相应的图像特征，分布对齐损失函数DA提取相应的类别特征，生成器产生生成图像；判别器接收生成器产生的生成图像，通过调整判别器损失和对抗损失，输出缺陷图像；
步骤五、通过步骤四得到的缺陷图像回归出缺陷位置的信息，并用指示装置将缺陷位置标识出来；
其中，所述改进型GAN网络是对原始GAN网络进行改进，在生成器中引入变分自动编码器VAE，将图像特征和类别特征对应的变分自动编码器VAE分别放在两个对称的GAN网络的生成器中；两个GAN网络的损失函数分别采用交叉对齐损失函数CA和分布对齐损失函数DA。
作为上述技术方案的改进，在改进型GAN网络的训练前半阶段，x是训练集中随机抽取的原始图像，
Figure 676964DEST_PATH_IMAGE001
是生成图像，生成器由变分自动编码器构成；在训练后半阶段，得到生成图像
Figure 594104DEST_PATH_IMAGE001
后，将生成图像
Figure 45945DEST_PATH_IMAGE001
和原始图像x组成一对输入到孪生CNN网络中，提取x和
Figure 972313DEST_PATH_IMAGE001
的特征并比较，x和
Figure 426166DEST_PATH_IMAGE001
之间欧式距离大于阈值C0所对应的位置即为缺陷位置。
作为上述技术方案的改进，步骤三中的预处理就是对采集待检物品的表面灰度图像进行分割提取有效区域，所述有效区域指的是除去图像中背景的区域；选择滑动窗口切割的方式进行图像分割，将图像分割为128*128的图像，进行相关的分类标记。
作为上述技术方案的改进，人造缺陷模块通过对有效图像进行添加高斯噪声或椒盐噪声，再加以旋转方式或平移方式或剪裁方式产生得到缺陷样本图像。
作为上述技术方案的改进，变分自动编码器VAE和wGAN共用相同参数的解码器。
作为上述技术方案的改进，在改进型GAN网络的训练前半阶段，通过引用pix2pix来完成成对图像的转换进行训练；将GAN的目标函数和loss函数进行结合，
第一维差的定义：
Figure 779787DEST_PATH_IMAGE002
，
第二维差的定义：
Figure 312399DEST_PATH_IMAGE003
，
式中，
Figure 917824DEST_PATH_IMAGE004
、
Figure 117861DEST_PATH_IMAGE005
是n维向量，
Figure 252171DEST_PATH_IMAGE006
指的是向量
Figure 537659DEST_PATH_IMAGE004
中的第n个元素，
Figure 946774DEST_PATH_IMAGE007
指的是向量
Figure 735739DEST_PATH_IMAGE008
中的第n个元素，n为正整数；
Figure 431162DEST_PATH_IMAGE009
，
式中，
Figure 580777DEST_PATH_IMAGE010
指的是分布对齐损失函数DA，
Figure 387059DEST_PATH_IMAGE011
指的是二范数，
Figure 171476DEST_PATH_IMAGE012
指的是Frobenius范数，M用来表示不同图像特征的输入，
Figure 303380DEST_PATH_IMAGE013
指的是第i个特征向量，
Figure 32301DEST_PATH_IMAGE014
指的是第j个特征向量，i、j为正整数；
Figure 783220DEST_PATH_IMAGE015
，
式中，
Figure 546776DEST_PATH_IMAGE016
指的是交叉对齐损失函数CA，M用来表示不同图像特征的输入；D j 用来表示第j个解码器,E i 用来表示第i个编码器；x （i）表示第i个编码器输入的图像，x （j）表示第j个编码器输入的图像；
Figure 724948DEST_PATH_IMAGE017
，
Figure 206745DEST_PATH_IMAGE018
,
式中，x表示输入的图像，C()表示对输入图像进行加噪操作后的输出，G()表示经过生成器后的输出，
Figure 994310DEST_PATH_IMAGE019
指的是一范数，E x [ ]指的是期望，D()表示经过判别器后的输出，λ用来平衡分布对齐损失函数DA，γ用来平衡交叉对齐损失函数CA；
得到最终的目标函数
Figure 612373DEST_PATH_IMAGE020
，
Figure 961446DEST_PATH_IMAGE021
，
式中，G指的是生成器，D指的是判别器；β是用来平衡GAN损失和loss误差的参数；
通过生成器里的交叉对齐损失函数CA提取图像特征，分布对齐损失函数DA提取类别特征，由生成器生成图像后，传入判别器；
若传入判别器中的图像是带有类别标签的数据，实际上是假数据，此刻判别器会将传入判别器中的图像判别为假图；模型会随之不断调整生成器的参数，直到判别器认为传入判别器中的图像为真数据为止；
在改进型GAN网络的训练后半阶段，通过一个有监督的基于孪生CNN网络的度量学习来训练，然后重用训练前半阶段所用的网络所提取的特征进行少样本学习；训练时，通过组合原始图像和生成图像成对，同时输入CNN网络进行训练，将其转换为向量
Figure 930539DEST_PATH_IMAGE022
和
Figure 882314DEST_PATH_IMAGE023
，
Figure 495830DEST_PATH_IMAGE024
,
式中，W是权重，CNN是网络，a是网络输入的图像，a是原始图像x或生成图像
Figure 140437DEST_PATH_IMAGE001
；
在孪生CNN网络的最上层通过一个距离的对比损失进行Loss的计算，得出两个输出向量之间的距离EW，孪生CNN网络中的两个神经网络均为CNN且权值相同；以
Figure 206614DEST_PATH_IMAGE025
表示两个特征相同的误差，以
Figure 962080DEST_PATH_IMAGE026
表示两个特征不同的误差，α为参数，则损失函数Loss为：
Figure 197146DEST_PATH_IMAGE027
，
由于输入的是成对的图像，损失函数采用Contrastive Loss函数，
Figure 747076DEST_PATH_IMAGE028
，
Figure 425182DEST_PATH_IMAGE029
，
式中，
Figure 859705DEST_PATH_IMAGE030
、
Figure 572446DEST_PATH_IMAGE031
表示两个样本特征，
Figure 168644DEST_PATH_IMAGE032
表示两个样本特征之间的欧式距离，Y表示两个样本是否匹配的标签，Y为1则表示两个样本相似或匹配，Y为0则表示两个样本不匹配，t为设定的阈值，N为样本的个数，k指的是样本的特征维数，
Figure 334046DEST_PATH_IMAGE033
指的是特征
Figure 306681DEST_PATH_IMAGE034
的第i个元素，
Figure 139508DEST_PATH_IMAGE035
指的是二范数，W指的是权重，
Figure 31241DEST_PATH_IMAGE036
指的是特征X 2的第i个元素，i是正整数；
在编解码过程中，首先准备一个解码的隐藏层状态和所有可用的编码隐藏层状态，将解码的隐藏层状态和所有可用的编码隐藏层状态两两进行点积运算，将得到的数值传递到softmax层中，对点积运算得到的数值进行归一化处理，用来抑制无效信息；接着将每个编码的隐藏层状态与归一化后的数值相乘，进行对齐处理并求和；最后将求和的向量同编码的上一个隐藏层状态一起输入当前的隐藏层状态，得到解码的输出。
作为上述技术方案的改进，
本发明的有益效果：
1）、本发明构建并训练生成孪生生成对抗网络GAN，将输入图像通过改进型GAN网络修复成“正常样本”，将该输出同人工标注的正样本通过孪生CNN网络做比对，不同之处即为缺陷。本发明设计的孪生生成对抗式网络无需大量的样本，也不用进行数据扩增，可以解决常见的工业产品样本量少的问题，减少深度学习少样本和零样本带来的过拟合现象的产生，使得缺陷样本量少的产品和新品开发时的缺陷检测成为可能。
2）、本发明通过对原始GAN网络进行改进，在生成器中引入变分自动编码器VAE，将图像特征和类别特征对应的变分自动编码器VAE分别放在两个对称的GAN网络的生成器中，两个GAN网络损失函数分别采用两种不同的损失函数即交叉对齐损失函数CA和分布对齐损失函数DA，来加强两个网络输出之间的关系，取得较好的分类识别效果。
3）、通过Attention机制以及硬件GPU实现模型训练速度的提升，使得工业快速部署成为可能。
附图说明
图1为本发明所述工业级智能表面缺陷检测方法的架构图；
图2为本发明所述改进型GAN网络的训练前半阶段流程图；
图3为本发明所述改进型GAN网络的训练后半阶段流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，所述工业级智能表面缺陷检测方法，包括以下步骤：
步骤一、对待检物品的材质进行分类，如金属铜箔、透明塑料薄膜、丝质纹理等。
步骤二、根据待检物品的材质，调整工业相机的光圈、焦距以及调整光源装置的色彩、明暗，使得通过工业相机采集待检物品的表面灰度图像的清晰度达到最大值；工业相机可采用CCD相机，清晰度达到最大值使得表面灰度图像最为清晰。
步骤三、对采集待检物品的表面灰度图像进行预处理提取有效区域得到有效图像；所用工业相机为2500W黑白相机，输出图像大小为5120*5120，格式为BMP。预处理就是对上述采集的图像进行分割提取有效的区域，所述有效区域指的是除去了背景的区域。缺陷区域大小不定、位置随机，最小检测缺陷精度为0.04mm2，简单的均分会造成缺陷区域轮廓不完整或者遗漏的问题，在此，选择滑动窗口切割的方式进行图像分割，将图像分割为128*128的图像，进行相关的分类标记。
步骤四、构建并训练生成改进型GAN网络，将有效图像输入到改进型GAN网络，利用人造缺陷模块对有效图像进行处理得到缺陷样本图像；生成器接收缺陷样本图像，根据变分自动编码器VAE和wGAN（GAN的一个变种）生成特征，通过交叉对齐损失函数CA提取相应的图像特征，分布对齐损失函数DA提取相应的类别特征，生成器产生生成图像；判别器接收生成器产生的生成图像，通过调整判别器损失和对抗损失，使判别器损失和对抗损失达到最优，进而输出缺陷图像（最佳结果）。
对于大多数工业产品表面缺陷检测，生产线上的缺陷样本由于其时效性、成本等问题不易获得，为此，需要通过算法人为的产生“缺陷样本”。本发明将采集的图像输入到图2所示的改进型GAN网络中，人造缺陷模块C通过对图像进行添加高斯噪声或椒盐噪声，对“缺陷样本”再加以旋转方式或平移方式或剪裁方式等人为的产生“缺陷样本”，（通常人工标注的正样本图像都是在静止状态下采集的，实际检测时采集的图像会受到运行时光照、速度、产品偏移等因素带来的干扰，训练时通过人工加入该因素的干预。注：该人造缺陷模块C的用处是为了提高算法的健壮性，而不是扩大样本）。
在改进型GAN网络的训练前半阶段，x是训练集中随机抽取的原始图像，
Figure 57840DEST_PATH_IMAGE001
是生成图像，生成器由变分自动编码器构成；在训练后半阶段，得到生成图像
Figure 693221DEST_PATH_IMAGE001
后，将生成图像
Figure 255920DEST_PATH_IMAGE001
和原始图像x组成一对输入到孪生CNN网络中，提取x和
Figure 584134DEST_PATH_IMAGE001
的特征并比较，x和
Figure 458549DEST_PATH_IMAGE001
之间特征差异大的位置即为缺陷位置，x和
Figure 772986DEST_PATH_IMAGE001
之间特征差异大的位置即为x和
Figure 314826DEST_PATH_IMAGE001
之间欧式距离大于阈值C0所对应的位置。
步骤五、通过步骤四得到的缺陷图像回归出缺陷位置的信息，并用指示装置将缺陷位置标识出来。
其中，所述改进型GAN网络是对原始GAN网络进行改进，在生成器中引入变分自动编码器VAE，将图像特征和类别特征对应的变分自动编码器VAE分别放在两个对称的GAN网络的生成器中；两个GAN网络的损失函数分别采用交叉对齐损失函数CA和分布对齐损失函数DA。两个GAN网络的损失函数分别采用交叉对齐损失函数CA和分布对齐损失函数DA来加强两个GAN网络输出之间的关系。
其中，变分自动编码器VAE和wGAN共用相同参数的解码器。
实施例2
如图2所示，在改进型GAN网络的训练前半阶段，通过引用pix2pix来完成成对图像的转换进行训练（pix2pix目的是为了解决图像分辨率大的问题）；L1距离计算的是第一维差的绝对值加上第二维差的绝对值，L2距离计算的是第一维差的平方加上第二维差的平方再求和，然后开根。L1距离相比于L2距离，在边缘位置保留的信息多，L1距离比L2距离更适合不太模糊的图像，在此使用L1距离来表征它们的相似程度。将GAN的目标函数和loss函数进行结合，第一维差、第二维请进行定义：
第一维差的定义：
Figure 423728DEST_PATH_IMAGE002
，
第二维差的定义：
Figure 51018DEST_PATH_IMAGE003
，
式中，
Figure 28201DEST_PATH_IMAGE004
、
Figure 78677DEST_PATH_IMAGE005
是n维向量，
Figure 483113DEST_PATH_IMAGE006
指的是向量
Figure 473066DEST_PATH_IMAGE004
中的第n个元素，
Figure 253940DEST_PATH_IMAGE007
指的是向量
Figure 380159DEST_PATH_IMAGE008
中的第n个元素，n为正整数；
Figure 221076DEST_PATH_IMAGE009
，
式中，
Figure 698325DEST_PATH_IMAGE010
指的是分布对齐损失函数DA，
Figure 282890DEST_PATH_IMAGE011
指的是二范数，
Figure 388249DEST_PATH_IMAGE012
指的是Frobenius范数，M用来表示不同图像特征的输入，
Figure 773969DEST_PATH_IMAGE013
指的是第i个特征向量，
Figure 863148DEST_PATH_IMAGE014
指的是第j个特征向量，i、j 为正整数；
Figure 595612DEST_PATH_IMAGE015
，
式中，
Figure 821057DEST_PATH_IMAGE016
指的是交叉对齐损失函数CA，M用来表示不同图像特征的输入；D j 用来表示第j个解码器,E i 用来表示第i个编码器；x （i）表示第i个编码器输入的图像，x （j）表示第j个编码器输入的图像；
Figure 144722DEST_PATH_IMAGE017
，
Figure 455617DEST_PATH_IMAGE018
,
式中，x表示输入的图像，C()表示对输入图像进行加噪操作后的输出，G()表示经过生成器后的输出，
Figure 257351DEST_PATH_IMAGE019
指的是一范数，E x [ ]指的是期望，D()表示经过判别器后的输出，λ用来平衡分布对齐损失函数DA，γ用来平衡交叉对齐损失函数CA；
得到最终的目标函数
Figure 337303DEST_PATH_IMAGE020
，
Figure 690924DEST_PATH_IMAGE021
，
式中，G指的是生成器，D指的是判别器；β是用来平衡GAN损失（
Figure 600367DEST_PATH_IMAGE037
）和loss误差（
Figure 330426DEST_PATH_IMAGE038
）的参数，可以改善图像的质量和重要细节的显示。
通过生成器里的交叉对齐损失函数CA提取图像特征，分布对齐损失函数DA提取类别特征，由生成器生成图像后，传入判别器；
若传入判别器中的图像是带有类别标签的数据，实际上是假数据，此刻判别器会将传入判别器中的图像判别为假图；模型会随之不断调整生成器的参数，直到判别器认为传入判别器中的图像为真数据为止；此时判别器和生成器达到了一个平衡，不断迭代，提高判别器的精度。
如图3所示，在改进型GAN网络的训练后半阶段，通过一个有监督的基于孪生CNN网络的度量学习来训练，然后重用训练前半阶段所用的网络所提取的特征进行少样本学习；训练时，通过组合原始图像和生成图像成对，同时输入CNN网络进行训练，将其转换为向量
Figure 405829DEST_PATH_IMAGE039
和
Figure 664772DEST_PATH_IMAGE023
，
Figure 684681DEST_PATH_IMAGE024
,
式中，W是权重，CNN是网络，a是网络输入的图像，a是原始图像x或生成图像
Figure 828217DEST_PATH_IMAGE001
；
在孪生CNN网络的最上层通过一个距离的对比损失进行Loss的计算，得出两个输出向量之间的距离EW，孪生CNN网络中的两个神经网络均为CNN且权值相同；以
Figure 882761DEST_PATH_IMAGE025
表示两个特征相同的误差，以
Figure 719130DEST_PATH_IMAGE026
表示两个特征不同的误差，α为参数，则损失函数Loss为：
Figure 491914DEST_PATH_IMAGE027
，
参数α是为了避免损失函数为0时，求导、梯度出错；为了达到更高的准确率，需要使损失函数最小，也就是让
Figure 32617DEST_PATH_IMAGE025
尽可能的小，
Figure 581147DEST_PATH_IMAGE026
尽可能的大，也就是识别两张图像特征相同、不同的能力尽可能准确，由于输入的是成对的图像，故为了很好的表达成对样本的匹配程度，同时训练提取特征，损失函数采用Contrastive Loss函数，
Figure 447472DEST_PATH_IMAGE028
，
Figure 317339DEST_PATH_IMAGE040
，
式中，
Figure 927312DEST_PATH_IMAGE030
、
Figure 831814DEST_PATH_IMAGE031
表示两个样本特征，
Figure 134620DEST_PATH_IMAGE032
表示两个样本特征之间的欧式距离，Y表示两个样本是否匹配的标签，Y为1则表示两个样本相似或匹配，Y为0则表示两个样本不匹配，t为设定的阈值，N为样本的个数，k指的是样本的特征维数，
Figure 350837DEST_PATH_IMAGE033
指的是特征
Figure 639867DEST_PATH_IMAGE034
的第i个元素，
Figure 257930DEST_PATH_IMAGE035
指的是二范数，W指的是权重，
Figure 108468DEST_PATH_IMAGE036
指的是特征X 2的第i个元素，i是正整数。
在编解码过程中，首先准备一个解码的隐藏层状态和所有可用的编码隐藏层状态，将解码的隐藏层状态和所有可用的编码隐藏层状态两两进行点积运算，将得到的数值传递到softmax层中，对点积运算得到的数值进行归一化处理，用来抑制无效信息；接着将每个编码的隐藏层状态与归一化后的数值相乘，进行对齐处理并求和；最后将求和的向量同编码的上一个隐藏层状态一起输入当前的隐藏层状态，得到解码的输出。通过这种处理，可以并行计算每个元素同其他元素之间的对比，从而减少模型训练时间。
在上述实施例中，本发明是针对目前工业领域表面检测上遇到的样本量少、分辨率高、种类繁多的问题，提出一种可以用于工业领域表面缺陷检测的方法，包括根据不同材质进行光路调整获得成像清晰分明的图像，通过构建的样本扩增模型将小样本进行扩增，得到理想的修复样本；人造缺陷模块产生的样本图像是为了提高健壮性，而不是扩大样本；对修复样本和原始样本进行匹配组对输入缺陷检测模型，获得准确的缺陷区域和类别。本发明可以提高小样本缺陷检测的精度和速度，降低对工控机配置的要求。
本发明的优点：
1）、本发明构建并训练生成孪生生成对抗网络GAN，将输入图像（检测时相机拍摄的图像）通过改进型GAN网络修复成“正常样本”（判决器认为是正样本），将该输出同人工标注的正样本通过孪生CNN网络做比对，不同之处即为缺陷。本发明设计的孪生生成对抗式网络无需大量的样本，也不用进行数据扩增，可以解决常见的工业产品样本量少的问题，减少深度学习少样本和零样本带来的过拟合现象的产生，使得缺陷样本量少的产品和新品开发时的缺陷检测成为可能。
2）、本发明通过对原始GAN网络进行改进，在生成器中引入变分自动编码器VAE，将图像特征和类别特征对应的变分自动编码器VAE分别放在两个对称的GAN网络的生成器中，两个GAN网络损失函数分别采用两种不同的损失函数即交叉对齐损失函数CA和分布对齐损失函数DA，来加强两个网络输出之间的关系，取得较好的分类识别效果。
3）、通过Attention机制以及硬件GPU实现模型训练速度的提升，使得工业快速部署成为可能。
现有技术中，通常是将网络生成的图像与真实图像合并为缺陷样本集，其网络的目的是扩增缺陷样本。实际中发现单纯的人造缺陷样本，虽然扩增了缺陷样本数据集，但是由于其从属于一类缺陷，学习不到更多的缺陷特征，不能显著的提高检测精度。
而本发明所设计的改进型GAN网络是为了对输入的图像进行修复，无论该输入是有缺陷的还是没缺陷的，将其修复成网络中的判决器认为的正样本，不用进行样本扩增，只在最后将修复的图像同人工标注的正样本做比对即可。
在训练过程中，单独使用GAN的目标函数、loss函数，相比变分自动编码器VAE不稳定、波动幅度大，其做分布匹配的难度较大；单独使用变分自动编码器VAE的目标函数、loss函数，其生成的图像相较GAN模糊；通过在GAN中引入变分自动编码器VAE，即GAN的生成器和变分自动编码器VAE的编码器使用相同参数，从而对GAN加以约束，生成出稳定清晰的目标图像。
交叉对齐损失函数CA目的是为了保证图像和类别特征被投影到一致的空间，也就是将图像和类别特征的输出互换到解码器的输入端，经过解码后仍能还原（例如：图像潜在空间里的特征向量通过类别特征的解码器可以还原成相应类别的类别映射）。
分布对齐损失函数DA是为了令图像和类别特征的潜在空间的均值方差服从同样的分布设置。
通常让和模式绑定的自动编码器学习不同模式之间的联系需要使用额外的正则化表达式，为此本发明构建该交叉损失函数和分布对齐损失函数DA，目的是为了减少信息的丢失，提高生成图像的可信度，进而调高模型准确率。
与常见的用来生成缺陷样本的GAN变形网络相比，本发明所述改进型GAN网络只需正样本即可，网络的目的是将输入的图像生成正样本，然后与人工标定的图像做特征比对，得出产品是否有缺陷的结果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种工业级智能表面缺陷检测方法，其特征在于包括以下步骤：
步骤一、对待检物品的材质进行分类；
步骤二、根据待检物品的材质，调整工业相机的光圈、焦距以及调整光源装置的色彩、明暗，使得通过工业相机采集待检物品的表面灰度图像的清晰度达到最大值；
步骤三、对采集待检物品的表面灰度图像进行预处理提取有效区域得到有效图像；
步骤四、构建并训练生成改进型GAN网络，将有效图像输入到改进型GAN网络，利用人造缺陷模块对有效图像进行处理得到缺陷样本图像；生成器接收缺陷样本图像，根据变分自动编码器VAE和wGAN生成特征，通过交叉对齐损失函数CA提取相应的图像特征，分布对齐损失函数DA提取相应的类别特征，生成器产生生成图像；判别器接收生成器产生的生成图像，通过调整判别器损失和对抗损失，输出缺陷图像；
步骤五、通过步骤四得到的缺陷图像回归出缺陷位置的信息，并用指示装置将缺陷位置标识出来；
其中，所述改进型GAN网络是对原始GAN网络进行改进，在生成器中引入变分自动编码器VAE，将图像特征和类别特征对应的变分自动编码器VAE分别放在两个对称的GAN网络的生成器中；两个GAN网络的损失函数分别采用交叉对齐损失函数CA和分布对齐损失函数DA。
2. 根据权利要求1所述的一种工业级智能表面缺陷检测方法，其特征在于：在改进型GAN网络的训练前半阶段，x是训练集中随机抽取的原始图像，
Figure DEST_PATH_IMAGE002
是生成图像，生成器由变分自动编码器构成；在训练后半阶段，得到生成图像
Figure 252697DEST_PATH_IMAGE002
后，将生成图像
Figure 435417DEST_PATH_IMAGE002
和原始图像x组成一对输入到孪生CNN网络中，提取x和
Figure 480733DEST_PATH_IMAGE002
的特征并比较，x和
Figure 407101DEST_PATH_IMAGE002
之间欧式距离大于阈值C0所对应的位置即为缺陷位置。
3.根据权利要求1所述的一种工业级智能表面缺陷检测方法，其特征在于：步骤三中的预处理就是对采集待检物品的表面灰度图像进行分割提取有效区域，所述有效区域指的是除去图像中背景的区域；选择滑动窗口切割的方式进行图像分割，将图像分割为128*128的图像，进行相关的分类标记。
4.根据权利要求1所述的一种工业级智能表面缺陷检测方法，其特征在于：人造缺陷模块通过对有效图像进行添加高斯噪声或椒盐噪声，再加以旋转方式或平移方式或剪裁方式产生得到缺陷样本图像。
5.根据权利要求1所述的一种工业级智能表面缺陷检测方法，其特征在于：变分自动编码器VAE和wGAN共用相同参数的解码器。
CN202011135204.8A 2020-10-22 2020-10-22 一种工业级智能表面缺陷检测方法 Active CN112017182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011135204.8A CN112017182B (zh) 2020-10-22 2020-10-22 一种工业级智能表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011135204.8A CN112017182B (zh) 2020-10-22 2020-10-22 一种工业级智能表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN112017182A CN112017182A (zh) 2020-12-01
CN112017182B true CN112017182B (zh) 2021-01-19

Family

ID=73527756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011135204.8A Active CN112017182B (zh) 2020-10-22 2020-10-22 一种工业级智能表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN112017182B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191381B (zh) * 2020-12-04 2022-10-11 云南大学 一种基于交叉知识的图像零次分类模型及其分类方法
CN112801962B (zh) * 2021-01-19 2022-09-16 上海大学 基于正样本学习的半监督工业制品瑕疵检测方法及系统
CN112801105B (zh) * 2021-01-22 2022-07-08 之江实验室 一种两阶段的零样本图像语义分割方法
CN113112497A (zh) * 2021-05-06 2021-07-13 合肥中科迪宏自动化有限公司 一种基于零样本学习的工业外观缺陷检测方法、电子设备及存储介质
CN113344069B (zh) * 2021-05-31 2023-01-24 成都快眼科技有限公司 一种基于多维关系对齐的无监督视觉表征学习的图像分类方法
CN113592769B (zh) * 2021-06-23 2024-04-12 腾讯医疗健康(深圳)有限公司 异常图像的检测、模型的训练方法、装置、设备及介质
CN113763320A (zh) * 2021-07-29 2021-12-07 国网江苏省电力有限公司电力科学研究院 一种电缆附件封铅施工缺陷检测方法及系统
CN113793333B (zh) * 2021-11-15 2022-02-18 常州微亿智造科技有限公司 应用于工业质检的缺陷图片生成方法及装置
CN114399505B (zh) * 2022-03-25 2022-06-28 江苏智云天工科技有限公司 工业检测中的检测方法、检测装置
CN115240031B (zh) * 2022-07-21 2023-10-27 无锡锤头鲨智能科技有限公司 一种基于生成对抗网络的板材表面缺陷生成方法及系统
CN115239717B (zh) * 2022-09-22 2023-01-03 江苏智云天工科技有限公司 工业检测中的缺陷检测装置
CN116612076B (zh) * 2023-04-28 2024-01-30 成都瑞贝英特信息技术有限公司 基于联合孪生神经网络的机舱微小划痕检测方法
CN117649387A (zh) * 2023-11-30 2024-03-05 中科海拓(无锡)科技有限公司 一种适用于带有表面复杂纹理物体的缺陷检测方法
CN117710371B (zh) * 2024-02-05 2024-04-26 成都数之联科技股份有限公司 一种扩充缺陷样本的方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961217A (zh) * 2018-06-08 2018-12-07 南京大学 一种基于正例训练的表面缺陷检测方法
CN110322433A (zh) * 2019-05-27 2019-10-11 苏州佳赛特智能科技有限公司 一种面向外观缺陷视觉检测的数据集扩增方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961217A (zh) * 2018-06-08 2018-12-07 南京大学 一种基于正例训练的表面缺陷检测方法
CN110322433A (zh) * 2019-05-27 2019-10-11 苏州佳赛特智能科技有限公司 一种面向外观缺陷视觉检测的数据集扩增方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hiroki Kawai等.VAE/WGAN-BASED IMAGE REPRESENTATION LEARNING FOR POSE-PRESERVING SEAMLESS IDENTITY REPLACEMENT IN FACIAL IMAGES.《2019 IEEE 29th International Workshop on Machine Learning for Signal Processing》.2019, *
Wei Wei等.Real‑time implementation of fabric defect detection based on variational automatic encoder with structure similarity.《Journal of Real-Time Image Processing》.2020, *

Also Published As

Publication number Publication date
CN112017182A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN112017182B (zh) 一种工业级智能表面缺陷检测方法
CN108961217B (zh) 一种基于正例训练的表面缺陷检测方法
CN106446750B (zh) 一种条形码读取方法及装置
CN110648310B (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN111429533B (zh) 一种相机镜头畸变参数估计装置及方法
CN113808180B (zh) 一种异源图像配准方法、系统及装置
CN106156684A (zh) 一种二维码识别方法及装置
CN105809094A (zh) 基于机器视觉的条形码识别方法
CN113077392B (zh) 一种针对指针表模糊照片的高准确度自动读数方法
CN106327534A (zh) 一种基于定位块的轮胎内壁纹理识别方法
CN113313684B (zh) 一种暗光条件下基于视频的工业缺陷检测系统
Konwer et al. Staff line removal using generative adversarial networks
Fang et al. Laser stripe image denoising using convolutional autoencoder
CN111127417A (zh) 一种基于sift特征匹配和改进的ssd算法的软包装卷料印刷缺陷检测方法
CN112364881B (zh) 一种进阶采样一致性图像匹配方法
CN112836748A (zh) 一种基于crnn-ctc的铸件标识字符识别方法
CN114241469A (zh) 一种面向电表轮换过程的信息识别方法和装置
CN115527072A (zh) 一种基于稀疏空间感知与元学习的芯片表面缺陷检测方法
CN113406111B (zh) 一种基于结构光场视频流的缺陷检测方法和装置
CN117315670A (zh) 一种基于计算机视觉的水表读数区域检测方法
CN107273793A (zh) 一种用于人脸识别的特征提取方法
Deng et al. Text enhancement network for cross-domain scene text detection
CN115439669A (zh) 基于深度学习的特征点检测网络及跨分辨率图像匹配方法
CN115205155A (zh) 一种畸变图像的矫正方法、装置及终端设备
CN115294392A (zh) 基于生成网络模型的可见光遥感图像云去除方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant