CN110322433B - 一种面向外观缺陷视觉检测的数据集扩增方法 - Google Patents

一种面向外观缺陷视觉检测的数据集扩增方法 Download PDF

Info

Publication number
CN110322433B
CN110322433B CN201910446312.8A CN201910446312A CN110322433B CN 110322433 B CN110322433 B CN 110322433B CN 201910446312 A CN201910446312 A CN 201910446312A CN 110322433 B CN110322433 B CN 110322433B
Authority
CN
China
Prior art keywords
picture
discriminator
data set
generator
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910446312.8A
Other languages
English (en)
Other versions
CN110322433A (zh
Inventor
何志勇
林嵩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Jiasaite Intelligent Technology Co ltd
Original Assignee
Suzhou Jiasaite Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Jiasaite Intelligent Technology Co ltd filed Critical Suzhou Jiasaite Intelligent Technology Co ltd
Priority to CN201910446312.8A priority Critical patent/CN110322433B/zh
Publication of CN110322433A publication Critical patent/CN110322433A/zh
Application granted granted Critical
Publication of CN110322433B publication Critical patent/CN110322433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及视觉检测技术领域，涉及一种面向外观缺陷视觉检测的数据集扩增方法。本发明可生成高清晰度、高多样性的缺陷数据，其通过非常有限的缺陷样本，利用生成对抗网络进行数据扩增高质量的数据集，使得扩增后的数据集能支撑机器学习的训练，实现在缺陷样本有限情况下也能使用机器学习实现高精度的表面缺陷检测。

Description

一种面向外观缺陷视觉检测的数据集扩增方法
技术领域
本发明涉及视觉检测技术领域，涉及一种面向外观缺陷视觉检测的数据集扩增方法。
背景技术
随着经济的蓬勃发展，我国制造业也在迅速发展，对工业产品中的外观质量也提出了越来越高的要求。传统的表面缺陷检测方法是人工目检法，目前大多数生产厂商仍采用人工目检识别有缺陷的产品，效率低且经常会出现漏检等情况。导致产品质量降低，造成了资源的浪费。为解决人工目检带来的问题，基于机器视觉的智能检测手段，在生产线质量鉴定环节将逐步取代人工目检，成为主流方法。
近年来，机器学习技术逐渐应用于缺陷检测方面，并取得了良好的效果。但机器学习进行缺陷检测大多还停留在实验室中，工业生产中应用较少。因为机器学习的训练过程通常需要大量的缺陷样本进行支撑，而实际生产当中能提供的缺陷数据量往往不足以支撑机器学习算法。
将机器学习应用于实际的工业检测中，必须解决机器学习中训练阶段缺陷样本数量不足、多样化程度低的问题。在样本不足的情况下，利用生成对抗网络(GenerativeAdversarial Networks，GAN)对数据集进行扩增，可以有效的解决因训练样本不足而导致的模型过拟合、检测精度低等问题，但常规的GAN模型难以生成高质量的训练样本。
发明内容
本发明要解决的技术问题是提供一种可生成高清晰度、高多样性的缺陷数据的面向外观缺陷视觉检测的数据集扩增方法。
为了解决上述技术问题，本发明解决其技术问题所采用的技术方案是：
一种面向外观缺陷视觉检测的数据集扩增方法，具体步骤包括：
S1、获取视觉检测的图像，并对获取到的图像进行分块处理作为训练数据集；
S2、将经典生成对抗网络中的生成器采用反卷积神经网络，在生成对抗网络中融入图像缺陷増强模块，同时在输出的偏置与图像缺陷増强模块前端添加反馈通道；
S3、将训练数据集处理后得到的缺陷样本作为训练集，并输入生成对抗网络的判别器中训练，得到训练好的判别模型；从生成器输入端输入噪声信号，将生成器输出图片与真实图片输入判别器进行重构；
S4、通过对输入判别器之前的真实图片通过图像增强得到图片与经判别器重构之后的图片通过图像增强得到图片之间的特征差生成反馈激励生成模型；
S5、将训练集输入搭建好的缺陷引导生成对抗网络模型，通过数次迭代使得生成器和判别器损失函数不断减小，生成器输出的图片即接近真实图片。
优选的，步骤S4中，输入判别器之前的图片通过图像增强得到图片yf，经判别器重构之后的图片通过图像增强得到图片y'f，特征差定义如下：
Figure BDA0002073746250000021
其中，A(yf)和A(y'f)分别是两幅图像的特征，且A(yf)＝{A(yf)i,A(yf)j}，A(y'f)＝{A(y'f)i,A(y'f)j}，
Figure BDA0002073746250000035
公式中i与j为图片的行列大小。
优选的，步骤S5中，生成器的代价函数设计如下：
Figure BDA0002073746250000032
判别器的代价函数设计如下：
LD(x,z)＝D(x)+max(0,m-D(G(z)))
其中，m为超参数，且
Figure BDA0002073746250000033
Figure BDA0002073746250000034
本发明的有益效果：
本发明可生成高清晰度、高多样性的缺陷数据，其通过非常有限的缺陷样本，利用生成对抗网络进行数据扩增高质量的数据集，使得扩增后的数据集能支撑机器学习的训练，实现在缺陷样本有限情况下也能使用机器学习实现高精度的表面缺陷检测。
附图说明
图1是本发明的一种面向外观缺陷视觉检测的数据集扩增方法流程图。
图2是缺陷引导生成对抗网络对不同织物\磁环样本的在不同训练阶段的生成结果。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
参照图1-2所示，一种面向外观缺陷视觉检测的数据集扩增方法，具体步骤包括：
S1、获取视觉检测的图像，并对获取到的图像进行分块处理作为训练数据集；
S2、将经典生成对抗网络(GAN)中的生成器采用反卷积神经网络，在生成对抗网络中融入图像缺陷増强模块，同时在输出的偏置与图像缺陷増强模块前端添加反馈通道；
S3、将训练数据集处理后得到的缺陷样本作为训练集，并输入生成对抗网络(GAN)的判别器中训练，得到训练好的判别模型；从生成器输入端输入1*256噪声信号，将生成器输出图片与真实图片输入判别器进行重构；
S4、通过对输入判别器之前的真实图片通过图像增强得到图片与经判别器重构之后的图片通过图像增强得到图片之间的特征差生成反馈激励生成模型；
S5、将训练集输入搭建好的缺陷引导生成对抗网络模型，通过数次迭代使得生成器和判别器损失函数不断减小，即让生成器和判别器损失函数趋于稳定且停止衰减时结束训练，保存最佳网络模型，使得生成器输出的图片即接近真实图片。
本发明可生成高清晰度、高多样性的缺陷数据，其通过非常有限的缺陷样本，利用生成对抗网络进行数据扩增高质量的数据集，使得扩增后的数据集能支撑机器学习的训练，实现在缺陷样本有限情况下也能使用机器学习实现高精度的表面缺陷检测。
步骤S1中，采用工业相机在大型织物/磁环的生产设备上进行图像采集，通过调节相机和光源以保证图像采集质量。
步骤S4中，输入判别器之前的图片通过图像增强得到图片yf，经判别器重构之后的图片通过图像增强得到图片y'f，特征差定义如下：
Figure BDA0002073746250000051
其中，A(yf)和A(y'f)分别是两幅图像的特征，且A(yf)＝{A(yf)i,A(yf)j}，A(y'f)＝{A(y'f)i,A(y'f)j}，
Figure BDA0002073746250000052
公式中i与j为图片的行列大小。
其中I是公式中待计算的图像。A(yf)j和A(yf)i分别是图像I(图片yf)的行像素与列像素和的向量。A(y'f)求解与A(yf)类似。特征差公式中i与j为图片的行列大小。
步骤S5中，生成器的代价函数设计如下：
Figure BDA0002073746250000053
判别器的代价函数设计如下：
LD(x,z)＝D(x)+max(0,m-D(G(z)))
其中，m为超参数，且
Figure BDA0002073746250000054
Figure BDA0002073746250000055
步骤S1中，对获取到的图像进行分块处理具体为：将图像分割为与缺陷引导生成对抗网络接收层的尺寸大小一致，本发明较优选的实施例中，是将采集到的织物\磁环图像分割为256*256的大小，再进行滤波去噪处理，缺陷引导生成对抗网络接收层的大小也为256*256。
其获得的特征差定义如下
Figure BDA0002073746250000061
在S3中，可选择织物/磁环缺陷样本300幅，作为训练数据集，将训练数据集进行滤波去燥后得到的缺陷样本。
搭建好缺陷引导生成对抗网络模型，将训练集输入网络模型中，超参数m值取5，通过迭代使得生成器和判别器损失函数趋于稳定且停止衰减时结束训练。
进一步的，本发明中的图像大小和超参数的值可根据不同的对象具有不同的值。
所述判别器包括自编码器和自解码器。
图1中，Z为噪声数据，生成器输出的图片与真实数据图片X分别输入至判别器中。
图2中，Epoch为迭代次数，DisG(z)为生成器的输出图片所产生的特征差，LG(z)为生成器的代价函数，LD(x,z)＝6.3为判别器的代价函数。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (2)

1.一种面向外观缺陷视觉检测的数据集扩增方法，其特征在于，具体步骤包括：
S1、获取视觉检测的图像，并对获取到的图像进行分块处理作为训练数据集；
S2、将经典生成对抗网络中的生成器采用反卷积神经网络，在生成对抗网络中融入图像缺陷増强模块，同时在输出的偏置与图像缺陷増强模块前端添加反馈通道；
S3、将训练数据集处理后得到的缺陷样本作为训练集，并输入生成对抗网络的判别器中训练，得到训练好的判别模型；从生成器输入端输入噪声信号，将生成器输出图片与真实图片输入判别器进行重构；
S4、根据输入判别器之前的真实图片通过图像增强得到的图片与经判别器重构之后的图片通过图像增强得到的图片之间的特征差生成反馈，该反馈用于激励生成模型；
S5、将训练集输入搭建好的缺陷引导生成对抗网络模型，通过数次迭代使得生成器和判别器损失函数不断减小，生成器输出的图片即接近真实图片；
步骤S4中，输入判别器之前的真实图片通过图像增强得到图片yf，经判别器重构之后的图片通过图像增强得到图片y'f，特征差定义如下：
Figure FDA0002844775890000021
其中，imax表征图片的行大小；jmax表征图片的列大小；A(yf)和A(y'f)分别是两幅图片的特征，且A(yf)＝{A(yf)i,A(yf)j}，A(y'f)＝{A(y'f)i,A(y'f)j}，
Figure FDA0002844775890000022
I为公式中待计算的图像；A(y'f)求解与A(yf)类似。
2.如权利要求1所述的面向外观缺陷视觉检测的数据集扩增方法，其特征在于，步骤S5中，生成器的代价函数设计如下：
Figure FDA0002844775890000023
判别器的代价函数设计如下：
LD(x,z)＝D(x)+max(0,m-D(G(z)))
其中，m为超参数，且
Figure FDA0002844775890000024
Figure FDA0002844775890000025
CN201910446312.8A 2019-05-27 2019-05-27 一种面向外观缺陷视觉检测的数据集扩增方法 Active CN110322433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910446312.8A CN110322433B (zh) 2019-05-27 2019-05-27 一种面向外观缺陷视觉检测的数据集扩增方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910446312.8A CN110322433B (zh) 2019-05-27 2019-05-27 一种面向外观缺陷视觉检测的数据集扩增方法

Publications (2)

Publication Number Publication Date
CN110322433A CN110322433A (zh) 2019-10-11
CN110322433B true CN110322433B (zh) 2021-03-12

Family

ID=68119093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910446312.8A Active CN110322433B (zh) 2019-05-27 2019-05-27 一种面向外观缺陷视觉检测的数据集扩增方法

Country Status (1)

Country Link
CN (1) CN110322433B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990239A (zh) * 2019-12-13 2021-06-18 中移(成都)信息通信科技有限公司 识别模型训练方法、辣椒疮痂病识别方法及装置
CN111127454A (zh) * 2019-12-27 2020-05-08 上海交通大学 基于深度学习生成工业缺陷样本的方法及系统
CN111145164A (zh) * 2019-12-30 2020-05-12 上海感图网络科技有限公司 一种基于人工智能的ic芯片缺陷检测方法
CN111144513B (zh) * 2020-01-02 2022-09-20 大连理工大学 一种结合生成对抗网络与传统图像处理技术的工业产品喷涂缺陷数据增强方法
CN111223093A (zh) * 2020-03-04 2020-06-02 武汉精立电子技术有限公司 一种aoi缺陷检测方法
CN111415316B (zh) * 2020-03-18 2020-11-17 山西安数智能科技有限公司 基于生成对抗网络的缺陷数据合成方法
CN111986142A (zh) * 2020-05-23 2020-11-24 冶金自动化研究设计院 一种热轧板卷表面缺陷图像数据无监督增强的方法
CN112070712B (zh) * 2020-06-05 2024-05-03 湖北金三峡印务有限公司 基于自编码器网络的印刷缺陷检测方法
CN112017182B (zh) * 2020-10-22 2021-01-19 北京中鼎高科自动化技术有限公司 一种工业级智能表面缺陷检测方法
EP4220562A4 (en) * 2021-12-03 2024-05-08 Contemporary Amperex Technology Co Ltd METHOD AND SYSTEM FOR GENERATING AN IMAGE SAMPLE WITH A SPECIFIC FEATURE

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316295A (zh) * 2017-07-02 2017-11-03 苏州大学 一种基于深度神经网络的织物瑕疵检测方法
CN108090521A (zh) * 2018-01-12 2018-05-29 广州视声智能科技有限公司 一种生成式对抗网络模型的图像融合方法和判别器
CN108460812A (zh) * 2018-04-04 2018-08-28 北京红云智胜科技有限公司 一种基于深度学习的表情包生成系统及方法
CN108696331A (zh) * 2018-03-19 2018-10-23 西安电子科技大学 一种基于生成对抗网络的信号重构方法
CN108922518A (zh) * 2018-07-18 2018-11-30 苏州思必驰信息科技有限公司 语音数据扩增方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316295A (zh) * 2017-07-02 2017-11-03 苏州大学 一种基于深度神经网络的织物瑕疵检测方法
CN108090521A (zh) * 2018-01-12 2018-05-29 广州视声智能科技有限公司 一种生成式对抗网络模型的图像融合方法和判别器
CN108696331A (zh) * 2018-03-19 2018-10-23 西安电子科技大学 一种基于生成对抗网络的信号重构方法
CN108460812A (zh) * 2018-04-04 2018-08-28 北京红云智胜科技有限公司 一种基于深度学习的表情包生成系统及方法
CN108922518A (zh) * 2018-07-18 2018-11-30 苏州思必驰信息科技有限公司 语音数据扩增方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hao Zhang et al..Fabric Defect Detection Based on Visual Saliency Map and SVM.《IEEE》.2017, *
Zhiyong He et al..Attention Prediction Using Partial Differential on Color Spaces.《IEEE》.2018, *

Also Published As

Publication number Publication date
CN110322433A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN110322433B (zh) 一种面向外观缺陷视觉检测的数据集扩增方法
CN109507192A (zh) 一种基于机器视觉的磁芯表面缺陷检测方法
CN108765402B (zh) 无纺布缺陷检测与分类方法
CN107478657A (zh) 基于机器视觉的不锈钢表面缺陷检测方法
CN106556940A (zh) 一种tft‑lcd屏自动光学检测中的背景抑制方法
CN111882489A (zh) 用于水下图像同时增强的超分辨率图形恢复方法
CN109801286B (zh) 一种lcd导光板的表面缺陷检测方法
US20220366682A1 (en) Computer-implemented arrangements for processing image having article of interest
Yun et al. Real-time vision-based defect inspection for high-speed steel products
CN104458766A (zh) 一种基于结构纹理法的布匹表面瑕疵检测方法
CN115330784A (zh) 一种布匹表面缺陷检测方法
CN112200790B (zh) 布料缺陷检测方法、设备和介质
CN116757988B (zh) 基于语义丰富和分割任务的红外与可见光图像融合方法
CN110335233A (zh) 基于图像处理技术的高速公路护栏板缺陷检测系统和方法
Ravikumar et al. Digital image processing-a quick review
CN111415330A (zh) 基于深度学习的铜箔外观缺陷检测方法
CN109544513A (zh) 一种钢管端面缺陷提取识别的方法
CN112991199A (zh) 一种基于残差密集网络的图像高低频分解噪声去除方法
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN109886936B (zh) 一种低对比度缺陷检测方法和装置
CN108876750B (zh) 一种基于非局部相似性低秩矩阵的图像去除泊松噪声的方法
CN103926255A (zh) 一种基于小波神经网络的布匹表面瑕疵检测方法
Chen et al. Swintd: Transformer-based detection network for foreign objects in the cut section of tobacco packets
CN111161228B (zh) 一种基于迁移学习的纽扣表面缺陷检测方法
CN112614113A (zh) 一种基于深度学习的带钢缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant