CN109829895B - 一种基于gan的aoi缺陷检测方法 - Google Patents
一种基于gan的aoi缺陷检测方法 Download PDFInfo
- Publication number
- CN109829895B CN109829895B CN201910020529.2A CN201910020529A CN109829895B CN 109829895 B CN109829895 B CN 109829895B CN 201910020529 A CN201910020529 A CN 201910020529A CN 109829895 B CN109829895 B CN 109829895B
- Authority
- CN
- China
- Prior art keywords
- detected
- defect detection
- panel
- picture
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于面板自动化缺陷检测技术领域,公开了一种基于GAN的AOI缺陷检测方法,包括:收集正常面板样本图片作为正样本,根据正样本建立训练集、验证集,使用训练集和验证集对缺陷检测神经网络进行训练,缺陷检测神经网络具有生成器、第一判别器、第二判别器;采集待检测面板图片,将待检测面板图片输入至缺陷检测神经网络的生成器中,获得待检测面板图片的低维隐空间变量,将待检测面板图片的低维隐空间变量与学习到的正样本低维隐空间变量进行比较,根据比较结果判定待检测面板图片为正样本或负样本。本发明能够大大降低收集工业检测缺陷数据的难度,且当产线出现新的缺陷种类时,不需要重新设计算法即可实现对缺陷的检测。
Description
技术领域
本发明涉及面板自动化缺陷检测技术领域,尤其涉及一种基于GAN的AOI缺陷检测方法。
背景技术
随着手机和消费电子产品的普及及其快速的更新换代,对工业产线的液晶屏幕和OLED屏幕有着极大的产量需求。从屏幕最终成型的整个过程中,由于原材料、生产工艺、意外等情况,屏幕上常常存在各种缺陷(例如破片、气泡、划伤、缺角、压痕等),而这些存在缺陷的产品会影响其性能或降低用户体验,因而是不允许流入市场的。尽管在过去的十几年中,AOI(Automated Optical Inspection,自动光学检测)技术有了极大的进步,但目前的AOI技术主要基于传统计算机视觉算法设计,对一些比较小、颜色纹理特征不明显的缺陷检测效率低下,而且检测标准主观因素大,严重制约工业制造的自动化进程。
近年来,基于深度学习的面板缺陷检测方法被广大研究者所关注,也越来越受到厂商的青睐,但现行基于卷积神经网络的方法应用于工业检测领域时,在训练模型阶段需要收集大量的正常样本和缺陷样本,通过神经网络学习正常样本与缺陷样本的公共特征,在检测阶段时,通过比较待检测样本与学习到的正常样本与缺陷样本的公共特征,对其进行分类和检测。但由于面板生产过程中良率很高,这意味着合格的样本远远多于不合格的样本,这使得挑选足够多的缺陷样本用于训练神经网络分类器变的很困难。
基于卷积神经网络的面板缺陷检测算法会有以下三个问题:
1.算法对缺陷样本的数量要求比较高,需要对大量合格样本和不合格样本进行学习,才能得到比较好的性能。由于不合格样本比例极少,需要花费大量的人力成本才能挑选出足够的不合格样本;
2.算法要求不同缺陷的样本数量大致保持一致,若缺陷数据不平衡,会存在较大概率检测不出数量少的缺陷;
3.当面板生产线出现新的缺陷时,由于算法未学习到该缺陷的公共特征,将返回不确定的结果。需要重新收集大量新缺陷的样本进行重新训练模型,才能对该缺陷进行检测。
生成对抗网络GAN(Generative Adversarial Networks)是一种生成对抗模型,受到博弈论影响,模型通常由一个生成器和一个判别器构成。生成器捕获真实数据的潜在分布,并且生成新的数据样本;判别器是二分类器,判别输入数据为真实数据还是由生成器生成的样本。传统的生成对抗网络旨在从随机高斯噪声中捕获真实数据分布,其目的为生成足以以假乱真的图片。生成器和判别器网络结构均为卷积神经网络。基于GAN实现面板缺陷检测是一个比较新的领域,目前AOI相关厂商还未公开提出有效的解决办法。如何设计实现准确率高、实时性好的基于GAN的面板缺陷检测方法,将是一个非常具有挑战性的问题。
发明内容
本申请实施例通过提供一种基于GAN的AOI缺陷检测方法,解决了现有技术中面板缺陷检测方法对缺陷样本的数量要求比较高、对新的缺陷种类无法实现检测的问题。
本申请实施例提供一种基于GAN的AOI缺陷检测方法,包括以下步骤:
收集正常面板样本图片作为正样本;
根据所述正样本建立训练集、验证集;
使用所述训练集和所述验证集对缺陷检测神经网络进行训练,所述缺陷检测神经网络具有生成器、第一判别器、第二判别器;
采集待检测面板图片;
将所述待检测面板图片输入至所述缺陷检测神经网络的所述生成器中,获得待检测面板图片的低维隐空间变量;
将所述待检测面板图片的低维隐空间变量与学习到的正样本低维隐空间变量进行比较,根据比较结果判定所述待检测面板图片为正样本或负样本。
优选的,所述生成器用于将高维的图片映射到低维的隐变量空间;
所述第一判别器用于学习到真实的面板图片的低维分布;
所述第二判别器用于对输入的低维隐变量、从标准正态分布中采样的变量进行训练,使得低维隐变量的先验分布逼近标准正态分布。
优选的,对所述缺陷检测神经网络进行训练的过程中将所述第一判别器和所述第二判别器的损失函数进行线性加权求和。
优选的,所述损失函数为隐变量的均方误差函数。
优选的,所述待检测面板图片输入至所述缺陷检测神经网络的所述生成器之前,还包括:对所述待检测面板图片进行预处理。
优选的,所述预处理包括:
对所述待检测面板图片进行灰度化处理;
将所述待检测面板图片裁剪为W*V个大小为K*K像素的子图片。
优选的,将所述待检测面板图片的低维隐空间变量与学习到的正样本低维隐空间变量进行比较,根据比较结果判定所述待检测面板图片为正样本或负样本的具体方法为:判断所述待检测面板图片的低维隐空间变量与学习到的正样本低维隐空间变量的差异是否大于预设的阈值;若大于所述阈值,则判定所述待检测面板图片为负样本;否则,判定所述待检测面板图片为正样本。
优选的,在使用所述训练集和所述验证集对缺陷检测神经网络进行训练之后还包括:
收集缺陷面板样本图片作为负样本;
根据所述正样本和所述负样本建立测试集;
使用所述测试集对所述缺陷检测神经网络进行测试。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
在本申请实施例中,首先收集正常面板样本图片作为正样本,根据正样本建立训练集、验证集,并使用训练集和验证集对缺陷检测神经网络进行训练,其中,缺陷检测神经网络具有生成器、第一判别器、第二判别器。即本发明首先通过生成对抗网络学习正常样本的数据分布,将高维的图像映射到低维的隐变量空间,在模型训练阶段,通过学习大量正常样本的特征,正常样本在隐空间学习到比较统一的表征。在缺陷检测神经网络训练好后,采集待检测面板图片,并将待检测面板图片输入至训练好的缺陷检测神经网络的生成器中,获得待检测面板图片的低维隐空间变量,接着将待检测面板图片的低维隐空间变量与学习到的正样本低维隐空间变量进行比较,根据比较结果判定待检测面板图片为正样本或负样本。即本发明由于在模型训练阶段并未对异常样本进行学习,因此异常样本在隐空间将会与正常样本差别很大,利用正常样本和异常样本之间差异可实现基于GAN的面板缺陷检测。综上,本发明提出了一种对缺陷样本要求低,效率高的基于GAN的面板缺陷检测方法,通过该方法只需收集正常样本用于训练,对缺陷数据要求低,大大缩短算法实现的周期;且当产线出现新的缺陷种类时,不需要重新设计算法即可实现对缺陷的检测。
附图说明
为了更清楚地说明本实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一个实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于GAN的AOI缺陷检测方法中缺陷检测神经网络结构图;
图2为本发明实施例提供的一种基于GAN的AOI缺陷检测方法中训练阶段和检测阶段的流程图。
具体实施方式
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本发明提供的一种基于GAN的AOI缺陷检测方法的主要思路如下:
首先通过生成对抗网络学习正常样本的数据分布,将高维的图像映射到低维的隐变量空间,在模型训练阶段,通过学习大量正常样本的特征,正常样本在隐空间学习到比较统一的表征;由于训练阶段并未对异常样本进行学习,异常样本在隐空间将会与正常样本差别很大,通过调节正常样本和异常样本之间差异的阈值,实现基于GAN的面板缺陷检测。
本发明提供的一种基于GAN的AOI缺陷检测方法包括:训练阶段和检测阶段。其中,所述训练阶段包括模型训练和模型测试。
所述模型训练包括:
(1)收集正常面板样本图片,作为正样本;
(2)根据所述正样本建立训练集、验证集;
(3)使用所述训练集和所述验证集对缺陷检测神经网络进行训练,所述缺陷检测神经网络具有生成器、第一判别器、第二判别器。
所述模型测试包括:
(1)收集缺陷面板样本图片,作为负样本;
(2)根据所述正样本和所述负样本建立测试集;
(3)使用所述测试集对所述缺陷检测神经网络进行测试,检测训练好的缺陷检测神经网络的效果。
所述训练集在训练过程中网络损失函数的梯度反向传播,让模型趋于收敛。所述验证集在训练过程中评估当前模型的效果。所述测试集不参与训练过程,用于最终评估模型效果。
所述检测阶段包括:
(1)采集待检测面板图片;
(2)将所述待检测面板图片输入至训练好的所述缺陷检测神经网络的所述生成器中,获得待检测面板图片的低维隐空间变量;
(3)将所述待检测面板图片的低维隐空间变量与学习到的正样本低维隐空间变量进行比较,根据比较结果判定所述待检测面板图片为正样本或负样本。
本发明提供的一种基于GAN的AOI缺陷检测方法的总体流程参见图2,包括:
步骤1:准备数据(正常样本),采集待检测面板图片。
步骤2:对待检测面板图片进行预处理:将面板图片进行灰度化处理;再将图片裁剪为W*V个大小为K*K像素的子图片。
步骤3:建立训练集、验证集和测试集:人工挑选正常样本和缺陷样本分别作为正样本和负样本。训练集和验证集(用于模型的训练)中只包含正样本,测试集(用于模型的测试)中包含正样本和负样本。
步骤4:采用的算法模型是基于生成对抗网络实现,包含如下子步骤:
步骤4.1使用准备好的训练集和验证集对设计的缺陷检测神经网络(如图1所示)进行训练。缺陷检测神经网络包含一个生成器和两个判别器(分别记作第一判别器和第二判别器)。训练过程中,第一判别器(即图1中的判别器1)使得生成器生成的图片尽可能的模拟真实的面板图片,从而使得隐变量学习到真实的面板图片的低维分布。低维隐变量(N维)与从标准正态分布中采样的变量(N维)通过第二判别器(即图1中的判别器2)进行训练,使得低维隐变量(N维)的先验分布尽可能逼近标准正态分布,实现更好的捕获真实样本的分布。训练过程中将第一判别器和第二判别器的损失函数进行线性加权求和。即本发明中的缺陷检测神经网络使用两个判别器结构来捕获真实样本的分布。
步骤4.2将待检测面板图片输入到步骤4.1训练好的缺陷检测神经网络模型的生成器中,输出待检测面板图片的低维隐空间变量。由于生成器中的模型在训练过程中只学习正样本,当输入负样本时,模型输出的低维隐空间变量与正样本将有较大差异。
步骤4.3特征比对,根据待检测面板图片的低维隐空间变量与步骤4.1学习到的正样本低维隐空间变量的差异判定待检测样本为正样本或负样本,检测过程中的损失函数为隐变量的均方误差函数。
本发明实施例提供的一种基于GAN的AOI缺陷检测方法至少包括如下技术效果:
本发明从包含海量正常样本的数据集中训练神经网络模型,大大降低了收集工业检测缺陷数据的难度,在保证准确率和实时性的前提下,对缺陷类型有较强的鲁棒性。且当产线出现新的缺陷种类时,不需要重新设计算法即可实现对缺陷的检测。
最后所应说明的是,以上具体实施方式仅用以说明本发明的技术方案而非限制,尽管参照实例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (4)
1.一种基于GAN的AOI缺陷检测方法,其特征在于,包括以下步骤:
收集正常面板样本图片作为正样本;
根据所述正样本建立训练集、验证集;
使用所述训练集和所述验证集对缺陷检测神经网络进行训练,所述缺陷检测神经网络具有生成器、第一判别器、第二判别器;
采集待检测面板图片;
将所述待检测面板图片输入至所述缺陷检测神经网络的所述生成器中,获得待检测面板图片的低维隐空间变量;
将所述待检测面板图片的低维隐空间变量与学习到的正样本低维隐空间变量进行比较,根据比较结果判定所述待检测面板图片为正样本或负样本;判断所述待检测面板图片的低维隐空间变量与学习到的正样本低维隐空间变量的差异是否大于预设的阈值;若大于所述阈值,则判定所述待检测面板图片为负样本;否则,判定所述待检测面板图片为正样本;
所述生成器用于将高维的图片映射到低维的隐变量空间;
所述第一判别器用于学习到真实的面板图片的低维分布;
所述第二判别器用于对输入的低维隐变量、从标准正态分布中采样的变量进行训练,使得低维隐变量的先验分布逼近标准正态分布;
对所述缺陷检测神经网络进行训练的过程中将所述第一判别器和所述第二判别器的损失函数进行线性加权求和;
所述损失函数为隐变量的均方误差函数。
2.根据权利要求1所述的基于GAN的AOI缺陷检测方法,其特征在于,所述待检测面板图片输入至所述缺陷检测神经网络的所述生成器之前,还包括:对所述待检测面板图片进行预处理。
3.根据权利要求2所述的基于GAN的AOI缺陷检测方法,其特征在于,所述预处理包括:
对所述待检测面板图片进行灰度化处理;
将所述待检测面板图片裁剪为W*V个大小为K*K像素的子图片。
4.根据权利要求1所述的基于GAN的AOI缺陷检测方法,其特征在于,在使用所述训练集和所述验证集对缺陷检测神经网络进行训练之后还包括:
收集缺陷面板样本图片作为负样本;
根据所述正样本和所述负样本建立测试集;
使用所述测试集对所述缺陷检测神经网络进行测试。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910020529.2A CN109829895B (zh) | 2019-01-09 | 2019-01-09 | 一种基于gan的aoi缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910020529.2A CN109829895B (zh) | 2019-01-09 | 2019-01-09 | 一种基于gan的aoi缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109829895A CN109829895A (zh) | 2019-05-31 |
CN109829895B true CN109829895B (zh) | 2021-08-17 |
Family
ID=66860117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910020529.2A Active CN109829895B (zh) | 2019-01-09 | 2019-01-09 | 一种基于gan的aoi缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109829895B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112150174B (zh) * | 2019-06-27 | 2024-04-02 | 百度在线网络技术(北京)有限公司 | 一种广告配图方法、装置及电子设备 |
CN110706308B (zh) * | 2019-09-07 | 2020-09-25 | 创新奇智(成都)科技有限公司 | 一种基于gan的钢卷端面边损人造样本生成方法 |
CN111062918B (zh) * | 2019-12-10 | 2023-11-21 | 歌尔股份有限公司 | 一种基于计算机视觉的异常检测方法及装置 |
CN111507945B (zh) * | 2020-03-31 | 2022-08-16 | 成都数之联科技股份有限公司 | 一种使用无缺陷图训练深度学习缺陷检测模型的方法 |
CN111784666A (zh) * | 2020-06-30 | 2020-10-16 | 深兰科技(达州)有限公司 | 基于学习记忆的led灯珠缺陷检测方法 |
CN111767874B (zh) * | 2020-07-06 | 2024-02-13 | 中兴飞流信息科技有限公司 | 一种基于深度学习的路面病害检测方法 |
CN112348806B (zh) * | 2020-11-14 | 2022-08-26 | 四川大学华西医院 | 一种无参考数字病理切片模糊度评价方法 |
CN112669267B (zh) * | 2020-12-18 | 2024-07-09 | 平安科技(深圳)有限公司 | 一种电路板缺陷检测方法、装置、电子设备和存储介质 |
CN112819758A (zh) * | 2021-01-19 | 2021-05-18 | 武汉精测电子集团股份有限公司 | 训练数据集的生成方法及装置 |
CN113333329A (zh) * | 2021-08-04 | 2021-09-03 | 南京创智出彩科技有限公司 | 一种基于深度学习的烟支缺陷检测系统 |
CN114862832A (zh) * | 2022-05-31 | 2022-08-05 | 北京中祥英科技有限公司 | 缺陷检测模型的优化方法、装置、设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106875373B (zh) * | 2016-12-14 | 2019-12-20 | 惠州旭鑫智能技术有限公司 | 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法 |
CN108009628B (zh) * | 2017-10-30 | 2020-06-05 | 杭州电子科技大学 | 一种基于生成对抗网络的异常检测方法 |
CN108734690B (zh) * | 2018-03-02 | 2021-12-14 | 苏州汉特士视觉科技有限公司 | 一种视觉缺陷检测设备及其检测方法 |
CN108802041B (zh) * | 2018-03-16 | 2023-05-05 | 惠州旭鑫智能技术有限公司 | 一种屏幕检测的小样本集快速换型的方法 |
CN108961217B (zh) * | 2018-06-08 | 2022-09-16 | 南京大学 | 一种基于正例训练的表面缺陷检测方法 |
-
2019
- 2019-01-09 CN CN201910020529.2A patent/CN109829895B/zh active Active
Non-Patent Citations (3)
Title |
---|
GANomaly: Semi-supervised Anomaly Detection via Adversarial Training;Samet Akcay etc;《Computer Vision-ACCV 2018. ACCV 2018. Lecture Notes in Computer Science》;20181206;第11363卷;第622–637页 * |
Generative Probabilistic Novelty Detection with Adversarial Autoencoders;Stanislav Pidhorskyi etc;《Advances in Neural Information Processing Systems 31(NIPS2018)》;20181208;第1-12页 * |
Industrial Anomaly Detection and One-class Classification using Generative Adversarial Networks;Y. T. K. Lai etc;《Proceedings of the 2018 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM)》;20180712;第1444-1449页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109829895A (zh) | 2019-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109829895B (zh) | 一种基于gan的aoi缺陷检测方法 | |
CN111553929B (zh) | 基于融合网络的手机屏幕缺陷分割方法、装置及设备 | |
CN106875373B (zh) | 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法 | |
CN107123111B (zh) | 一种用于手机屏幕缺陷检测的深度残差网络构造方法 | |
CN113205063A (zh) | 一种输电导线缺陷的视觉识别及定位方法 | |
CN113505865A (zh) | 一种基于卷积神经网络的片材表面缺陷图像识别处理方法 | |
CN110009622B (zh) | 一种显示面板外观缺陷检测网络及其缺陷检测方法 | |
CN113298190B (zh) | 一种基于大尺寸的不平衡样本的焊缝图像识别分类算法 | |
CN113822842A (zh) | 一种基于多任务学习的工业缺陷检测方法 | |
CN116152244A (zh) | 一种smt缺陷检测方法、系统 | |
CN111553898A (zh) | 一种基于卷积神经网络的面料疵点检测方法 | |
AU2021106346A4 (en) | Unsupervised coal flow anomaly detection method based on a generative adversarial learning | |
CN114565607A (zh) | 基于神经网络的织物缺陷图像分割方法 | |
CN116452581B (zh) | 一种基于机器视觉的电压源状态智能检测系统及方法 | |
CN113298857A (zh) | 一种基于神经网络融合策略的轴承缺陷检测方法 | |
CN116363136B (zh) | 一种机动车部件自动化生产在线筛选方法及系统 | |
CN117451716A (zh) | 一种工业产品表面缺陷检测方法 | |
CN116740460A (zh) | 一种基于卷积神经网络的pcb缺陷检测系统及检测方法 | |
CN115546141A (zh) | 一种基于多维度度量的小样本Mini LED缺陷检测方法及系统 | |
CN112730437A (zh) | 基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法、装置、存储介质及设备 | |
CN110910352A (zh) | 基于深度学习的太阳能电池缺陷检测系统及检测方法 | |
CN112686341B (zh) | 一种基于层数自适应卷积神经网络的图像分类方法 | |
CN117726627B (zh) | 芯片表面缺陷检测方法及设备 | |
CN113936028B (zh) | 一种结合自动产生三元图与深层空洞卷积网络之数字抠像系统 | |
CN117491357B (zh) | 一种涂料的质量监测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |