CN109829895A - 一种基于gan的aoi缺陷检测方法 - Google Patents

Abstract

本发明属于面板自动化缺陷检测技术领域，公开了一种基于GAN的AOI缺陷检测方法，包括：收集正常面板样本图片作为正样本，根据正样本建立训练集、验证集，使用训练集和验证集对缺陷检测神经网络进行训练，缺陷检测神经网络具有生成器、第一判别器、第二判别器；采集待检测面板图片，将待检测面板图片输入至缺陷检测神经网络的生成器中，获得待检测面板图片的低维隐空间变量，将待检测面板图片的低维隐空间变量与学习到的正样本低维隐空间变量进行比较，根据比较结果判定待检测面板图片为正样本或负样本。本发明能够大大降低收集工业检测缺陷数据的难度，且当产线出现新的缺陷种类时，不需要重新设计算法即可实现对缺陷的检测。

Description

一种基于GAN的AOI缺陷检测方法

技术领域

本发明涉及面板自动化缺陷检测技术领域，尤其涉及一种基于GAN的AOI缺陷检测方法。

背景技术

随着手机和消费电子产品的普及及其快速的更新换代，对工业产线的液晶屏幕和OLED屏幕有着极大的产量需求。从屏幕最终成型的整个过程中，由于原材料、生产工艺、意外等情况，屏幕上常常存在各种缺陷(例如破片、气泡、划伤、缺角、压痕等)，而这些存在缺陷的产品会影响其性能或降低用户体验，因而是不允许流入市场的。尽管在过去的十几年中，AOI(Automated Optical Inspection，自动光学检测)技术有了极大的进步，但目前的AOI技术主要基于传统计算机视觉算法设计，对一些比较小、颜色纹理特征不明显的缺陷检测效率低下，而且检测标准主观因素大，严重制约工业制造的自动化进程。

近年来，基于深度学习的面板缺陷检测方法被广大研究者所关注，也越来越受到厂商的青睐，但现行基于卷积神经网络的方法应用于工业检测领域时，在训练模型阶段需要收集大量的正常样本和缺陷样本，通过神经网络学习正常样本与缺陷样本的公共特征，在检测阶段时，通过比较待检测样本与学习到的正常样本与缺陷样本的公共特征，对其进行分类和检测。但由于面板生产过程中良率很高，这意味着合格的样本远远多于不合格的样本，这使得挑选足够多的缺陷样本用于训练神经网络分类器变的很困难。

基于卷积神经网络的面板缺陷检测算法会有以下三个问题：

1.算法对缺陷样本的数量要求比较高，需要对大量合格样本和不合格样本进行学习，才能得到比较好的性能。由于不合格样本比例极少，需要花费大量的人力成本才能挑选出足够的不合格样本；

2.算法要求不同缺陷的样本数量大致保持一致，若缺陷数据不平衡，会存在较大概率检测不出数量少的缺陷；

3.当面板生产线出现新的缺陷时，由于算法未学习到该缺陷的公共特征，将返回不确定的结果。需要重新收集大量新缺陷的样本进行重新训练模型，才能对该缺陷进行检测。

生成对抗网络GAN(Generative Adversarial Networks)是一种生成对抗模型，受到博弈论影响，模型通常由一个生成器和一个判别器构成。生成器捕获真实数据的潜在分布，并且生成新的数据样本；判别器是二分类器，判别输入数据为真实数据还是由生成器生成的样本。传统的生成对抗网络旨在从随机高斯噪声中捕获真实数据分布，其目的为生成足以以假乱真的图片。生成器和判别器网络结构均为卷积神经网络。基于GAN实现面板缺陷检测是一个比较新的领域，目前AOI相关厂商还未公开提出有效的解决办法。如何设计实现准确率高、实时性好的基于GAN的面板缺陷检测方法，将是一个非常具有挑战性的问题。

发明内容

本申请实施例通过提供一种基于GAN的AOI缺陷检测方法，解决了现有技术中面板缺陷检测方法对缺陷样本的数量要求比较高、对新的缺陷种类无法实现检测的问题。

本申请实施例提供一种基于GAN的AOI缺陷检测方法，包括以下步骤：

收集正常面板样本图片作为正样本；

根据所述正样本建立训练集、验证集；

使用所述训练集和所述验证集对缺陷检测神经网络进行训练，所述缺陷检测神经网络具有生成器、第一判别器、第二判别器；

采集待检测面板图片；

将所述待检测面板图片输入至所述缺陷检测神经网络的所述生成器中，获得待检测面板图片的低维隐空间变量；

将所述待检测面板图片的低维隐空间变量与学习到的正样本低维隐空间变量进行比较，根据比较结果判定所述待检测面板图片为正样本或负样本。

优选的，所述生成器用于将高维的图片映射到低维的隐变量空间；

所述第一判别器用于学习到真实的面板图片的低维分布；

所述第二判别器用于对输入的低维隐变量、从标准正态分布中采样的变量进行训练，使得低维隐变量的先验分布逼近标准正态分布。

优选的，对所述缺陷检测神经网络进行训练的过程中将所述第一判别器和所述第二判别器的损失函数进行线性加权求和。

优选的，所述损失函数为隐变量的均方误差函数。

优选的，所述待检测面板图片输入至所述缺陷检测神经网络的所述生成器之前，还包括：对所述待检测面板图片进行预处理。

优选的，所述预处理包括：

对所述待检测面板图片进行灰度化处理；

将所述待检测面板图片裁剪为W*V个大小为K*K像素的子图片。

优选的，将所述待检测面板图片的低维隐空间变量与学习到的正样本低维隐空间变量进行比较，根据比较结果判定所述待检测面板图片为正样本或负样本的具体方法为：判断所述待检测面板图片的低维隐空间变量与学习到的正样本低维隐空间变量的差异是否大于预设的阈值；若大于所述阈值，则判定所述待检测面板图片为负样本；否则，判定所述待检测面板图片为正样本。

优选的，在使用所述训练集和所述验证集对缺陷检测神经网络进行训练之后还包括：

收集缺陷面板样本图片作为负样本；

根据所述正样本和所述负样本建立测试集；

使用所述测试集对所述缺陷检测神经网络进行测试。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

在本申请实施例中，首先收集正常面板样本图片作为正样本，根据正样本建立训练集、验证集，并使用训练集和验证集对缺陷检测神经网络进行训练，其中，缺陷检测神经网络具有生成器、第一判别器、第二判别器。即本发明首先通过生成对抗网络学习正常样本的数据分布，将高维的图像映射到低维的隐变量空间，在模型训练阶段，通过学习大量正常样本的特征，正常样本在隐空间学习到比较统一的表征。在缺陷检测神经网络训练好后，采集待检测面板图片，并将待检测面板图片输入至训练好的缺陷检测神经网络的生成器中，获得待检测面板图片的低维隐空间变量，接着将待检测面板图片的低维隐空间变量与学习到的正样本低维隐空间变量进行比较，根据比较结果判定待检测面板图片为正样本或负样本。即本发明由于在模型训练阶段并未对异常样本进行学习，因此异常样本在隐空间将会与正常样本差别很大，利用正常样本和异常样本之间差异可实现基于GAN的面板缺陷检测。综上，本发明提出了一种对缺陷样本要求低，效率高的基于GAN的面板缺陷检测方法，通过该方法只需收集正常样本用于训练，对缺陷数据要求低，大大缩短算法实现的周期；且当产线出现新的缺陷种类时，不需要重新设计算法即可实现对缺陷的检测。

附图说明

为了更清楚地说明本实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于GAN的AOI缺陷检测方法中缺陷检测神经网络结构图；

图2为本发明实施例提供的一种基于GAN的AOI缺陷检测方法中训练阶段和检测阶段的流程图。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

本发明提供的一种基于GAN的AOI缺陷检测方法的主要思路如下：

首先通过生成对抗网络学习正常样本的数据分布，将高维的图像映射到低维的隐变量空间，在模型训练阶段，通过学习大量正常样本的特征，正常样本在隐空间学习到比较统一的表征；由于训练阶段并未对异常样本进行学习，异常样本在隐空间将会与正常样本差别很大，通过调节正常样本和异常样本之间差异的阈值，实现基于GAN的面板缺陷检测。

本发明提供的一种基于GAN的AOI缺陷检测方法包括：训练阶段和检测阶段。其中，所述训练阶段包括模型训练和模型测试。

所述模型训练包括：

(1)收集正常面板样本图片，作为正样本；

(2)根据所述正样本建立训练集、验证集；

(3)使用所述训练集和所述验证集对缺陷检测神经网络进行训练，所述缺陷检测神经网络具有生成器、第一判别器、第二判别器。

所述模型测试包括：

(1)收集缺陷面板样本图片，作为负样本；

(2)根据所述正样本和所述负样本建立测试集；

(3)使用所述测试集对所述缺陷检测神经网络进行测试，检测训练好的缺陷检测神经网络的效果。

所述训练集在训练过程中网络损失函数的梯度反向传播，让模型趋于收敛。所述验证集在训练过程中评估当前模型的效果。所述测试集不参与训练过程，用于最终评估模型效果。

所述检测阶段包括：

(1)采集待检测面板图片；

(2)将所述待检测面板图片输入至训练好的所述缺陷检测神经网络的所述生成器中，获得待检测面板图片的低维隐空间变量；

(3)将所述待检测面板图片的低维隐空间变量与学习到的正样本低维隐空间变量进行比较，根据比较结果判定所述待检测面板图片为正样本或负样本。

本发明提供的一种基于GAN的AOI缺陷检测方法的总体流程参见图2，包括：

步骤1：准备数据(正常样本)，采集待检测面板图片。

步骤2：对待检测面板图片进行预处理：将面板图片进行灰度化处理；再将图片裁剪为W*V个大小为K*K像素的子图片。

步骤3：建立训练集、验证集和测试集：人工挑选正常样本和缺陷样本分别作为正样本和负样本。训练集和验证集(用于模型的训练)中只包含正样本，测试集(用于模型的测试)中包含正样本和负样本。

步骤4：采用的算法模型是基于生成对抗网络实现，包含如下子步骤：

步骤4.1使用准备好的训练集和验证集对设计的缺陷检测神经网络(如图1所示)进行训练。缺陷检测神经网络包含一个生成器和两个判别器(分别记作第一判别器和第二判别器)。训练过程中，第一判别器(即图1中的判别器1)使得生成器生成的图片尽可能的模拟真实的面板图片，从而使得隐变量学习到真实的面板图片的低维分布。低维隐变量(N维)与从标准正态分布中采样的变量(N维)通过第二判别器(即图1中的判别器2)进行训练，使得低维隐变量(N维)的先验分布尽可能逼近标准正态分布，实现更好的捕获真实样本的分布。训练过程中将第一判别器和第二判别器的损失函数进行线性加权求和。即本发明中的缺陷检测神经网络使用两个判别器结构来捕获真实样本的分布。

步骤4.2将待检测面板图片输入到步骤4.1训练好的缺陷检测神经网络模型的生成器中，输出待检测面板图片的低维隐空间变量。由于生成器中的模型在训练过程中只学习正样本，当输入负样本时，模型输出的低维隐空间变量与正样本将有较大差异。

步骤4.3特征比对，根据待检测面板图片的低维隐空间变量与步骤4.1学习到的正样本低维隐空间变量的差异判定待检测样本为正样本或负样本，检测过程中的损失函数为隐变量的均方误差函数。

本发明实施例提供的一种基于GAN的AOI缺陷检测方法至少包括如下技术效果：

本发明从包含海量正常样本的数据集中训练神经网络模型，大大降低了收集工业检测缺陷数据的难度，在保证准确率和实时性的前提下，对缺陷类型有较强的鲁棒性。且当产线出现新的缺陷种类时，不需要重新设计算法即可实现对缺陷的检测。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于GAN的AOI缺陷检测方法，其特征在于，包括以下步骤：

收集正常面板样本图片作为正样本；

根据所述正样本建立训练集、验证集；

使用所述训练集和所述验证集对缺陷检测神经网络进行训练，所述缺陷检测神经网络具有生成器、第一判别器、第二判别器；

采集待检测面板图片；

将所述待检测面板图片输入至所述缺陷检测神经网络的所述生成器中，获得待检测面板图片的低维隐空间变量；

将所述待检测面板图片的低维隐空间变量与学习到的正样本低维隐空间变量进行比较，根据比较结果判定所述待检测面板图片为正样本或负样本。

2.根据权利要求1所述的基于GAN的AOI缺陷检测方法，其特征在于，所述生成器用于将高维的图片映射到低维的隐变量空间；

所述第一判别器用于学习到真实的面板图片的低维分布；

所述第二判别器用于对输入的低维隐变量、从标准正态分布中采样的变量进行训练，使得低维隐变量的先验分布逼近标准正态分布。

3.根据权利要求1或2所述的基于GAN的AOI缺陷检测方法，其特征在于，对所述缺陷检测神经网络进行训练的过程中将所述第一判别器和所述第二判别器的损失函数进行线性加权求和。

4.根据权利要求3所述的基于GAN的AOI缺陷检测方法，其特征在于，所述损失函数为隐变量的均方误差函数。

5.根据权利要求1所述的基于GAN的AOI缺陷检测方法，其特征在于，所述待检测面板图片输入至所述缺陷检测神经网络的所述生成器之前，还包括：对所述待检测面板图片进行预处理。

6.根据权利要求5所述的基于GAN的AOI缺陷检测方法，其特征在于，所述预处理包括：

对所述待检测面板图片进行灰度化处理；

将所述待检测面板图片裁剪为W*V个大小为K*K像素的子图片。

7.根据权利要求1所述的基于GAN的AOI缺陷检测方法，其特征在于，将所述待检测面板图片的低维隐空间变量与学习到的正样本低维隐空间变量进行比较，根据比较结果判定所述待检测面板图片为正样本或负样本的具体方法为：判断所述待检测面板图片的低维隐空间变量与学习到的正样本低维隐空间变量的差异是否大于预设的阈值；若大于所述阈值，则判定所述待检测面板图片为负样本；否则，判定所述待检测面板图片为正样本。

8.根据权利要求1所述的基于GAN的AOI缺陷检测方法，其特征在于，在使用所述训练集和所述验证集对缺陷检测神经网络进行训练之后还包括：

收集缺陷面板样本图片作为负样本；

根据所述正样本和所述负样本建立测试集；

使用所述测试集对所述缺陷检测神经网络进行测试。