CN110349145B - 缺陷检测方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本发明公开了一种缺陷检测方法、装置、电子设备以及存储介质，包括：对训练样本上的缺陷进行标记，得到包含有标记位置信息和类别信息的标签；根据所述缺陷的标记位置信息确定所述缺陷在所述训练样本上的目标位置信息，并根据所述缺陷的目标位置信息截取缺陷图像；采用所述缺陷图像和所述缺陷的类别信息，并利用误差反向传播算法，训练分类神经网络；将测试样本的缺陷图像输入到训练后的所述分类神经网络中，以输出所述测试样本上的缺陷的类别信息。本发明可以达到更快的检测速度、更低的计算资源消耗和更高的检测准确率的技术效果，甚至可以省去人工复检，从而减少人工成本。

Description

缺陷检测方法、装置、电子设备以及存储介质

技术领域

本发明涉及机器学习技术领域，特别是指一种缺陷检测方法、装置、电子设备以及存储介质。

背景技术

Mura缺陷在显示上表现为亮度不均匀或较低的对比度，缺陷面积通常大于一个像素。Mura缺陷的产生原因有很多，主要包括：显示屏在生产过程中受到外部污染、像素充电率不均匀、PI分布不均匀等等。

目前，一般采用多种算法级联加人工复检的方式检测Mura缺陷，这种方式主要存在以下问题：

1、耗费时间长，运算消耗的电脑资源较多。比如，一台服务器计算一张图像的时间需要42秒，为了提高生产速度，需要使用六台服务器才可以将计算时间控制在7秒左右。

2、需要人工复检：采用多种算法级联检测Mura缺陷，由于使用的算法为传统的检测算法，需要根据实际情况设置合适的阈值将Mura缺陷与背景分割，阈值设置过大会造成漏检、设置过小会造成误检。为了减少漏检，通常会设置尽可能小的阈值，对于有Mura缺陷的显示屏再进行人工复检。

3、容易出现漏检：由于采用多种算法级联检测Mura，每种算法只能检测固定的一种或几种缺陷，如果出现新的Mura缺陷，需要添加新的算法来检测，因此在没有添加算法之前，会造成Mura缺陷的漏检。

4、评价不能定量化：只是通过设置阈值检测Mura缺陷，对于没有通过检测的显示器再进行人工复检，而Mura缺陷的类型、级别等信息均由人眼评价，这种方法具有很强的随机性和主观性，导致评价结果不能定量化。

发明内容

有鉴于此，本发明的目的在于提出一种缺陷检测方法、装置、电子设备以及存储介质，以解决现有技术中存在的技术问题。

根据本发明第一方面，其提供了一种缺陷检测方法，包括：

对训练样本上的缺陷进行标记，得到包含有标记位置信息和类别信息的标签；

根据所述缺陷的标记位置信息确定所述缺陷在所述训练样本上的目标位置信息，并根据所述缺陷的目标位置信息截取缺陷图像；

采用所述缺陷图像和所述缺陷的类别信息，并利用误差反向传播算法，训练分类神经网络；

将测试样本的缺陷图像输入到训练后的所述分类神经网络中，以输出所述测试样本上的缺陷的类别信息。

在本发明的一些实施例中，根据所述缺陷的标记位置信息确定所述缺陷在所述训练样本上的目标位置信息，包括：

采用基于神经网络的异常检测方法，得到所述缺陷的特征图像；

根据所述缺陷的标记位置信息和所述缺陷的特征图像，确定所述缺陷在所述训练样本上的目标位置信息。

在本发明的一些实施例中，采用基于神经网络的异常检测方法，得到所述缺陷的特征图像，包括：

将没有缺陷的背景图像输入到异常检测神经网络中，以训练所述异常检测神经网络；

将所述训练样本输入到训练后的所述异常检测神经网络中，以输出所述缺陷的特征图像。

在本发明的一些实施例中，根据所述缺陷的标记位置信息和所述缺陷的特征图像，确定所述缺陷在所述训练样本上的目标位置信息，包括：

采用所述缺陷的特征图像和所述缺陷的标记位置信息，并利用误差反向传播算法，训练位置归一化神经网络；

将所述缺陷的特征图像输入到训练后的所述位置归一化神经网络中，以输出所述缺陷在所述训练样本上的目标位置信息。

在本发明的一些实施例中，采用所述缺陷的特征图像和所述缺陷的标记位置信息，并利用误差反向传播算法，训练位置归一化神经网络，包括：

将所述缺陷的特征图像输入到位置归一化神经网络中，输出所述缺陷的估计位置信息；

根据所述缺陷的标记位置信息与估计位置信息计算损失函数；

通过计算所述损失函数的最小值，获得隐藏层的最优参数，根据所述最优参数优化所述位置归一化神经网络中的隐藏层，从而训练所述位置归一化神经网络。

在本发明的一些实施例中，根据所述缺陷的目标位置信息截取缺陷图像，包括：

根据所述缺陷的目标位置信息，从所述训练样本上截取缺陷图像或者从所述缺陷的特征图像上截取缺陷图像。

在本发明的一些实施例中，将测试样本的缺陷图像输入到训练后的所述分类神经网络中，以输出所述测试样本上的缺陷的类别之前，还包括：

将测试样本输入到训练后的所述异常检测神经网络中，以输出所述测试样本上的缺陷的特征图像；

将所述测试样本上的缺陷的特征图像输入到训练后的所述位置归一化神经网络中，以输出所述测试样本上的缺陷的目标位置信息；

根据所述测试样本上的缺陷的目标位置信息，从所述测试样本上截取缺陷图像或者从所述测试样本上的缺陷的特征图像上截取缺陷图像。

根据本发明第二方面，其提供了一种缺陷检测装置，包括：

标记模块，被配置为对训练样本上的缺陷进行标记，得到包含有标记位置信息和类别信息的标签；

截取模块，被配置为根据所述缺陷的标记位置信息确定所述缺陷在所述训练样本上的目标位置信息，根据所述缺陷的目标位置信息截取缺陷图像；

训练模块，被配置为采用所述缺陷图像和所述缺陷的类别信息训练分类神经网络；

检测模块，被配置为将测试样本的缺陷图像输入到训练后的所述分类神经网络中，以输出所述测试样本上的缺陷的类别信息。

在本发明的一些实施例中，所述截取模块还被配置为：

采用基于神经网络的异常检测方法，得到所述缺陷的特征图像；

根据所述缺陷的标记位置信息和所述缺陷的特征图像，确定所述缺陷在所述训练样本上的目标位置信息。

在本发明的一些实施例中，所述截取模块还被配置为：

将没有缺陷的背景图像输入到异常检测神经网络中，以训练所述异常检测神经网络；

将所述训练样本输入到训练后的所述异常检测神经网络中，以输出所述缺陷的特征图像。

在本发明的一些实施例中，所述截取模块还被配置为：

采用所述缺陷的特征图像和所述缺陷的标记位置信息，并利用误差反向传播算法，训练位置归一化神经网络；

将所述缺陷的特征图像输入到训练后的所述位置归一化神经网络中，以输出所述缺陷在所述训练样本上的目标位置信息。

在本发明的一些实施例中，所述截取模块还被配置为：

将所述缺陷的特征图像输入到位置归一化神经网络中，输出所述缺陷的估计位置信息；

根据所述缺陷的标记位置信息与估计位置信息计算损失函数；

通过计算所述损失函数的最小值，获得隐藏层的最优参数，根据所述最优参数优化所述位置归一化神经网络中的隐藏层，从而训练所述位置归一化神经网络。

在本发明的一些实施例中，所述截取模块还被配置为：

根据所述缺陷的目标位置信息，从所述训练样本上截取缺陷图像或者从所述缺陷的特征图像上截取缺陷图像。

在本发明的一些实施例中，所述检测模块还被配置为：

将测试样本输入到训练后的所述异常检测神经网络中，以输出所述测试样本上的缺陷的特征图像；

将所述测试样本上的缺陷的特征图像输入到训练后的所述位置归一化神经网络中，以输出所述测试样本上的缺陷的目标位置信息；

根据所述测试样本上的缺陷的目标位置信息，从所述测试样本上截取缺陷图像或者从所述测试样本上的缺陷的特征图像上截取缺陷图像。

根据本发明第三方面，其提供了一种电子设备，包括处理器和存储器，所述存储器用于存储计算机指令，其中，所述计算机指令被所述处理器运行时执行上述任一实施例中所述的缺陷检测方法。

根据本发明第四方面，其提供了一种存储介质，存储有适于由处理器运行的计算机指令，所述计算机指令被处理器运行时执行根据上述任一实施例中所述的缺陷检测方法。

相比于现有技术，本发明实施例提供的缺陷检测方法和装置可以达到更快的检测速度、更低的计算资源消耗和更高的检测准确率的技术效果，甚至可以省去人工复检，从而减少人工成本。采用本发明实施例提供的缺陷检测方法和装置，可以定量化描述缺陷，并且得到的结论更加可靠；可以在一定程度上分析缺陷产生的原因，为缺陷的不良分析提供一定的参考；还可以根据检测结果，生成检测报告，可以为工艺的调整、良率的提升提供可靠的依据，由此实现缺陷的智能化识别。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例中缺陷检测方法的流程图；

图2为本发明实施例中采集待测显示器的显示画面的示意图；

图3为本发明实施例中图像倾斜校正前后的示意图；

图4为本发明实施例中图像对比度增强处理前后的示意图；

图5为本发明实施例中采用python中的LabelImg工具标记缺陷标签的画面示意图；

图6为本发明实施例中剔除缺陷前后的图像示意图；

图7为本发明另一个实施例中缺陷检测方法的流程图；

图8为本发明再一个实施例中缺陷检测方法的流程图；

图9为本发明再一个实施例中基于三个神经网络的流程图；

图10为本发明实施例中缺陷检测装置的结构示意图；

图11为本发明实施例中电子设备的内部结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在一个本发明的实施例中，如图1所示，本发明实施例提供了一种缺陷检测方法，该方法包括：

步骤101，对训练样本上的缺陷进行标记，得到包含有标记位置信息和类别信息的标签。

首先，通过图像采集装置获取待测显示器的显示画面。具体地，在标准的测试环境下，通过图像传感器(Charged Coupled Device，简称CCD)采集待测显示器的显示画面。用人工的方法检测缺陷时，检测人员需要从不同的视角(30°-60°)，不同的距离观察缺陷。为了使检测结果更加符合实际观察效果，需要从不同角度、不同距离采集待测显示器的显示画面。如图2所示，控制CCD可以在一定的角度范围内转动，假设CCD与测试样品中垂线的夹角为α，则α的取值可以是30°-60°；同时可以调整CCD到测试样品(即待测显示器)的距离，由此获得多张带有缺陷的图像。进一步地，还可以切换待测显示器的显示画面，以获取不同灰度、不同颜色下待测显示器的显示画面，丰富训练样本，从而提高检测准确性。

清晰度是指图像上各细部影纹及其边界的清晰程度，在图像处理中，一般认为对焦好的图像具有更尖锐的边缘，即具有更大的梯度函数值，可以用Sobel算子、Laplacian梯度函数、SMD函数等计算图像梯度值。例如，Sobel算子计算清晰度计算步骤如下所示：

其中I(x,y)表示图像在(x,y)位置的灰阶，Gx和Gy表示两个卷积核；

基于上述清晰度计算，如果图像清晰度不够，则可以继续调整CCD的焦距，直到获取的图像清晰度达到要求。

然后，对获取的图像进行图像预处理。比如，对获取的图像进行图像倾斜校正、滤波处理和对比度增强处理等，以获取缺陷的准确形状和位置信息。由于从不同角度采集了待测显示器的显示画面，会造成画面倾斜的情况，因此需要对这些图像进行倾斜校正，如图3所示，可以基于霍夫变换将斜向图像(如图3a)调整为正向图像(如图3b)。图像滤波处理能够在尽量保留图像细节特征的条件下对图像的噪声进行抑制，其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。如图4所示，还可以对图像进行对比度增强处理，使画面中亮的地方更亮，暗的地方更暗，以增强明暗反差。经过图像预处理后的图像即为训练样本。

最后，对训练样本上的缺陷进行标记，得到包含有标记位置信息和类别信息的标签。其中，类别信息可以是分类信息，也可以是分类信息及其级别信息，还可以是缺陷产生的原因。举例来说，Mura缺陷一般可以分为暗态不均、亮点、暗点、周边发黄、摩尔纹、traceMura、M24、rubbing Mura、LC Drop等。具体地，可以通过软件标记缺陷，得到缺陷的标记位置信息，同时对缺陷进行分类和/或划分级别，或者缺陷产生的原因。如图5所示，其为采用python中的LabelImg工具标记缺陷标签的画面示意图，通过标记框的起点、长度和宽度就可以确定缺陷的坐标位置，并进一步在标签栏中输入该缺陷的所属分类及其级别，和/或缺陷产生的原因。

步骤102，根据所述缺陷的标记位置信息确定所述缺陷在所述训练样本上的目标位置信息，并根据所述缺陷的目标位置信息截取缺陷图像。

在该步骤中，根据步骤101中标记处的标记位置信息确定各个缺陷在训练样本上的目标位置信息(即准确的位置信息)，继而根据所述缺陷的目标位置信息截取缺陷图像，以供步骤103使用。

可选地，根据所述缺陷的标记位置信息确定所述缺陷在所述训练样本上的目标位置信息，包括：采用基于神经网络的异常检测方法，得到所述缺陷的特征图像；根据所述缺陷的标记位置信息和所述缺陷的特征图像，确定所述缺陷在所述训练样本上的目标位置信息。通过基于神经网络的异常检测方法可以准确地检测出各个训练样本上的各个缺陷的特征图像，从而可以根据各个缺陷的特征图像及其标记位置信息确定出各个缺陷在训练样本上的目标位置信息。

可选地，采用基于神经网络的异常检测方法，得到所述缺陷的特征图像，包括：将没有缺陷的背景图像输入到异常检测神经网络中，以训练所述异常检测神经网络；将所述训练样本输入到训练后的所述异常检测神经网络中，以输出所述缺陷的特征图像。如图6所示，可以通过数据异常处理，剔除掉各个训练样本上的各个缺陷，从而获得待测显示器各个显示画面没有缺陷的背景图像(即纯净画面)，也可以直接采集待测显示器各个显示画面没有缺陷的背景图像，本发明实施例对此不作限制。然后以没有缺陷的背景图像为输入，训练异常检测神经网络。最后，将步骤101中的训练样本输入到训练后的所述异常检测神经网络中，以输出各个缺陷对应的特征图像。

可选地，根据所述缺陷的标记位置信息和所述缺陷的特征图像，确定所述缺陷在所述训练样本上的目标位置信息，包括：采用所述缺陷的特征图像和所述缺陷的标记位置信息，并利用误差反向传播算法，训练位置归一化神经网络；将所述缺陷的特征图像输入到训练后的所述位置归一化神经网络中，以输出所述缺陷在所述训练样本上的目标位置信息。本发明实施例以异常检测神经网络输出的缺陷的特征图像为输入，以步骤101中标记的标记位置信息为目标函数，并利用误差反向传播算法，训练位置归一化神经网络；然后将缺陷的特征图像再次输入到训练后的所述位置归一化神经网络中，以输出所述缺陷在所述训练样本上的准确的位置信息。

可选地，采用所述缺陷的特征图像和所述缺陷的标记位置信息，并利用误差反向传播算法，训练位置归一化神经网络，包括：将所述缺陷的特征图像输入到位置归一化神经网络中，输出所述缺陷的估计位置信息；根据所述缺陷的标记位置信息与估计位置信息计算损失函数；通过计算所述损失函数的最小值，获得隐藏层的最优参数，根据所述最优参数优化所述位置归一化神经网络中的隐藏层，从而训练所述位置归一化神经网络。本发明实施例利用误差反向传播算法，不断迭代更新隐藏层参数。迭代训练的目标是获得使损失函数取最小值的优化参数，即为极值。通过多样本训练，可以获得隐藏层的优化参数，此时损失函数取最小值，即估计位置信息与标记位置信息的误差最小。

可选地，根据所述缺陷的目标位置信息截取缺陷图像，包括：根据所述缺陷的目标位置信息，从所述训练样本上截取缺陷图像或者从所述缺陷的特征图像上截取缺陷图像。由于在异常检测的步骤中，已经得到了缺陷的特征图像，因此可以根据缺陷的目标位置信息，直接从特征图像上截取缺陷图像，以简化后续步骤。

步骤103，采用所述缺陷图像和所述缺陷的类别信息，并利用误差反向传播算法，训练分类神经网络。

在该步骤中，以步骤102中截取的缺陷图像为输入，以步骤101中标记的类别信息为目标向量，并利用误差反向传播算法，训练分类神经网络。该步骤103的训练过程与步骤102中训练位置归一化神经网络的过程类似，不再赘述。

其中，输入为单个缺陷图像，输出为该缺陷对应的类别信息。一张图像上可能含有多个缺陷，则需要将每个缺陷的缺陷图像都单独地输入到分类神经网络中，输出是该缺陷对应的类别信息，也就是一个缺陷、一个缺陷地进行分类和判级。

步骤104，将测试样本的缺陷图像输入到训练后的所述分类神经网络中，以输出所述测试样本上的缺陷的类别信息。

首先需要获取测试样本的缺陷图像，然后将测试样本的缺陷图像输入到训练后的所述分类神经网络中，以输出所述测试样本上的缺陷的类别信息，从而实现对缺陷的分类和/或评级。

其中，可以采用如下方法获取测样样本的缺陷图像：将测试样本输入到训练后的所述异常检测神经网络中，以输出所述测试样本上的缺陷的特征图像；将所述测试样本上的缺陷的特征图像输入到训练后的所述位置归一化神经网络中，以输出所述测试样本上的缺陷的目标位置信息；根据所述测试样本上的缺陷的目标位置信息，从所述测试样本上截取缺陷图像或者从所述测试样本上的缺陷的特征图像上截取缺陷图像。该步骤与步骤102中截取训练样本上的缺陷图像的步骤类似，不再赘述。

相比于现有技术，本发明实施例提供的缺陷检测方法可以达到更快的检测速度、更低的计算资源消耗和更高的检测准确率的技术效果，甚至可以省去人工复检，从而减少人工成本。采用本发明实施例提供的缺陷检测方法，可以定量化描述缺陷，并且得到的结论更加可靠；可以在一定程度上分析缺陷产生的原因，为缺陷的不良分析提供一定的参考；还可以根据检测结果，生成检测报告，可以为工艺的调整、良率的提升提供可靠的依据，由此实现缺陷的智能化识别。

作为本发明的另一个实施例，如图7所示，所述缺陷检测方法可以包括以下步骤：

步骤701，通过CCD获取待测显示器的显示画面，计算CCD获取的图像的清晰度，如果图像清晰度不够，则可以继续调整CCD的焦距，直到获取的图像清晰度达到要求。

控制CCD可以在一定的角度范围(例如30°-60°)内转动，同时可以调整CCD到测试样品(即待测显示器)的距离，由此获得多张带有缺陷的图像。进一步地，还可以切换待测显示器的显示画面，以获取不同灰度、不同颜色下待测显示器的显示画面，将采集到的图像作为训练样本。接着，对训练样本进行图像预处理。比如图像倾斜校正、滤波处理和对比度增强处理等。

步骤702，对训练样本上的缺陷进行标记，得到包含有标记位置信息和类别信息的标签。可以通过采用python中的LabelImg工具标记缺陷，得到缺陷(比如Mura)的标记位置信息，同时对缺陷进行分类和/或划分级别，以及缺陷产生的原因等。

步骤703，通过数据异常处理，剔除掉各个训练样本上的各个缺陷，从而获得待测显示器各个显示画面没有缺陷的背景图像(即纯净画面)。需要指出的是，如果已经有没有缺陷的背景图像，则可以省去该步骤。

步骤704，将没有缺陷的背景图像输入到异常检测神经网络中，以训练所述异常检测神经网络。

异常检测神经网络的训练为无监督学习，比如Auto-Encode自编码器。采用没有缺陷的背景图像训练神经网络，当神经网络训练好之后，就可以区分图像中有没有缺陷。使用没有缺陷的背景图片训练神经网络的目的是尽可能的将图像上所有的缺陷都找出来，减小漏检率。

步骤705，将所述训练样本输入到训练后的所述异常检测神经网络中，以输出所述缺陷的特征图像。

训练后的异常检测神经网络能够判断输入的图像中是否包含有缺陷。如果输入异常检测神经网络的图像没有缺陷，则不会提取到缺陷的特征图像，无法参与接下来的训练，只参与异常检测神经网络的训练。如果输入异常检测神经网络的图像含有缺陷，则可以通过异常检测神经网络提取到所述缺陷的特征图像。

训练好的异常检测神经网络可以用来检测输入图像中每个像素是否有缺陷，并对各个像素进行标记(相当于一个二分类网络)，可选地，为了区分缺陷区域和非缺陷区域，可以将有缺陷的像素标记为1，将没有缺陷的像素标记为0，以便于提取到缺陷的特征图像。这样可以得到缺陷的大概位置信息，但是这个位置信息与步骤702中标记的位置信息并不一定完全重合，可能或多或少还是有很大的差异，所以需要对缺陷的位置信息进行位置回归操作，即步骤706和步骤707。

步骤706，采用所述缺陷的特征图像和所述缺陷的标记位置信息，并利用误差反向传播算法，训练位置归一化神经网络。

步骤707，将所述缺陷的特征图像输入到训练后的所述位置归一化神经网络中，以输出所述缺陷在所述训练样本上的目标位置信息。这样做的目的是通过位置回归，得到图像上每一个缺陷的准确位置信息。

步骤708，根据所述缺陷的目标位置信息，从所述训练样本上截取缺陷图像或者从所述缺陷的特征图像上截取缺陷图像。至此可以截取到单个缺陷的缺陷图像，作为分类神经网络的输入。

步骤709，采用所述缺陷图像和所述缺陷的类别信息，并利用误差反向传播算法，训练分类神经网络。

输入为单个缺陷图像，输出为该缺陷对应的类别信息。一张图像上可能含有多个缺陷，则需要将每个缺陷的缺陷图像都单独地输入到分类神经网络中，输出是该缺陷对应的类别信息。

步骤710，将测试样本输入到训练后的所述异常检测神经网络中，以输出所述测试样本上的缺陷的特征图像。

步骤711，将所述测试样本上的缺陷的特征图像输入到训练后的所述位置归一化神经网络中，以输出所述测试样本上的缺陷的目标位置信息。该步骤通过位置归一化神经网络对训练样本中的各个缺陷进行位置回归，找到这些缺陷的准确位置信息。

步骤712，根据所述测试样本上的缺陷的目标位置信息，从所述测试样本上截取缺陷图像或者从所述测试样本上的缺陷的特征图像上截取缺陷图像。

步骤713，将所述测试样本的缺陷图像输入到训练后的所述分类神经网络中，以输出所述测试样本上的缺陷的类别信息。

因此，可以根据步骤707中输出的所述缺陷在所述训练样本上的目标位置信息和步骤703中输出的所述缺陷的类别信息对所述训练样本上的缺陷进行标记，至此完成缺陷检测流程。

对于神经网络的性能评估，一般采用标记好的没有训练过的图像进行测试，通过比较网络识别结果与标记结果评价网络性能。当然也可以使用没有标记过的图像进行测试，通过人为记录，建立混淆矩阵，从而计算网络性能。

作为本发明的再一个实施例，如图8-9所示，所述缺陷检测方法可以描述为：

(1)通过CCD采集图像，对采集到的图像进行清晰度评价，如果清晰度大于等于预设值，则通过CCD获取待测显示器的画面图像，作为训练样本；如果清晰度小于预设值，则调整CCD的焦距，直到获取的图像清晰度达到要求。

(2)对训练样本标记标签，采用没有缺陷的背景图像训练异常检测神经网络，将所述训练样本输入到训练后的所述异常检测神经网络中，以输出所述缺陷的特征图像。

(3)采用所述缺陷的特征图像和所述缺陷的标记位置信息，并利用误差反向传播算法，训练位置归一化神经网络；将所述缺陷的特征图像输入到训练后的所述位置归一化神经网络中，以输出所述缺陷在所述训练样本上的目标位置信息。

(4)根据所述缺陷的目标位置信息，从所述训练样本上截取缺陷图像或者从所述缺陷的特征图像上截取缺陷图像，得到单个缺陷的缺陷图像。

(5)采用所述缺陷图像和所述缺陷的类别信息，并利用误差反向传播算法，训练分类神经网络。

(6)将测试样本的缺陷图像输入到训练后的所述分类神经网络中，以输出所述测试样本上的缺陷的类别信息。

在一个实施例中，如图10所示，提供了一种缺陷检测装置，该缺陷检测装置1000包括标记模块1001、截取模块1002、训练模块1003和检测模块1004。其中，标记模块1001被配置为对训练样本上的缺陷进行标记，得到包含有标记位置信息和类别信息的标签；截取模块1002被配置为根据所述缺陷的标记位置信息确定所述缺陷在所述训练样本上的目标位置信息，根据所述缺陷的目标位置信息截取缺陷图像；训练模块1003被配置为采用所述缺陷图像和所述缺陷的类别信息训练分类神经网络；检测模块1004被配置为将测试样本的缺陷图像输入到训练后的所述分类神经网络中，以输出所述测试样本上的缺陷的类别信息。

在本发明的一些实施例中，截取模块1002还被配置为：采用基于神经网络的异常检测方法，得到所述缺陷的特征图像；根据所述缺陷的标记位置信息和所述缺陷的特征图像，确定所述缺陷在所述训练样本上的目标位置信息。

在本发明的一些实施例中，截取模块1002还被配置为：将没有缺陷的背景图像输入到异常检测神经网络中，以训练所述异常检测神经网络；将所述训练样本输入到训练后的所述异常检测神经网络中，以输出所述缺陷的特征图像。

在本发明的一些实施例中，截取模块1002还被配置为：采用所述缺陷的特征图像和所述缺陷的标记位置信息，并利用误差反向传播算法，训练位置归一化神经网络；将所述缺陷的特征图像输入到训练后的所述位置归一化神经网络中，以输出所述缺陷在所述训练样本上的目标位置信息。

在本发明的一些实施例中，截取模块1002还被配置为：将所述缺陷的特征图像输入到位置归一化神经网络中，输出所述缺陷的估计位置信息；根据所述缺陷的标记位置信息与估计位置信息计算损失函数；通过计算所述损失函数的最小值，获得隐藏层的最优参数，根据所述最优参数优化所述位置归一化神经网络中的隐藏层，从而训练所述位置归一化神经网络。

在本发明的一些实施例中，截取模块1002还被配置为：根据所述缺陷的目标位置信息，从所述训练样本上截取缺陷图像或者从所述缺陷的特征图像上截取缺陷图像。

在本发明的一些实施例中，检测模块1004还被配置为：将测试样本输入到训练后的所述异常检测神经网络中，以输出所述测试样本上的缺陷的特征图像；将所述测试样本上的缺陷的特征图像输入到训练后的所述位置归一化神经网络中，以输出所述测试样本上的缺陷的目标位置信息；根据所述测试样本上的缺陷的目标位置信息，从所述测试样本上截取缺陷图像或者从所述测试样本上的缺陷的特征图像上截取缺陷图像。

相比于现有技术，本发明实施例提供的缺陷检测装置可以达到更快的检测速度、更低的计算资源消耗和更高的检测准确率的技术效果，甚至可以省去人工复检，从而减少人工成本。采用本发明实施例提供的缺陷检测装置，可以定量化描述缺陷，并且得到的结论更加可靠；可以在一定程度上分析缺陷产生的原因，为缺陷的不良分析提供一定的参考；还可以根据检测结果，生成检测报告，可以为工艺的调整、良率的提升提供可靠的依据，由此实现缺陷的智能化识别。

本领域技术人员可以理解的是，上述缺陷检测装置中各个模块和单元的划分仅用于举例说明，在其他实施例中，可将缺陷检测装置按照需要划分为不同的模块和单元，以完成上述缺陷检测装置的全部或部分功能。

根据本发明实施例，还提供了一种电子设备，如图11所示，该电子设备包括处理器1101以及存储器1102，该存储器1102配置为存储计算机程序指令，计算机程序指令适于由处理器1101加载并执行如下方法：对训练样本上的缺陷进行标记，得到包含有标记位置信息和类别信息的标签；根据所述缺陷的标记位置信息确定所述缺陷在所述训练样本上的目标位置信息，并根据所述缺陷的目标位置信息截取缺陷图像；采用所述缺陷图像和所述缺陷的类别信息，并利用误差反向传播算法，训练分类神经网络；将测试样本的缺陷图像输入到训练后的所述分类神经网络中，以输出所述测试样本上的缺陷的类别信息。

该处理器可以为各种适用的处理器，例如实现为中央处理器、微处理器、嵌入处理器等形式，可以采用X86、ARM等架构；存储器1102可以为各种适用的存储装置，包括但不限于磁存储装置、半导体存储装置、光存储装置等，本发明的实施例对这些不作限制。

本发明所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM，Read-Only Memory)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

此外，根据本发明的一个实施例，处理器1101还可以加载并执行：采用基于神经网络的异常检测方法，得到所述缺陷的特征图像；根据所述缺陷的标记位置信息和所述缺陷的特征图像，确定所述缺陷在所述训练样本上的目标位置信息。

此外，根据本发明的一个实施例，处理器1101还可以加载并执行：将没有缺陷的背景图像输入到异常检测神经网络中，以训练所述异常检测神经网络；将所述训练样本输入到训练后的所述异常检测神经网络中，以输出所述缺陷的特征图像。

此外，根据本发明的一个实施例，处理器1101还可以加载并执行：采用所述缺陷的特征图像和所述缺陷的标记位置信息，并利用误差反向传播算法，训练位置归一化神经网络；将所述缺陷的特征图像输入到训练后的所述位置归一化神经网络中，以输出所述缺陷在所述训练样本上的目标位置信息。

此外，根据本发明的一个实施例，处理器1101还可以加载并执行：将所述缺陷的特征图像输入到位置归一化神经网络中，输出所述缺陷的估计位置信息；根据所述缺陷的标记位置信息与估计位置信息计算损失函数；通过计算所述损失函数的最小值，获得隐藏层的最优参数，根据所述最优参数优化所述位置归一化神经网络中的隐藏层，从而训练所述位置归一化神经网络。

此外，根据本发明的一个实施例，处理器1101还可以加载并执行：根据所述缺陷的目标位置信息，从所述训练样本上截取缺陷图像或者从所述缺陷的特征图像上截取缺陷图像。

此外，根据本发明的一个实施例，处理器1101还可以加载并执行：将测试样本输入到训练后的所述异常检测神经网络中，以输出所述测试样本上的缺陷的特征图像；将所述测试样本上的缺陷的特征图像输入到训练后的所述位置归一化神经网络中，以输出所述测试样本上的缺陷的目标位置信息；根据所述测试样本上的缺陷的目标位置信息，从所述测试样本上截取缺陷图像或者从所述测试样本上的缺陷的特征图像上截取缺陷图像。

由此可见，相比于现有技术，本发明可以达到更快的检测速度、更低的计算资源消耗和更高的检测准确率的技术效果，甚至可以省去人工复检，从而减少人工成本。采用本发明实施例提供的缺陷检测方法、装置、电子设备或存储介质，可以定量化描述缺陷，并且得到的结论更加可靠；可以在一定程度上分析缺陷产生的原因，为缺陷的不良分析提供一定的参考；还可以根据检测结果，生成检测报告，可以为工艺的调整、良率的提升提供可靠的依据，由此实现缺陷的智能化识别。

需要说明的是，对于上述的系统、方法和电子设备实施例，为了简单描述，故将其都表述为一系列的动作或模块组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序或模块连接的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行，某些模块可以采用其他连接方式。

本领域技术人员也应该知悉，说明书中所描述的实施例均属于一种实施例，上述实施例序号仅仅为了描述，所涉及的动作和模块并不一定是本发明所必须的。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括易失性存储介质或非易失性存储介质，例如U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种缺陷检测方法，其特征在于，包括：

对训练样本上的缺陷进行标记，得到包含有标记位置信息和类别信息的标签；

根据所述缺陷的标记位置信息确定所述缺陷在所述训练样本上的目标位置信息，并根据所述缺陷的目标位置信息截取缺陷图像；

采用所述缺陷图像和所述缺陷的类别信息，并利用误差反向传播算法，训练分类神经网络；

将测试样本的缺陷图像输入到训练后的所述分类神经网络中，以输出所述测试样本上的缺陷的类别信息；

其中，根据所述缺陷的标记位置信息确定所述缺陷在所述训练样本上的目标位置信息，具体包括：采用基于神经网络的异常检测方法，得到所述缺陷的特征图像；采用所述缺陷的特征图像和所述缺陷的标记位置信息，并利用误差反向传播算法，训练位置归一化神经网络；以及，将所述缺陷的特征图像输入到训练后的所述位置归一化神经网络中，以输出所述缺陷在所述训练样本上的目标位置信息；

采用基于神经网络的异常检测方法，得到所述缺陷的特征图像，包括：将没有缺陷的背景图像输入到异常检测神经网络中，以训练所述异常检测神经网络；将所述训练样本输入到训练后的所述异常检测神经网络中，以输出所述缺陷的特征图像；

根据所述缺陷的目标位置信息截取缺陷图像，具体包括：根据所述缺陷的目标位置信息，从所述缺陷的特征图像上截取缺陷图像。

2.根据权利要求1所述的缺陷检测方法，其特征在于，采用所述缺陷的特征图像和所述缺陷的标记位置信息，并利用误差反向传播算法，训练位置归一化神经网络，包括：

将所述缺陷的特征图像输入到位置归一化神经网络中，输出所述缺陷的估计位置信息；

根据所述缺陷的标记位置信息与估计位置信息计算损失函数；

通过计算所述损失函数的最小值，获得隐藏层的最优参数，根据所述最优参数优化所述位置归一化神经网络中的隐藏层，从而训练所述位置归一化神经网络。

3.根据权利要求1所述的缺陷检测方法，其特征在于，将测试样本的缺陷图像输入到训练后的所述分类神经网络中，以输出所述测试样本上的缺陷的类别之前，还包括：

将测试样本输入到训练后的所述异常检测神经网络中，以输出所述测试样本上的缺陷的特征图像；

将所述测试样本上的缺陷的特征图像输入到训练后的所述位置归一化神经网络中，以输出所述测试样本上的缺陷的目标位置信息；

根据所述测试样本上的缺陷的目标位置信息，从所述测试样本上截取缺陷图像或者从所述测试样本上的缺陷的特征图像上截取缺陷图像。

4.一种缺陷检测装置，其特征在于，包括：

标记模块，被配置为对训练样本上的缺陷进行标记，得到包含有标记位置信息和类别信息的标签；

截取模块，被配置为根据所述缺陷的标记位置信息确定所述缺陷在所述训练样本上的目标位置信息，根据所述缺陷的目标位置信息截取缺陷图像；

训练模块，被配置为采用所述缺陷图像和所述缺陷的类别信息训练分类神经网络；

检测模块，被配置为将测试样本的缺陷图像输入到训练后的所述分类神经网络中，以输出所述测试样本上的缺陷的类别信息；

其中，所述截取模块还被配置为：采用基于神经网络的异常检测方法，得到所述缺陷的特征图像；采用所述缺陷的特征图像和所述缺陷的标记位置信息，并利用误差反向传播算法，训练位置归一化神经网络；将所述缺陷的特征图像输入到训练后的所述位置归一化神经网络中，以输出所述缺陷在所述训练样本上的目标位置信息；

所述截取模块还被配置为：将没有缺陷的背景图像输入到异常检测神经网络中，以训练所述异常检测神经网络；将所述训练样本输入到训练后的所述异常检测神经网络中，以输出所述缺陷的特征图像；

所述截取模块还被配置为：根据所述缺陷的目标位置信息，从所述缺陷的特征图像上截取缺陷图像。

5.根据权利要求4所述的缺陷检测装置，其特征在于，所述截取模块还被配置为：

将所述缺陷的特征图像输入到位置归一化神经网络中，输出所述缺陷的估计位置信息；

根据所述缺陷的标记位置信息与估计位置信息计算损失函数；

通过计算所述损失函数的最小值，获得隐藏层的最优参数，根据所述最优参数优化所述位置归一化神经网络中的隐藏层，从而训练所述位置归一化神经网络。

6.根据权利要求4所述的缺陷检测装置，其特征在于，所述检测模块还被配置为：

将测试样本输入到训练后的所述异常检测神经网络中，以输出所述测试样本上的缺陷的特征图像；

将所述测试样本上的缺陷的特征图像输入到训练后的所述位置归一化神经网络中，以输出所述测试样本上的缺陷的目标位置信息；

根据所述测试样本上的缺陷的目标位置信息，从所述测试样本上截取缺陷图像或者从所述测试样本上的缺陷的特征图像上截取缺陷图像。

7.一种电子设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机指令，其中，所述计算机指令被所述处理器运行时执行1-3中任一项权利要求所述的缺陷检测方法。

8.一种存储介质，存储有适于由处理器运行的计算机指令，所述计算机指令被处理器运行时执行根据权利要求1-3中任一项所述的缺陷检测方法。

Images