CN108596226A - 一种基于深度学习的显示面板缺陷训练方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的显示面板缺陷训练方法及系统，根据Mura缺陷的特征，利用图形处理的方法手动模拟出各类Mura缺陷，形成样本库；通过深度神经网络进行模型训练，能快速地进行缺陷检测，同时快速输出缺陷类型，对缺陷进行准确识别。通过该方法，可以对面板的Mura缺陷进行准确的识别，能成功规避传统算法的局限，同时极大的降低了人力成本。

Description

一种基于深度学习的显示面板缺陷训练方法及系统

技术领域

本发明属于显示检测技术领域，涉及一种显示面板Mura缺陷训练方法及系统，具体涉及一种基于深度学习的显示面板缺陷训练方法及系统。

背景技术

在AOI缺陷检测中，Mura缺陷检测至关重要，直接影响了最终LCD(Liquid CrystalDisplay液晶显示器)面板质量和成品的等级输出结果。目前，Mura检测方法是通过人眼观察或者借助传统算法进行检测。人眼检测的过程存在很强的主观性，不利于严格划分等级，同时随着工作时间的延长，人也会出现疲劳，导致检测效率降低；传统算法检测时，需要搜集大量的样本进行样本训练和模型测试，由于Mura种类繁多，且不易观察，样本收集难度大、耗时长，同时客户并没有那么多缺陷屏可以提供。

目前可以直接采用现有的方法基于获得的Mura缺陷库对产线上的面板进行缺陷等级判定，如图1所示，现有Mura缺陷检测流程一般分为图像获取、亮度矫正、图像增强和缺陷检测4个流程。随着LCD大画面、轻薄化、高分辨率的发展趋势，Mura缺陷出现的几率大大增加，同时所处环境会越来越复杂，重复的纹理背景、整体亮度的不均匀以及缺陷模糊的边缘、较低的对比度使得图像处理中传统的亮度矫正和图片增强算法很难直接将Mura缺陷检出。

因为传统算法没有足够的样本进行本训练和模型测试，所以目前传统算法检测的过检率和漏检率也未能满足行业要求。为了有效提高LCD面板检测的检出率，需要寻求一种更稳定，精度更高的Mura缺陷检测方法。

发明内容

为了解决上述技术问题，本发明提供了一种基于深度学习的面板Mura缺陷训练方法及系统，根据可能存在的Mura缺陷类型的特征，模拟出足够多的各种类型的Mura缺陷，形成完善的样本库，然后基于该样本库训练得到Mura缺陷库。

本发明的方法所采用的技术方案是：一种基于深度学习的显示面板缺陷训练方法，其特征在于，包括以下步骤：

步骤1：根据现有Mura缺陷的特征，模拟出各类Mura缺陷，形成缺陷样本图片库；

步骤2：将步骤1中获得的缺陷样本图片在显示面板上显示；

步骤3：对显示面板进行图片采集，并根据所对应的缺陷类型标记图片缺陷类型；

步骤4：使用深度神经网络，基于每一缺陷类型的图片，进行训练通过不断的提炼和拟合，最终形成缺陷检测模型。

本发明的系统所采用的技术方案是：一种基于深度学习的面板缺陷训练系统，其特征在于：包括第一模块、第二模块、第三模块、第四模块；

所述第一模块，用于根据现有Mura缺陷的特征，模拟出各类Mura缺陷，形成缺陷样本图片库；

所述第二模块，用于将步骤1中的缺陷样本图片与需检测的显示面板的分辨率相匹配，点亮屏幕，此时模拟出的缺陷就呈现在显示面板上；

所述第三模块，用于对显示面板进行图片采集，并根据所对应的缺陷类型标记图片缺陷类型；

所述第四模块，用于使用深度神经网络，基于每一缺陷类型的图片，进行训练通过不断的提炼和拟合，最终形成缺陷检测模型。

本发明根据Mura缺陷的特征，利用图形处理的方法手动模拟出各类Mura缺陷，形成样本库；通过深度神经网络进行模型训练，能快速地进行缺陷检测，同时快速输出缺陷等级，对缺陷进行准确判等。通过该方法，我们可以对面板的Mura缺陷进行准确的识别，能成功规避传统算法的局限，同时极大的降低了人力成本。

本发明的优点在于：

1)基于Mura缺陷特征模拟生成的样本库，能更大程度的涵盖缺陷的类别和动态范围(灰阶差像素宽度)；

2)缺陷准确定位，深度神经网络对缺陷的训练更有针对性，模型精度更高；

3)基于深度神经网络，对大量的缺陷样本进行学习，降低复杂背景的干扰，提高了Mura检测的准确性；

4)检测方法适合在线检测，取代人员检测过程，从而降低人工成本和时间成本。

附图说明

图1为本发明现有技术中Mura检测流程图；

图2为本发明实施例的流程图；

图3为本发明实施例的Mura缺陷生成样图；

图4为本发明实施例的AlexNet原理图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图2，本发明提供的一种基于深度学习的显示面板缺陷训练方法，包括以下步骤：

步骤1：根据现有Mura缺陷的特征，模拟出各类Mura缺陷，形成缺陷样本图片库；

现有Mura缺陷的特征，包括特征形状、位置、对比度、面积大小等；根据这些特征，在一个完整的画面上去临摹出带有不同形状、位置、对比度和面积的缺陷样本。

本实施例首先将Mura缺陷按不同种类分为1、2、3、…、n，共n个类别，根据每个缺陷的特征，分别手动绘制出该n类MURA缺陷，，并通过旋转、平移、翻转等几何变换遍历出缺陷所有的形态和位置，形成缺陷样本库。

如常见的圈状Mura，在实际样本中，圈状Mura在大小、灰阶差和屏上位置均有差异，而实际样本训练时不可能兼顾到每一种形态的圈状Mura，因此本实施例可以手动模拟出大小不一，灰阶差成梯度变化(如图3所示)且位置不一的缺陷图片，以涵盖所有的圈状Mura特征变化的动态范围。

步骤2：将步骤1中获得的缺陷样本图片在显示面板上显示；

本实施例将步骤1中的缺陷样本图片与需要检测的屏的分辨率相匹配，使用PG点屏的方式点亮屏幕，此时模拟出的缺陷就呈现在LCD屏上；

步骤3：对显示面板进行图片采集，并根据所对应的缺陷类型标记图片缺陷类型；

本实施例使用相机对LCD屏进行图片采集，并根据所对应的缺陷类型标记图片缺陷类型；

步骤4：使用深度神经网络，基于每一缺陷类型的图片，进行训练，网络自身有对缺陷的特征进行识别和提取的一套体系，通过不断的提炼和拟合，最终形成鲁棒性较高的缺陷检测模型；

本实施例采用AlexNet模型进行训练，AlexNet包括八个带权层；前五层是卷积层，剩下三层是全连接层。最后一个全连接层的输出被送到一个1000-way的softmax层，其产生一个覆盖1000类标签的分布。AlexNet使得多分类的Logistic回归目标最大化，这相当于最大化了预测分布下训练样本中正确标签的对数概率平均值。

设置Mura缺陷为n类，依次标记为1、2、3、…、n，Mura缺陷图像首先归一化为224×224的图像，作为输入神经元进入网络，经过第一层卷积后得到进本的卷积数据，先进行一次ReLU以及Norm变换，然后进行pooling，作为输出传递到下一层；再经过4次卷积层后输出map数目256个，size为13×13。随后进入两个全连接层，第二个全连接层是在第一个全连接层的基础上再进行一次ReLU和dropout后的结果，最后输出softmax loss，节点数为n，对应n类对象。原理图如图4所示。

步骤4的具体实现包括以下子步骤：

步骤4.1：将Mura缺陷按不同种类分为1、2、3、…、n，共n个类别，将步骤3中标记有缺陷信息的图片首先归一化为224×224的图像，作为输入神经元进入网络；经过第一层卷积后得到进本的卷积数据，先进行一次ReLU以及Norm变换，然后进行pooling，作为输出传递到下一层；再经过4次卷积层后输出map数目256个，size为13×13；随后进入两个全连接层，第二个全连接层是在第一个全连接层的基础上再进行一次ReLU和dropout后的结果，最后输出softmax loss，节点数为n，对应n类对象；

步骤4.2：使用softmax分类器对1、2、3、…、n，共n个类型进行n分类，在softmax回归中，对于给定的测试输入x，预测x的每一种分类结果x⁽ⁱ⁾出现的概率，假设概率分布函数h_θ(x⁽ⁱ⁾)为：

其中，i＝1、2、3、…、n，θ₁,θ₂,θ₃```θ_n为概率分布函数h_θ(x⁽ⁱ⁾)参数；

θ₁,θ₂,θ₃```θ_n∈Aⁿ⁺¹，Aⁿ⁺¹表示特征向量θ的维度为n+1，其中θ₀＝1对应截距项；这一项对概率分布进行归一化，使得所有概率之和为1；

概率分布函数h_θ(x⁽ⁱ⁾)将输出一个n维的向量元素和为1的向量来表示n个预测的概率值。

本实施例将测试样本输入缺陷检测模型，首先使用已经训练好的缺陷检测模型进行特征提取，然后生成分布式特征表示，进行映射到样本标记空间，最终输出检测结果。

检测结果输出的是一个结果向量，即对测试样本输出一个测试结果向量，对应输出被检测成每种缺陷的得分，取得分最高的为最终输出结果。

本发明提出了一种Mura缺陷检测方法，通过图形处理对LCD缺陷进行复现，有效地涵盖了Mura缺陷所变化的动态范围；通过深度神经网络建立缺陷检测模型，有效规避了传统算法进行背景分割、参数提取的局限性，同时降低了人工成本，能快速输出Mura缺陷类型，对缺陷进行准确检测，提高了Mura缺陷检测的准确性和效率。

本发明还提供了一种基于深度学习的面板缺陷训练系统，包括第一模块、第二模块、第三模块、第四模块；第一模块，用于根据现有Mura缺陷的特征，模拟出各类Mura缺陷，形成缺陷样本图片库；第二模块，用于将步骤1中的缺陷样本图片与需检测的显示面板的分辨率相匹配，点亮屏幕，此时模拟出的缺陷就呈现在显示面板上；第三模块，用于对显示面板进行图片采集，并根据所对应的缺陷类型标记图片缺陷类型；第四模块，用于使用深度神经网络，基于每一缺陷类型的图片，进行训练通过不断的提炼和拟合，最终形成缺陷检测模型。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (10)

1.一种基于深度学习的显示面板缺陷训练方法，其特征在于，包括以下步骤：

步骤1：根据现有Mura缺陷的特征，模拟出各类Mura缺陷，形成缺陷样本图片库；

步骤2：将步骤1中获得的缺陷样本图片在显示面板上显示；

步骤3：对显示面板进行图片采集，并根据所对应的缺陷类型标记图片缺陷类型；

步骤4：使用深度神经网络，基于每一缺陷类型的图片，进行训练通过不断的提炼和拟合，最终形成缺陷检测模型。

2.根据权利要求1所述的基于深度学习的显示面板缺陷训练方法，其特征在于：步骤1中所述现有Mura缺陷的特征，包括特征形状、位置、对比度、面积大小；根据这些特征，在一个完整的画面上去临摹出带有不同形状、位置、对比度和面积的缺陷样本。

3.根据权利要求1所述的基于深度学习的显示面板缺陷训练方法，其特征在于：步骤1中，将Mura缺陷按不同种类分为1、2、3、…、n，共n个类别，根据每个缺陷的特征，分别绘制出该n类Mura缺陷，并通过几何变换遍历出缺陷所有的形态和位置，形成缺陷样本库。

4.根据权利要求3所述的基于深度学习的显示面板缺陷训练方法，其特征在于：步骤1中，绘制出大小不一，灰阶差成梯度变化且位置不一的缺陷图片，以涵盖所有的Mura缺陷的特征变化的动态范围。

5.根据权利要求1-4任意一项所述的基于深度学习的显示面板缺陷训练方法，其特征在于：步骤4中，采用AlexNet模型进行训练；具体实现包括以下子步骤：

步骤4.1：将Mura缺陷按不同种类分为1、2、3、…、n，共n个类别，将步骤3中标记有缺陷信息的图片首先归一化为224×224的图像，作为输入神经元进入网络；

步骤4.2：使用softmax分类器对1、2、3、…、n，共n个类型进行n分类；在softmax回归中，对于给定的测试输入x，预测x的每一种分类结果x⁽ⁱ⁾出现的概率，概率分布函数将输出一个n维的向量元素和为1的向量来表示n个预测的概率值。

6.根据权利要求5所述的基于深度学习的显示面板缺陷训练方法，其特征在于：步骤4.1中，经过第一层卷积后得到进本的卷积数据，先进行一次ReLU以及Norm变换，然后进行pooling，作为输出传递到下一层；再经过4次卷积层后输出map数目256个，size为13×13；随后进入两个全连接层，第二个全连接层是在第一个全连接层的基础上再进行一次ReLU和dropout后的结果，最后输出softmax loss，节点数为n，对应n类对象。

7.根据权利要求5所述的基于深度学习的显示面板缺陷训练方法，其特征在于：步骤4.2中，在softmax回归中，对于给定的测试输入x，预测x的每一种分类结果x⁽ⁱ⁾出现的概率，假设概率分布函数h_θ(x⁽ⁱ⁾)为：

其中，i＝1、2、3、…、n，θ₁,θ₂,θ₃```θ<sub>n</sub>为概率分布函数h<sub>θ</sub>(x<sup>(i)</sup>)参数；θ<sub>1</sub>,θ<sub>2</sub>,θ<sub>3</sub>```θ_n∈A^{n +1}，Aⁿ⁺¹表示特征向量θ的维度为n+1，其中θ₀＝1对应截距项；用于对概率分布进行归一化处理，使得所有概率之和为1。

8.根据权利要求6-7任意一项所述的基于深度学习的显示面板缺陷训练方法，其特征在于：将测试样本输入缺陷检测模型，首先使用已经训练好的缺陷检测模型进行特征提取，然后生成分布式特征表示，进行映射到样本标记空间，最终输出检测结果。

9.根据权利要求6-7任意一项所述的基于深度学习的显示面板缺陷训练方法，其特征在于：所述显示面板包括LCD、OLED在内的新型显示面板。

10.一种基于深度学习的面板缺陷训练系统，其特征在于：包括第一模块、第二模块、第三模块、第四模块；

所述第一模块，用于根据现有Mura缺陷的特征，模拟出各类Mura缺陷，形成缺陷样本图片库；

所述第二模块，用于将步骤1中的缺陷样本图片与需检测的显示面板的分辨率相匹配，点亮屏幕，此时模拟出的缺陷就呈现在显示面板上；

所述第三模块，用于对显示面板进行图片采集，并根据所对应的缺陷类型标记图片缺陷类型；

所述第四模块，用于使用深度神经网络，基于每一缺陷类型的图片，进行训练通过不断的提炼和拟合，最终形成缺陷检测模型。