CN109859169A - 一种基于卷积神经网络的tft-lcd模组白印检测方法 - Google Patents

Abstract

本发明涉及一种基于卷积神经网络的TFT‑LCD模组白印检测方法，属于工业缺陷检测领域。该方法包括图像预处理和缺陷检测；图像预处理为：通过相机采集待检测样本；通过仿射变换将待检测的整块模组区域校正为矩形；由于模组的光学干涉效应，相机拍摄的待检测图存在有规则的摩尔纹；为提高检测的正确率，去除摩尔纹；为节约检测的时间，缩放相机采集的图像以节约检测时间；缩放后的尺寸满足检测网络的需要。相较于其它级联式检测方法，该方法检测过程一步到位，可以有效降低阈值的数量，进而降低了培训成本与维护成本。单单以算法而言，神经网络算法的通用性本身就高于非神经网络的算法。

Description

一种基于卷积神经网络的TFT-LCD模组白印检测方法

技术领域

本发明属于工业缺陷检测领域，涉及一种基于卷积神经网络的TFT-LCD模组白印检测方法。

背景技术

我国是全球第一大TFT-LCD液晶模组生产国，相关企业以基本实现生产自动化，但是对于其质量检测基本仍采用人力检测的方式。人力检测缺陷有如下缺陷：

1)检测标准因人而异，难以做到统一。

2)检测速度慢，必须投入大量人力，否则难以匹配自动化生产设备生产的速度。

3)漏检率会随着连续工作时间的长度大幅增加

故而该产业急需智能化缺陷检测设备以提高生产良率，已达到节约成本的目标。而TFT-LCD模组缺陷中，Mura类的白印缺陷是一种常见的缺陷类型，检测难度高。

现有的智能检测设备，其检测方法难以做到通用，往往出现更换新产品需要大量时间调整参数才能达较理想的检测效果，甚至需要更换其他方法。但是，随着企业正逐步走向柔性生产，这种长时间调参的方法难以达到企业的实际要求。

对于Mura类的缺陷，现今已有的检测方案如下：

1)基于ICA学习和多通道融合的TFT-LCDmura缺陷检测方法

该方案首先通过收集大量的缺陷样本，通过FastICA算法从中分离出相互独立的图像基，以此重建图像。然后利用背景差分算法，通过设置多个阈值降低干扰项。最后利用Mura缺陷的颜色特征通过多通道融合的方法检测Mura缺陷。

2)基于缺陷区域预判和水平集的TFT-LCDMura缺陷检测算法

该算法首先通过缺陷预判定算法找到潜在的缺陷区域，剔除该ROI区域后拟合得到背景特征图。然后原图减去背景特征图后得到残差图像。最后通过一种基于阈值的水平集方法对残差图像进行分割来检测Mura缺陷。

3)基于样本学习和人眼视觉特性的mura缺陷检测方法

该方法首先对待检测图进行预处理以降低干扰并分割出潜在的Mura缺陷。再利用PCA学习大量的无缺陷样本，建立模型以重建背景图像，然后获取差分图像。最后建模实现阈值与背景的关系模型实现Mura缺陷的分割。

然而，现有的检测方法大多是级联判断的方法。即先通过图像处理或者模式识别的的方法找到疑似白印缺陷的ROI区域，再通过建模精确地判断ROI区域是否是白印缺陷。该方法具有如下缺陷：

1)需要设置大量的阈值参数，阈值参数会随着产品类型的改变而变动。对于新的产品，需要大量的时间调参才能满足需求，难以满足企业柔性生产的需求。

2)配置参数需要长时间的培训，增加了维护的成本。

3)难以量化检测的严格程度。对于较浅的白印缺陷漏检率较高。

4)需要撕去模组的保护膜检测，或者必须严格保证保护膜干净程度。否则会大大增加Mura缺陷的误检率。

发明内容

有鉴于此，本发明的目的在于提供一种基于卷积神经网络的TFT-LCD模组白印检测方法。本发明主要解决的问题是：

1)大规模减少阈值参数的数量。

2)实现可量化的检测严格程度的设置。

3)加快检测速度，降低漏检率与误检率。

4)降低维护成本，方便一线员工操作。

5)尽可能排除保护膜上存在的不可避免的干扰项。

为达到上述目的，本发明提供如下技术方案：

一种基于卷积神经网络的TFT-LCD模组白印检测方法，该方法包括图像预处理和缺陷检测；

所述图像预处理包括以下步骤：

S1：通过相机采集待检测样本；

S2：由于相机的位置或者待检测TFT-LCD模组的位置相对相机有一定角度偏移，需要通过仿射变换将待检测的整块模组区域校正为矩形；

S3：由于模组的光学干涉效应，相机拍摄的待检测图存在有规则的摩尔纹；为提高检测的正确率，去除摩尔纹；

S4：为节约检测的时间，缩放相机采集的图像以节约检测时间；缩放后的尺寸满足检测网络的需要；

所述缺陷检测的网络为20层卷积神经网络，其中：

1)convolution卷积方式是标准的3×3尺寸的跨通道卷积方法；

2)IN_MobileV2是基于MobileV2模块改进的新的卷积模块；利用IN显著提高亮度、色调变化特性的鲁棒性特点，以泛化不同类型模组的显示特性与同一类型模组在不同设置下的显示特性，降低误检率与漏检率；

3)MobileV1与Mobilev2的作用均是减少参数量以轻量化网络；

其中，DW是非跨通的深度卷积，PW是跨通道的点卷积；

该卷积神经网络的缺陷检测在第11层与第14层实现，采用设置Anchors的方式进行缺陷检测与位置回归；对每个检测层设置3个anchor，通过对白印缺陷样本的聚类，第11层的Anchor尺寸值为[(13,13),(10,20)，(20，10)]，第14层的Anchor尺寸值为[(25,25),(20,40),(40,20)]。

进一步，所述卷积神经网络在微调时：

1)在IN_MobileV2block的特征提取能力显著高于MobileV1block，将IN_MobileV2放置在网络的前半部分；

2)不在网络后期使用全连接层。

进一步，所述缺陷检测的模块间有如下替代方案：

1)使用IN_MobileV2-2模块或者IN_MobileV2-3模块替换主干网络的IN_MobileV2模块；

2)使用标准的MobileV2模块替换IN_MobileV2模块；

3)缺陷检测层，即11层与14层的Anchors尺寸值和数量值均能够微调。

本发明的有益效果在于：

(1)相较于其它级联式检测方法，该方法检测过程一步到位，可以有效降低阈值的数量，进而降低了培训成本与维护成本。单单以算法而言，神经网络算法的通用性本身就高于非神经网络的算法。

(2)该模型基于Tensorflow-1.0实现，固化后的模型体积为5M～10M。模型体积小，在检测过程中不需要GPU加速，进一步降低设备成本。

(3)对于新的模组类型，只需要添加该模组的样本在预训练模型上继续训练即可。随着不同种类模组的样本的添加，网络的泛化性会越来越强，即模型的通用性越来越高。实验证明，在GPU下，只需要采集200个缺陷样本约500个缺陷，训练4个小时即可达到平均95％以上的检测正确率。

(4)该算法可以保证在驱动的输入电流与电压的不稳定时检测结果的稳定性，可以应用于全自动化的检测设备中。

(5)对于4种不同类型的模组的缺陷样本，其检测结果的平均值如表1所示：

表1平均检测结果统计表

白印缺陷明显程度	漏检率(％)	误检率(％)
			较明显	<0.1	<0.1
一般	<0.2	<0.5
			不明显	<1.2	<3.0

这里需要着重声明的是：良好的预训练模型是加快训练的有效手段，为了得到一个良好的预训练模型，项目前期应尽可能多的收集不同类别模组的缺陷样本。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为图像预处理流程；

图2为检测模块；

图3为IN_Mobilev2Block；

图4为Mobilev2Block；

图5为Mobilev1Block；

图6为IN_Mobilev2-2Block；

图7为IN_Mobilev2-3Block。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

1.组成结构

本发明的主要包括两个组成部分，分别是【图像预处理】部分与【缺陷检测】部分。

【图像预处理】部分的流程如图1所示，其主要内容是：

1)通过相机采集待检测样本。

2)由于相机的位置或者待检测TFT-LCD模组的位置相对相机有一定角度偏移，需要通过仿射变换将待检测的整块模组区域校正为矩形。

3)由于模组的光学干涉效应，相机拍摄的待检测图存在有规则的摩尔纹。为了提高检测的正确率，需要去除摩尔纹。

4)为了节约检测的时间，可以缩放相机采集的图像以节约检测时间。缩放后的尺寸应满足检测网络的需要。

【缺陷检测部分】的结构如图2所示。该网络为20层卷积神经网络。其中：

1)【convolution】卷积方式是标准的3×3尺寸的跨通道卷积方法。

2)【IN_MobileV2】的结构如图3所示，它是基于MobileV2模块(图4)改进的新的卷积模块。其目的在于：利用【IN】(实例规范化)可以显著提高亮度，色调变化特性的鲁棒性特点，以便其更好的泛化不同类型模组的显示特性与同一类型模组在不同设置下的显示特性，以降低误检率与漏检率。

3)【MobileV1】的结构是如图5所示。它与Mobilev2的作用均是减少参数量以轻量化网络。

其中，【DW】是非跨通的深度卷积，【PW】是跨通道的点卷积

该检测网络主要借鉴了YOLO系列的分类网络架构，缺陷检测在第11层与第14层实现。该网络采用设置Anchors的方式进行缺陷检测与位置回归。对每个检测层设置3个anchor,通过对白印缺陷样本的聚类，第11层的Anchor尺寸值为[(13,13),(10,20)，(20，10)]，第14层的Anchor尺寸值为[(25,25),(20,40),(40,20)]。该网络具有如下特征：

1)以步长为2的卷积层代替尺寸为2的池化层。

2)不使用全连接层。

3)以IN_MobileV2与MobileV1等轻量级模块代替传统的卷积模块以降低参数量。

4)不建议对数据进行白化处理，实验证明，白化后的数据在训练中虽然可以收敛，但是泛化性较差。

5)不建议对数据进行减去均值的操作。虽然不减去均值会增加训练时间，但是模型泛化能力较差。

6)在1024×640的像素面积下，网络最低检测10×10像素面积的缺陷。小于该缺陷的白印应该按照白点检测。

在实际应用中，可以对网络结构进行微调。但是请注意：

1)在IN_MobileV2block的特征提取能力显著高于MobileV1block。需要将IN_MobileV2放置在网络的前半部分。

2)一般情况下，全连接层会显著增加模型的体积，而且会压缩白印特征的真实形态特征。不建议在网络后期使用全连接层。

2.各成分间的可替代方案

在【缺陷检测】部分，模块间有如下替代方案。

1)可使用图6的IN_MobileV2-2模块或者图7的IN_MobileV2-3模块替换主干网络的IN_MobileV2模块。该2种替换模块不会降低检测的误检率与漏检率。

2)可以使用图4的标准的MobileV2模块替换IN_MobileV2模块。但是在相同的网络结构下，使用该模块在不明显白印缺陷的检测正确率会降低0.5％～1.5％。

3)缺陷检测层(11层与14层)的Anchors尺寸值和数量值均可以微调。同样，可以修改网络，在尺寸为[128,80]特征图中检测缺陷与回归位置。简而言是，检测网络可以灵活设置。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (3)

1.一种基于卷积神经网络的TFT-LCD模组白印检测方法，其特征在于：该方法包括图像预处理和缺陷检测；

所述图像预处理包括以下步骤：

S1：通过相机采集待检测样本；

S2：由于相机的位置或者待检测TFT-LCD模组的位置相对相机有一定角度偏移，需要通过仿射变换将待检测的整块模组区域校正为矩形；

S3：由于模组的光学干涉效应，相机拍摄的待检测图存在有规则的摩尔纹；为提高检测的正确率，去除摩尔纹；

S4：为节约检测的时间，缩放相机采集的图像以节约检测时间；缩放后的尺寸满足检测网络的需要；

所述缺陷检测的网络为20层卷积神经网络，其中：

1)convolution卷积方式是标准的3×3尺寸的跨通道卷积方法；

2)IN_MobileV2是基于MobileV2模块改进的新的卷积模块；利用IN显著提高亮度、色调变化特性的鲁棒性特点，以泛化不同类型模组的显示特性与同一类型模组在不同设置下的显示特性，降低误检率与漏检率；

3)MobileV1与Mobilev2的作用均是减少参数量以轻量化网络；

其中，DW是非跨通的深度卷积，PW是跨通道的点卷积；

该卷积神经网络的缺陷检测在第11层与第14层实现，采用设置Anchors的方式进行缺陷检测与位置回归；对每个检测层设置3个anchor，通过对白印缺陷样本的聚类，第11层的Anchor尺寸值为[(13,13),(10,20)，(20，10)]，第14层的Anchor尺寸值为[(25,25),(20,40),(40,20)]。

2.根据权利要求1所述的一种基于卷积神经网络的TFT-LCD模组白印检测方法，其特征在于：所述卷积神经网络在微调时：

1)在IN_MobileV2block的特征提取能力显著高于MobileV1block，将IN_MobileV2放置在网络的前半部分；

2)不在网络后期使用全连接层。

3.根据权利要求1所述的一种基于卷积神经网络的TFT-LCD模组白印检测方法，其特征在于：所述缺陷检测的模块间有如下替代方案：

1)使用IN_MobileV2-2模块或者IN_MobileV2-3模块替换主干网络的IN_MobileV2模块；

2)使用标准的MobileV2模块替换IN_MobileV2模块；

3)缺陷检测层，即11层与14层的Anchors尺寸值和数量值均能够微调。