CN109919934A - 一种基于多源域深度迁移学习的液晶面板缺陷检测方法 - Google Patents

Abstract

本发明为一种基于多源域深度迁移学习的液晶面板缺陷检测方法，属于计算机视觉、目标检测与识别领域，涉及一种基于双向卷积特征融合网络的液晶面板缺陷检测方法。包括采集多种典型缺陷类型的液晶面板图片，标记其缺陷类型和边框位置；基于DDCNNs构建液晶面板缺陷检测卷积神经网络的主干部分，基于面向多任务学习的全连接分类回归网络构建缺陷检测头部和域分类头部；通过多源域训练数据集对神经网络进行深度迁移学习；将待测图片输入已训练模型进行检测，在域分类头部输出图片来自各个域的概率分布；选出超过缺陷阈值的所有候选边框，并确定其缺陷类型，基于非极大值抑制方法获得缺陷区域的最优边框位置，从而获得最终检测结果。本发明提高了深度卷积神经网络的泛化性能，降低了漏检率和误检率。

Description

一种基于多源域深度迁移学习的液晶面板缺陷检测方法

技术领域

本发明涉及一种基于多源域深度迁移学习的液晶面板缺陷检测方法，属于计算机视觉、目标检测与识别领域，涉及从图像中检测特定目标。

背景技术

液晶面板，又称为手机屏幕或手机液晶屏，是智能手机的液晶显示屏幕，主要用于显示图像及色彩。目前，液晶面板主要采用薄膜晶体管型液晶显示屏(Thin-Film-Transistor Liquid-Crystal Display，TFT-LCD)，它具有体积小、厚度薄、能耗低、质量轻、环保无辐射等优点。

液晶面板的生产具有极高的科技含量，不仅要填充数量巨大的液晶体，还要布置对应的大规模电子线路。在如此复杂的工序条件下，现有的科技仍无法保证所生产的液晶面板完美无缺。只要生产过程中任一环节出现一点瑕疵，如液晶体分布不均匀、电路本身的故障等，将会造成液晶面板不能够正常工作和体现应有的光电效应，就会给液晶面板带来图像显示缺陷。典型的图像显示缺陷有亮点、暗点、亮斑区域、闪屏、几何图形失真、色差(Mura)等等。因而对液晶面板的质量检测在生产过程中是不可或缺的重要部分。

目前，针对液晶面板的检测仍依赖于有专业经验的工人依靠其肉眼观察，因其人工检测受检测主体的主客观方面的缺陷限制，很难高效、精准、稳定地检测出液晶面板中的图像缺陷，而且这种检测手段的人力与经济成本很高，也难以满足日益增长的液晶面板市场出货速度和客户对手机屏幕高质量的需求。因此，对于液晶面板生产商而言，寻求一种高效、可靠、精准的智能化检测系统以替代人工检测环节，已成为十分迫切的需求。

随着计算机视觉、目标检测与识别等领域的快速发展，基于机器视觉的液晶面板智能检测系统，被认为是最有前景的解决方案之一。该方案通过高分辨率工业相机采集液晶面板图像，然后将图像信息通过图像缺陷分析模块进行实时的检测，从而判断液晶面板是否存在缺陷。

传统的基于机器视觉的液晶面板缺陷检测方法，能够检测出一些简单、明显的缺陷类型(如线状缺陷)和位置，并用于指导和改进液晶面板缺陷修复乃至生产工艺环节。但是，这种检测方法不仅需要较高的领域知识针对一种或几种类别的缺陷设计专门的算法，而且存在通用性和灵活性差、漏检率和误检率较高等缺点，特别是对于未知类型的缺陷(如特殊形状的异显)无法设计相应的算法进行有效检测，远远达不到目前行业检测的标准。此外，在液晶面板产品换型时，这种检测方法常常需要重新调节大量参数，缺乏良好的自适应性和泛化性。

近年来，基于深度学习的方法，如深度卷积神经网络、深度残差网络等，因其灵活性和通用性高、自适应和泛化性能强、无需背景领域知识等特性，已逐渐成为液晶面板缺陷检测的主流方法。

这些检测方法的基本思路是在数据量规模非常有限的缺陷数据集上，将高分辨率液晶面板图片进行不同比例的缩放以生成多尺度的图片金字塔，然后基于滑动窗口的方法对每个尺度的图片进行分割以生成多个小图像块，最后将这些小图像块一起送入深度网络模型中进行检测。从其检测过程来看，当前这些基于深度学习的液晶面板缺陷检测方法近似于暴力检测，检测效率极低，而且需要很高的计算和存储资源，而更加复杂一点的深度学习算法往往需要更长时间的训练过程，需要海量的优质数据。

另一方面，在公开的优质数据集中，如在ImageNet的残差网络在识别物体时已经超越人类的性能，谷歌的Smart Reply系统在其海量优质数据的训练下可以自动处理所有移动手机的10％的回复，其神经网络翻译模型系统已经被用在了超过10种以上的语言之中。这些成功的模型都是在精心多年收集的数据集上进行训练的。然而当把这些机器学习的模型应用在自然环境中时，模型会面临大量之前未曾遇到的条件。每一个任务都有它们自己的偏好，也需要处理和生成不同于之前用来训练的数据，要求模型执行很多和训练相关但是不相同的任务。在此情况下，尽管最先进的模型在它们被训练的任务和域上展示出了和人类一样甚至超越人类的性能，然而还是遭遇了明显的表现下降甚至完全失败。

因此，从迁移学习的角度出发，对不具有完备数据集的缺陷目标检测领域展开研究是一个有效的解决方案。近年来已有较多关于迁移学习的研究进展，在单源域迁移学习方面，目前已有较多相关研究；源域和目标域的相关度比较小时，仅仅只是简单的进行了直接权重转移的原始方式，在某些场景，这是行之有效的方法，而在更多的场景下，这将导致负迁移问题，这不仅不能促进对缺陷目标检测的性能，而且还会降低整体的检测精度。同时，仅仅利用一个源域的数据也是对数据资源的浪费，使得网络泛化性能和鲁棒性并不高。

发明内容

基于现有技术存在的问题，本发明的研究是在基于网络的深度迁移学习基础上进行的，以DDCNNs网络为基础框架，通过混淆域学习的迁移学习方式在多源域数据集上实现了对液晶面板缺陷目标的精准检测；本发明采取多源域深度迁移学习的方式，从多种不同相似任务的数据集上挖掘更多有用的特征信息，使得网络具有更好的泛化性能和鲁棒性。

本发明的一种基于多源域深度迁移学习的液晶面板缺陷检测方法，包括如下步骤：

步骤1)采集包括多种典型缺陷类型的液晶面板图片，并标记其缺陷类型和边框位置；

步骤2)基于深度稠密卷积神经网络(Deep Dense Convolutional NeuralNetworks，简称DDCNNs)构建液晶面板缺陷检测卷积神经网络的主干部分，基于面向多任务学习的全连接分类回归网络构建液晶面板缺陷检测卷积神经网络的缺陷检测头部和域分类头部；

步骤3)通过多源域训练数据集对所述液晶面板缺陷检测卷积神经网络进行多源域的深度迁移学习，直至收敛且具有较低的漏检率和误检率；即误检率在[1％,2％]，漏检率在[1％,4％]时；

步骤4)将待检测液晶面板图片输入已训练后的液晶面板缺陷检测卷积神经网络模型进行检测，在缺陷检测头部输出缺陷类型及其边框位置结果，包括候选边框位置的中心坐标、高度和宽度，存在缺陷的概率c₀以及属于某类典型缺陷的概率向量；在域分类头部，输出待测液晶面板图片来自各个域的概率分布；

步骤5)选出存在缺陷的概率c₀超过缺陷阈值的所有候选边框，并根据缺陷概率向量大小关系确定其具体缺陷类型，基于非极大值抑制方法获得液晶面板缺陷区域的最优边框位置，从而获得最终检测结果。

进一步的，步骤2)所述的深度稠密卷积神经网络具体包括利用密集跳跃连结方法，设计出一个自定义100层的深度稠密卷积神经网络，其中卷积层特征分为九个尺度，分别标记为conv1、conv2、conv3、conv4、conv5、conv6、conv7、conv8、和conv9。

进一步的，步骤2)所述的面向多任务学习的全连接分类回归网络具体包括四层全连接层、softmax层和回归层，其中回归层输出每一个潜在缺陷区域的中心坐标[x,y]、高度和宽度[h,w]，softmax层输出缺陷类别信息的概率分布[c₀,c₁,c₂,…,c_n]。

进一步的，步骤2)所述的域分类头部具体包括基于自定义的域分类函数组成Softmax分类器，所述自定义的域分类函数表示为：其中，L_d是域分类产生的损失函数；p_d(i)表示第i个域的概率分布。

进一步的，步骤3)所述的多源域的深度迁移学习具体包括在域分类头部和缺陷检测头部两种误差学习的驱动下，主干网络的反向传播以自定义域相关权重的误差进行传播，其反向传播式子包括以下公式：

其中，θ_f表示深度稠密卷积神经网络中的权重参数，μ代表参数学习的步长，一般取0.005～0.05；是检测头部在第i个训练样本产生的损失值，则将L_l表示为检测头部的损失函数，w_d表示域相关的权重，表示域分类头部在第i个训练样本产生的损失值；则将L_d表示为域分类头部的损失函数；θ_l表示检测头部的权重参数，θ_d是域分类头部的权重参数。

优选的，检测头部的损失函数包括：

其中，l_i表示由输出的边框与真实缺陷的交并比的值所决定的值，其为0或者1，x_i、y_i、w_i、h_i和c_i依次表示第i个输出框的中心坐标及其宽度、高度及其为第i种缺陷的概率；和分别表示第i个输出框所对应的真实缺陷的中心坐标、宽度、高度及其为第i种缺陷的真实概率；N表示多源域数据集的源域数量。

进一步的，当真实缺陷的交并比的值大于0.7时，l_i＝1,当真实缺陷的交并比的值小于0.7时，l_i＝0；其中，交并比表示两个几何图形面积的交集和并集的比值。

当待检测液晶面板图片为第i种缺陷，则c_i＝1，否则c_i＝0。

进一步的，所述的自定义域相关权重具体包括：

其中，N_S代表源域数据集的数量，表示马氏距离；和S_T分别表示目标域数据集的均值和协方差矩阵；表示第i个源域的数据。

本发明的有益效果：

本发明是一种基于多源域深度迁移学习的液晶面板缺陷检测方法。与现有的基于深度学习的液晶面板缺陷检测方法相比：

(1)本发明充分利用了多源域数据进行迁移学习，采用域相关的权重进行反向传播，极大地减少了手机液晶面板缺陷检测中深度学习所面临的数据质量参次不齐、数据量太少的问题。

(2)通过多源域的知识迁移，提高了深度卷积神经网络的泛化性能，降低了漏检率和误检率。

附图说明

图1是本发明方法的框架示意图；

图2是本发明的自定义的DDCNNs网络；

图3是本发明的基于多源域深度迁移学习网络；

图4是本发明的面向多任务学习的全连接分类回归网络；

图5是本发明所提出的域分类头部。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

如图1所示，本发明的一种基于多源域深度迁移学习的液晶面板缺陷检测方法包括搭建DDCNNs网络的主干部分；在主干网络尾部添加两个头部，包括缺陷检测头部以及域分类头部；使用多源数据集进行迁移学习，训练其直至收敛；使用已收敛的检测模型检测液晶面板缺陷，得到一组缺陷类别和位置的检测结果；对结果参数进行非极大值筛选，得到最终的液晶面板缺陷检测结果。

具体的，包括如下步骤：

步骤1)采集包含多种典型缺陷类型的液晶面板图片，并标记其缺陷类型Label和边框位置[x,y,h,w]。

步骤2)基于深度稠密卷积神经网络构建液晶面板缺陷检测卷积神经网络的主干部分，基于面向多任务学习的全连接分类回归网络构建液晶面板缺陷检测卷积神经网络的缺陷检测头部和域分类头部；具体的，利用密集跳跃连结的思想针对性的设计了一个自定义的100层的DDCNNs，共组成九个尺度的卷积层特征，如图2所示，他们分别是conv1、conv2、conv3、conv4、conv5、conv6、conv7、conv8、和conv9。然后再使用三层全连接层、softmax层和回归层组成缺陷检测头部，如图4所示，其中回归层输出每一个潜在缺陷区域的中心坐标、高度和宽度[x,y,h,w]，softmax输出他们缺陷类别信息的概率分布[c₀,c₁,c₂,…,c_n]。然后使用Softmax分类器组成域分类头部，如图5所示，其输出图片来自各个域的概率分布[p_d(1),p_d(1),…,p_d(n)]。

步骤3)通过已采集的训练数据、网上整理的多源域训练数据集(包括但不限于DAGM数据集、GDXay数据集、Crack Forest数据集和Isheet数据集)对上述液晶面板缺陷检测卷积神经网络进行多源域的深度迁移学习。

本发明采用的基于多源域深度迁移学习网络框架如图3所示，具体学习过程如下：

首先仅使用液晶面板缺陷数据集单独训练主干部分的DDCNNs直至收敛；

然后在主干网络上添加检测头部和域分类头部，并使用来自不同领域的多种数据集(DAGM数据集、GDXay数据集、Crack Forest数据集和Isheet数据集)对整个网络进行迁移学习直至收敛且具有较低的漏检率和误检率；即误检率在[1％,2％]，漏检率在[1％,4％]时。

其中迁移的核心是在反向传播过程中使用了带有域相关权重的传播误差，传播的规则如下三个式子所示：

其中，θ_f表示深度稠密卷积神经网络中的权重参数，μ代表参数学习的步长；是检测头部在第i个训练样本产生的损失值，则将L_l表示为检测头部的损失函数，w_d表示域相关的权重，表示域分类头部在第i个训练样本产生的损失值；则将L_d表示为域分类头部的损失函数；θ_l表示检测头部的权重参数，θ_d是域分类头部的权重参数。

其中，

l_i表示由输出的边框与真实缺陷的交并比(Intersection over Union，简称IoU)的值所决定的值，其为0或者1，x_i、y_i、w_i、h_i和c_i依次表示第i个输出框的中心坐标及其宽度、高度及其为第i种缺陷的概率；和分别表示第i个输出框所对应的真实缺陷的中心坐标、宽度、高度及其为第i种缺陷的真实概率；N表示多源域数据集的源域数量。

L_d是域分类产生的损失函数，其值为

其中域相关权重式中N_S代表源域数据集的数量，和S_T分别表示目标域数据集的均值和协方差矩阵；表示第i个源域的数据。

步骤4)将待检测液晶面板图片输入已训练模型进行检测，在缺陷检测头部输出缺陷类型及其边框位置定位并输出其结果，如图4所示，结果包括候选边框位置的中心坐标、高度和宽度([x,y,h,w])、存在缺陷的概率(c₀)以及属于第1至n类典型缺陷的概率向量([c₀,c₁,c₂,…,c_n])；在域分类头部，如图5所示，其输出图片来自各个域的概率分布([p_d(1),p_d(1),…,p_d(n)])；

步骤5)选出c₀超过缺陷阈值的所有候选边框，并根据它们的缺陷概率向量[c₁,c₂,…,c_n]大小关系确定其具体缺陷类型，最后基于非极大值抑制方法获得液晶面板缺陷区域的最优边框位置，从而获得最终检测结果。其实施过程为先计算所有得到的结果框两两之间的交并比IoU，再将IoU>0.7的划为一组，得到若干组的结果框集合，最后在每个集合内部比较结果向量里面目标概率c₀，保留c₀最大的那个框，其余的舍弃，得到最终的检测框。

其实施过程包括首先将全部的边界框加入边界框列表，再按照其置信度得分进行排序，然后选择置信度最高的边界框添加至最终输出列表中，并将其从中删除，计算置信度最高的边界框与其他候选框的IoU，删除IoU大于阈值(0.3～0.5)的边界框，重复上述过程，直至边界框列表为空。

其中，非极大值抑制方法可采用如“Ren S,He K,Girshick R B,et al.Faster R-CNN:towards real-time object detection with region proposal networks[C].neural information processing systems,2015:91-99.”中相关技术进行处理。本发明不再赘述。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于多源域深度迁移学习的液晶面板缺陷检测方法，其特征在于，包括如下步骤：

步骤1)采集包括多种典型缺陷类型的液晶面板图片，并标记其缺陷类型和边框位置；

步骤2)基于深度稠密卷积神经网络构建液晶面板缺陷检测卷积神经网络的主干部分，基于面向多任务学习的全连接分类回归网络构建液晶面板缺陷检测卷积神经网络的缺陷检测头部和域分类头部；

步骤3)通过多源域训练数据集对所述液晶面板缺陷检测卷积神经网络进行多源域的深度迁移学习，直至收敛且具有较低的漏检率和误检率；即误检率在[1％,2％]，漏检率在[1％,4％]时；

步骤4)将待检测液晶面板图片输入已训练后的液晶面板缺陷检测卷积神经网络模型进行检测，在缺陷检测头部输出缺陷类型及其边框位置结果，包括候选边框位置的中心坐标、高度和宽度，存在缺陷的概率c₀以及属于某类典型缺陷的概率向量；在域分类头部，输出待测液晶面板图片来自各个域的概率分布；

步骤5)选出存在缺陷的概率c₀超过缺陷阈值的所有候选边框，并根据缺陷概率向量大小关系确定其具体缺陷类型，基于非极大值抑制方法获得液晶面板缺陷区域的最优边框位置，从而获得最终检测结果。

2.根据权利要求1所述的一种基于多源域深度迁移学习的液晶面板缺陷检测方法，其特征在于，步骤2)所述的深度稠密卷积神经网络具体包括利用密集跳跃连结方法，设计出一个自定义100层的深度稠密卷积神经网络，其中卷积层特征分为九个尺度，分别标记为conv1、conv2、conv3、conv4、conv5、conv6、conv7、conv8、和conv9。

3.根据权利要求1所述的一种基于多源域深度迁移学习的液晶面板缺陷检测方法，其特征在于，步骤2)所述的面向多任务学习的全连接分类回归网络具体包括四层全连接层、softmax层和回归层，其中回归层输出每一个潜在缺陷区域的中心坐标[x,y]、高度和宽度[h,w]，softmax层输出缺陷类别信息的概率分布[c₀,c₁,c₂,…,c_n]。

4.根据权利要求1所述的一种基于多源域深度迁移学习的液晶面板缺陷检测方法，其特征在于，步骤2)所述的域分类头部具体包括基于自定义的域分类函数组成Softmax分类器，所述自定义的域分类函数表示为：其中，L_d是域分类产生的损失函数；p_d(i)表示第i个域的概率分布。

5.根据权利要求1所述的一种基于多源域深度迁移学习的液晶面板缺陷检测方法，其特征在于，步骤3)所述的多源域的深度迁移学习具体包括在域分类头部和缺陷检测头部两种误差学习的驱动下，主干网络的反向传播以自定义域相关权重的误差进行传播，其反向传播式子包括以下公式：

其中，θ_f表示深度稠密卷积神经网络中的权重参数，μ代表参数学习的步长；是检测头部在第i个训练样本产生的损失值，w_d表示域相关的权重，表示域分类头部在第i个训练样本产生的损失值；θ_l表示检测头部的权重参数，θ_d是域分类头部的权重参数。

6.根据权利要求5所述的一种基于多源域深度迁移学习的液晶面板缺陷检测方法，其特征在于，检测头部对应的损失函数包括：

其中，l_i表示由输出的边框与真实缺陷的交并比的值所决定的值，其为0或者1，x_i、y_i、w_i、h_i和c_i依次表示第i个输出框的中心坐标及其宽度、高度及其为第i种缺陷的概率；和分别表示第i个输出框所对应的真实缺陷的中心坐标、宽度、高度及其为第i种缺陷的真实概率；N表示多源域数据集的源域数量。

7.根据权利要求6所述的一种基于多源域深度迁移学习的液晶面板缺陷检测方法，其特征在于，当真实缺陷的交并比的值大于0.7时，l_i＝1,当真实缺陷的交并比的值小于0.7时，l_i＝0；其中，交并比表示两个几何图形面积的交集和并集的比值；当待检测液晶面板图片为第i种缺陷，则c_i＝1，否则c_i＝0。

8.根据权利要求5所述的一种基于多源域深度迁移学习的液晶面板缺陷检测方法，其特征在于，所述的自定义域相关权重具体包括：

其中，N_S代表源域数据集的数量，和S_T分别表示目标域数据集的均值和协方差矩阵；表示第i个源域的数据。