CN109859163A

CN109859163A - 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法

Info

Publication number: CN109859163A
Application number: CN201811562432.6A
Authority: CN
Inventors: 许国良; 范兴容; 刘恒; 彭大芹; 雒江涛
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2018-12-19
Filing date: 2018-12-19
Publication date: 2019-06-07

Abstract

本发明涉及一种基于特征金字塔卷积神经网络的LCD缺陷检测方法，包括构建特征金字塔卷积神经网络并构建一检测模型，利用该模型检测LCD面板图片，经由输出参数筛选并确定缺陷类型和位置，本方法充分利用了深度残差卷积神经网络和特征金字塔网络各自的优点，将低层高分辨率图像特征和高层高语义信息特征进行有效融合，并采用单阶段检测直接从LCD图片中获得缺陷的类型和位置，极大地提高了检测效率，降低了漏检率和误检率。

Description

一种基于特征金字塔卷积神经网络的LCD缺陷检测方法

技术领域

本发明属于计算机视觉、目标检测与识别技术领域，特别涉及一种基于特征金字塔卷积神经网络的LCD缺陷检测方法。

背景技术

目前，手机、电脑等显示器的液晶面板主要采用薄膜晶体管型液晶面板显示屏(Thin Film Transistor Liquid Crystal Display，TFT-LCD)。它具有体积小、厚度薄、能耗低、质量轻、环保无辐射等优点，迅速成为显示面板的主要材料。

因当前生产工艺的水平所限，生产者无法保证所生产的LCD完美无缺。只要生产过程中任何一个环节出现瑕疵，都会给LCD带来图像显示缺陷，如亮点、暗点、亮斑区域、闪屏、几何图形失真、色差(Mura)等。因此，LCD的缺陷检测过程就成为了生产过程中不可或缺的步骤。

在现有技术中，基于人工智能的LCD缺陷检测方法可以分为两类：一是基于机器视觉的LCD缺陷检测方法；二是基于深度学习的LCD缺陷检测方法。其中，基于深度学习的LCD缺陷检测方法是一种利用深度学习技术自动提取LCD缺陷图像特征并进行缺陷分类和定位的算法。基本思想是先将高分辨率LCD面板图片进行不同比例的缩放以生成多尺度的图片金字塔，然后基于滑动窗口的方法对每个尺度的图片进行分割以生成多个小图像块，最后将这些小图像块一起送入深度网络模型中进行检测。这类检测方法具有灵活性和通用性高、自适应和泛化性能强、无需背景领域知识等优点。

但是，这类检测方法不仅需要将原始高分辨率图片进行不同比例的缩放生成多尺度图片金字塔，还需要对于每一尺度的图片进行滑动窗口以生成很多小图像块，其检测效率极低，需要很高的计算和存储资源。进一步地，这些检测方法从本质上看都可以视为两阶段检测方法，即先将LCD缺陷检测问题转变成一个图像块分类问题，然后再通过深度网络模型的特征响应图来获得缺陷位置，而不是直接一次检测得到缺陷类型和位置。因此，现有的这类检测方法无法达到高效精准的缺陷检测效果，从而使得基于深度学习的LCD面板缺陷检测方法至今仍无法在实际生产线进行有效运用，也成为整个行业亟待解决的难题之一。

发明内容

有鉴于此，本发明的目的在于提供一种基于特征金字塔卷积神经网络的LCD缺陷检测方法，通过该方法可以有效地满足实际生产线高效、实时、精准的LCD缺陷检测要求和产品快速更新迭代的需求。

一种基于特征金字塔卷积神经网络的LCD缺陷检测方法，包括如下步骤：

S1、构建特征金字塔卷积神经网络，基于所述特征金字塔卷积神经网络构建LCD缺陷检测模型；

S2、利用所述模型检测LCD面板图片，获取至少一组参数；

S3、从所述参数中筛选符合预定义条件的参数组；

S4、从所述符合预定义条件的参数组中确定结果。

优选地，所述构建特征金字塔卷积神经网络包括将深度残差卷积神经网络、多尺度与多层级的特征金字塔网络和面向多任务学习的全连接分类回归网络级联。

优选地，所述多尺度与多层级的特征金字塔网络包括至少两个不同尺度与层级的特征层，其中最低层特征层直接来自对应最低卷积层的复制或映射。

优选地，下一层特征层由上一层特征层进行上采样，将其尺度放大至与所需下一层特征层对应的所述卷积神经网络的卷积层相应的尺度，再与对应卷积层进行像素点相加获得。

优选地，所述下一层特征层经由一卷积层对像素点相加后卷积获得。

优选地，所述面向多任务学习的全连接分类回归网络采用softmax与边框回归的并行处理模式。

优选地，所述至少一组参数包括缺陷概率值、缺陷概率向量和/或缺陷位置向量。

优选地，所述预定义条件包括一概率阈值。

优选地，所述从所述参数中筛选符合预定义条件的参数组包括提取满足预定义条件阈值的缺陷概率对应的缺陷概率向量和缺陷位置向量。

优选地，所述确定结果包括基于缺陷概率向量和缺陷位置向量确定缺陷类型和位置。

从技术角度看，本发明是一种基于特征金字塔卷积神经网络的LCD缺陷检测方法。与现有的基于深度学习的LCD缺陷检测方法相比，本发明充分利用了深度残差卷积神经网络和特征金字塔网络各自的优点，不仅能够将低层高分辨率图像特征和高层高语义信息特征进行有效地融合，而且采用单阶段检测直接从LCD面板图片中获得缺陷类型和位置，极大地提高了检测效率，降低了漏检率和误检率。

附图说明

图1是本发明方法的步骤示意图。

图2是本发明方法的特征金字塔卷积神经网络框架示意图。

图3是本发明的多尺度与多层级的特征金字塔网络框架示意图。

图4是本发明的面向多任务学习的全连接分类回归网络结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。以下实施例用于说明本发明，但并不用来限制本发明的范围。

在机器学习和模式识别等领域中，一般需要将样本分成独立的三部分——训练集(train sets)，验证集(validation sets)和测试集(test sets)。其中，训练集用于训练模型。

在本发明所提供的一种基于特征金字塔卷积神经网络的LCD缺陷检测方法中，首先需要采集各种缺陷类型的LCD图片，并对图片进行数据处理与存储——诸如标记(Label)缺陷类型及缺陷的边框数据并加以记录(如边框中心位置坐标，边框长度、宽度等数据)，形成样本集合，组成本方法的训练集，并进一步地使用训练集训练检测模型，直至收敛且具有符合要求的漏检率和误检率。

例如满足以下条件，损失函数收敛，

其中，λ_coord和λ_noobj是权重参数，λ_coord是表示某坐标的权重，λ_noobj表示非目标损失权重，S²代表将面板分成的子块数，B代表子块内预测的位置向量和概率分布向量数目，x、y代表预测缺陷框的中心坐标，w、h分别代表缺陷框的宽度和高度的一半，和代表第i个子块的第j个锚框所预测出的位置向量范围内是否含有缺陷，其取值为0或者1，由交并比(Intersection over union)决定，如果预测出来的一个区域框和真实的缺陷区域框有一个超过某一预定阈值，就认为这个区域是存在缺陷的，此时否则就认为该区域是不存在缺陷，此时代表第j个锚框所预测到的概率向量的从C₁至C_n，代表第j个锚框所预测到的概率向量的C₀，所有带有∧符号的参数均代表相应参数的训练数据标记值。

参考图1，图示为本方法的流程示意图。在检测过程中，将待检图片作为已训练好的检测模型的输入，由检测模型根据输入进行参数输出，包括缺陷类型识别和缺陷边框位置定位，例如存在缺陷的概率(C₀)和概率向量([C₁,C₂,…,C_n])，形成至少一组输出参数，例如参数组([C₀,C₁,…,C_n])。

设定一个缺陷筛选标准，从所述至少一组输出参数中筛选出符合要求的参数。其中，筛选标准可以是概率阈值C。例如当任一缺陷概率C₀≥C时，选取该C₀概率值对应的缺陷边框参数，并根据它们所对应的缺陷概率向量[C₁,C₂,…,C_n]大小关系确定其具体缺陷类型。具体可以为，通过C₀判断是否存在缺陷，若存在，则所在参数组中对应的缺陷概率向量([C₁,C₂,…,C_n])中最大值所对应的下标即对应了缺陷的种类。

最后可基于预定义算法获得LCD缺陷区域的最优边框位置(锚框框定)。所述预定义算法可以例如是非极大值抑制算法。

具体包括：

将所有检测出来的位置向量[x,y,h,w]按照它们框之间的交并比(交集/并集)的大小，将所有的框分成几个覆盖不同区域的子部分，每个子部分取一个与其他框交并比之和最大的框，其余的框抑制掉，留下的框就代表每一个缺陷目标的检测框。

参考图2，构建本方法所提供的特征金字塔卷积神经网络。特征金字塔卷积神经网络由深度残差卷积神经网络(Deep Residual Convolutional Neural Networks，DRCNNs)、多尺度与多层级的特征金字塔网络(Multi-Scale-Level Feature Pyramid Networks，MSLFPNs)和面向多任务学习的全连接分类回归网络(Full Connected layers，FCs)级联构成。

其中，DRCNNs可以自定义层数，为便于展示本发明的有益效果，本实施例仅采用5层DRCNNs表述。具体为：首先搭建一个5层DRCNNs，每层都是卷积层，从左至右分别标记为Conv1、Conv2、……、Conv5。然后基于DRCNNs自顶向下构建多尺度与多层级的特征金字塔网络MSLFPNs。其中，MSLFPNs由至少1层特征层组成，从左至右分别标记为Feat2、Feat3、……、Feat5。如图所示，除Conv1以外，至少DRCNNs中的一部分层具有相对应的MSLFPNs特征层。

MSLFPNs的特征层再经由锚框处理。锚框作为一种常用技术，在此不再赘述。为便于展示本发明的有益效果，本实施例采用每子块5个锚框进行框定。锚框的大小和宽高不尽相同，以框定不同的边界。

最后将锚框之后的输出依次与全连接层FCs、softmax分类器和/或边框盒回归层相连接建立面向多任务学习的全连接分类回归网络。

更具体地，参考图3，MSLFPNs最上层特征层(Feat5)由DRCNNs中需要对应到MSLFPNs的最后一个卷积层(Conv5)复制或映射，具体方法在此并不限定，可以直接复制，也可经由特征提取等。随后，MSLFPNs最上层特征层经过上采样，将其放大至与其相邻的下一层MSLFPNs特征层(Feat4)相应的尺度(如将8*8尺度放大至16*16)，然后与需要映射的下一个卷积层(Conv4)或其映射的像素点相加，得到融合之后的特征层(Feat4)。其中，融合过程还可以经过一卷积层以消除混叠效应，后续更多特征层也以此类推。

所述的面向多任务学习的全连接分类回归网络可以由两层全连接层、softmax分类器(即softmax层)和边框盒回归层组成，其网络用于输出LCD面板每一个潜在缺陷区域的中心坐标、高度和宽度([X,Y,H,W])及其概率分布向量([C₀,C₁,C₂,…,C_n])。Softmax层与回归层之间并行处理，同时进行Softmax和边框盒的回归，同时得到缺陷的位置信息和类别信息，如图4所示。

返回图2，以MSLFPNs特征层每层划分13*13个子块为例，每个子块经由5个锚框框定，一共4层特征层，经由softmax与边框回归后可得共计13*13*5*4＝3380个结果向量，每个向量包含概率、位置、宽度和高度等参数，所述参数再经由筛选和确定以判定缺陷类型和位置。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于特征金字塔卷积神经网络的LCD缺陷检测方法，包括如下步骤：

S2、利用所述模型检测LCD面板图片，获取至少一组参数；

S3、从所述参数中筛选符合预定义条件的参数组；

S4、从所述符合预定义条件的参数组中确定结果。

2.根据权利要求1所述的方法，其特征还在于，所述构建特征金字塔卷积神经网络包括将深度残差卷积神经网络、多尺度与多层级的特征金字塔网络和面向多任务学习的全连接分类回归网络级联。

3.根据权利要求2所述的方法，其特征还在于，所述多尺度与多层级的特征金字塔网络包括至少两个不同尺度与层级的特征层，其中最低层特征层直接来自对应最低卷积层的复制或映射。

4.根据权利要求3所述的方法，其特征还在于，下一层特征层由上一层特征层进行上采样，将其尺度放大至与所需下一层特征层对应的所述卷积神经网络的卷积层相应的尺度，再与对应卷积层进行像素点相加获得。

5.根据权利要求4所述的方法，其特征还在于，所述下一层特征层经由一卷积层对像素点相加后卷积获得。

6.根据权利要求2所述的方法，其特征还在于，所述面向多任务学习的全连接分类回归网络采用softmax与边框回归的并行处理模式。

7.根据权利要求1所述的方法，其特征还在于，所述至少一组参数包括缺陷概率值、缺陷概率向量和/或缺陷位置向量。

8.根据权利要求1所述的方法，其特征还在于，所述预定义条件包括一概率阈值。

9.根据权利要求1所述的方法，其特征还在于，所述从所述参数中筛选符合预定义条件的参数组包括提取满足预定义条件阈值的缺陷概率所对应的缺陷概率向量和缺陷位置向量。

10.根据权利要求1所述的方法，其特征还在于，所述确定结果包括基于缺陷概率向量和缺陷位置向量确定缺陷类型和位置。