CN110033443B - 一种显示面板缺陷检测方法 - Google Patents

一种显示面板缺陷检测方法 Download PDF

Info

Publication number
CN110033443B
CN110033443B CN201910270910.4A CN201910270910A CN110033443B CN 110033443 B CN110033443 B CN 110033443B CN 201910270910 A CN201910270910 A CN 201910270910A CN 110033443 B CN110033443 B CN 110033443B
Authority
CN
China
Prior art keywords
feature extraction
layer
extraction module
network
layer network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910270910.4A
Other languages
English (en)
Other versions
CN110033443A (zh
Inventor
马卫飞
张胜森
郑增强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jingce Electronic Group Co Ltd
Wuhan Jingli Electronic Technology Co Ltd
Original Assignee
Wuhan Jingce Electronic Group Co Ltd
Wuhan Jingli Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jingce Electronic Group Co Ltd, Wuhan Jingli Electronic Technology Co Ltd filed Critical Wuhan Jingce Electronic Group Co Ltd
Priority to CN201910270910.4A priority Critical patent/CN110033443B/zh
Publication of CN110033443A publication Critical patent/CN110033443A/zh
Application granted granted Critical
Publication of CN110033443B publication Critical patent/CN110033443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种特征提取网络及其显示面板缺陷检测方法,其中的特征提取网络,包括:输入层、特征提取层和输出层,输入层用于将待处理的图像传递至特征提取层;特征提取层,包括低层网络特征提取模块、中层网络特征提取模块、高层网络特征提取模块,其中,低层网络特征提取模块、中层网络特征提取模块、高层网络特征提取模块之间通过密集连接和递减连接的方式连接,分别用于对待处理的图像进行特征提取;输出层,用于接收特征提取层输出的特征映射图,并进行输出。本发明不仅大幅降低了显示面板缺陷检测的过检率和漏检率,并且鲁棒性更高,也降低了深度学习模型对于训练样本数量的要求。

Description

一种显示面板缺陷检测方法
技术领域
本发明涉及缺陷检测技术领域,具体涉及一种显示面板缺陷检测方法。
背景技术
在显示面板制作的过程中,往往因为显示面板上的划伤、压痕、破片、灰尘、污渍等缺陷,最终导致显示面板质量和成品等级的输出结果。因此,在显示面板制作的过程中,对组成显示面板的各个组件以及最终组装成功显示面板的表面进行缺陷检测,这至关重要。目前,显示面板各组件及其显示面板的检测主要依靠人眼观察和借助传统的图像处理算法进行检测。基于人眼的缺陷检测不仅存在很强的主观因素;并且,人眼进行长时间的检测也会存在视觉疲劳;而基于传统图像处理算法的面板缺陷检测算法泛化能力差、待调参数冗余、智能化程度低、过检率和漏检率很高,这些因素叠加起来导致显示面板缺陷检测设备后期的维护成本非常高昂,因此,并不能进行大规模的应用。
本申请发明人在实施本发明的过程中,发现现有技术的方法,至少存在如下技术问题:
[1]根据缺陷样本中的缺陷特点,构建各种用于提取缺陷特征的特征提取器,基于特征提取器提取的特征向量,训练一个基于机器学习算法的分类器,然后,这个分类器配合滑动窗口算法完成缺陷的检测。该类算法的主要问题在于需要根据不同的缺陷设计不同的特征提取方法,一旦缺陷的形状、面积发生较大的变化,则无法进行有效的缺陷检测;并且,此类方法针对微弱的缺陷,也会造成漏检和过检;
[2]基于传统的图像处理算法开发的缺陷检测算法,该类算法最大的问题就是泛化能力不强、需要调节的参数过多、检测过程需要人为干预,此类方法不仅会使得整个缺陷检测过程不能完全自动化,并且因为不可控因素众多,也会造成大量的过检和漏检;
[3]由质检员进行逐个人工检测。这样不仅会带来大量的人力成本和时间成本,并且效率低下;随着人眼疲劳程度的增加,也会造成微弱缺陷的大量漏检和过检。
由此可知,现有技术中存在的检测准确性不高的技术问题。
发明内容
有鉴于此,本发明提供了一种特征提取网络及其显示面板缺陷检测方法,用以解决或者至少部分解决现有技术中存在的检测准确性不高的技术问题。
本发明提供了第一方面提供了一种特征提取网络,包括:输入层、特征提取层和输出层,
输入层,用于将待处理的图像传递至特征提取层;
特征提取层,包括低层网络特征提取模块、中层网络特征提取模块、高层网络特征提取模块,其中,低层网络特征提取模块、中层网络特征提取模块、高层网络特征提取模块之间通过密集连接和递减连接的方式连接,分别用于对待处理的图像进行特征提取;
输出层,用于接收特征提取层输出的特征映射图,并进行输出。
在一种实施方式中,密集连接方式具体包括:低层网络特征提取模块通过两条路径向中层网络特征提取模块传递对应的特征映射图,中层网络特征提取模块通过两条路径向高层网络特征提取模块传递对应的特征映射图;低层网络特征提取模块、中层网络特征提取模块以及高层网络特征提取模块还分别向输出层传递对应的特征映射图。
在一种实施方式中,递减连接的方式具体包括:
中层网络特征提取模块在向高层网络特征提取模块、高层网络特征提取模块在向输出层进行传递时,特征映射图的连接数量按照预设倍数递减。
在一种实施方式中,特征映射图的连接数量的递减关系如下:
Figure GDA0003084280520000021
其中,k表示传递的特征映射图数量的数值,C1表示低层网络特征提取模块向后传递的特征映射图数量,C2表示中层网络特征提取模块向后传递的特征映射图数量,C3表示高层网络特征提取模块向后传递的特征映射图数量,S表示预设倍数。
在一种实施方式中,低层网络特征提取模块、中层网络特征提取模块、高层网络特征提取模块分别包括一个DBL模块和一个DenseBlock_3模块,其中,DBL模块包括一个卷积层、一个BatchNorm层和一个激活函数ReLU。
在一种实施方式中,DenseBlock_3模块包括3个相互串联的DenseBlock4模块组成,每个DenseBlock4模块通过4个DBL模块通过密集连接的方式连接。
在一种实施方式中,输出层为一个N*1的列向量,其中,N为待处理图像的数量,列向量中的每一个元素用以表征每一类别的预测概率。
基于同样的发明构思,本发明第二方面提供了一种显示面板缺陷检测方法,包括:
基于第一方面所述的特征提取网络,构建显示面板缺陷检测网络;
采用显示面板缺陷检测网络进行显示面板缺陷检测。
本申请实施例中的上述一个或多个技术方案,至少具有如下一种或多种技术效果:
本发明提供的一种特征提取网络包括:用于将待处理的图像传递至特征提取层的输入层;用于对对待处理的图像进行特征提取的特征提取层和用于接收特征提取层输出的特征映射图并进行输出的输出层。包括低层网络特征提取模块、中层网络特征提取模块、高层网络特征提取模块,其中,低层网络特征提取模块、中层网络特征提取模块、高层网络特征提取模块之间通过密集连接和递减连接的方式连接。并且基于上述特征提取网络,提供了一种显示面板缺陷检测方法。
由于本发明提供的特征提取网络中,低层网络特征提取模块、中层网络特征提取模块、高层网络特征提取模块之间通过密集连接和递减连接的方式连接,从而可以考虑整个网络中低层网络模块提取的图像特征、中层网络模块提取的图像特征和高层网络模块提取的图像特征这三部分图像特征之间的关系,以及这三部分对于最终整个特征提取网络准确率的贡献。从而适用于显示面板缺陷检测的领域,可以适应显示面积缺陷图像和显示面板缺陷图像中的缺陷特征,更加好的实现显示面板缺陷图像的分类和检测。实现了提高检测准确性的技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为自然图像和显示面板缺陷图像的对比示意图;
图2为一种具体示例中构建的特征提取网络DDBNet-39的结构示意图;
图3为主流的深度学习算法特征提取模块之间的第一种连接方式示意图;
图4为主流的深度学习算法特征提取模块之间的第二种连接方式示意图;
图5为主流的深度学习算法特征提取模块之间的第三种连接方式示意图;
图6为本发明实施例中密集连接和递减连接方式的示意图。
具体实施方式
本发明的主要目的是提出一种稳定的、泛化能力强的、可以对显示面板缺陷图像中的缺陷进行有效分类和检测的骨干特征提取网络;同时解决深度学习算法在显示面板缺陷检测领域应用的过程中,因为小样本而难以进行相应模型训练的问题。
本发明的方法无需对当前的显示面板缺陷检测系统结构进行修改,不会增加任何的硬件成本,同时该方法简单有效,具有容易实现、成本低、实用性高的特点。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请发明人通过大量的研究与实践发现,深度学习,特别是深度学习中的卷积神经网络,自2012年12月以来,陆续在图像识别、目标检测、图像语义分割、实例语义分割等领域取得了巨大的成功。为了使得面板缺陷检测算法对于缺陷的泛化能力更强、过漏检率更低、显示面板缺陷检测系统更加智能、相关设备后期维护成本更低,本发明创造性地将深度学习算法引入面板缺陷检测领域。但是,主流的深度学习算法并不能直接应用于工业的显示面板缺陷检测。其主要原因有以下两点:
[1]小样本:基于深度学习算法的显示面板缺陷检测算法需要大量的缺陷图像作为训练数据集合,而在工业显示面板缺陷检测领域,想要获得一定规模的缺陷样本数据集合极其困难;因此,能用于显示面板缺陷分类或者检测的训练样本非常少;
[2]显示面板缺陷图像特殊性:主流的深度学习算法通常都是基于背景纹理丰富、轮廓信息、色彩信息富有、待分类对象和检测对象十分清晰的自然图像构建的分类网络或者目标检测网络,自然图像如图1中的第一行图像所示;而显示面板缺陷检测图像通常不具有丰富的背景纹理信息,要不含有复杂的轮廓信息和色彩信息,通常都是一些线性缺陷、点状缺陷,如图1中的第二行图像所示。图中红色矩形框中的对象就是分类算法或者检测算法需要识别的目标对象。
基于以上考虑,本发明提出了一种用于显示面板缺陷检测的递减密集连接特征提取网络,这种特征提取网络不仅可以解决深度学习算法在显示面板缺陷检测领域难以应用的问题,同时也可以解决传统图像处理算法因为参数冗余、鲁棒性差而造成的显示设备后期维护成本过高而不能大规模应用的问题。
实施例一
本实施例提供了一种特征提取网络,请参见图2,该特征提取网络包括:输入层、特征提取层和输出层,
输入层,用于将待处理的图像传递至特征提取层;
特征提取层,包括低层网络特征提取模块、中层网络特征提取模块、高层网络特征提取模块,其中,低层网络特征提取模块、中层网络特征提取模块、高层网络特征提取模块之间通过密集连接和递减连接的方式连接,分别用于对待处理的图像进行特征提取;
输出层,用于接收特征提取层输出的特征映射图,并进行输出。
具体来说,本发明提供的特征提取层的主要创新点在于各网络特征提取模块的连接方式上,主流的深度学习分类算法或者检测算法中的骨干特征提取网络各特征提取模块的连接方式主要有以下三种连接方式,分别参加图3至图5。
其中,第一种连接方式如图3所示,这种连接方式仅仅考虑了相邻特征提取网络结构之间的数据流动和特征依赖传递关系,各相邻特征提取网络结构之间的特征映射图数量依次递增,如图3中的k、2k、4k....22k....;但是,这种网络连接并没有考虑整个网络中低层网络部分提取的图像特征、中层网络模块提取的图像特征和高层网络模块提取的图像特征这三模块图像特征之间的关系,以及这三模块对于最终整个模型准确率的贡献。图中的DBL为一个卷积层、一个正则化层和一个ReLU的顺序连接的缩写,构成一个特征网络提取组件。
自ResNet网络出现之后,深度学习的卷积神经网络领域,网络连接出现了第二种常见的网络连接结构-残差网络连接结构,如图4所示,但是这种网络结构出现的目的是为了解决神经网络训练过程中因为梯度消失而不能训练更深层次网络模型的问题,求本质并没有考虑到低层网络模块提取的图像特征、中层网络模块提取的图像特征和高层网络模块提取的图像特征这三部分图像特征之间的关系,以及这三部分对于最终整个模型准确率的贡献。
直至CondenseNet网络结构的出现,整个深度学习的卷积神经网络领域第一次考虑到了整个网络的低层特征、中层特征、高层特征对于整个模型最终准确率的影响,其各个网络特征提取结构之间的连接方式如图5所示。其中k为每个特征网络结构传递给后面特征提取网络结构的特征映射图的数量,可以看出,每经过一个特征提取网络结构,传递给后面的特征映射图数量是前一个特征映射图的数量加上前一个特征映射图数量的2的倍数,这就说明,越是网络的高层特征网络提取结构,其为整个模型最终网络的准确贡献了更大;简单来说,就是这种网络结构是考虑了网络的中低层特征,但是更加侧重高层网络特征对于最终网络模型准确率的贡献。这种结构用于自然网络图像分类的网络连接方式或者自然图像目标检测网络的骨干网络特征提取方式是适合的。因为根据神经网络可视化的结论可知,整个网络的低层网络部分提取出的特征多为目标的线性边缘信息、中层网络提取的特征多为目标的局部信息(如人的耳朵、鼻子)、高层网络提取的特征多则为整个目标的全局信息包括色彩、背景纹理信息。但是,由图1可知,这种适用于自然图像的网络连接方式其实并不适用于显示面板缺陷检测的领域,因为显示面板缺陷检测图像没有丰富的背景纹理信息、也没有丰富的背景色彩信息,并且显示面板图像中的缺陷多为线性缺陷和一些简单的点状缺陷、斑状缺陷,而这些缺陷一般存在与整个网络的底层网络部分和中层网络部分,因此,为了适应显示面积缺陷图像和显示面板缺陷图像中的缺陷特征,更加好的实现显示面板缺陷图像的分类和检测,本发明提出了一种递减密集连接的特征提取网络。
在一种实施方式中,密集连接方式具体包括:低层网络特征提取模块通过两条路径向中层网络特征提取模块传递对应的特征映射图,中层网络特征提取模块通过两条路径向高层网络特征提取模块传递对应的特征映射图;低层网络特征提取模块、中层网络特征提取模块以及高层网络特征提取模块还分别向输出层传递对应的特征映射图。
具体来说,传统的网络中,各个模块之间,仅相邻的模块之间连接,本发明中的特征提取网络采用密集连接的方式,即除了各相邻的模块之间连接外,其他模块之间还进行连接,并传递对应的特征映射图。
在一种实施方式中,递减连接的方式具体包括:
中层网络特征提取模块在向高层网络特征提取模块、高层网络特征提取模块在向输出层进行传递时,特征映射图的连接数量按照预设倍数递减。
在一种实施方式中,特征映射图的连接数量的递减关系如下:
Figure GDA0003084280520000071
其中,k表示传递的特征映射图数量的数值,C1表示低层网络特征提取模块向后传递的特征映射图数量,C2表示中层网络特征提取模块向后传递的特征映射图数量,C3表示高层网络特征提取模块向后传递的特征映射图数量,S表示预设倍数。
具体来说,如图6所示,整个网络的特征提取部分被划分为三个模块,分别为DenseBlock_L、DenseBlock_M、DenseBlock_H,分别代表整个网络的低层网络特征提取模块、中层网络特征提取模块和高层网络特征提取模块,每一个DenseBlock_X(X=L或M或H)可以包含若干各DBL(Conv-BatchNorm-ReLU)模块,用于每一个部分的特征提取。
从图6可以看出,DenseBlock_L模块在向后面的传递过程中,有两条路径,一条直线表示的直接传递路径(在深度学习中称为HighWay连接方式),另一条曲线表示的传递路径,并且DenseBlock_L无论采用哪种传递路径,向后传播的特征映射图数量都是k。
具体地,DenseBlock_L也通过两条路径向后面的模块传递(直线和曲线),;传递得数量均为k;DenseBlock_L通过直线路径传递给卷积模块DenseBlock_M模块之后,特征映射图的数量翻倍,因此,DenseBlock_M通过直线路径输出得特征映射图数量为2k;但是DenseBlock_M最终通过直线路径传递给DenseBlock_H模块的特征映射图数量为C2,C2具体的计算如公式1所示。同理,DenseBlock_M通过直线路径传递给DenseBlock_H的特征映射图数量为C2,C2经过DenseBlock_H模块之后,其特征映射图数量同样翻倍,因此,DenseBlock_H最终通过直线路径输出的特征映射图数量为2*C2;但是,Output模块最终接收到的特征映射图数量为C3,C3来自三个部分,来自DenseBlock_L的C1、DenseBlock_M的C2和,DenseBlock_H的C3,具体的计算公式如公式1所示。
本发明构建的网络每个模块之间,通过HighWay这样的直接连接方式传递给后面模块的特征映射图是S倍递减的;例如DenseBlock_M通过曲线路径传递给后面层的特征映射图数量为C2=(C1+2K)/S;而DenseBlock_H最终的输出C3传递给后面层的特征映射图数量也是S倍递减的;C3的具体计算公式见公式1所示。
也就是说,DenseBlock_L模块在通过直线路径向后面传递的时候,特征映射图的连接数量没有递减,而整体是递减的。DenseBlock_M在向DenseBlock_H、DenseBlock_H在向输出层进行输出的时候,特征映射图的连接数量都是按照S这个数字进行倍数递减的,S的取值一般为一个大于等于2的倍数,具体的取值需要结合实际的缺陷样本里面的信息进行确定。
整个网络通过这样的S倍率递减的方式就实现了整个网络侧重中低层特征映射图提取的中低层图像特征的问题,这种网络结构对于显示面板缺陷图像中缺陷的检测和分类是合理的,也是合适的。需要说明的是,在主流网络中、各卷积阶段的卷积核通常是32、64、128、256、512、1024这样的递增方式进行的,这一点对于显示面板的缺陷检测也是不合适的,在本发明构建的递减网络中,不仅各DenseBlock_X模块之间的连接是按S倍率递减的,在DenseBlock_M和DenseBlock_H这两个阶段,其内部的卷积核数量也是按照倍率进行递减的,这样也可以加重整个网络低层特征和中层特征在准确率计算的时候参与度。关于C1、C2、C3的计算公式如公式1所示。
在一种实施方式中,低层网络特征提取模块、中层网络特征提取模块、高层网络特征提取模块分别包括一个DBL模块和一个DenseBlock_3模块,其中,DBL模块包括一个卷积层、一个BatchNorm层和一个激活函数ReLU。
在一种实施方式中,DenseBlock_3模块包括3个相互串联的DenseBlock4模块组成,每个DenseBlock4模块通过4个DBL模块通过密集连接的方式连接。
在一种实施方式中,输出层为一个N*1的列向量,其中,N为待处理图像的数量,列向量中的每一个元素用以表征每一类别的预测概率。
具体来说,基于密集连接和递减连接这两种方式构建的特征提取网络:由于显示面板缺陷检测领域一般很难获得大量的缺陷图像作为训练数据集合,同时缺陷检测对于单幅图像的传播速度一般也是有要求的,考虑到这两点,本发明引入了密集连接这一思想,这样可以尽可能利用图像中的缺陷信息,并且构建了一个层数不是很深的特征提取网络DDBNet-39,该网络具体的结构如图2所示。
从网络总体框架上来说,整个网络分为输入层Input、DenseBlock_L模块、DenseBlock_M模块、DenseBlock_H模块,输出层OutPut,如图2中最上边一行的图所示;其中输入层Input即为待特征提取的图像,一般为512像素*512像素;OutPut层即为一个N*1的列向量,N为待图像分类的数量,列向量中的每一个元素机位每一类的预测概率;DenseBlock_L、DenseBlock_M、DenseBlock_H这三部分构成了整个特征提取网络的主要特征提取部分,每一个DenseBlock_X(X为L或M或H)包含一个DBL模块和一个DenseBlock_3模块,其中,DBL模块由一个卷积层、一个BatchNorm层、一个激活函数ReLU构成,如图2中的左下角的图所示;DenseBlock_3模块由3个相互串联的DenseBlock4(图2中的右下图所示)组成,每个DenseBlock4模块由4个DBL模块通过图2中右下角图中的所示的连接方式相互连接,即通过密集连接的方式连接;整个DDBNet-39的网络结构框架如上所示。
具体的网络结构参数及网络卷积核的大小如表1所示,表1中的第一列为组成网络相应的结构模块名称;表1中的第二列为组成特征提取网络主要的组成部分卷积核的详细情况,例如:3X3 Conv(Stride2)表示改成的类型为卷积层,该层卷积层使用的卷积核尺寸为3像素x3像素大小的卷积核,Stride2表示该卷积层使用的卷积核的滑动步长大小为2。
表1 DDBNet-39网络结构参数
Figure GDA0003084280520000101
需要说明的是,如没有特殊说明,本发明中涉及的英文简写的具体含义如表2所示。
表2术语解释
Figure GDA0003084280520000102
Figure GDA0003084280520000111
总体来说,本发明的目的针对显示面板缺陷检测分类过程中的过检和漏检情况,提出的一种用于显示面板缺陷检测的递减密集连接特征提取网络,该网络解决了主流深度学习网络模型不适用于显示面板缺陷检测的问题,同时也解决了因为小样本问题,深度学习算法不能大规模用于显示面板缺陷检测领域的问题,该算法或者特征提取网络的优点如下所示:
1、无需对当前的AOI结构进行修改,不会增加任何的硬件成本,
2、与现有深度学习网络模型相比,不仅降低了深度学习模型对于训练样本数量的要求,而且,该网络更加适合显示面板缺陷图像这类没有丰富背景纹理信息、检测目标微弱、简单的线性缺陷、点状缺陷和斑状缺陷。
3、与传统的图像处理算法相比,不仅大幅降低了显示面板缺陷检测的过检率和漏检率,而且更加的鲁棒。
4、基于该特征提取网络,不仅可以构建更加高效显示面板缺陷分类网络,也可以构建更加高效的显示面板缺陷检测的检测网络,基于该特征提取网络构建的分类网络和检测网络将会极大的简化整个显示面板缺陷检测和分类的系统流程,提高AOI检测设备的性能,减少人工检测的人力投入。
基于同一发明构思,本申请还提供了一种基于实施例一中特征提取网络的显示面板缺陷检测方法,详见实施例二。
实施例二
本实施例提供了一种显示面板缺陷检测方法,包括:
基于实施一所述的特征提取网络,构建显示面板缺陷检测网络;
采用显示面板缺陷检测网络进行显示面板缺陷检测。
具体来说,可以基于实施例一中的特征提取网络,训练构建显示面板缺陷检测网络或者分类器,进而进行显示面板缺陷检测。
由于本发明实施例二所介绍的显示面板缺陷检测方法,为基于本发明实施例一中特征提取网络所实现的方法,故而基于本发明实施例一所介绍的特征提取网络,本领域所属人员能够了解该方法的具体实施方式,故而在此不再赘述。凡是给予本发明实施例一的特征提取网络所实现的方法都属于本发明所欲保护的范围。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种显示面板缺陷检测方法,采用特征提取网络进行显示面板缺陷检测,其中,特征提取网络包括:输入层、特征提取层和输出层,
输入层,用于将待处理的图像传递至特征提取层;
特征提取层,包括低层网络特征提取模块、中层网络特征提取模块、高层网络特征提取模块,其中,低层网络特征提取模块、中层网络特征提取模块、高层网络特征提取模块之间通过密集连接和递减连接的方式连接,分别用于对待处理的图像进行特征提取,其中,递减连接的方式具体包括:中层网络特征提取模块在向高层网络特征提取模块、高层网络特征提取模块在向输出层进行传递时,特征映射图的连接数量按照预设倍数递减;
输出层,用于接收特征提取层输出的特征映射图,并进行输出;
其中,输出层为一个N*1的列向量,其中,N为待处理图像的数量,列向量中的每一个元素用以表征每一类别的预测概率。
2.如权利要求1所述的显示面板缺陷检测方法,其特征在于,密集连接方式具体包括:低层网络特征提取模块通过两条路径向中层网络特征提取模块传递对应的特征映射图,中层网络特征提取模块通过两条路径向高层网络特征提取模块传递对应的特征映射图;低层网络特征提取模块、中层网络特征提取模块以及高层网络特征提取模块还分别向输出层传递对应的特征映射图。
3.如权利要求1所述的显示面板缺陷检测方法,其特征在于,特征映射图的连接数量的递减关系如下:
Figure FDA0003104161710000011
其中,k表示传递的特征映射图数量的数值,C1表示低层网络特征提取模块向后传递的特征映射图数量,C2表示中层网络特征提取模块向后传递的特征映射图数量,C3表示高层网络特征提取模块向后传递的特征映射图数量,S表示预设倍数。
4.如权利要求1所述的显示面板缺陷检测方法,其特征在于,低层网络特征提取模块、中层网络特征提取模块、高层网络特征提取模块分别包括一个DBL模块和一个DenseBlock_3模块,其中,DBL模块包括一个卷积层、一个BatchNorm层和一个激活函数ReLU。
5.如权利要求3所述的显示面板缺陷检测方法,其特征在于,DenseBlock_3模块包括3个相互串联的DenseBlock4模块组成,每个DenseBlock4模块通过4个DBL模块通过密集连接的方式连接。
CN201910270910.4A 2019-04-04 2019-04-04 一种显示面板缺陷检测方法 Active CN110033443B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910270910.4A CN110033443B (zh) 2019-04-04 2019-04-04 一种显示面板缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910270910.4A CN110033443B (zh) 2019-04-04 2019-04-04 一种显示面板缺陷检测方法

Publications (2)

Publication Number Publication Date
CN110033443A CN110033443A (zh) 2019-07-19
CN110033443B true CN110033443B (zh) 2021-09-03

Family

ID=67237522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910270910.4A Active CN110033443B (zh) 2019-04-04 2019-04-04 一种显示面板缺陷检测方法

Country Status (1)

Country Link
CN (1) CN110033443B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599455A (zh) * 2019-08-13 2019-12-20 武汉精立电子技术有限公司 显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质
CN111815628B (zh) * 2020-08-24 2021-02-19 武汉精测电子集团股份有限公司 显示面板缺陷检测方法、装置、设备及可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095902A (zh) * 2014-05-23 2015-11-25 华为技术有限公司 图片特征提取方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650508B2 (en) * 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
CN105118044B (zh) * 2015-06-16 2017-11-07 华南理工大学 一种轮形铸造产品缺陷自动检测方法
CN107492098B (zh) * 2017-08-17 2018-04-10 广东工业大学 一种基于pca和cnn的高温锻件表面缺陷在位检测方法
CN108921825A (zh) * 2018-06-12 2018-11-30 北京羽医甘蓝信息技术有限公司 基于深度学习的检测面部皮肤点状缺陷的方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095902A (zh) * 2014-05-23 2015-11-25 华为技术有限公司 图片特征提取方法及装置

Also Published As

Publication number Publication date
CN110033443A (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
CN112884064B (zh) 一种基于神经网络的目标检测与识别方法
CN112818862B (zh) 基于多源线索与混合注意力的人脸篡改检测方法与系统
CN109543606A (zh) 一种加入注意力机制的人脸识别方法
CN109671058B (zh) 一种大分辨率图像的缺陷检测方法及系统
CN110009622B (zh) 一种显示面板外观缺陷检测网络及其缺陷检测方法
CN111382785B (zh) 一种gan网络模型及实现样本自动清洗、辅助标记的方法
CN111401293B (zh) 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法
CN110852316A (zh) 一种采用密集结构卷积网络的图像篡改检测和定位方法
CN111898406A (zh) 基于焦点损失和多任务级联的人脸检测方法
CN112529005B (zh) 基于语义特征一致性监督金字塔网络的目标检测方法
CN115063373A (zh) 基于多尺度特征智能感知的社交网络图像篡改定位方法
CN116091886A (zh) 一种基于教师学生模型与强弱分支的半监督目标检测方法及系统
CN110349167A (zh) 一种图像实例分割方法及装置
CN110334709A (zh) 基于端到端多任务深度学习的车牌检测方法
CN110033443B (zh) 一种显示面板缺陷检测方法
CN115439442A (zh) 基于共性和差异的工业品表面缺陷检测与定位方法及系统
CN113591719A (zh) 一种自然场景任意形状文本检测方法、装置和训练方法
CN110599455A (zh) 显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质
CN112580661A (zh) 一种深度监督下的多尺度边缘检测方法
CN116721414A (zh) 一种医学图像细胞分割与跟踪方法
CN112819748A (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN116152498A (zh) 基于数据驱动的金属表面缺陷语义分割网络与训练方法
CN116029979A (zh) 一种基于改进Yolov4的布料瑕疵视觉检测方法
CN111179278B (zh) 一种图像检测的方法、装置、设备和存储介质
CN108537266A (zh) 一种深度卷积网络的织物纹理疵点分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant