CN111275660A - 一种平板显示器缺陷检测方法及装置 - Google Patents

一种平板显示器缺陷检测方法及装置 Download PDF

Info

Publication number
CN111275660A
CN111275660A CN201811481095.8A CN201811481095A CN111275660A CN 111275660 A CN111275660 A CN 111275660A CN 201811481095 A CN201811481095 A CN 201811481095A CN 111275660 A CN111275660 A CN 111275660A
Authority
CN
China
Prior art keywords
images
sample
panel display
flat panel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811481095.8A
Other languages
English (en)
Other versions
CN111275660B (zh
Inventor
梁叶
户鹏辉
李小明
黄春来
孙旺
张海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Sineva Intelligent Machine Co Ltd
Original Assignee
Hefei Sineva Intelligent Machine Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Sineva Intelligent Machine Co Ltd filed Critical Hefei Sineva Intelligent Machine Co Ltd
Priority to CN201811481095.8A priority Critical patent/CN111275660B/zh
Publication of CN111275660A publication Critical patent/CN111275660A/zh
Application granted granted Critical
Publication of CN111275660B publication Critical patent/CN111275660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30121CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本发明实施例提供一种平板显示器缺陷检测方法及装置,涉及FPD缺陷检测领域。本发明实施例能够避免缺陷特征的人为选择和提取,提高了检测效率。该方法包括:采集样本平板显示器所显示的原始图像;样本平板显示器中包括有缺陷的平板显示器和没有缺陷的平板显示器;对原始图像进行预处理,建立样本图像集;其中,样本图像集中的样本图像包括合格图像和不合格图像两种类型的图像;利用样本图像集中的样本图像以及样本图像集中的样本图像所对应的类型,对卷积神经网络模型进行监督学习,生成图像分类器;获取待检测平板显示器的显示图像;利用图像分类器,对显示图像进行检测,以判断待检测平板显示器是否具有缺陷。本发明应用于FPD缺陷检测。

Description

一种平板显示器缺陷检测方法及装置
技术领域
本发明涉及FPD(Flat Panel Display平板显示器)缺陷检测领域,尤其涉及一种平板显示器缺陷检测方法及装置。
背景技术
在FPD(Flat Panel Display平板显示器)的生产过程中,会或多或少的产生缺陷,这些缺陷严重影响了FPD的性能,因此在出厂前进行缺陷检测至关重要。
为了对平板显示器的缺陷进行检测,中国专利201210538857.X公开了一种基于光学的平板显示器缺陷检测系统。该技术方案中通过对平板显示器上的电流和信号进行检测,进而计算平板显示器的缺陷密度。但这种方法对硬件装置要求较高。
因此,如何才能更加方便快捷的对平板显示器进行缺陷检测,便成为了目前平板显示器产业需要解决的问题。
发明内容
本发明提供一种平板显示器缺陷检测方法及装置,能够通过对待检测平板显示器的显示图像进行检测,从而判断待检测平板显示器是否具有缺陷。并且本发明中通过利用样本图像集中的样本图像对卷积神经网络模型进行监督学习训练的方式生成图像分类器,从而避免了人工特征选择和提取,提高了检测效率并且减少了人为主观对检测结果的影响。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,本发明实施例提供一种平板显示器缺陷检测方法,包括:采集样本平板显示器所显示的原始图像;样本平板显示器中包括有缺陷的平板显示器和没有缺陷的平板显示器;对原始图像进行预处理,建立样本图像集;其中,样本图像集中的样本图像包括合格图像和不合格图像两种类型的图像;利用样本图像集中的样本图像以及样本图像集中的样本图像所对应的类型,对卷积神经网络模型进行监督学习,生成图像分类器;获取待检测平板显示器的显示图像;利用图像分类器,对显示图像进行检测,以判断待检测平板显示器是否具有缺陷。
第二方面,本发明实施例提供一种平板显示器缺陷检测装置,包括:采集单元,用于采集样本平板显示器所显示的原始图像;样本平板显示器中包括有缺陷的平板显示器和没有缺陷的平板显示器;预处理单元,用于对原始图像进行预处理,建立样本图像集;其中,样本图像集中的样本图像包括合格图像和不合格图像两种类型的图像;模型训练单元,用于利用样本图像集中的样本图像以及样本图像集中的样本图像所对应的类型,对卷积神经网络模型进行监督学习,生成图像分类器;获取单元,用于获取待检测平板显示器的显示图像;检测单元,用于利用图像分类器,对显示图像进行检测,以判断待检测平板显示器是否具有缺陷。
第三方面,本发明实施例提供一种平板显示器缺陷检测装置,包括:处理器、存储器、总线和通信接口;存储器用于存储计算机执行指令,处理器与存储器通过总线连接,当平板显示器缺陷检测装置运行时,处理器执行存储器存储的计算机执行指令,以使平板显示器缺陷检测装置执行如上述第一方面所提供的平板显示器缺陷检测方法。
第四方面,本发明实施例提供一种计算机存储介质,包括指令,当其在平板显示器缺陷检测装置上运行时,使得平板显示器缺陷检测装置执行如上述第一方面所提供的平板显示器缺陷检测方法。
本发明实施例中通过利用采集到的样本平板显示器所显示的原始图像对卷积神经网络进行监督学习的方式,能够将样本图像在原空间的特征变换到新的特征空间,自动地学习得到层次化的特征表示。进而根据待检测平板显示器的显示图像的特征判断该待检测平板显示器是否存在缺陷。相比现有的平板显示器缺陷检测方法,本发明所提供的检测方法具有准确性高、鲁棒性强的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种平板显示器缺陷检测方法的流程示意图;
图2为本发明实施例提供的卷积神经网络模型训练过程中检测错误率与学习率的变化示意图;
图3为本发明实施例提供的一种平板显示器缺陷检测装置的结构示意图;
图4为本发明实施例提供的另一种平板显示器缺陷检测装置的结构示意图;
图5为本发明实施例提供的又一种平板显示器缺陷检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明所使用的术语“单元”、“模块”旨在指代计算机相关实体,该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如,单元可以是,但不限于是:在处理器上运行的处理对象、处理器、可执行文件、执行中的线程、程序和/或计算机。
本发明中所涉及平板显示器,即Flat Panel Display,简写为FPD。平板显示器的种类很多,按显示媒质和工作原理分,有液晶显示(LCD)、等离子显示(PDP)、电致发光显示(ELD)、有机电致发光显示(OLED)、场发射显示(FED)、投影显示等。本发明实施例中对平板显示器的具体类型可以不作限制。
以下对本发明的发明原理进行介绍:目前,为了保证产品的合格率,对平板显示器进行缺陷检测是出厂前非常重要的一项工序。另外,后期在对平板显示器进行维修时也需要对平板显示器的显示效果进行缺陷检测。因此,如何能够更加快捷方便的对平板显示器进行缺陷检测,便成为了目前平板显示器产业需要解决的问题。
本发明中考虑到在利用平板显示器的显示图像来对平板显示器的缺陷进行检测时,随着显示内容的不同,图像呈现出的灰度、色彩、亮度等参数也是变化的,因此在不同的显示图像中缺陷的表现形式也会有所变化,这就增加了对不合格图像的特征提取的复杂程度。因此本发明中想到通过构建一个卷积神经网络模型,再利用大量的合格以及不合格的样本图像对卷积神经网络模型进行监督学习训练,然后利用训练好的卷积神经网络模型来完成对显示图像的特征提取的工作,这样一来便可以避免人为选择特征所带来的主观影响,提高了特征提取的准确性,进而提高检测效率和准确性。
实施例一:
基于上述发明原理本发明实施例提供一种平板显示器缺陷检测方法,如图1所示,该方法包括:
S101、采集样本平板显示器所显示的原始图像。
其中,样本平板显示器中包括有缺陷的平板显示器以及没有缺陷的平板显示器。
具体的,为了对卷积神经网络模型进行训练,需要先采集大量的有缺陷的平板显示器所显示的图像作为正样本以及没有缺陷的平板显示器所显示的图像作为负样本,以便对卷积神经网络进行监督学习训练。
在采集样本平板显示器所显示的原始图像时,可以采用利用光学设备例如照相机、摄像机等设备直接拍摄样本平板显示器所显示的图像的方式来进行采集。对于具体的采集方式,本发明可不做限制。
S102、对原始图像进行预处理,建立样本图像集。
其中,样本图像集中的样本图像包括合格图像和不合格图像两种类型的图像。其中合格图像即为图像中没有显示出缺陷的图像,不合格图像即为图像汇总显示出缺陷的图像。
具体的,在采集到足够数量的原始图像之后,为了凸显出原始图像中的缺陷部分,可以对原始图像进行相应的预处理,然后将处理后的图像添加至样本图像集中,以便后续利用样本图像集中的样本图像对卷积神经网络模型进行训练。
在一种实现方式中,为了提高模型训练的准确性和效率,本发明实施例中步骤S102,具体可以包括以下步骤:
S1021、对原始图像进行高斯滤波以及线性拉伸处理,生成特征增强图像。
具体的,假设经过采集获取到m张原始图像。则对这m张原始图像分别进行高斯滤波以及线性拉伸处理,以使得图像中的缺陷特征更加明显。
在一种实现方式中,在对原始图像进行高斯滤波时,可以采用5*5的窗口模板来进行高斯滤波,实现更好的效果。
S1022、对特征增强图像进行分割,并生成n幅子图像。
考虑到通过上述步骤S101采集到的原始图像其图像分辨率较高,相对而言图像中的缺陷尺寸往往比较小,若直接对特征增强图像直接进行压缩并进行特征提取,则可能导致缺陷特征的丢失。因此本发明实施例中通过将特征增强图像进行分割,再对分割后的子图像进行训练、特征提取等步骤,从而能够提出更加有效的图像特征。
在一种实现方式中,为了防止在分割图像时将点缺陷丢失,因此本发明实施例中在对特征增强图像分别进行分割时,所生成的n幅子图像中相邻子图像之间重叠5个像素点。
S1023、利用立方体插值将n幅子图像进行尺寸归一化处理。
具体的,为了使样本图像集中的样本图像都保持相同的尺寸大小。可以利用精度较高的立方体插值将n幅子图像的尺寸进行归一化处理。
在一种实现方式中,可以将进行归一化处理的子图像的尺寸设置为224*224。此处对图像的尺寸是以像素个数作为计算单位,例如上述224*224即表示长为224个像素、宽为224个像素的图像大小。后续实例中若无特殊说明,对图像尺寸的大小均与上述同理,以像素个数为单位。
S1024、将进行尺寸归一化处理后的图像添加至样本图像集中,以奖励样本图像集。
具体的,在对采集到的原始图像都进行上述S1021-S1023的处理后,将生成的经过尺寸归一化处理的子图像均添加至样本图像集中,最终建立符合要求的样本图像集。
在一种实现方式中,为了保证模型训练的效率和准确性,可以使样本图像集中合格图像和不合格图像的数量保持相当,并且使不同缺陷类型的图像数量也保持一致。因此,本发明实施例中,在对卷积神经网络模型进行训练之前,还包括:
S103、对样本图像集中的部分图像进行旋转变换,并将经过旋转变换所生成的图像添加至样本图像集中,以使得样本图像集中的合格图像和不合格图像的数量相等,并且使得样本图像集中不合格图像中各种缺陷类型的图像数量相等。
具体的,本发明中的缺陷类型,具体可以包括:显示亮度存在缺陷、显示灰度存在缺陷、对比度存在缺陷等。
另外,在一种实现方式中,样本图像集中不同显示类型的图像的个数也相等。以RBG色彩模式的图像为例,纯R通道显示的图像、纯G通道显示的图像、纯B通道显示的图像、纯黑色的图像、纯白色的图像、灰阶值为32的图像、灰阶值为64的图像以及灰阶值为128的图像数量都相等。
S104、在建立好完备的样本图像集之后,则利用样本图像集中的样本图像以及样本图像集中的样本图像对应的类型,对卷积神经网络模型进行监督学习,生成图像分类器。
其中,样本图像集中的样本图像对应的类型,包括:合格图像和不合格图像两种类型。
具体的,本发明实施例中所构建的卷积神经网络是一个具有七层结构的模型,包括三个卷积层(第一卷积层、第二卷积层、第三卷积层)、三个池化层(第一池化层、第二池化层、第三池化层)以及全连接层。
其中,第一卷积层包括六个卷积核,用于根据输入的目标图像生成六个第一特征图像。
在一种实现方式中,第一卷积层包括的六个卷积核分别为5*5的卷积核,卷积步长为1。在输入的目标图像为224*224的样本图像集中的样本图像时,则生成六个大小为(224-5+1)*(224-5+1)=220*220的第一特征图像。
第一池化层,用于将上述生成的六个第一特征图像进行降维处理。
在一种实现方式中,第一池化层包括一个2*2的卷积核作为滤波器,卷积步长为2,进而可以将六个第一特征图像降维至得到110*110。
第二卷积层包括十六个卷积核,用于根据降维处理后的六个第一特征图像生成十六个第二特征图像。
在一种实现方式中,第二卷积层的十六个卷积核分别为5*5的卷积核,卷积步长为1。进而当降维处理后的第一特征图像大小为110*110时,十六个第二特征图像的大小分别为106*106。
第二池化层,用于将十六个第二图像进行降维处理;
在一种实现方式中,第二池化层包括一个2*2的卷积核作为滤波器,卷积步长为2,进而可以将十六个第二特征图像降维至得到53*53。
第三卷积层包括十六个卷积核,用于根据降维处理后的十六个第二特征图像,生成十六个第三特征图像。
在一种实现方式中,第三卷积层的十六个卷积核分别为4*4的卷积核,卷积步长为1。进而当降维处理后的第二特征图像大小为53*53时,十六个第二特征图像的大小分别为50*50。
第三池化层,用于将十六个第三特征图进行降维处理。
在一种实现方式中,第三池化层包括一个2*2的卷积核作为滤波器,卷积步长为2,进而可以将十六个第三特征图像降维至得到25*25。
全连接层,用于将根据降维处理后的十六个第三特征图像,生成输入的目标图像的特征向量。
具体的,降维处理后的十六个第三特征图像大小分别为25*25时,全连接层根据降维处理后这十六个的第三特征图像的像素,生成10000*1的一维特征向量,以便分类层利用生成的一维特征向量对输入的目标图像进行分类。
另外,在对卷积神经网络模型进行训练时,本发明实施例中将样本图像集中的样本图像分为三个子集合:训练样本集合、验证样本集合以及测试样本集合。其中,训练样本集合用于对卷积神经网络模型中的神经元进行训练;验证样本集合用于对卷积神经网络模型进行验证,并调整卷积神经网络模型的参数;测试样本集合,用于对卷积神经网络模型的检测结果进行测试评价。
在一种实施例中,本发明中的卷积神经网络模型的计算过程如下:
(1)输入训练样本集合中的样本图像X={xi}及其对应的类型的标签Y={yi}。
示例性的,输入训练样本集合中的图像A,以及图像A的标签:不合格图像。
(2)前向传播。将样本图像输入到模型中,则当前层l的输出为:
Figure BDA0001893405340000081
其中,f为激活函数,w为权重,b为偏置,u为激活函数的自变量,l层的u由l层的权重wl、上一层输出xl-1、l层的偏置bl确定。激活函数主要用于图像特征的非线性映射,增强数据的表达能力,常用的有Simoid函数、Tanh函数、ReLU函数和Softplus函数,本发明采用Simoid函数,形式如下:
Figure BDA0001893405340000082
卷积层和池化层交替计算,得到最后的输出为:
output=fn(...(f2(f1(xiw1+b1)w2+b2))...wn+bn) (3)
其中,n为网络模型的层数。
(3)误差反向传播。利用代价函数计算输出的误差:
Figure BDA0001893405340000083
其中,E为样本d的误差,yk是神经元k的期望输出,ok是实际输出。对于每个输出单元k,计算当前层l的误差项:
Figure BDA0001893405340000084
每个隐含层神经元h的误差为:
Figure BDA0001893405340000085
相邻两层的误差项由以下公式计算:
δl=(wl+1l+1·f(ul) (7)
更新权值:
Figure BDA0001893405340000086
其中,
Figure BDA0001893405340000087
为更新之前的层l的权值,
Figure BDA0001893405340000088
为更新之后的层l的权值,△wl为:
Figure BDA0001893405340000089
(4)损失函数优化策略:在计算损失函数时,为了节省训练网络模型的时间,本发明中采用小批量数据(mini-batch)的随机梯度下降(SGD)的优化策略,即计算梯度时,随机选取一定数量的部分样本图像计算损失函数的值,然后求平均。相比full-batch梯度下降,mini-batch可以并行计算,在一定程度上节约训练模型带来的时间成本。
(5)为了防止过拟合现象的产生,在损失函数中加入惩罚项L2范数,帮助损失函数收敛,形式如下:
Figure BDA00018934053400000810
其中,L(θ)为损失函数,
Figure BDA0001893405340000091
表示L2范数,θ为参数,i表示第i个样本。α为L2范数的超参数。
Figure BDA0001893405340000092
为总的损失函数,也叫目标函数,即加入惩罚项后的损失函数。
(6)学习率衰减策略:根据优化过程在不同阶段的特点,训练前期使用较大的学习率加速收敛,在迭代过程中降低学习率,保证模型稳定,公式如下:
Figure BDA0001893405340000093
其中lrbase是初始学习率,γ是一个小于1的衰减系数,stepsize是一个触发衰减的阈值。
在一种实现方式中,本发明实施例中训练样本集合、验证样本集合以及测试样本集合中的图像数量之比为7:1.5:1.5。
在对卷积神经网络模型进行监督学习训练之前,进行卷积神经网络模型的参数的初始化设置时,本发明实施例还包括:卷积神经网络的初始的学习率为0.001,学习率的衰减系数为0.1,学习率的衰减步长为30,迭代次数为100,L2范数的超参数为0.0005。
具体的,如图2所示,在对卷积神经网络进行训练的过程中,检测的错误率与学习率会逐步收敛。然后,再根据训练中的损失函数和验证中的损失函数的收敛情况,对卷积神经网络模型的参数进行调整。
具体的,在一种实现方式中,当卷积神经网络模型的训练损失函数和验证损失函数都收敛,并且训练损失函数的最小值与验证损失函数的最小值之差小于设定阈值(具体的,本发明实施例中设定阈值为4)时,结束训练,并根据卷积神经网络模型生成图像分类器。
S105、获取待检测平板显示器的显示图像。
S106、利用上述步骤S104生成的图像分类器,对显示图像进行检测,以判断待检测平板显示器是否有缺陷。
具体的,在获取待检测平板显示器的显示图像后,需要对该显示图像进行与上述步骤S102对应的预处理,然后读取图像分类器,并利用图像分类器对显示图像进行检测,判断显示图像为合格图像还是不合格图像,以便判断待检测平板显示器是否有缺陷。
本发明实施例中通过利用采集到的样本平板显示器所显示的原始图像对卷积神经网络进行监督学习的方式,能够将样本图像在原空间的特征变换到新的特征空间,自动地学习得到层次化的特征表示。进而根据待检测平板显示器的显示图像的特征判断该待检测平板显示器是否存在缺陷。相比现有的平板显示器缺陷检测方法,本发明所提供的检测方法具有准确性高、鲁棒性强的效果。
实施例二:
本发明实施例提供一种平板显示器缺陷检测装置,该平板显示器缺陷检测装置用于执行上述平板显示器缺陷检测方法。如图3所示,为本发明实施例提供的平板显示器缺陷检测装置的一种可能的结构示意图。具体的,该平板显示器缺陷检测装置20包括:采集单元201、预处理单元202、模型训练单元203、获取单元204以及检测单元205。其中:
采集单元201,用于采集样本平板显示器所显示的原始图像;样本平板显示器中包括有缺陷的平板显示器和没有缺陷的平板显示器;
预处理单元202,用于对原始图像进行预处理,建立样本图像集;其中,样本图像集中的样本图像包括合格图像和不合格图像两种类型的图像;
模型训练单元203,用于利用样本图像集中的样本图像以及样本图像集中的样本图像所对应的类型,对卷积神经网络模型进行监督学习,生成图像分类器;
获取单元204,用于获取待检测平板显示器的显示图像;
检测单元205,用于利用图像分类器,对显示图像进行检测,以判断待检测平板显示器是否具有缺陷。
可选的,预处理单元202,具体包括:特征增强子单元2021、分割子单元2022、归一化子单元2023以及存储子单元2024;其中,
特征增强子单元2021,用于对原始图像进行高斯滤波以及线性拉伸处理,生成特征增强图像;
分割子单元2022,用于将特征增强图像进行分割,并生成n幅子图像;
归一化子单元2023,用于利用立方体插值,将n幅子图像进行尺寸归一化处理;
存储子单元2024,用于将进行尺寸归一化处理后的图像添加至样本图像集,以建立样本图像集。
可选的,平板显示器缺陷检测装置,还包括旋转变换单元206;
旋转变换单元206,用于在模型训练单元在利用样本图像集中的样本图像以及样本图像集中的样本图像所对应的类型,对卷积神经网络模型进行监督学习之前,对样本图像集中的部分图像进行旋转变换,并将经过旋转变换所生成的图像添加至样本图像集中,以使得样本图像集中的合格图像和不合格图像的数量相等,并且使得样本图像集中不合格图像中各种缺陷类型的图像数量相等。
可选的,卷积神经网络模型包括第一卷积层、第二卷积层、第三卷积层、第一池化层、第二池化层、第三池化层以及全连接层;其中,
第一卷积层包括六个卷积核,用于根据输入的目标图像生成六个第一特征图像;
第一池化层,用于将六个第一特征图像进行降维处理;
第二卷积层包括十六个卷积核,用于根据降维处理后的六个第一特征图像,生成十六个第二特征图像;
第二池化层,用于将十六个第二图像进行降维处理;
第三卷积层包括十六个卷积核,用于根据降维处理后的十六个第二特征图像,生成十六个第三特征图像;
第三池化层,用于将十六个第三特征图进行降维处理;
全连接层,用于将根据降维处理后的十六个第三特征图像,生成输入的目标图像的特征向量。
可选的,模型训练单元203,具体用于当卷积神经网络模型的训练损失函数和验证损失函数都收敛,并且训练损失函数的最小值与验证损失函数的最小值之差小于设定阈值时,结束训练,并根据卷积神经网络模型生成图像分类器。
本发明实施例中提供的平板显示器缺陷检测装置中各模块所实现的功能以及所产生的效果可以参照上述实施例一平板显示器缺陷检测方法中的对应的描述内容,在此不再赘述。
在采用集成的单元的情况下,图4示出了上述实施例中所涉及的平板显示器缺陷检测装置的一种可能的结构示意图。平板显示器缺陷检测装置30包括:处理模块301、通信模块302和存储模块303。处理模块301用于对平板显示器缺陷检测装置30的动作进行控制管理,例如,处理模块301用于支持平板显示器缺陷检测装置30执行图1中的过程S101-S106。通信模块302用于支持平板显示器缺陷检测装置与其他实体的通信。存储模块303用于存储平板显示器缺陷检测装置的程序代码和数据。
其中,处理模块301可以是处理器或控制器,例如可以是中央处理器(centralprocessing unit,CPU),通用处理器,数字信号处理器(digital signal processor,DSP),专用集成电路(application-specific integrated circuit,ASIC),现场可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。通信模块302可以是收发器、收发电路或通信接口等。存储模块303可以是存储器。
当处理模块301为如图5所示的处理器,通信模块302为如图5所示的收发器,存储模块303为如图5所示的存储器时,本申请实施例所涉及的平板显示器缺陷检测装置可以为如下的模型训练装置40。
参照图5所示,该平板显示器缺陷检测装置40包括:处理器401、收发器402、存储器403和总线404。
其中,处理器401、收发器402、存储器403通过总线404相互连接;总线404可以是外设部件互连标准(peripheral component interconnect,PCI)总线或扩展工业标准结构(extended industry standard architecture,EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
处理器401可以是一个通用中央处理器(Central Processing Unit,CPU),微处理器,特定应用集成电路(Application-Specific Integrated Circuit,ASIC),或一个或多个用于控制本申请方案程序执行的集成电路。
存储器403可以是只读存储器(Read-Only Memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(Random Access Memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器403用于存储执行本申请方案的应用程序代码,并由处理器401来控制执行。收发器402用于接收外部设备输入的内容,处理器401用于执行存储器403中存储的应用程序代码,从而实现本申请实施例中所述平板显示器缺陷检测方法。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种平板显示器缺陷检测方法,其特征在于,包括:
采集样本平板显示器所显示的原始图像;所述样本平板显示器中包括有缺陷的平板显示器和没有缺陷的平板显示器;
对所述原始图像进行预处理,建立样本图像集;其中,所述样本图像集中的样本图像包括合格图像和不合格图像两种类型的图像;
利用所述样本图像集中的样本图像以及所述样本图像集中的样本图像所对应的类型,对卷积神经网络模型进行监督学习,生成图像分类器;
获取待检测平板显示器的显示图像;
利用所述图像分类器,对所述显示图像进行检测,以判断所述待检测平板显示器是否具有缺陷。
2.根据权利要求1所述平板显示器缺陷检测方法,其特征在于,
所述对所述原始图像进行预处理,建立样本图像集,具体包括:
对所述原始图像进行高斯滤波以及线性拉伸处理,生成特征增强图像;
将所述特征增强图像进行分割,并生成n幅子图像;
利用立方体插值,将所述n幅子图像进行尺寸归一化处理;
将进行所述尺寸归一化处理后的图像添加至所述样本图像集,以建立所述样本图像集。
3.根据权利要求1所述平板显示器缺陷检测方法,其特征在于,在所述利用所述样本图像集中的样本图像以及所述样本图像集中的样本图像所对应的类型,对卷积神经网络模型进行监督学习之前,所述方法还包括:
对所述样本图像集中的部分图像进行旋转变换,并将经过所述旋转变换所生成的图像添加至所述样本图像集中,以使得所述样本图像集中的合格图像和不合格图像的数量相等,并且使得所述样本图像集中不合格图像中各种缺陷类型的图像数量相等。
4.根据权利要求1所述平板显示器缺陷检测方法,其特征在于,所述卷积神经网络模型包括第一卷积层、第二卷积层、第三卷积层、第一池化层、第二池化层、第三池化层以及全连接层;其中,
所述第一卷积层包括六个卷积核,用于根据输入的目标图像生成六个第一特征图像;
所述第一池化层,用于将所述六个第一特征图像进行降维处理;
所述第二卷积层包括十六个卷积核,用于根据降维处理后的六个第一特征图像,生成十六个第二特征图像;
所述第二池化层,用于将所述十六个第二图像进行降维处理;
所述第三卷积层包括十六个卷积核,用于根据降维处理后的十六个第二特征图像,生成十六个第三特征图像;
所述第三池化层,用于将所述十六个第三特征图进行降维处理;
所述全连接层,用于将根据降维处理后的十六个第三特征图像,生成所述输入的目标图像的特征向量。
5.根据权利要求1所述平板显示器缺陷检测方法,其特征在于,
所述利用样本图像集中的样本图像以及样本图像集中的样本图像对应的类型,对卷积神经网络模型进行监督学习,生成图像分类器,具体包括:
当所述卷积神经网络模型的训练损失函数和验证损失函数都收敛,并且所述训练损失函数的最小值与所述验证损失函数的最小值之差小于设定阈值时,结束训练,并根据所述卷积神经网络模型生成图像分类器。
6.一种平板显示器缺陷检测装置,其特征在于,包括:
采集单元,用于采集样本平板显示器所显示的原始图像;所述样本平板显示器中包括有缺陷的平板显示器和没有缺陷的平板显示器;
预处理单元,用于对所述原始图像进行预处理,建立样本图像集;其中,所述样本图像集中的样本图像包括合格图像和不合格图像两种类型的图像;
模型训练单元,用于利用所述样本图像集中的样本图像以及所述样本图像集中的样本图像所对应的类型,对卷积神经网络模型进行监督学习,生成图像分类器;
获取单元,用于获取待检测平板显示器的显示图像;
检测单元,用于利用所述图像分类器,对所述显示图像进行检测,以判断所述待检测平板显示器是否具有缺陷。
7.根据权利要求6所述平板显示器缺陷检测装置,其特征在于,预处理单元,具体包括:特征增强子单元、分割子单元、归一化子单元以及存储子单元;其中,
特征增强子单元,用于对所述原始图像进行高斯滤波以及线性拉伸处理,生成特征增强图像;
分割子单元,用于将所述特征增强图像进行分割,并生成n幅子图像;
归一化子单元,用于利用立方体插值,将所述n幅子图像进行尺寸归一化处理;
存储子单元,用于将进行所述尺寸归一化处理后的图像添加至所述样本图像集,以建立所述样本图像集。
8.根据权利要求6所述平板显示器缺陷检测装置,其特征在于,所述平板显示器缺陷检测装置,还包括旋转变换单元;
所述旋转变换单元,用于在模型训练单元在利用所述样本图像集中的样本图像以及所述样本图像集中的样本图像所对应的类型,对卷积神经网络模型进行监督学习之前,对所述样本图像集中的部分图像进行旋转变换,并将经过所述旋转变换所生成的图像添加至所述样本图像集中,以使得所述样本图像集中的合格图像和不合格图像的数量相等,并且使得所述样本图像集中不合格图像中各种缺陷类型的图像数量相等。
9.根据权利要求6所述平板显示器缺陷检测装置,其特征在于,所述卷积神经网络模型包括第一卷积层、第二卷积层、第三卷积层、第一池化层、第二池化层、第三池化层以及全连接层;其中,
所述第一卷积层包括六个卷积核,用于根据输入的目标图像生成六个第一特征图像;
所述第一池化层,用于将所述六个第一特征图像进行降维处理;
所述第二卷积层包括十六个卷积核,用于根据降维处理后的六个第一特征图像,生成十六个第二特征图像;
所述第二池化层,用于将所述十六个第二图像进行降维处理;
所述第三卷积层包括十六个卷积核,用于根据降维处理后的十六个第二特征图像,生成十六个第三特征图像;
所述第三池化层,用于将所述十六个第三特征图进行降维处理;
所述全连接层,用于将根据降维处理后的十六个第三特征图像,生成所述输入的目标图像的特征向量。
10.根据权利要求6所述平板显示器缺陷检测装置,其特征在于,
所述模型训练单元,具体用于当所述卷积神经网络模型的训练损失函数和验证损失函数都收敛,并且所述训练损失函数的最小值与所述验证损失函数的最小值之差小于设定阈值时,结束训练,并根据所述卷积神经网络模型生成图像分类器。
CN201811481095.8A 2018-12-05 2018-12-05 一种平板显示器缺陷检测方法及装置 Active CN111275660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811481095.8A CN111275660B (zh) 2018-12-05 2018-12-05 一种平板显示器缺陷检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811481095.8A CN111275660B (zh) 2018-12-05 2018-12-05 一种平板显示器缺陷检测方法及装置

Publications (2)

Publication Number Publication Date
CN111275660A true CN111275660A (zh) 2020-06-12
CN111275660B CN111275660B (zh) 2024-04-30

Family

ID=71001347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811481095.8A Active CN111275660B (zh) 2018-12-05 2018-12-05 一种平板显示器缺陷检测方法及装置

Country Status (1)

Country Link
CN (1) CN111275660B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036514A (zh) * 2020-11-04 2020-12-04 腾讯科技(深圳)有限公司 一种图像分类方法、装置、服务器及计算机可读存储介质
CN112634245A (zh) * 2020-12-28 2021-04-09 广州绿怡信息科技有限公司 损耗检测模型训练方法、损耗检测方法及装置
CN112884712A (zh) * 2021-01-22 2021-06-01 深圳精智达技术股份有限公司 一种显示面板缺陷分类的方法及相关装置
CN113011567A (zh) * 2021-03-31 2021-06-22 深圳精智达技术股份有限公司 一种卷积神经网络模型的训练方法及装置
CN113592859A (zh) * 2021-09-26 2021-11-02 中导光电设备股份有限公司 一种基于深度学习的用于显示面板缺陷的分类方法
CN113963148A (zh) * 2021-10-29 2022-01-21 北京百度网讯科技有限公司 对象检测方法、对象检测模型的训练方法及装置
CN115201792A (zh) * 2022-06-10 2022-10-18 深圳市恒天伟焱科技股份有限公司 激光测距仪的检测方法、装置、电子设备及存储介质
CN115810008A (zh) * 2023-02-03 2023-03-17 广东佳悦美视生物科技有限公司 一种基于深度学习的人工角膜镜柱质量检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850858A (zh) * 2015-05-15 2015-08-19 华中科技大学 一种注塑制品缺陷检测识别方法
CN107561738A (zh) * 2017-08-30 2018-01-09 湖南理工学院 基于fcn的tft‑lcd表面缺陷快速检测方法
WO2018035878A1 (zh) * 2016-08-23 2018-03-01 东方晶源微电子科技(北京)有限公司 缺陷分类方法和缺陷检查系统
CN108154504A (zh) * 2017-12-25 2018-06-12 浙江工业大学 一种基于卷积神经网络的钢板表面缺陷的检测方法
US20180268256A1 (en) * 2017-03-16 2018-09-20 Aquifi, Inc. Systems and methods for keypoint detection with convolutional neural networks
CN108846841A (zh) * 2018-07-02 2018-11-20 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850858A (zh) * 2015-05-15 2015-08-19 华中科技大学 一种注塑制品缺陷检测识别方法
WO2018035878A1 (zh) * 2016-08-23 2018-03-01 东方晶源微电子科技(北京)有限公司 缺陷分类方法和缺陷检查系统
US20180268256A1 (en) * 2017-03-16 2018-09-20 Aquifi, Inc. Systems and methods for keypoint detection with convolutional neural networks
CN107561738A (zh) * 2017-08-30 2018-01-09 湖南理工学院 基于fcn的tft‑lcd表面缺陷快速检测方法
CN108154504A (zh) * 2017-12-25 2018-06-12 浙江工业大学 一种基于卷积神经网络的钢板表面缺陷的检测方法
CN108846841A (zh) * 2018-07-02 2018-11-20 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何俊杰;肖可;刘畅;陈松岩;: "基于卷积神经网络的电路缺陷识别方法" *
何俊杰;肖可;刘畅;陈松岩;: "基于卷积神经网络的电路缺陷识别方法", 福建电脑, no. 02 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036514A (zh) * 2020-11-04 2020-12-04 腾讯科技(深圳)有限公司 一种图像分类方法、装置、服务器及计算机可读存储介质
CN112036514B (zh) * 2020-11-04 2021-07-13 腾讯科技(深圳)有限公司 一种图像分类方法、装置、服务器及计算机可读存储介质
CN112634245A (zh) * 2020-12-28 2021-04-09 广州绿怡信息科技有限公司 损耗检测模型训练方法、损耗检测方法及装置
CN112884712A (zh) * 2021-01-22 2021-06-01 深圳精智达技术股份有限公司 一种显示面板缺陷分类的方法及相关装置
CN113011567A (zh) * 2021-03-31 2021-06-22 深圳精智达技术股份有限公司 一种卷积神经网络模型的训练方法及装置
CN113592859A (zh) * 2021-09-26 2021-11-02 中导光电设备股份有限公司 一种基于深度学习的用于显示面板缺陷的分类方法
CN113592859B (zh) * 2021-09-26 2022-01-14 中导光电设备股份有限公司 一种基于深度学习的用于显示面板缺陷的分类方法
CN113963148A (zh) * 2021-10-29 2022-01-21 北京百度网讯科技有限公司 对象检测方法、对象检测模型的训练方法及装置
CN113963148B (zh) * 2021-10-29 2023-08-08 北京百度网讯科技有限公司 对象检测方法、对象检测模型的训练方法及装置
CN115201792A (zh) * 2022-06-10 2022-10-18 深圳市恒天伟焱科技股份有限公司 激光测距仪的检测方法、装置、电子设备及存储介质
CN115810008A (zh) * 2023-02-03 2023-03-17 广东佳悦美视生物科技有限公司 一种基于深度学习的人工角膜镜柱质量检测方法

Also Published As

Publication number Publication date
CN111275660B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
CN111275660B (zh) 一种平板显示器缺陷检测方法及装置
US11798132B2 (en) Image inpainting method and apparatus, computer device, and storage medium
CN108764292B (zh) 基于弱监督信息的深度学习图像目标映射及定位方法
WO2023077404A1 (zh) 缺陷检测方法、装置和系统
US10810721B2 (en) Digital image defect identification and correction
CN113033537A (zh) 用于训练模型的方法、装置、设备、介质和程序产品
KR20080042083A (ko) 그래픽 처리 유닛 상에서 콘볼루션 신경망을 트레이닝하는방법
WO2023284465A1 (zh) 图像检测方法、装置、计算机可读存储介质及计算机设备
US11164306B2 (en) Visualization of inspection results
US10861187B2 (en) Method of processing object detection data
KR102455875B1 (ko) 골 연령 판독 방법 및 장치
CN113111804B (zh) 一种人脸检测的方法、装置、电子设备及存储介质
US20210042613A1 (en) Techniques for understanding how trained neural networks operate
CN117274133A (zh) 瑕疵侦测方法、电子设备及存储介质
CN110135428B (zh) 图像分割处理方法和装置
CN115994900A (zh) 基于迁移学习的无监督缺陷检测方法和系统、存储介质
CN117011222A (zh) 一种电缆缓冲层缺陷检测方法、装置、存储介质和设备
CN114219402A (zh) 物流托盘码放识别方法、装置、设备及存储介质
CN111461152B (zh) 货物检测方法及装置、电子设备和计算机可读介质
CN115018857B (zh) 图像分割方法、装置、计算机可读存储介质及计算机设备
US20230029163A1 (en) Wafer map analysis system using neural network and method of analyzing wafer map using the same
CN115861305A (zh) 柔性电路板检测方法、装置、计算机设备及存储介质
CN117274132A (zh) 多尺度自编码器生成方法、电子设备及存储介质
CN106846366B (zh) 使用gpu硬件的tld视频运动目标跟踪方法
CN116342395A (zh) 图像修复方法、图像修复装置、电子设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 230013 Southwest District of Hefei City, Anhui Province

Applicant after: Hefei xinyihua Intelligent Machine Co.,Ltd.

Address before: 230013 Southwest District of Hefei City, Anhui Province

Applicant before: HEFEI SINEVA INTELLIGENT MACHINE Co.,Ltd.

GR01 Patent grant
GR01 Patent grant