CN112884712A - 一种显示面板缺陷分类的方法及相关装置 - Google Patents

一种显示面板缺陷分类的方法及相关装置 Download PDF

Info

Publication number
CN112884712A
CN112884712A CN202110088544.8A CN202110088544A CN112884712A CN 112884712 A CN112884712 A CN 112884712A CN 202110088544 A CN202110088544 A CN 202110088544A CN 112884712 A CN112884712 A CN 112884712A
Authority
CN
China
Prior art keywords
layer
defect
display panel
convolutional neural
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110088544.8A
Other languages
English (en)
Other versions
CN112884712B (zh
Inventor
张耀
周娟生
张滨
徐大鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Seichitech Technology Co ltd
Original Assignee
Shenzhen Seichitech Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Seichitech Technology Co ltd filed Critical Shenzhen Seichitech Technology Co ltd
Priority to CN202110088544.8A priority Critical patent/CN112884712B/zh
Publication of CN112884712A publication Critical patent/CN112884712A/zh
Application granted granted Critical
Publication of CN112884712B publication Critical patent/CN112884712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/1306—Details
    • G02F1/1309—Repairing; Testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Nonlinear Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种显示面板缺陷分类的方法及相关装置，用于减少误检率和漏检率。本申请实施例方法包括：获取显示面板图像；将所述显示面板图像输入训练完成的目标卷积神经网络模型中，所述目标卷积神经网络模型为添加了特征筛选网络层的卷积神经网络模型，特征筛选网络层包含全连接层、池化层、卷积层和softmax层；通过所述目标卷积神经网络模型获取所述显示面板图像的缺陷特征；通过所述特征筛选网络层对所述缺陷特征进行计算，得到所述显示面板图像归属各个缺陷类型的概率值集合；根据所述概率值集合确定所述显示面板图像的缺陷类型。

Description

一种显示面板缺陷分类的方法及相关装置
技术领域
本申请实施例涉及显示面板领域，尤其涉及一种显示面板缺陷分类的方法及相关装置。
背景技术
随着信息显示技术的不断发展，显示面板(OLED)凭借其自发光、可弯曲、视角广泛、响应速度快、制程简单等优势，正逐步取代传统的LCD，快速深入的应用到现代社会的各个领域。
在OLED生产制作的过程中，由于OLED制程工艺复杂、蒸镀工艺难以实现非常良好的平整性，导致每个子像素的发光亮度在相同外部条件下差异较大，这是一种常见缺陷Mura，在OLED显示中相较LCD更为严重。这就使得在OLED制作完成之后，需要对每个OLED的子像素进行补偿，以达到显示面板显示标准。但是，由于缺陷Mura存在多种缺陷类型，不同的缺陷类型的补偿修复的方式不同。所以，在补偿缺陷Mura之前，需要对OLED进行缺陷Mura的检测和分类、分级，从而进行对应缺陷，这需要准确地检测出缺陷Mura。的缺陷类型。现有技术中，通过拍摄OLED得到图像，再对图像进行分析，判断OLED是否存在缺陷Mura，确定缺陷Mura的缺陷类型。
但是，由于OLED通过相机拍摄得到的图像与人眼从OLED上看到的图像是有差异的，导致一些人眼能看到的Mura，在图像上看不到或者非常模糊，导致在图像上无法进行缺陷Mura的检测和区分，造成误检与漏检。传统的缺陷Mura检测手段存在人为误差，导致误检率和漏检率的提高。
发明内容
本申请实施例第一方面提供了一种显示面板缺陷分类的方法，其特征在于，包括：
获取显示面板图像；
将所述显示面板图像输入训练完成的目标卷积神经网络模型中，所述目标卷积神经网络模型为添加了特征筛选网络层的卷积神经网络模型，特征筛选网络层包含全连接层、池化层、卷积层和softmax层；
通过所述目标卷积神经网络模型获取所述显示面板图像的缺陷特征；
通过所述特征筛选网络层对所述缺陷特征进行计算，得到所述显示面板图像归属各个缺陷类型的概率值集合；
根据所述概率值集合确定所述显示面板图像的缺陷类型。
可选的，所述通过所述特征筛选网络层对所述缺陷特征进行计算，得到所述显示面板图像归属各个缺陷类型的概率值集合，包括：
通过所述特征筛选网络层的第一全连接层对所述显示面板图像的所述缺陷特征进行权重计算；
通过所述特征筛选网络层的第一卷积层筛除权重未达到阈值的所述缺陷特征；
通过所述特征筛选网络层的第一池化层剔除所述目标卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
通过所述特征筛选网络层的第二全连接层对过滤后保留下的所述缺陷特征进行权重计算；
通过所述特征筛选网络层的第二卷积层筛除权重未达到阈值的所述缺陷特征；
通过所述特征筛选网络层的第二池化层剔除所述目标卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
通过所述特征筛选网络层的第三全连接层对过滤后保留下的所述缺陷特征进行组合，以生成特征组合图像；
通过所述特征筛选网络层的softmax层对所述特征组合图像进行计算，得到所述特征组合图像对应的所述显示面板图像归属各个缺陷类型的概率值。
可选的，所述根据所述概率值集合确定所述显示面板图像的缺陷类型，包括：
判断所述概率值集合中的最大概率值是否达到预设阈值；
若是，则确定所述显示面板图像存在与所述最大概率值对应的缺陷类型。
可选的，在所述判断所述概率值集合中的最大概率值是否达到预设阈值之后，所述训练方法还包括：
若否，则获取常规缺陷检测信息，并将所述常规缺陷检测信息作为检测结果输出，所述常规缺陷检测信息为通过非目标卷积神经网络模型方式检测所述显示面板图像得到的缺陷检测结果。
可选的，在所述获取显示面板图像之前，所述方法还包括：
获取训练样本集和原始卷积神经网络模型，所述训练样本集中包含至少2张存在缺陷类型的显示面板图像；
在所述原始卷积神经网络模型尾部添加特征筛选网络层，以生成预训练卷积神经网络模型，所述特征筛选网络层包含池化层、卷积层、全连接层和softmax层；
从所述训练样本集中选取训练样本；
将所述训练样本输入所述预训练卷积神经网络模型中；
通过所述预训练卷积神经网络模型获取所述训练样本的缺陷特征；
通过所述特征筛选网络层的第一全连接层对所述训练样本的所述缺陷特征进行权重计算；
通过所述特征筛选网络层的第一卷积层筛除权重未达到阈值的所述缺陷特征；
通过所述特征筛选网络层的第一池化层剔除所述预训练卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
通过所述特征筛选网络层的第二全连接层对过滤后保留下的所述缺陷特征进行权重计算；
通过所述特征筛选网络层的第二卷积层筛除权重未达到阈值的所述缺陷特征；
通过所述特征筛选网络层的第二池化层剔除所述预训练卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
通过所述特征筛选网络层的第三全连接层对过滤后保留下的所述缺陷特征进行组合，以生成特征组合图像；
通过所述特征筛选网络层的softmax层对所述特征组合图像进行计算，得到所述特征组合图像对应的所述训练样本归属各个缺陷类型的概率值；
根据所述训练样本归属各个缺陷类型的概率值与所述预训练卷积神经网络模型的损失函数计算损失值；
判断所述损失值是否大于阈值；
若所述损失值不大于阈值，则判断所述训练样本集中是否存在未训练的训练样本；
若所述训练样本集中不存在未训练的训练样本，则确定所述预训练卷积神经网络模型为已完成训练的目标卷积神经网络模型。
可选的，在所述判断所述损失值是否大于阈值之后，所述训练方法还包括：
若所述损失值大于阈值，根据所述损失值更新所述特征筛选网络层的权重，再将所述训练样本重新输入所述预训练卷积神经网络模型中。
可选的，在所述判断所述训练样本集中是否存在未训练的训练样本之后，所述训练方法还包括：
若所述训练样本集中存在未训练的训练样本，从所述训练样本集中重新选取训练样本进行训练。
本申请实施例第二方面提供了一种显示面板缺陷分类的装置，其特征在于，包括：
第一获取单元，用于获取显示面板图像；
第一输入单元，用于将所述显示面板图像输入训练完成的目标卷积神经网络模型中，所述目标卷积神经网络模型为添加了特征筛选网络层的卷积神经网络模型，特征筛选网络层包含全连接层、池化层、卷积层和softmax层；
第二获取单元，用于通过所述目标卷积神经网络模型获取所述显示面板图像的缺陷特征；
第一计算单元，用于通过所述特征筛选网络层对所述缺陷特征进行计算，得到所述显示面板图像归属各个缺陷类型的概率值集合；
第一确定单元，用于根据所述概率值集合确定所述显示面板图像的缺陷类型。
可选的，所述第一计算单元，包括：
第二计算模块，用于通过所述特征筛选网络层的第一全连接层对所述显示面板图像的所述缺陷特征进行权重计算；
第一筛选模块，用于通过所述特征筛选网络层的第一卷积层筛除权重未达到阈值的所述缺陷特征；
第二筛选模块，用于通过所述特征筛选网络层的第一池化层剔除所述目标卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
第三计算模块，用于通过所述特征筛选网络层的第二全连接层对过滤后保留下的所述缺陷特征进行权重计算；
第三筛选模块，用于通过所述特征筛选网络层的第二卷积层筛除权重未达到阈值的所述缺陷特征；
第四筛选模块，用于通过所述特征筛选网络层的第二池化层剔除所述目标卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
第一生成模块，用于通过所述特征筛选网络层的第三全连接层对过滤后保留下的所述缺陷特征进行组合，以生成特征组合图像；
第四计算模块，用于通过所述特征筛选网络层的softmax层对所述特征组合图像进行计算，得到所述特征组合图像对应的所述显示面板图像归属各个缺陷类型的概率值。
可选的，所述第一确定单元，包括：
第一判断模块，用于判断所述概率值集合中的最大概率值是否达到预设阈值；
第二确定模块，用于当判断模块确定所述概率值集合中的最大概率值达到预设阈值，则确定所述显示面板图像存在与所述最大概率值对应的缺陷类型。
可选的，所述装置还包括：
输出单元，用于当判断模块确定所述概率值集合中的最大概率值未达到预设阈值，则获取常规缺陷检测信息，并将所述常规缺陷检测信息作为检测结果输出，所述常规缺陷检测信息为通过非目标卷积神经网络模型方式检测所述显示面板图像得到的缺陷检测结果。
可选的，所述装置还包括：
第三获取单元，用于获取训练样本集和原始卷积神经网络模型，所述训练样本集中包含至少2张存在缺陷类型的显示面板图像；
添加单元，用于在所述原始卷积神经网络模型尾部依次添加第一全连接层、第一卷积层、第一池化层、第二全连接层、第二卷积层、第二池化层、第三全连接层和softmax层，以生成预训练卷积神经网络模型；
第一选取单元，用于从所述训练样本集中选取训练样本；
第二输入单元，用于将所述训练样本输入所述预训练卷积神经网络模型中；
第四获取单元，用于通过所述预训练卷积神经网络模型获取所述训练样本的缺陷特征；
第五计算单元，用于通过所述特征筛选网络层的第一全连接层对所述训练样本的所述缺陷特征进行权重计算；
第五筛选单元，用于通过所述特征筛选网络层的第一卷积层筛除权重未达到阈值的所述缺陷特征；
第六筛选单元，用于通过所述特征筛选网络层的第一池化层剔除所述预训练卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
第六计算单元，用于通过所述特征筛选网络层的第二全连接层对过滤后保留下的所述缺陷特征进行权重计算；
第七筛选单元，用于通过所述特征筛选网络层的第二卷积层筛除权重未达到阈值的所述缺陷特征；
第八筛选单元，用于通过所述特征筛选网络层的第二池化层剔除所述预训练卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
第二生成单元，用于通过所述特征筛选网络层的第三全连接层对过滤后保留下的所述缺陷特征进行组合，以生成特征组合图像；
第七计算单元，用于通过所述特征筛选网络层的softmax层对所述特征组合图像进行计算，得到所述特征组合图像对应的所述训练样本归属各个缺陷类型的概率值；
第八计算单元，用于根据所述训练样本归属各个缺陷类型的概率值与所述预训练卷积神经网络模型的损失函数计算损失值；
第二判断单元，用于判断所述损失值是否大于阈值；
第三判断单元，用于当所述第二判断单元确定所述损失值不大于阈值时，判断所述训练样本集中是否存在未训练的训练样本；
第三确定单元，用于当所述第三判断单元确定所述训练样本集中不存在未训练的训练样本时，确定所述预训练卷积神经网络模型为已完成训练的目标卷积神经网络模型。
可选的，所述装置还包括：
更新单元，用于当所述第二判断单元确定所述损失值大于阈值时，根据所述损失值更新所述特征筛选网络层的权重，再将所述训练样本重新输入所述预训练卷积神经网络模型中。
可选的，所述装置还包括：
第二选取单元，当所述第三判断单元确定所述训练样本集中存在未训练的训练样本时，从所述训练样本集中重新选取训练样本进行训练。
本申请实施例第三方面提供了一种显示面板缺陷分类的装置，其特征在于，包括：
处理器、存储器、输入输出单元、总线；
处理器与存储器、输入输出单元以及总线相连；
处理器具体执行如下操作：
获取显示面板图像；
将所述显示面板图像输入训练完成的目标卷积神经网络模型中，所述目标卷积神经网络模型为添加了特征筛选网络层的卷积神经网络模型，特征筛选网络层包含全连接层、池化层、卷积层和softmax层；
通过所述目标卷积神经网络模型获取所述显示面板图像的缺陷特征；
通过所述特征筛选网络层对所述缺陷特征进行计算，得到所述显示面板图像归属各个缺陷类型的概率值集合；
根据所述概率值集合确定所述显示面板图像的缺陷类型。
可选的，处理器还用于执行第一方面中的任意可选方案的操作。
一种计算机可读存储介质，计算机可读存储介质上保存有程序，程序在计算机上执行时执行如前述第一方面以及第一方面的任意可选的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
首先获取待分析的显示面板图像，并将显示面板图像输入训练完成的目标卷积神经网络模型中。首先通过目标卷积神经网络模型获取显示面板图像的缺陷特征，通过特征筛选网络层的全连接层对显示面板图像的缺陷特征进行权重计算，再通过特征筛选网络层的卷积层筛选过滤显示面板图像的缺陷特征，以筛除权重未达到阈值的缺陷特征，再通过特征筛选网络层的池化层剔除目标卷积神经网络模型中一定数量的神经元，以使得一定数量的显示面板图像的缺陷特征被剔除，最后通过特征筛选网络层的softmax层对缺陷特征进行计算，得到显示面板图像归属各个缺陷类型的概率值。通过在卷积神经网络模型上增加特征筛选网络层，对从显示面板图像上提取到的缺陷特征进行分析筛选，计算该显示面板图像存在的缺陷为某一缺陷类型的概率。从而减少了误检率和漏检率。
附图说明
图1为本申请实施例中显示面板缺陷分类的方法的一个实施例流程示意图；
图2-1与图2-2为本申请实施例中显示面板缺陷分类的方法的另一个实施例流程示意图；
图3-1与图3-2为本申请实施例中目标卷积神经网络模型训练方法的一个实施例流程示意图；
图4为本申请实施例中卷积神经网络网络层的一个实施例结构示意图；
图5为本申请实施例中显示面板缺陷分类的装置的一个实施例流程示意图；
图6为本申请实施例中目标卷积神经网络模型训练装置的一个实施例流程示意图；
图7为本申请实施例中显示面板缺陷分类的装置的另一个实施例流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的阐述，显然阐述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护范围。
本申请实施例公开了一种显示面板缺陷分类的方法及相关装置，用于减少误检率和漏检率。
在本实施例中，显示面板缺陷分类的方法可在系统实现，可以在服务器实现，也可以在终端实现，具体不做明确限定。为方便描述，本申请实施例使用终端为执行主体举例描述。
请参阅图1，本申请实施例提供了一种显示面板缺陷分类的方法，包括：
101、获取显示面板图像；
终端首先获取显示面板图像，将显示面板通过训练完成的目标卷积神经网络模型中，得到检测的结果。当显示面板存在缺陷时，在显示面板图像上会存在一定的缺陷特征。获取显示面板图像的方式可以是从生产场地现场拍摄显示面板而生成的图像，此处不作限定。在实际应用中，该卷积神经网络应用于显示面板生产场地中，从显示面板生产场地拍摄每一个显示面板，从而通过卷积神经网络模型判断是否存在缺陷。或是从维修显示面板的场地中，拍摄待维修的显示面板，得到显示面板图像。
本实施例中，显示面板的缺陷为Mura缺陷，Mura缺陷的类型包括小彩斑、灰阶点状白斑、大面积片状彩斑、S向边缘Mura、G向彩带、拐角Mura等多种典型缺陷类型的显示面板图像，此处不作限定。
在获取显示面板图像之后，还需要对显示面板图像进行预处理。
终端在训练卷积神经网络模型之前，需要对收集的显示面板图像进行预处理，以使得训练样本达到统一的规格。
可选的，本实施例中，将显示面板图像缩放到256*256*3大小后，随机裁剪到224*224*3(宽为224，高为224的3通道彩色图像)，然后随机翻转图像，进行归一化处理等一系列图像预处理工作。
102、将显示面板图像输入训练完成的目标卷积神经网络模型中，目标卷积神经网络模型为添加了特征筛选网络层的卷积神经网络模型，特征筛选网络层包含全连接层、池化层、卷积层和softmax层；
终端将显示面板图像输入训练完成的目标卷积神经网络模型中，以使得目标卷积神经网络模型对显示面板图像进行分析计算。
目标卷积神经网络模型是讲过了模型处理之后，通过样本训练得到的。本实施例中，目标卷积神经网络模型为添加了特征筛选网络层的卷积神经网络模型，特征筛选网络层用于增加该原始卷积神经网络的分析学习能力。
首先，终端获取原始卷积神经网络模型，原始卷积神经网络模型可以是VGG-16卷积神经网络模型，也可以是VGG-19卷积神经网络模型，此处不作限定。本实施例中，使用的为原始VGG-16卷积神经网络模型，在进行一定的参数设置，还需要添加特征筛选网络层，再经过一定程度的初始训练后，即可成为目标卷积神经网络模型。
可选的，本实施例中的VGG-16卷积神经网络模型，其中网络结构分为16层，分别标记为：conv3-64,conv3-64,maxpool,conv3-128,conv3-128,maxpool,conv3-256,conv3-256,conv3-256,maxpool,conv3-512,conv3-512,conv3-512,maxpool,conv3-512,conv3-512,conv3-512,maxpool,FC-4096,FC-4096,FC-1000,softmax。
其中，在原始卷积神经网络模型尾部添加的特征筛选网络层包含池化层、卷积层、全连接层和softmax层，根据预设摆放顺序添加池化层、卷积层、全连接层和softmax层，设定参数，使得特征筛选网络层具备权重计算、缺陷类型分析的能力。
基于VGG-16卷积神经网络模型构建用于检测显示面板缺陷Mura分类的卷积神经网络模型，VGG-16卷积神经网络作为主干的目的是缺陷特征提取，通过在VGG-16卷积神经网络模型尾部添加多个卷积层，多个全连接层，多个池化层，以及一个softmax层，以此组成特征筛选网络层。本实施例中添加1个卷积层、1个全连接层、1个池化层以及一个softmax层，分别标记为FC1、Conv1、Dropout pooling1、FC2、Conv2、Dropout pooling2、FC3、softmax。
特征筛选网络层的添加使得VGG-16卷积神经网络模型的缺陷特征区分能力加强。
103、通过目标卷积神经网络模型获取显示面板图像的缺陷特征；
终端通过目标卷积神经网络模型获取显示面板图像的缺陷特征，主要通过VGG-16卷积神经网络对显示面板图像进行缺陷特征的提取，再由特征筛选网络层对缺陷特征进行进一步的分析信息计算。
104、通过特征筛选网络层对缺陷特征进行计算，得到显示面板图像归属各个缺陷类型的概率值集合；
终端通过筛选特征网络层对缺陷特征进行学习分析，确定显示面板图像归属于各个缺陷类型的概率，得到一个概率值集合。在对显示面板图像进行获取时，就已经对显示面板图像进行缺陷特征的缺陷类型的分类，通过特征筛选网络层进行学习分析之后，得到显示面板图像属于每一个缺陷类型的概率值，每一个缺陷类型的概率值之和为1。
特征筛选网络层中新添加的全连接层用于通过对显示面板图像的学习分析得到的权重，表征该缺陷特征的重要性程度。而特征筛选网络层中新添加的卷积层采用线性整流激活函数，主要用于过滤缺陷特征，筛选出类别区分能力强的特征。特征筛选网络层中新添加的池化层按照预设的概率随机丢弃神经元，并提高卷积神经网络模型的泛化性。最终对局部缺陷特征集进行组合，生成图像，最后通过softmax层计算缺陷特征组合的整体图像归属各个缺陷类型的概率值。
在目标卷积神经网络模型的分析过程中，通过特征筛选网络层可加强计算分析能力，计算出显示面板图像是否存在缺陷，以及归属各个缺陷类型的概率值。
105、根据概率值集合确定显示面板图像的缺陷类型。
终端根据概率值集合确定显示面板的缺陷类型，可以是将概率值集合中最大的概率值对应的缺陷特征确定为显示面板图像的缺陷类型，也可以是挑选出概率值大于预设值的缺陷特征确定为显示面板图像的缺陷类型，还可以是与气体方式检测出的结果共同得到的结果，确定显示面板图像的缺陷类型，此处不作限定。
本实施例中，首先获取待分析的显示面板图像，并将显示面板图像输入训练完成的目标卷积神经网络模型中。首先通过目标卷积神经网络模型获取显示面板图像的缺陷特征，通过特征筛选网络层的全连接层对显示面板图像的缺陷特征进行权重计算，再通过特征筛选网络层的卷积层筛选过滤显示面板图像的缺陷特征，以筛除权重未达到阈值的缺陷特征，再通过特征筛选网络层的池化层剔除目标卷积神经网络模型中一定数量的神经元，以使得一定数量的显示面板图像的缺陷特征被剔除，最后通过特征筛选网络层的softmax层对缺陷特征进行计算，得到显示面板图像归属各个缺陷类型的概率值。通过在卷积神经网络模型上增加特征筛选网络层，对从显示面板图像上提取到的缺陷特征进行分析筛选，计算该显示面板图像存在的缺陷为某一缺陷类型的概率。从而减少了误检率和漏检率。
请参阅图2，本申请实施例提供了另一种显示面板缺陷分类的方法，包括：
201、获取显示面板图像；
202、将显示面板图像输入训练完成的目标卷积神经网络模型中，目标卷积神经网络模型为添加了特征筛选网络层的卷积神经网络模型，特征筛选网络层包含全连接层、池化层、卷积层和softmax层；
203、通过目标卷积神经网络模型获取显示面板图像的缺陷特征；
本实施例中的步骤201至203与前述实施例中步骤101至103类似，此处不再赘述。
204、通过特征筛选网络层的第一全连接层对显示面板图像的缺陷特征进行权重计算；
终端通过特征筛选网络层的第一全连接层FC1对显示面板图像的缺陷特征进行权重计算，得到每一个多个权重的数值。
全连接层用的函数为y＝xAT+b，使用该函数进行权重计算。
205、通过特征筛选网络层的第一卷积层筛除权重未达到阈值的缺陷特征；
终端通过特征筛选网络层的第一卷积层Conv1筛除权重未达到阈值的缺陷特征，第一卷积层Conv1采用的是线性整流激活函数，作用主要是过滤特征，筛选出类别区分能力强的缺陷特征。卷积层采用的函数为ReLU。
206、通过特征筛选网络层的第一池化层剔除目标卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
终端通过特征筛选网络层的第一池化层Dropout pooling1剔除目标卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤。本实施例中，第一池化层Dropout pooling1按照0.5的概率随机丢弃神经元，以此并提高卷积神经网络模型的泛化性，避免过拟合的情况发生，防止卷积神经网络模型只对训练样本产生作用。
207、通过特征筛选网络层的第二全连接层对过滤后保留下的缺陷特征进行权重计算；
终端通过特征筛选网络层的第二全连接层FC2对过滤后保留下的缺陷特征进行权重计算。第二全连接层FC2将通过第一池化层Dropout pooling1的缺陷特征重新进行权重计算，其过程与步骤204的第一全连接层FC1相似，此处不做赘述。
208、通过特征筛选网络层的第二卷积层筛除权重未达到阈值的缺陷特征；
终端通过特征筛选网络层的第二卷积层Conv2再次筛除权重未达到阈值的缺陷特征，其过程与步骤205中的第一卷积层Conv1相似，此处不做赘述。
209、通过特征筛选网络层的第二池化层剔除目标卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
终端通过特征筛选网络层的第二池化层Dropout pooling2剔除目标卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤，其过程与步骤206中的第一池化层Dropout pooling1相似，此处不做赘述。
210、通过特征筛选网络层的第三全连接层对过滤后保留下的缺陷特征进行组合，以生成特征组合图像；
终端通过特征筛选网络层的第三全连接层FC3对过滤后保留下的缺陷特征进行组合，以生成特征组合图像。即对最终的缺陷特征集进行重新组合，合成新的图像。
211、通过特征筛选网络层的softmax层对特征组合图像进行计算，得到特征组合图像对应的显示面板图像归属各个缺陷类型的概率值；
终端通过特征筛选网络层的softmax层对特征组合图像进行计算，得到特征组合图像对应的训练样本归属各个缺陷类型的概率值。利用softmax层上的概率计算函数分别计算出每一个训练样本属于每个缺陷类型的概率值数组p[p0,p1,p2,…,pn]，获取到概率值最大的。下面对计算的方式进行举例说明：
概率计算方法，采用softmax层的概率计算函数，为全连接层的输出值，如下：
Figure BDA0002911562910000141
当y＝(2.0,1.0,0.1),通过softmax层的概率计算函数后，计算得到对应的概率值S(yi)＝(0.7,0.2,0.1)，则最大概率值为0.7。
212、判断概率值集合中的最大概率值是否达到预设阈值；若是，则执行步骤213；若否，则执行步骤214；
终端判断概率值集合中的最大概率值是否达到预设阈值，若是，则执行步骤213，若否，则执行步骤214。
213、若是，则确定显示面板图像存在与最大概率值对应的缺陷类型；
当终端确定概率值集合中的最大概率值达到预设阈值，就可将这最大概率值对应的缺陷特征类型确定为显示面板图像存在的缺陷特征类型。
214、若否，则获取常规缺陷检测信息，并将常规缺陷检测信息作为检测结果输出，常规缺陷检测信息为通过非目标卷积神经网络模型方式检测显示面板图像得到的缺陷检测结果。
当终端确定概率值集合中的最大概率值未达到预设阈值，则显示面板图像可以是正常无缺陷的，再通过常规缺陷检测获取常规缺陷检测信息，并将常规缺陷检测信息作为检测结果输出。
本实施例中，首先获取待分析的显示面板图像，并将显示面板图像输入训练完成的目标卷积神经网络模型中。首先通过目标卷积神经网络模型获取显示面板图像的缺陷特征，通过特征筛选网络层的全连接层对显示面板图像的缺陷特征进行权重计算，再通过特征筛选网络层的卷积层筛选过滤显示面板图像的缺陷特征，以筛除权重未达到阈值的缺陷特征，再通过特征筛选网络层的池化层剔除目标卷积神经网络模型中一定数量的神经元，以使得一定数量的显示面板图像的缺陷特征被剔除，最后通过特征筛选网络层的softmax层对缺陷特征进行计算，得到显示面板图像归属各个缺陷类型的概率值。通过在卷积神经网络模型上增加特征筛选网络层，对从显示面板图像上提取到的缺陷特征进行分析筛选，计算该显示面板图像存在的缺陷为某一缺陷类型的概率，从而减少了误检率和漏检率。
其次，通过多种方式确定显示面板图像的缺陷特征，保证了判断的准确性，融合了常规方式与卷积神经网络模型的方式，提高了准确性，降低了减少了误检率和漏检率。
请参阅图3，本申请实施例提供了一种目标卷积神经网络模型训练方法，包括：
301、获取训练样本集和原始卷积神经网络模型，所述训练样本集中包含至少2张存在缺陷类型的显示面板图像；
终端获取训练样本集，训练样本集中存放多张存在缺陷类型的显示面板图像，用于对原始卷积神经网络模型进行训练。获取训练样本集的方式可以是从网络收集多张存在缺陷类型的显示面板图像，也可以是从生产场地现场拍摄带有缺陷类型的显示面板而生成的图像，此处不作限定。下面对训练样本的获取的步骤进行举例说明：
首先采集多种缺陷类型的显示面板图像，以使得卷积神经网络模型训练的类型丰富充足。显示面板的缺陷为Mura缺陷，Mura缺陷的类型包括小彩斑、灰阶点状白斑、大面积片状彩斑、S向边缘Mura、G向彩带、拐角Mura等多种典型缺陷类型的显示面板图像，此处不作限定。并且为每一张图片上标记其缺陷类型。对暂未出现的Mura缺陷类型及训练样本微小的类别，单独定义了一个Mura缺陷类型，对于Mura缺陷类型定义存在的一些交集的情况，将存在交集的类别进行合并。最后将每一种缺陷类型的图像集再次整合成训练样本集。
终端获取原始卷积神经网络模型，原始卷积神经网络模型可以是VGG-16卷积神经网络模型，也可以是VGG-19卷积神经网络模型，此处不作限定。本实施例中，使用的为原始VGG-16卷积神经网络模型，在进行一定的参数设置，以及一定程度的初始训练后，即可用于训练上述的训练样本集中的训练样本。
可选的，本实施例中的VGG-16深度卷积神经网络，其中网络结构分为16层，分别标记为：conv3-64,conv3-64,maxpool,conv3-128,conv3-128,maxpool,conv3-256,conv3-256,conv3-256,maxpool,conv3-512,conv3-512,conv3-512,maxpool,conv3-512,conv3-512,conv3-512,maxpool,FC-4096,FC-4096,FC-1000,softmax。
终端在训练卷积神经网络模型之前，需要对收集的训练样本进行预处理，以使得训练样本达到统一的规格。
可选的，本实施例中，将训练样本缩放到256*256*3大小后，随机裁剪到224*224*3(宽为224，高为224的3通道彩色图像)，然后随机翻转图像，进行归一化处理等一系列图像预处理工作。
302、在所述原始卷积神经网络模型尾部依次添加第一全连接层、第一卷积层、第一池化层、第二全连接层、第二卷积层、第二池化层、第三全连接层和softmax层，以生成预训练卷积神经网络模型；
基于VGG-16卷积神经网络模型构建用于检测显示面板缺陷Mura分类的卷积神经网络模型，VGG-16卷积神经网络作为主干的目的是缺陷特征提取，通过在VGG-16卷积神经网络模型尾部添加多个卷积层，多个全连接层，多个池化层，以及一个softmax层，以此组成特征筛选网络层。本实施例中添加1个卷积层、1个全连接层、1个池化层以及一个softmax层，分别标记为FC1、Conv1、Dropout pooling1、FC2、Conv2、Dropout pooling2、FC3、softmax。
303、从所述训练样本集中选取训练样本；
终端从训练样本集中随机抽取一定数量的样本，同时进行训练。本实施例中，采用批量大小为24的小批量训练卷积神经网络，通过多次迭代，达到训练效果。
304、将所述训练样本输入所述预训练卷积神经网络模型中；
终端将训练样本输入预训练卷积神经网络模型中，以使得预训练卷积神经网络模型对训练样本进行学习分析，训练卷积神经网络。
305、通过所述预训练卷积神经网络模型获取所述训练样本的缺陷特征；
终端通过预训练卷积神经网络模型获取所述训练样本的缺陷特征，主要通过VGG-16卷积神经网络对训练样本进行缺陷特征的提取，再由特征筛选网络层对缺陷特征进行进一步的分析信息计算。
306、通过所述特征筛选网络层的第一全连接层对所述训练样本的所述缺陷特征进行权重计算；
终端通过特征筛选网络层的第一全连接层FC1对所述训练样本的所述缺陷特征进行权重计算，得到每一个多个权重的数值。
全连接层用的函数为y＝xAT+b，使用该函数进行权重计算。
307、通过所述特征筛选网络层的第一卷积层筛除权重未达到阈值的所述缺陷特征；
终端通过特征筛选网络层的第一卷积层Conv1筛除权重未达到阈值的缺陷特征，第一卷积层Conv1采用的是线性整流激活函数，作用主要是过滤特征，筛选出类别区分能力强的缺陷特征。卷积层采用的函数为ReLU。
308、通过所述特征筛选网络层的第一池化层剔除所述预训练卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
终端通过所述特征筛选网络层的第一池化层Dropout pooling1剔除所述预训练卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤。本实施例中，第一池化层Dropout pooling1按照0.5的概率随机丢弃神经元，以此并提高卷积神经网络模型的泛化性，避免过拟合的情况发生，防止卷积神经网络模型只对训练样本产生作用。
309、通过所述特征筛选网络层的第二全连接层对过滤后保留下的所述缺陷特征进行权重计算；
终端通过所述特征筛选网络层的第二全连接层FC2对过滤后保留下的所述缺陷特征进行权重计算。第二全连接层FC2将通过第一池化层Dropout pooling1的缺陷特征重新进行权重计算，其过程与步骤306的第一全连接层FC1相似，此处不做赘述。
310、通过所述特征筛选网络层的第二卷积层筛除权重未达到阈值的所述缺陷特征；
终端通过所述特征筛选网络层的第二卷积层Conv2再次筛除权重未达到阈值的所述缺陷特征，其过程与步骤307中的第一卷积层Conv1相似，此处不做赘述。
311、通过所述特征筛选网络层的第二池化层剔除所述预训练卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
终端通过所述特征筛选网络层的第二池化层Dropout pooling2剔除所述预训练卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤，其过程与步骤308中的第一池化层Dropout pooling1相似，此处不做赘述。
312、通过所述特征筛选网络层的第三全连接层对过滤后保留下的所述缺陷特征进行组合，以生成特征组合图像；
终端通过所述特征筛选网络层的第三全连接层FC3对过滤后保留下的所述缺陷特征进行组合，以生成特征组合图像。即对最终的缺陷特征集进行重新组合，合成新的图像。
313、通过所述特征筛选网络层的softmax层对所述特征组合图像进行计算，得到所述特征组合图像对应的所述训练样本归属各个缺陷类型的概率值；
终端通过所述特征筛选网络层的softmax层对所述特征组合图像进行计算，得到所述特征组合图像对应的所述训练样本归属各个缺陷类型的概率值。利用softmax层上的概率计算函数分别计算出每一个训练样本属于每个缺陷类型的概率值数组p[p0,p1,p2,…,pn]，获取到概率值最大的。下面对计算的方式进行举例说明：
概率计算方法，采用softmax层的概率计算函数，为全连接层的输出值，如下：
Figure BDA0002911562910000191
当y＝(2.0,1.0,0.1),通过softmax层的概率计算函数后，计算得到对应的概率值S(yi)＝(0.7,0.2,0.1)，则最大概率值为0.7。
314、根据所述训练样本归属各个缺陷类型的概率值与所述预训练卷积神经网络模型的损失函数计算损失值；
终端将根据训练样本归属各个缺陷类型的概率值与所述预训练卷积神经网络模型的损失函数计算损失值。本实施例中，主要通过交叉熵函数和概率值集合对损失值进行计算。下面对损失值的计算进行举例描述：
交叉熵函数主要是表征实际输出(概率值)与期望输出(概率值)的距离，也就是交叉熵的值越小，两个概率值分布就越接近。假设概率分布p为期望输出，概率分布q为实际输出，H(p,q)为交叉熵函数，如下：
H(p,q)＝-∑(p(x)logq(x))
假设N＝3，N为期望的数量。
期望的输出为p＝(1,0,0)。
实际输出为q1＝(0.5,0.2,0.3)，q2＝(0.8，0.1，0.1)，那么：
H(p,q1)＝-(1*log0.5+0*log0.2+0*log0.3+0*log0.5+1*log0.8+1*log0.7)＝0.55；
H(p,q2)＝-(1*log0.8+0*log0.1+0*log0.1+0*log0.2+1*log0.9+1*log0.9)＝0.19；
可以看出q2与p更为接近，它的交叉熵也更小，即损失值更小。
315、判断所述损失值是否大于阈值；若是，则执行步骤318；若否，则执行步骤316；
终端确定损失值与期望是否达到预期，当损失值达到了预期的范围时，执行步骤316。
316、若所述损失值不大于阈值，则判断所述训练样本集中是否存在未训练的训练样本；若是，则执行步骤319；若否，则执行步骤317；
当终端确定损失值达到了预期，即可判断训练样本集中是否存在未训练的训练样本，已确定下一步骤是结束训练，还是重新抽取样本训练。当确定练样本集中没有存在未训练的训练样本之后，执行步骤317。
317、若所述训练样本集中不存在未训练的训练样本，则确定所述预训练卷积神经网络模型为已完成训练的目标卷积神经网络模型；
当终端确定练样本集中没有存在未训练的训练样本之后，确定所述预训练卷积神经网络模型为已完成训练的目标卷积神经网络模型。
318、若所述损失值大于阈值，根据所述损失值更新所述特征筛选网络层的权重，再将所述训练样本重新输入所述预训练卷积神经网络模型中；
当终端确定损失值大于阈值，证明当前的训练样本需要再次进行训练，则需要将卷积神经网络模型进行更新，再将所述训练样本重新输入所述预训练卷积神经网络模型中。下面对更新卷积神经网络模型数据进行举例说明：
本实施例中，通过小批梯度下降法(mini-batch gradient decent)更新卷积神经网络，其中批训练(batch)的梯度更新方式的公式为：
Figure BDA0002911562910000201
n是批量大小(batchsize)，η是学习率(learning rate)。
使用反向梯度求导，请参考图4，图4为一个网络层示意图。
左侧为第一层，也是输入层，输入层包含两个神经元i 1、i2、和截距项b1。中间为第二层，也是隐含层，隐含层包含两个神经元h1,h2和截距项b2。右侧为第三层，也是输出层，输出层包含o1,o2，每条线上标的wi是层与层之间连接的权重，激活函数我们默认为sigmoid函数。
对每一个层赋上初值：
输入数据：i1＝0.05，i2＝0.10；
输出数据：o1＝0.01，o2＝0.99；
初始权重：W1＝0.15，W2＝0.20，W3＝0.25，W4＝0.30；
W5＝0.40,W6＝0.45,W7＝0.50,W8＝0.55；
截距项：b1＝0.35,b2＝0.6；
目标：给出输入数据i1,i2(0.05和0.10)，使输出尽可能与原始输出o1,o2(0.01和0.99)接近。
在前向传播的过程中，从输入层向隐含层，首先计算神经元h1的输入加权和：
neth1＝W1*i1+W2*i2+b1*1
neth1＝0.15*0.05+0.2*0.1+0.35*1
神经元h1的输出o1:(此处用到激活函数为sigmoid函数)：
Figure BDA0002911562910000211
同理，可计算出神经元h2的输出o2：
Figure BDA0002911562910000212
在前向传播的过程中，从隐含层向输出层，首先计算输出层神经元o1和o2的值：
neto1＝W5*outh1+W6*outh2+b2*1
neto1＝0.4*0.593269992+0.45*0.59684378+0.6*1＝1.105905967
Figure BDA0002911562910000213
Figure BDA0002911562910000214
以上就是前向传播的具体计算过程过程，通过计算，我们得到的两个输出值为[0.75136079,0.772928465]，与实际值[0.01,0.99]还存在差距，差距即为损失值，下面对误差进行反向传播，更新权重，重新计算输出。
在反向传播的过程中，首先计算总误差：
Figure BDA0002911562910000221
但是有两个输出，所以分别计算o1和o2的误差，总误差为两者之和：
Figure BDA0002911562910000222
Eo2＝0.023560026
Etotal＝0.298371109
从隐含层到输出层的权重更新，以权重参数W5为例，计算W5对整体误差产生了多少影响，可以用整体误差对W5求偏导求出：(链式法则)
Figure BDA0002911562910000223
需要分别计算三个积分，再进行相乘。
Figure BDA0002911562910000224
Figure BDA0002911562910000225
Figure BDA0002911562910000226
得到：
Figure BDA0002911562910000227
这样我们就计算出整体误差对W5的偏导值，学习率设为0.5，更新W5:
Figure BDA0002911562910000228
下面对隐含层到输入层的权重更新做说明，以W1为例：
Figure BDA0002911562910000229
其中：
Figure BDA00029115629100002210
分别计算两个积分：
Figure BDA00029115629100002211
neto1＝W5*outh1+W6*outh2+b2*1
Figure BDA00029115629100002212
Figure BDA00029115629100002213
同理得：
Figure BDA0002911562910000231
两者相加得到总值：
Figure BDA0002911562910000232
再计算：
Figure BDA0002911562910000233
由于
Figure BDA0002911562910000234
所以得：
Figure BDA0002911562910000235
再计算：
Figure BDA0002911562910000236
由于neth1＝W1*i1+W2*i2+b1*1，所以得：
Figure BDA0002911562910000237
最后，三者相乘：
Figure BDA0002911562910000238
最后，更新w1的权重：
Figure BDA0002911562910000239
其他的权重可同理计算出来，将权重更新之后，不停地迭代，在这个例子中第一次迭代之后，总误差E(total)由0.298371109下降至0.291027924。
在迭代10000次后，总误差为0.000035085，原输入为[0.01,0.99]，当前的输出为[0.015912196,0.984065734]。
319、若所述训练样本集中存在未训练的训练样本，根据所述损失值更新所述特征筛选网络层的权重，从所述训练样本集中重新选取训练样本进行训练。
当终端确定练样本集中还存在未训练的训练样本之后，从所述训练样本集中重新选取训练样本进行训练。
本实施例中，首先获取训练样本集和原始卷积神经网络模型，在原始卷积神经网络模型尾部添加特征筛选网络层，以生成预训练卷积神经网络模型，特征筛选网络层包含池化层、卷积层、全连接层和softmax层。从训练样本集中选取训练样本并输入预训练卷积神经网络模型中，通过预训练卷积神经网络模型获取训练样本的缺陷特征。再通过特征筛选网络层对缺陷特征进行学习分析与计算，得到训练样本归属各个缺陷类型的概率值集合，根据训练样本归属各个缺陷类型的概率值集合与预训练卷积神经网络模型的损失函数计算损失值。判断损失值是否大于阈值，若损失值不大于阈值，则判断训练样本集中是否存在未训练的训练样本。若训练样本集中不存在未训练的训练样本，则确定预训练卷积神经网络模型为已完成训练的目标卷积神经网络模型。本实施例中，通过在卷积神经网络模型的末端增加特征筛选网络层，通过特征筛选网络层中的池化层、卷积层、全连接层和softmax层，对训练样本的缺陷特征进行分析，并最终得到能够区分显示面板缺陷类型的目标卷积神经网络模型。
请参阅图5，本申请实施例提供了一种显示面板缺陷分类的装置，包括：
第一获取单元501，用于获取显示面板图像；
输入单元502，用于将显示面板图像输入训练完成的目标卷积神经网络模型中，目标卷积神经网络模型为添加了特征筛选网络层的卷积神经网络模型，特征筛选网络层包含全连接层、池化层、卷积层和softmax层；
第二获取单元503，用于通过目标卷积神经网络模型获取显示面板图像的缺陷特征；
第一计算单元504，用于通过特征筛选网络层对缺陷特征进行计算，得到显示面板图像归属各个缺陷类型的概率值集合；
第一确定单元505，用于根据概率值集合确定显示面板图像的缺陷类型。
可选的，第一计算单元504，包括：
第二计算模块5041，用于通过特征筛选网络层的第一全连接层对显示面板图像的缺陷特征进行权重计算；
第一筛选模块5042，用于通过特征筛选网络层的第一卷积层筛除权重未达到阈值的缺陷特征；
第二筛选模块5043，用于通过特征筛选网络层的第一池化层剔除目标卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
第三计算模块5044，用于通过特征筛选网络层的第二全连接层对过滤后保留下的缺陷特征进行权重计算；
第三筛选模块5045，用于通过特征筛选网络层的第二卷积层筛除权重未达到阈值的缺陷特征；
第四筛选模块5046，用于通过特征筛选网络层的第二池化层剔除目标卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
第一生成模块5047，用于通过特征筛选网络层的第三全连接层对过滤后保留下的缺陷特征进行组合，以生成特征组合图像；
第四计算模块5048，用于通过特征筛选网络层的softmax层对特征组合图像进行计算，得到特征组合图像对应的显示面板图像归属各个缺陷类型的概率值。
可选的，确定单元505，包括：
第一判断模块5051，用于判断所述概率值集合中的最大概率值是否达到预设阈值；
第二确定模块5052，用于当判断模块5051确定所述概率值集合中的最大概率值达到预设阈值，则确定所述显示面板图像存在与所述最大概率值对应的缺陷类型；
输出单元5053，用于当判断模块5051确定所述概率值集合中的最大概率值未达到预设阈值，则获取常规缺陷检测信息，并将所述常规缺陷检测信息作为检测结果输出，所述常规缺陷检测信息为通过非目标卷积神经网络模型方式检测所述显示面板图像得到的缺陷检测结果。
请参阅图6，本申请实施例提供了一种卷积神经网络模型的训练装置，包括：
第三获取单元601，用于获取训练样本集和原始卷积神经网络模型，所述训练样本集中包含至少2张存在缺陷类型的显示面板图像；
添加单元602，用于在所述原始卷积神经网络模型尾部依次添加第一全连接层、第一卷积层、第一池化层、第二全连接层、第二卷积层、第二池化层、第三全连接层和softmax层，以生成预训练卷积神经网络模型；
第一选取单元603，用于从所述训练样本集中选取训练样本；
第二输入单元604，用于将所述训练样本输入所述预训练卷积神经网络模型中；
第四获取单元605，用于通过所述预训练卷积神经网络模型获取所述训练样本的缺陷特征；
第五计算单元606，用于通过所述特征筛选网络层的第一全连接层对所述训练样本的所述缺陷特征进行权重计算；
第五筛选单元607，用于通过所述特征筛选网络层的第一卷积层筛除权重未达到阈值的所述缺陷特征；
第六筛选单元608，用于通过所述特征筛选网络层的第一池化层剔除所述预训练卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
第六计算单元609，用于通过所述特征筛选网络层的第二全连接层对过滤后保留下的所述缺陷特征进行权重计算；
第七筛选单元610，用于通过所述特征筛选网络层的第二卷积层筛除权重未达到阈值的所述缺陷特征；
第八筛选单元611，用于通过所述特征筛选网络层的第二池化层剔除所述预训练卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
第二生成单元612，用于通过所述特征筛选网络层的第三全连接层对过滤后保留下的所述缺陷特征进行组合，以生成特征组合图像；
第七计算单元613，用于通过所述特征筛选网络层的softmax层对所述特征组合图像进行计算，得到所述特征组合图像对应的所述训练样本归属各个缺陷类型的概率值；
第八计算单元614，用于根据所述训练样本归属各个缺陷类型的概率值与所述预训练卷积神经网络模型的损失函数计算损失值；
第二判断单元615，用于判断所述损失值是否大于阈值；
第三判断单元616，用于当所述第二判断单元615确定所述损失值不大于阈值时，判断所述训练样本集中是否存在未训练的训练样本；
第三确定单元617，用于当所述第三判断单元616确定所述训练样本集中不存在未训练的训练样本时，确定所述预训练卷积神经网络模型为已完成训练的目标卷积神经网络模型。
可选的，所述装置还包括：
更新单元618，用于当所述第二判断单元615确定所述损失值大于阈值时，根据所述损失值更新所述特征筛选网络层的权重，再将所述训练样本重新输入所述预训练卷积神经网络模型中。
可选的，所述装置还包括：
第二选取单元619，当所述第三判断单元616确定所述训练样本集中存在未训练的训练样本时，从所述训练样本集中重新选取训练样本进行训练。
请参阅图7，本申请实施例提供了另一种显示面板缺陷分类的装置，包括：
处理器701、存储器702、输入输出单元703、总线704；
处理器701与存储器702、输入输出单元703以及总线704相连；
处理器701具体执行如下操作：
获取显示面板图像；
将所述显示面板图像输入训练完成的目标卷积神经网络模型中，所述目标卷积神经网络模型为添加了特征筛选网络层的卷积神经网络模型，特征筛选网络层包含全连接层、池化层、卷积层和softmax层；
通过所述目标卷积神经网络模型获取所述显示面板图像的缺陷特征；
通过所述特征筛选网络层对所述缺陷特征进行计算，得到所述显示面板图像归属各个缺陷类型的概率值集合；
根据所述概率值集合确定所述显示面板图像的缺陷类型。
本实施例中，处理器701的功能与前述图1至图3所示实施例中的步骤对应，此处不做赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种显示面板缺陷分类的方法，其特征在于，包括：
获取显示面板图像；
将所述显示面板图像输入训练完成的目标卷积神经网络模型中，所述目标卷积神经网络模型为添加了特征筛选网络层的卷积神经网络模型，特征筛选网络层包含全连接层、池化层、卷积层和softmax层；
通过所述目标卷积神经网络模型获取所述显示面板图像的缺陷特征；
通过所述特征筛选网络层对所述缺陷特征进行计算，得到所述显示面板图像归属各个缺陷类型的概率值集合；
根据所述概率值集合确定所述显示面板图像的缺陷类型。
2.根据权利要求1所述的方法，其特征在于，所述通过所述特征筛选网络层对所述缺陷特征进行计算，得到所述显示面板图像归属各个缺陷类型的概率值集合，包括：
通过所述特征筛选网络层的第一全连接层对所述显示面板图像的所述缺陷特征进行权重计算；
通过所述特征筛选网络层的第一卷积层筛除权重未达到阈值的所述缺陷特征；
通过所述特征筛选网络层的第一池化层剔除所述目标卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
通过所述特征筛选网络层的第二全连接层对过滤后保留下的所述缺陷特征进行权重计算；
通过所述特征筛选网络层的第二卷积层筛除权重未达到阈值的所述缺陷特征；
通过所述特征筛选网络层的第二池化层剔除所述目标卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
通过所述特征筛选网络层的第三全连接层对过滤后保留下的所述缺陷特征进行组合，以生成特征组合图像；
通过所述特征筛选网络层的softmax层对所述特征组合图像进行计算，得到所述特征组合图像对应的所述显示面板图像归属各个缺陷类型的概率值。
3.根据权利要求1所述的方法，其特征在于，所述根据所述概率值集合确定所述显示面板图像的缺陷类型，包括：
判断所述概率值集合中的最大概率值是否达到预设阈值；
若是，则确定所述显示面板图像存在与所述最大概率值对应的缺陷类型。
4.根据权利要求3所述的方法，其特征在于，在所述判断所述概率值集合中的最大概率值是否达到预设阈值之后，所述训练方法还包括：
若否，则获取常规缺陷检测信息，并将所述常规缺陷检测信息作为检测结果输出，所述常规缺陷检测信息为通过非目标卷积神经网络模型方式检测所述显示面板图像得到的缺陷检测结果。
5.根据权利要求1至4中任一项所述的方法，其特征在于，在所述获取显示面板图像之前，所述方法还包括：
获取训练样本集和原始卷积神经网络模型，所述训练样本集中包含至少2张存在缺陷类型的显示面板图像；
在所述原始卷积神经网络模型尾部添加特征筛选网络层，以生成预训练卷积神经网络模型，所述特征筛选网络层包含池化层、卷积层、全连接层和softmax层；
从所述训练样本集中选取训练样本；
将所述训练样本输入所述预训练卷积神经网络模型中；
通过所述预训练卷积神经网络模型获取所述训练样本的缺陷特征；
通过所述特征筛选网络层的第一全连接层对所述训练样本的所述缺陷特征进行权重计算；
通过所述特征筛选网络层的第一卷积层筛除权重未达到阈值的所述缺陷特征；
通过所述特征筛选网络层的第一池化层剔除所述预训练卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
通过所述特征筛选网络层的第二全连接层对过滤后保留下的所述缺陷特征进行权重计算；
通过所述特征筛选网络层的第二卷积层筛除权重未达到阈值的所述缺陷特征；
通过所述特征筛选网络层的第二池化层剔除所述预训练卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
通过所述特征筛选网络层的第三全连接层对过滤后保留下的所述缺陷特征进行组合，以生成特征组合图像；
通过所述特征筛选网络层的softmax层对所述特征组合图像进行计算，得到所述特征组合图像对应的所述训练样本归属各个缺陷类型的概率值；
根据所述训练样本归属各个缺陷类型的概率值与所述预训练卷积神经网络模型的损失函数计算损失值；
判断所述损失值是否大于阈值；
若所述损失值不大于阈值，则判断所述训练样本集中是否存在未训练的训练样本；
若所述训练样本集中不存在未训练的训练样本，则确定所述预训练卷积神经网络模型为已完成训练的目标卷积神经网络模型。
6.根据权利要求5所述的方法，其特征在于，在所述判断所述损失值是否大于阈值之后，所述训练方法还包括：
若所述损失值大于阈值，根据所述损失值更新所述特征筛选网络层的权重，再将所述训练样本重新输入所述预训练卷积神经网络模型中。
7.根据权利要求5所述的方法，其特征在于，在所述判断所述训练样本集中是否存在未训练的训练样本之后，所述训练方法还包括：
若所述训练样本集中存在未训练的训练样本，从所述训练样本集中重新选取训练样本进行训练。
8.一种显示面板缺陷分类的装置，其特征在于，包括：
第一获取单元，用于获取显示面板图像；
第一输入单元，用于将所述显示面板图像输入训练完成的目标卷积神经网络模型中，所述目标卷积神经网络模型为添加了特征筛选网络层的卷积神经网络模型，特征筛选网络层包含全连接层、池化层、卷积层和softmax层；
第二获取单元，用于通过所述目标卷积神经网络模型获取所述显示面板图像的缺陷特征；
第一计算单元，用于通过所述特征筛选网络层对所述缺陷特征进行计算，得到所述显示面板图像归属各个缺陷类型的概率值集合；
第一确定单元，用于根据所述概率值集合确定所述显示面板图像的缺陷类型。
9.根据权利要求8所述的装置，其特征在于，所述第一计算单元，包括：
第二计算模块，用于通过所述特征筛选网络层的第一全连接层对所述显示面板图像的所述缺陷特征进行权重计算；
第一筛选模块，用于通过所述特征筛选网络层的第一卷积层筛除权重未达到阈值的所述缺陷特征；
第二筛选模块，用于通过所述特征筛选网络层的第一池化层剔除所述目标卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
第三计算模块，用于通过所述特征筛选网络层的第二全连接层对过滤后保留下的所述缺陷特征进行权重计算；
第三筛选模块，用于通过所述特征筛选网络层的第二卷积层筛除权重未达到阈值的所述缺陷特征；
第四筛选模块，用于通过所述特征筛选网络层的第二池化层剔除所述目标卷积神经网络模型中预设数量的神经元，以使得经过筛除后的缺陷特征再次进行过滤；
第一生成模块，用于通过所述特征筛选网络层的第三全连接层对过滤后保留下的所述缺陷特征进行组合，以生成特征组合图像；
第四计算模块，用于通过所述特征筛选网络层的softmax层对所述特征组合图像进行计算，得到所述特征组合图像对应的所述显示面板图像归属各个缺陷类型的概率值。
10.根据权利要求8所述的装置，其特征在于，所述第一确定单元，包括：
第一判断模块，用于判断所述概率值集合中的最大概率值是否达到预设阈值；
第二确定模块，用于当判断模块确定所述概率值集合中的最大概率值达到预设阈值，则确定所述显示面板图像存在与所述最大概率值对应的缺陷类型。
CN202110088544.8A 2021-01-22 2021-01-22 一种显示面板缺陷分类的方法及相关装置 Active CN112884712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110088544.8A CN112884712B (zh) 2021-01-22 2021-01-22 一种显示面板缺陷分类的方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110088544.8A CN112884712B (zh) 2021-01-22 2021-01-22 一种显示面板缺陷分类的方法及相关装置

Publications (2)

Publication Number Publication Date
CN112884712A true CN112884712A (zh) 2021-06-01
CN112884712B CN112884712B (zh) 2021-11-30

Family

ID=76050346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110088544.8A Active CN112884712B (zh) 2021-01-22 2021-01-22 一种显示面板缺陷分类的方法及相关装置

Country Status (1)

Country Link
CN (1) CN112884712B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592859A (zh) * 2021-09-26 2021-11-02 中导光电设备股份有限公司 一种基于深度学习的用于显示面板缺陷的分类方法
CN113657382A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种目标检测任务中最佳检测模型的选取方法及装置
CN114063328A (zh) * 2021-11-17 2022-02-18 乐金显示光电科技(中国)有限公司 液晶面板显示异常分析方法及分析系统
CN115409694A (zh) * 2022-11-03 2022-11-29 季华实验室 语义引导的缺陷图像生成方法、装置、设备及存储介质
CN116168259A (zh) * 2023-04-26 2023-05-26 厦门微图软件科技有限公司 一种应用于oled点灯系统的自动缺陷分类算法
CN116385838A (zh) * 2023-06-02 2023-07-04 成都数之联科技股份有限公司 模型训练及缺陷检测方法、装置、介质、设备及程序产品
CN116453438A (zh) * 2023-06-19 2023-07-18 深圳市瑞桔电子有限公司 一种显示屏参数检测方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292885A (zh) * 2017-08-08 2017-10-24 广东工业大学 一种基于自动编码器的产品缺陷分类识别方法及装置
CN108108768A (zh) * 2017-12-29 2018-06-01 清华大学 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
US20190197679A1 (en) * 2017-12-25 2019-06-27 Utechzone Co., Ltd. Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program,and deep learning system thereof
CN111275660A (zh) * 2018-12-05 2020-06-12 合肥欣奕华智能机器有限公司 一种平板显示器缺陷检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292885A (zh) * 2017-08-08 2017-10-24 广东工业大学 一种基于自动编码器的产品缺陷分类识别方法及装置
US20190197679A1 (en) * 2017-12-25 2019-06-27 Utechzone Co., Ltd. Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program,and deep learning system thereof
CN108108768A (zh) * 2017-12-29 2018-06-01 清华大学 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
CN111275660A (zh) * 2018-12-05 2020-06-12 合肥欣奕华智能机器有限公司 一种平板显示器缺陷检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
伍晓明: "基于Faster R CNN的目标检测算法的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657382A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种目标检测任务中最佳检测模型的选取方法及装置
CN113657382B (zh) * 2021-08-24 2024-03-01 凌云光技术股份有限公司 一种目标检测任务中最佳检测模型的选取方法及装置
CN113592859A (zh) * 2021-09-26 2021-11-02 中导光电设备股份有限公司 一种基于深度学习的用于显示面板缺陷的分类方法
CN113592859B (zh) * 2021-09-26 2022-01-14 中导光电设备股份有限公司 一种基于深度学习的用于显示面板缺陷的分类方法
CN114063328A (zh) * 2021-11-17 2022-02-18 乐金显示光电科技(中国)有限公司 液晶面板显示异常分析方法及分析系统
CN115409694A (zh) * 2022-11-03 2022-11-29 季华实验室 语义引导的缺陷图像生成方法、装置、设备及存储介质
CN115409694B (zh) * 2022-11-03 2023-01-13 季华实验室 语义引导的缺陷图像生成方法、装置、设备及存储介质
CN116168259A (zh) * 2023-04-26 2023-05-26 厦门微图软件科技有限公司 一种应用于oled点灯系统的自动缺陷分类算法
CN116168259B (zh) * 2023-04-26 2023-08-08 厦门微图软件科技有限公司 一种应用于oled点灯系统的自动缺陷分类方法
CN116385838A (zh) * 2023-06-02 2023-07-04 成都数之联科技股份有限公司 模型训练及缺陷检测方法、装置、介质、设备及程序产品
CN116453438A (zh) * 2023-06-19 2023-07-18 深圳市瑞桔电子有限公司 一种显示屏参数检测方法、装置、设备及存储介质
CN116453438B (zh) * 2023-06-19 2023-08-18 深圳市瑞桔电子有限公司 一种显示屏参数检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112884712B (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN112884712B (zh) 一种显示面板缺陷分类的方法及相关装置
CN106683048B (zh) 一种图像超分辨率方法及设备
CN110852316B (zh) 一种采用密集结构卷积网络的图像篡改检测和定位方法
CN113011567B (zh) 一种卷积神经网络模型的训练方法及装置
CN106778604B (zh) 基于匹配卷积神经网络的行人再识别方法
CN109919934B (zh) 一种基于多源域深度迁移学习的液晶面板缺陷检测方法
CN108665460A (zh) 基于组合神经网络和分类神经网络的图像质量评价方法
CN106815576B (zh) 基于连续时空置信图和半监督极限学习机的目标追踪方法
Chen et al. Remote sensing image quality evaluation based on deep support value learning networks
CN113393461B (zh) 基于深度学习的分裂中期染色体图像质量筛选方法和系统
CN112818849B (zh) 基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法
CN111145145B (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN110111346B (zh) 基于视差信息的遥感图像语义分割方法
CN114170526B (zh) 基于轻量化网络的遥感影像多尺度目标检测识别方法
CN108038839A (zh) 一种流水生产线上双绞线绞距实时检测方法
CN113971764A (zh) 一种基于改进YOLOv3的遥感图像小目标检测方法
CN111882516B (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
CN114021704B (zh) 一种ai神经网络模型的训练方法及相关装置
CN113344110A (zh) 一种基于超分辨率重建的模糊图像分类方法
CN113553973A (zh) 一种基于双向注意力的伪装物体检测方法
CN115761888A (zh) 基于nl-c3d模型的塔吊操作人员异常行为检测方法
Lv et al. Blind dehazed image quality assessment: a deep CNN-based approach
CN113159158B (zh) 一种基于生成对抗网络的车牌矫正与重构方法及系统
CN114612709A (zh) 图像金字塔特征指导的多尺度目标检测方法
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant