CN110232406B - 一种基于统计学习的液晶面板cf图片识别方法 - Google Patents

一种基于统计学习的液晶面板cf图片识别方法 Download PDF

Info

Publication number
CN110232406B
CN110232406B CN201910450350.0A CN201910450350A CN110232406B CN 110232406 B CN110232406 B CN 110232406B CN 201910450350 A CN201910450350 A CN 201910450350A CN 110232406 B CN110232406 B CN 110232406B
Authority
CN
China
Prior art keywords
model
image
training
liquid crystal
crystal panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910450350.0A
Other languages
English (en)
Other versions
CN110232406A (zh
Inventor
方匡南
张庆昭
姚瑨
王智博
耿丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201910450350.0A priority Critical patent/CN110232406B/zh
Publication of CN110232406A publication Critical patent/CN110232406A/zh
Application granted granted Critical
Publication of CN110232406B publication Critical patent/CN110232406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/1306—Details
    • G02F1/1309—Repairing; Testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nonlinear Science (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于统计学习的液晶面板CF图片识别方法，涉及图像目标检测领域。将识别液晶板defect问题抽象为图像处理中的目标检测问题和分类问题；探索性数据分析；对图像进行标注，同时将不利于训练的图像删除以免干扰模型；数据预处理；对图像进行数据增强，通过变换原图片进行数据增强，变换方式有将图片进行随机翻转、改变图片颜色等；训练卷积神经网络模型，并针对当前特定问题进行改进，进行模型评估；输出最终模型，对液晶板检测与分类。在预读取之前进行图片乱序：避免在预读取时乱序消耗过多内存空间，同时防止每次更新权重使用的只是某一类数据，提升模型训练过程的稳定性；针对图像特点动态调整学习率：加速收敛过程，降低迭代次数。

Description

一种基于统计学习的液晶面板CF图片识别方法
技术领域
本发明涉及图像目标检测领域，尤其是涉及一种基于统计学习的液晶面板CF图片识别方法。
背景技术
针对液晶面板生成过程中的CF图片种类主要分为ITO类(包括FI312、FI609、FI611)和BM类(包括FM307、FM312、FM601)。根据业界的生产流程，送检前ITO和BM信息已知，故对这两类图片分别进行目标检测，目标检测的目的是对损坏的图片进行分类并且框出损坏位置。
目前主流的目标检测方法主要分为两类：
(1)二阶段方法：RCNN架构
2014年最初由就职于Facebook AI研究所的Ross Girshick等人提出。
特点：精度高，速度慢，多用于学术研究。
(2)一阶段方法：
YOLO系列：2015年最初由华盛顿大学的Joseph Redmon等人提出，速度和精度最均衡的目标检测网络，极大地提高了检测速度，可以做到实时监测。
SSD：2016年由来自谷歌和北卡罗来纳大学的刘伟等人提出，SSD实质上是在YOLOv1的基础上做出了部分改进。
以下给出YOLO v1算法框架的介绍：
YOLO用于目标检测，输入一张图片，YOLO算法能够将目标用框画出，并标注类别，训练模型的样本是标注好的图片(需要人为标注目标框的位置，大小及类别)。YOLO和RCNN类模型的最大区别在于，YOLO只需要构建一个卷积神经网络就能输出所需信息。
YOLO算法的基本思想：将一张图片划分为13×13的网格(网格划分S×S，本发明中S取为13)，以每个网格为中心画3个框(本发明中框的个数取3)，对这13×13×3个框进行筛选，再调整其位置和大小。
输入图片，输出一个13×13×24的结果矩阵,具体过程如下：
1、13×13表示将图片划分成13×13的网格，输出矩阵表示对每一个网格输出一个长度为24的向量。
2、24＝8×3表示表示3个框的信息，每个框中含有8个数据信息。
3、8＝4+1+3表示每个框含有8个数据信息。
其中，1这个信息指的是框中物体的可信度，3包含的3个信息指的是三个类别的概率，选取概率最大的类别作为判断依据，4表示(x,y,w,h)表示框的位置信息(x：框中心横轴坐标，y：框中心纵轴坐标，w：框的宽度，h：框的高度)。
YOLO模型中的网络先在ImageNet数据集上进行1000类分类训练，再迁移到当前标注数据集上训练。模型训练的关键在于损失函数的设计，输入一张图片，输出一个13×13×24的结果矩阵，其中包括每个框的位置信息，有物体的概率，属于每一个类别的概率，这些与ground truth(训练之前人为标注的框)的差异都在损失函数当中有所体现。
YOLO算法的损失函数每一项都是L2loss，也就是将分类问题转化成回归问题[1]。损失函数分为3个部分：位置损失、可信度损失和类别损失，具体形式如下：
Figure BDA0002074393200000021
其中，S表示划分栅格的个数；B表示bbox的个数；(xi，yi)和
Figure BDA0002074393200000022
分别是真实和预测检测框的中心在栅格中的相对位置；(wi，hi)和
Figure BDA0002074393200000023
分别是真实和预测检测框的长宽相对图片大小的比例；Ci和
Figure BDA0002074393200000024
分别是真实和预测的检测框含有目标物体的置信度；；pi和
Figure BDA0002074393200000025
分别是真实和预测object的类别概率；λnoobj,λcood是用于调节类别不平衡的超参数；
Figure BDA0002074393200000026
表示第i个单元格的第j个检测框是否负责这个目标物体；
Figure BDA0002074393200000031
表示第i个单元格的第j个检测框是否不含这个目标物体。
YOLO v1版本对小目标的检测效果较差，YOLO v2版本在v1版本的基础上改进如下：
1、使用多种尺寸的图片进行训练。
2、与worldNet结合，扩大可分类类别。
3、使用Batch Normalization加速模型收敛，同时起到正则化的作用。
4、细粒度特征改进小物体预测。
5、使用darknet-19进行加速，速度和精度都大幅度提升。
YOLO v3版本采用多尺度预测，比起YOLO v1版本和YOLO v2版本有更好的基础分类网络和分类器，主要改进如下：
1、分类时没有使用softmax多分类，而是采用logistic回归进行多分类。
2、网络结构由原来的Darknet-19改为Darknet-53，引入残差网络。
3、将深层特征图进行上采样，与浅层特征图堆叠在一起进行特征融合。
参考文献：
[1]Redmon J,Divvala S,Girshick R,et al.You only look once:Unified,real-time object detection[C]//Proceedings of the IEEE conference on computervision and pattern recognition.2016:779-788。
[2]Redmon J,Farhadi A.YOLO9000:better,faster,stronger[C]//Proceedingsof the IEEE conference on computer vision and pattern recognition.2017:7263-7271。
发明内容
本发明的目的在于针对液晶面板生产中的CF制程中产生的错误和瑕疵的分类和目标检测问题，提供基于YOLOv3的目标检测算法进行改进，可提高模型整体的分类准确率，加快训练和收敛速度，同时解决小样本和训练波动大等诸多问题，使得大部分类别的分类成功率提高到85％以上的一种基于统计学习的液晶面板CF图片识别方法。
本发明包括以下步骤：
1)将识别液晶板defect问题抽象为图像处理中的目标检测问题和分类问题；
2)探索性数据分析，首先，通过对各个类别缺失图像的观察，了解各个类别缺失的特征，将分类错误的样本重新归类或丢弃；其次，尝试传统方法与深度学习方法对特征进行提取，因为卷积神经网络可以捕获图像中更为高阶的位置、类别信息，检测效果较为明显，所以最后选择使用深度学习的模型；
在步骤2)中，所述探索性数据分析的具体方法可为：首先通过人工观察找到各个类别特征的区别，然后选取合适的特征，用传统的特征匹配、角点检测等算法识别缺失，但因为各个类别的特征差异不够明显，且同一个类别的图像缺失也没有一个确定的模式，所以传统方法检测效果不佳，而深度学习模型可以通过训练参数，自动学习图像的多种特征，效果更为显著；目标检测的深度学习算法分为两阶段算法和单阶段算法，两阶段算法是先从众多候选框中选取合适的框作为标注，再对标注进行分类，常见算法有RCNN,Fast RCNN,Faster RCNN等；而单阶段算法可以端到端地进行训练，图片输入模型后即可一次性输出缺失位置和缺失类别，常见算法有SSD,YOLO等；鉴于两阶段算法过程较为繁琐，训练与预测速度较慢，选择了单阶段算法中比较成熟的YOLO算法作为模型基础，并在其基础上进行改进。
3)对图像进行标注，同时将不利于训练的图像删除以免干扰模型；训练模型时所用的标注只能由人工完成，使用开源的labelImg软件对训练的图像进行标注；对每一张图片，都用矩形框将缺失位置标注出来，并指定该缺失的类别；标注完成后，每张图片会生成一个xml文件，文件中存有对应图片的缺失位置和标注的类别信息，训练模型时，将图像和对应类别数据作为输入进行迭代，训练好的参数就可以用于检测新的图片；
在步骤3)中，在图像进行标注时将图片删除：当一张图片有太多细小、不同类别的脏污时，无法对每个位置都进行标注，而不标注则脏污位置会被认为是正常的背景，从而干扰模型训练，因此将其删除；当一张图片脏污类别不明确时，若通过主观想法随意标注一个类别，则可能影响模型判断，故将其删去；当一张图片无法通过肉眼识别出脏污时，若随意标注一个位置，则可能误导模型，因此将其删去。
4)数据预处理，首先根据液晶板制程中的不同，将6类图片分为两组，对两组图片分别训练模型，最后将模型汇总；其次将所有图像变换到相同大小，并把所有类别的图片打乱，作为模型输入；
在步骤4)中，所述液晶板制程中，会经过许多流程，而每个流程都可能留下脏污，不同流程可能留下相同样式的脏污，但会被标注为不同类别；若所有制程的脏污混在一起放入模型训练，不同制程的相同脏污可能使模型无法收敛，于是将两个制程分别训练模型；模型训练完成后，在检测阶段，可以让图片按照制程相反顺序依次通过制程对应模型，因为一个制程下的脏污有可能是上一个制程造成的，则当前制程可能无法辨别这种脏污，这就需要将脏污输入到上一个制程中进行识别。
5)对图像进行数据增强，为了增加训练样本，同时使模型更加稳健，通过变换原图片进行数据增强，变换方式有将图片进行随机翻转、改变图片颜色等；
6)训练卷积神经网络模型，模型基于2018年最新的yolo3算法，并针对当前特定问题进行改进，所述改进包括调整学习率、修改损失函数、迁移学习等；
在步骤6)中，所述改进的具体方法可为：首先，将图片输入darknet卷积神经网络进行特征提取，得到一个13×13×24的结果矩阵，对该结果矩阵进行两次上采样，分别得到26×26×24和52×52×24两种特征图，三个矩阵在不同细粒度上对目标进行检测，对位置进行定位；其次，对损失函数进行调整：损失函数包含位置标注正确的损失与类别正确的损失两个部分，更看重的是类别标注正确，对位置标注没有非常严苛的要求，因此提高类别损失的权重；对于类别损失，对不同类别损失赋予不同权重以解决类别不平衡问题；再次，使用迁移学习的方法，引入模型在Imagenet数据集上训练出来的权重，使模型具有基本的特征提取能力；然后，在darknet网络后面添加其他卷积网络最后计算权重；训练模型时，只更新后面添加网络的参数，将引入的权重固定，并调整学习率，使模型更好地收敛，同时加快优化速度。
7)进行模型评估；
在步骤7)中，所述进行模型评估的具体方法可为：首先划分训练集与测试集，在训练集上训练模型，在测试集上检验模型准确率，最后6种图片总体准确率达到89.64％，基本不逊色于人工识别；当划分训练集与测试集时，让训练集中图片数量约为测试集中图片数量的4倍，保证有充分的图像加入训练，同时用于预测的图像输出较为准确的结果；模型在ITO和BM两个制程上都基本上能将缺失位置标注，分类准确率分别为90.63％和88.15％，两个制程总体准确率达到89.64％。
8)输出最终模型，对液晶板defect进行检测与分类。
本发明基于深度学习的CF图片判别软件用Python语言编写，以下内容说明本发明的主要程序结构：
1)针对CF图片中BM站点的软件接口和主要程序含义及使用说明，程序文件说明如表1所示：
表1
文件/文件夹 用途
train_net.py 训练模型的主程序
yolo_layer.py 基于YOLO模型的基础参数设置
yolo_top.py 基于YOLO模型的顶层结构和参数设置
predict_net.py 输出模型预测结果的的主程序
create_tfrecords.py 用于预处理可供模型训练的图片
使用说明如下：先使用create_tfrecords.py预处理数据，再使用train_net.py训练深度学习模型，最后使用predict_net.py对于测试图片进行目标检测；
2)针对CF图片中ITO站点的软件接口和主要程序含义及使用说明如表2所示：
表2
文件/文件夹 用途
train_net.py 训练模型的主程序
yolo_layer.py 基于YOLO模型的基础参数设置
yolo_top.py 基于YOLO模型的顶层结构和参数设置
predict_net.py 输出模型预测结果的的主程序
create_tfrecords.py 用于预处理可供模型训练的图片
使用说明如下：先使用create_tfrecords.py预处理数据，再使用train_net.py训练深度学习模型，最后使用predict_net.py对于测试图片进行目标检测；
以上给出了一种基于统计学习的液晶面板CF图片识别方法的具体步骤和程序结构，再介绍针对CF图片的目标检测的软件具体设计思路：
(1)对于收集到的CF图片大致可划分为两个站点，由于站点信息在输入模型前已知，因此可以针对每个站点分别构建目标检测模型；
(2)使用Labelimg开源标注软件对于收集到的存在瑕疵和缺陷(defect)图片进行人工标注，需要表明每一张图片的检测框和类别；
(3)使用create_tfrecords.py程序预读取图片和标注文件，并再对于读取的图片和和标注文件进行乱序处理，从而保证在大的空间尺度上不存在类别分布不均匀的问题，再将乱序后的结果转码生成tfrecord文件；
(4)使用train_net.py程序提取tfrecord文件进行训练，获取深度学习模型，其修改后的损失函数如下：
Figure BDA0002074393200000061
其中，(xij,yij)和
Figure BDA0002074393200000071
分别是真实和预测检测框的中心在栅格中的相对位置；(wij,hij)和
Figure BDA0002074393200000072
分别是真实和预测检测框的长宽相对图片的比例；Cij和
Figure BDA0002074393200000073
分别是真实和预测的检测框含有目标物体置信度；pij和
Figure BDA0002074393200000074
分别是真实和预测目标物体的类别概率；
Figure BDA0002074393200000075
是用于控制收敛方向的参数；表示第i个单元格的第j个检测框是否负责这个目标物体；表示第i个单元格的第j个检测框是否不含这个目标物体。
(5)针对类别不平衡的问题，添加权重
Figure BDA0002074393200000076
针对类别不平衡的问题，提升对于少数类别的识别能力；
(6)针对分类精度的任务需求，提高分类权重和目标项权重；
(7)针对大小不一的标注框进行权重调整λnum＝2-标注框面积，平衡不同大小标注框损失比例相差过大的影响；
(8)训练过程中同时引入动态的权重分配机制，在算法趋向于收敛时逐步提高分类项的权重；
(9)对于学习率参数进行优化，使得原本需要20000步的迭代过程在完成4000次后就可以基本完成收敛；
最后得到验证集测试结果如表3所示。
表3
Figure BDA0002074393200000077
从表3可以看出，模型的预测结果得到了极大的提升，整体的分类准确率从原始YOLO的79.77％提升到了89.64％。
最后，还针对两个站点送检图片的先后关系设计一套序列式的检测机制，按照站点的生产流程顺序依次检测图片，若在本站点分类器未发现问题，则回溯至上一站点检测。
与现有技术相比，本发明具有的突出技术效果和优点：
(1)在预读取之前进行图片乱序：避免在预读取时乱序消耗过多内存空间，同时防止每次更新权重使用的只是某一类数据，提升模型训练过程的稳定性；
(2)针对图像特点动态调整学习率：加速收敛过程，降低迭代次数；
(3)损失函数：解决类别不平衡问题，调整权重，控制收敛方向，使模型在处理不同大小的检测框时更稳健，同时提升分类精度。
附图说明
图1为训练输入文件夹结构。
图2为模型保存结构。
图3为预测图片文件夹结构。
图4为输出结果展示图。
图5为针对制程先后顺序的解决方案图。
具体实施方式
以下实施例将结合附图对本发明的技术方案、原理等作进一步说明。
本发明所述一种基于统计学习的液晶面板CF图片识别方法实施例包括以下步骤：
1)将识别液晶板defect问题抽象为图像处理中的目标检测问题和分类问题；
2)探索性数据分析，首先，通过对各个类别缺失图像的观察，了解各个类别缺失的特征，将分类错误的样本重新归类或丢弃；其次，尝试传统方法与深度学习方法对特征进行提取，因为卷积神经网络可以捕获图像中更为高阶的位置、类别信息，检测效果较为明显，所以最后选择使用深度学习的模型；所述探索性数据分析的具体方法为：首先通过人工观察找到各个类别特征的区别，然后选取合适的特征，用传统的特征匹配、角点检测等算法识别缺失，但因为各个类别的特征差异不够明显，且同一个类别的图像缺失也没有一个确定的模式，所以传统方法检测效果不佳，而深度学习模型可以通过训练参数，自动学习图像的多种特征，效果更为显著；目标检测的深度学习算法分为两阶段算法和单阶段算法，两阶段算法是先从众多候选框中选取合适的框作为标注，再对标注进行分类，常见算法有RCNN,Fast RCNN,Faster RCNN等；而单阶段算法可以端到端地进行训练，图片输入模型后即可一次性输出缺失位置和缺失类别，常见算法有SSD,YOLO等；鉴于两阶段算法过程较为繁琐，训练与预测速度较慢，选择了单阶段算法中比较成熟的YOLO算法作为模型基础，并在其基础上进行改进。
3)对图像进行标注，同时将不利于训练的图像删除以免干扰模型；训练模型时所用的标注只能由人工完成，使用开源的labelImg软件对训练的图像进行标注；对每一张图片，都用矩形框将缺失位置标注出来，并指定该缺失的类别；标注完成后，每张图片会生成一个xml文件，文件中存有对应图片的缺失位置和标注的类别信息，训练模型时，将图像和对应类别数据作为输入进行迭代，训练好的参数就可以用于检测新的图片；在图像进行标注时将图片删除：当一张图片有太多细小、不同类别的脏污时，无法对每个位置都进行标注，而不标注则脏污位置会被认为是正常的背景，从而干扰模型训练，因此将其删除；当一张图片脏污类别不明确时，若通过主观想法随意标注一个类别，则可能影响模型判断，故将其删去；当一张图片无法通过肉眼识别出脏污时，若随意标注一个位置，则可能误导模型，因此将其删去。
4)数据预处理，首先根据液晶板制程中的不同，将6类图片分为两组，对两组图片分别训练模型，最后将模型汇总；其次将所有图像变换到相同大小，并把所有类别的图片打乱，作为模型输入；所述液晶板制程中，会经过许多流程，而每个流程都可能留下脏污，不同流程可能留下相同样式的脏污，但会被标注为不同类别；若所有制程的脏污混在一起放入模型训练，不同制程的相同脏污可能使模型无法收敛，于是将两个制程分别训练模型；模型训练完成后，在检测阶段，可以让图片按照制程相反顺序依次通过制程对应模型，因为一个制程下的脏污有可能是上一个制程造成的，则当前制程可能无法辨别这种脏污，这就需要将脏污输入到上一个制程中进行识别。
5)对图像进行数据增强，为了增加训练样本，同时使模型更加稳健，通过变换原图片进行数据增强，变换方式有将图片进行随机翻转、改变图片颜色等；
6)训练卷积神经网络模型，模型基于2018年最新的yolo3算法，并针对当前特定问题进行改进，所述改进包括调整学习率、修改损失函数、迁移学习等；所述改进的具体方法为：首先，将图片输入darknet卷积神经网络进行特征提取，得到一个13×13×24的结果矩阵，对该结果矩阵进行两次上采样，分别得到26×26×24和52×52×24两种特征图，三个矩阵在不同细粒度上对目标进行检测，对位置进行定位；其次，对损失函数进行调整：损失函数包含位置标注正确的损失与类别正确的损失两个部分，更看重的是类别标注正确，对位置标注没有非常严苛的要求，因此提高类别损失的权重；对于类别损失，对不同类别损失赋予不同权重以解决类别不平衡问题；再次，使用迁移学习的方法，引入模型在Imagenet数据集上训练出来的权重，使模型具有基本的特征提取能力；然后，在darknet网络后面添加其他卷积网络最后计算权重；训练模型时，只更新后面添加网络的参数，将引入的权重固定，并调整学习率，使模型更好地收敛，同时加快优化速度。
7)进行模型评估，具体方法为：首先划分训练集与测试集，在训练集上训练模型，在测试集上检验模型准确率，最后6种图片总体准确率达到89.64％，基本不逊色于人工识别；当划分训练集与测试集时，让训练集中图片数量约为测试集中图片数量的4倍，保证有充分的图像加入训练，同时用于预测的图像输出较为准确的结果；模型在ITO和BM两个制程上都基本上能将缺失位置标注，分类准确率分别为90.63％和88.15％，两个制程总体准确率达到89.64％。
8)输出最终模型，对液晶板defect进行检测与分类。
以下以ITO站点图片为例，在训练模型时，将ITO文件夹中所包含的图片及其标注的xml文件(如图1所示)同时输入create_tfrecords.py文件中，从而创建出方便队列读取的tfrecord文件；其次，将生成好的tfrecord文件送入train_net.py文件，进行模型的训练工作，train_net.py在训练时会自行调用yolo_top.py和yolo_top.py中的模型参数，从而得到模型的训练结果ckpt文件(完成预测后的图片输出画图结果如图2所示)；在预测模型时，会在predict_net.py文件中调用训练好的模型的ckpt文件，再将新的图片(如图3所示)送入模型，从而得出新的预测图片(如图4所示)，最后对存在时间顺序的多个站点，可以对于所有站点执行上述操作，若某一张预测图片在检测过程中未发现任何缺陷，则将其送入上一个站点的模型进行检测，若仍然未发现任何缺陷，则继续送入上一站点，直到发现缺陷或者抵达初始站点，其过程如图5所示。
本发明首先将识别液晶板defect问题抽象为图像处理中的目标检测问题和分类问题。接下来对得到的图像数据进行探索性数据分析，对样本进行重新归类，并根据数据特点选择深度学习模型作为基础。下一步对图像进行位置和类别的标注，并根据制程不同将6个类别分为2组分别训练模型。在数据预处理阶段，将所有图像标准化为相同大小，并把所有类别的图片打乱，在对图像数据进行增强，使模型更加稳健。在训练卷积神经网络模型时，我们基于YOLO算法，在其基础上对当前特定问题做了如下修改：上采样、迁移学习、修改损失函数等。基于当前标注样本训练出的模型，可以应用到更多图片的缺失检测中，检测准确率基本与人工检测持平，最终实现缺失检测的自动化。本发明只适用于特定几种脏污的检测，不支持新型脏污类型的辨别。

Claims (3)

1.一种基于统计学习的液晶面板CF图片识别方法，其特征在于包括以下步骤：
1)将识别液晶板defect问题抽象为图像处理中的目标检测问题和分类问题；
2)探索性数据分析，首先，通过对各个类别缺失图像的观察，了解各个类别缺失的特征，将分类错误的样本重新归类或丢弃；其次，尝试传统方法与深度学习方法对特征进行提取，选择使用深度学习的模型；
所述探索性数据分析的具体方法为：首先通过人工观察找到各个类别特征的区别，然后选取合适的特征，用传统的特征匹配、角点检测算法识别缺失，深度学习模型通过训练参数，自动学习图像的多种特征；目标检测的深度学习算法分为两阶段算法和单阶段算法，两阶段算法是先从众多候选框中选取合适的框作为标注，再对标注进行分类；而单阶段算法是端到端地进行训练，图片输入模型后一次性输出缺失位置和缺失类别；选择单阶段算法中的YOLO算法作为模型基础，并在其基础上进行改进；
3)对图像进行标注，将不利于训练的图像删除；训练模型时所用的标注由人工完成，使用开源的labelImg软件对训练的图像进行标注；对每一张图片，都用矩形框将缺失位置标注，并指定该缺失位置的类别；标注完成后，每张图片会生成一个xml文件，文件中存有对应图片的缺失位置和标注的类别信息，训练模型时，将图像和对应类别数据作为输入进行迭代，训练好的参数用于检测新的图片；
4)数据预处理，首先根据液晶板制程中的不同，将6类图片分为两组，对两组图片分别训练模型，最后将模型汇总；其次将所有图像变换到相同大小，并把所有类别的图片打乱，作为模型输入；所述液晶板制程中，将两个制程分别训练模型；模型训练完成后，在检测阶段，让图片按照制程相反顺序依次通过制程对应模型，将脏污输入到上一个制程中进行识别；
5)对图像进行数据增强，通过变换原图片进行数据增强，变换方式有将图片进行随机翻转、改变图片颜色；
6)训练卷积神经网络模型，针对当前特定问题进行改进，改进的方法包括调整学习率、修改损失函数、迁移学习；
改进的具体方法为：首先，将图片输入darknet卷积神经网络进行特征提取，得到一个13×13×24的结果矩阵，对该结果矩阵进行两次上采样，分别得到26×26×24和52×52×24两种特征图，三个矩阵在不同细粒度上对目标进行检测，对位置进行定位；其次，对损失函数进行调整：损失函数包含位置标注正确的损失与类别正确的损失两个部分，对于类别损失，对不同类别损失赋予不同权重以解决类别不平衡问题；再次，使用迁移学习的方法，引入模型在Imagenet数据集上训练出来的权重，使模型具有基本的特征提取能力；然后，在darknet网络后面添加其他卷积网络最后计算权重；训练模型时，更新后面添加网络的参数，将引入的权重固定，并调整学习率，使模型更好地收敛，同时加快优化速度；
7)进行模型评估；
8)输出最终模型，对液晶板defect进行检测与分类。
2.如权利要求1所述一种基于统计学习的液晶面板CF图片识别方法，其特征在于在步骤3)中，在图像进行标注时，将图片删除。
3.如权利要求1所述一种基于统计学习的液晶面板CF图片识别方法，其特征在于在步骤7)中，所述进行模型评估的具体方法为：首先划分训练集与测试集，在训练集上训练模型，在测试集上检验模型准确率；当划分训练集与测试集时，让训练集中图片数量为测试集中图片数量的4倍；模型在ITO和BM两个制程上都将缺失位置标注。
CN201910450350.0A 2019-05-28 2019-05-28 一种基于统计学习的液晶面板cf图片识别方法 Active CN110232406B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910450350.0A CN110232406B (zh) 2019-05-28 2019-05-28 一种基于统计学习的液晶面板cf图片识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910450350.0A CN110232406B (zh) 2019-05-28 2019-05-28 一种基于统计学习的液晶面板cf图片识别方法

Publications (2)

Publication Number Publication Date
CN110232406A CN110232406A (zh) 2019-09-13
CN110232406B true CN110232406B (zh) 2021-07-06

Family

ID=67858559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910450350.0A Active CN110232406B (zh) 2019-05-28 2019-05-28 一种基于统计学习的液晶面板cf图片识别方法

Country Status (1)

Country Link
CN (1) CN110232406B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827277A (zh) * 2019-11-26 2020-02-21 山东浪潮人工智能研究院有限公司 一种基于yolo3网络的布匹瑕疵检测方法
CN113450573A (zh) * 2020-03-25 2021-09-28 重庆翼动科技有限公司 基于无人机图像识别的交通监测方法和交通监测系统
CN111738056B (zh) * 2020-04-27 2023-11-03 浙江万里学院 一种基于改进YOLO v3的重卡盲区目标检测方法
CN111291841B (zh) * 2020-05-13 2020-08-21 腾讯科技（深圳）有限公司 图像识别模型训练方法、装置、计算机设备和存储介质
CN111723695A (zh) * 2020-06-05 2020-09-29 广东海洋大学 基于改进的Yolov3驾驶员关键子区域识别和定位方法
CN111914904B (zh) * 2020-07-08 2022-07-01 太原理工大学 一种融合DarkNet与CapsuleNet模型的图像分类方法
CN112211793A (zh) * 2020-08-25 2021-01-12 华北电力大学（保定） 一种基于视频图像分析的风电机组故障自动识别方法
CN111968115B (zh) * 2020-09-09 2021-05-04 山东大学第二医院 基于栅格化图像处理方法的骨科耗材检测方法及系统
CN112242002B (zh) * 2020-10-09 2022-07-08 同济大学 基于深度学习的物体识别和全景漫游方法
CN113407968B (zh) * 2021-06-29 2024-07-09 平安国际智慧城市科技股份有限公司 目标检测模型的加密方法、装置、设备及存储介质
CN113569866A (zh) * 2021-07-15 2021-10-29 桂林电子科技大学 一种基于深度学习识别hpv试纸的方法
CN114170518A (zh) * 2021-12-17 2022-03-11 青岛农业大学 一种基于计算机视觉的茶树冻害评估方法及系统
CN114332465A (zh) * 2022-01-05 2022-04-12 上海秦润数据科技有限公司 一种基于计算机视觉和深度学习发现天然气终端设备异常的方法
CN116385838A (zh) * 2023-06-02 2023-07-04 成都数之联科技股份有限公司 模型训练及缺陷检测方法、装置、介质、设备及程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035226A (zh) * 2018-07-12 2018-12-18 武汉精测电子集团股份有限公司 基于LSTM模型的Mura缺陷检测方法
CN109544533A (zh) * 2018-11-23 2019-03-29 聚时科技(上海)有限公司 一种基于深度学习的金属板缺陷检测和度量方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106323600B (zh) * 2016-08-31 2020-04-24 武汉精测电子集团股份有限公司 一种级联分布式aoi缺陷检测系统及其检测方法
CN107833220B (zh) * 2017-11-28 2021-06-11 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN108985365B (zh) * 2018-07-05 2021-10-01 重庆大学 基于深度子空间切换集成学习的多源异构数据融合方法
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035226A (zh) * 2018-07-12 2018-12-18 武汉精测电子集团股份有限公司 基于LSTM模型的Mura缺陷检测方法
CN109544533A (zh) * 2018-11-23 2019-03-29 聚时科技(上海)有限公司 一种基于深度学习的金属板缺陷检测和度量方法

Also Published As

Publication number Publication date
CN110232406A (zh) 2019-09-13

Similar Documents

Publication Publication Date Title
CN110232406B (zh) 一种基于统计学习的液晶面板cf图片识别方法
US10818000B2 (en) Iterative defect filtering process
CN109683360B (zh) 液晶面板缺陷检测方法及装置
CN110796186A (zh) 基于改进的YOLOv3网络的干湿垃圾识别分类方法
CN109919934B (zh) 一种基于多源域深度迁移学习的液晶面板缺陷检测方法
CN111553303A (zh) 基于卷积神经网络的遥感正射影像密集建筑物提取方法
CN108830332A (zh) 一种视觉车辆检测方法及系统
CN104063713B (zh) 一种基于随机蕨分类器的半自主在线学习方法
CN112819821B (zh) 一种细胞核图像检测方法
CN110610482A (zh) 一种基于resnet的工件瑕疵检测方法
CN111210869A (zh) 一种蛋白质冷冻电镜结构解析模型训练方法和解析方法
CN112365497A (zh) 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统
CN113128335A (zh) 微体古生物化石图像检测、分类及发现方法、系统及应用
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
JP2013077127A (ja) 画像分類装置および画像分類方法
JP2017054331A (ja) 画像分類方法、分類器の構成方法および画像分類装置
CN115661160A (zh) 一种面板缺陷检测方法及系统及装置及介质
CN113962980A (zh) 基于改进yolov5x的玻璃容器瑕疵检测方法及系统
TW202117664A (zh) 光學檢測二次圖像分類方法
CN110555384A (zh) 基于图像数据的牛肉大理石纹自动分级系统及方法
CN113469302A (zh) 一种视频图像的多圆形目标识别方法和系统
CN114092935A (zh) 一种基于卷积神经网络的纺织品纤维识别方法
CN117576038A (zh) 基于YOLOv8网络的织物瑕疵检测方法及系统
CN113610831B (zh) 基于计算机图像技术和迁移学习的木材缺陷检测方法
CN115661542A (zh) 一种基于特征关系迁移的小样本目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant