CN110232406B - 一种基于统计学习的液晶面板cf图片识别方法 - Google Patents
一种基于统计学习的液晶面板cf图片识别方法 Download PDFInfo
- Publication number
- CN110232406B CN110232406B CN201910450350.0A CN201910450350A CN110232406B CN 110232406 B CN110232406 B CN 110232406B CN 201910450350 A CN201910450350 A CN 201910450350A CN 110232406 B CN110232406 B CN 110232406B
- Authority
- CN
- China
- Prior art keywords
- model
- image
- training
- liquid crystal
- crystal panel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour
- G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour based on liquid crystals, e.g. single liquid crystal display cells
- G02F1/1306—Details
- G02F1/1309—Repairing; Testing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nonlinear Science (AREA)
- Crystallography & Structural Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Optics & Photonics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于统计学习的液晶面板CF图片识别方法,涉及图像目标检测领域。将识别液晶板defect问题抽象为图像处理中的目标检测问题和分类问题;探索性数据分析;对图像进行标注,同时将不利于训练的图像删除以免干扰模型;数据预处理;对图像进行数据增强,通过变换原图片进行数据增强,变换方式有将图片进行随机翻转、改变图片颜色等;训练卷积神经网络模型,并针对当前特定问题进行改进,进行模型评估;输出最终模型,对液晶板检测与分类。在预读取之前进行图片乱序:避免在预读取时乱序消耗过多内存空间,同时防止每次更新权重使用的只是某一类数据,提升模型训练过程的稳定性;针对图像特点动态调整学习率:加速收敛过程,降低迭代次数。
Description
技术领域
本发明涉及图像目标检测领域,尤其是涉及一种基于统计学习的液晶面板CF图片识别方法。
背景技术
针对液晶面板生成过程中的CF图片种类主要分为ITO类(包括FI312、FI609、FI611)和BM类(包括FM307、FM312、FM601)。根据业界的生产流程,送检前ITO和BM信息已知,故对这两类图片分别进行目标检测,目标检测的目的是对损坏的图片进行分类并且框出损坏位置。
目前主流的目标检测方法主要分为两类:
(1)二阶段方法:RCNN架构
2014年最初由就职于Facebook AI研究所的Ross Girshick等人提出。
特点:精度高,速度慢,多用于学术研究。
(2)一阶段方法:
YOLO系列:2015年最初由华盛顿大学的Joseph Redmon等人提出,速度和精度最均衡的目标检测网络,极大地提高了检测速度,可以做到实时监测。
SSD:2016年由来自谷歌和北卡罗来纳大学的刘伟等人提出,SSD实质上是在YOLOv1的基础上做出了部分改进。
以下给出YOLO v1算法框架的介绍:
YOLO用于目标检测,输入一张图片,YOLO算法能够将目标用框画出,并标注类别,训练模型的样本是标注好的图片(需要人为标注目标框的位置,大小及类别)。YOLO和RCNN类模型的最大区别在于,YOLO只需要构建一个卷积神经网络就能输出所需信息。
YOLO算法的基本思想:将一张图片划分为13×13的网格(网格划分S×S,本发明中S取为13),以每个网格为中心画3个框(本发明中框的个数取3),对这13×13×3个框进行筛选,再调整其位置和大小。
输入图片,输出一个13×13×24的结果矩阵,具体过程如下:
1、13×13表示将图片划分成13×13的网格,输出矩阵表示对每一个网格输出一个长度为24的向量。
2、24=8×3表示表示3个框的信息,每个框中含有8个数据信息。
3、8=4+1+3表示每个框含有8个数据信息。
其中,1这个信息指的是框中物体的可信度,3包含的3个信息指的是三个类别的概率,选取概率最大的类别作为判断依据,4表示(x,y,w,h)表示框的位置信息(x:框中心横轴坐标,y:框中心纵轴坐标,w:框的宽度,h:框的高度)。
YOLO模型中的网络先在ImageNet数据集上进行1000类分类训练,再迁移到当前标注数据集上训练。模型训练的关键在于损失函数的设计,输入一张图片,输出一个13×13×24的结果矩阵,其中包括每个框的位置信息,有物体的概率,属于每一个类别的概率,这些与ground truth(训练之前人为标注的框)的差异都在损失函数当中有所体现。
YOLO算法的损失函数每一项都是L2loss,也就是将分类问题转化成回归问题[1]。损失函数分为3个部分:位置损失、可信度损失和类别损失,具体形式如下:
其中,S表示划分栅格的个数;B表示bbox的个数;(xi,yi)和分别是真实和预测检测框的中心在栅格中的相对位置;(wi,hi)和分别是真实和预测检测框的长宽相对图片大小的比例;Ci和分别是真实和预测的检测框含有目标物体的置信度;;pi和分别是真实和预测object的类别概率;λnoobj,λcood是用于调节类别不平衡的超参数;表示第i个单元格的第j个检测框是否负责这个目标物体;表示第i个单元格的第j个检测框是否不含这个目标物体。
YOLO v1版本对小目标的检测效果较差,YOLO v2版本在v1版本的基础上改进如下:
1、使用多种尺寸的图片进行训练。
2、与worldNet结合,扩大可分类类别。
3、使用Batch Normalization加速模型收敛,同时起到正则化的作用。
4、细粒度特征改进小物体预测。
5、使用darknet-19进行加速,速度和精度都大幅度提升。
YOLO v3版本采用多尺度预测,比起YOLO v1版本和YOLO v2版本有更好的基础分类网络和分类器,主要改进如下:
1、分类时没有使用softmax多分类,而是采用logistic回归进行多分类。
2、网络结构由原来的Darknet-19改为Darknet-53,引入残差网络。
3、将深层特征图进行上采样,与浅层特征图堆叠在一起进行特征融合。
参考文献:
[1]Redmon J,Divvala S,Girshick R,et al.You only look once:Unified,real-time object detection[C]//Proceedings of the IEEE conference on computervision and pattern recognition.2016:779-788。
[2]Redmon J,Farhadi A.YOLO9000:better,faster,stronger[C]//Proceedingsof the IEEE conference on computer vision and pattern recognition.2017:7263-7271。
发明内容
本发明的目的在于针对液晶面板生产中的CF制程中产生的错误和瑕疵的分类和目标检测问题,提供基于YOLOv3的目标检测算法进行改进,可提高模型整体的分类准确率,加快训练和收敛速度,同时解决小样本和训练波动大等诸多问题,使得大部分类别的分类成功率提高到85%以上的一种基于统计学习的液晶面板CF图片识别方法。
本发明包括以下步骤:
1)将识别液晶板defect问题抽象为图像处理中的目标检测问题和分类问题;
2)探索性数据分析,首先,通过对各个类别缺失图像的观察,了解各个类别缺失的特征,将分类错误的样本重新归类或丢弃;其次,尝试传统方法与深度学习方法对特征进行提取,因为卷积神经网络可以捕获图像中更为高阶的位置、类别信息,检测效果较为明显,所以最后选择使用深度学习的模型;
在步骤2)中,所述探索性数据分析的具体方法可为:首先通过人工观察找到各个类别特征的区别,然后选取合适的特征,用传统的特征匹配、角点检测等算法识别缺失,但因为各个类别的特征差异不够明显,且同一个类别的图像缺失也没有一个确定的模式,所以传统方法检测效果不佳,而深度学习模型可以通过训练参数,自动学习图像的多种特征,效果更为显著;目标检测的深度学习算法分为两阶段算法和单阶段算法,两阶段算法是先从众多候选框中选取合适的框作为标注,再对标注进行分类,常见算法有RCNN,Fast RCNN,Faster RCNN等;而单阶段算法可以端到端地进行训练,图片输入模型后即可一次性输出缺失位置和缺失类别,常见算法有SSD,YOLO等;鉴于两阶段算法过程较为繁琐,训练与预测速度较慢,选择了单阶段算法中比较成熟的YOLO算法作为模型基础,并在其基础上进行改进。
3)对图像进行标注,同时将不利于训练的图像删除以免干扰模型;训练模型时所用的标注只能由人工完成,使用开源的labelImg软件对训练的图像进行标注;对每一张图片,都用矩形框将缺失位置标注出来,并指定该缺失的类别;标注完成后,每张图片会生成一个xml文件,文件中存有对应图片的缺失位置和标注的类别信息,训练模型时,将图像和对应类别数据作为输入进行迭代,训练好的参数就可以用于检测新的图片;
在步骤3)中,在图像进行标注时将图片删除:当一张图片有太多细小、不同类别的脏污时,无法对每个位置都进行标注,而不标注则脏污位置会被认为是正常的背景,从而干扰模型训练,因此将其删除;当一张图片脏污类别不明确时,若通过主观想法随意标注一个类别,则可能影响模型判断,故将其删去;当一张图片无法通过肉眼识别出脏污时,若随意标注一个位置,则可能误导模型,因此将其删去。
4)数据预处理,首先根据液晶板制程中的不同,将6类图片分为两组,对两组图片分别训练模型,最后将模型汇总;其次将所有图像变换到相同大小,并把所有类别的图片打乱,作为模型输入;
在步骤4)中,所述液晶板制程中,会经过许多流程,而每个流程都可能留下脏污,不同流程可能留下相同样式的脏污,但会被标注为不同类别;若所有制程的脏污混在一起放入模型训练,不同制程的相同脏污可能使模型无法收敛,于是将两个制程分别训练模型;模型训练完成后,在检测阶段,可以让图片按照制程相反顺序依次通过制程对应模型,因为一个制程下的脏污有可能是上一个制程造成的,则当前制程可能无法辨别这种脏污,这就需要将脏污输入到上一个制程中进行识别。
5)对图像进行数据增强,为了增加训练样本,同时使模型更加稳健,通过变换原图片进行数据增强,变换方式有将图片进行随机翻转、改变图片颜色等;
6)训练卷积神经网络模型,模型基于2018年最新的yolo3算法,并针对当前特定问题进行改进,所述改进包括调整学习率、修改损失函数、迁移学习等;
在步骤6)中,所述改进的具体方法可为:首先,将图片输入darknet卷积神经网络进行特征提取,得到一个13×13×24的结果矩阵,对该结果矩阵进行两次上采样,分别得到26×26×24和52×52×24两种特征图,三个矩阵在不同细粒度上对目标进行检测,对位置进行定位;其次,对损失函数进行调整:损失函数包含位置标注正确的损失与类别正确的损失两个部分,更看重的是类别标注正确,对位置标注没有非常严苛的要求,因此提高类别损失的权重;对于类别损失,对不同类别损失赋予不同权重以解决类别不平衡问题;再次,使用迁移学习的方法,引入模型在Imagenet数据集上训练出来的权重,使模型具有基本的特征提取能力;然后,在darknet网络后面添加其他卷积网络最后计算权重;训练模型时,只更新后面添加网络的参数,将引入的权重固定,并调整学习率,使模型更好地收敛,同时加快优化速度。
7)进行模型评估;
在步骤7)中,所述进行模型评估的具体方法可为:首先划分训练集与测试集,在训练集上训练模型,在测试集上检验模型准确率,最后6种图片总体准确率达到89.64%,基本不逊色于人工识别;当划分训练集与测试集时,让训练集中图片数量约为测试集中图片数量的4倍,保证有充分的图像加入训练,同时用于预测的图像输出较为准确的结果;模型在ITO和BM两个制程上都基本上能将缺失位置标注,分类准确率分别为90.63%和88.15%,两个制程总体准确率达到89.64%。
8)输出最终模型,对液晶板defect进行检测与分类。
本发明基于深度学习的CF图片判别软件用Python语言编写,以下内容说明本发明的主要程序结构:
1)针对CF图片中BM站点的软件接口和主要程序含义及使用说明,程序文件说明如表1所示:
表1
文件/文件夹 | 用途 |
train_net.py | 训练模型的主程序 |
yolo_layer.py | 基于YOLO模型的基础参数设置 |
yolo_top.py | 基于YOLO模型的顶层结构和参数设置 |
predict_net.py | 输出模型预测结果的的主程序 |
create_tfrecords.py | 用于预处理可供模型训练的图片 |
使用说明如下:先使用create_tfrecords.py预处理数据,再使用train_net.py训练深度学习模型,最后使用predict_net.py对于测试图片进行目标检测;
2)针对CF图片中ITO站点的软件接口和主要程序含义及使用说明如表2所示:
表2
文件/文件夹 | 用途 |
train_net.py | 训练模型的主程序 |
yolo_layer.py | 基于YOLO模型的基础参数设置 |
yolo_top.py | 基于YOLO模型的顶层结构和参数设置 |
predict_net.py | 输出模型预测结果的的主程序 |
create_tfrecords.py | 用于预处理可供模型训练的图片 |
使用说明如下:先使用create_tfrecords.py预处理数据,再使用train_net.py训练深度学习模型,最后使用predict_net.py对于测试图片进行目标检测;
以上给出了一种基于统计学习的液晶面板CF图片识别方法的具体步骤和程序结构,再介绍针对CF图片的目标检测的软件具体设计思路:
(1)对于收集到的CF图片大致可划分为两个站点,由于站点信息在输入模型前已知,因此可以针对每个站点分别构建目标检测模型;
(2)使用Labelimg开源标注软件对于收集到的存在瑕疵和缺陷(defect)图片进行人工标注,需要表明每一张图片的检测框和类别;
(3)使用create_tfrecords.py程序预读取图片和标注文件,并再对于读取的图片和和标注文件进行乱序处理,从而保证在大的空间尺度上不存在类别分布不均匀的问题,再将乱序后的结果转码生成tfrecord文件;
(4)使用train_net.py程序提取tfrecord文件进行训练,获取深度学习模型,其修改后的损失函数如下:
其中,(xij,yij)和分别是真实和预测检测框的中心在栅格中的相对位置;(wij,hij)和分别是真实和预测检测框的长宽相对图片的比例;Cij和分别是真实和预测的检测框含有目标物体置信度;pij和分别是真实和预测目标物体的类别概率;是用于控制收敛方向的参数;表示第i个单元格的第j个检测框是否负责这个目标物体;表示第i个单元格的第j个检测框是否不含这个目标物体。
(6)针对分类精度的任务需求,提高分类权重和目标项权重;
(7)针对大小不一的标注框进行权重调整λnum=2-标注框面积,平衡不同大小标注框损失比例相差过大的影响;
(8)训练过程中同时引入动态的权重分配机制,在算法趋向于收敛时逐步提高分类项的权重;
(9)对于学习率参数进行优化,使得原本需要20000步的迭代过程在完成4000次后就可以基本完成收敛;
最后得到验证集测试结果如表3所示。
表3
从表3可以看出,模型的预测结果得到了极大的提升,整体的分类准确率从原始YOLO的79.77%提升到了89.64%。
最后,还针对两个站点送检图片的先后关系设计一套序列式的检测机制,按照站点的生产流程顺序依次检测图片,若在本站点分类器未发现问题,则回溯至上一站点检测。
与现有技术相比,本发明具有的突出技术效果和优点:
(1)在预读取之前进行图片乱序:避免在预读取时乱序消耗过多内存空间,同时防止每次更新权重使用的只是某一类数据,提升模型训练过程的稳定性;
(2)针对图像特点动态调整学习率:加速收敛过程,降低迭代次数;
(3)损失函数:解决类别不平衡问题,调整权重,控制收敛方向,使模型在处理不同大小的检测框时更稳健,同时提升分类精度。
附图说明
图1为训练输入文件夹结构。
图2为模型保存结构。
图3为预测图片文件夹结构。
图4为输出结果展示图。
图5为针对制程先后顺序的解决方案图。
具体实施方式
以下实施例将结合附图对本发明的技术方案、原理等作进一步说明。
本发明所述一种基于统计学习的液晶面板CF图片识别方法实施例包括以下步骤:
1)将识别液晶板defect问题抽象为图像处理中的目标检测问题和分类问题;
2)探索性数据分析,首先,通过对各个类别缺失图像的观察,了解各个类别缺失的特征,将分类错误的样本重新归类或丢弃;其次,尝试传统方法与深度学习方法对特征进行提取,因为卷积神经网络可以捕获图像中更为高阶的位置、类别信息,检测效果较为明显,所以最后选择使用深度学习的模型;所述探索性数据分析的具体方法为:首先通过人工观察找到各个类别特征的区别,然后选取合适的特征,用传统的特征匹配、角点检测等算法识别缺失,但因为各个类别的特征差异不够明显,且同一个类别的图像缺失也没有一个确定的模式,所以传统方法检测效果不佳,而深度学习模型可以通过训练参数,自动学习图像的多种特征,效果更为显著;目标检测的深度学习算法分为两阶段算法和单阶段算法,两阶段算法是先从众多候选框中选取合适的框作为标注,再对标注进行分类,常见算法有RCNN,Fast RCNN,Faster RCNN等;而单阶段算法可以端到端地进行训练,图片输入模型后即可一次性输出缺失位置和缺失类别,常见算法有SSD,YOLO等;鉴于两阶段算法过程较为繁琐,训练与预测速度较慢,选择了单阶段算法中比较成熟的YOLO算法作为模型基础,并在其基础上进行改进。
3)对图像进行标注,同时将不利于训练的图像删除以免干扰模型;训练模型时所用的标注只能由人工完成,使用开源的labelImg软件对训练的图像进行标注;对每一张图片,都用矩形框将缺失位置标注出来,并指定该缺失的类别;标注完成后,每张图片会生成一个xml文件,文件中存有对应图片的缺失位置和标注的类别信息,训练模型时,将图像和对应类别数据作为输入进行迭代,训练好的参数就可以用于检测新的图片;在图像进行标注时将图片删除:当一张图片有太多细小、不同类别的脏污时,无法对每个位置都进行标注,而不标注则脏污位置会被认为是正常的背景,从而干扰模型训练,因此将其删除;当一张图片脏污类别不明确时,若通过主观想法随意标注一个类别,则可能影响模型判断,故将其删去;当一张图片无法通过肉眼识别出脏污时,若随意标注一个位置,则可能误导模型,因此将其删去。
4)数据预处理,首先根据液晶板制程中的不同,将6类图片分为两组,对两组图片分别训练模型,最后将模型汇总;其次将所有图像变换到相同大小,并把所有类别的图片打乱,作为模型输入;所述液晶板制程中,会经过许多流程,而每个流程都可能留下脏污,不同流程可能留下相同样式的脏污,但会被标注为不同类别;若所有制程的脏污混在一起放入模型训练,不同制程的相同脏污可能使模型无法收敛,于是将两个制程分别训练模型;模型训练完成后,在检测阶段,可以让图片按照制程相反顺序依次通过制程对应模型,因为一个制程下的脏污有可能是上一个制程造成的,则当前制程可能无法辨别这种脏污,这就需要将脏污输入到上一个制程中进行识别。
5)对图像进行数据增强,为了增加训练样本,同时使模型更加稳健,通过变换原图片进行数据增强,变换方式有将图片进行随机翻转、改变图片颜色等;
6)训练卷积神经网络模型,模型基于2018年最新的yolo3算法,并针对当前特定问题进行改进,所述改进包括调整学习率、修改损失函数、迁移学习等;所述改进的具体方法为:首先,将图片输入darknet卷积神经网络进行特征提取,得到一个13×13×24的结果矩阵,对该结果矩阵进行两次上采样,分别得到26×26×24和52×52×24两种特征图,三个矩阵在不同细粒度上对目标进行检测,对位置进行定位;其次,对损失函数进行调整:损失函数包含位置标注正确的损失与类别正确的损失两个部分,更看重的是类别标注正确,对位置标注没有非常严苛的要求,因此提高类别损失的权重;对于类别损失,对不同类别损失赋予不同权重以解决类别不平衡问题;再次,使用迁移学习的方法,引入模型在Imagenet数据集上训练出来的权重,使模型具有基本的特征提取能力;然后,在darknet网络后面添加其他卷积网络最后计算权重;训练模型时,只更新后面添加网络的参数,将引入的权重固定,并调整学习率,使模型更好地收敛,同时加快优化速度。
7)进行模型评估,具体方法为:首先划分训练集与测试集,在训练集上训练模型,在测试集上检验模型准确率,最后6种图片总体准确率达到89.64%,基本不逊色于人工识别;当划分训练集与测试集时,让训练集中图片数量约为测试集中图片数量的4倍,保证有充分的图像加入训练,同时用于预测的图像输出较为准确的结果;模型在ITO和BM两个制程上都基本上能将缺失位置标注,分类准确率分别为90.63%和88.15%,两个制程总体准确率达到89.64%。
8)输出最终模型,对液晶板defect进行检测与分类。
以下以ITO站点图片为例,在训练模型时,将ITO文件夹中所包含的图片及其标注的xml文件(如图1所示)同时输入create_tfrecords.py文件中,从而创建出方便队列读取的tfrecord文件;其次,将生成好的tfrecord文件送入train_net.py文件,进行模型的训练工作,train_net.py在训练时会自行调用yolo_top.py和yolo_top.py中的模型参数,从而得到模型的训练结果ckpt文件(完成预测后的图片输出画图结果如图2所示);在预测模型时,会在predict_net.py文件中调用训练好的模型的ckpt文件,再将新的图片(如图3所示)送入模型,从而得出新的预测图片(如图4所示),最后对存在时间顺序的多个站点,可以对于所有站点执行上述操作,若某一张预测图片在检测过程中未发现任何缺陷,则将其送入上一个站点的模型进行检测,若仍然未发现任何缺陷,则继续送入上一站点,直到发现缺陷或者抵达初始站点,其过程如图5所示。
本发明首先将识别液晶板defect问题抽象为图像处理中的目标检测问题和分类问题。接下来对得到的图像数据进行探索性数据分析,对样本进行重新归类,并根据数据特点选择深度学习模型作为基础。下一步对图像进行位置和类别的标注,并根据制程不同将6个类别分为2组分别训练模型。在数据预处理阶段,将所有图像标准化为相同大小,并把所有类别的图片打乱,在对图像数据进行增强,使模型更加稳健。在训练卷积神经网络模型时,我们基于YOLO算法,在其基础上对当前特定问题做了如下修改:上采样、迁移学习、修改损失函数等。基于当前标注样本训练出的模型,可以应用到更多图片的缺失检测中,检测准确率基本与人工检测持平,最终实现缺失检测的自动化。本发明只适用于特定几种脏污的检测,不支持新型脏污类型的辨别。
Claims (3)
1.一种基于统计学习的液晶面板CF图片识别方法,其特征在于包括以下步骤:
1)将识别液晶板defect问题抽象为图像处理中的目标检测问题和分类问题;
2)探索性数据分析,首先,通过对各个类别缺失图像的观察,了解各个类别缺失的特征,将分类错误的样本重新归类或丢弃;其次,尝试传统方法与深度学习方法对特征进行提取,选择使用深度学习的模型;
所述探索性数据分析的具体方法为:首先通过人工观察找到各个类别特征的区别,然后选取合适的特征,用传统的特征匹配、角点检测算法识别缺失,深度学习模型通过训练参数,自动学习图像的多种特征;目标检测的深度学习算法分为两阶段算法和单阶段算法,两阶段算法是先从众多候选框中选取合适的框作为标注,再对标注进行分类;而单阶段算法是端到端地进行训练,图片输入模型后一次性输出缺失位置和缺失类别;选择单阶段算法中的YOLO算法作为模型基础,并在其基础上进行改进;
3)对图像进行标注,将不利于训练的图像删除;训练模型时所用的标注由人工完成,使用开源的labelImg软件对训练的图像进行标注;对每一张图片,都用矩形框将缺失位置标注,并指定该缺失位置的类别;标注完成后,每张图片会生成一个xml文件,文件中存有对应图片的缺失位置和标注的类别信息,训练模型时,将图像和对应类别数据作为输入进行迭代,训练好的参数用于检测新的图片;
4)数据预处理,首先根据液晶板制程中的不同,将6类图片分为两组,对两组图片分别训练模型,最后将模型汇总;其次将所有图像变换到相同大小,并把所有类别的图片打乱,作为模型输入;所述液晶板制程中,将两个制程分别训练模型;模型训练完成后,在检测阶段,让图片按照制程相反顺序依次通过制程对应模型,将脏污输入到上一个制程中进行识别;
5)对图像进行数据增强,通过变换原图片进行数据增强,变换方式有将图片进行随机翻转、改变图片颜色;
6)训练卷积神经网络模型,针对当前特定问题进行改进,改进的方法包括调整学习率、修改损失函数、迁移学习;
改进的具体方法为:首先,将图片输入darknet卷积神经网络进行特征提取,得到一个13×13×24的结果矩阵,对该结果矩阵进行两次上采样,分别得到26×26×24和52×52×24两种特征图,三个矩阵在不同细粒度上对目标进行检测,对位置进行定位;其次,对损失函数进行调整:损失函数包含位置标注正确的损失与类别正确的损失两个部分,对于类别损失,对不同类别损失赋予不同权重以解决类别不平衡问题;再次,使用迁移学习的方法,引入模型在Imagenet数据集上训练出来的权重,使模型具有基本的特征提取能力;然后,在darknet网络后面添加其他卷积网络最后计算权重;训练模型时,更新后面添加网络的参数,将引入的权重固定,并调整学习率,使模型更好地收敛,同时加快优化速度;
7)进行模型评估;
8)输出最终模型,对液晶板defect进行检测与分类。
2.如权利要求1所述一种基于统计学习的液晶面板CF图片识别方法,其特征在于在步骤3)中,在图像进行标注时,将图片删除。
3.如权利要求1所述一种基于统计学习的液晶面板CF图片识别方法,其特征在于在步骤7)中,所述进行模型评估的具体方法为:首先划分训练集与测试集,在训练集上训练模型,在测试集上检验模型准确率;当划分训练集与测试集时,让训练集中图片数量为测试集中图片数量的4倍;模型在ITO和BM两个制程上都将缺失位置标注。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910450350.0A CN110232406B (zh) | 2019-05-28 | 2019-05-28 | 一种基于统计学习的液晶面板cf图片识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910450350.0A CN110232406B (zh) | 2019-05-28 | 2019-05-28 | 一种基于统计学习的液晶面板cf图片识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110232406A CN110232406A (zh) | 2019-09-13 |
CN110232406B true CN110232406B (zh) | 2021-07-06 |
Family
ID=67858559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910450350.0A Active CN110232406B (zh) | 2019-05-28 | 2019-05-28 | 一种基于统计学习的液晶面板cf图片识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110232406B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110827277A (zh) * | 2019-11-26 | 2020-02-21 | 山东浪潮人工智能研究院有限公司 | 一种基于yolo3网络的布匹瑕疵检测方法 |
CN113450573A (zh) * | 2020-03-25 | 2021-09-28 | 重庆翼动科技有限公司 | 基于无人机图像识别的交通监测方法和交通监测系统 |
CN111738056B (zh) * | 2020-04-27 | 2023-11-03 | 浙江万里学院 | 一种基于改进YOLO v3的重卡盲区目标检测方法 |
CN111291841B (zh) * | 2020-05-13 | 2020-08-21 | 腾讯科技(深圳)有限公司 | 图像识别模型训练方法、装置、计算机设备和存储介质 |
CN111723695A (zh) * | 2020-06-05 | 2020-09-29 | 广东海洋大学 | 基于改进的Yolov3驾驶员关键子区域识别和定位方法 |
CN111914904B (zh) * | 2020-07-08 | 2022-07-01 | 太原理工大学 | 一种融合DarkNet与CapsuleNet模型的图像分类方法 |
CN112211793A (zh) * | 2020-08-25 | 2021-01-12 | 华北电力大学(保定) | 一种基于视频图像分析的风电机组故障自动识别方法 |
CN111968115B (zh) * | 2020-09-09 | 2021-05-04 | 山东大学第二医院 | 基于栅格化图像处理方法的骨科耗材检测方法及系统 |
CN112242002B (zh) * | 2020-10-09 | 2022-07-08 | 同济大学 | 基于深度学习的物体识别和全景漫游方法 |
CN113407968B (zh) * | 2021-06-29 | 2024-07-09 | 平安国际智慧城市科技股份有限公司 | 目标检测模型的加密方法、装置、设备及存储介质 |
CN113569866B (zh) * | 2021-07-15 | 2024-09-10 | 桂林电子科技大学 | 一种基于深度学习识别hpv试纸的方法 |
CN114170518A (zh) * | 2021-12-17 | 2022-03-11 | 青岛农业大学 | 一种基于计算机视觉的茶树冻害评估方法及系统 |
CN114332465A (zh) * | 2022-01-05 | 2022-04-12 | 上海秦润数据科技有限公司 | 一种基于计算机视觉和深度学习发现天然气终端设备异常的方法 |
CN114882272A (zh) * | 2022-04-22 | 2022-08-09 | 成都飞机工业(集团)有限责任公司 | 一种航空制造件全角度投影图像面片属性融合分析方法 |
CN116385838A (zh) * | 2023-06-02 | 2023-07-04 | 成都数之联科技股份有限公司 | 模型训练及缺陷检测方法、装置、介质、设备及程序产品 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109035226A (zh) * | 2018-07-12 | 2018-12-18 | 武汉精测电子集团股份有限公司 | 基于LSTM模型的Mura缺陷检测方法 |
CN109544533A (zh) * | 2018-11-23 | 2019-03-29 | 聚时科技(上海)有限公司 | 一种基于深度学习的金属板缺陷检测和度量方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106323600B (zh) * | 2016-08-31 | 2020-04-24 | 武汉精测电子集团股份有限公司 | 一种级联分布式aoi缺陷检测系统及其检测方法 |
CN107833220B (zh) * | 2017-11-28 | 2021-06-11 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
CN108985365B (zh) * | 2018-07-05 | 2021-10-01 | 重庆大学 | 基于深度子空间切换集成学习的多源异构数据融合方法 |
CN109064461A (zh) * | 2018-08-06 | 2018-12-21 | 长沙理工大学 | 一种基于深度学习网络的钢轨表面缺陷检测方法 |
-
2019
- 2019-05-28 CN CN201910450350.0A patent/CN110232406B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109035226A (zh) * | 2018-07-12 | 2018-12-18 | 武汉精测电子集团股份有限公司 | 基于LSTM模型的Mura缺陷检测方法 |
CN109544533A (zh) * | 2018-11-23 | 2019-03-29 | 聚时科技(上海)有限公司 | 一种基于深度学习的金属板缺陷检测和度量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110232406A (zh) | 2019-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110232406B (zh) | 一种基于统计学习的液晶面板cf图片识别方法 | |
CN113192040B (zh) | 一种基于YOLO v4改进算法的织物瑕疵检测方法 | |
US10818000B2 (en) | Iterative defect filtering process | |
CN109683360B (zh) | 液晶面板缺陷检测方法及装置 | |
CN110796186A (zh) | 基于改进的YOLOv3网络的干湿垃圾识别分类方法 | |
CN106557778A (zh) | 通用物体检测方法和装置、数据处理装置和终端设备 | |
CN109919934A (zh) | 一种基于多源域深度迁移学习的液晶面板缺陷检测方法 | |
CN111553303A (zh) | 基于卷积神经网络的遥感正射影像密集建筑物提取方法 | |
CN112102229A (zh) | 一种基于深度学习的工业ct检测缺陷的智能识别方法 | |
CN108830332A (zh) | 一种视觉车辆检测方法及系统 | |
CN104063713B (zh) | 一种基于随机蕨分类器的半自主在线学习方法 | |
CN112819821B (zh) | 一种细胞核图像检测方法 | |
CN110610482A (zh) | 一种基于resnet的工件瑕疵检测方法 | |
CN111210869A (zh) | 一种蛋白质冷冻电镜结构解析模型训练方法和解析方法 | |
CN115439458A (zh) | 基于深度图注意力的工业图像缺陷目标检测算法 | |
JP2013077127A (ja) | 画像分類装置および画像分類方法 | |
CN113128335A (zh) | 微体古生物化石图像检测、分类及发现方法、系统及应用 | |
CN112365497A (zh) | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统 | |
JP2017054331A (ja) | 画像分類方法、分類器の構成方法および画像分類装置 | |
CN117576038A (zh) | 基于YOLOv8网络的织物瑕疵检测方法及系统 | |
CN115661160A (zh) | 一种面板缺陷检测方法及系统及装置及介质 | |
CN113962980A (zh) | 基于改进yolov5x的玻璃容器瑕疵检测方法及系统 | |
TW202117664A (zh) | 光學檢測二次圖像分類方法 | |
CN110555384A (zh) | 基于图像数据的牛肉大理石纹自动分级系统及方法 | |
CN113469302A (zh) | 一种视频图像的多圆形目标识别方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |