CN109580656B - 基于动态权重组合分类器的手机导光板缺陷检测方法及系统 - Google Patents

基于动态权重组合分类器的手机导光板缺陷检测方法及系统 Download PDF

Info

Publication number
CN109580656B
CN109580656B CN201811582578.7A CN201811582578A CN109580656B CN 109580656 B CN109580656 B CN 109580656B CN 201811582578 A CN201811582578 A CN 201811582578A CN 109580656 B CN109580656 B CN 109580656B
Authority
CN
China
Prior art keywords
sub
classifier
meta
images
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811582578.7A
Other languages
English (en)
Other versions
CN109580656A (zh
Inventor
张国军
明五一
张红梅
卢亚
张臻
尹玲
廖敦明
耿涛
沈帆
张俊慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Hust Industrial Technology Research Institute
Original Assignee
Guangdong Hust Industrial Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Hust Industrial Technology Research Institute filed Critical Guangdong Hust Industrial Technology Research Institute
Priority to CN201811582578.7A priority Critical patent/CN109580656B/zh
Publication of CN109580656A publication Critical patent/CN109580656A/zh
Application granted granted Critical
Publication of CN109580656B publication Critical patent/CN109580656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N2021/9511—Optical elements other than lenses, e.g. mirrors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

基于动态权重组合分类器的手机导光板缺陷检测方法及系统，包括以下步骤：S1，采集，对导光板样本进行图像采集；S2，图像分割与增强，将采集到的图像分割成256×256像素的子图像，并对子图像进行滤波增强处理；S3，特征提取，采用几何特征、HOG特征、Hu特征和/或深度神经网络(DNN)对分割与增加处理后的子图像进行特征提取；S4，通过组合分类器对提取到的特征和子图像进行训练、预测，得到辨识结果；S5，调整组合分类器的权重；S6，将组合分类器计算得到的数据输出。本发明根据融合多个不同类型的元分类器，改善组合分类器的多样性，再依据预测概率动态调整元分类器的权重，从而提升手机导光板产品缺陷检测的辨识率。

Description

基于动态权重组合分类器的手机导光板缺陷检测方法及系统
技术领域
本发明属于手机导光板缺陷检测技术领域，具体地说是一种于动态权重组合分类器的手机导光板缺陷检测方法及系统，根据融合多个不同类型的元分类器，改善组合分类器的多样性，再依据预测概率动态调整元分类器的权重，从而提升手机导光板产品缺陷检测的辨识率。
背景技术
导光板主要用于笔记本电脑、手机等3C产品的液晶显示屏，是将线光源转变为面光源的高科技产品。光学级亚克力(PMMA)/PC为基材，运用LCD显示屏及背光模组技术，透过导光点的高光线传导率，经计算机对导光点计算，使导光板光线折射成面光源均光状态制造成型。产品采用光谱分析原理与数码UV印刷技术相结合并在恒温、恒湿、无尘的环境条件下制作而成。但是，由于生产过程中，可能存在缺陷，比如划痕、水波纹、散点等。
目前，市面上的手机导光板缺陷检测大部分以人工为主，少量的有自动化的检测设备，以单一分类器检测手段为主，单纯依靠传统特征提取方法或者单一深度学习算法进行检测，其识别准确率有待提升。
发明内容
为了解决上述的技术问题，本发明提供了一种基于动态权重组合分类器的手机导光板缺陷检测方法，提升手机导光板产品缺陷检测的辨识率。
为了解决上述技术问题，本发明采取以下技术方案：
基于动态权重组合分类器的手机导光板缺陷检测方法，包括以下步骤：
S1，采集，对导光板样本进行图像采集；
S2，图像分割与增强，将采集到的图像分割成256×256像素的子图像，并对子图像进行滤波增强处理；
S3，特征提取，采用几何特征、HOG特征、Hu特征和/或深度神经网络(DNN)对分割与增加处理后的子图像进行特征提取；
S4，通过组合分类器对提取到的特征和子图像进行训练、预测，得到辨识结果；
S5，调整组合分类器的权重；
S6，将组合分类器计算得到的数据输出。
所述步骤S2具体包括图像分割和增强两部分，处理步骤如下：
1)将采集到的原始图像按256×256像素分割成子图像，如果长度和高度方向不够256的整数倍，部分像素重叠划分；
2)划分后的子图像进行灰度化处理，f(xi,yj)为待处理像素灰度化后的结果，R、G和B为待处理像素的红、绿和蓝色分量值(0～255)；
f(xi，yj)＝0.2989R+0.5870G+0.1140B
3)通过3×3像素的滤波器，对灰度化后的子图像进行滤波；
Figure BDA0001918270730000021
4)再通过行列平均滤波方法，对3×3像素的滤波器后的子图像进行再次滤波；
Figure BDA0001918270730000031
5)再对子图像进行锐化处理。
Figure BDA0001918270730000032
f3(xi，yi)＝1.2*f2(xi，yi)。
所述步骤S3的特征提取中，
几何特征分别是子图像亮度平均值、带阈值的图像总亮度、最大周长连通区域像素数、次大周长连通区域像素数、第三大周长连通区域像素数、最大面积连通区域像素数、次大面积连通区域像素数、第三大面积连通区域像素数、最大周长连通区域平均亮度和最大面积连通区域平均亮度；
HOG特征提取步骤如下：
1)子图像长度和宽度方向各1/2压缩处理；
2)采用Gamma校正法对输入子图像进行颜色空间进行标准化；
3)计算子图像每个像素的梯度，捕获轮廓信息，梯度包括大小和方向；
4)每32×32像素划分为一个Cell，子图像划分为4×4＝16个Cells；
5)每120度方向，统计每个Cell的梯度直方图，形成每个Cell的3个描述子；
6)将相邻的2×2Cell组成一个Block，一个Block内所有Cell的特征描述子串联起来得到该Block的HOG特征描述子，该HOG特征描述子为3×4＝12个；
7)子图像内的所有Block共3×3＝9个的HOG特征描述子串联起来，获取子图像的HOG特征描述子，一共为12×9＝108特征描述子，所述108特征描述子为子图像HOG特征；
Hu特征利用子图像的二阶和三阶归一化中心矩的线性组合构造7个不变矩，该7个不变矩分别为Hu一阶矩、Hu二阶矩、Hu三阶矩、Hu四阶矩、Hu五阶矩、Hu六阶矩和Hu七阶矩，所述7个不变矩为子图像Hu特征。
所述步骤S4中的组合分类器，由四类传统元分类器AdaBoost、DTC、KNN、RFC和四类深度网络元分类器CNN-2C、CNN-3C、RNN、ResNet组合而成；所述四类传统元分类器AdaBoost、DTC、KNN、RFC通过几何特征、HOG特征和Hu特征进行训练学习；所述四类深度网络元分类器CNN-2C、CNN-3C、RNN、ResNet直接通过子图像进行训练学习；所述组合分类器模块的辨识结果是由元分类器AdaBoost、DTC、KNN、RFC、CNN-2C、CNN-3C、RNN、ResNet各自辨识后进行投票产生，各个元分类器的投票权重由对应的元分类器预测依据预测分类概率进行动态调整后确定。
所述步骤S5为动态权重调整，具体包括规则1、规则2、规则3和规则4，第一选择为规则1，规则2、规则3和规则4为除规则1之后的备用选择，计算各个元分类器的权重后，发送给组合分类器，将元分类器AdaBoost、CNN-3C和ResNet划分为性能好的元分类器，将元分类器DTC、KNN、RFC、CNN-2C和RNN划分为性能差的元分类器；
1)所述规则1：将性能好的元分类器AdaBoost、CNN-3C和ResNet分别对样本进行预测，预测的结果为OK或NG，若预测OK的概率值与预测NG的概率值的差值绝对值大于0.1，则将当前的元分类器的权重由1/8向上调整到1/4，依据预测概率；同时将性能差的元分类器DTC、KNN、RFC、CNN-2C和RNN分别对样本进行预测，预测的结果为OK或NG，若预测OK的概率值与预测NG的概率值的差值绝对值小于0.1，则将当前的元分类器的权重由1/8向下调整到1/16；
2)所述规则2：将性能好的元分类器AdaBoost、CNN-3C和ResNet分别对样本进行预测，预测的结果为OK或NG，若预测OK的概率值与预测NG的概率值的差值绝对值大于0.1，则将当前的元分类器的权重由1/8向上调整到1/4；
3)所述规则3：将性能差的元分类器DTC、KNN、RFC、CNN-2C和RNN分别对样本进行预测，预测的结果为OK或NG，若预测OK的概率值与预测NG的概率值的差值绝对值小于0.1，则将当前的元分类器的权重由1/8向下调整到1/16；
4)所述规则4：将性能好的元分类器AdaBoost、CNN-3C和ResNet的权重和性能差的元分类器DTC、KNN、RFC、CNN-2C和RNN权重都固定保持为1/8。
所述步骤S6输出结果具体为：
生成手机导光板缺陷检测分类情况的图表数据，分类错误的样本以柱状图显示，柱状图的高度代表分类器当前样本的权重，权重为1/4时，对应高度为100％，权重为1/8时，对应高度为50％，权重为1/16时，对应高度为25％，供操作人员查看分析。
一种基于动态权重组合分类器的手机导光板缺陷检测系统，所述系统包括：
初始样本采集模块，用于对导光板样本进行初始的图像采集；
图像分割与增强模块，用于将采集到的图像分割成256×256像素的子图像，并对子图像进行滤波增强处理；
特征值提取模块，采用几何特征、HOG特征、Hu特征和/或深度神经网络(DNN)对分割与增加处理后的子图像进行特征提取；
组合分类器模块，由四类传统元分类器AdaBoost、DTC、KNN、RFC和四类深度网络元分类器CNN-2C、CNN-3C、RNN、ResNet组合而成；所述四类传统元分类器AdaBoost、DTC、KNN、RFC通过几何特征、HOG特征和Hu特征进行训练学习；所述四类深度网络元分类器CNN-2C、CNN-3C、RNN、ResNet直接通过子图像进行训练学习；对提取到的特征和子图像进行训练、预测，得到辨识结果；
动态权重调整模块，基于规则推理，调整组合分类器中各个分类器的权重；
结果与评价模块，对组合分类器计算得到的辨识结果，生成手机导光板缺陷检测分类情况的图表数据，分类错误的样本以柱状图显示，柱状图的高度代表分类器当前样本的权重，权重为1/4时，对应高度为100％，权重为1/8时，对应高度为50％，权重为1/16时，对应高度为25％，供操作人员查看分析。
本发明融合多个不同类型的元分类器，改善组合分类器的多样性，再依据预测概率动态调整元分类器的权重，从而提升手机导光板产品缺陷检测的辨识率，为企业提升产品合格率，降低制造成本。
图说明
图1为本发明系统原理示意图；
图2为本发明流程示意图；
图3a是有缺陷的手机导光板原始采样图像；
图3b是无缺陷的手机导光板原始采样图像；
图4是手机导光板分割与增强处理后的子图像
图5是基于动态权重组合分类器与元分类器的性能对比分析；
图6是四种动态权重调整规则性能比对分析；
图7是400个测试样本分类图示意图。
具体实施方式
为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合图与具体实施方式对本发明作进一步详细描述。
如图2所示，基于动态权重组合分类器的手机导光板缺陷检测方法，包括以下步骤：
S1，采集，对导光板样本进行图像采集。根据拉丁超立方设计，导入手机导光板生产的注塑机工艺参数(熔体温度、注射压力、保压时间、保压压力、冷却时间)下的实验数据，对导光板工业摄像机拍照的原始数据进行采集、整理、分类及其存储。如图3a,为有缺陷的原始图像；图3b为无缺陷的原始采样图像。
S2，图像分割与增强，将采集到的图像分割成256×256像素的子图像，并对子图像进行滤波增强处理。
S3，特征提取，采用几何特征、HOG特征、Hu特征和/或深度神经网络(DNN)对分割与增加处理后的子图像进行特征提取。
S4，通过组合分类器对提取到的特征和子图像进行训练、预测，得到辨识结果。
S5，调整组合分类器的权重。
S6，将组合分类器计算得到的数据输出。
所述步骤S2具体包括图像分割和增强两部分，处理步骤如下：
1)将采集到的原始图像按256×256像素分割成子图像，如果长度和高度方向不够256的整数倍，部分像素重叠划分；
2)划分后的子图像进行灰度化处理，f(xi,yj)为待处理像素灰度化后的结果，R、G和B为待处理像素的红、绿和蓝色分量值(0～255)；
f(xi,yj)＝0.2989R+0.5870G+0.1140B
3)通过3×3像素的滤波器，对灰度化后的子图像进行滤波；
Figure BDA0001918270730000081
4)再通过行列平均滤波方法，对3×3像素的滤波器后的子图像进行再次滤波；
Figure BDA0001918270730000082
5)再对子图像进行锐化处理。
Figure BDA0001918270730000083
f3(xi，yj)＝1.2*f2(xi，yj)。如图4所示，为经过分割和增强后的子图像。
所述步骤S3的特征提取中，
几何特征分别是子图像亮度平均值、带阈值的图像总亮度、最大周长连通区域像素数、次大周长连通区域像素数、第三大周长连通区域像素数、最大面积连通区域像素数、次大面积连通区域像素数、第三大面积连通区域像素数、最大周长连通区域平均亮度和最大面积连通区域平均亮度。
HOG特征提取步骤如下：
1)子图像长度和宽度方向各1/2压缩处理。
2)采用Gamma校正法对输入子图像进行颜色空间进行标准化。
3)计算子图像每个像素的梯度，捕获轮廓信息，梯度包括大小和方向。
4)每32×32像素划分为一个Cell，子图像划分为4×4＝16个Cells。
5)每120度方向，统计每个Cell的梯度直方图，形成每个Cell的3个描述子。
6)将相邻的2×2Cell组成一个Block，一个Block内所有Cell的特征描述子串联起来得到该Block的HOG特征描述子，该HOG特征描述子为3×4＝12个。
7)子图像内的所有Block共3×3＝9个的HOG特征描述子串联起来，获取子图像的HOG特征描述子，一共为12×9＝108特征描述子，所述108特征描述子为子图像HOG特征；。
Hu特征利用子图像的二阶和三阶归一化中心矩的线性组合构造7个不变矩，该7个不变矩分别为Hu一阶矩、Hu二阶矩、Hu三阶矩、Hu四阶矩、Hu五阶矩、Hu六阶矩和Hu七阶矩，所述7个不变矩为子图像Hu特征。
所述步骤S4中的组合分类器，由四类传统元分类器AdaBoost、DTC、KNN、RFC和四类深度网络元分类器CNN-2C、CNN-3C、RNN、ResNet组合而成；所述四类传统元分类器AdaBoost、DTC、KNN、RFC通过几何特征、HOG特征和Hu特征进行训练学习；所述四类深度网络元分类器CNN-2C、CNN-3C、RNN、ResNet直接通过子图像进行训练学习；所述组合分类器模块的辨识结果是由元分类器AdaBoost、DTC、KNN、RFC、CNN-2C、CNN-3C、RNN、ResNet各自辨识后进行投票产生，各个元分类器的投票权重由对应的元分类器预测依据预测分类概率进行动态调整后确定。如图5所示，经过动态权重后的组合分类器，与单个元分类器的性能比对。
所述步骤S5为动态权重调整，具体包括规则1、规则2、规则3和规则4，第一选择为规则1，规则2、规则3和规则4为除规则1之后的备用选择，计算各个元分类器的权重后，发送给组合分类器，将元分类器AdaBoost、CNN-3C和ResNet划分为性能好的元分类器，将元分类器DTC、KNN、RFC、CNN-2C和RNN划分为性能差的元分类器；
1)所述规则1(CCDW)：将性能好的元分类器AdaBoost、CNN-3C和ResNet分别对样本进行预测，预测的结果为OK或NG，若预测OK的概率值与预测NG的概率值的差值绝对值大于0.1，则将当前的元分类器的权重由1/8向上调整到1/4，依据预测概率；同时将性能差的元分类器DTC、KNN、RFC、CNN-2C和RNN分别对样本进行预测，预测的结果为OK或NG，若预测OK的概率值与预测NG的概率值的差值绝对值小于0.1，则将当前的元分类器的权重由1/8向下调整到1/16。
2)所述规则2(CCDW-1)：将性能好的元分类器AdaBoost、CNN-3C和ResNet分别对样本进行预测，预测的结果为OK或NG，若预测OK的概率值与预测NG的概率值的差值绝对值大于0.1，则将当前的元分类器的权重由1/8向上调整到1/4。
3)所述规则3(CCDW-2)：将性能差的元分类器DTC、KNN、RFC、CNN-2C和RNN分别对样本进行预测，预测的结果为OK或NG，若预测OK的概率值与预测NG的概率值的差值绝对值小于0.1，则将当前的元分类器的权重由1/8向下调整到1/16。
4)所述规则4(CCFW)：将性能好的元分类器AdaBoost、CNN-3C和ResNet的权重和性能差的元分类器DTC、KNN、RFC、CNN-2C和RNN权重都固定保持为1/8。
所述步骤S6输出结果具体为：
生成手机导光板缺陷检测分类情况的图表数据，分类错误的样本以柱状图显示，柱状图的高度代表分类器当前样本的权重，权重为1/4时，对应高度为100％，权重为1/8时，对应高度为50％，权重为1/16时，对应高度为25％，供操作人员查看分析。如图7所示，各个样本分类结果示意。
通过本发明的所述方法，在1936个子图像样本中，独立随机挑选1536个样本作为训练集，剩下400个样本为测试集，操作3次后，生成样本1、样本2和样本3，对每个样本独立3次测试，其性能如以下的表1和表2所示，图5给出了样本3上的基于动态权重组合分类器与元分类器的性能对比分析。
表1预测预测精度(prediction rate)性能对比
Figure BDA0001918270730000111
表2预测F值(f-measure)性能对比
Figure BDA0001918270730000121
通过对比实验，无论是预测精度(prediction rate)还是F值(f-measure)，组合分类器(CCDW)的性能都比各个元分类器AdaBoost、DTC、KNN、RFC、CNN-2C、CNN-3C、RNN、ResNet的性能要好，并且其多次测试过程中的方差小，通常小于0.02。
基于样本1、样本2和样本3上的全部9次测试数据，图6给出了上述四种动态权重调整规则性能比对分析。根据性能分析结果，本发明优先选择规则1；进一步，如果检测样本发生变化，规则2、规则3和规则4也是备选规则。
另外，所述离线训练样本库可以增加或者减少样本数量。因而，手机导光板缺陷检测分类可根据样本的实际情况进行增减，提升特定用户、特定规格待检测手机导光板的检测性能。
所述组合分类器模块的四类深度网络元分类器CNN-2C、CNN-3C、RNN、ResNet，既可以由用户在使用过程中进行训练更新，也可以选择由装置生产厂家定期更新；本发明装置支持多版本的组合分类器模块，可由最终用户根据实际应用场景进行自主选择。
另外，本发明还揭示了一种基于动态权重组合分类器的手机导光板缺陷检测系统，所述系统包括：
初始样本采集模块，用于对导光板样本进行初始的图像采集。
图像分割与增强模块，用于将采集到的图像分割成256×256像素的子图像，并对子图像进行滤波增强处理。
特征值提取模块，采用几何特征、HOG特征、Hu特征和/或深度神经网络(DNN)对分割与增加处理后的子图像进行特征提取。
组合分类器模块，由四类传统元分类器AdaBoost、DTC、KNN、RFC和四类深度网络元分类器CNN-2C、CNN-3C、RNN、ResNet组合而成；所述四类传统元分类器AdaBoost、DTC、KNN、RFC通过几何特征、HOG特征和Hu特征进行训练学习；所述四类深度网络元分类器CNN-2C、CNN-3C、RNN、ResNet直接通过子图像进行训练学习；对提取到的特征和子图像进行训练、预测，得到辨识结果。
动态权重调整模块，基于规则推理，调整组合分类器中各个分类器的权重。
结果与评价模块，对组合分类器计算得到的辨识结果，生成手机导光板缺陷检测分类情况的图表数据，分类错误的样本以柱状图显示，柱状图的高度代表分类器当前样本的权重，权重为1/4时，对应高度为100％，权重为1/8时，对应高度为50％，权重为1/16时，对应高度为25％，供操作人员查看分析。
需要说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.基于动态权重组合分类器的手机导光板缺陷检测方法，包括以下步骤：
S1，采集，对导光板样本进行图像采集；
S2，图像分割与增强，将采集到的图像分割成256×256像素的子图像，并对子图像进行滤波增强处理；
S3，特征提取，采用几何特征、HOG特征、Hu特征和/或深度神经网络(DNN)对分割与增加处理后的子图像进行特征提取；
S4，通过组合分类器对提取到的特征和子图像进行训练、预测，得到辨识结果；
S5，调整组合分类器的权重；
S6，将组合分类器计算得到的数据输出；
所述步骤S4中的组合分类器，由四类传统元分类器AdaBoost、DTC、KNN、RFC和四类深度网络元分类器CNN-2C、CNN-3C、RNN、ResNet组合而成；所述四类传统元分类器AdaBoost、DTC、KNN、RFC通过几何特征、HOG特征和Hu特征进行训练学习；所述四类深度网络元分类器CNN-2C、CNN-3C、RNN、ResNet直接通过子图像进行训练学习；所述组合分类器模块的辨识结果是由元分类器AdaBoost、DTC、KNN、RFC、CNN-2C、CNN-3C、RNN、ResNet各自辨识后进行投票产生,各个元分类器的投票权重由对应的元分类器预测依据预测分类概率进行动态调整后确定；
所述步骤S5为动态权重调整，具体包括规则1、规则2、规则3和规则4，第一选择为规则1，规则2、规则3和规则4为除规则1之后的备用选择，计算各个元分类器的权重后，发送给组合分类器，将元分类器AdaBoost、CNN-3C和ResNet划分为性能好的元分类器，将元分类器DTC、KNN、RFC、CNN-2C和RNN划分为性能差的元分类器；
1)所述规则1：将性能好的元分类器AdaBoost、CNN-3C和ResNet分别对样本进行预测，预测的结果为OK或NG，若预测OK的概率值与预测NG的概率值的差值绝对值大于0.1，则将当前的元分类器的权重由1/8向上调整到1/4，依据预测概率；同时将性能差的元分类器DTC、KNN、RFC、CNN-2C和RNN分别对样本进行预测，预测的结果为OK或NG，若预测OK的概率值与预测NG的概率值的差值绝对值小于0.1，则将当前的元分类器的权重由1/8向下调整到1/16；
2)所述规则2：将性能好的元分类器AdaBoost、CNN-3C和ResNet分别对样本进行预测，预测的结果为OK或NG，若预测OK的概率值与预测NG的概率值的差值绝对值大于0.1，则将当前的元分类器的权重由1/8向上调整到1/4；
3)所述规则3：将性能差的元分类器DTC、KNN、RFC、CNN-2C和RNN分别对样本进行预测，预测的结果为OK或NG，若预测OK的概率值与预测NG的概率值的差值绝对值小于0.1，则将当前的元分类器的权重由1/8向下调整到1/16；
4)所述规则4：将性能好的元分类器AdaBoost、CNN-3C和ResNet的权重和性能差的元分类器DTC、KNN、RFC、CNN-2C和RNN权重都固定保持为1/8。
2.根据权利要求1所述的基于动态权重组合分类器的手机导光板缺陷检测方法，其特征在于，
所述步骤S2具体包括图像分割和增强两部分，处理步骤如下：
1)将采集到的原始图像按256×256像素分割成子图像，如果长度和高度方向不够256的整数倍，部分像素重叠划分；
2)划分后的子图像进行灰度化处理，f(xi,yj)为待处理像素灰度化后的结果，R、G和B为待处理像素的红、绿和蓝色分量值(0～255)；
f(xi,yj)＝0.2989R+0.5870G+0.1140B
3)通过3×3像素的滤波器，对灰度化后的子图像进行滤波；
Figure FDA0002791644010000021
4)再通过行列平均滤波方法，对3×3像素的滤波器后的子图像进行再次滤波；
Figure FDA0002791644010000022
5)再对子图像进行锐化处理，
Figure FDA0002791644010000023
f3(xi，yj)＝1.2*f2(xi，yj)。
3.根据权利要求2所述的基于动态权重组合分类器的手机导光板缺陷检测方法，其特征在于，所述步骤S3的特征提取中，
几何特征分别是子图像亮度平均值、带阈值的图像总亮度、最大周长连通区域像素数、次大周长连通区域像素数、第三大周长连通区域像素数、最大面积连通区域像素数、次大面积连通区域像素数、第三大面积连通区域像素数、最大周长连通区域平均亮度和最大面积连通区域平均亮度；
HOG特征提取步骤如下：
1)子图像长度和宽度方向各1/2压缩处理；
2)采用Gamma校正法对输入子图像进行颜色空间进行标准化；
3)计算子图像每个像素的梯度，捕获轮廓信息，梯度包括大小和方向；
4)每32×32像素划分为一个Cell，子图像划分为4×4＝16个Cells；
5)每120度方向，统计每个Cell的梯度直方图，形成每个Cell的3个描述子；
6)将相邻的2×2Cell组成一个Block，一个Block内所有Cell的特征描述子串联起来得到该Block的HOG特征描述子，该HOG特征描述子为3×4＝12个；
7)子图像内的所有Block共3×3＝9个的HOG特征描述子串联起来，获取子图像的HOG特征描述子，一共为12×9＝108特征描述子，所述108特征描述子为子图像HOG特征；
Hu特征利用子图像的二阶和三阶归一化中心矩的线性组合构造7个不变矩，该7个不变矩分别为Hu一阶矩、Hu二阶矩、Hu三阶矩、Hu四阶矩、Hu五阶矩、Hu六阶矩和Hu七阶矩，所述7个不变矩为子图像Hu特征。
4.根据权利要求3所述的基于动态权重组合分类器的手机导光板缺陷检测方法，其特征在于，所述步骤S6输出结果具体为：
生成手机导光板缺陷检测分类情况的图表数据，分类错误的样本以柱状图显示，柱状图的高度代表分类器当前样本的权重，权重为1/4时，对应高度为100％，权重为1/8时，对应高度为50％，权重为1/16时，对应高度为25％，供操作人员查看分析。
CN201811582578.7A 2018-12-24 2018-12-24 基于动态权重组合分类器的手机导光板缺陷检测方法及系统 Active CN109580656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811582578.7A CN109580656B (zh) 2018-12-24 2018-12-24 基于动态权重组合分类器的手机导光板缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811582578.7A CN109580656B (zh) 2018-12-24 2018-12-24 基于动态权重组合分类器的手机导光板缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN109580656A CN109580656A (zh) 2019-04-05
CN109580656B true CN109580656B (zh) 2021-01-15

Family

ID=65930862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811582578.7A Active CN109580656B (zh) 2018-12-24 2018-12-24 基于动态权重组合分类器的手机导光板缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN109580656B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751209B (zh) * 2019-10-18 2022-12-13 北京邮电大学 一种融合深度图像分类和检索的智能台风定强方法
CN110726724A (zh) * 2019-10-22 2020-01-24 北京百度网讯科技有限公司 缺陷检测方法、系统和装置
CN111127571B (zh) * 2019-12-03 2023-12-29 歌尔股份有限公司 一种小样本缺陷分类方法和装置
CN111464707A (zh) * 2020-03-30 2020-07-28 中国建设银行股份有限公司 外呼处理方法、装置及系统
CN112907510B (zh) * 2021-01-15 2023-07-07 中国人民解放军国防科技大学 一种表面缺陷检测方法
CN115082667A (zh) * 2021-03-16 2022-09-20 腾讯云计算（北京）有限责任公司 图像处理方法、装置、设备及存储介质
CN113012128B (zh) * 2021-03-18 2022-04-15 长鑫存储技术有限公司 缺陷表征方法和装置
CN113824827A (zh) * 2021-09-20 2021-12-21 苏州凯仕弘科技有限公司 一种手机屏幕视觉检测系统
CN114637270B (zh) * 2022-05-17 2022-08-23 成都秦川物联网科技股份有限公司 基于集散控制的智能制造工业物联网及控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226155A (zh) * 2007-12-21 2008-07-23 中国人民解放军第八一医院 智能化肺癌早期细胞病理图像识别处理方法
CN103323455A (zh) * 2013-04-24 2013-09-25 南京文采科技有限责任公司 基于反射、透视和显微图像的烟叶分级方法
CN103853724A (zh) * 2012-11-29 2014-06-11 三星电子（中国）研发中心 多媒体数据分类方法及装置
CN104515786A (zh) * 2015-01-08 2015-04-15 北京科技大学 金属铸件疲劳过程内部缺陷演化的检测方法与分析方法
CN106934800A (zh) * 2017-02-28 2017-07-07 北京科技大学 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226155A (zh) * 2007-12-21 2008-07-23 中国人民解放军第八一医院 智能化肺癌早期细胞病理图像识别处理方法
CN103853724A (zh) * 2012-11-29 2014-06-11 三星电子（中国）研发中心 多媒体数据分类方法及装置
CN103323455A (zh) * 2013-04-24 2013-09-25 南京文采科技有限责任公司 基于反射、透视和显微图像的烟叶分级方法
CN104515786A (zh) * 2015-01-08 2015-04-15 北京科技大学 金属铸件疲劳过程内部缺陷演化的检测方法与分析方法
CN106934800A (zh) * 2017-02-28 2017-07-07 北京科技大学 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置

Also Published As

Publication number Publication date
CN109580656A (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
CN109580656B (zh) 基于动态权重组合分类器的手机导光板缺陷检测方法及系统
US10674083B2 (en) Automatic mobile photo capture using video analysis
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
Yuan Blind forensics of median filtering in digital images
CN109241985B (zh) 一种图像识别方法及装置
US9241102B2 (en) Video capture of multi-faceted documents
CN110852395A (zh) 一种基于自主学习和深度学习的矿石粒度检测方法和系统
CN110598752B (zh) 一种自动生成训练数据集的图像分类模型训练方法及系统
CN103344583B (zh) 一种基于机器视觉的镨-钕(Pr/Nd)组分含量检测系统及方法
CN110569814B (zh) 视频类别识别方法、装置、计算机设备及计算机存储介质
WO2020248513A1 (zh) 用于综合性能试验的ocr识别方法
CN111062938B (zh) 基于机器学习的板材涨塞检测系统和检测方法
US11816946B2 (en) Image based novelty detection of material samples
CN106203454A (zh) 证件版式分析的方法及装置
CN115170550A (zh) 一种基于深度学习的电池缺陷检测方法及系统
CN112534243A (zh) 检查装置及方法
CN106645180A (zh) 检查基板玻璃缺陷的方法、现场终端及服务器
CN103903009A (zh) 一种基于机器视觉的工业品检测方法
CN116152226A (zh) 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN111581679A (zh) 一种基于深度网络的防范屏幕拍照方法
CN104598921A (zh) 视频预览图的选取方法及选取装置
CN113221812A (zh) 人脸关键点检测模型的训练方法和人脸关键点检测方法
CN112597904A (zh) 一种用于高炉料面图像的识别与分类方法
CN112348026A (zh) 一种基于机器视觉的磁性硬盘序列码识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant