CN101996405B - 一种快速的玻璃图像缺陷检测及分类方法及其装置 - Google Patents
一种快速的玻璃图像缺陷检测及分类方法及其装置 Download PDFInfo
- Publication number
- CN101996405B CN101996405B CN2010102666150A CN201010266615A CN101996405B CN 101996405 B CN101996405 B CN 101996405B CN 2010102666150 A CN2010102666150 A CN 2010102666150A CN 201010266615 A CN201010266615 A CN 201010266615A CN 101996405 B CN101996405 B CN 101996405B
- Authority
- CN
- China
- Prior art keywords
- defect
- gray
- defects
- classification
- svm classifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 622
- 239000011521 glass Substances 0.000 title claims abstract description 139
- 238000000034 method Methods 0.000 title claims abstract description 110
- 239000013598 vector Substances 0.000 claims abstract description 59
- 238000000605 extraction Methods 0.000 claims description 35
- 238000001514 detection method Methods 0.000 claims description 33
- 239000004575 stone Substances 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 11
- 238000000513 principal component analysis Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000002950 deficient Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 239000012634 fragment Substances 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 description 61
- 239000000758 substrate Substances 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000007635 classification algorithm Methods 0.000 description 5
- 239000000428 dust Substances 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000005329 float glass Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明有关于一种快速的玻璃图像缺陷检测及分类方法及其装置,其中该方法包括:步骤1,对于输入的玻璃图像进行窗口扫描,根据窗口内灰度分布的均衡性度量,得到候选缺陷窗口;步骤2,根据所述候选缺陷窗口的位置关系,合并相邻的所述候选缺陷窗口,得到候选缺陷区域;步骤3,获取所述候选缺陷区域的背景信息,并按照所述候选缺陷区域的灰度分布模式提取缺陷域;步骤4,将所述缺陷域按照尺度进行归一化,并提取特征向量,根据所述特征向量进行缺陷分类,得到缺陷分类结果。采用本发明方法能够对包含噪声的玻璃图像帧中的缺陷进行准确检测,并且能够有效地区分缺陷的类别,包括对未定义缺陷的判别。
Description
技术领域
本发明涉及图像处理、计算机视觉和模式识别技术领域,特别是涉及一种快速的玻璃图像缺陷检测及分类方法及其装置。
背景技术
传统的玻璃图像缺陷检测和分类是由人工完成的,但这种方法受人为主观因素的影响,效率低,难以满足生产不断发展的需要。随着计算技术的不断发展,利用数字图像处理技术来对图像进行分析从而进行缺陷检测逐渐成为工业缺陷检测领域的主流。这种技术具有检测速度快、无需人工操作的优势,应用前景广泛。然而,光照条件的变化、缺陷形成的复杂性、玻璃上的各种悬浮物的影响(如:浮尘、水渍、或纤维等)都使得基于视觉的玻璃图像缺陷检测任务变得非常困难。
国外在玻璃生产过程中广泛的采用了自动检测设备,如英国的Pilkington公司,美国的Image Automation公司,德国的LASOR公司和Innomess公司,以及日本的旭硝子等企业都自主研制出浮法玻璃在线自动检测系统。国内对玻璃图像缺陷检测的研究开展较晚,技术相对简单,目前与国外检测技术相比还有很大差距。现有的文献多数是利用简单的图像预处理操作来实现玻璃图像缺陷的检测,如对图像进行边缘提取、平滑处理、对比度增强或者更复杂的水线分割算法等。为获取更加准确的缺陷区域,还有研究者对用于进行缺陷域分割的阈值进行优化(参考:刘洲峰等,玻璃缺陷图像分割方法研究与实现,中原工学院学报)。除此之外,有研究人员利用行程长编码(Run-length-encoding,RLE)算法设计了线阵图像的污点查找算法,实现对缺陷的定位(参考:余文勇等,一种浮法玻璃全面缺陷在线检测系统,华中科技大学学报)。在缺陷分类方面,目前国内广泛采用的是基于规则或模板匹配的方法。所谓基于规则的方法,即根据不同类型缺陷的成因,分析其在图像上反应出来的特征,包括亮度特征、几何特征等。如对于气泡类缺陷,气泡边缘灰度值低于周围背景,但内部某点灰度值会略高于背景灰度(参考:周欣等,玻璃缺陷快速检测分类研究,微计算机信息)。模板匹配的方法通常是用提取缺陷域的边缘轮廓或二值图像,与预先存储的缺陷样本进行匹配来实现。但由于同一种缺陷在图像上所表现出来的亮度外观也是有差别的,因此无论是基于规则的方法还是模板匹配的方法从统计意义上来讲,性能都不够稳定。近两年的研究人员开始探索提取其他图像特征,并采用神经网络或SVM(Support Vector Machine,支持向量机)分类器来进行缺陷分类。在选择特征时,可采用缺陷域的几何参数作为特征,也可以对缺陷域进行特征变换,如提取小波包特征或矩特征来进行分类(参考:郑斌,玻璃缺陷图像识别的关键技术研究,硕士论文,武汉理工大学)。相对来讲,基于统计的分类方法可以获得更好的分类性能,但几何特征数目较少,描述能力不够强;而小波特征变换较为复杂,耗时较长。因此,选取既具有强描述能力且变换简单的合适的特征对于提升最后的分类性能是非常关键的。
当前的玻璃图像缺陷检测及分类的研究多数是基于干净的缺陷图像进行的,即没有考虑图像上还存在有其他灰尘、污渍等的影响,因此,实际可以看做是对真实应用情况的简化。但实际上这些因素的影响会使得缺陷检测和分类任务变得非常困难,即要判断输入图像的某个区域是否存在缺陷,以及该缺陷是属于预先定义的缺陷类别,还是属于未定义的缺陷类别。
发明内容
本发明的目的在于提供一种快速的玻璃图像缺陷检测及分类方法及其装置,用于对包含噪声的玻璃图像帧中的缺陷进行准确检测,并且能够有效地区分缺陷的类别,包括对未定义缺陷的判别。
为了实现上述目的,本发明提供一种快速的玻璃图像缺陷检测及分类方法,其特征在于,包括:
步骤1,对于输入的玻璃图像进行窗口扫描,根据窗口内灰度分布的均衡性度量,得到候选缺陷窗口;
步骤2,根据所述候选缺陷窗口的位置关系,合并相邻的所述候选缺陷窗口,得到候选缺陷区域;
步骤3,获取所述候选缺陷区域的背景信息,并按照所述候选缺陷区域的灰度分布模式提取缺陷域;
步骤4,将所述缺陷域按照尺度进行归一化,并提取特征向量,根据所述特征向量进行缺陷分类,得到缺陷分类结果。
所述的玻璃图像缺陷检测及分类方法,其中,
所述步骤1中,进一步包括:
用窗口区域的灰度方差作为窗口内灰度分布的均衡性度量,以判断所述窗口是否可能包含缺陷,灰度方差公式如下:
其中,
所述的玻璃图像缺陷检测及分类方法,其中,
所述步骤3中,进一步包括:
以如下公式获取所述候选缺陷区域的背景灰度值:
其中,
所述的玻璃图像缺陷检测及分类方法,其中,
所述步骤3中,进一步包括:
根据缺陷/未定义缺陷的特征和所述背景灰度值,将所述灰度分布模式分成如下模式:
第一灰度分布模式,具有均衡的背景和明显的暗区;
第二灰度分布模式,具有均衡的背景和暗区以及明显的高亮区域。
所述的玻璃图像缺陷检测及分类方法,其中,
所述步骤3中,进一步包括:
当所述候选缺陷区域中存在的像素pi的灰度值满足如下公式时,被判断为高亮像素:
其中,
是像素的背景灰度值,IB是候选缺陷区域的背景灰度值,TH为高亮像素的亮度高出背景灰度值的阈值。
所述的玻璃图像缺陷检测及分类方法,其中,
所述步骤3中,进一步包括:
获取所述候选缺陷区域内灰度的最小值min_x、最大值max_x,并根据确定的灰度分布模式进行缺陷域提取:
当确定的灰度分布模式为第一灰度分布模式时,令max_x=IB,根据对比度增强的方式以如下公式计算阈值:
thresh 1=(max_x+min_x)/2
基于阈值thresh 1得到二值化的缺陷域,这里的二值设为0或255;或
当确定的灰度分布模式为第二灰度分布模式时,对所述候选缺陷区域采用如下灰度分段方式提供所述缺陷域:
a.对于灰度满足0≤Ii<IB的像素,采用与所述第一灰度分布模式相同的方式提取所述缺陷域;
b.对于灰度满足IB≤Ii≤255的像素,令min_x=IB,根据对比度增强的方式以如下公式计算阈值:
thresh 2=(max_x+min_x)/2
基于阈值thresh 2得到二值化的缺陷域,这里的二值设为0或128。
所述的玻璃图像缺陷检测及分类方法,其中,
所述步骤3中,进一步包括:
按照所述缺陷域的长度、宽度,对所述缺陷域进行按比例的边界进行扩充,公式如下:
w′=w·α,h′=h·α
其中,
α为边界扩充的尺度因子,w为扩充前的缺陷域的宽度,w′为缺陷域向左/向右扩充的宽度,h为扩充前的缺陷域的高度,h′为缺陷域向上/向下扩充的高度。
所述的玻璃图像缺陷检测及分类方法,其中,
所述步骤4中,进一步包括:
按照玻璃图像缺陷的分类需求设置相应的缺陷分类的策略。
所述的玻璃图像缺陷检测及分类方法,其中,
所述步骤4中,进一步包括:
采用如下缺陷判别的分类方式对玻璃图像缺陷进行分类:
通过第一级SVM分类器区分结石类缺陷与其他类别缺陷,当判断玻璃图像缺陷不是结石类缺陷时,进入第二级SVM分类器;
通过所述第二级SVM分类器区分气泡类缺陷与碎屑、未定义缺陷,当判断玻璃图像缺陷不是气泡类缺陷时,进入第三级SVM分类器;
通过所述第三级SVM分类器区分碎屑与未定义缺陷。
所述的玻璃图像缺陷检测及分类方法,其中,
所述步骤4中,进一步包括:
按照基于分块局部特征描述的特征提取方式提取所述缺陷域的特征向量。
所述的玻璃图像缺陷检测及分类方法,其中,
所述步骤4中,进一步包括:
利用主成分分析方式对所述特征向量进行降维。
所述的玻璃图像缺陷检测及分类方法,其中,
所述步骤4中,进一步包括:
在训练样本的收集阶段,对所述缺陷域进行位置扰动。
所述的玻璃图像缺陷检测及分类方法,其中,
所述步骤4中,进一步包括:
将所述缺陷判别的分类方式与基于规则的策略进行融合对所述缺陷分类结果进行修改。
所述的玻璃图像缺陷检测及分类方法,其中,
所述步骤4中,进一步包括:
在采用所述缺陷判别的分类方式获取所述缺陷分类结果后,对所述未定义缺陷按照紧致的缺陷特征规则进行限制,获取误分至所述未定义缺陷的真实缺陷。
为了实现上述目的,本发明提供一种快速的玻璃图像缺陷检测及分类装置,其特征在于,包括:
候选缺陷窗口确定模块,用于对于输入的玻璃图像进行窗口扫描,根据窗口内灰度分布的均衡性度量,得到候选缺陷窗口;
候选缺陷区域确定模块,连接所述候选缺陷窗口确定模块,用于根据所述候选缺陷窗口的位置关系,合并相邻的所述候选缺陷窗口,得到候选缺陷区域;
缺陷域确定模块,连接所述候选缺陷区域确定模块,用于获取所述候选缺陷区域的背景信息,并按照所述候选缺陷区域的灰度分布模式提取缺陷域;
缺陷分类模块,连接所述缺陷域确定模块,用于将所述缺陷域按照尺度进行归一化,并提取特征向量,根据所述特征向量进行缺陷分类,得到缺陷分类结果。
所述的玻璃图像缺陷检测及分类装置,其中,
所述候选缺陷窗口确定模块用窗口区域的灰度方差作为窗口内灰度分布的均衡性度量,以判断所述窗口是否可能包含缺陷,灰度方差公式如下:
其中,
所述的玻璃图像缺陷检测及分类装置,其中,
所述缺陷域确定模块,进一步包括:
背景灰度值获取模块,用于获取所述候选缺陷区域的背景灰度值;
灰度分布模式确定模块,连接所述背景灰度值获取模块,用于根据缺陷/未定义缺陷的特征和所述背景灰度值,确定所述灰度分布模式;
缺陷域提取模块,连接所述灰度值获取模块、所述灰度分布模式确定模块,用于根据所述背景灰度值、所述灰度分布模式进行缺陷域提取。
所述的玻璃图像缺陷检测及分类装置,其中,
所述背景灰度值获取模块,以如下公式获取所述候选缺陷区域的背景灰度值:
其中,
所述的玻璃图像缺陷检测及分类装置,其中,
所述灰度分布模式确定模块将所述灰度分布模式分成如下模式:
第一灰度分布模式,具有均衡的背景和明显的暗区;
第二灰度分布模式,具有均衡的背景和暗区以及明显的高亮区域。
所述的玻璃图像缺陷检测及分类装置,其中,
所述灰度分布模式确定模块当所述候选缺陷区域中存在的像素pi的灰度值满足如下公式时,判断该像素为高亮像素,对应的区域为高亮区域:
其中,
所述的玻璃图像缺陷检测及分类装置,其中,
所述缺陷域提取模块获取所述候选缺陷区域内灰度的最小值min_x、最大值max_x,并根据确定的灰度分布模式进行缺陷域提取:
当确定的灰度分布模式为第一灰度分布模式时,令max_x=IB,根据对比度增强的方式以如下公式计算阈值:
thresh 1=(max_x+min_x)/2
基于阈值thresh 1得到二值化的缺陷域,这里的二值设为0或255;或
当确定的灰度分布模式为第二灰度分布模式时,对所述候选缺陷区域采用如下灰度分段方式提供所述缺陷域:
a.对于灰度满足0≤Ii<IB的像素,采用与所述第一灰度分布模式相同的方式提取所述缺陷域;
b.对于灰度满足IB≤Ii≤255的像素,令min_x=IB,根据对比度增强的方式以如下公式计算阈值:
thresh 2=(max_x+min_x)/2
基于阈值thresh 2得到二值化的缺陷域,这里的二值设为0或128。
所述的玻璃图像缺陷检测及分类装置,其中,
所述装置,进一步包括:
缺陷域扩充模块,连接所述缺陷域确定模块,用于按照所述缺陷域的长度、宽度,对所述缺陷域进行按比例的边界进行扩充,公式如下:
w′=w·α,h′=h·α
其中,
α为边界扩充的尺度因子,w为扩充前的缺陷域的宽度,w′为缺陷域向左/向右扩充的宽度,h为扩充前的缺陷域的高度,h′为缺陷域向上/向下扩充的高度。
所述的玻璃图像缺陷检测及分类装置,其中,
所述缺陷分类模块按照玻璃图像缺陷的分类需求设置相应的缺陷分类的策略。
所述的玻璃图像缺陷检测及分类装置,其中,
所述缺陷分类模块,进一步包括:
第一级SVM分类器,用于区分结石类缺陷与其他类别缺陷;
第二级SVM分类器,连接所述第一级SVM分类器,用于当所述第一级SVM分类器判断玻璃图像缺陷不是结石类缺陷时,区分气泡类缺陷与碎屑、未定义缺陷;
第三级SVM分类器,连接所述第二级SVM分类器,用于当所述第二级SVM分类器判断玻璃图像缺陷不是气泡类缺陷时,区分碎屑与未定义缺陷;
第一特征向量提取模块,用于从所述缺陷域中提取第一特征向量,以供所述第一级SVM分类器、所述第二级SVM分类器进行缺陷分类所用;
第二特征向量提取模块,用于从所述缺陷域中提取第二特征向量,以供第三级SVM分类器进行缺陷分类所用。
所述的玻璃图像缺陷检测及分类装置,其中,
所述第一特征向量提取模块按照基于分块局部特征描述的特征提取方式提取所述第一特征向量;
所述第二特征向量提取模块采用灰度直方图特征作为所述第二特征向量。
所述的玻璃图像缺陷检测及分类装置,其中,
所述缺陷分类模块,进一步包括:
特征向量降维模块,连接所述第一特征向量提取模块,用于利用主成分分析方式对所述第一特征向量进行降维。
所述的玻璃图像缺陷检测及分类装置,其中,
所述缺陷分类模块,进一步包括:
缺陷域位置扰动模块,用于在训练样本的收集阶段,对所述缺陷域进行位置扰动,以用于所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器的训练。
所述的玻璃图像缺陷检测及分类装置,其中,
所述缺陷分类模块,进一步包括:
缺陷分类修正模块,连接所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器,用于将所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器进行缺陷判别的分类方式与基于规则的策略进行融合对所述缺陷分类结果进行修正。
所述的玻璃图像缺陷检测及分类装置,其中,
所述缺陷分类修正模块在所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器获取所述缺陷分类结果后,对所述未定义缺陷按照紧致的缺陷特征规则进行限制,获取误分至所述未定义缺陷的真实缺陷。
与现有技术相比,本发明具有下列技术效果:
本发明能够更加快速的对包含噪声的玻璃图像帧中的缺陷进行准确检测,并且能够有效地区分缺陷的类别,包括对未定义缺陷的判别。
附图说明
图1是本发明快速的玻璃图像缺陷检测及分类方法流程图;
图2是基于本发明一个实施例的缺陷检测及分类方法流程示意图;
图3是基于本发明一个实施例的基于自适应背景亮度的缺陷域提取结果示例;
图4是基于本发明一个实施例的不同缺陷处理后的样本示例,(a)是结石,(b)是气泡,(c)是碎屑,(d)是未定义缺陷;
图5是基于本发明一个实施例的缺陷分类方法流程示意图;
图6是基于本发明一个实施例的分块局部特征描述方案;
图7是本发明快速的玻璃图像缺陷检测及分类装置结构图。
具体实施方式
以下结合附图和具体实施例对本发明进行详细描述,但不作为对本发明的限定。
如图1所述,是本发明快速的玻璃图像缺陷检测及分类方法流程图,该方法是一种适于对包含噪声的玻璃原片进行快速鲁棒的缺陷检测及分类方法,该方法可分为两个阶段:一是缺陷域检测阶段;二是缺陷分类阶段。具体包括下列步骤:
步骤101,对于输入的玻璃图像帧,采用窗口扫描的方法,根据窗口内灰度分布的均衡性度量,得到候选的可能包含缺陷的窗口(候选缺陷窗口);
步骤102,根据候选缺陷窗口的位置关系,将相邻的候选缺陷窗口进行合并,得到可能包含缺陷的候选区域(候选缺陷区域);
步骤103,对每一个候选缺陷区域进行处理,得到缺陷(或未定义缺陷)位置具体/准确的缺陷域;
步骤104,将缺陷域按照尺度进行归一化,并进行特征提取,将缺陷域送入缺陷分类算法,得到缺陷的分类结果。
进一步地,步骤101中,利用窗口内区域的灰度方差来度量灰度分布的均衡性,以此为依据,判断窗口是否可能包含缺陷。
根据窗口扫描的策略,在局部区域上对图像灰度进行分析,以判断是否包含潜在的缺陷。相对于在图像全局上的缺陷检测策略,本方法对噪声具有更好的鲁棒性。
进一步地,步骤103中,还包括:自适应的获取区域的背景灰度值,按照该区域对应的灰度分布模式,利用对比度增强的方法进行分段的缺陷域提取,得到准确的缺陷域。
进一步地,步骤103中,还包括:按照缺陷域的长度、宽度,来对缺陷域的边界按比例的向外部进行扩充。
进一步地,步骤104中,还包括:根据不同的分类任务设计的分类器,以及相应的特征提取以及特征降维技术,来进行缺陷分类。具体地:
按照玻璃图像缺陷的分类需求设计相应的缺陷分类的策略;
按照基于分块局部特征描述的特征提取方案进行玻璃缺陷域的特征提取;
利用主成分分析(Principle Component Analysis,PCA)或其他降维技术对分块LBP(Local Binary Pattern,局部二值模式)特征向量或其他高维特征向量进行降维;
在训练样本的收集阶段,对缺陷样本进行一定程度位置的扰动,一并用于分类器的训练;
将判别式的分类方法与基于规则的策略进行融合,如在利用基于判别式分类器获取结果后,对未定义缺陷,按照紧致的缺陷特征规则进行限制,可将误分至未定义缺陷的真实缺陷找到,对缺陷分类结果进行修正。
如图2所示,给出了基于本发明一个实施例的缺陷检测及分类方法流程示意图。下面将按照算法的实施过程逐步骤的进行介绍。
针对包含噪声的玻璃原片特点(即可能同时包含真实的缺陷以及未定义缺陷,如灰尘、水渍、污渍等等),设定了算法两个阶段的目标。在玻璃图像缺陷域检测阶段,并不容易区分图像亮度的异常是由哪种因素引起的,因此需要尽可能的将引起图像灰度变化的所有缺陷全部检测出来。而在玻璃图像缺陷分类阶段,则需要将所有候选缺陷进行准确的分类,根据外观特征区分属于哪一类缺陷(如:结石、气泡、碎屑)或是未定义缺陷(灰尘、污渍等不关注的缺陷)。
基于上述理论基础,下面结合附图2详细描述该实施例的各个步骤。
步骤201,输入原始的玻璃图像。
步骤202,以固定的窗口,在玻璃图像上逐行进行扫描,统计每一个窗口区域灰度分布的均衡性,这里本发明用窗口区域的灰度方差作为度量:
其中,
v是灰度方差,x是窗口W中像素对应的亮度值,是窗口内所有像素亮度的均值。根据窗口扫描的方差结果,来判断可能含有缺陷的小窗口。即:若v>Tw,则认为此区域可能包含有缺陷,反之,则认为此区域为背景区域,TW是灰度方差的经验阈值。
步骤203,根据位置关系对可能包含缺陷的相邻小窗口进行合并,得到候选的缺陷区域R。
步骤204,对于每一个候选缺陷区域R,进行准确的缺陷域的提取。缺陷域提取算法如下:
A1,自适应的寻找候选缺陷区域的背景灰度值;
以候选缺陷区域R为例,对该区域内的像素进行灰度直方图统计,则该区域的背景灰度值可根据下式进行计算:
其中,
这里,n<=Tn,Tn是本发明预设的用来进行加权平均的灰度值个数,根据经验值可为10。
A2,判断候选缺陷区域的灰度分布模式;
根据缺陷/未定义缺陷的特征,其灰度分布通常有两种模式,一种表现为除了比较均衡的背景像素,还有明显的暗区,另一种则表现为除了比较均衡的背景和暗区外,还有明显的高亮区域。由于所谓的高亮是相对于背景来体现的,因此,判断高亮的依据是候选缺陷区域R中存在像素pi,其灰度值满足:
其中,
A3,根据灰度分布模式,并利用对比度增强的方法进行缺陷域提取;
对候选缺陷区域R的灰度值进行统计,即获取此区域内灰度的最小值min_x和最大值max_x。根据步骤A2的结果,若灰度分布属于第一种模式,即只包含暗区,则令max_x=IB。根据对比度增强的原理,计算阈值:
thresh=(max_x+min_x)/2 (4)
进而得到二值化的缺陷域提取结果,这里的二值设为0或255。
若灰度分布属于第二种模式,即同时包含暗区和亮区,则对灰度分段提取缺陷域结果,即分为0≤Ii<IB,以及IB≤Ii≤255两段。
a.对于灰度满足0≤Ii<IB的像素,处理方式同第一种模式;
b.对于灰度满足IB≤Ii≤255的像素,令min_x=IB,仍然根据等式(4)进行缺陷域提取,但二值设为0或128。
如图3所示,给出了一些自适应背景亮度的缺陷域提取结果示例。
步骤205,对缺陷域进行边界扩充。
为对缺陷进行有效的描述,在缺陷定位的基础上,需要对边界进行一定的扩充,以使缺陷域包含一定的背景信息。
这里可以按照缺陷域的长度、宽度进行按比例的边界扩充。即:左、右边界和上、下边界分别向外扩充为:
w′=w·α,h′=h·α (5)
其中,
α为边界扩充的尺度因子,w为扩充前的缺陷域的宽度,w′为缺陷域向左/向右扩充的宽度,h为扩充前的缺陷域的高度,h′为缺陷域向上/向下扩充的高度,本实施例中α=0.3。
步骤206,对提取得到的缺陷域按照预先定义的尺度进行归一化,即将不同大小的缺陷域归一到同样的尺度下,并进行特征提取。
步骤207,将缺陷域送入缺陷分类算法,得到具体的缺陷类别。
考虑到缺陷形成的具体原因不同,每种缺陷在图像中反映出来的图像外观也是不同的,图4是基于本发明一个实施例的几种不同缺陷处理后的样本示例,其中(a)是结石,(b)是气泡,(c)是碎屑,(d)是未定义缺陷。由图4中也可以看到,受到环境光照条件以及生产工艺中诸多因素的影响,并不能保证每一类缺陷的图像外观都严格的一致,因此传统的基于规则的缺陷分类方法面对大量的多种类别缺陷,尤其是针对包含噪声的玻璃图像时,分类性能往往不够理想。这里,本发明采取判别式的分类方法,即收集每一个类别的大量样本,提取合适的特征描述,通过训练学习强分类器,完成缺陷分类的任务。在本实例中,以区分三种缺陷(气泡、结石、碎屑)和未定义缺陷为例,对缺陷分类算法进行详细的介绍。
这里本发明采取SVM分类器来完成分类任务。由于SVM分类器常用来解决两类分类问题,因此,为完成本实例中的缺陷分类任务,本发明按照不同缺陷外观视觉上的易区分程度设计了如下所述的3级SVM分类器,图5给出了缺陷分类方法流程示意图。
(a1)第一级SVM分类器,用来区分结石类与其他类别缺陷,即结石类缺陷作为正例,气泡、碎屑和未定义缺陷作为反例。若输入缺陷被判断为结石类别,则分类任务结束,否则,进入第二SVM级分类器。
(a2)第二级SVM分类器,用来区分气泡类与碎屑、未定义缺陷,即气泡类缺陷作为正例,碎屑和未定义缺陷作为反例。若输入缺陷被判断为气泡类别,则分类任务结束,否则,进入第三级SVM分类器。
(a3)第三级SVM分类器,用来区分碎屑与未定义缺陷,即碎屑类缺陷作为正例,未定义缺陷作为反例。本级分类器是最后一级分类器。
在图5中,采用缺陷分类方法的具体步骤如下:
步骤501,输入样本I;
步骤502,从样本I中提取特征向量F1、F2;
步骤503,基于特征向量F1采用第一级SVM分类器区分结石类缺陷与其他类别缺陷(气泡、碎屑和未定义缺陷);
步骤504,基于特征向量F1采用第二级SVM分类器区分气泡与碎屑和未定义缺陷;
步骤505,基于特征向量F2采用第三级SVM分类器区分碎屑与未定义缺陷。
对于各级SVM分类器所采用的特征向量,可以根据需要提取不同的特征描述。在本实施例中,对于第一级和第二级SVM分类器,由于结石与气泡具有相对规则的结构特征和亮度分布特点,因此本发明采用的是基于分块的LBP特征描述方案,即对图像进行LBP滤波,进而在空间上进行分块,将每一小块LBP滤波图像对应的直方图串联起来形成最终的特征向量。该描述将全局的结构信息和局部的纹理变化结合在一起,形成了对于缺陷图像的有效表示。图6给出了基于本发明一个实施例的分块局部特征描述方案示意图。该描述方案具体内容包括:
步骤601,对缺陷域按照预先定义的尺度进行归一化;
步骤602,对归一化后的缺陷域进行LBP滤波变换;
步骤603,采用分块策略对LBP滤波变换后的缺陷域在空间上进行分块,得到小块LBP滤波图像;
步骤604,将每一小块LBP滤波图像对应的直方图串联起来形成最终的特征向量,并作为完整的特征向量。
考虑到对于一个待判别缺陷样本来讲,这种基于分块LBP的特征向量维数过高,因此PCA技术可被用来进行特征的降维。
在第三级SVM分类器中,由于碎屑不具有规则的结构特征,因此本发明采用简单的灰度直方图特征来进行分类。结合碎屑缺陷的高亮特征,关注亮度在140~255范围内的灰度分布,这里140为统计得到的图像背景亮度值。
在训练样本收集阶段,本发明还可以对缺陷域进行位置扰动,使得训练模型能够更加稳定,提高分类性能。
此外,本分类方法可以与基于规则的方法结合起来,比如在获取判别式的分类结果后,对于未定义缺陷,按照紧致的缺陷特征规则(如针对气泡类缺陷的主方向、对称性等)进行限制,这样可以进一步提高缺陷分类的精度。
以上是对玻璃图像缺陷检测及分类算法的描述。根据上述实施例,本发明对收集到的三种玻璃图像缺陷进行检测及分类。玻璃图像来源于包含噪声的玻璃原片,因此含有大量的污渍等未定义缺陷。表1给出了本实施例的检测及分类性能结果,可见无论是缺陷检测的精度还是分类的正确率都基本达到了工业应用的要求。
表1
另外,研究发现,上述实施例中,用于SVM分类器的特征向量,还可以采取其他的特征变换,如小波特征等,也可以得到不错的缺陷分类结果。
还需指出的是,虽然上述实施例采用的缺陷分类方法是基于SVM分类器进行的,但本领域技术人员也可以根据本发明的构思,采用其他的模式分类方法实现缺陷的分类,如贝叶斯分类器,线性判别分析方法等。并且可以将判别式的分类方法与一些紧致的缺陷特征规则进行限制(如主方向、对称性、形状特征等)结合起来,提高分类的精度。
如图7所示,是本发明快速的玻璃图像缺陷检测及分类装置结构图。该装置700包括:
候选缺陷窗口确定模块71,用于对于输入的玻璃图像帧,采用窗口扫描的方法,根据窗口内灰度分布的均衡性度量,得到候选的可能包含缺陷的窗口,即候选缺陷窗口;
候选缺陷区域确定模块72,连接候选缺陷窗口确定模块71,用于根据候选缺陷窗口的位置关系,将相邻的候选缺陷窗口进行合并,得到可能包含缺陷的候选区域,即候选缺陷区域;
缺陷域确定模块73,连接候选缺陷区域确定模块72,用于对每一个候选缺陷区域进行处理,得到缺陷(或未定义缺陷)位置具体的缺陷域,即准确的缺陷域。
缺陷分类模块74,连接缺陷域确定模块73,用于将缺陷域按照尺度进行归一化,并进行特征提取,将缺陷域送入缺陷分类算法,得到缺陷的分类结果。
进一步地,候选缺陷窗口确定模块71利用窗口内区域的灰度方差来度量灰度分布的均衡性,以此为依据,判断窗口是否可能含有缺陷:
其中,
v是灰度方差,x是窗口W中像素对应的亮度值,是窗口内所有像素亮度的均值。根据窗口扫描的方差结果,来判断可能含有缺陷的小窗口。即:若v>Tw,则认为此区域可能包含有缺陷,反之,则认为此区域为背景区域,TW是灰度方差的经验阈值。
进一步地,缺陷域确定模块73自适应的获取候选缺陷区域的背景灰度值,并按照该区域对应的灰度分布模式,利用对比度增强的方法得到准确的缺陷域,包括:
背景灰度值获取模块731,用于自适应的获取候选缺陷区域的背景灰度值;
灰度分布模式确定模块732,连接背景灰度值获取模块731,用于根据缺陷/未定义缺陷的特征,确定灰度分布模式;
缺陷域提取模块733,连接背景灰度值获取模块731、灰度分布模式确定模块732,用于根据确定的灰度分布模式,并利用对比度增强的方法进行缺陷域提取。
进一步地,背景灰度值获取模块731以候选缺陷区域R为例,对该区域内的像素进行灰度直方图统计,则该区域的背景灰度值可根据下式进行计算:
其中,(请给出参数的含义)
这里,n<=Tn,Tn是本发明预设的用来进行加权平均的灰度值个数,根据经验值可为10,TB是经验背景灰度值。
进一步地,灰度分布模式确定模块732在确定灰度分布模式时,根据缺陷/未定义缺陷的特征,其灰度分布通常有两种模式,一种表现为除了比较均衡的背景像素,还有明显的暗区,另一种则表现为除了比较均衡的背景和暗区外,还有明显的高亮区域。由于所谓的高亮是相对于背景来体现的,因此,判断高亮的依据是候选缺陷区域R中存在像素pi,其灰度值满足:
其中,
进一步地,缺陷域提取模块733对候选缺陷区域R的灰度值进行统计,即获取此区域内灰度的最小值min_x和最大值max_x。根据灰度分布模式确定模块732的确定结果,若灰度分布属于第一种模式,即只包含暗区,则令max_x=IB。根据对比度增强的原理,计算阈值:
thresh=(max_x+min_x)/2 (4)
进而得到二值化的缺陷域提取结果,这里的二值设为0或255。
若灰度分布属于第二种模式,即同时包含暗区和亮区,则对灰度分段提取缺陷域结果,即分为0≤Ii<IB,以及IB≤Ii≤255两段。
a.对于灰度满足0≤Ii<IB的像素,处理方式同第一种模式;
b.对于灰度满足IB≤Ii≤255的像素,令min_x=IB,仍然根据等式(4)进行缺陷域提取,但二值设为0或128。
进一步地,缺陷分类模块74又包括:
第一级SVM分类器741,用于将结石类缺陷作为正例,气泡、碎屑和未定义缺陷作为反例,来区分结石类与其他类别缺陷;若输入缺陷被判断为结石类别,则分类任务结束,否则,进入第二SVM级分类器742。
第二级SVM分类器742,连接第一级SVM分类器741,用于将气泡类缺陷作为正例,碎屑和未定义缺陷作为反例,来区分气泡类与碎屑、未定义缺陷;若输入缺陷被判断为气泡类别,则分类任务结束,否则,进入第三级SVM分类器743。
第三级SVM分类器743,连接第二级SVM分类器742,用于将碎屑类缺陷作为正例,未定义缺陷作为反例,来区分碎屑与未定义缺陷。本级分类器是最后一级分类器。
第一特征向量提取模块744,用于从缺陷域中提取第一特征向量,以供第一级SVM分类器741、第二级SVM分类器742进行缺陷分类所用;
第二特征向量提取模块745,用于从缺陷域中提取第二特征向量,以供第三级SVM分类器743进行缺陷分类所用。
进一步地,第一特征向量提取模块744对缺陷域进行LBP滤波,进而在空间上进行分块,将每一小块LBP滤波图像对应的直方图串联起来形成最终的特征向量,并将该特征向量作为第一特征向量。
进一步地,第二特征向量提取模块745采用简单的灰度直方图特征作为第二特征向量。
进一步地,缺陷分类模块74还包括:
特征向量降维模块746,连接第一特征向量提取模块744,用于利用PCA或其他降维技术对第一特征向量进行降维。
进一步地,缺陷分类模块74还包括:
缺陷域位置扰动模块747,用于对缺陷域进行位置扰动,以提高第一级SVM分类器741、第二级SVM分类器742、第三级SVM分类器743的分类性能。
进一步地,缺陷分类模块74还包括:
缺陷分类修正模块748,连接第一级SVM分类器741、第二级SVM分类器742、第三级SVM分类器743,用于对未定义缺陷按照紧致的缺陷特征规则进行限制,可将误分至未定义缺陷的真实缺陷找到,对缺陷分类结果进行修正。
进一步地,该装置700还包括:
缺陷域扩充模块75,连接缺陷域确定模块73,用于按照缺陷域的长度、宽度,来对缺陷域的边界按比例的向外部进行扩充。即:左、右边界和上、下边界分别扩充为:
w′=w·α,h′=h·α (5)
其中,
α为边界扩充的尺度因子,w为扩充前的缺陷域的宽度,w′为缺陷域向左/向右扩充的宽度,h为扩充前的缺陷域的高度,h′为缺陷域向上/向下扩充的高度。本实施例中α=0.3。
本发明提供了一种适合于包含噪声的玻璃原片的快速鲁棒的缺陷检测及分类方法及其装置,能够更加准确的对玻璃图像中潜在的缺陷域进行定位,并有效提取用于描述缺陷域的外观特征,利用学习的方法,对不同类别的缺陷进行区分,包括包含噪声的玻璃原片上的污渍等未定义缺陷,极大的提高了玻璃图像缺陷检测与分类的精度。
当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (35)
1.一种快速的玻璃图像缺陷检测及分类方法,其特征在于,包括:
步骤1,对于输入的玻璃图像进行窗口扫描,根据窗口内灰度分布的均衡性度量,得到候选缺陷窗口;
步骤2,根据所述候选缺陷窗口的位置关系,合并相邻的所述候选缺陷窗口,得到候选缺陷区域;
步骤3,获取所述候选缺陷区域的背景信息,并按照所述候选缺陷区域的灰度分布模式提取缺陷域;
所述步骤3中,进一步包括:
根据缺陷/未定义缺陷的特征和背景灰度值,将所述灰度分布模式分成如下模式:
第一灰度分布模式,具有均衡的背景和明显的暗区;
第二灰度分布模式,具有均衡的背景和暗区以及明显的高亮区域;
步骤4,将所述缺陷域按照尺度进行归一化,并提取特征向量,根据所述特征向量进行缺陷分类,得到缺陷分类结果。
4.根据权利要求1所述的玻璃图像缺陷检测及分类方法,其特征在于,
所述步骤3中,进一步包括:
当所述候选缺陷区域中存在的像素pi的灰度值满足如下公式时,被判断为高亮像素:
Ipi>IB+TH
其中,
Ipi是像素的灰度值,IB是候选缺陷区域的灰度值,TH为高亮像素的亮度高出灰度值的阈值。
5.根据权利要求1或4所述的玻璃图像缺陷检测及分类方法,其特征在于,
所述步骤3中,进一步包括:
获取所述候选缺陷区域内灰度的最小值min_x、最大值max_x,并根据确定的灰度分布模式进行缺陷域提取:
当确定的灰度分布模式为第一灰度分布模式时,令max_x=IB,根据对比度增强的方式以如下公式计算阈值:
thresh 1=(max_x+min_x)/2
基于阈值thresh 1得到二值化的缺陷域,这里的二值设为0或255;或
当确定的灰度分布模式为第二灰度分布模式时,对所述候选缺陷区域采用如下灰度分段方式提供所述缺陷域:
a.对于灰度满足0≤Ii<IB的像素,采用与所述第一灰度分布模式相同的方式提取所述缺陷域;
b.对于灰度满足IB≤Ii≤255的像素,令min_x=IB,根据对比度增强的方式以如下公式计算阈值:
thresh 2=(max_x+min_x)/2
基于阈值thresh 2得到二值化的缺陷域,这里的二值设为0或128。
6.根据权利要求1、2、3或4所述的玻璃图像缺陷检测及分类方法,其特征在于,
所述步骤3中,进一步包括:
按照所述缺陷域的长度、宽度,对所述缺陷域进行按比例的边界进行扩充,公式如下:
w′=w·α,h′=h·α
其中,
α为边界扩充的尺度因子,w为扩充前的缺陷域的宽度,w′为缺陷域向左/向右扩充的宽度,h为扩充前的缺陷域的高度,h′为缺陷域向上/向下扩充的高度。
7.根据权利要求1、2、3或4所述的玻璃图像缺陷检测及分类方法,其特征在于,
所述步骤4中,进一步包括:
按照玻璃图像缺陷的分类需求设置相应的缺陷分类的策略。
8.根据权利要求7所述的玻璃图像缺陷检测及分类方法,其特征在于,
所述步骤4中,进一步包括:
采用如下缺陷判别的分类方式对玻璃图像缺陷进行分类:
通过第一级SVM分类器区分结石类缺陷与其他类别缺陷,当判断玻璃图像缺陷不是结石类缺陷时,进入第二级SVM分类器;
通过所述第二级SVM分类器区分气泡类缺陷与碎屑、未定义缺陷,当判断玻璃图像缺陷不是气泡类缺陷时,进入第三级SVM分类器;
通过所述第三级SVM分类器区分碎屑与未定义缺陷。
9.根据权利要求8所述的玻璃图像缺陷检测及分类方法,其特征在于,
所述步骤4中,进一步包括:
按照基于分块局部特征描述的特征提取方式提取所述缺陷域的特征向量。
10.根据权利要求9所述的玻璃图像缺陷检测及分类方法,其特征在于,
所述步骤4中,进一步包括:
利用主成分分析方式对所述特征向量进行降维。
11.根据权利要求8所述的玻璃图像缺陷检测及分类方法,其特征在于,
所述步骤4中,进一步包括:
在训练样本的收集阶段,对所述缺陷域进行位置扰动。
12.根据权利要求9所述的玻璃图像缺陷检测及分类方法,其特征在于,
所述步骤4中,进一步包括:
在训练样本的收集阶段,对所述缺陷域进行位置扰动。
13.根据权利要求10所述的玻璃图像缺陷检测及分类方法,其特征在于,
所述步骤4中,进一步包括:
在训练样本的收集阶段,对所述缺陷域进行位置扰动。
14.根据权利要求8所述的玻璃图像缺陷检测及分类方法,其特征在于,
所述步骤4中,进一步包括:
将所述缺陷判别的分类方式与基于规则的策略进行融合对所述缺陷分类结果进行修改。
15.根据权利要求9所述的玻璃图像缺陷检测及分类方法,其特征在于,
所述步骤4中,进一步包括:
将所述缺陷判别的分类方式与基于规则的策略进行融合对所述缺陷分类结果进行修改。
16.根据权利要求10所述的玻璃图像缺陷检测及分类方法,其特征在于,
所述步骤4中,进一步包括:
将所述缺陷判别的分类方式与基于规则的策略进行融合对所述缺陷分类结果进行修改。
17.根据权利要求14所述的玻璃图像缺陷检测及分类方法,其特征在于,
所述步骤4中,进一步包括:
在采用所述缺陷判别的分类方式获取所述缺陷分类结果后,对所述未定义缺陷按照紧致的缺陷特征规则进行限制,获取误分至所述未定义缺陷的真实缺陷。
18.一种快速的玻璃图像缺陷检测及分类装置,其特征在于,包括:
候选缺陷窗口确定模块,用于对于输入的玻璃图像进行窗口扫描,根据窗口内灰度分布的均衡性度量,得到候选缺陷窗口;
候选缺陷区域确定模块,连接所述候选缺陷窗口确定模块,用于根据所述候选缺陷窗口的位置关系,合并相邻的所述候选缺陷窗口,得到候选缺陷区域;
缺陷域确定模块,连接所述候选缺陷区域确定模块,用于获取所述候选缺陷区域的背景信息,并按照所述候选缺陷区域的灰度分布模式提取缺陷域;
将所述灰度分布模式分成如下模式:
第一灰度分布模式,具有均衡的背景和明显的暗区;
第二灰度分布模式,具有均衡的背景和暗区以及明显的高亮区域;
缺陷分类模块,连接所述缺陷域确定模块,用于将所述缺陷域按照尺度进行归一化,并提取特征向量,根据所述特征向量进行缺陷分类,得到缺陷分类结果。
20.根据权利要求18所述的玻璃图像缺陷检测及分类装置,其特征在于,
所述缺陷域确定模块,进一步包括:
背景灰度值获取模块,用于获取所述候选缺陷区域的背景灰度值;
灰度分布模式确定模块,连接所述背景灰度值获取模块,用于根据缺陷/未定义缺陷的特征和所述背景灰度值,确定所述灰度分布模式;
缺陷域提取模块,连接所述灰度值获取模块、所述灰度分布模式确定模块,用于根据所述背景灰度值、所述灰度分布模式进行缺陷域提取。
22.根据权利要求18所述的玻璃图像缺陷检测及分类装置,其特征在于,
所述灰度分布模式确定模块当所述候选缺陷区域中存在的像素pi的灰度值满足如下公式时,判断该像素为高亮像素,对应的区域为高亮区域:
Ipi>IB+TH
其中,
Ipi是像素的灰度值,IB是候选缺陷区域的灰度值,TH为高亮像素的亮度高出灰度值的阈值。
23.根据权利要求20、21或22所述的玻璃图像缺陷检测及分类装置,其特征在于,
所述缺陷域提取模块获取所述候选缺陷区域内灰度的最小值min_x、最大值max_x,并根据确定的灰度分布模式进行缺陷域提取:
当确定的灰度分布模式为第一灰度分布模式时,令max_x=IB,根据对比度增强的方式以如下公式计算阈值:
thresh 1=(max_x+min_x)/2
基于阈值thresh 1得到二值化的缺陷域,这里的二值设为0或255;或
当确定的灰度分布模式为第二灰度分布模式时,对所述候选缺陷区域采用如下灰度分段方式提供所述缺陷域:
a.对于灰度满足0≤Ii<IB的像素,采用与所述第一灰度分布模式相同的方式提取所述缺陷域;
b.对于灰度满足IB≤Ii≤255的像素,令min_x=IB,根据对比度增强的方式以如下公式计算阈值:
thresh 2=(max_x+min_x)/2
基于阈值thresh 2得到二值化的缺陷域,这里的二值设为0或128。
24.根据权利要求18、19、20、21或22所述的玻璃图像缺陷检测及分类装置,其特征在于,
所述装置,进一步包括:
缺陷域扩充模块,连接所述缺陷域确定模块,用于按照所述缺陷域的长度、宽度,对所述缺陷域进行按比例的边界进行扩充,公式如下:
w′=w·α,h′=h·α
其中,
α为边界扩充的尺度因子,w为扩充前的缺陷域的宽度,w′为缺陷域向左/向右扩充的宽度,h为扩充前的缺陷域的高度,h′为缺陷域向上/向下扩充的高度。
25.根据权利要求18、19、20、21或22所述的玻璃图像缺陷检测及分类装置,其特征在于,
所述缺陷分类模块按照玻璃图像缺陷的分类需求设置相应的缺陷分类的策略。
26.根据权利要求25所述的玻璃图像缺陷检测及分类装置,其特征在于,
所述缺陷分类模块,进一步包括:
第一级SVM分类器,用于区分结石类缺陷与其他类别缺陷;
第二级SVM分类器,连接所述第一级SVM分类器,用于当所述第一级SVM分类器判断玻璃图像缺陷不是结石类缺陷时,区分气泡类缺陷与碎屑、未定义缺陷;
第三级SVM分类器,连接所述第二级SVM分类器,用于当所述第二级SVM分类器判断玻璃图像缺陷不是气泡类缺陷时,区分碎屑与未定义缺陷;
第一特征向量提取模块,用于从所述缺陷域中提取第一特征向量,以供所述第一级SVM分类器、所述第二级SVM分类器进行缺陷分类所用;
第二特征向量提取模块,用于从所述缺陷域中提取第二特征向量,以供第三级SVM分类器进行缺陷分类所用。
27.根据权利要求26所述的玻璃图像缺陷检测及分类装置,其特征在于,
所述第一特征向量提取模块按照基于分块局部特征描述的特征提取方式提取所述第一特征向量;
所述第二特征向量提取模块采用灰度直方图特征作为所述第二特征向量。
28.根据权利要求27所述的玻璃图像缺陷检测及分类装置,其特征在于,
所述缺陷分类模块,进一步包括:
特征向量降维模块,连接所述第一特征向量提取模块,用于利用主成分分析方式对所述第一特征向量进行降维。
29.根据权利要求26所述的玻璃图像缺陷检测及分类装置,其特征在于,
所述缺陷分类模块,进一步包括:
缺陷域位置扰动模块,用于在训练样本的收集阶段,对所述缺陷域进行位置扰动,以用于所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器的训练。
30.根据权利要求27所述的玻璃图像缺陷检测及分类装置,其特征在于,
所述缺陷分类模块,进一步包括:
缺陷域位置扰动模块,用于在训练样本的收集阶段,对所述缺陷域进行位置扰动,以用于所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器的训练。
31.根据权利要求28所述的玻璃图像缺陷检测及分类装置,其特征在于,
所述缺陷分类模块,进一步包括:
缺陷域位置扰动模块,用于在训练样本的收集阶段,对所述缺陷域进行位置扰动,以用于所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器的训练。
32.根据权利要求26所述的玻璃图像缺陷检测及分类装置,其特征在于,
所述缺陷分类模块,进一步包括:
缺陷分类修正模块,连接所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器,用于将所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器进行缺陷判别的分类方式与基于规则的策略进行融合对所述缺陷分类结果进行修正。
33.根据权利要求27所述的玻璃图像缺陷检测及分类装置,其特征在于,
所述缺陷分类模块,进一步包括:
缺陷分类修正模块,连接所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器,用于将所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器进行缺陷判别的分类方式与基于规则的策略进行融合对所述缺陷分类结果进行修正。
34.根据权利要求28所述的玻璃图像缺陷检测及分类装置,其特征在于,
所述缺陷分类模块,进一步包括:
缺陷分类修正模块,连接所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器,用于将所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器进行缺陷判别的分类方式与基于规则的策略进行融合对所述缺陷分类结果进行修正。
35.根据权利要求32所述的玻璃图像缺陷检测及分类装置,其特征在于,
所述缺陷分类修正模块在所述第一级SVM分类器、所述第二级SVM分类器、所述第三级SVM分类器获取所述缺陷分类结果后,对所述未定义缺陷按照紧致的缺陷特征规则进行限制,获取误分至所述未定义缺陷的真实缺陷。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102666150A CN101996405B (zh) | 2010-08-30 | 2010-08-30 | 一种快速的玻璃图像缺陷检测及分类方法及其装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102666150A CN101996405B (zh) | 2010-08-30 | 2010-08-30 | 一种快速的玻璃图像缺陷检测及分类方法及其装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101996405A CN101996405A (zh) | 2011-03-30 |
CN101996405B true CN101996405B (zh) | 2012-07-04 |
Family
ID=43786524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010102666150A Active CN101996405B (zh) | 2010-08-30 | 2010-08-30 | 一种快速的玻璃图像缺陷检测及分类方法及其装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101996405B (zh) |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102393964B (zh) * | 2011-08-02 | 2013-09-25 | 中国科学院长春光学精密机械与物理研究所 | 一种条纹间隙检测方法 |
CN102305798B (zh) * | 2011-08-02 | 2013-05-22 | 上海交通大学 | 基于机器视觉的玻璃缺陷的检测与分类方法 |
CN103091332B (zh) * | 2013-01-16 | 2014-09-24 | 浙江科技学院 | 一种基于机器视觉的u型粉管的检测方法及其检测系统 |
CN103240230A (zh) * | 2013-05-20 | 2013-08-14 | 上海东方磁卡工程有限公司 | 一种智能卡的线圈引出线无损伤检测系统及检测方法 |
CN103632368A (zh) * | 2013-11-29 | 2014-03-12 | 苏州有色金属研究院有限公司 | 金属板带材表面图像缺陷合并方法 |
CN103760168A (zh) * | 2014-01-15 | 2014-04-30 | 陈涛 | 基于光滑度特征量的旋切类木制品表面灰度缺陷检测方法 |
CN104715481B (zh) * | 2015-03-17 | 2017-07-25 | 西安交通大学 | 基于随机森林的多尺度印刷品缺陷检测方法 |
CN105241891A (zh) * | 2015-08-27 | 2016-01-13 | 任红霞 | 一种基于wifi网络的玻璃缺陷检测方法 |
CN105405142B (zh) * | 2015-11-12 | 2019-04-05 | 冯平 | 一种玻璃面板的边缺陷检测方法及系统 |
CN105447512B (zh) * | 2015-11-13 | 2018-09-25 | 中国科学院自动化研究所 | 一种精粗结合的光学表面缺陷的检测方法及装置 |
CN105427335B (zh) * | 2015-12-31 | 2019-01-01 | 先进储能材料国家工程研究中心有限责任公司 | 一种连续带状多孔金属材料漏镀缺陷的检测并定位的方法 |
CN105551051B (zh) * | 2015-12-31 | 2019-03-05 | 先进储能材料国家工程研究中心有限责任公司 | 一种连续带状多孔金属材料漏镀缺陷区域的定位方法 |
CN106770372B (zh) * | 2016-11-29 | 2019-07-26 | 中国科学院自动化研究所 | 基于显微视觉的白玻表面缺陷检测方法 |
CN106846316B (zh) * | 2017-02-10 | 2020-03-27 | 云南电网有限责任公司电力科学研究院 | 一种gis内部典型缺陷图像自动识别方法 |
CN106990119A (zh) * | 2017-04-27 | 2017-07-28 | 中科慧远视觉技术(洛阳)有限公司 | 一种自动检测白玻表面缺陷的视觉检测系统及检测方法 |
CN107358636B (zh) * | 2017-06-16 | 2020-04-28 | 华南理工大学 | 一种基于纹理合成的疏松缺陷图像生成方法 |
CN109215009B (zh) * | 2017-06-29 | 2023-05-12 | 上海金艺检测技术有限公司 | 基于深度卷积神经网络的连铸坯表面图像缺陷检测方法 |
JP7210873B2 (ja) | 2017-07-26 | 2023-01-24 | 横浜ゴム株式会社 | 欠陥検査方法及び欠陥検査装置 |
CN107632291A (zh) * | 2017-08-18 | 2018-01-26 | 上海无线电设备研究所 | 一种基于极化雷达抗角反射器干扰的方法 |
CN109685756A (zh) * | 2017-10-16 | 2019-04-26 | 乐达创意科技有限公司 | 影像特征自动辨识装置、系统及方法 |
CN109961079B (zh) * | 2017-12-25 | 2021-06-04 | 北京君正集成电路股份有限公司 | 图像检测方法及装置 |
CN108072664B (zh) * | 2017-12-29 | 2020-12-08 | 苏州德创测控科技有限公司 | 一种外观检测系统及方法 |
CN108242054A (zh) | 2018-01-09 | 2018-07-03 | 北京百度网讯科技有限公司 | 一种钢板缺陷检测方法、装置、设备和服务器 |
CN108564104A (zh) * | 2018-01-09 | 2018-09-21 | 北京百度网讯科技有限公司 | 产品缺陷检测方法、装置、系统、服务器及存储介质 |
CN109035202B (zh) * | 2018-06-22 | 2021-09-03 | 上海市水利工程设计研究院有限公司 | 一种基于cctv视频图像的排水管道缺陷诊断评估方法 |
CN109447978B (zh) * | 2018-11-09 | 2021-11-02 | 河北工业大学 | 一种光伏太阳能电池片电致发光图像缺陷分类方法 |
CN109671058B (zh) * | 2018-12-05 | 2021-04-20 | 武汉精立电子技术有限公司 | 一种大分辨率图像的缺陷检测方法及系统 |
CN110136110A (zh) * | 2019-05-13 | 2019-08-16 | 京东方科技集团股份有限公司 | 光伏组件缺陷的检测方法和装置 |
CN110517233A (zh) * | 2019-08-15 | 2019-11-29 | 浙江赤霄智能检测技术有限公司 | 一种基于人工智能的缺陷分类学习系统及其分类方法 |
CN111060520B (zh) * | 2019-12-30 | 2021-10-29 | 歌尔股份有限公司 | 一种产品缺陷检测方法、装置与系统 |
CN111260646B (zh) * | 2020-03-11 | 2020-10-02 | 顾志军 | 一种数字式射线检测方法 |
CN111429422A (zh) * | 2020-03-19 | 2020-07-17 | 中国工程物理研究院激光聚变研究中心 | 基于深度学习的激光近场状态分析方法及装置 |
CN114723647A (zh) * | 2020-12-18 | 2022-07-08 | 东方晶源微电子科技(北京)有限公司 | 缺陷分类方法和装置、设备及存储介质 |
CN113012128B (zh) * | 2021-03-18 | 2022-04-15 | 长鑫存储技术有限公司 | 缺陷表征方法和装置 |
CN113781430B (zh) * | 2021-09-09 | 2023-08-25 | 北京云屿科技有限公司 | 一种基于深度学习的手套表面缺陷检测方法及系统 |
CN114235814B (zh) * | 2021-12-02 | 2024-07-16 | 福州市建筑科学研究院有限公司 | 一种建筑玻璃幕墙裂纹识别方法 |
CN115078407B (zh) * | 2022-02-17 | 2024-04-02 | 山东康和医药包装材料科技有限公司 | 一种用于医药玻璃的检测系统及方法 |
CN115018829A (zh) * | 2022-08-03 | 2022-09-06 | 创新奇智(成都)科技有限公司 | 一种玻璃瑕疵定位方法及装置 |
CN116309563B (zh) * | 2023-05-17 | 2023-07-18 | 成都数之联科技股份有限公司 | 面板边缘的缺陷检测方法、装置、介质、设备及程序产品 |
CN116664586B (zh) * | 2023-08-02 | 2023-10-03 | 长沙韶光芯材科技有限公司 | 一种基于多模态特征融合的玻璃缺陷检测方法及系统 |
CN117132563B (zh) * | 2023-08-24 | 2024-07-16 | 广东理工学院 | 一种玻璃缺陷检测方法、装置、电子设备及存储介质 |
CN117291937B (zh) * | 2023-11-27 | 2024-03-05 | 山东嘉达装配式建筑科技有限责任公司 | 基于图像特征分析的自动抹灰效果视觉检测系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006098151A (ja) * | 2004-09-29 | 2006-04-13 | Dainippon Screen Mfg Co Ltd | パターン検査装置およびパターン検査方法 |
JP2006220528A (ja) * | 2005-02-10 | 2006-08-24 | Toppan Printing Co Ltd | 不良分類システムおよび不良分類方法 |
CN101315338A (zh) * | 2008-07-18 | 2008-12-03 | 北京中星微电子有限公司 | 玻璃制品的缺陷检测系统及方法 |
CN101364263A (zh) * | 2008-09-28 | 2009-02-11 | 腾讯科技(深圳)有限公司 | 对图像进行皮肤纹理检测的方法及系统 |
-
2010
- 2010-08-30 CN CN2010102666150A patent/CN101996405B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN101996405A (zh) | 2011-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101996405B (zh) | 一种快速的玻璃图像缺陷检测及分类方法及其装置 | |
CN108830188B (zh) | 基于深度学习的车辆检测方法 | |
CN114359270B (zh) | 基于计算机视觉的汽车发动机油路铜套缺陷检测方法 | |
CN105894036B (zh) | 一种应用于手机屏幕缺陷检测的图像特征模板匹配方法 | |
CN102305798B (zh) | 基于机器视觉的玻璃缺陷的检测与分类方法 | |
CN115082683A (zh) | 一种基于图像处理的注塑缺陷检测方法 | |
CN115249246B (zh) | 一种光学玻璃表面缺陷检测方法 | |
CN108090494B (zh) | 基于Gabor滤波器及支持向量机纺织品瑕疵识别方法 | |
CN108765402B (zh) | 无纺布缺陷检测与分类方法 | |
CN101995412B (zh) | 一种鲁棒的玻璃划伤缺陷检测方法及其装置 | |
CN104021574A (zh) | 路面病害自动识别方法 | |
CN109376740A (zh) | 一种基于视频的水尺读数检测方法 | |
CN111242899B (zh) | 基于图像的瑕疵检测方法及计算机可读存储介质 | |
CN104198497A (zh) | 一种基于视觉显著图和支持向量机的表面缺陷检测方法 | |
CN106778754A (zh) | 一种鲁棒的工业电表数字识别方法 | |
CN112508857B (zh) | 基于改进型Cascade R-CNN的铝材表面缺陷检测方法 | |
CN114972356A (zh) | 塑料制品表面缺陷检测识别方法及系统 | |
CN110110780A (zh) | 一种基于对抗神经网络和海量噪声数据的图片分类方法 | |
CN106780464A (zh) | 一种基于改进阈值分割的织物疵点检测方法 | |
CN110969620A (zh) | 一种磁瓦波纹类缺陷的检测方法及装置 | |
CN113435460A (zh) | 一种亮晶颗粒灰岩图像的识别方法 | |
CN104050684A (zh) | 一种基于在线训练的视频运动目标分类方法与系统 | |
CN106340007A (zh) | 一种基于图像处理的车身漆膜缺陷检测识别方法 | |
CN115294377A (zh) | 一种道路裂缝的识别系统及方法 | |
CN105760876B (zh) | 一种基于散热器栅格背景消融的车标定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20160729 Address after: 100080 Haidian District, Zhongguancun Academy of Sciences, South Road, No. 6, No. Patentee after: Institute of Computing Technology, Chinese Academy of Sciences Address before: 100080 Haidian District, Zhongguancun Academy of Sciences, South Road, No. 6, No. Patentee before: Institute of Computing Technology, Chinese Academy of Sciences Patentee before: Saint-gobain Research (Shanghai) Co., Ltd. |