CN110414538B - 缺陷分类方法、缺陷分类训练方法及其装置 - Google Patents
缺陷分类方法、缺陷分类训练方法及其装置 Download PDFInfo
- Publication number
- CN110414538B CN110414538B CN201910670824.2A CN201910670824A CN110414538B CN 110414538 B CN110414538 B CN 110414538B CN 201910670824 A CN201910670824 A CN 201910670824A CN 110414538 B CN110414538 B CN 110414538B
- Authority
- CN
- China
- Prior art keywords
- defect
- dictionary
- low
- class
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 528
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000012549 training Methods 0.000 title claims description 32
- 239000013598 vector Substances 0.000 claims description 56
- 239000011159 matrix material Substances 0.000 claims description 41
- 230000000007 visual effect Effects 0.000 claims description 38
- 230000002950 deficient Effects 0.000 claims description 27
- 239000011521 glass Substances 0.000 claims description 10
- 239000007788 liquid Substances 0.000 claims description 10
- 238000003709 image segmentation Methods 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- YCKRFDGAMUMZLT-UHFFFAOYSA-N Fluorine atom Chemical compound [F] YCKRFDGAMUMZLT-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229910052731 fluorine Inorganic materials 0.000 description 1
- 239000011737 fluorine Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30121—CRT, LCD or plasma display
Abstract
本公开提供了一种缺陷分类方法，方法包括：从缺陷图像中提取缺陷区域的低层特征；利用缺陷词典，对所述低层特征进行编码，以得到与所述低层特征对应的中层语义特征；基于所述中层语义特征，将所述缺陷图像中的缺陷区域的缺陷分类为多个缺陷类之一，其中，所述缺陷词典包括缺陷类内词典和缺陷类间词典。
Description
技术领域
本公开涉及缺陷分类方法、缺陷分类训练方法及其装置，更具体地，涉及基于中层语义特征的缺陷分类方法、缺陷分类训练方法及其装置。
背景技术
目前，显示设备的显示屏幕广泛采用LED屏、OLED屏和液晶显示屏，但由于半导体工艺的局限性和人为操作误差等因素，生产的屏幕往往会产生各种各样的缺陷，因此在目前的屏幕的生产过程中会在屏幕出厂之前针对屏幕进行检测，把存在缺陷的屏幕检测出来以便进行进一步的分析和检查，从而保证出厂产品品质。
发明内容
根据本公开的一方面，提供了一种缺陷分类方法，包括：从缺陷图像中提取缺陷区域的低层特征；利用缺陷词典，对低层特征进行编码，以得到与低层特征对应的中层语义特征；基于中层语义特征，将缺陷图像中的缺陷区域的缺陷分类为多个缺陷类之一，其中，所述缺陷词典包括缺陷类内词典和缺陷类间词典。
根据本公开的一实施例，每个缺陷类的缺陷类内词典针对于该缺陷类特有的低层特征；以及缺陷类间词典针对于各缺陷类共有的低层特征。
根据本公开的一实施例，缺陷类间词典是对预定缺陷图像集中的所有缺陷图像的缺陷区域的低层特征进行聚类而得到的；以及每个缺陷类的缺陷类内词典是对预定缺陷图像集中属于该缺陷类的所有缺陷区域的低层特征进行聚类而得到的；缺陷类内词典是通过将各缺陷类的缺陷类内词典组合而得到的；缺陷词典是通过将缺陷类间词典和缺陷类内词典组合而得到的。
根据本公开的一实施例，从缺陷图像中提取缺陷区域的低层特征包括：对缺陷图像进行图像分割，以提取缺陷区域；以及提取缺陷区域的低层特征。
根据本公开的一实施例，低层特征包括：方向梯度直方图特征、尺度不变特征变换特征和加速的具有鲁棒特性的特征。
根据本公开的一实施例，利用缺陷词典，对低层特征进行编码，以获得与低层特征对应的中层语义特征包括：基于缺陷词典，利用下式对所述低层特征进行编码，得到与低层特征对应的特征编码矩阵V：
其中，
表示向量的2范数的平方，对应于向量中每个元素的平方和；‖·‖1表示向量的1范数，对应于向量中每个元素的绝对值的和；p是缺陷区域的特征区域数量；xi是缺陷区域的单个特征区域i(1≤i≤p)的低层特征向量；U是缺陷词典矩阵；vi是与每个xi对应的每个向量，p个vi构成了特征编码矩阵V；λ‖vi‖1是约束条件，使得vi的每个元素的绝对值的和不能太大；
其中，特征编码矩阵V使得上式取得最小值
根据本公开的一实施例，中层语义特征包括词包模型，利用所述缺陷词典，对低层特征进行编码，以获得与低层特征对应的中层语义特征还包括：根据特征编码矩阵V得到所述缺陷区域的词包模型。
根据本公开的一实施例，缺陷类包括暗点类、亮点类、划痕类、玻璃破类、漏液类、膜不良类；将所述缺陷图像中的缺陷区域的缺陷分类为多个缺陷类之一包括：将缺陷图像中的缺陷区域的缺陷分类为暗点类、亮点类、划痕类、玻璃破类、漏液类、膜不良类之一。
根据本公开的另一方面，提供了一种缺陷分类的训练方法，包括：从预定缺陷图像集中的每个缺陷图像中提取缺陷区域的低层特征，其中，缺陷区域的缺陷的缺陷类是已知的；基于所有缺陷区域的低层特征构建缺陷词典；利用缺陷词典对每个缺陷区域的低层特征进行编码，以获得与每个缺陷区域的低层特征对应的、每个缺陷区域的中层语义特征；以及基于获得的每个缺陷区域的中层语义特征以及其对应的缺陷的缺陷类对分类器进行训练，其中，缺陷词典包括缺陷类内词典和缺陷类间词典。
根据本公开的一实施例，每个缺陷类的缺陷类内词典针对于该缺陷类特有的低层特征；以及缺陷类间词典针对于各缺陷类共有的低层特征。
根据本公开的一实施例，基于所有缺陷区域的低层特征构建缺陷词典包括：对预定缺陷图像集中的所有缺陷图像的缺陷区域的低层特征进行聚类，得到缺陷类间词典；对预定缺陷图像集中属于每个缺陷类的所有缺陷区域的低层特征进行聚类，得到每个缺陷类的缺陷类内词典；通过将每个缺陷类的缺陷类内词典进行组合，得到缺陷类内词典；以及通过将缺陷类间词典和缺陷类内词典进行组合，得到缺陷词典。
根据本公开的一实施例，从预定缺陷图像集中的每个缺陷图像中提取缺陷区域的低层特征包括：对每个缺陷图像进行图像分割，以提取缺陷区域；以及提取缺陷区域的低层特征。
根据本公开的一实施例，缺陷类包括暗点类、亮点类、划痕类、玻璃破类、漏液类、膜不良类。
根据本公开的又一方面，提供了一种缺陷分类装置，包括：处理器；和存储器，用于存储计算机可执行指令，计算机可执行指令在被处理器运行时执行如前面所述的方法。
根据本公开又一方面，提供了一种缺陷分类的训练装置，包括：处理器；和存储器，用于存储计算机可执行指令，计算机可执行指令在被处理器运行时执行如前面所述的方法。
附图说明
图1示出了常见屏幕缺陷类别的示例；
图2示出了根据本公开实施例的一种缺陷分类方法的流程图；
图3示出了根据本公开实施例的提取缺陷区域的低层特征的方法的流程图；
图4示出了根据本公开实施例的低层特征向量和特征编码矩阵中其对应的向量之间的关系的示意图；
图5示出了根据本公开实施例的一种缺陷分类的训练方法的流程图；
图6示出了根据本公开实施例的构建缺陷词典的方法的流程图；
图7是组合了根据本公开实施例的缺陷分类的训练方法和缺陷分类方法的流程图；
图8示出了根据本公开实施例的一种缺陷分类的训练装置的框图；以及
图9示出了根据本公开实施例的一种缺陷分类装置的框图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
在屏幕的实际生产过程中，不仅需要检测出屏幕缺陷，还需要统计缺陷的类别，以分析缺陷产生的原因，从而改进工业生产方法，提高屏幕生产的良品率。
屏幕缺陷的类别较多，在相机参数、拍摄方式和拍摄环境等因素发生变化时，同类别的缺陷在图像中的属性(如几何、纹理、形状、局部描述子等)也会随之发生变化；屏幕缺陷形状各异，不同类别的缺陷也会存在很多相似的内容，如图1所示。
图1示出了常见屏幕缺陷类别的示例。常见的屏幕缺陷类别包括暗点、亮点、划痕、玻璃破、漏液和膜不良等。然而，本领域技术人员将理解，对屏幕缺陷的类别的划分不限于此，可以根据其他方式来对屏幕缺陷的类别进行划分，例如根据缺陷的形状还可将屏幕缺陷划分为点状缺陷、线状缺陷和块状缺陷等。
通常采用相机(例如CCD相机)作为图像传感器来采集屏幕图像。当检测到屏幕图像是缺陷图像时，下一步还应该对该缺陷图像中的缺陷进行分类。
同时，为了对缺陷图像中的缺陷进行分类，首先需要提取缺陷图像中的缺陷的特征。几何、纹理、形状、局部描述子等低层特征是传统的方式，但是这些低层特征都是基于图像层信息提取的，没有经过足够的泛化和抽象，因此距离概念层较远，因此根据这些低层特征对缺陷图像中的缺陷进行分类的准确率不高，而且很难识别出训练集以外的缺陷。
基于此，本公开提出一种基于中层语义特征对缺陷进行分类的方法和装置，能够降低相机参数/拍摄方式和拍摄环境对分类的影响。
为了便于理解本公开，下面首先对图像的中层语义特征进行简要介绍。
中层语义特征是对低层特征的统计分布的分析得到的，类型主要包括视觉词包(bag of words,BoW)和语义主题。在图像分析中应用图像的整体统计信息，而不必分析图像中目标的具体组成结构，非常有利于对图像中的目标的特性进行建模。词包模型就是这样的一种中层语义特征的表示方法，它把图像看作由视觉单词组成的文档，从而把文本分类领域的词包模型和相关理论应用到图像理解中来。与文本分类领域的词包模型类似，图像领域的词包模型的生成过程主要包括以下步骤：通过对训练图像集中的图像的特征区域的低层特征进行提取、聚类(例如通过K-means方法)后，生成聚类中心值作为视觉单词；多个视觉单词构成视觉词典；提取任意图像的各个特征区域的低层特征，根据视觉词典，找出与该任意图像的各个低层特征最接近的视觉词语，分别统计各视觉单词在该任意图像中出现的频率，从而得到该任意图像的视觉单词描述。也就是说，在图像领域中采用词包模型，可以实现通过应用训练样本构建视觉词典，将任意图像的各个低层特征量化为该视觉词典中的视觉单词，然后用该任意图像的视觉单词分布直方图来表达该任意图像的内容，而无需分析解译该任意图像中具体的内容。
在本公开的实施例中，当利用词包模型表示的中层语义来对缺陷图像中的缺陷进行分类时，需要利用缺陷词典(视觉词典)来获得缺陷图像中的缺陷的词包模型，即中层语义，然后基于该中层语义通过训练好的分类器来对缺陷进行分类。然而，如果采用上述视觉词典生成方式，视觉词典中的大部分视觉单词都在表示不同类别的缺陷共同的内容，只有极少数视觉单词用来表示它们存在差异的内容，导致不同类别的缺陷的中层语义特征表示将被这些共同内容所支配，它们之间的微小差异对分类贡献度将微乎其微。
因此，为了在利用词包模型表示的中层语义特征来对缺陷进行分类时扩大中层语义特征的类别间的差异性，提升该中层语义特征的类别间的分辨能力，本公开进一步提出在缺陷的词包模型的生成过程中同时应用缺陷类内词典和缺陷类间词典，即，同时应用缺陷类内词典和缺陷类间词典来对缺陷的低层特征进行编码。缺陷类内词典对应于每个缺陷类内特有的低层特征，缺陷类间词典对应于所有缺陷类共有的低层特征。
下面参考图2和图3对本公开提出的缺陷分类方法进行详细的描述。图2示出了根据本公开实施例的一种缺陷分类方法200的流程图，图3示出了根据本公开实施例的提取缺陷区域的低层特征的方法的流程图。
在步骤210，从缺陷图像中提取缺陷区域的低层特征。
缺陷图像是指检测到的具有缺陷的屏幕图像，缺陷区域是指缺陷图像中缺陷存在的区域。缺陷区域的低层特征包括方向梯度直方图(Histogram of Oriented Gradient,HOG)特征、尺度不变特征变换(Scale-invariant feature transform，SIFT)特征和加速鲁棒特性(Speeded Up Robust Features，SURF)特征等。
可选地，参照图3，从缺陷图像中提取缺陷区域的低层特征可以包括以下子步骤：
在步骤2101，对缺陷图像进行增强。经过该步骤，可以抑制噪声的影响，去除孔洞和孤立的虚假点。对缺陷图像进行增强的操作包括依次对缺陷图像进行灰度化、小波去噪、大津(otsu)阈值分割、二值膨胀、中值滤波、二值腐蚀。
图像灰度化是指将RGB彩色图像转变为灰度图像的过程，可以在保留图像的亮度与色度的分布特性基础上大大减少后续图像处理的计算量，本公开采用加权平均值法对缺陷图像灰度化，设RGB图像的三原色分量值分别为R、G、B，转化后的图像灰度值为GRAY，则：
GRAY＝0.3R+0.59G+0.11B
小波去噪用来突出缺陷图像中的缺陷边缘、结构等高频信息，提高缺陷与背景的对比度，突出缺陷图像中的缺陷。otsu阈值分割算法用来对缺陷图像进行二值化。中值滤波用来对二值图像的缺陷进行边缘平滑。二值膨胀和腐蚀用来去除二值图像中的孔洞和孤立的虚假点。
在步骤2102，对缺陷图像进行图像分割，以提取缺陷区域。
可选地，采用最小外接矩形的分割方法，缺陷的最小外接矩形通过旋转目标法得到：在90°范围内等间隔的旋转缺陷，每次计算平行于坐标轴方向的外接矩形面积，取其中面积最小的外接矩形，即为缺陷的最小外接矩形，然后将缺陷的最小外接矩形区域(即，缺陷区域)分割出来。
在步骤2103：对步骤2102得到的缺陷的最小外接矩形区域提取低层特征。在本公开实施例中，将以HOG特征作为低层特征进行描述，但是本领域技术人员将理解，其他类型的低层特征也是可行的。
HOG特征是由图像的多个局部区域的梯度方向直方图组成的。提取该缺陷图像中的缺陷区域的HOG特征具体方法如下：
1)Gamma校正法对缺陷区域进行归一化，用来抑制噪声干扰，Gamma压缩公式：
I(x,y)＝I(x,y)gamma (1)
其中I(x,y)为步骤2102得到的缺陷的最小外接矩形区域，gamma＝1/2；
2)分别计算缺陷区域水平和竖直方向上的像素梯度，得到每个像素点位置的梯度方向向量，用来捕获缺陷区域的边缘信息。在缺陷区域I(x,y)中，像素点(x,y)的水平方向梯度为Gx(x,y)，垂直方向梯度为Gy(x,y)：
Gx(x,y)＝I(x+1,y)-I(x-1,y) (2)
Gy(x,y)＝I(x,y+1)-I(x,y-1) (3)
像素点(x,y)处的梯度的幅度值和方向分别为：
3)建立梯度直方图，首先将缺陷区域划分成小单元(cell)(例如2*2个像素组成一个单元)，将梯度直方图的方向取值设置为0-180°，每20°划分一个仓(bin)，梯度直方图内的梯度方向权重由梯度大小决定。
4)将每几个单元划分为一个块(block)(例如2*2个单元划分为一个块)，一个块内所有单元的梯度直方图特征串联起来并归一化，通常令单元有一定的重叠，令v表示未被归一化的梯度强度分布向量，应用如下的归一化方法后可以得到：
其中，e为很小的常数项，例如10-3，以避免分母为0。
5)在整个缺陷区域内，将所有块的HOG特征组合起来，即得到描述该缺陷区域的HOG特征。
可选地，组合的方式包括串联以及并联。
在特征检测的方法中，通常在图像中选择多个特征区域，通过对多个特征区域进行检测，从而获取整个图像的相关特征。例如，在本公开的实施例中，当采用HOG特征作为低层特征时，一个block(由多个cell组成)可以被视为一个特征区域，并将每个block的HOG特征表示为xi∈RD×1，D为特征空间的维度；然后把每个缺陷区域的多个block的HOG特征进行组合(以下以并联的组合方式为例)，得到多个block的HOG特征的集合(即缺陷区域的低层特征)X＝[x1，...，xp]∈RD×p，式中，p为block的总个数(也即特征区域的总个数)。值得注意的是，本领域技术人员将理解，如果采用其他形式的低层特征时(例如，SIFT和SURF特征)，缺陷区域的低层特征也可以表示为X’＝[x1’，...，xp’]∈RD×p，式中，p为特征区域的总个数。
在步骤220，利用缺陷词典，对步骤210获得的缺陷区域的低层特征进行编码，以得到与该低层特征对应的中层语义特征。
可选地，在训练阶段基于训练用的预定缺陷图像集来构建缺陷词典。构建的缺陷词典包括缺陷类内词典和缺陷类间词典，其中，每个缺陷类的缺陷类内词典针对于该缺陷类特有的低层特征，并且缺陷类内词典包括各个缺陷类各自的缺陷类内词典；以及该缺陷类间词典针对于各缺陷类共有的低层特征。缺陷词典的构建方式将在后文进一步详细描述。
可选地，中层语义特征包括词包模型。
可选地，在对缺陷区域的低层特征X＝[x1，...，xp]∈RD×p进行编码时，按照最近邻准则，将该低层特征X＝[x1，...，xp]∈RD×p中的每个低层特征向量量化为与其欧氏距离最近的视觉单词，得到特征编码矩阵V，其中缺陷区域的单个特征区域i(1≤i≤p)的低层特征向量用xi∈RD×1来表示,p是缺陷区域的特征区域数量。利用公式(7)来获得特征编码矩阵V:
s.t.‖vi‖0＝‖vi‖1＝1 (7)
其中，
表示向量或矩阵的2范数的平方，在本实施例中对应于矩阵[X-UV]T[X-UV]的最大特征值的绝对值；‖·‖1表示向量或矩阵的1范数，在本实施例中对应于向量vi中每个元素的绝对值的和；‖·‖0表示向量vi中非零的元素的个数；U是缺陷词典；vi是与每个xi对应的每个向量，p个vi构成了特征编码矩阵V。特征编码矩阵V使得式(7)取得最小值。
约束条件‖vi‖0＝1表示向量vi中的元素只能有一个非零值，‖vi‖1＝1表示向量vi中数的绝对值的累加和为1，因此‖vi‖0＝‖vi‖1＝1限制了向量vi中的元素只能有一个1，其余都为0，也就是一个低层特征xi只能被量化为与其欧氏距离最近的一个视觉单词。
此外，本公开进一步还提出了一种对上述编码方法进行改进的编码方法，该改进的编码方法使得编码时一个低层特征可以对应多个视觉单词，从而提升了识别率。
具体地，该改进的编码方法对约束条件进行修改，去掉约束条件‖vi‖0＝1，这样每个低层特征xi就不必仅对应一个视觉单词。同时为了避免一个低层对应太多视觉单词，在等式中加入λ‖vi‖1项，使得vi的每个元素的绝对值的和不能太大。
在该改进的编码方式中，对低层特征进行编码可以解释为对缺陷字典的每个基(对应于每个视觉单词)分配最为合适的权重(如果是稀疏编码，则对部分基分配最为合适的权重)，使其能够正确地表示该低层特征。
利用式(8)对该低层特征进行编码，得到与该低层特征对应的编码矩阵V：
其中，
表示向量或矩阵的2范数的平方，在这里对应于向量中每个元素的平方和；‖·‖1表示向量或矩阵的1范数，在这里对应于向量中每个元素的绝对值的和；p是缺陷区域的特征区域数量；xi是缺陷区域的单个特征区域i(1≤i≤p)的低层特征向量；U是缺陷词典矩阵；vi是与每个xi对应的每个向量，p个vi构成了特征编码矩阵V；λ‖vi‖1是约束条件，使得vi的每个元素的绝对值的和不能太大。特征编码矩阵V使得式(8)取得最小值。
可选地，可以通过正交匹配追踪(Orthogonal Matching Pursuit，OMP)算法来对式(8)进行求解，以得到特征编码矩阵V，求解方式如下所示。
输入：缺陷词典矩阵U∈RD×y，单个样本xi∈RD×1(每个低层特征)，稀疏度K；
输出：特征编码矩阵V；
其中，y为缺陷词典中视觉单词的数量，且缺陷词典矩阵中的每个列向量Ui∈RD×1对应一个视觉单词，V中的每个向量vi为针对单个样本xi的稀疏表示系数向量。
同时，为了更方便理解，对求解过程中的各个变量进行解释：
rt表示残差，t表示迭代次数，
表示空集，At表示第t次迭代的索引(列序号)集合，λt表示第t次迭代找到的列序号，uj表示缺陷词典矩阵U的第j列，Ut表示按索引At选出的矩阵U的列集合(大小为D×t的矩阵)，vt为t×1的列向量，U表示集合的并运算，<·>表示求向量内积。
求解过程如下：
(1)初始化：残差r0＝xi，索引集
t＝1；
(2)找到索引λt：找出残差r和缺陷词典矩阵U中原子的最大内积对应的角标:
(3)更新索引集：
At＝At-1∪{λt} (10)
(4)记录由索引集找到的缺陷词典中的重建原子集合：
(5)求xi＝Utvt的最小二乘法解：
(6)更新残差：
(7)t＝t＋1；如果t≤K，则返回第(2)步，如果t>K则停止迭代进入第(8)步；
(8)重构所得的vi’在At处有非零项，其值分别为最后一次迭代所得的
在其他处的值则为0，将重构所得的vi’作为针对单个样本xi的稀疏表示系数向量vi。
例如，如果迭代完毕，求解过程确定了采用缺陷词典U中的第3列、第4列、第7列和第13列向量(从最终的索引集AK可知)来组合得到该xi，并且求得了其对应的非零项系数(从最后一次迭代所得的
可知)，则针对单个样本xi的稀疏表示系数向量vi的第3行元素、第4行元素、第7行元素和第13行元素分别为该求得的各个非零项系数，其他行元素均为0，如图4中所示。虽然这里以较小的稀疏度K来进行了举例说明以更好地帮助理解上述内容，但本领域技术人员可知，可以根据实际情况而选择合适的任意其他的K值。
(9)由于缺陷区域的低层特征为X＝[x1，...，xp]∈RD×p，针对p个xi执行上述求解过程后，得到的多个vi构成特征编码矩阵V作为输出。
值得注意的是，采用正交匹配追踪的算法来对公式二进行求解仅仅是示例，本领域技术人员还可以采用其他算法来进行求解，例如凸优化算法APG和匹配追踪MP算法也是可行的。
也就是说，缺陷区域的低层特征X＝[x1，...，xp]∈RD×p中的任意向量xi都能通过缺陷词典U内的若干个向量组合而成。此外，假设缺陷词典中包括y个向量Ui，每个向量Ui对应于缺陷词典中的每个视觉单词，Ui∈RD×1，对于与任意向量xi对应的vi∈Ry×1向量中的每个值(vi1,vi2,vi3....viy)，如果vi1非0，表示对应于U1的视觉单词在该xi出现；如果vi1为0，则表示对应于U1的视觉单词不在该xi出现。因此，可用该缺陷词典来对缺陷图像中的缺陷区域的每个低层特征(例如HOG特征)编码。
可选地，根据所述编码矩阵V得到该缺陷图像中的缺陷区域的词包模型，即中层语义特征。具体地，该缺陷图像中的缺陷的视觉单词直方图为：
M＝[v1+v2+…+vp]，其中，v1，v2....vp∈Ry×1。 (14)
缺陷区域的低层特征X矩阵对应的特征编码矩阵V中的每个vi相加起来得到M∈Ry ×1，M向量第一行元素的值表示对应于U1的视觉单词在该缺陷区域出现的次数，第二行元素的值表示对应于U2的视觉单词在该缺陷区域出现的次数，以此类推，就可知每个视觉单词在该缺陷区域出现的次数，即可知该缺陷区域的词包模型，也就是说，根据各个视觉单词在该缺陷区域中出现的次数的直方图，从而得到该缺陷区域的词包模型表示的中层语义特征。
在步骤230，基于所得到的缺陷图像中的缺陷区域的中层语义特征，将缺陷图像中的缺陷区域的缺陷分类为多个缺陷类之一。
可选地，将所得到的缺陷图像中的缺陷区域的中层语义特征输入到已经训练好的分类器中进行分类。
可选地，该分类器是支持向量机(support vector machine，SVM)分类器。
通过采用上述缺陷分类方法，解决了缺陷区域的低层特征随相机参数、相机拍摄方式和拍摄环境而类内变化大的问题，并且对中层语义特征提取过程中的视觉词典生成和特征编码方式做出改进：同时应用缺陷类内词典和缺陷类间词典来对缺陷的低层特征进行编码，缺陷类内词典对应于每个缺陷类别内特有的低层特征，缺陷类间词典对应于所有缺陷类别共有的低层特征，提升了中层语义特征的类间分辨能力；并可以在编码时改变一个特征只能量化为一个单词的情况，提升了整体识别率，实现了高准确度、高鲁棒性的屏幕缺陷图像分类。
下面参考图5-6来对缺陷分类的训练方法进行描述。图5示出了根据本公开实施例的一种缺陷分类的训练方法300的流程图，图6示出了构建缺陷词典的具体步骤的流程图。
在步骤510，从预定缺陷图像集中的每个缺陷图像中提取缺陷区域的低层特征，其中，每个缺陷图像中的缺陷的缺陷类别是已知的。
可选地，在步骤510中提取缺陷区域的低层特征的步骤与参考图2描述的缺陷分类方法中的步骤210相似，因此在此省略对提取缺陷区域的低层特征的具体描述。
可选地，预定缺陷图像集用于训练分类器。
在步骤520，基于所有缺陷区域的低层特征构建缺陷词典。
可选地，如图6所示，构建缺陷词典包括以下子步骤：
在步骤5201，对预定缺陷图像集中的所有缺陷图像的缺陷区域的低层特征进行聚类，得到缺陷类间词典Ud0。可选地，聚类中心数量设置为k1，此时缺陷类间词典Ud0包括k1个视觉单词。
在步骤5202，对该预定缺陷图像集中属于每个缺陷类的所有缺陷区域的低层特征进行聚类，得到每个缺陷类的缺陷类内词典。可选地，聚类中心数量设置为k2。同时，假设缺陷类别数量为n，则每个缺陷类的缺陷类内词典为Udk，k＝1…n，并且每个缺陷类的缺陷类内词典Udk包括k2个视觉单词。
在步骤5203，通过将每个缺陷类的缺陷类内词典Udk进行组合，得到缺陷类内词典[Ud1,Ud2,…Udn]。
在步骤5204，通过将该缺陷类内词典和该缺陷类间词典进行组合，得到缺陷词典U＝[Ud1,Ud2,…Udn,Ud0]。显然，该缺陷词典U包括k1+nk2个视觉单词。
在步骤530，利用缺陷词典U对每个缺陷区域的低层特征进行编码，以获得与每个缺陷区域的低层特征对应的每个缺陷的中层语义特征。
其中，利用缺陷词典U对每个缺陷区域的低层特征进行编码与步骤220类似，在此也省略对编码方法的具体描述。
在步骤540，基于获得的所述每个缺陷区域的中层语义特征以及其对应的缺陷的类别对分类器进行训练。
可选地，将每个缺陷区域的中层语义特征和已知的对应的缺陷的类别作为分类器的输入，以不断优化分类器的参数。
可选地，分类器可以选择SVM分类器，并且可以采用经典的一对多方法实现多类分类。
以上分别针对缺陷分类方法和缺陷分类的训练方法来对本公开实施例进行了描述，然而，本领域人员应该理解的是，可以容易地将两者进行组合，如图7所示，即首先利用包括已知缺陷类别的缺陷的预定缺陷图像集对分类器进行训练，其中在训练过程中提取预定缺陷图像集中的所有缺陷图像的缺陷区域的低层特征，基于预定缺陷图像集的缺陷区域的低层特征构建缺陷词典(包括缺陷类间词典和缺陷类内词典)，并利用缺陷词典对低层特征进行编码得到对应的中层语义特征，并训练分类器以生成分类模型；当获取了另一个缺陷图像并需要对其缺陷进行分类时，首先提取该另一个缺陷图像的缺陷的低层特征，基于训练阶段构建的缺陷词典获得该缺陷的中层语义特征，然后基于该缺陷的中层语义特征利用训练好的分类器(分类模型)对新获取的缺陷图像中的缺陷进行分类。
下面将参照图8描述根据本公开实施例的缺陷分类装置。图8是根据本公开实施例的缺陷分类装置的框图。由于本实施例的缺陷分类装置执行的操作与在上文中参照图2-3描述的方法的细节相同，因此在这里为了简单起见，省略对相同内容的详细描述。
如图8所示，缺陷分类装置800包括处理器801和存储器802。需要注意的是，尽管在图8中缺陷分类装置被示出为只包括2个装置，但这只是示意性的，缺陷分类装置也可以包括一个或多个其他装置。
图8中，存储器802用于存储计算机可执行指令，该计算机可执行指令在被处理器运行时执行如前面所述的方法的各个步骤。
该方法包括：从缺陷图像中提取缺陷区域的低层特征；利用缺陷词典，对低层特征进行编码，以得到与低层特征对应的中层语义特征；基于中层语义特征，将缺陷图像中的缺陷区域的缺陷分类为多个缺陷类之一，其中，缺陷词典包括缺陷类内词典和缺陷类间词典。
可选地，每个缺陷类的缺陷类内词典针对于该缺陷类特有的低层特征；以及缺陷类间词典针对于各缺陷类共有的低层特征。
可选地，缺陷类间词典是对预定缺陷图像集中的所有缺陷图像的缺陷区域的低层特征进行聚类而得到的；以及每个缺陷类的缺陷类内词典是对预定缺陷图像集中属于该缺陷类的所有缺陷区域的低层特征进行聚类而得到的；缺陷类内词典是通过将各缺陷类的缺陷类内词典组合而得到的；
缺陷词典是通过将缺陷类间词典和缺陷类内词典组合而得到的。
可选地，从缺陷图像中提取缺陷区域的低层特征包括：对缺陷图像进行图像分割，以提取缺陷区域；以及提取缺陷区域的低层特征。
可选地，低层特征包括：方向梯度直方图特征、尺度不变特征变换特征和加速的具有鲁棒特性的特征。
可选地，利用缺陷词典，对低层特征进行编码，以获得与低层特征对应的中层语义特征包括：
基于缺陷词典，利用下式对低层特征进行编码，得到与低层特征对应的特征编码矩阵V：
其中，
表示向量的2范数的平方，对应于向量中每个元素的平方和；‖·‖1表示向量的1范数，对应于向量中每个元素的绝对值的和；p是缺陷区域的特征区域数量；xi是缺陷区域的单个特征区域i(1≤i≤p)的低层特征向量；U是缺陷词典矩阵；vi是与每个xi对应的每个向量，p个vi构成了特征编码矩阵V；λ‖vi‖1是约束条件，使得vi的每个元素的绝对值的和不能太大；
其中，特征编码矩阵V使得上式取得最小值。
可选地，中层语义特征包括词包模型，利用缺陷词典，对低层特征进行编码，以获得与低层特征对应的中层语义特征还包括：根据特征编码矩阵V得到缺陷区域的词包模型。
可选地，缺陷类包括暗点类、亮点类、划痕类、玻璃破类、漏液类、膜不良类；将缺陷图像中的缺陷区域的缺陷分类为多个缺陷类之一包括：将缺陷图像中的缺陷分类为暗点类、亮点类、划痕类、玻璃破类、漏液类、膜不良类之一。
下面将参照图9描述根据本公开实施例的缺陷分类的训练装置。图9是根据本公开实施例的缺陷分类的训练装置的框图。由于本实施例的缺陷分类的训练装置执行的操作与在上文中参照图5-6描述的方法的细节相同，因此在这里为了简单起见，省略对相同内容的详细描述。
如图9所示，缺陷分类的训练装置900包括处理器901和存储器902。需要注意的是，尽管在图9中缺陷分类的训练装置被示出为只包括2个装置，但这只是示意性的，缺陷分类的训练装置也可以包括一个或多个其他装置。
图9中，存储器902用于存储计算机可执行指令，该计算机可执行指令在被处理器运行时执行如前面所述的方法的各个步骤。
该方法包括：从预定缺陷图像集中的每个缺陷图像中提取缺陷区域的低层特征，其中，缺陷区域的缺陷的缺陷类是已知的；基于所有缺陷区域的低层特征构建缺陷词典；利用缺陷词典对每个缺陷区域的低层特征进行编码，以获得与每个缺陷区域的低层特征对应的、每个缺陷区域的中层语义特征；以及基于获得的每个缺陷区域的中层语义特征以及其对应的缺陷的缺陷类对分类器进行训练，其中，缺陷词典包括缺陷类内词典和缺陷类间词典。
可选地，每个缺陷类的缺陷类内词典针对于该缺陷类特有的低层特征；以及缺陷类间词典针对于各缺陷类共有的低层特征。
可选地，基于所有缺陷区域的低层特征构建缺陷词典包括：对预定缺陷图像集中的所有缺陷图像的缺陷区域的低层特征进行聚类，得到缺陷类间词典；对预定缺陷图像集中属于每个缺陷类的所有缺陷区域的低层特征进行聚类，得到每个缺陷类的缺陷类内词典；通过将每个缺陷类的缺陷类内词典进行组合，得到缺陷类内词典；以及通过将缺陷类间词典和缺陷类内词典进行组合，得到缺陷词典。
可选地，从预定缺陷图像集中的每个缺陷图像中提取缺陷区域的低层特征包括：对每个缺陷图像进行图像分割，以提取缺陷区域；以及提取缺陷区域的低层特征。
可选地，缺陷类包括暗点类、亮点类、划痕类、玻璃破类、漏液类、膜不良类。
虽然已经针对本主题的各种具体示例实施例详细描述了本主题，但是每个示例通过解释而不是限制本公开来提供。本领域技术人员在得到对上述内容的理解后，可以容易地做出这样的实施例的变更、变化和等同物。因此，本发明并不排除包括将对本领域普通技术人员显而易见的对本主题的这样的修改、变化和/或添加。例如，作为一个实施例的一部分图示或描述的特征可以与另一实施例一起使用，以产生又一实施例。因此，意图是本公开覆盖这样的变更、变化和等同物。
具体地，尽管本公开的附图出于图示和讨论的目的分别描述了以特定顺序执行的步骤，但是本公开的方法不限于特定图示的顺序或布置。在不偏离本公开的范围的情况下，上述方法的各个步骤可以以各种方式省略、重新布置、组合和/或调整。
本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。
Claims (11)
1.一种缺陷分类方法，包括：
从缺陷图像中提取缺陷区域的低层特征；
利用缺陷词典，对所述低层特征进行编码，以得到与所述低层特征对应的中层语义特征；
基于所述中层语义特征，将所述缺陷图像中的缺陷区域的缺陷分类为多个缺陷类之一，
其中，所述缺陷词典包括缺陷类内词典和缺陷类间词典，
其中，每个缺陷类的缺陷类内词典针对于该缺陷类特有的低层特征，并且是对预定缺陷图像集中属于该缺陷类的所有缺陷区域的低层特征进行聚类而得到的，所述缺陷类内词典是通过将每个缺陷类的缺陷类内词典组合而得到的，
其中，所述缺陷类间词典针对于各缺陷类共有的低层特征，并且是对预定缺陷图像集中的所有缺陷图像的缺陷区域的低层特征进行聚类而得到的；
其中，所述缺陷词典是通过将所述缺陷类间词典和所述缺陷类内词典组合而得到的，并且所提取的所述缺陷区域的低层特征的每个低层特征向量在通过所述缺陷词典编码后能够与所述缺陷词典中的多个视觉单词相对应。
2.如权利要求1所述的缺陷分类方法，其中，从缺陷图像中提取缺陷区域的低层特征包括：
对缺陷图像进行图像分割，以提取缺陷区域；以及
提取所述缺陷区域的低层特征。
3.如权利要求1所述的缺陷分类方法，其中，所述低层特征包括：方向梯度直方图特征、尺度不变特征变换特征和加速的具有鲁棒特性的特征。
4.如权利要求1所述的缺陷分类方法，其中，利用所述缺陷词典，对所述低层特征进行编码，以获得与所述低层特征对应的中层语义特征包括：
基于缺陷词典，利用下式对所述低层特征进行编码，得到与所述低层特征对应的特征编码矩阵V：
其中，
表示向量的2范数的平方，对应于向量中每个元素的平方和；||·||1表示向量的1范数，对应于向量中每个元素的绝对值的和；p是缺陷区域的特征区域数量；xi是缺陷区域的单个特征区域i(1≤i≤p)的低层特征向量；U是缺陷词典矩阵；vi是与每个xi对应的每个向量，p个vi构成了特征编码矩阵V；λ||vi||1是约束条件，使得vi的每个元素的绝对值的和不能太大；
其中，所述特征编码矩阵V使得上式取得最小值。
5.如权利要求4所述的缺陷分类方法，其中，所述中层语义特征包括词包模型，所述利用所述缺陷词典，对所述低层特征进行编码，以获得与所述低层特征对应的中层语义特征还包括：
根据所述特征编码矩阵V得到所述缺陷区域的词包模型。
6.如权利要求1所述的缺陷分类方法，其中，所述缺陷类包括暗点类、亮点类、划痕类、玻璃破类、漏液类、膜不良类；
所述将所述缺陷图像中的缺陷区域的缺陷分类为多个缺陷类之一包括：将所述缺陷图像中的缺陷区域的缺陷分类为暗点类、亮点类、划痕类、玻璃破类、漏液类、膜不良类之一。
7.一种缺陷分类的训练方法，包括：
从预定缺陷图像集中的每个缺陷图像中提取缺陷区域的低层特征，其中，所述缺陷区域的缺陷的类别是已知的；
对所述预定缺陷图像集中的所有缺陷图像的缺陷区域的低层特征进行聚类，得到缺陷类间词典，其中所述缺陷类间词典针对于每个缺陷类共有的低层特征；
对所述预定缺陷图像集中属于每个缺陷类的所有缺陷区域的低层特征进行聚类，得到所述每个缺陷类的缺陷类内词典，其中每个缺陷类的缺陷类内词典针对于该缺陷类特有的低层特征；
通过将所述每个缺陷类的缺陷类内词典进行组合，得到缺陷类内词典；以及
通过将所述缺陷类间词典和所述缺陷类内词典进行组合，得到缺陷词典；
利用所述缺陷词典对每个缺陷区域的低层特征进行编码，以获得与所述每个缺陷区域的低层特征对应的、所述每个缺陷区域的中层语义特征，其中每个缺陷区域的低层特征的每个低层特征向量在通过所述缺陷词典编码后能够与所述缺陷词典中的多个视觉单词相对应；以及
基于获得的所述每个缺陷区域的中层语义特征以及其对应的缺陷的类别对分类器进行训练。
8.如权利要求7所述的缺陷分类的训练方法，其中，所述从预定缺陷图像集中的每个缺陷图像中提取缺陷区域的低层特征包括：
对每个缺陷图像进行图像分割，以提取缺陷区域；以及
提取所述缺陷区域的低层特征。
9.如权利要求7所述的缺陷分类的训练方法，其中，所述缺陷类包括暗点类、亮点类、划痕类、玻璃破类、漏液类、膜不良类。
10.一种缺陷分类装置，包括：
处理器；和
存储器，用于存储计算机可执行指令，所述计算机可执行指令在被处理器运行时执行如权利要求1-6任一项所述的方法。
11.一种缺陷分类的训练装置，包括：
处理器；和
存储器，用于存储计算机可执行指令，所述计算机可执行指令在被处理器运行时执行如权利要求7-9任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910670824.2A CN110414538B (zh) | 2019-07-24 | 2019-07-24 | 缺陷分类方法、缺陷分类训练方法及其装置 |
| US16/859,332 US11334982B2 (en) | 2019-07-24 | 2020-04-27 | Method for defect classification, method for training defect classifier, and apparatus thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910670824.2A CN110414538B (zh) | 2019-07-24 | 2019-07-24 | 缺陷分类方法、缺陷分类训练方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110414538A CN110414538A (zh) | 2019-11-05 |
| CN110414538B true CN110414538B (zh) | 2022-05-27 |
Family
ID=68362786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910670824.2A Active CN110414538B (zh) | 2019-07-24 | 2019-07-24 | 缺陷分类方法、缺陷分类训练方法及其装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11334982B2 (zh) |
| CN (1) | CN110414538B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11138507B2 (en) * | 2017-09-28 | 2021-10-05 | Applied Materials Israel Ltd. | System, method and computer program product for classifying a multiplicity of items |
| US11861286B2 (en) * | 2020-06-30 | 2024-01-02 | Synopsys, Inc. | Segregating defects based on computer-aided design (CAD) identifiers associated with the defects |
| CN112200806A (zh) * | 2020-12-03 | 2021-01-08 | 晶芯成(北京)科技有限公司 | 一种晶圆的缺陷分析方法和系统 |
| CN114140679B (zh) * | 2021-10-26 | 2022-07-01 | 中科慧远视觉技术(北京)有限公司 | 一种缺陷融合方法、装置、识别系统及存储介质 |
| CN115082722B (zh) * | 2022-08-22 | 2022-11-01 | 四川金信石信息技术有限公司 | 基于正向样本的设备缺陷检测方法、系统、终端及介质 |
| CN115423798A (zh) * | 2022-09-22 | 2022-12-02 | 中广核核电运营有限公司 | 缺陷识别方法、装置、计算机设备、存储介质和计算机程序产品 |
| CN115564680B (zh) * | 2022-10-17 | 2023-03-28 | 陕西师范大学 | 基于二维多路径匹配追踪算法的图像去噪方法 |
| CN115861325B (zh) * | 2023-03-01 | 2023-06-20 | 山东中科冶金矿山机械有限公司 | 基于图像数据的悬架弹簧缺陷检测方法及系统 |
| CN116405661B (zh) * | 2023-04-28 | 2023-09-29 | 可诺特软件(深圳)有限公司 | 一种智能电视开发性能测试方法和装置 |
| CN116993718B (zh) * | 2023-09-25 | 2023-12-22 | 深圳市东陆科技有限公司 | 基于机器视觉的tft阵列基板缺陷检测方法 |
| CN117635609B (zh) * | 2024-01-25 | 2024-03-29 | 深圳市智宇精密五金塑胶有限公司 | 一种塑胶产品生产质量视觉检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934401A (zh) * | 2017-03-07 | 2017-07-07 | 上海师范大学 | 一种基于改进词袋模型的图像分类方法 |
| CN109084955A (zh) * | 2018-07-02 | 2018-12-25 | 北京百度网讯科技有限公司 | 显示屏质量检测方法、装置、电子设备及存储介质 |
| CN109509170A (zh) * | 2018-09-11 | 2019-03-22 | 韶关学院 | 一种压铸件缺陷检测方法及装置 |
| CN109858570A (zh) * | 2019-03-08 | 2019-06-07 | 京东方科技集团股份有限公司 | 图像分类方法及系统、计算机设备及介质 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63277960A (ja) * | 1987-05-11 | 1988-11-15 | Shokuhin Sangyo Onrain Sensor Gijutsu Kenkyu Kumiai | ねじ口部の欠陥検査方法 |
| JP3331127B2 (ja) * | 1995-08-22 | 2002-10-07 | 株式会社東芝 | マスク欠陥修正装置および修正方法 |
| US6104835A (en) * | 1997-11-14 | 2000-08-15 | Kla-Tencor Corporation | Automatic knowledge database generation for classifying objects and systems therefor |
| US8041103B2 (en) * | 2005-11-18 | 2011-10-18 | Kla-Tencor Technologies Corp. | Methods and systems for determining a position of inspection data in design data space |
| US7570796B2 (en) * | 2005-11-18 | 2009-08-04 | Kla-Tencor Technologies Corp. | Methods and systems for utilizing design data in combination with inspection data |
| JP5318784B2 (ja) * | 2007-02-23 | 2013-10-16 | ルドルフテクノロジーズ インコーポレイテッド | エッジビード除去プロセスを含む、ウェハ製造モニタリング・システム及び方法 |
| KR101030430B1 (ko) * | 2007-09-12 | 2011-04-20 | 주식회사 코아로직 | 영상 처리 장치와 방법 및 그 기록매체 |
| JP2011028512A (ja) * | 2009-07-24 | 2011-02-10 | Toshiba Corp | 紙葉類の正損判定用辞書作成方法、紙葉類処理装置、及び紙葉類処理方法 |
| CN102521799B (zh) * | 2011-11-21 | 2013-12-04 | 四川虹微技术有限公司 | 一种用于视频图像恢复增强的结构化稀疏词典的构造方法 |
| JP5957357B2 (ja) * | 2012-10-15 | 2016-07-27 | 株式会社日立ハイテクノロジーズ | パターン検査・計測装置及びプログラム |
| US20140270347A1 (en) * | 2013-03-13 | 2014-09-18 | Sharp Laboratories Of America, Inc. | Hierarchical image classification system |
| US10957032B2 (en) * | 2018-11-09 | 2021-03-23 | International Business Machines Corporation | Flexible visual inspection model composition and model instance scheduling |
-
2019
- 2019-07-24 CN CN201910670824.2A patent/CN110414538B/zh active Active
-
2020
- 2020-04-27 US US16/859,332 patent/US11334982B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934401A (zh) * | 2017-03-07 | 2017-07-07 | 上海师范大学 | 一种基于改进词袋模型的图像分类方法 |
| CN109084955A (zh) * | 2018-07-02 | 2018-12-25 | 北京百度网讯科技有限公司 | 显示屏质量检测方法、装置、电子设备及存储介质 |
| CN109509170A (zh) * | 2018-09-11 | 2019-03-22 | 韶关学院 | 一种压铸件缺陷检测方法及装置 |
| CN109858570A (zh) * | 2019-03-08 | 2019-06-07 | 京东方科技集团股份有限公司 | 图像分类方法及系统、计算机设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110414538A (zh) | 2019-11-05 |
| US20210027454A1 (en) | 2021-01-28 |
| US11334982B2 (en) | 2022-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110414538B (zh) | 缺陷分类方法、缺陷分类训练方法及其装置 | |
| Qureshi et al. | A bibliography of pixel-based blind image forgery detection techniques | |
| CN109840556B (zh) | 一种基于孪生网络的图像分类识别方法 | |
| Ye et al. | Real-time no-reference image quality assessment based on filter learning | |
| CN111161222B (zh) | 一种基于视觉显著性的印刷辊筒缺陷检测方法 | |
| US11144799B2 (en) | Image classification method, computer device and medium | |
| CN110008844B (zh) | 一种融合slic算法的kcf长期手势跟踪方法 | |
| CN106778814B (zh) | 一种基于投影谱聚类算法的去除sar图像斑点的方法 | |
| CN110414616B (zh) | 一种利用空间关系的遥感图像字典学习分类方法 | |
| AU2018207032B2 (en) | Logo detection video analytics | |
| US11816946B2 (en) | Image based novelty detection of material samples | |
| CN108932518B (zh) | 一种基于视觉词袋模型的鞋印图像特征提取及检索方法 | |
| CN112270317A (zh) | 一种基于深度学习和帧差法的传统数字水表读数识别方法 | |
| CN112001362A (zh) | 一种图像分析方法、图像分析装置及图像分析系统 | |
| CN116109915B (zh) | 一种集装箱箱门状态智能识别方法 | |
| CN111369523A (zh) | 显微图像中细胞堆叠的检测方法、系统、设备及介质 | |
| Wang et al. | A statistical feature based approach to distinguish PRCG from photographs | |
| CN110991374B (zh) | 一种基于rcnn的指纹奇异点检测方法 | |
| CN110689060B (zh) | 一种基于聚合特征差异学习网络的异源图像匹配方法 | |
| CN110766708B (zh) | 基于轮廓相似度的图像比较方法 | |
| CN112070116B (zh) | 一种基于支持向量机的艺术画作自动分类系统及方法 | |
| CN111768436B (zh) | 一种基于Faster-RCNN改进的图像特征块配准方法 | |
| Hong et al. | Saliency-based feature learning for no-reference image quality assessment | |
| Frias et al. | A high accuracy image hashing and random forest classifier for crack detection in concrete surface images | |
| Lázaro et al. | SOM Segmentation of gray scale images for optical recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |