CN104392432A - 基于方向梯度直方图的显示面板缺陷检测方法 - Google Patents

Abstract

为了实现对显示面板缺陷精确、快速的自动检测，本发明采用一种结合图像特征提取与分类器模型的方法。根据检测设备上工业相机采集的显示面板图像，计算出图像的方向梯度直方图作为描述图像的特征向量，并以此作为输入样本训练分类器模型，从而识别出显示面板是否有缺陷。

Description

基于方向梯度直方图的显示面板缺陷检测方法

技术领域

本发明涉及显示面板领域，特别涉及一种基于方向梯度直方图的显示面板缺陷检测方法。

背景技术

随着显示技术的快速发展，生产过程中各个制程的面板缺陷检测成为保证和提升面板良率不可或缺的工序。显示面板的制程复杂，各种异物、mura、线路短路断路等缺陷类型繁多。目前TFT-LCD缺陷的检测方法主要有人工视觉检查法、自动视觉检查法和电学参数检测法。由于人工视觉检查法存在主观判断的差异和疲劳等因素导致的误判以及效率低下的问题，因此发展自动视觉检查技术是满足当前快速发展的TFT-LCD工业检测要求的有效途径。

自动视觉检查基于机器视觉技术，结合了计算机图像处理和模式识别，其主要思路是采集待检测对象的图像，提取图像中有价值的信息进行模式识别与分类，从而实现缺陷的判定和检测。基于机器视觉的检测适应范围广，准确有效且可靠性高，因此在现代工业检测中受到了越来越多的重视。

目前，应用在液晶面板缺陷检测上的机器视觉检测技术例如有二维DWT算法、奇异值分解图象重构法、结合一维傅里叶变换和全尺寸小波变换提取缺陷特征信息的方法以及基于Chan-Vese模型的分割算法等。然而，基于机器视觉的自动检测技术在检测的准确性和速度上往往不能兼顾，影响了显示面板产能的提升。

发明内容

本发明的目的在于提供一种基于方向梯度直方图的显示面板缺陷检测方法，以提高显示面板缺陷检测的准确度和检测效率。

本发明采用的技术方案如下：

本发明一方面提供一种基于方向梯度直方图的显示面板缺陷检测方法，其包含步骤：利用工业相机拍摄显示面板之基板的图像；对该图像中的感兴趣区域进行检测，该图像中的感兴趣区域为待检测图像；提取该待检测图像的方向梯度直方图的特征描述子；将该特征描述子输入到一训练好的分类器模型进行分类识别；以及根据该训练好的分类器模型的判定，输出检测结果。

于一实施例中，在对该图像中的感兴趣区域进行检测的步骤之前，还包含：对该工业相机所拍摄到的该显示面板之基板的图像进行图像预处理。

于一实施例中，该图像预处理包含降噪处理。

于一实施例中，所述方法还包含：收集有缺陷的正样本图像和无缺陷的负样本图像；对所述正样本图像和负样本图像进行方向梯度直方图的特征提取；以及将所述正样本图像和负样本图像的方向梯度直方图特征输入分类器进行训练，以得出该已训练好的分类器模型。

于一实施例中，该分类器包括极限学习机。

于一实施例中，提取该待检测图像的方向梯度直方图的特征描述子的步骤包含：计算该待检测图像中各像素的梯度值；以胞元为单位统计出该待检测图像的方向梯度直方图，该胞元由若干像素组成；对该方向梯度直方图以块为单位进行归一化，该块由若干胞元组成；以及将该待检测图像中的所有块收集起来，构成该待检测图像的方向梯度直方图的特征描述子。

于一实施例中，在计算该待检测图像中各像素的梯度值的步骤中采用一阶对称的[-1,0,1]微分模版进行梯度计算。

于一实施例中，在以胞元为单位统计出该待检测图像的方向梯度直方图的步骤中采用9个梯度方向区间来分类各像素的梯度方向。

于一实施例中，在对该方向梯度直方图以块为单位进行归一化的步骤中采用的归一化方法为L2-norm，其表达式为：

$v\→v/\sqrt{{\left|\right|v\left|\right|}_2^2+{\mathrm{\ϵ}}^2}$

其中v为未归一化的描述子向量，||v||k为它的k-norm(k＝1，2)，ε是一个使得上式分母不为零的足够小的常数。

本发明另一方面提供一种基于方向梯度直方图的显示面板缺陷检测方法，其包含步骤：收集正样本图像和负样本图像；对所述正样本图像和负样本图像进行方向梯度直方图的特征提取；将所述正样本图像和负样本图像的方向梯度直方图特征输入分类器进行训练，以得出一已训练好的分类器模型；采用预先设定大小的检测窗口对检测设备所采集的整幅图像进行遍历扫描；对一个检测窗口中的图像提取其方向梯度直方图的特征描述子，并对所有检测窗口中的图像进行相同操作；将所述检测窗口之图像的各个特征描述子输入到一训练好的分类器模型进行分类识别；以及根据该训练好的分类器模型的判定，输出各个检测窗口之图像的缺陷检测结果。

本发明首次将HOG特征应用于显示面板缺陷检测，并针对HOG特征计算复杂，计算时间较长的特点，采用基于ROI的方法提取图像HOG特征，减少了计算量和计算时间，更提高了检测识别的准确度。

为让本发明的上述内容能更明显易懂，下文特举优选实施例，并配合所附图式，作详细说明如下：

附图说明

图1显示本发明之缺陷检测技术整体概念图。

图2A显示未出现源漏极短路的正常图像。

图2B显示源漏极短路图像。

图3显示本发明之基于方向梯度直方图的显示面板缺陷检测方法的流程示意图。

图4显示图3中提取该待检测图像的方向梯度直方图的特征描述子的步骤的流程示意图。

图5A显示一幅原始图像。

图5B显示对图5A的原始图像进行梯度计算后的图像。

图6A显示采集设备采集到的图像的一部分。

图6B显示图6A之图像中的黑框的放大示意图，其中一个胞元包括若干个像素。

图6C显示各像素的梯度方向。

图6D显示一个梯度方向直方图。

图6E显示三维形式的归一化后的块方向梯度直方图。

图7显示分类器的训练流程示意图。

图8A显示在分类器训练过程中使用的正样本图像的一部分。

图8B显示在分类器训练过程中使用的负样本图像的一部分。

具体实施方式

以下各实施例的说明是参考附加的图式，用以例示本发明可用以实施的特定实施例。

方向梯度直方图(Histogram of Oriented Gradient,HOG)特征描述方法最初用于人体检测及行人跟踪，但是HOG特征算法相对复杂，导致计算耗时较长。本发明首次将HOG特征描述子引入显示面板缺陷检测，针对其不足之处，采用了仅对感兴趣区域(Region of Interest,ROI)进行特征提取以达到特征降维和减少计算时间的目的，同时首次将极限学习机分类器应用于缺陷检测。实验结果表明，本发明提出的基于方向梯度直方图的显示面板缺陷检测方法对显示面板缺陷的检测准确而快速。

请参阅图1，本发明的缺陷检测算法主要由两大部分组成：第一部分是正负样本图像的收集、HOG特征提取和将样本特征输入分类器进行训练得到可用的分类器模型；第二部分是将检测设备上的工业相机拍摄得到显示面板(如TFT-LCD)之基板图像输入计算机中进行基本的图像预处理(例如降噪处理)，而后进行HOG特征提取，将计算得到的特征向量输入到训练好的分类器模型进行分类识别，从而给出分类判定，并输出检测结果，指出所检测的图像是否出现缺陷。

显示面板的的缺陷有很多种，下文所提出的检测算法是以线路缺陷中的源漏极短路为例，但本发明同样也适用于其他各种类型的缺陷。源漏极短路是一种常见的TFT-LCD线路缺陷，如图2A和图2B所示，图2A为正常图像，图2B为源漏极短路图像，薄膜晶体管的源极和漏极之间发生短路容易产生亮点，从而影响画面的显示质量。

请参阅图3，其显示本发明之基于方向梯度直方图的显示面板缺陷检测方法的流程示意图，其对应于上述第二部份，具体可包括如下步骤：

步骤S10、利用工业相机拍摄显示面板之基板的图像；

步骤S12、对该图像中的感兴趣区域进行检测，该图像中的感兴趣区域为待检测图像；

步骤S14、提取该待检测图像的方向梯度直方图的特征描述子；

步骤S16、将该特征描述子输入到一训练好的分类器模型进行分类识别；以及

步骤S18、根据该训练好的分类器模型的判定，输出检测结果。

在步骤S10中，利用设置在检测设备中的工业相机来撷取显示面板(如TFT-LCD)之基板的图像，例如拍摄TFT Array基板的图像以检测源漏极短路缺陷，此拍摄图像的动作可在显示面板的制作过程中进行，以即时检测显示面板制作过程中各个阶段可能出现的缺陷，例如在TFT源漏极制作完成后，未进行cell制程前，对该TFT Array基板上的源漏极短路缺陷进行检测。

在步骤S12中，选取该图像中感兴趣的区域(Region ofInterest,ROI)作为待检测图像来进行缺陷检测。以源漏极短路检测为例，该图像中的ROI例如为涵盖薄膜晶体管的配置区域，由于TFT Array基板中薄膜晶体管的大小固定、间隔相同，而源漏极短路缺陷发生的位置也固定，因此可以采用仅对该图像中感兴趣的区域进行检测的方式。例如，可以采用预先设定大小的检测窗口，对工业相机所拍摄到的显示面板之基板的图像，按薄膜晶体管的位置进行遍历扫描，每生成一个窗口就对该窗口内的图像进行源漏极短路缺陷检测。

接著在步骤S14中统计出该待检测图像(例如步骤S12中的窗口影像)的方向梯度直方图，并提取其特征描述子，其具体过程详如下文步骤S20～S26之描述。而后在步骤S16中将此特征描述子输入到训练好的分类器模型进行是否存在缺陷的判定，训练好的分类器模型会根据训练样本的分析处理，对步骤S14得出的特征描述子进行分类识别，分类器模型的建立详如下文步骤S30～S34的描述。最后在步骤S18输出检测结果，指出该待检测图像所对应的薄膜晶体管的源极和漏极是否出现短路缺陷。

其中，在步骤S14中提取该待检测图像的方向梯度直方图的特征描述子，具体可包括如下步骤：

步骤S20、计算该待检测图像中各像素的梯度值；

在此步骤中，运用梯度描述图像不但可以强化图像的轮廓，而且能弱化光照变化带来的影响。对于数字图像而言，可以将图像视为一个二维离散函数，计算图像的梯度就是对这个二维离散函数进行求导，实质上就是用图像水平和垂直像素的差分来逼近梯度算子。在实际应用中，计算梯度的近似值可以采用多种一阶微分模板，如一阶非对称的[-1,1]、一阶对称的[-1,0,1]、立方校正的[1,-8,0,8,-1]、3×3的索贝尔掩膜和2×2的对角掩膜等。

在本发明中，实验结果显示最简单的模板[-1,0,1]产生的效果最好，故在此步骤中较佳可采用一阶对称的[-1,0,1]微分模版。图5A显示一幅原始图像，而对该原始图像进行梯度计算后的图像如图5B所示。假设一幅图像的函数为f(x,y)，则采用一阶对称的[-1,0,1]模板来计算梯度的表达式为：

$\begin{array}{c}{f}_x(x,y)=f(x+1,y)-f(x-1,y)\\ f_y(x,y)=f(x,y+1)-f(x,y-1)\end{array}---\left(1\right)$

其中，f_x(x,y)和f_y(x,y)分别表示像素点(x,y)在水平方向和垂直方向的梯度值。

步骤S22、以胞元为单位统计出该待检测图像的方向梯度直方图，该胞元由若干像素组成；

在此步骤中，以胞元(cell)为单位统计出该待检测图像的方向梯度直方图是整个HOG特征提取相当关键的一步。胞元是HOG特征计算的最小单位，由若干像素组成，如图6A和图6B所示，图6B为图6A中的方框的放大示意图，图6B显示一个胞元由若干个像素构成。

如图6C所示，其显示了各像素之梯度的方向。将图像所在的平面划分为180°区间(即“无符号”梯度)，则梯度的方向由如下式(2)确定：

$\mathrm{\&theta;}=\left\{\begin{array}{cc}\mathrm{\&theta;}+\mathrm{\&pi;},& \mathrm{\&theta;}<0\\ \mathrm{\&theta;}.& \mathrm{\&theta;}\&GreaterEqual;0\end{array}\right.---\left(2\right)$

精确的方向划分对好的检测性能是必不可少的，当对180°区间进行均分直至9个，检测性能都在提升，当方向区间大于9个时，效果就不再明显，故本发明对于梯度直方图的方向区间较佳即设定为9个。

举例来说，截取该待检测图像中16×16像素的图像，以8×8像素为一胞元、2×2胞元为一块(Block)，方向区间划分为9个，即0～20°为第1区间，20～40°为第2区间，…，140～160°为第8区间，160～180°为第9区间，计算一个胞元中所有像素的梯度值和方向，例如假设某个像素的梯度方向为137°，则落在120～140°之间，即属于第7区间，则将该像素的梯度值作为加权权值累积到第7区间。同理，判断这个胞元里所有像素的梯度方向分别属于哪一区间，将对应的梯度值累加，最终就生成了该胞元的方向梯度直方图。该待检测图像中所有胞元的方向梯度直方图即组成了该待检测图像的方向梯度直方图。

步骤S24、对该方向梯度直方图以块为单位进行归一化，该块由若干胞元组成；以及

若干胞元组成为一个块，在此步骤中，将胞元统计形成的直方图以块为单位进行归一化。由于一幅图像的不同部分以及不同图像间存在因局部光照和前景背景对比的差异造成的梯度值差别较大的问题，所以为保证HOG特征描述的准确性与规范性，需要对图像进行局部对比度归一化。归一化是将胞元合并到更大的区域块中，并将每个块分别进行对比归一化。所有的块归一化后的胞元包含的向量(直方图的值归一化)就是最终的HOG特征描述子(如图6D和图6E所示)。由于图像中每一部分对其周围的区域都有影响，所以为保证检测性能，使各个块之间保持一定的重叠比例，这样就能使每个胞元的值同时对最终的描述子中的几个部分产生作用。

令v为未归一化的描述子向量，||v||k为它的k-norm(k＝1，2)，ε是一个足够小的常数，为避免分母为零。本揭露采用的归一化方法为L2-norm(或称欧几里德范数)，其表达式为：

$v\&RightArrow;v/\sqrt{{\left|\right|v\left|\right|}_2^2+{\mathrm{\&epsiv;}}^2}---\left(3\right)$

由其表达式可知，其分母实际上即为梯度的幅值。

由于平面划分为9个方向，故归一化后的胞元最终生成的是一个9维的向量。图6E中给出了三维形式的归一化后的块方向梯度直方图。于一具体实施例中，每一个块包含了4个胞元，每个胞元含有9个方向区间统计的梯度直方图，故每个块共包含9×4＝36维的特征向量。

步骤S26、将该待检测图像中的所有块收集起来，构成该待检测图像的方向梯度直方图的特征描述子。

在步骤S24将胞元统计形成的直方图以块为单位进行归一化后，将待检测图像中的所有块收集起来，构成的多维向量即为该幅图像最终的HOG特征描述子。

在步骤S20计算该待检测图像中各像素的梯度值之前，可以对步骤S12中得出的相应于感兴趣区域的待检测图像进行图像处理，例如采用伽马校正处理该待检测图像。在实际应用中，不同的检测设备存在差异，其采集的图像也存在色差和背景差异等，因此提取的HOG特征必须对这些差异不敏感才会有好的检测效果及鲁棒性。可以采用伽马校正对图像进行处理可以保证提高检测效果和对光照的鲁棒性(Robustness)。但是，由于在步骤S24中已对块进行了归一化，上述的图像预处理这一步可以省略。

伽马校正的常用方法有两种：平方根和对数压缩。本发明的实验结果显示，对于以RGB颜色空间信息描述的图像而言，对每个颜色通道进行平方根的伽马压缩可使得检测性能有小幅的提高，而使用对数压缩会因压缩幅度太大而使得检测性能恶化。

在本发明的具体实施例中，HOG特征是采用预先设定大小的检测窗口(Detection Window)对检测设备所采集的整幅图像进行遍历扫描，每生成一个窗口，就对在该窗口内的图像计算HOG特征向量。若块重叠率为0.5(即块与块之间重叠8个像素)，块大小为16×16像素，以检测设备采集的图像大小为768×576像素为例，则遍历扫描整幅采集图像共需对[(768–16)/8+1]×[(576–16)/8+1]＝6745个块进行计算，累计产生6745×36＝242820维向量，计算量非常大，实际计算一幅图像所需时间将近26s。

相应于上述步骤S12，本发明的具体实施例是对检测设备所采集到的图像中的感兴趣区域进行检测。根据TFT-LCD线路中薄膜晶体管大小、间隔相同的特点，加之源漏极短路缺陷的发生位置固定，因此采用仅对感兴趣区域进行HOG特征计算的方式达到减少计算时间和降维的目的。实验结果表明，能较好描述一个完整薄膜晶体管的图像大小为32×64像素。则计算其HOG特征仅产生[(32–16)/8+1]×[(64–16)/8+1]×36＝756维向量，维数大为减少，实际计算时间仅为0.2s左右。对于一幅采集图像而言，其包含的完整薄膜晶体管数至多为5个，因此对整幅采集图像仅需产生5个大小为32×64像素的窗口，计算总时间仅1s左右，大大提高了检测速度。

请参阅图7，其显示分类器的训练流程图，其对应于上述第二部份，即训练好的分类器模型的建立，具体包括如下步骤：

步骤S30、收集有缺陷的正样本图像和无缺陷的负样本图像；

步骤S32、对所述正样本图像和负样本图像进行方向梯度直方图的特征提取；以及

步骤S34、将所述正样本图像和负样本图像的方向梯度直方图特征输入分类器进行训练，以得出该已训练好的分类器模型。

在步骤S30中，根据本发明中所进行的实验，从检测设备拍摄到的显示面板图像中随机采集200个样本，其中源漏极短路正样本40个，部分正样本图像如图8A所示；负样本160个，其中正常源漏极负样本146个，考虑到窗口扫描位置偏差的可能，还增加了14个非薄膜晶体管的随机负样本图像，部分负样本图像如图8B所示。

在步骤S32中，对步骤S30随机采集的正负样本图像提取其方向梯度直方图的特征，例如对每个样本图像进行上述步骤S20至步骤S26，以得出每个样本图像的方向梯度直方图的特征描述子。之后，在步骤S34中，将所有样本图像的方向梯度直方图的特征描述子输入分类器进行训练，从而得出该已训练好的分类器模型，以方便在对显示面板进行缺陷检测时，通过将检测到的待检测图像的特征描述子输入到步骤S34中得出的已训练好的分类器模型进行分类识别，从而判断出哪些待检测图像存在缺陷。分类器例如可为向量机(SVM)和极限学习机(ELM)，以极限学习机为较佳。

提高检测设备对显示面板缺陷检测的准确度和检测效率对保证面板良率和提生产能具有重要意义。本发明首次将HOG特征应用于显示面板缺陷检测，并针对HOG特征计算复杂，计算时间较长的特点，采用基于ROI的方法提取图像HOG特征，减少了计算量和计算时间，更提高了检测识别的准确度。本揭露以源漏极短路缺陷为例计算其HOG特征作为样本输入，分别建立了SVM和ELM分类器模型。实验结果表明，基于HOG特征的TFT-LCD缺陷识别检测率在SVM和ELM分类模型下均达到了100％，并且ELM检测速度比SVM更快，仅为3.5s，满足了显示面板缺陷自动检测精确、快速的要求，适用于有一定实时性要求的检测系统。

综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (10)

1.一种基于方向梯度直方图的显示面板缺陷检测方法，其特征在于，包含步骤：

利用工业相机拍摄显示面板之基板的图像；

对该图像中的感兴趣区域进行检测，该图像中的感兴趣区域为待检测图像；

提取该待检测图像的方向梯度直方图的特征描述子；

将该特征描述子输入到一训练好的分类器模型进行分类识别；以及

根据该训练好的分类器模型的判定，输出检测结果。

2.根据权利要求1所述的基于方向梯度直方图的显示面板缺陷检测方法，其特征在于，在对该图像中的感兴趣区域进行检测的步骤之前，还包含：

对该工业相机所拍摄到的该显示面板之基板的图像进行图像预处理。

3.根据权利要求2所述的基于方向梯度直方图的显示面板缺陷检测方法，其特征在于：该图像预处理包含降噪处理。

4.根据权利要求1所述的基于方向梯度直方图的显示面板缺陷检测方法，其特征在于，所述方法还包含：

收集有缺陷的正样本图像和无缺陷的负样本图像；

对所述正样本图像和负样本图像进行方向梯度直方图的特征提取；以及

将所述正样本图像和负样本图像的方向梯度直方图特征输入分类器进行训练，以得出该已训练好的分类器模型。

5.根据权利要求4所述的基于方向梯度直方图的显示面板缺陷检测方法，其特征在于：该分类器包括极限学习机。

6.根据权利要求1所述的基于方向梯度直方图的显示面板缺陷检测方法，其特征在于，提取该待检测图像的方向梯度直方图的特征描述子的步骤包含：

计算该待检测图像中各像素的梯度值；

以胞元为单位统计出该待检测图像的方向梯度直方图，该胞元由若干像素组成；

对该方向梯度直方图以块为单位进行归一化，该块由若干胞元组成；以及

将该待检测图像中的所有块收集起来，构成该待检测图像的方向梯度直方图的特征描述子。

7.根据权利要求6所述的基于方向梯度直方图的显示面板缺陷检测方法，其特征在于：在计算该待检测图像中各像素的梯度值的步骤中采用一阶对称的[-1,0,1]微分模版进行梯度计算。

8.根据权利要求6所述的基于方向梯度直方图的显示面板缺陷检测方法，其特征在于：在以胞元为单位统计出该待检测图像的方向梯度直方图的步骤中采用9个梯度方向区间来分类各像素的梯度方向。

9.根据权利要求6所述的基于方向梯度直方图的显示面板缺陷检测方法，其特征在于：在对该方向梯度直方图以块为单位进行归一化的步骤中采用的归一化方法为L2-norm，其表达式为：

$v\&RightArrow;v/\sqrt{{\left|\right|v\left|\right|}_2^2+{\mathrm{\&epsiv;}}^2}$

其中v为未归一化的描述子向量，||v||_k为它的k-norm(k＝1，2)，ε是一个使得上式分母不为零的足够小的常数。

10.一种基于方向梯度直方图的显示面板缺陷检测方法，其特征在于，包含步骤：

收集正样本图像和负样本图像；

对所述正样本图像和负样本图像进行方向梯度直方图的特征提取；

将所述正样本图像和负样本图像的方向梯度直方图特征输入分类器进行训练，以得出一已训练好的分类器模型；

采用预先设定大小的检测窗口对检测设备所采集的整幅图像进行遍历扫描；

对一个检测窗口中的图像提取其方向梯度直方图的特征描述子，并对所有检测窗口中的图像进行相同操作；

将所述检测窗口之图像的各个特征描述子输入到一训练好的分类器模型进行分类识别；以及

根据该训练好的分类器模型的判定，输出各个检测窗口之图像的缺陷检测结果。