CN105913419B - 基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于ICA学习和多通道融合的TFT‑LCD mura缺陷检测方法，属于TFT‑LCD显示缺陷检测领域。本发明利用FastICA算法从大量样本图像中分离出相互独立的图像基，并使用图像基重建出背景图像，尽可能多地保留了背景信息，同时不受目标的影响，然后对测试图像与背景的差分图像进行阈值化，通过设定多个阈值减少潜在目标区域和噪声对目标分割的干扰，同时考虑到mura缺陷的色彩信息，引入多色彩通道融合的检测方案，兼顾了不同类型的mura缺陷检测。本发明能适应不同类型的mura缺陷检测，过检、漏检现象较少。

Description

基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法

技术领域

本发明属于TFT-LCD显示缺陷检测技术领域，具体涉及一种基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法。

背景技术

TFT-LCD是目前最受欢迎的显示器件，应用领域涉及工业控制、便携式移动产品、桌面显示器、电视机、航空、医疗和公共显示领域等。随着TFT-LCD制造技术日益复杂，mura缺陷在TFT-LCD屏幕中出现的概率随之增加。mura缺陷是用来描述人观看显示器时感知到的亮度不均衡性，是一种没有固定形状、边缘模糊的低对比度目标，其产生原因主要是电路或构造上的缺陷以及材料特性的不均匀。目前大多数企业采用传统人工法进行mura缺陷检测，存在效率低、一致性低、人工成本高、管理成本高等一系列问题。因此，研究快速高效的自动化mura缺陷检测和识别方法具有迫切需求和重要意义。

国内外研究机构和学者已经提出多种mura缺陷检测方法。如基于图像分割的方法，但是mura缺陷没有明显的边缘，传统的图像分割算法很难准确地分割出目标区域。基于特征分类的方法，采用小波分解和灰度共生矩阵提取图像特征后分类。但此类方法只适用于定性缺陷检测，仅能判断缺陷的有无。

基于背景重建的方法是主要的检测方法，主要采用基于频域滤波的方法、基于回归的方法、基于统计分析的方法等进行液晶屏背景建模，再利用图像差分提取低对比度mura目标。基于频域滤波的方法，如利用二维余弦变换(discrete cosine transfer，DCT)、小波变换(wavelettransform，WT)分别将图像变换至频域空间，通过滤去图像的高频信息来重建背景图像。但是低对比度的mura与背景不存在明显的界限，两者在频谱上并不能完全区分开。基于回归的方法，此类方法只对明显的异常点有较好的识别效果，对于低对比度的mura存在漏检现象。基于统计分析的方法采用主成分分析PCA、奇异值分解SVD、稀疏性限制下的低秩矩阵重建等方法进行背景建模。例如Yun等人于2014年在《1st IEEEInternational Conference on Consumer Electronics-Taiwan》上发表的《Automaticmura inspection using the principal component analysis for the TFT-LCDpanel》]认为目标对应于图像的细节信息，分别以图像的行/列作为样本数据，进行主成分分析(Principal Component Analyais,PCA)，通过只保留前k维特征来重建背景图像。

上述方法都潜在的以mura缺陷对应图像中的局部细节信息为前提，如果目标区域较大，也有可能在主要特征量中体现，从而影响背景重建的效果。且上述方法都是基于待测样本本身或者少量样本图像进行背景建模，无法区分出mura和背景自身的不均匀性变化，重建出的背景不具有普适性，且容易受到噪声干扰。并且没有考虑到将检测图片转化为灰度图像进行检测会使由色斑引起的mura缺陷丢失信息的问题。

经检索，关于TFT-LCD的mura缺陷检测已有较多专利公开。如中国专利号200810117992.0，授权公告日为2011年4月13日，发明创造名称为：液晶显示面板云纹缺陷的检测方法和检测装置；该申请案的检测方法包括：步骤1、采集所要检测的液晶显示面板的样本图像；步骤2、根据所述样本图像，利用B样条最小二乘法拟合出所述样本图像所对应的背景图像；步骤3、将所述样本图像和背景图像进行比较，获取云纹缺陷图像。液晶显示面板云纹缺陷的检测装置包括样本图像采集模块、背景图像拟合模块、缺陷图像获取模块。该申请案提供的云纹缺陷的检测方法效率较高，但该申请案同样存在基于待测样本本身进行背景建模，无法区分出mura和背景自身的不均匀性变化，重建出的背景不具有普适性，且容易受到噪声干扰的问题。

发明内容

1.发明要解决的技术问题

为了解决现有技术中的问题，本发明提出一种基于ICA学习和多通道融合的TFT-LCDmura缺陷检测方法；本发明挑选大量无缺陷样本构建训练样本集，使用FastICA算法从样本集中分离出独立的图像基，并将测试图像投影到图像基上，重构出背景图像，再使用阈值化模型准确分割出差分图中mura区域，并且融合灰度域和S域两种通道的检测结果作为最终的检测结果，解决了由于图像背景亮度不均匀导致的mura缺陷不能被准确分割以及色斑mura信息丢失的问题。

2.技术方案

为达到上述目的，本发明提供的技术方案为：

本发明的基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法，其步骤为：

第1步：选择N张不含缺陷的图像分割成m×n的子块图像，分别提取灰度图像和HSV色彩模型中的S通道图像，构成灰度域训练样本集和S域训练样本集；

第2步：使用FastICA算法分别对两个训练样本集矩阵进行无监督学习，分离出相互独立的图像基；

第3步：将测试图像分割成m×n的子块图像，并提取灰度域和S域图像，对应投影到步骤2所得图像基上，得到投影系数，然后用投影系数重建出子块图像的灰度域和S域背景图像；

第4步：分别在灰度域和S域，用子块测试图像减去重建出的背景图像，得到差分图像，将差分图的像素值取绝对值，然后进行中值滤波；

第5步：构建多阈值模型对步骤4得到的差分图像进行阈值化分割，提取mura缺陷区域；

第6步：融合灰度域和S域两种通道的检测结果，得到最终的检测结果。

更进一步地，步骤1中选择100张不含缺陷的图像分割成500×500的子块图像。

更进一步地，步骤2学习得到图像基的具体方法如下：

对训练样本I进行去均值、白化处理：

其中Λ、U分别表示协方差矩阵的特征值矩阵和对应的特征向量矩阵，图像基Y表示为：

Y＝WZ

使用FastICA算法求解解混矩阵W，从而分离出独立的图像基Y。

更进一步地，步骤(3)对测试图像进行背景重建的具体方法如下：

(a)将大小为m×n的测试图像转换成1×(m×n)的行向量d，将d投影到图像基Y上，得到投影系数b：

b＝d·pinv(Y)

其中pinv(Y)表示Y的伪逆矩阵；

(b)使用投影系数b重构图像背景background＝b·Y，将background还原成m×n的矩阵即为重建出的背景图像矩阵。

更进一步地，步骤(5)构建多阈值的阈值化模型的具体方法如下：

(a)对差分图像素值由大到小排序，以前C₁×100％的像素点为目标区域，对剩余的像素点计算均值和方差；

(b)确定绝对mura区域，设置阈值C₃，小于C₃的像素点为背景区域，大于C₃的像素点为绝对mura区域；

(c)获得不确定mura区域，设定阈值C₂，C₂＜C₃，小于C₃大于C₂的像素点为不确定mura区域；

(d)去除小面积噪声，统计不确定mura区域的连通域面积大小，将小于面积阈值AThres的区域视为噪声去除，保留大于AThres的区域，加上绝对mura区域，获得最终的mura目标区域。

更进一步地，设定灰度域阈值C₁＝0.1、C₂＝0.3、C₃＝0.6、AThres＝50，S域阈值C₁＝0.1、C₂＝0.2、C₃＝0.4、AThres＝50。

3.有益效果

采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：

(1)本发明的基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法，在背景重建中引入学习的机制，通过对大量样本的学习，自动提取背景和目标的差异特性，从而使得重建的图像能够在尽可能多地保留背景信息的同时不受目标的影响；

(2)本发明的基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法，引入了多通道融合的检测方案，分别提取灰度域图像和S域图像构成训练集，学习得到灰度域图像基和S域图像基，将不同色彩域的测试图像投影到对应的图像基上，重建出不同色彩域的背景图像，得到相应的差分图，最后对两者的差分图进行分割，并将两种通道的分割结果相加，得到最终的缺陷检测结果，充分考虑到mura缺陷的色彩信息，对不同类型的mura缺陷都有好的检测效果，尤其是对由色斑引起的mura缺陷；

(3)本发明的基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法，提出的多阈值的阈值化模型，在准确分割出差分图中mura区域的同时降低了噪声的干扰；

(4)本发明的基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法，能适应不同类型的mura缺陷检测，过检、漏检现象较少。

附图说明

图1为本发明提出的基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法的流程图；

图2中的(a)～(e)为不同分割算法的分割效果对比图；

图3中的(a)～(d)为不同类型的mura缺陷检测效果图。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。

实施例1

结合图1，本实施例的一种基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法，挑选大量无缺陷样本构建训练样本集，使用FastICA算法从样本集中分离出独立的图像基，并将测试图像投影到图像基上，重构出背景图像，再使用阈值化模型准确分割出差分图中的mura区域，并且融合灰度域和S域两种通道的检测结果作为最终的检测结果。通过在背景重建中引入学习的机制，从而使得重建的图像能够在尽可能多地保留背景信息的同时不受目标的影响；且充分考虑到mura缺陷的色彩信息，引入多通道融合的检测方案，对不同类型的mura缺陷都有好的检测效果，尤其是对由色斑引起的mura缺陷。

下面对本实施例的具体实现方法进行详细介绍。本实施例的检测步骤如下；

第1步：构造训练样本集

选择大规模、多类型的均匀无缺陷图像集，相机采集到的图像尺寸一般都比较大，不利于训练学习，需要分割成m×n的子块图像，根据经验500×500的图像尺寸比较合适。样本越多提取的图像基越具有普适性，背景重建效果越好，但也同时会耗费更多的重建时间。为了兼顾重建效果和时间效率，挑选其中的100张分别提取灰度图像和HSV色彩模型中的S通道图像，构成灰度域训练样本集和S域训练样本集，样本集中的图片基本覆盖当前样本的呈现类型，且展现形式较为充足，这样学习得到的图像基对背景的还原能力更充分，具体方法如下：

将N幅m×n的无缺陷图像转换成1×(m×n)的行向量X，组成样本矩阵I＝[X₁,X₂,...,X_N]^T，其中行向量X_i对应于第i幅训练图像，构建方式如下：

分别提取N幅m×n的无缺陷图像的灰度图像和HSV色彩模型中的S通道图像，按照上述的构造方式构造灰度域训练样本集和S域训练样本集。

第2步：使用FastICA算法分别对灰度域训练样本集矩阵和S域训练样本集矩阵进行无监督学习，分离出相互独立的图像基，具体方法如下：

独立成分分析(ICA)是一种基于高阶统计信息的去相关多元数据处理方法，能把一组混合信号分解为独立的成分。在ICA模型中，混合信号X＝[x₁,x₂,....,x_n]^T可以表示成公式：

其中A是混合矩阵，S是独立的源信号，都不能直接从混合信号X中分离出来。ICA算法通过X求得一个解混矩阵W，分解所获得的信号Y是S的最优逼近，该关系可以通过下式表示：

Y＝WX＝WAS,A＝inv(W) (3)

其中Y＝[y₁,y₂,....,y_n]^T。如果将X看成训练图像集，则Y可看成是独立的图像基。

快速独立分量分析(FastICA)方法以最大负熵为目标函数，利用了牛顿迭代法原理，具有较快的收敛速度，本实施例采用FastICA算法求解独立成分。

对训练样本I进行去均值、白化处理，分别如公式(4)、(5)所示。

其中Λ、U分别表示协方差矩阵的特征值矩阵和对应的特征向量矩阵。则图像基Y可表示为：

Y＝WZ (6)

使用FastICA算法求解解混矩阵W，从而分离出独立的图像基Y。

按照上述方法，使用FastICA算法分别求解出灰度域和S域的图像基。

第3步：对测试图像进行背景重建，具体步骤如下：

(a)将测试图像分割成m×n的子块图像，m×n为500×500，分别提取测试图像的灰度域和S域图像，并分别转换成1×(m×n)的行向量d。

(b)将提取的灰度域和S域图像投影到对应的图像基上，得到投影系数b

b＝d·pinv(Y) (7)

其中pinv(Y)表示Y的伪逆矩阵。

(c)使用投影系数b重构图像背景background＝b·Y，将background还原成m×n的矩阵，即为重建出的子块图像的灰度域和S域背景图像矩阵。

第4步：分别在灰度域和S域，用子块测试图像减去重建出的背景图像，得到差分图像，将差分图的像素值都取绝对值，然后进行中值滤波，去除小的噪点。

第5步：构建一个多阈值模型对步骤4得到的差分图像进行阈值化分割，提取出mura缺陷区域。

发明人指出：待分割的差分图中可能包含了目标区域，整体均值和方差就会受到干扰，传统的阈值化方法无法准确地分割出mura区域。于是有研究学者先排除这部分的像素后计算均值和方差，再进行阈值化分割。但是该方法分割出的目标区域依然存在很多噪声。在此基础上，发明人提出一种多阈值分割算法，先排除差分图内最大的前C1×100％的像素点计算均值和方差，然后再设定阈值C2、C3划分绝对mura区域和不确定mura区域，并将不确定mura区域内的小面积噪声去除，最后融合绝对mura区域和不确定mura区域作为最终的分割结果。具体的阈值化模型如下：

(a)对差分图像素值由大到小排序得到r_i，假设前C₁×100％的像素点为目标区域，对剩余的像素点计算均值μ和方差σ，如公式(8)、(9)所示。

(b)确定绝对mura区域，设置阈值C₃，小于C₃的像素点为背景区域，大于C₃的像素点为绝对mura区域。

其中“255”表示绝对mura区域的像素，“0”表示背景区域的像素,ResIm表示中值滤波后的差分图。

(c)获得不确定mura区域，设定阈值C₂(小于C₃)，小于C₃大于C₂的像素点为不确定mura区域。

其中“255”表示不确定mura区域的像素，“0”表示背景区域的像素。

(d)去除小面积噪声，统计不确定mura区域的连通域面积大小，将小于面积阈值AThres的区域视为噪声去除，保留大于AThres的区域，加上绝对mura区域，获得最终的mura目标区域。

执行(c)和(d)是为了去除小面积噪声的同时保护小面积但高对比度的点状mura，不让其被当成噪声去除而造成漏检。

对不同色彩域阈值设定不同，S域图像较灰度域图像整体色度会偏暗，所以阈值也会较小。根据大量的实验结果，设定灰度域阈值C₁＝0.1、C₂＝0.3、C₃＝0.6、AThres＝50，S域阈值C₁＝0.1、C₂＝0.2、C₃＝0.4、AThres＝50。

如图2所示，图2中的(a)是一张含有区域mura的测试图像的灰度图，对其差分图使用不同方法进行阈值化分割；图2中的(b)是OTSU算法的分割效果，分割效果不理想；图2中的(c)是C₁＝0、C₂＝0.3的分割效果，只分割出了目标区域的一小部分，分割不够准确；图2中的(d)是C₁＝0.1、C₂＝0.3，而未设定C₃、AThres两个阈值的分割效果，能分割出目标区域的整体轮廓，但存在大量的噪点；图2中的(e)是C₁＝0.1、C₂＝0.3、C₃＝0.6、AThres＝50的分割效果，准确分割出目标区域的同时去除了大量噪声。

由于S域图像的整体对比度会比灰度域低，S域阈值C₂和C₃的设定会比灰度域阈值小，分别设为0.2、0.4，其他两个阈值相同。

第6步：融合灰度域和S域两种通道的检测结果，即将两者的分割结果图像相加，得到最终的检测结果。

选择含有不同类型mura的测试图片进行检测，检测结果如图3所示。图3中的(a)、(b)、(c)、(d)分别表示区域mura、点mura、条状mura和色斑mura的灰度图和多通道融合的检测结果。从检测结果可以看出本发明提出的算法能对不同类型的mura缺陷均有好的检测效果。

同时选择80张有缺陷图片和80张无缺陷的图片进行检测，并与Yun提出PCA重建算法进行比较，检测结果如表1所示。从表1可以看出，本发明提出的算法对有缺陷图片和无缺陷图片的检测成功率均高于Yun的算法，这说明本发明提出的算法对有缺陷和无缺陷图片具有较好的识别效果。

表1 mura检测结果的综合比较

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (3)

1.基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法，其步骤为：

第1步：选择N张不含缺陷的图像分割成m×n的子块图像，分别提取灰度图像和HSV色彩模型中的S通道图像，构成灰度域训练样本集和S域训练样本集；

第2步：使用FastICA算法分别对两个训练样本集矩阵进行无监督学习，分离出相互独立的图像基；

第3步：对测试图像进行背景重建，具体步骤如下：

(a)将测试图像分割成m×n的子块图像，m×n为500×500，分别提取测试图像的灰度域和S域图像，并分别转换成1×(m×n)的行向量d；

(b)将提取的灰度域和S域图像投影到对应的图像基上，得到投影系数b

b＝d·pinv(Y)

其中pinv(Y)表示Y的伪逆矩阵；

(c)使用投影系数b重构图像背景background＝b·Y，将background还原成m×n的矩阵，即为重建出的子块图像的灰度域和S域背景图像矩阵；

第4步：分别在灰度域和S域，用子块测试图像减去重建出的背景图像，得到差分图像，将差分图的像素值取绝对值，然后进行中值滤波；

第5步：构建多阈值模型对步骤4得到的差分图像进行阈值化分割，提取mura缺陷区域；构建多阈值的阈值化模型的具体方法如下：

(a)对差分图像素值由大到小排序，以前C₁×100％的像素点为目标区域，对剩余的像素点计算均值和方差；

(b)确定绝对mura区域，设置阈值C₃，小于C₃的像素点为背景区域，大于C₃的像素点为绝对mura区域；

(c)获得不确定mura区域，设定阈值C₂，C₂＜C₃，小于C₃大于C₂的像素点为不确定mura区域；

(d)去除小面积噪声，统计不确定mura区域的连通域面积大小，将小于面积阈值AThres的区域视为噪声去除，保留大于AThres的区域，加上绝对mura区域，获得最终的mura目标区域；

其中，设定灰度域阈值C₁＝0.1、C₂＝0.3、C₃＝0.6、AThres＝50，S域阈值C₁＝0.1、C₂＝0.2、C₃＝0.4、AThres＝50；

第6步：融合灰度域和S域两种通道的检测结果，得到最终的检测结果。

2.根据权利要求1所述的基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法，其特征在于：步骤1中选择100张不含缺陷的图像分割成500×500的子块图像。

3.根据权利要求1或2所述的基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法，其特征在于：步骤2学习得到图像基的具体方法如下：

对训练样本I进行去均值、白化处理：

W₀＝Λ^-1/2U^T

其中Λ、U分别表示协方差矩阵的特征值矩阵和对应的特征向量矩阵，图像基Y表示为：

Y＝WZ

使用FastICA算法求解解混矩阵W，从而分离出独立的图像基Y。