CN1928535A - 一种基于机器视觉的液晶显示器斑痕缺陷检测方法与系统 - Google Patents

Abstract

本发明公开了一种基于机器视觉的液晶显示器的斑痕缺陷的检测方法，包括以下步骤：获取多幅待测液晶显示器的图像；滤除图像的随机噪声；获得一个近似通过给定数据点、能反映数据点的基本趋势的多项式曲面；将经滤波去除随机噪声的图像减去多项式曲面，将拟合精度超过一定阈值的像素作为斑痕缺陷的疑似目标分离出来；将疑似目标区域的对比度、面积、边缘参数、位置参数、灰度均匀性和形状参数六个特征量作为系统的输入变量；斑痕缺陷的等级作为系统的输出变量将输入、输出变量划分成一定数目的模糊子集并为每个模糊子集建立相应的隶属函数。本发明的还公开了一种基于机器视觉的液晶显示器斑痕缺陷检测系统。

Description

一种基于机器视觉的液晶显示器斑痕缺陷检测方法与系统

技术领域

本发明涉及一种液晶显示器的斑痕缺陷检测系统，具体的讲，涉及一种基于机器视觉的斑痕缺陷检测系统。

背景技术

液晶显示器的生产工艺非常复杂，尽管大部分工序都是在无尘室里完成的，还是不可避免地会出现一些视觉缺陷。液晶显示器的视觉缺陷的种类繁多，一般可以根据缺陷的面积和形状分为三类：点缺陷，线缺陷和面缺陷。其中面缺陷又可分为区块缺陷和斑痕(英语中称为mura，该词来源于日语，表示脏污、斑痕的意思，是最常见的一种面缺陷)缺陷两种。点缺陷、线缺陷和区块缺陷主要是由液晶显示器中薄膜晶体管(TFT)阵列短路、断路和坏的晶体管等电气原因引起的。而斑痕缺陷一般是由于液晶材料分布不均匀和背光板扭曲等非电气原因造成的。

在液晶显示器的所有视觉缺陷中，点缺陷、线缺陷和区块缺陷具有较高的对比度高和规则的几何形状，因此相对比较容易检测。而斑痕缺陷一般对比度很低，面积大小不定，形状不规则，边缘模糊，位置也不固定，因此是所有视觉缺陷中最难检测的一种。另外，整个液晶显示器行业对于斑痕缺陷尚无统一的定义和检测标准，这些都为实现斑痕缺陷的自动化检测带来了困难。因此，到目前为止，在所有的液晶显示器生产厂家中，斑痕缺陷的检测任务仍旧是由熟练的技术工人用肉眼来完成的。

发明内容

本发明的目的是提出一种基于机器视觉的液晶显示器斑痕缺陷检测方法，通过先进的图像处理和模式识别技术，实现液晶显示器斑痕缺陷的快速检测。

在本发明提供了一种基于机器视觉的液晶显示器的斑痕缺陷(mura)的检测方法，该方法包括以下步骤：

a)获取多幅待测液晶显示器的图像，所述图像包括多个像素；

b)滤除图像的随机噪声；

c)获得一个近似通过给定数据点、能反映数据点的基本趋势的多项式曲面；

d)将经滤波去除随机噪声的图像减去多项式曲面，将拟合精度超过一定阈值的像素作为斑痕缺陷的疑似目标分离出来；

e)将疑似目标区域的对比度、面积、边缘参数、位置参数、灰度均匀性和形状参数六个特征量作为系统的输入变量；斑痕缺陷的等级作为系统的输出变量将输入、输出变量划分成一定数目的模糊子集并为每个模糊子集建立相应的隶属函数。

本发明的另一个目的在于提供一种基于机器视觉的液晶显示器斑痕缺陷(mura)检测系统。

本发明提供的基于机器视觉的液晶显示器的斑痕缺陷(mura)的检测系统包括：

一个图像获取装置，用于获取多幅待测基板的图像，所述图像包括多个像素；

一个滤波装置，用于滤除图像的随机噪声；

一个曲面拟合装置，用以获得一个近似通过给定数据点、能反映数据点的基本趋势的多项式曲面；

一个分离装置，用以将经滤波去除随机噪声的图像减去多项式曲面，并将拟合精度超过一定阈值的像素作为斑痕缺陷的疑似目标分离出来；

一个判断装置，用以将疑似目标区域的对比度、面积、边缘参数、位置参数、灰度均匀性和形状参数六个特征量作为系统的输入变量；斑痕缺陷的等级作为系统的输出变量将输入、输出变量划分成一定数目的模糊子集并为每个模糊子集建立相应的隶属函数。

附图说明

图1为本发明一种基于机器视觉的液晶显示器斑痕缺陷检测系统的整体结构示意图。

图2为本发明所述的基于机器视觉的液晶显示器斑痕缺陷检测方法的流程图。

图3A为CCD采集的原始图像经过多图像平均法和图像校正处理后的结果。

图3B是对图2A进行多项式曲面拟合法所获得的不含斑痕缺陷的背景模型。

图3C为利用图2B所示的背景模型对图2A进行背景对消所获得的处理结果。

图3D是对图2C进行形态学处理的结果。

图4为本发明提出的模糊识别系统输入、输出变量所对应的隶属度函数实例。

具体实施方式

以下结合附图对本发明的技术方案作进一步描述。

参照图1，本具体实施方式中液晶显示器缺陷检测系统由CCD摄像机2、图像采集卡5、计算机6、三轴精密定位平台1、液晶显示器驱动模块3和载物台4组成。载物台4固连于三轴精密定位平台1上，并通过电缆线连接到专用的显示器驱动模块3的接口上，被测液晶显示器7放在可以在竖直方向上180度旋转的载物台4上，CCD摄像机2作为图像采集设备固定在三轴精密定位平台1上，使其可以根据被测液晶显示器7的型号在计算机6的控制下移动到相应的位置进行图像采集。

图像采集卡5是标准模拟或数字图像采集卡，也可以是USB接口的数字摄像机或者是视频编辑卡。计算机6是具有标准计算机功能的主控设备，含机箱、CPU及其主板、内存、硬盘和标准计算机兼容的显示器。CCD摄像机2连接到图像采集卡5的输入端；系统软件安装于执行自动检测任务的计算机6的程序存储器，如硬盘中；计算机6控制显示器驱动模块3点亮被测液晶显示器7，并令其显示初始画面；

检测斑痕缺陷时，被测液晶显示器7的载物台4在计算机6的控制下旋转一定的角度，令CCD摄像机2的光轴与被测液晶显示器7平面成30～60度的夹角，使得CCD摄像机2可以从被测液晶显示器7的侧面利用重复采样的方式采集被测液晶显示器的整体图像信息。

由于被测液晶显示器由液晶显示器驱动模块3驱动，因此自身可以发光，无需照明器件。为防止外界光线的干扰，优选的，被测液晶显示器7、载物台4、CCD摄像机2、三轴精密定位平台1都放在一个遮光罩中。计算机6控制液晶显示器驱动模块3令被测液晶显示器7显示为灰度画面。

参照图2，通过此系统可以获得反映液晶显示器基板上像素点的待测液晶显示屏基板的电压信号；而后，经历图像采集步骤801，在此步骤中，由于斑痕缺陷的对比度很低，为减小图像噪声的影响、提高图像质量，在图像采集步骤中采用了对一幅被测画面重复采样的方法。为实现实时检测，采样频率一般应大于10帧/秒，重复采样的次数一般取50～70次。

经采集的图像继而经历图像滤波步骤802。如果叠加于图像上的噪声n(x，y)是非相关的、具有零均值的随机噪声，则可以用几张在相同条件下获得的这种随机图像的平均值表示原图像。假设原图像为f(x，y)，加噪声为n(x，y)，则有噪声图像为g(x，y)＝f(x，y)+n(x，y)

此时，可以用

$g(x,y)=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}[f_i(x,y)+n_i(x,y)]=f(x,y)+\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{n}_i(x,y)$

来估计原图像f(x，y)，其中M为图像数量。

显然这种估计是无偏的，因为

$E\left\{\hat{g}(x,y)\right\}=\frac{1}{M}\mathrm{\ΣE}\left\{g_i(x,y)\right\}=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{f}_i(x,y)=f(x,y)$

完成图像滤波后，还要将被测液晶屏部分从图像中提取出来，并且采用双线性插值法对图像进行几何校正，从而将图像中由于CCD视角的原因而变为梯形的被测液晶屏恢复为标准的矩形。

根据双线性插值法，校正图像中像素点(i′j′)处得灰度值f(i′，j′)可以由其周围四个像素的灰度值计算出来。

f(i′，j′)＝[f(i+1，j)-f(i，j)]*(i′-i)+[f(i，j+1)-f(i，j)]*(j′-j)+f(i，j)

       +[f(i+1，j+1)+f(i，j)-f(i+1，j)-f(i，j+1)]*(i′-i)(j′-j)

经滤波的图像，进行斑痕缺陷检测时，由于液晶显示器本身的特点和CCD视角的关系，被测液晶屏的灰度在整个屏幕范围内变化非常大，远远超过了斑痕缺陷本身的灰度变化。因此，对于斑痕缺陷的检测来说，图像分割是最为重要同时也是最为困难的一个环节。运用传统的图像分割方法，例如自适应阈值分割，边缘检测等等，根本无法完成分割任务。为此，提出了一种基于多项式曲面拟合技术的斑痕图像分割方法。

在这种方法中，首先假设图像中每个像素的灰度值f(x，y)都是该像素二维坐标(x，y)的函数，而所有像素的灰度值及其二维坐标构成了分布在矩形格点上的空间数据点的集合。接下来采用二元多项式对这些空间数据点进行曲面拟合803，即求一个近似通过给定数据点、能反映数据点的基本趋势的多项式曲面：

设已知矩形区域内n×m个网点(x_k，y_l)(k＝0，1，...，n-1；l＝0，1，...，m-1)上的函数值z_kl，设待求的拟合多项式为

$f(x,y)=\underset{i=0}{\overset{p-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{q-1}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}{x}^i{y}^j$

其中a_ij(i＝0，1，..，p-1)(j＝0，1，...，q-1)是待定参数，它使z_kl，f(x，y)在网格点上的值的差的平方和在最小二乘意义下达到最小，即

$I(a_{00},...{,a}_{0q-1},...;a_{p-11},...,a_{p-1q-1})=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\underset{l=1}{\overset{m}{\mathrm{\Σ}}}{(z_{\mathrm{kl}}-\underset{i=0}{\overset{p-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{q-1}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}{x}^i{y}^j)}^2=\min$

由上式所决定的参数a_ij，其对应的曲面称为最小二乘多项式曲面。

利用多元函数的极值理论，在上式中令

$\frac{\∂I}{\∂a_{\mathrm{ij}}}=0(i=\mathrm{0,1},...,p-1;j=\mathrm{0,1},...,q-1)$

便得到关于{_aij}的p×q阶代数方程组：

$\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\underset{l=1}{\overset{m}{\mathrm{\Σ}}}[z_{\mathrm{kl}}-\underset{i=0}{\overset{p-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{q-1}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}{x}^i{y}^j]\·x^i{y}^i=0(i=\mathrm{0,1},...,p-1;j=\mathrm{0,1}...,q-1)$

解这个p×q阶的代数方程组，就可以得到a_ij。

由于斑痕缺陷的面积很小，不会改变图像的基本变化趋势，因此可以将拟合曲面看成是不含斑痕缺陷的背景模型。相对于该背景模型，被测液晶屏图像中没有缺陷的区域拟合误差 $|z_{\mathrm{kl}}-\underset{i=0}{\overset{p-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{q-1}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}{x}^i{y}^j|$ 很小，而斑痕缺陷所在的区域与背景模型的拟合误差 $|z_{\mathrm{kl}}-\underset{i=0}{\overset{p-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{q-1}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}{x}^i{y}^j|$ 则很大。所以，利用该背景模型，采用背景减除的方法就可以将那些拟合误差超过人工设定的阈值(例如2)的像素作为斑痕缺陷的疑似目标与背景分割开来804。

图3A为CCD采集的原始图像经过多图像平均法和图像校正处理后的结果。图中有五处斑痕缺陷。图3B是对图3A进行多项式曲面拟合法所获得的不含斑痕缺陷的背景模型。图3C为利用图3B所示的背景模型对图3A进行背景对消所获得的处理结果。

图像后处理步骤。本发明在图像后处理模块中采用了数学形态学的处理方法。膨胀、腐蚀是数学形态学的两个基本运算。采用这些基本运算及其组合可以进行图像形状和结构的分析及处理。

设集合A为输入图像，集合B为结构元素，那么集合A被集合B腐蚀，就表示为：

               AΘB＝{x:B+xA}

腐蚀的作用是滤除图像中的一些孤立的噪声点和毛刺。膨胀是腐蚀运算的对偶运算(逆运算)，可以通过对补集的腐蚀来定义。A被集合B膨胀表示为AB，其定义为：

               AB＝[A^cΘ(-B)]^c

其中，A^c表示A的补集。

膨胀的作用是可以填充图像中比结构元素小的孔洞和图像边缘处的小凹陷部分。

图3D是对图3C进行形态学处理的结果。

特征提取步骤805：在特征提取中，本发明从人类的视觉心理学出发，提出将目标区域的对比度、面积、边缘参数、位置参数、灰度均匀性和形状参数等六个特征量作为斑痕缺陷等级评价的依据。

其中，对比度参数定义为：

式中f(i，j)和B(i，j)分别为疑似目标区域及背景模型在像素点(i，j)处的灰度值；U为目标区域内所有像素点的集合；N为目标区域内像素点的个数。

面积参数定义为：

$\mathrm{Area}=\underset{(i,j)\∈U}{\mathrm{\Σ}}1$

其中，U为目标区域内所有像素点的集合。

位置参数定义为目标中心与被测TFT-LCD屏幕中心的距离，即

$\mathrm{Location}=\sqrt{{(\stackrel{\‾}{x}-x_0)}^2+{(\stackrel{\‾}{y}-y_0)}^2}$

其中x₀和y₀分别为被测TFT-LCD屏几何中心的横、纵坐标； x和 y分别为疑似目标区域几何中心的横、纵坐标，且有：

$\left\{\begin{array}{c}\stackrel{\‾}{x}=\frac{1}{N}\underset{(i,j)\∈U}{\mathrm{\Σ}}{x}_{\mathrm{ij}}\\ \stackrel{\‾}{y}=\frac{1}{N}\underset{(i,j)\∈U}{\mathrm{\Σ}}{y}_{\mathrm{ij}}\end{array}\right.$

式中x_ij和y_ij分别为疑似目标中(i，j)像素点的横坐标、纵坐标。

边缘参数是用拉普拉斯算定义的：

$\mathrm{edge}=\frac{1}{N}\underset{(i,j)\∈\stackrel{\·}{U}}{\mathrm{\Σ}}|8f(i,j)-f(i,j-1)-f(i-1,j)-f(i,j+1)$

$-f(i+1,j)-f(i-1,j-1)-f(i-1,j+1)-f(i+1,j-1)|$

式中

为目标区域的所有边界点的集合。

形状参数定义为：

              shape＝max{R，C}

式中，R为目标区域的圆形度，描述了物体边界的复杂程度，可以用目标的面积与周长的关系来表示。圆形度的数学表达式为：

$R=4\mathrm{\π}\×\frac{S}{p^2}$

式中S为目标区域的面积，P为目标区域的周长。

C为目标区域的矩形度，反映物体对其外接矩形的充满程度，用目标区域的面积与其最小的外接矩形面积之比来描述，即：

$C=\frac{S}{S_{\mathrm{MER}}}$

其中，S为目标区域的面积，S_MER为目标区域最小外接矩形的面积。

灰度均匀性用目标区域的灰度标准差来加以描述：

$\mathrm{uniformity}=\mathrm{\σ}={\left[\frac{1}{N}\underset{(i,j)\∈U}{\mathrm{\Σ}}{(f(i,j)-\mathrm{\μ})}^2\right]}^{\frac{1}{2}}$

式中， $\mathrm{\μ}=\frac{1}{N}\underset{(i,j)\∈U}{\mathrm{\Σ}}f(i,j),$ 为目标区域内所有像素点的灰度均值。

模式识别步骤：在模式识别中，本发明提出了基于模糊集合理论和模糊逻辑的斑痕缺陷模糊识别方法。

在设计模糊模式识别模块时，首先要定义系统的输入、输出变量。本发明将疑似目标区域的对比度、面积、边缘参数、位置参数、灰度均匀性和形状参数等6个特征量作为系统的输入变量；斑痕缺陷的等级作为系统的输出变量。其中斑痕缺陷的等级一般划分为不合格(N级)、合格(P级)、良(V级)，实际应用也可以根据工厂的实际情况适当的加以调整。

接下来，根据专业技术人员的经验将系统的输入、输出变量划分成一定数目的模糊子集并为每个模糊子集建立相应的隶属函数。为了简化运算、提高系统的运行速度，一般应选取形状相对简单的三角形和梯形的隶属度函数。

例如，对于系统的6个输入变量，将其作了如下的划分：将比度分成五级，即极低(VL)、低(L)、中等(M)、高(H)和极高(VH)；面积分成小(S)、中(M)和大(B)三级；边缘参数分成低(L)、中(M)、高(H)；位置参数分成靠边(A)、一般(N)和居中(C)三级；灰度均匀性分成低(L)、中等(M)和高(H)三级；形状参数分成不规则(NR)和规则(R)两级。系统的输出变量即mura缺陷等级划分为轻微mura缺陷(P)、一般mura缺陷(N)和严重mura缺陷(V)三级。输入、输出变量所对应的隶属度函数都选用三角函数和梯形函数来表示，如图3所示。

模糊if-then规则的制订是模糊模式识别的核心问题，本发明中模糊if-then规则同样也是根据专家经验制定的。

例如，一条if-then规则如下：

If(Const is H)and(Area is M)and(Edge is H)then(mura_level is V)

采用模糊识别方法，系统可以模仿人的辩识方式并充分利用专家的经验和知识，完成对液晶屏斑痕缺陷的自动识别。

Claims (5)

1.一种基于机器视觉的液晶显示器的斑痕缺陷检测方法，该方法包括以下步骤：

a)获取多幅待测基板的图像，所述图像包括多个像素；

b)滤除图像的随机噪声；

c)获得一个近似通过给定数据点、能反映数据点的基本趋势的多项式曲面；

d)将经滤波去除随机噪声的图像减去多项式曲面，将拟合精度超过一定阈值的像素作为斑痕缺陷的疑似目标分离出来；

e)将疑似目标区域的对比度、面积、边缘参数、位置参数、灰度均匀性和形状参数六个特征量作为系统的输入变量；斑痕缺陷的等级作为系统的输出变量将输入、输出变量划分成一定数目的模糊子集并为每个模糊子集建立相应的隶属函数。

2.根据权利要求1所述的基于机器视觉的液晶显示器的斑痕缺陷检测方法，其特征在于：在步骤(d)和步骤(e)之间还包括数学形态学的处理步骤。

3.一种基于机器视觉的液晶显示器斑痕缺陷检测系统，包括：

一个图像获取装置，用于获取多幅待测基板的图像，所述图像包括多个像素；

一个滤波装置，用于滤除图像的随机噪声；

一个曲面拟合装置，用以获得一个近似通过给定数据点、能反映数据点的基本趋势的多项式曲面；

一个分离装置，用以将经滤波去除随机噪声的图像减去多项式曲面，并将拟合精度超过一定阈值的像素作为斑痕缺陷的疑似目标分离出来；

一个判断装置，用以将疑似目标区域的对比度、面积、边缘参数、位置参数、灰度均匀性和形状参数六个特征量作为系统的输入变量；斑痕缺陷的等级作为系统的输出变量将输入、输出变量划分成一定数目的模糊子集并为每个模糊子集建立相应的隶属函数。

4.根据权利要求3所述的基于机器视觉的液晶显示器斑痕缺陷检测系统，其特征在于：在分离装置和判断装置之间还包括数学形态学的处理装置。

5.一种基于多项式曲面拟合技术的斑痕图像分割方法，其特征在于：包括以下步骤：

a)首先假设图像中每个像素的灰度值都是该像素二维坐标的函数，而所有像素的灰度值及其二维坐标构成了分布在矩形格点上的空间数据点的集合；

b)采用二元多项式对这些空间数据点进行曲面拟合，求一个近似通过给定数据点、能反映数据点的基本趋势的多项式曲面。

Images