CN106157310A - 基于混合自适应水平集模型与多通道结合的TFT LCD mura缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于混合自适应水平集模型与多通道结合的TFT LCD mura缺陷检测方法，属于LCD mura缺陷机器视觉检测技术领域。本发明提出一种基于融合全局信息和局部信息的混合自适应模型的mura检测方法。该混合自适应模型能够提高曲线演化速度并有效克服背景灰度不均干扰，而且能够在靠近目标区域自适应减小，防止过度收敛，实现弱边缘的准确分割。此外，本发明提出一种基于灰度图和s通道图像的多通道融合的检测方案以兼顾不同类型的mura检测。本发明能够准确提取ROI区域并对其纹理背景进行抑制，利用自适应模型克服背景灰度不均的干扰和弱边缘对比度过低的困难，实现mura缺陷边缘的准确分割。

Description

基于混合自适应水平集模型与多通道结合的TFT LCD mura缺 陷检测方法

技术领域

本发明涉及TFT LCD mura缺陷机器视觉检测技术领域，更具体地说，涉及基于混合自适应水平集模型与多通道结合的TFT LCD mura缺陷检测方法。

背景技术

随着液晶显示器(Liquid crystal display，LCD)向大画面、轻薄化、高分辨率的方向发展，屏幕的缺陷检测工作也愈加重要。mura缺陷用来描述人眼观察显示器时感知到的亮度不均衡性，是一种没有固定形状、边缘模糊的低对比度目标，其产生原因主要是电路或构造上的缺陷以及材料特性的不均匀，是LCD缺陷检测的研究重点和难点。目前国内外大多采用人工检测的方法完成TFT LCD产品生产线后端检测工作，存在效率低、成本高、稳定性与可靠性差等问题，基于机器视觉的图像检测算法具有很好的发展前景。

目前国内外对于mura缺陷的检测方法主要分为基于统计学理论和图像处理理论的方法，后者主要是通过抑制纹理或重建图像背景等方法实现mura区域的提取。常见的纹理背景抑制方法包括一维傅立叶变换、离散余弦变换和小波变换等，基于背景重建的方法常见的有奇异值分解法、基于独立成分分析的方法、基于改进的线性回归诊断方法等。但是这些方法的滤波或重建能力有限，容易出现过检、漏检等情况，且由于mura的弱边缘特性，这些方法往往无法准确定位mura弱边缘位置。

经检索，中国专利申请号：2013104057358，申请日：2013年9月9日，发明创造名称为：基于Gabor滤波与C-V模型分割的LCD Mura缺陷机器视觉检测方法，该申请案涉及一种基于Gabor滤波与C-V模型分割的LCD Mura缺陷机器视觉检测方法，包括如下步骤：在暗室中，用CCD相机对点亮的LCD屏幕在垂直方向拍照，把采集到的图像输入计算机进行图像处理，图像处理步骤为几何校正、Gabor滤波、改进的C-V模型分割和缺陷量化。该申请案有效地平衡了图像整体的亮度不均匀性，提高了分割的准确度，但该申请案无法兼顾不同类型的mura检测，且该申请案无法针对mura的弱边缘特性准确定位mura弱边缘位置，检测精度有待提升。

又如中国专利申请号：2013104058844，申请日：2013年9月9日，发明创造名称为：基于B样条曲面拟合的TFT-LCD Mura缺陷机器视觉检测方法，该申请案涉及一种基于B样条曲面拟合的TFT-LCD Mura缺陷的机器视觉检测方法，属于LCD显示缺陷检测领域，包括以下步骤：通过CCD相机采集被点亮的待测LCD灰度图像；对原始图像滤波；提取感兴趣区域；采用双三次B样条曲面拟合的方法拟合出图像背景；用原始图像减去背景图像，得到消除亮度不均匀背景后的图像；利用Canny算子检测出Mura缺陷；确定缺陷等级。该申请案解决了由于图像背景亮度不均匀导致的Mura缺陷不能被准确分割的问题，但该申请案同样无法兼顾不同类型的mura检测，且无法解决mura弱边缘位置难以准确定位的问题。

发明内容

1、发明要解决的技术问题

本发明的目的在于克服现有技术中不足，提供了一种基于混合自适应水平集模型与多通道结合的TFT LCD mura缺陷检测方法，是一种利用新的基于融合全局信息和局部信息的混合自适应模型的mura检测方法。该模型针对mura弱边缘和低对比度的特点，结合CV模型和LBF模型两者优势，提出一种新的融合局部和全局信息的混合分割模型，并引入具有方向和大小自适应性的内外灰度差异项为曲线演化提供额外动力。新模型不仅能够提高曲线演化速度并有效克服背景灰度不均干扰，而且能够在靠近目标区域时自适应减小，防止过度收敛，实现弱边缘的准确分割。此外，本发明提出一种基于灰度图和s通道图像的多通道融合的检测方案以兼顾不同类型的mura(包括亮度异常和色度异常引起的mura)检测。

2、技术方案

为达到上述目的，本发明提供的技术方案为：

本发明的基于混合自适应水平集模型与多通道结合的TFT LCD mura缺陷检测方法，包括以下步骤：

步骤一、图像采集，具体为在低亮度环境中采集LCD屏幕图像，采集到的原始彩色图像为Mrgb(x)；

步骤二、对步骤一获得的原始彩色图像Mrgb(x)进行ROI区域分割与角度矫正，获得角度矫正后的ROI区域彩色图像Iroi(x)；

步骤三、对步骤二获得的ROI区域彩色图像Iroi(x)进行多色彩通道提取；

步骤四、利用二维DFT对步骤三中提取的多色彩通道进行背景抑制，分别得到背景抑制后的单通道图像I(x)；

步骤五、利用混合自适应水平集模型对步骤四所得的背景抑制后单通道图像I(x)进行mura缺陷的分割；

步骤六、对步骤五所得的分割结果进行结果融合与显示。

进一步地，步骤一的具体过程为：在低亮度环境中利用高精度CCD相机采集LCD屏幕图像，相机摄像头的中轴线方向与LCD屏幕法向同向，且LCD屏幕处于相机拍摄范围的中心区域，采集到的原始彩色图像为Mrgb(x)。

进一步地，步骤二的具体过程为：设置阈值对原始彩色图像Mrgb(x)进行二值化获得预分割结果，利用Harris角点检测与Hough变换获得角点信息和屏幕边缘直线信息，三者结合实现对原始彩色图像Mrgb(x)边缘的精确定位，获得分割后的ROI区域；分割后的ROI区域为一旋转矩形，将其旋转角度调至0，实现角度矫正，获得角度矫正后的ROI区域彩色图像Iroi(x)。

进一步地，步骤三的具体过程为：提取步骤二所得ROI区域彩色图像Iroi(x)的灰度图G(x)，以及ROI区域彩色图像Iroi(x)的hsv色彩空间的s通道图像S(x)，用于后续图像处理。

进一步地，步骤四的具体过程为：对步骤三中的灰度图G(x)、s通道图像S(x)分别利用二维DFT滤除规律网格纹理背景，获得背景抑制后单通道图像I(x)，包括背景抑制后的灰度图g(x)和背景抑制后的s通道图像s(x)。

进一步地，步骤五的具体过程为：利用混合自适应水平集模型对背景抑制后单通道图像I(x)进行分割，混合自适应水平集模型将I(x)的全局信息和局部信息融合，并引入惩罚项和自适应内外灰度差异项。

所述混合自适应水平集模型包括全局拟合项、局部拟合项、长度项、惩罚项和自适应内外灰度均值差异项，表达式如下：

E＝λE_global(φ)+αE_local(φ,f₁,f₂)+νL(φ)+μP(φ)+βT(φ,φ₀)

a、第一项E_global(φ)为全局拟合项，为水平集演化提供全局动力，λ为全局拟合项权值系数，实际表示为λ1和λ2两个数值。E_global(φ)的表达式如下：

E_global(φ)＝λ₁∫|I(x)-c₁|²H_ε(φ(x))dx+λ₂∫|I(x)-c₂|²(1-H_ε(φ(x)))dx

其中，φ表示水平集函数；权值系数λ1>0，λ2>0为常数；I(x)为背景抑制后单通道图像；c1和c2分别为图像I(x)在目标区域和背景区域中的灰度均值，H_ε(x)为Heaviside函数，ε取1.0，且c1、c2、H_ε(x)的表达式分别如下：

$c_1=\frac{\∫I\left(x\right)H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right(x\left)\right)dx}{\∫H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\left(x\right)\right)dx},c_2=\frac{\∫I\left(x\right)(1-H_{\mathrm{\ϵ}}(\mathrm{\φ}\left(x\right)\left)\right)dx}{\∫(1-H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right(x)))dx}$

$H_{\mathrm{\ϵ}}\left(x\right)=\frac{1}{2}\[1+\frac{2}{\mathrm{\π}}arctan\left(\frac{x}{\mathrm{\ϵ}}\right)\]$

b、第二项E_local(φ,f₁,f₂)为局部拟合项，α为局部拟合项权值系数，实际表示为α1和α2两个数值。E_local(φ,f₁,f₂)的表达式如下：

E_lo_cal(φ,f₁,f₂)＝α₁∫[∫K_σ(x-y)|I(y)-f₁(x)|²H_ε(φ(y))dy]dx+α₂∫[∫K_σ(x-y)|I(y)-f₂(x)|²(1-H_ε(φ(y)))dy]dx

其中，K_σ表示标准差为σ的高斯函数，取σ为1.5；权值系数α1>0，α2>0为常数；式中x和y代表图像I(x)中两个点，x表示曲线上一点，y表示对点x进行局部近似范围内的某一点；空间可变函数f_i(x)为图像I(x)在点x处的局部拟合值，用以对轮廓周围进行局部近似，且f₁(x)、f₂(x)的表达式分别如下：

$f_1\left(x\right)=\frac{K_{\mathrm{\σ}}\left(x\right)*\[H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right(x))I\left(x\right)\]}{K_{\mathrm{\σ}}\left(x\right)*H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right(x))},f_2\left(x\right)=\frac{K_{\mathrm{\σ}}\left(x\right)*\[(1-H_{\mathrm{\ϵ}}(\mathrm{\φ}\left(x\right)\left)\right)I\left(x\right)\]}{K_{\mathrm{\σ}}\left(x\right)*\[1-H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right(x))\]}$

c、第三项L(φ)为长度项，ν为长度项权值系数且ν≥0为常数，L(φ)的表达式如下：

$L\left(\mathrm{\φ}\right)=\∫{\mathrm{\δ}}_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right(x\left)\right)|\▿\left(\mathrm{\φ}\right(x\left)\right)|dx$

其中δ_ε(x)为Dirac函数，ε取1.0；

d、第四项P(φ)为惩罚项，μ为惩罚项权值系数且μ≥0为常数，P(φ)的表达式如下：

$P\left(\mathrm{\φ}\right)=\∫\frac{1}{2}{\left(\right|\▿\mathrm{\φ}\left(x\right)|-1)}^{2}dx$

e、第五项T(φ,φ₀)为自适应内外灰度均值差异项，β为自适应内外灰度均值差异项权值系数且β为常数，T(φ,φ₀)的表达式如下：

$T(\mathrm{\φ},{\mathrm{\φ}}_0)=Area\left(inside\right(C\left)\right)\·\frac{\exp (-\mathrm{\κ}\·{c_0}^2/|c_1-c_2{|}^2)}{|c_1-c_2{|}^{\mathrm{\η}}}\·f\left(c_0\right)$

其中C表示演化曲线，即演化中的水平集函数的零水平集；Area(inside(C))表示曲线内部区域面积；c₀为初始轮廓的内外灰度均值差，c₁和c₂分别为图像I(x)在目标区域和背景区域中的灰度均值；f(c₀)用于确定自适应内外灰度均值差异项的初始值，f(c₀)设定如下：

f(c₀)＝exp(κ)·|c₀|^2+η

其中κ、η为常数。

进一步地，所述混合自适应水平集模型中各项系数取值λ1＝λ2＝1，α1＝α2＝1，μ＝0.05，ν＝0.001×2552，κ＝0.01，η＝0.5，β＝5，时间步长τ＝4。

进一步地，步骤六的具体过程为：将灰度图g(x)与s通道图像s(x)曲线演变结束后的零水平集整合，并在原始彩色图像Mrgb(x)对应位置以明显标记标注，显示其边缘的精确位置。

3、有益效果

采用本发明提供的技术方案，与现有技术相比，具有如下显著效果：

(1)本发明提出的基于混合自适应水平集模型与多通道结合的TFT LCD mura缺陷检测方法，引入阈值分割与基于Hough变换的直线检测相融合的分割机制获得待检测的感兴趣区域，该分割机制利用阈值分割获取ROI区域的大致范围，排除了可能出现在采集图像中的其他目标所带来的干扰，并在此基础上利用Hough变换获取了ROI矩形区域四个角点的精确位置，有效提高了ROI区域(即手机屏幕区域)的分割精度；此外本发明通过二维傅里叶滤波法有效去除重复性屏幕背景纹理干扰，有效避免了LCD网格背景可能引起的过检情况。

(2)本发明提出的基于混合自适应水平集模型与多通道结合的TFT LCD mura缺陷检测方法，通过对现有经典分割模型的融合和改进，提出了一个融合全局信息和局部信息、具有自适应性的新模型。全局能量拟合项为水平集演化提供全局动力，局部能量项在接近目标区域提供曲线演化的主要动力，新引入的内外灰度均值差异能量项为曲线演化提供额外动力，不仅能够提高曲线演化速度、克服背景灰度不均干扰，而且能够在靠近目标区域自适应减小，防止过度收敛，从而实现mura缺陷弱边缘的准确分割。

(3)本发明提出的基于混合自适应水平集模型与多通道结合的TFT LCD mura缺陷检测方法，引入多通道结合的检测方案，对亮度异常和色度异常的mura都具有适用性。

附图说明

图1是本发明提出的基于混合自适应水平集模型与多通道结合的TFT LCD mura缺陷检测方法的流程图；

图2是本发明中混合自适应水平集模型的演化流程图；

图3是不同类型的mura缺陷用CV模型和本发明中混合自适应水平集模型的检测效果图，其中图3第一排为亮度异常引起的弱边缘、形状不定的mura图像，其中图3中的(a)为针对该mura的待检测原始图像，图3中的(b)为针对该mura采用CV模型获得的分割结果，图3中的(c)为针对该mura采用本发明方案得到的分割结果；图3第二排为亮度异常引起的弱边缘、背景不均匀的mura图像，其中图3中的(d)为针对该mura的待检测原始图像，图3中的(e)为针对该mura采用CV模型获得的分割结果，图3中的(f)为针对该mura采用本发明方案得到的分割结果；图3第三排为色度异常引起的色斑型mura图像，其中图3中的(g)为针对该mura的待检测原始图像，图3中的(h)为针对该mura采用CV模型获得的分割结果，图3中的(i)为针对该mura采用本发明方案得到的分割结果。

具体实施方式

为进一步了解本发明的内容，下面结合附图和实施例对本发明作详细描述。

实施例1

如图1、图2和图3所示，本实施例的一种基于混合自适应水平集模型与多通道结合的TFT LCD mura缺陷检测方法，其步骤包括：图像采集、ROI区域分割与角度矫正、多色彩通道提取、背景抑制、混合自适应水平集模型分割mura缺陷、结果融合与显示。本实施例能够有效实现感兴趣区域提取、背景纹理抑制、背景不均匀干扰抑制与弱边缘准确定位，并通过引入多通道结合的检测机制获得了对不同类型mura检测的普适性。

下面对本实施例的具体实现方法进行详细介绍，本实施例的检测步骤如下；

步骤一、图像采集

在低亮度环境中利用高精度CCD相机采集LCD屏幕图像，相机摄像头中轴线方向与LCD屏幕法向同向，且要求LCD屏幕尽量处于相机拍摄范围的中心区域。为了降低后续ROI区域提取的难度，图像采集原则上需满足手机屏幕为采集图像中唯一可识别目标。在低亮度环境中采集图像能够保证手机屏幕是拍摄环境中的唯一光源，尽可能地降低了采集图像中非屏幕区域的亮度。通常做法是将图像采集系统置于一密闭暗室中，拍摄得到的图像背景亮度值小于10(亮度值范围为0-255)即可满足要求，采集到的LCD屏幕图像为原始彩色图像Mrgb(x)。

步骤二、ROI区域分割与角度矫正

设置阈值100对步骤一中采集到的原始彩色图像Mrgb(x)进行简单二值化获得预分割结果，利用Harris角点检测与Hough变换获得角点信息和屏幕边缘直线信息，三者结合实现LCD屏幕边缘的精确定位，获得分割后的ROI区域；分割后的ROI区域为一旋转矩形，将其旋转角度调至0，实现角度矫正。

ROI区域分割与角度矫正的算法为，将步骤一中采集到的原始彩色图像Mrgb(x)转为灰度图M_g(x)，对M_g(x)进行阈值分割和基于Hough变换的直线检测，两者结合获得ROI矩形区域的四个角点位置；在原始彩色图像Mrgb(x)上定位这四个角点，并将四个角点相连即可获得ROI区域，此时ROI区域为一旋转矩形，将其旋转角度调为0，最终获得角度矫正后的ROI区域彩色图像Iroi(x)。ROI区域分割与角度矫正的具体过程如下：

(a)对灰度图M_g(x)进行阈值分割预处理，确定ROI区域的大致边缘，排除可能出现的其他目标的干扰。

由于LCD屏幕图像采集在低亮度环境下完成，故LCD屏幕与环境亮度差异较大，可设置阈值100对屏幕图像进行简单阈值分割获得预分割结果，预分割图像可以用openCV中的threshold函数完成，其原理表示如下：

$M_{binary}\left(x\right)=\left\{\begin{array}{cc}\max Val,& if{M}_g\left(x\right)>thresh\\ 0,& otherwise\end{array}\right.$

其中M_g(x)表示原始彩色图像Mrgb(x)的灰度图，即进行阈值分割的初始图像，M_binary(x)表示分割获得的二值化图像，maxVal为预设值，通常取255。利用Canny边缘算子对获得的二值化图像M_binary(x)进行边缘检测，仅保留检测到的最大边缘(对应于ROI区域边界)，获得边缘信息图像Mcontour(x)。

(b)对上一步(a)中获得的边缘信息图像Mcontour(x)进行基于Hough变换的直线检测，获得ROI区域四条边的拟合直线，四条边的拟合直线两两相交即可获得ROI区域四个角点的准确位置。

(c)在原始彩色图像Mrgb(x)上定位上一步(b)中获得的四个角点，分割出的ROI区域为一个旋转矩形，将其旋转角度置零，实现角度矫正，即可将ROI区域从旋转矩形转化为一般矩形，获得角度矫正后的ROI区域彩色图像Iroi(x)，便于后续处理。

步骤三、多色彩通道提取

多色彩通道提取方案基于满足不同类型mura缺陷(分别为亮度异常和色度异常引起的mura缺陷)检测需求的考虑，具体为提取ROI区域彩色图像Iroi(x)的灰度图G(x)以及ROI区域彩色图像Iroi(x)的hsv色彩空间的s通道图像S(x)，用于后续图像处理。

步骤四、背景抑制

背景抑制方案基于避免背景干扰的考虑，高精度相机拍摄条件下获得的LCD屏幕图像背景呈现规律网格状，对步骤三中的灰度图G(x)、s通道图像S(x)分别利用二维DFT滤除规律网格纹理背景，获得背景抑制后单通道图像I(x)，包括背景抑制后的灰度图g(x)和背景抑制后的s通道图像s(x)。

二维DFT(傅里叶变换)是一种频域处理。有时候，直接对图像进行处理会遇到一些困难，如图像中周期干扰信号的滤除、图像的压缩编码等。通过频域处理可以将图像数据转换为其他某些具有明显特征的形式时，从而找到简单有效的处理方法。二维DFT滤波将空域信息转至频域中进行处理，在频域信号中去除代表规律网格纹理的低频信息，再将其转回空间域，以获得背景抑制后单通道图像I(x)。

步骤五、混合自适应水平集模型分割mura缺陷

对步骤四所得的单通道图像I(x)(包括g(x)和s(x))分别进行混合模型分割，本实施例的分割步骤分为两步：首先是利用简化CV模型对图像进行预分割，快速获得图像的粗略分割结果；然后以预分割结果作为初始水平集函数，利用本发明提出的混合自适应水平集模型精确分割mura图像。

本实施例中预分割步骤用于保证水平集函数演化方向正确，使得混合模型无需受到初始位置的约束。CV模型中推动水平集函数演化的主要作用力为全局拟合项，取拟合项系数为1，并忽略演化曲线内外灰度均值差异的变化，即可得简化的CV模型，预分割采用简化CV模型，其梯度下降流表示如下：

$\frac{\∂\mathrm{\φ}}{\∂t}={\mathrm{\δ}}_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right)\left(I\right(x)-\frac{c_1+c_2}{2})$

其中，φ表示水平集函数，δ_ε(x)为Dirac函数(ε取1.0)，I(x)表示背景抑制后的单通道图像，c₁与c₂分别表示图像I(x)在曲线内(即目标区域)和曲线外(即背景区域)的灰度均值。该简化CV模型相较于一般的CV模型而言，其计算量极小，可以很快地获得mura图像的预检结果，且该简化CV模型对初始轮廓不敏感，选择圆心在图像中心位置的圆形作为简化模型演化的初始位置，圆形内部取正，外部取负。获得预分割结果作为后续分割步骤中的初始位置，并设定轮廓内数值为正，外部取负值。

利用水平集模型进行图像分割的理论阐述如下：水平集模型是一类常用的活动轮廓模型，采用的是基于能量泛函的分割方法。基于活动轮廓模型的分割方法，其基本思想是使用连续曲线来表达目标边缘，并定义一个能量泛函(使得其自变量包括边缘曲线)，因此分割过程就转变为求解能量泛函的最小值的过程，一般可通过求解函数对应的欧拉(Euler.Lagrange)方程来实现，能量达到最小时的曲线位置就是目标的轮廓所在。而水平集模型区别于一般活动轮廓模型在于，其通过水平集函数的引入，将二维曲线的演变转化为三维曲面的演变(表现为水平集函数随着迭代次数的增加不断变化)，有效解决了拓扑结构变化问题。

利用水平集模型进行图像分割的具体操作步骤如图2所示，首先建立一个包含图像信息的抽象数学模型(即能量泛函)，并给定初始化水平集函数(零水平集即演化曲线所在初始位置，曲线外为水平集函数负值区域，曲线内为水平集函数正值区域)，然后最小化能量泛函，获得能量最小时的水平集函数，其零水平集位置即为分割的目标边界。本发明采用变分法和梯度下降法实现能量泛函的最小化，即求解能量泛函的一阶变分令其为0，得到对应的欧拉-拉格朗日方程，再用梯度下降法获得水平集函数的梯度下降流，对离散化后的水平集函数进行差分迭代直至数值稳定，即可获得能量最小时对应的水平集函数。

因此水平集分割模型的重点在于模型的构建，能否全面地包含图像信息直接影响着分割结果的准确性。

本实施例中的混合自适应水平集模型是基于经典水平集模型和mura检测需求提出的一种新分割模型。该混合自适应水平集模型融合背景抑制后单通道图像I(x)的全局信息和局部信息，并引入惩罚项和自适应内外灰度差异项。惩罚项有距离保持作用，能够使得水平集函数在演化过程中保持为一个符号距离函数，有效避免了重复初始化的繁琐步骤；自适应内外灰度差异项为水平集函数的演化提供额外动力，使得水平集函数获得足够的外力越过噪声区域，能够有效克服背景灰度不均干扰；并且自适应内外灰度差异项具有数值自适应性，在靠近目标边界自适应减小，能够有效防止过收敛，实现了弱边缘的准确分割。

混合自适应水平集模型包括全局拟合项、局部拟合项、长度项、惩罚项和自适应内外灰度均值差异项，表达式如下(其中φ表示水平集函数，φ₀表示初始水平集函数)：

E＝λE_global(φ)+αE_local(φ,f₁,f₂)+νL(φ)+μP(φ)+βT(φ,φ₀)

a、第一项E_global(φ)为全局拟合项，为水平集演化提供全局动力，包含分别对应于曲线内外区域的两个拟合项。λ为全局拟合项权值系数，实际表示为λ1和λ2两个数值，分别对应于两个拟合项的权值系数。E_global(φ)的表达式如下：

E_global(φ)＝λ₁∫|I(x)-c₁|²H_ε(φ(x))dx+λ₂∫|I(x)-c₂|²(1-H_ε(φ(x)))dx

其中，φ表示水平集函数；权值系数λ1>0，λ2>0为常数(通常取λ1＝λ2＝1)；I(x)为背景抑制后的单通道图像(包括灰度图g(x)和s通道图像s(x)，需分别处理)；c1和c2分别为图像I(x)在目标区域和背景区域中的灰度均值，H_ε(x)为Heaviside函数(ε取1.0)，且c1、c2、H_ε(x)的表达式分别如下：

$c_1=\frac{\∫I\left(x\right)H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right(x\left)\right)dx}{\∫H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right(x))dx},c_2=\frac{\∫I\left(x\right)(1-H_{\mathrm{\ϵ}}(\mathrm{\φ}\left(x\right)\left)\right)dx}{\∫(1-H_{\mathrm{\ϵ}}(\mathrm{\φ}\left(x\right)\left)\right)dx}$

$H_{\mathrm{\ϵ}}\left(x\right)=\frac{1}{2}\[1+\frac{2}{\mathrm{\π}}arctan\left(\frac{x}{\mathrm{\ϵ}}\right)\]$

b、第二项E_local(φ,f₁,f₂)为局部拟合项，当曲线演变接近目标位置时提供曲线演化的主要动力，包含分别对应于曲线内外局部区域的两个拟合项。α为局部拟合项权值系数，实际表示为α1和α2两个数值，分别对应于两个拟合项的权值系数，E_local(φ,f₁,f₂)的表达式如下：

E_local(φ,f₁,f₂)＝α₁∫[∫K_σ(x-y)|I(y)-f₁(x)|²H_ε(φ(y))dy]dx+α₂∫[∫K_σ(x-y)|I(y)-f₂(x)|²(1-H_ε(φ(y)))dy]dx

其中，K_σ表示标准差为σ的高斯函数，通过改变σ的大小可以调整选取邻域的范围，取σ为1.5；权值系数α1>0，α2>0为常数，本实施例中取α1＝α2＝1；式中x和y代表图像I(x)中两个点，x表示曲线上某一点，y表示对点x进行局部近似范围内的某一点；空间可变函数f_i(x)为图像I(x)在点x处(曲线内与曲线外)的局部拟合值，用以对轮廓周围进行局部近似，且f₁(x)、f₂(x)的表达式分别如下：

$f_1\left(x\right)=\frac{K_{\mathrm{\σ}}\left(x\right)*\[H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right(x))I\left(x\right)\]}{K_{\mathrm{\σ}}\left(x\right)*H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right(x))},f_2\left(x\right)=\frac{K_{\mathrm{\σ}}\left(x\right)*\[(1-H_{\mathrm{\ϵ}}(\mathrm{\φ}\left(x\right)\left)\right)I\left(x\right)\]}{K_{\mathrm{\σ}}\left(x\right)*\[1-H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right(x))\]}$

c、第三项L(φ)为长度项，起规整作用，控制轮廓平滑性。ν≥0为常数，ν为长度项权值系数，本实施例中取ν＝0.001×2552，L(φ)的表达式如下：

$L\left(\mathrm{\φ}\right)=\∫{\mathrm{\δ}}_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right(x\left)\right)|\▿\left(\mathrm{\φ}\right(x\left)\right)|dx$

其中δ_ε(x)为Dirac函数(ε取1.0)。

d、第四项P(φ)为惩罚项(距离保持项)，用于度量水平集函数是否接近符号距离函数。μ≥0为常数，为惩罚项权值系数，本实施例中取μ＝0.05；P(φ)的表达式如下：

$P\left(\mathrm{\φ}\right)=\∫\frac{1}{2}{\left(\right|\▿\mathrm{\φ}\left(x\right)|-1)}^{2}dx$

e、第五项T(φ,φ₀)为自适应内外灰度均值差异项，此项是基于曲线内外区域的灰度均值差异来给曲线演化提供一个额外的外力，并具有自适应性，在远离目标区域时，外力较大，帮助加快演化速度和克服背景干扰，随着曲线与目标越来越接近，其数值自适应减小，使得曲线演化能够止于弱边缘，防止曲线的过度收敛。β为常数，为自适应内外灰度均值差异项权值系数，本实施例中取β＝5。T(φ,φ₀)的表达式如下：

$T(\mathrm{\φ},{\mathrm{\φ}}_0)=Area\left(inside\right(C\left)\right)\·\frac{\exp (-\mathrm{\κ}\·{c_0}^2/|c_1-c_2{|}^2)}{|c_1-c_2{|}^{\mathrm{\η}}}\·f\left(c_0\right)$

其中C表示演化曲线，即演化中的水平集函数的零水平集；Area(inside(C))表示曲线内部区域面积；c₀为初始轮廓的内外灰度均值差，c₁和c₂分别为图像I(x)在目标区域和背景区域中的灰度均值；f(c₀)用于确定自适应内外灰度均值差异项的初始值，f(c₀)设定如下：

f(c₀)＝exp(κ)·|c₀|^2+η

其中κ、η为常数，通常取系数κ＝0.01，η＝0.5；且本实施例中混合自适应水平集模型的时间步长τ＝4。

综上，混合自适应水平集模型的梯度下降流如下

$\begin{array}{c}\frac{\∂\mathrm{\φ}}{\∂t}={\mathrm{\δ}}_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right)\[(-{\mathrm{\λ}}_1{(I-c_1)}^2+{\mathrm{\λ}}_2{(I-c_2)}^2)+(-{\mathrm{\α}}_1{e}_1+{\mathrm{\α}}_1{e}_1)+v\·div\left(\frac{\▿\mathrm{\φ}}{|\▿\mathrm{\φ}|}\right)\]\\ +\mathrm{\μ}({\▿}^2\mathrm{\φ}-div(\frac{\▿\mathrm{\φ}}{|\▿\mathrm{\φ}|}))+\mathrm{\β}\·(-{\mathrm{\δ}}_{\mathrm{\ϵ}}(\mathrm{\φ}))\[\frac{\exp (-\mathrm{\κ}\·{c_0}^2/|c_1-c_2{|}^2)}{|c_1-c_2{|}^{\mathrm{\η}}}\·f\left(c_0\right)\]\end{array}$

其中e_i＝∫K_σ(x-y)|I(y)-f_i(x)|²dy，i＝1，2。

本实施例中的混合自适应水平集模型能够实现方向和作用力数值自适应的原理阐述如下：

a、方向自适应：新提出的自适应内外灰度均值差异项为曲线演化提供单一方向的额外动力，因此需保证初始水平集函数的区域正负性固定，即需要保证mura缺陷大部分位于初始水平集函数正值区域。利用简化CV模型对mura图像进行预分割，获得预分割结果作为后续分割步骤中的初始轮廓位置，并设定轮廓内数值为正，外部取负值，保证水平集模型中曲线演化方向的正确性。

b、数值自适应：引入数值大小随曲线演化而变化的内外灰度均值差异项，为曲线演化提供数值大小自适应的额外动力，此外力在越靠近目标区域越小，这样在远离目标区域时，外力较大，帮助加快演化速度和克服背景干扰，在接近目标区域时，外力减小防止过收敛。

步骤六、结果融合与显示

对步骤五所得分割结果进行融合与显示，具体过程为：

将背景抑制后灰度图g(x)与背景抑制后s通道图像s(x)的分割结果进行整合，具体为：水平集函数随迭代次数的增加而不断变化直至数值稳定，灰度图g(x)与s通道图像s(x)经过上述分割过程(即对应的初始水平集经过迭代后)，最终可获得两个水平集函数Φ_dst1(x)和Φ_dst2(x)，对其分别进行二值化，得到两个二值化水平集函数Φ_{binary_dst1}(x)和Φ_{binary_dst2}(x)。然后将获得的两个二值化水平集函数Φ_{binary_dst1}(x)和Φ_{binary_dst2}(x)按位相乘，获得的新水平集函数Φ_{binary_dst}(x)可表示融合后的分割结果，其零水平集位置即为mura边界，并在原始彩色图像Mrgb(x)对应位置以明显标记标注，显示其边缘的精确位置。

如图3所示，图3中第一列为待检测的原始mura图像，第二列为CV模型分割结果，第三列为采用本实施例所提方案得到的分割结果。原始图像分别代表三类典型mura：第一排为亮度异常引起的弱边缘、形状不定的mura，第二排为亮度异常引起的弱边缘、背景不均匀的mura，第三排为色度异常引起的色斑型mura。分割结果显示，本实施例提出的混合自适应水平集模型相较于CV模型能更好的克服弱边缘和背景不均的限制，精确分割mura边缘，且多通道结合的检测方案使得不同原因引起的mura都得以有效检测。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (9)

1.基于混合自适应水平集模型与多通道结合的TFT LCD mura缺陷检测方法，包括以下步骤：

步骤一、图像采集，具体为在低亮度环境中采集LCD屏幕图像，采集到的原始彩色图像为Mrgb(x)；

步骤二、对步骤一获得的原始彩色图像Mrgb(x)进行ROI区域分割与角度矫正，获得角度矫正后的ROI区域彩色图像Iroi(x)；

步骤三、对步骤二获得的ROI区域彩色图像Iroi(x)进行多色彩通道提取；

步骤四、利用二维DFT对步骤三中提取的多色彩通道进行背景抑制，分别得到背景抑制后的单通道图像I(x)；

步骤五、利用混合自适应水平集模型对步骤四所得的背景抑制后单通道图像I(x)进行mura缺陷的分割；

步骤六、对步骤五所得的分割结果进行结果融合与显示。

2.根据权利要求1所述基于混合自适应水平集模型与多通道结合的TFT LCD mura缺陷检测方法，其特征在于，步骤一的具体过程为：在低亮度环境中利用高精度CCD相机采集LCD屏幕图像，相机摄像头的中轴线方向与LCD屏幕法向同向，且LCD屏幕处于相机拍摄范围的中心区域，采集到的原始彩色图像为Mrgb(x)。

3.根据权利要求2所述基于混合自适应水平集模型与多通道结合的TFT LCD mura缺陷检测方法，其特征在于，步骤二的具体过程为：设置阈值对原始彩色图像Mrgb(x)进行二值化获得预分割结果，利用Harris角点检测与Hough变换获得角点信息和屏幕边缘直线信息，三者结合实现对原始彩色图像Mrgb(x)边缘的精确定位，获得分割后的ROI区域；分割后的ROI区域为一旋转矩形，将其旋转角度调至0，实现角度矫正，获得角度矫正后的ROI区域彩色图像Iroi(x)。

4.根据权利要求3所述基于混合自适应水平集模型与多通道结合的TFT LCD mura缺陷检测方法，其特征在于，步骤三的具体过程为：提取步骤二所得ROI区域彩色图像Iroi(x)的灰度图G(x)，以及ROI区域彩色图像Iroi(x)的hsv色彩空间的s通道图像S(x)，用于后续图像处理。

5.根据权利要求4所述基于混合自适应水平集模型与多通道结合的TFT LCD mura缺陷检测方法，其特征在于，步骤四的具体过程为：对步骤三中的灰度图G(x)、s通道图像S(x)分别利用二维DFT滤除规律网格纹理背景，获得背景抑制后单通道图像I(x)，包括背景抑制后的灰度图g(x)和背景抑制后的s通道图像s(x)。

6.根据权利要求5所述基于混合自适应水平集模型与多通道结合的TFT LCD mura缺陷检测方法，其特征在于，步骤五的具体过程为：利用混合自适应水平集模型对背景抑制后单通道图像I(x)进行分割，混合自适应水平集模型将I(x)的全局信息和局部信息融合，并引入惩罚项和自适应内外灰度差异项。

7.根据权利要求6所述基于混合自适应水平集模型与多通道结合的TFT LCD mura缺陷检测方法，其特征在于：所述混合自适应水平集模型包括全局拟合项、局部拟合项、长度项、惩罚项和自适应内外灰度均值差异项，表达式如下：

E＝λE_global(φ)+αE_local(φ,f₁,f₂)+νL(φ)+μP(φ)+βT(φ,φ₀)

a、第一项E_global(φ)为全局拟合项，为水平集演化提供全局动力，λ为全局拟合项权值系数，实际表示为λ1和λ2两个数值。E_global(φ)的表达式如下：

E_global(φ)＝λ₁∫|I(x)-c₁|²H_ε(φ(x))dx+λ₂∫|I(x)-c₂|²(1-H_ε(φ(x)))dx

其中，φ表示水平集函数；权值系数λ1>0，λ2>0为常数；I(x)为背景抑制后单通道图像；c1和c2分别为图像I(x)在目标区域和背景区域中的灰度均值，H_ε(x)为Heaviside函数，ε取1.0，且c1、c2、H_ε(x)的表达式分别如下：

$c_1=\frac{\∫I\left(x\right)H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right(x\left)\right)dx}{\∫H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right(x\left)\right)dx},c_2=\frac{\∫I\left(x\right)(1-H_{\mathrm{\ϵ}}(\mathrm{\φ}\left(x\right)\left)\right)dx}{\∫(1-H_{\mathrm{\ϵ}}(\mathrm{\φ}\left(x\right)\left)\right)dx}$

$H_{\mathrm{\ϵ}}\left(x\right)=\frac{1}{2}\[1+\frac{2}{\mathrm{\π}}\arctan \left(\frac{x}{\mathrm{\ϵ}}\right)\]$

b、第二项E_local(φ,f₁,f₂)为局部拟合项，α为局部拟合项权值系数，实际表示为α1和α2两个数值。E_local(φ,f₁,f₂)的表达式如下：

E_local(φ,f₁,f₂)＝α₁∫[∫K_σ(x-y)|I(y)-f₁(x)|²H_ε(φ(y))dy]dx+

α₂∫[∫K_σ(x-y)|I(y)-f₂(x)|²(1-H_ε(φ(y)))dy]dx

其中，K_σ表示标准差为σ的高斯函数，取σ为1.5；权值系数α1>0，α2>0为常数；式中x和y代表图像I(x)中两个点，x表示曲线上一点，y表示对点x进行局部近似范围内的某一点；空间可变函数f_i(x)为图像I(x)在点x处的局部拟合值，用以对轮廓周围进行局部近似，且f₁(x)、f₂(x)的表达式分别如下：

$f_1\left(x\right)=\frac{K_{\mathrm{\σ}}\left(x\right)*\[H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right(x\left)\right)I\left(x\right)\]}{K_{\mathrm{\σ}}\left(x\right)*H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right(x\left)\right)},f_2\left(x\right)=\frac{K_{\mathrm{\σ}}\left(x\right)*\[(1-H_{\mathrm{\ϵ}}(\mathrm{\φ}\left(x\right)\left)\right)I\left(x\right)\]}{K_{\mathrm{\σ}}\left(x\right)*\[1-H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right(x\left)\right)\]}$

c、第三项L(φ)为长度项，ν为长度项权值系数且ν≥0为常数，L(φ)的表达式如下：

$L\left(\mathrm{\φ}\right)=\∫{\mathrm{\δ}}_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right(x\left)\right)|\▿\left(\mathrm{\φ}\right(x\left)\right)|dx$

其中δ_ε(x)为Dirac函数，ε取1.0；

d、第四项P(φ)为惩罚项，μ为惩罚项权值系数且μ≥0为常数，P(φ)的表达式如下：

$P\left(\mathrm{\φ}\right)=\∫\frac{1}{2}{\left(\right|\▿\mathrm{\φ}\left(x\right)|-1)}^{2}dx$

e、第五项T(φ,φ₀)为自适应内外灰度均值差异项，β为自适应内外灰度均值差异项权值系数且β为常数，T(φ,φ₀)的表达式如下：

$T\left(\mathrm{\φ},{\mathrm{\φ}}_0\right)=Area\left(inside\left(C\right)\right)\·\frac{\exp \left(-\mathrm{\κ}\·{c_0}^2/|c_1-c_2{|}^2\right)}{|c_1-c_2{|}^{\mathrm{\η}}}\·f\left(c_0\right)$

其中C表示演化曲线，即演化中的水平集函数的零水平集；Area(inside(C))表示曲线内部区域面积；c₀为初始轮廓的内外灰度均值差，c₁和c₂分别为图像I(x)在目标区域和背景区域中的灰度均值；f(c₀)用于确定自适应内外灰度均值差异项的初始值，f(c₀)设定如下：

f(c₀)＝exp(κ)·|c₀|^2+η

其中κ、η为常数。

8.根据权利要求7所述基于混合自适应水平集模型与多通道结合的TFT LCD mura缺陷检测方法，其特征在于：所述混合自适应水平集模型中各项系数取值λ1＝λ2＝1，α1＝α2＝1，μ＝0.05，ν＝0.001×2552，κ＝0.01，η＝0.5，β＝5，时间步长τ＝4。

9.根据权利要求8所述基于混合自适应水平集模型与多通道结合的TFT LCD mura缺陷检测方法，其特征在于，步骤六的具体过程为：将灰度图g(x)与s通道图像s(x)曲线演变结束后的零水平集整合，并在原始彩色图像Mrgb(x)对应位置以明显标记标注，显示其边缘的精确位置。