CN111563889A - 基于计算机视觉的液晶屏幕Mura缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的液晶屏幕Mura缺陷检测方法，其包括：倾斜视角下的图像采集、基于固定阈值法的感兴趣区域提取和基于透视变换法的视角变换、基于Gabor滤波器的图像纹理滤波、图像颜色空间转换、基于动态变化尺寸的滑动窗口扫描方式和自适应双阈值分割算法双机制的Mura缺陷分割、以及缺陷分割区域二次筛选。本发明提供的基于计算机视觉的液晶屏幕Mura缺陷检测方法可解决人工检测Mura缺陷时间长容易产生视觉疲劳而造成漏检、检测结果缺乏一致性的问题，提高Mura缺陷的检测效率，保证检测结果的一致性。

Description

基于计算机视觉的液晶屏幕Mura缺陷检测方法

技术领域

本发明涉及液晶模组生产行业中对产品的自动光学缺陷检测领域，尤其涉及一种基于计算机视觉的液晶屏幕Mura缺陷检测方法。

背景技术

随着信息产业的发展，液晶显示屏幕的需求量也不断攀升。一方面，人们对于液晶屏幕的品质有着更为严苛的把控；另一方面，行业竞争的激烈程度也与日俱增，提高生产效率和产品质量，降低生产成本变得尤为重要。然而液晶屏幕的生产过程极为复杂，对生产环境的要求也非常严格。在目前的屏幕生产工艺下，缺陷的存在是无法避免的，因此，在出厂前对其进行严格的检测是非常必要和关键的。

目前，TFT-LCD生产厂商对缺陷的主流检测方式都是训练一批检测人员来判定缺陷，这些检测人员根据经验进行视觉上的判定和评级。但人眼检测具有主观性，不同检测人员之间并不能保证检测标准的完全一致，且长时间的检测易引起视觉疲劳影响缺陷的检测结果，检测工作后会出现视觉疲劳甚至会对人眼产生伤害，其效率低下且判断标准难以量化。

液晶屏幕缺陷种类繁多，其中Mura缺陷是其中一种极为难检测的缺陷之一，其主要表现形式为：局部亮度显示不均匀，往往需要在特定的画面和视角下才能被观察到；其次，缺陷区域对比度很低，且缺陷出现在屏幕上的位置不固定，形状大小不确定，在屏幕显示不同画面时缺陷的表现的形式也不唯一；上述特点导致了Mura缺陷的检测时间长，而人眼检测很容易引起视觉疲劳，漏检率高。

发明内容

针对现有技术存在的问题，本发明的主要目的是提供一种基于计算机视觉的液晶屏幕Mura缺陷检测方法，旨在解决人工检测Mura缺陷时间长容易产生视觉疲劳而造成漏检、检测结果缺乏一致性的问题，提高Mura缺陷的检测效率，保证检测结果的一致性。

为实现上述目的，本发明提出的基于计算机视觉的液晶屏幕Mura缺陷检测方法，具体包括如下步骤：

步骤S1，图像采集：控制CCD相机的光轴倾斜于液晶屏幕，在倾斜视角下采集液晶屏幕显示的原始图像；

步骤S2，感兴趣区域提取和视角变换：采用固定阈值法从原始图像中提取屏幕显示区域作为感兴趣区域，并采用OpenCV提供的透视变换算法对感兴趣区域进行校正变换，得到90度视角下的矩形的液晶屏幕显示区域图像；

步骤S3，图像纹理滤波：通过Gabor滤波器对步骤S2中得到的矩形的液晶屏幕显示区域图像进行滤波，抑制屏幕显示区域图像中的背景纹理；

步骤S4，图像颜色空间转换：将滤波后的屏幕显示区域图像从RGB颜色空间转换到HSV颜色空间，并分离HSV三通道，分别得到H通道图像、S通道图像和V通道图像；

步骤S5，Mura缺陷分割：采用动态变化尺寸的滑动窗口分别对H、S、V三通道的H道道图像、S通道图像和V通道图像进行扫描，提取各个通道中滑动窗口所覆盖的子图像，在子图像中采用自适应双阈值分割算法进行Mura缺陷区域的分割，得到Mura缺陷区域候选二值图；

步骤S6，缺陷分割区域二次筛选：

检索候选二值图的轮廓，分别计算轮廓内部包围的区域的H、S、V三通道的均值与该轮廓周围小领域内的灰度均值的对比度，将对比度大于设定阈值的区域认定为真缺陷区域，否则排除该区域。

可选地，在步骤S1中，所述CCD相机的光轴与液晶屏幕的所在平面的倾斜夹角为45°。

可选地，在步骤S1中，在拍摄液晶屏幕图像时，通过自适应调节迭代算法调整CCD相机的曝光值，所述自适应调节迭代算法为：

Exposure_i＝Exposure_i-1+ΔE

ΔE＝(Ave_Gray_i-1-Ave_Gray_target)×70

式中，Exposure_i为当前计算得到的曝光参数，Exposure_i-1为上一次使用的曝光参数；Ave_Gray_i-1上一次采集得到的液晶屏幕图像中屏幕显示区域的亮度均值，Ave_Gray_target为屏幕显示区域的理想亮度值。

可选地，所述步骤S2包括如下步骤：

步骤S21，选取原始图像中心区域面积为100×100的区域作为候选像素区域，计算该区域的平均亮度值Ave_Gray_100×100；

步骤S22，以Ave_Gray_100×100作为分割原始图像中屏幕显示区域与背景区域的阈值Th，使用阈值Th对原始图像进行二值化分割，得到分边缘轮廓明显的二值图。

步骤S23，根据步骤S22中获取的二值图提取屏幕显示区域的外部轮廓，对所述外部轮廓进行透视变换，得到矩形的屏幕显示区域。

可选地，所述步骤S23包括如下步骤：

步骤S231，设定屏幕显示区域变换后对应矩形轮廓的四个角点构成的矩阵

其中，N_L为液晶屏幕显示区域在变换后的长边对应的像素个数，N_W为液晶屏幕显示区域在变换后的长边对应的像素个数；

步骤S232，对步骤S22中获取的二值图采用轮廓多边形近似的方式进行轮廓检索，再对检索得到的轮廓进行多边形拟合，得到屏幕显示区域的外部轮廓，并记录该外部轮廓信息：四个角点坐标(x_ij,y_ij)i＝0,1；j＝0,1和中心点坐标(x_c,y_c)；

步骤S233，将外部轮廓的四个角点坐标(x_ij,y_ij)分别与中心点坐标(x_c,y_c)进行比较，对四个角点进行排序，确定变换前的外部轮廓的四个角点构成的矩阵

其中，(x_LT,y_LT)为左上角坐标，(x_LB,y_LB)为左下角坐标，(x_RT,y_RT)为右上角坐标，(x_RB,y_RB)为右下角坐标；

步骤S234，使用矩阵M1和矩阵M2对步骤S22获取的屏幕显示区域进行透视变换，得到矩形的屏幕显示区域。

可选地，在步骤S3中，通过Gabor滤波器对步骤2中得到的矩形的液晶屏幕显示区域图像进行0°和90°方向的多方向滤波。

可选地，所述步骤S4包括如下步骤：

步骤S41，将RGB颜色空间的分布在0到255之间的数据进行归一化，变换为0到1之间的分布：

R'＝R/255

G'＝G/255

B'＝B/255

步骤S42，计算R'、G'、B'的最大值C_max和最小值C_min，并计算最大值与最小值的差值Δ：

C_max＝Max(R',G',B')

C_min＝Min(R',G',B')

Δ＝C_max-C_min

步骤S43，转换到HSV空间：

V＝C_max

分别得到代表H、S、V三个通道的一维图像：H通道图像、S通道图像和V通道图像。

可选地，所述步骤S5包括如下步骤：

步骤S51，将滤波后的屏幕显示区域图像转换为灰度图；

步骤S52，在水平方向上提取灰度图的中间行像素数据Row_m＝(p₁,p₂,p₃,…,p_h)，在垂直方向上提取灰度图的中间列的像素数据Col_m＝(p₁,p₂,p₃,…,p_w)；其中，p为每个像素灰度值，w和h分别为灰度图像的像素总列数和行数；

步骤S53，对取出来的各行各列数据分别使用最小二乘法进行二次曲线拟合，得到代表灰度图在水平方向和垂直方向上的灰度分布曲线：

步骤S54，分别求取两条拟合出的曲线的梯度：

步骤S55，根据水平与垂直方向的梯度，计算滑动窗口的宽度Slid_W_i和高度Slid_H_j：

步骤S56，取滑动窗口尺寸的三分之二作为水平方向和垂直方向的窗口滑动步长：

步骤S57，从灰度图的(0,0)点开始，使用滑动窗口依次对灰度图的H、S、V三个通道进行行扫描和列扫描；

步骤S58，提取各个通道中滑动窗口所覆盖的子图像，计算H、S、V三个通道子图像的均值，分别记为H_mean、S_mean、V_mean，以这三个均值作为基点，分别向上和向下取一定范围α_H、α_S、α_V作为波动阈值，将该范围内的像素数值标记为正常像素，超出这个范围的像素数值标记为异常像素，根据标记结果进行分割：

对H通道进行分割：

对S通道进行分割：

对V通道进行分割：

其中，Bin_h_ij、Bin_s_ij、Bin_v_ij分别为对H、S、V通道进行标记的二值图，Sub_h_ij、Sub_s_ij、Sub_v_ij分别为滑动窗口提取的H、S、V通道的子图像；

步骤S59，按照子图像所对应的滑动窗口在灰度图中的位置，将分割后的二值图Bin_h_ij、Bin_s_ij、Bin_v_ij分别拼接为与灰度图尺寸相同的整体二值图Bin_H、Bin_S、Bin_V，并对Bin_H、Bin_S、Bin_V进行逻辑或操作，生成融合三个通道数据分割结果的候选二值图Bin_im＝Bin_H||Bin_S||Bin_V。

可选地，所述步骤S57包括如下步骤：

步骤571，确定滑动窗口起点Point(i,j)＝(0,0)；

步骤572，根据上述步骤S55计算当前滑动窗口的尺寸，生成当前的滑动窗口标记{i,j,Slid_W_i,Slid_H_j}，其中，(i,j)为滑动窗口左上角坐标；当i+Slid_W_i小于w时，执行步骤573否则跳转到步骤575；

步骤573，根据上述步骤S5-16计算水平方向滑动步长，将滑动窗口沿着水平方向滑动一次，计算下一滑动窗口的起点坐标(i'＝i+Slid_W_i,j'＝j)；

步骤574，根据步骤573中得到的新起点坐标(i',j')，返回步骤572继续计算新滑动窗口的尺寸；

步骤575，根据上述步骤S56计算垂直方向滑动步长，并将滑动窗口沿着垂直方向滑动一次，计算下一滑动窗口的起点坐标：(i”＝i,j”＝j+Slid_H_j)；

步骤576，根据上述步骤S55计算滑动窗口的高度Slid_H_j，若j+Slid_H_j小于h时重复返回步骤572，否则结束；

步骤577，采用步骤571-步骤576生成的一系列滑动窗口依次对灰度图的H、S、V三个通道进行行扫描和列扫描。

同现有技术相比，本发明提供的Mura缺陷检测方法具有以下优点：

1、采用相机光轴倾斜于的液晶屏幕的方式来采集倾斜视角下的显示图像，可以避免漏检从相机在垂直视角下无法观察到的缺陷，并通过视角变换的方式，将采集后的图像中的屏幕显示区域还原到90度拍摄姿态下的图像，便于进行算法处理。

2、根据液晶屏幕表面电极分布的特点，通过Gabor滤波器对图像进行0°和90°的多方向滤波，可有效去除液晶屏幕表面的周期性纹理，同时降低对缺陷区域信息造成的损失。

3、采用基于动态变化尺寸的滑动窗口扫描方式和自适应双阈值分割算法两种机制对Mura缺陷进行分割，动态变化尺寸的滑动窗口扫描方式可以根据屏幕灰度分布的特点，动态变换窗口大小与扫描步长，一方面可以抑制屏幕本身发光不均匀对检测的干扰，另一方面可以加快滑动窗口扫描速度；同时，自适应双阈值分割算法可分别从H、S、V三个角度分析图像数据，进行缺陷区域分割，并对分割后的结果进行候选区域筛选，在避免漏检缺陷的同时，降低了误检率。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明基于计算机视觉的液晶屏幕Mura缺陷检测方法的流程示意图；

图2为CCD相机采集液晶屏幕图像的流程示意图；

图3为从液晶屏幕图像中提取屏幕显示区域的流程示意图；

图4为Mura缺陷分割的流程示意图；

图5为对液晶屏幕图像处理的结果示意图；

图6为纹理滤波前后图像的效果对比图；

图7为Mura缺陷检测结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于计算机视觉的液晶屏幕Mura缺陷检测方法，其检测步骤包括：图像采集、感兴趣区域提取和视角变换、图像纹理滤波、图像颜色空间转换、Mura缺陷分割和缺陷分割区域二次筛选。

步骤S1，图像采集

将CCD相机倾斜于液晶屏幕，使得CCD相机的光轴与液晶屏幕呈45°，在倾斜视角下采集显示液晶屏幕显示的原始图像。

当液晶屏幕图像显示不同颜色画面时，为避免拍摄的图像不至于过亮或者过暗，保证图像清晰度。在本实施例中，针对不同颜色画面，在步骤S1中，还通过自适应调节迭代算法调整CCD相机的曝光值，所述自适应调节迭代算法为：

Exposure_i＝Exposure_i-1+ΔE

ΔE＝(Ave_Gray_i-1-Ave_Gray_target)×70

式中，Exposure_i为当前计算得到的曝光参数，Exposure_i-1为上一次使用的曝光参数；Ave_Gray_i-1上一次采集得到的液晶屏幕图像中屏幕显示区域的亮度均值，Ave_Gray_target为屏幕显示区域的理想亮度值。

通过迭代的方式分别自动调节相机在拍摄不同颜色画面时的曝光值，并在当前曝光值下采集并计算所拍摄的图像中液晶屏幕显示区域的平均亮度均值，并与合理的亮度均值进行比较，并依据比较结果调整曝光参数，可以保证采集的图像能够清楚反映图像上所有缺陷特征。

下面结合图2，对白色图像和黑色图像的采集流程进行说明：

图像采集前，先初始化CCD相机的曝光值，再设定一曝光值分别采集液晶屏幕显示的白色图像和黑色图像，计算在设定曝光值下白色图像和黑色图像的亮度均值与其各自的对应的理想亮度值的差值，若差值绝对值|Ave_Gray_i-1-Ave_Gray_target|大于5，则通过上述自适应调节迭代算法对CCD相机的设定曝光值进行迭代，直至|Ave_Gray_i-1-Ave_Gray_target|小于5停止，并保存最终得到白色图像和黑色图像的曝光值。

CCD相机连续采集白色图像和黑色图像时，使用自适应调节得到的曝光参数，调整好CCD相机的曝光时间，依次采集白色图像和黑色图像，由此即可使得采集的白色图像和黑色图像不至于过亮或过暗，有效保证图像清晰度，便于后续的图像处理。

此外，还可以在更换不同型号的液晶屏幕时，通过自适应调节迭代算法调整CCD相机的曝光值，避免不同型号的屏幕发光亮度不同导致采集的液晶屏幕图像过亮或者过暗

步骤S2，感兴趣区域提取和视角变换

先采用固定阈值法从原始图像中提取屏幕显示区域作为感兴趣区域，而后采用OpenCV提供的透视变换算法对感兴趣区域进行校正变换，得到90度视角下的矩形的液晶屏幕显示区域图像。

下面结合图3，对感兴趣区域提取和视角变换的具体流程进行说明：

步骤S21，选取原始图像中心区域面积为100×100的区域作为候选像素区域，计算该区域的平均亮度值Ave_Gray_100×100。屏幕显示区域一般放置于CCD相机采集范围的中心，且占据采集范围的绝大部分，通过计算该区域的平均亮度值，可以有效估计屏幕显示区域的整体亮度值分布特点。

步骤S22，以Ave_Gray_100×100作为分割原始图像中屏幕显示区域与背景区域的阈值Th，将原始图像中低于Th的像素点的像素值设为0，将原始图像中高于Th的像素点的像素值设为255，实现对原始图像的二值分割，得到边缘轮廓明显的二值图。分割后的二值图可以表述为：

其中，w_ij为分割生成的二值图中第i行第j列的像素值，h_ij为CCD相机采集的原始图像中第i行第j列的灰度值，W为CCD相机采集的液晶屏幕图像的行数，H为液晶屏幕图像的列数。

作为优选地，在步骤S22中，为了保证分割效果，在计算出的平均亮度值的基础上减掉20作为分割屏幕显示区域与背景区域的固定阈值，即Th＝Ave_Gray_100×100-20。

步骤S23，根据步骤S22中获取的二值图提取屏幕显示区域的外部轮廓，对所述外部轮廓进行透视变换，得到矩形的屏幕显示区域。

由于CCD相机相对液晶屏幕倾斜45°，采集的屏幕显示区域会由矩形畸变为梯形，为了便于后续算法处理的需要，需要将屏幕显示区域图像从原始图像中提取出来并进行视角变换，将梯形的屏幕显示区域校正为标准的矩形。在步骤S23中，采用了计算机视觉开源算法库OpenCV提供的透视变换算法进行校正变换。透视变换需要获取变换前与变换后的四组对应点坐标，对于变换后的坐标，一般根据液晶屏幕自身的尺寸来确定，而变换前采用多边形近似的方式获取屏幕显示区域的梯形轮廓，通过梯形轮廓来获取屏幕显示区域的四个角点坐标。具体包括如下步骤：

步骤S231，设定屏幕显示区域变换后对应矩形轮廓的四个角点构成的矩阵

其中，N_L为液晶屏幕显示区域在变换后的长边对应的像素个数，N_W为液晶屏幕显示区域在变换后的长边对应的像素个数。在本实施例中，拍摄的液晶屏幕的长边和宽边对应的像素个数分别3000和1750，由此设定变换后的矩形的四个顶点构成的矩阵

步骤S232，对步骤S22中获取的二值图采用轮廓多边形近似的方式进行轮廓检索，再对检索得到的轮廓进行多边形拟合，得到屏幕显示区域的外部轮廓，并记录该外部轮廓信息：四个角点坐标(x_ij,y_ij)i＝0,1；j＝0,1和中心点坐标(x_c,y_c)。

步骤S233，将外部轮廓的四个角点坐标(x_ij,y_ij)分别与中心点坐标(x_c,y_c)进行比较，对四个角点进行排序，确定变换前的外部轮廓的四个角点构成的矩阵

比较和排序规则如下：

(x_LT,y_LT)＝(x_ij,y_ij) x_ij<x_c,y_ij<y_c；

(x_LB,y_LB)＝(x_ij,y_ij) x_ij<x_c,y_ij>y_c；

(x_RT,y_RT)＝(x_ij,y_ij) x_ij>x_c,y_ij<y_c；

(x_RB,y_RB)＝(x_ij,y_ij) x_ij>x_c,y_ij>y_c；

其中，(x_LT,y_LT)为左上角坐标，(x_LB,y_LB)为左下角坐标，(x_RT,y_RT)为右上角坐标，(x_RB,y_RB)为右下角坐标。

步骤S234，使用矩阵M1和矩阵M2对步骤S22获取的屏幕显示区域进行透视变换，得到矩形的屏幕显示区域。校正后的图像如图5中的(e)图所示。

步骤S3，图像纹理滤波

通过Gabor滤波器，对步骤2中获取的屏幕显示区域A和屏幕显示区域B进行0°和90°方向的多方向滤波。

由于液晶屏幕的制造工艺，其薄膜电基板上均匀排列着垂直信号电极和水平扫描电极，当使用CCD相机对液晶屏幕进行拍摄时，液晶屏幕自身的物理结构在所拍摄的图像中会产生规则排列且相互垂直的纹理背景，这会对后续缺陷的检测产生干扰。因此，需要在缺陷检测前对屏幕显示区域的纹理背景进行有效的抑制。故，在本实施例中，采用Gabor滤波器对校正后的屏幕显示区域图像进行滤波处理，抑制屏幕显示区域图像中的背景纹理。该Gabor滤波器为用于纹理分析的线性滤波器，主要分析的是图像在某一特定区域的特定方向上是否有特定的频率内容，其脉冲响应定义为一个正弦波乘以高斯函数，可以被描述为：

其中，x₁＝xcosθ+ysinθ，y₁＝-xsinθ+ycosθ。

为了同时消除水平和垂直方向的图像纹理，需要在0度和90度方向上分别生成一个小波滤波器来去除水平和垂直方向的纹理噪声干扰。故，分别在θ＝0和θ＝π/2两个滤波方向分别生成5*5大小的Gabor小波卷积核K1和Gabor小波卷积核K2，使用K1和K2依次对校正后的屏幕显示区域图像进行卷积运算，消除校正的屏幕显示区域图像在水平方向和垂直方向的图像纹理，得到无纹理的滤波图像。滤波前后的对比图像如图6中的(a)图和(b)图所示。

步骤S4，图像颜色空间转换：

为了从HSV三个维度分别检测屏幕显示区域图像是否存在Mura缺陷，将上述得到的滤波后的无纹理的屏幕显示区域图像进行颜色空间的转换由RGB颜色空间转换到HSV颜色空间，转换具体包括如下步骤：

步骤S41，将RGB颜色空间的分布在0到255之间的数据进行归一化，变换为0到1之间的分布：

R'＝R/255

G'＝G/255

B'＝B/255

步骤S42，计算R'、G'、B'的最大值C_max和最小值C_min，并计算最大值与最小值的差值Δ：

C_max＝Max(R',G',B')

C_min＝Min(R',G',B')

Δ＝C_max-C_min

步骤S43，转换到HSV空间：

V＝C_max

转换后，可分别得到代表H、S、V三个通道的一维图像：H通道图像、S通道图像和V通道图像。

步骤S5，Mura缺陷分割

由于液晶屏幕本身并不是均匀发光的，整体呈现的亮度不均匀，而Mura缺陷又是一种局部亮度不均缺陷，这就会对Mura缺陷的检测带来一定的干扰。针对上述问题，在步骤S5中，采用了两种机制对Mura缺陷进行分割：一是设计了一种动态变化尺寸的滑动窗口扫描方式，可以根据屏幕灰度分布的特点，动态变换窗口大小与扫描步长，一方面可以抑制屏幕本身发光不均匀对检测的干扰，另一方面，因为滑动窗口所覆盖的图像区域可以被认为是亮度均匀分布的，因此每次在滑动窗口所覆盖的子图像中进行分析不必考虑整体亮度不均的影响；二是在子图像中进行缺陷分割时，根据子图像的数据分布特点自适应确定分割缺陷的阈值。下面将结合图4，具体说明Mura缺陷分割的分割流程：

步骤S51，将滤波后的屏幕显示区域图像转换为灰度图。

步骤S52，在水平方向上提取灰度图的中间行像素数据Row_m＝(p₁,p₂,p₃,…,p_h)，在垂直方向上提取灰度图的中间列的像素数据Col_m＝(p₁,p₂,p₃,…,p_w)。其中，p为每个像素灰度值，w和h分别为灰度图的像素总列数和行数。

步骤S53，对取出来的各行各列数据分别使用最小二乘法进行二次曲线拟合，得到代表灰度图在水平方向和垂直方向上的灰度分布曲线：

在步骤S53中，通过提取中间行数据和中间列数据来拟合水平方向和持之方向的灰度分布曲线，可减小计算复杂度

步骤S54，分别求取两条拟合出的曲线的梯度：

步骤S55，根据水平与垂直方向的梯度，计算滑动窗口的宽度Slid_W_i和高度Slid_H_j：

步骤S56，取滑动窗口尺寸的三分之二作为水平方向和垂直方向的窗口滑动步长：

步骤S57，从灰度图的(0,0)点开始，使用滑动窗口依次对灰度图的H、S、V三个通道进行行扫描和列扫描。

步骤S58，提取各个通道中滑动窗口所覆盖的子图像，计算H、S、V三个通道子图像的均值，分别记为H_mean、S_mean、V_mean，以这三个均值作为基点，分别向上和向下取一定范围α_H、α_S、α_V作为波动阈值，将该范围内的像素数值标记为正常像素，灰度值设为0，而超出这个范围的像素数值标记为异常像素，灰度值设为255，从而实现对3三通道子图像的阈值分割。

对H通道分割结果可以表述为：

对S通道分割结果可以表述为：

对V通道分割结果可以表述为：

其中，Bin_h_ij、Bin_s_ij、Bin_v_ij分别为对H、S、V通道进行标记的二值图，Sub_h_ij、Sub_s_ij、Sub_v_ij分别为滑动窗口提取的H、S、V通道的子图像。

步骤S59，按照子图像所对应的滑动窗口在灰度图中的位置，将分割后的二值图Bin_h_ij、Bin_s_ij、Bin_v_ij分别拼接为与灰度图尺寸相同的整体二值图Bin_H、Bin_S、Bin_V，并对Bin_H、Bin_S、Bin_V进行逻辑或操作，生成融合三个通道数据分割结果的候选二值图Bin_im＝Bin_H||Bin_S||Bin_V。

其中，所述步骤S57包括如下步骤：

步骤571，确定滑动窗口起点Point(i,j)＝(0,0)。

步骤572，根据上述步骤S55计算当前滑动窗口的尺寸，生成当前的滑动窗口标记{i,j,Slid_W_i,Slid_H_j}，其中，(i,j)为滑动窗口左上角坐标；当i+Slid_W_i小于w时，执行步骤573否则跳转到步骤575。

步骤573，根据上述步骤S5-16计算水平方向滑动步长，将滑动窗口沿着水平方向滑动一次，计算下一滑动窗口的起点坐标(i'＝i+Slid_W_i,j'＝j)。

步骤574，根据步骤573中得到的新起点坐标(i',j')，返回步骤572继续计算新滑动窗口的尺寸。

步骤575，根据上述步骤S56计算垂直方向滑动步长，并将滑动窗口沿着垂直方向滑动一次，计算下一滑动窗口的起点坐标：(i”＝i,j”＝j+Slid_H_j)。

步骤576，根据上述步骤S55计算滑动窗口的高度Slid_H_j，若j+Slid_H_j小于h时重复返回步骤572，否则结束。

步骤577，采用步骤571-步骤576生成的一系列滑动窗口依次对灰度图的H、S、V三个通道进行行扫描和列扫描。

步骤S6，缺陷分割区域二次筛选

检索候选二值图Bin_im的轮廓，并对轮廓进行分析，分别计算轮廓内部包围的区域的H、S、V三通道的平均值与轮廓周围一个小邻域的灰度均值的对比度，将对比度大于设定阈值的区域认定为真正的缺陷区域，否则排除该候选区域，得到最终的缺陷检测结果，检测效果如图7所示。

同现有技术相比，本发明提供的Mura缺陷检测方法具有以下优点：

1、采用相机光轴倾斜于的液晶屏幕的方式来采集倾斜视角下的显示图像，可以避免漏检从相机在垂直视角下无法观察到的缺陷，并通过视角变换的方式，将采集后的图像中的屏幕显示区域还原到90度拍摄姿态下的图像，便于进行算法处理。

2、根据液晶屏幕表面电极分布的特点，通过Gabor滤波器对图像进行0°和90°的多方向滤波，可有效去除液晶屏幕表面的周期性纹理。

3、采用基于动态变化尺寸的滑动窗口扫描方式和自适应双阈值分割算法两种机制对Mura缺陷进行分割，动态变化尺寸的滑动窗口扫描方式可以根据屏幕灰度分布的特点，动态变换窗口大小与扫描步长，一方面可以抑制屏幕本身发光不均匀对检测的干扰，另一方面可以加快滑动窗口扫描速度；同时，自适应双阈值分割算法可分别从H、S、V三个角度分析图像数据，进行缺陷区域分割，并对分割后的结果进行候选区域筛选，在避免漏检缺陷的同时，降低了误检率。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种基于计算机视觉的液晶屏幕Mura缺陷检测方法，其特征在于，包括如下步骤：

步骤S1，图像采集：控制CCD相机的光轴倾斜于液晶屏幕，在倾斜视角下采集液晶屏幕显示的原始图像；

步骤S2，感兴趣区域提取和视角变换：采用固定阈值法从原始图像中提取屏幕显示区域作为感兴趣区域，并采用OpenCV提供的透视变换算法对感兴趣区域进行校正变换，得到90度视角下的矩形的液晶屏幕显示区域图像；

步骤S3，图像纹理滤波：通过Gabor滤波器对步骤S2中得到的矩形的液晶屏幕显示区域图像进行滤波，抑制屏幕显示区域图像中的背景纹理；

步骤S4，图像颜色空间转换：将滤波后的屏幕显示区域图像从RGB颜色空间转换到HSV颜色空间，并分离HSV三通道，分别得到H通道图像、S通道图像和V通道图像；

步骤S5，Mura缺陷分割：采用动态变化尺寸的滑动窗口分别对H、S、V三通道的H道道图像、S通道图像和V通道图像进行扫描，提取各个通道中滑动窗口所覆盖的子图像，在子图像中采用自适应双阈值分割算法进行Mura缺陷区域的分割，得到Mura缺陷区域候选二值图；

步骤S6，缺陷分割区域二次筛选：

检索候选二值图的轮廓，分别计算轮廓内部包围的区域的H、S、V三通道的均值与该轮廓周围小领域内的灰度均值的对比度，将对比度大于设定阈值的区域认定为真缺陷区域，否则排除该区域。

2.如权利要求1所述的基于计算机视觉的液晶屏幕Mura缺陷检测方法，其特征在于，在步骤S1中，所述CCD相机的光轴与液晶屏幕的所在平面的倾斜夹角为45°。

3.如权利要求1所述的基于计算机视觉的液晶屏幕Mura缺陷检测方法，其特征在于，在步骤S1中，在拍摄液晶屏幕图像时，通过自适应调节迭代算法调整CCD相机的曝光值，所述自适应调节迭代算法为：

Exposure_i＝Exposure_i-1+ΔE

ΔE＝(Ave_Gray_i-1-Ave_Gray_target)×70

式中，Exposure_i为当前计算得到的曝光参数，Exposure_i-1为上一次使用的曝光参数；Ave_Gray_i-1上一次采集得到的液晶屏幕图像中屏幕显示区域的亮度均值，Ave_Gray_target为屏幕显示区域的理想亮度值。

4.如权利要求1所述的基于计算机视觉的液晶屏幕Mura缺陷检测方法，其特征在于，所述步骤S2包括如下步骤：

步骤S21，选取原始图像中心区域面积为100×100的区域作为候选像素区域，计算该区域的平均亮度值Ave_Gray_100×100；

步骤S22，以Ave_Gray_100×100作为分割原始图像中屏幕显示区域与背景区域的阈值Th，使用阈值Th对原始图像进行二值化分割，得到分边缘轮廓明显的二值图；

步骤S23，根据步骤S22中获取的二值图提取屏幕显示区域的外部轮廓，对所述外部轮廓进行透视变换，得到矩形的屏幕显示区域。

5.如权利要求4所述的基于计算机视觉的液晶屏幕Mura缺陷检测方法，其特征在于，其特征在于，所述步骤S23包括如下步骤：

步骤S231，设定屏幕显示区域变换后对应矩形轮廓的四个角点构成的矩阵

其中，N_L为液晶屏幕显示区域在变换后的长边对应的像素个数，N_W为液晶屏幕显示区域在变换后的长边对应的像素个数；

步骤S232，对步骤S22中获取的二值图采用轮廓多边形近似的方式进行轮廓检索，再对检索得到的轮廓进行多边形拟合，得到屏幕显示区域的外部轮廓，并记录该外部轮廓信息：四个角点坐标(x_ij,y_ij)i＝0,1；j＝0,1和中心点坐标(x_c,y_c)；

步骤S233，将外部轮廓的四个角点坐标(x_ij,y_ij)分别与中心点坐标(x_c,y_c)进行比较，对四个角点进行排序，确定变换前的外部轮廓的四个角点构成的矩阵

其中，(x_LT,y_LT)为左上角坐标，(x_LB,y_LB)为左下角坐标，(x_RT,y_RT)为右上角坐标，(x_RB,y_RB)为右下角坐标；

步骤S234，使用矩阵M1和矩阵M2对步骤S22获取的屏幕显示区域进行透视变换，得到矩形的屏幕显示区域。

6.如权利要求1所述的基于计算机视觉的液晶屏幕Mura缺陷检测方法，其特征在于，在步骤S3中，通过Gabor滤波器对步骤2中得到的矩形的液晶屏幕显示区域图像进行0°和90°方向的多方向滤波。

7.如权利要求1所述的基于计算机视觉的液晶屏幕Mura缺陷检测方法，其特征在于，所述步骤S4包括如下步骤：

步骤S41，将RGB颜色空间的分布在0到255之间的数据进行归一化，变换为0到1之间的分布：

R'＝R/255

G'＝G/255

B'＝B/255

步骤S42，计算R'、G'、B'的最大值C_max和最小值C_min，并计算最大值与最小值的差值Δ：

C_max＝Max(R',G',B')

C_min＝Min(R',G',B')

Δ＝C_max-C_min

步骤S43，转换到HSV空间：

V＝C_max

分别得到代表H、S、V三个通道的一维图像：H通道图像、S通道图像和V通道图像。

8.如权利要求1所述的基于计算机视觉的液晶屏幕Mura缺陷检测方法，其特征在于，所述步骤S5包括如下步骤：

步骤S51，将滤波后的屏幕显示区域图像转换为灰度图；

步骤S52，在水平方向上提取灰度图的中间行像素数据Row_m＝(p₁,p₂,p₃,…,p_h)，在垂直方向上提取灰度图的中间列的像素数据Col_m＝(p₁,p₂,p₃,…,p_w)；其中，p为每个像素灰度值，w和h分别为灰度图像的像素总列数和行数；

步骤S53，对取出来的各行各列数据分别使用最小二乘法进行二次曲线拟合，得到代表灰度图在水平方向和垂直方向上的灰度分布曲线：

步骤S54，分别求取两条拟合出的曲线的梯度：

步骤S55，根据水平与垂直方向的梯度，计算滑动窗口的宽度Slid_W_i和高度Slid_H_j：

步骤S56，取滑动窗口尺寸的三分之二作为水平方向和垂直方向的窗口滑动步长：

步骤S57，从灰度图的(0,0)点开始，使用滑动窗口依次对灰度图的H、S、V三个通道进行行扫描和列扫描；

步骤S58，提取各个通道中滑动窗口所覆盖的子图像，计算H、S、V三个通道子图像的均值，分别记为H_mean、S_mean、V_mean，以这三个均值作为基点，分别向上和向下取一定范围α_H、α_S、α_V作为波动阈值，将该范围内的像素数值标记为正常像素，超出这个范围的像素数值标记为异常像素，根据标记结果进行分割：

对H通道进行分割：

对S通道进行分割：

对V通道进行分割：

其中，Bin_h_ij、Bin_s_ij、Bin_v_ij分别为对H、S、V通道进行标记的二值图，Sub_h_ij、Sub_s_ij、Sub_v_ij分别为滑动窗口提取的H、S、V通道的子图像；

步骤S59，按照子图像所对应的滑动窗口在灰度图中的位置，将分割后的二值图Bin_h_ij、Bin_s_ij、Bin_v_ij分别拼接为与灰度图尺寸相同的整体二值图Bin_H、Bin_S、Bin_V，并对Bin_H、Bin_S、Bin_V进行逻辑或操作，生成融合三个通道数据分割结果的候选二值图Bin_im＝Bin_H||Bin_S||Bin_V。

9.如权利要求8所述的基于计算机视觉的液晶屏幕Mura缺陷检测方法，其特征在于，所述步骤S57包括如下步骤：

步骤571，确定滑动窗口起点Point(i,j)＝(0,0)；

步骤572，根据上述步骤S55计算当前滑动窗口的尺寸，生成当前的滑动窗口标记{i,j,Slid_W_i,Slid_H_j}，其中，(i,j)为滑动窗口左上角坐标；当i+Slid_W_i小于w时，执行步骤573否则跳转到步骤575；

步骤573，根据上述步骤S5-16计算水平方向滑动步长，将滑动窗口沿着水平方向滑动一次，计算下一滑动窗口的起点坐标(i'＝i+Slid_W_i,j'＝j)；

步骤574，根据步骤573中得到的新起点坐标(i',j')，返回步骤572继续计算新滑动窗口的尺寸；

步骤575，根据上述步骤S56计算垂直方向滑动步长，并将滑动窗口沿着垂直方向滑动一次，计算下一滑动窗口的起点坐标：(i”＝i,j”＝j+Slid_H_j)；

步骤576，根据上述步骤S55计算滑动窗口的高度Slid_H_j，若j+Slid_H_j小于h时重复返回步骤572，否则结束；

步骤577，采用步骤571-步骤576生成的一系列滑动窗口依次对灰度图的H、S、V三个通道进行行扫描和列扫描。

Images