CN108205210B - 基于傅里叶梅林及特征匹配的lcd缺陷检测系统及方法 - Google Patents

Abstract

本发明公开了一种LCD显示缺陷自动光学检测系统及方法，具体是一种基于傅里叶梅林及特征匹配的LCD缺陷检测系统及方法的实现。装置有计算机、图像采集卡、与计算机相连的一个CMOS工业相机，放置待测显示屏的载物台，两者垂直中间是环形阶梯状LED光源，待测显示屏及驱动显示装置。基于傅里叶梅林及特征匹配的图像配准算法能够实现高精度配准，这是该系统及方法的核心，图像融合进一步提高配准精度，最后通过差影法检测缺陷以及最小外接矩形法统计缺陷位置及类型信息。本发明实现了对LCD显示缺陷的实时高精度检测。

Description

基于傅里叶梅林及特征匹配的LCD缺陷检测系统及方法

技术领域

本发明属于LCD显示缺陷检测领域，特别是一种基于傅里叶梅林及特征匹配的LCD缺陷检测系统及方法。

背景技术

LCD显示屏作为各种仪器仪表、手机电脑等电子器件的重要显示器件，对提高我国电子信息行业的市场竞争力起着至关重要的作用。LCD显示屏生产工艺繁杂，很容易出现多种缺陷，影响成像质量，降低良品率，因此对LCD显示屏的缺陷检测显得尤为重要。

成像质量一直是LCD显示制造追求的目标，良好的产品质量是其立足的根本。传统的检测方法是人工视觉检查法，需要花费大量的人力，且人眼的分辨率不高会出现漏检误检，主观性大，且长期工作会产生视觉疲劳导致稳定性不高，很难保证质量检测精度，无法成为统一的检测标准，所以慢慢地被取代。

在光电信息技术飞速进步和发展的推动作用下，目前已经推广出新型先进的缺陷检测方法—机器视觉检测。基于机器视觉的检测技术有很多的优点:(l)非接触式检测，避免对被检测者产生额外的“缺陷”，检测的可靠性得以有效的保证(2)频谱响应范围大，所能检测的对象十分广泛，比如人眼观测不到可见光之外的红外、超声波等波长的存在，总体来说比人眼的视觉范围更加宽阔(3)人工检测会挑剔环境而且会疲劳影响工作效率，机器视觉却可以适应各种环境且不知疲惫能长时间测量分析，能够取代大量的人工劳动力(4)它还能节省大量的资源，降低成本，给产业带来巨大的经济效益，特别是大批量加工生产的企业。

缺陷检测中最关键的是图像配准，目前主要的传统方法是单纯的基于特征匹配的方法，且其中的几何变换是仿射变换。获得标准图和处理光照变化影响是通过多张标准无缺陷的图求平均的方法。

现有的检测方法的缺点在于：1)获取标准图库的方法比较复杂，需要配准再求平均，也占据了整体检测的时间；2)配准方法单一且复杂，比如金字塔搜索策略，时间比较久，且不能很好的考虑处理由于光照变化引起的亮度不一致的所有情况，除此以外仿射变换没有考虑到实际拍摄中可能出现图像畸变引入的三维空间状态，校正图像变形，从而误检测；3)基于特征匹配的方法必须要去除误匹配，且有些去除误匹配的算法效果不好，且针对不同亮度的图像检测结果不稳定，同时去除误匹配算法增加了总体的匹配时间；4)不能处理存在大角度偏转的图像，放置LCD时必须要将其角度调整到可控范围之内；5)全局自适应阈值分割，会忽略掉某些与待测目标背景极为相近的缺陷，出现漏检。应用范围窄，不能适用于所有类型的LCD显示缺陷检测，且在其他行业没有可拓展空间。

发明内容

本发明所解决的技术问题在于提供一种简单、有效、快速、高精度、应用前景更广阔的LCD缺陷检测系统及方法。

实现本发明目的的技术解决方案为：一种基于傅里叶梅林及特征匹配的LCD缺陷检测系统，包括LCD显示屏成像系统和LCD显示屏检测系统，所述LCD显示屏成像系统包括CMOS相机、环形阶梯状LED光源、载物台、LCD显示屏及驱动显示装置，LCD显示屏检测系统包括图像采集卡和计算机；

所述图像采集卡与CMOS相机相连，控制CMOS相机采集LCD显示屏图像，所述LCD显示屏驱动显示装置、图像采集卡与计算机相连，所述计算机控制驱动显示装置工作，驱动显示装置驱动LCD显示屏显示，所述计算机控制图像采集卡采集LCD显示屏显示出的图像；

所述CMOS相机、环形阶梯状LED光源、LCD显示屏垂直依次放置，且CMOS相机的光轴与LCD显示屏表面法向一致。

一种基于所述傅里叶梅林及特征匹配的LCD缺陷检测方法，包括以下步骤：

步骤1、系统初始化，用CMOS相机采集标准的LCD显示屏图像存入标准图库，具体每5min执行一次，更新标准图库。

步骤2、用CMOS相机采集待测的LCD显示屏图像；

步骤3、计算机对所述两幅图进行图像配准，具体采用基于傅里叶梅林及特征匹配的方法进行配准，先对标准图和待测图做傅里叶梅林变换，计算出两者之间的旋转角度θ₀，然后根据旋转角度θ₀初步校正待测图，接着利用基于特征(SURF/SIFT)的匹配方法，对标准图和校正后的待测图进一步配准，获得配准后的待测图；

采用基于傅里叶梅林及特征匹配所用公式为：

g₂(x,y)＝g₁[(x cosθ₀+y sinθ₀)-Δx,(-x cosθ₀+y sinθ₀)-Δy]

G₂＝e^{-2πj(ξΔx+ηΔy)}|G₁[(ξcosθ₀+ηsinθ₀),(-ξcosθ₀+ηsinθ₀)]|

s_p1(θ,ρ)＝r_p1[(θ-θ₀),λ]

式中，g₁(x,y)为标准图,g₂(x,y)待测图,θ₀为待测图和标准图之间的旋转角度，Δx和Δy分别为两者之间的水平和垂直偏移量，G₁和G₂分别为g₁(x,y)和g₂(x,y)的频谱，r_p(θ,ρ)和s_p(θ,ρ)分别为G₁和G₂在极坐标中的频谱，θ为极坐标下的角度参数，ρ为极径，λ＝lgρ。

所述基于特征SURF/SIFT的匹配方法中最后一步几何变换采用透射变换。

所述图像配准精度由相关系数衡量，所用公式为：

式中，A_ij为标准图某一像素点的灰度值，B_ij为待测图某一像素点的灰度值，

为标准图灰度平均值，

为待测图灰度平均值，C为标准图和待测图的相关系数。

步骤4、对步骤3配准后的待测图和标准图进行融合处理，具体采用加权平均融合方法进行融合，得到融合后的待测图；

加权平均融合所用的公式为：

B'(M,N)＝c₁A(M,N)+c₂B(M,N)

式中，A为标准图，B为待测图，大小均为M×N，B’为融合后的图像，加权系数：

c₂＝1-c₁。优选：c₁＝0.38，c₂＝0.62。

步骤5、对步骤4融合后的待测图和标准图进行阈值分割，具体采用的是局部自适应阈值分割，然后利用差影法检测缺陷，并用最小外接矩形法统计缺陷的位置及类型。局部自适应阈值分割的滑动窗口大小为9×9。

本发明与现有技术相比，其显著优点为：1)本发明的系统采用非接触式测量，相比人工检测避免了被测量对象产生额外的缺陷；2)5min在当前环境下自动更新标准图库，一定程度上消除了标准图与待测图亮度差距太大情况的出现，且节省时间；3)配准方法简单且有效，能够处理视场范围内任何角度的图像，特别是大角度图像(0°-90°)，这样即不用在放置LCD时严密调整其角度或者机械上设计放置LCD的卡槽。4)透射变换能够很好的处理二维甚至三维空间图像，校正图像时不会发生变形，配准精度高。5)加权平均融合，不仅进一步克服了标准图与待测图之间可能存在的亮度微变，同时也提高了配准精度。6)局部自适应阈值分割，能够实现严格分割，即使与目标背景极为相近的缺陷也能分辨出，漏检率非常低。7)本方法不仅可以应用在LCD缺陷检测方面，也能应用于其他检测工业中，其中的图像配准方法也可以应用到需要图像配准的行业中。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明基于傅里叶梅林及特征匹配的LCD缺陷检测系统原理框图。

图2为本发明基于傅里叶梅林及特征匹配的LCD缺陷检测系统装置结构示意图。

图3为本发明基于傅里叶梅林及特征匹配的LCD缺陷检测方法的部分流程图。

图4为本发明基于傅里叶梅林及特征匹配的LCD缺陷检测方法的实施例图，其中图(a)为标准LCD图像，图(b)为待测LCD图像，图(c)为基于傅里叶梅林及特征匹配后的待测图像，图(d)为加权平均融合后的待测图像，图(e)为缺陷检测的结果。

图中编号所代表的含义为：1-CMOS相机，2-环形阶梯状LED光源，3-载物台，4-LCD显示屏，5-LCD驱动显示装置，6-计算机，7-图像采集卡。

具体实施方式

结合图1、2，本发明基于傅里叶梅林及特征匹配的LCD缺陷检测系统，包括LCD显示屏成像系统和LCD显示屏检测系统，所述LCD显示屏成像系统包括CMOS相机1、环形阶梯状LED光源2、载物台3、LCD显示屏4及驱动显示装置5，LCD显示屏检测系统包括图像采集卡7和计算机6；

所述图像采集卡与CMOS相机相连，控制CMOS相机采集LCD显示屏图像，所述LCD显示屏驱动显示装置、图像采集卡与计算机相连，所述计算机控制驱动显示装置工作，驱动显示装置驱动LCD显示屏显示，所述计算机控制图像采集卡采集LCD显示屏显示出的图像；

所述CMOS相机、环形阶梯状LED光源、LCD显示屏垂直依次放置，且CMOS相机的光轴与LCD显示屏表面法向一致。

结合图2、3，本发明基于傅里叶梅林及特征匹配的LCD缺陷检测方法，包括以下步骤：

步骤1、系统初始化，用CMOS相机采集标准的LCD显示屏图像存入标准图库，该步骤每5min执行一次，更新标准图库；

步骤2、用CMOS相机采集待测的LCD显示屏图像；

步骤3、计算机对所述两幅图进行图像配准，具体采用基于傅里叶梅林及特征匹配的方法进行配准，先对标准图和待测图做傅里叶梅林变换，所用公式为：

g₂(x,y)＝g₁[(x cosθ₀+y sinθ₀)-Δx,(-x cosθ₀+y sinθ₀)-Δy]

G₂＝e^{-2πj(ξΔx+ηΔy)}|G₁[(ξcosθ₀+ηsinθ₀),(-ξcosθ₀+ηsinθ₀)]|

s_p1(θ,ρ)＝r_p1[(θ-θ₀),λ]

式中，g₁(x,y)为标准图,g₂(x,y)待测图,θ₀为待测图和标准图之间的旋转角度，Δx和Δy分别为两者之间的水平和垂直偏移量，G₁和G₂分别为g₁(x,y)和g₂(x,y)的频谱，r_p(θ,ρ)和s_p(θ,ρ)分别为G₁和G₂在极坐标中的频谱，θ为极坐标下的角度参数，ρ为极径，λ＝lgρ。

由公式计算出两者之间的旋转角度θ₀，然后根据旋转角度θ₀初步校正待测图。接着利用基于特征(SURF/SIFT)的匹配方法(该方法中最后一步几何变换采用的是透射变换)对标准图和校正后的待测图进一步配准，获得配准后的待测图；

图像配准精度由相关系数衡量，所用公式为：

式中，A_ij为标准图某一像素点的灰度值，B_ij为待测图某一像素点的灰度值，

为标准图灰度平均值，

为待测图灰度平均值,C为标准图和待测图的相关系数。

步骤4、对步骤3配准后的待测图和标准图进行融合处理，具体采用加权平均融合方法进行融合，得到融合后的待测图，所用公式为：

B'(M,N)＝c₁A(M,N)+c₂B(M,N)

式中，A为标准图，B为待测图，大小均为M×N，B’为融合后的图像，加权系数：

c₂＝1-c₁。本发明选取c₁＝0.38，c₂＝0.62。

步骤5、对步骤4融合后的待测图和标准图进行阈值分割，具体采用的是局部自适应阈值分割，其滑动窗口大小为9×9，然后利用差影法检测缺陷，并用最小外接矩形法统计缺陷的位置及类型。

下面结合实施例进行具体描述。

实施例

(1)结合图4，采用1280×1024的MV-1300UM型CMOS相机采集标准TN-LCD显示屏图像(a)；

(2)将待测TN-LCD显示屏旋转30度放置，所述CMOS相机采集待测TN-LCD显示屏图像(b)；

(3)对上述两幅图做傅里叶梅林变换，根据公式

g₂(x,y)＝g₁[(x cosθ₀+y sinθ₀)-Δx,(-x cosθ₀+y sinθ₀)-Δy]

G₂＝e^{-2πj(ξΔx+ηΔy)}|G₁[(ξcosθ₀+ηsinθ₀),(-ξcosθ₀+ηsinθ₀)]|

s_p1(θ,ρ)＝r_p1[(θ-θ₀),λ]

式中，g₁(x,y)为标准图(a),g₂(x,y)待测图(b),θ₀为待测图和标准图之间的旋转角度，Δx和Δy分别为两者之间的水平和垂直偏移量，G₁和G₂分别为g₁(x,y)和g₂(x,y)的频谱，r_p(θ,ρ)和s_p(θ,ρ)分别为G₁和G₂在极坐标中的频谱，θ为极坐标下的角度参数，ρ为极径，λ＝lgρ。

求得其旋转夹角为θ₀＝31.6406°，根据该角度校正待测图，利用基于特征(SURF/SIFT)的匹配方法(该方法中最后一步几何变换采用的是透射变换)对标准图和校正后的待测图进一步配准，获得配准后的待测图(c)；

根据公式

式中，A_ij为标准图(a)某一像素点的灰度值，B_ij为待测图(c)某一像素点的灰度值，

为标准图灰度平均值，

为待测图灰度平均值,C为标准图和待测图的相关系数。

计算图(a)和图(c)的相关系数即配准精度为0.962912。

(4)利用公式

B'(M,N)＝c₁A(M,N)+c₂B(M,N)

式中，A为标准图(a)，B为待测图(c)，大小均为34×26mm²，B’为融合后的图像，加权系数：

c₂＝1-c₁，系数选c₁＝0.38，c₂＝0.62。

对图(a)和图(c)进行加权平均融合，得到融合后的待测图(d),其相关系数由(3)中所述公式求得为0.98579，配准精度明显提高。

(5)对图(a)和图(d)进行滑动窗口为9×9的局部自适应阈值分割，利用差影法检测缺陷，并用最小外接矩形法统计缺陷的位置及类型，结果如图(e)。

实验选取了该类型TN-LCD300个样品进行检测，包括多种常见缺陷，正确率可达到98.667％。

在本发明LCD缺陷检测方法的另一实施例中，可采用两个相同的CMOS同时对标准LCD和待测LCD进行采集。或者，在本发明LCD缺陷检测方法的另一实施例中，所能配准的角度可达90°-360°的任意角度。或者，在本发明LCD缺陷检测方法的另一实施例中，所述计算机能控制LCD驱动显示装置、图像采集卡，也能获取旋转的角度信息。或者，在本发明LCD缺陷检测方法的另一实施例中，该方法可以应用到任何类型LCD检测中，只需要给出合适的加权平均融合系数。或者，在本发明LCD缺陷检测方法的另一实施例中，所述检测方法可以应用于除LCD外其他检测行业，所述配准方法可以应用到任何需要图像配准的技术方案中。

本发明结构简单，成本较低，检测方法速度快、精度高且实时性好，能够满足视场范围内任何位置的LCD显示屏乃至任何类型LCD显示屏的检测。满足市场的需求，有很好的应用前景。

以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。

Claims (8)

1.一种基于傅里叶梅林及特征匹配的LCD缺陷检测方法，其特征在于，包括以下步骤：

步骤1、系统初始化，用CMOS相机采集标准的LCD显示屏图像存入标准图库；

步骤2、用CMOS相机采集待测的LCD显示屏图像；

步骤3、计算机对所述两幅图进行图像配准，具体采用基于傅里叶梅林及特征匹配的方法进行配准，先对标准图和待测图做傅里叶梅林变换，计算出两者之间的旋转角度θ₀，然后根据旋转角度θ₀初步校正待测图，接着利用基于特征SURF/SIFT的匹配方法，对标准图和校正后的待测图进一步配准，获得配准后的待测图；

步骤4、对步骤3配准后的待测图和标准图进行融合处理，具体采用加权平均融合方法进行融合，得到融合后的待测图；

步骤5、对步骤4融合后的待测图和标准图进行阈值分割，具体采用的是局部自适应阈值分割，然后利用差影法检测缺陷，并用最小外接矩形法统计缺陷的位置及类型。

2.根据权利要求1所述的方法，其特征在于，步骤1每5min执行一次，更新标准图库。

3.根据权利要求1所述的方法，其特征在于，步骤3中采用基于傅里叶梅林及特征匹配所用公式为：

g₂(x,y)＝g₁[(xcosθ₀+ysinθ₀)-Δx,(-xcosθ₀+ysinθ₀)-Δy]

G₂(ξ,η)＝e^{-2πj(ξΔx+ηΔy)}|G₁[(ξcosθ₀+ηsinθ₀),(-ξcosθ₀+ηsinθ₀)]|

s_p1(θ,ρ)＝r_p1[(θ-θ₀),λ]

式中，G₂(ξ,η)为g₂(x,y)的傅里叶变换，g₁(x,y)为标准图,g₂(x,y)待测图,θ₀为待测图和标准图之间的旋转角度，Δx和Δy分别为两者之间的水平和垂直偏移量，G₁和G₂分别为g₁(x,y)和g₂(x,y)的频谱，r_p1(θ,ρ)和s_p1(θ,ρ)分别为G₁和G₂在极坐标中的频谱，θ为极坐标下的角度参数，ρ为极径，λ＝lgρ。

4.根据权利要求1所述的方法，其特征在于，步骤3中基于特征SURF/SIFT的匹配方法中最后一步几何变换采用透射变换。

5.根据权利要求1所述的方法，其特征在于，步骤3中图像配准精度由相关系数衡量，所用公式为：

式中，A_ij为标准图某一像素点的灰度值，B_ij为待测图某一像素点的灰度值，

为标准图灰度平均值，

为待测图灰度平均值，C为标准图和待测图的相关系数。

6.根据权利要求1所述的方法，其特征在于，步骤4中加权平均融合所用的公式为：

B'(M,N)＝c₁A(M,N)+c₂B(M,N)

式中，A为标准图，B为待测图，大小均为M×N，B’为融合后的图像，加权系数：

7.根据权利要求1所述的方法，其特征在于，步骤5中局部自适应阈值分割的滑动窗口大小为9×9。

8.根据权利要求6所述的方法，其特征在于，步骤4中加权系数:c₁＝0.38，c₂＝0.62。

Images