CN106770362A - 基于aoi的宏观缺陷检测装置及方法 - Google Patents

Abstract

本发明提供了一种基于AOI的宏观缺陷检测装置，用于对平面显示模组的宏观显示缺陷进行检测，该宏观缺陷检测装置包括光源、相机组以及与该相机组进行交互的图像采集与处理单元；其特征在于，该相机组包括至少一组正视相机组件以及至少两组对称设置的侧视相机组件；该正视相机组件和该侧视相机组位于该待测显示面板的上方，用于拍摄该待测显示面板的显示图像；该正视相机组的拍摄角度与该待测显示面板垂直；该侧视相机组的拍摄角度与该待测显示面板之间存在夹角；该待测显示面板位于该正视相机组和侧视相机组拍摄范围内。本发明补充了工业正视相机检测缺陷的不足，极大的丰富了AOI缺陷检测的种类和能力。

Description

基于AOI的宏观缺陷检测装置及方法

技术领域

本发明属于AOI的LCD/OLED的缺陷自动检测领域，具体涉及一种基于AOI的宏观缺陷检测装置及方法。

背景技术

LCD与OLED由于生产过程工艺的复杂性，且每道工艺都会引入一些显示的缺陷，且这些缺陷的差异化非常大。

针对一些精细的微观显示缺陷，比如亮(暗)点，亮(暗)线，可以通过低噪声的工业相机进行拍摄处理。但是有些缺陷面积比较大，且可能表现在颜色的差异上，或者是亮度的不均匀。另外还有很多缺陷在正视角度下不可见。针对这类的宏观缺陷，普通的低噪声工业相机拍摄的图片无法检测。针对AOI的LCD/OLED的缺陷检测，在现有的技术方案中，主要是通过低噪声，高分辨率的工业相机进行正视角度的拍摄，并对拍摄的图像进行一系列的图像处理，比如估计其背景，然后进行背景减得到缺陷图，最后对缺陷图进行阈值分割，连通域分析等最后得到缺陷所在的位置，从而检测出LCD/OLED上的缺陷，包括缺陷点、线、Mura等。由于高分辨率工业相机的昂贵性，一般采用的工业相机都是单通道的灰度相机。以上的这些方法主要存在以下问题：1)无法处理颜色不均匀的缺陷由于采用的相机是单通道的灰度相机，无法采集颜色信息，故而无法检测此类缺陷。2)无法处理斜视角度可见的缺陷部分缺陷，尤其是一些Mura缺陷，在正视角度是不可见的，故而采用正视的相机是无法拍摄出来的，更无法在拍摄的图像中进行检出。3)大面积缺陷的检出能力即使是针对一些正视可见的缺陷，由于其面积比较大，在高分辨率的图像上检出这些缺陷会非常的耗时。另外高分辨率的图像由于其解析度(相机CCD的分辨率和LCD的分辨率)往往是3:1，故而拍摄的图像本身存在纹理信息，在去除这些纹理信息的同时，很可能同时也会去除了本身比较微弱的Mura缺陷。

发明内容

本发明的目的就是针对现有技术的缺陷，提供一种基于AOI的宏观缺陷检测装置及方法，补充了工业正视相机检测缺陷的不足，极大的丰富了AOI缺陷检测的种类和能力。

本发明提供了一种基于AOI的宏观缺陷检测装置，用于对平面显示模组的宏观显示缺陷进行检测，该宏观缺陷检测装置包括光源、相机组以及与该相机组进行交互的图像采集与处理单元；其特征在于，该相机组包括至少一组正视相机组件以及至少两组对称设置的侧视相机组件；该正视相机组件和该侧视相机组位于该待测显示面板的上方，用于拍摄该待测显示面板的显示图像；该正视相机组的拍摄角度与该待测显示面板垂直；该侧视相机组的拍摄角度与该待测显示面板之间存在夹角；该待测显示面板位于该正视相机组和侧视相机组拍摄范围内。

上述技术方案中，该正视相机组至少包括一个彩色小相机以及至少一个工业相机。该彩色小相机与工业相机的数量比为1:1或M:N；其中，M、N为正整数且M＜N。每个该侧视相机组件至少包括一个彩色小相机，该彩色小相机用于检测该待测显示面板的明显宏观缺陷。

上述技术方案中，该侧视相机组的拍摄角度与该待测显示面板之间的夹角根据面板缺陷的情况调节为45度。

本发明提供了一种基于AOI的宏观缺陷检测方法，用于对平面显示模组的宏观显示缺陷进行检测，其特征在于，该方法包括以下步骤：

a.获得该平面显示模组的ROI区域图像；

b.将该ROI区域图像由RGB空间转换为LAB空间；将ROI区域图像分为中心区域和周围区域；

c.对L空间图像的L分量亮度分别进行中心区域的亮度缺陷检测和四周区域的亮度缺陷检测，并合并上述两个亮度缺陷检测结果作为L分量亮度的亮度缺陷检测结果；

d.对AB空间图像的AB颜色分量分别进行中心区域的颜色缺陷检测和四周区域的颜色缺陷检测，并合并上述两个颜色缺陷检测结果作为AB颜色分量的颜色缺陷检测结果；

e.合并L分量亮度的亮度缺陷检测结果和AB颜色分量的颜色缺陷检测结果作为图像的缺陷检测结果；

f.重复a-e步骤直到LCD屏所有的Pattern图像均处理完毕，合并所有的Pattern图像的缺陷检测结果；

g.过滤合并后的缺陷检测结果中由于Particle误检导致的检测结果；

h.对最终的缺陷检测结果进行缺陷识别，获得最终的缺陷检测结果并输出显示。

上述技术方案中，步骤a中通过分割ROI区域获得该平面显示模组的ROI区域图像；当待测显示面板显示W255的Pattern时，首先进行ROI区域寻找再进行ROI区域分割；待测显示面板显示除白色Pattern的其他画面时，首先读取保存的ROI区域位置再进行ROI区域分割。

上述技术方案中，步骤a还包括以下步骤：

第一步，将该ROI区域图像由RGB空间转换为LAB空间；

第二步，对L空间图像的L亮度分量进行曲面拟合后完成L空间的亮度补偿和对比度增强；

第三步，对AB空间图像的AB颜色分量进行去噪；

第四步，将处理后的L空间图像和AB空间图像进行合并。

上述技术方案中，步骤c中，L分量亮度进行中心区域的亮度缺陷检测包括以下步骤：

第一步，对图像中心区域进行LOG变换；

第二步，对变换后的图像中采用图像幂操作来进行缺陷的对比度增强；

第三步，对图像进行滤波去噪之后采用阈值分割来进行缺陷的提取；

第四步，将提取后的缺陷结构进行连通域的分析筛选后进行blob合法性过滤并输出亮度缺陷检测结果。

上述技术方案中，步骤c中，L分量亮度进行四周区域的亮度缺陷检测包括以下步骤：

第一步，将L分量亮度四周区域分为垂直方向和水平方向；

第二步，分别在两个方向进行单方向的均值滤波得到背景；

第三步，分别在两个方向进行背景减得到前景，进行前景分割得到漏光区域；

第四步，将两个方向的漏光区域合并和过滤。

上述技术方案中，步骤d中，AB空间图像的AB颜色分量四周区域的颜色缺陷检测包括以下步骤：

第一步，获得图像的ROI区域；

第二步，将AB空间图像的AB颜色分量四周区域分为垂直方向和水平方向；

第三步，分别在两个方向上进行均值滤波并估计方向背景；

第四步，分别在两个方向进行背景减；

第五步，采用图像幂操作来进行缺陷的对比度增强；分别在两个方向上进行均值增强；

第六步，对AB空间图像进行滤波、去噪和降维后采用阈值分割来进行缺陷的提取；

第七步，将提取后的缺陷结构进行连通域的分析筛选后进行缺陷合法性过滤并输出颜色缺陷检测结果。

上述技术方案中，步骤g包括以下步骤：拍摄一张被四周补光光源照亮的图像，对图像进行灰尘检测，得到reject的图像；过滤位于reject区域内已检测到的缺陷结果。

本发明提出了正视和侧视小相机结合的方式进行宏观缺陷的检测，补充了工业正视相机检测缺陷的不足，极大的丰富了AOI缺陷检测的种类和能力。本发明增加了正视彩色低分辨率相机，用于检测颜色不均匀以及大面积的亮度不均匀缺陷，以及一些大面积的亮度不均匀的缺陷，同时解决了工业相机针对该类缺陷检出耗时过长的问题。本发明增加了侧视彩色低分辨率相机，用于检测正视不可见的缺陷。这类缺陷往往在侧视角度看是比较明显的，侧视彩色相机的增加可以解决正视不可见缺陷的无法检出的问题。本发明根据彩色低分辨率相机的成像特点，提出了彩色低分辨率的相机拍摄图像的处理方法，进行缺陷的检测。本发明针对彩色相机成像的特点，提出了一套彩色相机下颜色缺陷和亮度缺陷的检测方法与流程。

附图说明

图1是本发明结构示意图；

图2是正视相机组示意图a；

图3是正视相机组示意图b；

图4是侧视相机组示意图a；

图5是侧视相机组示意图b；

图6是侧视相机组示意图c；

图7是本发明的方法流程；

图8是本发明步骤c示意图；

图9是本发明步骤d示意图；

图10是基于彩色相机的缺陷检测方法与流程

图11是基于亮度空间的中心区域Blob检测流程

图12是基于亮度空间的周边缺陷检测流程

图13是Direct-Color检测流程图

其中，1-工业相机，2-彩色相机，3-LCD屏

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明，便于清楚地了解本发明，但它们不对本发明构成限定。

如图1所示，本发明提供了一种基于AOI的宏观缺陷检测装置，其特征在于：它包括系统平台、LCD屏、光源、控制柜、正视相机组和至少两组且对称设置的侧视相机组；系统平台包括网络单元、控制单元、图像处理单元和图像采集传输单元；光源均匀分布于LCD屏的四周，对LCD屏的particle图像进行补光，使得LCD面板上的灰尘能够被准确完整的拍摄到；正视相机组和侧视相机组位于LCD屏的上方，用于拍摄LCD屏显示的图像；正视相机组的拍摄角度与LCD屏垂直；侧视相机组的拍摄角度与LCD屏之间存在夹角；LCD屏分别位于正视相机组和侧视相机组拍摄范围内；图像采集传输单元输出用于显示的图像信息至LCD屏并采集来自正视相机组和侧视相机组拍摄的图像信息；图像处理单元接收图像采集传送传输单元采集到的图像信息，并对其进行分析处理，实现LCD屏缺陷的检测和识别，并将LCD屏缺陷的诊断信息通过网络单元上传；控制单元接收PC给出的信号，控制光源的供电电压的大小，从而来控制光源的亮暗；通过控制柜实现对光源明暗度的控制。

如图2、3所示，所述正视相机组包括彩色小相机与工业相机；具体的彩色小相机的数目可以根据实际的待检测屏的尺寸、相机的工作距离、缺陷的种类、相机的解析能力等因素来确定。彩色小相机与工业相机之间的比例关系是1:1或N:1，具体比例完全取决于现场的环境、待测屏的尺寸、工作距离、待检测缺陷的种类、相机的解析能力等。

如图4-6所示，所述侧视相机组包括至少一个彩色小相机，用于检测明显的宏观缺陷。由于在正视的条件下，一些比比较精细的微观缺陷都能够很好的被检测出，故而在我们的侧视方案中只有彩色小相机，用来检测一些比较明显的宏观缺陷。具体的侧视角度的选择、相机数目的选择都是根据现场的实际情况来进行确定。不过侧视相机一般至少需要两个。

本发明还提供了一种基于AOI的宏观缺陷检测方法，其特征在于包括以下步骤：

a.进行正视相机组和侧视相机组的调机，调机完毕后进行相机镜头的畸变校正，得到畸变校正参数；

b.获取来自正视相机组和侧视相机组拍摄的LCD屏的图像并进行图像的畸变校正；由于彩色相机的成本相对比较低，尤其是在倾斜角度下，图像的畸变比较严重，故而需要进行畸变校正。但是由于我们对彩色相机只做明显的宏观缺陷检测，故而简单的畸变校正即可。

c.分割ROI区域得到LCD屏所在的ROI区域；主要是将LCD屏所在的区域进行分割出来。在进行Pattern画面切换与设计的时候，将L256白色画面放在最前面。由于在所有的Pattern切换过程中，LCD屏和相机的相对位置不发生任何改变，LCD屏显示白色Pattern(L256白色画面)时；首先进行ROI区域寻找再进行ROI区域分割；LCD屏显示除白色Pattern的其他画面时，首先读取保存的ROI区域位置再进行ROI区域分割。

d.进行图像亮度不均匀的补偿以及对比度增强；由于LCD显示过程中背光的不均匀，会导致成像画面的不均匀。另外通常缺陷的对比度比较低，需要进行增强才能比较直观的被看到。基于此，我们采用曲面拟合的方式得到拍摄图像的背景，然后进行背景减，通过该方式既能达到亮度的均衡化，又能提升缺陷的对比度。由于彩色相机拍摄的图像存在三个通道，而经过测试发现，在转化为LAB空间后，AB空间的像素差异很小，灰度值的分布非常的集中。故而直接对L空间做完亮度补偿和对比度增强即可。首先将图像由RGB空间转换为LAB空间；对L空间图像的L亮度分量进行曲面拟合后完成L空间的亮度补偿和对比度增强；对AB空间图像的AB颜色分量进行去噪；将处理后的L空间图像和AB空间图像进行合并。

e.如图11所示，通过处理后的图像进行LCD屏的缺陷诊断和识别，获得缺陷检测结果；将彩色相机的图像转化为LAB空间，在L空间进行亮度不均匀的缺陷检测，同时在AB空间进行颜色不均匀的缺陷检测。

另外由于LCD本身存在背光不均匀的问题，比如周围的部分或多或少会存在漏光的问题。直接对全图进行处理又会存在大量的四周误检的问题，故而我们又对整个图像进行分块操作，将图像分为中心区域和周围区域，单独进行处理。

具体步骤如下：将图像由RGB空间转换为LAB空间；将图像分为中心区域和周围区域；对L空间图像的L分量亮度分别进行中心区域的亮度缺陷检测和四周区域的亮度缺陷检测，并合并上述两个亮度缺陷检测结果作为L分量亮度的亮度缺陷检测结果；对AB空间图像的AB颜色分量分别进行中心区域的颜色缺陷检测和四周区域的颜色缺陷检测，并合并上述两个颜色缺陷检测结果作为AB颜色分量的颜色缺陷检测结果；合并L分量亮度的亮度缺陷检测结果和AB颜色分量的颜色缺陷检测结果作为图像的缺陷检测结果。

f.重复b-e步骤直到LCD屏所有的Pattern图像均处理完毕，合并所有的Pattern图像的缺陷检测结果；

g.过滤合并后的缺陷检测结果中由于Particle误检导致的检测结果；

h.获得最终的缺陷检测结果并输出显示。

步骤e中，L分量亮度分别进行中心区域的亮度缺陷检测包括以下步骤：

首先对图像中心区域进行LOG变换，然后对变换后的图像中采用图像幂操作来进行缺陷的对比度增强；对图像进行滤波去噪之后采用阈值分割来进行缺陷的提取；将提取后的缺陷结构进行连通域的分析筛选后进行blob合法性过滤并输出亮度缺陷检测结果。

对于宏观缺陷，在亮度空间的中心缺陷主要有亮度不均匀的Blob(暗斑和亮斑)，以及一些比较严重的线Mura。

针对Blob的检测的可以采用LOG变换的方式进行。首先对图像中心区域进行LOG变换，然后对变换的图像中采用图像幂操作来进行缺陷的增强，之后采用阈值分割来进行缺陷的提取。由于只考虑中心区域，不需要考虑LOG变换带来的边界效应。

关于线Mura的检测，和前面的方法类似，进行Line检测的差异性主要是如何进行Line的增强。这里采用了基于Gabor滤波方式的Line增强，然后再在增强的图像中进行Line的检测。

在图像处理领域，Gabor滤波器是一个用于边缘检测的线性滤波器。Gabor滤波器的频率和方向表示接近人类视觉系统对于频率和方向的表示，并且它们常备用于纹理表示和描述。在空域，一个2维的Gabor滤波器是一个正弦平面波和高斯核函数的乘积。Gabor滤波器是自相似的，也就是说，所有Gabor滤波器都可以从一个母小波经过膨胀和旋转产生。实际应用中，Gabor滤波器可以在频域的不同尺度，不同方向上提取相关特征。

Gabor滤波器的数学定义如下：

Complex

Real

Imaginary

where

x′＝xcosθ+ysin θ

and

y′＝-xsinθ+ycosθ

公式中：

λ：正弦函数波长；

θ：Gabor核函数的方向

ψ：相位偏移

σ：高斯函数的标准差

γ：空间的宽高比

我们目前暂时只考虑了水平方向和垂直方向的线Mura，故而对应的角度只有0度和90度。

采用Gabor滤波增强后进行Line提取，可以获取一些Line-Mura，但是和所有滤波方法类似，line的宽度以及方向与Gabor核和方向的选取有着很大关系。另外，为了增强线条，会进行方向性的增强操作，从而可以对一些微弱的线条断开处进行自动连接。但是同样这种方法会使得一些明显的点(Blob)延长变成线，从而形成误检测。故而此处需要对已经检测到的Blob进行过滤操作。

步骤e中，L分量亮度分别进行四周区域的亮度缺陷检测包括以下步骤：

将L分量亮度四周区域分为垂直方向和水平方向；分别在两个方向进行单方向的均值滤波得到背景；分别在两个方向进行背景减得到前景，进行前景分割得到漏光区域；将两个方向的漏光区域合并和过滤。

由于在测试的图像中，发现存在一种方向颜色Mura。这种缺陷主要的表现是在图像靠近边缘的位置存在水平方向或者垂直方向的颜色差异性。进行LAB空间分析可知，这种差异性主要表现在L和B空间中，尤其是在B空间中。故而我们可以在B空间中通过下列步骤进行这种颜色方向性的检测。

步骤e中，AB空间图像的AB颜色分量四周区域的颜色缺陷检测包括以下步骤：

首先获得图像的ROI区域；AB空间图像的AB颜色分量四周区域分为垂直方向和水平方向；分别在两个方向上进行均值滤波并估计方向背景；分别在两个方向进行背景减；采用图像幂操作来进行缺陷的对比度增强；分别在两个方向上进行均值增强；对AB空间图像进行滤波、去噪和降维后采用阈值分割来进行缺陷的提取；将提取后的缺陷结构进行连通域的分析筛选后进行direct-color合法性过滤并输出亮度缺陷检测结果。

由于经过测试分析发现，AB空间在灰度值上的分布非常的集中，并且图像非常的平坦。而颜色不均匀的地方的表现相对比较的突出。故而步骤e中，直接采用多尺度的显著性检测的方法即可得到AB空间颜色的中心缺陷检测缺陷所在的位置。

由于待检测的面板上面存在不可控制的灰尘、脏污、划伤。这些都会影响整个成像质量，导致一些误检的发生。故而这里需要通过拍摄一张被上下侧光灯照亮的图像，对图像进行缺陷检测，得到reject的图像。如果前面检测到的缺陷在该reject区域，那么这些缺陷很可能是灰尘导致的，需要直接进行过滤。

本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种基于AOI的宏观缺陷检测装置，用于对平面显示模组的宏观显示缺陷进行检测，该宏观缺陷检测装置包括光源、相机组以及与该相机组进行交互的图像采集与处理单元；其特征在于，该相机组包括至少一组正视相机组件以及至少两组对称设置的侧视相机组件；该正视相机组件和该侧视相机组位于该待测显示面板的上方，用于拍摄该待测显示面板的显示图像；该正视相机组的拍摄角度与该待测显示面板垂直；该侧视相机组的拍摄角度与该待测显示面板之间存在夹角；该待测显示面板位于该正视相机组和侧视相机组拍摄范围内。

2.根据权利要求1所述的宏观缺陷检测装置，其特征在于，该正视相机组至少包括一个彩色小相机以及至少一个工业相机，用于检测明显的宏观缺陷与颜色缺陷；该彩色小相机与工业相机的数量比为1:1或M:N；其中，M、N为正整数且M＜N；每个该侧视相机组件至少包括一个彩色小相机，用于检测正视不可见的缺陷。

3.根据权利要求1或2所述的宏观缺陷检测装置，其特征在于，该侧视相机组的拍摄角度与该待测显示面板之间的夹角根据面板缺陷的情况调节为45度。

4.一种基于AOI的宏观缺陷检测方法，用于对平面显示模组的宏观显示缺陷进行检测，其特征在于，该方法包括以下步骤：

a.获得该平面显示模组的ROI区域图像；

b.将该ROI区域图像由RGB空间转换为LAB空间；将ROI区域图像分为中心区域和周围区域；

c.对L空间图像的L分量亮度分别进行中心区域的亮度缺陷检测和四周区域的亮度缺陷检测，并合并上述两个亮度缺陷检测结果作为L分量亮度的亮度缺陷检测结果；

d.对AB空间图像的AB颜色分量分别进行中心区域的颜色缺陷检测和四周区域的颜色缺陷检测，并合并上述两个颜色缺陷检测结果作为AB颜色分量的颜色缺陷检测结果；

e.合并L分量亮度的亮度缺陷检测结果和AB颜色分量的颜色缺陷检测结果作为图像的缺陷检测结果；

f.重复a-e步骤直到LCD屏所有的Pattern图像均处理完毕，合并所有的Pattern图像的缺陷检测结果；

g.过滤合并后的缺陷检测结果中由于Particle误检导致的检测结果；

h.对最终的缺陷检测结果进行缺陷识别，获得最终的缺陷检测结果并输出显示。

5.根据权利要求4所述的基于AOI的宏观缺陷检测方法，其特征在于步骤a中通过分割ROI区域获得该平面显示模组的ROI区域图像；当待测显示面板显示W255的Pattern时，首先进行ROI区域寻找再进行ROI区域分割；待测显示面板显示除白色Pattern的其他画面时，首先读取保存的ROI区域位置再进行ROI区域分割。

6.根据权利要求4所述的基于AOI的宏观缺陷检测方法，其特征在于步骤a还包括以下步骤：

第一步，将该ROI区域图像由RGB空间转换为LAB空间；

第二步，对L空间图像的L亮度分量进行曲面拟合后完成L空间的亮度补偿和对比度增强；

第三步，对AB空间图像的AB颜色分量进行去噪；

第四步，将处理后的L空间图像和AB空间图像进行合并。

7.根据权利要求4所述的基于AOI的宏观缺陷检测方法，其特征在于步骤c中，L分量亮度进行中心区域的亮度缺陷检测包括以下步骤：

第一步，对图像中心区域进行LOG变换；

第二步，对变换后的图像中采用图像幂操作来进行缺陷的对比度增强；

第三步，对图像进行滤波去噪之后采用阈值分割来进行缺陷的提取；

第四步，将提取后的缺陷结构进行连通域的分析筛选后进行blob合法性过滤并输出亮度缺陷检测结果。

8.根据权利要求4所述的基于AOI的宏观缺陷检测方法，其特征在于步骤c中，L分量亮度进行四周区域的亮度缺陷检测包括以下步骤：

第一步，将L分量亮度四周区域分为垂直方向和水平方向；

第二步，分别在两个方向进行单方向的均值滤波得到背景；

第三步，分别在两个方向进行背景减得到前景，进行前景分割得到漏光区域；

第四步，将两个方向的漏光区域合并和过滤。

9.根据权利要求4所述的基于AOI的宏观缺陷检测方法，其特征在于步骤d中，AB空间图像的AB颜色分量四周区域的颜色缺陷检测包括以下步骤：

第一步，获得图像的ROI区域；

第二步，将AB空间图像的AB颜色分量四周区域分为垂直方向和水平方向；

第三步，分别在两个方向上进行均值滤波并估计方向背景；

第四步，分别在两个方向进行背景减；

第五步，采用图像幂操作来进行缺陷的对比度增强；分别在两个方向上进行均值增强；

第六步，对AB空间图像进行滤波、去噪和降维后采用阈值分割来进行缺陷的提取；

第七步，将提取后的缺陷结构进行连通域的分析筛选后进行缺陷合法性过滤并输出颜色缺陷检测结果。

10.根据权利要求4所述的基于AOI的宏观缺陷检测方法，其特征在于步骤g包括以下步骤：拍摄一张被四周补光光源照亮的图像，对图像进行灰尘检测，得到reject的图像；过滤位于reject区域内已检测到的缺陷结果。