CN110458840A - 一种降低面板缺陷过检率的方法、系统及终端设备 - Google Patents

Abstract

本发明公开了一种降低面板缺陷过检率的方法、系统及终端设备，该方法包括：采集第一相机拍摄的待测面板显示画面的第一图像以及第二相机拍摄的所述显示画面的第二图像；所述第二相机为彩色相机；提取所述第一图像中待过滤的第一缺陷区域；将所述第二图像变换到HSV颜色空间，提取S通道图像并从所述S通道图像中提取待过滤的第二缺陷区域；计算所述第一缺陷区域与第二缺陷区域的重合度，并过滤掉所述重合度大于预设的重合度阈值的第一缺陷区域；本发明以两个缺陷区域之间的重合度为指标，通过第二缺陷区域对第一缺陷区域进行过滤，有效筛选出吸盘印区域并进行过滤，避免吸盘印被作为缺陷误检出，有效降低了过检率。

Description

一种降低面板缺陷过检率的方法、系统及终端设备

技术领域

本发明属于自动化缺陷检测技术领域，更具体地，涉及一种降低面板缺陷过检率的方法、系统及终端设备。

背景技术

在LCD面板检测领域，一般通过自动光学检测（Automated Optical Inspection，AOI）的检测方式替代人工实现面板缺陷检测，从而提高生产效率。AOI检测过程包含入料、检测和出料三个阶段，正常情况下，AOI检测周期短，能够实现面板的快速入料、检测和出料。当出现不可预期的异常情况时，待检测的面板会长时间吸附在吸盘上，从而在面板上形成深浅不一的吸盘印。当该面板经过AOI检测工位时，面板上的吸盘印无法快速消失，被作为缺陷检测出来，从而导致过检。因此，在AOI检测工位上进行缺陷检测时，需要过滤掉吸盘印缺陷来避免过检情况。

一般情况下，吸盘印缺陷在图像上面积比较大，其形态为圆形。AOI检测时，往往通过第一相机检出缺陷的面积与圆形度来过滤吸盘印缺陷。但是当吸盘印比较淡时，第一相机检出的吸盘印缺陷的面积和圆形度均会出现误差，导致吸盘印依然被作为缺陷检出，因此这种过滤方式的过检率依然较高。为解决这一问题，有必要提出一种有效的过滤吸盘印缺陷来降低过检的方案。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种降低面板缺陷过检率的方法、系统及终端设备，其目的在于解决现有的缺陷检测方式容易将吸盘印等非实质缺陷检出，从而导致过检率高的问题。

为实现上述目的，按照本发明的第一个方面，提供了一种降低面板缺陷过检率的方法，包括以下步骤：

采集第一相机拍摄的待测面板显示画面的第一图像以及第二相机拍摄的所述显示画面的第二图像；所述第二相机为彩色相机；

提取所述第一图像中待过滤的第一缺陷区域；

将所述第二图像变换到HSV颜色空间，提取S通道图像并从所述S通道图像中提取待过滤的第二缺陷区域；

计算所述第一缺陷区域与第二缺陷区域的重合度，并过滤掉所述重合度大于预设的重合度阈值的第一缺陷区域。

优选的，上述降低面板缺陷过检率的方法还包括：

对第一图像、第二图像进行标定以获得该第一图像与第二图像之间的图像变换比例；根据所述图像变换比例对所述第二缺陷区域进行缩放以使其与第一缺陷区域的尺寸匹配。

优选的，上述降低面板缺陷过检率的方法，提取所述第一图像中待过滤的第一缺陷区域具体为：

对第一图像进行滤波、图像增强；

根据第一相机的检测灵敏度计算分割阈值并根据所述分割阈值对增强后的第一图像进行阈值分割、特征选择，得到待过滤的第一缺陷区域。

优选的，上述降低面板缺陷过检率的方法，从所述S通道图像中提取待过滤的第二缺陷区域具体为：

根据第二相机的检测灵敏度计算分割阈值并根据所述分割阈值对S通道图像进行阈值分割、特征选择，得到待过滤的第二缺陷区域。

优选的，上述降低面板缺陷过检率的方法，将所述第二图像变换到HSV颜色空间之前还包括：

对第二图像进行自增强，将第二图像中每个像素点的灰度值的平方除以该第二图像的灰度平均值。

优选的，上述降低面板缺陷过检率的方法，对所述第一图像、第二图像进行标定之前还包括：分别对第一图像、第二图像进行畸变校正和透视变换。

优选的，上述降低面板缺陷过检率的方法，所述图像变换比例包括行缩放比和列缩放比，根据所述行缩放比、列缩放比对第二缺陷区域进行缩放。

按照本发明的第二个方面，还提供了一种降低面板缺陷过检率的系统，该系统包括：

采集单元，用于采集第一相机拍摄的待测面板显示画面的第一图像以及第二相机拍摄的所述显示画面的第二图像；

缺陷检测单元，用于提取所述第一图像中待过滤的第一缺陷区域；并用于将所述第二图像变换到HSV颜色空间，提取S通道图像并从所述S通道图像中提取待过滤的第二缺陷区域；

过滤单元，用于计算所述第一缺陷区域与第二缺陷区域的重合度，并过滤掉所述重合度大于预设的重合度阈值的第一缺陷区域。

优选的，上述降低面板缺陷过检率的系统还包括标定单元；

所述标定单元用于对第一图像、第二图像进行标定以获得该第一图像与第二图像之间的图像变换比例；

所述过滤单元根据所述图像变换比例对所述第二缺陷区域进行缩放以使其与第一缺陷区域的尺寸匹配。

优选的，上述降低面板缺陷过检率的系统，所述缺陷检测单元提取所述第一图像中待过滤的第一缺陷区域具体为：

对第一图像进行滤波、图像增强；

根据第一相机的检测灵敏度计算分割阈值并根据所述分割阈值对增强后的第一图像进行阈值分割、特征选择，得到待过滤的第一缺陷区域。

优选的，上述降低面板缺陷过检率的系统，所述缺陷检测单元从所述S通道图像中提取待过滤的第二缺陷区域具体为：

根据第二相机的检测灵敏度计算分割阈值并根据所述分割阈值对S通道图像进行阈值分割、特征选择，得到待过滤的第二缺陷区域。

优选的，上述降低面板缺陷过检率的系统，所述缺陷检测单元将所述第二图像变换到HSV颜色空间之前还包括：

对第二图像进行自增强，将第二图像中每个像素点的灰度值的平方除以该第二图像的灰度平均值。

优选的，上述降低面板缺陷过检率的系统还包括校正单元；

所述校正单元用于分别对第一图像、第二图像进行畸变校正和透视变换。

优选的，上述降低面板缺陷过检率的系统中，所述图像变换比例包括行缩放比和列缩放比；所述过滤单元根据所述行缩放比、列缩放比对第二缺陷区域进行缩放。

按照本发明的第三个方面，还提供了一种终端设备，包括至少一个处理单元、以及至少一个存储单元，

其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行上述任一项所述降低面板缺陷过检率的方法的步骤。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

本发明提供的一种降低面板缺陷过检率的方法、系统及终端设备，采用从彩色的第二相机拍摄的第二图像中提取出的缺陷区域对第一相机检测的缺陷区域进行过滤，以两个缺陷区域之间的重合度为判断指标，通过第二缺陷区域对第一缺陷区域进行过滤，有效筛选出吸盘印区域并进行过滤，避免吸盘印被作为缺陷误检出，有效降低了过检率。

附图说明

图1是本发明实施例提供的降低面板缺陷过检率的方法的流程图；

图2是本发明实施例提供的降低面板缺陷过检率的系统的逻辑框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

在LCD面板的生产过程中可能会出现异物、气泡、划伤、毛屑以及按压亮点等各类不同类型的缺陷，这些缺陷直接影响了LCD面板最终的质量和成品等级的输出结果，需要在缺陷检测时准确检出；但是，在检测过程中LCD面板由于长时间吸附在吸盘上而产生的深浅不一的吸盘印能够在一段时间后消失，并不会对面板质量造成影响；假如在进行AOI检测时该吸盘印仍没有消失，则其极有可能作为缺陷检出，从而导致面板过检。

本实施例所提供的一种降低面板缺陷过检率的方法，能够过滤掉吸盘印等不会影响面板最终质量的缺陷，避免产生过检情况；图1是实施例提供的降低面板缺陷过检率的方法的流程图；如图1所示，该方法包括以下步骤：

S1：采用第一相机和第二相机同时拍摄待测面板的同一显示画面，其中，第一相机拍摄的显示画面记为第一图像，第二相机拍摄的显示画面记为第二图像；

首先点亮待测面板，使待测面板显示画面，该显示画面优选为灰度画面，一般为63或117阶灰度画面；作为本实施例的一个优选，第一相机为黑白相机，第二相机为彩色相机，彩色相机由于包含了颜色信息，因此其采集的图像缺陷更加明显，通过颜色空间变换后，吸盘印缺陷被进一步增强。进一步优选的，第二相机的分辨率小于第一相机的分辨率，因此，在缺陷形态上，该第二相机采集的图像中吸盘印的面积更小且缺陷更加明显，算法处理更加方便；在实际应用中，第一相机的分辨率可选为第二相机的10~20倍；本实施例中，第一相机采用71M黑白相机，第二相机采用5M彩色相机。

作为本实施例的一个优选，获取第一图像和第二图像后，首先对第一图像和第二图像进行图像校正，该图像校正包含畸变校正和透视变换两步；在实际应用过程中，第一相机和第二相机拍摄的图形很可能存在倾斜和畸变；畸变校正主要目的为消除镜头径向畸变的影响，一般AOI检测用镜头畸变比较小；校正公式如下：

f(x,y)=F *Img(x,y)

其中，Img(x,y)为未校正前图像，F为校正映射关系，f(x,y)为校正后图像。

透视变换主要目的为将采集得到的倾斜图像矫正，变换公式如下：

G(x,y)= HomMat2D*f(x,y)

其中，f(x,y)为变换前图像，HomMat2D为变换矩阵，G(x,y)为变换后图像。

作为本实施例的一个优选，在对第一图像和第二图像进行图像校正之后还包括以下步骤：

S2：对第一图像、第二图像进行标定以获得该第一图像与第二图像之间的图像变换比例；

假如在拍摄待测面板的显示画面时第一相机、第二相机与待测面板之间的相对位置不同，则他们各自采集的图像中待测面板的角度和尺寸都会存在差异；图像标定的主要目的是标定第一相机、第二相机的行列的缩放比，为后续将第二相机采集的第一图像中的吸盘印缺陷变换到第一相机采集的第二图像中做准备；具体的标定步骤包括行标定与列标定，行标定对应水平标定线，列标定对应垂直标定线。标定公式如下：

Sacle(x)=LengthC1/ LengthC2

Sacle(y)=LengthR1/ LengthR2

其中，Sacle(x)为第一、第二相机的行缩放比；LengthC1为水平标定线在第一相机中的长度；LengthC2为水平标定线在第二相机中的长度；

Sacle(y) 为第一、第二相机的列缩放比；LengthR1为垂直标定线在第一相机中的长度；LengthR2为垂直标定线在第二相机中的长度。

本领域的技术人员容易理解，如果第一相机、第二相机与待测面板之间的相对位置完全相同，则上述图像标定的步骤也可以不执行。

S3：对第一图像进行缺陷检测，得到待过滤的第一缺陷区域；对第二图像进行缺陷检测，得到待过滤的第二缺陷区域；

其中，对第一图像进行缺陷检测的过程包括图像预处理、阈值分割、特征选择三个部分；

图像预处理：首先将第一图像的原图RawImagBig(x,y)进行中值滤波，得到图像FilterImag(x,y)，当然也可以采用均值滤波、高斯滤波等滤波方式，本实施例不作具体限制；

然后将原图RawImagBig (x,y)与滤波后的图像FilterImag(x,y)作减法运算，得到SubImag(x,y)，最后将SubImag(x,y)进行图像增强，将其灰阶范围扩大至0-255，得到ScaleImage（x,y）。

阈值分割：首先设置第一相机的检测灵敏度，其范围为[0,1]；然后根据该检测灵敏度计算分割阈值，分割阈值与灵敏度计算关系如下：

ThresholdBig =（-SensitivityBig）* 128 + 255

其中，SensitivityBig为第一相机的检测灵敏度，ThresholdBig为分割阈值。

最后，根据分割阈值ThresholdBig对图像ScaleImage（x,y）进行阈值分割，提取出缺陷区域RegionDefect。

特征选择：根据吸盘印的面积、圆形度等特征从缺陷区域RegionDefect中筛选出可能对应吸盘印的RegionDefectInBig（x,y）区域。

至此，第一相机的吸盘印缺陷检测完成。

对第二图像进行缺陷检测的过程包括图像预处理、阈值分割、特征选择三个部分；

图像预处理：首先将第二图像的原图RawImagSmall(x,y)自增强，得到MultImag(x,y)；自增强即将原图中每个像素点（x,y）的灰度值的平方除以图像的灰度平均值；其关系如下：

MultImag(x,y)= RawImagSmall (x,y)* RawImagSmall (x,y)/mean(RawImagSmall(x,y))

其中，mean(RawImagSmall (x,y))为图像RawImagSmall (x,y)的灰度均值。

然后，将增强后的图像MultImag(x,y)由RGB图像变换到HSV颜色空间，从而得到S通道图像SactImag(x,y)。

阈值分割：首先设置第二相机的检测灵敏度，其范围为[0,1]；然后根据该检测灵敏度计算分割阈值，分割阈值与灵敏度计算关系如下：

ThresholdSmall =（-SensitivitySmall）* 128 + 255

其中，SensitivitySmall为第二相机的相机检测灵敏度，ThresholdSmall为分割阈值。

最后阈值分割图像提取吸盘印区域RegionSucker。

最后，根据分割阈值ThresholdSmall对S通道图像SactImag(x,y)进行阈值分割，提取出缺陷区域RegionSucker。

特征选择：根据吸盘印的面积、圆形度等特征从缺陷区域RegionSucker中筛选出可能对应吸盘印的RegionSuckerInSmall（x,y）区域。

至此，第二相机的吸盘印缺陷检测完成。

S4：计算第一缺陷区域与第二缺陷区域的重合度，并过滤掉重合度大于预设的重合度阈值的第一缺陷区域；

首先，根据第一图像与第二图像的图像变换比例将从第二图像中提取的RegionSuckerInSmall（x,y）区域还原，得到RegionSuckerSmallTrans（x,y）区域；还原关系如下：

RegionSuckerSmallTrans（x,y）= RegionSuckerInSmall（Sacle(x)*x, Sacle(y)*y）

其中，Sacle(x)与Sacle(y)为第一、第二相机的行缩放比、列缩放比。

还原之后，计算缺陷区域RegionDefectInBig（x,y）与RegionSuckerSmallTrans（x,y）的重合度，选择RegionDefectInBig（x,y）与RegionSuckerSmallTrans（x,y）的重合度大于预设的重合度接口参数的区域RegionSuckerInBig（x,y），该区域即为第一图像中的吸盘印区域。重合度接口参数范围0~1，一般设置0.7，可根据具体情况设置。

最后，过滤掉RegionDefectInBig（x,y）区域中的RegionSuckerInBig（x,y），从而降低过检。

本实施例采用第一相机和第二相机结合的方式进行缺陷过滤，以缺陷区域之间的重合度为判断指标，通过第二相机检出的缺陷区域对第一相机检出的缺陷区域进行过滤，有效筛选出吸盘印区域并进行过滤，避免吸盘印被作为缺陷误检出，有效降低了过检率。

本实施例还提供了一种用于实现上述降低面板缺陷过检率的系统，参见图2，该系统包括采集单元、校正单元、标定单元、缺陷检测单元和过滤单元，其中，

采集单元用于采集第一相机拍摄的待测面板显示画面的第一图像以及第二相机拍摄的同一显示画面的第二图像；本实施例中，第二相机为彩色相机且其分辨率小于第一相机的分辨率；

校正单元用于分别对第一图像、第二图像进行畸变校正和透视变换；畸变校正主要目的为消除镜头径向畸变的影响；透视变换主要目的为将采集得到的倾斜图像矫正。

标定单元用于对采集单元获取的第一图像、第二图像进行标定以获得该第一图像与第二图像之间的图像变换比例；该图像变换比例包括行缩放比和列缩放比；根据水平标定线在第一、第二相机中的长度计算行缩放比；根据垂直标定线在第一、第二相机中的长度计算列缩放比。

缺陷检测单元用于对第一图像进行缺陷检测，得到待过滤的第一缺陷区域；并用于对第二图像进行缺陷检测，得到待过滤的第二缺陷区域；本实施例中，缺陷检测单元包括第一检测模块和第二检测模块；

其中，第一检测模块用于对第一图像进行中值滤波和图像增强，也可以采用均值滤波、高斯滤波等滤波方式，本实施例不作具体限制；

然后根据第一相机的检测灵敏度计算分割阈值并根据分割阈值对图像增强后的第一图像进行阈值分割，从第一图像中提取出缺陷区域；

最后，根据吸盘印的面积、圆形度等特征从第一图像的缺陷区域中筛选出可能对应吸盘印的第一缺陷区域。

第二检测模块用于对第二图像进行自增强并将增强后的第二图像变换到HSV颜色空间，提取出S通道图像；其中，对第二图像进行自增强具体是将第二图像中每个像素点的灰度值的平方除以该第二图像的灰度平均值；

然后根据第二相机的检测灵敏度计算分割阈值并根据分割阈值对S通道图像进行阈值分割，从第二图像中提取出缺陷区域；

最后根据吸盘印的面积、圆形度等特征从第二图像的缺陷区域中筛选出可能对应吸盘印的第二缺陷区域。

过滤单元用于根据图像变换比例对第二缺陷区域进行行、列缩放，计算第一缺陷区域与缩放后的第二缺陷区域的重合度，重合度大于预设的重合度接口参数的第一缺陷区域即为吸盘印区域，过滤掉吸盘印区域即可。重合度接口参数范围0~1，一般设置0.7，可根据具体情况设置。

本实施例还提供了一种终端设备，其包括至少一个处理器、以及至少一个存储器，其中，所述存储器中存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行上述降低面板缺陷过检率的方法的步骤。处理器和存储器的类型不作具体限制，例如：处理器可以是微处理器、数字信息处理器、片上可编程逻辑系统等；存储器可以是易失性存储器、非易失性存储器或者它们的组合等。

本实施例还提供了一种计算机可读介质，其存储有可由终端设备执行的计算机程序，当所述计算机程序在终端设备上运行时，使得所述终端设备执行上述降低面板缺陷过检率的方法的步骤。计算机可读介质的类型包括但不限于SD卡、U盘、固定硬盘、移动硬盘等存储介质。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种降低面板缺陷过检率的方法，其特征在于，包括以下步骤：

采集第一相机拍摄的待测面板显示画面的第一图像以及第二相机拍摄的所述显示画面的第二图像；所述第二相机为彩色相机；

提取所述第一图像中待过滤的第一缺陷区域；

将所述第二图像变换到HSV颜色空间，提取S通道图像并从所述S通道图像中提取待过滤的第二缺陷区域；

计算所述第一缺陷区域与第二缺陷区域的重合度，并过滤掉所述重合度大于预设的重合度阈值的第一缺陷区域。

2.如权利要求1所述的降低面板缺陷过检率的方法，其特征在于，还包括：

对第一图像、第二图像进行标定以获得该第一图像与第二图像之间的图像变换比例；根据所述图像变换比例对所述第二缺陷区域进行缩放以使其与第一缺陷区域的尺寸匹配。

3.如权利要求1所述的降低面板缺陷过检率的方法，其特征在于，提取所述第一图像中待过滤的第一缺陷区域具体为：

对第一图像进行滤波、图像增强；

根据第一相机的检测灵敏度计算分割阈值并根据所述分割阈值对增强后的第一图像进行阈值分割、特征选择，得到待过滤的第一缺陷区域。

4.如权利要求1所述的降低面板缺陷过检率的方法，其特征在于，从所述S通道图像中提取待过滤的第二缺陷区域具体为：

根据第二相机的检测灵敏度计算分割阈值并根据所述分割阈值对S通道图像进行阈值分割、特征选择，得到待过滤的第二缺陷区域。

5.如权利要求1所述的降低面板缺陷过检率的方法，其特征在于，将所述第二图像变换到HSV颜色空间之前还包括：

对第二图像进行自增强，将第二图像中每个像素点的灰度值的平方除以该第二图像的灰度平均值。

6.如权利要求2所述的降低面板缺陷过检率的方法，其特征在于，对所述第一图像、第二图像进行标定之前还包括：对第一图像、第二图像进行畸变校正和透视变换。

7.一种降低面板缺陷过检率的系统，其特征在于，所述系统包括：

采集单元，用于采集第一相机拍摄的待测面板显示画面的第一图像以及第二相机拍摄的所述显示画面的第二图像；

缺陷检测单元，用于提取所述第一图像中待过滤的第一缺陷区域；并用于将所述第二图像变换到HSV颜色空间，提取S通道图像并从所述S通道图像中提取待过滤的第二缺陷区域；

过滤单元，用于计算所述第一缺陷区域与第二缺陷区域的重合度，并过滤掉所述重合度大于预设的重合度阈值的第一缺陷区域。

8.如权利要求7所述的降低面板缺陷过检率的系统，其特征在于，还包括标定单元；

所述标定单元用于对第一图像、第二图像进行标定以获得该第一图像与第二图像之间的图像变换比例；

所述过滤单元根据所述图像变换比例对所述第二缺陷区域进行缩放以使其与第一缺陷区域的尺寸匹配。

9.如权利要求7或8所述的降低面板缺陷过检率的系统，其特征在于，还包括校正单元；所述校正单元用于对第一图像、第二图像进行畸变校正和透视变换。

10.一种终端设备，其特征在于，包括至少一个处理单元、以及至少一个存储单元，

其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行权利要求 1～6任一权利要求所述方法的步骤。