CN110967851B - 一种液晶面板array图像的线路提取方法及系统 - Google Patents

Abstract

本发明公开了一种液晶面板array图像的线路提取方法及系统，包括：根据每个产品的图案分别制作其线路模板图；获得产品A对应的输入图像X的特征点，获取输入图像X的特征图M；获得产品A对应的线路模板图B的特征点，基于提取的特征点，获取线路模板图B的特征图N；匹配特征图M和特征图N，基于匹配结果获得M在N中的位置，基于特征图M与特征图N的相对位置，获得输入图像X中所有线路的位置。本方法通过准确判断图像线路位置，结合图片缺陷位置，实现了线路的短路和断路的准确判定，提高了缺陷发现的准确率及效率，降低了缺陷进入下一个环节的风险，提升产线的产品良率，节约了判图的人力成本。

Description

一种液晶面板array图像的线路提取方法及系统

技术领域

本发明涉及图像处理领域，具体地，涉及一种液晶面板array图像的线路提取方法及系统。

背景技术

液晶面板制造的前段Array制程是液晶面板制造过程中极其重要的制程之一，包括薄膜、黄光、蚀刻、剥膜四部分。

目前液晶面板的array制程会出现大量的缺陷，其中最重要也影响最大的两类缺陷是相交缺陷和断线缺陷，相交缺陷是指特定材质的缺陷(如金属残留等)落在了两条线路之间，导致线路短路；断线缺陷是指特定类型的缺陷(如破洞等)落在线路上，导致线路断路。这两类缺陷将直接导致产品报废，此类缺陷的准确检测可有效避免系统漏检导致报废产品流入下一个制程。现有的产线AOI检测系统由于无法判断图像的线路位置而不能计算缺陷是否导致了线路相交或者断线，只能通过人工方式判断，效率低下且出错率高。

发明内容

为了解决上述问题，本发明提出了一种液晶面板array图像的线路提取方法及系统，能够自动计算AOI检测设备拍摄到的产品图像中各种线路的准确位置，结合AOI设备的缺陷检测结果，自动计算相交或断线缺陷，提高了缺陷发现的准确率，极大缩短了缺陷发现的周期，降低了缺陷产品进入下一个制程环节的风险，提升产线的产品良率，同时也减少了产线人员判图的工作量。

为实现上述发明目的，本发明一方面提供了一种液晶面板array图像的线路提取方法，所述方法包括：

根据每个产品的图案分别制作其线路模板图；

获得产品A对应的AOI设备的输入图像X，提取输入图像X的特征点，基于提取的特征点获取输入图像X的特征图M；

获得产品A对应的线路模板图B，提取线路模板图B的特征点，基于提取的特征点获取线路模板图B的特征图N；

基于特征图M和特征图N的匹配结果得到特征图M在特征图N中的位置；基于特征图M与特征图N的相对位置，获得输入图像X中所有线路的位置。

优选的，所述方法还包括：从AOI设备获取输入图像X中缺陷的类型和缺陷坐标，基于缺陷的坐标位置与线路位置的运算结果判断缺陷是否引起线路相交或线路断线。

优选的，缺陷的坐标位置与线路位置的运算包括：

步骤1：由输入图像X的缺陷位置坐标P＝(x_i,y_i),i＝1,2,...n，获得X的缺陷位置掩码图：

其中n为图像X的宽度，m为图像X的高度，a_jk∈{0,1}，对于M′中的每一个a_jk，对应的坐标如果在P组成的多边形内，则设置为1，否则置为0；

步骤2：基于输入图像X在N中的位置及线路模板图得到线路位置掩码图N_i,i＝1,2,...,n；

步骤3：对缺陷位置掩码图M′和线路位置掩码图N_i，执行下列运算：

计算M′与N_i的像素与掩码图R_i,i＝1,2,...,n，

R_i＝M′&N_i

即对每一个a_jk∈M′，n_jk∈N_i，r_jk∈R_i，执行r_jk＝a_jk&n_jk；

步骤4：根据R_i和M′判断线路是否相交或断线：

a)判断R_i与M′是否相交

构造f_i,i＝1,2,...,n，如果R_i中存在像素为1的点，则f_i设置为1，否则为0；

计算f：

如果f≥2，则判断线路相交；

b)判断R_i与M′是否断线

构造c_i，c_i≥2,且i＝1,2,...,n，其中c_i为R_i中连通区域的个数；

计算c：

如果c≥1，则判断线路断线。

优选的，产品的线路模板图制作方式为：

采集产品对应的AOI设备产生的图片作为模板制作的参考图；

扩展参考图获得模板图。

优选的，模板图的特征图获得方式为：基于模板图中线路的位置，获得模板图的线路二值图；基于模板图的线路二值图，获得模板图的特征信息；基于模板图的特征信息，获得模板图的特征图。

另一方面，本发明还提供了一种液晶面板array图像的线路提取系统，所述系统包括：

线路模板图制作单元，用于根据每个产品的图案分别制作其线路模板图；

输入图像特征图获得单元，用于获得产品A对应的AOI设备的输入图像X，提取输入图像X的特征点，基于提取的特征点获取输入图像X的特征图M；

线路模板图特征图获得单元，用于获得产品A对应的线路模板图B，提取线路模板图B的特征点，基于提取的特征点获取线路模板图B的特征图N；

线路位置获得单元，用于基于特征图M和特征图N的匹配结果得到特征图M在特征图N中的位置；基于特征图M与特征图N的相对位置，获得输入图像X中所有线路的位置。

优选的，所述系统还包括：运算与判断单元，用于从AOI设备获取输入图像X中缺陷的类型和缺陷坐标，基于缺陷的坐标位置与线路位置的运算结果判断缺陷是否引起线路相交或线路断线。

优选的，缺陷的坐标位置与线路位置的运算包括：

步骤1：由输入图像X的缺陷位置坐标P＝(x_i,y_i),i＝1,2,...n，获得X的缺陷位置掩码图：

其中n为图像X的宽度，m为图像X的高度，a_jk∈{0,1}，对于M′中的每一个a_jk，对应的坐标如果在P组成的多边形内，则设置为1，否则置为0；

步骤2：基于输入图像X在N中的位置及线路模板图得到线路位置掩码图N_i,i＝1,2,...,n；

步骤3：对缺陷位置掩码图M′和线路位置掩码图N_i，执行下列运算：

计算M′与N_i的像素与掩码图R_i,i＝1,2,...,n，

R_i＝M′&N_i

即对每一个a_jk∈M′，n_jk∈N_i，r_jk∈R_i，执行r_jk＝a_jk&n_jk；

步骤4：根据R_i和M′判断线路是否相交或断线：

a)判断R_i与M′是否相交

构造f_i,i＝1,2,...,n，如果R_i中存在像素为1的点，则f_i设置为1，否则为0；

计算f：

如果f≥2，则判断线路相交；

b)判断R_i与M′是否断线

构造c_i，c_i≥2,且i＝1,2,...,n，其中c_i为R_i中连通区域的个数；

计算c：

如果c≥1，则判断线路断线。

优选的，产品的线路模板图制作方式为：

采集产品对应的AOI设备产生的图片作为模板制作的参考图；

扩展参考图获得模板图。

优选的，模板图的特征图获得方式为：基于模板图中线路的位置，获得模板图的线路二值图；基于模板图的线路二值图，获得模板图的特征信息；基于模板图的特征信息，获得模板图的特征图。

本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：

(1)本方法及系统能够根据AOI设备输出的图像以及缺陷信息，自动判定缺陷是否引起了线路的相交(短路)和断线(断路)。

(2)本方法及系统提高了判定相交和断线缺陷的准确率和效率，其中准确率可以达到95％以上，计算速度达到一张图片20ms以内，极大的提高了生产效率。

(3)本方法及系统极大的减少了产线判图员的工作量，节约了人力成本。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；

图1是本发明中一种液晶面板array图像的线路提取方法的流程示意图；

图2和图3是本发明中模板线路二值图示意图；

图4是本发明中模板特征图示意图；

图5是本发明中输入图像特征图示意图；

图6是本发明中输入特征图与模板特征图的相对位置示意图；

图7和图8是本发明中输入图像中线路位置示意图；

图9是本发明中液晶面板array图像的线路提取系统的组成示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

请参考图1，在方法中，整个流程可以分为两个部分：离线处理流程和在线处理流程，其中离线处理流程主要用于制作产品图像模板，在线处理流程包含三个部分，分别是图像特征点提取/获取图像特征图，图像特征图与模板特征图匹配以及相交/断线判定；

离线处理部分：由于液晶面板各个产品的图案和线路定义都不一样，因此需要先人工根据每个产品的图案制作线路模板图，用于匹配产线生产图像与模板图像。对于同一款产品，只需要做一套线路模板图。

产品图像模板的制作，首先需要一张清晰且无倾斜的AOI设备产生的图片作为模板制作参考图，扩展参考图获得模板图。

根据模板图上线路的位置，分别画出模板图的线路二值图，如图2和图3所示。

根据模板图的特征信息，画出模板的特征图，如图4所示。

在线处理部分：分为三个部分，分别是图像特征点提取/获取图像特征图，图像特征图与模板特征图匹配以及相交/断线判定。

图像特征点提取是根据AOI设备的输入图像，提取其中的特征点，获取输入图像的特征图，如图5所示。

然后将此图像与模板特征图匹配，找到输入特征图在模板特征图中的位置，如图6所示方框区域。

到此，可根据输入特征图与模板特征图的相对位置，得出输入图像中所有线路的位置，如图7和图8所示。

相交/断线判定：从AOI设备获取当前输入图像中缺陷类型和缺陷坐标，然后将缺陷位置与线路位置进行位置运算，即可得到缺陷是否引起线路相交(短路)和线路断线(断路)。

请参考图9，图9为本系统的组成示意图，本发明实施例提供了一种液晶面板array图像的线路提取系统，所述系统包括：

线路模板图制作单元，用于根据每个产品的图案分别制作其线路模板图；

输入图像特征图获得单元，用于获得产品A对应的AOI设备的输入图像X，提取输入图像X的特征点，基于提取的特征点获取输入图像X的特征图M；

线路模板图特征图获得单元，用于获得产品A对应的线路模板图B，提取线路模板图B的特征点，基于提取的特征点获取线路模板图B的特征图N；

线路位置获得单元，用于基于特征图M和特征图N的匹配结果得到特征图M在特征图N中的位置，基于特征图M与特征图N的相对位置，获得输入图像X中所有线路的位置。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种液晶面板array图像的线路提取方法，其特征在于，所述方法包括：

根据每个产品的图案分别制作其线路模板图；

获得产品A对应的AOI设备的输入图像X，提取输入图像X的特征点，基于提取的特征点获取输入图像X的特征图M；

获得产品A对应的线路模板图B，提取线路模板图B的特征点，基于提取的特征点获取线路模板图B的特征图N；

基于特征图M与特征图N的匹配结果得到特征图M在特征图N中的位置；基于特征图M与特征图N的相对位置，获得输入图像X中所有线路的位置；

所述方法还包括：从AOI设备获取输入图像X中缺陷的类型和缺陷的坐标，基于缺陷的坐标位置与线路位置的运算结果判断缺陷是否引起线路相交或线路断线；

缺陷的坐标位置与线路位置的运算包括：

步骤1：由输入图像X的缺陷位置坐标P＝(x_i,y_i),i＝1,2,...n，获得X的缺陷位置掩码图：

其中n为图像X的宽度，m为图像X的高度，a_jk∈{0,1}，对于M′中的每一个a_jk，对应的坐标如果在P组成的多边形内，则设置为1，否则置为0；

步骤2：基于输入图像X在N中的位置及线路模板图得到线路位置掩码图

步骤3：对缺陷位置掩码图M′和线路位置掩码图N_i，执行下列运算：

计算M′与N_i的像素与掩码图

R_i＝M′&N_i

即对每一个a_jk∈M′，n_jk∈N_i，r_jk∈R_i，执行r_jk＝a_jk&n_jk；

步骤4：根据R_i和M′判断线路是否相交或断线：

a)判断R_i与M′是否相交

构造

如果R_i中存在像素为1的点，则f_i设置为1，否则为0；

计算f：

如果f≥2，则判断线路相交；

b)判断R_i与M′是否断线

构造c_i，

且

其中c_i为R_i中连通区域的个数；

计算c：

如果c≥1，则判断线路断线。

2.根据权利要求1所述的一种液晶面板array图像的线路提取方法，其特征在于，产品的线路模板图制作方式为：

采集产品对应的AOI设备产生的图片作为模板制作的参考图；

扩展参考图获得模板图。

3.根据权利要求1所述的一种液晶面板array图像的线路提取方法，其特征在于，模板图的特征图获得方式为：基于模板图中线路的位置，获得模板图的线路二值图；基于模板图的线路二值图，获得模板图的特征信息；基于模板图的特征信息，获得模板图的特征图。

4.一种液晶面板array图像的线路提取系统，其特征在于，所述系统包括：

线路模板图制作单元，用于根据每个产品的图案分别制作其线路模板图；

输入图像特征图获得单元，用于获得产品A对应的AOI设备的输入图像X，提取输入图像X的特征点，基于提取的特征点获取输入图像X的特征图M；

线路模板图特征图获得单元，用于获得产品A对应的线路模板图B，提取线路模板图B的特征点，基于提取的特征点获取线路模板图B的特征图N；

线路位置获得单元，用于基于特征图M和特征图N的匹配结果得到特征图M在特征图N中的位置；基于特征图M与特征图N的相对位置，获得输入图像X中所有线路的位置；

所述系统还包括：运算与判断单元，用于从AOI设备获取输入图像X中缺陷的类型和缺陷的坐标，基于缺陷的坐标位置与线路位置的运算结果判断缺陷是否引起线路相交或线路断线；

缺陷的坐标位置与线路位置的运算包括：

步骤1：由输入图像X的缺陷位置坐标P＝(x_i,y_i),i＝1,2,...n，获得X的缺陷位置掩码图：

其中n为图像X的宽度，m为图像X的高度，a_jk∈{0,1}，对于M′中的每一个a_jk，对应的坐标如果在P组成的多边形内，则设置为1，否则置为0；

步骤2：基于输入图像X在N中的位置及线路模板图得到线路位置掩码图

步骤3：对缺陷位置掩码图M′和线路位置掩码图N_i，执行下列运算：

计算M′与N_i的像素与掩码图

R_i＝M′&N_i

即对每一个a_jk∈M′，n_jk∈N_i，r_jk∈R_i，执行r_jk＝a_jk&n_jk；

步骤4：根据R_i和M′判断线路是否相交或断线：

a)判断R_i与M′是否相交

构造

如果R_i中存在像素为1的点，则f_i设置为1，否则为0；

计算f：

如果f≥2，则判断线路相交；

b)判断R_i与M′是否断线

构造c_i，

且

其中c_i为R_i中连通区域的个数；

计算c：

如果c≥1，则判断线路断线。

5.根据权利要求4所述的一种液晶面板array图像的线路提取系统，其特征在于，产品的线路模板图制作方式为：

采集产品对应的AOI设备产生的图片作为模板制作的参考图；

扩展参考图获得模板图。

6.根据权利要求4所述的一种液晶面板array图像的线路提取系统，其特征在于，模板图的特征图获得方式为：基于模板图中线路的位置，获得模板图的线路二值图；基于模板图的线路二值图，获得模板图的特征信息；基于模板图的特征信息，获得模板图的特征图。

Images