CN107402221A

CN107402221A - 一种基于机器视觉的显示面板缺陷识别方法及系统

Info

Publication number: CN107402221A
Application number: CN201710671521.3A
Authority: CN
Inventors: 张美杰; 张平; 张明杰
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2017-08-08
Filing date: 2017-08-08
Publication date: 2017-11-28

Abstract

本申请公开了一种基于机器视觉的显示面板缺陷识别方法及系统，包括：实时采集生产线上的待测显示面板的图像信号；对图像信号进行处理，将处理后的图像信号与标准图像信号作比较，获取待测显示面板的缺陷信息；根据缺陷信息，对待测显示面板的缺陷位置进行标记。本申请提供的上述非接触式视觉识别方法算法简单快速，稳定性强，提高了检测效率，有很大的发展空间和市场前景。

Description

一种基于机器视觉的显示面板缺陷识别方法及系统

技术领域

本发明涉及光电领域，特别是涉及一种基于机器视觉的显示面板缺陷识别方法及系统。

背景技术

光电行业是国家的基础行业以及支柱行业，是决定一个国家科技竞争力的重要因素。国内电子领域的企业发展也很迅速。液晶面板作为液晶显示器的基础部件，需求量很大，所以液晶面板的质量检测工作也很庞大。传统的液晶面板缺陷检测主要靠人工完成，由人眼观察面板表面有没有漏印、误印等，由于面板本身图案复杂，图案种类繁多，对人工是个极大的考验。大多数质量检测员都会发生误判、漏判的情况，这给企业的生产质量带来很大的隐患。

因此，采用一种新型的面板质量检测方式来代替人工检测，是本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于机器视觉的显示面板缺陷识别方法及系统，可以通过非接触式视觉识别，算法简单快速，稳定性强，提高了检测效率。其具体方案如下：

一种基于机器视觉的显示面板缺陷识别方法，包括：

实时采集生产线上的待测显示面板的图像信号；

对所述图像信号进行处理，将处理后的所述图像信号与标准图像信号作比较，获取所述待测显示面板的缺陷信息；

根据所述缺陷信息，对所述待测显示面板的缺陷位置进行标记。

优选地，在本发明实施例提供的上述基于机器视觉的显示面板缺陷识别方法中，实时采集生产线上的所述待测显示面板的图像信号，具体包括：

通过黑白面阵电荷耦合器件工业相机和白色通孔发光二极管面光源实时采集生产线上的所述待测显示面板的图像信号。

优选地，在本发明实施例提供的上述基于机器视觉的显示面板缺陷识别方法中，在实时采集生产线上的所述待测显示面板的图像信号之前，还包括：

通过传送带上的位置传感器实时检测生产线上的所述待测显示面板。

优选地，在本发明实施例提供的上述基于机器视觉的显示面板缺陷识别方法中，对所述图像信号进行处理，将处理后的所述图像信号与标准图像信号作比较，获取所述待测显示面板的缺陷信息，具体包括：

将所述图像信号上传至上位机的图像处理软件；

所述图像处理软件对所述图像信号依次进行图像预处理、图像分割处理和缺陷检测处理；

将处理后的所述图像信号与标准图像信号作比较，判断所述待测显示面板是否存在缺陷；

若是，则所述待测显示面板为不良品，根据比较结果，获取所述待测显示面板的缺陷信息并发送至可编程控制器；若否，则所述待测显示面板为良品。

优选地，在本发明实施例提供的上述基于机器视觉的显示面板缺陷识别方法中，对所述待测显示面板的缺陷位置进行标记，具体包括：

所述可编程控制器控制打标机和编码器对所述待测显示面板的缺陷位置进行标记。

优选地，在本发明实施例提供的上述基于机器视觉的显示面板缺陷识别方法中，对所述待测显示面板的缺陷信息进行标记之后，还包括：

所述可编程控制器控制分拣机械手和驱动电机将良品和不良品分拣至设定的工位。

本发明实施例还提供了一种基于机器视觉的显示面板缺陷识别系统，包括：

图像采集模块，用于实时采集生产线上的所述待测显示面板的图像信号；

图像处理模块，用于对所述图像信号进行处理，将处理后的所述图像信号与标准图像信号作比较，获取所述待测显示面板的缺陷信息；

缺陷信息标记模块，用于根据所述缺陷信息，对所述待测显示面板的缺陷位置进行标记。

优选地，在本发明实施例提供的上述基于机器视觉的显示面板缺陷识别系统中，所述图像采集模块包括黑白面阵电荷耦合器件工业相机和白色通孔发光二极管面光源。

优选地，在本发明实施例提供的上述基于机器视觉的显示面板缺陷识别系统中，所述图像处理模块包括安装有图像处理软件的上位机；

所述图像处理软件包括软件界面显示模块、图像处理算法模块和数据库模块；

所述软件界面显示模块包括用户单元、显示单元和图像信息管理单元；所述用户单元，用于所述待测显示面板参数的初始化、用户管理和用户交互以及系统调试和通讯调试；所述显示单元，用于对所述图像信号依次进行图像预处理、图像分割处理和缺陷检测处理；所述图像信息管理单元，用于将所述待测显示面板的缺陷信息生成检测报告；

所述图像处理算法模块，用于将处理后的所述图像信号与标准图像信号作比较，获取所述待测显示面板的缺陷信息并发送至可编程控制器；

所述数据库模块，用于存储记录所述显示面板的缺陷信息，以及存储记录所述显示面板识别系统的运行状态。

优选地，在本发明实施例提供的上述基于机器视觉的显示面板缺陷识别系统中，所述上位机与所述可编程控制器之间的通信为以太网接口GigE通信，协议为以太网ModbusTCP/IP协议。

本发明所提供的一种基于机器视觉的显示面板缺陷识别方法及系统，包括：实时采集生产线上的待测显示面板的图像信号；对图像信号进行处理，将处理后的图像信号与标准图像信号作比较，获取待测显示面板的缺陷信息；根据缺陷信息，对待测显示面板的缺陷位置进行标记。本发明提供的上述非接触式视觉识别方法算法简单快速，稳定性强，提高了检测效率，有很大的发展空间和市场前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的基于机器视觉的显示面板缺陷识别方法流程图；

图2为本发明实施例提供的基于机器视觉的显示面板缺陷识别系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种基于机器视觉的显示面板缺陷识别方法，如图1所示，包括以下步骤：

S101、实时采集生产线上的待测显示面板的图像信号；

S102、对图像信号进行处理，将处理后的图像信号与标准图像信号作比较，获取待测显示面板的缺陷信息；

S103、根据缺陷信息，对待测显示面板的缺陷位置进行标记。

在本发明实施例提供的上述基于机器视觉的显示面板缺陷识别方法中，首先实时采集生产线上的待测显示面板的图像信号；然后对图像信号进行处理，将处理后的图像信号与标准图像信号作比较，获取待测显示面板的缺陷信息；最后根据缺陷信息，对待测显示面板的缺陷位置进行标记。这种非接触式视觉识别方法算法简单快速，稳定性强，提高了检测效率，有很大的发展空间和市场前景。

需要说明的是，本发明中待测显示面板尺寸可以均为30*20mm²，平均一块面板的缺陷识别标记只需要5ms左右，识别正确率达到100％，效率极高。待测显示面板的种类有多种，例如液晶显示面板、有机发光显示面板等，在此不做限定。

在具体实施时，在本发明实施例提供的上述基于机器视觉的显示面板缺陷识别方法中，步骤S101实时采集生产线上的待测显示面板的图像信号，具体可以包括以下步骤：

通过黑白面阵电荷耦合器件(Charge-coupled Device，CCD)工业相机和白色通孔发光二极管(Light Emitting Diode，LED)面光源实时采集生产线上的待测显示面板的图像信号。

进一步地，在具体实施时，在本发明实施例提供的上述基于机器视觉的显示面板缺陷识别方法中，在执行步骤101实时采集生产线上的待测显示面板的图像信号之前，还可以包括以下步骤：

通过传送带上的位置传感器实时检测生产线上的待测显示面板。

当位置传感器检测到待测显示面板后，触发CCD相机对待测显示面板进行拍摄，获得图像信号。需要说明的是，可以通过编码器检测传送带的速度信号，并将该速度信号反馈给变频器，从而调节变频器的输出数据，使待测显示面板运动速度和相机拍摄速度一致，这样便于之后获取待测显示面板的缺陷位置和图片路径等缺陷信息。

在具体实施时，在本发明实施例提供的上述基于机器视觉的显示面板缺陷识别方法中，步骤S102对图像信号进行处理，将处理后的图像信号与标准图像信号作比较，获取待测显示面板的缺陷信息，具体包括：

首先，将图像信号上传至上位机的图像处理软件；

然后，图像处理软件对图像信号依次进行图像预处理、图像分割处理和缺陷检测处理；

之后，将处理后的图像信号与标准图像信号作比较，判断待测显示面板是否存在缺陷；

若是，则待测显示面板为不良品，根据比较结果，获取待测显示面板的缺陷信息并发送至可编程控制器；若否，则待测显示面板为良品。

在具体实施时，在本发明实施例提供的上述基于机器视觉的显示面板缺陷识别方法中，步骤S103对待测显示面板的缺陷位置进行标记，具体可以包括以下步骤：

可编程控制器控制打标机和编码器对待测显示面板的缺陷位置进行标记。

在具体实施时，在本发明实施例提供的上述基于机器视觉的显示面板缺陷识别方法中，在执行步骤S103对待测显示面板的缺陷信息进行标记之后，还可以包括以下步骤：

可编程控制器控制分拣机械手和驱动电机将良品和不良品分拣至设定的工位。

下面以一个具体的实例详细描述本发明实施例提供的上述基于机器视觉的显示面板缺陷识别方法中的其中三个步骤，具体步骤如下：

步骤一、建立标准图像信号；

1、均值滤波，采用40*40的掩膜对长、宽分别为Height和Width灰度图像平滑处理，去除噪声。计算公式如下：

通过估算像素为m×n窗口内的像素值，用原始图像与之求差达到降噪的目的，其中g(r,c)代表图像在坐标(r,c)处的灰度值；经过几次降噪后，图像噪声降低到原来的

2、设置ROI区域，在上述滤波后的图像上生成一个长为(Width-20)，宽为(Height-20)的矩形区域，作为之后处理的ROI区域；

3、对上述ROI区域局部阈值，分割出前景区域。具体步骤为：

S1.求取ROI区域每个像素点的40x40窗口领域的平均值q(x,y)；

S2.求取ROI区域中局部较亮的区域ω₁,公式为：

ω₁＝{(x,y)∈R|p(x,y)-q(x,y)≥t₁}

其中，p(x,y)为当前像素的灰度值，t₁为设定的阈值；

S3.求取ROI区域中局部较暗的区域ω₂,公式为：

ω₂＝{(x,y)∈R|p(x,y)-q(x,y)＜t₂}

其中，p(x,y)为当前像素的灰度值，t₂为设定的阈值；

S4.对区域ω₁和区域ω₂进行或操作，合并较亮和较暗区域，分割出前景区域；

4、连通域提取；

5、选择连通域；具体地，选择面积大于40个像素的连通域。

6、对所选择的连通域求并集；具体地，合并所有离散的联通域，记为Union0；

步骤二、实时采集待测显示面板的图像信号，并对图像信号进行处理；

具体地，对图像信号进行的处理具体包括与步骤一中第1步至第6步相同的步骤；对之后所得的并集记为Union1；

步骤三、将处理后的所述图像信号与标准图像信号作比较；

1、将上述所得的集合Union0和Union1作差，得到差异区域region_D。公式为：

region_D＝Union0-Union1；

2、对差异区域提取连通域，记为Connected_D；

3、选择连通域；具体地，在Connected_D的连通域中选择面积大于50个像素的连通域，记为Selected_D；Selected_D记为待测显示面板的缺陷位置。

至此，通过步骤一至步骤三就可以将待测显示面板的缺陷位置识别出来。

基于同一发明构思，本发明实施例还提供了一种基于机器视觉的显示面板缺陷识别系统，由于该系统解决问题的原理与前述一种基于机器视觉的显示面板缺陷识别方法相似，因此该系统的实施可以参见基于机器视觉的显示面板缺陷识别方法的实施，重复之处不再赘述。

在具体实施时，本发明实施例提供的基于机器视觉的显示面板缺陷识别系统，如图2所示，具体包括：

图像采集模块1，用于实时采集生产线上的待测显示面板01的图像信号；

图像处理模块2，用于对图像信号进行处理，将处理后的图像信号与标准图像信号作比较，获取待测显示面板的缺陷信息；

缺陷信息标记模块3，用于根据缺陷信息，对待测显示面板的缺陷位置进行标记。

在本发明实施例提供的上述基于机器视觉的显示面板缺陷识别系统中，可以通过非接触式视觉识别，简单快速，稳定性强，提高了检测效率，有很大的发展空间和市场前景。

进一步地，在具体实施时，在本发明实施例提供的上述基于机器视觉的显示面板缺陷识别系统中，如图2所示，图像采集模块1包括黑白面阵CCD工业相机11和白色通孔LED面光源12。这里的黑白面阵CCD相机的像素可以选取为500万像素。

进一步地，在具体实施时，在本发明实施例提供的上述基于机器视觉的显示面板缺陷识别系统中，如图2所示，图像处理模块2包括安装有图像处理软件的上位机21；

图像处理软件包括软件界面显示模块、图像处理算法模块和数据库模块；

软件界面显示模块包括用户单元、显示单元和图像信息管理单元；用户单元，用于待测显示面板参数的初始化、用户管理和用户交互以及系统调试和通讯调试；显示单元，用于对图像信号依次进行图像预处理、图像分割处理和缺陷检测处理；图像信息管理单元，用于将待测显示面板的缺陷信息生成检测报告；

图像处理算法模块，用于将处理后的图像信号与标准图像信号作比较，获取待测显示面板的缺陷信息并发送至可编程控制器；

数据库模块，用于存储记录显示面板的缺陷信息，以及存储记录显示面板识别系统的运行状态。

需要说明的是，数据库模块可以使用两张数据库表来存储该系统的相关信息：例如T_damage记录待测显示面板缺陷信息(包括缺陷检测时间、显示面板编号、缺陷位置、缺陷图片、图片路径等)；T_statue记录该系统运行状态(包括何时开始检测，何时停止检测)。

在具体实施时，在本发明实施例提供的上述基于机器视觉的显示面板缺陷识别系统中，上位机与可编程控制器之间的通信为以太网接口GigE通信，协议为以太网ModbusTCP/IP协议。

需要说明的是，这里的上位机可以是工控机。具体地，Telnet通信先进行握手，然后进行数据的读写操作；握手信号成功后，相机充当客户端，通过TcpClient类中的connect方法进行网络通信，利用NetWorkStream类来进行网络数据传输，实现上位机和PLC的数据通信。

另外，在本发明实施例提供的上述基于机器视觉的显示面板缺陷识别系统中，缺陷信息标记模块3可以包括可编程控制器、打标机和编码器；具体地，可编程控制器控制打标机和编码器对待测显示面板的缺陷位置进行标记。

在本发明实施例提供的上述基于机器视觉的显示面板缺陷识别系统中，还可以包括：分拣模块；该分拣模块包括分拣机械手和驱动电机，具体地，可编程控制器控制分拣机械手和驱动电机将良品和不良品分拣至设定的工位。最终可以区分不良品和良品，将不良品从产线上拣出来。

本发明实施例提供的一种基于机器视觉的显示面板缺陷识别方法及系统，包括：实时采集生产线上的待测显示面板的图像信号；对图像信号进行处理，将处理后的图像信号与标准图像信号作比较，获取待测显示面板的缺陷信息；根据缺陷信息，对待测显示面板的缺陷位置进行标记。本发明提供的上述非接触式视觉识别方法算法简单快速，稳定性强，提高了检测效率，有很大的发展空间和市场前景。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的基于机器视觉的显示面板缺陷识别方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种基于机器视觉的显示面板缺陷识别方法，其特征在于，包括：

实时采集生产线上的待测显示面板的图像信号；

2.根据权利要求1所述的基于机器视觉的显示面板缺陷识别方法，其特征在于，实时采集生产线上的所述待测显示面板的图像信号，具体包括：

3.根据权利要求2所述的基于机器视觉的显示面板缺陷识别方法，其特征在于，在实时采集生产线上的所述待测显示面板的图像信号之前，还包括：

4.根据权利要求3所述的基于机器视觉的显示面板缺陷识别方法，其特征在于，对所述图像信号进行处理，将处理后的所述图像信号与标准图像信号作比较，获取所述待测显示面板的缺陷信息，具体包括：

将所述图像信号上传至上位机的图像处理软件；

5.根据权利要求4所述的基于机器视觉的显示面板缺陷识别方法，其特征在于，对所述待测显示面板的缺陷位置进行标记，具体包括：

6.根据权利要求5所述的基于机器视觉的显示面板缺陷识别方法，其特征在于，对所述待测显示面板的缺陷信息进行标记之后，还包括：

7.一种基于机器视觉的显示面板缺陷识别系统，其特征在于，包括：

8.根据权利要求7所述的基于机器视觉的显示面板缺陷识别系统，其特征在于，所述图像采集模块包括黑白面阵电荷耦合器件工业相机和白色通孔发光二极管面光源。

9.根据权利要求8所述的基于机器视觉的显示面板缺陷识别系统，其特征在于，所述图像处理模块包括安装有图像处理软件的上位机；

10.根据权利要求9所述的基于机器视觉的显示面板缺陷识别系统，其特征在于，所述上位机与所述可编程控制器之间的通信为以太网接口GigE通信，协议为以太网ModbusTCP/IP协议。