CN109932160A - Aoi与灰度计检测系统及方法 - Google Patents

Abstract

本发明涉及一种AOI与灰度计检测系统，它的AOI流程控制模块接收显示面板到达AOI检测工位的到位信息；面板自动画面显示计算机在AOI流程控制模块控制下对显示面板按用户配置画面序列的顺序进行依次画面点亮；AOI取像控制模块在AOI流程控制模块控制下对显示面板每个点亮画面依次进行AOI检测和灰度计检测取像；AOI检测模块从AOI取像控制模块中依次获取各张AOI检测图像，并按需要对选定的AOI检测图像进行AOI检测；灰度计检测模块从AOI取像控制模块中依次获取各张灰度计检测图像，并按需要对选定的灰度计检测图像进行灰度计检测。本发明中整个系统的取像与检测并行处理，提高了光学检测系统的检测效率。

Description

AOI与灰度计检测系统及方法

技术领域

本发明涉及机器视觉技术领域，具体涉及一种AOI与灰度计检测系统及方法。

背景技术

AOI(Automatic Optic Inspection，自动光学检测)系统是一种自动光学检测系统，用于实现对面板缺陷的检测。灰度计系统用于实现面板色度数据的标定、采集、管理与存储。

AOI系统与灰度计系统在功能上是两个相互独立的，在之前的传统方案架构中，AOI系统与灰度计系统是分别用两个硬件系统单独实现。在正常生产作业的时候，AOI系统与灰度计系统是分别按照先后顺序进行作业。对于整个系统而言，AOI系统与灰度计系统分别按照先后顺序进行作业的话，整个产线的执行时间为AOI系统执行时间与灰度计系统执行时间之和。降低了光学检测系统的检测效率。

发明内容

本发明的目的在于提供一种AOI与灰度计检测系统及方法，本发明中整个系统的取像与检测并行处理，提高了光学检测系统的检测效率。

为解决上述技术问题，本发明所设计的AOI与灰度计检测系统，它包括AOI检测模块、AOI流程控制模块、AOI取像控制模块、灰度计检测模块和面板自动画面显示计算机(PG-PC)，所述AOI流程控制模块用于接收显示面板到达AOI检测工位的到位信息；

面板自动画面显示计算机用于在AOI取像控制模块控制下对显示面板按用户配置画面序列的顺序进行依次画面点亮；

AOI取像控制模块用于在AOI流程控制模块控制下对显示面板每个点亮画面依次进行AOI检测和灰度计检测取像；

AOI检测模块用于从AOI取像控制模块中依次获取各张AOI检测图像，并对各张AOI检测图像进行AOI检测，然后将AOI检测结果反馈给面板自动画面显示计算机；

灰度计检测模块用于从AOI取像控制模块中依次获取各张灰度计检测图像，并对所获取的灰度计检测图像进行灰度计检测，然后将灰度计检测结果反馈给面板自动画面显示计算机。

一种AOI与灰度计检测方法，它包括如下步骤：

步骤1：AOI流程控制模块接收显示面板到达AOI检测工位的到位信息；

步骤2：面板自动画面显示计算机在AOI取像控制模块控制下对显示面板按用户配置画面序列的顺序进行依次画面点亮；

步骤3：AOI取像控制模块在AOI流程控制模块控制下对显示面板每个点亮画面依次进行AOI检测和灰度计检测取像；

步骤4：AOI检测模块从AOI取像控制模块中依次获取各张AOI检测图像，并对各张AOI检测图像进行AOI检测，然后将AOI检测结果反馈给面板自动画面显示计算机；

同时，灰度计检测模块从AOI取像控制模块中依次获取各张灰度计检测图像，并对获取的灰度计检测图像进行灰度计检测，然后将灰度计检测结果反馈给面板自动画面显示计算机。

AOI检测系统与灰度计检测系统在功能上是两个相互独立的，在之前的常规方案架构里，AOI检测系统与灰度计检测系统是分别用两个硬件系统单独实现。在正常生产作业的时候，AOI检测系统与灰度计检测系统是分别按照先后顺序进行作业。对于整个系统而言，AOI检测系统与灰度计检测系统分别按照先后顺序进行作业，整个产线的执行时间为AOI检测系统执行时间与灰度计检测系统执行时间之和。

本发明是将AOI检测系统与灰度计检测系统集成为一个整合的系统，采用一套硬件系统实现。在正常作业的时候，AOI检测系统与灰度计检测系统同时作业，这样对于整个系统而言，产线的执行时间将会大大缩短，由于AOI检测系统的执行时间大于灰度计检测系统的执行时间，因此整个产线执行时间就是AOI检测系统的执行时间。并且灰度计检测系统的硬件模块复用AOI检测系统的硬件模块(如AOI流程控制模块、AOI取像控制模块和面板自动画面显示计算机)。因此，本发明可以看做是在不增加硬件成本的情况下，通过优化整个系统控制流程，一套系统就实现了两个功能。提高了光学检测系统的检测效率。

附图说明

图1为本发明的结构示意图；

其中，1—AOI检测模块、2—AOI流程控制模块、3—AOI取像控制模块、4—灰度计检测模块、5—面板自动画面显示计算机、6—PLC系统、7—AOI硬件平台。

具体实施方式

以下结合具体实施例对本发明作进一步的详细说明：

本发明所设计的AOI与灰度计检测系统，如图1所示，它包括AOI检测模块1、AOI流程控制模块2、AOI取像控制模块3、灰度计检测模块4和面板自动画面显示计算机5，所述AOI流程控制模块2用于接收显示面板到达AOI检测工位的到位信息，并将该到位信息发送给AOI取像控制模块3；

面板自动画面显示计算机5用于在AOI取像控制模块3控制下对显示面板按用户配置画面序列的顺序进行依次画面点亮；

AOI取像控制模块3用于在AOI流程控制模块2控制下对显示面板每个点亮画面依次(按画面点亮对应的图片顺序)进行AOI检测和灰度计检测取像，具体的取像过程为AOI取像控制模块3通过AOI硬件平台7对每只相机进行应用场景分配，分为灰度计检测应用场景和AOI检测应用场景，AOI取像控制模块3还对相机拍摄到的画面进行对应的应用场景分配，可以分为AOI应用场景(表示该画面只用于AOI检测)、灰度计应用场景(表示该画面只用于灰度计检测)和AOI灰度计都应用场景(表示该画面可以应用于AOI检测和灰度计检测)，AOI取像控制模块3通过AOI硬件平台7获取到所有相机的图像数据，通过相机分配的应用场景和当前画面的应用场景来将当前获取的相机数据分配到对应的AOI检测系统和灰度计检测系统，采用并行方式同时通知AOI检测系统和灰度计检测系统，开始各自的检测；

AOI检测模块1用于从AOI取像控制模块3中依次(按画面点亮对应的图片顺序)获取各张AOI检测图像，并对各张AOI检测图像(可以是一张或多张)进行AOI检测，然后将AOI检测结果反馈给面板自动画面显示计算机5；

AOI检测模块1用于从AOI取像控制模块3中采用文件共享方式(bmp格式数据)获取各张AOI检测图像，并对所有获取到的AOI检测图像(可以是一张或多张)进行AOI检测，当所有画面全部检测完毕之后，然后将AOI检测结果进行汇总判等之后反馈给面板自动画面显示计算机5；

灰度计检测模块4用于从AOI取像控制模块3中采用内存共享方式(不需要存图，直接内存拷贝)依次获取各张灰度计检测图像，并对所获取的灰度计检测图像(可以是一张或多张)进行灰度计检测，当所有画面全部检测完毕之后，将灰度计检测结果反馈给面板自动画面显示计算机5。

上述技术方案中，所述AOI检测模块1进行AOI检测与灰度计检测模块4进行灰度计检测为同时进行。由AOI取像控制模块3来进行统一调度分配，AOI取像控制模块3对每一张画面取到的相机数据都会按照画面的应用场景去通知对应的AOI检测系统和灰度计检测系统进行相应的检测处理。

上述技术方案中，AOI检测图像的图像格式为bmp格式。Bmp格式的存图速度快，利于提高AOI检测效率。

上述技术方案中，AOI检测模块1用于从AOI取像控制模块3中采用文件共享方式获取各张AOI检测图像的原因是，由于AOI检测模块1和AOI取像控制模块3不在同一台电脑，所以基于文件共享方式，保证了图像传输的稳定，另外，由于AOI检测系统采用都是8bit图像数据，因此采用bmp格式存储。

同时，灰度计检测模块4用于从AOI取像控制模块3中采用内存共享方式依次获取各张灰度计检测图像的原因是，由于AOI取像控制模块3与灰度计检测模块4位于同一台电脑，内存共享是目前两个进程之间进行图像数据传输最快的方式。

上述技术方案中，所述AOI检测模块1进行AOI检测的过程为判断各张AOI检测图像是否存在无法点亮的缺陷像素点。

上述技术方案中，所述灰度计检测模块4进行灰度计检测的过程为检测灰度计检测图像的亮度均匀性参数。

上述技术方案中，所述AOI检测图像和灰度计检测图像均为纯色画面。本实施例中，AOI检测图像包括纯白画面、纯红画面、纯绿画面、纯蓝画面和纯黑画面。

上述技术方案中，所述AOI检测图像包括正视缺陷AOI检测图像和侧视缺陷AOI检测图像。正视缺陷AOI检测图像采用像素为71M的相机拍摄，侧视缺陷AOI检测相机采用像素为5M的相机拍摄，灰度计检测图像采用像素为20M的相机拍摄。本实施例中AOI硬件平台7在AOI取像控制模块3的控制下同时通过71M相机、5M相机和20M相机进行拍摄取像。

上述技术方案中，所述AOI检测结果和灰度计检测结果由面板自动画面显示计算机5上传给PLC(Programmable Logic Controller，可编程逻辑控制器)系统6进行储存。PLC系统6控制下一个显示面板进入工位。

一种AOI与灰度计检测方法，它包括如下步骤：

步骤1：AOI流程控制模块2接收显示面板到达AOI检测工位的到位信息，并将该到位信息发送给AOI取像控制模块3；

步骤2：面板自动画面显示计算机5在AOI取像控制模块3控制下对显示面板按用户配置画面序列的顺序进行依次画面点亮；

步骤3：AOI取像控制模块3通过AOI硬件平台7对每只相机进行应用场景分配，分为灰度计检测应用场景和AOI检测应用场景，AOI取像控制模块3还对相机拍摄到的画面进行对应的应用场景分配，可以分为AOI应用场景、灰度计应用场景和AOI灰度计都应用场景，AOI取像控制模块3通过AOI硬件平台7获取到所有相机的图像数据，通过相机分配的应用场景和当前画面的应用场景来将当前获取的相机数据分配到对应的AOI检测系统和灰度计检测系统，采用并行方式同时通知AOI检测系统和灰度计检测系统，开始各自的检测；

步骤4：AOI检测模块1从AOI取像控制模块3中采用文件共享方式获取各张AOI检测图像，并对所有获取到的AOI检测图像(可以是一张或多张)进行AOI检测，当所有画面全部检测完毕之后，然后将AOI检测结果进行汇总判等之后反馈给面板自动画面显示计算机5；

AOI检测模块1采用分布式控制方式，即通过AOI检测模块1的多台检测电脑对同一块显示面板的多个相机数据进行检测，每台检测电脑只检测分配到的相机数据，为了提高缺陷检出率，现场一般会同时检测多组画面，包括纯白画面、纯红画面、纯绿画面、纯蓝画面、纯黑画面、灰阶画面、半黑半白画面、半白半黑画面。要实现这几种画面检测，首先要采集这几组画面，这几种画面都需要通过面板自动画面显示计算机5将面板打到对应画面之后通过AOI取像控制模块3进行取像，实现数据采集，并分配到AOI检测模块1，AOI检测模块1开始进行检测。同时，为了过滤掉面板表面的灰尘信息，需要将面板在关电状态下进行取像拍摄，获取面板表面的灰尘分布信息。AOI检测模块1通过分析图像数据分布的均匀性，将均匀性不一致的区域进行提取，并将该区域的图像数据信息(位置、大小、形状、强度、灰度值、区域对比度、圆形度、锐利度、方差)通过OpenCV图像库进行提取，得到一个区域缺陷，当面板存在若干个缺陷的时候，AOI检测模块1会通过均匀性不一致方法提取到多个区域，每个区域可以看成一个面板缺陷，不同的区域图像数据信息表示不同的缺陷，并与灰尘信息画面获取的灰尘信息进行匹配过滤掉灰尘缺陷，最终输出准确的面板缺陷信息；

同时，灰度计检测模块4用于从AOI取像控制模块3中采用内存共享方式依次获取各张灰度计检测图像，并对所获取的灰度计检测图像(可以是一张或多张)进行灰度计检测，当所有画面全部检测完毕之后，将灰度计检测结果反馈给面板自动画面显示计算机5；

灰度计检测模块4实现对任意面板画面亮度值的提取，为了提高亮度值的准确性，需要首先进行标定，找出面板显示图像的RGB值与亮度值之间的关系，它们之间是一种多项式关系，采用多项式关系表达，表达如下：

(R，G，B)*M＝(X，Y，Z)

其中，R、G、B表示相机采集的RGB三色亮度值；X、Y、Z表示目标灰度计采集的三色亮度值(即已知图像的三色亮度值)，M表示线性矩阵；

多项式回归法实际上是用线性关系拟合RGB到XYZ之间的关系，但RGB到XYZ的颜色空间的转换是一个复杂的非线性转换。需要使用一个3*3或者3*n的矩阵来表示这个RGB到XYZ之间的转换关系。上述设计是通过不同的RGB分量来生成图像，通过相机取像，获取图像数据，再收集图像的X、Y、Z的三色亮度值，通过大量的图片建立R、G、B三色亮度值与X、Y、Z三色亮度值之间的关系；

在确定这个矩阵的过程中，需要通过标定收集多次数据来确定。标定过程就是找寻面板显示图像的RGB值与亮度值之间多项式关系的矩阵系数，为了保证数据准确性，需要在不同的RGB组合下产生的图片进行多次标定，计算，找出多项式关系系数。在线生产检测流程过程中，灰度计检测系统会首先获取到待检测画面的图像数据的RGB值，然后利用确定系数的多项式关系进行计算，得出图像数据的亮度值，并进行记录，传给AOI流程控制模块2，传给AOI流程控制模块2将数据传给面板自动画面显示计算机5，面板自动画面显示计算机5将数据上传到客户的数据存储系统。

步骤5：面板自动画面显示计算机5将AOI检测结果和灰度计检测结果上传给PLC系统6进行储存。

上述技术方案的步骤1中，AOI流程控制模块2接收由PLC系统6经过面板自动画面显示计算机5传输过来的显示面板到达AOI检测工位的到位信息，并将该到位信息发送给AOI取像控制模块3；

所述步骤4中，AOI检测模块1将AOI检测结果依次经过AOI取像控制模块3和AOI流程控制模块2反馈给面板自动画面显示计算机5；

灰度计检测模块4将灰度计检测结果依次经过AOI取像控制模块3和AOI流程控制模块2反馈给面板自动画面显示计算机5。

本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种AOI与灰度计检测系统，其特征在于：它包括AOI检测模块(1)、AOI流程控制模块(2)、AOI取像控制模块(3)、灰度计检测模块(4)和面板自动画面显示计算机(5)，所述AOI流程控制模块(2)用于接收显示面板到达AOI检测工位的到位信息；

面板自动画面显示计算机(5)用于在AOI取像控制模块(3)控制下对显示面板按用户配置画面序列的顺序进行依次画面点亮；

AOI取像控制模块(3)用于在AOI流程控制模块(2)控制下对显示面板每个点亮画面依次进行AOI检测和灰度计检测取像；

AOI检测模块(1)用于从AOI取像控制模块(3)中依次获取各张AOI检测图像，并对各张AOI检测图像进行AOI检测，然后将AOI检测结果反馈给面板自动画面显示计算机(5)；

灰度计检测模块(4)用于从AOI取像控制模块(3)中依次获取各张灰度计检测图像，并对获取的灰度计检测图像进行灰度计检测，然后将灰度计检测结果反馈给面板自动画面显示计算机(5)。

2.根据权利要求1所述的AOI与灰度计检测系统，其特征在于：所述AOI检测模块(1)进行AOI检测与灰度计检测模块(4)进行灰度计检测为同时进行。

3.根据权利要求1或2所述的AOI与灰度计检测系统，其特征在于：所述AOI取像控制模块(3)通过AOI硬件平台(7)对每只相机进行应用场景分配，分为灰度计检测应用场景和AOI检测应用场景，AOI取像控制模块(3)还对相机拍摄到的画面进行对应的应用场景分配，可以分为AOI应用场景、灰度计应用场景和AOI灰度计都应用场景，AOI取像控制模块(3)通过AOI硬件平台(7)获取到所有相机的图像数据，通过相机分配的应用场景和当前画面的应用场景来将当前获取的相机数据分配到对应的AOI检测系统和灰度计检测系统，采用并行方式同时通知AOI检测系统和灰度计检测系统，开始各自的检测。

4.根据权利要求1或2所述的AOI与灰度计检测系统，其特征在于：AOI检测模块(1)用于从AOI取像控制模块(3)中采用文件共享方式获取各张AOI检测图像，并对所有获取到的AOI检测图像进行AOI检测，当所有画面全部检测完毕之后，然后将AOI检测结果进行汇总判等之后反馈给面板自动画面显示计算机(5)。

5.根据权利要求1或2所述的AOI与灰度计检测系统，其特征在于：灰度计检测模块(4)用于从AOI取像控制模块(3)中采用内存共享方式依次获取各张灰度计检测图像，并对所获取的灰度计检测图像进行灰度计检测，当所有画面全部检测完毕之后，将灰度计检测结果反馈给面板自动画面显示计算机(5)。

6.根据权利要求5所述的AOI与灰度计检测系统，其特征在于：所述AOI检测图像包括正视缺陷AOI检测图像和侧视缺陷AOI检测图像。

7.根据权利要求1或2所述的AOI与灰度计检测系统，其特征在于：所述AOI检测结果和灰度计检测结果由面板自动画面显示计算机(5)上传给PLC系统(6)进行储存。

8.一种AOI与灰度计检测方法，其特征在于，它包括如下步骤：

步骤1：AOI流程控制模块(2)接收显示面板到达AOI检测工位的到位信息；

步骤2：面板自动画面显示计算机(5)在AOI取像控制模块(3)控制下对显示面板按用户配置画面序列的顺序进行依次画面点亮；

步骤3：AOI取像控制模块(3)在AOI流程控制模块(2)控制下对显示面板每个点亮画面依次进行AOI检测和灰度计检测取像；

步骤4：AOI检测模块(1)从AOI取像控制模块(3)中依次获取各张AOI检测图像，并对各张AOI检测图像进行AOI检测，然后将AOI检测结果反馈给面板自动画面显示计算机(5)；

同时，灰度计检测模块(4)从AOI取像控制模块(3)中依次获取各张灰度计检测图像，并对获取的灰度计检测图像进行灰度计检测，然后将灰度计检测结果反馈给面板自动画面显示计算机(5)。

9.根据权利要求8所述的AOI与灰度计检测方法，其特征在于：所述步骤1中，AOI流程控制模块(2)接收由PLC系统(6)经过面板自动画面显示计算机(5)传输过来的显示面板到达AOI检测工位的到位信息，并将该到位信息发送给AOI取像控制模块(3)；

所述步骤4中，AOI检测模块(1)将AOI检测结果依次经过AOI取像控制模块(3)和AOI流程控制模块(2)反馈给面板自动画面显示计算机(5)；

灰度计检测模块(4)将灰度计检测结果依次经过AOI取像控制模块(3)和AOI流程控制模块(2)反馈给面板自动画面显示计算机(5)。

10.根据权利要求8或9所述的AOI与灰度计检测方法，其特征在于：所述步骤4后还包括步骤5：面板自动画面显示计算机(5)将AOI检测结果和灰度计检测结果上传给PLC系统(6)进行储存。