CN107830990A - 一种基于fpga平台的自动光学检测系统 - Google Patents

Abstract

本发明涉及自动光学检测技术领域，具体涉及一种基于FPGA平台的自动光学检测系统，包括FPGA平台、PC端、用于连接模组的信号扩展单元、用于连接光源的IO控制单元以及用于对待测屏幕进行取像的相机组，所述FPGA平台具有与PC端连接的第一通信接口，与信号扩展单元连接的第二通信接口，与IO控制单元连接的第三通信接口和与相机连接的第四通信接口。采用一个PC实现了PG信号、图像采集、机构控制一体化。

Description

一种基于FPGA平台的自动光学检测系统

技术领域

本发明涉及自动光学检测技术领域，具体涉及一种基于FPGA平台的自动光学检测系统。

背景技术

AOI自动光学检测，涉及到光学系统、机构控制系统、点屏控制系统、软体控制系统、图像处理系统等。如图1所示，传统AOI设备基于PC机方式，PC多，协调困难，系统稳定性差，扩展不方便，难以用于大尺寸模组检测；并且各TFT-LCD AOI自动光学检测设备厂商仅在一两个领域有技术积累和研发能力，基本上不能完全覆盖全部领域，只能通过102-3家的产品组合在一起搭建成一套完整的AOI自动光学测试系统，该设备的总体负责通常为掌握基于机器视觉图像处理算法的单位。因此，他们均采用的是基于计算机网络的分散控制方案，利用局域网将各设备单元简单集成在一起，如为了满足产线检测TT(Tact Time，每片面板检测的总时间)，均采用多台计算机阵列分担负荷进行运算处理，数量一般都会达到10多台。因此，这种简单的系统集成方案不仅系统复杂、成本高，而且稳定性差、效率低，实际达不到预期效果，且几乎不具备可扩展性，已越来越不受面板生产厂商的青睐。

具体的，如图2所示，现有技术中PG信号与图像采集处理单元是两个不同系统方案，需要有另外的主控单元，协同控制PG信号与图像采集处理单元，这样带来整体系统效率下降；如图3所示，图像采集卡，每张图像采集卡只能连接1路相机，目前大部分图像采集卡，使用PCIE接口方式与PC通信，这样一台PC能同时支持的采集卡数量有限，会使用大量的图像采集卡及增加PC的数量，不同的PC之间通过主控PC协调与控制，复杂度、系统稳定性都较难与收敛；AOI检测设备方案，PG信号与AOI检测系统是两个独立的系统单元，需要总控制单元协调控制PG信号生成、信号切换、AOI检测系统图像采集与处理。

发明内容

为解决上述技术问题，本发明提供了一种能减少PC使用，且支持多相机，并实现PG信号、图像采集、机构控制一体化的基于FPGA平台的自动光学检测系统。

本发明的技术方案是：一种基于FPGA平台的自动光学检测系统，包括FPGA平台、PC端、用于连接模组的信号扩展单元、用于连接光源的IO控制单元以及用于对待测屏幕进行取像的相机组，所述FPGA平台具有与PC端连接的第一通信接口，与信号扩展单元连接的第二通信接口，与IO控制单元连接的第三通信接口和与相机连接的第四通信接口；

所述第一通信接口用于接收PC端下发的模组配置参数、点屏画面参数、切图指令、IO控制信号、相机配置参数和一键测试指令，以及向PC端上传图像数据；

所述第二通信接口用于向信号扩展单元发送模组配置参数和点屏画面参数；

所述第三通信接口用于向IO控制单元发送IO控制信号；

所述第四通信接口用于向相机发送相机配置参数和一键测试指令，以及接收相机获取的图像数据。

较为优选的，所述FPGA平台具有多个mini SAS标准口和光口，所述mini SAS标准口用于连接PCIE转接卡、CL图像采集卡、GE图像采集卡中的一种或多种，所述光口用于连接光纤。

较为优选的，所述FPGA平台包括图像采集单元，所述图像采集单元具有多个Camera Link接口和/或GE接口，所述相机组包括大相机、小相机和线扫相机，所述CameraLink接口用于连接大相机以及线扫相机，所述GE接口用于连接小相机，所述大相机为分辨率大于6576*4384的相机，所述小相机为分辨率小于6576*4384的相机。

较为优选的，所述FPGA平台还包括核心处理单元，所述核心处理单元用于接收PC端下发的模组配置参数、点屏画面参数、切图指令、IO控制信号、相机配置参数和一键测试指令，根据所述模组配置参数和点屏画面参数对待测模组进行配置，根据接收到的切图指令控制模组切换点屏画面，根据IO控制信号控制光源关断，根据相机配置参数对相机进行参数配置、根据一键测试指令控制相机组取图，接收相机组发送的图像数据并进行存储，以及将所述图像数据上传至PC端。

较为优选的，所述核心处理单元通过PCIE接口与PC端连接，通过HDMI接口与信号扩展单元连接。

较为优选的，所述图像采集单元包括Camera link协议解析模块或Gige Vision协议解析模块、数据封包模块、数据发送传输模块和相机配置模块；

所述Camera link协议解析模块和Gige Vision协议解析模块用于实现相机配置参数的接收、解析和发送；

所述数据封包模块用于对Camera link协议解析模块或Gige Vision协议解析模块发送的相机配置参数进行封包，并发送给数据发送传输模块；

所述数据发送传输模块用于实现相机配置参数的传输；

所述相机配置模块用于根据接收到的相机配置参数实现相机的参数配置。

较为优选的，所述核心处理单元包括

数据接收模块：用于接收图像采集单元发送的图像数据；

数据解包模块：用于对接收到的图像数据进行解包；

数据格式转换模块：用于将解包后的图像数据转换为axi4总线格式数据，并发送给axi4互联模块；

axi4互联模块：用于在中央控制器的控制下向DDR物理内存读写图像数据；

DDR物理内存：用于存储图像数据；

中央控制器：用于根据接收到的模组配置参数和点屏画面参数对待测模组进行配置，根据接收到的切图指令控制模组切换点屏画面，根据IO控制信号控制光源关断，根据相机配置参数对相机进行参数配置、根据一键测试指令控制图像采集单元采集待测模组的图像数据，以及将所述图像数据上传至上层软件。

较为优选的，所述核心处理单元还包括图像预处理模块，所述图像预处理模块用于通过axi4互联模块对DDR物理内存内的图像数据进行图像预处理。

较为优选的，所述图像预处理模块包括多个图像处理子模块，用于对多个相机的图像数据进行并行处理，所述图像处理子模块对相机图像数据进行处理时，将单个相机的图像分割成多个小块进行并行处理。

较为优选的，所述图像预处理包括图像透视变换、畸变校正、亮度矫正、背景抑制。

较为优选的，所述中央控制器还包括对图像数据进行缺陷检测，以及将检测结果反馈至客户的数据显示系统。

较为优选的，所述中央控制器通过多个并行模块对生成点屏信号、图像采集、图像处理、图像数据上传进行并行处理。

本发明的有益效果：采用一个PC与FPGA结合，实现了PG信号、图像采集、机构控制一体化，尤其是针对大尺寸高分辨率模组提供多通道图像采集传输控制系统，可以极大提升系统稳定性及检测效率。单个FPGA统一平台最多可支持20个大相机/小相机同时取像，且只需要1台取像PC，系统布置更简洁，且达到稳定性、可靠性的提升，且减小了系统功耗，从而降低使用成本。基于FPGA的图像预处理，提升了图像处理速度，减小了PC的处理负荷，预处理基于HLS工具在FPGA上实现，后续可以扩展和增加更多处理算法和功能。

附图说明

图1为现有TFT-LCD AOI自动光学检测设备的模块连接图；

图2为传统AOI系统的PG信号、图像采集、机构控制的原理图；

图3为传统AOI系统的多相机图像采集示意图；

图4为一种基于FPGA平台的自动光学检测系统的模块连接示意图；

图5为FPGA平台内部各模块与外部设备的连接示意图；

图6为FPGA平台内部的模块连接示意图；

图7为图6中核心处理单元的模块连接示意图；

图8为Camera Link图像采集单元内部模块连接图；

图9为利用本发明系统进行模组测试的流程图；

图10为中央处理器多线程并行控制的流程示意图；

图11为中央处理器进行数据处理的时间轴分布图；

图中：1—FPGA平台，101—核心处理单元，101-1—中央控制器，101-2—数据接收模块，101-3—数据解包模块，101-4—数据格式转换模块，101-5—写DDR控制模块，101-6—axi4互联模块，101-7—DDR控制器，101-8—DDR物理内存，101-9—图像预处理模块，101-10—读DDR控制模块，101-11—转换成PICE数据接口模块，102—图像采集模块，102-1—Camera link协议解析模块，102-2—有效数据提取模块，10102-3—数据封包模块，10102-4—数据发送传输模块，102-5—流程控制模块，102-6—相机配置模块，2—PC端，3—信号扩展单元，4—IO控制单元，5—相机组。

具体实施方式

下面结合附图和实例对本发明作进一步说明，显然所述实例仅仅是本发明的一部分实例，而不是全部实例，所以所述实例不应理解为对本发明的限制。

如图4和5所示，本发明一种FPGA平台的自动光学检测系统主要基于FPGA平台进行，其中，FPGA平台内部集成有核心处理单元1和图像采集单元2。核心处理单元1包括中央控制器1-1、数据接收模块1-2、数据解包模块1-3、数据格式转换模块1-4、写DDR控制模块1-5、axi4互联模块1-6、DDR控制器1-7、DDR物理内存1-8、图像预处理1-9、读DDR控制模块1-10和转换成PICE数据接口模块1-11。FPGA平台具有多个mini SAS标准口和光口，mini SAS标准口用于连接PCIE转接卡、CL图像采集卡(使用Camera Link协议)、GE图像采集卡(使用Gige Vision协议)中的一种或多种，所述光口用于连接光纤。

如图8所示，图像采集单元2包括Camera link协议解析模块2-1、有效数据提取模块2-2、数据封包模块102-3、数据发送传输模块102-4、流程控制模块2-5和相机配置模块2-6。其中，Camera link协议解析模块2-1用于实现相机配置参数的接收、解析和发送；有效数据提取模块2-2用于根据中央控制器1-1配置参数，提取有效的图像数据部分；数据封包模块102-3用于对Camera link协议解析模块2-1或Gige Vision协议解析模块发送的相机配置参数进行封包，并发送给数据发送传输模块102-4；数据发送传输模块102-4用于实现相机配置参数的传输；相机配置模块2-6用于根据接收到的相机配置参数实现相机的参数配置，流程控制模块2-5用于控制整个图像采集单元工作流程。图像采集单元2即图像采集卡，其支持Camera Link接口及GE接口(即1000M传输速率的以太网网口)相机类型，每个图像采集单元包括8个Camera Link接口或4个GE接口；Camera Link支持Base、Medium、Full模式，完全兼容Camera Link协议；GE接口完全兼容Gige Vision 2.0。一个核心处理单元1最多可以连接5个图像采集单元2，每个图像采集单元可连接4个相机，即一个核心处理单元1最大支持20路CCD同时采集、处理、传输，其中。图像采集单元与核心处理单元之间通过mini SAS高速连接线进行连接。

如图6和7所示，本系统进行模组测试时，FPGA平台通过PCIE接口与PC连接，通过网线与信号扩展单元连接，信号扩展单元通过LVDS/eDP/VX1/Mipi等通用接口与待测屏连接。通过CL线与大相机和线扫相机连接，通过网线和小相机连接，通过光纤和IO控制端连接。

PC可通过PCIE接口向FPGA平台下发模组配置参数、点屏画面参数、切图指令。FPGA平台通过光纤将模组配置参数和点屏画面参数发送给信号扩展单元，生成白/红/绿/蓝/L127/L63等各种不同的测试画面；同样地，PC通过PCIE接口，将切图命令发送给FPGA平台，FPGA平台再通过光纤将切图命令发送给信号扩展单元，控制模组在不同的测试画面之间切换。

PC可通过PCIE接口将IO控制信号发送给FPGA平台，FPGA平台通过光纤将IO控制信号转发给IO控制单元，IO控制单元经由端子台，控制PLC/光源关断。

PC可通过PCIE接口将曝光时间、增益、白平衡参数等相机配置参数或一键测试指令发给FPGA平台，FPGA平台主控处理单元通过mini SAS高速接口转发到FPGA平台的图像采集单元。FPGA平台的图像采集单元再通过CL线或者网线，转发相机配置参数或一键测试指令给相机。

当PC通过PCIE接口将点屏的控制和配置信息，相机触发和配置信息发到FPGA平台的核心处理单元1，核心处理单元1的中央控制器1-1使用读寄存器(reg)或者中断(AxiIntc)的方式来接收这些信息，并分别转发到信号扩展单元和图像采集单元2(进而转发给相机)。图像采集单元2在接收到相机配置参数时，控制相机进行参数配置。

当相机收到触发信号，启动并完成曝光后，通过Camera Link接口或者网口，将图像数据传到FPGA平台的图像采集单元2，图像采集单元2通过数据封包模块102-3将多路相机采集的图像数据分别进行数据封包后，通过数据发送传输模块102-4经mini SAS高速传输线传到核心处理单元1。核心处理单元1通过数据接收模块1-2接收数据，并通过数据解包模块1-3进行相机数据解包，解包后的图像数据在数据格式转换模块1-4下首先转成axi流格式数据，然后转成axi4总线格式数据，再在中央控制器1-1和DDR控制器1-7的控制下通过写DDR控制模块1-5和axi4互联模块1-6将数据写入DDR物理内存1-8。

中央控制器1-1调度图像预处理模块1-9，通过axi4互联模块1-6，对DDR物理内存1-8中的图像数据进行读写访问，通过特定的计算过程，实现图像透视变换、畸变校正、亮度矫正、背景抑制等图像预处理操作。

预处理完成后，DDR物理内存1-8中的图像数据在中央控制器1-1的调度下，通过读DDR控制模块1-10和axi4互联模块1-6读出，再经转换成PICE数据接口模块1-11转换成PCIE接口的数据类型后，通过PCIE接口上传到PC。核心处理单元1具备简单的缺陷检测功能，当其检测到缺陷时，通过网线将缺陷上报至客户CIM(即客户的数据显示系统)，大部分缺陷通过PC进行检测，PC可上报缺陷资料、缺陷图片资料和XML资料给客户MCMQ(即客户的数据存储系统)。

如图10和11所示，核心处理单元1对于点屏信号生成、图像采集、图像处理、数据上传等各个线程上为并行处理。如每个图像预处理模块1-9内多个相同的子模块，分别实现多个相机图像的并行处理；各子模块内部，又可将单个相机的图像分割成小块进行并行处理。

如图9所示，采用本系统新型模组测试时，其流程如下：

1、上层(PPC软件)通过PCIE接口配置寄存器的方式，通知FPGA平台开始一键测试；

2、FPGA平台通过光纤操作IO控制单元，进而点亮模组背光源；

3、FPGA平台通过光纤操作信号扩展单元(PG)，切换模组测试pattern到第一个画面(一般为白画面)；

4、FPGA平台发送一件测试指令给CL采集盒和GE采集盒，两个采集盒再分别将触发信号转发给大相机和小相机；

5、大相机和小相机开始曝光，曝光完成后，相机数据分别通过CL接口和网线输入CL采集盒和GE采集盒；

6、CL采集盒和GE采集盒提取图像有效数据部分后，进行GTP打包，通过mini SAS线将数据传到FPGA平台；

7、FPGA平台进行GTP数据解包后和数据格式转换到axi4格式后，存储到FPGA外部的DDR中；

8、FPGA平台调用内部HLS代码实现的预处理IP，对存储在DDR中的数据进行预处理；

9、预处理完成后的图像从DDR中取出，通过PCIE通道上传到上层PC；

10、切换画面后，回到步骤4继续执行；如果为最后一个画面，即particle画面，则关闭背光，然后回到步骤4继续执行；如果完成所有画面，则结束一键测试流程。

以上所述，仅为本发明的具体实施方式，应当指出，任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于FPGA平台的自动光学检测系统，其特征在于，包括FPGA平台、PC端、用于连接模组的信号扩展单元、用于连接光源的IO控制单元，以及用于对待测屏幕进行取像的相机组；所述FPGA平台具有与PC端连接的第一通信接口，与信号扩展单元连接的第二通信接口，与IO控制单元连接的第三通信接口和与相机连接的第四通信接口；

所述第一通信接口用于接收PC端下发的模组配置参数、点屏画面参数、切图指令、IO控制信号、相机配置参数和一键测试指令，以及向PC端上传图像数据；

所述第二通信接口用于向信号扩展单元发送模组配置参数和点屏画面参数；

所述第三通信接口用于向IO控制单元发送IO控制信号；

所述第四通信接口用于向相机发送相机配置参数和一键测试指令，以及接收相机获取的图像数据。

2.如权利要求1所述基于FPGA平台的自动光学检测系统，其特征在于：所述FPGA平台具有多个mini SAS标准口和光口，所述mini SAS标准口用于连接PCIE转接卡、CL图像采集卡、GE图像采集卡中的一种或多种，所述光口用于连接光纤。

3.如权利要求1所述基于FPGA平台的自动光学检测系统，其特征在于：所述FPGA平台包括图像采集单元，所述图像采集单元具有多个Camera Link接口和/或GE接口，所述相机组包括大相机、小相机和线扫相机，所述Camera Link接口用于连接大相机以及线扫相机，所述GE接口用于连接小相机，所述大相机为分辨率大于6576*4384的相机，所述小相机为分辨率小于6576*4384的相机。

4.如权利要求1所述基于FPGA平台的自动光学检测系统，其特征在于：所述FPGA平台还包括核心处理单元，所述核心处理单元用于接收PC端下发的模组配置参数、点屏画面参数、切图指令、IO控制信号、相机配置参数和一键测试指令，根据所述模组配置参数和点屏画面参数对待测模组进行配置，根据接收到的切图指令控制模组切换点屏画面，根据IO控制信号控制光源关断，根据相机配置参数对相机进行参数配置、根据一键测试指令控制相机组取图，接收相机组发送的图像数据并进行存储，以及将所述图像数据上传至PC端。

5.如权利要求1所述基于FPGA平台的自动光学检测系统，其特征在于：所述核心处理单元通过PCIE接口与PC端连接，通过HDMI接口与信号扩展单元连接。

6.如权利要求3所述基于FPGA平台的自动光学检测系统，其特征在于：所述图像采集单元包括Camera link协议解析模块或Gige Vision协议解析模块、数据封包模块、数据发送传输模块和相机配置模块；

所述Camera link协议解析模块和Gige Vision协议解析模块用于实现相机配置参数的接收、解析和发送；

所述数据封包模块用于对Camera link协议解析模块或Gige Vision协议解析模块发送的相机配置参数进行封包，并发送给数据发送传输模块；

所述数据发送传输模块用于实现相机配置参数的传输；

所述相机配置模块用于根据接收到的相机配置参数实现相机的参数配置。

7.如权利要求4所述基于FPGA平台的自动光学检测系统，其特征在于，所述核心处理单元包括

数据接收模块：用于接收图像采集单元发送的图像数据；

数据解包模块：用于对接收到的图像数据进行解包；

数据格式转换模块：用于将解包后的图像数据转换为axi4总线格式数据，并发送给axi4互联模块；

axi4互联模块：用于在中央控制器的控制下向DDR物理内存读写图像数据；

DDR物理内存：用于存储图像数据；

中央控制器：用于根据接收到的模组配置参数和点屏画面参数对待测模组进行配置，根据接收到的切图指令控制模组切换点屏画面，根据IO控制信号控制光源关断，根据相机配置参数对相机进行参数配置、根据一键测试指令控制图像采集单元采集待测模组的图像数据，以及将所述图像数据上传至上层软件。

8.如权利要求7所述基于FPGA平台的自动光学检测系统，其特征在于：所述核心处理单元还包括图像预处理模块，所述图像预处理模块用于通过axi4互联模块对DDR物理内存内的图像数据进行图像预处理。

9.如权利要求8所述基于FPGA平台的自动光学检测系统，其特征在于：所述图像预处理模块包括多个图像处理子模块，用于对多个相机的图像数据进行并行处理，所述图像处理子模块对相机图像数据进行处理时，将单个相机的图像分割成多个小块进行并行处理。

10.如权利要求7所述基于FPGA平台的自动光学检测系统，其特征在于：所述中央控制器还包括对图像数据进行缺陷检测，以及将检测结果反馈至客户的数据显示系统。