CN107817216B - 一种基于cpu+gpu+fpga架构的自动光学检测系统 - Google Patents

一种基于cpu+gpu+fpga架构的自动光学检测系统 Download PDF

Info

Publication number
CN107817216B
CN107817216B CN201711049462.2A CN201711049462A CN107817216B CN 107817216 B CN107817216 B CN 107817216B CN 201711049462 A CN201711049462 A CN 201711049462A CN 107817216 B CN107817216 B CN 107817216B
Authority
CN
China
Prior art keywords
image
data
module
sending
fpga
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711049462.2A
Other languages
English (en)
Other versions
CN107817216A (zh
Inventor
沈亚非
欧昌东
邓标华
汪舟
梅林海
董文忠
唐文天
李波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jingce Electronic Group Co Ltd
Original Assignee
Wuhan Jingce Electronic Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jingce Electronic Group Co Ltd filed Critical Wuhan Jingce Electronic Group Co Ltd
Priority to CN201711049462.2A priority Critical patent/CN107817216B/zh
Publication of CN107817216A publication Critical patent/CN107817216A/zh
Application granted granted Critical
Publication of CN107817216B publication Critical patent/CN107817216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0428Safety, monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0014Image feed-back for automatic industrial control, e.g. robot with camera
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2656Instrumentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Abstract

本发明公开了一种基于CPU+GPU+FPGA架构的自动光学检测系统。它包括图像存储单元、图像计算单元和图像采集单元,所述图像存储单元具有第一通信接口和第二通信接口,所述图像计算单元具有第一光纤接口、第二光纤接口、第三光纤接口和第四光纤接口,所述图像采集单元具有第三通信接口和相机接口;所述图像计算单元通过第一光纤接口接收图像存储单元发送的配置参数及测试命令、向图像存储单元发送测试结果,通过第二光纤接口接收图像采集单元的数据、向图像采集单元发送配置参数及测试命令,通过第三光纤接口控制点屏信号生成,通过第四光纤接口控制IO光源。本发明具有结构简单、成本低、稳定性好,协调能力好,计算处理能力强等优点。

Description

一种基于CPU+GPU+FPGA架构的自动光学检测系统
技术领域
本发明属于自动光学检测技术领域,具体涉及一种基于CPU+GPU+FPGA架构的自动光学检测系统。
背景技术
AOI自动光学检测,涉及到光学系统、机构控制系统、点屏控制系统、软体控制系统、图像处理系统等。传统AOI设备基于图像采集卡+PC机的方式,采集卡、PC多,成本高、协调困难,系统稳定性差,扩展不方便,难以用于大尺寸模组检测;并且各TFT-LCD AOI自动光学检测设备厂商仅在一两个领域有技术积累和研发能力,基本上不能完全覆盖全部领域,只能通过2-3家的产品组合在一起搭建成一套完整的AOI自动光学测试系统,该设备的总体负责通常为掌握基于机器视觉图像处理算法的单位。因此,他们均采用的是基于计算机网络的分散控制方案,利用局域网将各设备单元简单集成在一起,如为了满足产线检测TT(Tact Time,每片检测的节拍时间),均采用多台计算机阵列分担负荷进行运算处理,数量一般都会达到10多台。因此,这种简单的系统集成方案不仅系统复杂、成本高,而且稳定性差、效率低,实际达不到预期效果,且几乎不具备可扩展性,已越来越不受面板生产厂商的青睐。
现有技术中点屏信号与图像采集处理单元是两个不同系统方案,需要有另外的主控单元,协同控制点屏信号与图像采集处理单元,这样带来整体系统效率下降;每张图像采集卡只能连接1路相机,目前大部分图像采集卡,使用PCIE接口方式与PC通信,这样一台PC能同时支持的采集卡数量有限,会使用大量的图像采集卡及增加PC的数量,不同的PC之间通过主控PC协调与控制,复杂度、系统稳定性都较难以控制,且各PC图像计算处理能力都较差;同时现有AOI检测设备方案,点屏信号、光源与AOI检测系统之间均是独立的系统单元,需要总控制单元协调控制点屏信号生成、光源、AOI检测系统图像采集与处理,控制过程复杂,节拍时间长。
发明内容
本发明的目的就是为了解决上述背景技术存在的不足,提供一种能够支持多相机,并实现点屏信号生成、光源控制、图像采集、图像计算处理一体化的基于CPU+GPU+FPGA架构的自动光学检测系统。
本发明采用的技术方案是:一种基于CPU+GPU+FPGA架构的自动光学检测系统,包括图像存储单元、图像计算单元和图像采集单元,所述图像存储单元具有第一通信接口和第二通信接口,所述图像计算单元具有第一光纤接口、第二光纤接口、第三光纤接口和第四光纤接口,所述图像采集单元具有第三通信接口和相机接口;
所述图像存储单元通过第一通信接口向图像计算单元下发配置参数和测试命令、接收图像计算单元发送的测试结果,通过第二通信接口接收采集单元的数据;
所述图像计算单元通过第一光纤接口接收图像存储单元发送的配置参数及测试命令、向图像存储单元发送测试结果,通过第二光纤接口接收图像采集单元的数据、向图像采集单元发送配置参数及测试命令,通过第三光纤接口控制点屏信号生成,通过第四光纤接口控制IO光源;
所述图像采集单元通过第三通信接口输出图像数据、接收配置参数及测试命令,通过相机接口接收相机数据、向相机发送配置参数和测试命令。
进一步地,所述图像存储单元包括
主控PC,用于通过人机交互进行参数配置、输出配置参数及测试命令,用于接收FPGA存储平台的测试结果并上报;
FPGA存储平台,用于接收图像采集单元数据、将接收的数据进行无损压缩后发送至磁盘阵列,用于接收图像计算单元的测试结果并输出,用于将接收的配置参数输出至图像采集单元,用于根据存储的数据进行图像数据检索;
磁盘阵列,用于存储数据。
进一步地,所述FPGA存储平台包括
数据交互模块,用于接收主控PC发送的配置参数,用于将接收的图像计算单元的测试结果反馈至主控PC;
图像数据接收/发送模块,用于接收图像采集单元数据并输出至数据无损压缩模块,用于接收配置参数并发送至图像采集模块,用于接收图像计算单元的测试结果;
数据无损压缩模块,用于对接收的数据进行无损压缩后经磁盘存储管理单元存储至磁盘阵列;
数据磁盘存储管理模块,用于管理磁盘阵列的存储、读取功能。
进一步地,所述FPGA存储平台还包括
图像检索管理模块,用于控制读磁盘阵列;
图像数据交换控制模块,具有第四通信接口,用于与外部服务器通信,实现图像检索数据交换、数据通信控制。
进一步地,所述图像计算单元包括FPGA计算平台和计算PC,所述第一光纤接口、第二光纤接口、第三光纤接口和第四光纤接口均设置于FPGA计算平台上,FPGA计算平台还具有与所述计算PC连接的第五光纤接口,以及实现FPGA计算平台级联扩展的扩展接口。
进一步地,所述FPGA计算平台包括中央控制器、图像处理加速器、数据汇总发送模块和DDR内存,
所述中央控制器用于根据设定的指令分别向计算PC和图像处理加速器发送控制命令;
所述计算PC,用于根据控制命令从DDR内存中读取部分图像数据进行计算处理并将处理结果发送至数据汇总发送模块;
所述图像处理加速器用于根据控制命令从DDR内存中读取部分图像进行计算处理,将计算结果发送至数据汇总发送模块;
所述数据汇总发送模块用于将计算PC和图像处理加速器的处理结果进行汇总形成最终的测试结果发送至图像存储模块;
所述DDR内存用于存储需要处理的图像数据及测试结果。
进一步地,所述FPGA计算平台还包括接收配置参数模块、数据接收/参数配置模块、信号扩展模块和IO控制模块,
所述接收配置参数模块用于接收配置参数及测试命令并发送至中央控制器;
所述中央控制器还用于将接收的配置参数发送至数据接收/参数配置模块,将接收的测试命令分别分配至数据接收/参数配置模块、IO控制模块和信号扩展模块;
所述数据接收/参数配置模块用于接收图像采集单元图像数据并存储至DDR内存中,将接收的配置参数及测试命令发送至图像采集单元;
所述信号扩展模块用于根据测试命令实现点屏信号生成与控制;
所述IO控制模块用于根据测试命令实现IO光源控制。
进一步地,所述图像采集单元包括
协议解析模块,用于接收相机数据,并将相机数据按照协议解析出有效的图像数据发送至DDR物理内存中存储为原始图像数据;
DDR物理内存,用于存储原始图像数据和处理图像数据;
图像质量评估与前处理模块,用于根据主控单元控制命令从DDR物理内存中读取原始图像数据,对原始图像数据进行图像前处理,将前处理后的数据发送至DDR物理内存中存储为处理图像数据;
主控单元,根据设定的指令向图像质量评估与前处理和读DDR数据格式转换发送控制命令;
读DDR数据格式转换模块,用于根据主控单元的配置命令从DDR物理内存中读取原始图像数据和/或处理图像数据发送至高速接口数据封包模块,
高速接口数据封包模块,用于将接收的原始图像数据和/或处理图像数据发送至图像存储单元和图像计算单元。
进一步地,所述图像采集单元还包括自动对位对焦曝光模块和相机配置模块,
所述高速接口数据封包模块还用于接收配置参数及测试命令并发送至主控单元;
所述协议解析模块还用于接收相机数据,并将相机数据按照协议解析出有效的图像数据发送至DDR物理内存;将相机配置参数发送至相机;
所述图像质量评估与前处理模块还用于根据主控单元控制命令对相机数据进行图像采集质量评估,将质量评估结果发送至主控单元,
所述主控单元还用于将接收的配置参数、测试命令及质量评估结果发送至自动对位对焦曝光模块;
所述自动对位对焦曝光模块,用于根据配置参数及质量评估结果实现相机参数设置,并将配置参数及测试命令发送至相机配置模块;
所述相机配置模块,用于将相机配置参数及测试命令发送至协议解析模块。
更进一步地,所述协议解析模块包括Camera link协议解析模块、Gige Vision协议解析模块和CLHS协议解析模块,所述相机接口包括多个Camera Link接口、多个Gige接口和多个CLHS接口,所述多个Camera Link接口与Camera link协议解析模块连接,所述多个Gige接口与Gige Vision协议解析模块连接,所述多个CLHS接口与CLHS协议解析模块连接。
本发明的有益效果是:图像存储单元、图像计算单元、图像采集单元之间相互配合,能实现图像的存储与检索、兼具人机交互、主控与显示、处理结果分析与上报等功能;能够实现点屏信号生成与信号扩展、光源、图像采集、相机一体化控制功能,节拍时间短,各单元之间通过光纤方式进行通信与数据交互,数据传输速度快;图像计算单元还可以通过级联方式扩展计算处理能力;且图像计算单元使用CPU+GPU+FPGA架构,充分扩展CPU+GPU单元,增强GPU的处理能力;以FPGA为中心控制器,将需要处理数据分发到不同的GPU处理单元中,分布式处理架构;同时FPGA本身实现图像加速处理器,充分利用FPGA的并行处理能力,将图像处理分割与FPGA+各GPU之间进行协调处理,有效提高了图像处理计算能力;能支持多种相机接口,支持自动对位、对焦、自动进行曝光参数设置,具有图像质量评估、图像前处理等功能。整个系统架构具有结构简单、成本低、稳定性好,协调能力好,计算处理能力强等优点。
附图说明
图1为本发明的原理框图。
图2为本发明调机的流程图。
图3为本发明测试的流程图。
图4为本发明图像存储单元的原理框图。
图5为本发明图像存储单元工作的流程图。
图6为本发明图像计算单元的原理框图。
图7为本发明图像计算单元工作的流程图。
图8为本发明图像采集单元的原理框图。
图9为本发明图像采集单元工作的流程图。
图中:1-图像存储单元;1.1-主控PC、1.2-FPGA存储平台;1.3-磁盘阵列;1.4-数据交互模块;1.5-图像数据接收/发送模块;1.6-数据无损压缩模块;1.7-数据磁盘存储管理模块;1.8-图像检索管理模块;1.9-图像数据交换控制模块;
2-图像计算单元;2.1-FPGA计算平台;2.2-计算PC;2.3-数据接收/参数配置模块;2.4-写DDR数据格式转换模块;2.5-信号扩展模块;2.6-IO控制模块;2.7-中央控制器;2.8-图像处理加速器;2.9-接收配置参数模块;2.10-配置寄存器;2.11-数据汇总发送模块;2.12-读DDR数据格式转换模块;2.13-数据发送模块;2.14-AXI总线互联模块2.14;2.15-DDR控制器2.15;2.16-DDR内存2.16;
3-图像采集单元;3.1-协议解析模块;3.2-有效数据提取模块;3.3-写DDR数据格式转换模块;3.4-AXI总线互联;3.5-DDR控制模块;3.6-DDR物理内存;3.7-图像质量评估与前处理模块;3.8-主控单元;3.9-寄存器配置模块;3.10-读DDR数据格式转换模块;3.11-高速接口数据封包模块;3.12-自动对位对焦曝光模块;3.13-相机配置模块;
4-客户MCMQ;5-PLC;6-CIM;7-信号扩展单元;8-16口KVM;9-光源。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明,便于清楚地了解本发明,但它们不对本发明构成限定。
如图1所示,本发明包括包括图像存储单元1、图像计算单元2和图像采集单元3,所述图像存储单元1具有第一通信接口和第二通信接口,所述图像计算单元2具有第一光纤接口、第二光纤接口、第三光纤接口和第四光纤接口,所述图像采集单元3具有第三通信接口和相机接口;
所述图像存储单元1通过人机交互进行参数配置,通过第一通信接口向图像计算单元下发配置参数和测试命令、接收图像计算单元发送的测试结果并上报,图像存储单元发送的配置参数包括Pattern列表、点屏参数、相机参数、检测参数等;通过第二通信接口接收采集单元的数据并存储;
所述图像计算单元2通过第一光纤接口接收图像存储单元发送的配置参数及测试命令、向图像存储单元发送测试结果,通过第二光纤接口接收图像采集单元的数据、向图像采集单元发送配置参数及测试命令,通过第三光纤接口控制点屏信号生成(控制信号扩展单元7点亮模组),通过第四光纤接口控制IO光源(相关光源9【背光及侧光】);
所述图像采集单元通过第三通信接口输出图像数据、接收配置参数及测试命令,通过相机接口接收相机数据、向相机发送配置参数和测试命令。
本发明的系统工作时,先进行调机,调机是指相机工作距离、对焦参数、曝光参数、增益参数、白平衡参数、背光源亮度等调节,调机流程如图2所示:
1)设备初始化,包括相机及镜头参数、Panel参数、Panel透光率参数、背光源参数等。
2)人机界面发送调机开始命令。
3)将点屏Pattern设置为白画面。
4)点屏信号生成及点亮模组。
5)触发相机取图。
6)对所取图进行质量评估,评估维度包括:亮度、清晰度及锐利度、有效区域大小、摩尔纹等。
7)若所取图像符合检测标准,测结束调机。
8)若所取图像不符合检测标准,则根据评估的结果调整相机的工作距离、对焦参数及背光源亮度。
9)重复步骤5到8的过程,直到图像满足要求为止。
此自动调机设备与方案,通常只需要数分钟时间,即可完成相机调节工作;而传统调节方式通常需要数小时甚至数天的时间;并且通过此自动调节设备方案,图像的一致性更高。
调机完成后,再进行测试,测试流程如图3所示:
1)设备初始化。
2)主控单元设置一键测试开始命令。
3)根据设置的Pattern顺序,生成点屏信号及完成切图命令。
4)根据设置的光源顺序,通过IO控制端,点亮不同的光源信号。
5)设置相机的曝光、增益及白平衡参数。
6)触发相机。
7)接收相机数据。
8)图像前处理,包括亮度矫正、暗角矫正、ROI区域提取与切割、背景抑制、摩尔纹去除、灰度拉伸等。
9)进行图像后处理,缺陷检测、识别、判断。
10)检测结果上报,上报包括资料存储部分发送到客户MCMQ系统以及及时显示部分通过PLC 5发送到客户CIM 6系统。
11)原始图像压缩与存储。
上述方案中,如图4所示,图像存储单1元包括主控PC 1.1、FPGA存储平台(基于FPGA的存储处理板卡)1.2和磁盘阵列1.3,FPGA存储平台1.3、包括数据交互模块1.4、图像数据接收/发送模块1.6、数据无损压缩模块1.6、数据磁盘存储管理模块1.7、图像检索管理模块1.8和图像数据交换控制模块1.9,图像存储单元一方面负责图像的存储与检索,另外还兼具人机交互、主控与显示、处理结果分析与上报等功能。主控PC与FPGA存储平台之间通过PCIE x8方式进行数据通信与交互,第一通信接口和第二通信接口均设在于FPGA存储平台上,即FPGA存储平台与图像计算单元、图像采集单元之间均通过光纤进行数据通信与交互,使用光纤连接布网方式,方便图像存储与检索。
存储单元主要用于存储图像采集单元发送的原始图像数据和/或处理图像数据,图像计算单元的处理结果数据不保存到本地服务器,会直接上传到客户MCMQ 4的系统。保存到本地的图片用于后续的数据分析与检索,对存储空间、存储及检索效率有较高要求。
图像存储单元的各模块的功能如下:
主控PC 1.1,用于通过人机交互进行参数配置、输出配置参数及测试命令,用于接收FPGA存储平台1.2的测试结果并上报,用于与客户MCMQ连接,缺陷资料上报、缺陷图片上报、检测结果XML资料上报。
磁盘阵列1.3,用于存储数据。
数据交互模块1.4,用于接收主控PC发送的配置参数,用于将接收的图像计算单元的测试结果反馈至主控PC。
图像数据接收/发送模块1.5,用于接收图像采集单元数据并输出至数据无损压缩模块,用于接收配置参数并发送至图像采集模块,用于接收图像计算单元的测试结果。
数据无损压缩模块1.6,用于对接收的数据进行无损压缩后经磁盘存储管理单元存储至磁盘阵列;对数据进行无损压缩后可以极大地提升存储空间利用率以及对检索带宽需求压力。
数据磁盘存储管理模块1.7,用于管理磁盘阵列的存储、读取功能。
图像检索管理模块1.8,用于控制读磁盘阵列。
图像数据交换控制模块1.9,具有第四通信接口,用于与外部服务器通信,在外部服务器命令下实现图像检索数据交换、数据通信控制。检索时先从本地读出需要的图像数据,通过光纤交换网络传输到检索服务器端,检索服务器端对图像进行无损解压后方可以使用。
如图5所示,图像存储单元的数据处理流程如下:
1)、初始化;
2)、参数配置;
3)、发送一键测试命令;
4)、等待接收原始图像数据;
5)、对原始图像数据进行压缩;
6)、压缩后的图像数据进行存储;
7)、等待接收检测结果;
8)、检测结果分析并上报;
9)、结束。
上述方案中,如图6所示,图像计算单元2包括FPGA计算平台2.1(基于FPGA的计算处理板卡)和计算PC 2.2,第一光纤接口、第二光纤接口、第三光纤接口和第四光纤接口均设置于FPGA计算平台上,FPGA计算平台还具有与所述计算PC连接的第五光纤接口,以及实现FPGA计算平台级联扩展的扩展接口。所述FPGA计算平台2.1包括数据接收/参数配置模块2.3、写DDR数据格式转换模块2.4、信号扩展模块2.5、IO控制模块2.6、中央控制器2.7、图像处理加速器2.8、接收配置参数模块2.9、配置寄存器2.10、数据汇总发送模块2.11、数据发送模块2.13、AXI总线互联模块2.14、DDR控制器2.15和DDR内存2.16,计算PC 2.2由CPU和GPU组成。图像计算单元除了图像计算加速之外,其中的FPGA计算平台还具备点屏信号生成与信号扩展、光源一体化控制功能。一个FPGA计算平台包括12个QSFP+光纤接口,可以连接多达6台计算PC,多台计算PC之间可以通过16口KVM 8设备进行切换控制,FPGA计算平台与计算PC、图像存储单元、图像采集单元、信号扩展单元7、IO光源控制单元之间均通过光纤方式进行通信与数据交互;FPGA计算平台支持通过光纤接口级联扩展,扩展计算处理能力。FPGA计算平台与构成计算PC的CPU和GPU一起形成CPU+GPU+FPGA计算架构,根据图像数据流方式,Pipeline结构处理,FPGA图像前处理,CPU+GPU图像后处理,充分提升计算速度。
图像计算单元的各模块的功能如下:
计算PC 2.2,用于根据控制命令从DDR内存中读取部分图像数据进行计算处理并将处理结果发送至数据汇总发送模块。
数据接收/参数配置模块2.3,用于接收图像采集单元图像数据,经写DDR数据格式转换模块转换后存储至DDR内存中,用于将接收的配置参数及测试命令发送至图像采集单元。
写DDR数据格式转换模块2.4,对接收的数据进行格式转换。
信号扩展模块2.5,用于根据测试命令实现点屏信号生成与控制。
IO控制模块2.6,用于根据测试命令实现IO光源控制。
中央控制器2.7,用于根据设定的指令分别向计算PC和图像处理加速器发送控制命令;用于将接收的配置参数发送至数据接收/参数配置模块,将接收的测试命令分别分配至数据接收/参数配置模块、IO控制模块和信号扩展模块。
图像处理加速器2.8,用于根据控制命令从DDR内存中读取部分图像进行计算处理,将计算结果发送至数据汇总发送模块。
接收配置参数模块2.9,用于接收图像存储单元的配置参数及测试命令并发送至中央控制器。
配置寄存器2.10,完成相关寄存器配置。
数据汇总发送模块2.11,用于将计算PC和图像处理加速器的处理结果进行汇总形成最终的测试结果发送至图像存储模块。
读DDR数据格式转换模块2.12,对接收的数据进行格式转换。
数据发送模块2.13,用于将部分需要计算处理的数据发送至计算PC;
AXI总线互联模块2.14,用于在中央控制器的控制下向DDR内存读写图像数据。
DDR控制器2.15,用于控制读写图像数据及测试结果。
DDR内存2.16,用于存储需要处理的图像数据及测试结果。
如图7所示,图像计算单元的数据处理流程如下:
1)、初始化;
2)、接收一键测试命令;
3)、判断当前处理pattern数是否与设置pattern总数相等,若相等,则认为处理一键测试完成,结束流程;
4)、若一键测试未完成,根据pattern列表,点亮被测模组;
5)、根据pattern配置列表,点亮光源;
6)、触发相机进行图像采集;
7)、接收采集单元图像数据,同时返回进行触发次数判断;
8)、对收到数据进行处理,判断被测模组是否有缺陷,及判断缺陷等级;
9)、检测结果上报;
上述方案中,如图8所示,图像采集单元3包括协议解析模块3.1、有效数据提取模块3.2、写DDR数据格式转换模块3.3、AXI总线互联3.4、DDR控制模块3.5、DDR物理内存3.6、图像质量评估与前处理模块3.7、主控单元3.8、寄存器配置模块3.9、读DDR数据格式转换模块3.10、高速接口数据封包模块3.11、自动对位对焦曝光模块3.12和相机配置模块3.13,图像采集单元使用Xilinx的SOC芯片作为主控单元,支持8个Cameralink接口、8个Gige接口、4个CLHS接口;与FPGA计算平台之间通过光纤接口方式连接,通过自定制协议进行数据通信和交互。图像采集单支持多种相机接口,支持多只相机,支持自动对位、对焦、自动进行曝光参数设置,能进行图像质量评估,图像一致性更佳【根据背光亮度、面板透光率、镜头畸变】自动调整曝光时间,增益,通过亮度矫正及暗角矫正,提升图像质量及一致性;能进行图像前处理,包括:亮度矫正、暗角矫正、ROI区域提取与切割、背景抑制、摩尔纹去除、灰度拉伸等。
图像采集单元3的各模块的功能如下:
协议解析模块3.1,用于接收相机数据,并将相机数据按照协议解析出有效的图像数据,经有效数据提取模块、写DDR数据格式转换模块后发送至DDR物理内存中存储为原始图像数据;用于接收相机数据,并将相机数据按照协议解析出有效的图像数据经有效数据提取模块、写DDR数据格式转换模块后发送至DDR物理内存,解析之后的图像数据包括24bit的图像数据以及帧控制信号VS/HS/DE;用于将相机配置参数发送至相机。
协议解析模块包括Camera link协议解析模块、Gige Vision协议解析模块和CLHS协议解析模块,上述相机接口包括多个Camera Link接口、多个Gige接口和多个CLHS接口,所述多个Camera Link接口与Camera link协议解析模块连接,所述多个Gige接口与GigeVision协议解析模块连接,所述多个CLHS接口与CLHS协议解析模块连接。
有效数据提取模块3.2,根据主控单元配置参数,提取有效的图像数据部分;从协议解析模块出来是24bit数据,根据主控单元配置,提取有效的数据位。
写DDR数据格式转换模块3.3,将接收数据保存到物理内存中;将相机有效的图像数据进行格式转换,转换为AXI4写Memory的数据格式。
AXI总线互联3.4,用于在主控单元的控制下向DDR物理内存读写图像数据。
DDR控制模块3.5,用于控制读写图像数据。
DDR物理内存3.6,用于存储原始图像数据和处理图像数据。
图像质量评估与前处理模块3.7,用于根据CPU控制命令从DDR物理内存中读取原始图像数据,对原始图像数据进行图像前处理,将前处理后的数据发送至DDR物理内存中存储为处理图像数据,前处理包括暗角矫正、亮度矫正、AOI区域自动提取与切割、透视变换、morie纹去除等图像处理功能;用于根据主控单元控制命令对相机数据进行质量评估,将质量评估结果发送至主控单元。
主控单元3.8,根据设定的指令向图像质量评估与前处理和读DDR数据格式转换发送控制命令;用于将接收的配置参数、测试命令及质量评估结果发送至自动对位对焦曝光模块。
寄存器配置模块3.9,完成相关寄存器配置。
读DDR数据格式转换模块3.10,用于根据主控单元的配置命令从DDR物理内存中读取原始图像数据和/或处理图像数据发送至高速接口数据封包模块。
高速接口数据封包模块3.11,用于将接收的原始图像数据和/或处理图像数据发送至图像存储单元和图像计算单元。用于接收配置参数及测试命令并发送至主控单元。
自动对位对焦曝光模块3.12,用于根据配置参数及质量评估结果实现相机参数设置,并将配置参数及测试命令发送至相机配置模块。
相机配置模块3.13,用于将相机配置参数及测试命令发送至协议解析模块。
如图9所示,图像计算单元的数据处理流程如下:
1)、上电初始化:设备初始化、相机初始化设置、对位对焦电机等的初始化。
2)、接收主控单元配置参数:包括相机参数、Panel尺寸及分辨率及透光率信息、背光亮度、工作模式等参数。
3)、接收主控单元触发命令:命令包括调机命令及取像命令;接收调机命令则会进入到调机模式,接收到取像命令,则会进入到正常的取像模式。
4)、调机模式,此处调机是指相机工作距离、对焦参数、曝光参数、增益参数、白平衡参数、背光源亮度等调节:
a)首先触发相机拍图;
b)对所得图像进行评估,判断是否符合检测标准;
c)若符合检测标准,则记录当前调节参数并退出流程;
d)若不符合检测标准,则根据配置参数,先调节相机的工作距离即对位,然后调节相机的焦距、曝光时间、增益及白平衡等参数;然后重复上述动作,直到判断所拍图像满足检测标准。
5)、取像模式:
a)配置相机参数,包括曝光时间、增益及白平衡;
b)触发相机;
c)接收相机数据;
d)图像前处理,包括亮度矫正、暗角矫正、AOI区域提取及切割、背景抑制、摩尔纹去除等图像前处理;
e)从DDR内存中读出数据并通过光纤发送到前端,进行下一步处理。
本发明具备管理多达20只相机同时进行数据采集、处理的能力,极大优化了高分辨率及大尺寸面板自动检测系统的系统复杂度、压缩图像采集的Tact Time、提升系统稳定性;同时,集相机自动对位、对焦、图像质量检测与一体,自动实现相机图像质量管理,极大的方便现场调机;通过自主开发的图像质量评估系统,可以快速实现线体调机,图像一致性好;基于FPGA图像存储管理系统,提升图像存储效率,方便图像检索;为机器学习与智能检测提供必要的源图片。
使用CPU+GPU+FPGA的星形网络并行加速计算系统,充分发挥GPU与FPGA的并行处理特征,提升系统的整体计算能力;根据数据流的方向,利用pipeline结构,在FPGA端加速图像前处理,然后在CPU及GPU端实现图像后处理;使用此加速系统,图像计算处理能力提升达到50%以上。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种基于CPU+GPU+FPGA架构的自动光学检测系统,其特征在于:包括图像存储单元、图像计算单元和图像采集单元,所述图像存储单元具有第一通信接口和第二通信接口,所述图像计算单元具有第一光纤接口、第二光纤接口、第三光纤接口和第四光纤接口,所述图像采集单元具有第三通信接口和相机接口;
所述图像存储单元通过第一通信接口向图像计算单元下发配置参数和测试命令、接收图像计算单元发送的测试结果,通过第二通信接口接收采集单元的数据;
所述图像计算单元通过第一光纤接口接收图像存储单元发送的配置参数及测试命令、向图像存储单元发送测试结果,通过第二光纤接口接收图像采集单元的数据、向图像采集单元发送配置参数及测试命令,通过第三光纤接口控制点屏信号生成,通过第四光纤接口控制IO光源,图像计算单元包括FPGA计算平台和计算PC,FPGA计算平台与计算PC、图像存储单元、图像采集单元之间均通过光纤方式进行通信与数据交互,FPGA计算平台为加速图像前处理的基于FPGA的计算处理板卡,计算PC包括实现图像后处理的CPU和GPU;
所述图像采集单元通过第三通信接口输出图像数据、接收配置参数及测试命令,通过相机接口接收相机数据、向相机发送配置参数和测试命令。
2.根据权利要求1所述的基于CPU+GPU+FPGA架构的自动光学检测系统,其特征在于:所述图像存储单元包括
主控PC,用于通过人机交互进行参数配置、输出配置参数及测试命令,用于接收FPGA存储平台的测试结果并上报;
FPGA存储平台,用于接收图像采集单元数据、将接收的数据进行无损压缩后发送至磁盘阵列,用于接收图像计算单元的测试结果并输出,用于将接收的配置参数输出至图像采集单元,用于根据存储的数据进行图像数据检索;
磁盘阵列,用于存储数据。
3.根据权利要求2所述的基于CPU+GPU+FPGA架构的自动光学检测系统,其特征在于:所述FPGA存储平台包括
数据交互模块,用于接收主控PC发送的配置参数,用于将接收的图像计算单元的测试结果反馈至主控PC;
图像数据接收/发送模块,用于接收图像采集单元数据并输出至数据无损压缩模块,用于接收配置参数并发送至图像采集模块,用于接收图像计算单元的测试结果;
数据无损压缩模块,用于对接收的数据进行无损压缩后经磁盘存储管理单元存储至磁盘阵列;
数据磁盘存储管理模块,用于管理磁盘阵列的存储、读取功能。
4.根据权利要求2所述的基于CPU+GPU+FPGA架构的自动光学检测系统,其特征在于:所述FPGA存储平台还包括
图像检索管理模块,用于控制读磁盘阵列;
图像数据交换控制模块,具有第四通信接口,用于与外部服务器通信,实现图像检索数据交换、数据通信控制。
5.根据权利要求1所述的基于CPU+GPU+FPGA架构的自动光学检测系统,其特征在于:所述图像计算单元包括FPGA计算平台和计算PC,所述第一光纤接口、第二光纤接口、第三光纤接口和第四光纤接口均设置于FPGA计算平台上,FPGA计算平台还具有与所述计算PC连接的第五光纤接口,以及实现FPGA计算平台级联扩展的扩展接口。
6.根据权利要求1或5所述的基于CPU+GPU+FPGA架构的自动光学检测系统,其特征在于:所述FPGA计算平台包括中央控制器、图像处理加速器、数据汇总发送模块和DDR内存,
所述中央控制器用于根据设定的指令分别向计算PC和图像处理加速器发送控制命令;
所述计算PC,用于根据控制命令从DDR内存中读取部分图像数据进行计算处理并将处理结果发送至数据汇总发送模块;
所述图像处理加速器用于根据控制命令从DDR内存中读取部分图像进行计算处理,将计算结果发送至数据汇总发送模块;
所述数据汇总发送模块用于将计算PC和图像处理加速器的处理结果进行汇总形成最终的测试结果发送至图像存储模块;
所述DDR内存用于存储需要处理的图像数据及测试结果。
7.根据权利要求6所述的基于CPU+GPU+FPGA架构的自动光学检测系统,其特征在于:所述FPGA计算平台还包括接收配置参数模块、数据接收/参数配置模块、信号扩展模块和IO控制模块,
所述接收配置参数模块用于接收配置参数及测试命令并发送至中央控制器;
所述中央控制器还用于将接收的配置参数发送至数据接收/参数配置模块,将接收的测试命令分别分配至数据接收/参数配置模块、IO控制模块和信号扩展模块;
所述数据接收/参数配置模块用于接收图像采集单元图像数据并存储至DDR内存中,将接收的配置参数及测试命令发送至图像采集单元;
所述信号扩展模块用于根据测试命令实现点屏信号生成与控制;
所述IO控制模块用于根据测试命令实现IO光源控制。
8.根据权利要求1所述的基于CPU+GPU+FPGA架构的自动光学检测系统,其特征在于:所述图像采集单元包括
协议解析模块,用于接收相机数据,并将相机数据按照协议解析出有效的图像数据发送至DDR物理内存中存储为原始图像数据;
DDR物理内存,用于存储原始图像数据和处理图像数据;
图像质量评估与前处理模块,用于根据主控单元控制命令从DDR物理内存中读取原始图像数据,对原始图像数据进行图像前处理,将前处理后的数据发送至DDR物理内存中存储为处理图像数据;
主控单元,根据设定的指令向图像质量评估与前处理和读DDR数据格式转换发送控制命令;
读DDR数据格式转换模块,用于根据主控单元的配置命令从DDR物理内存中读取原始图像数据和/或处理图像数据发送至高速接口数据封包模块,
高速接口数据封包模块,用于将接收的原始图像数据和/或处理图像数据发送至图像存储单元和图像计算单元。
9.根据权利要求8所述的基于CPU+GPU+FPGA架构的自动光学检测系统,其特征在于,所述图像采集单元还包括自动对位对焦曝光模块和相机配置模块,
所述高速接口数据封包模块还用于接收配置参数及测试命令并发送至主控单元;
所述协议解析模块还用于接收相机数据,并将相机数据按照协议解析出有效的图像数据发送至DDR物理内存;将相机配置参数发送至相机;
所述图像质量评估与前处理模块还用于根据主控单元控制命令对相机数据进行图像采集质量评估,将质量评估结果发送至主控单元,
所述主控单元还用于将接收的配置参数、测试命令及质量评估结果发送至自动对位对焦曝光模块;
所述自动对位对焦曝光模块,用于根据配置参数及质量评估结果实现相机参数设置,并将配置参数及测试命令发送至相机配置模块;
所述相机配置模块,用于将相机配置参数及测试命令发送至协议解析模块。
10.根据权利要求8或9所述的基于CPU+GPU+FPGA架构的自动光学检测系统,其特征在于:所述协议解析模块包括Camera link协议解析模块、Gige Vision协议解析模块和CLHS协议解析模块,所述相机接口包括多个Camera Link接口、多个Gige接口和多个CLHS接口,所述多个Camera Link接口与Camera link协议解析模块连接,所述多个Gige接口与GigeVision协议解析模块连接,所述多个CLHS接口与CLHS协议解析模块连接。
CN201711049462.2A 2017-10-31 2017-10-31 一种基于cpu+gpu+fpga架构的自动光学检测系统 Active CN107817216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711049462.2A CN107817216B (zh) 2017-10-31 2017-10-31 一种基于cpu+gpu+fpga架构的自动光学检测系统

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
CN201711049462.2A CN107817216B (zh) 2017-10-31 2017-10-31 一种基于cpu+gpu+fpga架构的自动光学检测系统
KR1020207015690A KR102243499B1 (ko) 2017-10-31 2018-08-24 중앙 처리 장치와 그래픽 처리 장치와 필드 프로그램 가능 게이트 어레이가 결합된 아키텍처 기반의 자동 광학 탐지 시스템
JP2020540625A JP6867555B2 (ja) 2017-10-31 2018-08-24 Cpu+gpu+fpgaアーキテクチャに基づく自動光学検査システム
PCT/CN2018/102154 WO2019085605A1 (zh) 2017-10-31 2018-08-24 一种基于cpu+gpu+fpga架构的自动光学检测系统
TW107135049A TWI713907B (zh) 2017-10-31 2018-10-04 基於cpu、gpu及fpga架構的自動光學檢測系統
US16/862,610 US20200258210A1 (en) 2017-10-31 2020-04-30 Automatic optical inspection device based on cpu+gpu+fpga architecture

Publications (2)

Publication Number Publication Date
CN107817216A CN107817216A (zh) 2018-03-20
CN107817216B true CN107817216B (zh) 2020-06-02

Family

ID=61603472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711049462.2A Active CN107817216B (zh) 2017-10-31 2017-10-31 一种基于cpu+gpu+fpga架构的自动光学检测系统

Country Status (6)

Country Link
US (1) US20200258210A1 (zh)
JP (1) JP6867555B2 (zh)
KR (1) KR102243499B1 (zh)
CN (1) CN107817216B (zh)
TW (1) TWI713907B (zh)
WO (1) WO2019085605A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107817216B (zh) * 2017-10-31 2020-06-02 武汉精测电子集团股份有限公司 一种基于cpu+gpu+fpga架构的自动光学检测系统
CN108804376A (zh) * 2018-06-14 2018-11-13 山东航天电子技术研究所 一种基于gpu和fpga的小型异构处理系统
CN109286749B (zh) * 2018-09-18 2020-12-08 中国科学院自动化研究所 高带宽图像采集、预处理和分发系统及图像处理系统
TWI693386B (zh) * 2019-05-09 2020-05-11 聯策科技股份有限公司 取像參數最佳化調整系統與方法
CN110766600B (zh) * 2019-12-26 2020-05-22 武汉精立电子技术有限公司 一种分布式架构的图像处理系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7385694B2 (en) * 2002-06-04 2008-06-10 Lockheed Martin Corporation Tribological debris analysis system
KR101597024B1 (ko) * 2014-03-25 2016-02-23 구충열 액정디스플레이 검사용 이미지패턴 업로딩장치와 그 방법
JP6543070B2 (ja) * 2015-04-01 2019-07-10 株式会社ニューフレアテクノロジー 検査方法および検査装置
CN105260339A (zh) * 2015-08-17 2016-01-20 中南大学 一种基于Xilinx Zynq技术的大规模PLC系统
CN105607312A (zh) * 2016-01-22 2016-05-25 武汉精测电子技术股份有限公司 用于lcd液晶模组缺陷检测的光学自动检测装置及方法
CN107144992B (zh) * 2017-06-23 2020-07-10 武汉精测电子集团股份有限公司 基于aoi技术的全自动化lcd检测控制系统及方法
CN107273331A (zh) * 2017-06-30 2017-10-20 山东超越数控电子有限公司 一种基于cpu+gpu+fpga架构的异构计算系统和方法
CN107817216B (zh) * 2017-10-31 2020-06-02 武汉精测电子集团股份有限公司 一种基于cpu+gpu+fpga架构的自动光学检测系统

Also Published As

Publication number Publication date
WO2019085605A1 (zh) 2019-05-09
TWI713907B (zh) 2020-12-21
KR20200080295A (ko) 2020-07-06
JP6867555B2 (ja) 2021-04-28
CN107817216A (zh) 2018-03-20
KR102243499B1 (ko) 2021-04-21
TW201919000A (zh) 2019-05-16
US20200258210A1 (en) 2020-08-13
JP2021501330A (ja) 2021-01-14

Similar Documents

Publication Publication Date Title
CN107817216B (zh) 一种基于cpu+gpu+fpga架构的自动光学检测系统
CN102202171B (zh) 一种嵌入式高速多通道图像采集与存储系统
CN102148922B (zh) 一种电子设备、图像采集装置及图像采集控制方法
CN107817217B (zh) 一种适用于lcm自动光学检测的图像加速处理系统
CN104967783B (zh) 面向微纳星的多路微图像采集系统
CN103037242A (zh) 一种摄像头模组测试系统
CN107830990A (zh) 一种基于fpga平台的自动光学检测系统
CN108848354B (zh) 一种vr内容摄像系统及其工作方法
CN102006420A (zh) 可使用外接同步的多种数据输出格式摄像机的设计方法
CN101753833B (zh) 一种摄像头模组调焦检测方法、装置、系统及检测设备
CN109714621A (zh) 一种时序可配置的多路动态视频模拟方法及其处理系统
CN102248254A (zh) 一种数据处理系统及数据处理方法
CN101900551A (zh) 一种车载全景安全监测系统
CN101472123A (zh) 数字影像接口及超声设备与影像工作站间数据传输方法
CN107907867B (zh) 一种多工作模式的实时sar快视系统
CN108171106B (zh) 一种用于光测设备的数据整合装置
CN103595926B (zh) 一种分布式图像边缘融合处理系统
CN201457257U (zh) 一种车载安全监测装置
CN110766600B (zh) 一种分布式架构的图像处理系统
CN211505255U (zh) 显示面板检测装置及系统
CN209517379U (zh) 模拟384×288探测器输出信号的装置
CN211979381U (zh) 一种天文仪摄像光学系统
CN111756963A (zh) 图像摄取模组及电子终端
CN103702020A (zh) 线阵压缩摄像机
CN112492373A (zh) 一种光电平台用基于fpga的通用型高清显示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 430070 Hubei Province, Wuhan city Hongshan District Road No. 48 bookstore (North Industrial Park) 1 building 11 layer

Applicant after: Wuhan fine test electronics group Limited by Share Ltd

Address before: 430070 Hongshan entrepreneurship center, No. 53, Nanhu Avenue, Hongshan District, Wuhan, Hubei Province, 4

Applicant before: Wuhan Jingce Electronic Technology Co., Ltd.

Address after: 430070 Hubei Province, Wuhan city Hongshan District Road No. 48 bookstore (North Industrial Park) 1 building 11 layer

Applicant after: Wuhan fine test electronics group Limited by Share Ltd

Address before: 430070 Hongshan entrepreneurship center, No. 53, Nanhu Avenue, Hongshan District, Wuhan, Hubei Province, 4

Applicant before: Wuhan Jingce Electronic Technology Co., Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant