CN110766600B - 一种分布式架构的图像处理系统 - Google Patents

Abstract

本发明公开了一种分布式架构的图像处理系统，包括核心控制器、多个嵌入式GPU；所述核心控制器包括并行的地址通道、图像通道和结果通道；所述地址通道用于接收远程控制设备发送的配置参数；所述图像通道用于接收待处理的图像数据并进行解码，根据解码得到的目标设备掩码将所述图像数据分发到对应的嵌入式GPU，由多个所述嵌入式GPU执行并行数据处理；所述结果通道用于接收所述嵌入式GPU对图像数据的处理结果并输出；本发明基于FPGA核心控制板和多个嵌入式GPU的架构，不仅大大提高了图像处理速度，而且实现了系统的结构简单化、高度集成化、系统小型化，增强了系统的使用灵活性，满足大尺寸、高分辨率显示面板的测试需求。

Description

一种分布式架构的图像处理系统

技术领域

本发明属于图像处理技术领域，更具体地，涉及一种分布式架构的图像处理系统。

背景技术

随着LCD和OLED的显示行业的发展，针对LCD和OLED屏幕的自动光学检测（Automated Optical Inspection，AOI）的图像处理系统得到越来也广泛的应用。但是随着面板厂商向大尺寸、高分辨率显示面板进阶，检测所需要的相机分辨率、相机数量、数据计算量越来越高，对AOI系统的检测能力、系统复杂度都提出了更高的要求；AOI系统既要有采集图像功能部分，又需要快速的图像处理计算功能，造成整个图像处理系统结构复杂。

现有AOI的光学图像处理系统通常由多个功能模块组合而成，包括基于FPGA的系统控制平台、基于FPGA的图像采集单元以及用于图像计算单元的多台PC；整套系统由多个分离的单元组成。该系统架构存在以下缺点：

（1）PC的计算处理能力有限，响应速度慢，并且采用多台PC导致系统体积大；

（2）系统结构复杂，例如针对不同的分辨率的屏幕，需要配置不同的采像单元；

（3）分离组成的系统架构，使用和功能灵活性低。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种分布式架构的图像处理系统，基于核心控制器的并行控制实现图像数据在图像采集器和多个嵌入式GPU之间的数据交换以及协调处理；在此基础上，利用分布式架构的嵌入式GPU对图像数据的并行处理，大大提高了图像处理速度，满足大尺寸、高分辨率显示面板的测试需求。

为实现上述目的，按照本发明的一个方面，提供了分布式架构的图像处理系统，该系统包括核心控制器、多个嵌入式GPU；

所述核心控制器包括并行的地址通道、图像通道和结果通道；所述地址通道、图像通道和结果通道中的每一个均包含由多个耦合的通道单元形成的指令处理的流水线结构；

所述地址通道中的每个所述通道单元用于接收远程控制设备发送的配置参数；

所述图像通道中的每个所述通道单元用于接收待处理的图像数据并进行解码，根据所述配置参数将解码后的图像数据分发到对应的嵌入式GPU，由各所述嵌入式GPU执行并行数据处理；所述配置参数为远程控制设备根据所述图像数据的计算量确定的用来处理该图像数据的一个或多个嵌入式GPU对应的目标设备掩码；

所述结果通道中的每个所述通道单元用于接收所述嵌入式GPU对图像数据的处理结果并输出。

优选的，上述图像处理系统，多个所述嵌入式GPU之间通过Nvlink总线彼此互联，所述核心控制器将互联的多个嵌入式GPU虚拟化为一个整体GPU以实现多个嵌入式GPU之间的显存共享，并控制图像数据在多个嵌入式GPU之间进行均衡分配。

优选的，上述图像处理系统，其核心控制器还用于对与其通信的各设备进行地址编码；核心控制器根据编码后的设备地址将图像数据分发到对应的嵌入式GPU或远程控制设备，或将处理结果输出至对应的远程控制设备。

优选的，上述图像处理系统，其核心控制器为包含FPGA控制芯片的核心板卡，所述核心板卡上扩展有多路光纤接口和PCIE信号接口。

优选的，上述图像处理系统，所述嵌入式GPU通过PCIE信号接口与FPGA控制芯片互联。

优选的，上述图像处理系统，还包括至少一个图像采集器，用于采集图像数据并发送给核心控制器；所述图像采集器与核心板卡分离设置，并通过所述光纤接口与FPGA控制芯片互联。

优选的，上述图像处理系统，还包括至少一个图像采集器，用于采集图像数据并发送给核心控制器；所述图像采集器设置于核心板卡之上，并通过Serdes信号与FPGA控制芯片互联。

优选的，上述图像处理系统，其图像采集器具有G-ETH网口、Camera Link接口、CLHS接口、CXP接口、USB接口中的任意一种或多种。

优选的，上述图像处理系统，还包括至少一个远程控制设备，所述远程控制设备通过光纤接口连接核心板卡，用于向核心控制器发送配置参数，并接收核心控制器输出的处理结果；还用于提供人机交互的界面操作。

优选的，上述图像处理系统，其核心板卡上还扩展有MicroUSB接口和以G-ETH网口，分别作为FPGA控制芯片的调试接口和通信接口。

所述嵌入式GPU具有MicroUSB接口和以G-ETH网口，分别作为嵌入式GPU的调试接口和通信接口。

优选的，上述图像处理系统，其嵌入式GPU与核心板卡之间通过热插拔电路相连，以支持嵌入式GPU的热插拔并灵活配置嵌入式GPU的数量。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

（1）本发明提供的分布式架构的图像处理系统，核心控制器包括并行的地址通道、图像通道和结果通道，且地址通道、图像通道和结果通道中的每一个均包含由多个耦合的通道单元形成的指令处理的流水线结构，提高对指令或数据的处理速度；基于核心控制器的并行控制实现图像数据在图像采集器和多个嵌入式GPU之间的数据交换以及协调处理；在此基础上，利用分布式架构的嵌入式GPU对图像数据的并行处理，大大提高了图像处理速度，满足大尺寸、高分辨率显示面板的测试需求。

（2）本发明提供的分布式架构的图像处理系统，多个所述嵌入式GPU之间通过Nvlink总线彼此互联，实现GPU之间的高速通信以及内存空间的资源分配，实现更大数据计算能力，使得并行化处理的技术得到极大的提升；核心控制器将互联的多个嵌入式GPU虚拟化为一个整体GPU，实现多个嵌入式GPU之间的显存共享并控制图像数据在多个嵌入式GPU之间进行均衡分配；每块GPU与其他GPU之间直接互联，统一寻址也变得简单有效。在程序层面，多个嵌入式GPU将会形成一块GPU和一个整体的显存，这样显存系统将会自行管理显存layout，提供最优化的组织架构。

（3）本发明提供的分布式架构的图像处理系统，基于FPGA核心控制板和多个嵌入式GPU的架构，实现图像处理系统的结构简单化、高度集成化、系统小型化，增强了系统的使用灵活性；通过系统模块化设计，可以根据实际应用场景灵活配置，功能灵活性高；嵌入式GPU使得系统不再依赖于多个计算的PC，节省了空间和成本；可支持热插拔，安装使用便捷；

（4）本发明提供的分布式架构的图像处理系统，整个系统既可以用于当前的LCD和OLED的屏幕的AOI光学检测，也可以通过开发不同的算法适用于深度学习以及人工智能的应用场景。

附图说明

图1是本发明实施例提供的分布式架构的图像处理系统的结构示意图；

图2是本发明实施例提供的核心控制器的逻辑结构图；

图3是本发明实施例提供的核心控制器中图像通道的处理流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明所提供的一种分布式架构的图像处理系统，包括核心控制器和多个嵌入式GPU；核心控制器包括并行的地址通道、图像通道和结果通道；地址通道、图像通道和结果通道中的每一个均包含由多个耦合的通道单元形成的指令处理的流水线结构；该地址通道中的每个所述通道单元用于接收远程控制设备发送的配置参数；所述图像通道中的每个所述通道单元用于接收待处理的图像数据并进行解码，根据所述配置参数将解码后的图像数据分发到对应的嵌入式GPU，由各所述嵌入式GPU执行并行数据处理；所述配置参数为远程控制设备根据所述图像数据的计算量确定的用来处理该图像数据的一个或多个嵌入式GPU对应的目标设备掩码；；根据实际需求，图像通道可将图像数据上传到对应的远程控制设备；结果通道中的每个所述通道单元用于接收所述嵌入式GPU对图像数据的处理结果并输出。本发明基于核心控制器的并行控制实现图像数据在图像采集器和多个嵌入式GPU之间的数据交换以及协调处理；在此基础上，利用分布式架构的嵌入式GPU对图像数据的并行处理，大大提高了图像处理速度，满足大尺寸、高分辨率显示面板的测试需求。

下面结合实施例和附图对本发明提供的分布式架构的图像处理系统的结构和工作原理进行详细说明。

图1是本实施例提供的分布式架构的图像处理系统的结构示意图，参见图1所示，该系统包括核心控制器、n个嵌入式GPU和图像采集器，n为大于2的整数；n个嵌入式GPU、图像采集器均与核心控制器通信连接；优选地，本实施例中的核心控制器为包含FPGA控制芯片的核心板卡，该核心板卡上扩展有多路40G光纤接口和PCIE信号接口；其中，光纤接口用于连接远程控制设备和图像采集器，PCIE信号接口用于和多个嵌入式GPU互联。以高性能FPGA为控制芯片的核心板卡，主要用于整个图像处理系统的控制和管理，将需要处理的图像数据分发到不同的嵌入式GPU进行处理；同时也充分利用FPGA自身的并行处理的优势，实现图像数据在图像采集器和GPU模块之间的数据交换以及协调处理。

图2是本实施例提供的核心控制器的逻辑结构图；具体的，核心控制器包括并行的地址通道、图像通道和结果通道；地址通道中包含由多个耦合的通道单元Ctrl形成的流水线结构；图像通道中包含由多个耦合的通道单元Image形成的流水线结构；结果通道中包含由多个耦合的通道单元Result形成的流水线结构；

其中，地址通道中的每一个通道单元Ctrl用于接收远程控制设备发送的配置参数（包括寄存器读写数据等）和/或控制指令，该配置参数还包括远程控制设备根据待处理的图像数据的计算量确定的用来处理该图像数据的一个或多个嵌入式GPU对应的目标设备掩码；图3是本实施例提供的核心控制器中图像通道的处理流程示意图；如图3所示，图像通道中的每一个通道单元Image用于接收图像采集器发送的图像数据并将其发送给远程控制设备，该图像数据含有头文件Header信息，对Header信息进行解码后可得到该图像数据对应的数据量；远程控制设备根据待处理图像的数据量确定用来处理该图像数据的一个或多个嵌入式GPU对应的目标设备掩码并将该目标设备掩码通过地址通道传送给核心控制器；图像通道根据该目标设备掩码将图像数据分发到对应的嵌入式GPU，多个嵌入式GPU构成分布式架构，对核心控制器发送的图像数据进行并行处理；结果通道中的每一个通道单元Result用于接收嵌入式GPU对图像数据的处理结果并上传给远程控制设备。

本实施例中，核心控制器还用于对嵌入式GPU、图像采集器和远程控制设备的设备地址进行区分，实现地址独立并同一编码；核心控制器根据编码后的设备地址将图像数据分发到对应的嵌入式GPU或远程控制设备，或者将处理结果输出至对应的远程控制设备。

作为一个优选的示例，多个嵌入式GPU之间通过Nvlink总线彼此互联，实现GPU之间的高速通信以及内存空间的资源分配，实现更大数据计算能力，使得并行化处理的技术得到极大的提升；核心控制器将互联的多个嵌入式GPU虚拟化为一个整体GPU，实现多个嵌入式GPU之间的显存共享并控制图像数据在多个嵌入式GPU之间进行均衡分配；每个嵌入式GPU与其他GPU之间直接互联，统一寻址也变得简单有效。在程序层面，多个嵌入式GPU将会形成一块GPU和一个整体的显存，这样显存系统将会自行管理显存layout，提供最优化的组织架构。

本实施例中，核心板卡上还扩展有MicroUSB接口和以G-ETH网口，分别作为FPGA控制芯片的调试接口和通信接口。

各嵌入式GPU均通过PCIE信号接口与FPGA控制芯片互联，接收FPGA控制芯片发送的图像数据，并反馈图像数据结果；嵌入式GPU运行在Linux操作系统下，包括Xdma Driver、Ctrl API、Image API和Result API；首先需要运行Xdma Driver 来实现与FPGA控制芯片的数据通讯；Ctrl API 用来进行控制数据的读写通讯（AXI_LITE），Image API用来实现图像数据的读写（AXI_MEM），Result API 用来发送图像处理结果等讯息给FPGA控制芯片。

作为一个优选的示例，嵌入式GPU与核心板卡之间通过热插拔电路相连，以支持嵌入式GPU的热插拔，并可以根据实际应用场景灵活配置嵌入式GPU的数量，进行扩展或删减，通过模块化的设计极大地提高了使用的灵活性以及功能的灵活性。本实施例中，嵌入式GPU为高性能GPU模块，其计算能力强，体积小，实现多GPU模块的嵌入式系统；另外，嵌入式GPU还具有MicroUSB接口和以G-ETH网口，分别作为嵌入式GPU的调试接口和通信接口。远程控制设备通过MicroUSB接口与嵌入式GPU相连，对嵌入式GPU进行调试或软件更新；嵌入式GPU通过以G-ETH网口与远程控制设备进行信号交互。

作为一个优选的示例，各嵌入式GPU还包括深度学习加速器，利用该深度学习加速器对图像处理算法进行深度学习算法加速，提高图像处理效率。

图像采集器与核心板卡之间的连接方式有两种：一种是通过两路40G光纤连接核心板卡上的40G光纤接口，如此图像采集器可以和核心板卡分离放置；另外一种是图像处理器集成在核心板卡之上，图像处理器与FPGA控制芯片之间通过高速Serdes信号进行互联；可选的，图像采集器具有G-ETH网口、Camera Link接口、CLHS接口、CXP接口、USB接口中的任意一种或多种，因此，图像采集器可接不同类型、不同数量的工业相机，如G-ETH网口相机、Camera Link接口相机或CLHS接口相机等。图像采集器通过不同的相机拍照取像后通过高速光纤链路或是高速Serdes信号链路将图像数据快速传输给核心板卡上的FPGA控制芯片。图像采集器的相机数量可以通过级联的方式灵活配置，实现不同的相机数量的切换。

远程控制设备通过光纤接口连接核心板卡，用于向核心控制器发送配置参数，并接收核心控制器输出的处理结果；还用于提供人机交互的界面操作。如图1所示，光纤接口0和光纤接口1通过40G光纤和主控电脑相连，用于人机交互的界面操作和读取相关的图像处理结果。

冗余设置的光纤接口2和光纤接口3可以灵活应用，可以用于级联各种光纤接口设备，如远程程控设备或是其他光纤接口设备，实现核心板卡同时与多个远程控制设备之间进行通信；核心板卡根据不同远程控制设备的请求顺序及独立编码的设备地址将请求数据，如图像数据或图像处理结果发送到对应的远程控制设备；另外，冗余的光纤接口也可以用于多个图像处理设备之间的级联。

本发明基于FPGA核心控制板和多个嵌入式GPU的架构，实现AOI图像处理系统的结构简单化、高度集成化、系统小型化，增强了系统的使用灵活性，通过不同的拆分配置可以实现功能的灵活性；嵌入式GPU的设计，使得系统不再依赖于多个计算的PC，节省了空间和成本；整个系统既可以用于当前的LCD和OLED的屏幕的AOI光学检测，也可以通过开发不同的算法适用于深度学习以及人工智能的应用场景。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种分布式架构的图像处理系统，其特征在于，包括核心控制器、多个嵌入式GPU；

所述核心控制器包括并行的地址通道、图像通道和结果通道；所述地址通道、图像通道和结果通道中的每一个均包含由多个耦合的通道单元形成的指令处理的流水线结构；

所述地址通道中的每个所述通道单元用于接收远程控制设备发送的配置参数；

所述图像通道中的每个所述通道单元用于接收待处理的图像数据并进行解码，根据所述配置参数将解码后的图像数据分发到对应的嵌入式GPU，由各所述嵌入式GPU执行并行数据处理；所述配置参数为远程控制设备根据所述图像数据的计算量确定的用来处理该图像数据的一个或多个嵌入式GPU对应的目标设备掩码；

所述结果通道中的每个所述通道单元用于接收所述嵌入式GPU对图像数据的处理结果并输出；

多个所述嵌入式GPU之间彼此互联，所述核心控制器将互联的多个嵌入式GPU虚拟化为一个整体GPU以实现多个嵌入式GPU之间的显存共享，并控制图像数据在多个嵌入式GPU之间进行均衡分配。

2.如权利要求1所述的图像处理系统，其特征在于，所述核心控制器还用于对与其通信的各设备进行地址编码；核心控制器根据编码后的设备地址将图像数据分发到对应的嵌入式GPU或远程控制设备，或将处理结果输出至对应的远程控制设备。

3.如权利要求1所述的图像处理系统，其特征在于，所述核心控制器为包含FPGA控制芯片的核心板卡，所述核心板卡上扩展有多路光纤接口和PCIE信号接口。

4.如权利要求3所述的图像处理系统，其特征在于，所述嵌入式GPU通过PCIE信号接口与FPGA控制芯片互联。

5.如权利要求3所述的图像处理系统，其特征在于，还包括至少一个图像采集器，用于采集图像数据并发送给核心控制器；所述图像采集器与核心板卡分离设置，并通过所述光纤接口与FPGA控制芯片互联。

6.如权利要求3所述的图像处理系统，其特征在于，还包括至少一个图像采集器，用于采集图像数据并发送给核心控制器；所述图像采集器设置于核心板卡之上，并通过Serdes信号接口与FPGA控制芯片互联。

7. 如权利要求5或6所述的图像处理系统，其特征在于，所述图像采集器具有G-ETH网口、Camera Link接口、CLHS接口、CXP接口、USB接口中的任意一种或多种。

8.如权利要求3所述的图像处理系统，其特征在于，还包括至少一个远程控制设备，所述远程控制设备通过光纤接口连接核心板卡，用于向核心控制器发送配置参数并接收核心控制器输出的处理结果，还用于提供人机交互的界面操作。

9.如权利要求3所述的图像处理系统，其特征在于，所述嵌入式GPU与核心板卡之间通过热插拔电路相连，以支持嵌入式GPU的热插拔并灵活配置嵌入式GPU的数量。

Images