CN103093446B - 基于多处理器片上系统的多源图像融合装置和方法 - Google Patents

Abstract

本发明公开了一种基于多处理器片上系统的多源图像融合装置，能够提高融合系统的片上集成度，而且可以提高多源图像融合处理速度。该装置采用FPGA实现；FPGA上的处理器均为CPU软核，IP核为根据多源图像融合算法设计的用户IP核；CPU_A₁～CPU_A_n、重构IP核、片上计时器、片上以太网控制器和中断控制器均接入总线BUS0；CPU_A₁～CPU_A_n对应连接多分辨分解IP核IP_A₁～IP_A_n，局部处理器CPU_A₁～CPU_A_n均接入总线BUS1；IP_A₁～IP_A_n以及重构IP核均通过多端口存储控制器本地端口接口MPCM NPI接口接入MPMC，MPMC同时接入BUS0和BUS1。

Description

基于多处理器片上系统的多源图像融合装置和方法

技术领域

本发明属于图像融合技术领域，涉及一种基于多处理器片上系统的多源图像融合装置。

背景技术

多源图像融合是目标识别的预处理过程，通过融合得到目标图像能够获取多种传感器对于目标的有用信息，克服由单一传感器的局限性给目标识别带来的不利影响，提高对虚假目标的区别能力，从而满足装置的精确性、全天候性、抗干扰性。与单一图像目标识别装置相比，多源图像融合有原始图像海量数据存储，缓存数据吞吐量成级数增加，多路数据并行高速处理等问题，使信息处理系统的实时性有很大压力；同时图像融合系统为目标探测与识别系统的前置预处理环节，这要求该系统具有体积小、可扩展性强、重量轻等特点。目前解决该问题的技术有：①利用7片TMS320C32 DSP组成“红外/可见光双通道数字图像融合处理系统”，该系统中一片核心DSP(数字信号处理器)用于系统控制、各节点处理器初始化、任务调度与协调，不参与数据处理；另外6片DSP分为两组，分别对应一个通道，完成局部通道处理，及全局处理。此系统通过合理分配融合算法及任务调度可以达到双通道的实时处理要求，但难以满足多源图像处理系统的小体积、轻重量需求。②利用FPGA设计“双波段实时红外融合系统”。该系统利用FPGA(现场可编程门阵列)的吞吐率高、处理速度快的优势完成了拉普拉斯金字塔多分辨分解的双路图像融合单片实现。但该设计完全通过片内逻辑资源，未采用FPGA片内处理器来实现，由于其单纯的使用逻辑资源设计，其控制灵活度较低从而可扩展性较低。

发明内容

有鉴于此，本发明提供了一种基于多处理器片上系统的多源图像融合装置，根据多源图像融合算法的特点，将算法分解为4个步骤，分布在FPGA中的软核和用户IP核中实现，提高融合系统的片上集成度，而且可以提高多源图像融合处理速度。

为了解决上述技术问题，本发明是这样实现的：

一种基于多处理器片上系统的多源图像融合装置，该装置采用FPGA实现，该FPGA包括：局部处理器CPU_A₁～CPU_A_n、重构IP核、本地存储器、多分辨分解IP核IP_A₁～IP_A_n、片上计时器、片上以太网控制器、多端口存储控制器MPMC、总线BUS0、总线BUS1、融合判决处理器CPU₁～CPU_m和中断控制器；所述局部处理器和融合判决处理器为FPGA的CPU软核；重构IP核和多分辨分解IP核为根据多源图像融合算法设计的用户IP核，是使用片内逻辑资源设计的自定义硬件逻辑模块；

每个局部处理器和每个融合判决处理器均连接一个本地存储器，CPU_A₁～CPU_A_n、重构IP核、片上计时器、片上以太网控制器和中断控制器均接入总线BUS0；局部处理器CPU_A₁～CPU_A_n一对一地对应连接多分辨分解IP核IP_A₁～IP_A_n，局部处理器CPU_A₁～CPU_A_n均接入总线BUS1；IP_A₁～IP_A_n以及重构IP核均通过多端口存储控制器本地端口接口MPCM NPI接口接入MPMC，MPMC同时接入BUS0和BUS1；

片上以太网控制器，负责通过连接的外部以太网接口完成源数据输入和处理结果的输出；

MPMC，用于连接片外存储介质，采用片外存储介质存储待处理源数据以及融合处理中间量；

CPU_A₁～CPU_A_n，用于负责调用多分辨分解IP核IP_A₁～IP_A_n，及多分辨分解IP核与MPMC的数据吞吐交互控制，CPU_A及IP_A的个数n为源图像数；

IP_A₁～IP_A_n，用于并行执行多路源图像局部预处理及多分辨分解；每完成一级分解在MPMC连接的片外存储介质中存储相应层级的完成标志位；

CPU₁～CPU_m，每个CPU负责一个层级的图像序列融合判决，在检测到对应层级的完成标志位时执行本层级的图像序列融合判决；同时CPU₁还负责源数据传输控制，CPU_m还负责叠代重构控制；m为多分辨分解级数；

重构IP核，为所有融合判决处理器所共享，在CPU_m的控制下，负责多分辨图像序列叠代重构；

片上计时器，用于完成重构IP核叠代的定时；

中断控制器，负责响应片上定时器中断；

本地存储器，负责存放与其连接处理器的指令及本地数据。

较佳地，各CPU₁～CPU_m之间进一步通过快速简单连接FSL互联，各CPU₁～CPU_m之间通过FSL交互各自处理完成情况，CPU_m在确认CPU₁～CPU_m均完成本层级的图像序列融合判决后，立刻控制重构IP核执行多分辨图像序列叠代重构，并启动片上计时器计时。

基于上述装置，本发明还公开了一种多源图像融合装置的多源图像融合方法，该方法包括如下步骤：

步骤1、所述多源图像融合装置上电启动，进行初始化；

步骤2、CPU₁控制片上以太网控制器将外部多路图像源数据通过BUS0存储至MPMC连接的片外存储介质中，存储完毕时在该片外存储介质中置标志位A；

步骤3、CPU_A_l～CPU_A_n不断通过BUS1检测标志位A，当检测到标志位A时，CPU_A₁，CPU_A₂，……，CPU_A_n启动，调用各自的IP_A₁，IP_A₂，……，IP_A_n，IP_A₁～IP_A_n通过NPI接口和MPMC读写片外存储介质中的图像数据，并行完成各路图像数据的预处理及多分辨分解；

步骤4、其中一个多分辨分解IP核每完成多分辨分解中的一级j，即在MPMC连接的片外存储介质中置标志位B_j，j的取值范围为[1，m]；

步骤5、CPU₁～CPU_m不断通过BUS0检测标志位，当CPU_j检测到标志位B_j，立即启动完成对应级的图像序列融合判决；

步骤6、待CPU_m完成顶层图像序列融合判决后立即控制共享的重构IP核执行多分辨图像序列叠代重构过程，片上计时器开始计时，待重构过程时间超时后片上计时器触发中断，由中断控制器响应该中断并通知给CPU₁；重构IP核在叠代重构过程结束时产生标志位C，该标志位C自重构过程启动时即开始由CPU₁检测；

步骤7、当CPU₁检测到标志位C则通过片上以太网控制器将融合后的图像输出至外部；若CPU₁未检测到标志位C但检测到因超时而触发的中断，则CPU₁通过片上以太网控制器将错误信息输出至外部。

有益效果：

本发明将不同根据融合算法4个步骤的特点，将这4个步骤分布在软核和用户IP核中实现，提高融合系统的片上集成度，而且可以提高多源图像融合处理速度。具体来说：

(1)本发明采用局部处理器+多分辨分解IP核的结构实现融合算法中的预处理和多路分辨分解。由于这两个步骤需要多路同时处理，因此多分辨分解IP核采用用户IP实现且通过NPI接口连接MPMC，保证多分辨分解IP核可以快速同步地从MPMC所连接的片外存储介质中获取待处理数据并快速处理，而局部处理器只是负责控制，因此通过统一的BUS1连入MPMC，从而节省了MPMC的外部接口。

(2)本发明采用软核CPU负责完成融合算法中融合判决。每个软核CPU负责一个层级的融合判决，这里没有采用用户IP核基于如下两个原因：1、融合判决计算量不大，不需要采用采用用户IP核，可以采用速度相对较弱的通用软核CPU；2、更重要的是，这些软核CPU是检测到各自的标志位才执行动作，因此是顺序执行的，可以交替占用总线，因此不需采用专门的用户IP并行处理。采用CPU通过BUS连接MPMC可以节省了MPMC的外部接口。

(3)重构IP核负责完成融合算法中的叠代重构。由于叠代重构需要计算量比较大，而且是融合多路数据，因此采用一个用户IP实现，该用户IP通过NPI接口连接MPMC，不仅提高自身处理速度，还能够提高数据传输速度。

（4）鉴于本发明采用处理器+用户自定义IP处理算法中多源图像的多分辨分解过程，可灵活根据所需处理的源数量来灵活增减局部处理器及多分辨分解IP核数，而本发明对于该种处理算法的重构过程是根据所需分解的层数来配置融合判决处理器数目数。因此本发明系统具有一定的控制灵活度及可扩展性。

可见，本发明通过合理的配置，采用软核CPU和用户IP以及FPGA的各种片上资源组成了本多源图像融合装置，由于所有模块均在片上实现，因此提高了融合装置的集成度，而且体积远小于采用多DSP实现的融合系统。本发明极大程度的利用了FPGA的片上已有资源，在MPMC接口有限的情况下，根据融合算法各步骤的特点，分配软核CPU和用户IP所承担的工作，最大限度地提高多源图像融合处理速度。

附图说明

图1为多分辨分解的融合算法示意图。

图2为本发明基于多处理器片上系统的多源图像融合装置的组成框图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

如图1所示，多分辨分解的融合算法，包括如下4个经典步骤：（1）局部源图像预处理、（2）各源图像多分辨分解、（3）多路多分辨分解序列图像融合判决、（4）判决后图像重构。本发明采用FPGA构建了一种多源图像融合装置，该装置中有软核还有用户IP核，其中软核是厂商编制的通用IP核，用户IP核是用户编制的硬件逻辑处理模块，本发明根据融合算法4个步骤的特点，将这4个步骤分布在软核和用户IP核中实现，提高融合系统的片上集成度，而且可以提高多源图像融合处理速度。

图2为本发明基于多处理器片上系统的多源图像融合装置的组成框图。如图2所示，该装置采用FPGA实现，具体包括如下内部模块：局部处理器CPU_A₁～CPU_A_n、重构IP核CustomerIP_core、本地存储器LMB_BRAM、多分辨分解IP核IP_A₁～IP_A_n、片上计时器XPS_TIMER、片上以太网控制器XPS_ethernetlite、多端口存储控制器MPMC（Multi-PortMemory Controller）、总线BUS0、总线BUS1、融合判决处理器CPU₁～CPU_m和中断控制器XPS_Interrupt Controller。

其中，所有的局部处理器CPU_A₁～CPU_A_n、融合判决处理器CPU₁～CPU_m、XPS_TIMER、XPS_ethernetlite、XPS_Interrupt Controller、MPMC均为FPGA上的软核，CustomerIP_core和IP_A₁～IP_A_n为根据多源图像融合算法设计的用户IP核，是使用片内逻辑资源设计的自定义硬件逻辑模块；其他部分均为片上资源。

各组成单元的连接关系为：每个局部处理器CPU_A₁～CPU_A_n和每个融合判决处理器CPU₁～CPU_m均连接一个本地存储器；CPU_A₁～CPU_A_n、CustomerIP_core、XPS_TIMER、XPS_ethernetlite和XPS_Interrupt Controller均接入总线BUS0；局部处理器CPU_A₁～CPU_A_n一对一地对应连接多分辨分解IP核IP_A₁～IP_A_n，CPU_A₁～CPU_A_n均接入总线BUS1；IP_A₁～IP_A_n以及CustomerIP_core均通过MPCM NPI（多端口存储控制器本地端口接口）接入MPMC，MPMC同时接入BUS0和BUS1。

各组成单元的功能为：

XPS_ethernetlite（片上以太网控制器），用于连接外部的源数据，通过控制外部连接的以太网接口完成源数据输入和处理结果的输出；例如，连接外部上位机，上位机向本系统发送源数据，融合结果也输出到上位机。

MPMC，用于连接片外存储介质，采用片外存储介质存储待处理源数据以及融合处理中间量。各CPU和用户IP核希望处理的数据均是通过MPMC从片外存储介质中提取，处理后的数据也暂存到片外存储介质中。

CPU_A₁～CPU_A_n（局部处理器），用于负责调用多分辨分解IP核IP_A₁～IP_A_n，及多分辨分解IP核与MPMC的数据吞吐交互控制，CPU_A及IP_A的个数n为源图像数。

IP_A₁～IP_A_n(多分辨分解IP核)，用于并行执行多路源图像局部预处理及多分辨分解；每完成一级分解在片外存储介质中存储相应层级的完成标志位B。CPU_A_x+IP_A_x组成了一路源图像预处理及多分辨分解单元，其中CPU的主要作用是调用和控制IP核，而IP核才是真正进行融合计算的部分。

CPU₁～CPU_m(融合判决处理器)，每个CPU负责一个层级的图像序列融合判决，在检测到对应层级的完成标志位时执行本层级的图像序列融合判决；同时CPU₁还负责源数据传输控制，CPU_m还负责叠代重构控制；CPU个数m由多分辨分解级数所决定。

CustomerIP_core（重构IP核），为所有融合判决处理器所共享，用于在CPU_m的控制下，负责多分辨图像序列叠代重构。

XPS_TIMER（片上计时器），用于完成重构IP核叠代的定时。

XPS_Interrupt Controller（中断控制器），负责响应片上定时器中断，并通知给CPU₁。

LMB_BRAM(本地存储器)，负责存放与其连接的处理器指令及本地数据。

优选地，各CPU₁～CPU_m之间进一步通过快速简单连接（FSL）互联，各CPU₁～CPU_m之间通过FSL交互各自处理完成情况，CPU_m在确认CPU₁～CPU_m均完成本层级的图像序列融合判决后，立刻控制重构IP核执行多分辨图像序列叠代重构，并启动片上计时器计时。

以下为本系统的四级多分辨分解实施例具体工作流程：

步骤1、所述多源图像融合装置上电启动，进行初始化。初始化包括片上CPU和外部设备初始化。

步骤2、CPU₁控制片上以太网控制器将外部多路图像源数据通过BUS0存储至片外存储介质中，存储完毕时在该片外存储介质中置标志位A。

步骤3、CPU_A₁～CPU_A_n不断通过BUS1检测标志位A，当检测到标志位A时，CPU_A₁，CPU_A₂，……，CPU_A_n启动，调用各自的IP_A₁，IP_A₂，……，IP_A_n，IP_A₁-IP_A_n通过NPI接口和MPMC读写片外存储介质中的图像数据，并行完成各路图像数据的预处理及多分辨分解。

步骤4、其中一个多分辨分解IP核每完成多分辨分解中的一级j，即在MPMC的片外存储介质中置标志位B_j，j的取值范围为[1，m]。这里由于源图像大小及算法复杂度相等，所以IP_A₁，IP_A₂，……，IP_A_n所需时间相等，那么它们完成每一级分辨分解的时间相同，因此只要其中一个IP_A在完成多分辨分解中的一级后给出标志位B即可。本实施例中设m=4。

步骤5、CPU₁～CPU₄不断通过BUS0检测标志位B，当CPU_j(j=1，2，3，4)检测到标志位B_j(j=1，2，3，4)，立即启动完成对应级的图像序列融合判决。由于IP_A会顺序给出标志位B₁、B₂、B₃、B₄，那么CPU₁～CPU₄会顺序检测到标志位，从而启动各自操作。

步骤6、待CPU₄完成顶层图像序列融合判决后立即控制共享的CustomerIP_core执行多分辨图像序列叠代重构过程，并由XPS_TIMER记录重构过程时间，待重构过程时间超时后XPS_TIMER触发中断，XPS_Interrupt Controller将响应该中断并通知给CPU₁。CustomerIP_core在叠代重构过程结束时产生标志位C，该标志位C自重构过程启动时即开始由CPU₁检测。标志位C也可以暂存到片外存储介质中以供查询。

由于CPU₁～CPU₄还进一步通过FSL交互各自处理完成情况，因此一种较佳实施例是CPU₄在确认CPU₁～CPU₄均完成本层级的图像序列融合判决后，再控制CustomerIP_core执行多分辨图像序列叠代重构，并启动XPS_TIMER计时。

步骤7、当CPU₁检测到标志位C则通过片上XPS_ethernetlite将融合后的图像输出回至上位机。若CPU₁未检测到标志位C但检测到因超时而触发的中断，则CPU₁通过XPS_ethernetlite将error信息输出回上位机。

至此，本流程结束。

从上述流程可以看出，局部处理器CPU_A₁～CPU_A_n和多分辨分解IP核IP_A₁-IP_A_n组成了多路分辨分解部分，负责完成融合算法中的(1)和(2)两个步骤，由于这两个步骤需要多路同时处理，因此IP_A₁～IP_A_n是通过NPI接口连接MPMC的，由于根据算法设计的IP_A₁～IP_A_n本身处理速度快，且加上NPI接口传输速度快，保证IP_A₁～IP_A_n可以快速同步地从MPMC连接的片外存储介质获取待处理数据，而CPU_A₁～CPU_A_n不负责实质计算，只是负责控制，因此通过BUS1连入MPMC，用于确认标志位，从而节省了MPMC的外部接口。

CPU₁～CPU_m负责完成融合算法中的第（3）个步骤，由于融合判决步骤的计算量不大，因此本发明没有采用用户IP核，而是采用了速度相对较弱的通用软核CPU，这些软核CPU通过BUS0连入MPMC，节省了MPMC的外部接口；而且这些软核CPU是检测到各自的标志位才执行动作，因此是顺序执行的，交替占用总线，因此不需要向（1）和（2）两个步骤一样，采用专门的用户IP。

重构IP核负责完成融合算法中的第（4）个步骤，由于叠代重构需要计算量比较大，而且是融合多路数据，因此采用一个用户IP实现，该用户IP通过NPI接口连接MPMC，不仅提高自身处理速度，还能够提高数据传输速度。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于多处理器片上系统的多源图像融合装置，其特征在于，该装置采用FPGA实现，该FPGA包括：局部处理器CPU_A₁～CPU_A_n、重构IP核、本地存储器、多分辨分解IP核IP_A₁～IP_A_n、片上计时器、片上以太网控制器、多端口存储控制器MPMC、总线BUS0、总线BUS1、融合判决处理器CPU₁～CPU_m和中断控制器；所述局部处理器和融合判决处理器为FPGA的CPU软核；重构IP核和多分辨分解IP核为根据多源图像融合算法设计的用户IP核，是使用片内逻辑资源设计的自定义硬件逻辑模块；

每个局部处理器和每个融合判决处理器均连接一个本地存储器，CPU_A₁～CPU_A_n、重构IP核、片上计时器、片上以太网控制器和中断控制器均接入总线BUS0；局部处理器CPU_A₁～CPU_A_n一对一地对应连接多分辨分解IP核IP_A₁～IP_A_n，局部处理器CPU_A₁～CPU_A_n均接入总线BUS1；IP_A₁～IP_A_n以及重构IP核均通过多端口存储控制器本地端口接口MPCM NPI接口接入MPMC，MPMC同时接入BUS0和BUS1；

片上以太网控制器，负责通过连接的外部以太网接口完成源数据输入和处理结果的输出；

MPMC，用于连接片外存储介质，采用片外存储介质存储待处理源数据以及融合处理中间量；

CPU_A₁～CPU_A_n，用于负责调用多分辨分解IP核IP_A₁～IP_A_n，及多分辨分解IP核与MPMC的数据吞吐交互控制，CPU_A及IP_A的个数n为源图像数；

IP_A₁～IP_A_n，用于并行执行多路源图像局部预处理及多分辨分解；每完成一级分解在MPMC连接的片外存储介质中存储相应层级的完成标志位；

CPU₁～CPU_m，每个CPU负责一个层级的图像序列融合判决，在检测到对应层级的完成标志位时执行本层级的图像序列融合判决；同时CPU₁还负责源数据传输控制，CPU_m还负责叠代重构控制；m为多分辨分解级数；

CPU₁控制片上以太网控制器将外部多路图像源数据通过BUS0存储至MPMC连接的片外存储介质中，存储完毕时在该片外存储介质中置标志位A；CPU_A₁～CPU_A_n不断通过BUS1检测标志位A，当检测到标志位A时，CPU_A₁，CPU_A₂，……，CPU_A_n启动，调用各自的IP_A₁，IP_A₂,……,IP_A_n，IP_A₁～IP_A_n通过NPI接口和MPMC读写片外存储介质中的图像数据，并行完成各路图像数据的预处理及多分辨分解；

重构IP核，为所有融合判决处理器所共享，在CPU_m的控制下，负责多分辨图像序列叠代重构；

片上计时器，用于完成重构IP核叠代的定时；

中断控制器，负责响应片上定时器中断；

本地存储器，负责存放与其连接处理器的指令及本地数据。

2.如权利要求1所述的装置，其特征在于，各CPU₁～CPU_m之间进一步通过快速简单连接FSL互联，各CPU₁～CPU_m之间通过FSL交互各自处理完成情况，CPU_m在确认CPU₁～CPU_m均完成本层级的图像序列融合判决后，立刻控制重构IP核执行多分辨图像序列叠代重构，并启动片上计时器计时。

3.一种采用如权利要求1或2所述多源图像融合装置的多源图像融合方法，其特征在于，该方法包括如下步骤：

步骤1、所述多源图像融合装置上电启动，进行初始化；

步骤2、CPU₁控制片上以太网控制器将外部多路图像源数据通过BUS0存储至MPMC连接的片外存储介质中，存储完毕时在该片外存储介质中置标志位A；

步骤3、CPU_A₁～CPU_A_n不断通过BUS1检测标志位A，当检测到标志位A时，CPU_A₁，CPU_A₂，……，CPU_A_n启动，调用各自的IP_A₁，IP_A₂,……,IP_A_n，IP_A₁～IP_A_n通过NPI接口和MPMC读写片外存储介质中的图像数据，并行完成各路图像数据的预处理及多分辨分解；

步骤4、其中一个多分辨分解IP核每完成多分辨分解中的一级j，即在MPMC连接的片外存储介质中置标志位B_j，j的取值范围为[1，m]；

步骤5、CPU₁～CPU_m不断通过BUS0检测标志位，当CPU_j检测到标志位B_j，立即启动完成对应级的图像序列融合判决；

步骤6、待CPU_m完成顶层图像序列融合判决后立即控制共享的重构IP核执行多分辨图像序列叠代重构过程，片上计时器开始计时，待重构过程时间超时后片上计时器触发中断，由中断控制器响应该中断并通知给CPU₁；重构IP核在叠代重构过程结束时产生标志位C，该标志位C自重构过程启动时即开始由CPU₁检测；

步骤7、当CPU₁检测到标志位C则通过片上以太网控制器将融合后的图像输出至外部；若CPU₁未检测到标志位C但检测到因超时而触发的中断，则CPU₁通过片上以太网控制器将错误信息输出至外部。