CN103617592A

CN103617592A - 基于fpga+多dsp的高光谱图像高速并行处理系统及方法

Info

Publication number: CN103617592A
Application number: CN201310631876.1A
Authority: CN
Inventors: 郭文记; 吕群波; 明星; 赵宝玮; 张桂峰; 曾晓茹
Original assignee: Academy of Opto Electronics of CAS
Current assignee: Academy of Opto Electronics of CAS
Priority date: 2013-11-28
Filing date: 2013-11-28
Publication date: 2014-03-05
Anticipated expiration: 2033-11-28
Also published as: CN103617592B

Abstract

本发明提供一种基于FPGA+多DSP的高光谱图像高速并行处理系统，包括：数据采集及回收模块、多DSP并行处理模块，所述多DSP并行处理模块通过CPCI总线与数据采集及回收模块通信连接，所述多DSP并行处理模块包括多片信号处理器DSP的DSP簇以及与所述信号处理器DSP一一对应连接的SDRAM存储器，任意两片所述信号处理器DSP之间具有通信通道，所述多片信号处理器DSP之间并行连接且时间同步；所述数据采集及回收模块包括FPGA处理单元、接收待处理光谱数据的数据接口单元以及用于CPCI总线连接的PCI-PCI桥接单元，所述数据接口单元、PCI-PCI桥接单元均与FPGA处理单元连接。

Description

基于FPGA+多DSP的高光谱图像高速并行处理系统及方法

技术领域

本发明涉及图像处理技术领域，特别适用于大数据量高数据率的干涉高光谱图像复原、高光谱图像目标探测等领域，尤其是涉及一种基于FPGA+多DSP的高光谱图像高速并行处理系统及高光谱图像数据的处理方法。

背景技术

光谱图像数据（亦称高光谱数据立方体）是在普通二维图像之外增加了一维光谱信息，一般具有一百至几百个谱段，其光谱分辨率可达到10nm。高光谱图像提供了大量丰富的信息来识别和区分相似物质的光谱信息。相对于常规图像，高光谱图像具有更强的目标探测识别能力，广泛应用于包括环境监测、城市规划、灾害评估、农业生产等在内的多个领域。由于高光谱图像特殊的成像方式即可以同时观测空间信息和谱间信息，使其也具有图像复杂、海量数据的显著特点，这使得图像处理过程对于高性能计算的需求是十分迫切的，特别是应用在航天航空遥感的图像处理系统，需要具有高数据吞吐率、实时处理、方便传输及存储量大等特点。

上海海事大学提出的专利申请“一种基于FPGA及DSP功能的超高分辨率遥感图像实时处理平台”(专利申请号200910197035.8，公开号CN101783008A)公开了一种基于FPGA及DSP功能的超高分辨率遥感图像实时处理平台。该平台主要包括传感器组成的图像采集模块、有现场可编程门阵列FPGA芯片等组成的图像预处理模块，以及由数字信号微处理器DSP芯片等组成的遥感图像核心处理模块。可以对高分辨率遥感图像进行高速实时图像信号处理。但上述技术方案由于原图像使用传感器采集，图像格式和大小不够灵活，且核心处理模块由各DSP芯片组成，处理速度不够，不能够完成大图像和复杂算法的实时处理，也并不能够满足高数据吞吐率、实时处理、方便传输及存储量大等需求。

发明内容

（一）要解决的技术问题

本发明主要是解决现有技术所存在的数据处理速度慢，难以适应图像处理要求较高的需求，图像数据的实时传输能力较差等的技术问题，针对高光谱图像处理所需的高数据吞吐率、实时处理、及存储量大等要求，提供一种硬件架构合理、制造成本低、协调性好、方便传输的基于FPGA+多DSP的高光谱图像高速并行处理系统。

（二）技术方案

为解决上述技术问题，本发明提供一种基于FPGA+多DSP的高光谱图像高速并行处理系统，包括：数据采集及回收模块和多DSP并行处理模块，所述多DSP并行处理模块通过CPCI总线与数据采集及回收模块通信连接，所述多DSP并行处理模块包括多片信号处理器DSP以及与所述信号处理器DSP一一对应连接的SDRAM存储器，所述多DSP并行处理模块通过CPCI总线与数据采集及回收模块通信连接，任意两片所述信号处理器DSP之间具有通信通道，所述多片信号处理器DSP之间并行连接且时间同步；所述数据采集及回收模块包括FPGA处理单元、接收待处理光谱数据的数据接口单元以及用于CPCI总线连接的PCI-PCI桥接单元，所述数据接口单元、PCI-PCI桥接单元均与FPGA处理单元连接；

所述数据采集及回收模块用于接收外部待处理光谱数据并对所述待处理光谱数据进行预处理，生成预处理光谱数据以及对所述预处理光谱数据的数据处理策略，并基于所述数据处理策略将所述数据处理策略和预处理光谱数据的相关部分通过CPCI总线传送至与各信号处理器DSP对应的SDRAM存储器；其中，所述数据处理策略为对所述预处理数据处理时各信号处理器DSP被分配的任务；

各所述信号处理器DSP用于基于所述数据处理策略接收并处理所述预处理光谱数据的相关部分，并将处理完的光谱子数据通过CPCI总线向所述数据采集及回收模块发送；

所述数据采集及回收模块还用于接收各所述信号处理器DSP发送的光谱子数据，并基于数据处理策略的任务架构将接收的光谱子数据合并，得到所述待处理光谱数据的目标处理结果。

作为本发明的进一步改进，所述数据采集及回收模块还包括与FPGA处理单元连接的缓存存储器，用于暂存数据采集及回收模块接收的外部待处理光谱数据。

优选的，任意两片所述信号处理器DSP之间通过电连接实现通信。具体的，所述信号处理器DSP包括第一link口、第二link口、第三link口以及第四link口，所述第一link口与FPGA处理单元连接，第二link口、第三link口以及第四link口分别与其他信号处理器DSP的link口电连接。

优选的，各所述信号处理器DSP通过CPCI总线连接数据采集及回收模块，基于数据采集及回收模块的预配置与其他信号处理器DSP实现通信。

具体的，所述数据接口单元为具有多路LVDS入口的LVDS接口芯片，所述LVDS接口芯片的LVDS入口参数可被所述数据采集及回收模块配置。

具体的，所述基于FPGA＋多DSP的高光谱图像高速并行处理系统还包括存储设备、显示设备，所述存储设备、显示设备均与数据采集及回收模块连接，分别用于存储、显示所述待处理光谱数据的目标处理结果。

为解决上述问题，本发明还采用另一种技术方案：提供一种高光谱图像数据的处理方法，包括：

所述数据采集及回收模块通过接收数据接口单元外部待处理光谱数据并对所述待处理光谱数据进行预处理，生成预处理光谱数据以及对所述预处理光谱数据的数据处理策略，并基于所述数据处理策略将所述数据处理策略和预处理光谱数据的相关部分通过CPCI总线传送至与各信号处理器DSP对应的SDRAM存储器；其中，所述数据处理策略为对所述预处理数据处理时各信号处理器DSP被分配的任务；

各所述信号处理器DSP基于所述数据处理策略接收并处理所述预处理光谱数据的相关部分，并将处理完的光谱子数据通过CPCI总线向所述数据采集及回收模块发送；

所述数据采集及回收模块接收各所述信号处理器DSP发送的光谱子数据，并基于数据处理策略的任务架构将接收的光谱子数据合并，得到所述待处理光谱数据的目标处理结果。

具体的，所述数据采集及回收模块在接收外部待处理光谱数据的同时还将接收到的由多DSP并行处理模块发送处理完的光谱子数据，暂存在缓存存储器中。

（三）有益效果

区别于背景技术，本发明通过采用基于CPCI总线架构的FPGA+多DSP并行处理硬件架构，FPGA处理单元通过数据任务统筹分配与多DSP的核心算法并行处理，特别是各信号处理器DSP使用各自独立外总线存储器的数据存取方式，有效的解决了光谱数据高速、实时、方便传输、海量存储等处理要求，并在高光谱图像后续处理算法的并行化中，在时间效率上起到了明显的加速作用。同时系统具有很好的扩展性。

附图说明

图1是本发明基于FPGA+多DSP的高光谱图像高速并行处理系统的硬件处理部分架构图；

图2是一具体实施方式中数据采集及回收模块原理框图；

图3是基于图2实施方式中一具体实施例基于FPGA+多DSP的高光谱图像高速并行处理系统的模块原理框图；

图4是一实施方式中高光谱图像数据的处理方法流程示意图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

请参阅图1，本发明提供了一种基于FPGA+多DSP的高光谱图像高速并行处理系统，包括数据采集及回收模块以及多DSP并行处理模块，所述多DSP并行处理模块包括多片信号处理器DSP的以及与所述信号处理器DSP一一对应连接的SDRAM存储器。在图1中，多DSP并行处理模块是由高速并行处理板卡1～n构成的，其中，高速并行处理板卡1～n的处理器均为信号处理器DSP。

所述多DSP并行处理模块通过CPCI总线与数据采集及回收模块通信连接，，任意两片所述信号处理器DSP之间具有通信通道，所述多片信号处理器DSP之间并行连接且时间同步。

所述数据采集及回收模块包括FPGA处理单元、接收待处理光谱数据的数据接口单元以及用于CPCI总线连接的PCI-PCI桥接单元，所述数据接口单元、PCI-PCI桥接单元均与FPGA处理单元连接。在本发明具体的实施方式中，所述数据接口单元为具有多路LVDS入口的LVDS接口芯片，可接收多路LVDS数据。所述LVDS接口芯片的LVDS入口参数可被所述数据采集及回收模块配置。

所述数据采集及回收模块用于接收外部待处理光谱数据并对所述待处理光谱数据进行预处理，生成预处理光谱数据以及对所述预处理光谱数据的数据处理策略，并基于所述数据处理策略将所述数据处理策略和预处理光谱数据的相关部分通过CPCI总线传送至与各信号处理器DSP对应的SDRAM存储器；其中，所述数据处理策略为对所述预处理数据处理时各信号处理器DSP被分配的任务。

各所述信号处理器DSP用于基于所述数据处理策略接收并处理所述预处理光谱数据的相关部分，并将处理完的光谱子数据通过CPCI总线向所述数据采集及回收模块发送。

在本发明中，所述基于FPGA＋多DSP的高光谱图像高速并行处理系统还包括存储设备、显示设备，所述存储设备、显示设备均与数据采集及回收模块连接，分别用于存储、显示所述待处理光谱数据的目标处理结果。

图1所示架构采用基于CPCI Express标准总线传输的板级和板内并行的多级并行处理方式，提高了系统的数据处理能力及可扩展性。整个系统根据光谱相机产生的数据量大小选择LVDS传输链路的个数，以满足数据传输带宽需求。传输的光谱数据在数据采集及回收模块进行预处理，高速并行处理板卡即信号处理器DSP通过CPCI总线按照特定的数据处理策略获取数据，并将处理后的处理光谱子数据通过总线传回数据采集及回收模块，该数据采集及回收模块将处理光谱子数据重新合并并显示或存储得到目标处理结果。在此过程中，并行处理板卡间可以通过通信通道进行同步和状态通信，以达到最高的处理效率。各信号处理器DSP外挂独立的大容量存储器的方式，解决了光谱数据在计算时所需大容量存取的问题，与现有技术中采用共享总线存储器的多DSP紧耦合结构相比，避免了由共享总线竞争而带来的时间损耗，具有很强的应用针对性。本发明提供的技术方案在高光谱图像处理算法的并行化中，缩短了处理时间，同时又避免了DSP内存容量对光谱图像处理算法的限制，能够完成大图像和复杂算法的实时处理，且能够满足高数据吞吐率、实时处理、方便传输及存储量大等需求。

在本发明中，高速并行处理模块即DSP簇是整个系统的计算核心，其运算能力直接影响整个光谱图像数据处理的实时性。数据采集及回收模块作为整个系统的输入输出中心，需要具有大的数据吞吐和分配能力，还要实现多种接口形式，以配合高速数据处理核心完成数据的实时获取、处理等。在一具体的实施方式中，请参阅图2及图3，图2为数据采集及回收模块的具体模块图，所述FPGA处理单元采用Xilinx公司的FPGA—Virtex-II Pro^TM（XC2VP7），XC2VP7可以直接接收LVDS信号，具有较大的资源配置，可以完成光谱数据的预处理。数据接口单元采用型号DS90CR288的LVDS接口芯片，PCI-PCI桥接芯片为intel31154。为了实现巨大的数据吞吐量,数据采集及回收模块设置多路DDR-RAM（型号HYB25D512160BC）作为大容量高速图像数据缓存，用于暂存接收的外部待处理干涉数据和多DSP并行处理模块回传的子光谱数据结果。

具体的，信号处理器DSP的选择方案请参阅图3。由于需要做大量的浮点运算和FFT变换的复杂光谱数据处理算法，所以信号处理器DSP选用ADI公司的Tiger-SHARC处理器ADSP-TS201S。该DSP具有3.6GFLOPs的处理能力，拥有4路低压差分信号LVDS链路口（link，每通道数据传输率最高达4Gbps，为实现多片并行级联提供高速无缝连接。将板卡内4片ADSP-TS201S构成一个DSP簇，作为核心的并行处理单元，由ADSP-TS201S簇、FPGA、SDRAM、FLASH、PCI总线桥等构成。考虑光谱数据量大特点和受信号处理器DSP内存容量的限制，4片信号处理器DSP采用了松耦合与link口互联相结合的硬件拓扑结构，每个信号处理器DSP均包括四个link口，即第一link口（link0）、第二link口（link1）、第三link口（link2）以及第四link口（link3）。其中，每片信号处理器DSP的4个link口中的link1、link2、link3分别与其他3片信号处理器DSP的link口相连，如上图3所示，用做并行处理时相互间的状态通信和时间同步，本实施方式通过link通道不仅可以实现任意两信号处理器DSP间的状态通信与同步，还克服了现有技术中使用菊花链串接的方式而带来的信号处理器DSP相互间的同步状态通信不灵活的缺点，本实施方式对信号处理器的利用率高，处理速度快。信号处理器DSP另外的一个link0口都分别连接到FPGA处理单元上，作为FPGA处理单元分发光谱数据给4信号处理器DSP的专用数据传输通道。各信号处理器DSP外部总线上挂有独立的大容量SDRAM，这样，在信号处理器DSP处理光谱数据时，并不需要将数据读到信号处理器DSP内存中，而是直接在对存储在SDRAM中的光谱数据进行操作。在干涉光谱数据复原、异常探测等算法的并行化中，4片信号处理器DSP间的这种拓扑结构解决了信号处理器DSP内存的小容量对光谱数据块大小的限制，并在处理并行化的时间效率上得到很好的提高。在本实施方式中，FPGA处理单元还可以通过link0口实时协调各信号处理器DSP的工作状态、动态配置运算参数等。

在上述实施方式另一具体的实施例中，任意两片所述信号处理器DSP之间具有通信通道且时间同步通过以下技术方案实现。各所述信号处理器DSP的四个link口中，其中link0口还是与FPGA处理单元电连接，用作FPGA处理单元分发光谱数据给各信号处理器DSP的专用数据传输通道。各信号处理器DSP再选择其他一link口（假设为link1）与FPGA处理单元连接，把FPGA作为各信号处理器DSP link1口相互连接的选择开关，通过对FPGA进行link口通路选择连接配置，以实现任意两信号处理器DSP之间的状态通信和时间同步。

本实施方式上述提供的技术方案通过采用基于CPCI总线架构的FPGA+多DSP并行处理硬件架构，FPGA处理单元通过数据任务统筹分配与多DSP的核心算法并行处理，特别是各信号处理器DSP使用各自分开的高速link口作为数据传输通道和各自独立外总线存储器的数据存取方式，有效的解决了光谱数据高速、实时、方便传输、海量存储等处理要求，并在高光谱图像后续处理算法的并行化中，在时间效率上起到了明显的加速作用。同时系统具有很好的扩展性。此外，本实施方式所提出的技术方案的优点在于不仅适用于高光谱数据处理，同时也适用于一般图像处理领域，具有很强的通用性。

请参阅图4，本实施方式提供一种高光谱图像数据的处理方法，具体如下：

在步骤S401，所述数据采集及回收模块通过接收数据接口单元外部待处理光谱数据并将接收到的待处理光谱数据暂存在缓存存储器.

在步骤S402，对所述待处理光谱数据进行预处理，生成预处理光谱数据以及对所述预处理光谱数据的数据处理策略，其中，所述数据处理策略为对所述预处理数据处理时各信号处理器DSP被分配的任务。

在步骤S403，基于所述数据处理策略将所述数据处理策略和预处理光谱数据的相关部分通过各link0口分别传送至与各信号处理器DSP对应的SDRAM存储器。

在步骤S404，各所述信号处理器DSP基于所述数据处理策略接收并处理所述预处理光谱数据的相关部分，并将得到的处理光谱子数据通过CPCI总线向所述数据采集及回收模块发送。

在步骤S405，所述数据采集及回收模块接收各所述信号处理器DSP发送的处理光谱子数据，并基于数据处理策略的任务架构将接收的处理光谱子数据合并，得到所述待处理光谱数据的目标处理结果。

在具体的实施例中，上述过程为：首先，多路LVDS接口接收的海量数据缓存在采集回收模块的RAM（缓存存储器）中，见图2所示，根据要求FPGA实现光谱数据的预处理，并对系统硬件拓扑和软件拓扑的需求将数据通过CPCI总线按地址分配给各高速并行DSP处理模块。其次，各DSP板卡上的FPGA将CPCI总线上的光谱图像数据块缓存在DRAM中并根据具体的光谱数据处理算法的要求对4个DSP的任务进行分配，再通过各个Link口分别将数据传输给各DSP独立的外部存储器内，见图3所示。然后DSP根据特定的处理算法，对光谱数据直接实现高速处理，并将结果传回上级的数据回收模块。最后，数据回收模块中的FPGA再根据任务架构将各数据合并成最终结果进行数据存储和显示。在此过程中，FPGA还可以通过自定义总线实时协调各板卡的工作状态，动态配置运算参数等。

本实施方式提供一种具体的干涉光谱图像复原的处理方法。分析复原算法可以看出，干涉光谱图像复原是基于各列干涉点独立进行处理，可以按干涉点列拆分整个干涉数据给多DSP并行处理模块来做并行计算。所以基于上述的硬件结构，首先，数据采集及回收模块对接收的干涉数据进行包括数据噪声去除和相位修正等预处理后，通过CPCI总线传输给多DSP并行处理模块。其次，各DSP板卡上的FPGA对整个干涉图按干涉点列进行分割成4部分子数据并通过各link0口分别传送至与各信号处理器DSP对应的SDRAM存储器内。然后，各DSP读取相应干涉子数据、数据切趾、傅里叶变换（FFT）等反演处理，将得到的光谱子数据通过CPCI回传给数据采集及回收模块。最后，数据采集及回收模块将各DSP的子数据合并和做光谱辐射定标，得到最终存储或显示的光谱复原结果。

本发明的技术关键点在于：1）针对光谱数据高速并行处理而提出了一种基于高速总线传输的板级和板内多处理器并行的多级处理硬件架构。2）使用FPGA做任务统筹分配和多DSP专用于核心并行算法处理，各有分工的机制。3）针对高光谱数据处理算法的并行化要求而采用的多DSP之间的松耦合与link口互连相结合的网络拓扑结构。每片DSP分别占用一个高速link通道专用于光谱数据传输，其余的link口与其他DSP相互连接用于整个DSP网络间的状态通信和时间同步；各DSP使用各自独立外总线存储器的数据存取方式。

基于上述技术关键点本发明与现有技术相比具体有如下优势：

第一，由于本发明的系统中采用基于高速总线（CPCI总线）传输的板级和板内并行的多级处理方式，数据采集、回收模块与数据处理模块分开，克服了现有技术中并行化结构单一，可扩展性差的缺点，采用模块化设计，灵活的硬件和软件拓扑和固件升级方式，易扩展、易升级，方便实现各种算法的高效并行化。

第二，多片信号处理器DSP以松耦合和link口互连相结合的硬件拓扑结构，通过link通道可以实现任意两DSP间的状态通信与同步，克服了现有技术中使用菊花链串接的方式而带来的DSP相互间的同步状态通信不灵活的缺点，使得本发明对信号处理器DSP的利用率高，处理速度快。

第三,高光谱图像处理算法的特点要求参与并行计算的多DSP须各自拥有足够大容量的数据存储空间，本发明中的多DSP正是采用各自独立的link数据传输通道和各DSP外挂独立的大容量存储器的方式而并不采用数据共享总线存储器的架构，具有很强的应用针对性。这种多DSP并行处理既避免了由共享总线竞争而带来的时间损耗，又解决了光谱数据在计算时所需大容量存取的问题。相比较于现有技术共享总线存储器的多DSP紧耦合结构，本发明在在高光谱图像处理算法的并行化中，缩短了处理时间，同时又避免了DSP内存容量对光谱图像处理算法的限制。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种基于FPGA+多DSP的高光谱图像高速并行处理系统，其特征在于，包括：数据采集及回收模块和多DSP并行处理模块，所述多DSP并行处理模块通过CPCI总线与数据采集及回收模块通信连接，所述多DSP并行处理模块包括多片信号处理器DSP以及与所述信号处理器DSP一一对应连接的SDRAM存储器，任意两片所述信号处理器DSP之间具有通信通道，所述多片信号处理器DSP之间并行连接且时间同步；所述数据采集及回收模块包括FPGA处理单元、接收待处理光谱数据的数据接口单元以及用于CPCI总线连接的PCI-PCI桥接单元，所述数据接口单元、PCI-PCI桥接单元均与FPGA处理单元连接；

2.根据权利要求1所述的基于FPGA+多DSP的高光谱图像高速并行处理系统，其特征在于，所述数据采集及回收模块还包括与FPGA处理单元连接的缓存存储器，用于暂存数据采集及回收模块接收的外部待处理光谱数据。

3.根据权利要求1所述的基于FPGA+多DSP的高光谱图像高速并行处理系统，其特征在于，任意两片所述信号处理器DSP之间通过电连接实现通信。

4.根据权利要求1或3所述的基于FPGA+多DSP的高光谱图像高速并行处理系统，其特征在于，所述信号处理器DSP包括第一link口、第二link口、第三link口以及第四link口，所述第一link口与FPGA处理单元连接，第二link口、第三link口以及第四link口分别与其他信号处理器DSP的link口电连接。

5.根据权利要求1所述的基于FPGA+多DSP的高光谱图像高速并行处理系统，其特征在于，各所述信号处理器DSP通过CPCI总线连接数据采集及回收模块，基于数据采集及回收模块的预配置与其他信号处理器DSP实现通信。

6.根据权利要求1所述的基于FPGA+多DSP的高光谱图像高速并行处理系统，其特征在于，所述数据接口单元为具有多路LVDS入口的LVDS接口芯片，所述LVDS接口芯片的LVDS入口参数可被所述数据采集及回收模块配置。

7.根据权利要求1所述的基于FPGA＋多DSP的高光谱图像高速并行处理系统，其特征在于，还包括存储设备、显示设备，所述存储设备、显示设备均与数据采集及回收模块连接，分别用于存储、显示所述待处理光谱数据的目标处理结果。

8.一种基于权利要求1-7任一项所述系统的高光谱图像数据的处理方法，其特征在于，包括：

9.根据权利要求8所述的高光谱图像数据的处理方法，其特征在于，所述数据采集及回收模块在接收外部待处理光谱数据的同时还将接收到由多DSP并行处理模块发送处理完的光谱子数据，并都暂存在缓存存储器中。