CN104820207A - 基于fpga、gpu和cpu混合架构的实时相关器 - Google Patents

Abstract

本发明提供一种基于FPGA、GPU和CPU混合架构的实时相关器，包括：信号采样模块，具有N个分别用于采样N路信号的通道；基于FPGA的信号预处理模块，设置为对每个所述通道所采样的信号依次进行混频、低通滤波和打包处理；基于CPU的解包模块，设置为对经过所述信号预处理模块打包处理的信号进行解包；基于GPU的信号处理及相关运算模块，设置为分别对解包后的N路信号依次进行多相滤波、傅立叶变换、相关运算和积分；以及基于CPU的控制模块，一方面设置为控制信号预处理模块和信号处理及相关运算模块进行相应处理，另一方面设置为存储和显示经过积分处理的信号。本发明既克服了FPGA逻辑资源有限无法大规模扩容的壁垒，又解决了CPU计算能力有限的问题。

Description

基于FPGA、GPU和CPU混合架构的实时相关器

技术领域

本发明涉及一种基于FPGA、GPU和CPU混合架构的实时相关器，适用于频谱分辨率要求较高的射电天文观测和微波遥感测量，如射电天文偏振观测、甚长基线干涉测量、微波全息法天线面形测量和综合孔径微波遥感技术等。

背景技术

综合孔径技术能够“化整为零”，将一台超级大望远镜等效为许多基线长短不同的小型双天线干涉仪，数据处理时又能“聚零为整”，将各个双天线干涉数据合并处理，因此，它能将许多小望远镜组成阵列达到一台超级大望远镜的效果。自20世纪50年代该技术问世以来，英国、澳大利亚、美国等相继建设了许多天线阵列，天线数量一般在数十上百台，但随着科学的发展和技术的进步，大规模综合孔径天线阵的需求越来越强。进入二十一世纪，国际上提出了许多大规模综合孔径天线阵建设计划，例如由澳大利亚、中国等10多个国家合作建设的平方千米阵(SKA)，天线数量达到数千架，数据处理时通过两两相关得到干涉条纹，对于数量为N的天线阵，相关次数为N(N-1)/2，因此当天线数量增多时相关运算的次数将乘方增长。

为了提高射电望远镜的灵敏度，增加接收机的带宽是一种行之有效的方法，澳大利亚国家望远镜设备(ATNF)设计的L波段超宽带馈源带宽从0.6GHz～4GHz，达到了6个倍频程，这直接带来数据采样速率的提升和数据量的增大。

为了增加望远镜的视场，提高望远镜的巡天能力，工程技术人员设计了多波束、焦面阵和相位阵接收机，这也致使信号通道数成倍数增加。

总之，天线阵、超宽带、多波束接收机等技术的使用都直接带来信号通道数倍增、处理带宽变宽、处理算法越发复杂、数据质量要求更高，这无疑给天文终端设计师们带来了极高的挑战。

申请号为201310029972.9的发明专利申请提供了一种基于CPU架构的大规模数字相关器及相关运算处理方法，该方法针对综合孔径望远镜成像领域中巨大交叉相关数而带来的计算量巨增、系统通信压力大等问题，提出了一种利用通用CPU计算架构进行数字相关运算来解决大规模数字相关问题的方法。但是，由于CPU的运算效率相对GPU较低、内存带宽有限，该方法在实施时需要建立数量庞大的CPU集群，系统复杂度、功耗和造价直线上升。

申请号为201410242862.5的发明专利申请提供了一种综合孔径微波遥感辐射计中多通道数字相关器，该数字相关器完全基于FPGA实现，虽然前后级相关单元均采用时分复用技术，一定程度的降低了数字相关器的资源消耗，但由于FPGA的逻辑资源有限，相关通道的数量依然有限；另外当输入信号的带宽增加时，系统资源的匮乏问题将更加突出。

申请号为201110123718.6和201410152102.5的发明专利都提供了一种用于微波全息法测量的相关机，都基于FPGA实现先傅立叶变换再交叉相乘的相关运算，但由于FPGA的资源有限，数字傅立叶变换的点数不可能太高，因此无法达到高频谱分辨率的相关计算，微波全息法的测量精度也会由此受限。

发明内容

针对上述现有技术的不足，本发明提供一种基于FPGA、GPU和CPU混合架构的实时相关器，利用严格时序的FPGA进行采样和预处理，采用具有超高并行处理能力的GPU进行信号处理和相关运算，采用CPU进行逻辑控制、存储和显示。既克服FPGA逻辑资源有限无法大规模扩容的壁垒，又解决CPU计算能力有限、大规模数字相关时需要建立数量庞大的CPU集群、系统复杂度、功耗和造价直线上升的问题，同时还保证了相关器的高精度时间要求和高频谱分辨率要求，系统灵活性和可扩展性极高。

为了实现上述目的，本发明采用如下技术方案：

一种基于FPGA、GPU和CPU混合架构的实时相关器，用于实现N路信号的高分辨实时相关运算，其中，N≥2，该实时相关器包括：

一信号采样模块，其具有N个分别用于采样所述N路信号的通道；

一基于FPGA实现的信号预处理模块，其连接至所述信号采样模块，并设置为对每个所述通道所采样的信号依次进行混频处理、低通滤波处理和打包处理；

一基于CPU实现的解包模块，其连接至所述信号预处理模块，并设置为对经过所述信号预处理模块打包处理的信号进行解包处理，以使其分解成N路信号；

一基于GPU实现的信号处理及相关运算模块，其连接至所述解包模块，并设置为分别对解包后的N路信号依次进行多相滤波处理、傅立叶变换处理、相关运算处理和积分处理；以及

一基于CPU实现的控制模块，其连接至所述信号预处理模块和所述信号处理及相关运算模块，并且一方面设置为控制所述信号预处理模块和所述信号处理及相关运算模块进行相应处理，另一方面设置为存储和显示经过所述信号处理及相关运算模块积分处理的信号。

前述一种基于FPGA、GPU和CPU混合架构的实时相关器，所述信号预处理模块包括：

N个连接至所述信号采样模块的混频器，所述N个混频器分别设置为对所述信号采样模块的N个所述通道所采样的信号进行数字混频处理；

N个一一对应地连接至所述N个混频器的低通滤波器，所述N个低通滤波器分别设置为对经过相应所述混频器处理的信号进行数字低通滤波处理；以及

一连接至所述N个低通滤波器的打包单元，其设置为按预定格式将经过所述N个低通滤波器处理的信号进行打包处理。

前述一种基于FPGA、GPU和CPU混合架构的实时相关器，所述信号处理及相关运算模块包括：

N个连接至所述解包单元的多相滤波器，所述N个多相滤波器分别设置为对所述解包单元分解出的N路信号进行多相滤波处理；

N个一一对应地连接至所述N个多相滤波器的傅立叶变换单元，所述N个傅立叶变换单元分别设置为对经过相应所述多相滤波器处理的信号进行傅立叶变换，以使其转换成相应的频域信号；

一连接至所述N个傅立叶变换单元的实时相关运算单元，其设置为根据所述N个傅立叶变换单元转换成的频域信号进行自相关运算和互相关运算；以及

一连接至所述实时相关运算单元的积分器，其设置为对所述实时相关运算单元输出的各运算结果进行积分。

优选地，所述实时相关器还包括连接在所述信号预处理模块与所述解包模块之间的高速传输网络模块。

优选地，所述高速传输网络模块为万兆交换网络或光纤传输网络。

进一步地，所述信号采样模块为AD转换器。

综上所述，本发明利用严格时序的FPGA进行采样和预处理，采用具有超高并行处理能力的GPU进行信号处理和相关运算，采用CPU进行逻辑控制、存储和显示，从而既克服了FPGA逻辑资源有限无法大规模扩容的壁垒，又解决了CPU计算能力有限、大规模数字相关时需要建立数量庞大的CPU集群、系统复杂度、功耗和造价直线上升的问题，同时还保证了相关器的高精度时间要求和高频谱分辨率要求，系统灵活性和可扩展性极高；此外，混合架构终端的软硬件升级也比较容易，由于是通用的架构平台，只需要简单升级GPU或增加GPU的数量即可提高处理性能，软件的升级只需要修改后重新编译即可，更为容易；最后，由于采用了GPU作为信号处理的核心，可以通过设置傅立叶变换的点数来改变频谱通道的带宽，频谱分辨率最高能达到几赫兹，适用于高精度的天文观测。

附图说明

图1为本发明的基于FPGA、GPU和CPU混合架构的实时相关器的软件结构框图；

图2为本发明的基于FPGA、GPU和CPU混合架构的实时相关器的硬件连接示意图；

图3为本发明的基于FPGA、GPU和CPU混合架构的实时相关器的数据处理流程图；

图4A为本发明的基于FPGA、GPU和CPU混合架构的实时相关器的一个实施例的测试结果图；

图4B为本发明的基于FPGA、GPU和CPU混合架构的实时相关器的另一个实施例的测试结果图；

图4C为本发明的基于FPGA、GPU和CPU混合架构的实时相关器的又另一个实施例的测试结果图。

具体实施方式

为使进一步深入了解本发明的技术手段与特征，谨配合附图再予举例进一步具体说明于后：

相关器是天文领域应用较为广泛的一种终端设备，它能将信号进行两两相关，以获得两信号之间的相似性，如信号的相位差；也可将信号进行自相关，以获得该信号的功率谱。为简单起见，假设有两个同频的信号和则自相关与互相关的定义分别为：(其中★表示相关，*表示共轭，表示卷积)。根据傅立叶变换定理，时域卷积对应频域相乘，即： $f*\left(t\right)\⊗f(-t)=F*\left(\mathrm{\ω}\right)\·F(-\mathrm{\ω}),f*\left(t\right)\⊗g(-t)=F*\left(\mathrm{\ω}\right)\·G(-\mathrm{\ω})\text{,}$ 其中·表示相乘。为了简化计算，可先将两路复数时域信号转换到频域，然后再完成两路复数信号的自相关和互相关计算，由于在频域只需相乘即可，因而使计算过程得到大大的简化，节省了软硬件资源与计算时间。

本发明的实时相关器基于上述原理实现，可对两路或多路信号进行高通道分辨率的实时相关运算(在图1和2的实施例中以两路信号为例进行说明)。在该实施例中，相关器包括依次连接的信号采样模块1、基于FPGA的信号预处理模块2、高速传输网络模块3、基于CPU的解包模块4、基于GPU的信号处理及相关运算模块5、以及基于CPU的控制模块6，其中，控制模块6还与信号预处理模块2相连。

下面结合图1和2对上述实施例中的各个模块进行详细描述：

信号采样模块1采用AD转换器实现，其具有两个分别用于采样A、B两路信号的通道。

信号预处理模块2用于对每个通道所采样的信号依次进行混频、低通滤波和打包处理，其包括：两个连接至AD转换器并分别用于对两个通道所采样的信号进行数字混频处理的混频器21、两个一一对应连接至两个混频器21并分别用于对经过相应混频器21处理的信号进行数字低通滤波处理的低通滤波器22、以及一连接至N个低通滤波器22并用于按预定格式将经过低通滤波器22处理的信号进行打包处理以便高速传输的打包单元23。如图2所示，信号预处理模块2通过Z-DOK接口与AD转换器通信，其所有组成部分均基于美国伯克利大学CASPER(卡斯帕)组织设计的ROACH-FPGA(可重构开放式架构硬件计算平台-现场可编程门阵列，其核心部件为Xilinx Virtex 5FPGA)硬件平台实现，并在Matlab/Simulink和Xilinx/System Generator联合软件平台环境下进行开发，采用图形化编程的方式，高效实现FPGA的设计构建。

高速传输网络模块3可以采用万兆交换网络或光纤传输网络等实现，在本实施例中采用的是万兆交换网络，其用于将经过信号预处理模块2打包的数据传输至解包模块4。

解包模块4集成在CPU中，其接收到数据后按照打包格式进行解包处理，以使其分解成两路信号，以便后续数据处理。

信号处理及相关运算模块5用于对解包后的两路信号分别依次进行多相滤波、傅立叶变换、相关运算和积分处理，其包括：连接至解包模块的两个多相滤波器51，分别设置为对解包模块4分解出的两路信号进行多相滤波处理，以完成频率通道的划分，并抑制信号中的镜像干扰和邻频干扰；一一对应连接至两个多相滤波器51的两个傅立叶变换单元52，分别设置为对经过相应多相滤波器51处理的信号进行傅立叶变换，以使其转换成相应的频域信号；一连接至两个傅立叶变换单元52的实时相关运算单元53，其设置为根据两个傅立叶变换单元52转换成的两个频域信号进行自相关运算和互相关运算；以及一连接至实时相关运算单元53的积分器54，其设置为对实时相关运算单元53的运算结果进行积分，以利用积分效应抑制随机噪声，同时压缩数据量减小存储空间。优选地，信号处理及相关运算模块5采用的GPU为NVIDIA(英伟达)公司的GeForce GTX TITAN型号，该模块的所有组成部分均基于CUDA(统一计算设备架构)进行程序设计开发，CUDA架构提供了一种并行计算平台和编程模型，可将用于图像处理、具有超高并行处理能力的GPU运用到普通运算处理中，从而大幅提升计算性能，解决复杂的计算问题。由于采用的GPU含有2688个CUDA核，内存访问带宽为288.4GB/s，而在CUDA架构的设计中一般将一个GPU作为一个网格节点，一个CUDA核作为一个线程块，往下再分子线程，这种三级结构能使并行计算的处理性能最大幅度的提升，另外简单增加GPU即可实现网格节点的扩容(计算性能的提升)，因此对大数据量的信号实时处理能够胜任。

控制模块6集成在CPU中，通过百兆网络与FPGA进行通信和监控，其一方面完成整个系统的逻辑和流程控制，包括系统初始化、FPGA程序加载、参数配置(如FFT点数、积分时间、多相滤波参数等)和状态查询、内存分配与回收、万兆交换网络监测等，另一方面设置为存储和图形显示积分处理的结果。

在本发明中，CUDA的编程模型是将CPU作为主控制器，GPU作为协处理器(数据处理器)。CPU和GPU协同来完成任务，其中，CPU负责处理强逻辑性和串行计算相关的工作，GPU则主要处理线程间可以高度并行的数据处理工作。在CUDA的架构下，如果确定了程序中的并行部分，程序就可以分为两个部分，一部分由CPU的处理，另一部分由GPU进行处理。CUDA整个程序包括main.cu、kernels.cu、dataread.cu、plot.cu、gencoeff.py等，其中，main.cu为主程序(该主程序实现控制模块的功能)，完成初始化设置、内存分配与回收、流程控制等；kernels.cu为GPU并行运算核程序，主要实现信号的并行处理，包括多相滤波、傅立叶变换、相关运算、积分等信号处理，其中，傅里叶变换使用了CUFFT库里的cufftExecC2C函数，多相滤波系数由gencoeff.py生成；dataread.cu完成10GbE网络数据的读取和CPU与GPU间数据交换(采用cudaMemcpy函数)；plot.cu将数据处理的结果进行实时显示并存储。

图3示出了本发明的主要数据处理流程，总体来说，采用CPU完成逻辑和流程控制，包括初始化、内存分配与回收、FPGA程序加载与参数配置、CPU与GPU间数据交换、数据获取、存储与显示等；采用FPGA进行采样和预处理、并将数据打包发送到10GbE网络；利用GPU并行运算来完成多相滤波、傅立叶变换、相关运算、积分等信号处理。具体来说，首先，由CPU完成初始化、并调用CUDA库函数为变量分配显存空间；然后，由FPGA加载二进制程序并启动程序、建立10G网络连接、通过AD转换器采样数据并对其进行预处理、再将预处理的数据发送至10G网络；然后，由CPU进行实时数据提取和解包、并调用CUDA库函数将数据拷贝至GPU；然后，启动在GPU上并行运行的核函数Kernel进行多相滤波、傅立叶变换、相关运算、积分等信号处理，核函数运行完后，将结果拷贝到CPU内存，CPU将结果进行显示与存储，程序循环运行直到接收停止命令退出。

下面通过一个具体的微波测量实例来进一步阐述本发明的技术方案：

如图2所示，由高性能频率综合器Agilent E8257D(未示出)产生51.2MHz、-10dBm的点频信号，经由功分器(未示出)功分两路，直接进入A/D转换器的A、B通道进行采样，由时钟信号源提供200MHz的采样时钟(由频率综合器提供外部频率参考)，ROACH开发板将采样获取的时域数据进行预处理后打包发送到10GbE网络，CPU接收到数据后进行解包后发送至GPU，GPU对数据进行信号实时处理后将结果返回至CPU，CPU对返回结果进行实时存储和显示。如图4A、4B和4C所示，三幅图依次表示在FFT点数为1024、32768、65536，积分时间为0.1s时获得的结果，每幅图从上至下四组数据依次为A通道自相关幅度、B通道自相关幅度、A、B两通道互相关幅度和相位，由于自相关幅度即为该信号的功率谱，因此该相关器除了获得两通道的相关结果外还可以测量各信号的频谱。从测量结果可以看出，频点精准的落在51.2MHz上，由于两通道信号为同一信号源功分所得，因此相位差也稳定在0度左右，其他频点的噪声本底相位差随意波动，测量结果与理论分析相符。随着FFT点数的增加，数据越来越密，谱分辨率越来越高。

使用本发明的混合架构高分辨率实时相关器时，首先将编译生成的二进制bof文件拷贝到ROACH-FPGA硬件平台的操作系统的相应目录下，然后在控制模块6上运行采用Python语言在linux操作系统下编写好的FPGA控制程序，以启动FPGA进行程序加载、参数配置、数据采样和打包发送，随后在控制模块6上运行CUDA编译生成的CPU/GPU混合程序，进行数据接收、信号实时处理、结果显示和存储。此处，可以通过控制模块6实时显示信号的处理结果，不但方便用户实时监测系统的运行状况，还可使用户根据运行结果进行快速调试；另外，通过控制模块6还可以监测FPGA、万兆网络的运行状态，能实现FPGA和万兆网络的动态配置。

此外，本发明采用了数字的混频器21与低通滤波器22，因而混频参数与滤波通带都极易设置与调整；通过选择多通道的AD转换器，加载多通道的FPGA和GPU处理程序，即可实现多通道相关器功能的快速切换，采样带宽与位数也可根据需求进行便捷更换；由于采用了GPU作为信号处理的核心，基于CUDA的GPU/CPU混合编程极其容易，不但缩短开发周期、降低成本，而且系统的升级换代更加便捷，例如通过设置数字滤波器的参数和傅立叶变换的点数即可改变系统带宽和频谱分辨率，通过增加GPU的数量即可实现系统的扩容等，因此，本发明具有很大的灵活性和可扩展性。

以上所述的，仅为本发明的较佳实施例，并非用于限定本发明的范围，本发明的上述实施例还可以做出各种变化。即凡是依据本发明申请的权利要求书及说明书内容所做的简单的、等效变化与修饰，皆落入本发明专利的权利要求保护范围。本发明未详尽描述的均为常规技术内容。

Claims (6)

1.一种基于FPGA、GPU和CPU混合架构的实时相关器，用于实现N路信号的高分辨实时相关运算，其中，N≥2，其特征在于，包括：

一信号采样模块，其具有N个分别用于采样所述N路信号的通道；

一基于FPGA实现的信号预处理模块，其连接至所述信号采样模块，并设置为对每个所述通道所采样的信号依次进行混频处理、低通滤波处理和打包处理；

一基于CPU实现的解包模块，其连接至所述信号预处理模块，并设置为对经过所述信号预处理模块打包处理的信号进行解包处理，以使其分解成N路信号；

一基于GPU实现的信号处理及相关运算模块，其连接至所述解包模块，并设置为分别对解包后的N路信号依次进行多相滤波处理、傅立叶变换处理、相关运算处理和积分处理；以及

一基于CPU实现的控制模块，其连接至所述信号预处理模块和所述信号处理及相关运算模块，并且一方面设置为控制所述信号预处理模块和所述信号处理及相关运算模块进行相应处理，另一方面设置为存储和显示经过所述信号处理及相关运算模块积分处理的信号。

2.根据权利要求1所述的基于FPGA、GPU和CPU混合架构的实时相关器，其特征在于，所述信号预处理模块包括：

N个连接至所述信号采样模块的混频器，所述N个混频器分别设置为对所述信号采样模块的N个所述通道所采样的信号进行数字混频处理；

N个一一对应地连接至所述N个混频器的低通滤波器，所述N个低通滤波器分别设置为对经过相应所述混频器处理的信号进行数字低通滤波处理；以及

一连接至所述N个低通滤波器的打包单元，其设置为按预定格式将经过所述N个低通滤波器处理的信号进行打包处理。

3.根据权利要求1所述的基于FPGA、GPU和CPU混合架构的实时相关器，其特征在于，所述信号处理及相关运算模块包括：

N个连接至所述解包单元的多相滤波器，所述N个多相滤波器分别设置为对所述解包单元分解出的N路信号进行多相滤波处理；

N个一一对应地连接至所述N个多相滤波器的傅立叶变换单元，所述N个傅立叶变换单元分别设置为对经过相应所述多相滤波器处理的信号进行傅立叶变换，以使其转换成相应的频域信号；

一连接至所述N个傅立叶变换单元的实时相关运算单元，其设置为根据所述N个傅立叶变换单元转换成的频域信号进行自相关运算和互相关运算；以及

一连接至所述实时相关运算单元的积分器，其设置为对所述实时相关运算单元输出的各运算结果进行积分。

4.根据权利要求1所述的基于FPGA、GPU和CPU混合架构的实时相关器，其特征在于，所述实时相关器还包括连接在所述信号预处理模块与所述解包模块之间的高速传输网络模块。

5.根据权利要求4所述的基于FPGA、GPU和CPU混合架构的实时相关器，其特征在于，所述高速传输网络模块为万兆交换网络或光纤传输网络。

6.根据权利要求1所述的基于FPGA、GPU和CPU混合架构的实时相关器，其特征在于，所述信号采样模块为AD转换器。