CN110442446A - 实时处理高速数字信号数据流的方法 - Google Patents

Abstract

本发明公开的一种实时处理高速数字信号数据流的方法，旨在提供一种具备扩展性和移植性的实时处理高速数据流的方法。本发明通过下述技术方案予以实现：在通用调度域中，系统控制器接收处理节点控制器上报资源状态和心跳检测信息，任务驱动器将实时计算图分解为多个任务组，向系统控制器申请每个任务组运行的计算资源，向对应的节点控制器发送各个任务组的执行请求；节点控制器接收任务组管理器的状态上报，响应任务驱动器的发送执行器文件，创建一个或多个任务组管理器，并上报资源使用情况；任务组管理器监控实时计算域中执行器的运行；实时计算域中每个执行器根据运行参数，实时处理从前置顶点输入的数据流，对高速数据信号流进行实时协同处理。

Description

实时处理高速数字信号数据流的方法

技术领域

本发明涉及一种可对高速数字信号数据进行分布式实时处理的结构和方法。

背景技术

随着计算机和信息技术的飞速发展，数字信号处理技术应运而生。数字信号处理是一门涉及许多学科而又广泛应用于许多领域的新兴学科，它是利用计算机或专用处理设备，以数字形式对信号进行采集、变换、滤波、检测、识别、估值等处理，以得到符合人们需要的信号形式。

在高速数字信号处理系统中，低层的信号预处理算法处理的数据量大，对处理速度的要求高，因此人们运用各种方法使数字信号处理理论算法能够实现高速的、实时的处理。高速实时信号处理是信号处理中的一个特殊分支，它是以DSP/FPGA作为核心处理器件，具有高速，实时的特点，被广泛应用在工业的关键领域，如对雷达信号的处理、对通信基站信号的处理等。随着技术的发展，前端传感器性能的不断提高，采样率和通道数的提升带来几十至数百Gbps数字信号流，针对如此高带宽的数字信号的实时处理需求，现有技术采用的处理方法，一种是针对特定的应用需求，在大规模FPGA、DSP节点构成的系统中，开发专用的FPGA、DSP程序进行处理，采用这种方法具备高性能和高实时性，但开发难度大、开发效率低、可靠性差，不具备可扩展性和移植性。另一种处理方法是由CPU组成分布式计算集群，FPGA、GPU、DSP等信号处理资源作为CPU的加速器，通过OPENCL、CUDA等方式调用，该方法虽然开发效率高，方便扩展和移植，但处理带宽有限，难以保证实时性。因此，迫切需要新的架构和方法实现高带宽信号数据流的实时处理。

发明内容

为了应对现有方法难以高效应对高带宽、强实时的信号处理需求，本发明提供一种开发难度小、具备高性能和高实时性，开发效率和可靠性高、并具备很强的扩展性和移植性的实时处理高速数字信号数据流的方法。

本发明采取的技术方案是：一种实时处理高速数字信号数据流的方法，具有如下技术特征：在逻辑上，将实时分布式处理结构分为通用调度域和实时计算域两个维度，定义一种实时计算图对协同任务进行描述和管理，其中，通用调度域包含系统控制器、任务驱动器、节点控制器和任务组管理器，实时计算域包含特定应用执行器和内置了大量通用的执行器，并且这些执行器通过实时总线进行互联；在通用调度域中，系统控制器接收处理节点控制器上报资源状态和心跳检测信息，任务驱动器申请计算资源/上报的运行状态，将实时计算图分解为多个任务组，向系统控制器申请每个任务组运行所需的计算资源，接着，向对应的节点控制器发送各个任务组的执行请求，周期监控每个任务组的执行情况，向系统控制器上报执行状态；节点控制器接收任务组管理器的状态上报，响应任务驱动器的发送执行器文件，任务组启动、停止、运行状态查询等请求，根据当前资源使用状况，创建一个或多个任务组管理器，与系统控制器维持心跳检测，并上报资源使用情况；任务组管理器通过参数注入、启动、停止、运行状态查询接口，监控实时计算域中执行器的运行；实时计算域中每个执行器运行在DSP处理器的一个处理核心或运行在FPGA芯片的一个分区上，根据运行参数，获取本操作顶点在计算图中与其它顶点的连接关系，并建立所有输入和输出数据虚通道，然后，启动本操作顶点的处理算法，实时处理从前置顶点输入的数据流，将处理完毕的数据发送到后置操作顶点，从而对高速数据信号流进行实时协同处理。

本发明相比于现有技术具有如下有益效果：

开发难度小，开发效率高，便于扩展和移植，可靠性好。本发明在逻辑上，将实时分布式处理结构分为通用调度域和实时计算域两个维度，定义一种实时计算图对协同任务进行描述和管理，在实时计算域内置大量的通用执行器操作，进行分布式实时处理，特定应用只需开发应用相关的算法代码，大大简化了应用开发的难度，提升了开发效率。当一个特定应用实时计算图中的顶点算法开发完成后，不仅可应用于当前应用，还可直接或做简单改动后复用到有类似功能需求的应用中。同时，由于高速信号数据流的处理程序由通用平台组件和专用算法组件两类组件组成，各类开发人员可聚焦到各自擅长领域进行开发和优化，非常有利于系统可靠性。

具备高性能和高实时性。本发明针对高带宽数字信号的实时处理需求，在逻辑上，将高速分布式实时处理系统分为通用调度域和实时计算域两个维度，计算资源和分布式任务的管理和维护放在通用调度域进行，实时分布式计算部分，则放在实时计算域中。在计算图中顶点执行器内部用FPGA逻辑或基于DSP实时操作系统进行开发，执行器之间采用高带宽的实时软、硬总线互联，使信号处理的响应时间可低至数毫秒。执行器内部直接通过内存进行数据的暂存，减少了数据存储的次数，缩短了信号处理的时间，可以有效的提高运算速度，并减少占用的硬件资源。

附图说明

下面结合附图和实施例对本专利进一步说明。

图1是本发明实时处理高速数字信号数据流的分布式处理结构逻辑关系示意图。

图2是图1实时分布式处理结构物理关系示意图。

图3是图1执行器内部组成示意图。

图4是图1实时分布式任务描述示意图。

图5是图1实时分布式任务内各元素关系示意图。

具体实施方式

参阅图1。根据本发明，在逻辑上，将实时分布式处理结构分为通用调度域和实时计算域两个维度，定义一种实时计算图对协同任务进行描述和管理，其中，通用调度域包含系统控制器、任务驱动器、节点控制器和任务组管理器，实时计算域包含特定应用执行器和内置了大量通用的执行器，这些执行器通过实时总线进行互联。在通用调度域中，系统控制器接收处理节点控制器上报资源状态和心跳检测信息，任务驱动器申请计算资源/上报的运行状态，将实时计算图分解为多个任务组，向系统控制器申请每个任务组运行所需的计算资源，接着，向对应的节点控制器发送各个任务组的执行请求，周期监控每个任务组的执行情况，并向系统控制器上报执行状态；节点控制器接收任务组管理器的状态上报，响应任务驱动器的发送执行器文件，任务组启动、停止、运行状态查询等请求，根据当前资源使用状况，创建一个或多个任务组管理器，与系统控制器维持心跳检测，并上报资源使用情况；任务组管理器通过参数注入、启动、停止、运行状态查询接口，监控实时计算域中执行器的运行；实时计算域中每个执行器运行在DSP处理器的一个处理核心或运行在FPGA芯片的一个分区上，根据运行参数，获取本操作顶点在计算图中与其它顶点的连接关系，建立所有输入和输出数据虚通道，然后，启动本操作顶点的处理算法，实时处理从前置顶点输入的数据流，并将处理完毕的数据发送到后置操作顶点，对高速数据信号流进行实时协同处理。

系统控制器与节点控制器是一对多的关系，系统控制器通过节点控制器上报的资源状态和心跳检测信息，维护系统中所有计算资源的信息、管理所有资源和所有分布式应用的管理，系统控制器与任务驱动器是一对多的关系，系统控制器通过任务驱动器上报的运行状态，维护系统中所有分布式任务的执行状态信息。

任务驱动器负责实时分布式任务的整个运行生命周期管理，可存在多个任务驱动器，它们在运行时，将描述分布式任务的计算图分解为多个任务组(计算图描述如图4、图5所示)，然后向系统控制器申请每个任务组运行所需的计算资源，接着，向对应的节点控制器发送各个任务组的执行请求。在分布式任务的每个任务组运行后，任务驱动器周期监控每个任务组的执行情况，并向系统控制器上报执行状态。

节点控制器负责一个节点的计算资源的管理，它管理的对象可以是一个DSP处理器的一个或多个处理核心，也可以是FPGA节点的一个或多个分区。节点控制器与系统控制器是多对一的关系，节点控制器与系统控制器维持心跳检测，并上报资源使用情况。

节点控制器与任务驱动器是多对多的关系，节点控制器可运行多个任务驱动器的任务组，任务驱动器的任务组也可运行到多个不同的节点控制器。节点控制器响应任务驱动器的发送执行器文件，任务组启动、停止、运行状态查询等请求，根据当前资源使用状况，启动、销毁一个或多个任务组管理器，并接收任务管理器的状态上报。

任务组管理器与执行器是一对多的关系，负责一个任务组中各个执行器的生命周期管理，任务管理器通过参数注入、启动、停止、运行状态查询等接口监控执行器的运行。

在物理结构上，实时处理高速数字信号数据流的系统包括一个或多个形成备份关系的系统控制节点和如图2所示的若干DSP/FPGA节点，系统控制节点与DSP/FPGA节点通过以太网等通用总线互联，DSP/FPGA节点之间通过RapidIO等高速总线互联，总线类型可采用但不限于LocalBus，PCIE。通信总线可采用但不限于以太网总线，

系统控制器、任务驱动器运行在系统控制节点，对于存在CPU核的DSP或FPGA节点，节点管理器、任务组管理器在该类节点的CPU核上运行，CPU与DSP、FPGA通过内部总线传输控制信息。

对于不存在CPU核的DSP或FPGA节点，节点管理器、任务组管理器可运行在系统控制节点，并通过远程接口控制DSP、FPGA执行器的运行，不存在CPU核的DSP或FPGA节点，需占用DSP一个处理核或FPGA一部分逻辑资源进行代理控制。

任务驱动器包含但不限于以下功能模块：实时计算图调度模块、任务调度模块。

系统控制器包含但不限于以下功能模块：集群资源管理模块，MR任务监控模块，前后端接口管理模块。

节点控制器包含但不限于以下功能模块：节点资源管理模块，任务组管理模块

参阅图2。实时分布式处理结构包括：围绕系统控制节点连接的算法库、分布式应用库、网页前端、外部系统和连接在调度总线与实时总线之间的并行DSP+FPGA节点，其中，算法库中存放操作对应的DSP、FPGA算法镜像及描述文件，分布式应用库存放多个算法单元编排形成的分布式计算图描述文件以及附属算法镜像文件。算法库与分布式应用库可以但不限定建立在节点系统控制上。

系统控制器以REST接口或其它通用的接口提供服务，接口功能包含但不限于：获取计算资源信息、提交任务、获取所有任务信息、获取单项任务执行统计信息、获取算法库信息、获取分布式应用库信息、增加算法、增加分布式应用。

提交的任务内容包含但不限于：任务计算图的描述文件，文件格式采用但不限于JSON文件格式，计算图操作顶点对应的DSP镜像文件列表、FPGA BIT文件列表。

提交的任务可通过但不限于用ZIP压缩格式进行封装，系统控制器负责解压任务压缩，启动任务驱动器。任务驱动器解析任务计算图的描述文件，把计算图分解为多个任务组，然后，为任务组申请资源，发送任务组程序，启动、监控任务组运行。

网页前端显示资源占用列表，显示运行的任务列表，通过图的方式实时显示单任务状态细节，显示算法库上传、下载、显示，在线选择算法库编排任务计算图形成分布式应用，分布式应用库上传、下载、显示，在线提交分布式任务，但网页前端提供的功能包括但不限于上述功能。

参阅图3。执行器包括DSP/FPGA执行器框架+应用程序算法和计算库，运行在DSP处理器的一个处理核心，或运行在FPGA芯片的一个分区上。DSP/FPGA执行器包含内置操作和应用定义操作两类。应用定义的操作采用单输入单输出的方式，内置操作可实现单输入单输出、单输入多输出、多输入单输出、多输入多输出的方式。内置操作包含但不限于映射、规约、排序、合并、取极值、分区汇集、分区发散、轮询分发。应用操作可实现任意信号数据处理操作，如信道矩阵求逆、编译码、调制解调、滤波、信号分选、深度神经网络推理等。

每个执行器运行体被加载后，执行器指令管理和数据集管理进行初始化。执行器管理器根据运行参数，一方面，获取本操作顶点在计算图中与其它顶点的连接关系，并建立所有输入和输出数据虚通道，另一方面，启动指定的操作，开始实时运算流程，并采集运算过程状态信息。数据集管理初始化完成后，接受其它执行器的连接请求，读写数据请求。数据集管理作为数据边的缓存结构，可根据应用需求，进行裁剪。

参阅图4、图5，分布式任务的计算图由两类基本元素组成：操作顶点，对应DSP/FPGA执行器；数据边，执行器之间的数据通道以及数据集缓存。

参阅图4、图5。分布式任务的计算图逻辑上可分解为两类交替出现的数据阶段和操作阶段，每个数据阶段包含输入操作节点集合、输出操作阶段集合、边集合，每个操作阶段包含操作顶点集合、操作执行指令、输入数据阶段集合、输出数据阶段集合，并且每个操作阶段中的每个操作指令对应一个DSP处理核，或FPGA一个分区，所有操作阶段可以分组到一个或多个阶段组中，一般是一个操作阶段组成一个阶段组，也可能是多个操作阶段合并组成一个阶段组，多个操作阶段合并到一个阶段组的条件是，每个操作阶段中的操作必须是单输入单输出的模式。每个阶段组由一个或多个任务组组成，每个任务组中包含的数据边独立不相干，包含的操作若不止一个，则操作之间必然是单输入单输出。分配计算资源按任务组的粒度进行，确保每个任务组运行在同一个计算节点上，有利于提高任务组内各个操作之间的通信效率。每个操作阶段中的操作指令相同，但执行参数可以不同。

以上所述为本发明较佳实施例，应该注意的是上述实施例对本发明进行说明，然而本发明并不局限于此，并且本领域技术人员在脱离所附权利要求的范围情况下可设计出替换实施例。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种实时处理高速数字信号数据流的方法，具有如下技术特征：在逻辑上，将实时分布式处理结构分为通用调度域和实时计算域两个维度，定义一种实时计算图对协同任务进行描述和管理，其中，通用调度域包含系统控制器、任务驱动器、节点控制器和任务组管理器，实时计算域包含特定应用执行器和内置了大量通用的执行器，并且这些执行器通过实时总线进行互联；在通用调度域中，系统控制器接收处理节点控制器上报资源状态和心跳检测信息，任务驱动器申请计算资源/上报的运行状态，将实时计算图分解为多个任务组，向系统控制器申请每个任务组运行所需的计算资源，接着，向对应的节点控制器发送各个任务组的执行请求，周期监控每个任务组的执行情况，向系统控制器上报执行状态；节点控制器接收任务组管理器的状态上报，响应任务驱动器的发送执行器文件，任务组启动、停止、运行状态查询等请求，根据当前资源使用状况，创建一个或多个任务组管理器，与系统控制器维持心跳检测，并上报资源使用情况；任务组管理器通过参数注入、启动、停止、运行状态查询接口，监控实时计算域中执行器的运行；实时计算域中每个执行器运行在DSP处理器的一个处理核心或运行在FPGA芯片的一个分区上，根据运行参数，获取本操作顶点在计算图中与其它顶点的连接关系，并建立所有输入和输出数据虚通道，然后，启动本操作顶点的处理算法，实时处理从前置顶点输入的数据流，将处理完毕的数据发送到后置操作顶点，从而对高速数据信号流进行实时协同处理。

2.如权利要求1所述的实时处理高速数字信号数据流的方法，其特征在于：节点控制器管理一个节点的计算资源，它管理的对象是一个DSP处理器的一个或多个处理核心，或是FPGA节点的一个或多个分区。

3.如权利要求1所述的实时处理高速数字信号数据流的方法，其特征在于：节点控制器与系统控制器是多对一的关系，节点控制器与系统控制器维持心跳检测，并上报资源使用情况。

4.如权利要求1所述的实时处理高速数字信号数据流的方法，其特征在于：节点控制器与任务驱动器是多对多的关系，节点控制器运行多个任务驱动器的任务组，任务驱动器的任务组运行到多个不同的节点控制器。

5.如权利要求1所述的实时处理高速数字信号数据流的方法，其特征在于：节点控制器响应任务驱动器的发送执行器文件，任务组启动、停止、运行状态查询请求，根据当前资源使用状况，启动、销毁一个或多个任务组管理器，并接收任务管理器的状态上报。

6.如权利要求1所述的实时处理高速数字信号数据流的方法，其特征在于：实时处理高速数字信号数据流的系统包括一个或多个形成备份关系的系统控制节点和若干DSP/FPGA节点，系统控制节点与DSP/FPGA节点通过以太网总线互联，DSP/FPGA节点之间通过RapidIO高速总线互联。

7.如权利要求1所述的实时处理高速数字信号数据流的方法，其特征在于：系统控制器、任务驱动器运行在系统控制节点，对于存在CPU核的DSP或FPGA节点，节点管理器、任务组管理器在该类节点的CPU核上运行，CPU与DSP、FPGA通过内部总线传输控制信息；对于不存在CPU核的DSP或FPGA节点，节点管理器、任务组管理器运行在系统控制节点，并通过远程接口控制DSP、FPGA执行器的运行，不存在CPU核的DSP或FPGA节点，占用DSP一个处理核或FPGA一部分逻辑资源进行代理控制。

8.如权利要求1所述的实时处理高速数字信号数据流的方法，其特征在于：实时分布式处理结构包括：围绕系统控制节点连接的算法库、分布式应用库、网页前端、外部系统和连接在调度总线与实时总线之间的并行DSP+FPGA节点，其中，算法库中存放操作对应的DSP、FPGA算法镜像及描述文件，分布式应用库存放多个算法单元编排形成的分布式计算图描述文件以及附属算法镜像文件。

9.如权利要求1所述的实时处理高速数字信号数据流的方法，其特征在于：执行器包括DSP/FPGA执行器框架+应用程序算法和计算库，运行在DSP处理器的一个处理核心或运行在FPGA芯片的一个分区上；DSP/FPGA执行器包含内置操作和应用定义操作两类，其中，内置操作包含映射、规约、排序、合并、取极值、分区汇集、分区发散和轮询分发，实现单输入单输出、单输入多输出、多输入单输出、多输入多输出的方式；应用定义的操作采用单输入单输出的方式，实现信道矩阵求逆、编译码、调制解调、滤波、信号分选、深度神经网络推理任意信号数据处理操作。

10.如权利要求1所述的实时处理高速数字信号数据流的方法，其特征在于：每个执行器运行体被加载后，执行器指令管理和数据集管理进行初始化，数据集管理初始化完成后，接受其它执行器的连接请求，读写数据请求；执行器管理器根据运行参数，一方面，获取本操作顶点在计算图中与其它顶点的连接关系，并建立所有输入和输出数据虚通道，另一方面，启动指定的操作，开始实时运算流程，并采集运算过程状态信息。