CN111901153B

CN111901153B - 一种面向战术边缘的分散计算架构

Info

Publication number: CN111901153B
Application number: CN202010624796.3A
Authority: CN
Inventors: 杨海根; 李刚; 李禄阳; 孙旺
Original assignee: Nanjing University of Posts and Telecommunications
Current assignee: Nanjing University of Posts and Telecommunications
Priority date: 2020-07-02
Filing date: 2020-07-02
Publication date: 2022-11-01
Anticipated expiration: 2040-07-02
Also published as: CN111901153A

Abstract

本发明公开了分散式计算技术领域的一种面向战术边缘的分散计算架构，具有网络连接稳定，自动选择最优通信链路，适应性强，干扰小，资源利用率高等特点。包括以DANET网络为基础的若干个独立的通信子网组成的分层网络，每个所述通信子网中包括多个节点，每个所述节点既是进行信息收发的路由器也是分布式计算资源的计算单元；在每个所述通信子网中设定一个节点为群集头节点，所述群集头节点既是本级通信子网的成员，也是上一层通信子网的成员，所述群集头节点上运行的主程序为计算核心。

Description

一种面向战术边缘的分散计算架构

技术领域

本发明属于分散式计算技术领域，具体涉及一种面向战术边缘的分散计算架构。

背景技术

战术边缘（也称为“第一战术英里”）距离指挥中心很远，通讯和计算等资源有限。战斗节奏发生意外变化，导致网络连接性经常波动并且拓扑结构快速变化，这是一个高度动态且复杂的战场环境。这些变化决定了未来军事行动的高度灵活性和敏捷性是战术边缘上典型的“不确定的战争迷雾”，在如此严峻而复杂的战争环境中很难直接使用指挥中心的计算能力。如何使用先进的通信和计算技术构建面向战术边缘的新网络和计算架构，以实现对战场态势的快速感知，战术边缘节点之间资源的快速集成和调度以及高效的处理和战场信息传输是目前而言最重要的问题。

发明内容

为解决现有技术中的不足，本发明提供面向战术边缘的分散计算架构，具有网络连接稳定，自动选择最优通信链路，适应性强，干扰小，资源利用率高等特点。

为达到上述目的，本发明所采用的技术方案是：一种面向战术边缘的分散计算架构，包括以DANET网络为基础的若干个独立的通信子网组成的分层网络，每个所述通信子网中包括多个节点，每个所述节点既是进行信息收发的路由器也是分布式计算资源的计算单元；在每个所述通信子网中设定一个节点为群集头节点，所述群集头节点既是本级通信子网的成员，也是上一级通信子网的成员，所述群集头节点上运行的主程序为计算核心。

进一步地，不同的通信子网之间通过优化链路状态路由协议OLSR和按需平面距离向量路由协议AODV组合，并在数据包中添加“cost”信息建立通信链路。

进一步地，同一通信子网使用相同的频率并共享相同的信道；不同的通信子网使用不同的频率和信道。

进一步地，在同一通信子网中，计算单元向计算核心注册，计算核心维护计算单元列表，感知计算单元的上线和下线。

进一步地，在每个所述通信子网中，计算单元和计算核心的软件堆栈具有可编程计算框架与可编程网络框架。

进一步地，所述可编程计算框架包括包括解释器及由运行时环境形成的编程模型，所述编程模型包括计算单元模型、可编程语言模型和运行环境。

进一步地，所述可编程网络框架包括网络控制模块、网络交换模块和网络监控模块、网络感知编程接口和网络调度编程接口；所述网络控制模块提供网络感知编程接口和网络调度编程接口，并接收计算核心发布的任务分配计划，并结合网络连接状态图生成指令表，然后发送至对应的转发控制器和分组处理器；所述网络交换模块接收网络控制模块生成的网络编程指令表，并根据网络编程指令表进行数据包的处理和转发；所述网络监视模块负责监视组件的状态，收发统计信息和交换信息，响应网络感知编程接口发送的查询或统计命令，并与网络控制模块中的监视模块进行通信；所述网络感知编程接口驱动网络控制模块中的监视模块以收集信息；计算任务使用所述网络调度编程接口驱动网络控制模块，并根据网络状态和计算任务生成、发布和调整网络编程指令表。

进一步地，计算核心根据任务属性将任务分解成若干个子任务，并将各子任务交由指定的计算单元进行计算。

与现有技术相比，本发明所达到的有益效果：

（1）本发明以DANET网络为基础的若干个独立的通信子网组成的分层网络，并通过建立群集头节点建立不同层级通信子网的通信连接，网络连接稳定，计算资源分散在各个计算单元，资源利用率高；

（2）本发明通过改进的OLSR和AODV路由协议，实现路由和转发，通过设置频率和信道规则规避频道共享问题；

（3）本发明通过可编程计算框架和可编程网络框架，实现资源规划与调度，实现任务和资源的动态最优调度和冲突避免，降低整个网络资源协同处理系统的时间复杂度，提高任务组合的效率，减少资源提供者的负担，充分利用资源，使所有子任务顺利完成，并达到全局优化的目的。

附图说明

图1为本发明一种面向战术边缘的分散计算架构的系统框架图；

图2为本发明一种面向战术边缘的分散计算架构的DANET的网络框架图；

图3为本发明一种面向战术边缘的分散计算架构的计算核心和计算单元的架构图；

图4为本发明一种面向战术边缘的分散计算架构的DCOMP（分散式计算）软件堆栈框架图；

图5为本发明一种面向战术边缘的分散计算架构的可编程分散计算结点PDCN的框架图；

图6为本发明一种面向战术边缘的分散计算架构的可编程语言框架图；

图7为本发明一种面向战术边缘的分散计算架构的可编程网络框架图；

图8为本发明一种面向战术边缘的分散计算架构的资源感知过程框架图；

图9为本发明一种面向战术边缘的分散计算架构的资源计划和调度框架图；

图10为本发明一种面向战术边缘的分散计算架构的计算分载的工作流程框架图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

一种面向战术边缘的分散计算架构（DCOMPA），包括以DANET网络为基础的若干个独立的通信子网组成的分层网络，每个通信子网中包括多个节点，每个节点既是进行信息收发的路由器也是分布式计算资源的计算单元；在每个通信子网中设定一个节点为群集头节点，群集头节点既是本级通信子网的成员，也是上一层通信子网的成员，群集头节点上运行的主程序为计算核心。

本实施例将网络上的设备视为分布式计算资源而非仅仅是信息传输节点，并且定义了架构中应当包含的各个功能，即能够协调计算资源，协作计算，功能可编程，快速感知与快速响应，跨异构计算平台计算。本实施例中的分散计算架构基于分散自组织网络（DANET）网络模型，可以迅速、自动的构建独立的网络并进行自发的协作及计算；改进了路由转发控制，制定了拥塞控制策略。即让每个子网使用相同频率相同信道，不同子网使用不同频率和信道的规则解决了频道共享问题，通过统一的固定信道分配以及主、备用信道划分解决了信道分配问题，避免了信道的盲目使用以及信道资源的争用。优化链路状态路由协议（OLSR）和按需平面距离向量路由协议（AODV）路由协议，并针对战术边缘场景，基于动态链路成本，通过在数据包中添加“cost”信息（“cost”信息指到达某个路由所指的目的地址的代价）改进OLSR与AODV协议，以根据网络条件变化进行最优通信链路选择实现了路由和转发控制。利用节点丢包策略与消息权重计算模型进行拥塞控制，若无拥塞则将消息放入节点缓冲区，若有拥塞则进行新旧消息的权重比较，若新消息权重大则抛弃旧消息并将新消息放置缓冲区，直到缓冲区有足够的空间来容纳新消息。同时DCOMPA是对分布式环境中DANET的推广，通过扩展分布式计算核心的概念，定义了软件、硬件对象作为两个NCP（网络计算点）即计算核心（CC）、计算单元（CU）。区别于传统分布式计算体系结构，CC中主控程序和CU中计算程序执行于不同节点，CC也可承担DCOMPA的CU角色。CC负责维护所有流和CU位置以及资源信息列表，并在执行CC程序后及时更新，确保了计算数据的正确访问并保持了数据的一致性。接着提出了包含应用软件层、编程语言层、资源管理层、网络通信层、操作系统层和设备层的DCOMP软件堆栈，其中可编程计算框架与可编程网络框架是DCOMP的核心。DCOMP的可编程计算框架设计了可编程框架模型，即可编程分散计算节点（PDCN）；定义了可编程语言以及PDCN的编程模型；构建了支持可编程语言和模型的运行时环境；同时DCOMP的可编程网络框架设计了包含网络控制模块、网络交换模块、网络监视模块、网络感知编程接口以及网络调度编程接口的可编程的网络模型，解决了PDCN的网络调度和转发控制问题。在DCOMP的战术边缘发现和任务分解中，通过建立人物属性与任务潜在需求的关系映射模型，根据任务的多个属性找到任务组需求，为任务的计算和卸载提供支持，解决了计算节点资源与作战任务需求之间的不匹配导致资源利用率低下的问题。在DCOMP的实时资源感知和管理中，通过进行动态的资源管理与感知实现节点的互相感知，将固定资源（摄像机，存储，通信资源和各种传感器）注册到CC节点。各种实时变化的资源（实时CPU /内存使用情况，网络带宽）通过服务查询模块向CC节点查询/响应资源请求。解决DANET异构网络中复杂环境的安全性问题。在DCOMP的资源计划和调度中，根据任务参数和资源参数，定义了计划目标和相关约束，建立多任务计划模型。根据不同场景下的“任务号”和“资源号”的综合效率及变化规律，得出任务号与资源号的最优比例，建立相对最优的多任务安排方案，实现了任务和资源的动态最优调度和冲突避免，降低整个网络资源协同处理系统的时间复杂度，提高了任务组合的效率。在DCOMP的计算分载中，通过将任务分配到DANET节点上进行计算分流，解决了计算密集型应用程序大量计算资源消耗与有限资源的单个计算节点之间存在的矛盾。

以航母编队为例，将所有战舰装备看作节点，这些节点不仅可以作为路由进行信息收发也可作为分布式计算资源进行任务计算。

所有战舰装备可以根据装备类型或其他标准进行划分建立通信子网。例如：将航母编队划分为巡洋舰战斗群、驱逐舰战斗群、攻击潜艇战斗群、补给战斗群。战斗群与战斗群之间通过改进的OLSR与AODV路由协议，根据网络条件变化建立最优通信链路实现路由和转发。区别于传统建立方式，自适应路由协议实现了通信链路的去中心化，当中间路由节点出现问题，例如某一艘战舰损毁，那么整体网络将会自适应构建新的通信链路。战斗群内部，即子网将使用不同频率和信道规则规避频道共享问题。同时此航母编队将通过节点丢包策略与消息权重计算模型进行拥塞控制。

在航母编队中，将会选出一个计算核心CC以及多个计算单元CU。以航母作为计算核心为例，其相当于整个作战编队的服务中心，所有其他战舰作为CU向航母CC注册，CC负责维护所有的CU列表，感知计算单元的上线与下线。CC操作之后CU将会自行更新保持最新状态。CC同时承担了CU的计算职责。可编程的计算框架与网络框架为这个分布式计算资源的架构提供了基础，可编程的计算框架构建了可编程的运行时环境，每个战舰作为通信设备可以进行自定义的可编程式的指令维护。可编程的网络框架解决了每一个作为可编程的分散计算节点PDCN战舰的网络调度和转发控制问题。

在作战环境中，会出现大量任务以及各种不稳定因素，所以整体航母作战群需要对作战任务进行发现感知并将任务分解，航母编队通过建立潜在的装备与任务需求模型，以任务的属性为依据进行任务分组来分解任务，多个子任务交由各个合适的计算节点CU进行计算，解决计算资源与作战需求不匹配的低资源利用率问题。而恶劣的高动态的战场因素将导致每一个计算资源变得无比宝贵，所以计算资源的计划和调度尤为重要，根据任务参数和资源参数定义了计划目标和相关约束，建立多任务计划模型。根据不同场景下的“任务号”和“资源号”的综合效率及变化规律，得出任务号与资源号的最优比例，建立相对最优的多任务安排方案，实现了任务和资源的动态最优调度和冲突避免，降低整个网络资源协同处理系统的时间复杂度，提高了任务组合的效率。而整体作战编队的实时资源感知和管理又是进行资源计划调度的基础。作为CC的航母将进行动态的资源感知与管理，所有的CU战舰将各种资源注册到CC节点。所有的资源请求将通过作为注册中心的CC航母中的服务查询模块进行转发与响应。避免复杂环境的安全性问题。最终所有的任务以子任务的形式通过资源调度算法分发到航母作战群中的单个个体，实现了计算分载，解决了计算密集型应用程序大量计算资源消耗与有限资源的单个计算节点之间存在的矛盾。

战争的迅速转变，武器装备的升级，作战任务的不断扩大以及战场网络环境的不断变化，对计算、网络和指挥等环境要素提出了新的要求。鉴于DCOMP技术的主要技术概念和重要特性，可以满足未来战场网络的需求和发展趋势。经过分析，可以认为DCOMP是一种结合传感，计算，存储和智能处理技术的新型未来网络技术，可以有效提高军事网络的快速响应能力，网络传感能力和计算能力。DCOMP技术可以在以下方面应用于未来的战术边缘网络建设：1）DCOMP的高度动态和可编程网络协议的开发，使其能够适应战术边缘的弱连接，高度动态和易受攻击的环境，从而加快战术系统的建设；2）加快可编程计算节点和可编程网络的改革和推广。基于各种应用需求和网络条件，可以为适应各种设备和网络的分布式计算节点开发一种迁移解决方案，以对现有设备进行改造；3）DCOMP的在各种战术边缘任务中的进一步集成，为战术目标识别和跟踪，目标损伤分析和弹道分析等应用程序提供技术支持。

图1是本发明的系统框架图，它不仅将分散自组织网络上的设备视为信息传输的节点，而且看作分布式计算资源。它可以根据需要随时更改实时动态网络地址及实现计算资源的实时调度与分发。

图2是本发明所基于的DANET的网络框架图，由独立的通信子网（在每个虚拟框中）组成的分层网络。原始特征仍保留在每个通信子网中。在每个子网中选择一个节点作为群集头，并且该群集头不仅是该级别子网的成员，而且还是高级网络的成员；C1~C4是战术边缘子网，B1-1、B2、B3、B4是机动云基础设施，也是战术边缘子网的上一级通信子网，G1~G3是固定云基础设施（更高一级的通信子网）。所述每个群集头节点都具有路由器和计算主机的作用。需要运行面向战斗的应用程序，还需要运行相应的路由协议作为路由器终端。所述网络结构具有多跳，自组织，无基础架构，无中央，对等，拓扑变化，移动速率不同，节点随时加入或退出的特点。分散式Ad-hoc（点对点）网络中DANET节点之间的路由通常由多跳组成，且DANET具有网络可编程的特点，在拓扑不断变化的情况下进行网络节点的自主可编程。

图3是本发明的计算核心和计算单元的架构图，包括计算核心（CC）、计算单元（CU-1~CU-7），其中：计算核心（CC）主要包含在群集头节点上运行的主程序，该程序负责管理整个计算任务的执行过程，并在DCOMPA中抽象为应用程序计算核心；计算单元（CU-1~CU-7）主要包括在通用节点上运行的，负责特定计算任务的核心计算程序，并在DCOMPA中抽象为一个计算单元。

图4是本发明的软件堆栈框架图，包括应用软件层，编程语言层，资源管理层，网络通信层，操作系统层和硬件设备层；

编程语言层，即可编程计算框架，包括TCL（工具命令语言）解释器及其由运行时环境形成的编程模型。它为程序员提供了一组可用的解释指令，以编写具有分布式语义的应用程序。通过明确使用这些解释指令，用户可以专注于程序性能优化，例如CC和CU之间并行性的开发，而不必过多关注诸如底层资源的异构性，动态资源绑定和负载平衡之类的细节。

图5是本发明的可编程分散计算结点PDCN的框架图，其由硬件层、硬件适配层、操作系统层，可编程软件层组成。硬件层包括无线收发模块，各种传感器，计时器和其他计算硬件资源；硬件适配层提供各种类型的设备驱动器；操作系统（OS）层提供可编程软件层所需的多线程环境的所有标准功能和服务，固件提供了硬件资源调用，线程/文件/通信操作等必需的功能。可编程软件层为可编程语言提供运行时环境。

图6是本发明可编程语言框架图，其由脚本语言语法、基本脚本解释器与硬件核心部分组成。脚本语言语法包括了变量处理，表达式计算，流程控制等功能。基本脚本解释器使用开源语法解释器TCL，它为可编程语言提供了很好的可扩展性和可移植性。可以使用标准TCL将所有基本命令（例如switch，if，while和其他命令）定义为新的可编程脚本语法。硬件核心部分包括无线通信API，定时器API，图像设备API，地图API等应用程序接口。

图7是本发明的可编程网络框架图，分散式自组织网络中分散式计算节点的网络调度和转发控制是一个难题。可在每个节点之间交互使用的可编程网络编程模型和协议规范，可提供网络感知的编程接口和调度编程接口，连通性和带宽利用意识，路径状态阈值计算和故障分析，实时路径更改以及其他可编程功能；可编程网络框架：由网络控制模块、网络交换模块、网络监控模块、网络感知编程接口、网络调度编程接口组成；

网络控制模块：提供网络感知编程接口和网络调度编程接口，并接收计算核心发布的任务分配计划，并结合网络连接状态图生成指令表，然后发送至相关的转发控制器和分组处理器实现网络调度；

网络交换模块：接收网络控制模块生成的网络编程指令表，并根据该表进行数据包的处理和转发；这包括：包处理器：根据指令表中的匹配规则对数据进行过滤，并根据控制命令进行拆分，组合和调整，然后发送给转发控制器；转发控制器：根据指令表中的匹配规则过滤数据，并根据控制命令转发数据；网络编程指令表：包含转发和报文处理指令的命令列表，每行包括数据匹配描述；网络控制模块分发给网络交换模块的转发和报文处理指令；

网络监视模块：负责监视组件的状态，收发统计信息和交换信息，响应网络感知编程接口发送的查询或统计命令，并与网络控制模块的监视模块和网络交换模块进行通信，它主要包括：通道的数据流，质量和理论带宽以及通道每个节点的资源占用；

网络感知编程接口：驱动网络控制模块中的监视模块以收集信息，例如网络中的连接状态，带宽和数据流，该模块计算路径带宽利用率和状态阈值，分析和优化网络路径，定位故障，并实现网络感知编程；

网络调度编程接口：计算任务使用该接口驱动网络控制模块根据网络状态和计算任务生成，发布和调整网络编程指令表，以实现对网络的实时动态调度；网络随需应变。

图8是本发明的资源感知过程框架图，包括资源感知模块、一般节点（CU节点）的客户端代理、群集头节点（CC节点）的目录代理。CU节点通常负责各种任务的计算，需要通过服务注册模块将其自己的固定资源（摄像机，存储，通信资源和各种传感器）注册到CC节点。各种实时变化的资源（实时CPU /内存使用情况，网络带宽）通过服务查询模块向CC节点查询/响应资源请求。CC节点是群集头节点，负责管理CU节点的资源以及与外部CC节点进行通信和协作计算。通常，CC节点具有本地资源数据库（簇头数据库），服务注册模块，服务查询模块和全局资源数据库（簇头数据库2~N）。服务注册模块获取CC节点范围内的CU节点的资源数据，并存储在本地资源数据库中。 CC节点通过从其他CC节点收集资源数据来定期管理和备份整个DANET的计算资源数据。其他CC节点也可以从该CC节点的资源查询模式获取资源数据。

图9是本发明的资源计划和调度框架图。包括任务与资源映射模型、资源描述模型以及任务调度模块。任务与资源映射模型，针对指挥决策，战术机动，火力打击，情报侦察制定作战任务所需资源。资源描述模型，包括感知资源，通信资源，存储资源，计算资源等。根据各种资源决定资源的服务能力。任务调度模块，根据资源需求以及服务能力输入多任务调度模式，根据调度策略决定调度方式。

图10是本发明计算分载的工作流程框架图，其中包括边缘服务器发现、任务分割、卸载决策、远端执行和任务提交、任务边缘执行、结果反馈。边缘服务器发现，即查找可以在当前DANET中执行计算任务的协作计算节点；计算节点可以是位于远程数据中心或手持终端中的高性能计算机；任务分割，即在计算卸载的准备阶段，计算任务分段的结果对计算卸载的性能有重大影响。根据资源的发现，任务分段的粒度可以分为方法，模块和线程级别；卸载决策，即决定是否对CU节点执行计算卸载主要取决于开销，例如延迟，能耗，实时网络状况，CU节点本身的状态以及计算任务；远端执行和任务提交，该模块负责打包可编程代码和需要计算并发送到CU节点（可编程节点）的数据；任务边缘执行，根据可编程节点的执行过程，执行卸载到CU节点的程序；结果反馈，计算结果反馈是计算分流的最后一步。CU节点将计算结果反馈给CC节点后，CU节点与CC节点之间的网络连接被释放，计算卸载完成。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims

1.一种面向战术边缘的分散计算架构，其特征是，包括以DANET网络为基础的若干个独立的通信子网组成的分层网络，每个所述通信子网中包括多个节点，每个所述节点既是进行信息收发的路由器也是分布式计算资源的计算单元；在每个所述通信子网中设定一个节点为群集头节点，所述群集头节点既是本级通信子网的成员，也是上一级通信子网的成员，所述群集头节点上运行的主程序为计算核心；

不同的通信子网之间通过优化链路状态路由协议OLSR和按需平面距离向量路由协议AODV组合，并在数据包中添加“cost”信息建立通信链路。

2.根据权利要求1所述的面向战术边缘的分散计算架构，其特征是，同一通信子网使用相同的频率并共享相同的信道；不同的通信子网使用不同的频率和信道。

3.根据权利要求1所述的面向战术边缘的分散计算架构，其特征是，在同一通信子网中，计算单元向计算核心注册，计算核心维护计算单元列表，感知计算单元的上线和下线。

4.根据权利要求1所述的面向战术边缘的分散计算架构，其特征是，在每个所述通信子网中，计算单元和计算核心的软件堆栈具有可编程计算框架与可编程网络框架。

5.根据权利要求4所述的面向战术边缘的分散计算架构，其特征是，所述可编程计算框架包括解释器及由运行时环境形成的编程模型，所述编程模型包括计算单元模型、可编程语言模型和运行环境。

6.根据权利要求4所述的面向战术边缘的分散计算架构，其特征是，所述可编程网络框架包括网络控制模块、网络交换模块和网络监控模块、网络感知编程接口和网络调度编程接口；

所述网络控制模块提供网络感知编程接口和网络调度编程接口，接收计算核心发布的任务分配计划，并结合网络连接状态图生成指令表，然后发送至对应的转发控制器和分组处理器；

所述网络交换模块接收网络控制模块生成的网络编程指令表，并根据网络编程指令表进行数据包的处理和转发；

所述网络监视模块负责监视组件的状态，收发统计信息和交换信息，响应网络感知编程接口发送的查询或统计命令，并与网络控制模块中的监视模块进行通信；

所述网络感知编程接口驱动网络控制模块中的监视模块以收集信息；

计算任务使用所述网络调度编程接口驱动网络控制模块，并根据网络状态和计算任务生成、发布和调整网络编程指令表。

7.根据权利要求1所述的面向战术边缘的分散计算架构，其特征是，计算核心根据任务属性将任务分解成若干个子任务，并将各子任务交由指定的计算单元进行计算。