CN110839220B

CN110839220B - 一种基于无线自组网的分布式计算方法

Info

Publication number: CN110839220B
Application number: CN201911029044.6A
Authority: CN
Inventors: 张文健; 汪菊琴
Original assignee: Wuxi Institute of Technology
Current assignee: Wuxi Institute of Technology
Priority date: 2019-10-28
Filing date: 2019-10-28
Publication date: 2022-12-20
Anticipated expiration: 2039-10-28
Also published as: CN110839220A

Abstract

本发明公开了一种基于无线自组网的分布式计算方法，在无线自组网应用的一些特定环境中，一些计算任务无法通过获取高性能计算设备来完成。本发明针对这种情况，提出一种基于无线自组网的分布式计算方法和系统，通过将计算任务分解，分发给无线自组网中的通信节点进行分布式计算。本发明方案充分利用通信节点的计算能力实现计算任务的分布式计算，提高了计算效率。

Description

一种基于无线自组网的分布式计算方法

技术领域

本发明涉及无线通信、分布式计算技术领域，具体涉及一种基于无线自组网的分布式计算方法。

背景技术

分布式计算系统由多个相互连接在一起的计算节点（计算机或服务器）组成，并且其中的任何一个点都可以通过通信链路与另一个节点通信。在这种系统中，不存在一个处理和控制中心，网络中任一节点都至少和另外两个节点相连接，信息从一个节点到达另一节点时，可能有多条路径。同时，网络中各个节点均以平等地位相互协调工作和交换信息，并可共同完成一个大型任务。在整个系统执行一个任务时，需要进行大量计算的项目数据通常分割成小块，由多台计算机分别计算，再上传运算结果后统一合并得出数据结论。分布式计算系统如图1所示。

在无线通信领域，无线自组网是一种与传统无线蜂窝网络完全不同的新型无线网络架构，网络中的节点之间都是对等的，每个节点都可以发送和接收信号。相比传统蜂窝网络，无线自组网具有组网灵活简便、网络可靠性高以及覆盖范围大等优点。无线自组网架构示意图如图2所示。

无线自组网是由空间分布的通信节点以及节点之间的无线通信链路组成。为了处理高速业务数据，通信节点通常配备高性能DSP或/和FPGA硬件处理器，以及高性能存储设备等，从性能角度可以视为一个高性能计算节点。而对于通信链路，随着宽带通信技术和MIMO技术的应用，无线链路的通信速率能够达到几十兆，甚至上百兆，足以支撑节点之间进行稳定、可靠、高速通信。即使两个节点之间无法直接通信，也可以通过多跳传输进行通信。因此，从形式上来讲，无线自组网络可以视为一个分布式计算系统。

与传统的分布式计算系统不同的是，无线自组网的通信节点的软硬件架构与计算机不同，且其主要功能是进行无线通信。但对于不参与通信的节点，或者计算能力有富余的节点，可以用来参与计算任务。另一方面，无线自组网的通信节点依靠无线链路进行通信，其性能无法与传统的分布式计算系统的有线通信链路相媲美。由于无线链路性能可能无法满足数据传输需求，两个节点之间的传输路径会受到限制，但对于一些数据包较小或对时延不敏感的计算任务，无线链路性能不会对整个任务的完成产生较大的影响。

在一些领域和垂直行业，例如军队、能源行业等，无线自组网通常在一些封闭环境或野外环境中应用。在这种环境下，通常不会存在数据中心或者网络等基础设施，如果存在诸如数据分析等计算任务，将无法获取高性能的计算设备完成任务。因此，本发明提出一种基于无线自组网的分布式计算方法和系统，用于满足一些特定使用场景下的计算需求。

发明内容

针对上述存在的技术不足，在无线自组网应用的一些特定环境中，一些计算任务无法通过获取高性能计算设备来完成。本发明针对这种情况，提出一种基于无线自组网的分布式计算方法和系统，通过将计算任务分解，分发给无线自组网中的通信节点进行分布式计算。本发明方案充分利用通信节点的计算能力实现计算任务的分布式计算，提高了计算效率。

为解决上述技术问题，本发明采用如下技术方案：

本发明提供一种基于无线自组网的分布式计算方法，包括如下步骤：步骤一：确定接入节点和汇聚节点

网络任何通信节点均可作为网络对外的接入节点，在计算任务开始前用于接收外部设备提交的计算任务的通信节点为接入节点，在计算任务完成后接入节点作为汇聚节点收集和合并计算结果，并传输给提交计算任务的设备；

步骤二：接入节点进行计算任务分解

在进行计算任务数据包分解前，接入节点获取网络中其他通信节点的信息来确定参与计算任务的计算节点集合、分解后的计算任务数据包的数目和每个数据包的大小；

步骤三：接入节点进行计算任务数据包的分发与计算节点执行计算任务

接入节点根据无线自组网通信协议将数据包对应地传输给计算节点集合中的每个计算节点，计算节点在接收到数据包后，根据通信协议对接收数据包进行解调，获取计算任务；计算节点获取计算任务后，在每个时间单元内根据能够提供的计算能力执行计算任务；

步骤四：接入节点作为汇聚节点进行计算任务的汇聚

接入节点在计算任务完成后作为汇聚节点收集计算结果，所有参与计算任务的计算节点将获得的计算结果分别传输给汇聚节点，汇聚节点将所有计算结果进行合并后，发送给提交计算任务的设备。

优选地，接入节点需要获取网络中其他通信节点的信息的具体步骤如下：

（1）网络中的通信节点建立和维持一个邻节点路由表，并通过广播的方式将邻节点路由表发送出去；

（2）网络中的其他通信节点基于一段历史时间内的负载水平评估自身能够提供的平均计算能力；

（3）网络中的其他通信节点通过广播的方式将历史平均计算能力发送出去；

（4）以平均计算能力除以非计算耗时的取值作为量化指标，用于从其他通信节点中筛选参与计算任务的计算节点；其中，非计算耗时主要包括传输耗时和信息处理耗时，非计算耗时与传输路径跳数以及计算节点需要接收的数据包数成正比；

（5）接入节点将网络中的其他通信节点对应的量化指标按照从大到小进行排序，并取前M个节点参与本次计算任务；其中，M个节点能够提供的计算能力之和使得计算任务在规定的计算耗时内完成；

（6）接入节点在确定参与计算任务的计算节点集合后，根据每个计算节点的情况划分计算任务数据包；

（7）根据网络中其他通信节点发送的邻节点路由表，接入节点确定其与计算节点之间的传输路径，以及每条传输路径的跳数；

对于参与计算任务的计算节点，如果与接入节点之间存在多条传输路径，对于每条传输路径，计算传输跳数与计算节点对应的数据包数目的乘积，最终选择乘积最小的路径作为该计算节点的传输路径。

优选地，步骤（1）中所述的每个通信节点与其对应的邻节点之间的无线链路传输质量不小于预设的无线链路质量门限。

优选地，步骤（6）中划分数据包的大小包括如下三种情况：

1）根据预定义的映射关系，计算节点的平均计算能力能够映射为可处理的比特数目，在规定计算耗时内，计算节点的总计算能力可映射为一个比特数目，令其数据包的比特数目为P1；

2）若接入节点和计算节点之间包含多跳传输路径，整条路径的传输能力受限于传输能力最弱的一跳，设其对应的数据包的比特数目为P2；

3）根据无线通信标准规定的最大数据包的比特数目，令其数据包的比特数目为P3；

对于每个计算节点，其对应的数据包的比特数目P取值为P1、P2和P3三者中的最小值；若P<P1，计算节点对应的数据包数目取值为P1/P的整数部分，否则对应的数据包数目取值为1。

优选地，步骤（8）首先根据步骤（6）中第一种情况获得P1，其次根据步骤（6）中第二种情况分别获得每条路径对应的P2，然后取P1/P2的整数部分，进而获得该计算节点在不同传输路径情况下需要接收的数据包数目。

优选地，若步骤三中的计算节点获取计算任务后，在当前时间单元内，当所有软硬件资源用于通信任务，则暂停计算任务，当有软硬件资源可以投入到计算任务时，则重启计算任务。

一种基于无线自组网的分布式计算的系统，包括若干组相互通信的单元模块，所述单元模块包括信息收发单元和计算单元，计算节点、接入节点、汇聚节点均对应一个单元模块。

优选地，接入节点或者汇聚节点的计算模块包括评估单元、排序单元、选取单元、分解单元以及合并单元；

所述评估单元用于评估获取到的计算任务所需的计算资源；

所述排序单元用于将网络中每个节点对应的量化指标按照从大到小进行排序；

所述选取单元用于根据量化指标确定M个参与计算任务的计算节点；

所述分解单元用于将计算任务分解为不同的数据包；

所述合并单元用于将不同计算节点提交的计算结果进行合并

本发明的有益效果在于：

（1）在一些无线自组网应用的特定环境中，计算任务无法通过获取高性能计算设备来完成，本发明方案为这些计算任务的执行提供了解决途径。

（2）本发明利用了无线自组网节点的闲置计算能力，提升了资源利用率。

（3）本发明充分利用了无线自组网具有分布式节点的特性，采用分布式计算方法执行计算任务，提高了计算效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有的分布式计算系统示意图；

图2为现有的无线自组网架构示意图；

图3为本发明的方法的流程图；

图4为本发明系统的示意图；

图5为本发明实施例中的无线自组网示例图；

图6为本发明实施例中的邻节点路由表。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图3所示，本发明提供了一种基于无线自组网的分布式计算方法，在本发明方案中，假设无线自组网已经建立并正常工作，各通信节点之间可以进行稳定可靠通信。对于网络中的任意两个通信节点，在无法直接进行通信的情况下，可以通过其他通信节点中继传输进行通信。对于一些规模较大的网络，较多跳数的传输将造成传输时延和传输性能不能满足业务要求，因此本发明方案限制网络最大跳数为N，后续技术方案都是基于最大跳数限制进行设计的；

具体包括如下步骤：

步骤一：首先进行接入节点和汇聚节点的确定，网络任何通信节点都可以作为网络对外的接入节点，在计算任务开始前用于接收外部设备提交的计算任务的通信节点为接入节点；也就是说提交计算任务的机器或设备可以通过最方便利用的通信节点向无线自组网提交计算任务；接入节点负责计算任务所需资源的评估，计算任务分解和分发，不参与具体计算任务，并在计算任务完成后作为汇聚节点收集和合并计算结果，并传输给提交计算任务的机器或设备；提交计算任何的机器或设备可以通过有线或无线的方式与接入节点连接并通信；

步骤二：接入节点进行计算任务分解，如上所述，接入节点负责计算任务分解，并将分解后的任务数据包分发到参与计算的通信节点，形成计算节点集合，在进行计算任务数据包分解前，接入节点需要获取网络中其他通信节点的信息来确定参与计算任务的计算节点集合、分解后的计算任务数据包的数目和每个数据包的大小，然后接入节点将分解后的计算任务数据包分发到计算节点集合中的计算节点；具体获取步骤如下：

（1）网络中的通信节点建立和维持一个邻节点路由表，并通过广播的方式将邻节点路由表发送出去；不同于有线传输，当前节点与多个邻节点之间的无线链路质量有好有坏，因此对于路由表中的邻节点，其与当前节点之间的无线链路质量需要不小于预定的无线链路质量门限；在无线通信中，无线链路质量通常以CQI（信道质量指示）等级来衡量，CQI等级可以通过信号测量获得；因此，邻节点路由表包含了两部分信息，即邻节点ID和节点之间的CQI等级；对于接入节点来说，可以获取网络中其他节点（节点之间的传输跳数不大于N）的邻节点信息，并由此可以获知接入节点与任一节点之间的传输路径；传输路径可能存在多条，每条传输路径包含的跳数可能不同，且无线链路传输能力也不相同；

（2）网络中的其他通信节点（不包含接入节点）基于一段历史时间内的负载水平评估自身能够提供的平均计算能力；历史时间内包含多个时间单元，节点将每个时间单元内可提供的计算能力进行量化，然后多个时间单元内的计算能力之和除以时间单元个数，即可获得历史平均计算能力；

（3）网络中的其他通信节点通过广播的方式将历史平均计算能力发送出去；对于接入节点，在获得网络中其他通信节点的历史平均计算能力后，将每个节点的历史计算能力乘以一个系数进行调整（为了保证计算能力不低于任务，系数通常小于1）作为本次计算任务期间该节点能够提供的平均计算能力；

（4）以平均计算能力除以非计算耗时的取值作为量化指标，用于从其他通信节点中筛选参与计算任务的计算节点；其中，非计算耗时主要包括传输耗时和信息处理耗时，非计算耗时与传输路径跳数以及计算节点需要接收的数据包数成正比，即非计算耗时与传输路径跳数呈正比，非计算耗时与计算节点需要接收的数据包数也成正比；一方面，随着传输跳数的增加，传输耗时增加，路径经过的每个节点都需要对信息进行发送和接收处理，信息处理时延也随之增加；另一方面，如果计算节点具有处理一个大数据包的能力，但受限于传输路径的能力，一个大的数据包需要划分为多个小数据包传输给计算节点，引起非计算耗时变为一个数据包的多倍；

（5）接入节点将网络中的其他通信节点对应的量化指标按照从大到小进行排序，并取前M个节点参与本次计算任务；其中，M个节点能够提供的计算能力之和使得计算任务在规定的计算耗时内完成；也就是说，在规定的计算耗时内，M个节点的计算能力之和不小于计算任务所需的计算能力；注意的是，所述计算耗时是不包括传输耗时和信息处理耗时的；

（6）接入节点在确定参与计算任务的计算节点集合后，根据每个计算节点的情况划分计算任务据包；对于每个计算节点，其对应的数据包大小包括如下三种情况：

1根据预定义的映射关系，计算节点的平均计算能力能够映射为可处理的比特数目，在规定计算耗时内，计算节点的总计算能力可映射为一个比特数目，令其数据包的比特数目为P1；

2若接入节点和计算节点之间包含多跳传输路径，整条路径的传输能力受限于传输能力最弱的一跳，设其对应的数据包的比特数目为P2；

3根据无线通信标准规定的最大数据包的比特数目，令其数据包的比特数目为P3；

对于每个计算节点，其对应的数据包的比特数目P取值为P1、P2和P3三者中的最小值；若P<P1，计算节点对应的数据包数目取值为P1/P的整数部分，否则对应的数据包数目取值为1；需要注意的是，上述数据包的比特数目指的是未经编码的源比特，对于第一和第二种情况，计算能力或传输能力先映射为可处理的编码比特数目，再经过换算得到数据包大小；

（8）对于参与计算任务的计算节点，如果与接入节点之间存在多条传输路径，对于每条传输路径，计算传输跳数与计算节点对应的数据包数目的乘积，最终选择乘积最小的路径作为该计算节点的传输路径；首先根据步骤（6）中第一种情况获得P1；其次，考虑每条路径的传输能力受限于传输能力最弱的一跳，根据步骤（6）中第二种情况分别获得每条路径对应的P2，然后取P1/P2的整数部分，即为该计算节点在不同传输路径情况下需要接收的数据包数目；

步骤三：接入节点进行计算任务数据包的分发与计算节点执行计算任务，根据步骤二，接入节点可以确定参与计算任务的计算节点集合、分解后的计算任务数据包的数目和每个数据包的大小。接入节点根据无线自组网通信协议将数据包对应地传输给计算节点集合中的每个计算节点，通信过程与现有技术相同；

计算节点在接收到数据包后，根据通信协议对接收数据包进行解调，获取计算任务；如果一个节点需要接收多个数据包，需要分别解调每个数据包，将多个解调结果进行合并后，获取计算任务；

计算节点获取计算任务后，在每个时间单元内根据能够提供的计算能力执行计算任务；如果当前时间单元内，所有软硬件资源用于通信任务，则暂停计算任务，当有软硬件资源可以投入到计算任务时，则重启计算任务；在规定的计算耗时内，计算节点完成分配的计算任务并获得结果；

步骤四：接入节点作为汇聚节点进行计算任务的汇聚，所有参与计算任务的计算节点将获得的计算结果分别传输给汇聚节点（也就是接入节点），汇聚节点将所有计算结果进行合并后，发送给提交计算任务的设备；

如图4所示，一种基于无线自组网的分布式计算的系统，包括若干组相互通信的单元模块，所述单元模块包括信息收发单元和计算单元，计算节点、接入节点、汇聚节点均对应一个单元模块，即每个节点都具备计算单元和信息收发单元；其中对于作为接入或汇聚节点的节点，其计算单元还可以细分为多个功能单元，其包括评估单元、排序单元、选取单元、分解单元、合并单元；

评估单元用于评估获取到的计算任务所需的计算资源；

排序单元用于将网络中每个通信节点对应的量化指标按照从大到小进行排序；

选取单元用于根据量化指标确定M个参与计算任务的计算节点；

分解单元用于将计算任务分解为不同的数据包；

合并单元用于将不同计算节点提交的计算结果进行合并。

进一步的，为了简单清晰地说明本发明方案，考虑如图5所示的一个无线自组网案例。网络包含五个节点A~E，假设节点A为接入或汇聚节点，节点B~E为计算节点。从A到E存在两条传输路径，路径1经过B和C节点，共有三跳；路径2经过D节点，共有两跳。

根据本发明方案，节点B~E建立自己的邻节点路由表，并通过广播方式发送出去。以节点B为例，其邻节点包含A、C和D三个节点，由于B和D之间的无线信道传输质量低于预定的CQI门限，故将节点D排除在其邻节点路由表之外，其邻节点路由表如图6所示。节点A获知到节点B~E的邻节点路由表后，能够很快确定从A到E存在路径1和路径2两条路径。

需要说明的是，在LTE系统及一些采用LTE技术的系统中，CQI通常划分为16个等级（0~15），每个等级对应一个信干噪比（SINR）范围，同时对应一个调制编码方案（MCS）。如果业务要求传输速率高于某速率门限，则相应地，MCS也要高于某个MCS门限，SINR和CQI都需要满足相应的等级，也就是需要高于某个SINR和CQI门限。

根据本发明方案，节点B~E根据历史信息评估平均计算能力并通过广播方式发送出去。假设基于过去100个时间单元内的计算能力进行评估，每个时间单元内计算能力根据使用情况分别量化为0~100之间的数值，节点B~E将100个时间单元内的计算能力进行量化后进行均值计算，获得了平均计算能力。对于接入节点，计算节点提供的平均能力是基于历史信息的，存在一定误差，所以每个计算能力会乘以一个调整系数进行调整。调整系数的选取和计算能力的评估精确度相关，精确度越差，调整系数取值越小。

根据本发明方案，节点A获得节点B~E的平均计算能力后，分别计算各节点的量化指标并进行排序。以节点B为例，节点的非计算耗时计算过程如下。

假设节点B的平均计算能力表示为CB，允许的最大计算耗时表示为tmax，则节点B能够提供的总计算能力表示为CB*tmax，根据预设的映射表格，计算能力可以映射为可处理的数据包大小，即方案步骤二（6）所述的第一种情况中的P1。其中，预设的映射表格需要根据大量的仿真情况得到，数据包大小指的是未经编码的源数据的比特数。节点A和节点B之间仅存在单跳传输路径，如果路径的传输能力能够支持数据包大小为P2，即方案步骤二（6）所示的第二种情况，同时再考虑传输协议规定的最大数据包大小P3，则为节点B分配的数据包大小P=min(P1,P2,P3)。如果P1>P，则节点B对应的数据包数目为NB=integer(P1/P)，其中integer表示取整数部分，否则NB=1。在获得跳数和数据包数目之后，非计算耗时表示为(tp1+NB*tp2)*Nhop，其中tp1表示单跳传输耗时，tp2表示数据包处理耗时，Nhop =1为跳数。

根据上述计算过程，可以分别计算节点C~E的非计算耗时，对于不同节点，Nhop取值不同。在获得计算能力和非计算耗时的基础上，节点A计算不同计算节点的量化指标表示为Q=(CB*tmax)/( (tp1+NB*tp2)*Nhop)，并按照取值从大到小排序，然后选取参与计算任务的计算节点。假设节点B~E均被选取作为计算节点，则节点能够提供的计算能力之和满足Csum≥Creq，Creq是节点A评估的计算任务需要的计算能力。对于节点E，与节点A之间存在两条传输路径，根据上述计算过程，可以分别计算每条路径的非计算耗时，选择非计算耗时较小的路径。

节点A在确定每个节点的传输路径、数据包大小和数据包数目之后，将计算任务分解为不同的数据包，然后将数据包分别发送给相应的节点。每个数据包在发送前需要进行编码、调制、资源映射等一些列处理，处理流程取决于无线链路采用的通信协议。后续一系列处理与步骤2描述的方案相同，不再赘述。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种基于无线自组网的分布式计算方法，其特征在于，包括如下步骤：

步骤一：确定接入节点和汇聚节点

网络任何通信节点均可以作为网络对外的接入节点，在计算任务开始前用于接收外部设备提交的计算任务的通信节点为接入节点，在计算任务完成后接入节点作为汇聚节点收集和合并计算结果，并传输给提交计算任务的设备；

步骤二：接入节点进行计算任务分解

步骤四：接入节点作为汇聚节点进行计算任务的汇聚

接入节点在计算任务完成后作为汇聚节点收集计算结果，所有参与计算任务的计算节点将获得的计算结果分别传输给汇聚节点，汇聚节点将所有计算结果进行合并后，发送给提交计算任务的设备；

接入节点需要获取网络中其他通信节点的信息的具体步骤如下：

（8）对于参与计算任务的计算节点，如果与接入节点之间存在多条传输路径，对于每条传输路径，计算传输跳数与计算节点对应的数据包数目的乘积，最终选择乘积最小的路径作为该计算节点的传输路径；

步骤（6）中划分数据包的大小包括如下三种情况：

1）根据预定义的映射关系，计算节点的平均计算能力能够映射为可以处理的比特数目，在规定计算耗时内，计算节点的总计算能力可以映射为一个比特数目，令其数据包的比特数目为P1；

2.如权利要求1所述的一种基于无线自组网的分布式计算方法，其特征在于，步骤（1）中每个通信节点与其对应的邻节点之间的无线链路传输质量不小于预设的无线链路质量门限。

3.如权利要求1所述的一种基于无线自组网的分布式计算方法，其特征在于，步骤（8）首先根据步骤（6）中第一种情况获得P1，其次根据步骤（6）中第二种情况分别获得每条路径对应的P2，然后取P1/P2的整数部分，进而获得该计算节点在不同传输路径情况下需要接收的数据包数目。

4.如权利要求1所述的一种基于无线自组网的分布式计算方法，其特征在于，若步骤三中的计算节点获取计算任务后，在当前时间单元内，当所有软硬件资源用于通信任务，则暂停计算任务，当有软硬件资源可以投入到计算任务时，则重启计算任务。