CN109547541A - 雾计算环境下基于过滤及分配机制的节点低开销协作方法 - Google Patents

Abstract

本发明适用于云计算技术领域，提供了一种雾计算环境下基于过滤与分配机制的节点低开销协作方法，包括如下步骤：S1、服务器接收任务请求；S2、基于任务请求检测队列当前是否已满，若队列未满，则将任务插入队列；S3、基于任务的需求来选择协作节点；S4、基于最小延迟将子任务分配给协作节点。在选择协作节点之前，对雾节点的属性标签化，通过分析雾节点标签选择协作雾节点，可以降低雾节点间通信的开销；通过改进的Bloom Filter对所挑选的协作节点进行过滤，保证了节点的安全性；基于最小延迟的任务分配算法给各协作节点分配任务，减小了延迟。

Description

雾计算环境下基于过滤及分配机制的节点低开销协作方法

技术领域

本发明属于云技术领域，提供了一种雾环境下基于过滤及分配机制的节点低开销协作方法。

背景技术

随着云计算(Cloud Computing)的发展和普及，云计算技术在分布式计算中起着日益重要的作用，但远程云计算服务面临着请求延迟长、数据传输耗时长等不足，导致降低了云服务效率。为此，思科(Cisco)在2011年提出了雾计算技术，以降低即时服务延迟。雾计算一经提出，便引起很多学者的广泛关注，逐渐成为目前服务计算和智能应用方向的研究热点。

雾计算的核心思想是智能前端化，即在云服务器和终端设备之间，利用网络设备或者专用设备提供计算、存储和网络通信等服务，使得数据和计算更靠近终端设备，以节约网络带宽、节省时间和经济成本，进而降低云计算服务的计算和存储开销。其中，低延迟是评价雾节点服务质量的重要指标之一。在雾计算模式中，即时需要处理的数据和应用程序集中在网络边缘的设备中，而需要长期保存和处理的数据才保存在云中。雾节点不同于提供强大计算能力的大规模分布式的云基础设施，其计算资源、存储资源、通信能力有限，因此如何实现较好地负载均衡、资源管理、信息架构、智能任务分析和隐私保护等，仍然是雾计算面临的重要研究问题。

通常情况下，由于单个雾节点往往无法完成一些复杂的任务，例如智能医疗、VR(Virtual reality)/AR(Augmented reality)、无人驾驶等，往往需要多个雾节点配合以分担负载和分析数据以更好地完成服务。雾系统处于云系统和物联网之间，具有承上启下的枢纽作用，雾节点间的高效协作可以保证整个云雾生态系统的稳定运行，下面对现有的协作节点选择方法和分配任务请求两个方面的研究展开分析。

1)选择协作节点

选择协作节点的方法有：(1)基于位置的节点选择：该方法通过判断节点间的距离选择节点协作；(2)基于相似性的节点选择：该方法通过节点的相似性计算得出节点的匹配程度；(3)基于预测的节点选择：该方法通过节点的历史服务偏好进行判断。以上基于位置的节点选择方法开销小但无法保证节点的安全性，而基于相似性和预测的方法均存在计算难度较大、存储开销大等不足。

2)分配任务

为了保证协作任务可以有条不紊地完成，雾节点间任务的分工十分重要。论文提出一种无线网络环境下的雾节点间协作传输策略，通过雾节点间串行协作以完成内容分发。论文提出一种基于F-RAN(Fog-Radio Access Network)的协作任务分配算法，实现计算和通信开销折中，该方法需要利用基站等基础设施联合多个雾节点近距离通信以实现低延迟。论文研究了一种跨雾计算服务提供商的分布式协作算法，通过分析协作节点的负载，设计负载均衡算法为雾节点分配任务。现有的任务分配算法存在通信开销高、存储成本高等不足，为此，需要设计低延迟和低开销的任务分配算法。

通过分析可知，目前雾环境中关于协作节点的选择与任务的分配方面还不够具体与深入，由于可能存在服务性能差的雾节点，如果直接选择使用这些节点，将可能导致数据丢失，降低服务质量，影响用户对服务的满意度。此外，如果任务随机地或者等量地分配给协作节点，可能会出现协作节点内存不足需要重新发给别的协作节点的问题，同时，协作节点的位置、任务的大小也会影响传输时间，如果将任务发送给较远的协作节点会造成通信时间和带宽资源的浪费。

发明内容

本发明实施例提供一种雾环境下基于过滤及分配机制的节点低开销协作方法，旨在保证节点安全性的前提下，降低延迟、通讯时间以及降低雾节点间的通讯开销。

为了实现上述目的，本发明提供了一种雾环境下基于过滤及分配机制的节点低开销协作方法，所述方法包括如下步骤：

S1、服务器接收任务请求；

S2、基于任务请求检测队列当前是否已满，若队列未满，则将任务插入队列，并执行步骤S3；

S3、基于任务的需求来选择协作节点；

S4、基于最小延迟将子任务分配给协作节点。

进一步的，其特征在于，所述步骤S3具体包括如下步骤：

S31、获取雾节点及任务的属性；

S32、获取属性与任务需求相匹配的雾节点；

S33、选择一定数量的雾节点作为协作节点放入协作节点集合中，协作节点的数量与子任务的数量相等。

进一步的，其特征在于，步骤S32中与任务需求匹配的雾节点需要满足如下条件：

条件1.协作节点与任务的距离小于距离阈值；

条件2.雾节点的功能与任务需要相匹配；

条件3.节点需要负载轻且属于安全属性为非恶意；

条件4.节点的内存需大于最大的子任务所需的内存；

条件5.延迟小于等于任务的最大延迟容忍。

进一步的，其特征在于，所述最大延迟容忍设为最后完成任务的延迟容忍。

进一步的，其特征在于，所述步骤S4具体包括如下步骤：

S41、在协作节点集合中选择未分配子任务的协作节点；

S42、确定未被分配子任务中的最大子任务；

S43、将步骤S42中的最大子任务分配给步骤S41中延迟最小的协作节点，直至所有的子任务都被分配。

本发明提供的雾节点协作方法具有如下有益技术效果：

1)在选择协作节点之前，对雾节点的属性标签化，通过分析雾节点标签选择协作雾节点，可以降低雾节点间通信的开销；

2)通过改进的Bloom Filter对所挑选的协作节点进行过滤，保证了节点的安全性；

3)基于最小延迟的任务分配算法给各协作节点分配任务，减小延迟。

附图说明

图1为本发明实施例提供的雾计算环境下基于过滤和分配机制的协作节点低开销方法流程图；

图2为本发明实施例提供的执行时间比较图；

图3为本发明实施例提供的协作节点的延迟比较图；

图4为本发明实施例提供的雾节点带宽消耗比较图一；

图5为本发明实施例提供的雾节点带宽消耗比较图二；

图6为本发明实施例提供的雾节点能耗比较图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供的雾节点协作方法在选择协作节点之前，对雾节点的属性标签化，通过分析雾节点标签选择协作雾节点；通过改进的Bloom Filter对所挑选的协作节点进行过滤，基于最小延迟的任务分配算法给各协作节点分配任务。

关系雾节点的相关定义具体如下：

1)代理服务器proxy-server：是协作的中心，负责分派任务给其他节点，发送和接收与其他节点的协作和通信信息。

2)节点标签

首先对雾节点i设置标签，记为label(i)，分别是：负载状态state(i)、安全属性flag(i)、功能描述function(i)。

label(i)＝{state(i),flag(i),function(i)}

雾节点负载状态state(i)分为2类：负载过重或其他原因被破坏不能正常工作节点和负载轻且可以工作的正常节点。

雾节点安全属性flag(i)分为2类：恶意和非恶意。

雾节点的功能描述为function(i)。比如接收的任务请求是摄像功能，则需要对雾节点的功能描述进行字符串匹配。

3)协作节点集CN

记CN＝{c₁,c₂,...,c_n}，其中，c₁,c₂,...,c_n为协作节点，协作节点i的属性包括<ID,label(i),loc(i),Mem(i),bw(i),v(i)>。其中，ID是节点的唯一标识符，雾节点i的标签label(i)、位置loc(i)、内存Mem(i)、带宽bw(i)和计算速度v(i)，loc(i)是雾节点i的位置，是一个三维坐标<x_i,y_i,z_i>。

4)雾节点距离Dis

雾节点i与j之间的欧式距离为：

其中，loc(i)与loc(j)分别是雾节点i和j的位置。

5)任务集T

T＝<ID,s_(ti),Mem_(ti),N_ti,Request,max L>，其中，任务集T中的任务T均包括若干子任务t_i，ID是子任务t_i的唯一标识符；s_(ti)是子任务t_i的指令数，单位是MI，Mem_(ti)是子任务t_i的大小，单位是字节；N_ti是子任务的数量；Request是任务T的描述，是字符串类型，maxL是任务的最大延迟容忍，单位是毫秒。

6)通信延迟

记信号在媒体上的传播速率为v，带宽为bw。如果将子任务t_b(0<b<m)，数据包发送给雾节点c_a(0<a<n)，其通信延迟Lco(c_a,t_b)包括发送延迟Lse(c_a,t_b)和传播延迟Lsp(c_a,t_b)，如式(2)所示：

Lco(c_a,t_b)＝Lse(c_a,t_b)+Lsp(c_a,t_b) (2)

其中，发送延迟Lse(c_a,t_b)如式(3)所示：

式(3)中，Mem(t_b)表示子任务t_b的大小。

传播延迟Lsp(c_a,t_b)如式(4)所示：

其中，所有的子任务初始位置与代理服务器proxy-server位置相同。

7)计算延迟

如果将子任务t_b(0<b<n)数据包发送给雾节点c_a(0<a<m)，其计算延迟Lcu(c_a,t_b)，如式(5)所示：

其中，s(t_b)表示子任务t_b包含的指令数。

图1为本发明实施例提供的雾计算环境下基于过滤和分配机制的协作节点低开销方法流程图，该方法具体如下：

S1、接收任务请求；

S2、基于任务请求检测队列当前是否已满，若队列未满，则将任务插入队列，并执行步骤S3；若队列已满，则拒绝接收任务，

S3、基于任务的需求来选择协作节点；

代理服务器接收到任务请求或服务数据后，需要寻找雾节点完成任务，由于雾节点可能出现负载多、节点存储、计算、通信能力弱、服务性能差等情况导致无法完成任务。所以，需要寻找多个雾节点以协作完成任务。由于雾节点功能属性不同，同时存在负载状态、恶意、失效节点等，因此协作前对参与协作的雾节点进行挑选和过滤是很有必要的。基于标签的协作节点选择方法来寻找协作节点，可以降低雾节点间通信的开销，因此，协作节点选择方法具体如下：

S31、获取雾节点的属性及任务属性；

雾节点的属性包括<ID,label,loc,Mem,bw,v>，ID是雾节点的唯一标识符，雾节点i的位置loc(i)，单位是米、标签label(i)、内存Mem(i)，单位是MB、带宽bw(i)，单位是MB/ms、计算速度v(i),单位是MIPS。

任务的属性包括<ID,s,Mem,request,max L>，其中，ID是任务的唯一标识符；s是任务的指令数，单位是MI；Mem是任务大小，单位是MB；request是任务需要的功能描述，是字符串类型；max L是任务的最大延迟容忍，单位是ms。

S32、获取属性与任务需求相匹配的雾节点，作为待选协作节点；

待选协作节点需要满足如下条件:

条件1：为了降低通信延迟和通信开销，待选协作节点的与任务的距离控制在一定范围，如式(6)所示：

Dis(i,T)≤DIS (6)

DIS为设定的距离阈值。

条件2：功能需要与任务要求匹配(比如：任务要求：摄像，则雾节点的功能应是：摄像；需进行字符串匹配),如式(7)所示：

function(i)＝T.request (7)

条件3：待选协作节点需要负载轻且属于安全属性为非恶意，如式(8)所示。

state(i)×flag(i)＝1 (8)

条件4：待选协作节点的内存需大于最大的子任务所需的内存，如式(9)所示：

其中，t_b(0<b<n)是集合T中的子任务。

条件5：假设将任务T＝{t₁,t₂,...,t_n},(1≤b≤n)分配给协作节点集C_N＝{c₁,c₂,...,c_n},(1≤a≤n)，如果将子任务t_b发送给协作节点c_a，其延迟包括通信延迟Lco(c_a,t_b)和计算延迟Lcu(c_a,t_b)，如式(10)所示：

L(c_a,t_b)＝Lco(c_a,t_b)+Lcu(c_a,t_b) (10)

其中，通信延迟Lco(c_a,t_b)见式(2)，计算延迟Lcu(c_a,t_b)见式(5)，则任务完成的延迟L(CN,T)包括通信延迟Lco(c_a,t_b)和计算延迟Lcu(c_a,t_b)，其任务的完成延迟取决于最后一个完成任务的节点如式(11)所示：

L(CN，T)＝max(Lco(c_a,t_b)+Lcu(c_a,t_b)) (11)

为满足任务的最大延迟容忍如式(12)所示：

L(CN，T)≤max L (12)

分析式(6-12)可得，待选协作节点i属性需要满足如下要求，才能与任务匹配：

S33、选择一定数量的待选协作节点放入协作节点集合，作为协作节点，协作节点集合中的协作节点数量与子任务的数量相等。

在本发明实施例中，在待选协作节点数远大于协作节点数的情况下，随机挑选与子任务数量相等数量的协作节点，而不需要对所有的满足条件的协作节点进行比较，这样可以减少查找时间；在待选协作节点数量少于所需协作节点数的情况下，不适合协作，此时需拒绝任务请求，因为选择距离远的节点协作会造成高传播延迟和高通信开销，进而降低服务质量，增加成本。

S4、基于最小延迟将子任务分配给协作节点。

假定任务T包括m个子任务，将m个子任务分配给m个协作节点，采用一对一的分配模式，共有m！种分配策略。其中，将不同的策略有着不同的通信开销，对服务质量影响很大，在本发明实施例中，子任务与协作节点间的分配方法具体如下：

S41、在协作节点集合中选择未分配子任务的协作节点；

S42、确定未被分配子任务中的最大子任务；

S43、将步骤S42中的最大子任务分配给步骤S41中延迟最小的协作节点，直至所有的子任务都被分配。

基于最小延迟的任务分配算法具体如算法1所示，算法1通过一对一的分配模式计算每个子任务的分配给不同协作节点的延迟，将其分配给延迟最小的协作节点，使优先延迟最小的协作节点进行任务分配。

本发明提供的雾节点协作方法具有如下有益技术效果：

1)在选择协作节点之前，对雾节点的属性标签化，通过分析雾节点标签选择协作雾节点，可以降低雾节点间通信的开销；

2)通过改进的Bloom Filter对所挑选的协作节点进行过滤，保证了节点的安全性；

3)基于最小延迟的任务分配算法给各协作节点分配任务，减小了延迟。

将本发明实施例提供的协作方法与随机的协作方法和基于贝叶斯过滤算法的协作相比较：

(1)随机的协作方法(OC)：随机挑选节点进行协作；

(2)基于贝叶斯过滤和MRA的协作算法(BMA)：贝叶斯算法，属于基于统计学的经典的机器学习算法，用于过滤恶意节点；MRA是最新的关于边缘计算的协作算法，功能是通过分析节点的内存、cpu与距离选择合适的协作节点，然后进行子任务分配。

仿真实验雾服务器参数配置如下：Uplink Bw：Random(500-1000)、Downlink Bw:Random(500-1000)、Mips:Random(500-1000)、Ram:Random(500-1000)、Rate/MIPS:0.01；代理服务器参数配置如下：Uplink Bw：10000、Downlink Bw:10000、Mips:44800、Ram:4000、Rate/MIPS:0.01；雾通信模型为：雾节点与代理服务器之间的树形图，其中，代理服务器是雾节点的父节点。

为了验证算法的有效性，本文使用2组对比实验验证法验证模型与算法性能。仿真实验对象包括以下四个方面：

协作任务的总执行时间Execution time：通过比较算法的完成任务的时间来测试算法的性能。

Execution time＝T_Finish-T_Start

其中，T_Start为实验开始的时间，T_Finish为实验结束的时间。

任务执行时的设备的延迟包括通信延迟和计算延迟，见式(10)：延迟是评估算法性能的重要参数，直接影响用户的服务体验。

Network usage的计算如下所示：

Network usage＝∑linkLatency×tuple.Size

其中，带宽的消耗为任务执行过程中发送和接收数据元组tuple所产生的消耗的总和，linkLatency为链路通信延迟，tuple.Size为数据元组的大小。

Energy consumed的计算如式所示：

Energy consumed(i)＝t_i×Rate/MIPS_i

其中，设备i的能耗为任务执行过程中的能耗，ti表示设备i处理请求的时间，Rate/MIPSi表示设备i的每毫秒使用能耗。

(1)任务执行时间分析如图2所示，图2表示三组算法的仿真实验的算法执行时间数据。分析数据可以发现使用本发明的优化算法的执行时间相比较低。

(2)雾节点的延迟：基于式(10)计算，如图3所示，图3描述的仿真实验中协作节点的处理子任务延迟，通过比较三种不同方法的延迟数据。其中，分析后发现本发明中的协作节点处理子任务的延迟较低。

(3)带宽消耗，图4为带宽消耗图一，描述的三组算法通过仿真实验的得到的单个协作节点的带宽消耗，通过比较三种不同方法的带宽消耗数据可以发现优化算法效果显著。其中，分析后可以发现优化算法降低了带宽消耗，有效节约了通信资源。

(5)带宽消耗，图5为带宽消耗图二，描述的是使用三组算法后中协作节点执行子任务的带宽消耗之和。通过比较三种不同方法的带宽消耗数据可以发现优化算法效果显著。其中，分析后可以发现优化算法降低了带宽消耗，有效节约了带宽资源。

(6)雾节点能耗，图6为雾节点能耗图，通过分析图6可以发现，仿真实验中使用基于所提的协作算法后节点的能耗比较稳定。因此，所提算法可以达到降低能耗、节约资源的目的。通过分析图2～6实验结果可知，本文提出的优化算法具有较低的执行时间、延迟、带宽消耗以及能耗。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种雾计算环境下基于过滤与分配机制的节点低开销协作方法，其特征在于，所述方法包括如下步骤：

S1、服务器接收任务请求；

S2、基于任务请求检测队列当前是否已满，若队列未满，则将任务插入队列；

S3、基于任务的需求来选择协作节点；

S4、基于最小延迟将子任务分配给协作节点。

2.如权利要求1所述雾计算环境下基于过滤与分配机制的节点低开销协作方法，其特征在于，所述步骤S3具体包括如下步骤：

S31、获取雾节点及任务的属性；

S32、获取属性与任务需求相匹配的雾节点；

S33、选择一定数量的雾节点作为协作节点放入协作节点集合中，协作节点的数量与子任务的数量相等。

3.如权利要求2所述雾计算环境下基于过滤与分配机制的节点低开销协作方法，其特征在于，步骤S32中与任务需求匹配的雾节点需要满足如下条件：

条件1.协作节点与任务的距离小于距离阈值；

条件2.雾节点的功能与任务需要相匹配；

条件3.节点需要负载轻且属于安全属性为非恶意；

条件4.节点的内存需大于最大的子任务所需的内存；

条件5.延迟小于等于任务的最大延迟容忍。

4.如权利要求3所述雾计算环境下基于过滤与分配机制的节点低开销协作方法，其特征在于，所述最大延迟容忍设为最后完成任务的延迟容忍。

5.如权利要求1所述雾计算环境下基于过滤与分配机制的节点低开销协作方法，其特征在于，所述步骤S4具体包括如下步骤：

S41、在协作节点集合中选择未分配子任务的协作节点；

S42、确定未被分配子任务中的最大子任务；

S43、将步骤S42中的最大子任务分配给步骤S41中延迟最小的协作节点，直至所有的子任务都被分配。