CN111641973A - 一种雾计算网络中基于雾节点协作的负载均衡方法 - Google Patents

Abstract

本发明涉及一种雾计算网络中基于雾节点协作的负载均衡方法，属于移动通信技术领域。本发明首先对雾节点协作场景的通信过程和计算过程进行了相关建模；之后设计了用于筛选协作雾节点的协作贡献度

和基于多属性决策的协作雾节点筛选算法；进而设计了基于协作贡献度的协作贡献比系数χ_m，并构建了引入协作贡献比系数的系统总开销优化问题模型；最后设计了基于协作贡献度的负载均衡算法，用于求解任务负载在雾节点间的最佳分配结果。本发明能够在保证雾节点协作的可行性、公平性、稳定性的前提下，对业务负载进行合理分流，提升系统性能和用户的QoE。

Description

一种雾计算网络中基于雾节点协作的负载均衡方法

技术领域

本发明属于移动通信技术领域，涉及一种雾计算网络中基于雾节点协作的负载均衡方法。

背景技术

近年来，物联网(Internet of Things,IoT)、第五代(5th generation,5G)移动通信、人工智能(Artificial Intelligence,AI)等技术的深入发展与应用，加速了万物互联时代的到来，引发了全社会的智能变革。不断涌现的应用与服务如虚拟现实、增强现实、智能视频加速等，使得云计算难以适用于当前所有的网络工作模式，雾计算(Fog Computing)作为对云计算的扩展和补充应运而生。雾计算将计算、存储、系统控制和网络等资源与服务分布部署在云与终端设备之间的任何地方，能够高效及时地处理网络中广泛分布的终端设备的多样化任务请求。边缘和核心网络中的任何具有计算、存储和连接网络能力的组件(例如核心路由器、广域网路开关、工业控制器、边缘服务器等)都可以作为雾节点来提供雾计算的基础设施服务。与移动边缘计算(Mobile Edge Computing,MEC)类似，雾计算可以将边缘服务器部署在蜂窝网络的基站一侧，提供更加贴近用户的、远离云端的边缘计算。不同之处在于，雾计算能够把基于云的服务，例如基础设施即服务(Infrastructure-as-a-Service,IaaS)、平台即服务 (Platform-as-a-Service,PaaS)、软件即服务(Software-as-a-Service,SaaS)拓展到网络边缘。除此之外，相对于MEC来说，雾计算架构更具层次性与平坦性。在密集异构蜂窝网络的宏基站与小基站一侧部署一定规模的雾服务器，形成密集异构蜂窝网络雾计算系统，能够将前者提升网络容量和数据传输速率的优势与雾计算为用户提供边缘计算的特点相结合，满足远离云数据中心的用户侧一端所产生的计算密集型任务与延迟敏感型任务需求，为用户提供低能耗、低时延的服务优势。

在密集异构蜂窝网络雾计算系统中，多个终端设备产生的大量业务负载需要由其所处的无线覆盖区域内的基站与雾节点的共处体来处理，可将此基站/雾节点共处体的实体称为 FeNB(Fog eNB)。FeNB中的基站与位于其一侧的雾节点共址存在，其中雾节点主要处理计算任务负载。若小小区之间出现负载不均衡的情况，即FeNB的处理能力与其所属小小区所面临的负载不相匹配，不仅会导致个别的FeNB拥塞瘫痪，使网络内的通信资源和计算资源不能得到高效利用，同时会增加用户执行任务的响应时间。从密集异构蜂窝网络雾计算系统的整体角度来看，对此特定场景下的负载均衡算法进行研究，主要目的在于平衡小小区间业务流量的分配，提升系统性能与用户的体验质量(Quality of Experience，QoE)。

目前在密集异构蜂窝网络雾计算系统中，负载均衡技术面临的主要问题和技术挑战包括：

(1)如何利用雾节点可相互协作的特点，设计合理的负载均衡算法，平衡小小区间的业务负载分配。

(2)针对网络中的雾节点可相互协作的角度来看，现有的研究考虑优化的性能指标较为单一，主要集中于时延与能耗指标，未能设计合适的协作转发标准，将雾节点间的协作公平以及雾节点执行任务的稳定性等因素综合考虑在一起。

发明内容

有鉴于此，本发明的目的在于提供一种雾计算网络中基于雾节点协作的负载均衡方法。该方法能够筛选出合适的协作雾节点与主雾节点协作执行负载，得到雾节点间任务负载分配的最佳结果，在保证协作可行性、公平性、稳定性的前提下，提升系统性能和用户的QoE。

为达到上述目的，本发明提供如下技术方案：

一种雾计算网络中基于雾节点协作的负载均衡方法，该方法包括以下步骤：

S1：多个雾节点协作执行任务负载的网络场景模型的构建；

S2：雾节点协作过程的通信模型和计算模型的构建；

S3：协作贡献度

和协作雾节点筛选算法的设计；

S4：协作贡献比系数χ_m的设计和引入协作贡献比系数的系统总开销优化问题的构建；

S5：基于雾节点协作贡献度的负载均衡算法的设计。

可选的，所述步骤S1具体为：

假设网络中共有K个小基站SeNB，那么SeNB共处雾节点的总个数也为K。将网络中所有SeNB的集合表示为K＝{1,2,…,k,…K}，将所有SeNB共处雾节点的集合表示为Φ＝{f₁,f₂,…,f_k,…,f_K}，知雾节点f_k与SeNBk呈唯一对应关系；将SeNBk服务范围内的用户集合表示为U_k，当雾节点f_k接收到终端用户u发来的计算任务

且无法独立处理全部任务时，雾节点均衡控制器即需要协调处理用户任务在多个雾节点服务器之间的负载分配问题；其中，f_k∈Φ，k∈K，u∈U_k，b_u表示计算任务输入数据的大小，c_u表示计算该任务所需的计算量，即CPU周期数，T_u ^max表示用户u容忍的最大时延，即计算任务在T_u ^max时间内完成，则不会影响用户的QoE；用户u通过监测任务的应用配置获取任务输入数据大小b_u并评估其所需的计算资源信息c_u；当雾节点f_k作为主雾节点无法独立完成计算任务

时，需向负载均衡控制器请求执行负载均衡算法，并依据算法执行的最佳分配结果将计算任务

进行切割，分发到其他合适的雾节点进行协作处理；假设网络中共有N个可参与协作的雾节点组成了协作雾节点待选集合Γ＝{j₁,j₂,…,j_n,…,j_N}，其中M≤N-1，负载均衡控制器需要根据协作贡献度阈值对Γ进行截断，获取执行负载均衡算法的协作雾节点子集Γ^*＝{i₁,i₂,…,i_m,…,i_M}，M≤N；主雾节点f_k从Γ^*中选择协作雾节点进行任务分配，最后收集处理结果并汇总返还给用户。

可选的，所述步骤S2具体为：

(1)通信模型的构建

通信模型的构建包含雾节点与雾节点间的通信和用户与雾节点的通信两个部分；

雾节点间的通信采用无线或WiFi的通信方式；假定雾节点间的通信全部采用无线通信方式，并将主雾节点f_k与协作雾节点i_m的通信速率表示为R_k,m；

考虑用户u将任务负载b_u传输至主雾节点f_k的上行链路传输过程，假定MeNB与SeNB采用异频组网方式部署，且接入同一宏小区或小小区的用户均采用正交频分多址接入体制OFDMA接入基站，忽略同一小小区内的用户之间的相互干扰，仅考虑小小区间的同频干扰；依据香农公式，上行链路传输通信过程的通信传输速率D_u,k表示如下：

其中，B_k表示用户传输计算任务至雾节点f_k的上行链路传输带宽；p_u,k、g_u,k表示用户u 与雾节点f_k通信过程的发送功率和上行链路功率增益；υ_u',u表示来自相邻小小区所服务的用户u'的同频干扰指示标识，υ_u',u＝1表示用户u'与用户u占用相同信道资源，产生同频干扰，υ_u',u＝0反之，此时用户u'不会带来同频干扰，具体取值在实际仿真中随机设置；所有用户的发送功率大小都在(0,p_max]的区间范围内，

表示上行链路噪声功率；

(2)计算模型的构建

计算模型的构建包含雾节点协作过程的时延成本、能耗成本和支付成本三部分；

首先，步骤S2所述的计算模型中所包含的时延成本建模如下：

①假设主雾节点f_k将卸载到本地执行的用户任务负载进行切割划分，将保留在其处执行的任务表示为

其中，

表示卸载的任务负载的数据大小，

表示卸载下来的任务负

对应的计算量大小，且

表示主雾节点f_k能够提供的剩余计算量，a_k表示雾节点f_k的计算能力，单位为cycle/s，T_u ^k表示主雾节点f_k处理卸载任务

的计算时延；本文假设协作的前提为主雾节点f_k无法独立处理用户发来的全部任务负载，只能卸载部分负载进行处理，有

a.用户发送全部任务负载b_u至主雾节点f_k的通信传输过程所耗的通信时延

表示如下：

其中，

b.主雾节点f_k计算卸载下来的部分任务负载

所耗的计算时延

表示如下：

②主雾节点f_k将无法执行的任务负载卸载到其他合适的协作雾节点i_m， i_m∈Γ^*,Γ^*＝{i₁,i₂,…,i_m,…,i_M}，M≤N；N为有资格作为协作雾节点的个数，由本文所提的协作雾节点筛选算法确定；假设主雾节点f_k卸载到协作雾节点i_m的任务负载为

其中，

示卸载至协作雾节点i_m的任务负载的数据大小，

表示卸载下来的任务负载

对应的计算量大小，且

示协作雾节点i_m能够提供的剩余计算量，a_m表示雾节点i_m的计算能力，单位为cycle/s，T_k ^m表示协作雾节点i_m处理卸载任务

的计算时延；

主雾节点f_k本地卸载的任务负载

与卸载至其他协作雾节点的任务负载

满足如下关系：

即主雾节点作为执行与转发节点，将用户的全部任务负载进行分割，与合适的协作雾节点共同执行；

a.主雾节点f_k将任务负载切割后，转发至协作雾节点i_m的通信过程所耗通信时延

表示如下：

其中，

主雾节点f_k卸载至协作雾节点i_m的任务负载的数据大小，

为主雾节点f_k与协作雾节点i_m之间的数据传输速率；

b.协作雾节点i_m处理卸载任务

的计算时延，表示如下：

其中，

为卸载至协作雾节点i_m的任务负载

对应的计算量大小，a_m表示雾节点i_m的计算能力，单位为cycle/s；

c.主雾节点f_k将M个协作节点的处理结果，进行汇总处理，所需汇总的计算量表示为

此过程的处理时延表示如下：

综合式(2)、(3)、(5)、(6)、(7)，所考虑的雾节点协作计算场景总的时间成本T_u表示如下：

其中，等式右边第一、二项为用户发送任务至主雾节点的通信时延和主雾节点执行部分负载的计算时延，第三、四项为主雾节点将分割后的任务转发至所有可协作雾节点的通信时延总和以及所有协作雾节点执行任务负载的计算时延综合，第五项为雾节点汇聚处理所有执行完后的任务负载所需的计算时延；

其次，步骤S2所述的计算模型中所包含的能耗成本建模如下：

①将用户上传任务负载至主雾节点f_k所消耗的能量记作

表示如下：

其中，p_u,k为用户u与主雾节点f_k通信的上行链路发送功率，

为终端设备传输功率放大器的效率，

为上行链路通信过程的通信时延；

②将主雾节点f_k计算卸载下来的部分任务负载

所消耗的能量记作E_k，表示如下：

其中，

为预设参数，表明雾节点处理任务的计算功耗函数为计算数据量的单调递增的严格凸函数；

③主雾节点f_k将分割后的任务负载转发至协作雾节点i_m过程所消耗的能量记作

表示如下：

其中，系数

雾节点间单位时间传输负载的平均转发功率，

为转发过程所耗时延；因此，转发至所有可协作的雾节点所耗的能量总和如下：

④协作雾节点i_m处理分割负载

所消耗的能量记作E_m，表示如下：

所有协作雾节点的计算总能耗表示如下：

综合式(9)、(10)、(12)和(14)，所考虑的雾节点协作计算场景总的能耗成本E_u表示如下：

最后，步骤S2所述的计算模型中所包含的支付成本建模如下：

假设终端用户需要为使用的雾节点资源支付一定费用，雾节点之间的协作也需要终端用户支付额外的费用作为对雾节点贡献自身计算资源的贡献激励；将使用雾节点处理计算任务的单位计算支付成本记作

将激励协作雾节点的单位激励支付成本记作

雾计算场景下用户的支付成本

表示如下：

其中，等式右边第一项表示用户需要向参与协作的主雾节点和所有协作雾节点支付的处理任务的计算支付成本；等式右边第二项表示用户需要为参与协作的所有协作雾节点支付的激励支付成本。

可选的，所述步骤S3具体为：

(1)协作贡献度的设计如下：

为了在除主雾节点以外的剩余雾节点当中筛选出可以参与协作的雾节点，并构建最终参与负载均衡算法的协作雾节点子集合，提出协作贡献度的概念；

①协作可行性

可行性指的是基本可行性，从雾节点的计算能力、剩余计算资源和雾节点间的通信距离三个方面来考虑；只有雾节点具有剩余计算资源，才能够处理分配过来的任务，而雾节点的剩余计算资源越多，就能接受更多的分配任务，且接受分配任务对其自身造成的影响越小；雾节点的计算能力越强，与主雾节点的通信距离越短，其作为协作雾节点就能够提供更良好的计算性能和通信性能，保证用户的QoE；定义雾节点f_j的协作可行性衡量因子

f_j∈Φ,f_j≠f_k表示如下：

其中，α₁,α₂,α₃∈[0,1]，且α₁+α₂+α₃＝1，为三个考虑因素的权衡因子；

为雾节点f_j的剩余计算量，c_u为原始用户发出的任务负载所需要的计算量；a_j为雾节点f_j的计算能力，a_k为主雾节点f_k的计算能力；

为雾节点f_j到主雾节点f_k的通信距离，

主雾节点f_k与所有其他雾节点的通信距离的平均值，在密集异构蜂蜜网络雾计算场景下，雾节点部署在基站一侧，基站间的距离即其共处雾节点之间的距离，此距离假设已事先测量，计算并保存在负载均衡器的网络端；

②协作公平性

定义的协作公平性从雾节点的角度，基于雾节点的资源贡献比来考量；假设网络中的雾节点已经事先协商好自身可以贡献的最大资源，将雾节点f_j能够贡献的最大计算资源表示为

f_j∈Φ,f_j≠f_k，自身的全部计算资源表示为

定义雾节点f_j的协作公平性衡量因子

表示如下：

的值越大，表明雾节点f_j越愿意贡献自身资源参与协作，将其纳为选择协作雾节点的标准可以体现对雾节点所有者的公平性；

③协作稳定性

不同的雾节点具有不同的计算能力和可靠性，选择协作雾节点时，需要考虑对系统稳定性的影响；只有保障雾节点执行任务的稳定性，才能更好的保证用户的QoE和系统的稳定性；本文根据雾节点的信誉度设计雾节点的稳定性模型；

信誉度分为统计信誉度和认知信誉度两个方面，雾节点f_j的统计信誉度

需要根据雾节点执行历史任务的情况统计得出；认知信誉度旨在面向历史任务较少的不同类型的雾节点进行主观定义，鉴于计算场景的雾节点全部为特定类型的雾节点——雾服务器，不具移动性且具有将强计算能力，设定所有雾节点的认知信誉度

为0.9；

雾节点f_j的统计信誉度

求解如下：

假设雾节点f_j每次完成负载均衡器传达给它的协作任务，即本次算法执行需求以前的时间周期内的协作任务，负载均衡器都会对f_j进行执行任务的满意度评价，s_l∈[0,1]代表第l次满意度评价，s_l的大小决于雾节点完成任务的成功率、执行效率和用户反馈；假设雾集群管理方满意度评价表中存放的对雾节点f_j的评价次数为L次，则统计信誉度

应为雾集群管理者L次评价的平均值；为使雾节点信誉度的计算更加准确，信誉度模型需要区别不同阶段对于信誉度计算的影响，时间较近的评价应该具有更高的权重值，Sun定义了考虑时间衰减的最终统计信誉度的计算公式如下：

其中，

交易次数因子，反应满意度评价量越多时，做出的信任度评价越准确；

综合统计信誉度

与认知信誉度

定义雾节点f_j的协作稳定性衡量因子

表示如下：

其中，ω₁,ω₂∈[0,1]，且ω₁+ω₂＝1，为权衡

与

的权衡因子，根据对雾节点f_j的评价次数来决定；

越大，表明雾节点f_j的信誉度越高，其执行任务越稳定；

综合考虑雾节点f_j的协作可行性、协作公平性以及协作稳定性，提出作为筛选协作雾节点标准的协作贡献度

协作可行性衡量因子

协作公平性衡量因子

协作稳定性衡量因子

的加权融合值，

的加权融合值大小由本文所涉及的协作雾节点筛选算法求得；

(2)协作雾节点筛选算法的设计如下：

由于

和

的量纲不一样，所提算法将除主雾节点f_k以外的所有雾节点 f_j作为决策方案，求解每个方案的加权融合属性值

并通过f_j的剩余计算容量

对其进行判断，若

则将其纳入协作雾节点待选集合，否则不纳入，其中，

雾节点f_j的剩余计算容量保留阈值；定义协作雾节点待选集合Γ＝{j₁,j₂,…,j_n,…,j_N}，N为经剩余计算容量保留阈值筛选后得到的有资格参与协作的雾节点的总个数；Γ的确定为整个协作系统的负载均衡算法的执行做前期准备；负载均衡器根据网络端保存的相关信息，包括所有雾节点的计算能力、剩余计算量、通信距离和已执行任务反馈；以及主雾节点f_k发送的用户请求任务负载的相关信息，执行协作雾节点筛选算法；具体步骤如下：

①定义决策矩阵：将除主雾节点f_k以外的所有雾节点f_j,(f_j∈Φ,f_j≠f_k)作为决策方案，对应到决策矩阵的行向量，而矩阵的列向量由每个f_j的

和

三个属性值来确定；

②规范化决策矩阵：采用极差变换法对决策矩阵进行规范化处理；

③决策矩阵加权：将最优组合权重与规范化的决策矩阵相乘得到加权规范化决策矩阵；其中，最优组合权重的设计依据最小鉴别信息原理将主观权重与客观权重结合构建组合权重，在此基础上釆用拉格朗日乘子法求得最优组合权重表达式；

④根据网络端保存的属性信息，计算除主雾节点f_k以外的所有雾节点f_j的决策矩阵，进而得到所有决策方案的加权规范化决策矩阵；

⑤根据④所获得的加权规范化决策矩阵，计算每个f_j对应的加权融合值，即f_j的协作贡献度的融合值大小

⑥通过f_j的剩余计算容量

对f_j进行判断，若

则将其纳入协作雾节点待选集合，将所有

的待选协作雾节点按照

大到小的顺序进行排序，构建协作雾节点待选集合Γ＝{j₁,j₂,…,j_n,…,j_N}。

可选的，所述步骤S4具体为：

(1)协作贡献比系数的设计

本文提出了协作贡献比系数，用来激励参与协作的雾节点，假设执行负载均衡算法的协作雾节点的个数为M个，M≤N，M的取值根据能够主观调节的协作贡献度阈值对Γ进行截断，构建协作雾节点子集Γ^*＝{i₁,i₂,…,i_m,…,i_M}来确定；所贡献的计算资源的比例，在保证协作可行性、协作公平性以及协作稳定性的前提下，平衡雾节点间的负载分配；

Γ^*中所有雾节点的协作贡献度的平均值

表示如下：

定义雾节点i_m的协作贡献比系数χ_m，表示如下：

其中，

(2)引入协作贡献比系数的系统总开销优化问题：

提出了协作贡献比系数χ_m，旨在将其作为协作雾节点i_m的激励因子引入到系统能耗总成本和用户支付总成本的函数项中作加权系数，从而促使最优解中，被χ_m激励的协作雾节点最终分到的负载大小与其自身的协作贡献度大小成正比；

引入χ_m后的系统能耗总成本的激励因子加权项E_cost，表示如下：

引入χ_m后的用户支付总成本的激励因子加权项U_cost，表示如下：

提出的优化问题以优化系统能耗成本和用户支付成本为目标，考虑到计算负载的分配面向的是计算密集型任务需求，用户的时延敏感略次之，仅在保障用户QoE的前提下，将时延用作约束；优化问题表示如下：

其中，

为主雾节点

卸载到本地执行的负载的数据大小

所有协作雾节点i_m(i_m∈Γ^*)被分配的负载的数据大小；β为权衡系统能耗成本与用户支付成本的系数，0＜β≤1；约束条C₁表明所有雾节点执行的任务负载的总和为用户请求的任务负载；约束条件C₂为时延限制，确保执行任务的同时保证用户QoE需求；约束条件C₃限制用户上行链路的传输功率不能超过最大发射功率p_max；约束条件C₄和C₅确保雾节点需要执行的负载的计算量在自己的可供使用的剩余计算量以内，

和

为主雾节点f_k和协作雾节点i_m的剩余计算量的保留阈值，保证雾节点除在可用资源范围内执行协作任务以外，预留计算资源给其他任务。

可选的，所述步骤S5具体为：

①用户将计算任务发送至其所关联的SeNBk，SeNBk的共处雾节点f_k无法独立执行全部任务负载，向雾集群管理方，即MeNB的共处雾节点上报，提供自身及任务负载的相关信息，请求帮助；

②雾集群管理方收到请求，触发与其共同部署的负载均衡器执行协作雾节点筛选算法，从所有除主雾节点f_k以外的剩余雾节点f_j,(f_j∈Φ,f_j≠f_k)中筛选出可供选择的协作雾节点，并按照协作贡献度从大到小的顺序，构建协作雾节点的待选集合Γ＝{j₁,j₂,…,j_n,…,j_N}；

③负载均衡器依据设置好的并且可主观调节的协作贡献度阈值Θ^threshold对Γ进行截断，选取前M个

组成子集Γ^*＝{i₁,i₂,…,i_m,…,i_M}；设置轮流对比方案，从起始数量开始，以1为步长，前2个协作雾节点、前3个协作雾节点，....,一直到前M个协作雾节点，共M-1个方案，对这M-1个方案都使用外部罚函数法求解最优分配结果，并将最优分配结果中的成本与时延进行综合对比，选出最佳的一种，作为最佳的协作方案；

④引入M个选择使能因子η_m，m∈{1,2,…,M}，η_m的取值由最佳分配结果中i_m分得的负载的数据量大小确定，若i_m在最优方案中分得的负载数据量大小不为0，那么η_m＝1，否则，η_m＝0；

⑤负载均衡器将最佳分配方案的协作雾节点使能选择与对应的负载分割结果通告给主雾节点f_k，f_k按照通告执行对任务负载的分割以及相应协作雾节点的选择。

本发明的有益效果在于：本发明设计了用于筛选协作雾节点的协作贡献度和协作雾节点筛选算法，根据协作贡献度进一步设计了协作贡献比系数，构建了引入协作贡献比系数的系统总开销优化问题模型，最后设计了基于协作贡献度的负载均衡算法，能够求得雾节点协作执行负载的最佳分配结果，在保证协作可行性、公平性、稳定性的前提下，提升系统性能和用户的QoE。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明所提密集异构蜂窝网络雾计算系统下的雾节点协作网络场景模型图；

图2为本发明所述方法的流程示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

请参阅图1和图2，本发明具体包括以下技术方案：

步骤1：多个雾节点相互协作执行任务负载的网络场景模型的构建。

本发明考虑图1所示的在密集异构蜂窝网络雾计算系统下，雾节点协作执行任务负载的网络场景模型图。具体地，宏基站(MeNB)与小基站(SeNB)一侧都部署了与之匹配的雾节点(雾服务器)，每个雾节点都具有一定的存储能力、计算能力和通信能力。如图1中的实线与虚线所示，雾节点间可以相互通信，也可以直接与用户、基站通信。为简便起见，本文只考虑一种典型任务——计算密集型任务，旨在通过与SeNB共处的雾节点之间的协作来平衡计算负载的分配，MeNB的共处雾节点作为雾集群管理方并提供负载均衡控制器，用来收集必要的信息，并执行负载均衡算法。假设网络中共有K个SeNB，那么SeNB共处雾节点的总个数也为K。将网络中所有SeNB的集合表示为K＝{1,2,…,k,…K}，将所有SeNB共处雾节点的集合表示为Φ＝{f₁,f₂,…,f_k,…,f_K}，可知雾节点f_k(f_k∈Φ)与SeNBk(k∈K)呈唯一对应关系。将SeNBk服务范围内的用户集合表示为U_k，当雾节点f_k接收到终端用户u (u∈U_k)发来的计算任务

且无法独立处理全部任务时，雾节点均衡控制器即需要协调处理用户任务在多个雾节点服务器之间的负载分配问题。这里，b_u表示计算任务输入数据的大小，c_u表示计算该任务所需的计算量(CPU周期数)，

表示用户u容忍的最大时延，即计算任务在

时间内完成，则不会影响用户的QoE。

步骤2：雾节点协作过程的通信模型和计算模型的构建，其中通信模型的构建包含雾节点与雾节点间的通信和用户与雾节点的通信两个部分，计算模型的构建包含雾节点协作过程的时延成本、能耗成本和支付成本三部分，具体如下：

步骤2.1：通信模型的的构建

雾节点协作计算场景的通信过程包括用户u(u∈U_k)与主雾节点f_k(f_k∈Φ)的通信，以及主雾节点f_k与协作雾节点i_m(i_m∈Γ^*)的通信。雾节点间的通信可以采用多种通信方式，如无线、WiFi等。为便于分析，本文假定雾节点间的通信全部采用无线通信方式，并将主雾节点f_k与协作雾节点i_m的通信速率表示为R_k,m。

本文考虑用户u将任务负载b_u传输至主雾节点f_k的上行链路传输过程，假定MeNB与SeNB采用异频组网方式部署，且接入同一宏小区或小小区的用户均采用正交频分多址接入体制(Orthogonal Frequency Division Multiple Access，OFDMA)接入基站，因此同一小小区内的用户之间的相互干扰可忽略，本文仅考虑小小区间的同频干扰。依据香农公式，此上行链路传输通信过程的通信传输速率D_u,k表示如下：

其中，B_k表示用户传输计算任务至雾节点f_k的上行链路传输带宽；p_u,k、g_u,k表示用户u与雾节点f_k通信过程的发送功率和上行链路功率增益；υ_u',u表示来自相邻小小区所服务的用户u' 的同频干扰指示标识，υ_u',u＝1表示用户u'与用户u占用相同信道资源，产生同频干扰，υ_u',u＝0 反之，此时用户u'不会带来同频干扰，具体取值在实际仿真中随机设置。所有用户的发送功率大小都在(0,p_max]的区间范围内，

表示上行链路噪声功率。

步骤2.2：计算模型的的构建

步骤2.2.1：时延成本

为简化考虑，对于通信时延，本文仅考虑用户向主雾节点发送任务负载以及主雾节点转发分割负载至协作雾节点的单向传输过程所耗的传输时延，不考虑与之对应的返还过程的传输时延；对于计算时延，本文仅考虑主雾节点和协作雾节点执行分割负载的计算时延以及主雾节点汇总所有处理结果的处理时延。本文按处理顺序对时延建模说明如下：

(1)假设主雾节点f_k将卸载到本地执行的用户任务负载进行切割划分，将保留在其处执行的任务表示为

其中，

示卸载的任务负载的数据大小，

表示卸载下来的任务负载

对应的计算量大小，且

表示主雾节点f_k能够提供的剩余计算量，a_k表示雾节点f_k的计算能力，单位为cycle/s，

表示主雾节点f_k处理卸载任务

的计算时延。本文假设协作的前提为主雾节点f_k无法独立处理用户发来的全部任务负载，只能卸载部分负载进行处理，因此有

a.用户发送全部任务负载b_u至主雾节点f_k的通信传输过程所耗的通信时延

表示如下：

其中，

b.主雾节点f_k计算卸载下来的部分任务负载

所耗的计算时延

表示如下：

(2)主雾节点f_k将无法执行的任务负载卸载到其他合适的协作雾节点i_m， i_m∈Γ^*,Γ^*＝{i₁,i₂,…,i_m,…,i_M}，M≤N。N为有资格作为协作雾节点的个数，由本文所提的协作雾节点筛选算法确定。假设主雾节点f_k卸载到协作雾节点i_m的任务负载为

其中，

表示卸载至协作雾节点i_m的任务负载的数据大小，

表示卸载下来的任务负载

对应的计算量大小，且

表示协作雾节点i_m能够提供的剩余计算量，a_m表示雾节点i_m的计算能力，单位为cycle/s，

表示协作雾节点i_m处理卸载任务

的计算时延。

主雾节点f_k本地卸载的任务负载

与卸载至其他协作雾节点的任务负载

满足如下关系：

即主雾节点作为执行与转发节点，将用户的全部任务负载进行分割，与合适的协作雾节点共同执行。

a.主雾节点f_k将任务负载切割后，转发至协作雾节点i_m的通信过程所耗通信时延

表示如下：

其中，

为主雾节点f_k卸载至协作雾节点i_m的任务负载的数据大小，

为主雾节点f_k与协作雾节点i_m之间的数据传输速率。

b.协作雾节点i_m处理卸载任务

的计算时延，表示如下：

其中，

为卸载至协作雾节点i_m的任务负载

对应的计算量大小，a_m表示雾节点i_m的计算能力，单位为cycle/s。

(3)主雾节点f_k将M个协作节点的处理结果(进行汇总处理，所需汇总的计算量表示为

此过程的处理时延表示如下：

综合式(2)、(3)、(5)、(6)、(7)，本文所考虑的雾节点协作计算场景总的时间成本T_u表示如下：

其中，等式右边第一、二项为用户发送任务至主雾节点的通信时延和主雾节点执行部分负载的计算时延，第三、四项为主雾节点将分割后的任务转发至所有可协作雾节点的通信时延总和以及所有协作雾节点执行任务负载的计算时延综合，第五项为雾节点汇聚处理所有执行完后的任务负载所需的计算时延。

步骤2.2.2：能耗成本

为简化考虑，本文仅考虑任务负载的单向传输过程所耗能耗以及主雾节点和协作雾节点各自执行任务负载的计算能耗。由于汇总处理任务的计算量相对执行任务负载的计算量要小很多，因此忽略汇总处理任务的能耗。

(1)将用户上传任务负载至主雾节点f_k所消耗的能量记作

表示如下：

其中，p_u,k为用户u与主雾节点f_k通信的上行链路发送功率，

为终端设备传输功率放大器的效率，

为上行链路通信过程的通信时延。

(2)将主雾节点f_k计算卸载下来的部分任务负载

所消耗的能量记作E_k，表示如下：

其中，

为预设参数，表明雾节点处理任务的计算功耗函数为计算数据量的单调递增的严格凸函数。

(3)主雾节点f_k将分割后的任务负载转发至协作雾节点i_m过程所消耗的能量记作

表示如下：

其中，系数

为雾节点间单位时间传输负载的平均转发功率，

为转发过程所耗时延。因此，转发至所有可协作的雾节点所耗的能量总和如下：

(4)协作雾节点i_m处理分割负载

所消耗的能量记作E_m，表示如下：

所有协作雾节点的计算总能耗表示如下：

综合式(9)、(10)、(12)和(14)，本文所考虑的雾节点协作计算场景总的能耗成本E_u表示如下：

步骤2.2.3：支付成本

本文假设终端用户需要为使用的雾节点资源支付一定费用，雾节点之间的协作也需要终端用户支付额外的费用作为对雾节点贡献自身计算资源的贡献激励。将使用雾节点处理计算任务的单位计算支付成本记作

将激励协作雾节点的单位激励支付成本记作

本文所提的雾计算场景下用户的支付成本

表示如下：

其中，等式右边第一项表示用户需要向参与协作的主雾节点和所有协作雾节点支付的处理任务的计算支付成本；等式右边第二项表示用户需要为参与协作的所有协作雾节点支付的激励支付成本。

步骤3：协作贡献度和协作雾节点筛选算法的设计。

步骤3.1：协作贡献度的设计：

为了在除主雾节点以外的剩余雾节点当中筛选出可以参与协作的雾节点，并构建最终参与负载均衡算法的协作雾节点子集合，本文提出了协作贡献度的概念，并对其进行了详细定义，旨在以此作为选择协作雾节点的标准。

(1)协作可行性

此处提到的可行性指的是基本可行性，从雾节点的计算能力、剩余计算资源和雾节点间的通信距离三个方面来考虑。只有雾节点具有剩余计算资源，才能够处理分配过来的任务，而雾节点的剩余计算资源越多，就能接受更多的分配任务，且接受分配任务对其自身造成的影响越小；雾节点的计算能力越强，与主雾节点的通信距离越短，其作为协作雾节点就能够提供更良好的计算性能和通信性能，保证用户的QoE。本文定义雾节点f_j,(f_j∈Φ,f_j≠f_k)的协作可行性衡量因子

表示如下：

其中，α₁,α₂,α₃∈[0,1]，且α₁+α₂+α₃＝1，为三个考虑因素的权衡因子。

为雾节点f_j的剩余计算量，c_u为原始用户发出的任务负载所需要的计算量；a_j为雾节点f_j的计算能力，a_k为主雾节点f_k的计算能力；

为雾节点f_j到主雾节点f_k的通信距离，

为主雾节点f_k与所有其他雾节点的通信距离的平均值，在密集异构蜂蜜网络雾计算场景下，雾节点部署在基站一侧，因此基站间的距离即其共处雾节点之间的距离，此距离假设已事先测量，计算并保存在负载均衡器的网络端。

(2)协作公平性

本文定义的协作公平性从雾节点的角度，基于雾节点的资源贡献比来考量。假设网络中的雾节点已经事先协商好自身可以贡献的最大资源，将雾节点f_j,(f_j∈Φ,f_j≠f_k)能够贡献的最大计算资源表示为

其自身的全部计算资源表示为

定义雾节点f_j的协作公平性衡量因子

表示如下：

的值越大，表明雾节点f_j越愿意贡献自身资源参与协作，因此，将其纳为选择协作雾节点的标准可以体现对雾节点所有者的公平性。

(3)协作稳定性

不同的雾节点具有不同的计算能力和可靠性，选择协作雾节点时，需要考虑对系统稳定性的影响。只有保障雾节点执行任务的稳定性，才能更好的保证用户的QoE和系统的稳定性。本文根据雾节点的信誉度设计雾节点的稳定性模型。

信誉度分为统计信誉度和认知信誉度两个方面，雾节点f_j,(f_j∈Φ,f_j≠f_k)的统计信誉度

需要根据雾节点执行历史任务的情况统计得出；认知信誉度旨在面向历史任务较少的不同类型的雾节点进行主观定义，鉴于本文所提计算场景的雾节点全部为特定类型的雾节点——雾服务器，不具移动性且具有将强计算能力，因此设定所有雾节点的认知信誉度

均为0.9。

雾节点f_j的统计信誉度

求解如下：

假设雾节点f_j每次完成负载均衡器传达给它的协作任务(指本次算法执行需求以前的时间周期内的协作任务)，负载均衡器都会对f_j进行执行任务的满意度评价，s_l∈[0,1]代表第l次满意度评价，s_l的大小决于雾节点完成任务的成功率、执行效率和用户反馈等。假设雾集群管理方满意度评价表中存放的对雾节点f_j的评价次数为L次，则统计信誉度γ_j ^s应为雾集群管理者L次评价的平均值。然而，为了使雾节点信誉度的计算更加准确，信誉度模型需要区别不同阶段对于信誉度计算的影响，时间较近的评价应该具有更高的权重值，Sun定义了考虑时间衰减的最终统计信誉度的计算公式如下：

其中，

交易次数因子，反应满意度评价量越多时，做出的信任度评价越准确。

综合统计信誉度

与认知信誉度

定义雾节点f_j的协作稳定性衡量因子

表示如下：

其中，ω₁,ω₂∈[0,1]，且ω₁+ω₂＝1，为权衡

与

的权衡因子，根据对雾节点f_j的评价次数来决定。

值越大，表明雾节点f_j的信誉度越高，其执行任务越稳定。

综合考虑雾节点f_j,(f_j∈Φ,f_j≠f_k)的协作可行性、协作公平性以及协作稳定性，本文提出了作为筛选协作雾节点标准的协作贡献度

为协作可行性衡量因子

协作公平性衡量因子

协作稳定性衡量因子

的加权融合值，

的加权融合值大小由本文所涉及的协作雾节点筛选算法求得。

步骤3.2：协作雾节点筛选算法的设计：

本文设计了一种基于多属性决策的协作雾节点筛选算法，由于

和

的量纲不一样，所提算法将除主雾节点f_k以外的所有雾节点f_j,(f_j∈Φ,f_j≠f_k)作为决策方案，求解每个方案的加权融合属性值

并通过f_j的剩余计算容量

对其进行判断，若

则将其纳入协作雾节点待选集合，否则不纳入，其中，

为雾节点f_j的剩余计算容量保留阈值。定义协作雾节点待选集合Γ＝{j₁,j₂,…,j_n,…,j_N}，N为经剩余计算容量保留阈值筛选后得到的有资格参与协作的雾节点的总个数。Γ的确定为整个协作系统的负载均衡算法的执行做前期准备。具体地，负载均衡器根据网络端保存的相关信息(所有雾节点的计算能力，剩余计算量，通信距离，已执行任务反馈等)和主雾节点f_k发送的用户请求任务负载的相关信息，执行协作雾节点筛选算法。具体步骤如下：

(1)定义决策矩阵：将除主雾节点f_k以外的所有雾节点f_j,(f_j∈Φ,f_j≠f_k)作为决策方案，对应到决策矩阵的行向量，而矩阵的列向量由每个f_j的

和

三个属性值来确定；

(2)规范化决策矩阵：采用极差变换法对决策矩阵进行规范化处理；

(3)决策矩阵加权：将最优组合权重与规范化的决策矩阵相乘得到加权规范化决策矩阵；其中，最优组合权重的设计依据最小鉴别信息原理将主观权重与客观权重结合构建组合权重，在此基础上釆用拉格朗日乘子法求得最优组合权重表达式。

(4)根据网络端保存的属性信息，计算除主雾节点f_k以外的所有雾节点f_j,(f_j∈Φ,f_j≠f_k)的决策矩阵，进而得到所有决策方案的加权规范化决策矩阵。

(5)根据(4)所获得的加权规范化决策矩阵，计算每个f_j对应的加权融合值，即f_j的协作贡献度的融合值大小

(6)通过f_j的剩余计算容量

对f_j进行判断，若

则将其纳入协作雾节点待选集合，将所有

待选协作雾节点按照

从大到小的顺序进行排序，构建协作雾节点待选集合Γ＝{j₁,j₂,…,j_n,…,j_N}；

步骤4：设计协作贡献比系数，并构建引入协作贡献比系数的系统总开销优化函数模型。

步骤4.1：协作贡献比系数的设计

本文提出了协作贡献比系数，用来激励参与协作的雾节点(假设执行负载均衡算法的协作雾节点的个数为M(M≤N)个，M的取值根据能够主观调节的协作贡献度阈值对Γ进行截断，构建协作雾节点子集Γ^*＝{i₁,i₂,…,i_m,…,i_M}来确定)所贡献的计算资源的比例，在保证协作可行性、协作公平性以及协作稳定性的前提下，平衡雾节点间的负载分配。

Γ^*中所有雾节点的协作贡献度的平均值

表示如下：

定义雾节点i_m的协作贡献比系数χ_m，表示如下：

其中，

步骤4.2：引入协作贡献比系数的系统总开销优化问题

本文提出了协作贡献比系数χ_m，旨在将其作为协作雾节点i_m的激励因子引入到系统能耗总成本和用户支付总成本的函数项中作加权系数，从而促使最优解中，被χ_m激励的协作雾节点最终分到的负载大小与其自身的协作贡献度大小成正比，保证协作的可行性、公平性、稳定性。

引入χ_m后的系统能耗总成本的激励因子加权项E_cost，表示如下：

引入χ_m后的用户支付总成本的激励因子加权项U_cost，表示如下：

本文提出的优化问题以优化系统能耗成本和用户支付成本为目标，考虑到计算负载的分配面向的是计算密集型任务需求，用户的时延敏感略次之，因此仅在保障用户QoE的前提下，将时延用作约束。优化问题表示如下：

其中，

为主雾节点

载到本地执行的负载的数据大小

为所有协作雾节点i_m(i_m∈Γ^*)被分配的负载的数据大小。β为权衡系统能耗成本与用户支付成本的系数，0＜β≤1。约束条C₁表明所有雾节点执行的任务负载的总和为用户请求的任务负载；约束条件C₂为时延限制，确保执行任务的同时保证用户QoE需求；约束条件C₃限制用户上行链路的传输功率不能超过最大发射功率p_max；约束条件C₄和C₅确保雾节点需要执行的负载的计算量在自己的可供使用的剩余计算量以内，

和

为主雾节点f_k和协作雾节点i_m的剩余计算量的保留阈值，保证雾节点除在可用资源范围内执行协作任务以外，预留计算资源给其他任务。

由于所提问题的优化函数为凸函数(海森矩阵半正定)，且可行域为凸(约束条件C₁为仿射子空间，约束条件C₂为多面体，C₄、C₅为半空间)，因此所提优化问题为凸优化问题。可以观察到，本文所提的优化问题为具有一般约束的凸优化问题，因此可以用解决此类凸优化问题的经典方法，外部罚函数法来求得最优解。

外部罚函数法的基本思想是根据优化问题的目标函数以及约束条件，构造出具有惩罚效果的惩罚函数，从而把约束最优化问题转换为无约束问题。在对无约束问题的求解过程中，对企图违反约束的那些迭代点给予很大的目标函数值，迫使此无约束问题的极小点(迭代点) 无限的向容许集靠近，直至算法收敛。

步骤5：设计基于雾节点协作贡献度的负载均衡算法，求解负载分配的最佳结果。具体包括：

步骤5.1：用户将计算任务发送至其所关联的SeNBk，SeNBk的共处雾节点f_k无法独立执行全部任务负载，向雾集群管理方(MeNB的共处雾节点)上报，提供自身及任务负载的相关信息，请求帮助。

步骤5.2：雾集群管理方收到请求，触发与其共同部署的负载均衡器执行协作雾节点筛选算法，从所有除主雾节点f_k以外的剩余雾节点f_j,(f_j∈Φ,f_j≠f_k)中筛选出可供选择的协作雾节点，并按照协作贡献度从大到小的顺序，构建协作雾节点的待选集合Γ＝{j₁,j₂,…,j_n,…,j_N}。

步骤5.3：负载均衡器依据设置好的并且可主观调节的协作贡献度阈值Θ^threshold对Γ进行截断，选取前M个

组成子集

设置轮流对比方案，从起始数量开始，以1为步长，前2个协作雾节点、前3个协作雾节点，....,一直到前M个协作雾节点，共M-1个方案，对这M-1个方案都使用外部罚函数法求解最优分配结果，并将最优分配结果中的成本与时延进行综合对比，选出最佳的一种，作为最佳的协作方案。

步骤5.4：引入M个选择使能因子η_m(m∈{1,2,…,M})，η_m的取值由最佳分配结果中i_m分得的负载的数据量大小确定，若i_m在最优方案中分得的负载数据量大小不为0，那么η_m＝1，否则，η_m＝0。

步骤5.5：负载均衡器将最佳分配方案的协作雾节点使能选择与对应的负载分割结果通告给主雾节点f_k，f_k按照通告执行对任务负载的分割以及相应协作雾节点的选择。

表1为本发明的符号说明表。

表1符号说明表

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种雾计算网络中基于雾节点协作的负载均衡方法，其特征在于：该方法包括以下步骤：

S1：多个雾节点协作执行任务负载的网络场景模型的构建；

S2：雾节点协作过程的通信模型和计算模型的构建；

S3：协作贡献度

和协作雾节点筛选算法的设计；

S4：协作贡献比系数χ_m的设计和引入协作贡献比系数的系统总开销优化问题的构建；

S5：基于雾节点协作贡献度的负载均衡算法的设计。

2.根据权利要求1所述的一种雾计算网络中基于雾节点协作的负载均衡方法，其特征在于：所述步骤S1具体为：

假设网络中共有K个小基站SeNB，那么SeNB共处雾节点的总个数也为K。将网络中所有SeNB的集合表示为K＝{1,2,…,k,…K}，将所有SeNB共处雾节点的集合表示为Φ＝{f₁,f₂,…,f_k,…,f_K}，知雾节点f_k与SeNBk呈唯一对应关系；将SeNBk服务范围内的用户集合表示为U_k，当雾节点f_k接收到终端用户u发来的计算任务

且无法独立处理全部任务时，雾节点均衡控制器即需要协调处理用户任务在多个雾节点服务器之间的负载分配问题；其中，f_k∈Φ，k∈K，u∈U_k，b_u表示计算任务输入数据的大小，c_u表示计算该任务所需的计算量，即CPU周期数，T_u ^max表示用户u容忍的最大时延，即计算任务在T_u ^max时间内完成，则不会影响用户的QoE；用户u通过监测任务的应用配置获取任务输入数据大小b_u并评估其所需的计算资源信息c_u；当雾节点f_k作为主雾节点无法独立完成计算任务

时，需向负载均衡控制器请求执行负载均衡算法，并依据算法执行的最佳分配结果将计算任务

进行切割，分发到其他合适的雾节点进行协作处理；假设网络中共有N个可参与协作的雾节点组成了协作雾节点待选集合Γ＝{j₁,j₂,…,j_n,…,j_N}，其中M≤N-1，负载均衡控制器需要根据协作贡献度阈值对Γ进行截断，获取执行负载均衡算法的协作雾节点子集Γ^*＝{i₁,i₂,…,i_m,…,i_M}，M≤N；主雾节点f_k从Γ^*中选择协作雾节点进行任务分配，最后收集处理结果并汇总返还给用户。

3.根据权利要求1所述的一种雾计算网络中基于雾节点协作的负载均衡方法，其特征在于：所述步骤S2具体为：

(1)通信模型的构建

通信模型的构建包含雾节点与雾节点间的通信和用户与雾节点的通信两个部分；

雾节点间的通信采用无线或WiFi的通信方式；假定雾节点间的通信全部采用无线通信方式，并将主雾节点f_k与协作雾节点i_m的通信速率表示为R_k,m；

考虑用户u将任务负载b_u传输至主雾节点f_k的上行链路传输过程，假定MeNB与SeNB采用异频组网方式部署，且接入同一宏小区或小小区的用户均采用正交频分多址接入体制OFDMA接入基站，忽略同一小小区内的用户之间的相互干扰，仅考虑小小区间的同频干扰；依据香农公式，上行链路传输通信过程的通信传输速率D_u,k表示如下：

其中，B_k表示用户传输计算任务至雾节点f_k的上行链路传输带宽；p_u,k、g_u,k表示用户u与雾节点f_k通信过程的发送功率和上行链路功率增益；υ_u',u表示来自相邻小小区所服务的用户u'的同频干扰指示标识，υ_u',u＝1表示用户u'与用户u占用相同信道资源，产生同频干扰，υ_u',u＝0反之，此时用户u'不会带来同频干扰，具体取值在实际仿真中随机设置；所有用户的发送功率大小都在(0,p_max]的区间范围内，

表示上行链路噪声功率；

(2)计算模型的构建

计算模型的构建包含雾节点协作过程的时延成本、能耗成本和支付成本三部分；

首先，步骤S2所述的计算模型中所包含的时延成本建模如下：

①假设主雾节点f_k将卸载到本地执行的用户任务负载进行切割划分，将保留在其处执行的任务表示为

其中，

表示卸载的任务负载的数据大小，

表示卸载下来的任务负载

对应的计算量大小，且

表示主雾节点f_k能够提供的剩余计算量，a_k表示雾节点f_k的计算能力，单位为cycle/s，T_u ^k表示主雾节点f_k处理卸载任务

的计算时延；本文假设协作的前提为主雾节点f_k无法独立处理用户发来的全部任务负载，只能卸载部分负载进行处理，有

a.用户发送全部任务负载b_u至主雾节点f_k的通信传输过程所耗的通信时延

表示如下：

其中，

b.主雾节点f_k计算卸载下来的部分任务负载

所耗的计算时延

表示如下：

②主雾节点f_k将无法执行的任务负载卸载到其他合适的协作雾节点i_m，i_m∈Γ^*,Γ^*＝{i₁,i₂,…,i_m,…,i_M}，M≤N；N为有资格作为协作雾节点的个数，由本文所提的协作雾节点筛选算法确定；假设主雾节点f_k卸载到协作雾节点i_m的任务负载为

其中，

表示卸载至协作雾节点i_m的任务负载的数据大小，

表示卸载下来的任务负载

对应的计算量大小，且

表示协作雾节点i_m能够提供的剩余计算量，a_m表示雾节点i_m的计算能力，单位为cycle/s，T_k ^m表示协作雾节点i_m处理卸载任务

的计算时延；

主雾节点f_k本地卸载的任务负载

与卸载至其他协作雾节点的任务负载

满足如下关系：

即主雾节点作为执行与转发节点，将用户的全部任务负载进行分割，与合适的协作雾节点共同执行；

a.主雾节点f_k将任务负载切割后，转发至协作雾节点i_m的通信过程所耗通信时延

表示如下：

其中，

为主雾节点f_k卸载至协作雾节点i_m的任务负载的数据大小，

为主雾节点f_k与协作雾节点i_m之间的数据传输速率；

b.协作雾节点i_m处理卸载任务

的计算时延，表示如下：

其中，

为卸载至协作雾节点i_m的任务负载

对应的计算量大小，a_m表示雾节点i_m的计算能力，单位为cycle/s；

c.主雾节点f_k将M个协作节点的处理结果，进行汇总处理，所需汇总的计算量表示为

此过程的处理时延表示如下：

综合式(2)、(3)、(5)、(6)、(7)，所考虑的雾节点协作计算场景总的时间成本T_u表示如下：

其中，等式右边第一、二项为用户发送任务至主雾节点的通信时延和主雾节点执行部分负载的计算时延，第三、四项为主雾节点将分割后的任务转发至所有可协作雾节点的通信时延总和以及所有协作雾节点执行任务负载的计算时延综合，第五项为雾节点汇聚处理所有执行完后的任务负载所需的计算时延；

其次，步骤S2所述的计算模型中所包含的能耗成本建模如下：

①将用户上传任务负载至主雾节点f_k所消耗的能量记作

表示如下：

其中，p_u,k为用户u与主雾节点f_k通信的上行链路发送功率，

为终端设备传输功率放大器的效率，

为上行链路通信过程的通信时延；

②将主雾节点f_k计算卸载下来的部分任务负载

所消耗的能量记作E_k，表示如下：

其中，

为预设参数，表明雾节点处理任务的计算功耗函数为计算数据量的单调递增的严格凸函数；

③主雾节点f_k将分割后的任务负载转发至协作雾节点i_m过程所消耗的能量记作

表示如下：

其中，系数

为雾节点间单位时间传输负载的平均转发功率，

为转发过程所耗时延；因此，转发至所有可协作的雾节点所耗的能量总和如下：

④协作雾节点i_m处理分割负载

所消耗的能量记作E_m，表示如下：

所有协作雾节点的计算总能耗表示如下：

综合式(9)、(10)、(12)和(14)，所考虑的雾节点协作计算场景总的能耗成本E_u表示如下：

最后，步骤S2所述的计算模型中所包含的支付成本建模如下：

假设终端用户需要为使用的雾节点资源支付一定费用，雾节点之间的协作也需要终端用户支付额外的费用作为对雾节点贡献自身计算资源的贡献激励；将使用雾节点处理计算任务的单位计算支付成本记作

将激励协作雾节点的单位激励支付成本记作

雾计算场景下用户的支付成本

表示如下：

其中，等式右边第一项表示用户需要向参与协作的主雾节点和所有协作雾节点支付的处理任务的计算支付成本；等式右边第二项表示用户需要为参与协作的所有协作雾节点支付的激励支付成本。

4.根据权利要求1所述的一种基于雾节点协作贡献度的负载均衡方法，其特征在于：所述步骤S3具体为：

(1)协作贡献度的设计如下：

为了在除主雾节点以外的剩余雾节点当中筛选出可以参与协作的雾节点，并构建最终参与负载均衡算法的协作雾节点子集合，提出协作贡献度的概念；

①协作可行性

可行性指的是基本可行性，从雾节点的计算能力、剩余计算资源和雾节点间的通信距离三个方面来考虑；只有雾节点具有剩余计算资源，才能够处理分配过来的任务，而雾节点的剩余计算资源越多，就能接受更多的分配任务，且接受分配任务对其自身造成的影响越小；雾节点的计算能力越强，与主雾节点的通信距离越短，其作为协作雾节点就能够提供更良好的计算性能和通信性能，保证用户的QoE；定义雾节点f_j的协作可行性衡量因子

f_j∈Φ,f_j≠f_k表示如下：

其中，α₁,α₂,α₃∈[0,1]，且α₁+α₂+α₃＝1，为三个考虑因素的权衡因子；

为雾节点f_j的剩余计算量，c_u为原始用户发出的任务负载所需要的计算量；a_j为雾节点f_j的计算能力，a_k为主雾节点f_k的计算能力；

为雾节点f_j到主雾节点f_k的通信距离，

为主雾节点f_k与所有其他雾节点的通信距离的平均值，在密集异构蜂蜜网络雾计算场景下，雾节点部署在基站一侧，基站间的距离即其共处雾节点之间的距离，此距离假设已事先测量，计算并保存在负载均衡器的网络端；

②协作公平性

定义的协作公平性从雾节点的角度，基于雾节点的资源贡献比来考量；假设网络中的雾节点已经事先协商好自身可以贡献的最大资源，将雾节点f_j能够贡献的最大计算资源表示为

f_j∈Φ,f_j≠f_k，自身的全部计算资源表示为

定义雾节点f_j的协作公平性衡量因子

表示如下：

的值越大，表明雾节点f_j越愿意贡献自身资源参与协作，将其纳为选择协作雾节点的标准可以体现对雾节点所有者的公平性；

③协作稳定性

不同的雾节点具有不同的计算能力和可靠性，选择协作雾节点时，需要考虑对系统稳定性的影响；只有保障雾节点执行任务的稳定性，才能更好的保证用户的QoE和系统的稳定性；本文根据雾节点的信誉度设计雾节点的稳定性模型；

信誉度分为统计信誉度和认知信誉度两个方面，雾节点f_j的统计信誉度

需要根据雾节点执行历史任务的情况统计得出；认知信誉度旨在面向历史任务较少的不同类型的雾节点进行主观定义，鉴于计算场景的雾节点全部为特定类型的雾节点——雾服务器，不具移动性且具有将强计算能力，设定所有雾节点的认知信誉度

为0.9；

雾节点f_j的统计信誉度

求解如下：

假设雾节点f_j每次完成负载均衡器传达给它的协作任务，即本次算法执行需求以前的时间周期内的协作任务，负载均衡器都会对f_j进行执行任务的满意度评价，s_l∈[0,1]代表第l次满意度评价，s_l的大小决于雾节点完成任务的成功率、执行效率和用户反馈；假设雾集群管理方满意度评价表中存放的对雾节点f_j的评价次数为L次，则统计信誉度

应为雾集群管理者L次评价的平均值；为使雾节点信誉度的计算更加准确，信誉度模型需要区别不同阶段对于信誉度计算的影响，时间较近的评价应该具有更高的权重值，Sun定义了考虑时间衰减的最终统计信誉度的计算公式如下：

其中，

为交易次数因子，反应满意度评价量越多时，做出的信任度评价越准确；

综合统计信誉度

与认知信誉度

定义雾节点f_j的协作稳定性衡量因子

表示如下：

其中，ω₁,ω₂∈[0,1]，且ω₁+ω₂＝1，为权衡

与

的权衡因子，根据对雾节点f_j的评价次数来决定；

值越大，表明雾节点f_j的信誉度越高，其执行任务越稳定；

综合考虑雾节点f_j的协作可行性、协作公平性以及协作稳定性，提出作为筛选协作雾节点标准的协作贡献度

为协作可行性衡量因子

协作公平性衡量因子

协作稳定性衡量因子

的加权融合值，

的加权融合值大小由本文所涉及的协作雾节点筛选算法求得；

(2)协作雾节点筛选算法的设计如下：

由于

和

的量纲不一样，所提算法将除主雾节点f_k以外的所有雾节点f_j作为决策方案，求解每个方案的加权融合属性值

并通过f_j的剩余计算容量

对其进行判断，若

则将其纳入协作雾节点待选集合，否则不纳入，其中，

为雾节点f_j的剩余计算容量保留阈值；定义协作雾节点待选集合Γ＝{j₁,j₂,…,j_n,…,j_N}，N为经剩余计算容量保留阈值筛选后得到的有资格参与协作的雾节点的总个数；Γ的确定为整个协作系统的负载均衡算法的执行做前期准备；负载均衡器根据网络端保存的相关信息，包括所有雾节点的计算能力、剩余计算量、通信距离和已执行任务反馈；以及主雾节点f_k发送的用户请求任务负载的相关信息，执行协作雾节点筛选算法；具体步骤如下：

①定义决策矩阵：将除主雾节点f_k以外的所有雾节点f_j,(f_j∈Φ,f_j≠f_k)作为决策方案，对应到决策矩阵的行向量，而矩阵的列向量由每个f_j的

和

三个属性值来确定；

②规范化决策矩阵：采用极差变换法对决策矩阵进行规范化处理；

③决策矩阵加权：将最优组合权重与规范化的决策矩阵相乘得到加权规范化决策矩阵；其中，最优组合权重的设计依据最小鉴别信息原理将主观权重与客观权重结合构建组合权重，在此基础上釆用拉格朗日乘子法求得最优组合权重表达式；

④根据网络端保存的属性信息，计算除主雾节点f_k以外的所有雾节点f_j的决策矩阵，进而得到所有决策方案的加权规范化决策矩阵；

⑤根据④所获得的加权规范化决策矩阵，计算每个f_j对应的加权融合值，即f_j的协作贡献度的融合值大小

⑥通过f_j的剩余计算容量

对f_j进行判断，若

则将其纳入协作雾节点待选集合，将所有

的待选协作雾节点按照

从大到小的顺序进行排序，构建协作雾节点待选集合Γ＝{j₁,j₂,…,j_n,…,j_N}。

5.根据权利要求1所述的一种雾计算网络中基于雾节点协作的负载均衡方法，其特征在于：所述步骤S4具体为：

(1)协作贡献比系数的设计

本文提出了协作贡献比系数，用来激励参与协作的雾节点，假设执行负载均衡算法的协作雾节点的个数为M个，M≤N，M的取值根据能够主观调节的协作贡献度阈值对Γ进行截断，构建协作雾节点子集Γ^*＝{i₁,i₂,…,i_m,…,i_M}来确定；所贡献的计算资源的比例，在保证协作可行性、协作公平性以及协作稳定性的前提下，平衡雾节点间的负载分配；

Γ^*中所有雾节点的协作贡献度的平均值

表示如下：

定义雾节点i_m的协作贡献比系数χ_m，表示如下：

其中，

(2)引入协作贡献比系数的系统总开销优化问题：

提出了协作贡献比系数χ_m，旨在将其作为协作雾节点i_m的激励因子引入到系统能耗总成本和用户支付总成本的函数项中作加权系数，从而促使最优解中，被χ_m激励的协作雾节点最终分到的负载大小与其自身的协作贡献度大小成正比；

引入χ_m后的系统能耗总成本的激励因子加权项E_cost，表示如下：

引入χ_m后的用户支付总成本的激励因子加权项U_cost，表示如下：

提出的优化问题以优化系统能耗成本和用户支付成本为目标，考虑到计算负载的分配面向的是计算密集型任务需求，用户的时延敏感略次之，仅在保障用户QoE的前提下，将时延用作约束；优化问题表示如下：

其中，

为主雾节点

卸载到本地执行的负载的数据大小

为所有协作雾节点i_m(i_m∈Γ^*)被分配的负载的数据大小；β为权衡系统能耗成本与用户支付成本的系数，0＜β≤1；约束条C₁表明所有雾节点执行的任务负载的总和为用户请求的任务负载；约束条件C₂为时延限制，确保执行任务的同时保证用户QoE需求；约束条件C₃限制用户上行链路的传输功率不能超过最大发射功率p_max；约束条件C₄和C₅确保雾节点需要执行的负载的计算量在自己的可供使用的剩余计算量以内，

和

为主雾节点f_k和协作雾节点i_m的剩余计算量的保留阈值，保证雾节点除在可用资源范围内执行协作任务以外，预留计算资源给其他任务。

6.根据权利要求1所述的一种雾计算网络中基于雾节点协作的负载均衡方法，其特征在于：所述步骤S5具体为：

①用户将计算任务发送至其所关联的SeNBk，SeNBk的共处雾节点f_k无法独立执行全部任务负载，向雾集群管理方，即MeNB的共处雾节点上报，提供自身及任务负载的相关信息，请求帮助；

②雾集群管理方收到请求，触发与其共同部署的负载均衡器执行协作雾节点筛选算法，从所有除主雾节点f_k以外的剩余雾节点f_j,(f_j∈Φ,f_j≠f_k)中筛选出可供选择的协作雾节点，并按照协作贡献度从大到小的顺序，构建协作雾节点的待选集合Γ＝{j₁,j₂,…,j_n,…,j_N}；

③负载均衡器依据设置好的并且可主观调节的协作贡献度阈值Θ^threshold对Γ进行截断，选取前M个j_n

组成子集Γ^*＝{i₁,i₂,…,i_m,…,i_M}；设置轮流对比方案，从起始数量开始，以1为步长，前2个协作雾节点、前3个协作雾节点，....,一直到前M个协作雾节点，共M-1个方案，对这M-1个方案都使用外部罚函数法求解最优分配结果，并将最优分配结果中的成本与时延进行综合对比，选出最佳的一种，作为最佳的协作方案；

④引入M个选择使能因子η_m，m∈{1,2,…,M}，η_m的取值由最佳分配结果中i_m分得的负载的数据量大小确定，若i_m在最优方案中分得的负载数据量大小不为0，那么η_m＝1，否则，η_m＝0；

⑤负载均衡器将最佳分配方案的协作雾节点使能选择与对应的负载分割结果通告给主雾节点f_k，f_k按照通告执行对任务负载的分割以及相应协作雾节点的选择。

Images