CN112565345A - 一种异构边缘环境中的负载平衡感知数据共享系统 - Google Patents
一种异构边缘环境中的负载平衡感知数据共享系统 Download PDFInfo
- Publication number
- CN112565345A CN112565345A CN202011278212.8A CN202011278212A CN112565345A CN 112565345 A CN112565345 A CN 112565345A CN 202011278212 A CN202011278212 A CN 202011278212A CN 112565345 A CN112565345 A CN 112565345A
- Authority
- CN
- China
- Prior art keywords
- node
- edge
- data
- nodes
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种异构边缘环境中的负载平衡感知数据共享系统,步骤1:将系统中的各个边缘节点和进入系统的数据坐标化,并映射到SDN的虚拟空间中;步骤2:度量系统中的边缘节点的异构性,根据每个节点的计算能力、存储能力和节点带宽计算出每个节点的权重;步骤3:根据节点的权重,利用加权voronoi图的结构划分整个命名空间,平衡负载;步骤4:进入边缘侧系统的数据根据自身的坐标和节点的坐标以及节点的权重计算加权距离进行数据的存储和检索;本发明将SDN与边缘网络环境相结合,运用加权voronoi图结构分割存储命名空间,达到边缘节点间的负载均衡。
Description
技术领域
本发明涉及SDN、分布式存储负载均衡以及边缘计算技术领域,特别是涉及一种异构边缘环境中的负载平衡感知数据共享系统。
背景技术
为了支持计算密集型和延迟敏感型的应用程序,将计算和存储资源卸载到网络边缘已经成为了一种流行趋势。我们将这种把存储能力和计算能力从远程云转移到接近移动设备、传感器和终端用户的网络边缘的技术称为边缘计算。边缘计算技术的出现可以显著降低网络延迟和通信量,有效应对5G愿景的关键挑战。
边缘计算的职责主要用来承载来自云端下行以及终端上行的数据在edge侧进行很好的组织,并且后续对数据进行相应分析处理。这就带来一个问题,来自终端上行以及云端下行的数据在edge到底怎么组织,怎么存的下以及怎样检索。这是后续数据处理的基础。针对这个需求,目前已经有一些工作提出了结构化,非结构化以及混合结构化的三种不同架构。也提出了一些设计来解决在edge侧如何构建数据存储以及检索这样一个服务。但是这些工作中都是针对同构的edge环境来做的,没有考虑这些数据在edge侧进行分布式存储的时候一个重要的设计准则-负载均衡。
以往的工作认为在边缘网络的节点的计算能力和存储能力都是相同的。但是实际上,在边缘网络中,这些由一个或多个边缘服务器组成的边缘节点,具有不同的存储和计算能力。如果按照节点能力相同的设定来分配负载,那么将导致边缘环境的负载不均衡,从而导致边缘环境的服务无法达到要求。并且不同于传统的云数据中心,边缘节点通常在地理上分布不均,这种节点的异构性会使负载的分配变得更加困难。
针对这些问题,本发明提出了一个在异构边缘环境种的负载平衡感知的数据共享系统。
发明内容
针对边缘网络环境需要承载大量的云端下行数据和终端上行数据的现状,本发明旨在设计一种边缘环境的数据存储组织方法,使得边缘环境的负载可以在边缘节点间按节点能力进行均匀的分配,本发明将SDN与边缘网络环境相结合,运用加权voronoi图结构分割存储命名空间,达到边缘节点间的负载均衡。
本发明提出一种异构边缘环境中的负载平衡感知数据共享系统,所述系统由控制层,转发层,边缘层和用户层组成;其中:
--所述用户层包括移动用户和各种边缘设备;
--所述边缘层在SDEN网络中,用户通过无线访问点(AP)访问SDEN网络,所述
无线访问点AP通过边缘层中服务器连接到转发层的交换机;
--所述控制层通过SDN虚拟空间对转发层输出的边缘节点位置进行数据坐标化处理并映射到在SDN虚拟空间中实现存储负载均衡;对映射在SDN虚拟空间边缘节点通过加权处理构建具有voronoi图结构分割存储命名空间。
本发明还可以采用如下方法予以实施:
步骤1:对在边缘层节点数据坐标化处理,并映射到SDN的虚拟空间中;
步骤2:对映射到SDN的边缘节点进行异构性处理获得每个节点权重分布;
步骤3:采用加权voronoi图的结构对分布SDN的虚拟空间的每个节点权重进行命名空间划分获得加权的SDN的虚拟空间;
其中:加权voronoi图的定义为
其中P={p1,p2,...,pn}为二维欧式空间上的n个点,d为两点之间的欧氏距离,根据Vn(pi,Zi)对整个存储命名空间进行分割;
步骤4:对加权的SDN的虚拟空间的边缘节点进行数据的存储和检索。
进一步,所述步骤2中对边缘节点异构性进行处理过程:
(1)将每个节点的计算能力,存储能力,带宽进行量化;
(2)根据量化后的信息通过熵权法计算每个节点的权重计算;
其中数据量化的公式为式(1)
式中,C、S、B分别表示边缘节点的总体计算能力、存储能力以及总的带宽,其中si、ci、bi分别表示每个边缘节点所连接的服务器的存储能力、计算能力和带宽;
其中:通过熵权法对每个节点的权重计算过程:
构造评价对象各评价的判断矩阵:每个评价对象有m个评价指标X1,X2,…,Xm,且Xi=(ri1,ri2,…,rin),i=1 2,…,m,构造判断矩阵(2)
判断矩阵R标准化处理:各评价指标X1,X2,…,Xm进行标准化处理为Y1,Y2,…,Ym,其中Yi=(yi1,yi2,…,yin),则
计算评价指标信息熵过程:即,第i个评价指标的熵权定义为Wi,其表达式为
计算个评价指标的熵权:通过熵权对n个节点m个评价指标进行权重的最终计算,设Zj为第j个节点的最终评分,其表达式为
进一步,所述步骤4中对加权的SDN的虚拟空间的边缘节点进行数据的存储和检索过程:
(1)读取节点的位置信息u,数据的位置信息d,节点的权重λ;
(2)当数据包到达节点u,计算所有物理邻居节点v到d的距离Rv←ED(v,d)和u到d的距离Ru←ED(u,d);
有益效果
本发明所获得的积极的技术效果包括:
(1)本发明将weighted voronoi图结构和SDN技术应用于存储命名空间的划分,使得边缘节点间到达存储负载均衡;
(2)本发明解决了大量来自终端上行以及云端下行的数据在edge怎么组织,如何根据边缘节点的能力均匀分配负载,使边缘环境的资源可以得到高效的利用,为后续的边缘侧数据处理奠定基础。
附图说明
图1为异构边缘环境中的负载平衡感知数据共享系统的架构图;
图2为度量节点异构性的熵权流程图;
图3为存储命名空间划分的示意图;
具体实施方式
以下结合附图,对依据本发明设计的框架的结构、功能及作用详细说明如下详细说明如下。
如图1所示,为本发明异构边缘环境中的负载平衡感知数据共享系统的架构图。本系统由控制层,转发层,边缘层和用户层组成。其中,所述用户层包括移动用户和各种边缘设备,例如自动驾驶汽车和物联网设备。边缘层在(Software-defined Edge Network)中,用户通过无线访问点(AP)访问SDEN网络,所述无线访问点AP通过边缘层中服务器连接到转发层的交换机。所述控制层通过SDN虚拟空间对转发层输出的边缘节点位置进行数据坐标化处理并映射到在SDN虚拟空间中实现存储负载均衡;对映射在SDN虚拟空间边缘节点通过加权处理构建具有voronoi图结构分割存储命名空间,如图3所示。本发明对大量的云端下行的数据和终端上行的数据实现边缘侧均衡存储数据。
如图1所示,为本发明异构边缘环境中的负载平衡感知数据共享系统的架构图。本系统由控制层,转发层,边缘层和用户层组成。边缘节点和进入边缘系统的数据都转换成坐标保存在控制器的内存中构成虚拟的二维平面。
步骤1:对在边缘层节点进行数据坐标化处理,并映射到SDN的虚拟空间中;
(1)确定边缘节点的坐标矩阵
最短路径矩阵L=[lij],其中lij首先是计算ith和jth节点之间的最短路径。
坐标矩阵可以由B=QQ′的特征值分解得到,其中矩阵B可以从距离矩阵L得到。那么,矩阵Q可以唯一地由矩阵B确定。因此,我们首先通过将平方度矩阵L(2)与矩阵相乘来构造标量积矩阵B。其中n表示节点的数量,A是所有元素都为1的平方矩阵。然后矩阵B的m个最大的特征值λ1,λ2,...,λm与对应的特征向量e1,e2,...,em被确定,其中m为维数。最后,节点的坐标矩阵为其中Em是m个特征向量的矩阵,Λm是矩阵B的m个特征值的对角矩阵。之后,每个节点将在虚拟空间中从坐标矩阵Q分配一个点。
(2)确定数据的坐标
我们采用哈希函数SHA-256,该函数输出一个32字节的二进制值。此外,为了让哈希值H(d)减小到由控制平面构成的2D虚拟空间的范围,我们仅使用H(d)的最后8个字节,并将它们转换为两个4字节的二进制数x和y。这样限制的目的是以使每个维度的坐标值的范围都是从0到1。那么,数据在2D中的位置是该位置可以十进制格式存储,每个维度使用4个字节。此后,对于任何数据标识符d,我们使用H(d)表示其位置。
如图2所示,为度量节点异构性的熵权流程图。将节点的异构性和通过熵权法有效度量,为良好的按节点能力平衡边缘网络的负载提供了解决方案,同时也是之后存储命名空间划分的必要条件。熵权法的评价流程如下:
步骤2:度量系统中的边缘节点的异构性,根据每个节点的计算能力、存储能力和节点带宽计算出每个节点的权重,该步骤具体流程包括:
(1)将每个节点的计算能力,存储能力,带宽进行量化;
(2)根据量化后的信息通过熵权法计算每个节点的权重;
其中数据量化的公式为式(1)
式中,C、S、B分别表示边缘节点的总体计算能力、存储能力以及总的带宽,其中si、ci、bi分别表示每个边缘节点所连接的服务器的存储能力、计算能力和带宽;
假设有n个评价对象,每个评价对象有m个评价指标X1,X2,…,Xm,且Xi=(ri1,ri2,…,rin),i=1 2,…,m,按照熵权法流程,构造判断矩阵(2)
对判断矩阵R进行归一化处理(2)。设对各评价指标X1,X2,…,Xm进行标准化处理为Y1,Y2,…,Ym,其中Yi=(yi1,yi2,…,yin),则
第i个评价指标的熵权定义为Wi,其表达式为
通过熵权对n个节点m个评价指标进行权重的最终计算,设Zj为第j个节点的最终评分,其表达式为
如图3所示,加权voronoi图在SDN控制平面对存储命名空间的划分示意图。在得出边缘节点的权重之后,根据加权voronoi的定义对存储命名空间进行划分。划分区域会根据权重的设置改变大小,以达到具有更强能力的边缘节点负责更多的负载。使边缘环境达到负载均衡。
步骤3:根据节点的权重,利用加权voronoi图的结构划分整个命名空间,平衡负载;
其中加权voronoi图的定义为
其中P={p1,p2,...,pn}为二维欧式空间上的n个点,d为两点之间的欧氏距离,根据Vn(pi,Zi)对整个存储命名空间进行分割。
划分存储区域后,我们针对我们的结构设置提出了数据放置和检索的方法。该方法依据最短距离进行贪婪转发,并在其中加入加权距离的判断,从而能够实现负载均衡的同时在边缘环境中实现放置和检索数据。
步骤4:进入边缘侧系统的数据根据自身的坐标和节点的坐标以及节点的权重计算加权距离进行数据的存储和检索,该算法具体流程包括;
(1)读取节点的位置信息u,数据的位置信息d,节点的权重λ;
(2)当数据包到达节点u,计算所有物理邻居节点v到d的距离Rv←ED(v,d)和u到d的距离Ru←ED(u,d);
步骤5:数据的检索方式与数据放置的判断方法一样,同步骤4。
Claims (4)
1.一种异构边缘环境中的负载平衡感知数据共享系统,其特征在于:所述系统由控制层,转发层,边缘层和用户层组成;其中:
-所述用户层包括移动用户和各种边缘设备;
-所述边缘层在SDEN网络中,用户通过无线访问点访问SDEN网络,所述无线访问点AP通过边缘层中服务器连接到转发层的交换机;
-所述控制层通过SDN虚拟空间对转发层输出的边缘节点位置进行数据坐标化处理并映射到在SDN虚拟空间中实现存储负载均衡;对映射在SDN虚拟空间边缘节点通过加权处理构建具有voronoi图结构分割存储命名空间。
3.根据权利要求2所述的一种异构边缘环境中的负载平衡感知数据共享系统,其特征在于:所述步骤2中对边缘节点异构性进行处理过程:
(1)将每个节点的计算能力,存储能力,带宽进行量化;
(2)根据量化后的信息通过熵权法计算每个节点的权重计算;
其中数据量化的公式为式(1)
式中,C、S、B分别表示边缘节点的总体计算能力、存储能力以及总的带宽,其中si、ci、bi分别表示每个边缘节点所连接的服务器的存储能力、计算能力和带宽;
其中:通过熵权法对每个节点的权重计算过程:
构造评价对象各评价的判断矩阵:每个评价对象有m个评价指标X1,X2,…,Xm,且Xi=(ri1,ri2,…,rin),i=12,…,m,构造判断矩阵(2)
判断矩阵R标准化处理:各评价指标X1,X2,…,Xm进行标准化处理为Y1,Y2,…,Ym,其中Yi=(yi1,yi2,···,yin),则
计算评价指标信息熵过程:即,第i个评价指标的熵权定义为Wi,其表达式为
计算个评价指标的熵权:通过熵权对n个节点m个评价指标进行权重的最终计算,设Zj为第j个节点的最终评分,其表达式为
4.根据权利要求2所述的一种异构边缘环境中的负载平衡感知数据共享系统,其特征在于:所述步骤4中对加权的SDN的虚拟空间的边缘节点进行数据的存储和检索过程:
(1)读取节点的位置信息u,数据的位置信息d,节点的权重λ;
(2)当数据包到达节点u,计算所有物理邻居节点v到d的距离Rv←ED(v,d)和u到d的距离Ru←ED(u,d);
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011278212.8A CN112565345A (zh) | 2020-11-16 | 2020-11-16 | 一种异构边缘环境中的负载平衡感知数据共享系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011278212.8A CN112565345A (zh) | 2020-11-16 | 2020-11-16 | 一种异构边缘环境中的负载平衡感知数据共享系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112565345A true CN112565345A (zh) | 2021-03-26 |
Family
ID=75042517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011278212.8A Pending CN112565345A (zh) | 2020-11-16 | 2020-11-16 | 一种异构边缘环境中的负载平衡感知数据共享系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112565345A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115080846A (zh) * | 2022-05-30 | 2022-09-20 | 广州大学 | 一种融合场景信息的图神经网络衣物推荐方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103997747A (zh) * | 2014-05-14 | 2014-08-20 | 浪潮电子信息产业股份有限公司 | 一种基于虚拟力的空间网络节点均匀部署方法 |
CN108089923A (zh) * | 2017-12-15 | 2018-05-29 | 中国民航信息网络股份有限公司 | 基于加权Voronoi图的用户接入区域划分方法和装置 |
-
2020
- 2020-11-16 CN CN202011278212.8A patent/CN112565345A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103997747A (zh) * | 2014-05-14 | 2014-08-20 | 浪潮电子信息产业股份有限公司 | 一种基于虚拟力的空间网络节点均匀部署方法 |
CN108089923A (zh) * | 2017-12-15 | 2018-05-29 | 中国民航信息网络股份有限公司 | 基于加权Voronoi图的用户接入区域划分方法和装置 |
Non-Patent Citations (3)
Title |
---|
F.AURENHAMMER等: "AN OPTIMAL ALGORITHM FOR CONSTRUCTIONG THE WEIGHTED VORONOI DIAGRAM IN THE PLANE", 《PATTERN RECOGNITION》 * |
JUNJIE XIE等: "Efficient Data Placement and Retrieval Services in Edge Computing", 《2019 IEEE 39TH INTERNATIONAL CONFERENCE ON DISTRIBUTE COMPUTING SYSTEMS(ICDCS)》 * |
WEN LIANG-CHEN等: "Method of ameliorative multi-objective synthetic evaluation based on entropy weight and its application", 《2009 CHINESE CONTROL AND DECISION CONFERENCE》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115080846A (zh) * | 2022-05-30 | 2022-09-20 | 广州大学 | 一种融合场景信息的图神经网络衣物推荐方法 |
CN115080846B (zh) * | 2022-05-30 | 2024-06-11 | 广州大学 | 一种融合场景信息的图神经网络衣物推荐方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111132235B (zh) | 基于改进hrrn算法和多属性决策的移动卸载迁移算法 | |
CN108418718B (zh) | 一种基于边缘计算的数据处理延迟优化方法及系统 | |
CN110751413A (zh) | 一种面向云计算的能效评估模型 | |
CN111314123B (zh) | 一种面向时延和能耗的电力物联网工作负载分配方法 | |
CN108667653B (zh) | 超密集网络中基于聚类的缓存配置方法及装置 | |
CN113965569B (zh) | 一种高能效、低时延的边缘节点计算迁移配置系统 | |
CN110809291B (zh) | 基于能量采集设备的移动边缘计算系统双层负载平衡方法 | |
CN111258980A (zh) | 一种云存储系统中基于组合预测的动态文件放置方法 | |
Li et al. | Resource scheduling based on improved spectral clustering algorithm in edge computing | |
CN113778683A (zh) | 一种基于神经网络的Handle标识体系解析负载均衡方法 | |
CN111083724B (zh) | 一种雾计算网络下基于ocwg-topsis的用户关联方法 | |
CN112565345A (zh) | 一种异构边缘环境中的负载平衡感知数据共享系统 | |
CN105282045B (zh) | 一种基于一致性哈希算法的分布式计算和储存方法 | |
CN110597598B (zh) | 一种云环境中的虚拟机迁移的控制方法 | |
Zhang et al. | Quantified edge server placement with quantum encoding in internet of vehicles | |
CN115016889A (zh) | 一种用于云计算的虚拟机优化调度方法 | |
CN109327340B (zh) | 一种基于动态迁移的移动无线网络虚拟网映射方法 | |
CN113676357B (zh) | 面向电力物联网中边缘数据处理的决策方法及其应用 | |
CN113329432B (zh) | 一种基于多目标优化的边缘服务布置方法和系统 | |
CN111294285A (zh) | 一种网络数据的分发方法及负载均衡器 | |
CN113342504A (zh) | 基于缓存的智能制造边缘计算任务调度方法及系统 | |
CN117156450A (zh) | 一种基于改进人工蜂鸟算法的移动边缘计算任务卸载方法 | |
US11830244B2 (en) | Image recognition method and apparatus based on systolic array, and medium | |
CN114116052A (zh) | 一种边缘计算方法及装置 | |
CN115297122B (zh) | 基于负载自动监测的政务运维方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210326 |