CN110022234A - 面向边缘计算的非结构化数据共享机制实现方法 - Google Patents
面向边缘计算的非结构化数据共享机制实现方法 Download PDFInfo
- Publication number
- CN110022234A CN110022234A CN201910302682.4A CN201910302682A CN110022234A CN 110022234 A CN110022234 A CN 110022234A CN 201910302682 A CN201910302682 A CN 201910302682A CN 110022234 A CN110022234 A CN 110022234A
- Authority
- CN
- China
- Prior art keywords
- interchanger
- data
- coordinate
- index
- data directory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/12—Shortest path evaluation
- H04L45/123—Evaluation of link metrics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/12—Discovery or management of network topologies
- H04L41/122—Discovery or management of network topologies of virtualised topologies, e.g. software-defined networks [SDN] or network function virtualisation [NFV]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/02—Topology update or discovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/22—Traffic shaping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/90—Buffering arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
- H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Power Engineering (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了边缘计算领域的面向边缘计算的非结构化数据共享机制实现方法,包括:接收用户的数据索引请求,通过控制平面收集交换机、端口、链路和主机信息获取网络拓扑和状态;确定由网络拓扑构成的虚拟空间中交换机的坐标以及数据索引的坐标;根据交换机的坐标构建交换机连接图;在交换机的转发表中插入包括交换机的坐标以及交换机连接图的转发条目;数据平面将数据索引的坐标进行贪婪转发,直到传输给在虚拟空间中与数据索引的坐标最接近的交换机坐标对应的交换机;交换机将用户的数据索引转发至索引边缘服务器,并将从索引边缘服务器中获取的响应结果返回至用户。本发明的共享机制路径长度更短,搜索数据索引的交换机中所需的转发表条目更少。
Description
技术领域
本发明属于边缘计算领域,具体涉及到一种面向边缘计算的非结构化数据共享机制实现方法。
背景技术
边缘计算(Edge Computing)已被提议将计算和存储容量从远程云转移到靠近移动设备,传感器和最终用户的网络边缘。同时,它承诺大幅减少网络延迟和流量,解决实现5G通信的关键挑战。在边缘计算中,边缘服务器(也称为节点)可以为边缘用户执行计算卸载,数据存储,数据缓存和数据处理。但是,与云数据中心服务器不同,边缘服务器通常在地理上分布广泛,具有异构的计算和存储容量。在边缘计算中,当边缘用户发送数据请求时,首先将请求定向到最近的边缘服务器。如果边缘服务器缓存了数据,它将把数据返回给边缘用户,否则,它将从边缘用户的云中检索数据。但是,从云中检索数据会产生大量回程流量和长延迟。此外,从缓存所需数据的那些相邻边缘服务器检索数据可以有效地减少带宽消耗和请求响应的延迟。边缘计算有望大幅减少网络延迟和流量,其中许多边缘服务器位于Internet的边缘。此外,这些边缘服务器缓存数据以为边缘用户提供服务。边缘服务器之间的数据共享可以有效缩短检索数据的延迟并进一步减少网络带宽消耗。关键的挑战是构建一个有效的数据索引机制,使得无论数据如何被缓存在边缘网络中,都能被有效地检索。虽然这是必不可少的,但却仍然是个急需解决的问题。因此,迫切需要研究边缘服务器之间的数据共享。
为了实现数据共享,关键的挑战是实现数据索引,该索引指示边缘计算环境中的数据的位置。然而,它仍然是一个开放待解决的问题,并且有效的数据索引机制是非常必要的。一些早期关于其他计算环境中的数据索引的工作分为三类。参见图2,图2(a)是完整索引,其中每个边缘节点维护边缘网络中所有数据的完整索引。在完整索引机制的顶部,每个边缘节点可以快速地知道边缘网络中是否存在数据项。然而,完全索引的缺点是维持完整索引的带宽成本太大。当边缘节点缓存新数据项时,它需要将数据位置发布到边缘网络中的所有边缘节点。图2(b)是集中索引,在这种情况下,专用索引服务器存储所有数据索引,并且每个边缘节点将数据请求转发到唯一索引服务器。也就是说,只有专用索引边缘服务器需要存储完整的DIT。但是,这种设计的一个明显缺陷是集中式索引服务器将成为性能瓶颈。此外,它还具有更差的容错和负载平衡。图2(c)最后一个是分布式哈希表(DHT)索引,已经在对等(P2P)网络中进行了广泛的研究,并且可以成为边缘计算中数据共享的候选解决方案。DHT索引是一种分布式索引机制,每个索引边缘服务器只存储部分DIT。然而,DHT索引机制使用多个覆盖跳来检索数据索引,其中每个覆盖跳是指两个边缘服务器之间的最短路径。更确切地说,对于任何查询,搜索过程通常涉及log(n)转发,其中n是边缘网络中的边缘节点的数量。也就是说,入口边缘服务器可以在到达最终索引边缘服务器之前将每个输入分组转发到一系列中间间接边缘服务器,如图2(c)所示。毫无疑问,较长的路径会增加查询处理延迟,服务器负载并消耗边缘网络中更多的内部链路容量。
发明内容
本发明的目的在于提供一种面向边缘计算的非结构化数据共享机制实现方法,以解决现有数据索引带宽大或者成本高的现有技术问题。
本发明是基于坐标的索引(COIN)机制,它只需要一个覆盖跳来搜索数据索引,如图2(d)所示。此外,它实现了分布式数据索引的优点,并且在每个交换机上需要较少的转发条目来支持数据索引而不是DHT索引机制。
本发明的COIN机制充分利用了软件定义网络(SDN)的优点,其中控制平面可以收集网络拓扑和状态,包括交换机,端口,链路,和主持人信息。当将SDN的原理应用于边缘计算时,该网络被称为软件定义边缘网络(SDEN)。在SDN中,网络管理在逻辑上集中在由一个或多个控制器组成的控制平面中,控制器生成交换机的转发表条目。交换机平面中的交换机仅根据从控制器派生的安装条目转发数据包。
本发明提供了一种面向边缘计算的非结构化数据共享机制实现方法,包括以下步骤:
S1:接收用户的数据索引请求,通过控制平面收集交换机、端口、链路和主机信息获取网络拓扑和状态;
S2:确定由网络拓扑构成的虚拟空间中交换机的坐标以及数据索引的坐标;
S3:根据交换机的坐标构建交换机连接图;
S4:在交换机的转发表中插入包括交换机的坐标以及交换机连接图的转发条目;
S5:数据平面将数据索引的坐标进行贪婪转发,直到传输给在虚拟空间中与数据索引的坐标最接近的交换机坐标对应的交换机;
S6:交换机将用户的数据索引转发至索引边缘服务器,并将从索引边缘服务器中获取的响应结果返回至用户。
优选地,确定交换机的坐标的方法是通过构建最短路径矩阵,采用MDS算法进行计算得到的。
优选地,交换机的坐标的确定方法包括以下步骤:
S201:计算平方距离矩阵
S202:通过矩阵其中A为元素均为1的方阵,n为交换机的个数;
S203:确定矩阵B的m个最大的奇异值,以及相应的奇异值向量;
S204:计算交换机的坐标Qm是m个奇异值向量所构成的矩阵,是m个奇异值所组成的对角矩阵。
优选地,交换机的坐标的确定方法是通过构建最短路径矩阵,确定数据索引的坐标的方法为采用哈希函数SHA-256算法进行确定。
优选地,根据交换机的坐标构建的交换机连接图为采用随机增量算法构建Delaunay三角剖分图。
优选地,贪婪转发的准则为将数据索引数据包所在的交换机将数据索引数据包转发至离数据索引的坐标最近的邻居交换机,包括物理邻居和DT邻居。
优选地,交换机使用其物理邻居和DT邻居的坐标以及数据索引的坐标p=H(d)来计算估计的距离:对于每个物理邻居v,交换机u计算估计距离Rv=Dis(v,d),d表示所要查询的数据索引在虚拟空间中的坐标位置,Rv是虚拟空间中从v到d的欧几里德距离;对于每个DT邻居交换机u通过计算从到d的估计距离;交换机u选择使的相邻交换机当如果v*是物理邻居,则将数据包直接发送到v*;如果v*是DT邻居,则将虚拟链路发送到v*;如果不满足则交换机u最接近数据索引的坐标,交换机u直接将数据索引转发到索引边缘服务器。
优选地,交换机收到正在虚拟链路中转发的包时,按如下方式存储数据包:
当交换机接收到要转发的数据索引d时,交换机u按以下列格式进行存储:d=<d.des;d.src;d.relay;d.index>在本地的数据结构中,其中d.des是源交换机的DT邻居交换机,d.src是源交换机,d.relay是中继交换机,d.index是数据索引的有效负载,当d.relay≠null时,数据索引d正在虚拟链路上传输。
优选地,交换机处理数据包的方式为:
u=d.des为真时,交换机u是DT相邻交换机,是虚拟链路的端点,交换机u将继续将数据索引d转发到其neigbor,neigbor是最接近虚拟空间中的数据索引的坐标;
当u=d.succ时,交换机u首先从转发表中找到元组t,其中t.des=d.des,根据匹配的元组t,切换交换机u修改d.relay=t.succ,其中,d.succ为转发路径中的后继交换机,t.des为转发表中一条流表项中的一个属性,为所要转发到的目的交换机的标识;
交换机u将数据索引发送到d.relay。
本发明的有益效果包括:
本发明为边缘计算环境中的非结构化数据共享提出了一种基于坐标的索引机制,本索引机制的根据坐标进行数据转发,路径长度更短,搜索数据索引的交换机中所需的转发表条目更少。
附图说明
附图为本发明的结构示意图。
图1是本发明面软件定义边缘网络中的COIN机制框架及数据流向图;
图2是不同数据索引机制下的包转发示意图;
图3是本发明优选实施例在小规模试验台中不同索引机制下的路径长度和转发条目对比图;
图4是本发明优选实施例在不同索引机制下检索数据索引的平均路径长度对比图;
图5是本发明优选实施例不同索引机制下的转发表条目数对比图;
图6是本发明面向边缘计算的非结构化数据共享机制实现方法流程图。
具体实施方式
本发明中使用以下术语来描述数据共享框架:
1)入口边缘服务器将最近的边缘服务器称为基站(BS)。来自BS的所有数据请求首先被提供给该边缘服务器。
2)存储边缘服务器是指存储一些共享数据项的边缘服务器。
3)索引边缘服务器是指在存储边缘服务器处存储高速缓存数据的索引的边缘服务器。请注意,每个边缘节点将一个边缘服务器确定为索引边缘服务器。
4)间接边缘服务器是指中间边缘服务器,它转发数据索引的任何查询请求,不包括入口边缘服务器和索引边缘服务器。
实施例1:
本发明提供了一种面向边缘计算的非结构化数据共享机制实现方法,参见图1和图6,包括以下步骤:
S1:接收用户的数据索引请求,通过控制平面收集交换机、端口、链路和主机信息获取网络拓扑和状态。
SDN包括控制平面和交换平面,控制平面可以收集网络拓扑和状态,包括交换机,端口,链路,和主持人信息。SDN中,网络管理在逻辑上集中在由一个或多个控制器组成的控制平面中,控制器生成交换机的转发表条目。交换机平面中的交换机仅根据从控制器派生的安装条目转发数据包。
本发明首先通过控制平面收集交换机、端口、链路和主机信息获取网络拓扑和状态,为之后交换机坐标以及数据索引坐标的确定提供基础。
S2:确定由网络拓扑构成的虚拟空间中交换机的坐标以及数据索引的坐标。
首先由控制平面计算交换机之间的最短路径矩阵。然而,关键的挑战是如何计算n个点的坐标矩阵,其中n个交换机之间的最短路径长度可以通过虚拟空间中的点之间的距离间接地反映。换句话说,我们需要解决找到代表给定标量积矩阵的点配置的问题。在矩阵表示法中,这相当于求解方程式:
B=XX′ (1)
其中X是m维空间中n个点的n×m坐标矩阵。
每个n×n矩阵B的实数可以分解为serval矩阵的乘积。可以为大多数矩阵构造特征分解,但针对对称矩阵构造。从形式上看,
B=QΛQ′ (2)
其中Q是正交的(即,QQ′=Q′Q=I),Λ是对角线。
每个n×m矩阵X都可以分解成:
X=PφQ′ (3)
其中P是n×m正交矩阵(即,P′P=I),Φ是m×m对角矩阵,Q是m×m正交矩阵(即,Q′Q=I)。
假设我们知道式(3)中给出的X的分解。然后,
XX′=PφQ′QφP′=PφφP′=Pφ2P′ (4)
这是基于方程(2)的XX′的特征分解。证明了XX′的特征值都是非负的,因为它们由组成,平方数总是非负的。
此外,假设我们进行B=QΛQ′的特征分解。我们知道标量乘积矩阵是对称的,并且具有基于等式(2)和(4)的非负特征值。因此,我们可以写其中是具有对角元素的对角矩阵。因此,U=QΛ1/2给出重建B的坐标。U中的坐标可能与等式(1)中的X的坐标不同。这仅仅意味着它们相对于两个不同的坐标系表示,而且它们可以相互旋转。
交换机的坐标的确定方法可以通过以下算法确定:用经典的MDS算法,计算交换机在虚拟空间的坐标
输入:最短路矩阵L。
目标:交换机U的坐标。
S201:计算平方距离矩阵
S202:通过矩阵其中A为元素均为1的方阵,n为交换机的个数;
S203:确定矩阵B的m个最大的奇异值,以及相应的奇异值向量
S204:计算交换机的坐标Qm是m个奇异值向量所构成的矩阵,是m个奇异值所组成的对角矩阵。
基于上述步骤,我们设计了路径长度的嵌入算法来计算虚拟空间中交换机的坐标,如上述算法所示,它可以尽可能地保持交换机之间的网络距离。首先,上述算法采用输入矩阵给出交换机对之间的网络距离,这对于网络的控制平面是已知的。然后,上述算法利用以下事实:可以通过B=UU′的特征值分解来导出坐标矩阵,其中可以通过使用上述算法的S202中的双中心从距离矩阵L计算标量积矩阵B。最后,通过在上述算法1的S204中乘以特征值和特征向量来获得虚拟空间中的交换机U的坐标。基于上述算法,可以确定虚拟空间中的交换机的坐标。
数据索引的坐标通过数据索引d的标识符的散列值H(d)来实现。本实施例中,我们采用哈希函数SHA-256,它输出一个32字节的二进制值。当然,也可以使用其他散列函数。同时,在哈希冲突的情况下,它仅意味着将两个或更多个数据索引分配给相同的坐标并存储在相同的索引边缘服务器中。此外,散列值H(d)减小到2D虚拟空间的范围。我们只使用H(d)的最后8个字节并将它们转换为两个4字节二进制数x和y。我们限制每个维度中坐标值的范围从0到1。然后,2D中的数据索引的坐标是二元组坐标可以十进制格式存储,每个维度使用4个字节。此后,对于任何数据标识符d,我们使用H(d)来表示其坐标。
S3:根据交换机的坐标构建交换机连接图。
在COIN机制下,每个交换机都贪婪地将数据索引转发给其邻居,该邻居的坐标最接近数据索引的坐标。DT图上的贪婪路由提供了有保证的传递属性,这是基于严格的理论基础。因此,为了实现有保证的传递,控制平面首先构造一个DT图,它连接虚拟空间中所有交换机的坐标。因此,为了实现有保证的传递,控制平面首先构造DT图,其连接虚拟空间中的所有交换机的坐标。
给定一组交换机及其在一组点P中的坐标,采用随机增量算法在2D虚拟空间中构造DTDT(P)。构建DT后,因此,为了实现有保证的传送,每个交换机都维护两种转发条目。第一个使它将数据包转发到它的物理邻居,而另一个使它将请求转发给它的DT邻居。未直接连接到索引边缘服务器的交换机不参与DT的构建。这些交换机仅用作中间交换机,以将数据索引传输到DT邻居。
S4:在交换机的转发表中插入包括交换机的坐标以及交换机连接图的转发条目。
控制平面将转发条目插入到交换机的转发表中,其中每个转发条目指示相邻交换机的坐标。更准确地说,每个共享数据的索引的标识符分配给虚拟空间中的坐标。
S5:数据平面将数据索引的坐标进行贪婪转发,直到传输给在虚拟空间中与数据索引的坐标最接近的交换机坐标对应的交换机。
贪婪转发的准则为将数据索引数据包所在的交换机将数据索引数据包转发至离数据索引的坐标最近的邻居交换机,包括物理邻居和DT邻居。
交换机使用其物理邻居和DT邻居的坐标以及数据索引的坐标p=H(d)来计算估计的距离:对于每个物理邻居v,交换机u计算估计距离Rv=Dis(v,d),d表示所要查询的数据索引在虚拟空间中的坐标位置,Rv是虚拟空间中从v到d的欧几里德距离;对于每个DT邻居交换机u通过计算从到d的估计距离;交换机u选择使的相邻交换机当如果v*是物理邻居,则将数据包直接发送到v*;如果v*是DT邻居,则将虚拟链路发送到v*;如果不满足则交换机u最接近数据索引的坐标,交换机u直接将数据索引转发到索引边缘服务器。
交换机收到正在虚拟链路中转发的包时,按如下方式存储数据包:
当交换机接收到要转发的数据索引d时,交换机u按以下列格式进行存储:d=<d.des;d.src;d.relay;d.index>在本地的数据结构中,其中d.des是源交换机的DT邻居交换机,d.src是源交换机,d.relay是中继交换机,d.index是数据索引的有效负载,当d.relay≠null时,数据索引d正在虚拟链路上传输。
u=d.des为真时,交换机u是DT相邻交换机,是虚拟链路的端点,交换机u将继续将数据索引d转发到其邻居交换机,该邻居交换机的坐标最接近虚拟空间中的数据索引的坐标;
当u=d.succ时,交换机u首先从转发表Fu中找到元组t,其中t.des=d.des,根据匹配的元组t,切换交换机u修改d.relay=t.succ,其中,d.succ为转发路径中的后继交换机,t.des为转发表中一条流表项中的一个属性,为所要转发到的目的交换机的标识;
交换机u将数据索引发送到d.relay。
S6:交换机将用户的数据索引转发至索引边缘服务器,并将从索引边缘服务器中获取的响应结果返回至用户。
在COIN机制下,查询数据索引与发布过程类似。查询过程也是使用数据索引的标识符,每个交换机贪婪地将查询请求转发给坐标最接近虚拟空间中数据索引坐标的交换机。也就是说,交换机使用相同的方法来确定索引边缘服务器,它将响应查询请求。然后,索引边缘服务器返回指示边缘网络中的数据位置的数据索引。最后,数据请求者可以使用最短路径路由或其他路由方案来检索数据,这与此工作正交。
不同索引机制的比较如下表所示:
实施例2:
关于COIN机制用于多个数据副本和多个索引副本时的优化设计。
多个数据副本的方案:
当从其他边缘服务器检索数据无法满足边缘计算环境中的低延迟需求时,入口边缘服务器也将缓存数据副本。同时,可以集中请求一些流行的内容。在这种情况下,对于负载平衡,多个数据副本将缓存在边缘网络中。要启用多个数据副本,数据结构<Key,Vector>用于存储数据索引,其中Vector中有多个元素,每个元素指示数据副本的位置。当入口边缘服务器再次缓存数据副本时,它会将数据索引发布到其索引边缘服务器。然后,索引边缘服务器找到相应的Key并将新元素添加到相应的Vector中。关键的挑战是如何充分利用多个数据副本,为边缘用户提供更好的服务。也就是说,每个入口边缘服务器希望检索存储在最靠近入口边缘服务器的存储边缘服务器中的数据副本。
但是,每个数据副本的路径长度是未知的。直接方法是将探测数据包发送到所有数据副本,但它会导致更长的延迟和更多的带宽消耗。我们已将交换机之间的距离嵌入到虚拟空间中。然后,可以通过计算直接连接到两个边缘服务器的两个相应交换机之间的距离来估计两个边缘服务器之间的路径长度。为了实现这一优势,数据位置由存储边缘服务器的地址和直接连接到存储边缘服务器的交换机的坐标指示。之后,当入口边缘服务器检索格式为<Key,Vector>的数据索引时,其中包含多个数据副本的位置。入口边缘服务器可以通过调整虚拟空间中相应交换机之间的距离来立即选择存储边缘服务器以检索具有最短路径的数据。
多索引副本的方案:
目前,我们只考虑每个共享数据的一个数据索引。但是,对于容错或负载平衡,边缘网络可以为每个共享数据存储多个数据索引。也就是说,共享数据的数据索引可以存储在多个不同的索引边缘服务器中。为了实现这一点,我们进一步优化了多个索引副本下的COIN机制。我们已经描述了数据索引的索引边缘服务器由部分III中的数据索引的散列值H(d)确定,其中d是数据索引的标识符。现在,为了启用多个索引副本,第i个索引副本的索引边缘服务器由散列值H(d+i-1)确定。请注意,数据标识符是一个字符串。索引副本的序列号i被转换为字符,然后,数据标识符的字符串和字符被连接在一起。最后,新字符串的哈希值唯一地确定将存储索引副本的索引边缘服务器。此外,当存在α索引副本时,存储第α索引副本的索引边缘服务器由散列值H(d+α-1)唯一地确定。
关键的挑战是如何在多个索引副本可用时快速获得最接近入口边缘服务器的最佳索引副本。这意味着检索索引的路径最短。但是,实现这一目标很难,因为我们只知道数据索引的标识符,并且我们不要求入口边缘服务器存储其他更多信息。回想一下,数据索引的坐标是根据每个索引副本的哈希值计算的。然后,数据索引被转发到其坐标最接近虚拟空间中的数据索引的坐标的交换机,并且直接连接到交换机的索引边缘服务器将存储数据索引。在这种情况下,为了在不探测所有索引副本的情况下选择最佳索引副本,密钥使能器将通过虚拟空间中的对应点之间的距离来反映两个交换机之间的路径长度。之后,交换机可以根据交换机的坐标和索引副本将数据索引的查询请求转发到最近的索引副本。因此,在COIN机制下,入口边缘服务器可以快速选择实现最短路径长度的索引副本来检索数据索引。
实施例3:
本实施例在小型测试平台上实现和评估实施例1所构建的COIN机制。此外,还通过大规模模拟评估COIN机制的有效性和效率。
A.实施和基于原型的实验
本实施例构建了一个测试平台,它由6个P4交换机和12个边缘服务器组成。它实现了集中索引,DHT索引和COIN机制。该测试平台比较了三种不同索引机制的性能。COIN机制包括实施例1中所述的所有交换平面和控制平面特征,其中交换平面用P4编写,控制平面中的功能用Java编写。P4编译器为控制器生成Thrift API,以将转发条目插入交换机。P4交换机支持可编程解析器,允许定义新的报头,其中多个匹配+动作阶段被串联设计,以实现其坐标最接近数据索引坐标的相邻切换。P4交换机计算匹配+动作阶段中从相邻交换机到虚拟空间中的数据索引的距离。
首先比较不同索引机制下的路径长度和转发表条目的数量。计算从所有边缘服务器到索引边缘服务器的路径长度,然后获得不同索引机制下的平均路径长度。如图3(a)所示,COIN机制实现的平均路径长度接近C-index机制实现的平均路径长度,明显短于D-index机制实现的平均路径长度(C-index机制使用入口边缘服务器和索引边缘服务器之间的最短路径来检索数据索引)。D-index机制在采用多个覆盖跳时检索数据索引,其中一个覆盖跳与两个边缘服务器之间的最短路径相关。COIN机制则只使用一个重叠跳来检索数据索引。
其次,比较了不同索引机制下数据索引的转发表条目数,其中C-index机制和D-index机制通过匹配源和目标地址来转发数据包。如图3(b)所示,COIN机制在交换机中实现的转发表条目少于其他两个索引机制。这是因为在COIN机制下,每个交换机中转发表条目的数量只与其相邻交换机的数量有关。但是,在C-index机制和D-index机制下,转发表条目的数量随着边缘网络中流的数量的增加而增加。
B.大规模模拟实验的设置
在模拟中,我们使用BRITE和Waxman模型在交换机级别生成合成拓扑,其中每个交换机连接到10个边缘服务器。我们将交换机的数量从20改为100(COIN机制可以扩展到更大的网络,这些网络的大小与软件定义的网络相同。同时,当网络规模增加时,COIN机制的优势将更加明显)我们将集中索引(C-index),DHT索引(D-index)与我们的COIN机制进行比较。我们采用两个性能指标来评估不同的索引机制,包括路径长度和用于检索数据索引的转发表条目的数量。每个误差条使用平均值的90%置信区间构建。此外,我们评估多个副本对检索数据和数据索引的路径长度的影响。
C.检索数据索引的路径长度
我们将评估在不同索引机制下检索数据索引的路径长度。计算从所有边缘服务器到索引边缘服务器的路径长度,然后获得平均路径长度。
图4(a)表明,对于COIN和C-index机制,检索数据索引的平均路径长度几乎相同(C-index使用从入口边缘服务器到专用索引服务器的最短路径来检索数据索引)。同时,可以看到COIN机制和C-index机制的路径长度明显短于图4(a)中的D-index机制。随着图4(a)中交换机数量的增加,D-index下的平均路径长度明显增加。但是,当交换机数量发生变化时,COIN和C-index机制的增长速度很慢。
注意,结果在图4(a)中实现,其中仅为每个共享数据维护一个索引副本。此外,当每个共享数据有三个索引副本时,我们评估平均路径长度的变化。在这种情况下,我们测试每个索引副本的路径长度,并记录每个网络设置下每个索引机制的最短路径的路径长度。实验结果如图4(b)所示,其显示与图4(a)几乎相同的趋势。也就是说,在COIN机制下检索数据索引的平均路径长度接近于由C索引机制实现的平均路径长度,并且明显短于D索引机制下的平均路径长度。值得注意的是,C-index机制是一种集中式索引机制,并且在容错和可伸缩性方面存在性能缺陷。
D.用于检索索引的转发条目
评估在不同索引机制下搜索数据索引的转发表条目数。对于C-index机制和D-index机制,使用通配符转发条目来显着减少转发表条目的数量。
图5(a)示出了转发表条目数随着不同索引机制下的交换机数量的增加而变化的趋势。图5(a)中的每个点表示在每个网络设置下所有交换机上的转发表条目的平均数量。可以看到,对于C-index机制和C-index机制,转发表条目的平均数量随着图5(a)中的交换机数量的增加而增加。但是,COIN机制的平均转发表条目几乎与网络大小无关,因为它只与每个交换机的相邻交换机的数量有关。同时,可以看到C-index机制的上误差条明显高于图5(a)中的COIN机制。这是因为C-index机制采用最短路径路由,其中一些交换机经常在大多数最短路径中使用,然后,大量转发表条目被插入到这些交换机中。
当每个共享数据只有一个索引副本时,实现图5(a)的结果。此外,图5(b)示出了当为每个共享数据存储三个索引副本时不同索引机制的转发表条目的平均数量。在这种情况下,可以看到COIN机制的平均转发条目数是三种索引机制中最少的。当交换机的数量从90变为100时,转发条目的平均数量会减少。原因是网络拓扑在不同的网络规模下独立生成。可以看到,对于C-index机制,索引副本数量的增加导致转发表条目数量的增加。但是,更多索引副本对D-index和COIN机制的转发表条目数没有影响。此外,与众所周知的分布式D-index机制相比,我们的COIN机制使用的转发表条目减少了30%。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.面向边缘计算的非结构化数据共享机制实现方法,其特征在于,包括以下步骤:
S1:接收用户的数据索引请求,通过控制平面收集交换机、端口、链路和主机信息获取网络拓扑和状态;
S2:确定由所述网络拓扑构成的虚拟空间中所述交换机的坐标以及数据索引的坐标;
S3:根据所述交换机的坐标构建交换机连接图;
S4:在所述交换机的转发表中插入包括所述交换机的坐标以及所述交换机连接图的转发条目;
S5:数据平面将所述数据索引的坐标进行贪婪转发,直到传输给在所述虚拟空间中与所述数据索引的坐标最接近的所述交换机坐标对应的所述交换机;
S6:所述交换机将用户的数据索引转发至索引边缘服务器,并将从索引边缘服务器中获取的响应结果返回至用户。
2.根据权利要求1所述的面向边缘计算的非结构化数据共享机制实现方法,其特征在于,确定所述交换机的坐标的方法是通过构建最短路径矩阵,采用MDS算法进行计算得到的。
3.根据权利要求2所述的面向边缘计算的非结构化数据共享机制实现方法,其特征在于,所述交换机的坐标的确定方法包括以下步骤:
S201:计算平方距离矩阵
S202:通过矩阵其中A为元素均为1的方阵,n为交换机的个数;
S203:确定矩阵B的m个最大的奇异值,以及相应的奇异值向量;
S204:计算交换机的坐标Qm是m个奇异值向量所构成的矩阵,是m个奇异值所组成的对角矩阵。
4.根据权利要求1所述的面向边缘计算的非结构化数据共享机制实现方法,其特征在于,所述交换机的坐标的确定方法是通过构建最短路径矩阵,确定所述数据索引的坐标的方法为采用哈希函数SHA-256算法进行确定。
5.根据权利要求1所述的面向边缘计算的非结构化数据共享机制实现方法,其特征在于,根据所述交换机的坐标构建的交换机连接图为采用随机增量算法构建Delaunay三角剖分图。
6.根据权利要求1所述的面向边缘计算的非结构化数据共享机制实现方法,其特征在于,所述贪婪转发的准则为将数据索引数据包所在的所述交换机将所述数据索引数据包转发至离所述数据索引的坐标最近的邻居交换机,包括物理邻居和DT邻居。
7.根据权利要求6所述的面向边缘计算的非结构化数据共享机制实现方法,其特征在于,交换机使用其物理邻居和DT邻居的坐标以及数据索引的坐标p=H(d)来计算估计的距离:对于每个物理邻居v,交换机u计算估计距离Rv=(,d),其中,d表示所要查询的数据索引在虚拟空间中的坐标位置,Rv是虚拟空间中从v到d的欧几里德距离;对于每个DT邻居交换机u通过计算从到d的估计距离;交换机u选择使的相邻交换机当如果v*是物理邻居,则将数据包直接发送到v*;如果v*是DT邻居,则将虚拟链路发送到v*;如果不满足则交换机u最接近数据索引的坐标,交换机u直接将数据索引转发到索引边缘服务器。
8.根据权利要求7所述的面向边缘计算的非结构化数据共享机制实现方法,其特征在于,所述交换机收到正在虚拟链路中转发的包时,按如下方式存储数据包:
当交换机接收到要转发的数据索引d时,交换机u按以下列格式进行存储:d=<d.des;d.src;d.relay;d.index>在本地的数据结构中,其中d.des是源交换机的DT邻居交换机,d.src是源交换机,d.relay是中继交换机,d.index是数据索引的有效负载,当d.relay≠null时,数据索引d正在虚拟链路上传输。
9.根据权利要求8所述的面向边缘计算的非结构化数据共享机制实现方法,其特征在于,所述交换机处理数据包的方式为:
u=d.des为真时,交换机u是DT相邻交换机,是虚拟链路的端点,交换机u将继续将数据索引d转发到其相邻的交换机,且该邻居交换机在虚拟空间中的位置是最接近虚拟空间中的数据索引的坐标;
当u=d.succ时,交换机u首先从转发表中找到元组t,其中t.des=d.des,根据匹配的元组t,切换交换机u修改d.relay=t.succ,其中,d.succ为转发路径中的后继交换机,t.des为转发表中一条流表项中的一个属性,为所要转发到的目的交换机的标识;
交换机u将数据索引发送到d.relay。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910302682.4A CN110022234B (zh) | 2019-04-16 | 2019-04-16 | 面向边缘计算的非结构化数据共享机制实现方法 |
US16/825,818 US10917333B2 (en) | 2019-04-16 | 2020-03-20 | Implementation method of unstructured data sharing mechanism for edge computing and the system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910302682.4A CN110022234B (zh) | 2019-04-16 | 2019-04-16 | 面向边缘计算的非结构化数据共享机制实现方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110022234A true CN110022234A (zh) | 2019-07-16 |
CN110022234B CN110022234B (zh) | 2022-02-22 |
Family
ID=67191451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910302682.4A Active CN110022234B (zh) | 2019-04-16 | 2019-04-16 | 面向边缘计算的非结构化数据共享机制实现方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10917333B2 (zh) |
CN (1) | CN110022234B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111586091A (zh) * | 2020-03-25 | 2020-08-25 | 重庆特斯联智慧科技股份有限公司 | 一种实现算力组配的边缘计算网关系统 |
CN114978984A (zh) * | 2022-07-01 | 2022-08-30 | 天津大学 | 一种边缘计算中带宽感知的高效数据放置方法 |
CN115480243A (zh) * | 2022-09-05 | 2022-12-16 | 江苏中科西北星信息科技有限公司 | 多毫米波雷达端边云融合计算集成及其使用方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113094246B (zh) * | 2021-03-30 | 2022-03-25 | 之江实验室 | 一种边缘异构计算环境仿真系统 |
CN113938423B (zh) * | 2021-12-16 | 2022-04-08 | 之江实验室 | 基于虚拟链路的边缘容错路由方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101188569A (zh) * | 2006-11-16 | 2008-05-28 | 饶大平 | 在网络上构建数据量子空间的方法及分布式文件存储系统 |
US20150296000A1 (en) * | 2011-12-27 | 2015-10-15 | Microsoft Technology Licensing, Llc | Cloud-edge topologies |
CN107333281A (zh) * | 2017-05-15 | 2017-11-07 | 北京邮电大学 | 移动计算卸载协同控制系统及方法 |
CN109120457A (zh) * | 2018-09-13 | 2019-01-01 | 余利 | 基于分布式软件定义架构的智能云的业务处理方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3449923B2 (ja) * | 1998-06-02 | 2003-09-22 | 富士通株式会社 | ネットワークトポロジー設計装置及びネットワークトポロジー設計方法並びにネットワークトポロジー設計プログラムを記録した記録媒体 |
EP1762053B1 (en) * | 2004-06-30 | 2010-08-11 | Telecom Italia S.p.A. | Method and system for network topology updating using topology perturbation |
EP2822241B1 (en) * | 2012-11-19 | 2016-02-10 | Huawei Technologies Co., Ltd. | Packet switching resource allocation method and device |
US20150124622A1 (en) * | 2013-11-01 | 2015-05-07 | Movik Networks, Inc. | Multi-Interface, Multi-Layer State-full Load Balancer For RAN-Analytics Deployments In Multi-Chassis, Cloud And Virtual Server Environments |
US9548919B2 (en) * | 2014-10-24 | 2017-01-17 | Cisco Technology, Inc. | Transparent network service header path proxies |
US9445279B2 (en) * | 2014-12-05 | 2016-09-13 | Huawei Technologies Co., Ltd. | Systems and methods for placing virtual serving gateways for mobility management |
US10069716B2 (en) * | 2015-07-29 | 2018-09-04 | At&T Intellectual Property I, L.P. | Methods and apparatus to reflect routes from a remotely located virtual route reflector |
US20180324082A1 (en) * | 2017-05-05 | 2018-11-08 | Fang Hao | Weight setting using inverse optimization |
US10681318B2 (en) * | 2017-11-14 | 2020-06-09 | Texas Instruments Incorporated | Camera-assisted arbitrary surface characterization and slope-based correction |
-
2019
- 2019-04-16 CN CN201910302682.4A patent/CN110022234B/zh active Active
-
2020
- 2020-03-20 US US16/825,818 patent/US10917333B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101188569A (zh) * | 2006-11-16 | 2008-05-28 | 饶大平 | 在网络上构建数据量子空间的方法及分布式文件存储系统 |
US20150296000A1 (en) * | 2011-12-27 | 2015-10-15 | Microsoft Technology Licensing, Llc | Cloud-edge topologies |
CN107333281A (zh) * | 2017-05-15 | 2017-11-07 | 北京邮电大学 | 移动计算卸载协同控制系统及方法 |
CN109120457A (zh) * | 2018-09-13 | 2019-01-01 | 余利 | 基于分布式软件定义架构的智能云的业务处理方法 |
Non-Patent Citations (3)
Title |
---|
JIE XU等: "Joint_Service_Caching_and_Task_Offloading_for_Mobile_Edge_Computing_in_Dense_Networks", 《IEEE INFOCOM 2018 - IEEE CONFERENCE ON COMPUTER COMMUNICATIONS》 * |
符永铨等: "边缘计算环境下应用驱动的网络延迟测量与优化技术", 《计算机研究与发展》 * |
郑晔: "时空流计算模规及其在边缘计算环境下的验证", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111586091A (zh) * | 2020-03-25 | 2020-08-25 | 重庆特斯联智慧科技股份有限公司 | 一种实现算力组配的边缘计算网关系统 |
CN111586091B (zh) * | 2020-03-25 | 2021-03-19 | 光控特斯联(重庆)信息技术有限公司 | 一种实现算力组配的边缘计算网关系统 |
CN114978984A (zh) * | 2022-07-01 | 2022-08-30 | 天津大学 | 一种边缘计算中带宽感知的高效数据放置方法 |
CN115480243A (zh) * | 2022-09-05 | 2022-12-16 | 江苏中科西北星信息科技有限公司 | 多毫米波雷达端边云融合计算集成及其使用方法 |
CN115480243B (zh) * | 2022-09-05 | 2024-02-09 | 江苏中科西北星信息科技有限公司 | 多毫米波雷达端边云融合计算集成及其使用方法 |
Also Published As
Publication number | Publication date |
---|---|
US10917333B2 (en) | 2021-02-09 |
CN110022234B (zh) | 2022-02-22 |
US20200336408A1 (en) | 2020-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110022234A (zh) | 面向边缘计算的非结构化数据共享机制实现方法 | |
Tang et al. | Coordinated en-route web caching | |
Jin et al. | Content and service replication strategies in multi-hop wireless mesh networks | |
Wu et al. | Parallelizing skyline queries for scalable distribution | |
CN102971732B (zh) | 键/值存储器的集成分级查询处理的系统结构 | |
CN105868388B (zh) | 一种基于fpga的内存olap查询优化方法 | |
Chen et al. | A framework for supporting dbms-like indexes in the cloud | |
CN100418331C (zh) | 基于网络处理器的路由查找结果缓存方法 | |
Wang et al. | Skyframe: a framework for skyline query processing in peer-to-peer systems | |
CN105357247A (zh) | 基于分层云对等网络的多维属性云资源区间查找方法 | |
Mihaylov et al. | Dynamic join optimization in multi-hop wireless sensor networks | |
CN102378407B (zh) | 一种物联网中的对象名字解析系统及其解析方法 | |
Xu et al. | Adaptive and scalable load balancing for metadata server cluster in cloud-scale file systems | |
Saravanan et al. | An effective model for QoS assessment in data caching in MANET environments | |
Warnke et al. | A sparql benchmark for distributed databases in iot environments | |
CN108183867A (zh) | 信息中心网络节点缓存替换方法 | |
CN107729421A (zh) | 存储过程的执行方法、装置及存储介质 | |
CN107908713A (zh) | 一种基于Redis集群的分布式动态杜鹃过滤系统及其过滤方法 | |
Chung et al. | Direction-aware resource discovery in large-scale distributed computing environments | |
CN106790421B (zh) | 一种基于社团的icn二步缓存方法 | |
Chen et al. | Improving NDN forwarding engine performance by rendezvous-based caching and forwarding | |
Zhang et al. | Edge-based shortest path caching for location-based services | |
Yuan et al. | Gcache: neighborhood-guided graph caching in a distributed environment | |
Zhijun et al. | Towards efficient data access in mobile cloud computing using pre-fetching and caching | |
Nakazato et al. | Data allocation method considering server performance and data access frequency with consistent hashing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |