CN111522656A - 一种边缘计算数据调度与分布方法 - Google Patents

Abstract

一种边缘计算数据调度与分布的方法，包括在线缓存数据调度和基于纠删码的离线数据分布。以提高边缘设备数据回传效率以及数据安全性为目标，解决边缘计算中数据调度与分布的问题。具有计算能力的边缘设备通过网关节点与云端进行连接。在连通状态下，网关节点为边缘设备提供基于最短延迟期望与优先级的混合调度的数据回传代理。在离线状态下，网关节点持续接收回传数据，为了减轻网关节点的存储压力以及提高数据的安全性，将数据进行编码后生成的数据块与校验块通过哈希策略分布在各边缘设备映射出的虚拟节点上。当网关节点与云端恢复连接后，请求边缘设备上的数据块以及校验块，通过解码操作进行数据恢复，以继续回传数据至云端。当某边缘节点遭受攻击失效后，利用其余边缘设备上存储的数据块和校验块仍可恢复数据，从而进一步提高数据安全性。

Description

一种边缘计算数据调度与分布方法

技术领域

本发明涉及计算机科学中的边缘计算及云计算领域，尤其涉及一种边缘计算数据调度与分布方法。

背景技术

边缘计算作为一种新兴计算范式,旨在利用边缘设备的计算、通信资源,满足用户对服务的实时响应、隐私与安全、计算自主性等需求。由于边缘设备的计算能力以及资源有限，在不足以支持计算的情况下，向云端回传数据进行任务卸载，建立边缘设备到云端的同步连接方法，每次重传或丢包都需要源宿端的传输延时开销，极容易造成传输队列的阻塞，降低传输效率。因此，引入网关作为代理，异步数据传输方式将更有效地利用网关回传带宽，提升传输效率。在复杂的场景下，网关节点与云端网络的连通性并非稳定、可靠的状态，而是一种弱连接的连网状态。因此，网关节点不仅仅在与云端连通状态下需要为边缘子网提供数据回传中继作用，在离线状态下，同样需要继续提供数据缓存和代理功能，有效提升边缘子网内数据回传同步的吞吐效率。针对离线状态下的数据缓存，持续接受回传数据加入缓存队列会导致网关节点缓存队列压力过大且数据不可靠，如果全部存储在网关节点本地会造成节点存储利用率下降，数据安全性降低的风险，需要研究更适用更有效的数据分布及容错机制。

现有的缓存调度算法主要有四大类型：基于对象大小的调度、基于访问时间间隔的调度、基于访问次数的调度、基于目标保存价值的调度，常见的有SIZE，LRU，LFU，GDSF等算法。这些方法从不同角度对缓存数据进行调度，但是忽略了缓存数据延迟期望与优先级的影响。

目前分布式映射数据节点时主要有以下三种方式：基于散列的分散存储方式、基于一致性哈希的分散存储方式，引入虚拟节点的一致性哈希。

散列式布局方式主要通过哈希函数计算数据的哈希值，前端服务器通过对此哈希值取模来定位数据储存的机器。当更新删除机器节点时，开销过大，难以满足单调性，但这种布局方式的定位效率很高。

一致性哈希方式通过计算数据的哈希值，并将所有的哈希值抽象为一个环状结构，环上的所有点都有一个固定的哈希值。计算所有节点的哈希值，并将这些节点映射到环状结构上。将所有数据分配到顺时针查找到的最近节点上去。但是，一致性哈希算法在服务节点太少时，容易因为节点分布不均匀而造成数据倾斜。

为了避免出现数据倾斜问题，一致性哈希算法引入了虚拟节点的机制，每个机器节点会进行多次哈希，最终每个机器节点在哈希环上会有多个虚拟节点存在，采用这种方式可削弱甚至避免数据倾斜问题，这是一种一致性哈希负载均衡的实现思想。

上述方法各有特色，各有优劣。本发明给出了一种考虑数据延迟期望与优先级，尽可能减少节点不定时增加、删除带来的负载不均，提高数据安全性的缓存数据调度与分布方法。

发明内容

本发明以提高边缘设备数据回传效率以及数据安全性为目标，设计并实现了一种数据调度与分布方法。具体包括：

1.具有计算能力的边缘设备通过网关节点与云端进行连接。网关节点与远程云端并不是保持稳定、可靠的状态，而是一种弱连接的连网状态。为了充分利用有限的传输时间和传输带宽，提升边缘子网内数据回传同步的吞吐效率。网关节点在与云端连通状态下需要为各边缘设备提供数据回传中继作用，在离线状态下，也需要继续提供数据缓存和代理功能。

2.在线缓存数据调度，即网关节点与云端处于连接状态时，网关节点为边缘设备提供数据回传代理，能够实时为边缘设备通告代理传输的结果。根据缓存数据的超时时间、优先级、失败降级系数构造价值函数，评估缓存队列顺序，为每个数据分配相应索引值，等待回传云端。记录数据到来的时间戳，且在一个间隙时间内，没有新的数据到来，开始向云端进行传输。每次取缓存队列索引值最小的数据回传云端，回传成功后将数据从缓存队列中弹出，否则进行重传。

3.离线数据分布，即网关节点与云端处于断开状态时，网关节点将数据通过编码算法计算出校验块，然后将原始数据块和校验块分布存储在各边缘设备中。为每个边缘设备即物理节点引入虚拟节点来提高负载平衡，将虚拟节点依据哈希策略均匀分布在环上。网关节点根据下发数据块的名称进行哈希算法选取存储集合。选取存储集合时，首先根据名称按照哈希算法选取第一个对应的虚拟节点，然后在此虚拟节点下依次选取N个未达负载上界的后继节点，选取的过程中比较该虚拟节点与已选取的存储集合的节点是否属于同一物理节点，如果检验为同一物理节点的情况则继续往后查找。

4.当有物理节点遭受攻击、脱离边缘子网时，网关节点利用其余物理节点上存储的数据块和校验块仍然可以恢复出原始数据，提高数据安全性。当网关节点与云端恢复连接后，通过查找数据块所分布的存储集合，请求边缘设备上的数据块以及校验块，进行数据恢复，以继续进行回传数据的传输。

与现有技术相比较，本发明的创新之处在于：根据边缘设备回传数据超时时间和优先级的需求，设计基于最短延迟期望和优先级的混合缓存调度方法，更合理地控制缓存数据的回传顺序。另外，在与云端失去连接情况下，将数据编码后分布在各边缘设备，来减轻网关节点存储压力，防止网关节点失效导致数据丢失，提高数据安全性。具体体现在：

1.缓存队列的重序化同时考虑超时时间和优先级两个因素，并且在传输失败后进行适当降级，以防止该回传数据长时间抢占优先，造成传输长时间阻塞。设置缓存队列容量最大上限，当回传数据超过缓存队列上限后，选择性的将数据放置在本地数据库存储，以待下次传输。

2.数据分布方法将各边缘设备映射成多个虚拟节点并均匀分布在环上，并设定合理的负载上限，通过哈希策略选取存储集合，保证存储集合中各虚拟节点不属于同一物理节点。网关节点恢复与云端连接后，查找存储集合的数据块并依据解码规则恢复数据，继续向云端传输。当某一物理节点失效，仍然可以依据存储集合中其余节点数据块进行数据恢复。

附图说明

图1边缘计算数据调度与分布体系结构

图2在线缓存数据调度方法示意图

图3编码与解码示意图

图4基于纠删码的离线数据分布结构

图5节点关系示意图

图6存储集合选择示意图

具体实施方式

请参阅图1，本发明主要包括：网关节点与云端处于连接状态时，在线缓存数据基于最短延迟期望与优先级的混合调度方法、网关节点与云端失去连接时，基于纠删码的离线数据分布方法。

在线缓存数据调度方法

网关节点在与云端连通状态下需要为边缘子网提供数据回传中继作用，有效提升边缘子网内数据回传同步的吞吐效率。参阅图1的在线缓存调度方法，网关节点在接收到子网内边缘设备数据后，应具备以下两个关键功能：

·提供一套有效机制为边缘设备节点提供数据回传代理，能够实时为边缘设备通告代理传输的结果：已成功完成回传同步的数据、未回传同步成功等信息。

·提供一套有效的缓存调度策略，合理控制缓存数据的超时时间、优先级以及缓存时间。

1.数据回传代理机制

网关作为数据回传和缓存的重要节点，需要考虑如何为边缘设备提供一套简单且有效的代理机制。首先，网关节点的Server与边缘设备Server通过周期性的心跳连接不仅解决了网关发现探测的关键问题，同时，也可以为数据的回传同步提供负载，当边缘设备Server需要通过网关回传数据时，将停止周期性的心跳发送机制，直接发送回传数据消息，回传数据消息主要携带以下内容：

·边缘设备Server的地址与端口，用于网关节点构建数据回传代理

·网关节点Server的地址与端口，用于标识回传数据消息的网关

·云端目的地址及端口，用于网关构建数据回传代理

·回传同步数据载荷，需要回传同步的数据

·优先级，回传数据的优先级别，从低到高分为N个级别，等级越高，越优先发送，当边缘设备Server在接收边缘设备应用需要发送的数据时，应用通过传输接口指定。

·超时时间，回传数据的超时时间上限，网关在缓存数据时将依据超时时间上限适当调整其队列优先次序。

·重传策略，回传数据若在代理传输发送传输失败时，采用的重传策略。

注：重传策略，示例如下：

(1)传输失败，立即重传，重传上限M次，超出上限丢弃，返回通知。

(2)传输失败，直接丢弃，返回通知。

网关节点Server在接收到回传数据消息后，将周期性返回回传数据的状态，具体而言，还是通过心跳连接消息作为传播载体，回传状态可分别为：

·缓存队列排队：回传数据在缓存队列中等待调度

·待发送：回传数据已经进入发送队列，待发送

·待确认；回传数据已发送，等待确认消息

·待重传：回传数据已进入重传队列

·传输成功：回传数据得到确认消息，代理发送成功

·传输失败，待重传：回传数据发送超时，代理发送失败，并准备调度加入重传队列

·传输失败，丢弃：回传数据发送超时，代理发送失败，数据已丢弃

同时，网关节点Server也会同时通过心跳连接消息返回网关Server的云端网络连接状态(到目的地址：离线/在线)给边缘设备Server。显然，通过以上的数据回传代理机制能够为边缘设备Server提供实时的代理传输信息，同时，也能较好的提供网关与云端的连接状态以及网关接入、离开当前子网的状态信息。

2.基于最短延迟期望与优先级的混合调度

另一方面，对于回传数据的缓存调度，也是网关数据缓存管理需要解决的一个主要难点。边缘设备的应用通常对指令、态势信息、语音信息等通常具有不同的优先级、超时时间以及重传策略的需求。此处针对网关节点与云端处于连接状态下，回传数据的缓存调度机制即在线数据的缓存调度，采用基于最短延迟期望与优先级的混合调度，同时考虑超时时间与优先级两个重要因素进行缓存管理。

如图2所示，网关节点始终监听各个处于连接状态的边缘节点是否回传数据，当多个边缘节点向网关节点发送回传数据，首先PUSH进入网关节点维护的缓存队列(队列T1)，并且分配相应的索引值i，记录该数据包到来的时间戳。每接收到一个来自边缘节点的数据包，首先判断当前缓存区是否已满。

(1)缓存区未满

缓存区未满，且在一个间隙时间θ内，没有新的数据包到来，依据该数据包的超时时间、优先级构造的价值函数VAL(i)对缓存队列中的所有数据包进行价值评估并重新顺序化(此时不考虑降级系数)，生成一个新的缓存队列即T2。否则，T1继续接收数据包，直到一个间隙时间内没有新的数据包到来。对于重排列的缓存队列中，弹出队首的数据包到临时队列T3中。判断此时网关节点与远程云端的连接状态。

·如果处于连接状态，将临时队列中的数据包发送至远程云端，当接收到云端的成功信号后，将临时队列中的数据包弹出，否则进行重传。如果云端返回失败信号超过三次，则认为连接存在问题，将数据包降低价值Dec(i)后重新按序放入缓存队列中。

·若处于未连接状态，将临时队列中的数据包弹出，将数据价值等级降低后按序放入到缓存队列中，继续将T2中的数据块弹入临时队列进行传输。

若判断网络连接状态为断开超过三次，则认为与网关真正断开，即停止传输。将缓存队列中的全部数据包存入本地数据库，以待下次与云端恢复连接进行重传。

(2)缓存区已满

依据该数据包的超时时间、优先级构造的价值函数VAL(i)对缓存队列中的所有数据块进行价值评估并重新顺序化。得到的价值最低的数据包弹出缓存队列，丢弃到本地存储空间。等待缓存区存在空闲时，读取本地存储空间的数据包加入缓存队列，并重复开始上述步骤(1)。

价值函数VAL(i)综合考虑数据包的超时时间T(i),优先级P(i)以及失败降级系数Dec(i)，即

VAL(i)＝T(i)*α+P(i)*(1-α)-Dec(i) (1)

基于纠删码的离线数据分布方法

网关节点与云端连接断开时，网关不能及时把数据回传到云端，同时不能丢弃未发送的数据，若持续将数据维护在该缓存队列，会导致缓存队列数据过多，最终导致缓存溢出。因此，需要将这部分数据存储到网关节点本地，但考虑到网关节点有限的存储资源，以及数据容错的重要性，当离线数据大小超过给网关分配的存储空间后，采取将数据分布式存储在各边缘设备上的方法。

为了提高各边缘设备的存储利用率以及数据可靠性，采用基于编码的存储容错策略。将数据通过编码算法计算出校验数据，然后将原始数据和校验数据分布存储在各边缘节点中。如图3所示，首先获取数据块，然后将这些数据块进行编码，得到数据块和校验块共N块，分布到不同节点上。数据块损坏时只需从节点中获取k(k<N)个可用的块进行解码，就可以恢复得到原始数据块。纠删码相较于一般的副本策略，在保障可靠性的同时，增加了系统的存储利用率，在本方法中采用里德-所罗门编码，即RS纠删码。如图4所示，数据分布方法可进行以下方面划分。

1.节点分布

为了实现负载均衡和高效恢复，底层边缘设备使用环状结构存储，节点有物理节点和虚拟节点的区分。如图5所示，在存储系统中将边缘设备即物理节点根据计算和存储能力分为多个虚拟节点，然后将这些虚拟节点根据哈希策略均匀分布到环上，如此不仅使得系统负载更为均衡，也使得遇到损坏时恢复更为快速。在存储过程中，网关的一个数据块对应多个虚拟节点，多个虚拟节点属于一个物理节点。

根据边缘设备不同的IP地址位和端口号进行哈希操作对虚拟节点进行编号，得到的哈希值作为ID编号，以此来确定虚拟节点在环上的存储位置，由此生成的虚拟节点编码更加随机。同时在虚拟节点内部也存放与之对应的物理节点信息，保证物理节点和虚拟节点的对应关系。

具体步骤如下：

(1)根据边缘设备存储容量获取每个物理节点的虚拟节点数N；

(2)对端口号和IP的不同位值实施哈希策略得到多个HASH值Vir，作为虚拟节点；

(3)检测哈希值Vir是否有冲突，若没有则将它作为此虚拟节点的ID值；

(4)将虚拟节点初始化后加入到虚拟节点列表ListofVirtualNode中；

(5)对所有的虚拟节点进行排序，构成一个环状结构。

FNV哈希算法能快速hash大量数据并保持较小的冲突率，它的高度分散使它适用于hash一些非常相近的字符串。相关变量：

·hash值：一个n位的unsigned int型hash值

·offset_basis：初始的哈希值

·FNV_prime：FNV用于散列的质数

·octet_of_data：8位数据(即一个字节)

FNV-1a描述：

2.存储集合的选择

不在同一物理节点上的虚拟节点构成存储集合，存储集合内存放编码后的数据块。根据网关上不同的数据块来选择存储集合，存储集合由边缘设备的虚拟节点构成，构建存储集合后，网关节点的同一数据块内容将存放在该存储集合中的存储节点上。为了提高各虚拟节点间负载均衡，避免各节点间数据分布不均的情况，为每个虚拟节点设置一个负载上限α。

如图6所示，所有的虚拟节点根据其ID值的顺序分布在圆环之上。根据数据块的name进行FNV哈希算法得到hash值，查找对应id范围(vnode(i)<hash<vnode(i+1))得到第一个匹配的虚拟节点vnode(i+1)，判断该虚拟节点负载是否达到上界α，如果没有用则标记为占用并记录此虚拟节点的id。选取的过程中比较该虚拟节点与已选取的存储集合中的节点是否属于同一物理节点，如果遇到属于同一物理节点的情况则继续往后查找，直到找到N个虚拟节点为止。如图6所示，按照此种方式选取存储集合可以保证数据存储负载比较均衡，同时选择的虚拟节点尽量互不属于同一物理节点的优势则是，当物理节点失效时可采用多个虚拟节点并行恢复的方式，减少恢复时间，加快恢复速度。具体步骤如下：

(1)输入数据块(包括原始数据块和校验块)；

(2)根据数据块的大小和编码方式，获取虚拟节点的个数M；

(3)获取数据块的名字name，对其进行FNV哈希运算得到Virdata；

(4)在虚拟节点环状存储结构中，查找id(i)<Virdata<id(i+1)，得到首个虚拟节点i+1；

(5)依次选择该节点的下一个不在同一物理节点上的，且未达到负载上限α的虚拟节点，构成存储集合并记录ListofMemory。

3.数据恢复

数据恢复主要指的是当物理节点遭受攻击损坏时如何修复数据的情况。对物理节点失效的情况可以采用并行恢复来提高恢复速度。当遭遇单节点失效的情况，则需要首先查找该物理节点中所存储的所有数据块，对物理节点的恢复则是对这些数据块进行恢复，需要查找到数据块对应的所有的编码组，然后对编码组进行解码操作恢复虚拟节点的数据块，当所有编码组的解码操作完成则整个物理节点得到恢复。

当遭遇单节点失效的情况，步骤为：

(1)查找ListofVirtualNode中该物理节点对应的虚拟节点；

(2)根据虚拟节点查找ListofMemory中对应的存储集合；

(3)涉及的存储集合内通过解码操作并行恢复虚拟节点；

(4)所有的虚拟节点恢复后，最后的物理节点得到恢复。

当遭遇多节点失效的情况，和单节点类似。如果物理节点A和B损坏，查找物理节点A对应的存储集合，对每个存储集合进行相应的解码恢复操作可分别得到组内两失效盘的数据，可以恢复组内的失效盘，所有的存储集合完成恢复操作即所有物理节点A和物理节点B内的虚拟节点均恢复，如此物理节点A和物理节点B两个物理节点得以恢复。即系统可以恢复双节点失效的情况。

面对多节点失效的情况，只要存储集合内的编码算法允许容忍m个磁盘错误，则整个系统最多可以容忍m个物理节点失效。

数据恢复时间同编码组的编码方式紧密相关，设采用编码方式的解码时间为decode_time，虚拟节点内的数据块个数为num，则单数据块的修复时间为decode_time。如果物理节点的修复采用并行的方式,则修复时间Node_time为：

Node_time＝decode_time*num (2)

网关节点与云端恢复连接后，恢复数据传输步骤：

(1)通过查找存储集合列表ListofMemory得到数据块所分布的虚拟节点集合；

(2)查找虚拟节点列表ListofVirtualNode获得虚拟节点集合对应的边缘设备集合；

(3)请求集合中各个边缘设备上的原始数据块以及校验块，进行数据恢复；

(4)继续向云端传输数据。

Claims (7)

1.本发明公开一种边缘计算数据调度与分布方法，包括在线缓存数据调度和基于纠删码的离线数据分布，其特征在于，具有计算能力的边缘设备形成边缘子网，且与远程云端通过网关节点进行连接，在线缓存数据调度是在网关节点与云端连接状态下，对边缘节点回传缓存数据的调度，基于纠删码的离线数据分布是在网关节点与云端断开连接状态下，边缘节点回传数据的容错性分布。

2.如权利要求1所述的方法，其特征在于，对在线缓存数据调度时，所述方法步骤包括：

1)网关节点为边缘设备提供数据回传代理，能够实时为边缘设备通告代理传输的结果；

2)网关节点根据缓存数据的超时时间、优先级、失败降级系数构造价值函数，评估缓存队列顺序，为每个数据包分配相应索引值，等待回传云端；

3)网关节点记录数据包到来的时间戳，在一定的间隙时间内，没有新的数据包到来，则向云端进行传输；

4)网关节点取缓存队列索引值最小的数据包回传云端，传输成功后将该数据包从缓存队列中弹出，否则执行重传操作。

3.如权利要求1所述的方法，其特征在于，对离线数据分布时，所述方法步骤包括：

1)网关节点利用纠删码技术将数据编码成原始数据块和校验块；

2)为每个边缘设备即物理节点引入虚拟节点，将虚拟节点依据哈希策略均匀分布在环上；

3)网关节点根据下发原始数据块和校验块的名称实施哈希算法选取存储集合，存储集合由边缘设备的虚拟节点构成，选取原则为不属于同一物理节点且不超过虚拟节点的存储上界；

4)当有边缘设备即物理节点遭受攻击失效，脱离边缘子网后，网关节点利用其余物理节点上存储的原始数据块和校验块可以恢复出原始数据；

5)当网关节点与云端恢复连接后，通过查找数据块所分布的存储集合，请求边缘设备上的原始数据块以及校验块，进行数据恢复。

4.根据权利要求2所述的方法，其特征在于：在线缓存数据调度步骤的步骤2)中，失败降级系数Dec(i)用于网关节点向云端传输数据失败后，降低该数据包价值重新按序放入缓存队列，价值函数VAL(i)综合考虑回传数据包的超时时间T(i),优先级P(i)以及失败降级系数Dec(i)：VAL(i)＝T(i)*α+P(i)*(1-α)-Dec(i)。

5.根据权利要求3所述的方法，其特征在于：离线数据分布步骤的步骤3)中，根据数据块(包括原始数据块数据块和校验块)的大小和编码方式，获取所需虚拟节点的个数M；对数据块的名字name进行FNV哈希运算得到Virdata；在虚拟节点环状存储结构中查找id(i)<Virdata<id(i+1)，得到首个虚拟节点i+1；依次选择该节点的下一个不在同一物理节点上的且未达到负载上限α的虚拟节点，构成存储集合并记录ListofMemory。

6.根据权利要求3所述的方法，其特征在于：离线数据分布步骤的步骤4)中，恢复物理节点数据时，查找ListofVirtualNode中该物理节点对应的虚拟节点；根据虚拟节点查找ListofMemory中对应的存储集合；涉及的存储集合内通过解码操作并行恢复虚拟节点数据；所有的虚拟节点数据恢复后，最后物理节点数据得到恢复。

7.根据权利要求3所述的方法，其特征在于：离线数据分布步骤的步骤5)中，网关节点与云端恢复连接后，通过查找存储集合列表ListofMemory得到数据块所分布的虚拟节点集合，然后查找虚拟节点列表ListofVirtualNode获得虚拟节点集合对应的边缘设备集合，请求集合中各个边缘设备上的原始数据块以及校验块，进行数据恢复，以继续向云端传输数据。

Images