CN114531455A - 基于边缘协助的多云安全存储方法 - Google Patents

Abstract

基于边缘协助的多云安全存储方法，属于边缘计算和多云存储技术领域。所述方法包括边缘节点选择和基于数据加密、分散和冗余的可靠安全存储方案。该方法引入边缘计算，将边缘节点作为多云存储分布式代理，该方法根据用户的需求选择出合适的多个边缘节点，让数据在传输过程中由多个边缘节点处理，保证了数据不让某个节点完全获取，降低了数据泄露的可能性的同时提高服务的性能；通过基于数据加密、添加虚假数据、分散和冗余的可靠安全存储方案，保证了部分片段数据的机密性以及可以抵抗多个边缘节点恢复出完整数据，提高了数据的安全性。

Description

基于边缘协助的多云安全存储方法

技术领域

本发明属于边缘计算和多云存储技术领域，提出一种新型的多云安全存储方法，该方法利用加密、添加虚假片段和分散转发的方式选择多个边缘节点援助进行多云存储服务，确保不同边缘节点之间无法恢复原始数据，保证数据安全性；同时，在多个边缘节点并发进行RS编码冗余备份，将编码后数据存储到多个云服务商，由此提高云存储服务的可扩展性和服务性能。

背景技术

随着计算技术和网络技术的迅猛发展，用户数据量呈几何级数增长,本地存储已无法满足用户的存储需求，用户将数据外包给云服务商(CSP)存储已成为趋势。云存储安全事件的不断发生使企业和普通用户忧心数据存储在云服务器上是否安全、隐私是否泄露。云存储系统的数据安全和隐私泄露问题本质是因为用户对自身数据的所有权和管理权分离，CSP内部人员很容易获取用户的敏感信息，而传统单一CSP的单云存储模式还可能出现停机、停业等单点故障带来的数据丢失。针对单云存储存在的问题，目前已有研究者提出了多云存储集中式代理架构和多云存储分布式代理架构。多云存储集中式代理架构虽然能在有效提供多云存储服务的同时提高服务可用性和数据安全性，但随着海量数据迅速增长和地理位置分散的特点，其负载集中和远距离传输的缺陷渐渐暴露出来，越来越高的响应延迟导致集中式代理无法满足用户对性能的需求。多云存储分布式代理架构可弥补集中式代理架构的缺陷，根据地理位置部署多个代理系统，每个多云代理系统帮助管理分发其附近用户的数据到各大云供应商，各代理间通过中心协调服务统一协调传递信息以保持数据一致性，但仍存在分散的单个代理易被攻击且不完全可信等问题。数据在传输过程中，现有架构的某个代理节点会访问到整个数据，违背了在传输过程中不让某个节点获取完整数据的最初目的，存在数据泄露的风险。

发明内容

针对现有技术中存在单个代理节点存在易被攻击且不完全可信的问题，单个代理获得完整的数据存在数据泄露的问题，本发明提出一种基于边缘协助的多云安全存储方法，完成安全的多云存储。实现该方法涉及客户端、多个第三方声誉中心、多个控制器、多个边缘节点、多个云服务商五类实体，这五类实体之间相互协作，共同完成用户数据的多云安全存储，如图1所示。

方法架构如图2所示，各实体分别包含如下主要功能模块。

①客户端：

用户注册和登录模块，负责该多云存储服务的新用户注册以及用户登录使用该服务；

服务选择模块，依据云服务商列表、文件信息、预估费用选择出边缘节点，依据安全级别选择加密方案，依据冗余编码参数、云服务商冗余度决定冗余存储方案，依据虚假片段数随机生成出多个虚假片段。

文件加密和分散上传模块，负责将文件根据服务模块选择的加密方式进行加密、添加混淆数据，并分散传输给多个边缘节点；

文件下载和恢复模块，负责从多个云服务商中下载密文片段，并在本地恢恢复出原始文件；

虚假片段生成和记录模块，负责随机生成虚假片段；记录每次添加在密文中添加虚假片段的偏移量，为解密恢复原始数据阶段删除混淆数据提供依据。

②第三方信誉中心：

用户管理模块，负责管理用户的账户信息，用于验证用户的登录信息和保存用户的注册信息；

边缘节点和控制器信息管理模块，负责保存边缘节点和控制器的注册信息，以及控制器和边缘节点的主从关系；

元数据管理模块，负责保存用户存储文件的元数据信息；

DNS解析模块，用于解析用户IP地址转发给合适的控制器。其中一个控制器和一个边缘节点只能在一个中心进行注册服务，边缘节点会根据地理位置分配给控制器。

③控制器：

控制器整个系统的调度组件，每个控制器负责某个区域边缘集群的计算任务调度。控制器部署了边缘节点信息采集模块和任务分配模块。

边缘节点信息采集模块负责采集边缘节点的运行状态信息，如空闲的存储资源、计算资源、与云服务商的延迟等；

任务分配模块负责依据采集到的边缘节点信息和用户的服务请求信息找出最佳的边缘节点以进行服务。

④边缘节点：集成了多云服务API用于提供多云存储服务。

RS编码与上传模块，用于将接收到的数据编码转发给多个CSP。

下载与RS解码模块，用于从多个CSP下载数据片恢复出原始密文并返回给客户端；

信息反馈模块，用于反馈控制器需要采集的信息，包含的信息有空闲的存储资源、计算资源以及和各CSP的延迟等。

⑤云服务商：用于提供存储租赁服务。

本发明提出的方法具体流程如图3所示。具体流程如下：

步骤1：选择边缘节点阶段

边缘节点是遍布在地理区域不同的位置，控制器将根据用户的地址信息、文件信息、云服务商列表以及费用信息，选择出多个合适的边缘节点反馈给用户提供多云存储服务。本发明采用启发式的分配算法，计算每个边缘集群中的各个边缘节点的优先级，在需要服务时，控制器会将服务分配给优先级最高的且满足资源需求的边缘节点。

步骤2：加密和数据分散阶段

本发明给出两种不同的加密和数据分散方案，用户可以根据文件的机密性和性能需求进行选择。第一种进行简单的异或密码分组链接加密，保证部分数据片段机密性且降低了加密的时间复杂度。第二种进行AES-CBC分组链接加密，是安全级别最高的方案。为了提高数据的机密性，防止多个节点合谋恢复出完整数据，该方案还提供了添加虚假片段的选择。虚假片段的长度同分组块的大小一样为128bit，生成虚假片段的位置是随机生成的，添加虚假片段的时机是在生成密码分组块的时候。根据密码分组链接的特点，在添加虚假片段之后的密码块，需要删除了虚假片段才可以通过它的前驱密码块才能恢复出正确的明文块。而添加虚假片段的位置和长度是随机生成且保存在本地的，其他实体在不之情下很难破解。

步骤3：文件安全容错编码阶段

对于小数据文件，边缘节点将接收到的加密数据通过(k,m)的里德-所罗门(RS)算法编码为k+m个分片，这里k为还原出原始数据最少的块数，m为编码生成的冗余块数，且k+m≥NoC，k-m≥NoRe,其中NoC为CSP的个数，NoRe为CSP的冗余度，同时要满足NoC-NoRe≥NoRe。即我们可以从随意NoC-NoRe个CSP中恢复出编码的数据块。

对于大数据文件，该方案以1Mb为1份，同样提供(k,m)的RS算法,在每接收到k Mb数据之后编码生成m Mb冗余块，然后平均分配到CSP。对于大文件的传输，网络传输过程慢，因此可以让边缘节点在收到部分数据之后并发执行冗余备份之后上传给云服务商，可以大幅度提高服务效率和减少网络拥塞。若最后接收到的数据小于k Mb，则以第一种方式处理。

与现有技术相比，本发明的特点在于：

1、可扩展性强：由于本方法采用了边缘计算，本系统只要注册新的边缘节点并添加该多云存储服务插件即可，可以通过添加边缘节点提高服务性能。该系统会根据客户端的位置提供最佳的边缘节点进行代理服务。

2、服务性能高：用户在客户端进行分组加密的同时将数据分组转发给多个边缘节点，同时多个边缘节点将数据片段并发进行编码冗余存储到多个云服务商，提高了该多云存储服务的性能。

3、数据安全性高：单一云服务商存在厂商锁定等不完全可信问题，本发明采用多云存储来将数据分散到不同云服务商。同时，在传输过程中，本发明在本地进行数据加密、添加虚假片段进行混淆、分组的处理，使得代理和代理之间基本无法会出原始数据，更加保证了数据的安全性。

附图说明

图1是基于边缘协助的多云安全存储参与实体图

图2是基于边缘协助的多云安全存储系统架构图。

图3是基于边缘协助的多云安全存储方法示意图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步说明。

本发明所述基于边缘协助的多云安全存储方法的具体实施过程如图2所示，包括以下步骤：

步骤1：选择边缘节点。

(1)用户在客户端根据服务模块选择和填写请求信息，其中包括云服务商列表、文件大小、预估费用、安全级别等信息。

(2)第三方声誉中心将对用户身份进行验证，如果成功则对用户地址进行解析匹配到最佳的控制器，并转发请求信息。

(3)控制器收到请求转发信息后，向其所控制的边缘节点请求它们反馈信息。

(4)边缘节点将其目前的目前空闲存储资源、计算资源、与云服务商和用户的延迟信息返回给控制器，

(5)控制器根据用户的请求信息和收集到的边缘节点信息，采用启发式分配算法选择边缘节点，并将该结果反馈给其对应的第三方声誉中心。该结果的信息包括边缘节点的IP地址、延迟总时间、预估费用。

(6)第三方声誉中心将所选择的边缘节点IP地址返回给客户端，同时将用户的IP地址和请求信息发送给边缘节点以进行绑定。

(7)边缘节点根据请求信息的文件大小预留足够的存储空间和计算资源以进行准备工作。

步骤2：数据加密和分散。

用户可以选择简单的异或分组链接加密或AES-CBC加密。

(1)客户端首先会根据步骤1的服务模块，包括生成虚假片段的个数、加密方式，以及冗余备份参数k，m。提前准备好NoEdge个数据缓存区域，其大小为k Mb。随机生成虚假片段个数n、每个片段添加的位置pos_i,添加的位置以比特位bit进行换算。假设要存储的文件大小为S Mb，那么原始分组长度为

添加第一个虚假片段的初始位置范围为(1，N*32)，假设第一次生成的随机虚假片段的位置为pos₁，那么第2个添加虚假片段的位置范围为(pos₁+32,N*32),以此类推，添加第i个虚假片段的位置范围为(pos_i-1+32,N*32)。因此，添加某一个虚假片段时，需要调整其前后两个密文片段的位置，而分组链接加密的特点则是需要前驱密文块进行解密的，那么在解密的时候不删除其虚假片段是无法解密的。将生成的虚假片段的位置保存在本地，同时将密钥进行冗余编码RS(NoRC-1,1)产生NoRC个片段，然后分别存储到对应的第三方声誉中心，其中NoRC为第三方中心的个数。

(2)第三方声誉中心记录该密钥分片对应与文件对应的元文件信息。

(3)客户端根据生成的密钥进行分组加密产生N个密文片段，然后在第

个密文片段和第

个片段的位置进行替换和拼接，由于多出来的一个新的片段把它的放在尾部，记为第N+i个片段。因此，在解密数据的时候，我们只需要将这3个片段进行对应的删除和拼接即可恢复出原始的密文片段。为了，减少未被混淆之前的密文块被解密的可能性，将一个密文块分成两半存储在不同的节点上。因此，在分组加密的同时，将以加密好的密文块对半且轮询的方式发送给不同的数据缓冲区，等待数据缓冲区域满后，对该数据区域的数据进行SHA256计算用以给边缘节点进行验证传输是否成功。若该密文块需要添加混淆数据，则需将添加混淆数据之后再放进对应的数据缓冲区域。

(4)边缘节点将接收到的数据同样进行SHA256计算进行比较，如果相同则该数据接收成功；否则通知客户端重新发送。

步骤3：数据冗余备份。

(1)边缘节点将接收到的数据进行RS(k,m)编码，产生k个原始数据块，m个冗余块。同时使用SHA256计算每个数据块的哈希值，用以后续验证存储在云服务商的数据的完整性。创建多个线程分别对应各云服务商，调用各云服务商的API，分别将数据块均匀传输给对应的各云服务商。

(2)云服务商将存储接收到的信息，根据各自厂商的协议反馈结果给边缘节点。

(3)全部数据转发成功后，边缘节点将本次的元数据文件信息，包括接收到的密文块、编码之后的数据块、各数据块的哈希值、以及和云服务商的映射关系。

(4)第三方声誉中心将整合此次多云存储过程的元数据信息。

边缘节点选择算法：

采用启发式的分配算法，计算每个边缘集群中的各个边缘节点的优先级，在需要服务时，控制器会将服务分配给优先级最高的且满足资源需求的边缘节点。以边缘节点到CSP和用户的延迟以及平均计算时间作为优先级的评判标准，称其为平均服务时间(average serve time)，记为ast，其中

其中ltu是边缘节点到用户的延迟时间，ltc是边缘节点到各云服务商的延迟时间，

是平均计算时间。

算法的细节如下。输入是用户本次服务的资源需求r(u)，包括所需存储资源、计算资源，预估费用pre_cost(u)，用户地址以及云服务商列表CList＝{c1，c2，...，cm}。该算法的输出是分配方案

首先控制器会计算它所管理每个边缘节点的ast值，并对其进行升序排序，即ast(u，e₁)≤ast(u，e₂)≤…ast(u，e_n)，并将该结果存于EList＝{e1，e2，...en}。排序的目的是优先将任务分配给平均服务时间最短的边缘节点。

其次，该算法将按延迟从低到高遍历EList，如果当前节点e_i的当前空闲资源c(e_i)满足用户任务所需资源r(u)并且e_i所需开销费用pay(e_i)在用户预估费用内pre_cost(u)，则将该任务分配给该节点。否则将寻找满足该条件的下一个节点。

算法1.选择结点算法

输入：用户IP地址、r(u)、pre_cost(u)、CList

输出：符合要求且延时最低的边缘结点及预估执行时间

使用公式Ci＝E(K，Di-1，Mi)表示该加密算法，其中K为密钥，Di表示用以和明文Mi加盐的数据块，在分组链接加密的第一个和明文块M1异或的D1是随机生成的初始向量IV，后续的Di为它的前缀密文Ci-1，即Di＝Ci-1，C0＝IV，1＜＝i＜＝N。因此，解密的公式为Mi＝DE(K，Di-1，Ci)。在完成全部明文块的加密之后，整个文件的密文块为C＝{C1，C2，...，CN}。假设，添加的虚假片段的位置是在第k个片段，那么根据规则，需要改变的密文片段是Ck和Ck+1，假设生成的第i个虚假片段表示为Fi，那么添加Fi后，文件的密文块序列为C＝{C1，...，Tk，Tk+1，...CN，TN+1}，其中T表示在添加虚假片段之后进行转换的片段，转换的方式是在原始密文块Ck的某一位数据开始进行替换Fi，由于替换的位置是在每一个片段的第1位数据之后随机一位插入替换且虚假片段的大小和每个分组块相同，所以需要Ck，Ck+1来和Fi进行替换，生成三个数据片段Tk，Tk+1，TN+1，其中Tk和Tk+1替换掉原来的Ck，Ck+1，而TN+1则是添加在原始密文序列后。那么在不删除虚假片段的情况下，原来的密文片段Ck，Ck+1，Ck+2是无法恢复的。该替换数据片的方法是可以和分组加密同时进行的，无需等待全部密文块的加密完成后对整个数据进行偏移移动。

数据分散：

为了防止在一个节点上可以恢复出部分密文块，如某个节点通过某些手段拥有密钥且拥有某些密文块，如C1，C2，C3，…。那么该节点则可以通过排列组合的方式尝试解密出原始明文块，如M2＝DE(K,C1,C2),M3＝DE(K,C2,C3)。为了不让某个节点恢复出原始密文块，将一个密文块分成两部分分别存储在物理隔离的不同位置上，如C1,C2,C3分成两半分别存到两个节点上，那么这两个节点都无法恢复出C2,C3的明文。即使两个节点通过合谋的手段共享数据，在第一部分加入的多个虚假片段，也可以很好地阻止它们恢复出完整地明文数据，它们首先需要尝试组合好原始地密文块，再尝试找到多个添加虚假片段的位置再将其删除，这基本是不可能的事情。

Claims (1)

1.基于边缘协助的多云安全存储方法，其特征在于包括以下步骤：

步骤1：选择边缘节点；

(1)用户在客户端根据服务模块选择和填写请求信息，其中包括云服务商列表、文件大小、预估费用、安全级别信息；

(2)第三方声誉中心将对用户身份进行验证，如果成功则对用户地址进行解析匹配到最佳的控制器，并转发请求信息；

(3)控制器收到请求转发信息后，向其所控制的边缘节点请求它们反馈信息；

(4)边缘节点将其目前的目前空闲存储资源、计算资源、与云服务商和用户的延迟信息返回给控制器；

(5)控制器根据用户的请求信息和收集到的边缘节点信息，采用启发式分配算法选择边缘节点，并将该结果反馈给其对应的第三方声誉中心；该结果的信息包括边缘节点的IP地址、延迟总时间、预估费用；

(6)第三方声誉中心将所选择的边缘节点IP地址返回给客户端，同时将用户的IP地址和请求信息发送给边缘节点以进行绑定；

(7)边缘节点根据请求信息的文件大小预留足够的存储空间和计算资源以进行准备工作；

步骤2：数据加密和分散；

选择简单的异或分组链接加密或AES-CBC加密；

(1)客户端首先会根据步骤1的服务模块，包括生成虚假片段的个数、加密方式，以及冗余备份参数k，m；提前准备好NoEdge个数据缓存区域，其大小为kMb；随机生成虚假片段个数、每个片段添加的位置,添加的位置以比特位bit计算；假设要存储的文件大小为SMb，那么原始分组长度为

添加第一个虚假片段的初始位置范围为(1，N*32)，假设第一次生成的随机虚假片段的位置为pos₁，那么第2个添加虚假片段的位置范围为(pos₁+32,N*32),以此类推，添加第i个虚假片段的位置范围为(pos_i-1+32,N*32)；因此，添加某一个虚假片段时，需要调整其前后两个密文片段的位置，而分组链接加密的特点则是需要前驱密文块进行解密的，那么在解密的时候不删除其虚假片段是无法解密的；将生成的虚假片段的位置保存在本地，同时将密钥进行冗余编码RS(NoRC-1,1)产生NoRC个片段，然后分别存储到对应的第三方声誉中心，其中NoRC为第三方中心的个数；

(2)第三方声誉中心记录该密钥分片对应与文件对应的元文件信息；

(3)客户端根据生成的密钥进行分组加密产生N个密文片段，然后在第

个密文片段和第

个片段的位置进行进行替换和拼接，由于多出来的一个新的片段把它的放在尾部，记为第N+i个片段；因此，在解密数据的时候，只需要将这3个片段进行对应的删除和拼接即可恢复出原始的密文片段；为了，减少未被混淆之前的密文块被解密的可能性，将一个密文块分成两半存储在不同的节点上；因此，在分组加密的同时，将以加密好的密文块对半且轮询的方式发送给不同的数据缓冲区，等待数据缓冲区域满后，对该数据区域的数据进行SHA256计算用以给边缘节点进行验证传输是否成功；若该密文块需要添加混淆数据，则需将添加的混淆数据之后的再放进对应的数据缓冲区域；

(4)边缘节点将接收到的数据同样进行SHA256计算进行比较，如果相同则该数据接收成功；否则通知客户端重新发送；

步骤3：数据冗余备份；

(1)边缘节点将接收到的数据进行RS(k,m)编码，产生k个原始数据块，m个冗余块；同时使用SHA256计算每个数据块的哈希值，用以后续验证存储在云服务商的数据的完整性；创建多个线程分别对应各云服务商，调用各云服务商的API，分别将数据块均匀传输给对应的各云服务商；

(2)云服务商将存储接收到的信息，根据各自厂商的协议反馈结果给边缘节点；

(3)全部数据转发成功后，边缘节点将本次的元数据文件信息，包括接收到的密文块、编码之后的数据块、各数据块的哈希值、以及和云服务商的映射关系；

(4)第三方声誉中心将整合此次多云存储过程的元数据信息。

Images