CN106230982B - 一种考虑节点可靠性的动态自适应安全云存储方法 - Google Patents

Abstract

本发明属于云存储安全领域，具体涉及一种考虑节点可靠性的动态自适应安全云存储方法。本发明包括：云存储系统利用预处理模块对上传至云上的文件进行预处理；云存储系统利用测评模块通过节点可靠性评估方法检测任意节点；数据存储模块接收由预处理模块传送来的数据块集等。本发明能够检测云存储节点出现故障的历史次数，根据检测结果为每个节点设定一个可靠性值，并根据该可靠性值动态地分配存储资源，在满足负载均衡的同时确保数据存储的安全性。对于可靠性值较低的节点进行副本存储，确保比单纯复制更低的冗余度，从而减小存储开销。

Description

一种考虑节点可靠性的动态自适应安全云存储方法

技术领域

本发明属于云存储安全领域，具体涉及一种考虑节点可靠性的动态自适应安全云存储方法。

背景技术

随着信息技术的迅速发展，越来越多的用户选择把数据存储到云上。云存储方式突破了传统存储方式带来的容量瓶颈和性能劣势，能够实现规模效应和弹性扩展，降低运营成本，并且避免了资源的浪费。然而，在云服务带来便利的同时，云数据安全问题也引起了广泛关注。由于云存储聚集了大量的用户和重要的数据资源，因此更容易遭受攻击。近来经常出现非法入侵、人为泄密、管理员权限滥用等问题，数据丢失或泄露事件不断涌现。因此，如何保证云存储数据的安全性已成为一个不可忽视的问题。

目前，针对安全云存储领域的研究主要包括以下几种方法，分别是基于加密技术、基于复制冗余技术、基于纠删码技术和基于网络编码技术的安全云存储。其中，基于加密技术的安全云存储虽然对数据的隐私性提供了一定的保证，但是盲目的加密解密会消耗大量带宽，不能使云存储得到最优化。基于复制冗余技术的安全云存储保证了数据的可靠性，但是数据的冗余备份会消耗大量存储空间。基于纠删码的安全云存储和基于网络编码的安全云存储可以在一定程度上提高数据的安全性，但是这两种方法在修复数据时会增加计算复杂度。目前一些研究结合了上述部分技术，来提高云存储数据的安全性。专利“云存储系统中可变分块大小的块数据分块方法(201110350575.2)”公开了一种在云存储系统中采用动态自适应对存储文件进行分块存储的方法，主要解决现有技术中因使用固定分块大小而引起的空间利用率较低和磁盘碎片问题。但是该专利在存储文件时，要先得到该文件的大小和热度标志，且没有考虑存储的安全性，故与本发明的针对存储节点进行安全云存储的观点有本质区别。专利“Virtual machine deploying method and system based ondynamic prediction model in cloud environment(CN20151129326 20150324)”公开了一种云环境下基于动态预测模型的虚拟机部署方法及系统，该发明可优化云环境中的资源配置，提高资源使用率，但没有考虑存储节点的可靠性以及存储数据的安全性，故与本发明的出发点不同。

综上所述，目前安全云存储存在的主要缺点表现在：

(1)云存储系统不能根据每个节点可靠程度(即节点出现错误的频度不同)而动态改变数据块的存储位置。

(2)部分研究采用结合加密方法来保证数据的安全性，但是无差别的大范围加密解密会消耗大量带宽。

(3)对所有节点上的数据进行备份会消耗大量存储空间，从而难以达到云存储安全优化的效果。

本发明是一种考虑节点可靠性的动态自适应安全云存储方法，该方法能够检测云存储系统中节点出现故障的历史次数，根据检测结果评估每个节点的可靠性值，从而动态地为每个节点分配存储数据块的数量。同时，对于可靠性较低的节点进行副本存储(将该节点上的数据进行复制，存储至其他节点)，在满足负载均衡的同时又保证了云存储数据的安全性,实现代价极小,与大范围加密解密相比极大的节省了成本。

发明内容

本发明的目的在于向用户提供一种能够动态的评估节点的可靠性值，满足负载均衡，节省存储空间，确保云存储数据的安全性的考虑节点可靠性的动态自适应安全云存储方法。

本发明的一种考虑节点可靠性的动态自适应安全云存储方法包括预处理模块、测评模块以及数据存储模块三个部分。

(1)云存储系统利用预处理模块对上传至云上的文件进行预处理，首先，云存储系统在有限域内对存储文件进行线性划分，划分出N'(N'为自然数，且大小相同)块数据块。其次，对N'块数据块进行网络编码(例如功能最小存储量再生(FMSR)码)，形成编码后的N块数据块，将编码后的N块数据块组成数据块集P(即P＝{p₁,p₂,...,p_N})。之后，预处理模块将数据块集P传送到数据存储模块，同时系统启动测评模块。

(2)云存储系统利用测评模块通过节点可靠性评估方法(NRE-method)检测任意节点i(0<i≤n,n为云存储系统的节点个数)在k-1(其中k为预设的自然数，且k>1)个t(t是事先定义的样本采集时间段，t>0)时间段内出现故障(包括数据存取错误、通信故障、数据紊乱丢失等)的历史次数，记为{m_i,1，m_i,2，...，m_i,k-1}，进而得到评估任意节点i的可靠性值α_i(0＜α_i≤1)。

(3)数据存储模块接收由预处理模块传送来的数据块集P，根据每个节点不同的可靠性，数据存储模块利用动态数据存储方法(DDS-method)将数据块存储到不同的节点上。对于已经存储至节点上的数据块，利用数据块副本存储方法(DCS-method)进行副本存储。

上述一种考虑节点可靠性的动态自适应安全云存储方法的节点可靠性评估方法(NRE-method)具体步骤如下：

1)根据云存储系统的状态，每经过t时间段，记录各个节点出现故障(包括数据存取错误、通信故障、数据紊乱丢失等)的次数，并保存每次记录的结果(其中记录结果均为自然数)。

2)随着记录结果的增加，当记录到第k(其中k为预设的自然数，且k>1)个t时间段时，系统会自动舍弃最早的一次记录结果,即系统内只保留最新的k-1次记录结果。设任意节点i的最新k-1次记录结果分别为{m_i,1，m_i,2，...，m_i,k-1}。

3)由于越近的记录结果越能体现节点当前的状态，所以根据任意节点i的最新k-1次记录结果，系统设定相应的k-1个系数分别为w₁,w₂,...,w_k-1(其中k-1个系数代表了k-1个记录的权重值，0＜w₁＜w₂＜...＜w_k-1)。则任意节点i的平均故障次数为：云存储系统有n(n>0)个节点,n个节点的平均故障次数为：

4)由于节点出现故障的次数越多，可靠性就越低，所以根据3)中任意节点i的平均故障次数可得出任意节点i的可靠性评估公式为：

其中其中

上述一种考虑节点可靠性的动态自适应安全云存储方法的动态数据存储方法(DDS-method)的具体描述如下：

根据每个节点的可靠性值不同，分配的存储数据也会不同，设第i个节点分配的数据块数量为d_i(d_i为自然数，且d_i<N，i＝1,2，...，n)。由此可得数据分配公式为：

上述一种考虑节点可靠性的动态自适应安全云存储方法的数据块副本存储方法(DCS-method)的具体描述如下：

1)云存储系统设定一个阈值β(0<β<1)和参数γ(γ>0)，对于可靠性值大于β(1+γ％)的节点，说明其发生故障次数较低，相对较安全，存储在其上的数据块，无需进行副本存储；

2)对于可靠性值处在[β(1-γ％)，β(1+γ％)]之间的节点(设其间包含p个节点，其中p≥0)，系统会对其可靠性由高到低进行排序，得到的排序结果为D₁，D₂，...，D_p，对经过排序的p个节点进行如下操作：

21)若p>1,以D₁为起点，将节点D₁上的数据块在节点D₂上进行副本存储，将节点D₂上的数据块在节点D₃上进行副本存储，以此类推，最后将节点D_p上的数据块在节点D₁上进行副本存储；

22)若p≤1，则不需要对该节点上的数据进行副本存储。

3)对于可靠性值小于β(1-γ％)的节点(设其间包含q个节点，其中q≥0)，说明其发生故障次数较高，系统会对其中节点的可靠性由高到低进行排序，得到的排序结果为d₁，d₂，...，d_q。对经过排序的q个节点进行如下操作：

31)若p≥q,则在p个节点中选择前q个节点(即D₁，D₂，...D_q)，按顺序将可靠性值小于β(1-γ％)的q个节点(即d₁，d₂，...，d_q)上的数据块分别在D₁，D₂，...D_q上进行副本存储；

32)若p<q，将可靠性值小于β(1-γ％)的p个节点上的数据块(d₁，d₂，...，d_p)在可靠性值处于[β(1-γ％)，β(1+γ％)]之间的p个节点(D₁，D₂，...，D_p)上进行副本存储，其余可靠性值小于β(1-γ％)的q-p个节点(即d_p+1，d_p+2，...，d_q)中的数据块进行如下操作：

①若q-p>1，以d_p+1起点，将节点d_p+1上的数据块在节点d_p+2上进行副本存储，将节点d_p+2上的数据块在节点d_p+3上进行副本存储，以此类推，最后将节点d_q上的数据块在节点d_p+1上进行副本存储；

②若q-p≤1，则不需要对该节点上的数据块进行副本存储；

本发明的一种考虑节点可靠性的动态自适应安全云存储方法的具体流程为：

(1)用户将文件上传至云存储系统。

(2)云存储系统利用预处理模块对上传至云上的文件进行预处理，首先，云存储系统在有限域内对存储文件进行线性划分，划分出N'(N'为自然数，且大小相同)块数据块。其次，对N'块数据块进行网络编码(例如功能最小存储量再生(FMSR)码)，形成编码后的N块数据块，将编码后的N块数据块组成数据块集P(即P＝{p₁,p₂,...,p_N})。之后，预处理模块将数据块集P传送到数据存储模块，同时系统启动测评模块。

(3)云存储系统利用测评模块通过节点可靠性评估方法(NRE-method)检测任意节点i(0<i≤n,n为云存储系统的节点个数)在k-1(其中k为预设的自然数，且k>1)个t(t是事先定义的样本采集时间段，t>0)时间段内出现故障(包括数据存取错误、通信故障、数据紊乱丢失等)的历史次数，记为{m_i,1，m_i,2，...，m_i,k-1}，进而得到评估任意节点i的可靠性值α_i(0＜α_i≤1)。

(4)数据存储模块接收由预处理模块传送来的数据块集P，根据每个节点不同的可靠性，数据存储模块利用动态数据存储方法(DDS-method)将数据块存储到不同的节点上。对于已经存储至节点上的数据块，利用数据块副本存储方法(DCS-method)进行副本存储。

本发明的有益效果体现在：

本发明能够检测云存储节点出现故障的历史次数，根据检测结果为每个节点设定一个可靠性值，并根据该可靠性值动态地分配存储资源，在满足负载均衡的同时确保数据存储的安全性。对于可靠性值较低的节点进行副本存储，确保比单纯复制更低的冗余度，从而减小存储开销。

附图说明

图1一种考虑节点可靠性的动态自适应安全云存储方法的流程图；

图2一种考虑节点可靠性的动态自适应安全云存储方法的示例图。

具体实施方式

下面结合附图对本发明做进一步描述。

本发明提出了一种考虑节点可靠性的动态自适应安全云存储方法，该方法包括预处理模块，测评模块以及数据存储模块三个部分。

图1展示了一种考虑节点可靠性的动态自适应安全云存储方法的流程：

(1)用户将文件上传至云存储系统。

(2)云存储系统利用预处理模块对上传至云上的文件进行预处理，首先，云存储系统在有限域内对存储文件进行线性划分，划分出N'(N'为自然数，且大小相同)块数据块。其次，对N'块数据块进行网络编码(例如功能最小存储量再生(FMSR)码)，形成编码后的N块数据块，将编码后的N块数据块组成数据块集P(即P＝{p₁,p₂,...,p_N})。之后，预处理模块将数据块集P传送到数据存储模块，同时系统启动测评模块。

(3)云存储系统利用测评模块通过节点可靠性评估方法(NRE-method)检测任意节点i(0<i≤n,n为云存储系统的节点个数)在k-1(其中k为预设的自然数，且k>1)个t(t是事先定义的样本采集时间段，t>0)时间段内出现故障(包括数据存取错误、通信故障、数据紊乱丢失等)的历史次数，记为{m_i,1，m_i,2，...，m_i,k-1}，进而得到评估任意节点i的可靠性值α_i(0＜α_i≤1)。

(4)数据存储模块接收由预处理模块传送来的数据块集P，根据每个节点不同的可靠性，数据存储模块利用动态数据存储方法(DDS-method)将数据块存储到不同的节点上。对于已经存储至节点上的数据块，利用数据块副本存储方法(DCS-method)进行副本存储。

图2展示了一种考虑节点可靠性的动态自适应安全云存储方法的具体实例：

(1)用户将文件上传至云存储系统；

(2)云存储系统的预处理模块对上传的文件进行线性划分，划分出N'块数据块，并对N'块数据块进行网络编码，形成编码后的N(设N＝8)块数据块，将N块数据块组成数据块集P(即P＝{N₁，N₂，...，N₈})。

(3)云存储系统的测评模块对系统中的节点进行检测，利用节点可靠性评估方法(NRE-method)评估任意节点i的可靠性α_i(0＜α_i≤1)，设云存储系统有4个节点node1，node2，node3，node4，即n＝4，0<i≤4，其可靠性分别为α₁，α₂，α₃，α₄；

(4)云存储系统设置阈值β(0<β<1)，以及参数γ(γ>0)；

(5)设4个节点的可靠性值大小为α₁<β(1-γ％)<α₂<α₃<β(1+γ％)<α₄，利用动态数据存储方法(DDS-method)对数据块进行动态存储，假设node4存储4块数据块(设为N₁，N₂，N₃，N₄)，node3存储2块数据块(设为N₅，N₆)，node2存储1块数据块(设为N₇)，node1存储1块数据块(设为N₈)。

(6)对于存储至node4上的数据块不需要进行副本存储：对于node1上的数据块需要在node3上进行副本存储；对于node3上的数据块需要在node2上进行副本存储，对于node2上的数据块需要在node3上进行副本存储。

(7)经过步骤(6)可得到node4存储4块数据块(为N₁，N₂，N₃，N₄)，node3存储4块数据块(为N₅，N₆，N₇，N₈)，node2存储3块数据块(为N₅，N₆，N₇)，node1存储1块数据块(为N₈)。

本发明的有益效果体现在：

(1)本发明能够检测云存储节点出现故障的历史次数，根据检测结果为每个节点设定一个可靠性值，并根据该可靠性值动态的分配存储资源，在满足负载均衡的同时确保数据存储的安全性。

(2)对于可靠性值低的节点进行副本存储，确保比单纯复制更低的冗余度，从而减小存储开销。

Claims (1)

1.一种考虑节点可靠性的动态自适应安全云存储方法，其特征在于，包括如下步骤：

(1)云存储系统利用预处理模块对上传至云上的文件进行预处理，云存储系统在有限域内对存储文件进行线性划分，划分出N'个块数据块，N'为自然数，且大小相同；对N'块数据块进行网络编码，形成编码后的N块数据块，将编码后的N块数据块组成数据块集P，P＝{p₁,p₂,...,p_N}；预处理模块将数据块集P传送到数据存储模块，同时系统启动测评模块；

(2)云存储系统利用测评模块通过节点可靠性评估方法检测任意节点i在k-1个t时间段内出现故障包括数据存取错误、通信故障、数据紊乱丢失的历史次数，记为{m_i,1，m_i,2，...，m_i,k-1}，0<i≤n,n为云存储系统的节点个数，其中k为预设的自然数，且k>1，t是事先定义的样本采集时间段，t>0，进而得到评估任意节点i的可靠性值α_i，0＜α_i≤1；

(3)数据存储模块接收由预处理模块传送来的数据块集P，根据每个节点不同的可靠性，数据存储模块利用动态数据存储方法将数据块存储到不同的节点上，对于已经存储至节点上的数据块，利用数据块副本存储方法进行副本存储；

所述的节点可靠性评估方法具体步骤如下：

(2.1)根据云存储系统的状态，每经过t时间段，记录各个节点出现故障包括数据存取错误、通信故障、数据紊乱丢失的次数，并保存每次记录的结果；

(2.2)随着记录结果的增加，当记录到第k个t时间段时，系统会自动舍弃最早的一次记录结果,即系统内只保留最新的k-1次记录结果，设任意节点i的最新k-1次记录结果分别为{m_i,1，m_i,2，...，m_i,k-1}；

(2.3)由于越近的记录结果越能体现节点当前的状态，所以根据任意节点i的最新k-1次记录结果，系统设定相应的k-1个系数分别为w₁,w₂,...,w_k-1，其中k-1个系数代表了k-1个记录的权重值，0＜w₁＜w₂＜...＜w_k-1；则任意节点i的平均故障次数为：云存储系统有n个节点,n个节点的平均故障次数为：

(2.4)由于节点出现故障的次数越多，可靠性就越低，所以根据(2.3)中任意节点i的平均故障次数得出任意节点i的可靠性评估公式为：

其中其中

所述动态数据存储方法的具体描述如下：

根据每个节点的可靠性值不同，分配的存储数据也会不同，设第i个节点分配的数据块数量为d_i，d_i为自然数，且d_i<N，i＝1,2，...，n，由此可得数据分配公式为：

所述的数据块副本存储方法的具体描述如下：

(3.1)云存储系统设定一个阈值β和参数γ，γ>0，0<β<1，对于可靠性值大于β(1+γ％)的节点，说明其发生故障次数较低，相对较安全，存储在其上的数据块，无需进行副本存储；

(3.2)对于可靠性值处在[β(1-γ％)，β(1+γ％)]之间的节点，设其间包含p个节点，其中p≥0，系统会对其可靠性由高到低进行排序，得到的排序结果为D₁，D₂，...，D_p，对经过排序的p个节点进行如下操作：

(3.2.1)若p>1,以D₁为起点，将节点D₁上的数据块在节点D₂上进行副本存储，将节点D₂上的数据块在节点D₃上进行副本存储，以此类推，最后将节点D_p上的数据块在节点D₁上进行副本存储；

(3.2.2)若p≤1，则不需要对该节点上的数据进行副本存储；

(3.3)对于可靠性值小于β(1-γ％)的节点，设其间包含q个节点，其中q≥0，说明其发生故障次数较高，系统会对其中节点的可靠性由高到低进行排序，得到的排序结果为d₁，d₂，...，d_q；对经过排序的q个节点进行如下操作：

(3.3.1)若p≥q,则在p个节点中选择前q个节点即D₁，D₂，...D_q，按顺序将可靠性值小于β(1-γ％)的q个节点即d₁，d₂，...，d_q上的数据块分别在D₁，D₂，...D_q上进行副本存储；

(3.3.2)若p<q，将可靠性值小于β(1-γ％)的p个节点上的数据块d₁，d₂，...，d_p在可靠性值处于[β(1-γ％)，β(1+γ％)]之间的p个节点D₁，D₂，...，D_p上进行副本存储，其余可靠性值小于β(1-γ％)的q-p个节点即d_p+1，d_p+2，...，d_q中的数据块进行如下操作：

(3.3.2.1)若q-p>1，以d_p+1起点，将节点d_p+1上的数据块在节点d_p+2上进行副本存储，将节点d_p+2上的数据块在节点d_p+3上进行副本存储，以此类推，最后将节点d_q上的数据块在节点d_p+1上进行副本存储；

(3.3.2.2)若q-p≤1，则不需要对该节点上的数据块进行副本存储。