CN109445990A - 基于双倍复制的mds缓存方案 - Google Patents

Abstract

本发明涉及基于双倍复制的MDS缓存方案，该方案是将原始文件分为k块，k≥2通过MDS编码生成n个编码符号，每个编码符号包含数据；其次将n个编码符号进行备份，缓存到2n个移动设备中；存储相同数据的节点互为备份节点，每个节点存储1个编码符号；当任意一个存储节点丢失，通过备份修复丢失数据；当存储节点和备份节点同时丢失时，通过MDS方式修复其中一个节点，然后通过新修复的节点复制修复备份节点。本发明降低了修复单个节点的修复带宽，也增强了系统的容错性，应用于D2D无线分布式缓存系统，并可提高通过D2D链路进行数据修复和文件下载的机会，能降低开销，从而降低整体D2D缓存系统的通信开销。

Description

基于双倍复制的MDS缓存方案

技术领域

本发明涉及无线通信技术领域，尤其涉及一种基于双倍复制的MDS缓存方案。

背景技术

在目前的存储系统中，编码方法一般采用MDS码(Maximum Distance Separable最大距离可分离)，MDS码可以达到存储空间效率的最佳，一个(n,k)MDS纠错码需要将一个原始文件分成k个大小相等的模块，并通过线性编码生成n个编码模块，由n个节点存储不同的模块，并满足MDS属性(n个编码模块中任意k个就可重构原始文件)。这种编码技术在提供有效的网络存储冗余中占有重要的地位，特别适合存储大的文件以及档案数据备份应用。

而且在请求频率高时，MDS缓存系统相比于再生码方案和复制方案具有更低的通信开销。但是MDS缓存系统的缺点是修复单个节点时必须传输整个文件大小的数据，造成修复开销过大，且在给定修复时间间隔条件下平均修复开销和平均下载开销与通过D2D链路进行通信的可能性有关，传统的MDS码缓存一份数据，由于系统的流动性，通过D2D链路进行修复和下载数据的机会低，特别是当系统中的存储节点不足时，系统节点失效或者文件损坏，系统就会通过基站修复数据和下载文件。

此外，系统节点失效或者文件损坏，系统的冗余度会随着时间而逐渐减小，因此需要一种机制来保证系统的冗余，同时MDS码在存储开销上是比较有效的，然而恢复失效节点或损坏文件时，所需要的通信开销也比较大。

发明内容

针对现有技术中存在的缺陷或不足，本发明提供一种基于双倍复制的MDS缓存方案，降低了修复单个节点的修复带宽的同时也提高了系统的容错性，同时提高了通过D2D链路进行数据修复和文件下载的机会，降低了修复开销和下载开销，从而降低整体通信开销。

本发明的技术方案是一种基于双倍复制的MDS缓存方案，所述基于双倍复制的MDS缓存系统(以下简称DR-MDS缓存系统)将原始文件分为k块，k≥2通过MDS编码生成n个编码符号，每个编码符号包含数据；其次将n个编码符号进行备份，缓存到2n个移动设备中，其中n个为存储节点，n≥2，另n个为备份节点；将存储相同数据的节点互为备份节点，每个节点存储1个编码符号；当任意一个存储节点丢失，但其备份没有丢失，通过备份修复丢失数据；当存储节点和备份节点都丢失时，通过MDS方式修复其中一个节点，然后通过新修复的节点修复备份节点；

下载文件时连接任意k个不相关的存储节点即可恢复原文件。

作为本发明的进一步改进，所述DR-MDS缓存系统以D2D分布式存储系统为模型，在以基站提供的单个网络中，当存储节点离开DR-MDS缓存系统时有三种修复方式：备份节点没有离开系统时，通过备份数据修复；当存储节点和备份节点都离开系统时，通过MDS修复一份数据，再修复备份数据；当系统中不相关的存储节点小于k时通过基站修复数据，k≥2；DR-MDS缓存系统的下载有两种方式：当DR-MDS缓存系统中的不相关的存储节点数不小于k时，通过MDS链路下载文件，否则通过基站直接下载数据。

作为本发明的进一步改进，所述D2D分布式存储系统在修复过程产生整体通信开销，整体通信开销包括两部分：一部分是存储节点离开系统带来的修复开销，另一部分是用户请求文件的下载开销。

作为本发明的进一步改进，所述修复开销是对丢失的数据的修复，存在通过备份数据修复、通过MDS修复和通过基站修复三种修复方式：其中，当i≤n时，丢失的i个存储节点中最少存在0对存储相同数据的节点，可通过备份数据修复；当i>n时，除去n个不相关的存储节点之外，其余的都为备份节点，采用复制MDS编码修复丢失数据，当丢失的i个存储节点中有j对节点存储相同的数据时，可以通过备份数据修复的节点数为(i-2j)；其中，i表示丢失的存储节点数；j表示丢失i个节点时存在的存储相同数据节点数；n表示k个不相关的存储节点，k≥2。

作为本发明的进一步改进，所述丢失的数据的修复的过程，通过定义p_ij为丢失i个节点时有j对存储相同数据存储节点的概率，设当系统中有j对存储相同数据的节点丢失时，系统中存储不同数据的节点数为k_Diff＝n-j；

当k_Diff≥k时，系统采用复制和MDS编码修复丢失数据；当丢失的i个存储节点中有j对节点存储相同的数据时，可以通过备份数据修复的节点数为(i-2j)；

在丢失i个节点所有情况下，通过备份数据修复的概率得到公式：

其中f(x)为开关函数；

当x≥k时f(x)函数值为1，表示系统中至少有k个不相关的节点，得到通过MDS修复的概率的为得到通过MDS修复一对数据时的带宽开销为

当k_Diff＜k时，系统通过基站修复丢失的数据，概率为由此可以通过公式：

计算丢失i个存储节点的修复开销；

其中，C_ri为丢失i个存储节点的修复开销；分别为丢失i个存储节点时分别通过备份数据、MDS和BS三种修复方式的概率；γ_Rep，γ_MDS和γ_BS分别为通过备份数据、MDS和BS修复单个节点的修复带宽；和分别定义为丢失i个节点时丢失存储相同数据节点组数的最小值与最大值，当使用MDS修复数据时，必然存在存储相同数据的两个节点都丢失，丢失的i个节点中最多存在组存储相同数据，即

作为本发明的进一步改进，所述丢失的数据为1至4个存储节点时，所述修复开销的计算包括：

当DR-MDS缓存系统中有1个存储节点丢失时，此时 通过公式：

计算得到1个存储节点丢失时的修复开销；

当系统中有2个节点丢失时,，根据排列组合的方式可以求出P₂₀为：

此时则通过公式：

计算得到2个存储节点丢失时的修复开销；

当系统中有3个存储节点丢失时，此时分两种情况计算，根据排列组合的方式可以求出P₃₀为：

此时通过公式：

计算得到3个存储节点丢失时的修复开销；

当系统中有4个节点丢失时，此时分三种情况，根据排列组合的方式可以求出

此时通过公式：

计算得到4个存储节点丢失时的修复开销。

作为本发明的进一步改进，所述下载开销包括通过D2D链路下载和BS链路下载两部分；其中，当系统中至少存在k个不相关的存储节点时，用户通过D2D链路下载，否则通过BS链路下载；当系统中存储节点小于k个时，系统中不相关的节点数肯定小于k，用户通过BS链路下载文件；当存储节点数大于2k-2时，用户通过D2D链路下载文件。

作为本发明的进一步改进，所述下载开销的计算过程为：当系统中存在i个存储节点时，有(n-i)个存储节点离开，此时系统中存在不相关的k个存储节点的概率为少于k个不相关的存储节点的概率为在[0～Δ]时间内，丢失的节点数可能为0,1,2,…,2n，定义和分别为系统中存在i个存储节点时用户通过D2D链路和BS链路下载文件的概率，且

假设通过D2D链路和基站链路下载文件传输的数据量都为F，系统中存在i(i＝k+1,k+2,…2k-2)个存储节点时，通过公式：

一次请求发生时的下载开销；

当请求发生时，系统中至少存在i个存储节点的概率S_i为：

而恰好存在i个存储节点的概率为则[0～△]时间内，系统中存在i个存储点则表示有(2n-i)个存储节点离开，由此通过公式：

计算在Δ时间内单位时间内总的下载开销C_d，其中Δ为修复间隔。

为了实现上述目的，本发明采取的技术方案为提供一种基于双倍复制的MDS缓存方案。所述基于双倍复制的MDS缓存系统(以下简称DR-MDS缓存系统)将原始文件分为k块，k≥2通过MDS编码生成n个编码符号，每个编码符号包含数据；其次将n个编码符号进行备份，缓存到2n个移动设备中，其中n

个为存储节点，另n个为备份节点；将存储相同数据的节点互为备份节点，每个节点存储1个编码符号；当任意一个存储节点丢失，但其备份没有丢失，通过备份修复丢失数据；当存储节点和备份节点都丢失时，通过MDS方式修复其中一个节点，然后通过新修复的节点修复备份节点；下载文件时连接任意k个不相关的存储节点即可恢复原文件。

作为本发明的进一步改进，所述DR-MDS缓存系统以D2D分布式存储系统为模型，在以基站提供的单个网络中，当存储节点离开DR-MDS缓存系统时有三种修复方式：备份节点没有离开系统时，通过备份数据修复；当存储节点和备份节点都离开系统时，通过MDS修复一份数据，再修复备份数据；当系统中不相关的存储节点小于k时通过基站修复数据，k≥2；DR-MDS缓存系统的下载有两种方式：当DR-MDS缓存系统中的不相关的存储节点数不小于k时，通过MDS链路下载文件，否则通过基站直接下载数据。

作为本发明的进一步改进，所述D2D分布式存储系统在修复过程产生整体通信开销，整体通信开销包括两部分：一部分是存储节点离开系统带来的修复开销，另一部分是用户请求文件的下载开销。

作为本发明的进一步改进，所述修复开销是对丢失的数据的修复，存在通过备份数据修复、通过MDS修复和通过基站修复三种修复方式：其中，当i≤n时，丢失的i个存储节点中最少存在0对存储相同数据的节点，可通过备份数据修复；当i>n时，除去n个不相关的存储节点之外，其余的都为备份节点，采用复制MDS编码修复丢失数据，当丢失的i个存储节点中有j对节点存储相同的数据时，可以通过备份数据修复的节点数为(i-2j)；其中，i表示丢失的存储节点数；j表示丢失i个节点时存在的存储相同数据节点数；n表示备份前系统总的节点数目。

作为本发明的进一步改进，所述丢失的数据的修复的过程，通过定义p_ij为丢失i个节点时有j对存储相同数据存储节点的概率，设当系统中有j对存储相同数据的节点丢失时，系统中存储不同数据的节点数为k_Diff＝n-j；

当k_Diff≥k时，系统采用复制和MDS编码修复丢失数据；当丢失的i个存储节点中有j对节点存储相同的数据时，可以通过备份数据修复的节点数为(i-2j)；

在丢失i个节点所有情况下，通过备份数据修复的概率得到公式：

其中f(x)为开关函数；

当x≥k时f(x)函数值为1，表示系统中至少有k个不相关的存储节点，得到通过MDS修复的概率的为得到通过MDS修复一对数据时的带宽开销为

当k_Diff＜k时，系统通过基站修复丢失的数据，概率为由此可以通过公式：

计算丢失i个存储节点的修复开销；

其中，C_ri为丢失i个存储节点的修复开销；分别为丢失i个存储节点时分别通过备份数据、MDS和BS三种修复方式的概率；γ_Rep，γ_MDS和γ_BS分别为通过备份数据、MDS和BS修复单个节点的修复带宽；和分别定义为丢失i个节点时丢失存储相同数据节点组数的最小值与最大值，当使用MDS修复数据时，必然存在存储相同数据的两个节点都丢失，丢失的i个存储节点中最多存在组存储相同数据，即

作为本发明的进一步改进，所述丢失的数据为1至4个存储节点时，所述修复开销的计算包括：

当DR-MDS缓存系统中有1个存储节点丢失时，此时 通过公式：

计算得到1个存储节点丢失时的修复开销；

当系统中有2个节点丢失时,，根据排列组合的方式可以求出P₂₀为：

此时则通过公式：

计算得到2个存储节点丢失时的修复开销；

当系统中有3个存储节点丢失时，此时分两种情况计算，根据排列组合的方式可以求出P₃₀为：

此时通过公式：

计算得到3个存储节点丢失时的修复开销；

当系统中有4个节点丢失时，此时分三种情况，根据排列组合的方式可以求出

此时通过公式：

计算得到4个存储节点丢失时的修复开销。

作为本发明的进一步改进，所述下载开销包括通过D2D链路下载和BS链路下载两部分；其中，当系统中至少存在k个不相关的存储节点时，用户通过D2D链路下载，否则通过BS链路下载；当系统中存储节点小于k个时，系统中不相关的节点数肯定小于k，用户通过BS链路下载文件；当存储节点数大于2k-2时，用户通过D2D链路下载文件。

作为本发明的进一步改进，所述下载开销的计算过程为：当系统中存在i个存储节点时，有(n-i)个存储节点离开，此时系统中存在不相关的k个存储节点的概率为少于k个不相关的存储节点的概率为在[0～Δ]时间内，丢失的节点数可能为0,1,2,…,2n，定义和分别为系统中存在i个存储节点时用户通过D2D链路和BS链路下载文件的概率，且

假设通过D2D链路和基站链路下载文件传输的数据量都为F，系统中存在i,(i＝k+1,k+2,…2k-2)个存储节点时，通过公式：

一次请求发生时的下载开销；

当请求发生时，系统中至少存在i个存储节点的概率S_i为：

而恰好存在i个存储节点的概率为则[0～△]时间内，系统中存在i个存储点则表示有(2n-i)个存储节点离开，由此通过公式：

位时间内总的下载开销C_d。

本发明的有益效果是：

本发明通过占用一定量存储节点进行数据备份，降低了修复单个节点的修复带宽的同时，也提高了系统的容错性。并对数据进行备份，提高了通过D2D链路进行数据修复和文件下载的机会，能降低修复开销和下载开销，从而降低整体通信开销。

附图说明

图1是本发明提供的双倍复制MDS码缓存系统及修复过程示意图。

图2是本发明提供的双倍复制DR-MDS码修复过程流程图。

图3是本发明提供的基于DR-MDS缓存系统的D2D分布式存储系统模型图。

图4是本发明提供的基于双倍复制DR-MDS缓存系统码下载过程流程图。

图5a是本发明提供的请求速率ω＝0.02时的修复开销仿真实验图。

图5b是本发明提供的请求速率ω＝0.5时的修复开销仿真实验图。

图6a是本发明提供的请求速率ω＝0.02时的下载开销仿真实验图。

图6b是本发明提供的请求速率ω＝0.5时的下载开销仿真实验图。

图7a是本发明提供的请求速率ω＝0.02时的不同MDS和DR-MDS的下载开销与修复时间间隔之间的关系图。

图7b是本发明提供的请求速率ω＝0.5时的不同MDS和DR-MDS的下载开销与修复时间间隔之间的关系图。

图8是本发明提供的D2D链路和BS链路修复数据概率与修复间隔之间的关系图。

图9是本发明提供的D2D链路和BS链路下载数据概率与修复间隔之间的关系

具体实施方式

下面结合附图说明及具体实施方式对本发明进一步说明。

图1是本发明的基于双倍复制的MDS缓存系统((Double replication MDS,DR-MDS，以下简称为DR-MDS缓存系统)的一个实施例。为更好的说明图1所示的基于双倍复制的MDS缓存系统的构成及工作，结合图2所示的双倍复制DR-MDS码修复过程流程图来陈述本系统的工作原理。

图1的实施例优选为DR-MDS缓存系统，图2所示为DR-MDS缓存系统修复过程的流程图，在图2中的数据预处理阶段是数据的分配，其思想是在原有MDS码分布式存储的基础上综合复制(Replication)系统的特点，从而保障系统更高的可靠性、及更小的修复开销。在本实施例中DR-MDS用参数[2n,k]表示，2n表示系统中总编码符号个数，k表示修复单个节点或下载文件时需要连接的不相关的存储节点个数，k≥2，图1以[8，2)DR-MDS为例解释数据存储及修复过程。具体的是，n,k是MDS码的参数，是具体的数值，也就是一个(n,k)MDS纠错码需要将一个原始文件分成k个大小相等的模块，并通过线性编码生成n个互不相关的编码模块，由n个节点存储不同的模块，并满足MDS属性(n个编码模块中任意k个就可重构原始文件)。更具体的是n，k只是一个数值，也就是说最起初的就是将源文件分成k份，然后通过线性编码生成n个编码符号，因为每个节点(注：这里的节点指的是移动设备)存储一个编码符号，所以n个编码符号会存储到n个节点里，(注：这之间会利用到MDS码的一个性质，就是从n个节点里面任意挑选k个会恢复出源文件)然后将n个编码符号全部复制一遍，所以最终这个分布式存储系统里面总共有2n个存储节点，由此，n也可以表示复制之前系统中总的节点数目。而在后面的修复过程叙述中，都是基于复制之后的分布式存储系统。存储相同数据的节点互为备份节点，存储不同数据的节点就说这两个节点是不相关的。因为在MDS码的性质中(注：MDS码性质：就是从n个节点里面任意挑选k个会恢复出源文件)里面的k个节点要求是不相关的，所以在后续修复的过程中，需要判断系统中现存的节点个数中不相关的节点数到不到k，如果够k个的话，就采用MDS修复，不够的话采用其他的修复方式。

对本发明的系统进行举例说明，首先，将大小为F＝2Mb的原始文件分为2(即k＝2，分为A、B)块，通过MDS编码生成4个编码符号(如图1所示的MDS的A、B、A+B、A+2B)，每个编码符号包含数据；其次将这4个编码符号(如图1所示实线的MDS的A、B、A+B、A+2B)进行备份，缓存到8个移动设备中(存储节点)，4个为存储节点(如图1所示实线的MDS的A、B、A+B、A+2B)，4个为备份节点(如图1所示虚线框中复制的A、B、A+B、A+2B)。系统的缓存原理是存储相同数据的节点互为备份节点，每个节点存储1个编码符号，即每个节点存储α的数据。当任意一个存储节点丢失，但其备份没有丢失，此时可以通过备份修复丢失数据；当存储节点和备份节点都丢失时，通过MDS方式修复其中一个节点，然后通过新修复的节点修复备份节点。更具的过程如图2所示，开始后进行数据预处理，以判断是否有失效节点；若是判断失效节点是否存在，失效节点是否存在时，则直接通过复制方式修复，若否时，判断系统中不相关的存储节点是否小于k；系统中不相关的存储节点小于k，则通过基站修复，系统中不相关的存储节点不小于k时则通过MDS码方式修复；最后结束。

优选的，本实施例基于双倍复制的MDS缓存系统采用如图3所示的D2D分布式存储的系统模型，图3所示的系统模型由一个基站提供的单个网络，在图3中的移动设备用圆节点表示，空心黑色细实线圆节点表示存储编码符号的移动设备，空心黑色细虚线圆节点表示存储备份数据，黑色双箭头连接的节点存储相同的数据。空心黑色粗实线圆节点表示请求节点，实心黑色圆节点表示没有存储数据的节点，空心黑色粗虚线圆节点表示存储节点离开后，重新存储数据的节点。当存储节点离开系统时有三种修复方式，备份节点没有离开系统时通过备份数据修复(黑色加粗虚线链路)，当存储节点和备份节点都离开系统时，通过MDS修复一份数据，再修复备份数据(黑色加粗实线链路)，当系统中不相关的存储节点小于k时通过基站修复数据(黑色虚线链路)。同理，下载也有两种方式，当系统中的不相关的存储节点数不小于k时，通过MDS链路下载文件，否则通过基站直接下载数据。

图3所示DR-MDS缓存系统与MDS相比多了一倍的存储节点，这样做虽然增加了存储节点，但是实际系统中用户数量一般较多，系统中的节点数少于用于存储的节点数的概率依然很小，可以忽略不计，即文件有很大的可能性存储在系统中。备份数据虽然增加了存储节点数，但是提高了通过D2D链路通信的机会，可以降低修复和下载开销。

在一个基站提供服务的单个蜂窝网络系统中初始用户数量，即初始节点数为N。在本实施例中，假设BS中只存储一个大小为F的文件。存储节点进入和离开系统服从泊松随机过程，假设节点的离开速率为μ，节点在系统中的停留时间T_s服从随机指数分布，概率密度函数如公式(1)所示。

定义两次修复执行的时间间隔为△t，在△t时间内一个存储节点没有离开系统的概率如公式(2)所示。

在D2D分布式存储系统中整体通信开销包括两部分，一部分是存储节点离开系统带来的修复开销,另一部分是用户请求文件的下载开销。下面分别为DR-MDS缓存系统修复开销和下载开销的具体分析过程。

(1)修复开销

本发明的DR-MDS缓存系统保持最大距离可分特性，连接任意k个不相关的节点就可恢复整个原文件。与公知常识不同的是，本发明的DR-MDS缓存系统在一段修复间隔时间内，当仅有存储节点丢失而备份数据没有丢失时，率先通过备份节点修复丢失数据，此时修复一个节点传输的数据量为α；当存储节点和备份节点都丢失时，通过MDS修复丢失的数据，再修复备份节点的数据，此时传输的数据量为(F+α)。

本发明的DR-MDS缓存系统针对丢失的数据存在三种修复方式，通过备份数据修复，通过MDS修复和通过基站修复。为更好陈述说明修复过程：

定义为丢失i个存储节点时分别通过备份数据、MDS和BS三种修复方式的概率；

定义γ_Rep，γ_MDS和γ_BS分别为通过备份数据，MDS和BS修复单个节点的修复带宽，其中γ_Rep＝α，γ_MDS＝F(因为MDS方案修复1个节点就要传输原文件大小的数据)，γ_BS＝α。

由于DR-MDS缓存系统中的部分存储节点是存在相关性的，因此需要对丢失节点的修复类型进行分类讨论。丢失节点的类型与丢失的节点中含有相同数据的组数有关，定义和分别为丢失i个节点时丢失存储相同数据节点组数的最小值与最大值。当使用MDS修复数据时，必然存在存储相同数据的两个节点都丢失，丢失的i个存储节点中最多存在组存储相同数据，即当i≤n时，丢失的i个存储节点中最少存在0对存储相同数据的节点，即所有丢失的数据都不相关，可以通过备份数据修复；当i>n时，除去n个不相关的存储节点之外，其余的都为备份节点，则如公式(3)所示：

当丢失i个存储节点时，总的分类情况与和有关，通过分析发现丢失数据的种类为例如，当丢失两个存储节点时，存在两种分类，丢失存储数据相同的节点和存储数据不同的节点，此时分类情况有1-0+1＝2种情况。

定义p_ij为丢失i个存储节点时，有j对存储相同数据存储节点的概率，当系统中有j对存储相同数据的节点丢失时，系统中存储不同数据的节点数为k_Diff＝n-j。当k_Diff≥k时个不相关的存储节点，系统能够采用D2D链路(复制和MDS)修复丢失数据，当丢失的i个存储节点中有j对节点存储相同的数据时，可以通过备份数据修复的存储节点数为(i-2j)，因此在丢失i个节点所有情况下，可以通过备份数据修复的概率其中f(x)的表达式如公式(4)所示。

其中f(x)为开关函数。

当x≥k时函数值为1，表示系统中至少有k个不相关的节点；同理可得通过MDS修复的概率为这里的概率与丢失相同数据节点占总丢失节点有关，在这个系统里设定当通过MDS修复数据时，先修复其中一个节点，再通过此节点修复备份节点，因此通过MDS修复一对数据时的带宽开销为

当k_Diff＜k时，系统只能通过基站修复丢失的数据(包括备份节点的数据)，概率为

定义C_ri为丢失i个存储节点的修复开销，通过分析我们可以得到C_ri如公式(6)所示。

具体举例分析系统丢失1至4个节点的情况

①当系统中有1个存储节点丢失时，只有一种情况，肯定可以用备份节点修复数据，此时此时的修复开销如公式(7)所示。

②当系统中有2个节点丢失时,，根据排列组合的方式可以求出

此时则带入公式(7)修复开销为

③当系统中有3个存储节点丢失时，此时分两种情况讨论，根据排列组合的方式可以求出

此时则修复开销为

④当系统中有4个节点丢失时，此时分三种情况讨论，根据排列组合的方式可以求出

此时则修复开销为

丢失四个以上节点的修复也按照此方法进行推导，丢失i个存储节点的修复开销为

系统中存储节点数2n和存储节点未离开系统的概率p服从伯努利分布，其概率密度函数如公式(10)所示。

在△时间内，系统中存在i个存储节点的概率为b_i(2n,p)，对于(2n,k)DR-MDS缓存系统，当系统中的存储节点少于k个时必须通过基站修复数据，否则讨论修复方式，在修复时间间隔△内的整体修复开销如公式(11)所示。

(2)下载开销修复

下载开销包括两部分，通过D2D链路下载和BS链路下载，下载开销修复的过程如图4所示。当系统中至少存在k个不相关的存储节点时，用户通过D2D链路下载，否则通过BS链路下载。当系统中存储节点小于k个时，系统中不相关的节点数肯定小于k，用户不能使用D2D链路下载，只能通过BS链路下载文件；当存储节点数大于2k-2时，系统中肯定存在k个不相关的存储节点，此时用户通过D2D链路下载为文件；当系统中的节点数为k+1,k+2…..2k-2时，需要对系统中是否存在k个不相关的存储节点进行修复。

当系统中存在i个存储节点时，有(n-i)个存储节点离开，此时系统中存在不相关的k个存储节点的概率为少于k个不相关的存储节点的概率为在[0～Δ]时间内，丢失的节点数为0,1,2,…,2n，定义和分别为系统中存在i个存储节点时用户通过D2D链路和BS链路下载文件的概率，则有且

假设通过D2D链路和基站链路下载文件传输的数据量都为F，系统中存在i,(i＝k+1,k+2,…2k-2)个存储节点时，一次请求发生时的下载开销如公式(12)所示。

当请求发生时，系统中至少存在i个存储节点的概率如公式(13)所示。

系统中恰好存在i个存储节点的概率为[0～△]时间内，系统中存在i个存储节点则表示有(2n-i)个存储节点离开。在Δ时间内，单位时间内总的下载开销如公式(14)所示。

综上D2D分布式存储系统中整体通信开销为C＝C_r+C_d，其中C_r如公式(11)所示，C_d如公式(14)所示。

(3)通信开销的仿真分析

前面对DR-MDS缓存系统的通信开销进行原理说明，根据得到修复开销、下载开销和整体通信开销的数学表达式，下面将在同等编码速率的条件下，从通信开销、存储开销三个方面对现有的MDS系统与本发明的DR-MDS缓存系统进行对比分析，由于DR-MDS缓存系统对数据进行备份，需要缓存数据的移动设备是MDS码的2倍,若系统中移动设备太少，则会导致丢失数据后，修复的数据没有空的设备存储修复数据，所以在D2D分布式存储系统中，用户的数量至少为编码符号数量的3倍，才能保证系统中有足够多的设备存储新修复的数据。在实际D2D分布式系统中，用户的数量至少是百位数，此时可以基本忽略移动设备数量小于编码符号个数的概率。

下面将以3组具体仿真实验来MDS系统和DR-MDS缓存系统在相同k个不相关节点下的修复开销、下载开销及整体通信开销的情况。在仿真实验中，为了保证系统中有足够的移动设备，设置总节点数N＝100，简单起见设置节点离开速率为μ＝1，通过D2D链路传输1比特数据的能量开销ρ_D2D＝1，即ρ＝ρ_BS，这里所有的开销都进行了归一化处理，即归一化到直接通过基站下载数据。

三组缓存系统仿真实验的参数分别为：

第一组：[6,4]MDS和[12,4]DR-MDS；

第二组：[10,6]MDS和[20,6]DR-MDS

第三组：[15,10]MDS和[30,10]DR-MDS

得到的所有仿真图中虚线为MDS方案，实线为DR-MDS方案。

两种请求速率下三组MDS和DR-MDS缓存系统的修复开销与修复间隔之间的关系如图5a和图5b所示，其中图5a请求速率为ω＝0.02，图5a请求速率ω＝0.5。当系统中的存储节点小于k个不相关存储节点时必须通过基站修复数据，但是当系统中的存储节点数大于k个不相存储关节点时，不同方式修复的概率与参数n，k有关，通过50000次的蒙特卡洛仿真得到带入开销表达式求仿真。

从得到的图5a中可以发现在修复间隔△＜1时(△＝1表示修复间隔等于分布式存储系统中节点的生存周期)，在相同的修复时间间隔条件下DR-MDS缓存系统的修复开销明显优于对应的MDS方案，这是因为DR-MDS缓存系统在修复数据时具有更低的修复开销，且在△＜1的情况下，系统内DR-MDS缓存系统中可用于D2D链路修复数据的机会大于MDS，因此修复开销小于MDS；当修复间隔△>1之后，DR-MDS缓存系统的修复开销开始高于MDS系统，这是由于DR-MDS系统与MDS系统相比增加了一倍的存储节点，随着修复间隔的增大，系统内的存储节点会越来越少，需要修复的节点数增大，通过BS修复数据的机会也增大，而且DR-MDS缓存新系统修复的节点数比MDS多，因此导致其修复开销高于MDS。

而图5b与图5a相比只增大了用户请求速率，我们发现增大请求速率只是改变相同修复时间间隔下归一化通信开销的数值大小，对曲线的形状没有影响。并且通过图5a和图5b)的对比发现当请求速率低时修复开销为主要通信开销，占的比例较大，但是随着节点请求速率的增加，下载开销的比重逐渐增加，开始为主要的通信开销。

两种请求速率下三组MDS和DR-MDS缓存系统的下载开销与修复间隔之间的关系如图6a和图6b所示，其中图6a请求速率为ω＝0.02，图6b请求速率ω＝0.5。仿真实验结果为：

图6a为请求速率为ω＝0.02时，下载开销对比分析仿真结果，与修复开销的仿真做法相同。当系统中至少存在2k-1个存储节点时，用户肯定可以通过D2D链路下载数据，当系统中的存储节点数介于k至2k-2时，DR-MDS缓存系统通过D2D链路和BS链路下载文件概率与参数n，k有关，我们无法写出通用的概率表达式，因此通过50000次的蒙特卡洛仿真得到和并带入开销表达式进行仿真。从图中我们发现除了瞬时修复之外，DR-MDS方案的下载开销一直低于MDS,且随着修复间隔的增大而增大，这是因为在固定修复时间间隔下，DR-MDS提高了用户通过D2D链路下载文件的机会，从而降低下载开销。图6b和图6a的图形完全一样，这说明在归一化通信开销之后，下载开销的在数值上与请求速率无关。

两种请求速率下三组MDS和DR-MDS缓存系统的整体通信开销与修复间隔之间的关系如图6a和图6b所示，其中图6a)请求速率为ω＝0.02，图6b)请求速率ω＝0.5，整体通信开销为修复开销与下载开销的相加之和。

仿真实验结果为：

从图7a中可以发现当△>2之后，MDS的通信开销优于DR-MDS，结合图5a、图5b、图6a和图6b可知，尽管DR-MDS的下载开销优于MDS，但是DR-MDS归一化之后的修复开销高于MDS，下载开销带来的增益无法弥补修复开销带来的缺点，因此整体的通信开销高于MDS。但是定义整体通信开销不超过1的最大时间间隔为△_max，从图7a和图7b中可以看出MDS的△_max小于与之对应的DR-MDS，这说明使用DR-MDS缓存系统可供选择的修复时间间隔范围更大。

仿真结果表明DR-MDS缓存系统在一定修复时间间隔内能降低修复开销，在任何修复时间间隔范围内降低下载开销，整体通信开销与用户请求频率有关，当请求频率低时，修复开销在一定修复时间间隔范围内为主要通信开销，用户请求频率高时，在任何修复时间间隔条件下，下载开销都为主要通信开销。我们通过通信开销仿真分析DR-MDS可能通过提高D2D链路下载文件和修复数据的机会来降低整体通信开销，下面两节我们分析通过D2D链路和BS链路传输数据的可能性。

(4)通过D2D链路和BS链路通信的概率分析

上一节提到DR-MDS缓存系统通过备份数据提高系统通过D2D链路修复和下载文件的机会来改善修复和下载开销，我们分析当存储节点丢失时，分别通过D2D链路和BS链路修复数据的可能性，分析当用户请求时通过存储节点下载文件和BS下载文件的可能性，即分析修复时间间隔与通过D2D链路和BS链路通信概率关系。定义和分别为MDS和DR-MDS缓存系统通过D2D链路修复数据的概率，定义和分别为MDS和DR-MDS缓存系统通过BS链路修复数据的概率。定义和分别为MDS和DR-MDS缓存系统通过D2D链路下载文件的概率，定义和分别为MDS和DR-MDS缓存系统通过BS链路下载文件的概率。当系统中存在k个不相关的存储节点时，通过D2D链路修复丢失数据，否则通过BS链路修复丢失数据，同理当请求发生时，系统中存在k个不相关的存储节点时，用户通过D2D链路下载文件，否则通过BS链路下载文件。

在给定的修复时间间隔下，系统中存储节点数服从伯努利分布(BernoulliDistribution)，对于MDS缓存系统来说，通过分析我们知道，当系统中至少存在k个存储节点时，可以通过D2D链路修复数据和下载文件，通过MDS修复开销表达式可以得到通过D2D链路和BS链路修复数据的概率分别为和通过下载开销表达式可以得到通过D2D链路和BS链路下载文件的概率分别为和

同理可以求得DR-MDS缓存系统来说通过D2D链路和BS链路修复数据的概率分别为和通过D2D链路和BS链路下载文件的概率分别为和通过上述表达式我们可以得到通过D2D链路下载文件和修复数据的概率与修复时间间隔的关系。为了保证数据的参考性，在这小节中我们和上一节的参数取相同的值，即μ＝1，ρ_D2D＝1，请求速率方面我们选择ω＝0.02。

图8为修复概率与修复间隔之间的关系，具体是D2D链路和BS链路分别在MDS和DR-MDS缓存系统中链路修复数据的概率随修复时间间隔的变化趋势。从图8中可以发现随着修复间隔的增加，通过D2D链路修复数据的概率逐渐变小，且当△>3时，概率几乎为0，即此时只能通过BS链路修复数据。当△∈[0.5,3]时，在相同的修复间隔条件下DR-MDS缓存系统通过D2D链路修复数据的概率高于MDS系统，并且随着修复间隔的增加，两条曲线的差值逐渐减小，表明在修复间隔较小时，DR-MDS缓存系统的通信开销小于MDS系统；虽然DR-MDS通过D2D下载的概率较大，但只是由于随着修复间隔的增加，平均修复的节点数变多，且通过BS链路修复数据的概率增加，会出现DR-MDS的修复开销大于MDS，但相同情况下DR-MDS缓存系统的通信开销仍然小于MDS系统。

图9为下载概率与修复间隔之间的关系，从图9中可以看出发现DR-MDS缓存系统提高了通过D2D链路下载的概率，随着修复间隔的增加，DR-MDS缓存系统和MDS系统这两种缓存系统通过D2D方式下载的概率都在降低；当△≥4时，通过D2D链路下载的概率趋近于0。MDS和DR-MDS下载时传输的数据量都为文件大小F，因此相同修复时间间隔下通过D2D链路下载文件的概率越大，下载开销越小，但结合图6a和图6b中可发现DR-MDS缓存系统的下载开销是一直小于MDS的。

(5)不同缓存方案存储开销对比分析存储占用量和容错性

本发明的DR-MDS缓存系统提升了利用D2D链路进行数据下载和修复的概率，但由于引入备份节点带来了存储空间占用量较大的问题，下面对DR-MDS方案的存储占用量和容错性进行对比分析。

假设文件大小为F＝6Mb，表1从每个节点存储数据量，修复单个节点时的带宽开销，总存储节点数，总存储开销，修复时连接存储节点数，下载时连接存储节点数和最大容错性方面对3-复制，[10,6]MDS和[20,6]DR-MDS三种缓存方案进行对比分析。从表1中发现复制方案和MDS系统修复单个节点的开销是最高的，都需要传输整个文件大小的数据量，DR-MDS缓存系统的修复带宽是最小的，只需要通过备份节点传输比特的数据即可完成修复。但是DR-MDS缓存系统需要的存储节点数和存储开销都是最高的，这是对MDS系统数据备份造成的，带来的好处就是增大了容错性，降低了修复单个节点的修复带宽。在单个小区覆盖范围内，移动用户的数量是足够的，因此在D2D分布式存储系统中，存储开销不是影响系统的主要因素，想要获得低的通信开销通过降低通过BS传输数据的概率。

表1三种缓存系统比较

DR-MDS缓存系统通过备份增大了通过D2D通信的概率的同时也降低了修复单个节点的修复带宽。经过试验仿真，证实了DR-MDS缓存系统在实际系统中能通过增大通过D2D通信的概率降低修复开销和下载开销，但是DR-MDS缓存系统的缺点是增加了一倍的存储开销，需要存储数据的移动设备也多，在D2D分布式存储系统中，移动设备的数量是充足的。

综上所述，本发明通过占用一定量存储节点进行数据备份，降低了修复单个节点的修复带宽的同时，也提高了系统的容错性。并对数据进行备份，提高了通过D2D链路进行数据修复和文件下载的机会，能降低修复开销和下载开销，从而降低整体通信开销。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.基于双倍复制的MDS缓存方案，其特征在于：所述基于双倍复制的MDS缓存系统(以下简称DR-MDS缓存系统)将原始文件分为k块，k≥2，通过MDS编码生成n个编码符号，每个编码符号包含数据，每个节点存储1个编码符号；其次将n个编码符号进行备份，缓存到2n个移动设备中，其中n个为存储节点，另外n个为备份节点；存储相同数据的节点互为备份节点；

当任意一个存储节点丢失，但其备份没有丢失，通过备份修复丢失数据；

当存储节点和备份节点同时丢失时，通过MDS方式修复其中一个节点，然后通过新修复的节点复制修复备份节点；

下载文件时，连接任意k个不相关的存储节点即可恢复原文件。

2.根据权利要求1所述的基于双倍复制的MDS缓存方案，其特征在于：所述DR-MDS缓存系统以D2D分布式存储系统为模型，在以基站提供的单个网络中，当存储节点离开DR-MDS缓存系统时有三种修复方式：

备份节点没有离开系统时，通过备份数据修复；

当存储节点和备份节点都离开系统时，通过MDS修复一份数据，再修复备份数据；当系统中不相关的存储节点小于k时通过基站修复数据，k≥2；

DR-MDS缓存系统的下载有两种方式：当DR-MDS缓存系统中的不相关的存储节点数不小于k时，通过MDS链路下载文件，否则通过基站直接下载数据。

3.根据权利要求2所述的基于双倍复制的MDS缓存方案，其特征在于：所述D2D分布式存储系统在修复过程产生整体通信开销，整体通信开销包括两部分：一部分是存储节点离开系统后更新新节点数据带来的修复开销，另一部分是用户请求文件的下载开销。

4.根据权利要求3所述的基于双倍复制的MDS缓存方案，其特征在于：所述修复开销是对丢失的数据的修复，存在通过备份数据修复、通过MDS修复和通过基站修复三种修复方式：

其中，当i≤n时，丢失的i个存储节点中最少存在0对存储相同数据的节点，可通过备份数据修复；

当i>n时，除去n个不相关的存储节点之外，其余的都为备份节点，采用复制MDS编码修复丢失数据，当丢失的i个存储节点中有j对节点存储相同的数据时，可以通过备份数据修复的节点数为(i-2j)；

其中，i表示丢失的存储节点数；j表示丢失i个节点时存在的存储相同数据节点数，n表示复制之前系统中总的节点数目。

5.根据权利要求4所述的基于双倍复制的MDS缓存方案，其特征在于：所述下载开销包括通过D2D链路下载和BS链路下载两部分；其中，当系统中至少存在k个不相关的存储节点时，用户通过D2D链路下载，否则通过BS链路下载；当系统中存储节点小于k个时，系统中不相关的存储节点数肯定小于k，用户通过BS链路下载文件；当存储节点数大于2k-2时，用户通过D2D链路下载文件；其中k≥2。

6.根据权利要求5所述的基于双倍复制的MDS缓存方案，其特征在于：所述下载开销的计算过程为：

当系统中存在i个存储节点时，有(n-i)个存储节点离开，此时系统中存在不相关的k个存储节点的概率为少于k个不相关的存储节点的概率为在[0～Δ]时间内，丢失的节点数可能为0,1,2,…,2n，定义和分别为系统中存在i个存储节点时用户通过D2D链路和BS链路下载文件的概率，且

通过D2D链路和基站链路下载文件传输的数据量都为F，系统中存在i(i＝k+1,k+2,…2k-2)个存储节点时，通过公式：

一次请求发生时的下载开销；

当请求发生时，系统中至少存在i个存储节点的概率S_i为：

而系统中恰好存在i个存储节点的概率为则[0～△]时间内，系统中存在i个存储点则表示有(2n-i)个存储节点离开，由此通过公式：

计算在Δ时间内单位时间内总的下载开销C_d，其中Δ为修复间隔。