CN112118604A - 一种面向移动存储系统的中继协作数据修复方法及系统 - Google Patents

一种面向移动存储系统的中继协作数据修复方法及系统 Download PDF

Info

Publication number
CN112118604A
CN112118604A CN202010730214.XA CN202010730214A CN112118604A CN 112118604 A CN112118604 A CN 112118604A CN 202010730214 A CN202010730214 A CN 202010730214A CN 112118604 A CN112118604 A CN 112118604A
Authority
CN
China
Prior art keywords
node
data
relay
nodes
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010730214.XA
Other languages
English (en)
Other versions
CN112118604B (zh
Inventor
顾术实
鲁万城
谭燕
孙先范
张钦宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202010730214.XA priority Critical patent/CN112118604B/zh
Publication of CN112118604A publication Critical patent/CN112118604A/zh
Application granted granted Critical
Publication of CN112118604B publication Critical patent/CN112118604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/10Flow control between communication endpoints
    • H04W28/14Flow control between communication endpoints using intermediate storage
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提供了一种面向移动存储系统的中继协作数据修复方法及系统,该中继协作数据修复方法包括均匀数据分配方案和启发式数据分配方案,通过启发式算法以合理的数据分配方法将数据卸载到其他节点上,从而进一步减少了修复时延。本发明的有益效果是:本发明利用网络中未存储数据的移动设备作为中继节点,传输所需数据时,可以通过这些中继节点形成的多条路径协作传输数据到目的节点上,减少了原有的一对节点所需要接触传输的次数,有效的减少修复时延。

Description

一种面向移动存储系统的中继协作数据修复方法及系统
技术领域
本发明涉及通讯技术领域,尤其涉及一种面向移动存储系统的中继协作数据修复方法及系统。
背景技术
随着移动用户的大量增长和对数据的大量需求,将文件存储在基站中,大量用户通过基站或远超连接核心网请求获取数据将加重基站的负担,可能造成严重的网络堵 塞。而随着移动设备的存储容量不断增加,人们使用移动设备的时间有限,移动存储 系统不仅将流行文件存储在基站,同时也将文件通过分布式编码技术缓存在移动设备 中。与将文件直接存储在基站相比,将文件缓存在移动设备中可以有效减轻基站的负 载、降低回程链路和检索文件带来的时延。并且随着大数据和物联网应用类型的不断 增长,移动存储系统很可能成为未来缓存数据的主要方式。然而,由于移动设备组成 的节点可能会由于设备电量耗尽、遭受其他的物理损坏或由于移动离开基站覆盖范围 内的小区,导致节点的存活状况不可预测。因此,要求系统具备容灾容错和快速修复 的能力。
在数据修复过程中,较小的修复时延可以有效的提高系统的可靠性和数据的可用性,降低数据下载的时延以增加用户的服务质量,减少数据的修复时延显得尤为重要。 而正常情况下,数据修复可通过设备到设备(Device-to-device,D2D)通信方式下载或 基站直接下载,当前采用的方法是先尝试通过D2D通信方式恢复,若超过一定的时间 阈值未修复成功再通过基站修复。当基站不可正常使用时,此时数据恢复只能通过D2D 通信方式,而设备之间的通信距离有限,设备需要经过接触传输数据,再等待一段时 间后再次接触传输数据。在文件较大时或设备的传输速率较低时,设备通过多次接触 才能完成数据传输完成修复过程,将导致较大的修复时延。因而,如何减少在基站不 可用下的移动存储系统的数据修复时延值得深入研究。
发明内容
本发明设计了一个中继协作方案,该系统利用网络中未存储数据的移动设备作为中继节点,传输所需的数据量时可以通过这些中继节点形成的多条路径协作传输数据 到目的节点上,减少了原有的一对节点所需要接触传输的次数,可以有效的减少修复 时延。而在中继协作数据修复方法中设计的均匀分配方案未充分有效利用网络中的节 点,因而本发明在此基础上,进一步设计了一个启发式算法以合理的数据分配方法将 数据卸载到其他节点上,从而进一步减少了修复时延。
本发明提供了一种面向移动存储系统的中继协作数据修复方法,将移动存储设备协作传输数据到目的设备。系统内包括存储节点、空闲节点和新生节点,修复单个新 生节点yj需要d个存储节点,每个存储节点xi通过si个空闲节点作为中继节点协作传 输数据。当节点xi需向节点yj传输β比特的修复数据时,节点xi将直接传输
Figure BDA0002603046120000021
比特数 据至节点yj,称这条传输路径为ω0;xi向其中一个中继节点zl传输
Figure BDA0002603046120000022
比特后,节点zl再转发
Figure BDA0002603046120000023
比特至节点yj,称该条传输路径为ωl
作为本发明的进一步改进,该中继修复方法提出了一个均匀数据分配方法。在均匀数据分配中,挑选移动速度大于节点xi和yj的空闲节点zl作为中继节点,对路径ω0分配的数据量是路径ωl的2倍,d个存储节点中的每个节点分配相同数目的中继节点。
作为本发明的进一步改进,该中继协作数据修复方法还包括启发式算法,所述启发式算法包括数据初始分配步骤和节点分配的步骤。在所述数据初始分配步骤中,首 先定义了节点xi在路径ωl下的平均传输能力
Figure RE-GDA0002750112120000024
根据路径的平均传输能力分配β比特 数据,此时剩余的数据量为Λ。再设定Λ=0.01启动后续过程。针对每一条路径,均判 断中继传输路径的成功传输概率是否大于直接传输路径的成功传输概率。如果路径ωl不满足此条件,则从路径ωl中每次移除σ比特,直至其数据成功传输概率大于等于直 接传输路径的成功传输概率;之后再次更新Λ,如果此时剩余的数据量大于σ,则再 次执行上述过程;否则将剩余的Λ比特数据分配给直接传输路径ω0,环节结束。 节点分配步骤:在节点分配过程中,设定
Figure RE-GDA0002750112120000025
需要确定当前中继节点数 目是否是节点xi的最佳选择;其中M为系统初始时刻覆盖范围下的节点数目,n为初 始时刻设定的存储节点数目。
所述的中继协作数据修复方法的启发式算法中节点分配过程,首先从中继节点集合中移除速度最小的节点,其所对应的传输成功概率值最小,此时将该节点对应的部 分数据再次执行数据初始分配步骤;如果计算得到的成功修复的概率继续增加,则继 续执行此过程,直至节点xi的中继节点数目为1或修复成功概率不再增加;完成上述 过程后,如果节点xi对应的中继节点数目与初始时刻分配到的数目相同时,此时若系 统中有剩余的空闲节点,则逐次增加一个空闲节点给xi,直至修复成功概率不再增加。
本发明还提供了一种面向移动存储系统的中继协作数据修复系统,利用网络中的其他移动设备协作传输数据到目的设备。系统内包括存储节点、空闲节点和新生节点, 修复单个新生节点yj需要d个存储节点,每个存储节点xi通过si个空闲节点作为中继 节点协作传输数据。当节点xi需向节点yj传输β比特的修复数据时,节点xi将直接传 输
Figure BDA0002603046120000025
比特数据至节点yj,称这条传输路径为ω0;xi向其中一个中继节点zl传输
Figure BDA0002603046120000026
比 特后,节点zl再转发
Figure BDA0002603046120000027
比特至节点yj,称该条传输路径为ωl
作为本发明的进一步改进,该中继协作数据修复系统中提出了一个均匀数据分配方法,提出了一个均匀数据分配方法。在均匀数据分配过程中,挑选移动速度大于节 点xi和yj的空闲节点zl作为中继节点,对路径ω0分配的数据量是路径ωl的2倍,d个 存储节点中的每个节点分配相同数目的中继节点。
作为本发明的进一步改进,该中继协作数据修复系统中还包括启发式算法,所述启发式算法包括数据初始分配步骤和节点分配的步骤。在所述数据初始分配步骤中, 首先定义了节点xi在路径ωl下的平均传输能力
Figure BDA0002603046120000031
根据路径的平均传输能力分配β比 特数据,此时剩余的数据量为Λ。再设定Λ=0.01启动后续过程。针对每一条路径,均 判断中继传输路径的成功传输概率是否大于直接传输路径的成功传输概率。如果路径 ωl不满足此条件,则从路径ωl中每次移除σ比特,直至其数据成功传输概率大于等于 直接传输路径的成功传输概率;之后再次更新Λ,如果此时剩余的数据量大于σ,则 再次执行上述过程;否则将剩余的Λ比特数据分配给直接传输路径ω0,环节结束。
节点分配步骤:在节点分配过程中,设定
Figure BDA0002603046120000032
需要确定当前中继节点数 目是否是节点xi的最佳选择;其中M为系统初始时刻覆盖范围下的节点数目,n为初 始时刻设定的存储节点数目。
所述中继协作数据修复系统的启发式算法的节点分配过程,从中继节点集合中移除速度最小的节点,其所对应的传输成功概率值最小,此时将该节点对应的部分数据 再次执行数据初始分配步骤;如果计算得到的成功修复的概率继续增加,则继续执行 此过程,直至节点xi的中继节点数目为1或修复成功概率不再增加;完成上述过程后, 如果节点xi对应的中继节点数目与初始时刻分配到的数目相同时,此时若系统中有剩 余的空闲节点,则逐次增加一个空闲节点给xi,直至修复成功概率不再增加。
本发明的有益效果是:本发明利用网络中未存储数据的移动设备作为中继节点,传输所需的数据量时可以通过这些中继节点形成的多条路径协作传输数据到目的节点上,减少了原有的一对节点所需要接触传输的次数,可以有效的减少修复时延。
附图说明
图1是中继协作数据修复系统模型图;
图2是无中继方案、均匀分配方法和启发式算法对平均修复时延的影响图;
图3是均匀分配方法和启发式算法有关文件对平均协作传输数据百分比的影响图。
具体实施方式
本发明公开了一种面向移动存储系统的中继协作数据修复方法,下面分别就中继协作修复方案做详细介绍,主要包括系统建模、目标函数推导、优化问题建立以及启 发式算法四个部分。
(一)系统模型
我们考虑一个由若干个移动设备(节点)构成的移动存储系统。节点随机进入和离开系统的过程服从泊松随机过程。节点以速率λ进入系统,以参数为μ离开系统, 都服从指数独立同分布。令λ=μ,即进入和离开节点的速率是相同的。系统中初始的 节点数为M,每个节点的通信距离为r,且在通信距离内可以无差错传输数据。系统对 文件大小F的文件使用(n,k,d)再生码对文件编码。系统包含三类节点,含有原始 文件编码的数据信息为存储节点,没有存储数据的节点为空闲节点,存储修复数据后 的节点称为新生节点。节点在系统范围内的移动过程视为随机点过程模型。由于节点 通信距离范围有限,节点之间存在接触时间和间隔接触时间。节点xi和节点yj的接触 时间其
Figure BDA0002603046120000041
和间隔接触时间
Figure BDA0002603046120000042
分别服从以参数
Figure BDA0002603046120000043
和参数
Figure BDA0002603046120000044
的指数独立同分布。
本发明采用惰性修复方法修复丢失节点的数据。系统在修复过程完成后,每经过修复时间间隔Δ再次启动修复,即从上一次修复过程结束到下一次修复过程开始的时 间间隔为Δ。Tj指第j次修复所花费的时间。在修复过程中,假定存储节点不会在修复 时间内离开系统范围。修复过程有两种方式:再生和重构。若d≤δ<n,数据通过再 生方式,即每个新生节点从存活的任意d个下载β比特数据。若k≤δ<d,数据通过 重构方式,即每个新生节点从存活的任意k个下载α比特数据。若δ<k,数据将不能 修复。根据该修复过程,在给定修复间隔Δ,当系统启动修复的时刻,平均修复所有 失效节点的时延为平均修复时延T。根据弱大数定律,T=E(Tj)。
我们假定利用S个空闲节点用于修复一个新生节点yj,其中S不超过网络中的空闲节点的总个数。任意一个新生节点yj可以重复利用网络中的空闲节点,然而对于新 生节点yj的帮助节点集合Rh(d),任意一个帮助节点xi不能重复使用这些中继节点。一 对节点的中继系统模型如图1所示,图中有si个空闲节点是存储节点xi对应的中继节 点个数。当xi向yj发送β比特数据的时候,可通过直接传输路径传输
Figure BDA0002603046120000045
比特数据,该 传输路径为ω0。xi可向中继节点zl传输
Figure BDA0002603046120000048
比特数据后,zl再向yj传输
Figure BDA0002603046120000046
比特,该传 输路径为ωl。其中节点xi与节点zl的接触次数为b,节点zl与节点yj的接触次数为c。
在数据分配过程初始阶段,本发明率先提出一个简单的均匀分配方法。首先,我们挑选移动速度大于节点xi和yj的空闲节点zl作为中继节点。如图1所示,路径ωl比 路径ω0需要多一次的接触和等待。由于节点zl的速度大于节点xi和yj的速度,根据速 度越大修复成功概率越高且平均修复时延越小的定理,故路径ω0的传输能力是路径ωl的2倍以上,因此路径ω0的数据量是路径ωl的2倍,即
Figure BDA0002603046120000047
于此 同时,我们设定s1=s2=…=sd。通过给每个帮助节点分配相同数目的中继节点,可以 防止一对节点传输数据极慢的情况,有效减少平均修复时延。(二)目标函数
我们要获取的目标函数为平均修复时延。节点xi和yj在时间TD内的接触次数K服从以均值
Figure BDA0002603046120000051
为的泊松分布,其中TD是一个随机变量,TD≥0。用
Figure BDA0002603046120000052
表示节点 xi和yj在时间TD内第g次的接触时间。由于每次接触时间服从指数独立同分布,当接 触次数为K时的累计接触时间
Figure BDA0002603046120000053
服从Gamma分布,其概率密度函数 可用
Figure BDA0002603046120000054
表示。用p表示一个节点在经过修复间隔Δ后仍然存活的概率,其 中p=e-μΔ。用bm(n,p)表示n个存储节点中在经过修复间隔Δ后幸存的节点为m个的 概率,其服从二项分布。采用中继方案时,令
Figure BDA0002603046120000055
表示xi和zl的累计间隔接触时间,
Figure BDA0002603046120000056
Figure BDA0002603046120000057
表示zl和yj的累计间隔接触时间,
Figure BDA0002603046120000058
Figure BDA0002603046120000059
表示在节点xi和zl的接触次数为b和节点xi和zl接触次数为c,路径ωl的 可用概率。故
Figure BDA00026030461200000510
其中
Figure BDA00026030461200000511
表示两个函数的卷积。在节点xi和zl的接触次数为b时,xi能通过路径ωl成功传输
Figure BDA00026030461200000512
比特给zl的概率为
Figure BDA00026030461200000513
同理可得到在节点zl和yj的接触次数为c时,zl通过路径ωl成功传输
Figure BDA00026030461200000514
比特给 yj的概率
Figure BDA00026030461200000515
故节点xi在时间TD内通过路径ωl成功传输
Figure BDA00026030461200000516
比特给yj的概率
Figure BDA00026030461200000517
其中K1和K2服从泊松分布。节点xi通过路径ω0成功传输
Figure BDA00026030461200000518
比特给yj的概率为
Figure BDA00026030461200000519
此时节点xi通过多条路径成功传输β比特给yj的概率为
Figure BDA00026030461200000520
每个新生节点yj只能从δ个幸存的存储节点中挑选d个存储节点。因此,有
Figure BDA00026030461200000521
个 线性组合挑选出d个存储节点。在情况h中,处于方便我们定义挑选出的d个节点组 成帮助节点集合为
Figure BDA00026030461200000522
当可用的存储节点数为δ时,系统
能够在时间TD内成功修复n-δ个节点的概率Psr|δ=m
Figure BDA0002603046120000061
通过Psr|δ=m求导得到的概率密度函数用
Figure BDA0002603046120000062
表示,利用再生方式修复n-δ个节点期望修复时延可以表示为Eβ(Tj|δ=m),即对Tj求期望。当d>δ=m≥k,修复采 用重构的方式。通过重构修复n-δ个节点的期望修复时延与通过再生方法类似,用 Eα(Tj|δ=m)来表示。因而我们可以得出使用再生码的平均修复时延为
Figure BDA0002603046120000063
(三)优化问题
均匀分配方法只利用了移动速度快的节点,而实际中,可以对速度快的节点可以多分配到一些数据,速度慢的节点可以分配少量的数据。此外,每个帮助节点分配到 的中继节点数目不应都一致相同,而是要根据帮助节点和新生节点的速度来决定。因 此,我们针对此提出了一个优化问题,通过合理分配中继节点数目和每条路径分配的 数据量以小化平均修复时延。此时要优化的参数为
Figure BDA0002603046120000064
Figure BDA0002603046120000065
优化问题可以如下表示:
Figure BDA0002603046120000066
修复时延与修复成功概率成反比,故可以将目标函数为最小化修复时延转化为最大化修复成功概率Psr|δ=m。而修复成功概率Psr|δ=m是n-δ个节点的单个节点成功修复概 率的乘积,因此,目标函数可表示为最大化单个节点的成功修复概率
Figure BDA0002603046120000067
(四)启发式算法
从直观角度上看,在中继协作数据修复方法中应尽可能使用多的中继节点数目,将数据量尽可能多的卸载到其他节点上。故在初始阶段,我们设置可用的中继节点数 目为M-n,然后平均分配给每个帮助节点相同数目的中继节点,即
Figure BDA0002603046120000068
因为
Figure BDA0002603046120000069
是关于随机变量TD的函数,令TD等于由公式 (20)在相同的修复间隔下得到的数值。随后定义节点xi在路径ωl的平均传输能力。 即节点xi在路径ωl中一次接触时间内平均每秒传输的数据量为平均传输能力为
Figure BDA0002603046120000071
在直接传输路径ω0中,一次接触时间内能传输的平均数据量为
Figure BDA0002603046120000072
总共所花费的时间为
Figure BDA0002603046120000073
故节点xi在路径ω0的平均传输能力为
Figure BDA0002603046120000074
可表示为
Figure BDA0002603046120000075
在传输路径ωl中,一次接触时间内能传输的平均数据量为取决于xi与zl和zl与yj较小的一方,总共所花费的时间为xi与zl和zl与yj等待时间相加。故节点xi在路径ωl的 平均传输能力为
Figure BDA0002603046120000076
具体过程如算法1所示。启发式算法分为2个过程,首先是数据初始分配步骤。 我们根据路径的平均传输能力分配原始数据,对路径ωl分配的数据量为
Figure BDA0002603046120000077
此时剩余的数据量为
Figure BDA0002603046120000078
且Λ=0。为了对数据精确分配,在分配完初始数 据时我们将Λ=0.01以便启动后续过程。针对每一条路径,我们都判断中继传输路径的 成功传输概率是否大于直接传输路径的成功传输概率,即
Figure BDA0002603046120000079
如果路径ωl不满足此条件,则每次从
Figure BDA00026030461200000710
中移除σ比特,再次比较,直至中继传输路径的成功传输 概率大于等于直接传输路径的成功传输概率。其中σ是我们设计的一个动态标量,可 随实际情况变化大小,方便移除合适的数据量使两个概率快速相等。完成以上工作后, 再次更新Λ的数值。如果此时σ≥Λ≥0,则将剩余的Λ比特数据都分配给直接传输路 径ω0。如果Λ>σ,则我们再次执行上述过程,直至环节结束。
节点分配步骤:当完成数据分配后,我们需要确定当中继节点数目为
Figure BDA00026030461200000711
时,其是否是帮助节点xi的最佳选择。因为如果减少一个中继节点时,直接传输路径 并不会减少一次接触,此时多一个中继节点对修复是不利的。节点分配过程是针对帮 助节点xi的路径集
Figure BDA00026030461200000712
移除速度最小的节点所对应的路径ωJ,其所对应的传输成功概 率值是最小的。此时令
Figure BDA00026030461200000713
再次执行数据分配的过程。如果新计算得到的
Figure BDA00026030461200000714
则将节点加入空集合U中,并继续执行此过程,直至节点数目为1时 或者概率
Figure BDA00026030461200000715
不再增加。完成上述过程后,如果帮助节点xi对应的中继节点数目仍然 为
Figure BDA00026030461200000716
时,说明该路径可能通过继续增加中继节点数目增加传输成功概率。此 时若集合U不为空,则逐次增加一个节点,直至概率不再增加。最后,通过启发式算 法可知每条路径所分配的中继节点数目,以及每条中继路径所分配到的数据量。
算法1如下:
Figure BDA00026030461200000717
Figure BDA0002603046120000081
Figure BDA0002603046120000091
本发明的技术有益效果如下:
在本发明中,我们研究针对移动存储系统的修复时延问题,提出了中继协作修复的方法。不同于以往的工作,我们不需要使用系统外的其它设备,只通过系统内固有 的移动设备完成数据恢复。我们分析并推导了移动存储系统下使用编码和D2D数据修 复的修复时延闭合表达式,并且建立了以修复带宽恒定且中继节点数目有限的最小化 平均修复时延的优化问题。通过设计的启发式算法得到一个近似解,以解决中继节点 和每条路径数据量的分配问题。最后仿真表明,本发明采取的中继协作方案比不使用 中继协作方案明显降低了平均修复时延,而且在中继协作方案中设计的启发式算法可 以进一步有效的减少平均修复时延,提高数据恢复性能增益。
我们通过一系列仿真评估了使用中继和启发式算法对移动存储系统下的平均修复 时延的影响。我们选择此区域的形状为圆形,修复间隔选取为0~2000。节点通信半 径r=10m,通信速率R=15Mbit/s,系统范围大小A=125600,初始节点数目 M=50,λ=μ=0.0005。
图2比较了无中继修复和中继协作修复方案使用不同的算法对修复时延的比较。如图所示,随着文件大小的增加,采用中继协作方案的平均修复时延增益也随之增大。 在没有采用中继协作方案的平均修复时延是最高的,而采用了中继方案的修复时延都 获得了一定的平均修复时延的增益。因为在均匀分配方法中,选取的速度较大的中继 节点可能在实际情况中很少或者没有,此时中继协作提供到的帮助也有限。均匀分配 方法对平均修复实验的增益随着文件的增大而增大,如在F=1000时,平均修复时延减 少了19%。在F=500Mbits时,平均修复时延减少了10%。
图3比较均匀分配和启发式算法对平均协作传输能力的比较。平均协作传输的百分比定义为通过中继路径传输的数据量比上总的数据量。从图3中可以看出,均匀分 配算法在不同文件大小下的平均协作传输的百分近乎相同,这是因为均匀分配方法中 分配给每个中继节点的数据都相同,而每个帮助节点分配到的中继节点数目相同。启 发式算法的平均协作传输的百分比高于均匀分配,说明启发式算法以更合理的方式将 数据分配给更多的中继节点。随着文件大小的增加,节点之间接触次数增大,更多的 数据分配到中继节点上,故启发式算法的平均协作传输的百分比也相应增加。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说, 在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本 发明的保护范围。

Claims (8)

1.一种面向移动存储系统的中继协作数据修复方法,其特征在于,利用网络中其他移动设备协作传输数据到目的设备;系统内包括存储节点、空闲节点和新生节点,修复单个新生节点yj需要d个存储节点,每个存储节点xi通过si个空闲节点作为中继节点协作传输数据;当节点xi需向节点yj传输β比特的修复数据时,节点xi将直接传输
Figure FDA0002603046110000011
比特数据至节点yj,称这条传输路径为ω0;xi向其中一个中继节点zl传输
Figure FDA0002603046110000012
比特后,节点zl再转发
Figure FDA0002603046110000013
比特至节点yj,称该条传输路径为ωl
2.根据权利要求1所述的中继协作数据修复方法,其特征在于,首先提出了一个均匀数据分配方法;在均匀数据分配过程中,挑选移动速度大于节点xi和yj的空闲节点zl作为中继节点,对路径ω0分配的数据量是路径ωl的2倍,d个存储节点中的每个节点分配相同数目的中继节点。
3.根据权利要求2所述的在中继协作数据修复方法,其特征在于,所述均匀数据分配方法还包括启发式算法,所述启发式算法包括数据初始分配步骤和节点分配的步骤;
在所述数据初始分配步骤中,首先定义了节点xi在路径ωl下的平均传输能力
Figure FDA0002603046110000014
根据路径的平均传输能力分配β比特数据,此时剩余的数据量为Λ;再设定Λ=0.01启动后续过程;针对每一条路径,均判断中继传输路径的成功传输概率是否大于直接传输路径的成功传输概率;如果路径ωl不满足此条件,则从路径ωl中每次移除σ比特,直至其数据成功传输概率大于等于直接传输路径的成功传输概率;之后再次更新Λ,如果此时剩余的数据量大于σ,则再次执行上述过程;否则将剩余的Λ比特数据分配给直接传输路径ω0,环节结束;
节点分配步骤:在节点分配过程中,设定
Figure FDA0002603046110000015
需要确定当前中继节点数目是否是节点xi的最佳选择,其中M为系统初始时刻覆盖范围下的节点数目,n为初始时刻设定的存储节点数目。
4.根据权利要求3所述的中继协作数据修复方法,其特征在于,在所述启发式算法中,首先从中继节点集合中移除速度最小的节点,其所对应的传输成功概率值最小,此时将该节点对应的部分数据再次执行数据初始分配步骤;如果计算得到的成功修复的概率继续增加,则继续执行此过程,直至节点xi的中继节点数目为1或修复成功概率不再增加;完成上述过程后,如果节点xi对应的中继节点数目与初始时刻分配到的数目相同时,此时若系统中有剩余的空闲节点,则逐次增加一个空闲节点给xi,直至修复成功概率不再增加。
5.一种面向移动存储系统的中继协作数据修复系统,其特征在于,利用网络中的其他移动设备协作传输数据到目的设备;系统内包括存储节点、空闲节点和新生节点,修复单个新生节点yj需要d个存储节点,每个存储节点xi通过si个空闲节点作为中继节点协作传输数据;当节点xi需向节点yj传输β比特的修复数据时,节点xi将直接传输
Figure FDA0002603046110000021
比特数据至节点yj,称这条传输路径为ω0;xi向其中一个中继节点zl传输
Figure FDA0002603046110000022
比特后,节点zl再转发
Figure FDA0002603046110000023
比特至节点yj,称该条传输路径为ωl
6.根据权利要求5所述的中继协作数据修复系统,其特征在于,首先提出了一个均匀数据分配方法;在均匀数据分配过程中,挑选移动速度大于节点xi和yj的空闲节点zl作为中继节点,对路径ω0分配的数据量是路径ωl的2倍,d个存储节点中的每个节点分配相同数目的中继节点。
7.根据权利要求6所述的在中继协作数据修复系统,其特征在于,所述均匀数据分配方法还包括启发式算法,所述启发式算法包括数据初始分配步骤和节点分配的步骤;
在所述数据初始分配步骤中,首先定义了节点xi在路径ωl下的平均传输能力
Figure FDA0002603046110000025
根据路径的平均传输能力分配β比特数据,此时剩余的数据量为Λ;再设定Λ=0.01启动后续过程;针对每一条路径,均判断中继传输路径的成功传输概率是否大于直接传输路径的成功传输概率;如果路径ωl不满足此条件,则从路径ωl中每次移除σ比特,直至其数据成功传输概率大于等于直接传输路径的成功传输概率;之后再次更新Λ,如果此时剩余的数据量大于σ,则再次执行上述过程;否则将剩余的Λ比特数据分配给直接传输路径ω0,环节结束;
节点分配步骤:在节点分配过程中,设定
Figure FDA0002603046110000024
需要确定当前中继节点数目是否是节点xi的最佳选择;其中M为系统初始时刻覆盖范围下的节点数目,n为初始时刻设定的存储节点数目。
8.根据权利要求7所述的中继协作数据修复系统,其特征在于,在所述启发式算法中,首先从中继节点集合中移除速度最小的节点,其所对应的传输成功概率值最小,此时将该节点对应的部分数据再次执行数据初始分配步骤;如果计算得到的成功修复的概率继续增加,则继续执行此过程,直至节点xi的中继节点数目为1或修复成功概率不再增加;完成上述过程后,如果节点xi对应的中继节点数目与初始时刻分配到的数目相同时,此时若系统中有剩余的空闲节点,则逐次增加一个空闲节点给xi,直至修复成功概率不再增加。
CN202010730214.XA 2020-07-27 2020-07-27 一种面向移动存储系统的中继协作数据修复方法及系统 Active CN112118604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010730214.XA CN112118604B (zh) 2020-07-27 2020-07-27 一种面向移动存储系统的中继协作数据修复方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010730214.XA CN112118604B (zh) 2020-07-27 2020-07-27 一种面向移动存储系统的中继协作数据修复方法及系统

Publications (2)

Publication Number Publication Date
CN112118604A true CN112118604A (zh) 2020-12-22
CN112118604B CN112118604B (zh) 2023-06-20

Family

ID=73799659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010730214.XA Active CN112118604B (zh) 2020-07-27 2020-07-27 一种面向移动存储系统的中继协作数据修复方法及系统

Country Status (1)

Country Link
CN (1) CN112118604B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105450741A (zh) * 2015-11-16 2016-03-30 苏州大学 分布式存储系统中供应服务器选择和修复数据传输方法
WO2017113373A1 (zh) * 2015-12-31 2017-07-06 华为技术有限公司 一种缓存的方法及分组数据网关
CN107277925A (zh) * 2017-05-08 2017-10-20 西安电子科技大学 基于信息和能量传输的能量采集协作网络资源分配方法
CN107463462A (zh) * 2016-06-06 2017-12-12 华中科技大学 数据修复方法及数据修复装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105450741A (zh) * 2015-11-16 2016-03-30 苏州大学 分布式存储系统中供应服务器选择和修复数据传输方法
WO2017113373A1 (zh) * 2015-12-31 2017-07-06 华为技术有限公司 一种缓存的方法及分组数据网关
CN107463462A (zh) * 2016-06-06 2017-12-12 华中科技大学 数据修复方法及数据修复装置
CN107277925A (zh) * 2017-05-08 2017-10-20 西安电子科技大学 基于信息和能量传输的能量采集协作网络资源分配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张雪茹;冀保峰;宋康;沈森;李春国;: "基于DF中继协作的车联网安全传输性能研究" *

Also Published As

Publication number Publication date
CN112118604B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN111382844B (zh) 一种深度学习模型的训练方法及装置
JP6890653B2 (ja) 多層ニューラルネットワークモデルの学習及び適用方法、装置、並びに記憶媒体
CN107155197B (zh) 基于多跳协作的分布式存储方法、装置及电子设备
CN1122079A (zh) 在通信网中用于自适应路由选择的方法和装置
WO2023143542A1 (zh) 分布式系统软件版本升级方法及装置
CN111258824A (zh) 一种云计算中基于人工势场的增量检查点容错方法
CN112118604A (zh) 一种面向移动存储系统的中继协作数据修复方法及系统
CN113590281B (zh) 基于动态集中式调度的分布式并行模糊测试方法及系统
CN101557300A (zh) 一种网络中的拓扑重构方法、装置及设备
CN117215973A (zh) 一种缓存数据的处理方法、深度学习训练方法和系统
CN113747507B (zh) 一种面向5g超密集网络的计算资源管理方法及装置
CN116962176B (zh) 一种分布式集群的数据处理方法、装置、系统及存储介质
CN104049916A (zh) 一种基于节点角色切换机制的自组织分布式存储系统及其方法
EP3274844B1 (en) Hierarchical cost based caching for online media
CN104052611B (zh) 一种云存储系统数据可用性维护方法及其装置
CN115883589A (zh) 分布式存储中针对数据修复的动态节点选择方法及系统
CN108242931B (zh) 一种数据压缩提供方法
CN110234167B (zh) 一种信道分配方法、信道分配装置及电子设备
CN113704278A (zh) 分布式序列号生成方法及装置
CN109669760B (zh) 虚拟化动态资源管理系统
CN114025017A (zh) 基于深度循环强化学习的网络边缘缓存方法、装置及设备
CN107659634B (zh) 邻居节点选择的方法、装置、设备及计算机存储介质
CN113922926B (zh) 一种雾无线接入网中基于最大距离可分码的分组编码缓存方法
CN110932805A (zh) 网络拓扑结构动态自适应的压缩感知数据收集方法
CN117251276B (zh) 一种面向协作学习平台的灵活调度方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant