CN103458315A - 一种基于流行度的p2p流媒体复制方法 - Google Patents

一种基于流行度的p2p流媒体复制方法 Download PDF

Info

Publication number
CN103458315A
CN103458315A CN2013103854112A CN201310385411A CN103458315A CN 103458315 A CN103458315 A CN 103458315A CN 2013103854112 A CN2013103854112 A CN 2013103854112A CN 201310385411 A CN201310385411 A CN 201310385411A CN 103458315 A CN103458315 A CN 103458315A
Authority
CN
China
Prior art keywords
streaming media
node
media file
nodes
storage space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013103854112A
Other languages
English (en)
Other versions
CN103458315B (zh
Inventor
杨戈
高兵
刘宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN201310385411.2A priority Critical patent/CN103458315B/zh
Publication of CN103458315A publication Critical patent/CN103458315A/zh
Application granted granted Critical
Publication of CN103458315B publication Critical patent/CN103458315B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于流行度的P2P流媒体复制方法。本方法为:1)从P2P流媒体系统中选取若干节点作为候选节点;2)统计P2P流媒体系统中每个流媒体文件的长度及其期望的赤字带宽,计算流媒体文件的流行度,根据流媒体文件的流行度值确定出将要变热的流媒体文件Mi;3)计算当前观看这些Mi的节点的总的可利用存储空间的大小,以及这些Mi所期望的存储空间之和的大小;如果系统当前总的可以利用的存储空间大期望的存储空间之和,赋期望存储空间值做为各个Mi的存储空间大小,并把它复制到当前节点上;否则,对于每个流媒体文件的赋其与副本最优速率相近的缓存空间大小。然后复制到在综合性能比较好的节点上。

Description

一种基于流行度的P2P流媒体复制方法
技术领域
本发明涉及一种基于流行度的P2P流媒体复制方法,属于信息技术领域,尤其是对等网络(peer–to-peer)P2P的流媒体通信领域。
背景技术
目前P2P网络的应用越来越广泛,P2P网络模式的兴起得益于Internet的广泛普及、网络带宽的大幅增加以及基于Internet的终端系统计算能力的迅速增强。上述因素促使原先在其它网络计算模式中通常被忽视且广泛存在的终端用户设备成为一种宝贵的计算资源。它与C/S模式最显著的区别在于网络中的节点(peer)既可以获取其它节点的资源或服务,同时又是资源或服务的提供者,即兼具Client和Server的双重身份。到目前为止,P2P研究已经涉及非常广泛的方面,主要包括:网络拓扑构造、安全与可靠性、分布式数据存储、大规模并行计算等。P2P的应用更是涵盖诸多领域,如:商业和民用领域的文件和数据共享和存储、科研领域的协同和并行计算、军事领域的士兵协作和战场网络的构造等。
同时随着通信技术的飞速发展,改变了传统的信息处理,加工,传播的手段,加快了人类文明进步的步伐。多媒体技术综合了声音,文字,图像,动画和视频等多种交互手段,拓宽了信息的表现形式,为人类的数字生活带来了深刻变革。于是网络通信技术和多媒体技术相结合,产生了流媒体(streaming media)技术。流媒体是以流式传输技术通过网络传送的,在时间上具有连续性的媒体文件,基于P2P的流媒体系统更是越来越受到人们的重视。
P2P流媒体复制技术就是在P2P网络中将一份流媒体文件复制为内容相同的多份文件,放置在不同的节点上,P2P流媒体复制技术一方面可以很好的解决节点动态性问题,当节点需要离开时,就会复制节点上的内容到一个新的节点上;同时一个好的副本放置策略可以把副本放置在一些综合性能高的节点上,以保证网络中数据对象的可靠性,提高客户端访问数据的有效性。在现有的P2P流媒体复制的关键技术中,有基于聚类算法,基于K中值算法,基于组群算法,基于比例复制算法等,但是这些算法存在一些缺陷,比如在计算流行度时,认为流媒体文件的流行度服从Zipf分布,这种分布是根据流媒体文件被观看的次数来判断流媒体文件的流行程度的,观看的次数越多,则说明文件的流行度越高,观看次数越少,则文件的流行度就越低。但是在现实应用中,由于流媒体文件的推荐策略等会导致文件的虚假流行,这样不仅导致网络带宽的浪费,也不能真实的反映文件的流行度。
发明内容
针对现有技术中存在的技术问题,本发明的目的是要发明一种基于流行度的P2P流媒体复制方法。本发明通过采用最优复制策略来保证服务质量的可靠性。通过合理的副本复制,不仅避免了在地理上广泛分布的系统节点由于网络断开或机器故障等动态不可预测因素引起的数据丢失。同时由于P2P网络中,各节点在处理能力,存储能力和网络带宽等方面存在较大差异,因此将文件副本放置在高性能的节点上,不仅能物尽其用,而且还极大地提高了系统的可用性和可靠性。
发明创造的技术方案:
一种基于流行度的P2P流媒体复制方法,其步骤为:
1)从P2P流媒体系统中选取若干节点作为候选节点;
2)统计P2P流媒体系统中每个流媒体文件的长度及其期望的赤字带宽,计算流媒体文件的流行度,根据流媒体文件的流行度值确定出将要变热的流媒体文件Mi
3)计算当前观看该流媒体文件Mi的节点的可利用存储空间的大小,以及该流媒体文件Mi所期望需要的存储空间的大小;如果该可利用存储空间大于该需要的存储空间,则以E(Di(ni))×l(s)大小的存储空间复制该流媒体文件Mi到可利用的节点上,否则以
Figure BDA0000374321830000021
乘以P2P流媒体系统当前所有观看节点总的可利用存储空间的大小复制该流媒体文件Mi到所述候选节点上;其中,
l(s)为流媒体文件的播放时间长度,E(Di(ni))是流媒体文件Mi的赤字带宽,∑kE(Dk(nk))是所有k个流媒体文件赤字带宽之和。
进一步的,计算每个流媒体文件的流行度的公式为 popularity = T sum T last - T first × min { 1 , ( T last - T first ) / N T C - T last } × E ( D i ( n i ) ) Σ k E ( D k ( n k ) ) H ; 其中,Tfrist为流媒体文件第一次被访问的时间,Tlast为流媒体文件最近一次被访问的时间,Tsum为流媒体文件被访问的总时间长度,N为流媒体文件被访问的次数,Tc为当前时间,H为当前节点中某个媒体对象被缓存的数据量。判断流行文件的方法为把计算的流媒体文件的流行度值,按照从大到小顺序进行排列,选择流行度高的前B%的流媒体文件看作是要变热的,即流行的流媒体文件Mi,对他们进行复制,其中1≤B≤100,B是整型变量。
进一步的,根据公式
Figure BDA0000374321830000031
计算节点的可利用赤字带宽Dk(nk),当i=1时,赤字带宽为0;当i≥2时,赤字带宽为其中,r为流媒体文件的回放速率,nk表示观看影片Mk的节点个数,Pk表示观看影片Mk当前活动节点集合,表示当前节点i总的下载速率,
Figure BDA0000374321830000034
表示当前节点j总的下载速率,uj表示节点j的最大上传速率。
进一步的,所述将该流媒体文件Mi复制到所述候选节点上的方法为:如果第一个候选节点存储空间足够缓存该流媒体文件Mi,则把整个流媒体文件Mi放置到此候选节点上,如果第一个候选节点的存储空间不够,则首先在第一个候选节点上缓存,将剩余部分依次序缓存到后续的候选节点上。
进一步的,当节点Pi请求下载一流媒体文件时,只有比Pi请求早的节点才可以上传数据给Pi;当该节点Pi从比它请求早的节点中下载该流媒体文件时,不能大于它的请求回放速率,除非Pi的观影请求速率能完全被当前晚到的这个节点所满足时,比Pi请求晚的节点才能用于上传数据。
进一步的,当节点观看某一流媒体文件时,该节点先检查该流媒体文件是否存在节点的本地缓存中,如果存在则不做任何替换;如果未在本地缓存,则计算本地缓存的每个流媒体文件所期望副本个数,然后再计算缓存每个流媒体文件的当前观看节点的所实际拥有的副本个数,得出当前观看节点实际拥有的副本个数和期望的副本个数之比,然利用替换掉本地缓存中比值最大的这个流媒体文件。
进一步的,流媒体文件所期的副本个数
Figure BDA0000374321830000035
的计算公式为:其中,ni表示观看该流媒体文件的第i个节点,Di(ni)表示该流媒体文件Mi的期望的赤字带宽,N表示节点总共的个数。
进一步的,所述候选节点的选取方法为:计算P2P流媒体系统中节点的存储容量值,并进行归一化处理;然后计算该节点的最大上传速率,最大下载速率,并进行归一化处理;最后将该节点的存储容量值、最大传速率和最大下载速率进行加权求和,得到该节点的综合性能值;根据节点的综合性能值选取出所述候选节点。
进一步的,计算节点的综合性能值W的公式为: W = ∂ × u j Σ M u j - β × d j Σ M d j + η × S j Σ M S j + ξ 1 J jq Σ M J jq ; 其中, ∂ + β + η + ξ = 1 ,
Figure BDA0000374321830000043
0≤β≤1、0≤η≤1,0≤ξ≤1,uj表示节点j的最大上传速率,Si表示节点j的存储容量,dj表示节点j的最大下载速率,Jjq表示请求节点q与系统中节点j之间的跳数。M是存储在服务器节点S上的影片总数。
本发明的主要内容包括:
(一)副本复制方法:如图1所示,系统每隔一定时间间隔δ,就从高到低对节点进行综合性能排序,初始进行节点综合性能排序阶段,
Figure BDA0000374321830000044
β,η,ξ的值分别等于0.2,0.2,0.4,0.2;把这些节点作为候选节点。
先评估系统总的可以利用的存储空间的大小,从跟踪日志节点处获得其值;再计算将要变热的每个流媒体文件的期望的存储空间大小;然后,比较系统总的可以利用的存储空间和将要变热的每个流媒体文件的期望的存储空间的大小,如果系统总的可以利用的存储空间大于将要变热的每个流媒体文件的期望的存储空间,赋期望存储空间值给每个流媒体文件,做为它的存储空间大小,并把它复制到当前这些可以利用的节点上;否则,对于每个流媒体文件的赋其与副本最优速率相近的缓存空间大小。然后复制到在综合性能比较好的候选节点上。
方法中共用的符号说明:
PA:表示当前活动节点集合,A标识这些节点是活动节点。
Pk:表示当前观看影片Mk的活动节点的集合,Mk表示第k个影片。
Figure BDA0000374321830000045
表示当前正节点i总的下载速率,其中字母c标识节点是当前节点,即此节点当前正在观看流媒体文件。
Figure BDA0000374321830000046
表示复制节点i总的下载速率,其中字母r标识节点是复制节点,即此节点的缓存中部分或者全部缓存了流媒体文件。
M={M1,...,Mk}:是存储在服务器节点S上的影片的集合。
r:表示流媒体文件的回放速率。
nk:表示观看影片Mk的节点个数。
A)流媒体文件Mk的期望的赤字带宽E(Dk(nk))计算方法为:
首先节点pi的下载速率由当前节点,复制节点,和服务器节点S决定。当前节点是活动节点,也就是当前正在观看流媒体文件的节点,复制节点可以是活动节点,也可以是不活动节点,但复制节点必须部分或者全部缓存流媒体文件在其本地缓存中,可以为别的当前活动的节点提供流媒体文件资源,而服务器节点是存储原始流媒体文件的节点,是网络中的一个特殊节点,只能上传数据给别的节点,不能从别的节点那里下载资源。
Figure BDA0000374321830000051
表示当前节点i总的下载速率,
Figure BDA0000374321830000052
表示复制节点i总的下载速率,如果
Figure BDA0000374321830000053
低于流媒体文件的回放速率,则服务器节点需要填补
Figure BDA0000374321830000054
去满足服务的质量。为简单起见,本发明用
Figure BDA0000374321830000055
Figure BDA00003743218300000511
作为从服务器节点S给节点Pi补充的上传速率。服务器节点S上传带宽消耗的期望函数表示为U,数学表达式为:
Figure BDA0000374321830000056
(参考文献Wu W,LuiJC S.Exploring the optimal replication strategy in p2p-vod systems:Characterization andevaluation[J].IEEE Transactions on,Parallel and Distributed Systems,2012,23(8):1492-1503),基于节点调度策略,在大规模的P2P系统中,给出当前节点的数量,则服务器节点的期望的上传带宽近似为U:
Figure BDA0000374321830000057
(参考文献Wu W,Lui J CS.Exploring the optimal replication strategy in p2p-vod systems:Characterization andevaluation[J].IEEE Transactions on,Parallel and Distributed Systems,2012,23(8):1492-1503),其中Rk是来自于所有复制节点的,但可贡献于流媒体文件Mk的最大上传带宽之和。同时对于流媒体文件Mk,本发明定义赤字带宽为: D k ( n k ) = Σ i ∈ P k ( r - d i c ) = Σ i ∈ P k ( d i r + d i s ) , (参考文献Wu W,Lui J C S.Exploring theoptimal replication strategy in p2p-vod systems:Characterization and evaluation[J].IEEETransactions on,Parallel and Distributed Systems,2012,23(8):1492-1503),本发明用E(Dk(nk))表示在Pk中有nk个当前节点的期望的赤字带宽。如:有nk个当前节点时,当前节点的赤字带宽就是请求的回放速率与当前节点提供的总的下载速率之差。于是把当前节点的赤字带宽Dk(nk)的公式代入 U ≈ Σ k ∈ M [ E ( Σ i ∈ P k ( r - d i c ) - R k ) ] + 得: U = Σ k ∈ M [ D k ( n K ) - R k ] + , 此式就是当前节点的赤字带宽和服务器的上传带宽消耗之间的关系。根据这个关系,本发明找到一个复制算法确定Rk,使得U最小,所以当节点调度策略满足序列性和贪婪性时,赤字带宽可这样迭代计算:
Figure BDA0000374321830000061
(本发明就是计算所有的当前观看某流媒体文件的节点的赤字带宽)当i=1时,赤字带宽为0;当i≥2时,赤字带宽为
Figure BDA0000374321830000062
直观的看,如果没有副本,即就是
Figure BDA0000374321830000066
等于0,对于流媒体文件Mk来说,Dk(nk)就是服务器节点S的上传带宽消耗。迭代算出赤字带宽以后,需要求出他的期望值E(Di(ni))。E(Di(ni))的计算方法为:知道节点的上传速率分布,本发明就可以求出其期望的赤字带宽。同时
Figure BDA0000374321830000063
既是流媒体文件Mi的赤字带宽与所有流媒体文件赤字带宽之比也是流媒体文件Mi的最佳复制比例。
B)将要变热的每个流媒体文件Mi期望的存储空间的计算方法为:
Σ K { E ( D i ( n i ) ) × l ( s ) }
这里每个流媒体文件Mi的期望的赤字带宽乘以每个流媒体文件Mi的时间长度,就可以得到每个流媒体文件Mi的大小,单位为Kbit,再把所有的流媒体文件的大小求和,就是将要变热的流媒体文件总共期望的存储空间大小。
E(Di(ni)):表示流媒体文件Mi的期望的赤字带宽。
l(s):流媒体文件的播放时间长度,单位为秒(s)。
这里把将要变热的每个流媒体文件Mi的期望的存储空间的大小和系统总的可以利用的存储空间要进行比较,如果系统总的可以利用的存储空间大于将要变热的每个流媒体文件的期望的存储空间,赋期望存储空间值给每个流媒体文件,做为它的存储空间大小;否则,对于每个流媒体文件的赋其与副本最优速率相近的缓存空间大小。
C)将要变热的流媒体文件流行度的算法为:
本文定义的流媒体文件的流行度的计算方法为:
popularity = T sum T last - T first × min { 1 , ( T last - T first ) / N T C - T last } × E ( D i ( n i ) ) Σ k E ( D k ( n k ) ) H
Tfrist:媒体文件第一次被访问的时间;
Tlast:媒体文件最近一次被访问的时间当媒体对象第一次被访问时Tfrist=Tlast
Tsum:媒体文件被访问的总时间长度;
N:媒体文件被访问的次数;
Tc:当前时间;
H:是当前节点中某个媒体对象被缓存的数据量即磁盘存储成本。
Figure BDA0000374321830000071
是流行的流媒体文件Mi的赤字带宽与所有流媒体文件赤字带宽之和之比。
把计算的流媒体文件的流行度值,按照从大到小顺序进行排列,选择流行度高的前B%的值看作是变热的,即流行的流媒体文件Mi,对他们进行复制。
D)候选节点排序时,综合性能比较高的节点选择标准:
就是在上传速率,下载速率,存储容量以及请求节点与当前节点之间的跳数这四个指标之间找到一个合适的比例,计算P2P流媒体系统中节点的存储容量值,并进行归一化处理;然后计算该节点的最大上传速率,最大下载速率,并进行归一化处理;再后选取请求节点与系统中节点j之间的跳数,并进行归一化处理,最后将该节点的存储容量值、最大传速率和最大下载速率,请求节点与系统中节点j之间的跳数进行加权求和,得到该节点的综合性能值;根据节点的综合性能值选取出所述候选节点。根据其比重的不同,可以使本发明的方法有一定的倾向性。计算方法为:
W = ∂ × u j Σ M u j - β × d j Σ M d j + η × S j Σ M S j + ξ 1 J jq Σ M J jq
约束条件为:
Figure BDA0000374321830000073
Figure BDA0000374321830000074
0≤β≤1,0≤η≤1,0≤ξ≤1
W:系统中每个节点综合性能。
uj:表示节点j的最大上传速率。
Si:表示节点j的存储容量。
dj:表示节点j的最大下载速率。
Jjq:表示请求节点q与系统中节点j之间的跳数。
M:是存储在服务器节点S上的影片总数。
β,η,ξ:分别为加权的权值,根据实际网络情况对其进行调整。
结果判断:W的值越大说明节点的综合性能越好,如果W出现负值,说明这个节点的下载速率大于上传速率和存储容量之和,是个单纯的消耗节点,不能提供很好的上传服务,因而不利于作为复制候选节点。如果所有节点的综合性能指标都是负值的话,就放弃此次排序,再重新计算和排序。
(二)副本替换方法:
如图2所示,对任何开始观看一个新流媒体文件的节点来说,先检查这个流媒体文件是否存在于本地节点的缓存中,如果存在就不做任何替换,如果未在本地缓存中存储,则对于已经存在于本地缓存中的任何流媒体文件,计算缓存中已存在的每个流媒体文件的所期望的副本个数,然后再计算缓存中已存在的每个流媒体文件的当前副本个数,得出当前副本个数与期望的副本个数之比,把此比值称之为满意度指标SIi。替换掉满意度指标SIi值最大的那个流媒体文件,这就是替换算法。这个算法的主要思想就是保持副本与赤字带宽合理的比例,因为赤字带宽之比接近最优复制比例。当SIi大于1时,表示流媒体文件的当前拥有的副本多于期望的副本个数,若SIi小于1表示当前拥有的副本的数量低于期望的副本个数,SIi等于1表示当前拥有的副本数量和期望的值相符合。因此,在算法的每一次循环中,就要从本地缓存中的流媒体文件中替换掉SIi值最大的流媒体文件。计算已存在于缓存中的每个流媒体文件的所期望的副本个数
Figure BDA0000374321830000081
的计算公式为:
N i exp = [ E ( D i ( n i ) ) N ] / Σ k E ( D k ( n k ) )
缓存中已存在的每个流媒体文件的当前副本个数
Figure BDA0000374321830000083
是由跟踪日志节点统计记录的。然后再计算每个流媒体文件的满意度指标SIi为:
SI i = N i cur / N i exp
Figure BDA0000374321830000085
已存在于缓存中的每个流媒体文件的所期望的副本个数,exp标识期望值;
缓存中已存在的每个流媒体文件的当前副本个数,cur标识当前值;
SIi:每个流媒体文件的副本个数的满意度指标;
N:表示系统中节点总个数。
(三)节点调度策略:
节点调度策略包括两个方面,从下载者的角度看:节点需要决定请求的数据从哪个节点请求的数据;从上传者的角度看:当节点收到多个需求的时候,它需要决定上传数据到哪个节点。通常一个节点的请求数据可以来源于由正在观看此流媒体文件的当前节点,没有观看此流媒体文件但缓存有此流媒体文件在本地缓存的复制节点,和服务器节点S,服务器节点S是一个用于存储原始流媒体文件的节点。为了保证质量,每个节点需要以流媒体文件的播放速率下载流媒体文件。在此发明中,本发明假设观看流媒体文件是顺序的从头到尾的。在此节点调度策略中,节点首先从当前节点中寻求帮助,如果当前节点不满足要求,则从复制节点寻求帮助,如果复制节点还不能满足要求,再从服务器节点寻找帮助来满足要求。比起复制节点可能缓存部分流媒体文件的特点,本发明更愿意从当前节点获取资源。只要满足两个特征,1)顺序性:只有比Pi请求早的节点才可以上传数据给Pi。2)贪婪性:Pi尽可能的从比它早到节点中下载数据,但是不能大于Pi它的请求回放速率,比Pi请求晚的节点不能用于上传数据,除非Pi的观影请求速率能完全被当前晚的这个节点所满足。由于节点的异构性,序列性将适用于所有视频点播系统。而贪婪特性可以确保在一个大组群中的当前节点的合作的最大化。总之贪婪策略就是允许节点下载数据从比它早请求的节点上。
从一个上传者角度来说,它可能同时接受多个下载请求,在本发明的发明中,当前节点有高的优先级上传正在观看的流媒体文件到别的请求观看此流媒体文件的节点的缓存中去,仅仅当它的上传带宽不能满足所观看的流媒体文件的请求速率时,当前观看流媒体文件的节点才从其他节点获得数据。对于不活动节点,但是某个流媒体文件存储在它的本地缓存中,因此它属于复制节点,它将上传数据给观看任何此流媒体文件的节点。
本发明的优点和效果:
本发明提出了一种基于流行度的P2P流媒体复制方法,流行度比目前常用的流行度计算方法更加的有效,同时通过系统的可利用的存储空间与将要变热的每个流媒体文件的期望的存储空间的比较来解决网络中的将要变热的流媒体文件的复制的问题。这种方法最大的优点就是:按照最优复制比例来复制副本,从而可以避免网络赤字带宽瓶颈,提高系统性能。还提出了综合性能比较高的节点的判断方法,这种方法可以根据
Figure BDA0000374321830000091
β,η三个性能加权值的分配来动态选择更注重节点性能中的那一方面。最后,基于这种复制方法,描述了基于这种方法的网络节点调度策略,此调度策略符合顺序性和贪婪性,因此使用面积广,适应性强。
附图说明
图1为副本复制方法流程图;
图2为流媒体文件替换方法流程图。
具体实施方式
1)替换方法的实施方案:
用仿真的方法来实现此方案,
(1)系统包含N=10000个当前节点,节点的上传带宽遵循节点上传带宽分布:如表1所示:
表1节点的上传带宽分布
带宽(kbps) 768 384 256 128
占有 50% 30% 5% 15%
由表1可知,其上传带宽分布的平均值是531kbps.
(2)系统提供250个不同的流媒体文件,每个流媒体文件的回放速率是r=500Kbps。
(3)流媒体文件的流行度为popularity。
(4)在算法的每一次循环中,当前节点请求一个流媒体文件,当循环转换时,流媒体文件也转换。
实施的步骤为:
第一步:对任何开始观看一个新流媒体文件的节点Pi;
第二步:判断此流媒体文件是不是存在本地缓存中;
第三步:如果在,方法不去替换本地缓存中的任何流媒体文件;
第四步:如果不在,对于本地缓存中的每个流媒体文件,计算缓存中的每个流媒体文件所期望的的副本个数
Figure BDA0000374321830000101
第五步:再从跟踪日志节点处获取缓存在本地缓存中的每个流媒体文件的当前实际的副本个数
Figure BDA0000374321830000102
第六步:计算每个流媒体文件的副本个数的满意度指标SIi
第七步:替换满意度指标值SIi最大的流媒体文件。
2)副本复制方法的实施方案:
(1)系统有5000当前节点和5000个复制节点。
(2)流媒体文件的回放速率是r=1.0Mbps。
(3)原始有249个服从流行度popularity的流媒体文件。
实施的步骤为:
第一步:系统每隔一定时间间隔δ,就从高到低对节点进行综合性能排序,初始进行节点综合性能排序阶段,
Figure BDA0000374321830000113
β,η,ξ的值分别等于0.2,0.2,0.4,0.2;把这些节点作为候选节点。
第二步:评估系统总的可以利用的存储空间的大小,从跟踪日志节点处获得其值;
第三步:计算将要变热的每个流媒体文件的期望的存储空间之和为:
Σ K { E ( D i ( n i ) ) × l ( s ) } ;
第四步:比较系统总的可以利用的存储空间和将要变热的每个流媒体文件的期望的存储空间的大小,如果系统总的可以利用的存储空间大于将要变热的每个流媒体文件的期望的存储空间,赋期望存储空间值给每个流媒体文件,做为它的存储空间大小,具体的放置方法为:先由跟踪日志节点处获取节点的可以利用的存储空间大小,然后和每个将要放置的流媒体文件的存储空间大小进行比较,若节点的存储空间大于将要放置的流媒体文件需要的存储空间,并对他们进行做差运算,选取差值最小的那个节点作为存放每个流媒体文件的节点;如果所有节点的可以利用的存储空间的大小都小于将要放置的流媒体文件的存储空间的大小,则从大到小依次放置。然后如果系统总的可以利用的存储空间小于将要变热的每个流媒体文件的期望的存储空间,则为每个流媒体文件,赋予和副本最优速率相同的缓存空间大小:
Figure BDA0000374321830000112
第五步:把每个流媒体文件复制到候选节点上,如果第一个候选节点存储空间足够缓存这个流媒体文件的话,就把整个流媒体文件放置到此候选节点上,如果第一个候选节点的存储空间不够的话,就部分缓存到第一个候选节点上,不够的部分依次序缓存到后面的候选节点上。如果整个系统中存储空间都不够,就需要对系统中的所有候选节点重新进行η参数的调整,调整的范围从存储空间不够时的η=0.4开始到1结束,在0.4到1的范围内平均分成3段,分别用0.6,0.8,1作为η的参数值重新进行排序直到有足够的存储空间存储副本为止,若η参数等于1,还没有足够的存储空间,就放弃此次复制。

Claims (9)

1.一种基于流行度的P2P流媒体复制方法,其步骤为:
1)从P2P流媒体系统中选取若干节点作为候选节点;
2)统计P2P流媒体系统中每个流媒体文件的长度及其期望的赤字带宽,计算流媒体文件的流行度,根据流媒体文件的流行度值确定出将要变热的流媒体文件Mi
3)计算当前观看这些流媒体文件Mi的节点的总的可利用存储空间的大小,以及这些流媒体文件Mi所期望的存储空间之和的大小;如果该可利用存储空间大于该期望的存储空间,则以E(Di(ni))×l(s)大小的存储空间复制这些流媒体文件Mi到这些可利用的节点上,否则以
Figure FDA0000374321820000011
乘以P2P流媒体系统当前所有观看节点总的可利用存储空间的大小复制该流媒体文件Mi到所述候选节点上;其中,
l(s)为流媒体文件的播放时间长度,E(Di(ni))是流媒体文件Mi的赤字带宽,∑kE(Dk(nk))是所有k个流媒体文件期望的赤字带宽之和。
2.如权利要求1所述的方法,其特征在于计算每个流媒体文件的流行度的公式为 popularity = T sum T last - T first × min { 1 , ( T last - T first ) / N T C - T last } × E ( D i ( n i ) ) Σ k E ( D k ( n k ) ) H ; 其中,Tfrist为流媒体文件第一次被访问的时间,Tlast为流媒体文件最近一次被访问的时间,Tsum为流媒体文件被访问的总时间长度,N为流媒体文件被访问的次数,Tc为当前时间,H为当前节点中某个媒体对象被缓存的数据量,判断流行文件的方法为把计算的流媒体文件的流行度值,按照从大到小顺序进行排列,选择流行度高的前B%的流媒体文件看作是要变热的,即流行的流媒体文件Mi,对他们进行复制,其中1≤B≤100,B是整型变量。
3.如权利要求1或2所述的方法,其特征在于根据公式
Figure FDA0000374321820000013
计算节点的可利用赤字带宽Dk(nk),当i=1时,赤字带宽为0;当i≥2时,赤字带宽为
Figure FDA0000374321820000014
其中,r为流媒体文件的回放速率,nk表示观看影片Mk的节点个数,Pk表示观看影片Mk当前活动节点集合,
Figure FDA0000374321820000015
表示当前节点i总的下载速率,
Figure FDA0000374321820000016
表示当前节点j总的下载速率,uj表示节点j的最大上传速率。
4.如权利要求1所述的方法,其特征在于所述将该流媒体文件Mi复制到所述候选节点上的方法为:如果第一个候选节点存储空间足够缓存该流媒体文件Mi,则把整个流媒体文件Mi放置到此候选节点上,如果第一个候选节点的存储空间不够,则首先在第一个候选节点上缓存,将剩余部分依次序缓存到后续的候选节点上。
5.如权利要求1所述的方法,其特征在于,当节点Pi请求下载一流媒体文件时,只有比Pi请求早的节点才可以上传数据给Pi;当该节点Pi从比它请求早的节点中下载该流媒体文件时,不能大于它的请求回放速率,除非Pi的观影请求速率能完全被当前晚到的这个节点所满足时,比Pi请求晚的节点才能用于上传数据。
6.如权利要求1所述的方法,其特征在于,当节点观看某一流媒体文件时,该节点先检查该流媒体文件是否存在节点的本地缓存中,如果存在则不做任何替换;如果未在本地缓存,则计算本地缓存的每个流媒体文件所期望副本个数,然后再计算缓存每个流媒体文件的当前观看节点的所实际拥有的副本个数,得出当前观看节点实际拥有的副本个数和期望的副本个数之比,然利用替换掉本地缓存中比值最大的这个流媒体文件。
7.如权利要求6所述的方法,其特征在于流媒体文件所期的副本个数
Figure FDA0000374321820000021
的计算公式为:其中,ni表示观看该流媒体文件的第i个节点,Di(ni)表示该流媒体文件Mi的期望的赤字带宽,N表示节点总共的个数。
8.如权利要求1所述的方法,其特征在于所述候选节点的选取方法为:计算P2P流媒体系统中节点的存储容量值,并进行归一化处理;然后计算该节点的最大上传速率,最大下载速率,并进行归一化处理;再后选取请求节点与系统中节点j之间的跳数,并进行归一化处理,最后将该节点的存储容量值、最大传速率和最大下载速率,请求节点与系统中节点j之间的跳数进行加权求和,得到该节点的综合性能值;根据节点的综合性能值选取出所述候选节点。
9.如权利要求8所述的方法,其特征在于计算节点的综合性能值W的公式为:
W = ∂ × u j Σ M u j - β × d j Σ M d j + η × S j Σ M S j + ξ 1 J jq Σ M J jq ; 其中, ∂ + β + η + ξ = 1 ,
Figure FDA0000374321820000025
0≤β≤1、0≤η≤1,0≤ξ≤1,uj表示节点j的最大上传速率,Si表示节点j的存储容量,dj表示节点j的最大下载速率,Jjq表示请求节点q与系统中节点j之间的跳数。M是存储在服务器节点S上的影片总数。
CN201310385411.2A 2013-08-29 2013-08-29 一种基于流行度的p2p流媒体复制方法 Expired - Fee Related CN103458315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310385411.2A CN103458315B (zh) 2013-08-29 2013-08-29 一种基于流行度的p2p流媒体复制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310385411.2A CN103458315B (zh) 2013-08-29 2013-08-29 一种基于流行度的p2p流媒体复制方法

Publications (2)

Publication Number Publication Date
CN103458315A true CN103458315A (zh) 2013-12-18
CN103458315B CN103458315B (zh) 2016-05-11

Family

ID=49740202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310385411.2A Expired - Fee Related CN103458315B (zh) 2013-08-29 2013-08-29 一种基于流行度的p2p流媒体复制方法

Country Status (1)

Country Link
CN (1) CN103458315B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462589A (zh) * 2014-03-04 2017-02-22 摩博菲乐有限公司Dba摩博莱 动态缓存器分配和网络管理
CN113490046A (zh) * 2021-07-05 2021-10-08 湖南快乐阳光互动娱乐传媒有限公司 一种视频数据多源缓存的方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101184021A (zh) * 2007-12-14 2008-05-21 华为技术有限公司 一种实现流媒体缓存置换的方法、设备及系统
CN101304385A (zh) * 2008-07-09 2008-11-12 南京邮电大学 一种大型对等网络流媒体系统的改进方法
CN101645921A (zh) * 2009-04-17 2010-02-10 中国科学院声学研究所 一种片段流行度的更新方法
CN101645919A (zh) * 2009-04-01 2010-02-10 中国科学院声学研究所 一种基于流行度的副本等级计算方法及其副本放置方法
US20120297432A1 (en) * 2011-05-19 2012-11-22 The Chinese University Of Hong Kong Replication decision in p2p vod systems
CN102833163A (zh) * 2012-08-23 2012-12-19 桂林电子科技大学 对等网络流媒体点播服务质量保证方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101184021A (zh) * 2007-12-14 2008-05-21 华为技术有限公司 一种实现流媒体缓存置换的方法、设备及系统
CN101304385A (zh) * 2008-07-09 2008-11-12 南京邮电大学 一种大型对等网络流媒体系统的改进方法
CN101645919A (zh) * 2009-04-01 2010-02-10 中国科学院声学研究所 一种基于流行度的副本等级计算方法及其副本放置方法
CN101645921A (zh) * 2009-04-17 2010-02-10 中国科学院声学研究所 一种片段流行度的更新方法
US20120297432A1 (en) * 2011-05-19 2012-11-22 The Chinese University Of Hong Kong Replication decision in p2p vod systems
CN102833163A (zh) * 2012-08-23 2012-12-19 桂林电子科技大学 对等网络流媒体点播服务质量保证方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨戈,刘宏,樊秀梅: "P2P的流媒体复制技术综述", 《小型微型计算机系统》, vol. 33, no. 8, 31 August 2012 (2012-08-31) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462589A (zh) * 2014-03-04 2017-02-22 摩博菲乐有限公司Dba摩博莱 动态缓存器分配和网络管理
CN113490046A (zh) * 2021-07-05 2021-10-08 湖南快乐阳光互动娱乐传媒有限公司 一种视频数据多源缓存的方法、装置、设备和存储介质
CN113490046B (zh) * 2021-07-05 2022-06-07 湖南快乐阳光互动娱乐传媒有限公司 一种视频数据多源缓存的方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN103458315B (zh) 2016-05-11

Similar Documents

Publication Publication Date Title
EP2039158B1 (en) Performance aware peer-to-peer video-on-demand
CN101841556B (zh) Cdn-p2p网络中放置资源副本的方法及系统
US7627549B1 (en) Methods and systems for transferring data over electronics networks
CN101741884B (zh) 一种分布式存储方法和装置
JP5020316B2 (ja) パフォーマンスを意識したピアツーピアビデオオンデマンドの許可制御
Zhang et al. Proactive video push for optimizing bandwidth consumption in hybrid CDN-P2P VoD systems
FR3032580A1 (fr) Ajustement dynamique du mode de transmission dans un systeme de communication satellite
Liu et al. MEC-assisted flexible transcoding strategy for adaptive bitrate video streaming in small cell networks
CN111263229A (zh) 一种视频分发方法、装置及电子设备
CN101605242B (zh) 用于实现视频点播服务的方法、装置和系统
CN103458315B (zh) 一种基于流行度的p2p流媒体复制方法
Li et al. Challenges, designs, and performances of large-scale open-P2SP content distribution
CN104967868B (zh) 视频转码方法、装置和服务器
Xu et al. Exploring the policy selection of the P2P VoD system: A simulation-based research
CN102609508A (zh) 一种面向网络存储的文件高速访问方法
Ling et al. An adaptive caching algorithm suitable for time-varying user accesses in VOD systems
Shen et al. Toward efficient short-video sharing in the YouTube social network
Asioli et al. A game theoretic approach to minimum-delay scalable video transmission over P2P
Maher et al. A cache-enabled device-to-device approach based on deep learning
Abboud et al. Advanced prefetching and upload strategies for P2P video-on-demand
Xu Performance modeling of bittorrent peer-to-peer file sharing networks
Zhao et al. Modeling the effect of user interactions on mesh-based P2P VoD streaming systems
CN107609039B (zh) 基于cdn的热门影片在近端缓存服务器的空间分配方法
Shen et al. ISP-friendly P2P live streaming: a roadmap to realization
Liu et al. Reducing Video Transmission Cost of the Cloud Service Provider with QoS-Guaranteed

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160511

Termination date: 20160829

CF01 Termination of patent right due to non-payment of annual fee