CN101304437A - 具有高播放连续度的p2p流媒体系统的设计方法 - Google Patents
具有高播放连续度的p2p流媒体系统的设计方法 Download PDFInfo
- Publication number
- CN101304437A CN101304437A CNA200810122907XA CN200810122907A CN101304437A CN 101304437 A CN101304437 A CN 101304437A CN A200810122907X A CNA200810122907X A CN A200810122907XA CN 200810122907 A CN200810122907 A CN 200810122907A CN 101304437 A CN101304437 A CN 101304437A
- Authority
- CN
- China
- Prior art keywords
- data
- node
- fragmentation
- data fragmentation
- urgent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000006062 fragmentation reaction Methods 0.000 claims abstract description 90
- 238000013461 design Methods 0.000 claims abstract description 10
- 238000013467 fragmentation Methods 0.000 claims description 87
- 210000005036 nerve Anatomy 0.000 claims description 15
- 238000012544 monitoring process Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 3
- 238000000205 computational method Methods 0.000 claims description 3
- 230000007812 deficiency Effects 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 230000002950 deficient Effects 0.000 claims description 2
- 230000000644 propagated effect Effects 0.000 claims description 2
- 238000013500 data storage Methods 0.000 abstract 1
- 238000012423 maintenance Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
一种具有高播放连续度的P2P流媒体系统的设计方案,包括步骤:1.组织DHT,将系统中所有结点按照DHT的方法分布式地组织到一个P2P覆盖网上;2.有目的的数据存储,即让每个结点存储k个数据分片,k是一个较小的常数,所存储的数据分片id与结点的ID密切相关;3.数据调度算法;4.数据预取算法;5.结束。本发明与现有技术相比,其显著优点是:它是纯分布式的方法,实现起来十分简单并且可以方便地嵌入到现有P2P流媒体系统中,它能使系统中每个结点维持稳定的高播放连续度,并且带来的额外开销非常低。
Description
一、技术领域
本发明涉及一种具有高播放连续度的P2P流媒体系统的设计方法,它的使用具有能使系统以较低的额外开销保持高播放连续度的效果。
二、背景技术
目前,基于Gossip协议的P2P流媒体系统已成为P2P流媒体系统的主流。例如:Journal of Software,2006,18(2):391-399(软件学报,2006-18(2):391-399)公开了一种基于P2P(peer-to-peer)网络的大规模视频直播系统GridMedia.该系统采用Gossip协议构建无结构的应用层覆盖网络,每个节点可以独立地选择自己的伙伴节点。在覆盖网络上,每个节点通过一种推拉结合的流传输策略从邻居节点获取数据。
虽然改进的Gossip协议能更为明智地获取数据,但它并不能够克服Gossip协议固有的缺点:数据传播的随机性与不确定性,因此,很难保证从媒体数据源发布的每个数据分片能按时传播到每个结点,导致当前基于Gossip协议的P2P流媒体系统普遍存在着播放连续度较低的问题。播放连续度一般被认为是一个流媒体系统最重要的属性,不连续的播放效果往往要比低数据率造成的低画质效果要更损害观看体验。目前,未见有效保持P2P流媒体系统高播放连续度的设计方案。
三、发明内容
本发明目的是:提出一种具有高播放连续度的P2P流媒体系统的设计方案,通过采用基于DHT(Distributed Hash Table即分布式哈希表,一种分布式存储方法)的数据预取方法来弥补Gossip协议数据传播随机性的缺陷,从而设计出一个具有高播放连续度的P2P流媒体系统。
为实现上述目的,本发明的技术方案是:一种具有高播放连续度的P2P流媒体系统的设计方法案,包括以下步骤:
1、组织DHT,将系统中所有结点按照DHT的方法分布式地组织到一个P2P覆盖网上;
2、有目的的数据存储,即让每个结点存储k个数据分片,k是一个较小的常数,所存储的数据分片id与结点的ID密切相关;
3、数据调度算法,即每个结点从其建立连接的网络邻居中周期性地获取数据可用性信息,从而规划数据分片的获取过程;
4、数据预取算法,即系统中每个结点不断预测哪些数据分片很可能被数据调度算法遗漏,如果有认为遗漏的数据分片,就启动数据预取算法快速查找并获得它们,从而保证连续播放;
5、结束,当流媒体播放结束时终止整个过程。
步骤(1)中,所述DHT包括:
(1)连接邻居包含无结构P2P覆盖网上M个邻居;当前结点与这M个邻居建立TCP连接,周期性的数据交换仅发生在当前结点和其连接邻居之间;如果当前结点发现某个邻居已失效或者给自己提供的数据很少,即相比于其它邻居平均提供给自身的数据量不到五分之一,就从监听结点中选取时延最小的结点来替换这个邻居;
(2)DHT结点包含logN个按层排列的DHT结点;N是覆盖网最多能容纳的结点个数;对于某个结点n来说,n是该结点的ID,它的第i层DHT结点唯一需要满足的条件是必须落在区间[n+2i-1,n+2i)中,所有结点的ID均是模N后的结果;所有的DHT结点周期性地用监听结点来更新;
(3)监听结点包含H个最近监听到的网络结点;每个结点不断地监听经过自身的路由消息,用路由消息中的结点信息更新监听结点的信息;连接邻居和DHT结点都是根据监听结点来更新的,而监听结点是通过本地监听来更新。
所述步骤(2)中,对一个结点n,设其在DHT中最近的结点是n1,则n最终需要在其按需数据备份中保存id符合如下公式的数据:hash(id×i)%N∈[n,n1),i=1,2,Λk.,hash()是一个普通的安全散列函数,%代表取模操作,这样每个数据分片最终会备份在k个不同的结点中;
结点n想离开系统,它首先找到逆时针方向离n最近的结点,然后将自身数据备份中的数据移交给n′来保存n′,所述逆时针是指系统中各个节点构成的环状网络的逆时针。
步骤(3)中,规划数据分片的获取过程:
综合考虑每个数据分片的紧迫性与稀缺性,通过公式(1)到(3)计算出每个数据分片的获取优先权:
首先计算数据分片Di的紧迫性:
将数据分片Di的稀缺性理解为Di在其所有提供者的缓存中都被替换掉的概率:
数据分片Di的获取优先权:priorityi=max{urgencyi,rarityi} (3)
计算出每个数据分片的获取优先权后,数据调度器将需要获取的数据分片按优先权降序排列,获取数据分片按此优先权顺序;
上述Ri是数据分片Di的最大获取速率、idi数据分片Di的id、idplay是当前正在播放的数据分片的id、ti是数据分片Di的过期时间、是从第j个提供者那里获取Di的速率、urgencyi是数据分片Di的紧迫性、rarityi是数据分片Di的稀缺性、priorityi是数据分片Di的获取优先权、B是缓存大小、p是每秒播放的数据分片数目、是数据分片Di在第j个提供者的缓存中的位置。
所述步骤(4)中,数据预取算法的流程:
设被预测为遗漏的数据分片是D1,D2,Λ,Dm,对每个数据Di,首先需要定位到k个,也可能不足k个,备份了Di的结点,然后选择能以最大发送速率传送Di的结点作为Di的预取提供者;
当结点n向一个应当备份Di的结点n0索取Di时,有可能n0也没有获得Di,这个概率记为Pfail,一般认为n和n0有等价的概率获得Di,所以平均来说 那么n从k个应当备份Di的结点处都不能获得Di的概率是这个概率是相当低的,所以绝大多数情况下遗漏数据的预取操作都能成功。
数据预取算法包含了一套称为“紧迫界线”的机制让每个结点动态、自适应地预测可能被数据调度算法遗漏的数据分片,有效地避免不必要的数据预取操作,所述“紧迫界线”的机制的基本工作原理是,
缓存中的数据分片被紧迫界线分成两部分,即紧迫部分和不急于获取部分;仅是紧迫部分的尚未获得的分片被预测为可能遗漏;
紧迫界线机制的基本公式:idurgent=idhead+α×B
所有尚未获得的id小于idurgent的数据分片都被预测为遗漏数据,它们的总数目为Nmiss,根据Nmiss与参数l的关系,数据预取算法采取不同行为:
情形1:如果Nmiss=0,不需要启动数据预取算法;
情形2:如果Nmiss≤l,启动数据预取算法并行获取所有遗漏的数据分片;
情形3:如果Nmiss>l,不启动数据预取算法;
上述α是缓存的紧迫比率、B是缓存大小、idhead是缓存头部的数据分片的id、idurgent是紧迫界线对应的数据分片的id、Nmiss是被预测为遗漏的数据分片数目、1是数据预取算法在一个调度周期中最多能获取1个遗漏分片。
参数α的计算方法:
在一个调度周期τ中,数据预取算法必须为按期获得遗漏分片的过程分配足够的时间,也就是说必须满足α×B>p×τ和α×B>p×tfetch,即 这就是α的下限和初始值。随着时间的推移,在出现下面两种情况时α需要被动态更新:
情形1——数据过期:如果发现有预取的数据获得时已经过期,说明为预取操作分配的时间不足,因此必须增加缓存紧迫数据的比例,
情形2——数据重复:如果发现有预取的数据和数据调度算法按期取得的数据重复,说明预测为遗漏的数据比例过大,因此必须减少缓存紧迫数据的比例, 其中thop为路由一跳的时间估计值,tfetch为一次预取操作的时间估计值。
所述步骤(4)中预测可能被数据调度算法遗漏的数据分片按照上述的“紧迫界限”机制进行。
本方法首先将系统结点组织到一个轻量级的混合式P2P覆盖网上,此覆盖网组合了无结构P2P覆盖网和结构化P2P覆盖网,结构化P2P覆盖网也就是用来实现高效数据定位的DHT。之所以称此混合式P2P网络是轻量级的,因为它所支持的DHT是松散组织的,并且其中结点状态的更新主要依靠监听经过的路由消息,所以维护开销很低。
本发明与现有技术相比,其显著优点是:它是纯分布式的方法,实现起来十分简单并且可以方便地嵌入到现有P2P流媒体系统中,它能使系统中每个结点维持稳定的高播放连续度,并且带来的额外开销非常低。
四、附图说明
图1 Peer Table结构示意图
图2紧迫界线机制基本原理示意图
五、具体实施方式
下面结合附图与具体实施方式对本发明作进一步说明。
本发明可分为4个步骤:组织DHT、有目的的数据存储、数据调度算法、数据预取算法。
1:组织DHT
本发明所设计的P2P流媒体系统称为ContinuStreaming系统,该系统中每个结点维护一张称为“Peer Table”的表,该表正是分布式Hash表的基础结构,如图1所示,它由3个部分组成:
(1)连接邻居(Connected Neighbors)包含无结构P2P覆盖网上M个邻居。当前结点与这M个邻居建立TCP连接,周期性的数据交换仅发生在当前结点和其连接邻居之间。如果当前结点发现某个邻居已失效或者给自己提供的数据很少,就从监听结点中选取时延最小的结点来替换这个邻居。
(2)DHT结点(DHT Peers)包含logN个按层(Level)排列的DHT结点。N是覆盖网最多能容纳的结点个数。对于某个结点n来说(n是该结点的ID),它的第i层DHT结点唯一需要满足的条件是必须落在区间[n+2i-1,n+2i)中,所有结点的ID均是模N后的结果。可见结点n在选择它的DHT结点时拥有很高的灵活性,所以这里设计的DHT是松散组织的。所有的DHT结点周期性地用监听结点来更新。
(3)监听结点(Overheard Nodes)包含H个最近监听到的网络结点。根据模拟实验经验,H=20通常就足够了。每个结点不断地监听经过自身的路由消息,用路由消息中的结点信息更新监听结点的信息。
由上可见,连接邻居和DHT结点都是根据监听结点来更新的,而监听结点又是通过本地监听来更新,本地监听操作不需要额外的通信开销,因此本方法所设计的混合式P2P覆盖网维护开销非常低。
如果结点A想要加入覆盖网,A首先需要联系“会合服务器”(RendezvousServer),会合服务器的IP地址是公开的,它维护系统结点的列表。会合服务器给A分配一个独一无二的ID,并给A发送一张很短的列表,其中包含着与A的ID最相近的若干现存结点的信息。假定A收到的列表是{B,C,D,E},A首先使用UDP数据报给B、C、D、E发送PING消息来探测哪个结点离A最近且在线,结点间的距离(也就是时延)通过RTT/2来近似估计,RTT是探测消息的往返时间(Round Trip Time)。如果B、C、D都在线而E已失效,且B是其中离A最近的结点,那么A就获取B的Peer Table作为A的Peer Table的基础,同时通知B、C、D它的加入,并且通知会合服务器E已失效。
2:有目的的数据存储
对一个结点n,假设其Peer Table中最近的结点是n1,那么n最终需要在其按需数据备份中保存id符合如下公式的数据:hash(id×i)%N∈[n,n1),i=1,2,Λk.,hash()是一个普通的安全散列函数,%代表取模操作,这样每个数据分片最终会备份在k个不同的结点中。使用id×i来散列是为了平衡负载,如果使用id+i来散列,那么连续的数据分片可能会聚集在同一个结点上导致该结点负载过重。如果结点n想离开系统,它应首先找到逆时针方向离n最近的结点n′,然后将自身数据备份中的数据移交给n′来保存。如果结点n离开系统是突然的,数据移交就不可能发生,然而考虑到随着时间的流逝,n所备份的数据变得越来越陈旧和无意义,所以n的突然离开并不会给系统带来多少影响。
3:数据调度算法
每个结点和其连接邻居周期性地交换各自缓存中的数据信息,交换的周期称为“调度周期”,符号τ。在本例中设计一个数据调度器,由它来调度数据分片的搜寻与获取。每个调度周期中,结点的数据调度器首先查明连接邻居的缓存中有哪些数据分片可用,“可用”指的是这些数据分片是当前结点还没得到的。数据调度过程所涉及的各项参数列举在表1中。现有技术中,可以完成所述数据调度器功能的软件模块比较常见,在此不作进一步限制。
表1 数据调度算法的相关参数
综合考虑每个数据分片的紧迫性与稀缺性,数据调度器通过公式(1)到(3)计算出每个数据分片的获取优先权。首先计算数据分片Di的紧迫性:
我们将数据分片Di的稀缺性理解为Di在其所有提供者的缓存中都被替换掉的概率,这比过去的文献中普遍将Di的稀缺性理解为 要更为合理:
数据分片Di的获取优先权priorityi=max{urgencyi,rarityi} (3)
计算出每个数据分片的获取优先权后,数据调度器将需要获取的数据分片按优先权降序排列,比如排列成形如D1,D2,Λ,Dm。对一个数据分片Di来说,可能有多个邻居能提供Di,通常会选择能够最快传送Di的邻居作为Di的提供者。然而,这样的选择方式可能会出现冲突,比如当两个数据分片选择了同一个邻居作为提供者时,其中一个数据分片必须等待或者重选提供者。因此,为数据分片选择合适的提供者可表述为如下调度问题:如何为每一个数据分片选择一个合适的提供者,以使得过期或被替换的数据分片数目最少?实际上,即使是这个问题的一个简化版的特例(并行机调度问题)都已被证明是NP难的,因此我们使用算法1所示的贪心调度算法来试图尽早取得高优先权的数据分片,而不必追求总体最优的效果。
算法1数据调度算法:
输入:(1)按照获取优先权降序排列的数据分片D1,D2,Λ,Dm;
(2)每个数据分片的提供者集合S1,S2,Λ,Sm;
(3)结点j的发送数据率R(j);
(4)结点j处的预期排队时间τ(j),初始时τ(j)=0。
输出:每个数据分片Di的提供者supplieri。
算法:
1 计算在此调度周期内最多能接收的数据分片数目:min(m,I×τ);
2 for i=1 to min(m,I×τ)do
3 设置Di的最早获取时间tmin=∞;
5 for j=1 to k do
7
8
9 if supplieri≠null
10 τ(supplieri)←tmin;
4:数据预取算法
在每个调度周期中,数据调度器预测哪些数据分片很可能被数据调度算法遗漏。因为实际上不可能精确预测到数据分片被遗漏的可能性,所以我们设计了一套称为“紧迫界线”的机制让每个结点动态、自适应地预测。图2描画了紧迫界线机制的基本工作原理。缓存中的数据分片被紧迫界线(Urgent Line)分成两部分,左边的部分是紧迫的,右边的部分并不急于获取,灰色的部分是已获得的数据,白色部分尚未获得。因此,仅是紧迫界线左边的白色数据分片被预测为可能遗漏。数据预取算法相关的参数列举在表2中。
表2数据预取算法的相关参数
参数 | 说明 |
α | 缓存的紧迫比率,需动态计算。 |
B | 缓存大小,即缓存中能放多少分片。 |
idhead | 缓存头部的数据分片的id。 |
idurgent | 紧迫界线对应的数据分片的id。 |
Nmiss | 被预测为遗漏的数据分片数目。 |
k | 每个数据分片需要备份在k个结点中。 |
l | 数据预取算法在一个调度周期中最多能获取l个遗漏分片。 |
对照表2和图2,可以得出紧迫界线机制的基本公式:idurgent=idhead+α×B。可以看出α是紧迫界线机制的关键性参数,我们将在这一小节的最后部分详细讲述参数α的计算。所有尚未获得的id小于idurgent的数据分片都被预测为遗漏数据,它们的总数目为Nmiss,根据Nmiss与参数l的关系,数据预取算法采取不同行为:
情形1:如果Nmiss=0,不需要启动数据预取算法;
情形2:如果Nmiss≤l,启动数据预取算法并行获取所有遗漏的数据分片;
情形3:如果Nmiss>l,不启动数据预取算法,因为遗漏分片太多,预取将带来过大开销;
算法2描述了数据预取算法的流程。假设被预测为遗漏的数据分片是D1,D2,Λ,Dm,对每个数据Di,首先需要定位到k个(有可能不足k个)备份了Di的结点,然后选择能以最大发送速率传送Di的结点作为Di的预取提供者。当结点n向一个应当备份Di的结点n0索取Di时,有可能n0也没有获得Di,这个概率记为Pfail,一般认为n和n0有等价的概率获得Di,所以平均来说 那么n从k个应当备份Di的结点处都不能获得Di的概率是这个概率是相当低的,所以绝大多数情况下遗漏数据的预取操作都能成功。
所述参数α的计算方法:
在一个调度周期τ中,数据预取算法必须为按期获得遗漏分片的过程分配足够的时间,也就是说必须满足α×B>p×τ和α×B>p×tfetch,即 这就是α的下限和初始值;
随着时间的推移,在出现下面两种情况时α需要被动态更新:
情形1——数据过期:如果发现有预取的数据获得时已经过期,说明为预取操作分配的时间不足,因此必须增加缓存紧迫数据的比例,
情形2——数据重复:如果发现有预取的数据和数据调度算法按期取得的数据重复,说明预测为遗漏的数据比例过大,因此必须减少缓存紧迫数据的比例, 其中thop为路由一跳的时间估计值,tfetch为一次预取操作的时间估计值。
算法2数据预取算法:
输入:预测遗漏的数据分片D1,D2,Λ,Dm,按id升序排列;
输出:每个数据分片Di的预取提供者on-demand supplieri;
算法:
1 for i=1 to m do
2 为获取Di,并行发送k条路由消息去寻找k个目标结点n1,n2,Λ,nk;
3 设置Di的最大接收速率Ri=0;
4 for j=1 to k do
5 对于目标结点nj,最终将会找到逆时针方向离nj最近的结点nj′;
7 if nj′已备份了Di and nj′的发送速率大于Ri
8 on-demand supplieri←nj′;
Claims (7)
1、一种具有高播放连续度的P2P流媒体系统的设计方法,其特征是采用基于DHT的数据预取方法来弥补Gossip协议数据传播随机性的缺陷,从而设计出一个具有高播放连续度的P2P流媒体系统,包括以下步骤:
(1)组织分布式哈希表DHT,将系统中所有结点按照DHT的方法分布式地组织到一个P2P覆盖网上;
(2)有目的的数据存储,即让每个结点存储k个数据分片,k是一个较小的常数,所存储的数据分片的id与结点的ID密切相关;
(3)数据调度算法,即每个结点从其建立连接的网络邻居中周期性地获取数据可用性信息,从而规划数据分片的获取过程;
(4)数据预取算法,即系统中每个结点不断预测哪些数据分片很可能被数据调度算法遗漏,如果有认为遗漏的数据分片,就启动数据预取算法快速查找并获得它们,从而保证连续播放;
(5)结束,当流媒体播放结束时终止整个过程。
2、根据权利要求1所述的一种具有高播放连续度的P2P流媒体系统的设计方案,其特征是步骤(1)中,所述DHT包括:
(1)连接邻居包含无结构P2P覆盖网上M个邻居;当前结点与这M个邻居建立TCP连接,周期性的数据交换仅发生在当前结点和其连接邻居之间;如果当前结点发现某个邻居已失效或者给自己提供的数据很少,即相比于其它邻居平均提供给自身的数据量不到五分之一,就从监听结点中选取时延最小的结点来替换这个邻居;
(2)DHT结点包含logN个按层排列的DHT结点;N是覆盖网最多能容纳的结点个数;对于某个结点n来说,n是该结点的ID,它的第i层DHT结点唯一需要满足的条件是必须落在区间[n+2i-1,n+2i)中,所有结点的ID均是模N后的结果;所有的DHT结点周期性地用监听结点来更新;
(3)监听结点包含H个最近监听到的网络结点;每个结点不断地监听经过自身的路由消息,用路由消息中的结点信息更新监听结点的信息;连接邻居和DHT结点都是根据监听结点来更新的,而监听结点是通过本地监听来更新。
3、根据权利要求1所述的一种具有高播放连续度的P2P流媒体系统的设计方案,其特征是所述步骤(2)中,对一个结点n,设其在DHT中最近的结点是n1,则n最终需要在其按需数据备份中保存id符合如下公式的数据:hash(id×i)%N∈[n,n1),i=1,2,Λk.,hash()是一个普通的安全散列函数,%代表取模操作,这样每个数据分片最终会备份在k个不同的结点中;
结点n想离开系统,它首先找到逆时针方向离n最近的结点n′,然后将自身数据备份中的数据移交给′n′来保存′,所述逆时针是指系统中各个节点构成的环状网络的逆时针。
4、根据权利要求1所述的具有高播放连续度的P2P流媒体系统的设计方法,其特征是步骤(3)中,规划数据分片的获取过程:
综合考虑每个数据分片的紧迫性与稀缺性,通过公式(1)到(3)计算出每个数据分片的获取优先权:
首先计算数据分片Di的紧迫性:
将数据分片Di的稀缺性理解为Di在其所有提供者的缓存中都被替换掉的概率:
数据分片Di的获取优先权:priorityi=max{urgencyi,rarityi} (3)
计算出每个数据分片的获取优先权后,数据调度器将需要获取的数据分片按优先权降序排列,获取数据分片按此优先权顺序;
5、根据权利要求1所述的具有高播放连续度的P2P流媒体系统的设计方法,其特征是所述步骤(4)中,数据预取算法的流程:
设被预测为遗漏的数据分片是D1,D2,Λ,Dm,对每个数据Di,首先需要定位到k个,也可能不足k个,备份了Di的结点,然后选择能以最大发送速率传送Di的结点作为Di的预取提供者;
当结点n向一个应当备份Di的结点n0索取Di时,有可能n0也没有获得Di,这个概率记为Pfail,一般认为n和n0有等价的概率获得Di,所以平均来说 那么n从k个应当备份Di的结点处都不能获得Di的概率是这个概率是相当低的,所以绝大多数情况下遗漏数据的预取操作都能成功。
6、根据权利要求1或5所述的具有高播放连续度的P2P流媒体系统的设计方法,其特征是数据预取算法包含了一套称为“紧迫界线”的机制让每个结点动态、自适应地预测可能被数据调度算法遗漏的数据分片,有效地避免不必要的数据预取操作,所述“紧迫界线”的机制的基本工作原理是,
缓存中的数据分片被紧迫界线分成两部分,即紧迫部分和不急于获取部分;仅是紧迫部分的尚未获得的分片被预测为可能遗漏;
紧迫界线机制的基本公式:idurgent=idhead+α×B
所有尚未获得的id小于idurgent的数据分片都被预测为遗漏数据,它们的总数目为Nmiss,根据Nmiss与参数l的关系,数据预取算法采取不同行为:
情形1:如果Nmiss=0,不需要启动数据预取算法;
情形2:如果Nmiss≤l,启动数据预取算法并行获取所有遗漏的数据分片;
情形3:如果Nmiss>l,不启动数据预取算法;
上述α是缓存的紧迫比率、B是缓存大小、idhead是缓存头部的数据分片的id、idurgent是紧迫界线对应的数据分片的id、Nmiss是被预测为遗漏的数据分片数目、1是数据预取算法在一个调度周期中最多能获取1个遗漏分片。
7、根据权利要求7所述的具有高播放连续度的P2P流媒体系统的设计方法,其特征是所述参数α的计算方法:
在一个调度周期τ中,数据预取算法必须为按期获得遗漏分片的过程分配足够的时间,也就是说必须满足α×B>p×τ和α×B>p×tfetch,即 这就是α的下限和初始值;
随着时间的推移,在出现下面两种情况时α需要被动态更新:
情形1——数据过期:如果发现有预取的数据获得时已经过期,说明为预取操作分配的时间不足,因此必须增加缓存紧迫数据的比例,
情形2——数据重复:如果发现有预取的数据和数据调度算法按期取得的数据重复,说明预测为遗漏的数据比例过大,因此必须减少缓存紧迫数据的比例, 其中thop为路由一跳的时间估计值,tfetch为一次预取操作的时间估计值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA200810122907XA CN101304437A (zh) | 2008-06-20 | 2008-06-20 | 具有高播放连续度的p2p流媒体系统的设计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA200810122907XA CN101304437A (zh) | 2008-06-20 | 2008-06-20 | 具有高播放连续度的p2p流媒体系统的设计方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101304437A true CN101304437A (zh) | 2008-11-12 |
Family
ID=40114141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA200810122907XA Pending CN101304437A (zh) | 2008-06-20 | 2008-06-20 | 具有高播放连续度的p2p流媒体系统的设计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101304437A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102111448A (zh) * | 2011-01-13 | 2011-06-29 | 华为技术有限公司 | 分布式哈希表dht存储系统的数据预取方法、节点和系统 |
CN102811221A (zh) * | 2012-08-02 | 2012-12-05 | 中山大学 | 一种基于Push机制的对等网络直播流媒体数据包调度方法 |
CN104199679A (zh) * | 2014-08-01 | 2014-12-10 | 百度在线网络技术(北京)有限公司 | 一种用于获取更新的方法和装置 |
CN104380690A (zh) * | 2012-06-15 | 2015-02-25 | 阿尔卡特朗讯 | 用于推荐服务的隐私保护系统的架构 |
CN108881051A (zh) * | 2018-06-07 | 2018-11-23 | 南京邮电大学 | P2p流媒体点播系统中基于请求队列的节点负载均衡方法 |
-
2008
- 2008-06-20 CN CNA200810122907XA patent/CN101304437A/zh active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102111448A (zh) * | 2011-01-13 | 2011-06-29 | 华为技术有限公司 | 分布式哈希表dht存储系统的数据预取方法、节点和系统 |
WO2011144175A1 (zh) * | 2011-01-13 | 2011-11-24 | 华为技术有限公司 | 分布式哈希表dht存储系统的数据预取方法、节点和系统 |
CN102111448B (zh) * | 2011-01-13 | 2013-04-24 | 华为技术有限公司 | 分布式哈希表dht存储系统的数据预取方法、节点和系统 |
US8738861B2 (en) | 2011-01-13 | 2014-05-27 | Huawei Technologies Co., Ltd. | Data prefetching method for distributed hash table DHT storage system, node, and system |
CN104380690A (zh) * | 2012-06-15 | 2015-02-25 | 阿尔卡特朗讯 | 用于推荐服务的隐私保护系统的架构 |
CN104380690B (zh) * | 2012-06-15 | 2018-02-02 | 阿尔卡特朗讯 | 用于推荐服务的隐私保护系统的架构 |
CN102811221A (zh) * | 2012-08-02 | 2012-12-05 | 中山大学 | 一种基于Push机制的对等网络直播流媒体数据包调度方法 |
CN102811221B (zh) * | 2012-08-02 | 2015-05-27 | 中山大学 | 一种基于Push机制的对等网络直播流媒体数据包调度方法 |
CN104199679A (zh) * | 2014-08-01 | 2014-12-10 | 百度在线网络技术(北京)有限公司 | 一种用于获取更新的方法和装置 |
CN108881051A (zh) * | 2018-06-07 | 2018-11-23 | 南京邮电大学 | P2p流媒体点播系统中基于请求队列的节点负载均衡方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9250975B2 (en) | Elastic and scalable publish/subscribe service | |
CA2828489C (en) | Sharing content according to a protocol for peer-to-peer live streaming | |
US8925022B2 (en) | Method and apparatus for transferring content | |
CN101304437A (zh) | 具有高播放连续度的p2p流媒体系统的设计方法 | |
US20110208828A1 (en) | Node apparatus and computer-readable storage medium for computer program | |
US20130066969A1 (en) | Peer-to-peer live streaming | |
CN101291321B (zh) | 发布内容的方法及系统、查找内容的方法及系统 | |
Liu et al. | Social-aware computing based congestion control in delay tolerant networks | |
CN102947821A (zh) | 索引服务器及其方法 | |
Vithya et al. | Actuation sensor with adaptive routing and QOS aware checkpoint arrangement on wireless multimedia sensor network | |
Kim et al. | Efficient peer-to-peer overlay networks for mobile IPTV services | |
CN102316021A (zh) | 一种实现交换机聚合口负载分担的方法和交换机 | |
Li et al. | ContinuStreaming: Achieving high playback continuity of Gossip-based Peer-to-Peer streaming | |
Zhang et al. | Congestion control strategy for opportunistic network based on message values | |
Radenkovic et al. | Collaborative cognitive content dissemination and query in heterogeneous mobile opportunistic networks | |
Chang et al. | The interleaved video frame distribution for P2P-based VoD system with VCR functionality | |
El Dick et al. | A highly robust P2P-CDN under large-scale and dynamic participation | |
Loukos et al. | Real-time data dissemination in mobile peer-to-peer networks | |
Lee et al. | A vEB-tree-based architecture for interactive video on demand services in peer-to-peer networks | |
Yu et al. | Optimal data scheduling for P2P video-on-demand streaming systems | |
Zhang et al. | Congestion Control Balancing Mechanism Based on Energy-Constraint in Mobile Delay Tolerant Network | |
US20170374142A1 (en) | Method of protocol management and operation of a content distribution network | |
Chen et al. | A novel information model for efficient routing protocols in delay tolerant networks | |
Shinkuma et al. | Network caching strategies for intermittently connected mobile users | |
Abbasi et al. | COOCHING: cooperative prefetching strategy for P2P video-on-demand system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Open date: 20081112 |