CN103597847A - 用于流处理多媒体内容的方法和装置 - Google Patents

Abstract

一种用于从至少一个发送器对等点向接收器对等点流处理多媒体内容的方法，包括：根据所述多媒体内容的播放速率和所述接收器对等点的缓存器占用等级定期地获得从所述至少一个发送器对等点向所述接收器对等点的多媒体内容的目标下载速率；根据从所述各个发送器对等点向所述接收器对等点的数据传输状态和获得的目标下载速率确定从所述至少一个发送器对等点的每一个至所述接收器对等点的下载速率；和以所述确定的下载速率分别从所述至少一个发送器对等点向所述接收器对等点流处理多媒体内容。

Description

用于流处理多媒体内容的方法和装置

技术领域

本发明涉及用于在多媒体通信网络上流处理（streaming）多媒体内容（例如音频、视频、文本等）的方法和装置。

背景技术

利用互联网携带多媒体内容（例如高质量视频）的技术正在持续地发展。质量自适应编码方案、前向纠错技术和拥塞控制算法（congestion control）的综合利用是提供高效视频提供系统的关键。拥塞控制是多媒体应用在多媒体通信网络（例如网络电视）中发现可用带宽以避免传输拥塞并平衡负载的有效方法。因此，该技术广泛地应用于互联网环境中，包括从源向用户流处理多媒体内容。

互联网环境通常采用传输控制协议（TCP）端对端拥塞控制，其适于诸如成批数据传送等应用。但是，对于不允许传输速率在非常短的时间范围内剧烈变化的大多数视频流应用而言，这种拥塞控制并不适合，因为其会影响用户的感知质量（perceived quality）。随后，对于具有相对公平性的用户数据报协议（UDP）流量传输设计了TCP友好速率控制（TFRC），因为其相对于TCP拥塞控制具有更低的时间吞吐量变化，从而更适合于多媒体内容的流处理等应用。

在当前的对等（P2P）视频应用中，TCP或者TFRC拥塞控制被广泛采用，并且集中于下载应用，而非流应用。下载应用的目的是使所有对等点的综合效用（aggregate utility）最大化。其不需要保证数据按时到达，而这对于流应用是重要课题，因为在流应用中，用户在其从源接收多媒体内容的过程中以能够适当地对内容进行渲染的速度播放该多媒体内容。

因此，非常需要能够提供一种方案，可以解决拥塞问题以支持多媒体内容的流应用。

发明内容

本发明涉及一种用于从至少一个发送器对等点向接收器对等点流处理多媒体内容的方法，包括：根据所述多媒体内容的播放速率和所述接收器对等点的缓存器占用等级定期地获得从所述至少一个发送器对等点向所述接收器对等点的多媒体内容的目标下载速率；根据从所述各个发送器对等点向所述接收器对等点的数据传输状态和获得的目标下载速率确定从所述至少一个发送器对等点的每一个至所述接收器对等点的下载速率；和以所述确定的下载速率分别从所述至少一个发送器对等点向所述接收器对等点流处理多媒体内容。

本发明还涉及一种利用上述方法流处理多媒体内容的多媒体通信系统中的接收器对等点。

根据本发明的实施方式，根据计算的传输速率和接收器对等点的缓存器检查结果调节从所述发送器对等点至接收器对等点的数据传输速率。接收器对等点测量网络往返时间（roundtrip time）和丢失事件率以根据TFRC函数计算传输速率。根据接收器对等点的缓存器等级计算目标速率。基于预定条件将最终的数据传输速率选择性地确定为传输速率或者目标速率。本技术方案能够保证数据按时到达并在接收器侧保持连续视频播放。

附图说明

通过结合实施方式和附图对本发明进行详细说明，本发明的上述和其他方面、特征和优势将变得更清楚，其中：

图1是采用了本发明实施方式的多媒体通信系统的示意图；

图2是根据本发明实施方式的多媒体通信系统中接收器对等点和发送器对等点结构的框图；

图3是根据本发明实施方式的消息和数据传输过程的示意图；

图4是根据本发明实施方式的接收器缓存器占用等级的示意图；和

图5是根据本发明实施方式的用于流处理多媒体内容的方法的流程图。

具体实施方式

在所述实施方式中，术语“发送器对等点”和“接收器对等点”都用于P2P网络的情况。发送器对等点表示提供服务的装置或对等点。接收器对等点表示请求服务的装置或对等点。已知在P2P网络中的对等点可以同时是发送器对等点和接收器对等点。

每个接收器对等点与一组发送器对等点保持连接。这种发送器对等点包括运转的（active）发送器对等点和待命的（standby）的发送器对等点。运转的发送器对等点被定义为向请求服务的接收器对等点提供多媒体内容的发送器对等点。待命的发送器对等点被定义为未向请求服务的接收器对等点提供请求的多媒体内容、但是接收器对等点有可能感兴趣并与所述接收器对等点相连接的发送器对等点。接收器对等点可以与待命的发送器对等点建立连接以从其获取某种信息，例如待命的发送器的可用上载程度、待命的发送器的可用上载速度及其缓存器中的可用视频片段。接收器对等点可以具有最大下载程度，其定义了同时连接至该接收器对等点的运转的发送器对等点的最大数量。

为了对本实施方式进行说明，采用了某些方程式，其中的符号的定义列于下述表格内。

符号	定义
		r	视频流r的播放速率
Dij_desired	从i至j的预期下载速率
		Dj_target	对等点j的总体下载速率的目标
L_target	目标缓存器等级
		L(t)	（时间t时）当前缓存器等级
LT	低等级阈值
		HT	高等级阈值

图1是采用了本发明实施方式的多媒体通信系统100的示意图。如图1所示，在多媒体通信系统100中，接收器对等点A从多个发送器对等点B-G流处理视频数据。本领域普通技术人员可以选择最大下载程度以使得互联网管理更为容易。此处接收器对等点A的最大下载程度为3。对等点B、C和D是运转的发送器对等点，其向接收器对等点A提供视频数据。对等点E、F和G是待命的发送器对等点，其在此刻并未向接收器对等点A提供视频数据。

在本实施方式中在接收器对等点A从多媒体通信系统100中多个发送器对等点流处理视频数据时采用拥塞控制，其目的是通过从运转的发送器对等点B、C和D的总体下载速率接近于视频播放速率而使得接收器对等点A进行连续的视频播放。

图2是多媒体通信系统100中接收器对等点A和发送器对等点B结构的框图。图中只示出了与解释本发明的实施方式相关的部分。接收器对等点A可以通过网络200从多媒体通信系统100中全部发送器对等点（包括发送器对等点B）接收音频/视频多媒体内容。网络200可以是互联网、内部网络、外部网络、卫星网络或任何其他无线或有线网络。

发送器对等点B包括多媒体内容源201、编码器203、收发器205、速率控制单元207和处理器209。发送器对等点B是基于处理器的系统并可以包括一个或多个处理器和相关存储器。在此情况下，计算机程序或软件存储在存储器（未示出）中，由处理器209执行以例如实施多媒体内容传输。处理器表示一个或多个存储的程序控制处理器并且处理器还能够控制对等点B的其他功能。源201代表用于存储任何多媒体内容的任何存储装置，其根据需要可以在对等点B的内部和/或外部并且可以是易失性的和/或非易失性的。

在对等点B中，编码器203用于在需要的情况下编码来自源201的多媒体内容以形成编码的数据内容，例如可以通过里德-所罗门编码方法。收发器205通过网络200将编码的多媒体内容发送至提出请求的接收器对等点A。

接收器对等点A包括缓存器220、解码器204、收发器206、速率选择器208和处理器210。与发送器对等点B相似，接收器对等点A是基于处理器的系统并可以包括一个或多个处理器和相关存储器（未示出）。在接收器对等点A中，收发器206和解码器204用于从网络200接收编码的多媒体内容并进行解码。然后将多媒体内容存储在缓存器202中以由接收器A进行播放。根据本实施方式，速率选择器208用于在处理器210的控制下基于缓存器占用等级和内容传输状态选择下载速率。

图3是根据多媒体通信系统100中的消息和数据传输过程的示意图。根据本实施方式，当接收器对等点A的用户输入视频内容的请求时，对等点A将在其存储器（未示出）中搜索一个列表，该列表例如可以是其他对等点上的视频内容的名称列表。可选择地，所述列表还可以位于网络200的服务器上，其可以列出对等点上的全部可用多媒体服务，从而任何对等点都可以搜索该列表以寻找感兴趣的用于流处理的视频。然后从该列表的信息获取具有请求的视频内容的一组候选对等点。可以根据发送器对等点的距离接收器对等点的距离、剩余带宽和可用上载速率等来选择候选对等点，从而产生内容传输的期望下载速率和质量。然后接收器对等点A通过网络200与候选对等点建立连接。类似地，如果某些候选对等点与其他候选对等点相比具有较高可用上载速率或者更接近接收器对等点，则将这些候选对等点选为运转的发送器对等点，例如发送器对等点B、C和D。其他候选对等点被选为待命的发送器对等点，例如发送器对等点E、F和G，可以从中选择待命的发送器对等点以替代发生故障或性能下降的运转的对等点。所有的发送器对等点（运转的和待命的）将定期地将其可用上载速率宣布给接收器对等点A，如图3所示。

为了从发送器对等点下载感兴趣的视频内容，接收器对等点A提出从运转的发送器对等点获得数据的请求，并在通过网络200消息中向其每个运转的发送器对等点发送下面的消息：

1）从每个运转的发送器对等点B、C和D的期望下载速率（Dij_desired）；从运转的发送器对等点的总体下载速率等于视频内容在接收器对等点A的播放速率，或者根据缓存器占用等级增加或减小。例如，DBA_desired和DCA_desired分别是发送器对等点B和C的最大可用上载速率，DDA_desired是总体速率的剩余速率。

2）每个期望下载速率的指数属于特定发送器对等点；例如，发送至发送器对等点B的指数为1，发送至发送器对等点C的指数为2，发送至发送器对等点D的指数为3。这表示消息中第一速率是用于发送器对等点B的，第二速率是用于发送器对等点C的，第三速率是用于发送器对等点D的，这可以由每个发送器对等点用于寻找其速率。

3）请求内容指数。可以将整个视频内容划分为部分或片段，由发送器对等点或不同的发送器对等点来请求。每个运转的发送器对等点采用该指数来选择将要发送至接收器对等点的部分或片段。

然后每个运转的发送器对等点根据期望下载速率和请求的内容为接收器对等点A分配数据片段，并将该数据发送至接收器对等点A。

为了达到拥塞控制的目标，即通过使从运转的发送器对等点B、C和D的总体下载速率接近于视频播放速率或将缓存器202保持在合理占用等级而使得接收器对等点A进行连续的视频播放，接收器对等点A的速率选择器208将根据缓存器202的缓存器占用等级和视频内容传输状态进行速率选择。速率选择器208测量接收器对等点A与每个发送器对等点之间的视频流处理状态以获得丢失事件率p、平均往返时间RTT和重传超时值t_RTO。丢失事件率p处于0至1之间，用于指示丢失事件数量与包传输数量之间的比率。发送器对等点可以根据数据报的发送时间和来自接收器对等点A的应答消息的传输时间获得往返时间，接收器对等点A定期地从每个发送器对等点获得所述往返时间。重传超时值t_RTO是用于重传数据包的周期，例如等于4*RTT。

对于与相同视频流处理相关的从运转的发送器对等点到接收器对等点的每个连接，接收器对等点的速率选择器可以根据下述TFRC方程从发送器对等点分别获得最优传输速率：

$\mathrm{Dij}\_\mathrm{calculated}=\frac{s}{\mathrm{RTT}*\sqrt{\frac{2p}{3}}+t_{\mathrm{RTO}}*3*\sqrt{\frac{3p}{8}}*p*(1+32p^2)}---\left(1\right)$

其中，

s:包的比特尺寸；

RTT：以秒为单位的往返时间；

p：丢失事件率；

t_RTO：以秒为单位的TCP重传超时值；

经验值为t_RTO=4*RTT。

根据上述方程，接收器对等点j定期地确定Dij_desired，这可以优化网络环境并避免网络中拥塞。

然后，考虑接收器对等点A的缓存器202的缓存器占用等级获得新传输速率。图4是显示缓存器202占用等级的示意图。为了保证视频播放连续，缓存器不应不足（under-flow）或溢出（over-flow）。LT和HT分别表示低等级阈值和高等级阈值，缓存器容量为V。

定期地检查缓存器占用等级，此例中周期为T，本领域普通技术人员对其可以进行选择。一般而言，选择一个视频帧的持续时间的数倍作为T。例如，如果当前视频帧速率为25fps，则设T为80ms。L_target和L(t)分别是目标缓存器等级和（时间t的）当前缓存器等级。例如，L_target等于V/2。为了过滤出短期波动，可以对L(t)采用平滑函数。设L_smoothed(t)是平滑的当前缓存器等级（t表示当前时间）。

L_smoothed(t)=a*L(t)+(1-a)*L_smoothed(t-T)    (2)

其中a是用于调节平滑效应的0至1之间的系数，本领域普通技术人员可以根据需要进行选择。较小值的a将具有较低平滑效应并对最近的缓存器等级变化反应更敏捷。而较大值的a将具有较大平滑效应并对最近的缓存器等级变化反应不敏捷。

另外，参数缓存器等级阈值LT和HT对于系统的性能具有重要作用。此处基于可容忍对等点切换时间（接收器对等点从一组发送器对等点切换到另一组发送器对等点接收多媒体内容的时间）选择LT和HT。如果可容忍对等点切换时间为w，则可以设置LT＝r*w，其中r是视频内容的播放速率。HT可以具有与LT对称的等级，如图4所示。

一般地，全部发送器对等点的目标总体下载速率Dj_target应当为视频内容的播放速率r。但是，根据平滑的缓存器占用等级L_smoothed(t)和缓存器等级阈值LT和HT，可以通过增加或减小与缓存器占用等级相关的数值来调节目标总体下载速率。

例如：

实例1：如果L_smoothed(t)位于LT和HT之间，

则Dj_target＝r。

实例2：如果L_smoothed(t)小于LT或大于HT，

则Dj_target=r+(V/2-L_smoothed(t))/T。

此处，V/2是容器为V的缓存器的一半等级，T是缓存器等级检查时间或者目标下载速率调节时间。

根据确定的目标总体下载速率Dj_target和针对每个运转的发送器对等点根据流处理状态计算出的优化的传输速率Dij_calculated，可以调节从每个运转的发送器对等点的期望下载速率或运转的发送器对等点的数量。所述调节涉及新下载速率判断、新运转的发送器对等点选择和某些现有连接的断开。例如，如果计算的传输速率的总体速率Dij_calculated低于目标下载速率，如果允许的话可以加入新的发送器对等点，或者增加从运转的发送器对等点的速率。否则，如果总速率高于目标值，可以将某些发送器对等点变为待命的对等点，或者可以减小下载速率。

运转的发送器对等点的原则及其速率调节如下：

运转的发送器对等点的数量越小越好，因为较小数量的发送器对等点能够产生较高缓存器利用率；

每个接收器对等点的总体下载速率等于视频播放速率或者根据缓存器占用等级调节。

当发送器对等点从接收器对等点接收新的下载速率信息时，其根据期望下载速率将其赋予数据片段，然后以新发送速率将数据发送至接收器对等点。其还定期地将可用带宽宣告给连接的对等点。

图5是根据本发明实施方式的用于流处理多媒体内容的方法的流程图。

在步骤501，如上所述根据感兴趣的多媒体内容的播放速率和缓存器占用等级定期地（周期T）获得媒体内容的目标下载速率。所述目标下载速率是所有运转的发送器对等点的总下载速率，并可以根据缓存器占用等级等于播放速率或者可以高于或低于播放速率。在步骤502，根据数据传输状态基于TFRC公式获得每个发送器对等点的优化下载速率。在步骤503考虑每个发送器对等点的总优化下载速率和目标下载速率，并在步骤504调节每个发送器对等点的目标下载速率。另外，在步骤505，还可以调节发送器对等点的数量以达到目标下载速率。在步骤506，从发送器对等点向接收器对等点以确定的内容下载速率流处理多媒体内容。在上述步骤中，因为在步骤501中定期地获得目标下载速率，接下来的获得每个发送器对等点的步骤也可以根据相同周期定期地执行。

虽然以多媒体通信网络中的发送器对等点和接收器对等点的情况对具体的步骤进行了说明，但本领域普通技术人员可以理解，为了执行本发明的实施方式，某些步骤可以合并为一个步骤或者划分为几个步骤，并且所述发送器对等点也可以是网络中的一个或多个服务器。这些组合和变化也属于本发明的范围之内。

虽然以视频内容为例对本发明进行了说明，本领域普通技术人员可以理解，所述实施方式中用于流处理多媒体内容的方法可以用于能够播放并且同时需要下载的任何互联网材料。

上述说明仅对本发明的实施方式进行解释，本领域普通技术人员能够根据本发明的原理设计出其他替代实施方式，虽然未明确描述，但其都属于本发明的范围。

Claims (9)

1.一种用于从至少一个发送器对等点向接收器对等点流处理多媒体内容的方法，包括：

根据所述多媒体内容的播放速率和所述接收器对等点的缓存器占用等级定期地获得从所述至少一个发送器对等点向所述接收器对等点的多媒体内容的目标下载速率；

根据从所述各个发送器对等点向所述接收器对等点的数据传输状态和获得的目标下载速率确定从所述至少一个发送器对等点的每一个至所述接收器对等点的下载速率；和

以所述确定的下载速率分别从所述至少一个发送器对等点向所述接收器对等点流处理多媒体内容。

2.根据权利要求1所述方法，其中所述确定下载速率的步骤包括根据从各个发送器对等点到接收器对等点的数据传输状态获得所述至少一个发送器对等点的每一个的优化下载速率；并

基于总体的所述优化下载速率和获得的目标下载速率确定所述至少一个发送器对等点的每一个的下载速率。

3.根据权利要求1或2所述方法，还包括在所述确定步骤之后更新所述至少一个发送器对等点的数量并利用最小数量的运转的发送器对等点。

4.根据权利要求3所述的方法，还包括加入新的发送器对等点或从所述至少一个发送器对等点中除去发送器对等点。

5.根据上述任一权利要求所述的方法，其中定期地获得目标下载速率的步骤包括在缓存器占用等级处于预定阈值范围（LT，HT）内时将所述多媒体内容的播放速率作为目标下载速率，在缓存器占用等级未处于所述预定阈值范围时将所述目标下载速率增加或减小与所述缓存器占用等级相关的数值。

6.根据上述任一权利要求所述的方法，其中在所述获得目标下载速率的步骤之后以与所述获得步骤相同的周期定期地执行所述获得目标下载速率的步骤。

7.根据上述任一权利要求所述的方法，其中所述数据传输状态包括从所述至少一个发送器对等点的每一个到所述接收器对等点的往返时间、丢失事件率和重传超时值。

8.根据权利要求2－6中任一所述的方法，其中通过TCP友好速率控制（TFRC）获得从所述至少一个发送器对等点的每一个的优化下载速率。

9.一种多媒体通信系统中的接收器对等点，利用上述任一权利要求所述方法进行多媒体内容的流处理。

Images