CN103795755B

CN103795755B - 流媒体发送速率控制方法、系统和流媒体服务器

Info

Publication number: CN103795755B
Application number: CN201210427799.3A
Authority: CN
Inventors: 姚良; 翁颐; 奚溪; 苏丹
Original assignee: China Telecom Corp Ltd
Current assignee: China Telecom Corp Ltd
Priority date: 2012-10-31
Filing date: 2012-10-31
Publication date: 2017-10-20
Anticipated expiration: 2032-10-31
Also published as: CN103795755A

Abstract

本发明公开了一种流媒体发送速率控制方法、系统和流媒体服务器，涉及流媒体技术领域。该方法在流媒体服务端计算客户端的缓存情况，根据客户端缓存按需调整输出码率，在客户端计算本地缓存的平均值，由服务端根据客户端上报的客户端平均缓存修正系统偏差。本发明提供新的流媒体发送速率的控制机制，实现客户端数据缓存平稳，同时确保服务端码流输出平滑，提升流媒体业务的质量。

Description

流媒体发送速率控制方法、系统和流媒体服务器

技术领域

本发明涉及流媒体技术领域，特别涉及一种流媒体发送速率控制方法、系统和流媒体服务器。

背景技术

流媒体技术指多媒体数据以流式传输方式通过网络从服务端向客户端传送、客户端可以一边接受媒体流一边播放的技术。流媒体文件格式支持采用流式传输及播放的媒体格式。流式传输方式是将视频和音频等多媒体文件经过特殊的压缩方式分成一个个压缩包，由服务器向用户连续、实时传送。在采用流式传输方式的系统中，用户不必像非流式播放那样等到整个文件全部下载完毕后才能看到当中的内容，而是只需要经过几秒钟或几十秒的启动延时即可在用户终端上利用相应的播放器对压缩的视频或音频等流式媒体文件进行播放，剩余的部分将继续进行下载，直至播放完毕。

多媒体数据输入客户端缓存与客户端解码输出必须均衡，否则可能会出现客户端缓存上溢或枯竭的现象，上溢造成丢包，枯竭造成视频停顿，从而影响播放质量，为此，需要一种控制流媒体发送速率的机制。

目前主要采用客户端和服务端交互的方式实现对发送速率的控制。图1示出现有的客户端和服务端交互方式发送速率控制的示意图。如图1所示，客户端实时监测缓存，当缓存超过阈值时，由客户端向服务端发起调整指令。上述方案中，因传输时延的因素，造成缓存调整不够准确，甚至会增大服务端码流输出的波动；而且，网络抖动引起的缓存变化会自趋平衡，无需调整。由于网络时延和网络抖动的存在，现有控制方式不够准确，并会额外造成服务端输出的波动。

发明内容

本发明的发明人发现上述现有技术中存在问题，并因此针对所述问题中的至少一个问题提出了一种新的技术方案。

本发明的一个目的是提供一种用于流媒体发送速率控制的技术方案。

根据本发明的第一方面，提供了一种流媒体发送速率控制方法，包括：服务端向客户端发送媒体流；服务端根据已发送的数据量和客户端消耗的数据量之间的差值获得客户端缓存，客户端消耗的数据量通过视频流的PCR时间戳获得；服务端根据客户端缓存对媒体流的速率进行调整；服务端接收客户端上报的客户端平均缓存，根据客户端平均缓存修正系统误差。

可选地，客户端消耗的数据量通过视频流的PCR时间戳计算获得包括：对视频流TS中的PCR值进行解析获得PCR₁、PCR₂、….、PCR_n，PCR为编码时钟，记录PCR以及与PCR对应的本地时钟Clock₁、Clock₂、….、Clock_n；计算(Clock_i，Clock_i+1)时间范围内已发送的数据量SendBits；计算(Clock_i，Clock_i+1)时间范围内客户端消耗的数据量:(SendBits/(PCR_i+1–PCR_i))×(Clock_i+1–Clock_i)；其中，i＝1,…,n-1，n为自然数。

可选地，服务端根据客户端缓存对媒体流的速率进行调整包括：周期性计算客户端缓存Buffer，本周期计算的客户端缓存与前一周期的客户端缓存累加；当Buffer超过上限BufferMax时，在下一周期应少发数据量k×(Buffer-BufferMax)；当Buffer低于BufferMin时，在下一周期应多发数据量k×(BufferMin-Buffer)，其中，k为系数，取值0.5-1.5之间。

可选地，服务端根据客户端缓存对媒体流的速率进行调整包括：服务端根据客户端缓存对媒体流的速率进行缓慢调整使得媒体流的码率波动不超过规定的MDI:DF指标；其中，被调整码率波动程度MDI:DF取决于系数k、周期时长和基础码率：k×(Buffer-BufferMax)/周期时长/基础码率；或k×(BufferMin-Buffer)/周期时长/基础码率。

可选地，该方法还包括：客户端按照预定周期计算客户端平均缓存，预定周期足够长以便剔除网络的影响和服务端调整码率的影响。

根据本发明的另一方面，提供一种流媒体服务器，包括：流媒体发送模块，用于向客户端发送媒体流；客户端缓存计算模块，用于根据已发送的数据量和客户端消耗的数据量之间的差值获得客户端缓存，客户端消耗的数据量通过视频流的PCR时间戳计算获得；码流速率调整模块，用于根据客户端缓存对媒体流的速率进行调整；系统误差修正模块，用于接收客户端上报的客户端平均缓存，根据客户端平均缓存修正系统误差。

可选地，客户端缓存计算模块包括：时钟获取单元，用于对视频流TS中的PCR值进行解析获得PCR₁、PCR₂、….、PCR_n，PCR为编码时钟，记录PCR以及与PCR对应的本地时钟Clock₁、Clock₂、….、Clock_n；发送数据量获取单元，用于计算(Clock_i，Clock_i+1)时间范围内已发送的数据量SendBits；其中，i＝1,…,n-1；消耗数据量计算单元，用于计算(Clock_i，Clock_i+1)时间范围内客户端消耗的数据量PlayBits:(SendBits/(PCR_i+1–PCR_i))×(Clock_i+1–Clock_i)；缓存计算单元，用于根据已发送的数据量SendBits和客户端消耗的数据量PlayBits获得客户端缓存。

可选地，客户端缓存计算模块周期性计算客户端缓存Buffer，本周期计算的客户端缓存与前一周期的客户端缓存累加；码流速率调整模块用于当Buffer超过上限BufferMax时，在下一周期应少发数据量k×(Buffer-BufferMax)；当Buffer低于BufferMin时，在下一周期应多发数据量k×(BufferMin-Buffer)，其中，k为系数，取值0.5-1.5之间。

可选地，服码流速率调整模块根据客户端缓存对码流的速率进行缓慢调整以避免码率波动超过规定的MDI:DF指标，被调整码率波动程度MDI:DF取决于系数k、周期时长和基础码率：k×(Buffer-BufferMax)/周期时长/基础码率；或k×(BufferMin-Buffer)/周期时长/基础码率，k取值于0.5～1.5。

可选地，客户端平均缓存由客户端按照预定周期计算，预定周期足够长以便剔除网络的影响和服务端调整码率的影响。

根据本发明的又一方面，提供一种流媒体发送速率控制系统，包括上述的流媒体服务器，以及客户端。

本发明的一个优点在于，在流媒体服务端计算客户端的缓存情况，按需调整输出码率；在客户端计算本地缓存的平均值，由服务端修正系统偏差，实现客户端数据缓存平稳，同时确保服务端码流输出平滑，提升流媒体业务的质量。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

构成说明书的一部分的附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1示出现有的客户端和服务端交互方式发送速率控制的示意图。

图2示出根据本发明的在流媒体服务端计算客户端缓存发送速率控制的示意图。

图3示出根据本发明的流媒体发送速率控制方法的一个实施例的流程图。

图4示出根据本发明的流媒体发送速率控制方法的另一个实施例的流程图。

图5示出根据本发明的流媒体服务器的一个实施例的结构图。

图6示出根据本发明的流媒体发送速率控制系统的一个实施例的结构图。

图7示出根据本发明的流媒体服务器的另一个实施例的结构图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明的发明人通过研究分析，认为引起客户端缓存波动的原因包括：1)服务端发送速率与编码速率的不一致，以IPTV为例，要求服务端按固定码率发送，但视频文件的编码速率可能有变化；2)服务端和客户端时钟的累积误差；3)网络的抖动。

针对上述分析，本发明的发明人提供了一种新的流媒体发送速率控制机制。图2示出根据本发明的在流媒体服务端计算客户端缓存发送速率控制的示意图。如图2所示，1)在服务端计算客户端的缓存变化，剔除网络抖动的影响，自调整发送码率；2)在客户端计算平均缓存，发送给服务端，由服务端调整系统误差(例如，时钟累积误差)。

图3示出根据本发明的流媒体码流控制方法的一个实施例的流程图。

如图3所示，步骤302，服务端向客户端发送媒体流。

步骤304，服务端根据已发送的数据量和客户端消耗的数据量之间的差值获得客户端缓存，客户端缓存指已发送的数据量和客户端消耗的数据量之间的差值；客户端消耗的数据量通过视频流的PCR时间戳获得。

在一个实施例中，服务端对视频流TS(Transport Stream，传输流)中的PCR(program clock reference，节目时钟基准)值进行解析，PCR为编码时钟，解析后记录为PCR₁、PCR₂、….、PCR_n，记录PCR的同时，记录对应本地时钟Clock₁、Clock₂、….、Clock_n。

以下以一个采样周期为例，即(PCR₁，PCR₂)和对应的(Clock₁，Clock₂)：

1)计算(Clock₁，Clock₂)时间范围内已发送的数据量SendBits；

2)计算(Clock₁，Clock₂)时间范围内机顶盒需要开销的数据量，即客户端消耗的数据量：

计算(Clock₁，Clock₂)范围的编码速率：BitsRate＝SendBits/(PCR₂–PCR₁)；

计算这段时间客户端所需的数量：PlayBits＝BitsRate×(Clock₂–Clock₁)；

3)获得客户端缓存：Buffer＝SendBits–PlayBits，即客户端侧缓存多余的数据量。

由于PCR出现频次比较高，PCR实际采集不需要那么密集。

步骤306，服务端根据客户端缓存对媒体流的速率进行调整。对媒体流的发送速率进行调整时，要使码流波动幅度比较小。

在一个实施例中，可周期性的计算客户端缓存Buffer，本次(周期)计算的Buffer需与前一次(周期)Buffer累加。Buffer必须为正，还规定一个上限(BufferMax)和下限(BufferMin)，上限和下限可由机顶盒在点播时上报给服务器。当Buffer超过BufferMax时，在下一周期可以少发数据量k×(Buffer-BufferMax)；当Buffer低于BufferMin时，在下一周期可以多发数据量k×(BufferMin-Buffer)，k为系数，取值0.5-1.5之间。

步骤308，服务端接收客户端上报的客户端平均缓存，根据客户端平均缓存修正系统误差。

系统误差是指，服务端计算的缓存和客户端实际缓存不一，这是因为两边的时钟不同步引起，理论上误差非常小，可以隔很长时间修正一次。由于客户端缓存一直在波动的，客户端瞬间的缓存值不应与服务端计算缓存作对比，所以客户端可以计算一个平均值与服务端计算的缓存值作对比。调整的规则是，机顶盒上报的当前缓存直接覆盖服务端计算的Buffer。

上述实施例中，在流媒体服务端计算客户端的缓存情况，按需调整输出码率；在客户端计算本地缓存的平均值，由服务端修正系统偏差。该方法不改变原有流媒体服务器和客户端设备的硬件及组网，实现客户端数据缓存平稳，同时确保服务端码流输出平滑，提升流媒体业务的质量。

图4示出根据本发明的流媒体码流控制方法的另一个实施例的流程图。

如图4所示，步骤401,服务端和客户端初始化，服务端获取客户端的缓存阈值；

步骤402，服务端按既定的固定码率向客户端发送媒体流(启动时，可快速缓冲)。

步骤403，服务端按一定的周期计算客户端的缓存，计算周期可设，一般为10s；根据计算获取的客户端缓存，决定是否需要调整速率，如果计算的客户端缓存超过阈值，则在下个周期进行缓慢调整，避免码率波动超过规定的MDI(Media Delivery Index，媒体传输指标):DF(Delay Factor，延迟因素)指标。在一个实施例中，被调整码率波动程度MDI:DF取决于系数k、周期时长和基础码率：k×(Buffer-BufferMax)/周期时长/基础码率；或k×(BufferMin-Buffer)/周期时长/基础码率，k取值于0.5～1.5。

步骤404，客户端按一定的周期计算本地缓存的平均值，为剔除网络的影响和服务端调整码率的影响，计算周期需足够长，一般为5min，或更长。

步骤405，客户端上报的平均缓存与服务端计算的缓存进行比较，以修正服务端的系统误差。

上述实施例中，在客户端缓存超过阈值时，进行缓慢调整，使得码流的速率更加平稳，客户端在足够长的周期内统计本地的平均缓存，上报服务端进行系统误差修正，不受网络时延抖动的影响，可确保客户端缓存的平稳和服务端码流输出的平滑。

图5示出根据本发明的流媒体服务器的一个实施例的结构图。如图5所示，该流媒体服务器包括：流媒体发送模块51，向客户端发送媒体流；客户端缓存计算模块52，根据已发送的数据量和客户端消耗的数据量之间的差值获得客户端缓存，其中，客户端消耗的数据量通过视频流的PCR时间戳计算获得；码流速率调整模块53，根据客户端缓存对媒体流的速率进行调整；系统误差修正模块54，接收客户端上报的客户端平均缓存，根据客户端平均缓存修正系统误差。

上述实施例中，客户端缓存计算模块在流媒体服务端计算客户端的缓存情况，码流速率调整模块按需调整输出码率；在客户端计算本地缓存的平均值，由服务端系统误差修正模块根据客户端平均缓存修正系统偏差，实现客户端数据缓存平稳，同时确保服务端码流输出平滑，提升流媒体业务的质量。

在一个实施例中，客户端缓存计算模块周期性计算客户端缓存Buffer，本周期计算的客户端缓存与前一周期的客户端缓存累加。码流速率调整模块当Buffer超过上限BufferMax时，在下一周期应少发数据量k×(Buffer-BufferMax)；当Buffer低于BufferMin时，在下一周期应多发数据量k×(BufferMin-Buffer)，k为系数，取值0.5-1.5之间。

在一个实施例中，服码流速率调整模块根据客户端缓存对码流的速率进行缓慢调整以避免码率波动超过规定的MDI:DF指标。在一个实施例中，被调整码率波动程度MDI:DF取决于系数k、周期时长和基础码率：k×(Buffer-BufferMax)/周期时长/基础码率；或k×(BufferMin-Buffer)/周期时长/基础码率，k取值于0.5～1.5。

图6示出根据本发明的流媒体发送速率控制系统的一个实施例的结构图。如图6所示，该系统包括流媒体服务器500和客户端600。流媒体服务器500提供媒体文件，包含流媒体发送模块51、客户端缓存计算模块52、码流速率调整模块53、系统误差修正模块54。客户端600计算缓存变变化平均值，定时上报平均缓存。

图7示出根据本发明的流媒体服务器的另一个实施例的结构图。如图7所示，流媒体服务器包含流媒体发送模块51、客户端缓存计算模块72、码流速率调整模块53、系统误差修正模块54。其中，客户端缓存计算模块72：时钟获取单元721，对视频流TS中的PCR值进行解析获得PCR₁、PCR₂、….、PCR_n，PCR为编码时钟，记录PCR以及与PCR对应的本地时钟Clock₁、Clock₂、….、Clock_n；发送数据量获取单元722，计算(Clock_i，Clock_i+1)时间范围内已发送的数据量SendBits；其中，i＝1,…n-1；消耗数据量计算单元723，计算(Clock_i，Clock_i+1)时间范围内客户端消耗的数据量PlayBits:(SendBits/(PCR_i+1–PCR_i))×(Clock_i+1–Clock_i)；缓存计算单元724，根据已发送的数据量SendBits和客户端消耗的数据量PlayBits获得客户端缓存。

在一个实施例中，客户端平均缓存由客户端按照预定周期计算，预定周期足够长以便剔除网络的影响和服务端调整码率的影响。

本文实施例和技术方案适用于所有实时流媒体系统，尤其是IPTV系统。

至此，已经详细描述了根据本发明的流媒体码流控制方法、系统和服务器。为了避免遮蔽本发明的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

可能以许多方式来实现本发明的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims

1.一种流媒体发送速率控制方法，其特征在于，包括：

服务端向客户端发送媒体流；

所述服务端根据已发送的数据量和客户端消耗的数据量之间的差值获得客户端缓存，所述客户端消耗的数据量通过视频流的节目时钟基准PCR时间戳获得；

所述服务端根据所述客户端缓存对媒体流的速率进行调整；

所述服务端接收所述客户端上报的客户端平均缓存，根据所述客户端平均缓存修正系统误差。

2.根据权利要求1所述的方法，其特征在于，所述客户端消耗的数据量通过视频流的PCR时间戳计算获得包括：

对视频流的传输流TS中的PCR值进行解析获得PCR₁、PCR₂、…、PCR_n，PCR为编码时钟，记录PCR以及与PCR对应的本地时钟Clock₁、Clock₂、…、Clock_n；

计算(Clock_i，Clock_i+1)时间范围内已发送的数据量SendBits；

计算(Clock_i，Clock_i+1)时间范围内所述客户端消耗的数据量:(SendBits/(PCR_i+1–PCR_i))×(Clock_i+1–Clock_i)；

其中，i＝1,…,n-1，n为自然数。

3.根据权利要求1所述的方法，其特征在于，所述服务端根据所述客户端缓存对媒体流的速率进行调整包括：

周期性计算所述客户端缓存Buffer，本周期计算的客户端缓存与前一周期的客户端缓存累加；

当Buffer超过上限BufferMax时，在下一周期应少发数据量k×(Buffer-BufferMax)；

当Buffer低于下限BufferMin时，在下一周期应多发数据量k×(BufferMin-Buffer)；

其中，k为系数，取值0.5-1.5之间。

4.根据权利要求3所述的方法，所述服务端根据所述客户端缓存对媒体流的速率进行调整包括：

所述服务端根据所述客户端缓存对媒体流的速率进行缓慢调整使得媒体流的码率波动不超过规定的被调整码率波动程度MDI:DF指标；其中，被调整码率波动程度MDI:DF指标取决于系数k、周期时长和基础码率：

k×(Buffer-BufferMax)/周期时长/基础码率；或

k×(BufferMin-Buffer)/周期时长/基础码率。

5.根据权利要求1所述的方法，其特征在于，还包括：

所述客户端按照预定周期计算所述客户端平均缓存，所述预定周期足够长以便剔除网络的影响和服务端调整码率的影响。

6.一种流媒体服务器，其特征在于，包括：

流媒体发送模块，用于向客户端发送媒体流；

客户端缓存计算模块，用于根据已发送的数据量和客户端消耗的数据量之间的差值获得客户端缓存，所述客户端消耗的数据量通过视频流的节目时钟基准PCR时间戳计算获得；

码流速率调整模块，用于根据所述客户端缓存对媒体流的速率进行调整；

系统误差修正模块，用于接收客户端上报的客户端平均缓存，根据所述客户端平均缓存修正系统误差。

7.根据权利要求6所述的服务器，其特征在于，所述客户端缓存计算模块包括：

时钟获取单元，用于对视频流的传输流TS中的PCR值进行解析获得PCR₁、PCR₂、…、PCR_n，PCR为编码时钟，记录PCR以及与PCR对应的本地时钟Clock₁、Clock₂、…、Clock_n；

发送数据量获取单元，用于计算(Clock_i，Clock_i+1)时间范围内已发送的数据量SendBits；其中，i＝1,…,n-1，n为自然数；

消耗数据量计算单元，用于计算(Clock_i，Clock_i+1)时间范围内所述客户端消耗的数据量PlayBits:(SendBits/(PCR_i+1–PCR_i))×(Clock_i+1–Clock_i)；

缓存计算单元，用于根据所述已发送的数据量SendBits和所述客户端消耗的数据量PlayBits获得所述客户端缓存。

8.根据权利要求6所述的服务器，其特征在于，所述客户端缓存计算模块周期性计算所述客户端缓存Buffer，本周期计算的客户端缓存与前一周期的客户端缓存累加；所述码流速率调整模块用于当Buffer超过上限BufferMax时，在下一周期应少发数据量k×(Buffer-BufferMax)；当Buffer低于BufferMin时，在下一周期应多发数据量k×(BufferMin-Buffer)；其中，k为系数，取值0.5-1.5之间。

9.根据权利要求8所述的服务器，所述码流速率调整模块根据所述客户端缓存对码流的速率进行缓慢调整以避免码率波动超过规定的被调整码率波动程度MDI:DF指标；

其中，被调整码率波动程度MDI:DF指标取决于系数k、周期时长和基础码率：

k×(Buffer-BufferMax)/周期时长/基础码率；或

k×(BufferMin-Buffer)/周期时长/基础码率。

10.根据权利要求6所述的服务器，其特征在于，所述客户端平均缓存由客户端按照预定周期计算，所述预定周期足够长以便剔除网络的影响和服务端调整码率的影响。

11.一种流媒体发送速率控制系统，其特征在于，包括权利要求6至10中任意一项所述的流媒体服务器，以及客户端。