CN101123571A - 基于自适应抖动缓冲的调度策略的调整方法 - Google Patents

Abstract

一种基于自适应抖动缓冲的调度策略的调整方法，在接收端包括步骤：缓冲接收到的数据包，并根据接收的数据包估计网络延时或延时抖动；根据当前估计的网络延时或延时抖动调整下一个数据包的调度时刻T_n；如果当前时刻超过所述下一个数据包的调度时刻，并且他们的间隔大于给定的调整阀值，同时距上次调整的时刻大于两次调整给定的时间阀值，则压缩动态缓冲的大小；更新下一个数据包的调度时刻；若当前时刻大于下一包的调度时刻，则从缓冲中取出一个数据包并播放。本发明能减少自适应动态buffer异常时的连续丢包；在实时多任务环境下，甚至是任务比较繁重的场合仍能实现实时双向语音通话；实现简单，在机顶盒项目中，采用上述方法后取得了较好效果。

Description

基于自适应抖动缓冲的调度策略的调整方法

技术领域

本发明涉及IP网络，尤其是基于IP网络的多媒体实时传输系统中基于自适应抖动缓冲的调度策略的调整方法。

背景技术

在Internet中实时传输多媒体数据，例如语音或视频流是比较困难的，IP网络不是设计为实时应用的，所以网络延时、丢包、延时抖动等现象都对语音质量有严重影响。这些参数与发送者和接收者的位置有关，典型分组丢失率是0-20％，单向延时一般5-500ms。在正常的语音通话中，一些相关的研究表明当分组丢失率大于5％，单向延时超过400ms，通话就变得比较困难。因此在VoIP(Voice over IP)系统中，一般采用抖动缓冲器、或者是自适应抖动缓冲器等技术，以获得实时连续的语音流，它是保证语音质量的关键问题，也是技术难点。

有关自适应动态buffer(adaptive jitter buffer)的研究中，主要涉及网络延迟(delay)或延迟抖动(jitter，变化)的估计，以及根据估计的网络时延给出下一个帧(数据包)的调度时刻scheduling time(播放时间)。目前有关网络延时的估计方法主要可以分为两大类，一类是基于统计的方法，即根据接收分组的延时平均值、方差、最小值等统计参数来估计网络延时，例如Exponential-Average(Exp-Avg)、Fast-Exponential-Average(F-Exp-Avg)、Min-Delay(Min-D)等；另一类是基于MOS值的方法，主要思想是直接将两个参数：延时和分组丢失率映射到MOS(Mean Opinion Score)函数中，在力求MOS值最大的条件下估计延时，例如Enhanced-MOS-based(E-MOS)、Maximise-MOS(M-MOS)等。这些方法在不同的网络环境下各有优劣。

根据估计的网络延时能够给出下一个数据帧的播放时刻(schedulingtime)。

但是值得注意的是有关自适应动态buffer的调度策略仅考虑网络延时、分组丢失率等参数，没有考虑实际运行的平台的缓冲以及CPU的负载。也就是说在现有的这些方案中均假设，调度者能理想的根据自适应动态buffer给出的scheduling time播放指定帧或者执行指定动作。但是在实际的实时多任务环境下，尤其是当系统任务比较繁重时，这种假设几乎是不成立的。造成的问题是，由于调度者不能按照自适应动态buffer给出的scheduling time来进行调度，而导致在接收端语音包延迟越来越大，异常丢包，最终导致自适应动态buffer完全失去作用，无法进行实时通话。

发明内容

本发明的目的是提出一种基于自适应抖动缓冲的调度策略的调整方法及设备。

按照本发明的一方面，一种基于自适应抖动缓冲的调度策略的调整方法，在接收端包括步骤：

a)缓冲接收到的数据包，并根据接收的数据包估计网络延时或延时抖动；

b)根据当前估计的网络延时或延时抖动调整下一个数据包的调度时刻T_n；

c)如果当前时刻超过所述下一个数据包的调度时刻，并且他们的间隔大于给定的调整阀值，同时距上次调整的时刻大于两次调整给定的时间阀值，则压缩动态缓冲的大小；

d)更新下一个数据包的调度时刻；

e)若当前时刻大于下一包的调度时刻，则从缓冲中取出一个数据包并播放。

按照本发明的另一方面，一种实现权利要求1方法的设备，在接收端包括：

a)网络协议模块，实现TCP/IP协议，RTP/RTCP协议等网络协议；

b)Audio驱动模块，用于处理设备部分的语音的输入/输出；

c)协议处理模块，用于处理H.323以及相关协议、MGCP协议以及SIP协议等；

d)媒体处理模块，负责设备端与网络端的语音数据的转换及控制，以及语音质量QOS的保证等功能，所述媒体处理模块包括：

控制模块，负责网络端以及设备端的语音数据流的输入输出，和各子模块间的语音数据流的传输；

语音编解码模块，处理语音的编码；

UAJB模块，自适应抖动缓冲的实现模块；

PLC模块，实现分组损失隐藏PLC；

信号音生成模块，用于生成VoIP所需的各种信号音；

语音质量控制模块，包含回波抵消、回波抑制，静音检测抑制，

舒适噪音生成，自动增益等多种语音质量处理功能。

本发明提出的方法能很好的协调自适应动态buffer的功能，能减少自适应动态buffer异常时的连续丢包；在实时多任务环境下，甚至是任务比较繁重的场合仍能实现实时双向语音通话；实现简单，在机顶盒项目中，采用上述方法后取得了较好效果。

附图说明

图1是本发明基于自适应抖动缓冲器的调度策略的调整方法；

图2是采用OLA方法压缩语音流的过程；

图3是本发明采用UAJB的VOIP设备的结构框图。

具体实施方式

基于自适应抖动缓冲器的调度策略，我们提出一种改进方法。一些变量的含义如下：

T_cur：调度者的当前时刻；

T_n：下一个帧的调度(播放)时刻；

S_TRHRES：给定的调整阀值；

ADJUST_DELAY：两次调整之间的时间间隔；

T_{last_adjust}：上次调整地时刻；

一种基于自适应抖动缓冲器的调度策略的调整方法UAJB(UpdatedAdaptive Jitter Buffer)，参照图1，在接收端主要包括如下步骤：

在所述图的101步：缓冲接收到的数据包，并根据他们估计网络延时或者是延时抖动；例如可以采用E-MOS方法来进行估计；

在所述图的102步：据当前估计的网络延时或者是延时抖动调整下一个数据包的调度(播放)时刻T_n；

在所述图的103步：如果当前时刻超过所述下一个数据包的调度(播放)时刻T_n，并且他们的间隔大于给定的调整阀值，同时距上次调整的时刻大于两次调整给定的时间阀值，也即同时满足如下公式(1)和公式(2)：

(T_cur-T_n)＞S_TRHRES    (1)

(T_cur-T_{last_adjust})＞ADJUST_DELAY    (2)

在所述图的104步：压缩动态buffer的大小，也就是说在时间轴上收缩一个数据包长对应的时间间隔；例如可以直接读出一个数据包并丢掉，或者利用OLA(overlap ADD)技术将读出数据包与下一个数据包进行叠加；

在所述图的105步：将下一个帧的调度时刻(scheduling time)更新为T_n＝T_n+上述丢掉数据包长对应的时间间隔；

在所述图的106步：若当前时刻大于数据包的调度(播放)时刻，即T_cur＞T_n，则从缓冲中取出一个数据包并播放。

在所述102步：据当前估计的网络延时或者是延时抖动调整下一个数据包的调度(播放)时刻T_n，一种可选方式如下：

T_n＝该数据包的发送时刻+当前估计的抖动延时+包长对应的时间间隔；

在所述图的104步中：采用OLA(overlap ADD)平滑处理的方法压缩语音，是为了使压缩语音段的前后语音流能够平滑过度，使听者感觉不到数据包的压缩。进行平滑即OLA(加权迭加)的长度为一个数据包长。参照图2，其中A和B为两个相邻的语音段，要由A过度到B，所以对A进行下斜坡(down-sloping)乘，对B进行上斜坡乘(up-sloping)，假设t为权值增大和减小的幅度，具体的过程主要包括如下步骤：

1)对A进行下斜坡乘如公式(3)，即A中的每个样值点A(i)与一个权值(scale)相乘，并且这个权值随着样值点数的增加逐渐减小；

AA(i)＝A(i)*(1-(i-1)*t)  1≤i≤|A|  (3)

t为按样值减小的幅度，可取1/|A|；

2)对B进行上斜坡乘(up-sloping)，如公式(4)，即B中的每个样值点B(i)与一个权值(scale)相乘，并且这个权值随着样值点数的增加逐渐增大；

BB(i)＝B(i)*(i*t)    1≤i≤|A|      (4)

t为增大幅度，可取1/|B|；由于|A|和|B|是相同的，因此t与1)中的t相同；

3)将1)和2)的结果的对应样值相加即得C，丢掉A且用C代替B即得压缩后的语音段。

本发明所述方法可以理解为是对自适应抖动缓冲器给出的调度结果的一种补充。

在我们的支持VoIP的机顶盒(STB，Set Top Box)项目中，为了能保证语音双向通话时的最大延时小于200ms，我们取S_TRHRES＝200ms，ADJUST_DELAY＝40ms时，上述方法取得了很好效果。

参照图3，采用了本发明提出的UAJB方法的VoIP(voice over IP)设备，其接收端的主要功能模块包括：

在所述图的301：网络协议模块，实现TCP/IP协议，RTP/RTCP协议等网络协议；

在所述图的302：Audio驱动模块，处理设备部分的语音的输入输出；

在所述图的303：协议处理模块，例如处理H.323以及相关协议、MGCP协议以及SIP协议等；

在所述图的304：媒体(Media)处理模块，负责设备端与网络端的语音数据的转换及控制，以及语音质量QOS的保证等功能，其又主要包含如下子模块，

在所述图的3041：控制模块，负责网络端以及设备端的语音数据流的输入输出，和各子模块间的语音数据流的传输；

在所述图的3042：UAJB，即采用本发明提出的一种新的自适应抖动缓冲(jitter buffer)；

在所述图的3043：语音编解码(Codec)模块，处理语音的编码；

在所述图的3044：PLC模块，实现分组损失隐藏PLC方法的功能模块；

在所述图的3045：信号音生成模块，用于生成VoIP所需的各种信号音；

在所述图的3046：语音质量控制模块，可能包含回波抵消、回波抑制，静音检测抑制，舒适噪音生成，自动增益等多种语音质量处理功能。

注意上述介绍的VoIP(voice over P)设备的主要功能的描述仅说明了与本发明相关的部分，其它部分有所省略。功能模块的划分仅是一种示意说明，不能理解为对本发明的限制。

Claims (9)

1.一种基于自适应抖动缓冲的调度策略的调整方法，在接收端包括步骤：

a)缓冲接收到的数据包，并根据接收的数据包估计网络延时或延时抖动；

b)根据当前估计的网络延时或延时抖动调整下一个数据包的调度时刻T_n；

c)如果当前时刻超过所述下一个数据包的调度时刻，并且他们的间隔大于给定的调整阀值，同时距上次调整的时刻大于两次调整给定的时间阀值，则压缩动态缓冲的大小；

d)更新下一个数据包的调度时刻；

e)若当前时刻大于下一包的调度时刻，则从缓冲中取出一个数据包并播放。

2.如权利要求1所述的方法，其特征在于在步骤a)中，采用E-MOS方法对网络延时或延时抖动进行估计。

3.如权利要求1所述的方法，其特征在于在步骤b)中，所述T_n为：

T_n＝该数据包的发送时刻+当前估计的抖动延时+包长对应的时间间隔。

4.如权利要求1所述的方法，其特征在于步骤c)中所述的条件满足如下公式：

(T_cur-T_n)＞S_TRHRES

(T_cur-T_{last_adjust})＞ADJUST_DELAY

其中，T_cur表示调度者的当前时刻；T_n表示自适应动态buffer给出的下一个帧的调度时刻；S_TRHRES为给定的调整阀值；ADJUST_DELAY为两次调整之间的时间间隔；

T_{last_adjust}表示上次调整地时刻。

5.如权利要求1所述的方法，其特征在于在步骤c)中，所述压缩动态缓冲的大小包括在时间轴上收缩一个数据包长对应的时间间隔。

6.如权利要求1所述方法，其特征在于步骤c)中，所述压缩动态缓冲大小的方法是：直接读出一个数据包并丢掉或利用OLA技术将读出数据包与下一个数据包进行叠加。

7.如权利要求6所述的方法，其特征在于所述利用OLA技术来压缩数据包的方法包括如下步骤：

a)对A进行下斜坡乘：

AA(i)＝A(i)*(1-(i-1)*t)    1≤i≤|A|

其中，A(i)为语音段A中第i个样值点，t为增大幅度，可取1/|A|；

b)对B进行上斜坡乘：

BB(i)＝B(i)*(i*t)    1≤i≤|A|

其中，B(i)为语音段B中第i个样值点，t为减小幅度，可取1/|B|＝1/|A|；

c)将a)和b)的结果的对应样值相加即得C，丢掉A且用C代替B即得压缩后的语音段。

8.如权利要求1所述的调整方法，其特征在于在步骤d)中，所述的更新下一个帧的调度时刻T_n为T_n＝T_n+上述压缩数据包长对应的时间间隔。

9.一种实现权利要求1方法的设备，在接收端包括：

a)网络协议模块，实现TCP/IP协议，RTP/RTCP协议等网络协议；

b)Audio驱动模块，用于处理设备部分的语音的输入/输出；

c)协议处理模块，用于处理H.323以及相关协议、MGCP协议以及SIP协议等；

d)媒体处理模块，负责设备端与网络端的语音数据的转换及控制，以及语音质量QOS的保证等功能，所述媒体处理模块包括：

控制模块，负责网络端以及设备端的语音数据流的输入输出，和各子模块间的语音数据流的传输；

语音编解码模块，处理语音的编码；

UAJB模块，自适应抖动缓冲的实现模块；

PLC模块，实现分组损失隐藏PLC；

信号音生成模块，用于生成VoIP所需的各种信号音；

语音质量控制模块，包含回波抵消、回波抑制，静音检测抑制，舒适噪音生成，自动增益等多种语音质量处理功能。

Images