CN1492649A - 双向感知动态播放法及通讯装置 - Google Patents

Abstract

一种双向感知动态播放法，该方法会先侦测一数据包通讯模式为一全双工模式或为一半双工模式，后依据侦测后的数据包通讯模式来计算目前数据包的播放延迟，并借着播放延迟以延迟目前数据包的播放。一双向感知动态通讯装置包含一播放缓冲器，一播放控制器，一网络延迟估计器，以及一活动侦测器用来侦测一数据包通讯模式。该播放控制器由预估的网络延迟及一侦测后的数据包通讯模式为一全双工模式或一半双工模式来决定在播放缓冲器中的数据包的播放延迟。

Description

双向感知动态播放法及通讯装置

技术领域

本发明提供一种网络数据传送的方法，尤指一种依据一实时(realtime)交互式(interactive)通讯的双工模式来最佳化在网络中传送之数据包的播放延迟的方法。

背景技术

由于国际互联网络(Internet)以及无线通讯(wirelesscommunication)的盛行，现代科技如今已发展至可让人们利用实时数字通讯来相互沟通。近几年来，通过国际互联网络以及无线通讯网络的现代通讯已经发展出更多新的技术，如国际互联网络语音协议(Voice over Internet Protocol)以及其它的实时交互式通讯系统。

利用数据包在网络中传送数据的通讯方式，例如国际互联网络语音协议(protocol)，所遇到最主要的困扰就是网络延迟的变化，也就是一般所熟知的网络延迟扰动(Jitter)。就一播放延迟而言，网络延迟扰动可以借着延迟数据包的播放而被显著的降低。由于网络延迟并不固定，因此要降低传送过程中的网络延迟扰动量就必需仰仗对网络延迟合理的量测以及对播放延迟作精确的估计。然而，该播放延迟不能太长，因为该传送的目的是要能达到实时传送的效果，而过长的播放延迟则违背了此项目的。因此，当使用者利用网络系统，譬如通过国际互联网络语音协议、无线电话、图像(image)电话、或网络游戏等来进行相互沟通时，把播放延迟降至最低以避免因延迟所带来相关的通讯问题就变的格外重要。

请参考图1，图1为通过一网络10传送数据包内的声音数据20的示意图。举例而言，数据20可为一经由国际互联网络的媒体(media)输出装置，例如一国际互联网络语音协议的传送、一通过无线电话网络所传送的个人声音数据、或其它相似的通讯数据。数据20包含具有可听到的声音信息的可听闻区段20a、20c、以及20e以及不可听到的声音信息的静止区段20b及20d。图1中另显示一传送器12，其会每隔一固定时间传送数据包P1-P15，传送器12可以为一个人计算机、无线电话、或其它装置，但是因为网络延迟会造成数据包P1-P15传送上的延迟致使数据包P1-P15中的一部份到达一接收器(receiver)14的时间不同，为了完整建立可结合的声音数据22，于是个人计算机或类似装置以必须被延宕以不同的延迟量。声音数据22包含可听闻区段22a、22c、及22e和对应到被传送的数据20中区段20a-20e的静止区段22b及22d。

传送器12会在一给定时间内传送数据包P1。数据包P1会因为许多可能的原因而被网络10延迟，图1中的阴影方块显示此延迟和其它更进一步的延迟因素在。数据包P1会更进一步被接收器14延迟，使得该数据包P1可与已被网络10延迟的数据包P2连续播放。如果数据包P1没有被接收器14进一步的延迟，数据包P1和P2则无法连续播放，同时在数据22中则会出现一听闻中断。在数据22中的该听闻中断被在接收器14端的使用者所听到，导致播放数据22中不佳的声音品质。

数据包P2-P5全都是被网络(network)10以相同的时间予以延迟，并且数据包P2-P5也不必然会被接收器14给更进一步的延迟，其中接收器14依适当的时间安排按先后次序播放。然而，数据包P7比数据包P6早到达。直到数据包P6被接收到前，接收器14必须延迟数据包P7的播放。该延迟被附加在数据(data)22的静止区段22b上以使得可听闻区段22c不会被影响。由于网络延迟及数据包的壅塞(jam)，数据包P8及P9会和数据包P10及P11同时抵达。数据包P9及P11的播放也因此而延迟，然而，不会有更进一步的数据22的延迟发生。数据包P13及P14和数据包P6及P7一样遭受到类似的排序混乱。数据包P12及P15则依正常的顺序抵达接收器14。

以上参考图1的说明是简化后的流程。数据包P1-P15被假定依照其数据包长度的整数乘积给予延迟到达接收器的时间。实际上，在一既定的传送过程中，当网络延迟和网络延迟扰动在时间上被连续的传送以及数据包的长度为数字形式时，大量的数据包数是必须被延迟的。

图1显示出整个被接收的数据22延迟三区段，这三个区段包含一网络延迟及被接收器14所附加的额外播放延迟。如果接收器14没有附加该额外延迟，某些数据包则会有播放失序的可能而造成其它数据包完全无法播放。公知技术已昭示了许多如何估计该被接收器14e延迟的时间的方法。然而，过多的播放延迟会造成不便以及在双方配合时的误解。

在估计播放延迟上，一个基本且有效但又有所争议的方法就是平均延迟变异数法(MDV)，此方法在R.Ramjee，J.Kurose，D.Towsley，及H.Schulzrinne所著的“adaptive Playout Mechanisms for PacketizedAudio Applications in Wide-area Networks”有叙述，于此提出作为本发明的先前技术的参考数据。该平均延迟变异数法更进一步详述于Marco Roccetti，Vittorio Ghini，Giovanni Pau，Paola Salomoni，及MariaElena Bonfigli所著的“Design and Experimental Evaluation of anAdaptive Delay/control Mechanism for Packetized Audio for use overthe Internet”中，其同样作为本发明的先前技术的参考数据。简言之，该平均延迟变异数法方法即是由一平均网络延迟的变异数结合一平滑系数(factor)去估计播放延迟。此种简易的动态(dynamic)方法较其它非动态的方法提供了重要关键的改进。

其它估计播放延迟的方法描述于实时传输通讯协议(real-timetransport protocol)中。H.Schulzrinne，S.Casner，R.Frederick，及V.Jacobson所著的“RTP：A Transport Protocol for Real-TimeApplications”中详尽叙述了实时传输通讯协议的标准规格，其亦为本发明的先前技术的参考数据。该用来估计延迟的实时传输通讯协议方法即是一固定平滑系数的平均延迟变异数法。虽然较平均延迟变异数法简单，但实时传输通讯协议只能提供较粗略的网络延迟的估计值。

其它用来估计播放延迟的公知技术包含一剧烈延迟差异(Spike)侦测法，该方法描述于“Adaptive Playout Mechanisms for PacketizedAudio Applications in Wide-area Networks”一文中，而另一利用相关时间差的方法描述于Jesus Pinto及Kenneth J.Christensen所著的“AnAlgorithm for Playout of Packet Voice based on Adaptive Adjustment ofTalkspurt Silence Periods”中，该极长时间延迟侦测法以及该相关时间差侦测法虽然增加了演算的困难度，但并没有显著优于平均延迟变异数法。

最后，公知技术还提供一正规化最小均方法(normalized leastmean square)，此法描述于Phillip DeLeon及Cormac J.Sreenan的“An Adaptive Predictor for Media Playout buffering”中。该正规化最小均方法是一复杂的计算方法，并无法提供明显的改善。

除此之外，在公知技术中，已有许多关于数字(digital)信息(information)的播放以及播放品质(quality)的监控等的专利。举例而言，在5,815,634号美国专利中，Daum等人已提出串流同步(streamsynchronization)方法，应用在MPEG的录放功能上。在6,259,677号美国专利中，Jain提出一实时接收器及相对应接收和播放实时数据包数据的方法，以上两个公知技术的专利附于本发明的先前技术的参考数据中。另外，Schulman在5,600,632号美国专利中提出利用关于数据包延迟的同调网络分析仪(network analyser)在一网络中监控品质的方法，而agrawal等人亦在6,072,809号美国专利中提供一同步(synchronous)预测法用来维持及更新网络延迟的统计趋势(trend)，以上两个公知技术的专利亦附于本发明的先前技术的参考数据中。

以上所述之公知技术在网络统计上均最佳化了播放延迟，但他们并没有将通讯的双工特性适当的考虑进去。也就是说，播放延迟的调整并没有考虑通讯上的半双工或全双工模式。因此，在这些不同的模式并没有被考虑及实行的情况下，真正的播放品质，以至于整个通讯品质，仍然在恶化当中。

发明内容

因此本发明的主要目的在于提供一双向感知动态播放法以及通讯装置提供最佳化的数据包通讯的播放延迟以解决上述的公知技术。

本发明提供一种双向感知动态播放法，该方法用来侦测一数据包通讯模式为一全双工模式或为一半双工模式，依据侦测后的数据包通讯模式来计算目前数据包的播放延迟，并借着计算播放延迟以延迟目前数据包的播放。当该数据包通讯模式被侦测出为半双工模式时，目前数据包所被计算出的播放延迟会长于当该数据包通讯模式被侦测出为全双工模式时的播放延迟。一双向感知动态通讯装置包含一播放缓冲器，一播放控制器，一网络延迟估计器，以及一活动侦测器用来侦测一数据包通讯模式。该播放控制器由预估的网络延迟及一侦测后的数据包通讯模式唯一全双工模式或一半双工模式来决定在播放缓冲器器中的数据包的播放延迟。

本方法可更进一步为目前的数据包计算一平均网络延迟变异数(variation)，以及依据该平均网络延迟变异数为目前的数据包决定一估计的网络延迟扰动。然后，目前的数据包的播放延迟的计算是进一步依据目前的数据包所估计的网络延迟扰动和前一个数据包的播放延迟。

该播放装置包含一播放缓冲器用以接收及暂存数据包，一播放控制器由预估的网络延迟及数据包通讯模式来决定数据包的播放延迟并依据该播放延迟来控制该播放缓冲器，一网络延迟估计器用来计算预估的数据包的网络延迟以及送出预估的网络延迟到该播放控制器，以及一活动侦测器用来侦测该数据包通讯模式，其中该数据包通讯模式可以为一全双工模式以及一半双工模式。

本发明的优点为在半双工模式下以一较长的延迟去延迟数据包的播放能增进播放的品质。

本发明的另一优点为在全双工模式下以一较短之延迟去延迟数据包的播放可加速播放反应。

本发明的再一优点为活动侦测器在活动侦测通讯模式后，播放控制器可依据该通讯模式延迟数据包的播放。

附图说明

图1为通过一网络传送数据包内的声音数据的示意图。

图2为本发明一通讯装置的方框图(block diagram)。

图3为本发明通讯装置运作方式的流程图(flow chart)。

10：网络                   12、46：传送器(transmitter)

14、32：接收器             20：声音数据

30：通讯装置                  34：拨放缓冲器

36：媒体输出装置              38：网络延迟估计器

40：活动侦测器                42：播放控制器

44：媒体输入装置

具体实施方式

本发明的双向感知动态播放法可结合一通讯装置作为最佳的解释和实施。在所有的公式(equation)及程序中的标记(mark)都完全相同。

请参考图2。图2为本发明一通讯装置30的系统架构(systemstructure)。通讯装置30包含一接收器32用来接收由网络10所传来的数据包，通讯装置另包含一播放缓冲器34用来接收由接收器32所转移(transfer)的数据包以及用来将该数据包的数据输出至一媒体输出(output)装置36。播放缓冲器34可以吸收网络延迟扰动以使该数据包得以非常的平顺及连续地播放于媒体输出装置36中。媒体输出装置36可为一典型的媒体输出装置，例如一国际互联网络语音协议播放器、一扬声器、一无线电话的显示器、或其它装置。播放装置30另包含一网络延迟估计器38用来估计网络10的网络延迟、一活动侦测器40用来侦测一数据包通讯模式、以及一播放控制器42用来控制播放缓冲器34。当一媒体(media)输入装置44处于非活动(non-active)状态时，活动侦测器40会判定数据包通讯模式是否为半双工模式(half-duplex mode)，而当媒体输入(input)装置44处于活动(active)状态时，活动侦测器40会判定数据包通讯模式是否为全双工模式(full-duplex mode)。媒体输入装置44是对应到媒体输出装置36的装置，媒体输入装置44能接收所输入至通讯装置30的数据以及将数据包递送至一传送器46。传送器46输出数据包至网络10。播放控制器42依据网络延迟估计器38所估计的网络延迟以及活动侦测器40所判定的数据包通讯模式去设定在播放缓冲器34中接收到的数据包的延迟。最后，当一数据包的播放延迟到期，播放缓冲器34就会将该数据包寄至媒体输出装置36来播放。

活动侦测器40侦测通讯装置30是处于半双工模式或全双工模式。如果媒体输入装置44没有在接收信息，或信息总量低于一临界值(threshold)(例如声量几近静止)，活动侦测器40就会侦测到通讯装置30是处于半双工模式。相反的，当媒体输入装置44接收到的信息量高于该临界值，活动侦测器40就会侦测到通讯装置30是处于全双工模式。也就是说，半双工模式是为单向通讯而全双工模式则是双向通讯。其它转换半双工及全双工模式的方法皆为本发明所揭露的范围。

网络延迟估计器38以及播放控制器42依据以下的公式估计网络延迟以及平均网络延迟变异数：

D_i＝|(R_i-R_i-1)-(S_i-S_i-1)|

MD_i＝F×MD_i-1+(1-F)×D_i

V_i＝|MD_i-D_i|                              (式1)

MV_i＝F×MV_i-1+(1-F)×V_i

其中，

D为网络延迟；

R为一数据包接收时间；

S为一数据包传送时间；

i为指向一目前数据包的下标；

i-1为指向一先前数据包的下标；

MD为平均网络延迟；

F为一平滑系数；

V为网络延迟变异数；

MV为平均网络延迟变异数；

实际上，网络延迟估计器38会先依据该目前数据包及前一个数据包的网络统计去估计该目前数据包的网络延迟。然后网络延迟估计器38会递送该目前数据包所略估的网络延迟至播放控制器42。播放控制器42接下来利用平均网络延迟去计算该目前数据包的平均网络延迟变异数、平滑系数、以及网络延迟变异数。播放控制器42依据下述的程序进一步计算目前数据包的播放延迟：IF M_i＝FULL_DUPLEX THEN

J_i＝MV_i×FSF

PD_i＝FF×PD_i-1+(1-FF)×J_iELSE                                (式2)

J_i＝MV_i×HSF

PD_i＝HF×PD_i-1+(1-HF)×J_i

其中，

M为数据包通讯模式，其中FULL_DUPLEX以及HALF_DUPLEX为有效值；

J为一估计的网络延迟扰动；

FSF为一全双工比例系数；

PD为播放延迟；

FF为一全双工平滑系数；

HSF为一半双工比例系数；

HF为一半双工平滑系数；

式2中的程序，播放控制器42首先决定数据包通讯的模式，接着决定网络延迟扰动，最后计算出该目前数据包的播放延迟。要决定网络延迟扰动需要依赖参考式1中的网络延迟变异数，即一比例系数。播放延迟必须依赖目前数据包的延迟扰动的量测、一平滑系数、以及先前数据包真正的播放延迟。播放控制器42依赖活动侦测器40所决定的数据包通讯的模式为全双工或半双工去选择比例系数及平滑系数。

为达到最佳的表现，半双工比例系数(HSF)设计得比全双工比例系数(FSF)为长。较长的播放延迟使得在半双工模式时有益于播放品质的提升。举例而言，如果一个人说而另一人听(意即于一通讯装置30中媒体输入装置44为非活动状态)，增加的播放延迟可轻易地改进受话者的播放品质。相反的，在无须过度牺牲播放品质的情况下，全双工模式可尽可能地减小播放延迟(相对于HSF而言，FSF有较低的值)以使不同的通讯装置30间得以进行平顺且同步的通讯。在全双工模式下，当双方都要同时听跟说，较短的播放延迟对于通讯的有效性相当的重要。在全双工模式下，播放品质和较短的播放延迟并无法兼顾。更详细地说，全双工平滑系数FF较半双工平滑系数HF为长，这是为了通讯装置30在全双工模式下需要对播放延迟能更作迅速的调整。因此使得播放延迟更加依赖真正的目前估计的网络延迟扰动而对先前数据包的播放延迟播放记录依赖较低，如此一来，全双工模式相对而言具有较快的反应。比例系数HSF及FSF和平滑系数HF及FF都在播放控制器42中被设定及贮存。

在实际使用的应用中，播放装置30及其组成的组件可利用传统的电子电路(electronic circuit)、集成电路(integrated circuit)、以及相关软件(software)程序配合来完成。播放控制器42以及网络延迟估计器38的逻辑程序(logic program)，以及活动侦测器40的反应和侦测临界值都可以微调并和相关的通讯装置兼容。这些相关的通讯装置包含国际互联网络语音协议播放器、图像电话、线上(on-line)游戏、以及其它应用在国际互联网络和无线网络上的实时交互式通讯装置。

先前所述之利用通讯装置30达成最佳化数据包之播放延迟的过程可以归纳成图3中的流程图，其包含下列步骤：

步骤100：开始。两个或两个以上的通讯装置通过网络10相互沟通；

步骤102：活动侦测器40侦测数据包通讯的模式为全双工或半双工；

步骤104：网络延迟估计38以及播放控制器42要决定即将被接收器32接收的目前数据包的网络延迟扰动。执行相应于式1的程序；

步骤106：播放控制器42依据步骤102中所侦测的模式以及步骤104中估计的网络延迟来计算目前数据包的播放延迟，并将目前数据包的播放延迟递送至播放缓冲器34。接着执行式2的程序。目前数据包的播放延迟会存在播放控制器42中，以便于让下一个数据包也能执行图3中所示的程序；

步骤108：媒体输出装置36依据该播放延迟去延迟在播放缓冲器34中数据包的播放；

步骤110：判断通讯是否完成，如果结果为否，回到步骤102。如果结果为是，则执行步骤112；

步骤112：结束。

在实际的应用上，上述程序会在网络10中相互连结的个别通讯装置30中连续的执行。如果个别的通讯装置30依据不同的双工模式去延迟接收到的数据包的播放，整个通讯品质就能大幅改善。

请注意，通讯装置30内的组件可如同上述的步骤实行相同的程序而须与先前所述的播放装置相互协调。然而，依据本发明所示，上述的程序可以在上述甚至其它的组件内以不同的变化实行，并不局限于此例。

相较于公知技术，本发明的方法侦测数据包通讯的双工模式并依据侦测的模式延迟数据包的播放。当侦测结果为一半双工模式时，播放延迟会长于结果为一全双工模式。在半双工模式下，本发明利用以一较长的延迟去延迟数据包的播放以改善播放品质，而在全双工模式下，利用以一较短的延迟去延迟数据包的播放去加速播放反应。再者，在全双工模式下，数据包的播放延迟会对先前数据包的播放延迟有较低的依赖而对目前的网络延迟扰动依赖较深。本发明所述的通讯装置包含一播放控制器，其电连至一用来侦测数据包通讯模式的活动侦测器来控制数据包的播放延迟。

Claims (15)

1.一种将一数据包的播放延迟予以最佳化的方法，该数据包是在一网络中传送，该数据包内包含要被播放的数据，而该网络具有数据包传送时的网络延迟，其特征是，该方法包含有下列步骤：

(a)侦测一数据包通讯模式，其中该数据包通讯模式包含一全双工模式以及一半双工模式；

(b)以一被侦测的数据包通讯模式为基础计算一目前数据包的播放延迟；以及

(c)依据该被计算后的播放延迟去延迟该目前数据包的播放。

2.如权利要求1所述的将一数据包的播放延迟予以最佳化的方法，其特征是，在步骤(b)中，当该数据包通讯模式被侦测为该半双工模式时，该目前数据包中被计算后的播放延迟会长于当该数据包通讯模式被侦测为该全双工模式时的播放延迟。

3.如权利要求1所述的将一数据包的播放延迟予以最佳化的方法，其特征是，另包含有下列步骤：

(d)计算该目前数据包的平均网络延迟的变异系数；以及

(e)决定一相关于该平均网络延迟的变异系数在目前数据包中一预估的延迟扰动；

其中在步骤(b)中，该目前数据包的播放延迟是依据该目前数据包中该预估的延迟扰动及前一个数据包的播放延迟所计算得知。

4.如权利要求3所述的将一数据包的播放延迟予以最佳化的方法，其特征是，在步骤(b)中，当该数据包通讯模式被侦测为该半双工模式时，该目前数据包所被计算出的播放延迟会比当该数据包通讯模式被侦测为该全双工模式时对该前一个数据包的播放延迟有较少的依赖。

5.如权利要求3所述的将一数据包的播放延迟予以最佳化的方法，其特征是，在步骤(b)中，当该数据包通讯模式被侦测为该半双工模式时，该目前数据包所被计算出的播放延迟会比当该数据包通讯模式被侦测为该全双工模式时对该目前数据包中该估计的延迟扰动有较多的依赖。

6.如权利要求3所述的将一数据包的播放延迟予以最佳化的方法，其特征是，在步骤(e)中所决定的该目前数据包中该估计的延迟扰动会更进一步对在(a)步骤中被侦测的该数据包通讯模式所决定的一比例系数产生依赖。

7.如权利要求3所述的将一数据包的播放延迟予以最佳化的方法，其特征是，在步骤(b)中所计算的该目前数据包的播放延迟更进一步对在(a)步骤中被侦测的该数据包通讯模式所决定的一平滑系数产生关联。

8.如权利要求1所述的将一数据包的播放延迟予以最佳化的方法，其特征是，该数据包的播放系统可以位于一国际互联网络语音协议、一图像电话、一网络游戏、以及其它的实时交互式通讯系统上。

9如权利要求1所述的将一数据包的播放延迟予以最佳化的方法，其特征是，该网络可以为一计算机网络或一与无线电话相连的无线电传送网络。

10.一种用来播放一数据的通讯装置，该数据包含于经过最佳化延迟后的数据包内，该数据包包含要播放的数据，该数据包是在一网络中传送，该网络具有一数据包传送时的网络延迟，其特征是，该通讯装置包含：

一播放缓冲器，用来接收及暂存该数据包；

一播放控制器，其由预估的网络延迟及一数据包通讯模式来决定该数据包的播放延迟，以及依据该播放延迟来控制该播放缓冲器；

一网络延迟估计器，用来计算一预估的数据包的网络延迟以及将该预估的网络延迟传送到该播放控制器；以及

一活动侦测器，用来侦测该数据包通讯模式，其中该数据包通讯模式包含一全双工模式以及一半双工模式。

11.如权利要求10项所述的通讯装置，其特征是，当该活动侦测器侦测到该数据包通讯模式为该半双工模式时，该播放控制器所计算出一目前数据包的播放延迟会比当该活动侦测器侦测出该数据包通讯模式为该全双工模式时来的长。

12.如权利要求10项所述的通讯装置，其特征是，当该活动侦测器侦测出该数据包通讯模式为该半双工模式时，该播放控制器所计算出一目前数据包的播放延迟会比当该活动侦测器侦测出该数据包通讯模式为该全双工模式时对一前一个数据包的播放延迟有较少的依赖。

13.如权利要求10项所述的通讯装置，其特征是，当该活动侦测器侦测估该数据包通讯模式为该半双工模式时，该播放控制器所计算出一目前数据包的播放延迟会比当该活动侦测器侦测出该数据包通讯模式为该全双工模式时对该目前数据包所预估的网络延迟有较多的依赖。

14.如权利要求10项所述的通讯装置，其特征是，该通讯装置进一步包含：

一接收器，可让该播放缓冲器由该接收器从该网络接收数据包；

一媒体输出装置，可让该播放缓冲器输出数据包；

一媒体输入装置，用来接收数据包；以及

一传送器，可让该播放装置传送数据包至该网络。

15.如权利要求10项所述的通讯装置，其特征是，该媒体输出装置可以为一国际互联网络语音协议、一图像电话、一网络游戏、以及其它的实时交互式通讯系统。

Images