CN1339212A - 重构媒体的方法和装置 - Google Patents

Abstract

在接收器(7)那里从包括多个数据包的媒体流(31)重构媒体的一种方法和装置(40),其中每个数据包(20)都包括至少一个媒体字段(29)。用一个监视装置(42)监视媒体流(30)。用一个处理器(44)评估媒体流(31)的数据包模式。估计装置(47)估计丢失的至少一个数据包(32)的媒体时间,在接收器(7)那里用一个重构装置(45)重构媒体。

Description

重构媒体的方法和装置

发明领域

本发明涉及但不限于重构媒体的一种方法和装置，更具体地说，涉及一种方法和媒体接收器，它能够在因特网多媒体装置中重构包括媒体信息的数据包。

发明背景

因特网协议(IP)电话包括多个计算机程序和应用系统，它们使用户能够通过因特网发送和接收多媒体信息，比方说音频信息、视频信息和文字信息。在这个领域中这些应用系统被叫做多媒体收发器(multimedia transceivers)。这种应用的一个实例是通过因特网进行电话呼叫的应用，例如，以色列Herzelia的VocalTec^通信的“INTERNETPHONE^”。

下面将简短描述在因特网上进行电话呼叫的一种方法。第一个用户通过计算机键盘输入第二个用户的号码。应用程序，例如INTERNETPHONE^，将拨号信号传递给公共电话交换中心开始呼叫。在用户之间建立起这一呼叫以后，这个应用程序以数字方式对第一个用户的话音信号进行采样，将这些样本暂时贮存在一个缓冲器中，将这些样本封装成数据包，并且用IP协议将这些数据包发送给第二个用户。第二个用户的应用程序，例如INTEPNET PHONE^，收到这些数据包，从每个数据包中剥去协议报头，获得压缩话音数据样本，将这些样本转换成话音信号。在两边同时采用上面描述的通过因特网传输话音信号的方法。

但是，通过因特网发送媒体流的时候，例如这些媒体流包括音频信号和/或视频信号，这些数据包到达的时间和顺序就不同于它们被发送的时间和顺序。在发送的每个数据包中有一个特殊的参数用于在接收器处重构数据包。

上面提到的特殊参数的一个实例是一个序列号，这个序列号被添加到每个数据包中，用于帮助计数器重构数据包的顺序。另一个实例是在每个数据包中添加一个时间标记，这个时间标记反映这个数据包中第一个字节的采样时刻，用于按照采样时间在接收器中重构媒体流。

利用时间标记参数的缺点是会增大数据包的长度，因而需要增大通过这个网络发送媒体的比特率。

需要一种方法和装置，用来发送数据包，它能够克服以上缺点。

发明简述

一方面，本发明提供一种方法，用于在接收器处从媒体流中重构媒体。这个媒体流包括多个数据包，其中每个数据包都包括至少一个媒体字段。该方法包括以下步骤：监视所述媒体流，研究这个媒体流的包模式，估计丢失的至少一个数据包的至少一个媒体参数，以便在所述接收器那里重构媒体信息。

这一方法能够重构数据包大小不断变化的媒体流的媒体，而不需要每个数据包提供的媒体时间标记信息。这样就能够在接收器处估计时间标记参数，不需要每个数据包都发送时间标记。于是就降低了通过网络发送媒体所需要的带宽。

在本发明的优选实施方案中，估计步骤还包括识别至少一种媒体模式的步骤，按照所述媒体模式类型采用一种方法估计至少一个媒体参数的步骤。

在这种方式中，所述媒体参数是一个媒体长度，它是所述媒体流中所述数据包媒体帧长度的总和。

在这种方式中，所述媒体模式是媒体流的一种媒体长度模式。

在这种方式中，所述媒体模式实际上是一种固定模式和/或可变模式。

在本发明的优选实施方案中，重构媒体的方法包括以下步骤：为所述流的每个数据包提供一个序列号，按照所述流的模式估计所述媒体长度，将随后收到的数据包的序列号减去收到的前一个数据包的序列号，计算出已经丢失的数据包的个数，并按照丢失的数据包的个数重构媒体。

在本发明的另外一个优选实施方案中，重构媒体的步骤包括以下步骤：按照第一个实质上固定的模式估计所述媒体长度，提供媒体长度的第一个估计值，按照第二个实质上固定的模式估计所述媒体长度，提供给媒体长度的第二个估计值，在这两个媒体长度估计值之间选择最大值的媒体长度，用于重构丢失的至少一个数据包的媒体信息。

另一方面，本发明提供一种装置，用于在接收器处从媒体流重构媒体。这个媒体流包括多个数据包，其中的每个数据包都至少包括一个媒体字段。这个装置包括一个监视器，用于监视所述媒体流，还包括一个处理装置，用于研究这个媒体流的数据包模式，并估计丢失的至少一个数据包的媒体长度，还包括一个重构装置，用于在所述接收器那里重构媒体信息。

在这一方式中，处理装置还包括一个识别器，用于识别至少一种数据包模式，还包括一个估计器，用于按照这种数据包模式估计所述媒体长度。

在本发明的优选实施方案中，处理装置至少采用两种方法按照所述流模式来重构媒体。

在这种方式中，第一种方法包括以下步骤：为所述流的每个数据包提供一个序列号，按照这个流模式估计所述媒体长度，从随后收到的数据包的序列号减去收到的前一个数据包的序列号，计算出已经丢失的数据包的个数，并按照丢失的数据包的个数重构媒体信息。

在本发明的优选实施方案中，用于重构媒体的第二种方法包括以下步骤：按照第一种流模式估计所述媒体长度，提供媒体长度的第一个估计值；按照第二种流模式估计所述媒体时间，提供媒体长度的第二个估计值，在媒体长度的两个估计值之间选择最大值的媒体长度，重构丢失的至少一个数据包的媒体信息。

这一重构装置最好利用第一个媒体帧信息和第二个媒体帧信息进行内插，提供丢失的媒体长度的媒体信息内插结果。重构出来的媒体插入丢失的媒体的位置。

下面将利用实例来描述优选实施方案，同时参考附图。

附图简述

图1是广域网的一个框图；

图2是符合RFC 1889协议的数据包的一个详细框图；

图3说明本发明一个优选实施方案的流模式；

图4是按照本发明的优选实施方案在接收器处重构媒体的装置的一个框图；和

图5是本发明一个优选实施方案中在接收器处重构媒体的方法的流程图。

发明简述

首先参考图1，多个媒体收发器2、3、4和5跟一个广域网(WAN)1连接，例如跟因特网连接。每个收发器5都包括一个发送器6和一个接收器7。媒体收发器2、3、4和5通过因特网协议(IP)，例如TCP/IP，互相通信。媒体收发器2、3、4和5发送和接收包括多个数据包的媒体流。下面将参考图2详细描述数据包结构。

图2是符合实时协议(RTP)，RFC 1889，的一个数据包20。数据包20包括多个32比特的字段。

前5个字段，也就是版本字段(V)、填充符字段(P)、扩充字段(X)、CSRC计数字段(CC)和标记字段(M)，不属于本发明的范围，因此不做描述。下面给出其它字段的一个简单描述。

有效负荷类型(PT)字段22说明RTP媒体数据的格式，并决定应用程序解释它的方式。

每发送一个RTP数据包，序列号字段24就增加1，接收器可以利用它来检测是否有数据包丢失，并恢复数据包序列。这个序列号字段24是一个16比特字段。

时间标记字段27有32比特，它反映当前数据包第一个字段的采样时刻。采样时刻信息必须来源于一个时钟，这个时钟的时间随着时间单调线性地增长，从而能够实现同步并计算媒体样本的抖动。在本发明的优选实施方案中不使用这个字段，数据包序列的重构是用序列号字段24来完成的。

同步源标识符字段28包括32比特，说明同步源的身份。

最后一个字段是有效负荷字段29，它包括压缩媒体样本。压缩媒体样本可以是音频或者视频样本。在一个优选实施方案中，以每秒6400比特的比特率使用一个G.723编解码器。音频样本被划分成帧。每一帧包括240个音频样本，它们被压缩成24个字节，其中每个字节都包括8个比特。媒体帧的个数随着网络1的带宽和负荷而变化。

参考图3，其中画出了媒体流模式的实例30a、30b和30c。媒体流30可以用几个媒体模式发送。媒体模式30a采用240和480个样本的媒体长度可变的数据包。媒体模式30a中的数据包20采用一个媒体帧或者两个媒体帧。媒体模式30b采用每个数据包两个媒体帧的固定模式。媒体模式30c采用每个数据包一个媒体帧的固定模式。媒体流31是具有固定媒体模式的流的一个实例，其中有一个丢失了的数据包32。流31包括多个数据包。数据包34是在丢失的数据包32之前收到的数据包，数据包33是在数据包34之后收到的数据包。媒体流35采用一种可变媒体模式，其中有一个丢失的数据包36。可变媒体模式通常都包括具有可变媒体帧数的数据包，并给媒体流产生一个随机模式。例如，媒体流35模式包括媒体帧上的三个连续数据包和两个媒体帧的一个数据包。上面描述的流中每个数据包都包括一个序列号“n”，以及压缩音频样本的个数。例如，在媒体模式30a中，数据包“n＋3”包括480个压缩样本。

下面将参考图4描述本发明的一个优选实施方案。其中画出了在接收器7那里从媒体流30重构媒体的一个装置40。装置40包括一个监视器装置42，用于监视所述媒体流30，还包括一个处理装置44，用于研究或者评估所述媒体流30的媒体模式30a，估计丢失的至少一个数据包32的媒体长度，还包括一个重构装置45，用于在接收器7那里重构媒体。通常情况下，媒体长度是数据包20中媒体帧长度的总和。处理装置44还包括一个识别器46，用于识别至少一种媒体模式30a，还包括一个估计器47，用于按照这种媒体模式30a估计媒体长度。媒体模式的一个实例是媒体模式30a，它实际上是固定的。每一个实例是一种变化的媒体模式35，它在每个数据包中采用变化的媒体长度。

在工作的时候，监视器42监视网络1的媒体流。处理装置44研究流的媒体模式，标识符46说明媒体模式类型。媒体流31有一个数据包32丢失的时候，估计器按照流的模式估计丢失的数据包32的媒体长度。估计器47利用丢失的数据包的媒体长度重构媒体帧。重构装置45至少可以采用一种方法来重构丢失的媒体信息。例如，插入具有丢失的媒体的长度的舒适噪声，替换丢失的媒体信息，利用第一个媒体帧信息和第二个媒体帧信息进行内插，获得内插媒体信息，其长度跟丢失的媒体一样。第一个媒体帧34是在丢失的媒体之前收到的帧，第二个媒体帧34是在丢失的媒体32之后收到的帧。处理装置44采用一种方法重构媒体，如图5所示。

现在参考图5，其中给出了重构媒体的一个方法流程图。第一个步骤100是监视媒体流30。下一步骤100是研究或者评估数据包20的媒体模式。步骤120是识别模式类型。如果模式类型实际上是固定模式，例如30a、30b或者30c，处理装置就执行步骤130～136。如果模式类型是变化模式，例如媒体模式35，处理装置44就执行步骤170～190。

首先参考步骤130～160，这些步骤说明重构固定模式媒体的方法。处理装置44从数据包20读序列号字段24，将序列号提供给估计器47，如同步骤130所示。在下一步骤140中，估计器47通过将随后收到的数据包33的序列号减去收到的前一个数据包34的序列号加1，计算丢失的数据包32的大小。以上计算的结果就是已经丢失的数据包的个数。估计器47按照一种编解码器类型估计媒体长度，如同步骤150所示。例如，用G.723编解码器压缩的音频样本的音频帧长度是24个字节，它包括240个样本。这一帧中音频信号的时间长度是30毫秒。一个更加特别的实例中媒体流模式30b采用两个丢失了的媒体帧。因此，估计出来的媒体长度是480个样本或者48个字节。下一步160是按照丢失的媒体帧的个数重构媒体。重构装置45可以通过拷贝最后收到的媒体字段，然后将它插入丢失的媒体字段的位置，或者通过插入舒适噪声，来重构丢失的媒体。重构丢失的媒体信息的另外一个实例是利用第一个媒体帧信息和第二个媒体帧信息进行内插，获得长度为丢失的媒体的长度的内插媒体信息。

简而言之，接收器7通过查看收到的几个数据包并在它的序列号的基础之上预测每个数据包的长度来识别媒体流30的模式。例如，如果丢失了一个数据包，数据包32没有到达，接收器7就可以预测丢失的数据包32的长度，从而能够估计丢失了多少媒体，进而估计丢失了多少毫秒的音频信息。当数据包丢失字段32的时候，接收器7发现丢失了一个字段。这样，接收器7就能够估计实际上固定模式媒体流每个数据包的媒体长度。

现在参考图5中的步骤170～190来描述变化流模式的媒体重构方法。在步骤170中估计收到的每个数据包的数据包大小，如同步骤130～140中所描述的一样。在步骤180中从估计出来的以上数据包大小中选择最大的数据包尺寸。在最后一步190中按照上面描述的方式重构媒体。但是，在步骤170中可以按照第一个固定流模式估计媒体长度，例如，流模式30b，以便提供估计出来的第一个媒体长度。按照第二个固定流模式估计媒体长度，例如，流模式30c，是为了提供估计出来的第二个媒体时间。

以上方法可以描述为：

      空缺大小=MAX(空缺大小1，空缺大小2)；其中

空缺大小1是利用第一个媒体模式30b估计出来的；和

空缺大小2是利用第二个媒体模式30c估计出来的。

当以上估计发生错误的时候，预测出来的空缺大小总是大于实际空缺大小。这就使得接收器7重构比需要的还要多的媒体，会导致延迟增大，以及接收器抖动缓冲器中媒体的量增多。有几种技术来处理抖动缓冲器中的媒体。这种方法的一个实例在美国专利5825771中进行了描述，这里将它引入作为参考。

上面描述的方法和装置能够用于估计变化数据包长度的丢失的媒体长度，从而影响媒体收发器2、3、4或者5的性能。这样，媒体长度的估计可以在接收器7中完成，时间标记字段27可以不跟每个数据包20一起发送。这样能够减少通过网络1发送媒体所需要的带宽。

Claims (20)

1.在接收器处从包括多个数据包的媒体流中重构媒体的一种方法，其中每个数据包都包括至少一个媒体字段，该方法包括以下步骤：

用所述接收器的监视装置监视所述媒体流；

用接收器处的处理装置分析所述媒体流的媒体模式；和

用所述处理装置估计丢失的至少一个数据包的至少一个媒体参数；以及

在所述接收器中重构丢失的媒体信息。

2.权利要求1的方法，其中的估计步骤还包括以下步骤：

识别所述媒体流的至少一种媒体模式；其中

所述估计步骤中至少一个媒体参数是按照所述媒体模式类型估计的。

3.权利要求1和2的方法，其中的媒体参数是媒体长度。

4.权利要求1、2和3的方法，其中的媒体长度是所述媒体流中所述数据包媒体帧长度的总和。

5.权利要求1～4的方法，其中的媒体长度是所述媒体流中所述数据包媒体帧长度的总和。

6.权利要求1～5的方法，其中的媒体模式是所述媒体流的媒体帧模式。

7.权利要求的1～6的方法，其中的媒体模式是实际上的固定模式。

8.以上权利要求的方法，其中的媒体模式是变化模式。

9.权利要求1～4的方法，其中重构丢失的媒体信息的步骤包括以下步骤：

为所述媒体流的每个数据包提供一个序列号；

从随后收到的数据包的序列号中减去前面收到的数据包的序列号，计算出已经丢失的数据包的个数；

按照一种媒体模式估计所述媒体长度；和

按照丢失的媒体长度重构丢失的媒体信息。

10.权利要求1～4的方法，其中重构丢失的媒体信息的步骤包括以下步骤：

按照第一个实际固定的媒体模式估计媒体时间，提供估计出来的第一个媒体时间；

按照第二个实际固定的媒体模式估计所述媒体时间，提供估计出来的第二个媒体时间；和

从第一个和第二个媒体时间估计值选择具有最大值的媒体时间，重构丢失的至少一个媒体的信息。

11.权利要求1～4的方法，其中重构丢失的媒体信息的步骤包括以下步骤：

插入具有丢失的媒体的长度的舒适噪声，替换丢失的媒体信息。

12.权利要求1～4的方法，其中的重构步骤包括以下步骤：

利用第一个媒体帧信息和第二个媒体帧信息进行内插，提供具有丢失的媒体的长度的媒体信息。

13.在接收器那里从包括多个数据包的媒体流重构媒体的一种装置，其中每个数据包都包括至少一个媒体字段，该装置包括：

一个监视器装置，用于监视所述媒体流；

一个处理装置，用于研究媒体流模式，并估计至少一个丢失数据包的媒体长度；和

一个重构装置，用于在所述接收器那里重构丢失的媒体信息。

14.权利要求13的装置，其中的处理装置包括：

一个识别器，用于识别所述媒体流的至少一种媒体模式；和

一个估计器，用于按照所述媒体模式类型，估计所述数据包的媒体长度。

15.权利要求13和14的装置，其中的媒体模式是一个实际上固定的模式。

16.权利要求13、14和15的装置，其中的处理装置为所述流的每个数据包提供一个序列号；

从随后收到的数据包的序列号中减去前面收到的数据包的序列号，计算丢失的数据包的个数；和

按照所述媒体模式估计所述媒体长度；和

所述重构装置按照丢失的数据包的个数重构媒体。

17.权利要求13～16的装置，其中的处理装置按照第一种媒体模式类型估计媒体长度，提供估计出来的第一个媒体时间；

按照第二个媒体模式类型估计所述媒体长度，给出估计出来的第二个媒体长度；和

从估计出来的第二个媒体长度和第一个媒体长度中选择具有最大值的媒体长度，重构丢失的至少一个数据包的媒体。

18.以上权利要求中每一个的装置，其中的媒体长度是所述媒体流中所述数据包的媒体帧长度的总和。

19.以上权利要求中任意一个的装置，其中的重构装置插入具有丢失的媒体长度的舒适噪声，替换丢失的媒体信息

20.以上权利要求中每一个的装置，其中的重构装置利用第一个媒体帧信息和第二个媒体帧信息进行内插，提供具有丢失的媒体的长度的内插媒体信息。

Images