CN101127917B

CN101127917B - 一种互联网流媒体格式音视频同步的方法及其系统

Info

Publication number: CN101127917B
Application number: CN2007100769555A
Authority: CN
Inventors: 田洪亮
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2007-09-06
Filing date: 2007-09-06
Publication date: 2010-07-14
Anticipated expiration: 2027-09-06
Also published as: CN101127917A

Abstract

本发明公开了一种互联网流媒体格式音视频同步的方法及系统，该方法包括：设定时间段，分别计算出该时间段内媒体终端接收的音视频帧各自所对应的新基准时间；将所述新基准时间写入到解码器；媒体终端将后续接收到的音视频帧各自所对应的时戳分别减去对应的新基准时间，计算出音视频帧各自的相对播放时间后，将所述音视频帧输送至解码器解码；该系统包括：用于计算新基准时间及相对播放时间的计算模块，及用于将新基准时间写入到解码器的写入模块。本发明无需修改音频源和视频源端，也不需要增加接收端与源端的交互流程，实现了网络电视直播时ISMA流的音视频同步，具有简单易行的特点。

Description

一种互联网流媒体格式音视频同步的方法及其系统

技术领域

本发明涉及宽带流媒体领域，尤其涉及一种互联网流媒体格式音视频同步的方法及其系统。

背景技术

随着互联网络和宽带接入网络的迅速发展，宽带互联网上的视频直播业务得到了迅速发展。目前，在互联网上传输直播电视业务一般采用互联网流媒体联盟(Internet Streaming Media Alliance，ISMA)传输格式，这种格式把音频流和视频流分开传输，带来了多音轨、多字幕支持的便利。

目前，电视业务接收端一般以接收到的第一个音频帧的时间戳和第一个视频帧的时间戳作为基准时间，后续音频帧和视频帧的时间戳分别减去相应的基准时间后就可以作为相对的播放时间，送入解码器解码。可看出，这种方法最重要就是选择音频帧和视频帧的基准时间。然而，在电视直播时，各个用户接入时间各不相同，瞬间的网络状况也不一样，同时加上IP网络的“尽力而为”的特性，就经常会导致所得的第一个音频帧和视频帧的步调不同步，从而使得ISMA流中经常出现音视频不同步问题。

因此，现有技术还有待于完善和发展。

发明内容

本发明的目的在于提供一种可以实现网络电视直播时ISMA流的音视频同步的方法；为此，本发明还提供了一种互联网流媒体格式音视频同步的系统。

为了解决上述目的，本发明提供一种互联网流媒体格式音视频同步的方法，包括如下步骤：

A、设定媒体终端接收音频帧和视频帧的时间段，分别计算出该时间段内音频帧所对应时间戳的平均值，作为音频帧对应的新基准时间，以及视频帧所对应时间戳的平均值，作为视频帧对应的新基准时间；

B、将所述音频帧以及视频帧各自所对应的新基准时间写入到所述媒体终端内的解码器；

C、所述媒体终端将后续接收到的音频帧以及视频帧各自所对应的时戳分别减去各自所对应的新基准时间，计算出音频帧和视频帧的相对播放时间后，将所述音频帧和视频帧输送至解码器进行解码。

其中，步骤A中，所述时间段可根据需求任意设置。

其中，步骤A还包括：

A1、对所述新基准时间设定方差，并实时监控设定时间段内音频帧和视频帧的数量；

A2、当发现该设定时间段内音频帧或视频帧数量丢失达到偏离所述设定的方差范围时，重新设定一个时间段，并计算出该新设定时间段内音频帧和视频帧分别所对应的新基准时间；

且步骤B还包括：

B1、将所述新设定时间段内的新基准时间再次写入所述解码器。

其中，步骤C进一步包括：

计算出音频帧和视频帧的相对播放时间后，根据所述相对播放时间的大小对所述音频帧和视频帧统一排序，将其中相对播放时间小的音频帧或视频帧先送入解码器进行解码，而将相对播放时间大的音频帧或视频帧后送入解码器进行解码。

其中，所述方法中，所述音频帧的新基准时间为相应时间段内所有音频帧所对应的时戳的平均值；所述视频帧的新基准时间为相应时间段内所有视频帧所对应的时戳的平均值。

本发明提供的一种互联网流媒体格式音视频同步的系统，包括：

计算模块，用于计算设定时间段内音频帧所对应时间戳的平均值，并作为音频帧对应的新基准时间；还用于计算设定时间段内视频帧所对应时间戳的平均值，并作为视频帧对应的新基准时间；还用于计算音频帧和视频帧各自所对应的相对播放时间；及

用于将所述音频帧以及视频帧各自所对应的新基准时间写入到媒体终端内解码器上的写入模块。

其中，所述系统还包括一用于接收音频帧和视频帧并输出至所述计算模块的接收模块。

与现有技术相比，本发明采用一设定时间段内音频帧和视频帧各自所对应时戳的平均值作为新基准时间，从而无需修改音频源和视频源端，也不需要增加接收端与源端的交互流程，实现了网络电视直播时ISMA流的音视频同步，具有简单易行的特点；此外，在音频源和视频源同步的情况下，且在一个相对较长的时间段内，少量音频帧或视频帧的丢包现象，也不会影响到媒体终端接收到的音频帧和视频帧的同步性。

附图说明

图1为本发明方法的实现流程图；

图2为本发明方法的音频和视频新基准时间计算示意图；

图3为本发明方法的音频帧和视频帧相对播出时间的排序示意图；

图4为本发明系统的方框图。

具体实施方式

下面结合附图，对本发明的较佳实施例作进一步详细说明。

本发明提供了一种互联网流媒体格式音视频同步的方法，请参阅附图1，其实现流程包括如下步骤：

110、设定媒体终端接收音频帧和视频帧的时间段，分别计算出该时间段内音频帧以及视频帧各自所对应的新基准时间；

120、将所述音频帧以及视频帧各自所对应的新基准时间写入到所述媒体终端内的解码器

130、所述媒体终端将后续接收到的音频帧以及视频帧各自所对应的时戳分别减去各自所对应的新基准时间，计算出音频帧和视频帧的相对播放时间后，输送至解码器解码。

其中，步骤110中，所述时间段可根据需求任意设置，且该时间段内的音频帧和视频帧各自的数量越多越好，这样，选取的时间段越长，音频帧和视频帧的同步性也越好，从而可以消除网络瞬间的差异，或者即使少量丢包，也不会影响所设定时间段内音频帧和视频帧输出的一致性，即同步性。

本发明方法中，所述音频帧的新基准时间的计算方式是：采用设定时间段内，计算出所有音频帧所对应的时戳的平均值；类似，可以计算出设定时间段内所述视频帧的新基准时间。这样，在音频源和视频源同步的情况下，在一个相对较长的时间段内，媒体终端接收到的音频帧和视频帧的数量越多，在算术平均意义上的方差越小，音频帧和视频帧就能更好的保持同步。

本发明还提供一种互联网流媒体格式音视频同步的系统，如图4所示，包括计算模块210、写入模块220、接收模块230及时段设置模块240；在媒体终端接收音频帧和视频帧之前，由所述时段设置模块240根据需要，设定一个相对较长一点的接收音频帧和视频帧的时间段，该时间段可以根据需要任意设置。这样，在该时间段内就可以包含相对较多的音频帧和视频帧，在该时间段内即使出现少量音频帧或视频帧丢包，也不会影响所设定时间段内音频帧和视频帧输出的一致性，即同步性。

时间段设置完成后，所述接收模块230将在设定时间段内接收到的音频帧和视频帧输送至所述计算模块210，所述计算模块210应用算术平均的方法计算出设定时间段内所有音频帧和所有视频帧各自所对应的新基准时间，如图2所示，新基准时间的计算流程：

假设在时间段t(t＝1，2，3，......)内，媒体终端接收到n(n＝1，2，3，......)个音频帧，各音频帧所对应的时戳分别为TS1，TS2，......，TSn，则时间t内n个音频帧所对应时戳的平均值为：TS0＝(TS1+TS2+...+TSn)/n，TS0即为媒体终端接收音频帧的新基准时间；同样，假设在该时间段t内，媒体终端接收到m(m＝1，2，3，......)个视频帧，各视频帧所对应的时戳分别为TV1，TV2，......，TVm，则时间t内m个视频帧所对应时戳的平均值为：TV0＝(TV1+TV2+...+TVm)/m，TV0即为媒体终端收视频帧的新基准时间。

所述计算模块210计算出音频帧和视频帧各自所对应的新基准时间后，该计算模块210将所述的新基准时间输送至写入模块220，由该写入模块220将所述新基准时间写入到所述媒体终端的解码器260内。

所述媒体终端继续接收后续的音频帧和视频帧，再由所述计算模块210调用出写入到所述解码器260内的音频帧和视频帧各自所对应的新基准时间，并计算出音频帧和视频帧的相对播放时间，其计算方式是：后续接收到的音频帧以及视频帧各自所对应的时戳分别减去各自所对应的新基准时间，计算出音频帧和视频帧的相对播放时间。如图3所示，相对播放时间的计算流程：

媒体终端接收到的后续每个音频帧所对应的时戳减去新基准音频时间TS0，得出各音频帧所对应的相对播放时间，比如，(TS1-TS0)，(TS2-TS0)，......，(TSn-TS0)；同样，后续每个视频帧所对应的时戳减去新基准视频时间TV0，得到各视频帧所对应的相对播放时间，比如，(TV1-TV0)，(TV2-TV0)，......，(TVm-TV0)。

然后，根据相对播放时间对音频帧和视频帧统一排序，所述音频帧和视频帧按相对播放时间的大小顺序送入解码器260解码，相对播放时间小的先送入解码器260解码，相对播放时间大的后送入解码器260解码，这样就可以基本保证音视频同步。

音频帧和视频帧同步期间，如果发生丢包现象，比如，丢了一个音频帧i，则新基准时间：TS0＝(TS1+TS2+...+TSi-1+TSi+1+...+TSn)/(n-1)，且n足够大，则丢包不会影响TS0的计算结果。同理，如果同步期间丢失一个视频帧也是一样计算。

但是，音频帧和视频帧同步期间，如果发生丢包现象比较严重时，将影响到音频帧与视频帧的同步性。为了解决这一问题，本发明系统提供一种改进方案，所述系统还包括一校正模块250，如图4所示，该校正模块250用于校正音频帧或视频帧并确保音频帧和视频帧同步。该校正模块250通过音频帧和视频帧各自所对应的新基准时间的设定方差，实时监控设定时间段内音频帧和视频帧的数量，当发现该设定时间段内音频帧或视频帧数量丢失较为严重，偏离设定方差范围时，所述校正模块250将输出一个调整信号给所述时段设置模块240，由所述时段设置模块240重新设定一个时间段，并由所述计算模块210计算出该新设定时间段内音频帧和视频帧分别所对应的新基准时间并再次写入所述解码器，进而确保音频帧和视频帧同步。

综上所述，本发明方法采用一设定时间段内音频帧和视频帧各自所对应的时戳的平均值作为新基准时间，采用新基准时间具有如下优点：

1、在音频源和视频源同步的情况下，且在一个相对较长的时间段内，少量音频帧或视频帧的丢包现象，不会影响到媒体终端接收到的音频帧和视频帧的同步性；

2、无需修改音频源和视频源端，也不需要增加接收端与源端的交互流程，具有简单易行的特点。

总之，本发明并不限于上述实施方式，任何熟悉此技术者，在不脱离本发明的精神和范围内，都应该落在本发明的保护范围之内。

Claims

1.一种互联网流媒体格式音视频同步的方法，包括如下步骤：

2.根据权利要求1所述的方法，其特征在于，步骤A中，所述时间段可根据需求任意设置。

3.根据权利要求1所述的方法，其特征在于，步骤A还包括：

且步骤B还包括：

4.根据权利要求1所述的方法，其特征在于，步骤C进一步包括：

5.一种互联网流媒体格式音视频同步的系统，其特征在于，所述系统包括：

6.根据权利要求5所述的系统，其特征在于，所述系统还包括一用于接收音频帧和视频帧并输出至所述计算模块的接收模块。

7.根据权利要求5所述的系统，其特征在于，所述系统还包括一用于任意设置时间段的时段设置模块。

8.根据权利要求5、6或7所述的系统，其特征在于，所述系统还包括一用于校正音频帧或视频帧并确保音频帧和视频帧同步的校正模块。