CN102075803A - 一种播放音视频同步的方法 - Google Patents

Abstract

本发明适用于多媒体技术领域，提供了一种播放音视频同步的方法。该方法包括：A.输入一帧数据至解复用组件；B.判断PTS是否发生跳变，跳变则计算CLOCK_OFFSET值；C.计算数据帧调整后的PTS；D.判断Delta是否在ERR_RANGE内，如果在，则进行计算CLOCK_OFFSET，否则，进行步骤E；E.将调整后的PTS值写回数据帧，并将数据帧发送给解码器。本发明只需在解复用组件中修改PTS值，不需修改播放器本地时钟，因此也无需进行硬件方面的操作。

Description

一种播放音视频同步的方法

技术领域

本发明属于多媒体技术领域，尤其涉及一种播放音视频同步的方法。

背景技术

通常，数字媒体文件或媒体流中的音频数据和视频数据是分离存放和处理的，因此，当进行音视频播放的时候，播放器必须对音频和视频进行同步，否则观赏者看到图像和听到的声音就不同步。为达到同步的目的，媒体源会有一个时钟，每一帧音频数据或视频数据都会打上一个时间戳(以下简称PTS)，时间戳指示了播放器播放每帧音频或视频的相对时间，此时间是相对于媒体源时钟的时间基点。

在播放时，播放器必须确保在指定的时间播放相应的音频帧或视频帧。为此，播放器会有一个本地时钟，音频或视频的呈现装置(renderer)会比较PTS和本地时钟，如果吻合，即PTS落入一定的本地时钟接收区间范围，则播放相应的音频帧或视频帧；在PTS早于该接收区间，则丢掉该数据帧；当PTS晚于该接收区间，则保留并延迟到相应的时间再呈现该数据帧。

综上所述，播放器中音视频的同步，涉及许多复杂的操作，其中一项重要的操作就是要建立PTS和播放器本地时钟间的对应关系。这种对应关系的建立，本质上可以通过两种方法来实现：更改PTS，使其对应播放器本地时钟的计数值；修改播放器本地时钟的计数值，使其对应PTS的变化。绝大多数同步系统所使用的方法，都直接或间接地涉及修改播放器本地时钟计数值。例如，当接收到第一帧数据时，直接或间接地用相应的PTS设置播放器本地时钟计数初始值；当播放器进行定位播放时，用定位后的新数据帧的PTS重新设置播放器本地时钟计数值；当进行网络流媒体播放时，插入广告媒体流，由于广告媒体流所使用的媒体源时钟和正常媒体流的媒体源时钟的时间基点不一致，造成了PTS值出现跃变的时钟不连续问题，为解决这一问题，而修改播放器本地时钟计数值；当进行网络流媒体播放时，由于网络的延迟和不稳定，造成某一时刻播放器端接收到的数据帧的PTS严重滞后播放器本地时钟相应的计数值(同样造成了时钟不连续问题)，为此需修改播放器本地时钟计数值；其它造成时钟跃变不连续的情形，亦需修改播放器本地时钟计数值。

上述修改本地时钟的方法会涉及到硬件操作，在无法进行硬件操作或者不便于进行硬件操作的情形下，无法完成同步。

发明内容

本发明的目的在于提供一种播放音视频同步的方法，旨在解决现有技术中在无法进行硬件操作或者不便于进行硬件操作的情形下，无法完成音视频同步问题。

本发明是这样实现的，一种播放音视频同步的方法，该方法包括：A.输入一帧数据至解复用组件；B.判断PTS是否发生跳变，跳变则计算CLOCK_OFFSET值；C.计算数据帧调整后的PTS；D.判断Delta是否在ERR_RANGE内，如果在，则进行计算CLOCK_OFFSET，否则，进行步骤E；E.将调整后的PTS值写回数据帧，并将数据帧发送给解码器，该方法中，ERR_RANGE是调整后的数据帧PTS值与播放器本地时钟之间允许的误差范围；PTS_GAP是用于判断PTS值是否发生跃变的区间范围；CLOCK_OFFSET值是接收的数据帧PTS与本地时钟PTS之间的偏移值；Delta值是网络延迟造成的调整后PTS值与本地PTS之间的差值。

该方法的步骤B中，判断PTS跳变是判断接收的数据帧是首帧数据或定位后的首帧数据，是则表示PTS跳变；或判断帧PTS是否在PTS_GAP内，是则PTS发生跳变。

步骤B中具体包括：B1.判断是否是首帧数据，如果是，则进行步骤B4，否则进行步骤B2；B2.判断是否是定位后读到的首帧数据，如果是，则进行步骤B4，否则进行步骤B3；B3.判断帧PTS是否在PTS_GAP内，如果是则进行步骤C，否则进行步骤B4；B4.计算CLOCK_OFFSET值。

步骤C中，如果PTS发送跳变，则根据步骤B中的CLOCK_OFFSET计算调整后的PTS，否则根据接收数据帧的PTS作为调整后的PTS。

步骤D中具体包括：D1.判断是否是网络媒体流，如果是，则进行步骤H，否则进行步骤J；D2.计算网络延迟造成的调整后PTS值与本地PTS之间的差值Delta；D3.判断Delta是否在ERR_RANGE内，如果在，则计算CLOCK_OFFSET，否则进行步骤E。

本发明只需在解复用组件中修改PTS值，不需修改播放器本地时钟，因此也无需进行硬件方面的操作。

附图说明

图1是本发明播放音视频同步方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，是本发明播放音视频同步方法的流程图。该方法通过在解复用组件中修改PTS值来完成音视频同步。利用该方法进行播放音视频之前，需要解复用组件中定义以下参数值：

ERR_RANGE：调整后的数据帧PTS值与播放器本地时钟之间允许的误差范围；

PTS_GAP：用于判断PTS值是否发生跃变的区间范围；

CLOCK_OFFSET值：接收的数据帧PTS与本地时钟PTS之间的偏移值；

Delta值：网络延迟造成的调整后PTS值与本地PTS之间的差值。

基于上述定义的参数，播放音视频同步的方法包括如下步骤：

A.输入一帧数据至解复用器；

B.判断PTS是否发生跳变，跳变则计算CLOCK_OFFSET值；

判断PTS跳变主要是判断接收的数据帧是首帧数据或定位后的首帧数据或帧PTS不在PTS_GAP内。具体来说，步骤B包括：

B1.判断是否是首帧数据，如果是，则进行步骤B4，否则进行步骤B2；

B2.判断是否是定位后读到的首帧数据，如果是，则进行步骤B4，否则进行步骤B3；在步骤B2中判断接收的并非首帧数据，则解复用组件对接收到的帧进行定位，定位后的首帧作为数据的首帧。

B3.判断帧PTS是否在PTS_GAP内，如果是则进行步骤C，否则进行步骤B4；

B4.计算CLOCK_OFFSET值；

C.计算数据帧调整后的PTS；

如果PTS发送跳变，则根据步骤B中的CLOCK_OFFSET计算调整后的PTS，否则根据接收数据帧的PTS作为调整后的PTS；

D.判断Delta是否在ERR_RANGE内，如果在，则进行计算CLOCK_OFFSET，否则，进行步骤E；该步骤具体包括：

D1.判断是否是网络媒体流，如果是，则进行步骤H，否则进行步骤J；

D2.计算网络延迟造成的调整后PTS值与本地PTS之间的差值Delta；

D3.判断Delta是否在ERR_RANGE内，如果在，则计算CLOCK_OFFSET，否则进行步骤E；

E.将调整后的PTS值写回数据帧，并将数据帧发送给解码器。

本发明只需在解复用组件中修改PTS值，不需修改播放器本地时钟，因此也无需进行硬件方面的操作。

此外，本发明通过自动检测由定位播放操作或网络延迟造成的PTS跃变，并进行校正，允许多段PTS跃变的数据存在于解码器缓冲区中。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种播放音视频同步的方法，该方法包括：

A.输入一帧数据至解复用组件；

B.判断PTS是否发生跳变，跳变则计算CLOCK_OFFSET值；

C.计算数据帧调整后的PTS；

D.判断Delta是否在ERR_RANGE内，如果在，则进行计算CLOCK_OFFSET，否则，进行步骤E；

E.将调整后的PTS值写回数据帧，并将数据帧发送给解码器，

该方法中，ERR_RANGE是调整后的数据帧PTS值与播放器本地时钟之间允许的误差范围；PTS_GAP是用于判断PTS值是否发生跃变的区间范围；CLOCK_OFFSET值是接收的数据帧PTS与本地时钟PTS之间的偏移值；Delta值是网络延迟造成的调整后PTS值与本地PTS之间的差值。

2.根据权利要求1所述的播放音视频同步的方法，其特征在于，步骤B中，判断PTS跳变是判断接收的数据帧是首帧数据或定位后的首帧数据，是则表示PTS跳变；或判断帧PTS是否在PTS_GAP内，是则PTS发生跳变。

3.根据权利要求1所述的播放音视频同步的方法，其特征在于，步骤B中具体包括：

B1.判断是否是首帧数据，如果是，则进行步骤B4，否则进行步骤B2；

B2.判断是否是定位后读到的首帧数据，如果是，则进行步骤B4，否则进行步骤B3；

B3.判断帧PTS是否在PTS_GAP内，如果是则进行步骤C，否则进行步骤B4；

B4.计算CLOCK_OFFSET值。

4.根据权利要求1所述的播放音视频同步的方法，其特征在于，步骤C中，如果PTS发送跳变，则根据步骤B中的CLOCK_OFFSET计算调整后的PTS，否则根据接收数据帧的PTS作为调整后的PTS。

5.根据权利要求1所述的播放音视频同步的方法，其特征在于，步骤D中具体包括：

D1.判断是否是网络媒体流，如果是，则进行步骤H，否则进行步骤J；

D2.计算网络延迟造成的调整后PTS值与本地PTS之间的差值Delta；

D3.判断Delta是否在ERR_RANGE内，如果在，则计算CLOCK_OFFSET，否则进行步骤E。

Images