CN101984672B - 多线程的音视频同步控制方法及装置 - Google Patents

Abstract

本发明公开了一种多线程的音视频同步控制方法及装置，所述方法包括：将所述传输流或节目流拆分成音频基本流、视频基本流、以及各自时间信息；解码并得到待输出的音频数据和图像数据；根据所述时间信息分别选择符合本地系统时钟要求的待输出音频数据和图像数据进行输出，并选择时间信息与本地系统时钟值最接近的音频数据和图像数据，计算所述音频数据对应时间和图像数据对应时间的差值，在所述视频数据对应时间大于音频数据对应时间时，重复输出所述视频数据进行显示，否则跳过该视频数据对视频播放进行跳帧处理，使音视频同步输出。本发明不需要补充大量的视频编码数据和音频图像数据，从而很大程度地降低对系统资源的使用。

Description

多线程的音视频同步控制方法及装置

技术领域

本发明涉及一种数字音视频技术领域，尤其涉及一种多线程的音视频同步控制方法及装置。

背景技术

目前流行的视频编解码标准，例如MPEG-1、MPEG-2、MPEG-4、H.26x等都是采用传统的混合编码结构，该结构采用时间和空间的预测、变换、量化和熵编码方法，将视频帧编码为不同的帧类型：帧内预测帧(I帧)、帧间预测帧(P帧)和双向预测帧(B帧)，这必将导致视频解码速度因视频内容而有所不同，而视频的播放帧率是固定的，从而导致了视频解码速度与显示速度不匹配等问题，而且音频和视频是分开编码和传输，而在播放时要求同步输出，如果不采用比较好的控制方法，很容易导致音视频输出不同步的现象。

解决这个问题的方法，现有技术一般是采用较大的缓冲区来缓冲编码数据和编码后的图像和音频帧。由于图像内容的不确定性又给缓冲区大小的确定带来了困难，缓冲区太小则数据溢出，缓冲区太大又造成内存空间的浪费。

另一种现有技术可参阅2007年5月30日公开的中国发明专利第200610157163.6号所揭露的一种移动多媒体广播视音频同步播放的方法，所述方法在子帧头中设一个起始播放时间字段，用来表示该频道数据的起始播放时间；将视频、音频数据分别分割为多个视频、音频单元，根据每个视频、音频单元的起始播放时间与该整个频道数据的起始播放时间的时间差，在每个视频、音频段头中为每个视频、音频单元设置一个相对播放时间字段，来记录每个视频、音频单元的播放相对时间差；每个视频、音频单元的实际播放时间是起始播放时间与该视频、音频单元的相对播放时间的和。终端接收到数据后计算出每个视音频单元的实际播放时间进行播放，就能实现视频音频的同步播放。但这种方法并没有考虑图像和声音内容的不确定性，而且分割视频和音频也带来困难和麻烦。

发明内容

本发明主要解决的技术问题是提供一种资源占用少并且可实现音视频同步播放的多线程的音视频同步控制方法及装置。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种多线程的音视频同步控制方法，包括：将所述传输流或节目流拆分成音频基本流、视频基本流、以及分别对应所述音频基本流、视频基本流中数据元素的各自时间信息；分别解码所述音频基本流和视频基本流中的比特流，得到待输出的音频数据和图像数据；解码后根据所述时间信息分别选择符合本地系统时钟要求的待输出音频数据和图像数据进行输出，并选择时间信息与本地系统时钟值最接近的音频数据和图像数据，计算选择得到的音频数据对应时间和选择得到的图像数据对应时间的差值，在所述选择得到的视频数据对应时间大于选择得到的音频数据对应时间时，重复输出所述视频数据进行显示，在所述选择得到的视频数据对应时间小于选择得到的音频数据对应时间时，跳过该视频数据对视频播放进行跳帧处理，使音视频同步输出。

其中，将所述传输流或节目流拆分的步骤之前，包括：创建解复用线程、音频解码线程、视频解码线程、音频同步输出线程和视频同步输出线程，所述解复用线程用于将所述传输流或节目流拆分；将所述传输流或节目流拆分的步骤之后，包括：将音频基本流插入音频基本流队列尾部，将视频基本流插入视频基本流队列尾部，激活解码线程；若音频基本流队列或视频基本流队列溢出则解复用线程挂起等待；在将音频基本流插入音频基本流队列尾部、将视频基本流插入视频基本流队列尾部并激活解码线程之后，包括：启动音频解码线程和视频解码线程，进行所述分别解码音频基本流队列和视频基本流队列中的比特流的步骤，并将解码后的音频数据和图像数据和各自相应时间信息分别插入音频输出队列和视频输出队列；在将解码后的音频数据和图像数据和各自相应时间信息分别插入音频输出队列和视频输出队列之后，包括：根据解码后的时间戳与本地系统时钟的差值，启动音频同步输出线程和视频同步输出线程。

其中，所述时间信息包括时间戳。

其中，根据所述时间信息分别选择符合本地系统时钟要求的待输出音频数据和图像数据进行输出的步骤包括：计算当前时刻的本地系统时钟，查找音频输出队列中时间戳值与本地系统时钟值最接近的队列元素，作为符合本地系统时钟要求的待输出音频数据；以及计算当前时刻的本地系统时钟，查找视频输出队列中时间戳值与本地系统时钟值最接近的队列元素，作为符合本地系统时钟要求的待输出图像数据。

其中，所述激活解码线程通过对信号量进行申请资源的P操作完成。

其中，所述解复用线程与音频解码线程、视频解码线程间的同步处理采用信号量机制完成，通过对信号的申请资源/释放资源的PV操作协调解复用线程与音频解码线程、视频解码线程间的同步。

其中，采用所述信号量机制完成解复用线程与音频解码线程、视频解码线程间的同步处理包括：音频解码：(a)音频解码线程阻塞于音频信号量，在解复用线程激活信号量后开始解码；(b)对音频基本流队列头的音频基本流进行解码；(c)将解码后一帧音频数据插入音频输出队列尾部，并激活音频输出条件变量；(d)将音频基本流队列中的时间戳值保存在音频输出队列中；所述音频输出队列通过该队列的长度判断其是否溢出，若音频输出队列溢出则音频解码线程挂起等待；视频解码：(a)视频解码线程阻塞于音频信号量，在解复用线程激活信号量后开始解码；(b)对视频基本流队列头的视频基本流进行解码；(c)将解码后的一帧图像数据插入视频输出队列尾部，并激活视频输出条件变量；(d)将视频基本流队列中的时间戳值保存在视频输出队列中；所述视频输出队列通过该队列的长度判断其是否溢出，若视频输出队列溢出则视频解码线程挂起等待。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种多线程的音视频同步控制装置，包括：解复用模块，用于将所述传输流或节目流拆分成音频基本流、视频基本流、以及分别对应所述音频基本流、视频基本流中数据元素的各自时间信息；音频解码器，用于解码所述音频基本流中的比特流，得到待输出的音频数据；视频解码器，用于解码所述视频基本流中的比特流，得到待输出的图像数据；输出模块，用于解码后根据所述时间信息分别选择符合本地系统时钟要求的待输出音频数据和图像数据进行输出；同步模块，用于选择时间信息与本地系统时钟值最接近的音频数据和图像数据，计算选择得到的音频数据对应时间和选择得到的图像数据对应时间的差值，在所述选择得到的视频数据对应时间大于选择得到的音频数据对应时间时，控制所述输出模块重复输出所述视频数据进行显示，在所述选择得到的视频数据对应时间小于选择得到的音频数据对应时间时，控制所述输出模块跳过该视频数据对视频播放进行跳帧处理，使音视频同步输出。

其中，包括用于保存音频基本流的音频基本流队列、用于保存视频基本流的视频基本流队列、用于保存解码后的音频数据的音频输出队列、用于保存解码后的视频数据的视频输出队列。

其中，所述解复用模块具体用于对系统层的传输流或节目流进行解复用，将其拆分成音频基本流和视频基本流后分别插入音频基本流队列和视频基本流队列，并获取相应的时间戳；所述音频解码器和视频解码器具体用于分别对音频基本流队列和视频基本流队列中的数据进行解码，将解码后的音频数据和视频数据分别插入音频输出队列和视频输出队列；所述解码后的音频数据为脉冲调制编码数据。

本发明的有益效果是：区别于现有技术为实现音视频同步播放而需要补充大量视频编码数据和音频图像数据而很大程度地降低对系统资源的使用效率的情况，本发明所述方法利用系统层定义的时间信息和本地系统时间STC(System Time clock)，使音视频都对照上述两个时间的差值来控制输出，从而使得音视频在同一的本地系统时钟的参考下按照音视频本身时间信息严格输出，在遇到播放内容量波动情况下，分别采用重复播放、跳帧两种手段实现严格的音视频同步输出，从而实现音视频同步播放，不仅有效地实现音视频的同步输出，而且不需要补充大量的视频编码数据和音频图像数据，从而很大程度地降低对系统资源的使用，适合于各种应用平台，比如适合于嵌入式平台；此外软件架构清晰，实现复杂度低。

附图说明

图1是本发明多线程的音视频同步控制方法的流程图；

图2是本发明多线程的音视频同步控制方法的多线程控制流程图；

图3是本发明多线程的音视频同步控制装置的系统框图。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

本发明多线程的音视频同步控制方法一实施例，是基于嵌入式Linux操作系统的平台开发与实现的，由操作系统对音视频传输流或节目流进行多线程的并行处理，当然本实施例仅列举了Linux操作系统进行说明，在其他实施例中，其他类型的操作系统也可适用。具体实施过程如图1所示，包括下述步骤：

步骤101：将所述传输流或节目流拆分成音频基本流、视频基本流、以及分别对应所述音频基本流、视频基本流中数据元素的各自时间信息；

步骤102：分别解码所述音频基本流和视频基本流中的比特流，得到待输出的音频数据和图像数据；

步骤103：解码后根据所述时间信息分别选择符合本地系统时钟要求的待输出音频数据和图像数据进行输出，并选择时间信息与本地系统时钟值最接近的音频数据和图像数据，计算选择得到的音频数据对应时间和选择得到的图像数据对应时间的差值，在所述选择得到的视频数据对应时间大于选择得到的音频数据对应时间时，重复输出所述视频数据进行显示，在所述选择得到的视频数据对应时间小于选择得到的音频数据对应时间时，跳过该视频数据对视频播放进行跳帧处理，使音视频同步输出。

以上实施例，是利用系统层定义的时间信息和本地系统时间，使音视频都对照上述两个时间的差值来控制输出，从而使得音视频在同一的本地系统时钟的参考下按照音视频本身时间信息严格输出，在遇到播放内容量波动情况下，分别采用以下两种技术手段实现严格的音视频同步输出：

1)在所述选择得到的视频数据对应时间大于选择得到的音频数据对应时间时，也即视频数据快于音频数据时，进行视频的重复播放处理，使视频数据能“停下来等”音频数据的播放；

2)在所述选择得到的视频数据对应时间小于选择得到的音频数据对应时间时，也即视频数据慢于音频数据时，对视频进行跳帧处理，使视频数据能“赶上”音频数据的播放。

通过以上技术手段，实现音视频同步播放，不仅有效地实现音视频的同步输出，而且不需要补充大量的视频编码数据和音频图像数据，从而很大程度地降低对系统资源的使用，适合于各种应用平台，比如适合于嵌入式平台；此外软件架构清晰，实现复杂度低。

在一个实施例中，是具体应用电子运算设备中，即在将所述传输流或节目流拆分的步骤之前，包括：创建解复用线程、音频解码线程、视频解码线程、音频同步输出线程和视频同步输出线程，所述解复用线程用于将所述传输流或节目流拆分；

将所述传输流或节目流拆分的步骤之后，包括：将音频基本流插入音频基本流队列尾部，将视频基本流插入视频基本流队列尾部，激活解码线程；若音频基本流队列或视频基本流队列溢出则解复用线程挂起等待；

在将音频基本流插入音频基本流队列尾部、将视频基本流插入视频基本流队列尾部并激活解码线程之后，包括：启动音频解码线程和视频解码线程，进行所述分别解码音频基本流队列和视频基本流队列中的比特流的步骤，并将解码后的音频数据和图像数据和各自相应时间信息分别插入音频输出队列和视频输出队列；

在将解码后的音频数据和图像数据和各自相应时间信息分别插入音频输出队列和视频输出队列之后，包括：根据解码后的时间戳与本地系统时钟的差值，启动音频同步输出线程和视频同步输出线程。

当然，实现本发明的方式并不限于创建多个线程和排队队列的方式。

在一实施例中，所述时间信息包括时间戳。而根据所述时间信息分别选择符合本地系统时钟要求的待输出音频数据和图像数据进行输出的步骤包括：

1)计算当前时刻的本地系统时钟，查找音频输出队列中时间戳值与本地系统时钟值最接近的队列元素，作为符合本地系统时钟要求的待输出音频数据；以及

2)计算当前时刻的本地系统时钟，查找视频输出队列中时间戳值与本地系统时钟值最接近的队列元素，作为符合本地系统时钟要求的待输出图像数据。

当然如果采用延时播放或提前播放形式，则查找音频输出队列中时间戳值与本地系统时钟值相隔预定时间的队列元素，并非最接近的队列元素。在其他实施例中不限于采用时间戳来进行时间比对，可以是各种形式的时间信息或参数。

在一个实施例中，所述激活解码线程是通过对信号量进行申请资源的P操作完成。所述解复用线程与音频解码线程、视频解码线程间的同步处理采用信号量机制完成，通过对信号的申请资源/释放资源的PV操作协调解复用线程与音频解码线程、视频解码线程间的同步。

以下结合图1和图2，详细介绍本发明的其中一个具体实施例：

步骤1、创建五个线程，分别是解复用线程、音频解码线程、视频解码线程、音频同步输出线程和视频同步输出线程。

步骤2、启动解复用线程完成对系统层的传输流或节目流的解复用处理，将传输流或节目流拆分成音频基本流、视频基本流以及时间信息；然后将音频基本流插入音频基本流队列尾部，将视频基本流插入视频基本流队列尾部，激活解码线程；若音频基本流队列或视频基本流队列溢出则解复用线程挂起等待。

对于传输流，本步骤所述的音频基本流和视频基本流是通过PID值(进程标识符)区分的，首先解析PID值为0x00的数据包，从该数据包中的节目关联表PAT获得各个节目的节目映射表PMT的PID值，解码某个节目则解析该节目对应的节目映射表，从而获得该节目中音频基本流的PID值以及视频基本流的PID值，然后接收相应PID值的数据包，将数据重组成PES(Packetised Elementary Streams，带有包头的基本码流)分组后插入基本流队列。对于节目流，则是通过各个PES数据分组中的StreamID(流标识符)标志位区分音频和视频基本流。

本步骤所述的时间信息是指PES分组中的时间戳PTS与节目参考时钟PCR，将解析得到的PTS值保存在相应的队列中。解复用线程在将一整个PES分组的基本流插入基本流队列后，对信号量进行P操作(即对信号量申请资源)来激活解码线程；所述音频基本流队列或视频基本流队列通过该队列的长度判断其是否溢出，若溢出则解复用线程挂起等待。

步骤3、启动音频解码线程和视频解码线程分别解码音频基本流队列和视频基本流队列中的比特流，并将时间信息和解码后的音频数据和图像数据，分别插入音频输出队列和视频输出队列。其中解码后的音频数据为PCM数据(Pulse Code Modulation，脉冲调制编码数据)。

本步骤所述的音频解码过程如下：

(a)音频解码线程阻塞于音频信号量，在解复用线程激活信号量后开始解码；

(b)对音频基本流队列头的音频基本流进行解码；

(c)将解码后一帧音频PCM数据插入音频输出队列尾部，并激活音频输出条件变量；

(d)将音频基本流队列中的时间戳PTS值保存在音频输出队列中；所述音频输出队列通过该队列的长度判断其是否溢出，若音频输出队列溢出则音频解码线程挂起等待。

本步骤所述的视频解码过程如下：

(a)视频解码线程阻塞于音频信号量，在解复用线程激活信号量后开始解码；

(b)对视频基本流队列头的视频基本流进行解码；

(c)将解码后的一帧图像数据插入视频输出队列尾部，并激活视频输出条件变量；

(d)将视频基本流队列中的时间戳PTS值保存在视频输出队列中；所述视频输出队列通过该队列的长度判断其是否溢出，若视频输出队列溢出则视频解码线程挂起等待。

步骤4、根据解码后的时间戳与本地系统时钟的差值，启动音频同步输出线程和视频同步输出线程，选择符合输出时间的数据进行输出；并根据视频与音频的时间戳的差值，对视频播放进行跳帧处理，从而使得音视频同步输出。

本步骤所述的音频输出过程由以下步骤实现：

(a)音频输出线程阻塞于音频输出条件变量；

(b)在音频解码线程激活条件变量后，计算当前时刻的本地系统时钟STC；

(c)查找音频输出队列中时间戳PTS值与STC值最接近的队列元素，将该队列的音频PCM数据输出。

本步骤所述的视频输出过程由以下步骤实现：

(a)视频输出线程阻塞于视频输出条件变量；

(b)在视频解码线程激活条件变量后，计算当前时刻的本地系统时钟STC；

(c)查找视频输出队列中PTS值与STC值最接近的队列元素，计算视频PTS与音频PTS的差值，如果视频PTS值大于音频PTS值，则重复显示该队列元素中的图像，如果视频PTS值小于音频PTS值，则跳过该队列元素。

步骤2与步骤3线程间的同步处理采用的是信号量机制，通过对信号的PV操作协调解复用线程与解码线程间的同步，其中PV操作由P操作(即申请资源)和V操作(即释放一个资源)组成。步骤2和步骤3缓冲基本流数据与解码后的数据采用的是队列，在队列尾插入数据，在队列头操作数据。步骤3与步骤4线程间的同步处理采用的是条件变量，即通过激活条件变量来激活相应的输出线程。

本发明所述方法采用操作系统信号量、条件变量、系统层定义的节目参考时钟PCR(Program Clock Reference)和显示时间戳PTS(Presentation Time Stamp)，从而使得音视频在同一的本地系统时钟STC(System Time clock)的参考下按照PTS时刻严格输出，从而实现了音视频同步播放，不仅有效地实现了音视频的同步输出，而且不需要补充大量的视频编码数据和音频图像数据，从而很大程度地降低了对系统资源的使用，适合于嵌入式平台；此外软件架构清晰，实现复杂度低。

参阅图3，本发明还提供一种多线程的音视频同步控制装置实施例，包括：

解复用模块，用于将所述传输流或节目流拆分成音频基本流、视频基本流、以及分别对应所述音频基本流、视频基本流中数据元素的各自时间信息；

音频解码器，用于解码所述音频基本流中的比特流，得到待输出的音频数据；

视频解码器，用于解码所述视频基本流中的比特流，得到待输出的图像数据；

输出模块，用于解码后根据所述时间信息分别选择符合本地系统时钟要求的待输出音频数据和图像数据进行输出；图3中输出模块包括音频输出模块和视频输出模块；

同步模块，用于选择时间信息与本地系统时钟值最接近的音频数据和图像数据，计算音频数据对应时间和图像数据对应时间的差值，在视频数据对应时间大于音频数据对应时间时，控制所述输出模块重复输出所述视频数据进行显示，在视频数据对应时间小于音频数据对应时间时，控制所述输出模块跳过该视频数据对视频播放进行重复与跳帧处理，使音视频同步输出。

其中，为便于实现，可以包括用于保存音频基本流的音频基本流队列、用于保存视频基本流的视频基本流队列、用于保存解码后的音频数据的音频输出队列、用于保存解码后的视频数据的视频输出队列。

在具体实施例中，所述解复用模块具体用于对系统层的传输流或节目流进行解复用，将其拆分成音频基本流和视频基本流后分别插入音频基本流队列和视频基本流队列，并获取相应的时间戳；

所述音频解码器和视频解码器具体用于分别对音频基本流队列和视频基本流队列中的数据进行解码，将解码后的音频数据和视频数据分别插入音频输出队列和视频输出队列；

所述解码后的音频数据为脉冲调制编码数据。

其中的输出模块是根据解码后数据的时间戳与本地系统时钟的差值，选择符合输出时间的数据进行输出，并根据视频与音频的时间戳的差值，对视频播放进行跳帧处理，从而使得音视频同步输出。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种多线程的音视频同步控制方法，其特征在于，包括：

创建解复用线程、音频解码线程、视频解码线程、音频同步输出线程和视频同步输出线程，所述解复用线程用于将传输流或节目流拆分；将传输流或节目流拆分成音频基本流、视频基本流、以及分别对应所述音频基本流、视频基本流中数据元素的各自时间信息；将音频基本流插入音频基本流队列尾部，将视频基本流插入视频基本流队列尾部，激活解码线程；若音频基本流队列或视频基本流队列溢出则解复用线程挂起等待；

启动音频解码线程和视频解码线程，分别解码所述音频基本流和视频基本流中的比特流，得到待输出的音频数据和视频数据；并将解码后的音频数据和视频数据和各自相应时间信息分别插入音频输出队列和视频输出队列；

根据解码后的时间戳与本地系统时钟的差值，启动音频同步输出线程和视频同步输出线程；解码后根据所述时间信息分别选择符合本地系统时钟要求的待输出音频数据和视频数据进行输出，并选择时间信息与本地系统时钟值最接近的音频数据和视频数据，计算选择得到的音频数据对应时间和选择得到的视频数据对应时间的差值，在所述选择得到的视频数据对应时间大于选择得到的音频数据对应时间时，重复输出所述视频数据进行显示，在所述选择得到的视频数据对应时间小于选择得到的音频数据对应时间时，跳过该视频数据对视频播放进行跳帧处理，使音视频同步输出。

2.根据权利要求1所述的多线程的音视频同步控制方法，其特征在于：所述时间信息包括时间戳。

3.根据权利要求2所述的多线程的音视频同步控制方法，其特征在于：根据所述时间信息分别选择符合本地系统时钟要求的待输出音频数据和视频数据进行输出的步骤包括：

计算当前时刻的本地系统时钟，查找音频输出队列中时间戳值与本地系统时钟值最接近的队列元素，作为符合本地系统时钟要求的待输出音频数据；以及

计算当前时刻的本地系统时钟，查找视频输出队列中时间戳值与本地系统时钟值最接近的队列元素，作为符合本地系统时钟要求的待输出视频数据。

4.根据权利要求3所述的多线程的音视频同步控制方法，其特征在于：所述激活解码线程通过对信号量进行申请资源的P操作完成。

5.根据权利要求1所述的多线程的音视频同步控制方法，其特征在于：所述解复用线程与音频解码线程、视频解码线程间的同步处理采用信号量机制完成，通过对信号的申请资源/释放资源的PV操作协调解复用线程与音频解码线程、视频解码线程间的同步。

6.根据权利要求5所述的多线程的音视频同步控制方法，其特征在于：采用所述信号量机制完成解复用线程与音频解码线程、视频解码线程间的同步处理包括：

音频解码：(a)音频解码线程阻塞于音频信号量，在解复用线程激活信号量后开始解码；(b)对音频基本流队列头的音频基本流进行解码；(c)将解码后一帧音频数据插入音频输出队列尾部，并激活音频输出条件变量；(d)将音频基本流队列中的时间戳值保存在音频输出队列中；所述音频输出队列通过该队列的长度判断其是否溢出，若音频输出队列溢出则音频解码线程挂起等待；

视频解码：(a)视频解码线程阻塞于视频信号量，在解复用线程激活信号量后开始解码；(b)对视频基本流队列头的视频基本流进行解码；(c)将解码后的一帧视频数据插入视频输出队列尾部，并激活视频输出条件变量；(d)将视频基本流队列中的时间戳值保存在视频输出队列中；所述视频输出队列通过该队列的长度判断其是否溢出，若视频输出队列溢出则视频解码线程挂起等待。

7.一种多线程的音视频同步控制装置，其特征在于，包括：

音频基本流队列,用于保存音频基本流；

视频基本流队列，用于保存视频基本流；

音频输出队列，用于保存解码后的音频数据；

视频输出队列，用于保存解码后的视频数据；

解复用模块，用于将传输流或节目流拆分成音频基本流、视频基本流、以及分别对应所述音频基本流、视频基本流中数据元素的各自时间信息；所述解复用模块具体用于对系统层的传输流或节目流进行解复用，将其拆分成音频基本流和视频基本流后分别插入音频基本流队列和视频基本流队列，并获取相应的时间戳；

音频解码器，用于解码所述音频基本流中的比特流，得到待输出的音频数据；

视频解码器，用于解码所述视频基本流中的比特流，得到待输出的视频数据；

所述音频解码器和视频解码器具体用于分别对音频基本流队列和视频基本流队列中的数据进行解码，将解码后的音频数据和视频数据分别插入音频输出队列和视频输出队列；所述解码后的音频数据为脉冲调制编码数据;

输出模块，用于解码后根据所述时间信息分别选择符合本地系统时钟要求的待输出音频数据和视频数据进行输出；

同步模块，用于选择时间信息与本地系统时钟值最接近的音频数据和视频数据，计算选择得到的音频数据对应时间和选择得到的视频数据对应时间的差值，在所述选择得到的视频数据对应时间大于选择得到的音频数据对应时间时，控制所述输出模块重复输出所述视频数据进行显示，在所述选择得到的视频数据对应时间小于选择得到的音频数据对应时间时，控制所述输出模块跳过该视频数据对视频播放进行跳帧处理，使音视频同步输出。

Images