CN101902649A

CN101902649A - 一种基于h.264标准的音视频同步控制方法

Info

Publication number: CN101902649A
Application number: CN 201010226556
Authority: CN
Inventors: 孟利民; 徐志江
Original assignee: HANGZHOU PUNUO TECHNOLOGY CO LTD; Zhejiang University of Technology ZJUT
Current assignee: HANGZHOU PUNUO TECHNOLOGY CO LTD; Zhejiang University of Technology ZJUT
Priority date: 2010-07-15
Filing date: 2010-07-15
Publication date: 2010-12-01

Abstract

一种基于H.264标准的音视频同步控制方法，包括以下步骤：1)选择一个参考时钟，生成数据流时依照所述参考时钟上的时间给音频、视频各自打上时间戳，所述时间戳包括开始时间和结束时间；2)提取音频时间戳；3)提取视频时间戳；4)播放音频；5)将音频时间戳t1和视频时间戳t2相比较，如果(t1-t2)大于0，则视频延迟播放，即停顿一个差值时间后播放；如果(t1-t2)小于等于0，则视频立即播放。本发明提供一种节省硬件资源、控制精度高的基于H.264标准的音视频同步控制方法。

Description

一种基于H.264标准的音视频同步控制方法

技术领域

本发明涉及一种基于H.264标准的音视频同步控制方法。

背景技术

近年来，多媒体技术迅猛发展，人们对其的应用（如可视电话、会议电视、远程监控）越来越感兴趣。但由于信道传输中的时延、抖动以及接收端和发送端的速度不匹配等问题，使得我们所接收到的媒体文件声音和画面出现异步现象（即音视频不同步）。如何解决媒体同步问题，其中的音视频同步是最为关键的一项技术。

目前音视频同步解决方案有很多，主要有：

同步标记法，在发送端发出一个同步标记，接收端接收同步标记，用来对各个媒体进行同步处理以达到双方通信同步的目的；

多路复用同步法，将多个媒体流的数据复用到一个数据流或一个报文中，从而使其在多媒体传输中自然保持媒体间的相互关系，以达到媒体间同步的目的。

现有的音视频同步控制方法存在的缺陷：占用了较多的硬件资源、控制精度不高。

发明内容

为了克服已有的视频同步控制方法的占用较多的硬件资源、控制精度不高的不足，本发明提供一种节省硬件资源、控制精度高的基于H.264标准的音视频同步控制方法。

本发明解决其技术问题所采用的技术方案是：

一种基于H.264标准的音视频同步控制方法，所述同步述控制方法包括以下步骤：

1)选择一个参考时钟，生成数据流时依照所述参考时钟上的时间给音频、视频各自打上时间戳，所述时间戳包括开始时间和结束时间；

2)提取音频时间戳；

3)提取视频时间戳；

4)播放音频；

5)将音频时间戳t1和视频时间戳t2相比较，如果(t1-t2)大于0，则视频延迟播放，即停顿一个差值时间后播放；如果(t1-t2)小于等于0，则视频立即播放。

作为优选的一种方案：所述步骤5）中，在一帧数据停顿一个差值时间之后，对下一帧的停顿时间设定一个固定时间值。

本发明的技术构思为：本发明提出了一种基于H.264标准的时间戳技术的音视频同步方法：首先选择一个参考时钟（参考时钟上的时间是线性递增的）；生成数据流时依据参考时钟上的时间给每个数据块都打上时间戳（包括开始时间和结束时间）；播放时，读取数据块上的时间戳，同时参考当前参考时钟上的时间来安排播放。

此音视频同步系统中，音频和视频单独录取，同步主要分为如下两种情况：直接播放时候的音视频同步和音视频回放的音视频同步。对于直接播放的音视频同步而言，音视频主要包括两种不同线程，音频的录取播放线程和视频的录取播放线程。对于文件回放的音视频同步而言，音视频包括两个不同的文件，其中音频一个文件，视频一个文件，二者分开来独立存取。

避免音视频不同步现象有两个关键问题：

一是在生成数据流时要打上正确的时间戳。如果数据块上打的时间戳本身就有问题，那么播放时再怎么调整也于事无补。打时间戳时，视频流和音频流都是参考参考时钟的时间，而数据流之间不会发生参考关系，即视频流和音频流是通过一个中立的第三方（参考时钟）来实现同步的。

二是在播放时基于时间戳对数据流的控制，也就是对数据块早到或晚到采取不同的处理方法。

为此，此系统中我们定义了时间戳结构，此函数结构体为

typedef struct _tag_ MMStreamPackage _t

{

int streamindex;//初始化为0

short streamtype;//是音频还是视频

short subtype; //是否是关键帧-----------0非关键帧，1关键帧

unsigned int phyaddr;//物理地址

unsigned int time;//时间戳

int length;//长度

}MMStreamPackage_ t;

1.int streamindex;//流的索引，初始化为0，可以标志当前流的索引值

2.short streamtype;//流的类型，分为音频和视频，其中0表示音频，1表示视频

3.short subtype; //是否是关键帧，其中0非关键帧，1关键帧；关键帧的概念主要针对于视频而言，在音频流中，该项默认为0，即非关键帧

4.unsigned int phyaddr;//物理地址，用在存储系统中，在本音视频同步中没有使用该项，默认初始化为0

5.unsigned int time;//用一个无符号int类型表示的时间单位，该项是该结构体的关键项，表示标志这一段数据产生的时间，并以此作为音视频同步的考量标准

6.int length;//表示该段数据流包的长度，大小

音频和视频采用这同一结构体，使音视频的结构体头具有通用性，在程序编写过程中，在每一段音频数据包和每一帧视频数据包前面都加上这个结构体头数据。

本发明的有益效果主要表现在：节省硬件资源、控制精度高。

附图说明

图1是音视频同步的系统流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1，一种基于H.264标准的音视频同步控制方法，所述同步述控制方法包括以下步骤：

2)提取音频时间戳；

3)提取视频时间戳；

4)播放音频；

所述步骤5）中，在一帧数据停顿一个差值时间之后，对下一帧的停顿时间设定一个固定时间值。

本实施例的系统流程：

1)给音频、视频各自打上时间戳

2)提取音频时间戳

3)提取视频时间戳

4)播放音频

5)音频时间戳（t1）和视频时间戳（t2）相比较，如果(t1-t2)大于0，则视频延迟播放；如果(t1-t2)小于等于0，则视频立即播放，即按照如下逻辑：

(5.1)早于音频帧，则此视频帧不播放

(5.2)迟于音频帧，则此视频帧重复播放

具体系统流程见附图1；

此系统在实现的过程中，可能出现突然停顿太长时间给视频带来的画面停滞现象，为了消除此现象，我们在一帧数据停顿一个差值时间之后，对下一帧的停顿时间设定一个固定时间值（此系统中我们设为25ms），尽可能使其达到流畅播放的效果。

本实施例与传统的音视频同步方法相比，基于H.264标准的时间戳方法，节省了硬件资源，并在取得较好压缩图像效果的情况下实现音视频信号的同步。

Claims

1.一种基于H.264标准的音视频同步控制方法，其特征在于：所同步述控制方法包括以下步骤：

2)提取音频时间戳；

3)提取视频时间戳；

4)播放音频；

2.如权利要求1所述的一种基于H.264标准的音视频同步控制方法，其特征在于：所述步骤5）中，在一帧数据停顿一个差值时间之后，对下一帧的停顿时间设定一个固定时间值。