CN1878315A - 视音频同步方法 - Google Patents
视音频同步方法 Download PDFInfo
- Publication number
- CN1878315A CN1878315A CN 200610098906 CN200610098906A CN1878315A CN 1878315 A CN1878315 A CN 1878315A CN 200610098906 CN200610098906 CN 200610098906 CN 200610098906 A CN200610098906 A CN 200610098906A CN 1878315 A CN1878315 A CN 1878315A
- Authority
- CN
- China
- Prior art keywords
- video
- time stamp
- audio frequency
- presentation time
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
- Television Receiver Circuits (AREA)
Abstract
本发明涉及一种视音频同步方法。本发明将时间标签分别插入视音频基本流中并一起存储在基本流缓冲区中,在不需要时间标签缓冲区的情况下实现时间标签与视音频基本流的对应,向后一级视音频解码和播放模块传递。从而达到当视音频解码出错或者缓冲区溢出时不产生视音频同步的错误传播的目的,同时降低系统成本。
Description
技术领域
本发明属于数字多媒体处理技术领域,特别涉及一种视音频同步方法。
背景技术
目前流行的视音频编解码器都是混和编解码。也即是说这些编解码器均采用了,时间、空间的预测,变换,量化和熵编码的技术。这使得视音频流的数据量会依据数据源的内容的不同而有较大的差异,这样会产生以下的不匹配的现象。
这种不匹配包括以下两种情况:首先,数据内容的差异会导致最终解码速度的波动,但是视音频的播放速度是均匀的,这样会产生解码速度和播放速度的矛盾;其次,视音频之间存在着同步关系,由于以上所述的解码速度波动,对视音频同步也存在很大的影响。
为解决以上问题,在目前流行的视音频标准中都采用在系统层加入时间标志的办法,这包括节目参考时钟和显示时间标签。节目参考时钟是系统的参考时钟,提供视音频系统总的时间上的依据,显示时间标签是视音频的播放时间的标签,视音频流中的显示时间标签提供各自的播放时间要求。所以将视音频的显示时间标签都以节目参考时钟为参考,以保证音视频同步的要求。
传统的解码器提取系统层中的显示时间标签后,将显示时间标签存入时间标签缓冲区中,而视音频基本流存入视音频基本流缓冲区中。视音频解码器从视音频基本流缓冲区读出视音频基本流进行解码,每完成一定量的数据(比如视频可能是一个图像帧,音频可能是一个音频帧)就从视音频各自的时间标签缓冲区中读出一个时间标签,最后根据读出的时间标签实现视音频同步。这种方案使用了两组独立的缓冲区:基本流缓冲区和时间标签缓冲区,时间标签缓冲区中的时间标签与基本流缓冲区中的基本流的对应关系靠解码控制逻辑实现。但是实际应用中,视音频基本流数据往往会有误码,很容易造成解码出错或者缓冲区溢出(包括基本流缓冲区和时间标签缓冲区),这种情况下时间标签缓冲区中的时间标签与基本流缓冲区中的基本流的对应关系将会被打乱,这往往会引起视音频同步的错误传播。实践中可以采用增大基本流缓冲区和时间标签缓冲区的方法弥补种种方案的上述缺点,但是这会明显提高系统成本。
发明内容
本发明的目的就是针对现有技术的不足,提出了一种视音频同步方法,从而实现当视音频解码出错或者缓冲区溢出时不产生视音频同步的错误传播。
为了实现上述目的,本发明的视音频同步方法包括下列步骤:
a.数据多路分离器从系统层码流中提取视频基本流、音频基本流、节目参考时钟、视频显示时间标签和音频显示时间标签数据,并把视频显示时间标签和音频显示时间标签分别存入V_REG和A_REG寄存器中;
b.把V_REG送入时间标签插入器,时间标签插入器检测视频基本流中的视频图像起始码,并在其后按照指定的规则插入带屏蔽位的视频显示时间标签,得到带有视频显示时间标签的视频基本流;
c.把A_REG送入时间标签插入器,时间标签插入器检测音频基本流中的音频同步码,并在其后按照指定的规则插入带屏蔽位的音频显示时间标签,得到带有音频显示时间标签的音频基本流;
d.把带有视频显示时间标签的视频基本流送入视频基本流缓冲区;
e.把带有音频显示时间标签的音频基本流送入音频基本流缓冲区;
f.视频解码器从视频基本流缓冲区读取数据后,分析带有视频显示时间标签的视频基本流中的图像起始码,并从中取出视频显示时间标签送入播放控制器;
g.音频解码器从音频基本流缓冲区读取数据后,分析带有音频显示时间标签的音频基本流中的音频同步码,并从中取出音频显示时间标签送入播放控制器;
h.播放控制器将视频显示时间标签和音频显示时间标签分别和节目参考时钟比较,根据比较结果和播放需要送出视音频播放控制信号。
需要特别指出的是,上述的步骤b、c可以独立工作,步骤d、e可以独立工作,步骤f、g可以独立工作。
本发明将时间标签分别插入视音频基本流中并一起存储在基本流缓冲区中,在不需要时间标签缓冲区的情况下实现时间标签与视音频基本流的对应,向后一级视音频解码和播放模块传递,从而达到将时间标签传递到播放控制模块的目的,同时由于时间标签和视音频基本流存在一个缓冲区,所以当视音频解码出错或者缓冲区溢出时不会出现视音频同步的错误传递。
附图说明
图1是使用本发明方法的解码器的结构示意图。
具体实施方式
如图1所示,该解码器包括以下模块:数据多路分离器101、时间标签插入器102、视音频基本流缓冲区103、视频解码器104、音频解码器105、播放控制器106、系统时钟恢复器107。
各模块功能和本发明的实施过程如下:
数据多路分离器101:从输入的TS流中提取需要的视音频基本流、节目参考时钟以及视音频PTS;将节目参考时钟送入系统时钟恢复器107,并把视音频基本流和视音频PTS送入时间标签插入器。
时间标签插入器102:从视音频基本流中找出视频的图像起始码和音频的同步码,并在其后分别插入带有屏蔽位的视音频PTS,这样可以防止PTS的某些位可以产生与视频图像起始码或者音频同步码相同的码字,而引起在插入PTS后的基本流产生新的视频图像起始码和音频同步码。
视音频基本流缓冲区103:分开存储添加过PTS的视频基本流和音频基本流。
视频解码器104:检测视频图像起始码,从后面提取V_PTS;并在播放控制信号下解码。
音频解码器105:检测音频同步码,从后面提取A_PTS;并在播放控制信号下解码。
播放控制器106:根据V_PTS、A_PTS和系统时钟STC来调整播放。
系统时钟恢复器107:根据节目参考时钟PCR恢复出本地的系统时钟STC,并送给播放控制器106。
其中时间标签插入器102的实施细节如下:
对于视频基本流,在码流中查找图像起始码,在其后插入带有屏蔽位的V_PTS,带有屏蔽位的V_PTS为:
屏蔽位----------------------------2’b11
V_PTS有效-------------------------1-bit
V_PTS[32:28]----------------------5-bit
屏蔽位----------------------------1’b1
V_PTS[27:21]----------------------7-bit
屏蔽位----------------------------1’b1
V_PTS[20:14]----------------------7-bit
屏蔽位----------------------------1’b1
V_PTS[13:7]-----------------------7-bit
屏蔽位----------------------------1’b1
V_PTS[6:0]------------------------7-bit
对于一个新的V_PTS,当第一次找到视频的图像起始码时,置V_PTS有效位为1,而找到下一个视频的图像起始码,若V_PTS没有更新,则置V_PTS有效位为0,若V_PTS更新了,则置V_PTS有效位为1。
对于音频基本流,在码流中查找音频同步码,在其后插入带有屏蔽位的A_PTS,带有屏蔽位的A_PTS为:
1、A_PTS有效等于1时:
屏蔽位----------------------------2’b0
A_PTS有效-------------------------1’b1
A_PTS[32:28]----------------------5bit
屏蔽位----------------------------1’b0
A_PTS[27:21]----------------------7bit
屏蔽位----------------------------1’b0
A_PTS[20:14]----------------------7bit
屏蔽位----------------------------1’b0
A_PTS[13:7]-----------------------7bit
屏蔽位----------------------------1’b0
A_PTS[6:0]------------------------7bit
屏蔽位----------------------------8’b0
2、A_PTS有效等于0时:
屏蔽位----------------------------2’b0
A_PTS有效-------------------------1’b0
屏蔽位----------------------------13’b0
对于一个新的A_PTS,当第一次找到音频同步码时,置A_PTS有效位为1,而找到下一个音频同步码,若A_PTS没有更新,则置A_PTS有效位为0,若A_PTS更新了,则置A_PTS有效位为1。由于音频同步码在音频基本流中非同步码的部分也可能出现,所以对于音频,在A_PTS有效位等于0的情况下,插入的数据量非常小。有利用节省基本流缓冲区的空间。
如上所述,本发明的视音频同步方法,将时间标签分别插入视音频基本流中并一起存储在基本流缓冲区中,在不需要时间标签缓冲区的情况下实现时间标签与视音频基本流的对应,当视音频解码出错或者缓冲区溢出时不产生视音频同步的错误传播。
尽管本发明是参照其优选实施例来具体描述的,但本领域的技术人员应该理解,在不脱离有所附权利要求限定的本发明的精神和范围的情况下,可以对其进行形式和细节的各种修改。
Claims (2)
1、视音频同步方法,其特征在于该方法包含以下步骤:
a.数据多路分离器从系统层码流中提取视频基本流、音频基本流、节目参考时钟、视频显示时间标签和音频显示时间标签数据,并把视频显示时间标签和音频显示时间标签分别存入V_REG和A_REG寄存器中;
b.把V_REG送入时间标签插入器,时间标签插入器检测视频基本流中的视频图像起始码,并在其后按照指定的规则插入带屏蔽位的视频显示时间标签,得到带有视频显示时间标签的视频基本流;
c.把A_REG送入时间标签插入器,时间标签插入器检测音频基本流中的音频同步码,并在其后按照指定的规则插入带屏蔽位的音频显示时间标签,得到带有音频显示时间标签的音频基本流;
d.把带有视频显示时间标签的视频基本流送入视频基本流缓冲区;
e.把带有音频显示时间标签的音频基本流送入音频基本流缓冲区;
f.视频解码器从视频基本流缓冲区读取数据后,分析带有视频显示时间标签的视频基本流中的图像起始码,并从中取出视频显示时间标签送入播放控制器;
g.音频解码器从音频基本流缓冲区读取数据后,分析带有音频显示时间标签的音频基本流中的音频同步码,并从中取出音频显示时间标签送入播放控制器;
h.播放控制器将视频显示时间标签和音频显示时间标签分别和节目参考时钟比较,根据比较结果和播放需要送出视音频播放控制信号。
2、如权利要求1所述的视音频同步方法,其特征在于所述的步骤b、c可以独立工作,步骤d、e可以独立工作,步骤f、g可以独立工作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2006100989067A CN100438634C (zh) | 2006-07-14 | 2006-07-14 | 视音频同步方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2006100989067A CN100438634C (zh) | 2006-07-14 | 2006-07-14 | 视音频同步方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1878315A true CN1878315A (zh) | 2006-12-13 |
CN100438634C CN100438634C (zh) | 2008-11-26 |
Family
ID=37510577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2006100989067A Active CN100438634C (zh) | 2006-07-14 | 2006-07-14 | 视音频同步方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100438634C (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101521833B (zh) * | 2009-04-14 | 2011-01-05 | 北京牡丹视源电子有限责任公司 | 一种测试用传输流的处理方法及其处理装置 |
CN102075767A (zh) * | 2010-11-29 | 2011-05-25 | 大连捷成实业发展有限公司 | 一种视频与音频自动同步的处理方法 |
CN102364952A (zh) * | 2011-10-25 | 2012-02-29 | 浙江万朋网络技术有限公司 | 一种多路音视频同时播放时处理音视频同步的方法 |
CN102780929A (zh) * | 2012-05-31 | 2012-11-14 | 新奥特(北京)视频技术有限公司 | 一种通过处理时码跳变以使视音频同步的方法 |
CN101933332B (zh) * | 2008-01-18 | 2013-03-20 | 萨基姆通信公司 | 视频数据解码器和用于解码视频数据并与字幕显示同步的方法 |
CN112511885A (zh) * | 2020-11-20 | 2021-03-16 | 深圳乐播科技有限公司 | 音视频同步方法、装置及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7315622B2 (en) * | 2002-06-27 | 2008-01-01 | Nxp B.V. | Robust method for achieving audio/video synchronization in MPEG decoders in personal video recording applications |
US7471337B2 (en) * | 2004-06-09 | 2008-12-30 | Lsi Corporation | Method of audio-video synchronization |
CN1295920C (zh) * | 2004-07-29 | 2007-01-17 | 联合信源数字音视频技术(北京)有限公司 | 视频解码和显示的同步控制装置及同步方法 |
-
2006
- 2006-07-14 CN CNB2006100989067A patent/CN100438634C/zh active Active
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101933332B (zh) * | 2008-01-18 | 2013-03-20 | 萨基姆通信公司 | 视频数据解码器和用于解码视频数据并与字幕显示同步的方法 |
CN101521833B (zh) * | 2009-04-14 | 2011-01-05 | 北京牡丹视源电子有限责任公司 | 一种测试用传输流的处理方法及其处理装置 |
CN102075767A (zh) * | 2010-11-29 | 2011-05-25 | 大连捷成实业发展有限公司 | 一种视频与音频自动同步的处理方法 |
CN102075767B (zh) * | 2010-11-29 | 2012-12-12 | 大连捷成实业发展有限公司 | 一种视频与音频自动同步的处理方法 |
CN102364952A (zh) * | 2011-10-25 | 2012-02-29 | 浙江万朋网络技术有限公司 | 一种多路音视频同时播放时处理音视频同步的方法 |
CN102780929A (zh) * | 2012-05-31 | 2012-11-14 | 新奥特(北京)视频技术有限公司 | 一种通过处理时码跳变以使视音频同步的方法 |
CN112511885A (zh) * | 2020-11-20 | 2021-03-16 | 深圳乐播科技有限公司 | 音视频同步方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN100438634C (zh) | 2008-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1878315A (zh) | 视音频同步方法 | |
CN1764974A (zh) | 存储多媒体数据的存储介质和再现多媒体数据的方法和设备 | |
CN1905645A (zh) | 使用可扩展字幕文件提供附加信息的设备和方法 | |
CN1710963A (zh) | 数字多媒体数据接收机的数据同步方法和设备 | |
CN1741583A (zh) | 用于协调视频与字幕的同步的设备和方法 | |
CN103237255A (zh) | 一种多线程的音视频同步控制方法及系统 | |
CN1652611A (zh) | 解码方法和解码设备 | |
CN100352278C (zh) | 保持输入的输送流与节目流解码器之间同步的方法和设备 | |
CN1859567A (zh) | 一种数字电视解码方法和系统 | |
CN1436001A (zh) | 解码系统中实现视频与音频同步的方法 | |
CN1678019A (zh) | 数据同步再生装置以及终端装置 | |
CN1741609A (zh) | 用于视频同步的设备、方法和介质 | |
CN1859046A (zh) | 接收数字多媒体广播的装置和方法 | |
CN1992901A (zh) | 用于发送和接收基本图像帧和附加的选用帧的方法和装置 | |
CN1295920C (zh) | 视频解码和显示的同步控制装置及同步方法 | |
CN1682206A (zh) | 以改变流式约束为基础的动态质量调节 | |
CN104185028A (zh) | 一种视频播放方法及终端 | |
CN1921631A (zh) | 用于再现数字广播的移动通信终端和方法 | |
CN1917652A (zh) | Ip网络流媒体音视频同步播放方法 | |
CN1288905C (zh) | 数据解码器和数据解码方法 | |
CN1110951C (zh) | Hdtv视频解码器中的系统控制器 | |
CN1223191C (zh) | 会议电视流媒体数据管理方法 | |
CN101080006A (zh) | 视频播放中视频帧的分级处理方法 | |
CN104125493A (zh) | 影音同步系统及方法 | |
CN1893592A (zh) | 数字电视接收机的视频唇形同步处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C56 | Change in the name or address of the patentee | ||
CP03 | Change of name, title or address |
Address after: No. 90, Wensanlu Road, Hangzhou, Zhejiang, Xihu District Patentee after: Hangzhou National Chip Science & Technology Co., Ltd. Address before: 5A, Neusoft building, No. 99 Huaxing Road, Hangzhou, Zhejiang, Xihu District Patentee before: Hangzhou Guoxin Science & Technology Co., Ltd. |