CN103581730A - 在数字机顶盒上实现音视频同步的方法 - Google Patents

在数字机顶盒上实现音视频同步的方法 Download PDF

Info

Publication number
CN103581730A
CN103581730A CN201310518139.0A CN201310518139A CN103581730A CN 103581730 A CN103581730 A CN 103581730A CN 201310518139 A CN201310518139 A CN 201310518139A CN 103581730 A CN103581730 A CN 103581730A
Authority
CN
China
Prior art keywords
video
frame
audio
synchronous
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310518139.0A
Other languages
English (en)
Inventor
黎安
滕超
周春健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Panda Electronics Co Ltd
Nanjing Panda Information Industry Co Ltd
Original Assignee
Nanjing Panda Electronics Co Ltd
Nanjing Panda Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Panda Electronics Co Ltd, Nanjing Panda Information Industry Co Ltd filed Critical Nanjing Panda Electronics Co Ltd
Priority to CN201310518139.0A priority Critical patent/CN103581730A/zh
Publication of CN103581730A publication Critical patent/CN103581730A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明提供一种在数字机顶盒上实现音视频同步的方法，将新到的音频帧的PTS1作为同步的基准与视频帧的PTS2进行比较，如果它们之间的差值小于设定阈值Throdhold1时，音频帧和视频帧达到同步、顺序播放视频帧，否则对视频帧对丢帧或者重复播放的操作使得音视频帧之间同步，同时对已操作的视频帧数进行计数。若计数小于计数阈值Throdhold2则继续前面的音视频同步操作，否则取消前面的同步机制，避免因为连续地对视频帧操作而出现视频卡顿的现象、影响用户体验。在取消同步后T2后，循环进行上述步骤进行音视频同步控制。本发明的方法可以在更大限度的保证用户观看节目流畅度的同时，保证音频与视频之间的同步。

Description

在数字机顶盒上实现音视频同步的方法
技术领域
本发明涉及数字电视技术领域，尤其是涉及数字电视盒，具体而言涉及一种在数字机顶盒上实现音视频同步的方法，适于数字机顶盒解码数字电视信号时候音视频的同步。
背景技术
近年来，数字电视技术发展迅猛，它包含了从信源编码、信道编码调制、射频传输到终端解码的各个环节。由于数字电视系统都音视频信号的复杂处理，在实际收看数字电视节目的过程中，音频帧与视频帧的播放存在时间差，从而导致了感官上的音频与视频不同步现象，这种现象很大程度上地影响了用户观看电视节目的体验和感受。
要消除音视频不同步的现象，本质上就是要缩小音频帧与视频帧之间的播放时间差。在目前广泛使用的MPEG-2规范中，音视频同步机制为以传输流的节目参考时钟（PCR）作为同步基准。数字机顶盒利用接收到的PCR值，通过锁相环PLL锁定本地系统时钟，使解码器服从于编码器，从而产生解码与播放的同步信号,编码过程中音频帧与视频帧之间的时间戳是很相近的，所以只要终端的解码播放与编码时候是同步的就能保证音视频之间的同步。在实际应用中，由于PCR值在数字电视前端对多个节目复用时会被修改，而当数字电视前端复用设备较差时，很容易引起节目实际的PCR值与终端接收到的PCR值之间出现差异，从而导致音视频解码不同步。
在我国，有的地区数字电视前端设备较差，复用后的节目PCR值抖动很大，且抖动无规律，从而导致常规的PCR音视频同步机制完全无法适应这种前端环境。显示时间标记(PTS)是在节目编码阶段插入的显示时间戳，受数字电视前端设备的影响相对较小，因此使用PTS进行音视频同步是一个较为可行的方法。
发明内容
本发明目的在于提供一种在数字机顶盒上实现音视频同步的方法，可为节目参考时钟（PCR）抖动大、无法使用PCR值进行音视频同步的环境下提供一种使用显示时间标记(PTS)进行数字机顶盒视频同步音频的同步方法。
为达成上述目的，本发明所采用的技术方案如下：
一种在数字机顶盒上实现音视频同步的方法，包括以下步骤：
步骤1：切换到一需要播放的节目，开始播放，在开始播放的前T1时间内，关闭音视频同步功能，使音视频帧到达相对同步的状态；
步骤2：将数字机顶盒解复用出来的音频帧的显示时间标签PTS1赋给同步基准值Base；
步骤3：若同步基准值Base为零，则视频帧正常解码播放；若同步基准值Base不为零，则将同步基准值Base与视频帧的显示时间标签PTS2进行比较，并将基准值Base清零；
步骤4：响应于同步基准值Base与视频帧的显示时间标签PTS2的比较差值小于显示时间标记阈值Threshold1，则判断为音频帧和视频帧达到理想的同步状态，视频帧正常解码播放；然后返回步骤2，循环进行步骤2-4对后续音视频帧进行同步控制；
响应于同步基准值Base与视频帧的显示时间标签PTS2的比较差值大于显示时间标记阈值Threshold1，且音频帧的显示时间标签PTS1大于视频帧的显示时间标签PTS2，则将该视频帧丢弃，并将视频帧的处理数加1；
响应于同步基准值Base与视频帧的显示时间标签PTS2的比较差值大于显示时间标记阈值Threshold1，且音频帧的显示时间标签PTS1小于视频帧的显示时间标签PTS2，则将重复解码播放该视频帧，并将视频帧的处理数加1；
步骤5：响应于视频帧的处理数大于帧数处理阈值Threshold2，将视频帧的处理数清零，并开始计时，在计时时间T2以内关闭音视频同步功能，不对视频帧进行纠正；
步骤6：计时时间T2经过后，返回步骤2，循环进行步骤2-6以对后续音视频帧进行同步控制。
由以上本发明的技术方案可知，本发明的有益效果在于采用显示时间标记进行数字机顶盒视频同步音频进行同步处理，使得视频帧的显示时间标签PTS2逐渐逼近音频帧的显示时间标签PTS1，将视频帧与音频帧的时间差值控制在阈值以内，从而实现音视频同步且流畅的播放，避免因为连续地对视频帧操作而出现视频卡顿的现象、影响用户体验，以在更大限度的保证用户观看节目流畅度的同时，保证音频与视频之间的同步。
附图说明
图1为本发明的在数字机顶盒上实现音视频同步的方法的流程示意图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
如图1所示，根据本发明的较优实施例，在数字机顶盒上实现音视频同步的方法，包括以下步骤：
步骤1：切换到一需要播放的节目，开始播放，在开始播放的前T1时间内(播放的前T1时间是一个指定的时间，大概的范围在3S到5S之间，具体需要根据现场的环境确定)，关闭音视频同步功能，使音视频帧到达相对同步的状态（同步的状态取决于现场环境，在T1的时间后，音频帧和视频帧的差值相差不是非常大的时候，就可以认为达到了相对同步的状态)；
步骤2：将数字机顶盒解复用（解复用技术是公知技术，数字机顶盒内都包括解复用模块）出来的音频帧的显示时间标签PTS1赋给同步基准值Base(这里提出基准值是为了更方便理解PTS1的作用，就是把音频帧的显示时间标签PTS1作为同步的基准，不需要做任何运算)；
步骤3：若同步基准值Base为零，则视频帧正常解码播放；若同步基准值Base不为零，则将同步基准值Base与视频帧的显示时间标签PTS2进行比较，并将基准值Base清零；
步骤4：响应于同步基准值Base与视频帧的显示时间标签PTS2的比较差值小于显示时间标记阈值Threshold1（该时间标记阈值的数值是根据机顶盒的晶振频率乘与想要控制音频帧与视频帧相差的时间得到的，例如晶振频率是50hz，想要控制音频和视频相差20ms，50*20=1000，那么该阈值就等于1000。其取值范围：阈值的参考范围是在1000-4000左右），则判断为音频帧和视频帧达到理想的同步状态，视频帧正常解码播放；然后返回步骤2，循环步骤2-4对后续音视频帧进行同步控制（同步控制的过程就是步骤2到步骤4，减小音频和视频帧PTS差值的过程)；
响应于同步基准值Base与视频帧的显示时间标签PTS2的比较差值大于显示时间标记阈值Threshold1，且音频帧的显示时间标签PTS1大于视频帧的显示时间标签PTS2，则将该视频帧丢弃，并将视频帧的处理数加1；（视频帧的处理数初始值是零)；
响应于同步基准值Base与视频帧的显示时间标签PTS2的比较差值大于显示时间标记阈值Threshold1，且音频帧的显示时间标签PTS1小于视频帧的显示时间标签PTS2，则将重复解码播放该视频帧，并将视频帧的处理数加1；
步骤5：响应于视频帧的处理数大于帧数处理阈值Threshold2（视频帧的帧数处理阈值Threshold2是根据视频的抖动情况来确定的，这个阈值表示的是连续进行视频处理的最大数值，比如如果连续处理10帧，那么可能在视频上表现的就会是视频很卡顿，这个时候就需要调小阈值，这个阈值需要考虑用户的体验，需要根据现场环境调试到最佳状态，该阈值的参考范围是3-6)，将视频帧的处理数清零，并开始计时，在计时时间T2(计时时间T2是配合视频帧数处理阈值Threshold2进行视频帧处理的，在连续处理视频帧数Threshold2后，有T2的时间不对视频帧进行处理，这样用户对视频丢帧或者卡顿的现象不会感觉明显，该参数需要和视频帧的处理数处理阈值Threshold2一起现场调试，该计时时间的参考值是300ms-500ms)以内关闭音视频同步功能，不对视频帧进行纠正；
步骤6：计时时间T2经过后，返回步骤2，循环步骤2-6以对后续音视频帧进行同步控制。
综上所述，本发明所提出的在数字机顶盒上实现音视频同步的方法采用显示时间标记(PTS)进行数字机顶盒视频同步音频进行同步处理，使得视频帧的显示时间标签PTS2逐渐逼近音频帧的显示时间标签PTS1，将视频帧与音频帧的时间差值控制在阈值Threshold1以内，从而实现音视频同步且流畅的播放，避免因为连续地对视频帧操作而出现视频卡顿的现象、影响用户体验，以在更大限度的保证用户观看节目流畅度的同时，保证音频与视频之间的同步。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (2)

1.一种在数字机顶盒上实现音视频同步的方法，其特征在于，包括以下步骤：
步骤1：切换到一需要播放的节目，开始播放，在开始播放的前T1时间内，关闭音视频同步功能，使音视频帧到达相对同步的状态；
步骤2：将数字机顶盒解复用出来的音频帧的显示时间标签PTS1赋给同步基准值Base；
步骤3：若同步基准值Base为零，则视频帧正常解码播放；若同步基准值Base不为零，则将同步基准值Base与视频帧的显示时间标签PTS2进行比较，并将基准值Base清零；
步骤4：响应于同步基准值Base与视频帧的显示时间标签PTS2的比较差值小于显示时间标记阈值Threshold1，则判断为音频帧和视频帧达到理想的同步状态，视频帧正常解码播放；然后返回步骤2，循环进行步骤2-4对后续音视频帧进行同步控制；
响应于同步基准值Base与视频帧的显示时间标签PTS2的比较差值大于显示时间标记阈值Threshold1，且音频帧的显示时间标签PTS1大于视频帧的显示时间标签PTS2，则将该视频帧丢弃，并将视频帧的处理数加1；
响应于同步基准值Base与视频帧的显示时间标签PTS2的比较差值大于显示时间标记阈值Threshold1，且音频帧的显示时间标签PTS1小于视频帧的显示时间标签PTS2，则将重复解码播放该视频帧，并将视频帧的处理数加1；
步骤5：响应于视频帧的处理数大于帧数处理阈值Threshold2，将视频帧的处理数清零，并开始计时，在计时时间T2以内关闭音视频同步功能，不对视频帧进行纠正；
步骤6：计时时间T2经过后，返回步骤2，循环进行步骤2-6以对后续音视频帧进行同步控制。
2.根据权利要求1所述的在数字机顶盒上实现音视频同步的方法，其特征在于，步骤5中：响应于视频帧的处理数大于帧数处理阈值Threshold2，视频帧的帧数处理阈值Threshold2是根据视频的抖动情况来确定的，这个阈值表示的是连续进行视频处理的最大数值，比如如果连续处理10帧，那么可能在视频上表现的就会是视频很卡顿，这个时候就需要调小阈值，这个阈值需要考虑用户的体验，需要根据现场环境调试到最佳状态，该阈值的参考范围是3-6，将视频帧的处理数清零，并开始计时，在计时时间T2以内关闭音视频同步功能，不对视频帧进行纠正；，计时时间T2是配合视频帧数处理阈值Threshold2进行视频帧处理的，在连续处理视频帧数Threshold2后，有T2的时间不对视频帧进行处理，这样用户对视频丢帧或者卡顿的现象不会感觉明显，该参数需要和视频帧的处理数处理阈值Threshold2一起现场调试，该计时时间的参考值是300ms-500ms。
CN201310518139.0A 2013-10-28 2013-10-28 在数字机顶盒上实现音视频同步的方法 Pending CN103581730A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310518139.0A CN103581730A (zh) 2013-10-28 2013-10-28 在数字机顶盒上实现音视频同步的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310518139.0A CN103581730A (zh) 2013-10-28 2013-10-28 在数字机顶盒上实现音视频同步的方法

Publications (1)

Publication Number Publication Date
CN103581730A true CN103581730A (zh) 2014-02-12

Family

ID=50052497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310518139.0A Pending CN103581730A (zh) 2013-10-28 2013-10-28 在数字机顶盒上实现音视频同步的方法

Country Status (1)

Country Link
CN (1) CN103581730A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104601770A (zh) * 2014-12-25 2015-05-06 惠州Tcl移动通信有限公司 一种终端及其流畅性评测方法
WO2017067489A1 (zh) * 2015-10-22 2017-04-27 深圳市中兴微电子技术有限公司 机顶盒音视频同步的方法及装置、存储介质
WO2017071670A1 (zh) * 2015-10-30 2017-05-04 中兴通讯股份有限公司 音视频同步方法、装置及系统
CN106875952A (zh) * 2016-12-23 2017-06-20 伟乐视讯科技股份有限公司 基于fpga嵌入式系统的多路音频软编码机制
CN111355975A (zh) * 2020-03-26 2020-06-30 郑州信大捷安信息技术股份有限公司 一种直播客户端音视频延时调节播放系统及方法
CN113141525A (zh) * 2021-03-16 2021-07-20 福建星网智慧科技有限公司 一种在线视频断流续播方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070280301A1 (en) * 2006-05-31 2007-12-06 Yuusuke Yamanaka Stream data processing apparatus and stream data processing method
CN101390388A (zh) * 2006-02-27 2009-03-18 松下电器产业株式会社 再现装置、携带式电话机和再现方法
CN102547299A (zh) * 2010-12-30 2012-07-04 福建星网视易信息系统有限公司 基于mpeg-2视频流的音视频同步控制方法
WO2012151756A1 (en) * 2011-05-12 2012-11-15 Intel Corporation Techniques for synchronization of audio and video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101390388A (zh) * 2006-02-27 2009-03-18 松下电器产业株式会社 再现装置、携带式电话机和再现方法
US20070280301A1 (en) * 2006-05-31 2007-12-06 Yuusuke Yamanaka Stream data processing apparatus and stream data processing method
CN102547299A (zh) * 2010-12-30 2012-07-04 福建星网视易信息系统有限公司 基于mpeg-2视频流的音视频同步控制方法
WO2012151756A1 (en) * 2011-05-12 2012-11-15 Intel Corporation Techniques for synchronization of audio and video

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104601770A (zh) * 2014-12-25 2015-05-06 惠州Tcl移动通信有限公司 一种终端及其流畅性评测方法
WO2017067489A1 (zh) * 2015-10-22 2017-04-27 深圳市中兴微电子技术有限公司 机顶盒音视频同步的方法及装置、存储介质
CN106612452A (zh) * 2015-10-22 2017-05-03 深圳市中兴微电子技术有限公司 机顶盒音视频同步的方法及装置
CN106612452B (zh) * 2015-10-22 2019-12-13 深圳市中兴微电子技术有限公司 机顶盒音视频同步的方法及装置
WO2017071670A1 (zh) * 2015-10-30 2017-05-04 中兴通讯股份有限公司 音视频同步方法、装置及系统
CN106658065A (zh) * 2015-10-30 2017-05-10 中兴通讯股份有限公司 音视频同步方法、装置及系统
CN106658065B (zh) * 2015-10-30 2021-10-22 中兴通讯股份有限公司 音视频同步方法、装置及系统
CN106875952A (zh) * 2016-12-23 2017-06-20 伟乐视讯科技股份有限公司 基于fpga嵌入式系统的多路音频软编码机制
CN111355975A (zh) * 2020-03-26 2020-06-30 郑州信大捷安信息技术股份有限公司 一种直播客户端音视频延时调节播放系统及方法
CN111355975B (zh) * 2020-03-26 2021-09-07 郑州信大捷安信息技术股份有限公司 一种直播客户端音视频延时调节播放系统及方法
CN113141525A (zh) * 2021-03-16 2021-07-20 福建星网智慧科技有限公司 一种在线视频断流续播方法及系统
CN113141525B (zh) * 2021-03-16 2022-05-17 福建星网智慧科技有限公司 一种在线视频断流续播方法及系统

Similar Documents

Publication Publication Date Title
CN103581730A (zh) 在数字机顶盒上实现音视频同步的方法
EP2752023B1 (en) Method to match input and output timestamps in a video encoder and advertisement inserter
CN105245976B (zh) 音频和视频同步播放的方法及系统
US9489980B2 (en) Video/audio synchronization apparatus and video/audio synchronization method
CN108243350B (zh) 一种音视频同步处理的方法和装置
KR20160010507A (ko) 동영상 화면의 처리 방법 및 장치
KR100619007B1 (ko) 비디오 트랜스포트 스트림 동기화 제어 장치 및 방법
CN102421035A (zh) 数字电视音视频同步的实现方法及装置
CN101848396B (zh) 传输流音视频同步及防抖动方法
CN106612452A (zh) 机顶盒音视频同步的方法及装置
US9736340B2 (en) Decoder and decoding method for audio video stream synchronization
CN101710997A (zh) 基于mpeg-2系统实现视、音频同步的方法及系统
CN110290411A (zh) 视频播放过程中自动校正音画不同步的方法
CN109275008A (zh) 一种音视频同步的方法和装置
CN112929713B (zh) 数据同步方法、装置、终端及存储介质
CN103458271A (zh) 音视频文件拼接方法和装置
CN105898500A (zh) 网络视频播放方法及装置
JP2001094943A (ja) Ｍｐｅｇ復号器の同期方法及び同期装置
CN106470291A (zh) 从音频/视频解码器中的时间同步中的中断中恢复
CN103391467A (zh) 网络机顶盒音视频解码与播放同步实现方法
US7600240B2 (en) Data processing apparatus and method
JP2000069437A (ja) マルチチャンネルデコード方法
CN108156498B (zh) 一种音视频同步的方法及装置
CN104320676A (zh) 一种视频传输流中节目时钟参考异常跳动校正的方法
US8331459B2 (en) Method and apparatus for smooth digital media playback

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140212