CN110290411A - 视频播放过程中自动校正音画不同步的方法 - Google Patents

视频播放过程中自动校正音画不同步的方法 Download PDF

Info

Publication number
CN110290411A
CN110290411A CN201910604205.3A CN201910604205A CN110290411A CN 110290411 A CN110290411 A CN 110290411A CN 201910604205 A CN201910604205 A CN 201910604205A CN 110290411 A CN110290411 A CN 110290411A
Authority
CN
China
Prior art keywords
sound
video
delay time
time
display process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910604205.3A
Other languages
English (en)
Inventor
杜延伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201910604205.3A priority Critical patent/CN110290411A/zh
Publication of CN110290411A publication Critical patent/CN110290411A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Receiver Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提出一种视频播放过程中自动校正音画不同步的方法，属于智能电视的视频和音频处理领域。本发明能够解决目前视频播放过程中出现的音画不同步问题，其技术方案要点为：创建一个用于音画不同步检测的线程，并设置每隔第一规定时间查询一次；在创建的线程中，判断当前是否为播放状态，若是，在所述线程中获取当前播放视频的视频延迟时间及音频延迟时间，否则不进行处理；比对视频延迟时间及音频延迟时间，当视频延迟时间比音频延迟时间超过第二规定时间，表示图像超过声音，这时候丢掉一帧画面，保持声音和画面同步；当音频延迟时间比视频延迟时间超过第三规定时间，表示声音超过图像，这时候重复一帧画面，保持声音和画面同步。

Description

视频播放过程中自动校正音画不同步的方法
技术领域
本发明涉及智能电视的视频和音频处理技术，特别涉及视频播放过程中自动校正音画不同步的方法的技术。
背景技术
电视的解码需要跟信号编码保持严格的锁定，不然就会导致解码器丢帧。丢帧后就会根据缓冲区的情况来解码，而且由于主芯片对片源文件中音频数据的处理速度要比对视频数据处理速度快，所需要缓冲区大小也不一样，结果就是音视频的延时不一样。
现在的技术都是音频解码后的数据到同步模块进行同步，由于音频数据的输出比相应视频数据的输出时间早，所以都是获取视频延迟时间，设置音频延迟，这样来达到音画同步。但是由于码率不同，而且随着音频、视频的数据量变化，音频播放时间与对应的视频播放时间之间的延时也会发生变化，这样可能出现音视频的时延差比较大，不只会声音超前，图像也会超前，在Dolby认证或者HDMI认证等认证上音画同步不合格，出现一些用户可以明显看到音画不同步，用户体验很不好。
发明内容
本发明的目的是提供一种视频播放过程中自动校正音画不同步的方法，解决目前视频播放过程中出现的音画不同步问题。
本发明解决其技术问题，采用的技术方案是：视频播放过程中自动校正音画不同步的方法，包括如下步骤：
步骤1、创建一个用于音画不同步检测的线程，并设置每隔第一规定时间查询一次；
步骤2、在创建的线程中，判断当前是否为播放状态，若是，则表示音频和视频数据都存在，然后进入步骤3，否则表示当前声音和画面是一致的，不进行处理；
步骤3、在所述线程中获取当前播放视频的视频延迟时间及音频延迟时间；
步骤4、比对视频延迟时间及音频延迟时间，当视频延迟时间比音频延迟时间超过第二规定时间，表示图像超过声音，这时候丢掉一帧画面，保持声音和画面同步；当音频延迟时间比视频延迟时间超过第三规定时间，表示声音超过图像，这时候重复一帧画面，保持声音和画面同步。
具体的是，步骤1中，所述线程为audioMonitor。
进一步的是，步骤1中，所述第一规定时间为1秒。
具体的是，步骤3中，通过函数getPlayInfo获取视频的延迟时间值u32VideoDelay，通过函数getTrackDelay获取音频的延迟时间值u32TrackDelay。
进一步的是，步骤4中，所述第二规定时间为20毫秒。
具体的是，步骤4中，所述第三规定时间为50毫秒。
进一步的是，步骤4中，通过函数setSyncInfo(HI_MW_VO_SYNC_DISCARD)丢掉一帧画面。
具体的是，步骤4中，通过函数setSyncInfo(HI_MW_VO_SYNC_REPEAT)设置重复一帧画面。
本发明的有益效果是，通过上述视频播放过程中自动校正音画不同步的方法，能够自动校正视频播放过程中出现的音画不同步问题，并且，在不同的芯片平台上或者之前机器上升级软件都能实现，给用户更好的体验及解决Dolby认证或HDMI等认证的出现的音画不同步问题。
附图说明
图1为本发明视频播放过程中自动校正音画不同步的方法的流程图。
具体实施方式
下面结合实施例及附图，详细描述本发明的技术方案。
现在电视芯片对于图像数据和声音数据处理后会先不输出音视频，而是在解码器中进行同步，由于音频数据的输出比相应视频数据的输出时间早，所以现在技术都是获取视频延迟时间，设置音频延迟，达到音画同步，最后再输出音视频，用户看到的就是正常输出的音视频。但是随着音视频码率变化或者音视频数据量的变化造成的缓冲区变化，音频播放时间与对应的视频播放时间之间的延时也会发生变化，这样可能出现音视频的时延差比较大，一些视频可能会出现很明显的音画不一致的情况，这样用户就会听到明显的音画不同步现象。
为解决上述问题，本发明所述视频播放过程中自动校正音画不同步的方法，其流程图参见图1，其中，该方法包括如下步骤：
步骤1、创建一个用于音画不同步检测的线程，并设置每隔第一规定时间查询一次，其中，第一规定时间根据实际工况一般优选为1秒，并且，线程优选为audioMonitor。
步骤2、在创建的线程中，判断当前是否为播放状态，若是，则表示音频和视频数据都存在，然后进入步骤3，否则表示当前声音和画面是一致的，不进行处理。
步骤3、在所述线程中获取当前播放视频的视频延迟时间及音频延迟时间。
其中，为了更快且更准备获取视频延迟时间值及音频延迟时间值，可以优选通过函数getPlayInfo获取视频的延迟时间值u32VideoDelay，通过函数getTrackDelay获取音频的延迟时间值u32TrackDelay。
步骤4、比对视频延迟时间及音频延迟时间，当视频延迟时间比音频延迟时间超过第二规定时间，表示图像超过声音，这时候丢掉一帧画面，保持声音和画面同步；当音频延迟时间比视频延迟时间超过第三规定时间，表示声音超过图像，这时候重复一帧画面，保持声音和画面同步。
其中，由于本申请中音视频的延迟时间差值是认证过程设置的值，因此，第二规定时间优选为20毫秒，第三规定时间优选为50毫秒。如果不需要做认证，可以把这个值改大，在用户能接受的范围里面。
另外，为了实现更快丢帧，优选通过函数setSyncInfo(HI_MW_VO_SYNC_DISCARD)丢掉一帧画面。为了能更快重复帧，优选通过函数setSyncInfo(HI_MW_VO_SYNC_REPEAT)设置重复一帧画面。
实施例
本发明实施例中，在Android智能电视机上，音视频在同步处理后由于在实际的播放过程中由于音视频数据的变化或者码率变化，从而造成音视频时延，会出现音画不同步问题。当出现音画不同步时，采用本实施例的方法来自动校正音画不同步问题，具体的实施方式如下：
S1、创建一个audioMonitor线程，这个线程用于音画不同步检测，设置每1s查询一次；
S2、在S1创建的audioMonitor的线性里面，判断当前是否在播放状态，音频和视频数据是否都存在，如果都有，执行S3，否则执行S6；
S3、在S2的线程里面通过函数getPlayInfo获取视频的延迟时间值u32VideoDelay，通过函数getTrackDelay获取音频的延迟时间值u32TrackDelay；
S4、在S3的线程里面获取到音视频的延时后，比较u32VideoDelay和u32TrackDelay大小，当视频延迟时间比音频延迟时间超过20ms，表示图像超过声音，这时候通过函数setSyncInfo(HI_MW_VO_SYNC_DISCARD)丢掉一帧画面，保持声音和画面同步；
S5、在S3的线程里面获取到音视频的延时后，比较u32VideoDelay和u32TrackDelay大小,当音频延迟时间比视频延迟时间超过50ms，表示声音超过图像，这时候通过函数setSyncInfo(HI_MW_VO_SYNC_REPEAT)设置重复一帧画面，保持声音和画面同步；
S6、如果音视频的时间差都没有在S4、S5的范围里面，那么就表示当前声音和画面是一致的，不用处理；
S7、S1会一直运行，每隔1S查询一次当前的音画延迟时间，重复S2、S3、S4、S5、S6步骤，校正当前的音画同步。

Claims (8)

1.视频播放过程中自动校正音画不同步的方法，其特征在于，包括如下步骤：
步骤1、创建一个用于音画不同步检测的线程，并设置每隔第一规定时间查询一次；
步骤2、在创建的线程中，判断当前是否为播放状态，若是，则表示音频和视频数据都存在，然后进入步骤3，否则表示当前声音和画面是一致的，不进行处理；
步骤3、在所述线程中获取当前播放视频的视频延迟时间及音频延迟时间；
步骤4、比对视频延迟时间及音频延迟时间，当视频延迟时间比音频延迟时间超过第二规定时间，表示图像超过声音，这时候丢掉一帧画面，保持声音和画面同步；当音频延迟时间比视频延迟时间超过第三规定时间，表示声音超过图像，这时候重复一帧画面，保持声音和画面同步。
2.根据权利要求1所述的视频播放过程中自动校正音画不同步的方法，其特征在于，步骤1中，所述线程为audioMonitor。
3.根据权利要求1所述的视频播放过程中自动校正音画不同步的方法，其特征在于，步骤1中，所述第一规定时间为1秒。
4.根据权利要求1所述的视频播放过程中自动校正音画不同步的方法，其特征在于，步骤3中，通过函数getPlayInfo获取视频的延迟时间值u32VideoDelay，通过函数getTrackDelay获取音频的延迟时间值u32TrackDelay。
5.根据权利要求1所述的视频播放过程中自动校正音画不同步的方法，其特征在于，步骤4中，所述第二规定时间为20毫秒。
6.根据权利要求1或5所述的视频播放过程中自动校正音画不同步的方法，其特征在于，步骤4中，所述第三规定时间为50毫秒。
7.根据权利要求1所述的视频播放过程中自动校正音画不同步的方法，其特征在于，步骤4中，通过函数setSyncInfo(HI_MW_VO_SYNC_DISCARD)丢掉一帧画面。
8.根据权利要求1或7所述的视频播放过程中自动校正音画不同步的方法，其特征在于，步骤4中，通过函数setSyncInfo(HI_MW_VO_SYNC_REPEAT)设置重复一帧画面。
CN201910604205.3A 2019-07-05 2019-07-05 视频播放过程中自动校正音画不同步的方法 Pending CN110290411A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910604205.3A CN110290411A (zh) 2019-07-05 2019-07-05 视频播放过程中自动校正音画不同步的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910604205.3A CN110290411A (zh) 2019-07-05 2019-07-05 视频播放过程中自动校正音画不同步的方法

Publications (1)

Publication Number Publication Date
CN110290411A true CN110290411A (zh) 2019-09-27

Family

ID=68020819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910604205.3A Pending CN110290411A (zh) 2019-07-05 2019-07-05 视频播放过程中自动校正音画不同步的方法

Country Status (1)

Country Link
CN (1) CN110290411A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112911276A (zh) * 2021-01-21 2021-06-04 广东九联科技股份有限公司 一种用于检测机顶盒音视频同步的方法
CN113132769A (zh) * 2020-01-15 2021-07-16 海信视像科技股份有限公司 显示设备及音画同步方法
CN113453052A (zh) * 2021-06-22 2021-09-28 海信视像科技股份有限公司 音画同步方法及显示设备
CN115119033A (zh) * 2022-06-23 2022-09-27 北京字跳网络技术有限公司 音画同步方法、装置、存储介质以及电子设备
TWI813213B (zh) * 2022-03-22 2023-08-21 瑞昱半導體股份有限公司 影音訊號同步方法與影音同步處理系統

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1206536A (zh) * 1995-11-08 1999-01-27 西门子商业通讯系统公司 具有系统相关自适应延迟的多媒体通信
WO2006008696A1 (en) * 2004-07-15 2006-01-26 Koninklijke Philips Electronics N.V. Measurement system for delay between two signals transmitted via two transmission paths
CN1777292A (zh) * 2004-11-17 2006-05-24 索尼株式会社 数据处理装置和方法
CN1957604A (zh) * 2004-05-27 2007-05-02 雅马哈株式会社 放大器、校正处理时间差的校正方法以及校正系统
CN101142817A (zh) * 2005-03-18 2008-03-12 富士通株式会社 视频装置的视频信号和音频信号的同步控制方法及装置
CN106488288A (zh) * 2015-08-27 2017-03-08 宏达国际电子股份有限公司 虚拟现实系统及其音频/视频同步方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1206536A (zh) * 1995-11-08 1999-01-27 西门子商业通讯系统公司 具有系统相关自适应延迟的多媒体通信
CN1957604A (zh) * 2004-05-27 2007-05-02 雅马哈株式会社 放大器、校正处理时间差的校正方法以及校正系统
WO2006008696A1 (en) * 2004-07-15 2006-01-26 Koninklijke Philips Electronics N.V. Measurement system for delay between two signals transmitted via two transmission paths
CN1777292A (zh) * 2004-11-17 2006-05-24 索尼株式会社 数据处理装置和方法
CN101142817A (zh) * 2005-03-18 2008-03-12 富士通株式会社 视频装置的视频信号和音频信号的同步控制方法及装置
CN106488288A (zh) * 2015-08-27 2017-03-08 宏达国际电子股份有限公司 虚拟现实系统及其音频/视频同步方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113132769A (zh) * 2020-01-15 2021-07-16 海信视像科技股份有限公司 显示设备及音画同步方法
CN112911276A (zh) * 2021-01-21 2021-06-04 广东九联科技股份有限公司 一种用于检测机顶盒音视频同步的方法
CN113453052A (zh) * 2021-06-22 2021-09-28 海信视像科技股份有限公司 音画同步方法及显示设备
CN113453052B (zh) * 2021-06-22 2022-11-08 Vidaa(荷兰)国际控股有限公司 音画同步方法及显示设备
TWI813213B (zh) * 2022-03-22 2023-08-21 瑞昱半導體股份有限公司 影音訊號同步方法與影音同步處理系統
CN115119033A (zh) * 2022-06-23 2022-09-27 北京字跳网络技术有限公司 音画同步方法、装置、存储介质以及电子设备
CN115119033B (zh) * 2022-06-23 2024-02-02 北京字跳网络技术有限公司 音画同步方法、装置、存储介质以及电子设备

Similar Documents

Publication Publication Date Title
CN110290411A (zh) 视频播放过程中自动校正音画不同步的方法
US7471337B2 (en) Method of audio-video synchronization
US8931024B2 (en) Receiving apparatus and subtitle processing method
CN105245976B (zh) 音频和视频同步播放的方法及系统
CN103747317B (zh) 一种播放库在不稳定网络下的流畅播放控制方法
CN109275008B (zh) 一种音视频同步的方法和装置
CN103167342A (zh) 一种音视频同步处理装置及方法
US7787578B2 (en) Method and apparatus for synchronizing multimedia data stream
CN105376628A (zh) 音视频信号同步方法和装置
US11595731B2 (en) Implementation method and system of real-time subtitle in live broadcast and device
CN102075806B (zh) 一种数字电视音视频同步方法
CN106612452A (zh) 机顶盒音视频同步的方法及装置
CN106658030B (zh) 一种包含单路音频多路视频的复合视频的播放方法及设备
CN107105352A (zh) 字幕同步方法及装置
US20110157163A1 (en) Image processing device and image processing method
CN102075803B (zh) 一种播放音视频同步的方法
CN103581730A (zh) 在数字机顶盒上实现音视频同步的方法
CN112601101A (zh) 一种字幕显示方法、装置、电子设备及存储介质
CN100551001C (zh) Iptv机顶盒快速平滑切换频道的方法
KR101741747B1 (ko) 실시간 광고 삽입이 가능한 영상 광고 처리 장치 및 방법
CN110087116B (zh) 多码率直播视频流剪辑方法、装置、终端及存储介质
US7600240B2 (en) Data processing apparatus and method
KR101246916B1 (ko) 오디오/비디오 동기 보정 방법 및 장치
AU686402B2 (en) Transport processor interface and video recorder/playback apparatus for a digital television system
CN108156498A (zh) 一种音视频同步的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190927

RJ01 Rejection of invention patent application after publication