CN107124641A - 一种音视频同步播放的控制方法 - Google Patents

一种音视频同步播放的控制方法 Download PDF

Info

Publication number
CN107124641A
CN107124641A CN201710406441.5A CN201710406441A CN107124641A CN 107124641 A CN107124641 A CN 107124641A CN 201710406441 A CN201710406441 A CN 201710406441A CN 107124641 A CN107124641 A CN 107124641A
Authority
CN
China
Prior art keywords
data
audio
video
filter
played
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710406441.5A
Other languages
English (en)
Inventor
刘明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Jitong Information Development Co ltd
Original Assignee
Guangdong Jitong Information Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Jitong Information Development Co ltd filed Critical Guangdong Jitong Information Development Co ltd
Priority to CN201710406441.5A priority Critical patent/CN107124641A/zh
Publication of CN107124641A publication Critical patent/CN107124641A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

本发明涉及一种音视频同步播放的控制方法。该方法包括：从本地内存读取待播放文件；并将所述文件输入到过滤器模块；过滤器模块以同步时钟对所述文件进行编解码、格式转换、压缩解压缩处理，得到处理后数据；其中，处理后数据包括视频数据和音频数据；将视频数据和音频数据分别传输到显卡、声卡以同步时钟进行同步播放；其中，所述同步时钟，用于提供标准时间，所述同步时钟的时钟频率为音频数据本身的帧率。视频数据和音频数据的处理过程和播放过程均以统一的同步时钟频率进行，能够很好的保持音视频播放的高度同步。

Description

一种音视频同步播放的控制方法
技术领域
本发明涉及音视频处理领域，特别是涉及一种音视频同步播放的控制方法。
背景技术
视频播放同步是多媒体应用区别于其他数据应用的主要特征之一。这里的同步是指同一视频文件里面可能既有视频流，又有音频流，在这种情况下就要做到视频图像显示和声音的同步一致。比如让视频中演讲者嘴唇的运动图像与其播出的声音保持吻合，以及让画面中的文字随着朗读的声音高亮显示。
现有的音视频数据都是在互为独立的线程中处理，两个线程分别在做读文件块和解码，当解码器需要数据时会向缓冲区中取得，如果缓冲区没有数据可取，解码器会等待并切换线程；反过来，如果读文件线程在读文件的时候发现缓冲区满了，它也只有等待并切换线程，在线程切换的时候消耗资源，所以可能会由于网络或节点环境因素而失去同步。另外，由于网络传输、系统CPU忙等问题，可能导致数据流中一些帧不能按时产生，这更增加了同步的难度。
发明内容
基于此，有必要针对音视频数据不能同步的问题，提供一种音视频同步播放的控制方法。
一种音视频同步播放的控制方法，其特征在于，包括：从本地内存读取待播放文件；并将所述文件输入到过滤器模块；过滤器模块以同步时钟对所述文件进行编解码、格式转换、压缩解压缩处理，得到处理后数据；其中，处理后数据包括视频数据和音频数据；将视频数据和音频数据分别传输到显卡、声卡以同步时钟进行同步播放；其中，所述同步时钟，用于提供标准时间，所述同步时钟的时钟频率为音频数据本身的帧率。
优选的，将视频数据和音频数据分别传输到显卡、声卡以同步时钟进行同步播放的步骤包括：将视频数据通过DirectDraw传输到显卡以同步时钟进行同步播放；将音频数据通过DirectShow传输到声卡以同步时钟进行同步播放；
优选的，所述过滤器模块包括：依次连接的源过滤器、变换过滤器和提交过滤器；所述源过滤器，用于接收待播放文件；所述变换过滤器，用于对待播放文件进行编解码、格式转换、压缩解压缩处理，得到处理后数据；所述提交过滤器，用于处理后数据的数据发送到显卡、声卡。
优选的，还包括：缓冲区；所述缓冲区位于每两个相连的过滤器之间；所述缓冲区，用于存储所述媒体样本，其中媒体样本包括媒体数据和时间片；所述时间片用于标记媒体数据产生的时刻或者被渲染的时刻。
优选的，将视频数据和音频数据分别传输到显卡、声卡以同步时钟进行同步播放的步骤包括：当视频的播放帧率低于当前的同步时钟频率，则跳过一定的视频帧数进行播放；当视频的播放帧率高于当前的同步时钟频率，则暂停播放，进行等待。
优选的，将视频数据和音频数据分别传输到显卡、声卡以同步时钟进行同步播放的步骤还包括：当音频的播放帧率低于当前的同步时钟频率，则跳过一定的音频帧数进行播放；当音频的播放帧率高于当前的同步时钟频率，则暂停播放，进行等待。
优选的，还包括：渲染过滤器；所述渲染过滤器位于变换过滤器和提交过滤器之间；将视频数据和音频数据分别传输到显卡、声卡以同步时钟进行同步播放的步骤还包括：当网络繁忙或者CPU繁忙时，所述渲染过滤器将缓冲区中媒体样本依次取出，并通知视频解码器以加快模式运行。
优选的，所述渲染过滤器包括视频染过滤器和音频染过滤器；当取出的媒体样本中缺少声音样本，所述视频染过滤器和音频染过滤器暂停，等待下一个声音样本。
上述音视频同步播放的控制方法，过滤器模块以同步时钟对所述文件进行编解码、格式转换、压缩解压缩处理，得到处理后数据；其中，处理后数据包括视频数据和音频数据；将视频数据和音频数据分别传输到显卡、声卡以同步时钟进行同步播放；视频数据和音频数据的处理过程和播放过程均以统一的同步时钟频率进行，能够很好的保持音视频播放的高度同步。
附图说明
图1为一实施例的音视频同步播放的控制方法的示意性流程图；
图2为一实施例的音视频同步播放的控制方法所适应系统的示意性结构图。
具体实施方式
本方案的音视频同步播放的控制方法在DirectShow的层次结构下解决同步的问题。DirectShow通过时间戳来解决音频和视频的同步。
图1为一实施例的音视频同步播放的控制方法的示意性流程图；图2为一实施例的音视频同步播放的控制方法所适应系统的示意性结构图。下面结合图1和图2对所述的音视频同步播放的控制方法进行阐述。
一种音视频同步播放的控制方法，包括：
S11，从本地内存11读取待播放文件；并将所述文件输入到过滤器模块；
S12，过滤器模块以同步时钟对所述文件进行编解码、格式转换、压缩解压缩处理，得到处理后数据；其中，处理后数据包括视频数据和音频数据；
S13，将视频数据和音频数据分别传输到显卡16、声卡18以同步时钟进行同步播放；
其中，所述同步时钟，用于提供标准时间，所述同步时钟的时钟频率为音频数据本身的帧率。
由于音频对播放速率的均匀性要求更严，因此音频的播放时根据其本身的帧率按一定的速率不断的取出数据进行播放的。视频则是根据计时器所更新的系统时钟（同步时钟）来确定是否播放，也就是说，当系统时钟超过下一帧的播放时间后，该视频播放。系统时钟的更新以音频为基准。
作为一优选实施例，将视频数据和音频数据分别传输到显卡16、声卡18以同步时钟进行同步播放的步骤包括：将视频数据通过DirectDraw16传输到显卡16以同步时钟进行同步播放；将音频数据通过DirectShow17传输到声卡18以同步时钟进行同步播放；
作为一优选实施例，所述过滤器模块包括：依次连接的源过滤器12、变换过滤器13和提交过滤器14；所述源过滤器12，用于接收待播放文件；所述变换过滤器13，用于对待播放文件进行编解码、格式转换、压缩解压缩处理，得到处理后数据；所述提交过滤器14，用于处理后数据的数据发送到显卡16、声卡18。
作为一优选实施例，还包括：缓冲区；所述缓冲区位于每两个相连的过滤器之间；所述缓冲区，用于存储所述媒体样本，其中媒体样本包括媒体数据和时间片；所述时间片用于标记媒体数据产生的时刻或者被渲染的时刻。
作为一优选实施例，将视频数据和音频数据分别传输到显卡16、声卡18以同步时钟进行同步播放的步骤包括：当视频的播放帧率低于当前的同步时钟频率，则跳过一定的视频帧数进行播放；当视频的播放帧率高于当前的同步时钟频率，则暂停播放，进行等待。
作为一优选实施例，将视频数据和音频数据分别传输到显卡16、声卡18以同步时钟进行同步播放的步骤还包括：当音频的播放帧率低于当前的同步时钟频率，则跳过一定的音频帧数进行播放；当音频的播放帧率高于当前的同步时钟频率，则暂停播放，进行等待。
作为一优选实施例，还包括：渲染过滤器；所述渲染过滤器位于变换过滤器13和提交过滤器14之间；将视频数据和音频数据分别传输到显卡16、声卡18以同步时钟进行同步播放的步骤还包括：当网络繁忙或者CPU繁忙时，所述渲染过滤器将缓冲区中媒体样本依次取出，并通知视频解码器以加快模式运行。直到媒体样本缓冲被取空。这种，模式会有更快的解码速度，但是会都是一些帧的信息。通过这样丢掉一些图像的策略可以保证用户看到的效果不会有明显的下降。
作为一优选实施例，所述渲染过滤器包括视频染过滤器和音频染过滤器；当取出的媒体样本中缺少声音样本，所述视频染过滤器和音频染过滤器暂停，等待下一个声音样本。只有在这种情况下，用户才会看到播放器停顿，直到下面的数据到来，其他情况下将不会有很强的感觉。
上述音视频同步播放的控制方法，过滤器模块以同步时钟对所述文件进行编解码、格式转换、压缩解压缩处理，得到处理后数据；其中，处理后数据包括视频数据和音频数据；将视频数据和音频数据分别传输到显卡、声卡以同步时钟进行同步播放；视频数据和音频数据的处理过程和播放过程均以统一的同步时钟频率进行，能够很好的保持音视频播放的高度同步。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种音视频同步播放的控制方法，其特征在于，包括：
从本地内存读取待播放文件；并将所述文件输入到过滤器模块；
过滤器模块以同步时钟对所述文件进行编解码、格式转换、压缩解压缩处理，得到处理后数据；其中，处理后数据包括视频数据和音频数据；
将视频数据和音频数据分别传输到显卡、声卡以同步时钟进行同步播放；
其中，所述同步时钟，用于提供标准时间，所述同步时钟的时钟频率为音频数据本身的帧率。
2.根据权利要求1所述的音视频同步播放的控制方法，其特征在于，将视频数据和音频数据分别传输到显卡、声卡以同步时钟进行同步播放的步骤包括：
将视频数据通过DirectDraw传输到显卡以同步时钟进行同步播放；
将音频数据通过DirectShow传输到声卡以同步时钟进行同步播放。
3.根据权利要求1所述的音视频同步播放的控制方法，其特征在于，所述过滤器模块包括：依次连接的源过滤器、变换过滤器和提交过滤器；
所述源过滤器，用于接收待播放文件；
所述变换过滤器，用于对待播放文件进行编解码、格式转换、压缩解压缩处理，得到处理后数据；
所述提交过滤器，用于处理后数据的数据发送到显卡、声卡。
4.根据权利要求3所述的音视频同步播放的控制方法，其特征在于，还包括：缓冲区；
所述缓冲区位于每两个相连的过滤器之间；
所述缓冲区，用于存储所述媒体样本，其中媒体样本包括媒体数据和时间片；所述时间片用于标记媒体数据产生的时刻或者被渲染的时刻。
5.根据权利要求1所述的音视频同步播放的控制方法，其特征在于，将视频数据和音频数据分别传输到显卡、声卡以同步时钟进行同步播放的步骤还包括：
当视频的播放帧率低于当前的同步时钟频率，则跳过一定的视频帧数进行播放；
当视频的播放帧率高于当前的同步时钟频率，则暂停播放，进行等待。
6.根据权利要求1所述的音视频同步播放的控制方法，其特征在于，将视频数据和音频数据分别传输到显卡、声卡以同步时钟进行同步播放的步骤还包括：
当音频的播放帧率低于当前的同步时钟频率，则跳过一定的音频帧数进行播放；
当音频的播放帧率高于当前的同步时钟频率，则暂停播放，进行等待。
7.根据权利要求4所述的音视频同步播放的控制方法，其特征在于，还包括：渲染过滤器；
所述渲染过滤器位于变换过滤器和提交过滤器之间；
将视频数据和音频数据分别传输到显卡、声卡以同步时钟进行同步播放的步骤还包括：
当网络繁忙或者CPU繁忙时，所述渲染过滤器将缓冲区中媒体样本依次取出，并通知视频解码器以加快模式运行。
8.根据权利要求7所述的音视频同步播放的控制方法，其特征在于，所述渲染过滤器包括视频染过滤器和音频染过滤器；
当取出的媒体样本中缺少声音样本，所述视频染过滤器和音频染过滤器暂停，等待下一个声音样本。
CN201710406441.5A 2017-06-02 2017-06-02 一种音视频同步播放的控制方法 Pending CN107124641A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710406441.5A CN107124641A (zh) 2017-06-02 2017-06-02 一种音视频同步播放的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710406441.5A CN107124641A (zh) 2017-06-02 2017-06-02 一种音视频同步播放的控制方法

Publications (1)

Publication Number Publication Date
CN107124641A true CN107124641A (zh) 2017-09-01

Family

ID=59730302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710406441.5A Pending CN107124641A (zh) 2017-06-02 2017-06-02 一种音视频同步播放的控制方法

Country Status (1)

Country Link
CN (1) CN107124641A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111131917A (zh) * 2019-12-26 2020-05-08 国微集团(深圳)有限公司 音频频谱实时同步方法、播放装置
CN114189728A (zh) * 2021-12-13 2022-03-15 深圳市日声数码科技有限公司 一种数字视频和音频输入转换成模拟格式的播放系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1933594A (zh) * 2005-09-14 2007-03-21 王世刚 多路音视频数据网络传输与同步播放的方法
CN101394469A (zh) * 2008-10-29 2009-03-25 北京创毅视讯科技有限公司 一种音视频同步方法、装置及一种数字电视芯片
CN102377985A (zh) * 2010-08-07 2012-03-14 浙江工业大学 移动视频监控系统的媒体模块
CN102522096A (zh) * 2011-12-07 2012-06-27 中国航空无线电电子研究所 多路音视频同步回放系统及其方法
US20120213294A1 (en) * 2008-04-15 2012-08-23 Desktone, Inc. Media Acceleration for Virtual Computing Services
CN103888813A (zh) * 2012-12-21 2014-06-25 北京计算机技术及应用研究所 一种音视频同步的实现方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1933594A (zh) * 2005-09-14 2007-03-21 王世刚 多路音视频数据网络传输与同步播放的方法
US20120213294A1 (en) * 2008-04-15 2012-08-23 Desktone, Inc. Media Acceleration for Virtual Computing Services
CN101394469A (zh) * 2008-10-29 2009-03-25 北京创毅视讯科技有限公司 一种音视频同步方法、装置及一种数字电视芯片
CN102377985A (zh) * 2010-08-07 2012-03-14 浙江工业大学 移动视频监控系统的媒体模块
CN102522096A (zh) * 2011-12-07 2012-06-27 中国航空无线电电子研究所 多路音视频同步回放系统及其方法
CN103888813A (zh) * 2012-12-21 2014-06-25 北京计算机技术及应用研究所 一种音视频同步的实现方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111131917A (zh) * 2019-12-26 2020-05-08 国微集团(深圳)有限公司 音频频谱实时同步方法、播放装置
CN111131917B (zh) * 2019-12-26 2021-12-28 国微集团(深圳)有限公司 音频频谱实时同步方法、播放装置
CN114189728A (zh) * 2021-12-13 2022-03-15 深圳市日声数码科技有限公司 一种数字视频和音频输入转换成模拟格式的播放系统

Similar Documents

Publication Publication Date Title
CN101466044B (zh) 一种流媒体音视频同步播放的方法及其系统
CN105814900B (zh) 用于在自适应流播环境中管理相邻频道的系统和方法
CN103200461B (zh) 一种多台播放终端同步播放系统及播放方法
CN104202684A (zh) 一种分段网络视频无缝播放方法和装置
CN105187896B (zh) 多分段的媒体文件播放方法和系统
RU2418314C2 (ru) Носитель информации, хранящий данные, полученные съемкой под многими углами, а также способ и устройство для воспроизведения данных, полученных съемкой под многими углами
JP2008500752A (ja) ビデオデータの適応型復号
CN101106697A (zh) 数据传输系统、接收装置和方法、以及发送装置和方法
JP2011188508A (ja) メディアトランスポートストリームにおけるハプティック効果データの同期
JP2004297577A (ja) 画像再生装置
KR20070041284A (ko) 휴대방송 시스템에서 다중 스트림 수신 장치 및 방법
CN101710997A (zh) 基于mpeg-2系统实现视、音频同步的方法及系统
CN103475927A (zh) 在线视频实时变速播放方法及系统
TW200836510A (en) Method and system for switching elementary streams on a decoder with zero delay
CN100530356C (zh) 数字信息再生装置和方法
CN109218763A (zh) 一种流媒体视频切换的方法及智能电视
CN107517400A (zh) 流媒体播放方法及流媒体播放器
CN104113778B (zh) 一种视频流解码方法及装置
CN105025344A (zh) 一种插播方法及装置
JP2005123789A (ja) Ａｖ同期システム
CN105187897B (zh) 多分段的媒体文件跨段播放方法和系统
CN107124641A (zh) 一种音视频同步播放的控制方法
CN106331820A (zh) 音视频的同步处理方法和装置
CN103686311B (zh) 一种音视频播放方法和装置
CN103581730A (zh) 在数字机顶盒上实现音视频同步的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170901