CN104954727B - 音视频同步控制设备及方法 - Google Patents

音视频同步控制设备及方法 Download PDF

Info

Publication number
CN104954727B
CN104954727B CN201410114180.6A CN201410114180A CN104954727B CN 104954727 B CN104954727 B CN 104954727B CN 201410114180 A CN201410114180 A CN 201410114180A CN 104954727 B CN104954727 B CN 104954727B
Authority
CN
China
Prior art keywords
audio
video
equipment
time stamp
synchronization control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410114180.6A
Other languages
English (en)
Other versions
CN104954727A (zh
Inventor
粟纪中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanning Fulian Fugui Precision Industrial Co Ltd
Original Assignee
Nanning Fugui Precision Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanning Fugui Precision Industrial Co Ltd filed Critical Nanning Fugui Precision Industrial Co Ltd
Priority to CN201410114180.6A priority Critical patent/CN104954727B/zh
Publication of CN104954727A publication Critical patent/CN104954727A/zh
Application granted granted Critical
Publication of CN104954727B publication Critical patent/CN104954727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

一种音视频同步控制设备及方法,包括音频生成模块、视频生成模块和校正模块,其中音频生成模块用于生成第一音频数据并发送给其他设备以使其他设备播放第一音频,第一音频数据包括第一音频时间戳,第一音频时间戳控制第一音频在其他设备上的播放时间,视频生成模块用于生成第一视频数据并发送给其他设备以使其他设备播放第一视频;以及校正模块用于在第一视频和第一音频播放不同步时,接收其他设备发送的信号以调整第一音频时间戳,从而使第一音频和第一视频在其他设备上同步播放。本发明提供一种音视频同步控制设备及方法,能兼容其他型号的设备,对视频会议系统中的不同型号设备统一进行音视频同步控制。

Description

音视频同步控制设备及方法
技术领域
本发明涉及数据处理领域,特别涉及一种音视频同步控制设备及方法。
背景技术
在多人参加远程视频会议时和在多终端的网络视频会议系统中,往往存在在会议时的音频和视频播放不同步的问题。因此需要进行音视频同步控制。
不同型号视频会议设备,采用的音视频同步方法和标准不同,当在视频会议系统中存在其他不同型号的视频会议设备时,现有的方法往往不能完成音视频的同步控制。
发明内容
为解决上述问题,本发明提供一种音视频同步控制设备和方法,能兼容其他型号的设备,对视频会议系统中的不同型号设备统一进行音视频同步控制。
本发明一具体实施方式中提供的一种音视频同步控制设备,用于视频会议系统中,包括:音频生成模块,用于生成第一音频数据并发送给其他设备以使其他设备播放第一音频,所述第一音频数据包括第一音频时间戳,所述第一音频时间戳控制所述第一音频在其他设备上的播放时间;视频生成模块,用于生成第一视频数据并发送给其他设备以使其他设备播放第一视频;以及校正模块,用于在所述第一视频和所述第一音频播放不同步时,接收其他设备发送的信号以调整所述第一音频时间戳,从而使所述第一音频和所述第一视频在其他设备上同步播放。
优选的,所述音视频同步控制设备还包括:音频播放模块,用于播放其他设备发送的第二音频数据以播放第二音频,其中所述第二音频数据中包括第二音频时间戳,所述第二音频时间戳控制所述第二音频在扬声器中的播放时间;视频播放模块,用于播放其他设备发送的第二视频数据以播放第二视频;其中,所述校正模块还用于在所述第二视频和所述第二音频播放不同步时调整所述第二音频时间戳以使所述第二视频和所述第二音频同步播放。
优选的,所述信号为第一双音频信号码,所述校正模块还用于在所述第一双音多频信号码为第一值时调前所述第一音频时间戳以及在所述第一双音多频信号码为第二值时调后所述第一音频时间戳。
优选的,所述音视频同步控制设备还包括拨号模块,用于生成第二双音频信号码并将所述第二双音频信号码发送给所述校正模块,所述校正模块还用于在所述第二双音多频信号码为第一值时调前所述第二音频时间戳,以及在所述第二双音多频信号码为第二值时调后所述第二音频时间戳的播放时间。
本发明一具体实施方式中提供的一种音视频同步控制方法,用于视频会议系统中,所述方法包括:生成第一音频数据并发送给其他设备以使其他设备播放第一音频,所述第一音频数据包括第一音频时间戳,所述第一音频时间戳控制所述第一音频在其他设备上的播放时间;生成第一视频数据并发送给其他设备以使其他设备播放第一视频;以及在所述第一视频和第一音频播放不同步时,接收其他设备发送的信号以调整所述第一音频时间戳从而使所述第一音频和第一视频在其他设备上同步播放。
优选的,所述方法还包括:播放其他设备发送的第二音频数据以播放第二音频,其中所述第二音频数据中包括第二音频时间戳,所述第二音频时间戳控制所述第二音频在扬声器中的播放时间;播放其他设备发送的第二视频数据以播放第二视频;以及在所述第二视频和第二音频播放不同步时,调整所述第二音频时间戳以使所述第二视频和第二音频同步播放。
优选的,所述信号为第一双音频信号码,所述在所述第一视频和第一音频播放不同步时,接收其他设备发送的信号以调整所述第一音频时间戳从而使所述第一音频和第一视频在其他设备上同步播放具体包括:在所述第一双音多频信号码为第一值时调前所述第一音频时间戳以及在所述第一双音多频信号码为第二值时调后所述第一音频时间戳。
优选的,所述在所述第二视频和第二音频播放不同步时,调整所述第二音频时间戳以使所述第二视频和第二音频同步播放具体包括:生成第二双音多频信号码;在所述第二双音多频信号码为第一值时调前所述第二音频时间戳,以及在所述第二双音多频信号码为第二值时调后所述第二音频时间戳的播放时间。
本发明提供一种音视频同步控制设备及方法,通过在音频数据中添加时间戳,在音视频不同步时向音视频同步控制设备发送信号,音视频同步控制设备对音频数据时间戳进行调整以使音频和视频同步播放,能兼容其他型号的设备,对视频会议系统中的不同型号设备统一进行音视频同步控制。
附图说明
图1为本发明一实施方式中音视频同步控制设备的系统环境图。
图2为本发明一实施方式中音视频同步控制的方法流程图一。
图3为本发明一实施方式中音视频同步控制的方法流程图二。
图4为图2中接收其他设备发送的信号以调整所述第一音频时间戳的方法流程图。
图5为图3中调整所述第二音频时间戳的方法流程图。
主要元件符号说明
音视频同步控制设备 10
音频生成模块 11
音频播放模块 12
视频生成模块 13
视频播放模块 14
拨号模块 15
校正模块 16
其他设备 20
麦克风 21
扬声器 22
摄像头 23
显示器 24
键盘 25
网络 30
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
下面结合附图,对本发明中的音视频同步控制设备和音视频同步控制方法作进一步的详细描述。
请参考图1,是本发明一实施例中音视频同步控制设备10的系统环境图,本发明实施例的音视频同步控制设备10,用于视频会议系统中,视频会议系统包括音视频同步控制设备10和通过网络30与音视频同步控制设备10连接的其他设备20,其中,音视频同步控制设备10用于收集会议一方参会者的即时影象和声音以生成第一视频数据和第一音频数据,然后将所述第一视频数据和第一音频数据传送给会议另一方的其他设备20,其他设备20用于收集会议另一方参会者的即时影象和声音以生成第二视频数据和第二音频数据,然后将所述第二视频数据和第二音频数据传送给会议一方的音视频同步控制设备10,从而使会议双方的参会者获得对方的即时影象和声音。
所述音视频同步控制设备10通过网络30与其他设备20连接,所述第一视频数据和第一音频数据以及第二视频数据和第二音频数据可以通过网络30在音视频同步控制设备10和其他设备20之间传输,其中网络30可以是互联网、局域网或者其他专属网络。在网络30信号传输过程中,由于对视频数据和音频数据的数据大小和处理过程不同,因此音频数据和视频数据是分开处理和传输的。
音视频同步控制设备10包括音频生成模块11、视频生成模块13、音频播放模块12、视频播放模块14以及校正模块16,其他设备20包括麦克风21、摄像头23、扬声器22、以及显示器24。
其中,所述视频生成模块13用于生成第一视频数据,所述音频生成模块11用于生成第一音频数据,所述音频播放模块12用于播放第二音频,所述视频播放模块14用于播放第二视频,所述摄像头23用于生成第二视频数据,所述麦克风21用于生成第二音频数据,所述扬声器22用于播放第一音频,以及所述显示器24用于播放第一视频。
所述音视频同步控制设备10将所述第一视频数据和第一音频数据分别发送给所述其他设备20以使其他设备20播放第一视频和第一音频以及播放第二视频和第二音频,其中所述第一音频数据包括第一音频时间戳,所述第一音频时间戳控制所述第一音频的播放时间,所述第二音频数据包括第二音频时间戳,所述第二音频时间戳控制所述第二音频的播放时间,并在所述第一视频和第一音频播放不同步时,接收所述其他设备20发送的信号以调整所述第一音频时间戳,从而使所述第一音频和第一视频同步播放,以及在所述第二视频和第二音频播放不同步时,调整所述第二音频时间戳,从而使所述第二音频和第二视频同步播放。
具体来说,音视频同步控制设备10包括音频生成模块11、视频生成模块13和校正模块16,其中,所述音频生成模块11用于生成第一音频数据并发送给其他设备20以使其他设备20播放第一音频,所述第一音频数据包括第一音频时间戳,所述第一音频时间戳控制所述第一音频在其他设备20上的播放时间,所述视频生成模块13用于生成第一视频数据并发送给其他设备20以使其他设备20播放第一视频。
其他设备20解析第一视频数据和第一音频数据以播放第一视频和第一音频时,会读取第一视频数据中的第一视频时间戳,第一音频数据中的第一音频时间戳,并依据当前参考时钟上的时间来播放第一视频和第一音频。
一般情况下,视频数据大小要大于音频数据,视频数据的传输要较音频数据费时,视频数据处理的复杂度要大于音频数据,因此此时在其他设备20的显示和播放中,视频将滞后于音频。
在音视频同步控制设备10中,首先选择一个在时间线性递增的参考时钟,然后在生成第一视频数据和第一音频数据时依据参考时钟上的时间给每个数据块都加上时间戳,时间戳包括开始时间和结束时间。此时第一视频数据包括第一视频时间戳,第一音频数据中包括第一音频时间戳。
在所述第一视频和第一音频播放不同步时,所述校正模块16用于接收其他设备20发送的信号以调整所述第一音频时间戳,从而使所述第一音频和第一视频在其他设备20上同步播放。在其他实施方式中,第一视频数据和第一音频数据也可以是音视频同步控制设备10中存储的音视频数据。
在本实施方式中,判断所述第一视频和第一音频播放是否同步由会议另一方的参会者判断,当发现第一视频滞后于第一音频,其他设备20中会议一方参会者的嘴唇动作和发出的时间错开一段时间,即出现未闻其人,先见其声的现象时,则确定第一视频和第一音频没有同步播放。如果判断第一视频和第一音频为同步播放则不进行任何操作,或者其他设备20中会议一方参会者的认为不同步程度没有严重到影响会议进行的程度也可以不任何进行操作。
在其他实施方式中,判断所述第一视频和第一音频播放是否同步也可以通过其他设备20进行机器智能识别,以适应对音视频同步要求较高的情况,例如其他设备20需要通过音视频同步控制设备10观看录像,其他设备20播放和显示的是音视频同步控制设备10中存储的音视频资料。
其中,所述信号通过网络30回送,在本实施方式中,其他设备20向音视频同步控制设备10发送信号由会议另一方的参会者手动按键触发。但触发方式不限于按键,也可以是遥控、触摸操作、手势识别等形式。
在其他实施方式中,其他设备20向音视频同步控制设备10发送信号也可以由其他设备20在满足触发条件时自动发送。
在本实施方式中,通过在音视频同步控制设备10中调整所述第一音频时间戳以使第一音频时间戳的开始时间大于或小于当前其他设备20参考时钟上的时间,然后所述音视频同步控制设备10将调整过时间戳的的新的第一音频数据通过网络30发送到其他设备20,从而使所述第一音频和第一视频同步播放。如果开始时间大于其他设备20的参考时钟上的当前时间,则不急于播放该数据块,直到其他设备20的参考时钟达到数据块的开始时间。如果开始时间小于其他设备20参考时钟上参考时钟上的当前时间,则“尽快”播放这块数据或者将这块数据“丢弃”,以使播放进度追上参考时钟。在另一实施方式中,也可以通过相同的原理调整所述第一视频时间戳以使所述第一音频和第一视频同步播放。
在本实施例中,音视频同步控制设备10还包括音频播放模块12和视频播放模块14,其中,所述音频生成模块12用于播放其他设备20发送的第二音频数据以播放第二音频,其中所述第二音频数据中包括第二音频时间戳,所述第二音频时间戳控制所述第二音频在扬声器中的播放时间,所述视频播放模块14用于播放其他设备20发送的第二视频数据以播放第二视频。在所述第二视频和第二音频播放不同步时,所述校正模块16还用于调整所述第二音频时间戳以使所述第二视频和第二音频同步播放。
其中,其他设备20生成第二视频数据和第二音频数据并将所述第二视频数据和第二音频数据分别发送至所述音视频同步控制设备10然后所述音视频同步控制设备10解析所述第二视频数据和第二音频数据以播放所述第二视频和所述第二音频的具体流程与音视频同步控制设备10生成第一视频数据和第一音频数据并将所述第一视频数据和第一音频数据分别发送至所述其他设备20然后所述其他设备20解析所述第一视频数据和第一音频数据以播放所述第一视频和所述第一音频的具体流程相同,在此不重复描述。
在本实施方式中,通过在音视频同步控制设备10中直接调整所述第二音频时间戳以使第二音频时间戳的开始时间大于或小于当前音视频同步控制设备10参考时钟上的时间,从而使所述第二音频和第二视频同步播放。如果开始时间大于音视频同步控制设备10参考时钟上的当前时间,则不急于播放该数据块,直到音视频同步控制设备10上的参考时钟达到数据块的开始时间。如果开始时间小于音视频同步控制设备10上的参考时钟上参考时钟上的当前时间,则“尽快”播放这块数据或者将这块数据“丢弃”,以使播放进度追上参考时钟。在另一实施方式中,也可以通过相同的原理调整所述第二视频时间戳以使所述第二音频和第二视频同步播放。
在本实施方式中,所述信号为第一双音频信号码,所述音视频同步控制设备10包括拨号模块15,所述其他设备20包括键盘25,其中所述拨号模块15用于向所述校正模块16发送第二双音频信号码,所述键盘25用于向所述校正模块16发送第一双音频信号码,所述校正模块16还用于将所述第一双音频信号码转换为第一校正指令以使所述音视频同步控制设备10根据所述第一校正指令调整所述第一音频时间戳以及将所述第二双音频信号码转换为第二校正指令以使所述音视频同步控制设备10根据所述第二校正指令调整所述第二音频时间戳。
其中,所述所述校正模块16用于将所述第一双音频信号码转换为第一校正指令以使所述音视频同步控制设备10根据所述第一校正指令调整所述第一音频时间戳包括:
在所述第一双音多频信号码为第一值时调前所述第一音频时间戳,在所述第一双音多频信号码为第二值时调后所述第一音频时间戳;
所述所述校正模块16用于将所述第二双音频信号码转换为第二校正指令以使所述音视频同步控制设备10根据所述第二校正指令调整所述第二音频时间戳包括:
在所述第二双音多频信号码为第一值时调前所述第二音频时间戳,在所述第二双音多频信号码为第二值时调后所述第二音频时间戳。
在本实施方式中,其他设备20由会议另一方的参会者手动按键盘25生成第一双音频信号码然后将第一双音频信号码向音视频同步控制设备10发送,音视频同步控制设备10生成第二双音频信号码由会议一方的参会者手动按拨号模块15生成。音视频同步控制设备10的音频生成模块11和拨号模块15,其他设备20的麦克风21和键盘25均形成电话机并通过拨号的形式发送第一双音频信号码和第二双音频信号码,举例而言,当其他设备20被参会者拨号4时,其他设备20生成第一值为4的第一双音频信号码并通过网络30发送给音视频同步控制设备10,音视频同步控制设备10在所述第一双音频信号码为4时转换为第一校正指令以使音视频同步控制设备10调前第一音频时间戳,当其他设备20被参会者拨号6时,其他设备20生成第二值为6的第一双音频信号码并发送给音视频同步控制设备10,音视频同步控制设备10在所述第一双音频信号码为6时转换为对应的第一校正指令以使音视频同步控制设备10调后第一音频时间戳。音视频同步控制设备10生成第二双音频信号码并所述第二双音频信号码转换为第二校正指令以使所述音视频同步控制设备10根据所述第二校正指令调整所述第二音频时间戳的原理和过程类似,区别在于音视频同步控制设备10拨号生成第二双音频信号码后,直接内部转换为第二校正指令,可不通过网络30转发。
请参考图2,本发明一实施例的一种音视频同步控制方法,包括:
步骤S100:音视频同步控制设备10生成第一音频数据并发送给其他设备20以使其他设备20播放第一音频,所述第一音频数据包括第一音频时间戳,所述第一音频时间戳控制所述第一音频在其他设备20上的播放时间。
步骤S200:生成第一视频数据并发送给其他设备20以使其他设备20播放第一视频。
在本实施方式中的视频会议系统中,音视频同步控制设备10收集会议一方参会者的即时影象和声音以生成第一视频数据和第一音频数据,然后将所述第一视频数据和第一音频数据传送给会议另一方的其他设备20。
在其他实施方式中,第一视频数据和第一音频数据也可以是音视频同步控制设备10中存储的音视频数据。
所述音视频同步控制设备10通过网络30与其他设备20连接,所述第一视频数据和第一音频数据可以通过网络30在音视频同步控制设备10和其他设备20之间传输,其中网络30可以是互联网、局域网或者其他专属网络。在网络30信号传输过程中,由于对第一视频数据和第一音频数据的数据大小和处理过程不同,因此第一音频数据和第一视频数据是分开处理和传输的。
一般情况下,视频数据大小要大于音频数据,视频数据的传输要较音频数据费时,视频数据处理的复杂度要大于音频数据,因此此时在其他设备20的显示和播放中,视频将滞后于音频。
在音视频同步控制设备10中,首先选择一个在时间线性递增的参考时钟,然后在生成第一视频数据和第一音频数据时依据参考时钟上的时间给每个数据块都加上时间戳,时间戳包括开始时间和结束时间。此时第一视频数据包括第一视频时间戳,第一音频数据中包括第一音频时间戳。
其他设备20解析第一视频数据和第一音频数据以播放第一视频和第一音频时,会读取第一视频数据中的第一视频时间戳,第一音频数据中的第一音频时间戳,并依据当前参考时钟上的时间来播放第一视频和第一音频。
步骤S300:判断所述第一视频和第一音频播放是否同步。
在本实施方式中,判断所述第一视频和第一音频播放是否同步由会议另一方的参会者判断,当发现第一视频滞后于第一音频,其他设备20中会议一方参会者的嘴唇动作和发出的时间错开一段时间,即出现未闻其人,先见其声的现象时,则确定第一视频和第一音频没有同步播放。如果判断第一视频和第一音频没有同步播放则进入步骤S400,如果判断第一视频和第一音频为同步播放则不进行任何操作,或者其他设备20中会议一方参会者的认为不同步程度没有严重到影响会议进行的程度也可以不任何进行操作。
在其他实施方式中,判断所述第一视频和第一音频播放是否同步也可以通过其他设备20进行机器智能识别,以适应对音视频同步要求较高的情况,例如其他设备20需要通过音视频同步控制设备10观看录像,其他设备20播放和显示的是音视频同步控制设备10中存储的音视频资料。
其中,所述信号通过网络30回送,在本实施方式中,其他设备20向音视频同步控制设备10发送信号由会议另一方的参会者手动按键触发。但触发方式不限于按键,也可以是遥控、触摸操作、手势识别等形式。
在其他实施方式中,其他设备20向音视频同步控制设备10发送信号也可以由其他设备20在满足触发条件时自动发送。
在述第一视频和第一音频播放不同步时,进入步骤S400。
步骤S400:音视频同步控制设备10接收其他设备20发送的信号以调整所述第一音频时间戳从而使所述第一音频和第一视频在其他设备20上同步播放。
在本实施方式中,通过在音视频同步控制设备10中调整所述第一音频时间戳以使第一音频时间戳的开始时间大于或小于当前其他设备20参考时钟上的时间,然后所述音视频同步控制设备10将调整过时间戳的的新的第一音频数据通过网络30发送到其他设备20,从而使所述第一音频和第一视频同步播放。如果开始时间大于其他设备20的参考时钟上的当前时间,则不急于播放该数据块,直到其他设备20的参考时钟达到数据块的开始时间。如果开始时间小于其他设备20参考时钟上参考时钟上的当前时间,则“尽快”播放这块数据或者索性将这块数据“丢弃”,以使播放进度追上参考时钟。在另一实施方式中,也可以通过相同的原理调整所述第一视频时间戳以使所述第一音频和第一视频同步播放。
请参考图3,并请检查文中其他的图的描述,本发明一实施方式的音视频同步控制方法还包括:
S500:音视频同步控制设备10接收并播放其他设备20发送的第二音频数据以播放第二音频,其中所述第二音频数据中包括第二音频时间戳,所述第二音频时间戳控制所述第二音频在扬声器中的播放时间。
S600:音视频同步控制设备10接收其他设备20发送的第二视频数据以播放第二视频。
S700:判断所述第二视频和第二音频播放是否同步。
其中,其他设备20生成第二视频数据和第二音频数据并将所述第二视频数据和第二音频数据分别发送至所述音视频同步控制设备10然后所述音视频同步控制设备10解析所述第二视频数据和第二音频数据以播放所述第二视频和所述第二音频的具体流程与步骤S100和步骤S200中音视频同步控制设备10生成第一视频数据和第一音频数据并将所述第一视频数据和第一音频数据分别发送至所述其他设备20然后所述其他设备20解析所述第一视频数据和第一音频数据以播放所述第一视频和所述第一音频的具体流程相同。在判断第二视频和第二音频是否同步的判断条件和判断方法和步骤S300中判断第一视频和第一音频是否同步相同。在此不重复描述。
在判断第二视频和第二音频不同步时,进入步骤S800:
S800:音视频同步控制设备10调整所述第二音频时间戳以使所述第二音频和第二视频同步播放。
在本实施方式中,通过在音视频同步控制设备10中直接调整所述第二音频时间戳以使第二音频时间戳的开始时间大于或小于当前音视频同步控制设备10参考时钟上的时间,从而使所述第二音频和第二视频同步播放。如果开始时间大于音视频同步控制设备10参考时钟上的当前时间,则不急于播放该数据块,直到音视频同步控制设备10上的参考时钟达到数据块的开始时间。如果开始时间小于音视频同步控制设备10上的参考时钟上参考时钟上的当前时间,则“尽快”播放这块数据或者索性将这块数据“丢弃”,以使播放进度追上参考时钟。在另一实施方式中,也可以通过相同的原理调整所述第二视频时间戳以使所述第二音频和第二视频同步播放。
其中,步骤S100、步骤S200、步骤S300、步骤S400以及步骤S500与步骤S600、步骤S700以及步骤S800之间没有先后顺序。步骤S600、步骤S700以及步骤S800可以在步骤S100、步骤S200、步骤S300、步骤S400以及步骤S500全部完成之后执行,步骤S600、步骤S700以及步骤S800可以在步骤S100、步骤S200、步骤S300、步骤S400以及步骤S500完成之前就执行,或者步骤S100、步骤S200、步骤S300、步骤S400以及步骤S500与步骤S600、步骤S700以及步骤S800同时执行。
请参考图4,在本发明的一具体实施方式中,所述信号为第一双音频信号码,步骤S400:音视频同步控制设备10接收其他设备20发送的信号以调整所述第一音频时间戳从而使所述第一音频和第一视频在其他设备20上同步播放具体包括:
S410:音视频同步控制设备10接收其他设备20发送的发送的第一双音频信号码;;
S420:音视频同步控制设备10将所述第一双音频信号码转换为第一校正指令;
S430:所述音视频同步控制设备10根据所述第一校正指令调整所述第一音频时间戳。
请参考图5,步骤S800:音视频同步控制设备10调整所述第二音频时间戳以使所述第二音频和第二视频同步播放具体包括:
S810:音视频同步控制设备10生成第二双音频信号码;
S820:音视频同步控制设备10将所述第二双音频信号码转换为第二校正指令;
S830:音视频同步控制设备10根据所述第二校正指令调整所述第二音频时间戳。
其中,步骤S430:所述音视频同步控制设备10根据所述第一校正指令调整所述第一音频时间戳具体包括:
在所述第一双音多频信号码为第一值时调前所述第一音频时间戳;
在所述第一双音多频信号码为第二值时调后所述第一音频时间戳;其中,步骤S830:音视频同步控制设备10根据所述第二校正指令调整所述第二音频时间戳具体包括:
在所述第二双音多频信号码为第一值时调前所述第二音频时间戳;
在所述第二双音多频信号码为第二值时调后所述第二音频时间戳。
在本实施方式中,其他设备20和音视频同步控制设备10均设有电话机,其他设备20先由会议另一方的参会者手动按其他设备20电话机的拨号盘生成第一双音频信号码然后将第一双音频信号码向音视频同步控制设备10发送,音视频同步控制设备10生成第二双音频信号码由会议一方的参会者手动按音视频同步控制设备10电话机的拨号盘生成。举例而言,当其他设备20被参会者拨号4时,其他设备20生成第一值为4的第一双音频信号码并通过网络30发送给音视频同步控制设备10,音视频同步控制设备10在所述第一双音频信号码为4时转换为第一校正指令以使音视频同步控制设备10调前第一音频时间戳,当其他设备20被参会者拨号6时,其他设备20生成第二值为6的第一双音频信号码并发送给音视频同步控制设备10,音视频同步控制设备10在所述第一双音频信号码为6时转换为对应的第一校正指令以使音视频同步控制设备10调后第一音频时间戳。音视频同步控制设备10生成第二双音频信号码并所述第二双音频信号码转换为第二校正指令以使所述音视频同步控制设备10根据所述第二校正指令调整所述第二音频时间戳的原理和过程类似,区别在于音视频同步控制设备10拨号生成第二双音频信号码后,直接内部转换为第二校正指令,可不通过网络30转发。
本发明实施方式中的提供一种音视频同步控制设备10和音视频同步控制方法通过在音频数据中添加时间戳,在音视频不同步时向音视频同步控制设备10发送信号,音视频同步控制设备10对音频数据时间戳进行调整以使音频和视频同步播放。本发明实施方式中的音视频同步控制设备10能兼容其他型号的设备,对视频会议系统中的不同型号设备统一进行音视频同步控制,在系统中要联机音视频同步控制设备10,就可以进行统一的音视频同步控制。
本技术领域的普通技术人员应当认识到,以上的实施方式仅是用来说明本发明,而并非用作为对本发明的限定,只要在本发明的实质精神范围之内,对以上实施方式所作的适当改变和变化都落在本发明要求保护的范围之内。

Claims (6)

1.一种音视频同步控制设备,用于视频会议系统中,其特征在于,包括:
音频生成模块,用于生成第一音频数据并发送给其他设备以使其他设备播放第一音频,所述第一音频数据包括第一音频时间戳,所述第一音频时间戳控制所述第一音频在其他设备上的播放时间;
视频生成模块,用于生成第一视频数据并发送给其他设备以使其他设备播放第一视频;以及
校正模块,用于在所述第一视频和所述第一音频播放不同步时,接收其他设备发送的信号以调整所述第一音频时间戳,从而使所述第一音频和所述第一视频在其他设备上同步播放,其中,所述信号为第一双音频信号码,在所述第一双音多频信号码为第一值时调前所述第一音频时间戳,以及在所述第一双音多频信号码为第二值时调后所述第一音频时间戳。
2.如权利要求1所述的音视频同步控制设备,其特征在于,所述音视频同步控制设备还包括:
音频播放模块,用于播放其他设备发送的第二音频数据以播放第二音频,其中所述第二音频数据中包括第二音频时间戳,所述第二音频时间戳控制所述第二音频在扬声器中的播放时间;
视频播放模块,用于播放其他设备发送的第二视频数据以播放第二视频;
其中,所述校正模块还用于在所述第二视频和所述第二音频播放不同步时调整所述第二音频时间戳以使所述第二视频和所述第二音频同步播放。
3.如权利要求2所述的音视频同步控制设备,其特征在于,所述音视频同步控制设备还包括拨号模块,用于生成第二双音频信号码并将所述第二双音频信号码发送给所述校正模块,所述校正模块还用于在所述第二双音多频信号码为第一值时调前所述第二音频时间戳,以及在所述第二双音多频信号码为第二值时调后所述第二音频时间戳的播放时间。
4.一种音视频同步控制方法,用于视频会议系统中,其特征在于,所述方法包括:
生成第一音频数据并发送给其他设备以使其他设备播放第一音频,所述第一音频数据包括第一音频时间戳,所述第一音频时间戳控制所述第一音频在其他设备上的播放时间;
生成第一视频数据并发送给其他设备以使其他设备播放第一视频;以及
在所述第一视频和第一音频播放不同步时,接收其他设备发送的信号以调整所述第一音频时间戳从而使所述第一音频和第一视频在其他设备上同步播放,其中,所述信号为第一双音频信号码,在所述第一双音多频信号码为第一值时调前所述第一音频时间戳,以及在所述第一双音多频信号码为第二值时调后所述第一音频时间戳。
5.如权利要求4所述的音视频同步的控制方法,其特征在于,所述方法还包括:
播放其他设备发送的第二音频数据以播放第二音频,其中所述第二音频数据中包括第二音频时间戳,所述第二音频时间戳控制所述第二音频在扬声器中的播放时间;
播放其他设备发送的第二视频数据以播放第二视频;以及
在所述第二视频和第二音频播放不同步时,调整所述第二音频时间戳以使所述第二视频和第二音频同步播放。
6.如权利要求5所述的音视频同步的控制方法,其特征在于,所述在所述第二视频和第二音频播放不同步时,调整所述第二音频时间戳以使所述第二视频和第二音频同步播放具体包括:
生成第二双音多频信号码;
在所述第二双音多频信号码为第一值时调前所述第二音频时间戳,以及在所述第二双音多频信号码为第二值时调后所述第二音频时间戳的播放时间。
CN201410114180.6A 2014-03-25 2014-03-25 音视频同步控制设备及方法 Active CN104954727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410114180.6A CN104954727B (zh) 2014-03-25 2014-03-25 音视频同步控制设备及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410114180.6A CN104954727B (zh) 2014-03-25 2014-03-25 音视频同步控制设备及方法

Publications (2)

Publication Number Publication Date
CN104954727A CN104954727A (zh) 2015-09-30
CN104954727B true CN104954727B (zh) 2018-08-07

Family

ID=54169028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410114180.6A Active CN104954727B (zh) 2014-03-25 2014-03-25 音视频同步控制设备及方法

Country Status (1)

Country Link
CN (1) CN104954727B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105451057A (zh) * 2016-01-18 2016-03-30 北京优祥智恒科技有限公司 一种调整视音频码流中音频延时的装置和方法
CN105611317A (zh) * 2016-01-18 2016-05-25 北京流金岁月文化传播股份有限公司 一种支持音频透传的视音频转码的装置和方法
CN108696762A (zh) * 2017-04-12 2018-10-23 中兴通讯股份有限公司 一种同步播放方法、装置和系统
CN109640141B (zh) * 2018-12-19 2021-07-20 深圳银澎云计算有限公司 一种音频时间戳的校正方法、校正装置及音视频终端
CN112423121A (zh) * 2020-08-11 2021-02-26 上海幻电信息科技有限公司 视频测试文件生成方法、装置及播放器测试方法、装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6269122B1 (en) * 1998-01-02 2001-07-31 Intel Corporation Synchronization of related audio and video streams
US8111327B2 (en) * 2006-12-20 2012-02-07 Industrial Technology Research Institute Method and apparatus for audio/video synchronization
CN102655585A (zh) * 2012-04-16 2012-09-05 中国联合网络通信集团有限公司 视频会议系统及其时延测试方法、装置和系统
CN102957892A (zh) * 2011-08-24 2013-03-06 三星电子(中国)研发中心 一种实现音视频会议的方法、系统及装置
CN103517044A (zh) * 2012-06-25 2014-01-15 鸿富锦精密工业(深圳)有限公司 视频会议装置及其唇形同步的方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344898A (ja) * 2001-05-17 2002-11-29 Pioneer Electronic Corp 映像表示装置、音声調整装置及び映像音声出力装置、並びに映像音声同期方法
US7379653B2 (en) * 2002-02-20 2008-05-27 The Directv Group, Inc. Audio-video synchronization for digital systems
US7170545B2 (en) * 2004-04-27 2007-01-30 Polycom, Inc. Method and apparatus for inserting variable audio delay to minimize latency in video conferencing
CN1298157C (zh) * 2004-11-30 2007-01-31 北京中星微电子有限公司 Ip网络会议视音频同步的方法
CN101142817B (zh) * 2005-03-18 2011-05-11 富士通株式会社 视频装置的视频信号和音频信号的同步控制方法及装置
KR101246916B1 (ko) * 2006-04-21 2013-03-25 삼성전자주식회사 오디오/비디오 동기 보정 방법 및 장치
US8446963B2 (en) * 2006-07-12 2013-05-21 Mediatek Inc. Method and system for synchronizing audio and video data signals
CN101119461B (zh) * 2006-08-02 2010-05-12 广达电脑股份有限公司 保持视频帧及音频帧同步播放的系统及方法
CN101271720B (zh) * 2008-04-22 2011-06-22 中兴通讯股份有限公司 一种手机流媒体音视频的同步方法
CN101340591B (zh) * 2008-08-11 2011-04-06 华为终端有限公司 解码系统中接收视音频数据的处理方法及装置
US8731370B2 (en) * 2009-01-12 2014-05-20 At&T Intellectual Property I, L.P. Method and device for transmitting audio and video for playback
CA2843766A1 (en) * 2011-08-16 2013-02-21 Destiny Software Productions Inc. Script-based video rendering
CN102421035A (zh) * 2011-12-31 2012-04-18 青岛海信宽带多媒体技术有限公司 数字电视音视频同步的实现方法及装置
CN102868939A (zh) * 2012-09-10 2013-01-09 杭州电子科技大学 一种实时视频监控系统中音视频数据的同步方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6269122B1 (en) * 1998-01-02 2001-07-31 Intel Corporation Synchronization of related audio and video streams
US8111327B2 (en) * 2006-12-20 2012-02-07 Industrial Technology Research Institute Method and apparatus for audio/video synchronization
CN102957892A (zh) * 2011-08-24 2013-03-06 三星电子(中国)研发中心 一种实现音视频会议的方法、系统及装置
CN102655585A (zh) * 2012-04-16 2012-09-05 中国联合网络通信集团有限公司 视频会议系统及其时延测试方法、装置和系统
CN103517044A (zh) * 2012-06-25 2014-01-15 鸿富锦精密工业(深圳)有限公司 视频会议装置及其唇形同步的方法

Also Published As

Publication number Publication date
CN104954727A (zh) 2015-09-30

Similar Documents

Publication Publication Date Title
US10930262B2 (en) Artificially generated speech for a communication session
CN104954727B (zh) 音视频同步控制设备及方法
US9894213B2 (en) Acoustic echo cancellation for audio system with bring your own devices (BYOD)
EP2103040B1 (en) Synchronizing media streams across multiple devices
CN104584567B (zh) 音频转发设备和对应的方法
US20170099515A1 (en) Fingerprint-Based Inter-Destination Media Synchronization
US9313336B2 (en) Systems and methods for processing audio signals captured using microphones of multiple devices
US20130022189A1 (en) Systems and methods for receiving and processing audio signals captured using multiple devices
US20130340014A1 (en) Home Theater Component For A Virtualized Home Theater System
CN107018466B (zh) 增强音频记录
CN108028764A (zh) 用于使用个人通信设备的虚拟会议系统的方法和系统
CN105306110B (zh) 一种实现音乐同步播放的方法及系统
TWI513320B (zh) 視訊會議裝置及其唇形同步的方法
US10187432B2 (en) Replaying content of a virtual meeting
US10362173B2 (en) Web real-time communication from an audiovisual file
EP2658209A2 (en) Methods and apparatus for streaming audio content
CN109168059A (zh) 一种在不同设备上分别播放音频与视频的唇音同步方法
CN109379613A (zh) 音视频同步调整方法、电视、计算机可读存储介质及系统
EP2695389B1 (en) Processing media streams for synchronised output at multiple end points
CN108513159A (zh) 多终端同步播放控制方法、主设备、装置及系统
TWI548278B (zh) 音視訊同步控制設備及方法
WO2013189435A2 (zh) 基于播放状态信息同步的处理方法、系统及相关装置
US11140484B2 (en) Terminal, audio cooperative reproduction system, and content display apparatus
JP2007020095A (ja) 情報合成装置、情報合成システム、情報同期方法およびプログラム
JP5210788B2 (ja) 音声信号通信システム、音声合成装置、音声合成処理方法、音声合成処理プログラム、並びに該プログラムを格納した記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180226

Address after: 530007 the Guangxi Zhuang Autonomous Region, China Hi tech Zone, the headquarters of the headquarters of the road No. 18, China ASEAN enterprise base, phase 5, No. three plant

Applicant after: NANNING FUGUI PRECISION INDUSTRIAL CO., LTD.

Address before: 518109 Guangdong city of Shenzhen province Baoan District Longhua Town Industrial Zone tabulaeformis tenth East Ring Road No. 2 two

Applicant before: Hongfujin Precise Industry (Shenzhen) Co., Ltd.

Applicant before: Hon Hai Precision Industry Co., Ltd.

GR01 Patent grant
GR01 Patent grant