具体实施方式
下面结合附图,对本发明中的音视频同步控制设备和音视频同步控制方法作进一步的详细描述。
请参考图1,是本发明一实施例中音视频同步控制设备10的系统环境图,本发明实施例的音视频同步控制设备10,用于视频会议系统中,视频会议系统包括音视频同步控制设备10和通过网络30与音视频同步控制设备10连接的其他设备20,其中,音视频同步控制设备10用于收集会议一方参会者的即时影象和声音以生成第一视频数据和第一音频数据,然后将所述第一视频数据和第一音频数据传送给会议另一方的其他设备20,其他设备20用于收集会议另一方参会者的即时影象和声音以生成第二视频数据和第二音频数据,然后将所述第二视频数据和第二音频数据传送给会议一方的音视频同步控制设备10,从而使会议双方的参会者获得对方的即时影象和声音。
所述音视频同步控制设备10通过网络30与其他设备20连接,所述第一视频数据和第一音频数据以及第二视频数据和第二音频数据可以通过网络30在音视频同步控制设备10和其他设备20之间传输,其中网络30可以是互联网、局域网或者其他专属网络。在网络30信号传输过程中,由于对视频数据和音频数据的数据大小和处理过程不同,因此音频数据和视频数据是分开处理和传输的。
音视频同步控制设备10包括音频生成模块11、视频生成模块13、音频播放模块12、视频播放模块14以及校正模块16,其他设备20包括麦克风21、摄像头23、扬声器22、以及显示器24。
其中,所述视频生成模块13用于生成第一视频数据,所述音频生成模块11用于生成第一音频数据,所述音频播放模块12用于播放第二音频,所述视频播放模块14用于播放第二视频,所述摄像头23用于生成第二视频数据,所述麦克风21用于生成第二音频数据,所述扬声器22用于播放第一音频,以及所述显示器24用于播放第一视频。
所述音视频同步控制设备10将所述第一视频数据和第一音频数据分别发送给所述其他设备20以使其他设备20播放第一视频和第一音频以及播放第二视频和第二音频,其中所述第一音频数据包括第一音频时间戳,所述第一音频时间戳控制所述第一音频的播放时间,所述第二音频数据包括第二音频时间戳,所述第二音频时间戳控制所述第二音频的播放时间,并在所述第一视频和第一音频播放不同步时,接收所述其他设备20发送的信号以调整所述第一音频时间戳,从而使所述第一音频和第一视频同步播放,以及在所述第二视频和第二音频播放不同步时,调整所述第二音频时间戳,从而使所述第二音频和第二视频同步播放。
具体来说,音视频同步控制设备10包括音频生成模块11、视频生成模块13和校正模块16,其中,所述音频生成模块11用于生成第一音频数据并发送给其他设备20以使其他设备20播放第一音频,所述第一音频数据包括第一音频时间戳,所述第一音频时间戳控制所述第一音频在其他设备20上的播放时间,所述视频生成模块13用于生成第一视频数据并发送给其他设备20以使其他设备20播放第一视频。
其他设备20解析第一视频数据和第一音频数据以播放第一视频和第一音频时,会读取第一视频数据中的第一视频时间戳,第一音频数据中的第一音频时间戳,并依据当前参考时钟上的时间来播放第一视频和第一音频。
一般情况下,视频数据大小要大于音频数据,视频数据的传输要较音频数据费时,视频数据处理的复杂度要大于音频数据,因此此时在其他设备20的显示和播放中,视频将滞后于音频。
在音视频同步控制设备10中,首先选择一个在时间线性递增的参考时钟,然后在生成第一视频数据和第一音频数据时依据参考时钟上的时间给每个数据块都加上时间戳,时间戳包括开始时间和结束时间。此时第一视频数据包括第一视频时间戳,第一音频数据中包括第一音频时间戳。
在所述第一视频和第一音频播放不同步时,所述校正模块16用于接收其他设备20发送的信号以调整所述第一音频时间戳,从而使所述第一音频和第一视频在其他设备20上同步播放。在其他实施方式中,第一视频数据和第一音频数据也可以是音视频同步控制设备10中存储的音视频数据。
在本实施方式中,判断所述第一视频和第一音频播放是否同步由会议另一方的参会者判断,当发现第一视频滞后于第一音频,其他设备20中会议一方参会者的嘴唇动作和发出的时间错开一段时间,即出现未闻其人,先见其声的现象时,则确定第一视频和第一音频没有同步播放。如果判断第一视频和第一音频为同步播放则不进行任何操作,或者其他设备20中会议一方参会者的认为不同步程度没有严重到影响会议进行的程度也可以不任何进行操作。
在其他实施方式中,判断所述第一视频和第一音频播放是否同步也可以通过其他设备20进行机器智能识别,以适应对音视频同步要求较高的情况,例如其他设备20需要通过音视频同步控制设备10观看录像,其他设备20播放和显示的是音视频同步控制设备10中存储的音视频资料。
其中,所述信号通过网络30回送,在本实施方式中,其他设备20向音视频同步控制设备10发送信号由会议另一方的参会者手动按键触发。但触发方式不限于按键,也可以是遥控、触摸操作、手势识别等形式。
在其他实施方式中,其他设备20向音视频同步控制设备10发送信号也可以由其他设备20在满足触发条件时自动发送。
在本实施方式中,通过在音视频同步控制设备10中调整所述第一音频时间戳以使第一音频时间戳的开始时间大于或小于当前其他设备20参考时钟上的时间,然后所述音视频同步控制设备10将调整过时间戳的的新的第一音频数据通过网络30发送到其他设备20,从而使所述第一音频和第一视频同步播放。如果开始时间大于其他设备20的参考时钟上的当前时间,则不急于播放该数据块,直到其他设备20的参考时钟达到数据块的开始时间。如果开始时间小于其他设备20参考时钟上参考时钟上的当前时间,则“尽快”播放这块数据或者将这块数据“丢弃”,以使播放进度追上参考时钟。在另一实施方式中,也可以通过相同的原理调整所述第一视频时间戳以使所述第一音频和第一视频同步播放。
在本实施例中,音视频同步控制设备10还包括音频播放模块12和视频播放模块14,其中,所述音频生成模块12用于播放其他设备20发送的第二音频数据以播放第二音频,其中所述第二音频数据中包括第二音频时间戳,所述第二音频时间戳控制所述第二音频在扬声器中的播放时间,所述视频播放模块14用于播放其他设备20发送的第二视频数据以播放第二视频。在所述第二视频和第二音频播放不同步时,所述校正模块16还用于调整所述第二音频时间戳以使所述第二视频和第二音频同步播放。
其中,其他设备20生成第二视频数据和第二音频数据并将所述第二视频数据和第二音频数据分别发送至所述音视频同步控制设备10然后所述音视频同步控制设备10解析所述第二视频数据和第二音频数据以播放所述第二视频和所述第二音频的具体流程与音视频同步控制设备10生成第一视频数据和第一音频数据并将所述第一视频数据和第一音频数据分别发送至所述其他设备20然后所述其他设备20解析所述第一视频数据和第一音频数据以播放所述第一视频和所述第一音频的具体流程相同,在此不重复描述。
在本实施方式中,通过在音视频同步控制设备10中直接调整所述第二音频时间戳以使第二音频时间戳的开始时间大于或小于当前音视频同步控制设备10参考时钟上的时间,从而使所述第二音频和第二视频同步播放。如果开始时间大于音视频同步控制设备10参考时钟上的当前时间,则不急于播放该数据块,直到音视频同步控制设备10上的参考时钟达到数据块的开始时间。如果开始时间小于音视频同步控制设备10上的参考时钟上参考时钟上的当前时间,则“尽快”播放这块数据或者将这块数据“丢弃”,以使播放进度追上参考时钟。在另一实施方式中,也可以通过相同的原理调整所述第二视频时间戳以使所述第二音频和第二视频同步播放。
在本实施方式中,所述信号为第一双音频信号码,所述音视频同步控制设备10包括拨号模块15,所述其他设备20包括键盘25,其中所述拨号模块15用于向所述校正模块16发送第二双音频信号码,所述键盘25用于向所述校正模块16发送第一双音频信号码,所述校正模块16还用于将所述第一双音频信号码转换为第一校正指令以使所述音视频同步控制设备10根据所述第一校正指令调整所述第一音频时间戳以及将所述第二双音频信号码转换为第二校正指令以使所述音视频同步控制设备10根据所述第二校正指令调整所述第二音频时间戳。
其中,所述所述校正模块16用于将所述第一双音频信号码转换为第一校正指令以使所述音视频同步控制设备10根据所述第一校正指令调整所述第一音频时间戳包括:
在所述第一双音多频信号码为第一值时调前所述第一音频时间戳,在所述第一双音多频信号码为第二值时调后所述第一音频时间戳;
所述所述校正模块16用于将所述第二双音频信号码转换为第二校正指令以使所述音视频同步控制设备10根据所述第二校正指令调整所述第二音频时间戳包括:
在所述第二双音多频信号码为第一值时调前所述第二音频时间戳,在所述第二双音多频信号码为第二值时调后所述第二音频时间戳。
在本实施方式中,其他设备20由会议另一方的参会者手动按键盘25生成第一双音频信号码然后将第一双音频信号码向音视频同步控制设备10发送,音视频同步控制设备10生成第二双音频信号码由会议一方的参会者手动按拨号模块15生成。音视频同步控制设备10的音频生成模块11和拨号模块15,其他设备20的麦克风21和键盘25均形成电话机并通过拨号的形式发送第一双音频信号码和第二双音频信号码,举例而言,当其他设备20被参会者拨号4时,其他设备20生成第一值为4的第一双音频信号码并通过网络30发送给音视频同步控制设备10,音视频同步控制设备10在所述第一双音频信号码为4时转换为第一校正指令以使音视频同步控制设备10调前第一音频时间戳,当其他设备20被参会者拨号6时,其他设备20生成第二值为6的第一双音频信号码并发送给音视频同步控制设备10,音视频同步控制设备10在所述第一双音频信号码为6时转换为对应的第一校正指令以使音视频同步控制设备10调后第一音频时间戳。音视频同步控制设备10生成第二双音频信号码并所述第二双音频信号码转换为第二校正指令以使所述音视频同步控制设备10根据所述第二校正指令调整所述第二音频时间戳的原理和过程类似,区别在于音视频同步控制设备10拨号生成第二双音频信号码后,直接内部转换为第二校正指令,可不通过网络30转发。
请参考图2,本发明一实施例的一种音视频同步控制方法,包括:
步骤S100:音视频同步控制设备10生成第一音频数据并发送给其他设备20以使其他设备20播放第一音频,所述第一音频数据包括第一音频时间戳,所述第一音频时间戳控制所述第一音频在其他设备20上的播放时间。
步骤S200:生成第一视频数据并发送给其他设备20以使其他设备20播放第一视频。
在本实施方式中的视频会议系统中,音视频同步控制设备10收集会议一方参会者的即时影象和声音以生成第一视频数据和第一音频数据,然后将所述第一视频数据和第一音频数据传送给会议另一方的其他设备20。
在其他实施方式中,第一视频数据和第一音频数据也可以是音视频同步控制设备10中存储的音视频数据。
所述音视频同步控制设备10通过网络30与其他设备20连接,所述第一视频数据和第一音频数据可以通过网络30在音视频同步控制设备10和其他设备20之间传输,其中网络30可以是互联网、局域网或者其他专属网络。在网络30信号传输过程中,由于对第一视频数据和第一音频数据的数据大小和处理过程不同,因此第一音频数据和第一视频数据是分开处理和传输的。
一般情况下,视频数据大小要大于音频数据,视频数据的传输要较音频数据费时,视频数据处理的复杂度要大于音频数据,因此此时在其他设备20的显示和播放中,视频将滞后于音频。
在音视频同步控制设备10中,首先选择一个在时间线性递增的参考时钟,然后在生成第一视频数据和第一音频数据时依据参考时钟上的时间给每个数据块都加上时间戳,时间戳包括开始时间和结束时间。此时第一视频数据包括第一视频时间戳,第一音频数据中包括第一音频时间戳。
其他设备20解析第一视频数据和第一音频数据以播放第一视频和第一音频时,会读取第一视频数据中的第一视频时间戳,第一音频数据中的第一音频时间戳,并依据当前参考时钟上的时间来播放第一视频和第一音频。
步骤S300:判断所述第一视频和第一音频播放是否同步。
在本实施方式中,判断所述第一视频和第一音频播放是否同步由会议另一方的参会者判断,当发现第一视频滞后于第一音频,其他设备20中会议一方参会者的嘴唇动作和发出的时间错开一段时间,即出现未闻其人,先见其声的现象时,则确定第一视频和第一音频没有同步播放。如果判断第一视频和第一音频没有同步播放则进入步骤S400,如果判断第一视频和第一音频为同步播放则不进行任何操作,或者其他设备20中会议一方参会者的认为不同步程度没有严重到影响会议进行的程度也可以不任何进行操作。
在其他实施方式中,判断所述第一视频和第一音频播放是否同步也可以通过其他设备20进行机器智能识别,以适应对音视频同步要求较高的情况,例如其他设备20需要通过音视频同步控制设备10观看录像,其他设备20播放和显示的是音视频同步控制设备10中存储的音视频资料。
其中,所述信号通过网络30回送,在本实施方式中,其他设备20向音视频同步控制设备10发送信号由会议另一方的参会者手动按键触发。但触发方式不限于按键,也可以是遥控、触摸操作、手势识别等形式。
在其他实施方式中,其他设备20向音视频同步控制设备10发送信号也可以由其他设备20在满足触发条件时自动发送。
在述第一视频和第一音频播放不同步时,进入步骤S400。
步骤S400:音视频同步控制设备10接收其他设备20发送的信号以调整所述第一音频时间戳从而使所述第一音频和第一视频在其他设备20上同步播放。
在本实施方式中,通过在音视频同步控制设备10中调整所述第一音频时间戳以使第一音频时间戳的开始时间大于或小于当前其他设备20参考时钟上的时间,然后所述音视频同步控制设备10将调整过时间戳的的新的第一音频数据通过网络30发送到其他设备20,从而使所述第一音频和第一视频同步播放。如果开始时间大于其他设备20的参考时钟上的当前时间,则不急于播放该数据块,直到其他设备20的参考时钟达到数据块的开始时间。如果开始时间小于其他设备20参考时钟上参考时钟上的当前时间,则“尽快”播放这块数据或者索性将这块数据“丢弃”,以使播放进度追上参考时钟。在另一实施方式中,也可以通过相同的原理调整所述第一视频时间戳以使所述第一音频和第一视频同步播放。
请参考图3,并请检查文中其他的图的描述,本发明一实施方式的音视频同步控制方法还包括:
S500:音视频同步控制设备10接收并播放其他设备20发送的第二音频数据以播放第二音频,其中所述第二音频数据中包括第二音频时间戳,所述第二音频时间戳控制所述第二音频在扬声器中的播放时间。
S600:音视频同步控制设备10接收其他设备20发送的第二视频数据以播放第二视频。
S700:判断所述第二视频和第二音频播放是否同步。
其中,其他设备20生成第二视频数据和第二音频数据并将所述第二视频数据和第二音频数据分别发送至所述音视频同步控制设备10然后所述音视频同步控制设备10解析所述第二视频数据和第二音频数据以播放所述第二视频和所述第二音频的具体流程与步骤S100和步骤S200中音视频同步控制设备10生成第一视频数据和第一音频数据并将所述第一视频数据和第一音频数据分别发送至所述其他设备20然后所述其他设备20解析所述第一视频数据和第一音频数据以播放所述第一视频和所述第一音频的具体流程相同。在判断第二视频和第二音频是否同步的判断条件和判断方法和步骤S300中判断第一视频和第一音频是否同步相同。在此不重复描述。
在判断第二视频和第二音频不同步时,进入步骤S800:
S800:音视频同步控制设备10调整所述第二音频时间戳以使所述第二音频和第二视频同步播放。
在本实施方式中,通过在音视频同步控制设备10中直接调整所述第二音频时间戳以使第二音频时间戳的开始时间大于或小于当前音视频同步控制设备10参考时钟上的时间,从而使所述第二音频和第二视频同步播放。如果开始时间大于音视频同步控制设备10参考时钟上的当前时间,则不急于播放该数据块,直到音视频同步控制设备10上的参考时钟达到数据块的开始时间。如果开始时间小于音视频同步控制设备10上的参考时钟上参考时钟上的当前时间,则“尽快”播放这块数据或者索性将这块数据“丢弃”,以使播放进度追上参考时钟。在另一实施方式中,也可以通过相同的原理调整所述第二视频时间戳以使所述第二音频和第二视频同步播放。
其中,步骤S100、步骤S200、步骤S300、步骤S400以及步骤S500与步骤S600、步骤S700以及步骤S800之间没有先后顺序。步骤S600、步骤S700以及步骤S800可以在步骤S100、步骤S200、步骤S300、步骤S400以及步骤S500全部完成之后执行,步骤S600、步骤S700以及步骤S800可以在步骤S100、步骤S200、步骤S300、步骤S400以及步骤S500完成之前就执行,或者步骤S100、步骤S200、步骤S300、步骤S400以及步骤S500与步骤S600、步骤S700以及步骤S800同时执行。
请参考图4,在本发明的一具体实施方式中,所述信号为第一双音频信号码,步骤S400:音视频同步控制设备10接收其他设备20发送的信号以调整所述第一音频时间戳从而使所述第一音频和第一视频在其他设备20上同步播放具体包括:
S410:音视频同步控制设备10接收其他设备20发送的发送的第一双音频信号码;;
S420:音视频同步控制设备10将所述第一双音频信号码转换为第一校正指令;
S430:所述音视频同步控制设备10根据所述第一校正指令调整所述第一音频时间戳。
请参考图5,步骤S800:音视频同步控制设备10调整所述第二音频时间戳以使所述第二音频和第二视频同步播放具体包括:
S810:音视频同步控制设备10生成第二双音频信号码;
S820:音视频同步控制设备10将所述第二双音频信号码转换为第二校正指令;
S830:音视频同步控制设备10根据所述第二校正指令调整所述第二音频时间戳。
其中,步骤S430:所述音视频同步控制设备10根据所述第一校正指令调整所述第一音频时间戳具体包括:
在所述第一双音多频信号码为第一值时调前所述第一音频时间戳;
在所述第一双音多频信号码为第二值时调后所述第一音频时间戳;其中,步骤S830:音视频同步控制设备10根据所述第二校正指令调整所述第二音频时间戳具体包括:
在所述第二双音多频信号码为第一值时调前所述第二音频时间戳;
在所述第二双音多频信号码为第二值时调后所述第二音频时间戳。
在本实施方式中,其他设备20和音视频同步控制设备10均设有电话机,其他设备20先由会议另一方的参会者手动按其他设备20电话机的拨号盘生成第一双音频信号码然后将第一双音频信号码向音视频同步控制设备10发送,音视频同步控制设备10生成第二双音频信号码由会议一方的参会者手动按音视频同步控制设备10电话机的拨号盘生成。举例而言,当其他设备20被参会者拨号4时,其他设备20生成第一值为4的第一双音频信号码并通过网络30发送给音视频同步控制设备10,音视频同步控制设备10在所述第一双音频信号码为4时转换为第一校正指令以使音视频同步控制设备10调前第一音频时间戳,当其他设备20被参会者拨号6时,其他设备20生成第二值为6的第一双音频信号码并发送给音视频同步控制设备10,音视频同步控制设备10在所述第一双音频信号码为6时转换为对应的第一校正指令以使音视频同步控制设备10调后第一音频时间戳。音视频同步控制设备10生成第二双音频信号码并所述第二双音频信号码转换为第二校正指令以使所述音视频同步控制设备10根据所述第二校正指令调整所述第二音频时间戳的原理和过程类似,区别在于音视频同步控制设备10拨号生成第二双音频信号码后,直接内部转换为第二校正指令,可不通过网络30转发。
本发明实施方式中的提供一种音视频同步控制设备10和音视频同步控制方法通过在音频数据中添加时间戳,在音视频不同步时向音视频同步控制设备10发送信号,音视频同步控制设备10对音频数据时间戳进行调整以使音频和视频同步播放。本发明实施方式中的音视频同步控制设备10能兼容其他型号的设备,对视频会议系统中的不同型号设备统一进行音视频同步控制,在系统中要联机音视频同步控制设备10,就可以进行统一的音视频同步控制。
本技术领域的普通技术人员应当认识到,以上的实施方式仅是用来说明本发明,而并非用作为对本发明的限定,只要在本发明的实质精神范围之内,对以上实施方式所作的适当改变和变化都落在本发明要求保护的范围之内。