发明内容
本发明是提供一种视频处理方法、音频处理方法、视频处理装置、音频处理装置、多点控制单元和视频会议系统,解决支持不同音视频会场的混合组网问题。
本发明实施例提供了一种视频处理方法,包括:
获取第一会议终端发送的N路视频流;
确定与所述第一会议终端进行交互的第二会议终端,所述第二会议终端支持与N不同的L路视频流;
若N大于L,分时地在所述N路视频流中选择L路视频流,得到分时的若干个L路视频流;
将所述若干个L路视频流分时传输给所述第二会议终端。
本发明实施例提供了一种视频处理方法,包括:
获取第一会议终端发送的N路视频流;
确定与所述第一会议终端进行交互的第二会议终端,所述第二会议终端支持与N不同的L路视频流;
若N小于L,将多个所述N路视频流中携带的视频信息合并为L路视频信息,将所述L路视频信息分别携带在L路视频流中;
将所述L路视频流传输给所述第二会议终端。
本发明实施例提供了一种视频处理方法,包括:
获取第一会议终端发送的N路视频流;
确定与所述第一会议终端进行交互的第二会议终端,所述第二会议终端支持与N不同的L路视频流;
若N大于L,将N路视频流中携带的N路视频信息中的(L-1)路视频信息保持不变,将N-(L-1)路的视频信息合成为一路视频信息,得到L路视频信息;
将所述L路视频信息分别携带在L路视频流中,传输给所述第二会议终端。
本发明实施例提供了一种视频处理装置,包括:
视频获取模块,用于获取第一会议终端发送的N路视频流;
确定模块,用于确定与所述第一会议终端进行交互的第二会议终端,所述第二会议终端支持与N不同的L路视频流;
处理模块,用于当N大于L时,分时地在所述N路视频流中选择L路视频流,得到分时的若干个L路视频流;
传输模块,用于将所述若干个L路视频流分时传输给所述第二会议终端。
本发明实施例提供了一种视频处理装置,包括:
视频获取模块,用于获取第一会议终端发送的N路视频流;
确定模块,用于确定与所述第一会议终端进行交互的第二会议终端,所述第二会议终端支持与N不同的L路视频流;
处理模块,用于当N小于L时,将多个所述N路视频流中携带的视频信息合并为L路视频信息,将所述L路视频信息分别携带在L路视频流中;
传输模块,用于将所述L路视频流传输给所述第二会议终端。
本发明实施例提供了一种视频处理装置,包括:
视频获取模块,用于获取第一会议终端发送的N路视频流;
确定模块,用于确定与所述第一会议终端进行交互的第二会议终端,所述第二会议终端支持与N不同的L路视频流;
处理模块,用于当N大于L且所述N路视频流的个数为一个时,将一个N路视频流中的N路视频信息中的(L-1)路视频信息保持不变,将N-(L-1)路的视频信息合成为一路视频信息,得到L路视频信息;
传输模块,用于将所述L路视频信息分别携带在L路视频流传输给所述第二会议终端。
本发明实施例提供了一种多点控制单元,包括:
第一接入模块,用于接入第一会议终端,与所述第一会议终端传输第一媒体流,所述第一媒体流包括N路视频流和N路音频流;
第二接入模块,用于接入第二会议终端,与所述第二会议终端传输第二媒体流,所述第二媒体流包括L路视频流和L路音频流,L与N不相同;
媒体交换模块,用于将第一媒体流中的信息传输给第二会议终端,将第二媒体流中的信息传输给第一会议终端;
若N大于L,所述媒体交换模块还用于分时地在所述N路视频流中选择L路视频流,得到分时的若干个L路视频流,并将所述若干个L路视频流分时传输给所述第二会议终端;
该多点控制单元还包括:
音频码流选择/合成模块,与第一接入模块和第二接入模块相连,用于根据音量在N路音频流中选择一路音频流,得到一路的第一音频流,根据音量在L路音频流中选择一路音频流,得到一路的第二音频流;
混音模块,用于第一音频流和第二音频流进行混音处理,并将混音处理后的音频流通过媒体交换模块发送给第一会议终端和第二会议终端。
本发明实施例提供了一种多点控制单元,包括:
第一接入模块,用于接入第一会议终端,与所述第一会议终端传输第一媒体流,所述第一媒体流包括N路视频流和N路音频流;
第二接入模块,用于接入第二会议终端,与所述第二会议终端传输第二媒体流,所述第二媒体流包括L路视频流和L路音频流,L与N不相同;
媒体交换模块,用于将第一媒体流中的信息传输给第二会议终端,将第二媒体流中的信息传输给第一会议终端;
视频合成模块,与第一接入模块相连,用于当N大于L时,将N路视频流合成为L路视频流,通过所述媒体交换模块转发给第二会议终端;
音频码流选择/合成模块,与第一接入模块和/或第二接入模块相连,用于当N大于1时,根据音量在N路音频流中选择一路音频流,得到一路的第一音频流,当L大于1时,根据音量在L路音频流中选择一路音频流,得到一路的第二音频流;
混音模块,用于对音频码流选择/合成模块得到的一路的第一音频流或者第一接入模块接入的一路音频流,及音频码流选择/合成模块得到的一路的第二音频流或者第二接入模块接入的一路音频流,进行混音处理,并将混音处理后的音频流通过媒体交换模块发送给第一会议终端和第二会议终端。
本发明实施例提供了一种视频会议系统,包括:
至少两个会议终端,所述会议终端至少支持两种媒体流路数;
上述权利要求所述的多点控制单元。
由上述技术方案可知,本发明实施例通过对接入的音视频流进行处理,使处理后的音视频路数与接收会场的路数相同,实现各个不同路数会场之间的互通,即实现远程呈现会场、单流会场、双流会场之间的互通融合,使这些不同路数的会场可以混合组网,降低整网建设成本。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的视频会议系统的结构示意图,包括第一会议终端、与第一会议路数不同的第二会议终端和用于进行第一会议终端与第二会议终端媒体流交互的多点控制单元(Multipoint Control Unit,MCU)13。第一会议终端和第二会议终端至少为一个,其中,图1所示的第一会议终端为 路数为三路的第一远程呈现会场111、第二远程呈现会场112,传输的分别为A、B、C及D、E、F三路媒体流;第二会议终端为第一单流会场121、第二单流会场122、第三单流会场123,分别传输的为G、H、I一路媒体流;MCU13负责各个会场(包括单流会场、双流会场、多流会场)之间的核心交换、混音、分屏处理等。第一远程呈现会场111、第二远程呈现会场112与第一单流会场121、第二单流会场122、第三单流会场123通过E1或IP或ISDN等传输网络接入MCU13,媒体流(包括视频流和音频流)在MCU13上汇聚,MCU13对各个会场接入的媒体流统一进行控制、交换,以实现各个会场之间的媒体流交换。
参见图1,第二远程呈现会场112可以接收到第一单流会场121、第二单流会场122、第三单流会场123的媒体信息(G、H、I),第一单流会场121可以接收到第二远程呈现会场112的媒体信息(D、E、F),因此,实现了远程呈现会场和单流会场之间的交互,解决了现有技术中不同路数会场之间不能融合的问题。同时,同现有技术一样,远程呈现会场之间、单流会场之间也可以交互,例如,第一远程呈现会场111可以接收到第二远程呈现会场112的媒体信息,第二单流会场122、第三单流会场123分别接收到第一单流会场111、第二单流会场112的媒体信息,因此,可以同现有技术兼容。
本实施例还可以进一步包括业务管理台14,业务管理台14用于对系统的各种参数进行预定义,之后将预定义的各参数传输给MCU13,使MCU13根据预定义的各参数进行统一控制管理。具体的MCU的结构及实现方式可以参见下述的实施例。
本实施例中,MCU进行不同媒体流路数的会场之间的交互,可以实现不同路数会场之间的混合组网,可以根据网络中各用户的情况配置相应的远程呈现会场终端、单流会场终端、双流会场终端,而不必整网配置性能较高的设备,因此,可以降低整网的建设成本,避免之前使用的设备的资源浪费。
图2为本发明实施例一提供的视频处理方法的流程示意图,包括:
步骤21:MCU获取第一会议终端发送的N路视频流。例如,MCU接收远程呈现会场的三路视频流。
步骤22:MCU确定与所述第一会议终端进行交互的第二会议终端,所述第二会议终端支持L路视频流,L与N不同。例如,第二会议终端为单流会场,支持一路视频流。
步骤23:MCU将所述N路视频流中携带的N路视频信息,携带在L路视频流中。例如,参照图1,第一单流会场121支持的视频流为一路,与MCU接入的第二远程呈现会场112支持的三路视频流的路数不相同,因此,MCU需要对三路视频流进行处理,使三路视频流中的信息携带在一路视频流中,如该一路视频流中包括信息D、E、F)。相比于现有会议电视系统中要求各会场支持的路数相同,本实施例可以支持各不同路数的会场之间的互通;相比于现有双流会场只将主视频流传输给单流会场造成的信息丢失问题,本实施例在处理后得到的第二媒体流中保留了原有的第一媒体流中全部信息,避免信息丢失的问题。上述将远程呈现会场的三路视频信息进行合成,还可以将三路视频信息分时地以一路视频流的方式发送给单流会场,具体的可参见下述实施例。
步骤24:MCU将所述L路视频流传输给所述第二会议终端。例如,将携带三流视频信息的一路视频流发送给单流会场。
本实施例通过对来自各会场的视频流进行处理,使接入的视频流与输出的视频流的路数不相同,实现各不同路数的会场之间的融合;并且实现输出的视频流保留输入视频流的全部信息,避免信息丢失。
图3为本发明实施例二提供的多点控制单元的结构示意图,本实施例是针对视频的MCU的结构示意图,包括第一接入模块31、第二接入模块32、视频合成模块33和媒体交换模块34。第一接入模块31与第一会议终端连接,用于接入第一会议终端的N路视频流,例如,接入图1中的远程呈现会场的三路视频流;第二接入模块32与第二会议终端连接,用于接入第二会议终端 的与N不同的L路视频流,例如,接入图1中的单流会场的一路视频流;视频合成模块33与第一接入模块31相连,用于将N路视频流合成为L路视频流,例如,将图1的远程呈现会场的三路视频流合成一路视频流;媒体交换模块34与视频合成模块33相连,用于将N路视频流合成得到的L路视频流转发给第二会议终端,例如,将图1的三路视频流合成为一路视频流后发送给单流会场。同时,视频合成模块33还可以用于将接入的未合成的N路视频流直接转发给媒体交换模块34,再传输给相应的支持多路的会场,例如,图1的第二远程呈现会场112将多路视频流通过媒体交换模块34直接转发给第一远程呈现会场111。
其中,视频合成模块具体用于将若干个N路视频信息合成为L路视频信息,如将L个N路视频信息合成为L路视频信息,每个N路视频信息合成为一路视频信息;或者所述视频合成模块具体用于将一个N路视频信息合成为L路视频信息,如将一个N路视频信息中的(L-1)路视频信息保持不变,将N-(L-1)路的视频信息合成为一路视频信息。本实施例还可以进一步包括协议转换/速率适配模块35,协议转换/速率适配模块35分别位于视频合成模块与媒体交换模块之间,及位于第二接入模块与媒体交换模块之间,用于对不同的协议和速率进行转换和适配,即把源视频流格式转换为目的视频格式,或把源视频带宽转换为目的视频带宽。如果会场之间的协议或速率不需要转换和适配,就不需要经过此模块。进一步的,本实施例还可以包括会议控制模块,会议控制模块与MCU内部的各模块连接,用于根据业务管理台14输入的各种参数,管理、控制MCU内部包括接入模块、视频合成模块、协议转换/速率适配模块、媒体交换模块共同动作,实现用户对会议的管理,例如,控制接入模块将接入的视频流送入协议转换/速率适配模块,还是直接送入视频合成模块;控制视频合成模块是进行视频流合成还是直接进行视频流转发;控制媒体交换模块将处理后的视频流送入哪个会场;并且还可以控制这些模块统一工作等。
本实施例通过视频合成模块实现多路视频流的合成,达到路数少会场可以支持的路数,因此可以实现将路数多会场的视频信息传输给路数少会场,而无需将支持较少路数的会场升级成支持较多路数的会场,节省设备成本。
图4为本发明实施例二提供的视频处理方法的实施例一的流程示意图。本实施例以远程呈现会场为输入侧,单流会场及远程呈现会场为输出侧的情形为例,第一接入模块接入的为远程呈现会场输入的多路视频流。该实施例包括:
步骤41:通过标准协议(H.323或SIP或H.320)的呼叫、能力协商过程,远程呈现会场与MCU中的第一接入模块建立媒体通道,MCU中的第一接入模块获取远程呈现会场的多路视频流。
步骤42:第一接入模块将多路视频流发送给视频合成模块。视频合成模块对接收到的多路视频流进行图像解码,解码出来的原始图像进行缩放、组合成一幅新的图像,然后对该新的图像进行编码,根据会议控制模块的控制获知需要传输给单流会场,因此视频合成模块将编码得到一路视频流,并将编码后的图像一路视频流发送给媒体交换模块。同时,因为远程呈现会场之间交换的是多路视频流,所以,视频合成模块除了可以将合成后的一路视频流发送给媒体交换模块之外,还可以将接入模块接入的多路视频流直接转发给媒体交换模块,用于在远程呈现会场之间进行交换。具体的是要合成还是直接转发可以由会议控制模块进行控制。
步骤43:视频合成模块将合成后的视频流发送给媒体交换模块。媒体交换模块根据会议控制模块的指令,将视频流在各个会场之间进行转发。
步骤44:视频合成模块将多路视频流直接转发给媒体交换模块。
步骤45:媒体交换模块将合成后的视频流发送给单流会场。通过视频合成模块的处理,将多路视频流合成一路视频流,并且,经过媒体交换模块的转发,单流会场便可以收看到远程呈现会场的多路信息。参见图1,经过路数合成,第一单流会场121可以收看到第二远程呈现会场112的包括三路视 频信息(D、E|、F)的视频图像。
步骤46:媒体交换模块将多路视频流发送给远程呈现会场。参照图1,将第二远程呈现会场112的信息传输给第一远程呈现会场111。
本实施例以多路转换成一路为例,应用该码流合成原理可以实现任意的N流会场与L流会场之间的混和组网,假设N>L。具体的做法可以包括下述两种方式:
方式一:将若干个N路视频信息合成为L路视频信息,即对若干个N流会场进行分别合成,得到L路视频流。具体可以为将N流会场的N路视频码流组合成包括N个画面的一路视频流,再把该一路视频流发送给L流会场的一个视频通道中,L流会场的其余L-1个视频通道可以用于接收其他会场的视频流信息。例如,对两个三流会场进行处理,将每个三流会场的三路视频流合成为一路视频流,最终形成两路视频流,之后可以发送给双流会场。因此,通过该方式可以使L流会场接收到L个会场的组合画面。
方式二:将一个N路视频信息合成为L路视频信息,即对一个N流会场进行合成得到L路视频流。具体可以为将N流会场中的L-1路视频流分别发送给L流会场的L-1个视频通道中,N流会场的其余的N-(L-1)路的视频流组合成包括N-(L-1)个画面的一路视频流,将该包括多画面的一路视频流发送给L流会场的剩下的一个视频通道中。例如,将一个三流会场的一路保持不变,另两路合成为一路,最终形成两路视频流,之后可以发送给双流会场。因此,通过该方式可以保证L流会场尽可能看到最多的大画面。
本实施例通过将路数多会场的视频流进行合成,解决了路数少会场收看路数多会场的视频互通问题。
图5为本发明实施例二提供的视频处理方法的实施例二的流程示意图,本实施例是以单流会场为输入侧,远程呈现会场为输出侧的情形为例,包括:
步骤51-53:单流会场将单路视频流分别通过第二接入模块发送给媒体交换模块。例如,参照图1,第一单流会场121、第二单流会场122、第三单流 会场123分别将各自的一路视频流(分别为G、H、I)发送给媒体交换中心。
步骤54:媒体交换模块将多个单流会场的单路视频流合并成多路视频流。例如,将上述的三个单路视频流合并成三路视频流。
步骤55:媒体交换模块将多路视频流转发给远程呈现会场。例如,参照图1,将三路视频流(G、H、I)发送给第二远程呈现会场112。
本实施例以一路转换成三路为例,应用该会场合成原理可以实现任意的L流会场与N流会场之间的混和组网,假设N>L。具体的做法可以为:在若干个L流会场中任意选择共N路的视频码流发送给N流会场。例如,将2个双流会场的视频流合并成4路视频流后,输出给一个路数为四的远程呈现会场。
本实施例通过将若干个路数少会场的视频码流进行合成,解决了路数多会场收看路数少会场的视频互通问题。
图6为本发明实施例三提供的多点控制单元的结构示意图,本实施例是针对视频的MCU的结构示意图,包括第一接入模块61、第二接入模块62和媒体交换模块63。第一接入模块61用于接入第一会议终端的N路视频流,例如,接入远程呈现会场的视频流。第二接入模块62用于接入第二会议终端的与N不同的L路视频流,例如,接入单流会场的视频流。
以N大于L为例,第一会议终端为输入侧,第二会议终端为输出侧的情况下,与实施例二提供的MCU不同的是,本实施例中不包括视频合成单元,本实施例中的媒体交换模块63根据预设的条件或者视频流的条件分时地在N路视频流中选择L路视频流,得到分时的若干个L路视频流;之后,将该若干个L路视频流分时传输给第二会议终端。如设置第一时刻选择图1中的第二远程呈现会场112的包含D信息的这一路(如可以根据视频流的源地址确定是否为需要选择的视频流),第二时刻选择包含E信息的这一路,第三时刻选择包含F信息的这一路,之后分别传输给图1中的第一单流会场121,这样第一单流会场121便会分时地看到第二远程呈现会场112的全部内容。 其中,某一时刻在N路视频流中选择L路视频流具体可以为:
方式一:根据预设的控制规则,如用户可以将自身需要的视频流的信息设置为相应的控制规则,在N路视频流中选择L路视频流。方式二:根据预设的优先级,在N路视频流中按照优先级从高到低排列选择L路传输给L流会场。
方式三:MCU通过分析接入的N路视频流对应的音频流,按照音频流的音量从高到低排列选择L路音频流对应的视频流传输给L流会场。
方式四:N流会场在视频流中携带一个表明优先级高低的标志,MCU根据优先级从高到低排列选择L路视频流传输给L流会场。
本实施例还可以进一步包括协议转换/速率适配模块64和会议控制模块。这两个模块的作用于实施例二相同,如,协议转换/速率适配模块64用于协议及速率之间的转换和适配,会议控制模块对各模块进行控制。
图7为本发明实施例四提供的多点控制单元的结构示意图,本实施例是针对音频的MCU的结构示意图,包括第一接入模块71、第二接入模块72、音频码流选择/合成模块73、媒体交换模块74和混音模块75。第一接入模块71用于接入N路音频流。第二接入模块72用于接入与N不同的L路音频流。音频码流选择/合成模块73与接入非单路音频流的接入模块对应连接,例如,N不为1,L为1,则音频码流选择/合成模块与第一接入模块连接;若N及L均不为1,则存在两个音频码流选择/合成模块,分别与第一接入模块和第二接入模块连接。音频码流选择/合成模块用于对第一接入模块或/和第二接入模块接入的多路音频流进行选择或者合成,即可以根据各音频流的音量选择一路音量最大的音频流,或者将至少两路的音频流合成为一路音频流。混音模块75用于对各个会场的音频流进行集中混音,集中混音的输入方为远程呈现会场的选择或合成的一路音频码流,及单流会场的直接的一路音频码流。混音可以具体为将各个会场的音频码流进行解码,然后根据音量大小,选择其中几路会场的语音进行数字合成,合成后的语音数据重新进行编码,编码后 的码流经过媒体交换模块发送给各个会场。其中,编码可以根据不同会场的具体协议或速率等分别编码,以满足不同会场的协议或速率等要求。媒体交换模块74对各会场集中混音后的音频流进行交换。
本实施例还可以进一步包括会议控制模块,与上述各个模块(第一接入模块、第二接入模块、混音模块、媒体交换模块)连接,对各个模块进行控制。
本实施例中,混音模块用于对各会场的音频流进行混音处理,可以使各会场听到其它会场的声音,实现不同会场之间的音频互通。
图8为本发明实施例四提供的音频处理方法的流程示意图,包括:
步骤81:远程呈现会场通过呼叫、能力协商过程建立与第一接入模块之间的媒体通道。
步骤82:第一接入模块将远程呈现会场的多路音频流发送给音频码流选择/合成模块。音频码流选择/合成模块根据会议控制模块的指定选择某一路音频流或自动根据音频流的音量选择一路音频流,或者,音频码流选择/合成模块将多路音频流合成为一路包括多路语音信息的音频码流。可以根据需要设定是选择出一路还是组合成一路。
步骤83:音频码流选择/合成模块将选择或合成后的音频流发送给媒体交换模块。
步骤84:媒体交换模块将合成后的音频流发送给混音模块。
步骤85:混音模块将混音后的音频流通过第二接入模块发送给单流会场,及通过第一接入模块发送给远程呈现会场。
本实施例将各个会场的音频流集中到混音模块进行混音,再通过媒体交换模块分发给各个会场,使各个会场都能够听到会议的声音,实现会场的音频互通。同时,混音模块在混音处理时根据不同音频协议进行编码,可以实现不同音频协议的会场之间的音频互通。
上述实施例针对视频和音频分别对MCU进行了描述,其中图3、图6是 针对视频的,图7是针对音频的。由于MCU需要对视频和音频都进行处理,因此MCU可以结合图3及图7,或者结合图6及图7。即MCU包括第一接入模块、第二接入模块和媒体交换模块;第一接入模块用于接入第一会议终端,与所述第一会议终端传输第一媒体流,所述第一媒体流包括N路视频流和N路音频流;第二接入模块用于接入第二会议终端,与所述第二会议终端传输第二媒体流,所述第二媒体流包括L路视频流和L路音频流,L与N不相同;媒体交换模块用于将第一媒体流中的信息传输给第二会议终端,将第二媒体流中的信息传输给第一会议终端。
更为具体的,以N大于L为例,MCU包括上述的第一接入模块、第二接入模块和媒体交换模块,还包括视频合成模块、音频码流选择/合成模块和混音模块。视频合成模块与第一接入模块相连,用于将N路视频流合成为L路视频流,通过所述媒体交换模块转发给第二会议终端;所述媒体交换模块还用于将多个所述L路视频流合并为N路视频流,转发给第二会议终端;音频码流选择/合成模块,与第一接入模块和/或第二接入模块相连,用于当N大于1时,将N路音频流合成为一路音频流或者根据音量在N路音频流中选择一路音频流,得到一路的第一音频流,当L大于1时,将L路音频流合成为一路音频流或者根据音量在L路音频流中选择一路音频流,得到一路的第二音频流;混音模块,用于对音频码流选择/合成模块得到的一路的第一音频流或者第一接入模块接入的一路音频流,及音频码流选择/合成模块得到的一路的第二音频流或者第二接入模块接入的一路音频流,进行混音处理,并将混音处理后的音频流通过媒体交换模块发送给第一会议终端和第二会议终端。其中,视频合成模块具体用于将若干个N路视频信息合成为L路视频信息,如将L个N路视频信息合成为L路视频信息,每个N路视频信息合成为一路视频信息;或者所述视频合成模块具体用于将一个N路视频信息合成为L路视频信息,如将一个N路视频信息中的(L-1)路视频信息保持不变,将N-(L-1)路的视频信息合成为一路视频信息。
或者,MCU包括上述的第一接入模块、第二接入模块和媒体交换模块,还包括音频码流选择/合成模块和混音模块;所述媒体交换模块还用于分时地在所述N路视频流中选择L路视频流,得到分时的若干个L路视频流,并将所述若干个L路视频流分时传输给所述第二会议终端;音频码流选择/合成模块,与第一接入模块和/或第二接入模块相连,用于当N大于1时,将N路音频流合成为一路音频流或者根据音量在N路音频流中选择一路音频流,得到一路的第一音频流,当L大于1时,将L路音频流合成为一路音频流或者根据音量在L路音频流中选择一路音频流,得到一路的第二音频流;混音模块,用于对音频码流选择/合成模块得到的一路的第一音频流或者第一接入模块接入的一路音频流,及音频码流选择/合成模块得到的一路的第二音频流或者第二接入模块接入的一路音频流,进行混音处理,并将混音处理后的音频流通过媒体交换模块发送给第一会议终端和第二会议终端。其中,媒体交换模块用于根据预设的控制规则,在所述N路视频流中选择预设的控制规则指定的L路视频流;或者媒体交换模块用于根据预设的优先级,在所述N路视频流中选择L路视频流;或者媒体交换模块用于根据与各视频流对应的音频流,按照音频流的音量大小选择L路视频流;或者媒体交换模块用于根据各视频流中携带的优先级,选择L路视频流。
或者,MCU进一步包括协议转换/速率适配模块,协议转换/速率适配模块与第一接入模块和第二接入模块相连,用于对N路视频流和L路视频流进行协议转换或速率适配处理。
图9为本发明视频处理装置实施例的结构示意图,包括视频获取模块91、确定模块92、处理模块93和传输模块94。视频获取模块91用于获取第一会议终端发送的N路视频流;确定模块91用于确定与视频获取模块91接入的第一会议终端进行交互的第二会议终端,所述第二会议终端支持与N不同的L路视频流;处理模块93用于将视频获取模块91获取的所述N路视频流中携带的N路视频信息,携带在确定模块91确定的第二会议终端支持的L路 视频流中;传输模块94用于将处理模块93得到的所述L路视频流传输给所述第二会议终端。
其中,若N大于L,所述处理模块具体用于将所述N路视频信息合成为L路视频信息,将所述L路视频信息分别携带在L路视频流中。
若N小于L,所述处理模块具体用于将多个所述N路视频信息合并为L路信息,将所述L路视频信息分别携带在L路视频流中。
若N大于L,所述处理模块还可以具体用于分时地在所述N路视频流中选择L路视频流,得到分时的若干个L路视频流;所述传输模块具体用于将所述L路视频流传输给所述第二会议终端包括:将所述若干个L路视频流分时传输给所述第二会议终端。
本实施例还可以进一步包括协议转换/速率适配模块,该协议转换/速率适配模块用于对所述N路视频流和L路视频流进行协议转换或/和速率适配。
本实施例对视频流进行合成或合并或选择处理,可以实现不同路数的会议终端之间的视频互通。
图10为本发明音频处理装置实施例的结构示意图,包括音频获取模块101、混音模块102和发送模块103。音频获取模块101用于获取各会议终端的音频流,所述会议终端至少包括一个远程呈现会场的终端;混音模块102用于对音频获取模块101获取各会议终端的音频流进行混音处理;发送模块103用于将混音模块102混音后的音频流发送给各会议终端。
本实施例还可以进一步包括音频合成/选择模块,与音频获取模块连接,用于分别将各会议终端的音频流合成为一路音频流或者根据音量选择一路音频流,并将合成的或者选择的一路音频流分别发送给所述混音模块。
本实施例通过混音处理,实现不同路数的会场之间的音频互通。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述 的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施例仅用以说明本发明的技术方案而非对其进行限制,尽管参照较佳实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对本发明的技术方案进行修改或者等同替换,而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。