CN113301292A - 音视频会议mcu级联方法、系统、设备及存储介质 - Google Patents

Abstract

本发明公开了一种音视频会议MCU级联方法、系统、设备及存储介质，所述方法应用于主MCU，包括：接收并验证从MCU、多个第一终端发送的注册请求；其中，所述从MCU的注册请求中包括多个通过验证的第二终端的IP地址及密码；当验证通过时，接收通过验证的第一终端发送的第一音视频，及所述从MCU发送的第二音视频；将所述第一音视频和所述第二音视频进行合成，得到第三音视频；将所述第三音视频发送至所述从MCU及所述通过验证的第一终端。本发明提供的音视频会议MCU级联方法，实现了多个音视频MCU的级联，并支持多路音视频扩展，具有较强的可实施性。

Description

音视频会议MCU级联方法、系统、设备及存储介质

技术领域

本发明涉及视频会议技术领域，具体涉及一种音视频会议MCU级联方法、系统、设备及存储介质。

背景技术

视频会议系统是支持声音、视频远程双向传送的通信系统，视频会议系统一般由终端、多点控制单元、呼叫控制器以及网关等实体或设备组成。当召开多点会议时，参与多方会议通信的终端主要和MCU服务器建立多对一连接，通过MCU交换音频、视频信号。其中，级联会议指的是将两个及两个以上在不同MCU召开的会议通过某种技术手段融合起来，使得参加一个会议的用户与参加另一个会议的用户之间能够互相观看对应的音频、视频信号内容。然而，现有的级联会议主要是多个终端注册在一个MCU服务器上，从而进行会议召集，但这种方式下服务器支持的音视频线路很难进行扩展，局限性强。

发明内容

本发明的目的在于提供一种音视频会议MCU级联方法、系统、设备及存储介质，以解决现有级联方式中存在的音视频线路很难进行扩展，局限性强的问题。

为了克服上述现有技术中的缺陷，本发明提供了一种音视频会议MCU级联方法，应用于主MCU，所述方法包括：

接收并验证从MCU、多个第一终端发送的注册请求；其中，所述从MCU的注册请求中包括多个通过验证的第二终端的IP地址及密码。

进一步地，所述音视频会议MCU级联方法，还包括：

当验证通过时，接收通过验证的第一终端发送的第一音视频，及所述从MCU发送的第二音视频；

将所述第一音视频和所述第二音视频进行合成，得到第三音视频；

将所述第三音视频发送至所述从MCU及所述通过验证的第一终端。

进一步地，所述将所述第一音视频和所述第二音视频进行合成，得到第三音视频，包括：

将所述第一音视频和所述第二音视频分别解码，经处理得到统一格式的音视频；

将所述统一格式的音视频进行编码，得到第三音视频，所述第三音视频的格式包括H264或H265。

本发明还提供了一种音视频会议MCU级联方法，应用于从MCU，所述方法包括：

接收并验证多个第二终端发送的注册请求，当验证通过时，保存通过验证的第二终端的IP地址及密码；

发送注册请求至主MCU。

进一步地，所述的音视频会议MCU级联方法，还包括：

当验证通过时，接收通过验证的第二终端发送的音视频，经合成后得到第二音视频。

进一步地，所述接收通过验证的第二终端发送的音视频，经合成后得到第二音视频，包括：

将所述第二终端发送的音视频解码，经处理得到统一格式的音视频；

将所述统一格式的音视频进行编码，得到第二音视频，所述第二音视频的格式包括H264或H265。

进一步地，所述第一终端和所述第二终端均为会议终端。

本发明还提供了一种音视频会议MCU级联系统，包括：

多个第一终端及第二终端、主MCU及从MCU；

所述第一终端、所述从MCU分别与所述主MCU连接；

所述第二终端与所述从MCU连接。

本发明还提供了一种设备，包括：

一个或多个处理器；

存储器，与所述处理器耦接，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上任一项所述的音视频会议MCU级联方法。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行实现如上任一项所述的音视频会议MCU级联方法。

相对于现有技术，本发明的有益效果在于：

本发明提供音视频会议MCU级联方法，应用于主MCU，该方法包括接收并验证从MCU、多个第一终端发送的注册请求；其中，所述从MCU的注册请求中包括多个通过验证的第二终端的IP地址及密码；当验证通过时，接收通过验证的第一终端发送的第一音视频，及所述从MCU发送的第二音视频；将所述第一音视频和所述第二音视频进行合成，得到第三音视频；将所述第三音视频发送至所述从MCU及所述通过验证的第一终端。本发明能够实现多个音视频MCU的级联，并支持多路音视频扩展，具有较强的可实施性。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明某一实施例提供的应用于主MCU的音视频会议MCU级联方法流程示意图；

图2是本发明又一实施例提供的应用于主MCU的音视频会议MCU级联方法流程示意图；

图3是本发明某一实施例提供的注册原理框图；

图4是本发明某一实施例提供的应用于从MCU的音视频会议MCU级联方法流程示意图；

图5是本发明又一实施例提供的应用于从MCU的音视频会议MCU级联方法流程示意图；

图6是本发明某一实施例提供的音视频会议MCU级联系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。

应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

第一方面：

请参阅图1，本发明某一实施例提供了一种音视频会议MCU级联方法，应用于主MCU，所述方法包括：

S10、接收并验证从MCU、多个第一终端发送的注册请求；其中，所述从MCU的注册请求中包括多个通过验证的第二终端的IP地址及密码。

需要说明的是，现有技术中，级联会议主要是多个终端注册在一个MCU服务器上，从而进行会议召集，但是这种方式会受限于MCU服务器的性能，从而导致该方法下的服务器支持的音视频线路很难进行扩展，局限性强。因此在本实施例中主要提供一种可以支持扩展的级联方法。

具体地，执行该级联方法时，主要将一个MCU作为主服务器，再将另一个MCU作为从服务器，主MCU主要负责与从MCU以及第一终端进行通讯。首先，多个终端会发送注册请求至主MCU，与此同时，从MCU会以终端的身份注册到主MCU上。然后主MCU对这些请求进行验证，当验证通过时，将通过验证的终端作为第一终端，保存这些终端的IP地址及登录密码，并同时将注册成功的信号发送给从MCU和第一终端。然后主MCU就会接收并处理从MCU及多个第一终端发送的数据，当主MCU处理完这些数据后，会将对应的信息再发送给从MCU及多个第一终端。

进一步地，从MCU的作用可以看作为一种中间媒介，也是实现扩展的关键。其中，从MCU主要用于与区别于第一终端的其他多个终端进行通讯。首先，这些终端会发送注册请求给从MCU，然后从MCU进行验证，当验证通过时，将验证通过的终端作为第二终端，然后从MCU会将注册成功的提示信息发送至第二终端，并保存通过验证的第二终端的IP地址及密码。接着，从MCU就会接收第二终端发送的数据，经过处理后发送给主MCU，当主MCU将处理得到数据发送给从MCU时，从MCU会将这些数据再分发给与之通讯的第二终端，最终实现了第一终端、第二终端的级联。需要说明的是，从MCU的数量可以根据实际所需进行选择，也即根据实际需要扩展的音视频路数进行设置，在此不作任何限定。

请参阅图2，在某一具体的实施方式中，在步骤S10之后还包括：

S20、当验证通过时，接收通过验证的第一终端发送的第一音视频，及所述从MCU发送的第二音视频；

需要说明的是，当从MCU、第一终端发送的注册请求通过验证时，会同时接收第一终端发送的第一音视频，及从MCU发送的第二音视频，其中，第二音视频主要为将第二终端发送的音视频经过合成后得到音视频。

在某一具体的实施方式中，该注册请求的原理图如图3所示。其中，第一终端或从MCU是通过应用程序中终端发送注册接口按照符合主MCU的注册信息发送注册信息给主MCU的应用程序中接受注册信息接口。主MCU再通过应用程序中反馈注册接口发送注册情况信息给第一终端或从MCU的终端接收反馈注册接口。

在某一具体的实施方式中，注册请求过程包括：

从MCU保存多个账号和密码，账号与密码一一对应，且为唯一账号。第一终端进行注册请求时，会把使用的IP地址及密码传输给从MCU，然后MCU进行校验，若能证明该账号存在且密码正确则为校验成功。当校验成功时记录下该账号，且必须与终端的IP地址一一对应，然后将成功信号同步至第一终端。同样地，将从MCU以终端地形式注册到主MCU上时，只需要将从MCU保存的IP地址、密码发送至主MCU进行验证即可，当验证通过时，将成功信号同步至从MCU。当所有注册完成后，主MCU就能够接收通过验证的第一终端发送的第一音视频，及从MCU发送的第二音视频。

S30、将所述第一音视频和所述第二音视频进行合成，得到第三音视频；

在某一具体的实施方式中，该合成操作主要包括：

1)将所述第一音视频和所述第二音视频分别解码，经处理得到统一格式的音视频；

2)将所述统一格式的音视频进行编码，得到第三音视频，所述第三音视频的格式包括H264或H265。

需要说明的是，主MCU首先把接收到多个视频第一音视频和所述第二音视频分别解码，得到统一标准格式的视频；然后，把多个统一标准格式的视频以宫格布局的方式排列成一个视频，再通过编码，得到主流的H264、H265格式的第三音视频。

在某一具体的实施方式中，多个第一终端分别发送一路音频和一路视频给从MCU，音频格式是G711、G722等，视频则是H264、H265等。从MCU把接收到多路音频中的一路音频发送给主MCU,然后从MCU把接收到的多路视频拼接成一个视频也是一路视频发送给主MCU。主MCU则把接收到的多路音频中的一路发送给各个第一终端和从MCU，同时主MCU会把接收到的多路视频拼接成一个视频也是一路视频发送给终端和从MCU。因为从MCU注册到主MCU做标记，从MCU收到主MCU的音频和视频时只将音视频转发给注册到从MCU的各个第二终端。此外，通过接收的每一路视频和注册的账号关联，并且账号是唯一的，以此就能确定指定一个视频在拼接视频中的位置。

S40、将所述第三音视频发送至所述从MCU及所述通过验证的第一终端。

本发明提供的音视频会议MCU级联方法，通过将从MCU作为终端的形式注册到主MCU上，从而实现了多个音视频MCU的级联，同时支持多路音视频扩展，具有较强的可实施性。

第二方面：

请参阅图4，本发明某一实施例还提供了一种音视频会议MCU级联方法，应用于从MCU，所述方法包括：

S01、接收并验证多个第二终端发送的注册请求，当验证通过时，保存通过验证的第二终端的IP地址及密码；

需要说明的是，本实施例中，从MCU主要用于与区别于第一终端的其他多个终端进行通讯。首先，这多个终端会发送注册请求给从MCU，然后从MCU进行验证，当验证通过时，将验证通过的终端作为第二终端，然后从MCU会将注册成功的提示信息发送至第二终端，并保存通过验证的第二终端的IP地址及密码。接着，从MCU就会接收并保存第二终端发送的数据。

S02、发送注册请求至主MCU。

在本实施例中，从MCU主要以终端的身份发送注册请求至主MCU。然后主MCU对该请求进行验证，当验证通过时，同时将注册成功的信号发送给从MCU。其中，该注册请求中主要包括第二终端的IP地址及密码。

在某一具体实施方式中，当从MCU成功注册到主MCU上后，就会将处理后的由第二终端发送的数据传输至主MCU，然后当主MCU将处理得到数据发送给从MCU时，从MCU会将这些数据再分发给与之通讯的第二终端，最终实现了第一终端、第二终端的级联。可以理解的是，从MCU的数量可以根据实际所需进行选择，也即根据实际需要扩展的音视频路数进行设置，在此不作任何限定。

请参阅图5，在某一具体的实施方式中，在步骤S02之后还包括：

S03、当验证通过时，接收通过验证的第二终端发送的音视频，经合成后得到第二音视频。

其中，本步骤又包括以下步骤：

a)将所述第二终端发送的音视频解码，经处理得到统一格式的音视频；

b)将所述统一格式的音视频进行编码，得到第二音视频，所述第二音视频的格式包括H264或H265。

本实施例中，当多个第二终端成功注册到从MCU上时，从MCU就会接收通过验证的第二终端发送的音视频，经合成后得到第二音视频，合成操作及音视频格式与上述实施例所描述的主MCU相同，在此不再进行赘述。

在某一具体实施方式中，所述第一终端和所述第二终端均为会议终端，以实现音视频多会议终端的MCU级联。

第三方面：

本发明某一实施例还提供了一种音视频会议MCU级联系统，包括：

多个第一终端及第二终端、主MCU及从MCU；

所述第一终端、所述从MCU分别与所述主MCU连接；

所述第二终端与所述从MCU连接。

需要说明的是，在某一具体实施方式中，第一终端和第二终端的数量分别为3个，如图6所示。

具体地，终端1-3为第二终端，终端4-6为第一终端，整个数据交流向为：终端1-3分别发送注册请求至从MCU，然后从MCU进行验证，当验证通过时，会将注册成功信号发送至终端1-3(本实施例中假设终端1-3全部通过验证)然后终端1-3会将音视频发送至从MCU，从MCU通过合成得到第二音视频并发送至主MCU。另一方面，终端4-6发送注册请求至主MCU，主MCU进行验证，当验证通过时，会将注册成功信号发送至终端4-6，并接受终端4-6发送的音视频。然后主MCU首先会将这些音视频合成得到第一音视频，然后将刚接收到的第二音视频与该第一音视频进行合成，生成最终的第三音视频。最后，主MCU把第三音视频同时发送给从MCU和终端4-6，从MCU接收到第三音视频后，会再转发至终端1-3，从而实现了多个终端的级联。

第四方面：

本发明某一实施例还提供了一种设备，包括：

一个或多个处理器；

存储器，与所述处理器耦接，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的音视频会议MCU级联方法。

处理器用于控制该设备的整体操作，以完成上述的音视频会议MCU级联方法的全部或部分步骤。存储器用于存储各种类型的数据以支持在该设备的操作，这些数据例如可以包括用于在该设备上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

设备可以被一个或多个应用专用集成电路(Application Specific 1ntegratedCircuit，简称AS1C)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(ProgrammableLogic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行如上述任一项实施例所述的音视频会议MCU级联方法，并达到如上述方法一致的技术效果。

本发明某一实施例还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现如上述任一项实施例所述的音视频会议MCU级联方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器，上述程序指令可由设备的处理器执行以完成如上述任一项实施例所述的音视频会议MCU级联方法，并达到如上述方法一致的技术效果。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种音视频会议MCU级联方法，其特征在于，应用于主MCU，所述方法包括：

接收并验证从MCU、多个第一终端发送的注册请求；其中，所述从MCU的注册请求中包括多个通过验证的第二终端的IP地址及密码。

2.根据权利要求1所述的音视频会议MCU级联方法，其特征在于，还包括：

当验证通过时，接收通过验证的第一终端发送的第一音视频，及所述从MCU发送的第二音视频；

将所述第一音视频和所述第二音视频进行合成，得到第三音视频；

将所述第三音视频发送至所述从MCU及所述通过验证的第一终端。

3.根据权利要求2所述的音视频会议MCU级联方法，其特征在于，所述将所述第一音视频和所述第二音视频进行合成，得到第三音视频，包括：

将所述第一音视频和所述第二音视频分别解码，经处理得到统一格式的音视频；

将所述统一格式的音视频进行编码，得到第三音视频，所述第三音视频的格式包括H264或H265。

4.一种音视频会议MCU级联方法，其特征在于，应用于从MCU，所述方法包括：

接收并验证多个第二终端发送的注册请求，当验证通过时，保存通过验证的第二终端的IP地址及密码；

发送注册请求至主MCU。

5.根据权利要求4所述的音视频会议MCU级联方法，其特征在于，还包括：

当验证通过时，接收通过验证的第二终端发送的音视频，经合成后得到第二音视频。

6.根据权利要求5所述的音视频会议MCU级联方法，其特征在于，所述接收通过验证的第二终端发送的音视频，经合成后得到第二音视频，包括：

将所述第二终端发送的音视频解码，经处理得到统一格式的音视频；

将所述统一格式的音视频进行编码，得到第二音视频，所述第二音视频的格式包括H264或H265。

7.根据权利要求1或所述的音视频会议MCU级联方法，其特征在于，所述第一终端和所述第二终端均为会议终端。

8.一种音视频会议MCU级联系统，其特征在于，包括：

多个第一终端及第二终端、主MCU及从MCU；

所述第一终端、所述从MCU分别与所述主MCU连接；所述第二终端与所述从MCU连接。

9.一种设备，其特征在于，包括：

一个或多个处理器；存储器，与所述处理器耦接，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至7任一项所述的音视频会议MCU级联方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行实现如权利要求1至7任一项所述的音视频会议MCU级联方法。

Images