CN115426336A - 基于svc的会议级联方法及其系统 - Google Patents
基于svc的会议级联方法及其系统 Download PDFInfo
- Publication number
- CN115426336A CN115426336A CN202211033202.7A CN202211033202A CN115426336A CN 115426336 A CN115426336 A CN 115426336A CN 202211033202 A CN202211033202 A CN 202211033202A CN 115426336 A CN115426336 A CN 115426336A
- Authority
- CN
- China
- Prior art keywords
- conference
- terminal
- virtual terminal
- cascade
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
- H04L65/4046—Arrangements for multi-party communication, e.g. for conferences with distributed floor control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
- H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明提供了一种基于SVC的会议级联方法及其系统,该方法包括:当第一会议与第二会议进行级联时,级联控制器分配并存储虚拟终端的入会信息;级联控制器将虚拟终端的入会信息传递给级联资源服务器,驱动虚拟终端发起入会呼叫;第一虚拟终端作为第二会议的其中一个终端的替身进入第一会议;第二虚拟终端作为第一会议的其中一个终端的替身进入第二会议;两会议通过虚拟终端进行数据交换,数据包括基于SVC的各种分辨率的音视频数据,各参会终端根据需求选择适当分辨率的音视频数据进行解码和组合。本发明的会议级联方法有效实现了公有云、私有云和混合云的多场景级联,支持音视频画面以及共享内容的级联,超大规模并发,超低时延,抗网络丢包。
Description
技术领域
本发明涉及通信技术领域,具体地,涉及基于SVC的会议级联方法及其系统。
背景技术
基于互联网的视频通信技术被广泛应用于工作和生活的视频会议场景。随着会议容量以及组网的复杂程度的增加,级联会议应运而生。级联会议实现了将不同会议参会终端的音视频画面以及共享内容互相交换,大大拓展了视频会议的应用。
现有技术中的会议级联方法都是基于传统AVC(高级视频编码,Advanced VideoCoding),例如专利CN 1735190A《一种在视讯运营平台上集中管理级联会议的方法》和专利CN 102404547 A《级联会议中级联会场的处理方法、装置及会议级联系统》。AVC的视频编解码技术有两套标准,国际电联(ITU-T)的标准H.261、H.263、H.263+等;以及ISO的MPEG标准MPEG-1、MPEG-2、MPEG-4等。
为了方便理解,下面结合图1来描述视频会议AVC的架构原理。图中三个会议终端A-C分别将固定分辨率的视频画面蓝色人、绿色人和紫色人传递给后台管理画面呈现的MCU(视频会议媒体多点控制单元,简称控制单元,Multi Control Unit),然后MCU以接收的固定分辨率的视频画面为原料分别为终端A-C进行视频画面的编码和组合得到分别在各终端上呈现的画面,即图中的三个白色的框,紫色+绿色,紫色+蓝色和绿色+蓝色。最后,MCU将完成的三次视频编码即拼接好的画面对应发送给终端A-C。传统AVC:第一,通过后台MCU拼接画面,需要MCU对画面一层层地叠加,多次编码,全部编码任务均由MCU承担,对MCU的要求高;第二,编码的原料为各终端发送来的固定分辨率的画面,一旦出现丢包直接花屏。因此,利用传统AVC编码后的视频质量低,网络延迟高,网络的适应性小,其能应对的终端容量小,扩展性差,且不能灵活选择不同分辨率的画面,不能支持共享内容的叠加。
并且MCU后台一定是一种云,基于传统AVC的会议级联方法中,参与级联的会议也只能来自公有云、私有云和混合云中的一种,不能分别来自三种云的任意组合。另外,利用MCU编码合成画面,只能支持相同的会议秘钥以及加密方式,现有技术不支持会议秘钥或加密方式不相同的会议形成级联。
综上,受限于AVC技术,以及对MCU的强依赖,直观体现为基于传统AVC的会议级联场景受限,并发能力受限,支持功能简单僵化。
发明内容
本发明提供了一种基于SVC的会议级联方法及其系统。其中SVC,即Scaled VideoCoding,可分层视频编解码,是一种能将视频流分割为多个分辨率、质量和帧速率层的技术,是对当今大多数视频会议设备所采用的H.264视频编解码标准的扩展。本发明所提供的基于SVC的会议级联方法及其系统支持公有云、私有云和混合云的多场景级联,级联的两个会议,可以分别来自公有云、私有云和混合云的任意组合,例如,公有云-公有云,公有云-私有云,私有云A-私有云B。功能上支持音视频画面以及共享内容等视频会议基础功能的级联。并且由于采用SVC方案,本发明能继承SVC的特性,支持超大规模并发、超低时延、抗网络丢包及抖动等优点。
第一方面,本发明提供了一种基于SVC的会议级联方法,其特征在于,所述方法包括:
当第一会议与第二会议进行级联时,第二级联控制器分配第二虚拟终端的入会信息,并将其传递至所述第一级联控制器,以及所述第一级联控制器分配并存储第一虚拟终端的入会信息;
所述第一级联控制器将所述第二虚拟终端的入会信息和所述第一虚拟终端的入会信息传递给第一级联资源服务器,驱动所述第一虚拟终端和所述第二虚拟终端分别发起对所述第一会议和所述第二会议的入会呼叫;
所述第一虚拟终端作为所述第二会议的其中一个终端的替身进入所述第一会议作为所述第一会议的参会终端;
所述第二虚拟终端作为所述第一会议的其中一个终端的替身进入所述第二会议作为所述第二会议的参会终端;
所述第二会议的其中一个终端和所述第一会议的其中一个终端通过其对应的虚拟终端将所述第一会议和所述第二会议中的数据进行交换;
所述数据包括基于SVC的各种分辨率的音视频数据,各参会终端根据需求选择适当分辨率的音视频数据进行解码和组合。
第二方面,本发明还提供了一种基于SVC的会议级联系统,其特征在于,所述系统包括:第一级联控制器和第一级联资源服务器,所述第一级联资源服务器包括第一虚拟终端和第二虚拟终端;
当第一会议与第二会议进行级联时:
所述第一级联控制器用于接收所述第二虚拟终端的入会信息,分配并存储所述第一虚拟终端的入会信息,并且将所述第二虚拟终端的入会信息和所述第一虚拟终端的入会信息传递给所述第一级联资源服务器;
所述第一虚拟终端用于发起对所述第一会议的入会呼叫,作为所述第二会议的其中一个终端的替身进入所述第一会议作为所述第一会议的参会终端;
所述第二虚拟终端用于发起对所述第二会议的入会呼叫,作为所述第一会议的其中一个终端的替身进入所述第二会议作为所述第二会议的参会终端;
所述第一虚拟终端和所述第二虚拟终端使得所述第二会议的其中一个终端和所述第一会议的其中一个终端通过其对应的虚拟终端将所述第一会议和所述第二会议中的数据进行交换;
所述数据包括基于SVC的各种分辨率的音视频数据,各参会终端根据需求选择适当分辨率的音视频数据进行解码和组合。
本发明提供的基于SVC的会议级联方法及其系统:第一,支持不同会议间的多层级级联,支持超大规模并发、超低时延、抗网络丢包及抖动;第二,支持将会议秘钥或加密方式不相同的会议形成级联,并保证其安全性;第三,会议间级联支持多通道,且通道数量及通道中虚拟终端实时可调;第四,级联会议支持音视频画面,及共享内容在不同层级的会议中传递;第五,级联会议支持自动计算声音能量实现自动发言人的功能;第六,支持全局主会场,全局共享内容,实现任意层级的主会场画面以及共享画面,在整个级联群组扩散广播;第七,级联的两个会议,可以分别来自公有云、私有云以及混合云的任意组合;第八,外挂式级联系统,可按需部署、扩容、裁剪。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是现有技术中视频会议AVC的架构原理示意图;
图2是本发明实施例提供的基于SVC的会议级联方法流程图;
图3是现有技术中视频会议级联逻辑结构图;
图4是本发明实施例提供的基于SVC的会议级联系统示意图;
图5是本发明实施例提供的通过虚拟终端对不同会议的级联数据传输方法流程图;
图6是本发明实施例提供的通过虚拟终端对不同会议的共享内容传输方法流程图;
图7是现有技术中视频会议SVC的架构原理示意图;
图8是本发明实施例提供的常规会议主会场示意图;
图9是本发明实施例提供的多级会议级联示意图;
图10是本发明实施例提供的全局主会场示意图;
图11是本发明实施例提供的常规会议共享示意图;
图12是本发明实施例提供的全局共享示意图。
具体实施方式
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
发明概述
如前所述,本发明提供了一种基于SVC的会议级联方法及其系统,实现了公有云、私有云和混合云的多场景级联,功能上支持音视频画面以及共享内容等视频会议基础功能的级联,支持超大规模并发、超低时延、抗网络丢包及抖动。
示例性方法
图2是本发明实施例提供的基于SVC的会议级联方法流程图,所述方法包括以下步骤:
S201:当第一会议与第二会议进行级联时,第二级联控制器分配第二虚拟终端的入会信息,并将其传递至所述第一级联控制器,以及所述第一级联控制器分配并存储第一虚拟终端的入会信息。
其中,级联即为会议级联,会议级联发生在两个会议之间,实现将两端会议的参会终端的音视频画面和共享内容互相交换,例如图3右侧的Conf-A与Conf-X,图中每个圆圈表示一个独立会议,两个独立会议之间的箭头表示形成级联关系。
进一步的,形成级联关系的两个会议也可各自与其他会议发生级联,如图中右侧的Conf-B与Conf-C级联的同时,也与Conf-Y形成级联关系。任意一个会议,沿着级联关系,所有连接在一起的会议,即为一个级联群组,例如图中左侧的所有会议为一个级联群组,图中右侧Conf-A与Conf-X为一个级联群组,Conf-B、Conf-C和Conf-Y为一个级联群组。
级联关系中存在上下级之分,如步骤S201中第一会议与第二会议进行级联,第一会议为上级会议,第二会议为下级会议;图中级联关系Conf-B与Conf-C之间,Conf-B是上级会议,Conf-C是下级会议。一个级联群组最多只能有一个上级,可以有多个下级,相互级联的多个会议呈现为树形结构。上下级在发起时由用户自定义,如第一会议与第二会议进行级联,第一会议为上级会议,第二会议为下级会议;也可以是第二会议为上级会议,第一会议为下级会议。没有绝对的上下级,上下级关系在实际业务中由用户自己确定。
具体的,所述第二虚拟终端的入会信息为所述第二虚拟终端入会所需的令牌、号码、接入地址、被替身的所述第一会议的其中一个终端的相关信息等。被替身的所述第一会议的其中一个终端的相关信息为此终端的入会令牌、入会号码、入会接入地址等。
所述第一虚拟终端的入会信息为所述第一虚拟终端入会所需的令牌、号码、接入地址、被替身的所述第二会议的其中一个终端的相关信息等。被替身的所述第二会议的其中一个终端的相关信息为此终端的入会令牌、入会号码、入会接入地址等。
其中,级联控制器(Cas-Mgr):负责级联业务的推进,以及级联资源的管理。所述第一级联控制器为第一会议的级联控制器,所述第二级联控制器为第二会议的级联控制器。
级联资源服务器(Cas-Res):其由级联通道(TNL)组成,每一个级联通道由成对出现的虚拟终端(VEP)组成。如图4所示,所述级联资源服务器Cas-Res-1包括一个或多个级联通道TNL-1、TNL-2......TNL-n,每个级联通道用于实现两个会议之间的级联数据的传输,例如级联通道TNL-1用于会议Conf-A和Conf-B之间的级联数据传输,级联通道TNL-2可以用于会议Conf-A和Conf-C之间的级联数据传输,也可以用于会议Conf-A和Conf-B之间的级联数据传输。
多个级联通道之间的业务互不干扰,如图中所示的级联通道TNL-1中的数据传输线路L5~L18并不会干扰其他级联通道,如TNL-2的数据传输。
并且级联通道数量及级联通道中的虚拟终端实时可调,如TNL-1中的虚拟终端由VEP-A1和VEP-B1,调整为VEP-A2和VEP-C3,则级联的两会议改变,由会议A和会议B,更换为会议A和会议C;且级联传递的参会终端数据改变。
级联通道支持水平扩展,随意进行伸缩,进而实现级联资源服务器的扩展,支持超大并发的会议级联。
所述第一级联资源服务器为第一会议的级联资源服务器。
所述级联控制器和所述级联资源服务器分别独立于参与级联的各会议系统,即以外挂形式实现任意独立会议间的级联,例如,当会议A需要与其他会议进行级联时,则按需部署级联控制器和级联资源服务器,或者只部署级联控制器;当会议A不需要与其他会议进行级联时,则卸载级联控制器和级联资源服务器。不同于传统的会议级联方式,会议级联系统内嵌在整个视频会议系统,即使不启用会议级联系统,其代码也在后台运行,占用服务器的内存,降低服务器的运行速度。
总之,本发明中的级联控制器和级联资源服务器可支持水平扩展,灵活部署、扩展和裁剪。可达到按需使用,按功能卸载,并通过对级联资源服务器中级联通道的扩展,理论上无上限,从而实现超大规模的会议级联。
其中一个实施例,在步骤S201中所述第一会议与第二会议进行级联之前还包括:
所述第一会议的会议控制系统向所述第一级联控制器发起对第二会议的级联请求;
所述第一级联控制器向所述第二会议的会议控制系统发送所述级联请求;
所述第二会议的会议控制系统同意级联,并向所述第一级联控制器发送同意命令。
其中,所述会议控制系统为对会议进行会议控制以及运维的管理员。
S202:所述第一级联控制器将所述第二虚拟终端的入会信息和所述第一虚拟终端的入会信息传递给第一级联资源服务器,驱动所述第一虚拟终端和所述第二虚拟终端分别发起对所述第一会议和所述第二会议的入会呼叫。
其中,第一级联资源服务器为第一会议的级联资源服务器。
具体的,所述第一虚拟终端和所述第二虚拟终端的入会呼叫均走信令通道,虚拟终端与真实终端入会流程一致,即会议的信令系统SIG对参会终端和此终端对应的控制单元MCU发起信令控制,将终端与控制单元之间通过信令系统建立联系,用于媒体数据交互。
级联关系建立过程中,需使用到上下级会议的级联控制器,但只需要用到上级的级联资源服务器。即一个级联关系中,实际使用的是上级的级联资源服务器。例如,步骤S201和S202中,第一会议为上级会议,第二会议为下级会议,级联关系建立时,只需要用到第一级联控制器、第一级联资源服务器以及第二级联控制器。
S203:所述第一虚拟终端作为所述第二会议的其中一个终端的替身进入所述第一会议作为所述第一会议的参会终端。
S204:所述第二虚拟终端作为所述第一会议的其中一个终端的替身进入所述第二会议作为所述第二会议的参会终端。
具体的,所述第二会议的其中一个终端和所述第一会议的其中一个终端可以为真实终端,也可以为虚拟终端。例如,第二会议的虚拟终端VEP-B1可以作为第一会议的真实终端EP-A1的替身,也可以作为第一会议的虚拟终端VEP-A2的替身。
所述虚拟终端进入会议后,通过改变其被替身的其中一个终端实现级联参会终端实时可变。即虚拟终端类似一个容器,其中可以实时更换不同内容,例如,当第一虚拟终端为第二会议中的终端A的替身,则终端A通过第一虚拟终端作为第一会议的参会终端;当第一虚拟终端更换为第三会议中的终端X的替身,则终端X通过第一虚拟终端作为第一会议的参会终端。
在改变参与级联的参会终端时,仅仅需要改变各个会议内虚拟终端与级联会议内的参会终端之间的对应关系即可实时改变参与级联的参会终端。可以在原有级联通道中替换被替身的终端,也可以在新的级联通道中建立新的虚拟终端和被替身的终端之间的对应关系。
S205:所述第二会议的其中一个终端和所述第一会议的其中一个终端通过其对应的虚拟终端将所述第一会议和所述第二会议中的数据进行交换。
虚拟终端与真实终端功能一致,具备入会、媒体数据流加解密功能。所述第一虚拟终端可接收到第一会议各参会终端的数据,所述第二虚拟终端可接收到第二会议各参会终端的数据。
与真实终端不同的是虚拟终端无需做音视频和共享等媒体内容的显示输出,而是将此内容传递至级联通道内与其配对的虚拟终端,形成背靠背的媒体数据转发。本发明通过虚拟终端实现了不同会议的级联。
下面详细阐述通过虚拟终端对不同会议的级联数据传输的具体方法,如图5所示:
S501:将被第二虚拟终端替身的所述第一会议的其中一个终端的数据传送给所述第一虚拟终端,并根据第一会议的秘钥将其解密然后传递至所述第二虚拟终端;
S502:所述第二虚拟终端将解密后的所述被替身的第一会议的其中一个终端的数据根据第二会议的秘钥进行加密,以转发给第二会议的各参会终端;
S503:将被第一虚拟终端替身的所述第二会议的其中一个终端的数据传送给所述第二虚拟终端,并根据第二会议的秘钥将其解密然后传递至所述第一虚拟终端;
S504:所述第一虚拟终端将解密后的所述被替身的第二会议的其中一个终端的数据根据第一会议的秘钥进行加密,以转发给第一会议的各参会终端。
其中,所述虚拟终端音视频的输入来源来自其被替身的其中一个终端的数据流的副本,并非直接来源于摄像头和/或麦克风采集。
作为一个具体的实施例,级联通道TNL-1由会议A的虚拟终端VEP-A1与会议B的虚拟终端VEP-B1背靠背组成。虚拟终端VEP-A1为会议B中真实终端EP-B1在会议A中的替身,虚拟终端VEP-B1为会议A中真实终端EP-A1在会议B中的替身。
虚拟终端VEP-A1的内容接收器接收会议A中真实终端EP-A1的数据,所述数据包括但不限于于音视频数据和共享内容;然后根据会议A的秘钥将接收到的数据进行解密,并将解密后的数据传递至虚拟终端VEP-B1的内容发送器;虚拟终端VEP-B1的内容发送器根据会议B的秘钥对上述其接收到的数据进行加密,再发送至会议B的控制单元;会议B的控制单元将其接收到的数据转发给会议B的各参会终端,此时会议B的各参会终端均可显示虚拟终端VEP-B1输入的,来自会议A中真实终端EP-A1的数据内容。
对应的,虚拟终端VEP-B1的内容接收器接收会议B中真实终端EP-B1的数据,所述数据包括但不限于于音视频数据和共享内容;然后根据会议B的秘钥将接收到的数据进行解密,并将解密后的数据传递至虚拟终端VEP-A1的内容发送器;虚拟终端VEP-A1的内容发送器根据会议A的秘钥对上述其接收到的数据进行加密,再发送至会议A的控制单元;会议A的控制单元将其接收到的数据转发给会议A的各参会终端,此时会议B的各参会终端均可显示虚拟终端VEP-A1输入的,来自会议B中真实终端EP-B1的数据内容。
下面详细阐述通过虚拟终端对不同会议的共享内容传输的具体方法,如图6所示:
S601:将第一会议中的第一共享内容传送给所述第一虚拟终端,并根据第一会议的秘钥将其解密然后传递至所述第二虚拟终端;
S602:所述第二虚拟终端根据第二会议的秘钥将解密后的所述第一共享内容进行加密,以转发给第二会议的各参会终端;
S603:将所述第二会议中的第二共享内容传送给所述第二虚拟终端,并根据所述第二会议的秘钥将其解密然后传递至所述第一虚拟终端;
S604:所述第一虚拟终端根据所述第一会议的秘钥将解密后的所述第二共享内容进行加密,以转发给第一会议的各参会终端。
需要说明的是所述第一会议中的第一共享内容可以为第一会议中的任一参会终端的共享内容,即第一会议中的第一共享内容可以是被第二虚拟终端替身的所述第一会议的其中一个终端的共享内容,也可以是其他所述第一会议的其中一个终端的共享内容。
对应的,所述第二会议中的第二共享内容可以为第二会议中的任一参会终端的共享内容。
作为一个具体的实施例,级联通道TNL-1由会议A的虚拟终端VEP-A1与会议B的虚拟终端VEP-B1背靠背组成。虚拟终端VEP-A1为会议B中真实终端EP-B1在会议A中的替身,虚拟终端VEP-B1为会议A中真实终端EP-A1在会议B中的替身。
虚拟终端VEP-A1的内容接收器接收会议A中真实终端EP-A2的共享内容;然后根据会议A的秘钥将接收到的共享内容进行解密,并将解密后的共享内容传递至虚拟终端VEP-B1的内容发送器;虚拟终端VEP-B1的内容发送器根据会议B的秘钥对上述其接收到的共享内容进行加密,再发送至会议B的控制单元;会议B的控制单元将其接收到的共享内容转发给会议B的各参会终端,此时会议B的各参会终端均可显示虚拟终端VEP-B1输入的,来自会议A中真实终端EP-A2的共享内容。
对应的,虚拟终端VEP-B1的内容接收器接收会议B中真实终端EP-B3的共享内容;然后根据会议B的秘钥将接收到的共享内容进行解密,并将解密后的共享内容传递至虚拟终端VEP-A1的内容发送器;虚拟终端VEP-A1的内容发送器根据会议A的秘钥对上述其接收到的共享内容进行加密,再发送至会议A的控制单元;会议A的控制单元将其接收到的共享内容转发给会议A的各参会终端,此时会议A的各参会终端均可显示虚拟终端VEP-A1输入的,来自会议B中真实终端EP-B3的共享内容。
综合上述两个实施例,列举另一个具体的实施例,如图4所示,级联通道TNL-1由Conf-A的虚拟终端VEP-A1与Conf-B的虚拟终端VEP-B1背靠背组成。虚拟终端VEP-A1为Conf-B中真实终端EP-B1在Conf-A中的替身,虚拟终端VEP-B1为Conf-A中真实终端EP-A1在Conf-B中的替身。
虚拟终端VEP-A1的音视频媒体内容接收器PRX通过线路L6接收Conf-A中真实终端EP-A1的音视频数据,虚拟终端VEP-A1的共享内容接收器CRX通过线路L8接收Conf-A中真实终端EP-A2的共享内容;然后虚拟终端VEP-A1的音视频媒体内容接收器PRX根据Conf-A的秘钥将接收到的音视频数据进行解密,并通过线路L10将解密后的音视频数据传递至虚拟终端VEP-B1的音视频媒体内容发送器PTX;虚拟终端VEP-A1的共享内容接收器CRX根据Conf-A的秘钥将接收到的共享内容进行解密,并通过线路L12将解密后的共享内容传递至虚拟终端VEP-B1的共享内容发送器CTX;
虚拟终端VEP-B1的音视频媒体内容发送器PTX根据Conf-B的秘钥对上述其接收到的音视频数据进行加密,再通过线路L13发送至Conf-B的控制单元MCU-2;虚拟终端VEP-B1的共享内容发送器CTX根据Conf-B的秘钥对上述其接收到的共享内容进行加密,再通过线路L15发送至Conf-B的控制单元MCU-2;
Conf-B的控制单元MCU-2将其接收到的音视频数据和共享内容转发给Conf-B的各参会终端,此时Conf-B的各参会终端均可显示虚拟终端VEP-B1输入的,来自Conf-A中真实终端EP-A1的音视频数据以及真实终端EP-A2的共享内容。
同理,Conf-A的各参会终端均可显示虚拟终端VEP-A1输入的,来自Conf-B中真实终端EP-B1的音视频数据以及真实终端EP-B3的共享内容。
总之,本发明提供的基于SVC的会议级联方法支持将会议秘钥或加密方式不相同的会议形成级联,解密加密均为内存级别计算,发生在服务器内部,不存在会议秘钥、加密方式以及解密后的数据通过公开网络传递的情况,因此也能保证其数据的安全性。而基于AVC的会议级联方案由于需要在MCU中实现数据的加密和解密以及各终端画面的合成,因此不能处理来自不同加密和解密方式或不同会议秘钥的多个会议之间的级联。如果为了级联通过网络传递未经加密的数据则有泄露数据的风险。
S206:所述数据包括基于SVC的各种分辨率的音视频数据,各参会终端根据需求选择适当分辨率的音视频数据进行解码和组合。
其中SVC(Scaled Video Coding,可分层视频编解码)是一种能将视频流分割为多个分辨率、质量和帧速率层的技术,是对当今大多数视频会议设备所采用的H.264视频编解码标准的扩展。视频会议设备采用SVC技术来收发由一个小的基极层和多个可提高分辨率、帧速率和质量的其它可选层组成的多层视频流。这种分层方式可以大大提高误码弹性和视频质量,而且对带宽没有很高的要求。此外,一个多层SVC视频流可以支持多种设备和网络。
使用SVC技术举行视频会议的主要优势是:提高误码弹性,进而提高在容易发生丢包的网络间传输的视频质量。在可用带宽不能保证的地方或诸如公共互联网等无管理网络中,这点显得特别重要。
为了方便理解,下面结合图7来描述视频会议SVC的架构原理。
图中三个会议终端A-C分别将多种分辨率的视频画面蓝色人、绿色人和紫色人传递给后台MCU,MCU根据会议终端实际需求转发某种分辨率的视频画面给会议终端,会议终端A-C中的三个白色框为其对应的显示画面,会议终端A选取高分辨率的大号绿色人进行编码并显示,会议终端B选取低分辨率的小号蓝色人和小号紫色人进行编码并显示,会议终端C选取中等分辨率的中号绿色人和小号蓝色人进行编码并显示。
SVC:第一,会议终端直接进行画面拼接,各个会议终端各自负责本终端的画面编码,后台MCU只进行转发,不承担画面拼接,无需MCU进行多次编码,对MCU的要求低;第二,编码的原料为各会议终端发送来的各种分辨率的画面,会议终端想要大窗口就直接选择高分辨率的大画面,想要小窗口就直接选择低分辨率的小画面,实时可变,并且抗丢包能力强,当发生丢包,分辨率自动降低,保证画面流畅。因此,利用SVC一次编码,编码后的视频质量高,网络延迟低,网络的适应性高,其能应对的终端容量大,扩展性高,能灵活选择不同分辨率的画面,不仅支持视频画面的叠加,还能支持共享内容的叠加。
并且SCV支持公有云、私有云和混合云的多场景级联,各级联会议可以分别用不同的云服务来实现。级联的两个会议,可以分别来自公有云、私有云和混合云的任意组合,公有云-公有云,公有云-私有云,私有云A-私有云B。功能上支持音视频画面以及共享内容等视频会议基础功能的级联。并且由于采用SVC方案,本发明能继承SVC的特性,支持超大规模并发、超低时延、抗网络丢包及抖动等优点。
上述所描述的级联会议中,各虚拟终端可以为指定参会终端的替身,也可以为自动发言人。
具体的,如果设置级联会议中虚拟终端作为其他会议的发言人的替身,则通过计算所述其他会议内各真实终端的声音能量,将能量高的参会终端作为发言人,绑定至所述虚拟终端作为该发言人的替身。
需要注意的是,任何层级的虚拟终端均不参加声音能量的计算,防止引发环回。
本发明所述的级联群组里任何一个会议指定的全局操作行为会对级联群组内的每个会议生效。下面针对会议级联方法中的主会场和全局主会场,以及共享画面和全局共享进行详细阐述:
所述基于SVC的会议级联方法还包括:
1、主会场和全局主会场
如图8所示,会议A中的真实终端EP-A1为此会议的主会场,会议A中的所有参会终端均全屏查看真实终端EP-A1的音视频画面。
如图9所示,多级会议级联:会议A与会议B级联,会议A将真实终端EP-A1的数据传递至会议B,会议B将真实终端EP-B1的数据传递至会议A;会议A与会议C级联,会议A将真实终端EP-A1的数据传递至会议C,会议C将真实终端EP-C1的数据传递至会议A;会议C与会议D级联,会议C将真实终端EP-C1的数据传递至会议D,会议D将真实终端EP-D1的数据传递至会议C。
如图10所示,当设置级联会议中的会议C的一个参会终端EP-C3为全局主会场时,将参会终端EP-C3设置为会议C的主会场,会议C的所有参会终端全屏显示参会终端EP-C3的音视频画面。接着所有级联会议逐级将参会终端EP-C3的音视频画面进行传递。会议C将参会终端EP-C3的音视频画面传递至会议A,绑定虚拟终端VEP-A3,会议A设置虚拟终端VEP-A3为会议A的主会场,会议A的所有参会终端全屏显示虚拟终端VEP-A3的音视频画面,即参会终端EP-C3的音视频画面;会议C将参会终端EP-C3的音视频画面传递至会议D,绑定虚拟终端VEP-D2,会议D设置虚拟终端VEP-D2为会议D的主会场,会议D的所有参会终端全屏显示虚拟终端VEP-D2的音视频画面,即参会终端EP-C3的音视频画面;会议A将虚拟终端VEP-A3的音视频画面传递至会议B,绑定虚拟终端VEP-B2,会议B设置VEP-B2为主会场,会议B的所有参会终端全屏显示虚拟终端VEP-B2的音视频画面,即参会终端EP-C3的音视频画面。
由上述实施例可知,被替身的终端可以为真实终端,也可以为虚拟终端,如虚拟终端VEP-A3和真实终端EP-C3都可以作为被替身的终端。
以上步骤均为级联控制器进行全局业务控制,对用户而言相当于一键生效。全局主会场通过上图步骤扩散后,每一级的会议均全屏查看本会议中的主会场终端。但其内容均来自同一个真实参会终端EP-C3。
总之,当设置级联会议中的一个参会终端为全局主会场时,其他级联会议将其参会的虚拟终端作为所述全局主会场的替身,并将该替身逐级设置为所述其他级联会议的主会场,使得所有参与级联的会议中的各参会终端均可以接收所述全局主会场的基于SVC的各种分辨率的音视频数据,各参会终端根据需求选择适当分辨率的音视频数据进行解码和组合。
需要注意的是,传递过程中自动排除向全局主会场的音视频画面来源扩散,例如,会议A不会向会议C扩散,会议B也不会向会议A扩散。
另外,如果设置级联会议中虚拟终端作为其他会议的主会场的替身,则当其他会议的主会场发生变更时,作为主会场替身的虚拟终端自动将其绑定到变更后的新的主会场,并作为新的主会场的替身。例如,如主会场由上述参会终端EP-C3变更为EP-A1,则级联会议中虚拟终端作为EP-A1的替身或者EP-A1的替身的替身。
2、共享画面和全局共享
如图11所示,会议A中的真实终端EP-A1为此会议的共享内容,会议A中的所有参会终端均查看真实终端EP-A1的共享内容。
如图12所示,在多级会议级联中,当设置级联会议中的一个参会终端EP-C3为全局共享时,会议C的所有参会终端均可以查看参会终端EP-C3的共享内容;参会终端EP-C3将共享内容传递至虚拟终端VEP-A1的级联通道,与音视频数据共享一个虚拟终端,虚拟终端VEP-A1开启共享,会议A的所有参会终端均可以查看虚拟终端VEP-A1的共享内容,即参会终端EP-C3的共享内容;参会终端EP-C3将共享内容传递至虚拟终端VEP-D1的级联通道,与音视频数据共享一个虚拟终端,虚拟终端VEP-D1开启共享,会议D的所有参会终端均可以查看虚拟终端VEP-D1的共享内容,即参会终端EP-C3的共享内容;会议A将虚拟终端VEP-A1的共享内容传递至虚拟终端VEP-B1的级联通道,与音视频数据共享一个虚拟终端,虚拟终端VEP-B1开启共享,会议B的所有参会终端均可以查看虚拟终端VEP-B1的共享内容,即参会终端EP-C3的共享内容。
以上步骤均为级联控制器进行全局业务控制,对用户而言相当于一键生效。全局共享通过上图步骤扩散后,每一级的会议均可调度及观看本级共享。但其内容均来自同一个真实参会者EP-C3。
总之,当设置级联会议中的一个共享内容为全局共享内容时,其他级联会议将其参会的虚拟终端的共享内容逐级替换为所述全局共享内容。
需要注意的是,传递过程中自动排除向全局主会场的共享内容来源扩散,例如,会议A不会向会议C扩散,会议B也不会向会议A扩散。
示例性系统
相应地,本发明实施例还提供了一种基于SVC的会议级联系统。图4是本发明实施例提供的基于SVC的会议级联系统100示意图,如图4所示,本实施例提供的系统包括:第一级联控制器Cas-Mgr-1和第一级联资源服务器Cas-Res-1,所述第一级联资源服务器Cas-Res-1包括第一虚拟终端VEP-A1和第二虚拟终端VEP-B1;
当第一会议Conf-A与第二会议Conf-B进行级联时:
所述第一级联控制器Cas-Mgr-1用于接收所述第二虚拟终端VEP-B1的入会信息,分配并存储所述第一虚拟终端VEP-A1的入会信息,并且将所述第二虚拟终端VEP-B1的入会信息和所述第一虚拟终端VEP-A1的入会信息传递给所述第一级联资源服务器Cas-Res-1;
所述第一虚拟终端VEP-A1用于发起对所述第一会议Conf-A的入会呼叫,作为所述第二会议Conf-B的其中一个终端的替身进入所述第一会议Conf-A作为所述第一会议Conf-A的参会终端;
所述第二虚拟终端VEP-B1用于发起对所述第二会议Conf-B的入会呼叫,作为所述第一会议Conf-A的其中一个终端的替身进入所述第二会议Conf-B作为所述第二会议Conf-B的参会终端;
所述第一虚拟终端VEP-A1和所述第二虚拟终端VEP-B1使得所述第二会议Conf-B的其中一个终端和所述第一会议Conf-A的其中一个终端通过其对应的虚拟终端将所述第一会议Conf-A和所述第二会议Conf-B中的数据进行交换;
所述数据包括基于SVC的各种分辨率的音视频数据,各参会终端根据需求选择适当分辨率的音视频数据进行解码和组合。
所述第二会议Conf-B的其中一个终端和所述第一会议Conf-A的其中一个终端为真实终端或虚拟终端。
所述第二虚拟终端VEP-B1的入会信息为所述第二虚拟终端VEP-B1入会所需的令牌、号码、接入地址、被替身的所述第一会议Conf-A的其中一个终端的相关信息;
所述第一虚拟终端VEP-A1的入会信息为所述第一虚拟终端VEP-A1入会所需的令牌、号码、接入地址、被替身的所述第二会议Conf-B的其中一个终端的相关信息。
所述第一虚拟终端VEP-A1和所述第二虚拟终端VEP-B1的入会呼叫均走信令通道。
所述第一虚拟终端VEP-A1还用于接收被第二虚拟终端VEP-B1替身的所述第一会议Conf-A的其中一个终端的数据,并根据第一会议Conf-A的秘钥将所接收的数据解密然后传递至所述第二虚拟终端VEP-B1;
所述第二虚拟终端VEP-B1还用于根据第二会议Conf-B的秘钥将解密后的所述被替身的第一会议Conf-A的其中一个终端的数据进行加密,以转发给第二会议Conf-B的各参会终端;
所述第二虚拟终端VEP-B1还用于接收被第一虚拟终端VEP-A1替身的所述第二会议Conf-B的其中一个终端的数据,并根据第二会议Conf-B的秘钥将所接收的数据解密然后传递至所述第一虚拟终端VEP-A1;
所述第一虚拟终端VEP-A1还用于根据第一会议Conf-A的秘钥将解密后的所述被替身的第二会议Conf-B的其中一个终端的数据进行加密,以转发给第一会议Conf-A的各参会终端。
所述第一虚拟终端VEP-A1还用于接收第一会议Conf-A中的第一共享内容,并根据第一会议Conf-A的秘钥将所接收的内容解密然后传递至所述第二虚拟终端VEP-B1;
所述第二虚拟终端VEP-B1还用于根据第二会议Conf-B的秘钥将解密后的所述第一共享内容进行加密,以转发给第二会议Conf-B的各参会终端;
所述第二虚拟终端VEP-B1还用于将所述第二会议Conf-B中的第二共享内容,并根据所述第二会议Conf-B的秘钥将所接收的内容解密然后传递至所述第一虚拟终端VEP-A1;
所述第一虚拟终端VEP-A1还用于根据所述第一会议Conf-A的秘钥将解密后的所述第二共享内容进行加密,以转发给第一会议Conf-A的各参会终端。
所述第一虚拟终端VEP-A1还用于接收到第一会议Conf-A各参会终端的数据;
所述第二虚拟终端VEP-B1还用于接收到第二会议Conf-B各参会终端的数据。
所述第一级联控制器Cas-Mgr-1还用于接收第一会议Conf-A的会议控制系统向其发起的对第二会议Conf-B的级联请求,并向所述第二会议的会议控制系统MMS-2发送所述级联请求以及接收级联命令。
所述虚拟终端VEP进入会议后,通过改变其被替身的其中一个终端实现级联参会终端实时可变。
所述虚拟终端VEP音视频的输入来源来自其被替身的其中一个终端的数据流的副本。
所述级联资源服务器Cas-Res包括多个级联通道TNL,所述每个级联通道TNL用于实现两个会议之间的级联数据的传输,所述多个级联通道TNL之间的业务互不干扰。
相互级联的多个会议形成树形结构。
所述系统还用于当设置级联会议中的一个参会终端为全局主会场时,其他级联会议将其参会的虚拟终端VEP作为所述全局主会场的替身,并将该替身逐级设置为所述其他级联会议的主会场,使得所有参与级联的会议中的各参会终端均可以接收所述全局主会场的基于SVC的各种分辨率的音视频数据,各参会终端根据需求选择适当分辨率的音视频数据进行解码和组合。
所述系统还用于如果设置级联会议中虚拟终端VEP作为其他会议的主会场的替身,则当其他会议的主会场发生变更时,作为主会场替身的虚拟终端VEP自动将其绑定到变更后的新的主会场,并作为新的主会场的替身。
所述系统还用于当设置级联会议中的一个共享内容为全局共享内容时,其他级联会议将其参会的虚拟终端VEP的共享内容逐级替换为所述全局共享内容。
所述系统还用于如果设置级联会议中虚拟终端VEP作为其他会议的发言人的替身,则通过计算所述其他会议内各真实终端的声音能量,将能量高的参会终端作为发言人,绑定至所述虚拟终端VEP作为该发言人的替身。
所述各级联会议分别用不同的云服务来实现。
所述级联控制器Cas-Mgr和所述级联资源服务器Cas-Res分别独立于参与级联的各会议系统。
应当注意,尽管在附图中以特定顺序描述了本发明基于SVC的会议级联方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
此外,尽管在上文详细描述中提及了基于SVC的会议级联系统的若干装置、单元、或模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之,上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
虽然已经参考若干具体实施方式描述了本发明的精神和原理,但是应该理解,本发明并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
本发明提供了:
1、一种基于SVC的会议级联方法,其特征在于,所述方法包括:
当第一会议与第二会议进行级联时,第二级联控制器分配第二虚拟终端的入会信息,并将其传递至所述第一级联控制器,以及所述第一级联控制器分配并存储第一虚拟终端的入会信息;
所述第一级联控制器将所述第二虚拟终端的入会信息和所述第一虚拟终端的入会信息传递给第一级联资源服务器,驱动所述第一虚拟终端和所述第二虚拟终端分别发起对所述第一会议和所述第二会议的入会呼叫;
所述第一虚拟终端作为所述第二会议的其中一个终端的替身进入所述第一会议作为所述第一会议的参会终端;
所述第二虚拟终端作为所述第一会议的其中一个终端的替身进入所述第二会议作为所述第二会议的参会终端;
所述第二会议的其中一个终端和所述第一会议的其中一个终端通过其对应的虚拟终端将所述第一会议和所述第二会议中的数据进行交换;
所述数据包括基于SVC的各种分辨率的音视频数据,各参会终端根据需求选择适当分辨率的音视频数据进行解码和组合。
2、根据第1项所述的会议级联方法,其特征在于,所述第二会议的其中一个终端和所述第一会议的其中一个终端为真实终端或虚拟终端。
3、根据第1项或第2项所述的会议级联方法,其特征在于,所述第二虚拟终端的入会信息为所述第二虚拟终端入会所需的令牌、号码、接入地址、被替身的所述第一会议的其中一个终端的相关信息;
所述第一虚拟终端的入会信息为所述第一虚拟终端入会所需的令牌、号码、接入地址、被替身的所述第二会议的其中一个终端的相关信息。
4、根据第1-3项中任意一项所述的会议级联方法,其特征在于,所述第一虚拟终端和所述第二虚拟终端的入会呼叫均走信令通道。
5、根据第1-4项中任意一项所述的会议级联方法,其特征在于,所述第二会议的其中一个终端和所述第一会议的其中一个终端通过其对应的虚拟终端将第一会议和第二会议中的数据进行交换的具体步骤包括:
将被第二虚拟终端替身的所述第一会议的其中一个终端的数据传送给所述第一虚拟终端,并根据第一会议的秘钥将其解密然后传递至所述第二虚拟终端;
所述第二虚拟终端根据第二会议的秘钥将解密后的所述被替身的第一会议的其中一个终端的数据进行加密,以转发给第二会议的各参会终端;
将被第一虚拟终端替身的所述第二会议的其中一个终端的数据传送给所述第二虚拟终端,并根据第二会议的秘钥将其解密然后传递至所述第一虚拟终端;
所述第一虚拟终端根据第一会议的秘钥将解密后的所述被替身的第二会议的其中一个终端的数据进行加密,以转发给第一会议的各参会终端。
6、根据第1-5项中任意一项所述的会议级联方法,其特征在于,所述第二会议的其中一个终端和所述第一会议的其中一个终端通过其对应的虚拟终端将第一会议和第二会议中的数据进行交换的具体步骤包括:
将第一会议中的第一共享内容传送给所述第一虚拟终端,并根据第一会议的秘钥将其解密然后传递至所述第二虚拟终端;
所述第二虚拟终端根据第二会议的秘钥将解密后的所述第一共享内容进行加密,以转发给第二会议的各参会终端;
将所述第二会议中的第二共享内容传送给所述第二虚拟终端,并根据所述第二会议的秘钥将其解密然后传递至所述第一虚拟终端;
所述第一虚拟终端根据所述第一会议的秘钥将解密后的所述第二共享内容进行加密,以转发给第一会议的各参会终端。
7、根据第1-6项中任意一项所述的会议级联方法,其特征在于,所述第一虚拟终端可接收到第一会议各参会终端的数据;
所述第二虚拟终端可接收到第二会议各参会终端的数据。
8、根据第1-7项中任意一项所述的会议级联方法,其特征在于,所述第一会议与第二会议进行级联步骤之前还包括:
所述第一会议的会议控制系统向所述第一级联控制器发起对第二会议的级联请求;
所述第一级联控制器向所述第二会议的会议控制系统发送所述级联请求;
所述第二会议的会议控制系统同意级联,并向所述第一级联控制器发送同意命令。
9、根据第1-8项中任意一项所述的会议级联方法,其特征在于,所述虚拟终端进入会议后,通过改变其被替身的其中一个终端实现级联参会终端实时可变。
10、根据第1-9项中任意一项所述的会议级联方法,其特征在于,所述虚拟终端音视频的输入来源来自其被替身的其中一个终端的数据流的副本。
11、根据第1-10项中任意一项所述的会议级联方法,其特征在于,所述级联资源服务器包括多个级联通道,所述每个级联通道用于实现两个会议之间的级联数据的传输,所述多个级联通道之间的业务互不干扰。
12、根据第1-11项中任意一项所述的会议级联方法,其特征在于,相互级联的多个会议形成树形结构。
13、根据第1-12项中任意一项所述的会议级联方法,其特征在于,所述方法还包括:
当设置级联会议中的一个参会终端为全局主会场时,其他级联会议将其参会的虚拟终端作为所述全局主会场的替身,并将该替身逐级设置为所述其他级联会议的主会场,使得所有参与级联的会议中的各参会终端均可以接收所述全局主会场的基于SVC的各种分辨率的音视频数据,各参会终端根据需求选择适当分辨率的音视频数据进行解码和组合。
14、根据第1-13项中任意一项所述的会议级联方法,其特征在于,如果设置级联会议中虚拟终端作为其他会议的主会场的替身,则当其他会议的主会场发生变更时,作为主会场替身的虚拟终端自动将其绑定到变更后的新的主会场,并作为新的主会场的替身。
15、根据第1-14项中任意一项所述的会议级联方法,其特征在于,所述方法还包括:
当设置级联会议中的一个共享内容为全局共享内容时,其他级联会议将其参会的虚拟终端的共享内容逐级替换为所述全局共享内容。
16、根据第1-15项中任意一项所述的会议级联方法,其特征在于,所述方法还包括:
如果设置级联会议中虚拟终端作为其他会议的发言人的替身,则通过计算所述其他会议内各真实终端的声音能量,将能量高的参会终端作为发言人,绑定至所述虚拟终端作为该发言人的替身。
17、根据第1-16项中任意一项所述的会议级联方法,其特征在于,所述各级联会议分别用不同的云服务来实现。
18、根据第1-17项中任意一项所述的会议级联方法,其特征在于,所述级联控制器和所述级联资源服务器分别独立于参与级联的各会议系统。
19、一种基于SVC的会议级联系统,其特征在于,所述系统包括:第一级联控制器和第一级联资源服务器,所述第一级联资源服务器包括第一虚拟终端和第二虚拟终端;
当第一会议与第二会议进行级联时:
所述第一级联控制器用于接收所述第二虚拟终端的入会信息,分配并存储所述第一虚拟终端的入会信息,并且将所述第二虚拟终端的入会信息和所述第一虚拟终端的入会信息传递给所述第一级联资源服务器;
所述第一虚拟终端用于发起对所述第一会议的入会呼叫,作为所述第二会议的其中一个终端的替身进入所述第一会议作为所述第一会议的参会终端;
所述第二虚拟终端用于发起对所述第二会议的入会呼叫,作为所述第一会议的其中一个终端的替身进入所述第二会议作为所述第二会议的参会终端;
所述第一虚拟终端和所述第二虚拟终端使得所述第二会议的其中一个终端和所述第一会议的其中一个终端通过其对应的虚拟终端将所述第一会议和所述第二会议中的数据进行交换;
所述数据包括基于SVC的各种分辨率的音视频数据,各参会终端根据需求选择适当分辨率的音视频数据进行解码和组合。
20、根据第19项所述的会议级联系统,其特征在于,所述第二会议的其中一个终端和所述第一会议的其中一个终端为真实终端或虚拟终端。
21、根据第19项或第20项所述的会议级联系统,其特征在于,所述第二虚拟终端的入会信息为所述第二虚拟终端入会所需的令牌、号码、接入地址、被替身的所述第一会议的其中一个终端的相关信息;
所述第一虚拟终端的入会信息为所述第一虚拟终端入会所需的令牌、号码、接入地址、被替身的所述第二会议的其中一个终端的相关信息。
22、根据第19-21项中任意一项所述的会议级联系统,其特征在于,所述第一虚拟终端和所述第二虚拟终端的入会呼叫均走信令通道。
23、根据第19-22项中任意一项所述的会议级联系统,其特征在于:
所述第一虚拟终端还用于接收被第二虚拟终端替身的所述第一会议的其中一个终端的数据,并根据第一会议的秘钥将所接收的数据解密然后传递至所述第二虚拟终端;
所述第二虚拟终端还用于根据第二会议的秘钥将解密后的所述被替身的第一会议的其中一个终端的数据进行加密,以转发给第二会议的各参会终端;
所述第二虚拟终端还用于接收被第一虚拟终端替身的所述第二会议的其中一个终端的数据,并根据第二会议的秘钥将所接收的数据解密然后传递至所述第一虚拟终端;
所述第一虚拟终端还用于根据第一会议的秘钥将解密后的所述被替身的第二会议的其中一个终端的数据进行加密,以转发给第一会议的各参会终端。
24、根据第19-23项中任意一项所述的会议级联系统,其特征在于:
所述第一虚拟终端还用于接收第一会议中的第一共享内容,并根据第一会议的秘钥将所接收的内容解密然后传递至所述第二虚拟终端;
所述第二虚拟终端还用于根据第二会议的秘钥将解密后的所述第一共享内容进行加密,以转发给第二会议的各参会终端;
所述第二虚拟终端还用于将所述第二会议中的第二共享内容,并根据所述第二会议的秘钥将所接收的内容解密然后传递至所述第一虚拟终端;
所述第一虚拟终端还用于根据所述第一会议的秘钥将解密后的所述第二共享内容进行加密,以转发给第一会议的各参会终端。
25、根据第19-24项中任意一项所述的会议级联系统,其特征在于,所述第一虚拟终端还用于接收到第一会议各参会终端的数据;
所述第二虚拟终端还用于接收到第二会议各参会终端的数据。
26、根据第19-25项中任意一项所述的会议级联系统,其特征在于:
所述第一级联控制器还用于接收第一会议的会议控制系统向其发起的对第二会议的级联请求,并向所述第二会议的会议控制系统发送所述级联请求以及接收级联命令。
27、根据第19-26项中任意一项所述的会议级联系统,其特征在于,所述虚拟终端进入会议后,通过改变其被替身的其中一个终端实现级联参会终端实时可变。
28、根据第19-27项中任意一项所述的会议级联系统,其特征在于,所述虚拟终端音视频的输入来源来自其被替身的其中一个终端的数据流的副本。
29、根据第19-28项中任意一项所述的会议级联系统,其特征在于,所述级联资源服务器包括多个级联通道,所述每个级联通道用于实现两个会议之间的级联数据的传输,所述多个级联通道之间的业务互不干扰。
30、根据第19-29项中任意一项所述的会议级联系统,其特征在于,相互级联的多个会议形成树形结构。
31、根据第19-30项中任意一项所述的会议级联系统,其特征在于,所述系统还用于当设置级联会议中的一个参会终端为全局主会场时,其他级联会议将其参会的虚拟终端作为所述全局主会场的替身,并将该替身逐级设置为所述其他级联会议的主会场,使得所有参与级联的会议中的各参会终端均可以接收所述全局主会场的基于SVC的各种分辨率的音视频数据,各参会终端根据需求选择适当分辨率的音视频数据进行解码和组合。
32、根据第19-31项中任意一项所述的会议级联系统,其特征在于,所述系统还用于如果设置级联会议中虚拟终端作为其他会议的主会场的替身,则当其他会议的主会场发生变更时,作为主会场替身的虚拟终端自动将其绑定到变更后的新的主会场,并作为新的主会场的替身。
33、根据第19-32项中任意一项所述的会议级联系统,其特征在于,所述系统还用于当设置级联会议中的一个共享内容为全局共享内容时,其他级联会议将其参会的虚拟终端的共享内容逐级替换为所述全局共享内容。
34、根据第19-33项中任意一项所述的会议级联系统,其特征在于,所述系统还用于如果设置级联会议中虚拟终端作为其他会议的发言人的替身,则通过计算所述其他会议内各真实终端的声音能量,将能量高的参会终端作为发言人,绑定至所述虚拟终端作为该发言人的替身。
35、根据第19-34项中任意一项所述的会议级联系统,其特征在于,所述各级联会议分别用不同的云服务来实现。
36、根据第19-35项中任意一项所述的会议级联系统,其特征在于,所述级联控制器和所述级联资源服务器分别独立于参与级联的各会议系统。
Claims (10)
1.一种基于SVC的会议级联方法,其特征在于,所述方法包括:
当第一会议与第二会议进行级联时,第二级联控制器分配第二虚拟终端的入会信息,并将其传递至所述第一级联控制器,以及所述第一级联控制器分配并存储第一虚拟终端的入会信息;
所述第一级联控制器将所述第二虚拟终端的入会信息和所述第一虚拟终端的入会信息传递给第一级联资源服务器,驱动所述第一虚拟终端和所述第二虚拟终端分别发起对所述第一会议和所述第二会议的入会呼叫;
所述第一虚拟终端作为所述第二会议的其中一个终端的替身进入所述第一会议作为所述第一会议的参会终端;
所述第二虚拟终端作为所述第一会议的其中一个终端的替身进入所述第二会议作为所述第二会议的参会终端;
所述第二会议的其中一个终端和所述第一会议的其中一个终端通过其对应的虚拟终端将所述第一会议和所述第二会议中的数据进行交换;
所述数据包括基于SVC的各种分辨率的音视频数据,各参会终端根据需求选择适当分辨率的音视频数据进行解码和组合。
2.根据权利要求1所述的会议级联方法,其特征在于,所述第二会议的其中一个终端和所述第一会议的其中一个终端为真实终端或虚拟终端。
3.根据权利要求1或2所述的会议级联方法,其特征在于,所述第二虚拟终端的入会信息为所述第二虚拟终端入会所需的令牌、号码、接入地址、被替身的所述第一会议的其中一个终端的相关信息;
所述第一虚拟终端的入会信息为所述第一虚拟终端入会所需的令牌、号码、接入地址、被替身的所述第二会议的其中一个终端的相关信息。
4.根据权利要求1-3中任意一项所述的会议级联方法,其特征在于,所述第一虚拟终端和所述第二虚拟终端的入会呼叫均走信令通道。
5.根据权利要求1-4中任意一项所述的会议级联方法,其特征在于,所述第二会议的其中一个终端和所述第一会议的其中一个终端通过其对应的虚拟终端将第一会议和第二会议中的数据进行交换的具体步骤包括:
将被第二虚拟终端替身的所述第一会议的其中一个终端的数据传送给所述第一虚拟终端,并根据第一会议的秘钥将其解密然后传递至所述第二虚拟终端;
所述第二虚拟终端根据第二会议的秘钥将解密后的所述被替身的第一会议的其中一个终端的数据进行加密,以转发给第二会议的各参会终端;
将被第一虚拟终端替身的所述第二会议的其中一个终端的数据传送给所述第二虚拟终端,并根据第二会议的秘钥将其解密然后传递至所述第一虚拟终端;
所述第一虚拟终端根据第一会议的秘钥将解密后的所述被替身的第二会议的其中一个终端的数据进行加密,以转发给第一会议的各参会终端。
6.根据权利要求1-5中任意一项所述的会议级联方法,其特征在于,所述方法还包括:
当设置级联会议中的一个参会终端为全局主会场时,其他级联会议将其参会的虚拟终端作为所述全局主会场的替身,并将该替身逐级设置为所述其他级联会议的主会场,使得所有参与级联的会议中的各参会终端均可以接收所述全局主会场的基于SVC的各种分辨率的音视频数据,各参会终端根据需求选择适当分辨率的音视频数据进行解码和组合。
7.根据权利要求1-6中任意一项所述的会议级联方法,其特征在于,如果设置级联会议中虚拟终端作为其他会议的主会场的替身,则当其他会议的主会场发生变更时,作为主会场替身的虚拟终端自动将其绑定到变更后的新的主会场,并作为新的主会场的替身。
8.根据权利要求1-7中任意一项所述的会议级联方法,其特征在于,所述方法还包括:
当设置级联会议中的一个共享内容为全局共享内容时,其他级联会议将其参会的虚拟终端的共享内容逐级替换为所述全局共享内容。
9.根据权利要求1-8中任意一项所述的会议级联方法,其特征在于,所述方法还包括:
如果设置级联会议中虚拟终端作为其他会议的发言人的替身,则通过计算所述其他会议内各真实终端的声音能量,将能量高的参会终端作为发言人,绑定至所述虚拟终端作为该发言人的替身。
10.一种基于SVC的会议级联系统,其特征在于,所述系统包括:第一级联控制器和第一级联资源服务器,所述第一级联资源服务器包括第一虚拟终端和第二虚拟终端;
当第一会议与第二会议进行级联时:
所述第一级联控制器用于接收所述第二虚拟终端的入会信息,分配并存储所述第一虚拟终端的入会信息,并且将所述第二虚拟终端的入会信息和所述第一虚拟终端的入会信息传递给所述第一级联资源服务器;
所述第一虚拟终端用于发起对所述第一会议的入会呼叫,作为所述第二会议的其中一个终端的替身进入所述第一会议作为所述第一会议的参会终端;
所述第二虚拟终端用于发起对所述第二会议的入会呼叫,作为所述第一会议的其中一个终端的替身进入所述第二会议作为所述第二会议的参会终端;
所述第一虚拟终端和所述第二虚拟终端使得所述第二会议的其中一个终端和所述第一会议的其中一个终端通过其对应的虚拟终端将所述第一会议和所述第二会议中的数据进行交换;
所述数据包括基于SVC的各种分辨率的音视频数据,各参会终端根据需求选择适当分辨率的音视频数据进行解码和组合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211033202.7A CN115426336A (zh) | 2022-08-26 | 2022-08-26 | 基于svc的会议级联方法及其系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211033202.7A CN115426336A (zh) | 2022-08-26 | 2022-08-26 | 基于svc的会议级联方法及其系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115426336A true CN115426336A (zh) | 2022-12-02 |
Family
ID=84199638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211033202.7A Pending CN115426336A (zh) | 2022-08-26 | 2022-08-26 | 基于svc的会议级联方法及其系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115426336A (zh) |
-
2022
- 2022-08-26 CN CN202211033202.7A patent/CN115426336A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6442758B1 (en) | Multimedia conferencing system having a central processing hub for processing video and audio data for remote users | |
US9462228B2 (en) | Distributed real-time media composer | |
EP1678951B1 (en) | System and method for performing distributed video conferencing | |
CN100454820C (zh) | Mcu级联系统和该系统的创建及通信方法 | |
US8446451B2 (en) | Method and system for providing continuous presence video in a cascading conference | |
US6989856B2 (en) | System and method for performing distributed video conferencing | |
US8614732B2 (en) | System and method for performing distributed multipoint video conferencing | |
US20060159099A1 (en) | Videoconferencing device and system | |
WO2011140812A1 (zh) | 多画面合成方法、系统及媒体处理装置 | |
CN101895718A (zh) | 视频会议系统多画面广播方法及其装置和系统 | |
US9374232B2 (en) | Method and a device for optimizing large scaled video conferences | |
US9497417B2 (en) | Video conferencing with multipoint conferencing units and multimedia transformation units | |
CN108156413B (zh) | 视频会议的传输方法及装置、mcu | |
CN115426336A (zh) | 基于svc的会议级联方法及其系统 | |
CN105227895B (zh) | Mcu堆叠中的视频布局及处理的方法 | |
GB2402014A (en) | Multimedia conference terminal with source selection means | |
CN115734028A (zh) | 一种基于级联编码的媒体流推送方法及系统 | |
Feng | Routing and bandwidth management for multiparty videoconferencing | |
JP2003101980A (ja) | 通信方法、通信システム及びサーバ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |