CN105227895A - Mcu堆叠中的视频布局及处理的方法 - Google Patents

Abstract

本文公开了一种用于在堆叠视频会议中提供连续呈现视频流的方法和系统，所述堆叠视频会议即是通过堆叠MCU连接到端点而在多于一个MCU中进行的视频会议。无论哪些端点与哪个MCU相关联，堆叠连续呈现MCU连接控制器(MCC)从参与会议的所有端点中选择哪些端点应被显示在布局中。选择要被显示在连续呈现布局中的端点被传递到主MCU，以用于处理。

Description

MCU堆叠中的视频布局及处理的方法

技术领域

本发明涉及多点会议技术，并且更具体地涉及在通过堆叠两个或更多个多点控制单元(MCU)进行的会议中的视频布局。

背景技术

公司和组织越来越多地使用音频/视频会议技术和多点会议技术来提高组织内的通信和效率。大型组织在组织各处分布大量的多媒体终端。通常，一个或多个多点控制单元(MCU)为这些端点的内部多点多媒体会议技术的需要而服务。

多媒体端点是一种联网的终端，其能够提供与其他终端或MCU(例如，VSX8000)的实时双向视听通信。端点还可以包括MCU。MCU是位于网络节点处或在终端中的会议控制实体，并可以经由访问端口接收来自端点的多个媒体信道。根据特定标准，MCU处理视听和数据信号，并将所处理的信号分发到所连接的信道。端点和MCU的更详细的说明可以在国际电信联盟(“ITU”)标准中找到，所述标准例如但不限于H.320、H.324和H.323标准。

几种技术已被用于改善多点通信系统的使用和效率。这些技术中的一些通过使得能进行无预约呼叫、临时呼叫(ad-hoccall)、虚拟会议室等而改善了建立通信会话的过程。这些技术的一些在美国专利号7,085,243、7,310,320和7,830,824中公开，其各自通过引用并入本文。

其他技术通过供应监测和控制多个MCU的Web服务器来改善对多点通信网络的控制。使用快速更新的web控制技术的示例公开在美国专利号6,760,750中，其通过引用而并入本文。已经公开了附加的技术，以用于利用一个或多个MCU的资源、以用于级联一个或多个MCU、并且一般以用于改善一个或多个MCU的资源使用。例如，参见美国专利号8,542,266、7,800,642、7,492,730、7,174,365、7,113,992和美国专利公开号2012-0236111A1，其各自通过引用并入本文。

参考图1，MCU116一般具有有限的硬件和/或软件资源，例如，MCU116可能只具有对来自一定数目的端点114的视频信号进行编码/解码的能力。当MCU116可能具有有限的处理能力(硬件或软件)以支持视频信号的编码或解码时，就可能会发生这种情况。在另一个示例中，MCU116可以具有有限数量的视频输入端口。在每种情况下，使用级联MCU(116a、116b)的级联会议可用于克服资源限制。

在级联会议中，会议参与者可以被划分成两个或更多个网络中的两组或更多个组，并且每一个与不同的MCU116相关联，并且其中一个MCU116被指定为会议主MCU116a(MMCU)，而另一个MCU116被指定为会议从MCU116b(SMCU)。这种技术还可以在位于不同站点的参与者之间的会议中使用，每个站点具有其自己的MCU116，每个参与者可以使用他自己的本地MCU116，并且整个会议可以通过级联不同的本地MCU116进行。

图1是多点会议技术通信系统100的框图。例如，系统100可以由具有多个区域网络110的公司或由具有多个区域网络110的全球会议技术服务提供商使用。区域网络110可以对应于单独的会议技术站点，并可以经由分组交换网络120和/或电路交换网络130彼此通信。虽然区域网络110可以对应于特定的基于分组的网络段或域，但是这不是必须的，并且区域网络110可以跨越多个网络段或域。每个区域网络110可具有多个多媒体端点114和一个或多个本地或特定于站点的MCU116。

一个或多个控制服务器112(CS)可以用于每个区域网络110中。在每个区域网络110内，本地端点114的每个可以经由分组交换网络和/或电路交换网络与其相关联的本地MCU116进行通信(未示出)。在通信系统100的一个示例中，控制服务器112是Web服务器，其可以通过网络120使用互联网协议(IP)与每个本地MCU116进行通信。与MCU116的通信可以经由应用程序接口(API)模块(未示出)来完成，所述应用程序接口模块可以是MCU116的一部分。控制服务器112可以是用于执行多站点会议的级联的专用服务器，但也可被嵌入在MCU116中，或者可以包括共享单个Web服务器的应用。例如，如在上文并入的专利和专利申请参考中所公开的，单个Web服务器可以执行附加的会议技术应用，并可以用于管理连接、呼叫、虚拟会议室、监测和控制MCU116等。

在一个替代示例中，除了与MCU116进行通信外，控制服务器112可以与管理服务器(未示出)进行通信(例如，公司或全球服务提供商的服务器)。管理服务器可以包括潜在端点用户的管理数据库(未示出)，所述潜在端点用户诸如是公司员工或全球服务提供商的客户。管理数据库可以包括诸如姓名、不同类型的地址(例如电子邮件、电话等)、ID号(例如员工ID号、客户账单号或客户ID号)、认证号码和会议室号之类的信息。在另一个实施例中，控制服务器112和/或MCU116可以包括管理服务器。

根据正在进行的会议的类型，组织相关联的会议的视频。一种会议类型被称为视频切换会议，其中每个与会者看到一个所选择的参与者(视频的一个端点114的源)。会议期间，所选择的参与者可以保持不变，或者可以根据会议的动态而改变。例如，当前活跃的发言者可作为会议视频而向所有的参与者(即在所有端点114处)示出。一旦活跃发言者改变，则可示出一个新的活跃发言者。

另一种会议类型是连续呈现会议(CP)，其中贯穿会议，来自一个或多个所选择的端点114的视频可以被连续地示出。在连续呈现级联会议中，SMCU116b可以根据SMCU116b相关联的会议布局，将来自其相关联区域网络110的所选参与者的视频信号构成连续呈现视频。相关联的会议的混合音频和视频以类似于单个参与者的视频和音频的方式被传递到MMCU116a。一个常见的连续呈现过程涉及缩放来自各种源用户终端的视频数据来改变帧分辨率，以便在以后将其并入到连续呈现布局和视频混合中。

MMCU116a可以将从一个或多个SMCU116b接收的音频和视频和来自与MMCU116a相关联的参与者组的所选参与者的音频和视频相混合。其结果是级联会议的所混合的音频和视频。然后MMCU116a可以将级联会议的所混合的音频和视频递送到与它自已相关联的端点114a中的每一个，并且递送到所连接的一个或多个SMCU116b。一个或多个SMCU116b中的每一个可将级联会议的所混合的音频和视频分发到与其相关联的端点114b。

管理级联会议的一个挑战是，每个MCU116(MMCU116a和SMCU116b)从与其相关联的组选择要被混合和显示的参与者(端点114)，而这与所选择的参与者与其他相关联组中的参与者如何相关无关。另外，与MMCU116a相关联的参与者的图像的尺寸往往不同于与SMCU116b相关联的参与者的图像。

如图2所示，连续呈现布局200被用作是在与MMCU116a相关联的四个端点114a1-114a4和与SMCU116b相关联的四个端点114b1-114b4之间的会议的布局。参与者AM、BM、CM和DM可分别与端点114a1-114a4相关联，而参与者AS、BS、CS和DS可分别与端点114b1-114b4相关联。最活跃的发言者可以是参与者AM、BM、DM和AS，并且期望从在2x2的连续呈现布局中的最活跃的参与者中选择和示出视频。然而，在级联会议中，来自SMCU116b的视频被当做是来自任何其他端点114a的视频。布局200示出了来自SMCU116b(AS、BS、CS和DS)的所构成的视频如何取代在级联布局中的单个参与者的图块位置。其结果是，与SMCU116b相关联的参与者的每一个都得到了一个更小的屏幕区域(例如，在2X2布局中通常向参与者指派四分之一的空间)。

一种校正与MMCU116a相关联的参与者的图像尺寸相比于与SMCU116b相关联的参与者的图像尺寸的差别的方式是，通过迫使SMCU116b使用视频切换布局并递送单个所选参与者的视频。单个所选参与者的图像被放置在级联会议的布局中。布局220图示了迫使SMCU116b工作在切换模式中的2X2的连续呈现级联会议的快照。在切换模式中，SMCU116b递送覆盖整个帧的单个所选参与者的图像。因此，当MMCU116a将图像按比例缩小以将其放置在级联视频的连续呈现布局中时，按比例缩小的图像具有与MMCU116a相关联的参与者的图像相同的尺寸。

使用这种方法校正了尺寸的问题，但阻止了观看与SMCU116b相关联的其他参与者，即使他们的音频能量比AM和/或BM和/或DM的音频能量更高。因此，需要用于构成针对级联会议的视频的系统和方法，其中，参与者的每一个在相同准则下被评估，以用于被显示在布局中，而不管参与者是与MMCU还是与SMCU相关联。

发明内容

公开了一种用于在堆叠会议中提供连续呈现布局的系统和方法。根据一个实施例，两个或更多个MCU用于在具有一个或多个MCU连接控制器(MCC)模块的MCU堆叠视频会议中创建连续呈现布局。在连续呈现堆叠会议期间，MCC确定哪个参与者端点呈现在连续呈现布局中和参与者应出现在哪个窗口中。在会议期间，选择可以动态改变。MCC接收诸如会议的每位参与者的音频能量之类的信息。该信息可以周期性地由与会议相关联的每个MCU自动递送，或者可以由MCU从每个MCC处检索到。基于该信息，MCC确定：哪些端点将连接到哪一个MCU，并且在对于每个端点的连续呈现布局的每个窗口中将显示哪个端点视频。将该决定传递到被牵涉到堆叠会议中的每个MCU和每个端点。

附图说明

通过阅读以下描述并参考附图，将更加容易地理解示例性实施例，在附图中：

图1图示出了现有技术的级联会议的基本框图；

图2图示出了根据现有技术的用于显示连续呈现参与者的布局；

图3是具有MCU连接控制器(MCC)的堆叠主MCU的框图；

图4是MCC的框图；和

图5是图示了用于使用MCC管理连续呈现堆叠布局的过程的流程图。

具体实施方式

图3是根据本公开内容的可以用于进行具有一个或多个连续呈现布局的多媒体堆叠会议的堆叠主MMCU116a的简化框图。MMCU116a可以包括网络接口420、音频模块430、控制模块440和视频模块450。网络接口420可以根据各种各样的通信标准经由相关的网络通信区域110(图1)从终端114(图1)接收通信并处理通信。

网络接口420可用于从其他的MCU116b和/或一个或多个控制服务器112(图1)接收控制和数据信息，并向其他的MCU116b和/或一个或多个控制服务器112(图1)传输控制和数据信息。有关在端点和/或MCU之间通过不同网络的通信的更多信息和描述信令、控制、压缩以及如何设置和传递视频呼叫的信息例如可以在国际电信联盟标准H.320、H.321、H.323、H.261、H.263和H.264中找到。

视频模块450经由网络接口420接收来自与MCU116a相关联的多个端点114的压缩视频。此外，视频模块450可以从被牵涉到堆叠会议中的其他MCU116b处接收一个或多个相关联的连续呈现布局和/或可以向被牵涉到堆叠会议中的其他MCU116b创建一个或多个相关联的连续呈现布局。由视频模块450处理、构成和编码视频输入。视频模块450可以有多个输入模块452、输出模块456和通用接口，例如示出了四个输入模块452a-452d和五个输出模块456a-456e。输入模块452以及输出模块456中的一些可以与终端114相关联，并且输入模块452以及输出模块456中的一些可以与其他MCU116b相关联。每个输入模块452可包括视频解码器，并且每个输出模块456可包括视频编码器。在堆叠会议期间，I/O组(输入模块452和输出模块456)可与被牵涉到堆叠会议中的其他MCU116d相关联。

与MCU116相关联的组的数目取决于会议的架构。例如，如果会议是主/从架构，则MCU116中的一个被指定为MMCU116a，而一个或多个MCU116被指定为SMCU116b。在一个实施例中，MMCU116a的控制模块440包括控制服务器112a，其包括用于控制端点114到MCU116的连接的MCU连接控制器(MCC)460(下面将更详细的描述)。虽然在这里被示为是集成的，但是MCC460可以与MMCU116a分开。

在示例性堆叠MCU架构中，MMCU116a具有至少一个输出模块456，以将比特流分发到SMCU116b的每一个。从MMCU116a流出到SMCU116b的至少一个输出可以以最高的保真度被编码，并可包括将在CP布局中显示的端点视频流的数目多至少一个。这允许SMCU116b的输入模块452解码从会议主MMCU116a接收到的比特流，混合对于每个端点的音频和视频(例如减去属于接收端点114的音频和/或视频)和重新编码以用于递送到与会议从SMCU116b相关联的端点114。

视频模块450的各种组件的通用功能性是本领域已知的，并且将不在本文中穷尽地详细描述。然而，这样的细节的更详细的描述可以通过查阅美国专利公开号2002/0188731和美国专利号6,300,973而找到，其内容通过引用并入本文。本公开内容描述了在下文中结合图4描述的准备堆叠连续呈现布局时的视频模块450的操作。

音频模块430可以经由网络接口420从多个端点114或SMCU116b接收经压缩的音频流。音频模块430可以处理经压缩的音频流(包括混合相关的音频流)，并通过网络接口420将经压缩的混合信号发送回端点114和SMCU116b。在实施例中，被发送到端点114或SMCU116b中的每一个的音频流可以是不同的。例如，被发送到端点114中的不同端点的音频流可以根据不同的通信标准或根据单独的端点114的需要来格式化。作为另一个示例，音频流可以不包括与音频流被发送到的端点114相关联的用户的话音，但该话音可以被包括在所有其他音频流中。

音频模块430可被适配于分析来自端点114的所接收的音频信号，并确定每个端点114的音频信号能量。对于信号能量的信息可被传递到控制模块440。能量水平可以用作选择参数，以用于选择适当的一个或多个端点114作为用于混合会议的音频和/或视频的源，其有时被称为“呈现端点”。

MMCU116a和控制服务器112a可以使用API通过IP网络与每个SMCU116b进行通信。控制服务器112a可以执行会议技术的应用，并且可以用于管理预约呼叫、临时呼叫、呼叫转移、虚拟会议室、监测和控制MCU(例如“web指挥官”)等，如在前面并入的专利和专利申请参考中公开的。

控制服务器112a可以包括MCC460，以用于通过管理哪些端点114连接到哪一个MCU116来管理堆叠会议的一个或多个连续呈现布局中的不同窗口的构成。在实施例中，MCC460驻留在控制服务器112内。在其他实施例中，MCC460可以是独立的设备/模块和/或与多于一个的MCU116相关联，其中在堆叠会议期间只有一个MCC460处于活跃状态。将参考附图4和5更详细地讨论MCC460。

控制模块440可以是控制MMCU116a操作的逻辑单元。除了典型MCU116的通用操作，由于具有控制模块440，所以MMCU116a能进行附加操作。具体地，控制模块440可包括逻辑模块(未示出)，以用于控制连续呈现布局的构成。MCC460可以处理来自被牵涉到堆叠会议中的其他MCU116b的信息以及来自与MCU116a相关联的端点114的信息。通过选择哪些端点114将连接到MMCU116a的网络区域110中，该信息可以用于确定哪个端点114将被选择为在连续呈现布局中显示。

图4示出了示出MCC460的各种组件的框图。除了其他元件之外，MCC460可以包括通信模块462、堆叠会议参数记录器(logger)464、决定模块466和堆叠架构数据库468。MCC460经由通信模块462和(如果存在)控制服务器112a(图3)与被牵涉到堆叠会议中的每个MCU116通信。MCC460可以接收与一个或多个堆叠连续呈现布局的构成相关联的信息(参数)。该信息可以从不同的MCU116收集。参数可以包括与特定的MCU116相关联的不同参与者的音频能量，并包括在由MCU116生成的所构成的相关联的连续呈现视频中的每一个参与者的窗口位置。来自不同MCU116的信息可以周期性地由MCC460收集。例如，在替换实施例中，发送该信息可以是自动的，并且可以由MCU116在检测到例如参数中的一个参数的改变时发起。

MCC460可以经由通信模块462向堆叠会议会话中所牵涉的每一个SMCU116b发送指令。指令可以包括关于哪些端点114应被传递到SMCU116b或从MMCU116a传递哪个端点114的选择指令。详细说明端点114的传递的更多信息可以在并入本文参考的ITU标准H.450.2中找到。通信模块462可以从控制服务器112a(附图3)接收关于被牵涉到会议中的架构、MCU116b和端点114等的指令，并发送对于堆叠会议的状态信息到控制服务器112a。

会议参数记录器464是堆叠会议和其相关联的端点114和MCU116的动态参数可以被存储在其中的模块。会议参数记录器464可以是在采样周期中组织的循环数据结构，并可以包括最后一个“T”周期，其中“T”是例如一到几十个周期的范围。每个周期性部分可包括关于每个参与者的音频能量的信息，不管他们的图像是否被包括在当前一个或多个所构成的相关联的连续呈现布局中等等。例如，采样周期可以在几十毫秒到几秒的范围内。在一个实施例中，从不同的MCU116采样参数可以由会议参数记录器464管理，并且与MCC460的活动并行运行。在一个替换实施例中，会议参数记录器464可由决定模块466管理。

为了消除频繁的端点连接的改变和所呈现的端点114的视频图像的改变，参数记录器464可以从被存储在会议参数记录器464中的“J”个采样周期收集参数，并可以选择特定参与者频繁地比其他人更响亮的端点114。虽然那些参与者不是在最后一个或两个采样周期中更响亮的发言者，但是他们可能被任命为当前呈现的端点。“J”的值可以是小于或等于“T”。本发明的实施例也可以使用用于其他选择所呈现的端点的其他方法。

架构数据库468是用于存储相关于堆叠会议中端点114和MCU116的每个的信息的数据库。该信息可以包括在端点114和MCU116之间的关联和在用于当前堆叠会议的不同MCU116之间的关联。例如，相关于可由端点114请求的不同堆叠布局的信息以及用于选择合适的端点114的选择规则也可以被存储在架构数据库468中。附加地，也可以存储相关于每个端点114的地址以及别名信息，例如，对于每个端点114和MCU116的IP地址。也可以从控制服务器112a接收关于架构的信息。此外，架构数据库468可以包括关于当前布局的动态信息，诸如但不限于，哪些端点114当前被连接以及它们被连接到哪个MCU116、新端点何时加入或离开会议等。可以从相关的MCU116递送该信息。

决定模块466通过管理不同MCU116的连接来管理被牵涉到当前的堆叠连续呈现会议中的不同堆叠会议布局的构成。基于存储在会议参数记录器464中的会议参数和存储在架构数据库468中的布局要求，决定模块466可以确定哪个端点114应被连接到MMCU116a，以及因此哪些端点114应该在每个堆叠会议布局中进行混合。

图5是图示了根据所公开的实施例的用于建立和控制堆叠连续呈现视频会议的过程600的流程图。为了清楚和简单起见，过程600被公开为其由活跃的MCC460作为控制模块440中的控制服务器112a(如图3中所示)的一部分而被实施。过程600可以由来自堆叠主MCU116的控制服务器112a在合适的开始时间(例如，在预定会议的开始时间或在开始临时呼叫堆叠连续呈现会议时)发起(602)。堆叠主MCU116管理所堆叠会议中的资源的全部，并可以是连接到堆叠会议的MCU116中的任何一个。为了清楚和简单起见，尽管这不是必须的，但仍然假定堆叠主MCU116也是会议主MMCU116a。

在发起时，堆叠主MCU116可以对会议中的其他MCU116进行轮询，以确定每个MCU116拥有的资源数量(例如，视频编码器和解码器的数量)。可替换地，在启动后，MCU116将自己报告其对堆叠主MCU116可用的资源数量。

然后，堆叠主MCU116选择(604)会议主MMCU116a，其可以具有用于支持要被显示在连续呈现(CP)布局中的端点114数量的基本资源(即编码器和解码器的最小数目)。例如，如果期望2x2的CP布局，则要被呈现的端点视频流的数量(“N”)为四。并且(“K”)可能是要参与到会议中的端点的总数量。在一个实施例中，具有最大数量的资源的MCU116被选择作为会议主MMCU116a。在另一个实施例中，选择具有最小数量的资源的第一MCU116。最小数量的资源可以例如被定义为N个解码器和N+1个编码器(“基本资源”)。如果没有MCU116被确定为至少具有基本资源，则第二MCU116将被选择作为主会议从设备，并被配置为堆叠或级联SMCU116b。

然后堆叠主MMCU116a可能针对每个SMCU116的端点信息而轮询每个SMCU116。该信息(其可以包括对于每个端点的IP地址)被存储(606)在上文参考图4讨论的堆叠架构数据库468中。因此，堆叠主设备跟踪每个端点114和每个端点114连接到哪里。端点114可以排序为E(1)到E（K）。

MCC460然后根据期望的连续呈现布局，指导每个SMCU116b来传递端点连接(608)。例如，如果两个端点114E(1)和E(2)初始地连接到MMCU116a，则MCC460可以指导控制端点114E(3)和E(4)的MCU116b以将它们的连接传递到MMCU116a，使得MMCU116a具有至少N个端点连接到其网络区域110。可以根据预定的参数，选择要显示在CP布局中的初始选择的端点114。在这一方面，某些端点114可以被指定为将在CP布局中初始示出的端点114。在一个实施例中，这是通过播种对于与端点114相关联的音频能量的值来实现的。

循环开始于步骤612，只要堆叠连续呈现会议是活动的则运行，并在堆叠连续呈现会议结束时终止。在步骤612，关于每个端点114的信息从不同的MCU116检索到。关于每个端点114的信息可以包括当前的音频能量和其在相关布局中的窗口位置(如果存在)。信息可以被存储在会议参数记录器464中(图4)。在会议参数记录仪464是循环缓冲器的实施例中，属于最早采样周期的一组信息可能会被删除。存储在会议参数记录器464中的信息可以由决定模块466(图4)检索和处理(616)，以用于确定布局和/或端点114的连接是否需要改变。

在步骤616，在选择要显示的呈现端点之后，检查每个堆叠会议布局的当前混合，并作出是否需要一个或多个MCU116b混合的改变的决定。如果不需要，则决定模块466可等待下一次迭代。如果需要视频混合的改变，则决定模块466可确定哪个MCU116被牵涉到当前改变中和在CP布局的哪一个窗口中放置新的一个或多个端点的视频图像。发送适当的指令到相关的MCU116，即，连接到相关端点的那些MCU116。当执行所要求的改变时，决定模块466可等待下一次迭代。

可使用不同的方法来确定是否需要改变。例如，一种方法可能将参与者按从最高到最低的音频能量排名(参与者的数量取决于CP布局中可能窗口的数量，在本示例中为N)，并选择在前“t0”个采样周期中具有更高音频能量的端点作为所呈现的端点(“t0”可以是被存储在会议参数记录器464中的从一到采样周期的最大数量之间的任何数目)。例如，如果连接到MMCU116a的端点E(1)至E(N）的音频能量大于从端点E（N+1)到E（K）的音频能量，则不需要任何改变。其他确定是可能的，另一种方法可以在存储在会议参数记录器464中的整个采样周期中选择最频繁最响亮的N个发言者；其他方法可能会增加一个新的参与者来替代在最后的周期中所选择的最弱的发言者。在一个替换实施例中，所移除的呈现端点可以是较不频繁的发言者等。然后过程600可以将新选择的参与者与当前显示的参与者比较，以用于确定(620)当前布局中是否需要改变。如果在步骤620，不需要改变当前CP布局的任何内容，则过程600可以返回到步骤612，并等待下一次迭代。

如果在步骤620，需要CP布局(在布局中或在一个或多个参与者的选择中)的改变，并且要被提出(新显示)的端点没有连接到MMCU116a，则决定模块466可确定(624)在每个MCU116中的所要求的改变。改变可包括用于将新提出的端点114传递到MMCU116a的网络区域110a，以及传递端点E（N）(例如具有最少量的音频能量的端点E(1）-E(N）中的端点114)。新组织可以通过信令和控制连接被传递到每个MCU116。在接收到新设置后，每个MCU116相应地更新(626)其内部资源，以便提供所要求的新的音频和视频混合。然后过程600返回到步骤612，并执行下一次迭代。

会议主MCU116a采用附加编码器对CP布局编码，并发送已编码的音频视频流到所有的会议从MCU116b。编码器使用会议的最高参数以用于编码。然后，从MCU116b可以使用被分配在该从MCU116b中的端点114的解码器中的一个解码器来解码从主MCU116a中接收到的流。然后从MCU116b使用被分配给与从MCU116b相关联的每个端点114的编码器重新编码所述流，以产生适合于该端点114的流。

在本公开内容中，词语“单元”、“元件”和“模块”可以互换使用。指定为单元或模块的任何事物可以是独立的单元、或专用或集成的模块。单元或模块可以是模块化的或具有模块化的方面以允许其被容易地移除并用另一个相似的单元或模块代替。每个单元或模块可以是软件、硬件和/或固件的任一种或任何组合。

在本公开内容的描述和权利要求中，“包括”、“包含”、“具有”和其动词变化用于指示动词的一个或者多个对象不一定是该动词的完整的一列构件、部件、元件、或者一个或者多个主体的部分。本领域技术人员将领会的是，本公开内容的主题可以以用于MCU116软件、加入到MCU116的附加硬件、或分布于MCU116之间附加的软件/硬件的形式来实现。

将领会的是，上述装置、系统和方法可以以多种方式变化，其包括改变步骤顺序和所使用的确切实现方案。所述实施例包括不同的特征，并非在本公开内容的所有实施例中都要求所有的这些特征。此外，本公开内容的一些实施例只使用特征中的一些特征或特征的可能组合。在所描述的实施例中指出的特征的不同组合对于本领域技术人员是容易想到的。此外，本公开内容的一些实施例可以由与本公开内容的不同实施例相关联地描述的特征和元件的组合来实现。

Claims (20)

1.一种准备用于视频会议的视频布局的方法，包括：

选择多个多点控制单元中的第一多点控制单元作为主多点控制单元；

从所述多个多点控制单元中的第二多点控制单元接收与多个端点相关联的信息；

将所述多个端点中的第一端点指派至所述第一多点控制单元；

将所述多个端点中的第二端点指派至所述第二多点控制单元；

由所述第一多点控制单元从所述多个端点接收参数；和

响应于所述参数中的改变，将所述第一端点重新指派至所述第二多点控制单元，并将所述第二端点重新指派至所述第一多点控制单元。

2.根据权利要求1所述的方法，进一步包括：

分析所述参数，并确定所述第一端点和所述第二端点的音频能量次序；和

确定所述音频能量次序中的改变。

3.根据权利要求1所述的方法，进一步包括：

响应于将所述第二端点重新指派至所述第一多点控制单元，确定用于所述第一多点控制单元的混合指令。

4.根据权利要求1所述的方法，进一步包括：

响应于将所述第一端点重新指派至所述第二多点控制单元，确定用于所述第二多点控制单元的混合指令；和

将所述混合指令从所述第一多点控制单元发送至所述第二多点控制单元。

5.根据权利要求1所述的方法，其中，响应于所述音频信息中的改变，将所述第一端点重新指派至所述第二多点控制单元，并将所述第二端点重新指派至所述第一多点控制单元，包括：

将传递指令从所述第一多点控制单元发送至所述第二多点控制单元。

6.根据权利要求1所述的方法，其中，响应于所述音频信息中的改变，将所述第一端点重新指派至所述第二多点控制单元，并将所述第二端点重新指派至所述第一多点控制单元，包括：

将混合指令从所述第一多点控制单元发送至所述第二多点控制单元。

7.根据权利要求1所述的方法，其中所述参数是音频参数。

8.一种用于视频会议的多点控制单元，包括：

用于将所述多点控制单元标识为视频会议的主多点控制单元的装置；

用于从被标识为从多点控制单元的第二多点控制单元接收与多个端点相关联的信息的装置；

用于将所述多个端点中的第一端点指派至所述主多点控制单元的装置；

用于将所述多个端点中的第二端点指派至所述从多点控制单元的装置；

用于由所述主多点控制单元从所述多个端点接收参数的装置；和

用于响应于所述参数中的改变，将所述第一端点重新指派至所述从多点控制单元，并将所述第二端点重新指派至所述主多点控制单元的装置。

9.根据权利要求8所述的多点控制单元，进一步包括：

分析所述参数，并确定所述第一端点和所述第二端点的音频能量次序；和

确定所述音频能量次序中的改变。

10.根据权利要求8所述的多点控制单元，进一步包括：

响应于将所述第二端点重新指派至所述第一多点控制单元，确定用于所述第一多点控制单元的混合指令。

11.根据权利要求8所述的多点控制单元，进一步包括：

响应于将所述第一端点重新指派至所述第二多点控制单元，确定用于所述第二多点控制单元的混合指令；和

将所述混合指令从所述第一多点控制单元发送至所述第二多点控制单元。

12.根据权利要求8所述的多点控制单元，其中响应于所述音频信息中的改变，将所述第一端点重新指派至所述第二多点控制单元，并将所述第二端点重新指派至所述第一多点控制单元，包括：

将传递指令从所述第一多点控制单元发送到所述第二多点控制单元。

13.根据权利要求8所述的多点控制单元，其中响应于所述音频信息中的改变，将所述第一端点重新指派至所述第二多点控制单元，并将所述第二端点重新指派至所述第一多点控制单元，包括：

将混合指令从所述第一多点控制单元发送至所述第二多点控制单元。

14.根据权利要求8所述的多点控制单元，其中所述参数是音频参数。

15.一种用于视频会议技术的多点控制单元连接控制器，包括：

通信模块，其被配置为

接收与视频会议相关联和与被牵涉到所述视频会议中的端点和多点控制单元相关联的指令；和

传输关于所述视频会议的状态信息；

决定模块，其被配置为：

确定用于连接到主多点控制单元的端点；

管理在所述主多点控制单元和从多点控制单元之间的连接；

堆叠会议参数记录器，其被配置为

收集所述视频会议的参数；和

存储所述参数；和

堆叠会议架构数据库，其被配置为

存储与被牵涉到所述视频会议中的端点和多点控制单元相关的信息。

16.根据权利要求15所述的多点控制单元连接控制器，其中所述堆叠会议参数记录器被进一步配置为：

在一个采样周期内采样会议参数。

17.根据权利要求16所述的多点控制单元连接控制器，其中所采样的会议参数包括在所述视频会议中的每个参与者的音频能量。

18.根据权利要求15所述的多点控制单元连接控制器，其中所述堆叠会议参数记录器被进一步配置为：

选择在所述视频会议中所关联的参与者频繁地比其他参与者更响亮的端点。

19.根据权利要求18所述的多点控制单元连接控制器，其中，即使所选择的端点在最近的采样周期内不是较响亮的发言者，也选择所述所选择的端点。

20.根据权利要求15所述的多点控制单元连接控制器，其中所述堆叠会议架构数据库包括：

定义在所述视频会议的端点和多点控制单元之间的关联的信息；和

定义在所述视频会议的多点控制单元之间的关联的信息。