CN101827244A - 虚拟分布式多点控制单元 - Google Patents

Abstract

本发明涉及虚拟分布式多点控制单元。一种在视频会议中的虚拟分布式多点控制单元可以使用主端点、一个或多个辅助端点、及一个或多个叶端点被实施。辅助端点可以从叶端点(这些叶端点可以向一个或多个本地参加者提供视频会议视频和音频/从其接收视频会议视频和音频)接收视频和/或音频。主端点可以从一个或多个辅助端点(这些辅助端点可以包括来自多个叶端点的积累视频流)和/或直接从一个或多个叶端点接收视频和/或音频。主端点可以排列接收的视频和/或音频，并且将积累视频和/或音频流提供给叶端点(例如，直接地和/或通过辅助端点)。虚拟分布式多点控制单元可以支持比主端点的输入端口和/或译码器多的叶端点的会议。

Description

虚拟分布式多点控制单元

优先权信息

本申请要求在2009年3月4日提交的标题为“Virtual DistributedMultipoint Control Unit(虚拟分布式多点控制单元)”的美国临时申请No.61/157,511、和在2009年3月4日提交的标题为“Videoconferencing Endpoint Extension(视频会议端点扩展)”的美国临时申请No.61/157,516的优先权，该申请No.61/157,511的发明人是Keith C.King、Ashish Goyal、及Hrishikesh Gopal Kulkarni，该申请No.61/157,516的发明人是Keith C.king、Matthew K.Brandt、及Wayne E.Mock，这两个申请No.61/157,511和No.61/157,516由此通过参考全部包括，就像这里充分和完全叙述那样。

技术领域

本发明一般涉及会议，并且更明确地说，涉及视频会议。

背景技术

视频会议可以用来允许在远程位置处的两个或更多个参加者使用视频和音频通信。每个参加者位置可以包括用于与其它参加者进行视频/音频通信的视频会议系统。每个视频会议系统可以包括摄像机和麦克风，以从第一或本地参加者收集视频和音频而发送到一个或多个其它(远程)参加者。每个视频会议系统也可以包括显示器和扬声器，以再现从远程参加者接收的视频和音频。每个视频会议系统也可以耦合到计算机系统上，以允许辅助功能性进入视频会议中。例如，辅助功能性可以包括数据会议(包括在会议期间为双方参加者显示和/或修改文档或影像)。

发明内容

在各个实施例中，一种虚拟分布式多点控制单元可以使用主端点、一个或多个辅助端点(facilitator endpoint)、及一个或多个叶端点被实施。虚拟分布式多点控制单元可以支持具有比主端点的输入端口和/或译码器多的端点(例如，较多叶端点和辅助端点)的会议。换句话说，在一个实施例中，主端点和一个或多个辅助端点可以一起作为分布式“虚拟MCU”操作，其中这个“虚拟MCU”可在视频会议中支持比仅单独通过主端点可能支持的端点多的端点。在一个实施例中，辅助端点可以为主端点提供补充视频和/或音频处理，因而能够在视频会议中实现比主端点通常能够处置的大的数量的端点。

辅助端点可以从叶端点(这些叶端点可以向一个或多个本地参加者提供视频会议视频和音频/从其接收视频会议视频和音频)接收视频和/或音频。主端点可以从一个或多个辅助端点(这些辅助端点可以包括来自多个叶端点的积累视频和/或音频流)和/或直接从一个或多个叶端点接收视频和/或音频。主端点可以排列接收的视频和/或音频，并且将积累视频和/或音频流提供给叶端点(例如，直接地和/或通过辅助端点)。

在一些实施例中，辅助端点可以产生合成视频图像，该合成视频图像具有从在视频会议中与辅助端点通信的两个或更多个相应叶端点接收的两个或更多个视频图像。辅助端点可以将合成视频图像传输到主端点。主端点可以接收合成视频图像(和例如，用于在合成视频图像中的视频图像的坐标信息)。主端点使用坐标信息可以分离出视频图像。主端点在会议中可以产生具有从多个叶端点接收的图像的新合成视频图像。主端点在会议中可以将合成视频图像传输到叶端点(例如，直接地或通过辅助端点)。叶端点可以分离出合成视频图像的视频图像，并且形成到显示器的不同合成视频图像(例如，根据本地用户偏好设置)。

在各个实施例中，辅助端点可以将接收的音频流发送到主端点。积累音频流在视频会议中可以由主端点和/或用于叶端点的辅助端点创建。在一些实施例中，相应叶端点的音频可以不包括在发送到相应叶端点的积累音频流中。

在一些实施例中，叶端点可以呼叫主端点或辅助端点，以开始/加入视频会议。主端点基于辅助端点或叶端点的至少一个可操作特性，可以将叶端点分配给辅助端点。叶端点然后可以呼叫分配的辅助端点，或者由主端点转移到辅助端点。如果主端点接收到在视频会议中的辅助端点将成为或已经成为不可用的指示，则主端点可以定位不同的辅助端点以用在视频会议中。主端点可以将指令发送到相应叶端点和/或替代辅助端点，以建立新通信链路。

在各个实施例中，初级端点可以确定在视频会议中是否由次级端点管理一个或多个端点。初级端点可以在视频会议之前(例如，在接收到开始视频会议的请求时)或在视频会议期间进行确定。在一些实施例中，初级端点可以管理一组次级端点，从而如果需要，则初级端点可以使用一个或多个次级端点管理视频会议，并且/或者通过支持在视频会议中涉及的一个或多个端点，帮助初级端点管理视频会议。

在一些实施例中，初级端点可以确定是否将在视频会议中的端点中的一个或多个的会议通信，在视频会议中从初级端点切换到次级端点。例如，如果初级端点需要管理视频会议的辅助输入，则初级端点可以切换会议通信。例如，如果在视频会议中的视频输入的数量(例如，来自远程端点、本地摄像机、等等)即将超过或预计要超过初级端点的处理能力(例如，译码器端口的数量)，则切换可能发生。在这种情况下，初级端点可以进行将视频输入源(例如，远程端点)中的一个或多个转移到具有管理(或帮助管理)视频会议能力的次级端点的切换确定。初级端点因而可以部分基于在视频会议中的端点数量进行切换确定(例如，如果端点的数量超过初级端点的输入端口的数量，则初级端点可以将端点中的一个或多个切换到次级端点)。在初级端点正在将全部视频会议转移到一个或多个次级端点的场合，切换也可能发生。

在一些实施例中，初级端点可以将切换指令通信到次级端点和/或在视频会议中要被切换的端点。在一些实施例中，初级端点可以将在视频会议中的视频输入源中的一个或多个转移到初级端点控制的次级端点(或者可以将整个视频会议的控制转给次级端点)。在一些实施例中，初级端点可以无缝地将端点中的一个或多个转到次级端点，从而视频会议的参加者可能不知道已经进行切换。在一些实施例中，初级端点可以联系次级端点，并且然后可以通过使要被转的端点将它们的视频(和/或音频)发送到不同的地址(例如，次级端点的IP(网际协议)地址)，将端点转到次级端点。初级端点也可以将用于端点的配置信息转到次级端点。在一些实施例中，初级端点可以至少部分地基于外部指示进行切换确定(例如，视频会议的参加者可以指导初级端点进行切换，并且/或者规定将通信切换到的次级端点)。

在一些实施例中，初级端点可以管理多个次级端点，以进行一个或多个视频会议。在一些实施例中，初级端点可以使用一个次级端点每视频会议。作为另一个例子，初级端点可以按堆叠方法在几个次级端点上组织视频会议，从而在使用另一个次级端点之前，使用一个次级端点的输入端口的全部。使用堆叠方法，单个视频会议可以实际被支持在多个次级端点上。在一些实施例中，初级端点和/或次级端点可以使用n-谈话者处理方法，以在视频会议中的一个或多个中支持比视频会议的输入端口的总数多的视频会议端点。

附图说明

图1a-c表明根据实施例的视频会议端点网络。

图2表明根据实施例的视频会议端点。

图3表明根据实施例的一种方法的流程图，该方法用来实施分布式虚拟多点控制单元，以使用辅助端点和主端点在至少两个叶端点之间实现视频会议。

图4a-d表明根据实施例的、用于在视频会议端点中的编码器/译码器的布置。

图5a-b表明根据实施例的重新合成过程的整体视图，该重新合成过程包括虚拟译码器。

图6表明根据实施例的视频图像流。

图7表明根据实施例的视频图像布局。

图8a-b表明根据实施例的分离视频图像，这些分离视频图像用于布置在新视频布局中。

图9表明根据实施例的、用于视频帧的坐标系。

图10表明根据各个实施例的各种视频图像布局。

图11表明根据实施例的一种方法的流程图，该方法用于在分布式虚拟多点控制单元中的音频管理。

图12表明根据实施例的一种方法的流程图，该方法用来控制分布式虚拟多点控制单元。

图13表明根据实施例的一种方法的流程图，该方法用来隔离在分布式虚拟多点控制单元中的叶端点。

图14表明根据实施例的、在主端点、辅助端点、及叶端点之间的通信路径。

图15a-b表明根据实施例的、在主端点、辅助端点、及叶端点之间的视频和音频信号。

图16a-b表明根据各个实施例的示范视频会议单元。

图17表明根据实施例的一种方法的流程图，该方法用来显示最后N个谈话者。

图18a表明根据实施例的一种方法的流程图，该方法用来扩展端点资源。

图18b-d表明根据实施例的到次级端点的切换端点通信。

图18e-f表明根据实施例的、用于多视频会议呼叫的扩展端点资源。

本发明可以具有各种修改和可选择形式，但其具体实施例作为例子表示在附图中，并且这里将详细地描述。然而，应该理解，附图和对其的详细描述不是要将本发明限于公开的特定形式，而是相反，本发明要覆盖落在由附属权利要求书所限定的本发明的精神和范围内的所有修改、等效物、及选择例。注意，标题仅用于组织目的，并且不意味着被用来限制或解释说明书或权利要求书。此外，注意，字词“可以”贯穿本申请，具有许可意义(即，具有可能、能够)、而不是强制令意义(即，必须)使用。术语“包括”、和其派生词，意味着“包括但不限于”。术语“耦合”意味着“直接或间接地连接”。

具体实施方式

通过参考的包括

标题为“Video Conferencing System Transcoder(视频会议系统代码转换器)”的美国专利申请No.11/252,238由此通过参考全部包括，就像这里充分和完全叙述那样，该申请在2005年10月17日提交，其发明人是Michael L.Kenoyer和Michael V.Jenkins。

标题为“Speakerphone Supporting Video and Audio Features(支持视频和音频特征的扬声器电话)”的美国专利申请No.11/251,086由此通过参考全部包括，就像这里充分和完全叙述那样，该申请在2005年10月14日提交，其发明人是Michael L.Kenoyer、Craig B.Malloy及Wayne E.Mock。

标题为“Virtual Decoders(虚拟译码器)”的美国专利申请No.12/142,263由此通过参考全部包括，就像这里充分和完全叙述那样，该申请在2008年6月19日提交，其发明人是Keith C.King和Wayne E.Mock。

标题为“Video Conferencing System which Allows Endpoints toPerform Continuous Presence Layout Selection(允许端点进行连续存在布局选择的视频会议系统)”的美国专利申请No.12/142,302由此通过参考全部包括，就像这里充分和完全叙述那样，该申请在2008年6月19日提交，其发明人是Keith C.King和Wayne E.Mock。

标题为“Video Conferencing Device which Performs Multi-wayConferencing(进行多路会议的视频会议装置)”的美国专利申请No.12/142,340由此通过参考全部包括，就像这里充分和完全叙述那样，该申请在2008年6月19日提交，其发明人是Keith C.King和Wayne E.Mock。

标题为“Video Decoder which Processes Multiple Video Streams(处理多视频流的视频译码器)”的美国专利申请No.12/142,377由此通过参考全部包括，就像这里充分和完全叙述那样，该申请在2008年6月19日提交，其发明人是Keith C.King和Wayne E.Mock。

标题为“Virtual Multiway Scaler Compensation(虚拟多路缩放器补偿)”的美国专利申请No.12/171,358由此通过参考全部包括，就像这里充分和完全叙述那样，该申请在2008年7月11日提交，其发明人是Keith C.King和Wayne E.Mock。

标题为“Integrated Videoconferencing System(集成视频会议系统)”的美国专利申请No.11/405,686由此通过参考全部包括，就像这里充分和完全叙述那样，该申请在2006年4月17日提交，其发明人是Michael L.Kenoyer、Patrick D.Vanderwilt、Craig B.Malloy、William V.Oxford、Wayne E.Mock、Jonathan I.Kaplan、及JesseA.Fourt。

标题为“Videoconferencing Endpoint Extension(视频会议端点扩展)”(5896-11200)的美国临时专利申请No.61/157,516由此通过参考全部包括，就像这里充分和完全叙述那样，该申请在2009年3月4日提交，其发明人是Keith C.King、Matthew K.Brandt、及Wayne E.Mock。

标题为“Virtual Distributed Multipoint Control Unit(虚拟分布式多点控制单元)”的美国临时专利申请No.61/157,511由此通过参考全部包括，就像这里充分和完全叙述那样，该申请在2009年3月4日提交，其发明人是Keith C.King、Ashish Goyal、及HrishikeshGopal Kulkarni。

图1a-c表明视频会议系统网络100的实施例。图1a-c表明视频会议系统网络100的示范实施例，该视频会议系统网络100可以包括网络101和端点103a-103d(例如，视频会议系统)(也可想到其它端点数量)。尽管在图1a-c中未表示，但视频会议系统网络100也可以包括其它装置，如网关、服务提供器、会议单元、及普通旧电话系统(POTS)电话。端点103a-103d(这里描述的这些和其它端点一般称作“端点103”)可以耦合到网络101上(例如，经网关(未表示))。网关可以每个都例如包括防火墙、网络地址翻译(NAT)、分组过滤器、及/或代理机构。

端点103可以包括视频会议系统端点(也称作“参加者位置”)。每个端点103可以包括摄像机、显示装置、麦克风、扬声器、及编码译码器或其它类型的视频会议硬件。在一些实施例中，端点103可以包括视频和话音通信能力(例如，视频会议能力)，并且包括各种音频装置(例如，麦克风、音频输入装置、扬声器、音频输出装置、电话、扬声器电话、等等)或者耦合到它们，及包括各种视频装置(例如，监视器、投影伙、显示器、电视、视频输出装置、视频输入装置、摄像机、等等)或者耦合到它们。在一些实施例中，端点103可以包括用来耦合到一个或多个装置(例如，音频装置、视频装置、等等)并且/或者耦合到一个或多个网络的各种端口。端点103可以每个都包括一个或多个实时协议并且/或者实施一个或多个实时协议，例如，会话启动协议(SIP)、H.261、H.263、H.264、H.323。在实施例中，端点103可以实施用于高清晰度(HD)视频流的H.264编码。在一些实施例中，多点控制单元(MCU)可以起从两个或更多个源(例如，端点103)接收视频和将视频(例如，具有合成视频图像)提供给两个或更多个接收者(例如，端点103)的作用。这里所使用的“MCU”旨在具有全宽度的其普通意思。在一些实施例中，一个或多个端点103可以包括嵌入MCU功能性。

网络101可以包括广域网(WAN)，如互联网。网络101可以包括耦合在一起的多个网络，例如，耦合到互联网上的一个或多个局域网(LAN)。网络101也可以包括公用交换电话网(PSTN)。网络101也可以包括集成服务数字网络(ISDN)，该集成服务数字网络可以包括H.320能力，或者实施H.320能力。在各个实施例中，视频和音频会议可以在各种类型的联网的装置上实施。

在一些实施例中，端点103a-103d可以每个都包括各种无线或有线通信装置，这些通信装置实施各种类型的通信，如有线以太网、无线以太网(例如，IEEE 802.11)、IEEE 802.16、寻呼(paging)逻辑装置、RF(射频)通信逻辑装置、调制解调器、数字用户线路(DSL)装置、有线(电视)调制解调器、ISDN装置、ATM(异步转移模式)装置、卫星收发装置、并行或串行端口总线接口、及/或其它类型的通信装置或方法。

在各个实施例中，描述的方法和/或系统可以用来实施在两个或更多个参加者位置或端点之间或它们中的连接性，这些参加者位置或端点均具有通过网络101通信的话音和/或视频装置(例如，端点103a-103d)。

在一些实施例中，视频会议系统网络100(例如，端点103a-103d)可以设计成借助于网络基础结构操作，该网络基础结构支持T1能力或较小，例如，在一个实施例中的1.5兆比特每秒或更小、和在其它实施例中的2兆比特每秒(也可想到其它能力(例如，6兆比特每秒、大于10兆比特每秒))。视频会议系统可以支持HD能力。术语“高分辨率”包括具有1280×720像素和更高的分辨率的显示。在一个实施例中，高清晰度分辨率可以包括在60帧每秒下的1280×720逐行扫描、或1920×1080隔行扫描或1920×1080逐行扫描。因而，本发明的实施例可以包括视频会议系统，该视频会议系统使用具有带宽T1能力或较小的网络基础结构，具有HD“例如，类似于HDTV”显示能力。术语“高清晰度”是指具有全宽度的其普通意思，并且包括“高分辨率”。

图1a、1b、及1c表明视频会议网络的配置。视频会议网络可以是可操作的以进行发现，例如，使用在网络中由视频会议系统存储的一个或多个视频会议应用程序。如图1a中所示，端点103a-d可以经网络101(例如，诸如互联网之类的广域网)连接，并且端点103c和103d可以通过局域网(LAN)175而耦合。网络可以是所希望的任何类型的网络(例如，有线的或无线的)。这些视频会议系统尤其根据下面描述的实施例可以发现彼此。

图1b表明在视频会议系统端点103中的关系的实施例。如表示的那样，端点103a可能知道端点103b-103d，这些端点103b-103d中的每一个可能知道另外的端点(例如，分别为103e-g、103h-j、及103k-m)。图1c表明另一个实施例，该实施例表示多层辅助端点153(例如，第二层辅助端点103f)。端点103a可以是可操作的，以根据在标题为“Videoconferencing System Discovery(视频会议系统发现)”的美国专利申请No.11/858,342中描述的方法自动地发现端点103e-m中的一个或多个，该专利申请在2007年9月20日提交，其发明人是Matthew K.Brandt，及该专利申请由此通过参考全部包括，就像这里充分和完全叙述那样。以类似方式，在图1b中表示的其它端点103中的每一个，如端点103h，能够自动地发现在图1b中表示的端点103中的其它端点的子集或全部。

图2表明视频会议系统端点103(例如，端点103a)的示范实施例，该视频会议系统端点103也称作视频会议系统、视频会议单元、或参加者位置。端点103可以具有系统编码译码器盒209，以管理扬声器电话205/207和视频会议硬件(例如，摄像机204、扬声器271、273、275、等等)。扬声器电话205/207和其它视频会议系统元件可以耦合到编码译码器盒209，并且可以从系统编码译码器盒209接收音频和/或视频数据。

在一些实施例中，端点103可以包括用来获得(例如参加者214的)参加者位置的视频图像的摄像机204(例如，HD摄像机)。也可想到其它摄像机。端点103也可以包括显示器201(例如，HDTV显示器)。由摄像机204获得的图像可以本地地显示在显示器201上，并且也可以被编码和传输到在视频会议中的其它端点103。

端点103也可以包括音响系统261。音响系统261可以包括多个扬声器，这些扬声器包括左扬声器271、中心扬声器273、及右扬声器275。也可以使用其它数量的扬声器和其它扬声器配置。端点103也可以使用一个或多个扬声器电话205/207，这些扬声器电话205/207可以菊花链接在一起。

在一些实施例中，视频会议端点元件(例如，摄像机204、显示器201、音响系统261、及扬声器电话205/207)可以耦合到系统编码译码器(“压缩器/解压器”)盒209上。系统编码译码器盒209可以放置在桌子或地板上。也可想到其它放置。系统编码译码器盒209可以从网络(例如，网络101)接收音频和/或视频数据。系统编码译码器盒209可以将音频发送到扬声器电话205/207和/或音响系统261，并且将视频发送到显示器201。接收的视频可以是在HD显示器上显示的HD视频。系统编码译码器盒209也可以从摄像机204接收视频数据和从扬声器电话205/207接收音频数据，并且将视频和/或音频数据在网络101上传输到另一个视频会议系统端点103。视频会议系统端点103可以由参加者通过在扬声器电话205/207和/或遥控器250上的用户输入元件(例如，按钮)控制。也可以使用其它系统接口。

在各个实施例中，系统编码译码器盒209可以实施实时传输协议。在一些实施例中，系统编码译码器盒209可以包括用来编码和/或译码(例如，压缩和解压)数据(例如，音频和/或视频数据)的任何系统和/或方法。在一些实施例中，系统编码译码器盒209可以不包括压缩/解压功能中的一个或多个。在一些实施例中，通信应用程序可以使用系统编码译码器盒209，将模拟信号转换成用来在各种数字网络(例如，网络101、PSTN、互联网、等等)上传输的数字信号和将接收的数字信号转换成模拟信号。在各个实施例中，编码译码器可以用软件、硬件、或两者的组合实施。用于计算机视频和/或音频的一些编码译码器可以例如包括MPEG、Indeo^TM、及Cinepak^TM。

在一些实施例中，端点103可以捕获本地参加者的本地图像，并且提供视频流(例如，对于另一个端点103)。在一些实施例中，端点103可以创建所接收的视频流中的两个或多个的合成视频图像407(例如，见图4a-d)，并且将合成视频图像407提供给端点103中的每一个。合成视频图像407可以具有一定布局405。根据一个实施例，端点103也可以产生坐标信息(或元数据)，该坐标信息描述各个图像在合成视频图像407中的位置。端点103可以使用坐标信息从合成视频图像407分离出多个图像，并且然后产生具有例如由用户规定的新布局的新合成视频图像。端点103在分离出接收的合成视频图像407时也可以使用虚拟译码器技术，如下面描述的那样。

视频会议系统103可以执行各种视频会议应用程序软件，该软件在显示器201上呈现图形用户接口(GUI)。GUI可以用来呈现地址本、联系清单、以前被呼叫者的清单(呼叫清单)、及/或指示其它视频会议系统端点103的其它信息，用户可能希望呼叫该其它视频会议系统端点103以进行视频会议。在一个实施例中，视频会议系统端点103可以包括用来进行对其它视频会议系统端点103的自动发现、并且用来将所发现的信息填充到视频会议应用程序地址本、联系清单、等等中的软件。

图3表明根据实施例的一种方法的流程图，该方法用来实施分布式虚拟多点控制单元，以使用至少一个辅助端点153和主端点151在叶端点155之间支持视频会议。在各个实施例中，端点103可以用作叶端点155、辅助端点153、及/或主端点151。端点103可以由用户指定为主端点151或辅助端点153。也可想到其它指定(例如，接收对视频会议的呼叫请求的端点103可以成为用于视频会议的主端点151(例如，直到不同的端点103被指定为主端点151))。

在一些实施例中，主端点151可以通过一个或多个辅助端点153帮助在多个叶端点155之间的视频会议呼叫(例如，见图1b-c)。在一些实施例中，参加者也可以参加在辅助端点153和/或主端点151(它们也可以包括摄像机和/或麦克风)处的视频会议。主端点151和辅助端点153一起可以作为分布式虚拟多点控制单元操作，以按分布和容易可扩展方式完成多点控制单元功能。尽管术语“叶端点”、“辅助端点”及“主端点”用来指在视频会议中完成各种功能的端点，但要理解，“叶端点”、“辅助端点”及“主端点”可以包括大体类似的视频会议系统。例如，在一个实施例中，“叶端点”、“辅助端点”及“主端点”中的每一个可以是可操作的，以接收3个输入信号和提供两个输出信号。也可想到其它数量的输入和输出信号能力。例如，如在图16a中看到的那样，端点可以具有7个输入和1个输出，或者如在图16b中看到的那样，端点可以具有12个输入和12个输出。在一些实施例中，“叶端点”、“辅助端点”及“主端点”可以具有不同的能力(例如，每个叶端点155可以具有一个输入信号和一个输出信号，并且每个主端点151可以具有5个输入信号和10个输出信号)。也可想到其它能力。应该注意，在下面描述的方法的各个实施例中，描述的元素中的一个或多个可以同时地进行、按与表示的不同的顺序进行、或者可以完全省略。也可以进行其它辅助元素，如希望的那样。

在301处，叶端点155可以与辅助端点153通信(例如，通过网络101)。在一些实施例中，叶端点155可以呼叫主端点151，并且主端点151可以将叶端点155重新指向到辅助端点153(例如，通过提供辅助端点153的网际协议(IP)地址)。在一些实施例中，叶端点155可以直接呼叫辅助端点153。例如，叶端点155可以在视频会议呼叫前已经提供辅助端点IP地址。在一些实施例中，由主端点151、辅助端点153、及/或叶端点155实施的控制软件可以预先确定会议配置，并且可以在视频会议呼叫之前将适当辅助端点标识和/或联系信息发送到叶端点155。例如，用于多个端点103的呼叫统计信息(例如，呼叫日期/时间、呼叫长度、参加者的数量每呼叫、等等)可以被保持，并且用来预测在计划的会议呼叫时哪个端点103可能是可用的(例如，呼叫统计信息可以指示特定端点103通常在星期四下午不被使用，并因此，该端点103可以是用于在星期四下午的视频会议呼叫的潜在端点103)。作为另一个例子，收集的呼叫统计信息可能指示，具有10个输出的端点103通常在上午9am与10am之间有至少5个可用输出。这种可用性可以使得这个端点103对于用于在9am与10am之间计划的视频会议呼叫的5个输出是潜在端点103。在一些实施例中，控制软件可以分析呼叫统计信息，以确定用于会议呼叫和/或为其保留的潜在端点103。也可想到其它呼叫统计信息实施例。在一些实施例中，控制软件对于将来呼叫或当呼叫正在由在视频会议呼叫期间的主端点151接收时，可以确定具体主端点151、辅助端点153、等等。在一些实施例中，呼叫统计信息也可以用来将在视频会议呼叫期间的端点103重新连接到不同的辅助(或主)端点上。例如，如果辅助端点153成为不可用的，则主端点151可以将通过辅助端点153通信的叶端点155重新分配给不同的辅助端点153。

在一些实施例中，叶端点155可能会透明地转移到辅助端点153，从而用户不能立即知道呼叫已经被转移。在一些实施例中，叶端点155根据预定呼叫配置可以自动地连接到辅助端点153上。转移和/或自动呼叫建立对于会议参加者可以是透明的，从而会议参加者不必采取促进虚拟分布式呼叫的任何行动。在一些实施例中，叶端点155可以将一个或多个操作特性提供给辅助端点153(例如，分辨率、音频编码格式、等等)，或者操作特性可以由主端点151提供给辅助端点153(例如，在转移过程之前或期间)。

在一些实施例中，叶端点155通过与主端点151通信(例如，不用通过辅助端点153通信)可以参加视频会议。在一些实施例中，如果第一叶端点与在视频会议中的主端点151通信，并且第二叶端点呼叫到第一叶端点，则第一叶端点可以转换成用于视频会议的辅助端点153。在一些实施例中，第一叶端点因而可以支持MCU模式，以支持多个叶端点155。主端点151可以将第一叶端点当作辅助端点153。

在303处，辅助端点153可以从一个或多个叶端点155接收视频图像。叶端点155可以在远处或本地，并且视频可以包括视频(例如，来自摄像机)或影像(presentation)(例如，来自MicrosoftPowerpoint^TM影像)。在一些实施例中，在视频会议中可能涉及多级辅助端点153(例如，如在图1c中看到的那样，端点103f可以用作用于叶端点103n-p的辅助端点153，并且可以通过分离的辅助端点103b连接到主端点151上)。在一些实施例中，叶端点155可以连接到主端点151上而不经由辅助端点153(例如，在图1c中的端点103q-r)。在一些实施例中，辅助端点153(和/或主端点151)也可以在视频会议呼叫中将视频/音频提供给对于辅助端点153和/或主端点151是本地的参加者。例如，参加者可以通过连结到相应辅助端点153和/或主端点151上的视频会议设备(例如，摄像机、监视器、扬声器、等等)，与在辅助端点153和/或主端点151处的视频会议相交互。在一些实施例中，在发送了经历分组损失的帧的主端点151和/或辅助端点153和/或叶端点155之间可以管理视频分组损失。例如，如果由主端点151探测到视频分组损失，则主端点151可以请求发送了经历分组损失的帧的辅助端点153或叶端点155，将视频帧重新发送到主端点151。分组损失也可以由辅助端点153和/或叶端点155管理。例如，如果在由与辅助端点153通信的叶端点155发送的视频帧中由辅助端点153探测到视频分组损失，则辅助端点153可以请求叶端点155重新发送视频帧。如果由叶端点155探测到视频分组损失(例如，在由主端点151或辅助端点153发送的视频帧中)，则叶端点155可以请求重新发送视频帧(例如，叶端点155可以请求对应主端点151或辅助端点153重新发送视频帧)。

在一些实施例中，辅助端点153可以使用一个或多个译码器409译码来自相应叶端点155的接收视频图像455。例如，用于包括相应接收视频图像455的视频帧的视频分组，在它们被接收(例如，通过网际协议(IP)端口)到辅助端点153中时，可以被组装。图4a-d表明辅助端点153的实施例。

在一些实施例中，辅助端点153也可以从叶端点155中的一个或多个接收视频图像布局偏好设置。例如，叶端点155可以从一个或多个视频会议参加者接收视频图像布局偏好设置(例如，通过在屏幕接口上的菜单)，并且可以将该偏好设置传输到辅助端点153。在一些实施例中，在遥控器250上的按钮可以允许视频会议参加者循环过两个或更多个可用布局偏好设置。视频图像布局偏好设置可以包括布局类型(例如，在图10中所看到的布局1001、1003、1005、1007、1009、或1011)。其它布局类型也是可能的。视频图像布局偏好设置可以规定哪个端点的视频图像要放置在可用布局位置的每一个中(例如，哪个端点视频图像应该放置在主布局位置中和哪个端点视频图像应该放置在其它布局位置中)。在一些实施例中，辅助端点153可以不从一个或多个叶端点155接收视频图像布局偏好设置。在一些实施例中，视频图像布局可以在辅助端点153或主端点151处产生。例如，在辅助端点153或主端点151上实施的控制软件可以确定哪个叶端点155具有当前扬声器，并且可以将对应视频图像放置在布局的主视频图像窗口中(例如，使其它端点视频图像布置在主视频图像周围)。也可想到其它布局选择方式。

在一些实施例中，辅助端点153也可以是可操作的，以从叶端点155接收其它信息。例如，叶端点155可以将数据发送到辅助端点153，以移动远端摄像机(例如，在另一个叶端点155上)。辅助端点153以后可以将这个信息传输到相应叶端点155，以移动远端摄像机。

在305处，辅助端点153可以产生具有两个或更多个视频图像455(例如，来自叶端点155和/或来自辅助端点153)的合成视频图像407。在一些实施例中，辅助端点153可以具有多个缩放器或定标器411和合成器413，以缩放接收的视频图像455和将两个或更多个视频图像455(例如，来自叶端点155)合成为例如布局405a。在一些实施例中，布局405a可以包括来自与辅助端点153通信的每个端点103(例如，每个叶端点155和/或辅助端点153)的视频图像455。在一些实施例中，布局405a可以处于预定格式中。例如，如果连接到三个叶端点155上，则每个叶端点155的视频图像可以缩放为1280乘360(像素)图像，并且合成视频图像407(例如，包括如在图9中看到的那样堆叠的三个图像)可以具有1280乘1080尺寸。也可想到其它格式。

在一些实施例中，缩放器411可以耦合到视频译码器409上(例如，通过在图4b中表示的交点开关499)，该视频译码器409译码来自各个视频源(例如，端点103)的视频图像455。在视频图像455被译码后，缩放器411可以缩放视频图像455。在一些实施例中，视频图像455中的一个或多个可以不缩放。例如，两个或更多个视频图像455可以重新布置成合成视频图像407而不被缩放。在一些实施例中，缩放器411可以是7-15抽头缩放器。缩放器411对于缩放的每个像素可以使用在视频图像455中的多个像素的线性组合(例如，具有类似或不同的系数)。也可想到其它缩放器411。在一些实施例中，视频图像455在被缩放之后可以存储在共享存储器495中。

在一些实施例中，合成器413可以存取视频图像455(例如，来自共享存储器495)，以形成合成视频图像407。在一些实施例中，合成器413的输出在由视频编码器453编码之前，可以再被缩放(例如，由缩放器415)。由缩放器415接收的视频数据可以根据主端点151的分辨率要求被缩放。在一些实施例中，合成器413的输出可以在编码和传输到主端点151之前不缩放。在一些实施例中，合成视频图像布局405a可以作为视频帧507通过视频流500传输到主端点151

在一些实施例中，辅助端点153可以确定视频图像455在合成视频图像布局405a中的坐标。例如，坐标信息519可以指示在视频帧507中视频图像455的一个或多个的开始/停止位置。这种坐标信息519可以存储在辅助端点153上。在一些实施例中，可以预先确定坐标。例如，具有标准开始/停止坐标的标准格式可以用于在合成视频图像407中图像，从而坐标信息519可能不必发送到接收主端点151，该接收主端点151正在期望标准格式的合成视频图像407。

在307处，辅助端点153可以将合成视频图像407和坐标信息519传输到主端点151。在一些实施例中，辅助端点153可以不将坐标信息519传输到主端点151(例如，如果合成视频图像407处于标准格式)。坐标信息519可以识别在接收合成视频图像布局405a中的具体视频图像455的位置。在一些实施例中，坐标信息519可以作为元数据901与合成视频图像布局405a一起被传输。元数据901可以包括用于视频帧507a的坐标信息519，该视频帧507a具有用于与叶端点155(和/或辅助端点153)相对应的相应视频图像455的开始(和/或停止)信息(例如，视频图像边界和/或像素开始和/或停止点)。元数据901也可以包括多个叶端点155的每一个的属性，这些属性包括与用于每个视频图像455的对应端点103相应的识别信息。也可想到在元数据901中的其它信息。在一些实施例中，坐标信息519可以按除元数据之外的形式发送。

在一些实施例中，辅助端点153可以将合成视频图像407发送到另一个辅助端点(例如，见在图1c中作为辅助端点操作的端点103f和103b)。第二辅助端点可以存取在合成视频图像中的一个或多个视频图像(例如，使用坐标信息519)以便放入在新合成视频图像中(例如，以便发送到主端点151)，或者第二辅助端点可以将合成视频图像放入到新合成视频图像中(并且可以将新合成视频图像和以后的坐标信息转到主端点151)。

在309处，主端点151可以接收合成视频图像407和坐标信息519(例如，在元数据901中)。例如，可以接收包括两个或更多个视频图像455的视频帧507a。视频帧507a可以作为在视频流500a中的一系列视频分组503a接收在译码器515a处。译码器515a可以将视频分组503a组装成它们的相应视频帧507a，以便在虚拟译码器517a中进一步处理。如以上提到的那样，在一些实施例中，坐标信息519可以不与合成视频图像407一起被接收。

在311处，主端点151使用坐标信息519可以分离出视频图像455。在主端点151处的虚拟译码器517a可以将连续存在布局405a分离成两个或更多个分开的视频图像455。在一些实施例中，坐标信息519可以用来寻找在视频帧507a内的视频图像455的视频图像边界。在一些实施例中，坐标信息519可以用来确定视频图像455在视频帧507a中在何处开始和停止。这些开始/停止位置可以由虚拟译码器517a用来将视频图像455与视频帧507a分离。在一些实施例中，分离视频图像455可以在合成视频图像405a外被定义和/或缩放。例如，坐标信息519可以由虚拟译码器517a用来裁剪在视频帧507a中的相应视频图像455(例如，视频图像455a和455b)。图9表明坐标信息519的使用的例子，该坐标信息519定位三个视频图像(例如，视频图像455a-c)的边界，以便分离视频图像455。例如，叶端点视频图像455a可以具有在0处的左边界、在0处的顶部边界、在1279处的右边界、及在359处的底部边界。类似地，叶端点视频图像455b可以具有在0处的左边界、在360处的顶部边界、在1279处的右边界、及在719处的底部边界。用于其它视频图像(例如，视频图像455b)的坐标信息519(例如，边界信息)也可以被提供(例如，在元数据901中)。在一些实施例中，三个视频图像可以按时间“堆叠”(例如，顺序地发送/接收但不在同一合成视频图像407中)。也可想到合成图像的其它实施例。

尽管关于视频帧507a表示三个视频图像455，但注意，视频帧507a可以包括两个或更多个视频图像455的其它组合，并且视频图像455可以在与在图5a中表示的不同的布局中。例如，视频帧507a可以包括在1280乘360像素视频帧中并排布置的两个视频图像(例如，每个640乘360像素)。视频帧507a然后可以分离成两个640乘360像素视频图像。也可想到其它视频图像/视频帧配置。

在一些实施例中，分离视频图像455可以包括例如将分离视频图像455存储在存储器的分离位置中。在一些实施例中，分离视频图像455可以包括将分离视频图像455的开始和/或停止位置存储在存储器中。也可想到用来分离视频图像455的其它手段。

在一些实施例中，虚拟译码器517a可以作为在诸如现场可编程门阵列(FPGA)或其它处理器之类的硬件上的软件抽象被实施。在一些实施例中，一个或多个虚拟译码器517a可以在单个ASIC(应用程序专用集成芯片)上实施。也可想到其它虚拟译码器配置。在一些实施例中，分离处理器通过发出再编程至少一个FPGA以实施虚拟译码器517a的命令，可以实施虚拟译码器517a。也可想到其它配置。

在313处，主端点151可以产生包括两个或更多个视频图像455(例如，来自叶端点155)的合成视频图像(例如，合成视频图像405b)。在一些实施例中，主端点151可以具有多个缩放器513a和合成器515a，以缩放接收的视频图像455并且将来自叶端点155的视频图像455的两个或更多个合成为例如新合成布局405b。在一些实施例中，在新合成布局405b中的视频图像可以源于与主端点151直接通信的、或通过辅助端点153与主端点151通信的叶端点155。在一些实施例中，合成为新合成布局405b的视频图像可以由分离辅助端点(每个都与不同的叶端点155通信)提供。例如，来自两个或更多个辅助端点153的相应合成视频图像可以被分离，并且来自这些合成视频图像的选中视频图像可以由主端点151合成为新合成视频布局405b。

在一些实施例中，主端点151可以将视频图像455合成为一个或多个相应视频图像布局(例如，如由相应叶端点155请求的那样)。例如，主端点151可以将接收的视频图像455的两个或更多个合成为合成视频图像405b(该合成视频图像405b可以包括从视频帧507a分离的、由缩放器513a缩放的及由合成器515a合成的视频图像455)。在一些实施例中，新合成视频图像405b可以包括本地图像555a(例如，来自对于主端点151是本地的摄像机)。在一些实施例中，主端点151可以根据相应接收视频图像布局偏好设置形成多个合成视频图像布局。在一些实施例中，对于所有的会议参加者，可以形成一种合成视频图像布局。

如在图6和7中看到的那样，示范合成布局700可以包括源于相应端点103e-m的九个视频图像701、703、705、707、709、711、713、715、及717(例如，来自端点103e的视频图像701、来自端点103f的视频图像703、等等)。合成布局700可以包括具有当前扬声器的端点的主视频图像701、和参加视频会议的其它端点的一个或多个侧视频图像(例如，侧视频图像703-717)。

在315处，主端点151可以将合成视频图像布局405b和坐标信息519传输到一个或多个叶端点155。在一些实施例中，主端点151可以将合成视频图像布局405b直接传输到每个叶端点(例如，通过网络101)。在一些实施例中，主端点151可以将合成视频图像布局405b通过相应辅助端点153传输到叶端点155。

在317处，叶端点155可以分离出合成视频图像405b的视频图像455，并且可以形成要显示的不同合成视频图像布局405c(例如，见图5b)。例如，叶端点155例如基于用户偏好设置，可以产生新合成视频图像布局405c。如在图8a中看到的那样，用于坐标719-735的坐标信息519可以与合成布局视频帧一起发送，并且由虚拟译码器517b(例如，在叶端点155处)用来将视频图像455分离成分离视频图像。在一些实施例中，分离视频图像的一个或多个可以提供给一个或多个缩放器513b。视频图像(如果有的话，包括缩放视频图像)然后可以提供给一个或多个合成器515b。一个或多个合成器515b可以将合成视频图像555合成为由本地参加者通过叶端点155请求的视频图像布局405c。在一些实施例中，本地参加者可以循环过或遍历来自叶端点155的布局供给(例如，通过点击循环到下个可用布局的图标)。在一些实施例中，缩放器513b和合成器515b可以用硬件或软件实施。在一些实施例中，可以使用图标缩放器(例如，如果端点的其它缩放器的全部都正在被使用)。

在一些实施例中，如果主视频图像701和两个侧视频图像707和709放置在具有相等尺寸的视频图像的视频图像布局800中(见图8b)，则主视频图像701可以按比例缩小，并且两个侧视频图像703和705可以按比例放大(或者根本不缩放)。也可想到其它缩放组合。在一些实施例中，分离视频图像可以不缩放(例如，分离视频图像可以仅重新布置)。在一些实施例中，缩放可以包括改变图像的外部尺寸的比值。

在一些实施例中，叶端点155可以形成新视频图像布局405c，该新视频图像布局405c包括其当前本地视频图像555b作为视频图像的一个。在一些实施例中，接收视频图像布局和新视频图像布局的布局可能是相同的。在一些实施例中，当前本地视频图像555b可能比原始发送到辅助端点153和在合成视频图像布局405b中接收的本地视频新。在一些实施例中，只有视频图像中的一个视频图像可以从合成视频图像布局405b中分离出。例如，可以分离与本地视频图像相对应的视频图像，并且可以将当前本地视频图像555b放置在合成视频图像布局405c中，代替以前的本地视频图像555a。

在319处，叶端点155可以显示新合成视频图像布局405c和/或来自主端点151的合成视频图像布局405b。图8b表明在显示器上具有三个视频图像701、707、及709的新视频图像布局800的例子。图10表明根据各个实施例的其它可能视频图像布局。也可想到其它视频图像布局。在一些实施例中，可以显示元数据901(例如，使每个相应视频图像在视频图像布局中)。

图11表明根据实施例的一种方法的流程图，该方法用于在分布式虚拟多点控制单元中的音频管理。应该注意，在下面描述的方法的各个实施例中，描述的元素的一个或多个可以同时地进行、按与表示的不同的顺序进行、或者可以完全省略。也可以进行其它辅助元素，如希望的那样。

在1101处，叶端点155(例如，在图15a中的端点103e-j)可以将相应音频流(例如，1541e-g)发送到相应辅助端点153(例如，端点103c)。来自在叶端点155处的麦克风的音频可以被编码，并且在相应音频流中被发送到用于叶端点155的相应辅助端点153。音频流也可以从叶端点155(例如，端点103h-j)发送到主端点151(例如，端点103a)。在一些实施例中，相应视频流1501a-f也可以发送到辅助端点153和/或主端点151。视频流1501a-f可以按原始格式从叶端点155发送到辅助端点153、主端点151，并且/或者在辅助端点153与主端点151之间发送。尽管原始格式可能减小来自主端点151的结果视频流的视频显示的等待时间，但原始格式可能要求较高比特速率。

在1103处，辅助端点153可以将接收音频流(例如，在包括接收音频流(例如，音频流1541e-g)的组合的混合音频流1543中，或者可以发送分离流1541e-g)发送到主端点151。辅助端点153在将音频发送到主端点151之前，可以译码从叶端点155接收的音频。辅助端点153在将组合音频流发送到主端点151之前，可以组合音频流和编码组合的音频流。在一些实施例中，发送到主端点151的音频流可能标有关于源叶端点155的信息。在一些实施例中，辅助端点153还可以将积累视频流1503发送到主端点151。在一些实施例中，积累视频流1503在一个视频流中可以包括合成视频图像，这一个视频流包括来自端点103e-g的视频图像。在一些实施例中，积累视频流可以包括来自端点103e-g的多个视频流。

在1105处，对于在视频会议中的每个参加端点103(例如，叶端点155、辅助端点153、及/或主端点151)，可以创建积累视频流(例如，音频流1551a-f(一般称作“积累音频流1551”))。每个相应积累音频流1551可以包括来自参加视频会议呼叫的其它端点103中的一个或多个的音频，并且可以不包括接收者端点103的音频。在一些实施例中，主端点151可以创建用于每个相应端点(例如，端点103f-j)的每个积累音频流1551。在一些实施例中，主端点151可以将接收音频流发送到每个辅助端点153，并且辅助端点153可以创建用于它们的相应叶端点155的积累音频流1551。也可想到其它音频流布置。

在1107处，积累音频流1551可以发送到相应端点103。在一些实施例中，主端点151可以将积累音频流1551发送到相应叶端点155。在一些实施例中，辅助端点153可以将积累音频流1551发送到相应叶端点155。在一些实施例中，主端点151可以将合成视频流(例如，该合成视频流包括多个端点103的视频图像)发送到端点103e-j(例如，合成视频流1553)。在一些实施例中，主端点151可以将多个视频流发送到端点103。

在1109处，端点103可以将积累音频流1551提供给用于再现的一个或多个扬声器。

图12表明根据实施例的一种方法的流程图，该方法用来控制分布式虚拟多点控制单元。应该注意，在下面描述的方法的各个实施例中，描述的元素的一个或多个可以同时地进行、按与表示的不同的顺序进行、或者可以完全省略。也可以进行其它辅助元素，如希望的那样。

在1201处，叶端点155可以呼叫主端点151，以开始/加入视频会议。

在1203处，主端点151基于辅助端点153和/或叶端点155的至少一个可操作特性，可以将叶端点155分配给辅助端点153。例如，主端点151基于网络特性(例如，IP往返时间)，可以动态地选择在网络(例如，LAN或WAN)内的辅助端点153。作为另一个例子，至少一个可操作特性可以指示在当前视频会议呼叫时辅助端点153在使用中的可能性。主端点151可以监视辅助端点153(例如，在日常基础上)，并且可以确定用于多个辅助端点153的使用模式。例如，主端点151可以发现特定辅助端点153常常在下午期间不使用。主端点151然后可以存储指示符，该指示符记录下在下午视频会议呼叫中主端点151可能能够使用特定辅助端点153。在一些实施例中，主端点151在将叶端点155分配给辅助端点153之前，也可以检查辅助端点153的状态(例如，通过确定辅助端点153当前是否在视频会议呼叫中)。在一些实施例中，将叶端点155分配给辅助端点153的一部分可以包括，将相应辅助端点153的识别信息和/或访问数量/用于辅助端点153的IP地址发送到叶端点155。

在1205处，叶端点155可以呼叫分配的辅助端点153。

在1207处，主端点151可以接收在视频会议中的辅助端点153将或已经变得不可用的指示。例如，主端点151可以记录下计划要使用辅助端点153来进行的不同视频会议呼叫。在一些实施例中，个人(不在当前视频会议中)可能试图开始使用辅助端点153，以开始不同的视频会议(例如，通过访问在辅助端点153上的菜单以开始拨号过程)。在一些实施例中，辅助端点153可以将指示(例如，数字消息)发送到指示中断的主端点151。

在1209处，主端点151可以查找不同的辅助端点153以用在视频会议中。例如，主端点151可以分析其它辅助端点153的可操作特性，以查找替代辅助端点153。在一些实施例中，如果替代辅助端点153不能找到，则可以将问题通知给视频会议中的参加者(全部或子集)。在一些实施例中，即将要中断的叶端点155可以显示关于当前视频会议的消息，并且即将开始新视频会议的个人可以延期，直到当前视频会议结束。在一些实施例中(例如，在高优先权视频会议期间)，辅助端点153可能不允许个人使用辅助端点153，直到当前视频会议已经结束。

在1211处，主端点151可以将指令发送到相应叶端点155和/或替代辅助端点153，以建立通信。例如，叶端点155可以挂断当前辅助端点153，并且呼叫替代辅助端点153。在一些实施例中，替代辅助端点153关于相应叶端点155可以开始呼叫。在一些实施例中，可以建立新的通信链路，而几乎没有对于视频会议的中断。例如，在呼叫开始期间，当前视频帧可以在屏幕上冻结，直到当建立新的通信链路时，接收新的视频图像。在一些实施例中，可以或可以不将辅助端点切换通知给在相应叶端点155处的参加者。

图13表明根据实施例的一种方法的流程图，该方法用来隔离在分布式虚拟多点控制单元中的叶端点155。应该注意，在下面描述的方法的各个实施例中，描述的元素的一个或多个可以同时地进行、按与表示的不同的顺序进行、或者可以完全省略。也可以进行其它辅助元素，如希望的那样。

在1301处，视频可以从叶端点155接收。在一些实施例中，视频可以从叶端点155通过辅助端点153接收。

在1303处，可以(例如，由辅助端点153和/或主端点151)探测叶端点155的至少一个特性。在一些实施例中，主端点151基于探测的至少一个特性，可以将叶端点155分配给具体辅助端点153。例如，探测特性可以包括低显示器和/或摄像机分辨率(例如，与其它叶端点155相比)。在一些实施例中，探测特性可以包括高差错率(例如，与其它叶端点155相比)。在一些实施例中，探测特性可以指示叶端点155是主端点并且/或者包括用于视频会议的主提出者。

在1305处，叶端点155可以分配给不同的辅助端点153(例如，专用于叶端点155的辅助端点153)。在一些实施例中，以上在元素1209-1211中描述的过程可以用来重新分配叶端点155。将特定叶端点155分配给特定辅助端点153可以改进在其它叶端点155与以前辅助端点153之间的交互。例如，辅助端点153当将视频图像发送到其它叶端点155/从其接收视频图像时，可能能够使用较高分辨率。另外，辅助端点153可能具有管理其它叶端点155的辅助处理能力(例如，以前捆成处置具体叶端点155的处理能力)。在一些实施例中，重新分配的具体叶端点155比在视频会议中的其它叶端点155，可能具有较低分辨率、较低处理能力、等等。分配给具体叶端点155的辅助端点153可能能够处置来自具体端点的辅助代码间帧请求，并且/或者进行对于具体端点的其它适应。例如，主端点151可以将合成视频图像发送到辅助端点153，并且辅助端点153可以将合成视频图像发送到具体叶端点155(该具体叶端点155可能进行对于来自辅助端点153的代码间帧请求的重复请求，例如，因为数据损失)。在一些实施例中，只有音频的叶端点可能分配给分离辅助端点153。在一些实施例中，重新分配叶端点155可以提供辅助处理资源，以将较好连接提供给优先端点(例如，主人和/或提出者)。辅助端点153可以减小到优先端点的等待时间。

图17表明根据实施例的一种方法的流程图，该方法用来在虚拟分布式多点控制单元中显示最后N个谈话者。应该注意，在下面描述的方法的各个实施例中，描述的元素的一个或多个可以同时地进行、按与表示的不同的顺序进行、或者可以完全省略。也可以进行其它辅助元素，如希望的那样。

在1701处，主端点151可以从在视频会议中的几个端点接收音频流1541。在一些实施例中，主端点151可以从与辅助端点153通信的叶端点155接收音频流1541。

在1703处，主端点151(或辅助端点153)可以监视接收音频流1541。主端点151可以监视在音频流1541中的音频，以确定哪个音频流1541可能包括人话音。例如，在音频流1541中的人话音可以由特定音频图案(例如，相对于时间的振幅)、和/或通过音频处理算法(例如，在主端点151或其它端点103的处理器上实施)可识别的频率来表示。例如，在与人话音相关联的频率范围中的探测音频能量可以与人话音相关联。在一些实施例中，主端点151可以观看在相应音频信号1541中的能量量，以确定哪个音频信号1541可能包括人话音。例如，音频信号1541的能量级可以对于时间被平均，并且高于平均能量级的探测级可能与人话音相关联。在一些实施例中，阈值可以由用户预定或设置(例如，阈值可以是在会议环境中平均人话音按分贝的振幅级(例如，60-85分贝))。也可想到其它阈值。在一些实施例中，辅助端点153和/或叶端点155可以监视音频流1541中的人话音。当探测到话音时，辅助端点153和/或叶端点155可以向主端点151发信号。

在1705处，主端点151(或辅助端点153)可以确定哪个端点103包括最后N个谈话者。用来确定最后N个谈话者的方法可以例如在标题为“Systems and Methods for Selecting VideoconferencingEndpoints for Display in a Composite Video Image(为了在合成视频图像中的显示用来选择视频会议端点的系统和方法)”的美国专利申请No.12/244,436中找到，该申请在2008年10月2日提交，其发明人是Ashish Goyal、Hrishikesh Gopal Kulkarni、及Shantha KumariHarohalli Sathyanarayana Rao，该申请由此通过参考全部包括，就像这里充分和完全叙述那样。N可以包括缺省数，并且/或者可以由用户设置。例如，在主端点151处的主人可以规定合成视频图像407应该包括总共4个端点103(N＝4)。在这个例子中，具有探测人话音(或者例如，在阈值以上的音频)的最后四个端点103可以显示在由主端点151提供给端点103的合成视频图像中。N也可以是动态的(例如，N可以动态调节成是参加视频会议的端点103的总数的百分比)。

在一些实施例中，当主端点151、辅助端点153、或叶端点155确定音频流1541具有人话音(或者在阈值以上、等等)时，与音频流701相关联的端点103可以与在视频会议中的当前谈话者相关联。确定哪个音频流1541具有谈话者的其它方法可以在标题为“Controlling Video Display Mode in a Video Conferencing System(控制在视频会议系统中的视频显示模式)”的美国专利申请No.11/348,217中找到，该申请在2006年2月6日提交，其发明人是Michael L.Kenoyer，该申请由此通过参考全部包括，就像这里充分和完全叙述那样。在一些实施例中，当音频信号强度超过用于能量和/或时间的阈值(例如，缺省值或用户提供阈值)(例如，在至少最小时间量，如2-5秒，期间比给定阈值响亮)时，可以认为音频流1541包括在视频会议中的参加者谈话。其它时间阈值也是可能的(例如，10秒、20秒、等等)。在一些实施例中，用户通过提供用户输入(例如，通过按压在耦合到用户的端点103上的键盘上的键)可以指示何时他们正在讲话。也可想到其它谈话者确定方式。

在一些实施例中，主端点151可以使用计时器或队列系统确定最后N个谈话者(也可以使用确定最后N个谈话者的其它方法)。例如，当在端点103的音频流1541中探测到人话音时，用于端点103的视频流1501(例如，见视频流1501a-f)的视频图像(例如，见视频图像455b-h)可以显示在合成视频流中，并且用于端点103的计时器可以启动(或者如果当前正显示的端点103是最后N谈话者则重新启动)。具有指示最短时间的计时器的N个端点103(因此，与最近谈话者相对应)可以使它们的对应视频图像显示在合成视频图像中。在一些实施例中，当探测到谈话者时对于端点103可以记录下时间标记，并且对于端点103到最后时间标记的时间可以用来确定最近谈话者。也可以使用其它计时方法。在一些实施例中，用于具有与人话音相关联的音频流701的端点103的指示符可以移动到清单的顶部，并且以前列出的端点103可以在清单上降低一位。当在音频流701中探测到谈话者时，用于对应端点103的指示符可以运动到清单的顶部(或者如果它也是最后探测到的谈话者则可以保持在清单的顶部)。顶部N个指示端点103可以显示在合成视频图像中。也可以使用跟踪当前N个谈话者端点103的其它方法。例如，可以使用除清单之外的其它跟踪方法。

在一些实施例中，主端点151(或例如辅助端点153)还可以确定最后N个谈话者中哪个谈话者是主要谈话者。例如，主端点151可以将最近谈话者当作为主要谈话者，可以将已经探测为讲话时间段最长的谈话者当作为主要谈话者，或可以将在其音频信号中具有探测的最大能量的谈话者当作为主要谈话者。也可想到确定主要谈话者的其它方法。在一些实施例中，主要谈话者可以显示在比其它显示视频图像大的合成视频图像画格上。

在一些实施例中，不是正在显示的端点103可以由主端点151或辅助端点153指令成不将它们的视频流1501发送到相应主端点151或辅助端点153。例如，如在图15b中看到的那样，端点103e、103g、103h、103i、及103j可以断续发送视频流1501，而端点103f可以将视频流1501b发送到辅助端点153，该辅助端点153可以将视频流1503发送到主端点151(辅助端点153也可以在流1543中将音频流1541从端点103f发送到主端点151)。在一些实施例中，多个端点103可以发送它们的视频以被合成，而一个或多个其它端点103不是正在发送它们的视频。在一些实施例中，主端点151和/或辅助端点153可以忽略(例如，不译码)由当前不是正被显示的端点103发送的视频流1501。主端点151可以将具有主要谈话者端点(或者例如指定提出者端点、控制端点、等等)的视频的视频流1553发送到端点103(主要谈话者端点的音频也可以发送到端点103)。在一些实施例中，如果主要谈话者端点与主端点151直接通信，则主端点151可以将主要谈话者端点的音频发送到辅助端点153，以分发到与辅助端点153直接通信的端点103。在一些实施例中，主端点151和辅助端点153可以进行一个或多个活动谈话端点的探测，并且主端点151可以将活动谈话端点中的两个或更多个编缉成合成图像，以发送到端点103。

在1707处，当在与端点103相对应的音频流1541中探测到人话音时-该端点103在合成视频图像中当前不是正在显示，主端点151可以将来自对应端点的视频添加到合成视频图像上。在一些实施例中，对应端点的视频可能不再被合成主端点151忽略，或者主端点151可以将消息发送到对应端点，请求该端点开始将端点的视频流1501发送到主端点151。在一些实施例中，最近探测到的谈话者端点可以显示在合成视频图像中的专门位置中(例如，在比其它显示端点103大的画格中)。例如，如果端点103b具有最近探测到的谈话者端点103，则来自端点103b的视频图像455b可以显示在发送到端点103的合成视频图像的大画格中。

在一些实施例中，话音探测可以本地地发生在叶端点155处。例如，当端点103探测到来自本地音频源(例如，本地麦克风)的人话音(或者例如，超过一定级的音频)时，可以指令叶端点155(例如，由主端点151)开始发送它们的相应视频流1501(和/或音频流1541)。主端点151(或辅助端点)然后基于何时主端点151(或辅助端点153)从各个端点103接收视频流703(和/或音频流701)，可以确定最后N个谈话者。在一些实施例中，如果在相应端点103的音频流1501中已不再探测到人话音，并且正在从不同的端点103接收视频流1501，则主端点151可以将指令发送到端点103以停止发送其视频流1501(和/或音频流701)。也可想到用来确定最后N个谈话者的其它管理方案。

在一些实施例中，统计量和其它信息也可以显示在合成视频图像的视频图像455中。例如，参加者位置、编码解码器类型、用户标识符、等等可以显示在合成视频图像的相应视频图像455中。在一些实施例中，可以为所有端点103或仅为在合成视频图像中正在显示的端点103提供统计量。在一些实施例中，基于谈话者重要性、编码译码器类型、或呼叫类型(例如，音频/视频)，可以分类统计量。

在1709处，以前显示的端点103中的一个可以从合成视频图像除去(例如，与从最后探测人话音起具有最长持续时间的端点103相对应)。在一些实施例中，可以重新分配以前用来译码以前显示端点103的视频译码器，以译码来自最近N-谈话者端点103的视频流1501(例如，仅添加到合成视频图像上)。

图18a表明根据实施例的一种方法的流程图，该方法用来扩展端点资源。应该注意，在下面描述的方法的各个实施例中，描述的元素的一个或多个可以同时地进行、按与表示的不同的顺序进行、或者可以完全省略。也可以进行其它辅助元素，如希望的那样。

在1801处，初级(例如，主)端点151可以启动视频会议。例如，初级端点151可以从本地参加者214接收请求，以拨号远程(例如，叶)端点103(例如，在图18b中的远程端点103e)而建立视频会议，或者初级端点151可以从远程端点103接收请求以建立视频会议。在一些实施例中，请求参加者214可以输入前缀或会议类型标识符(例如，通过按压视频会议按钮或输入“01”以指示视频会议、输入“02”以指示音频会议、等等)。在一些实施例中，参加者214可以拨号会议号码(例如，123321)，以访问计划视频会议或正进行的视频会议。在一些实施例中，端点103可以直接拨号初级端点151，端点103可以开始经智能话音路由选择(IVR)、或通过网关看守(gatekeeper)的前缀拨号，与桥路的通信。也可想到其它会议启动。如以上提到的那样，在一些实施例中，初级端点151可以包括能够支持视频会议的本地会议端点，该视频会议包括一个或多个本地参加者。例如，初级端点151可能能够接收3个输入信号和提供两个输出信号。也可想到输入信号和输出信号能力的其它组合。要注意，“初级端点”和“次级端点”可以是以上描述的端点103的实施例。例如，初级端点151和/或次级(例如，辅助)端点153可以作为在视频会议中的参加端点操作。进一步，初级端点151和/或次级端点153可能能够作为以上所描述的主端点或辅助端点操作。

在1803处，初级端点151可以连接到另外端点103上。例如，初级端点151可以从另外端点103接收连接请求，并且初级端点151可以将另外端点103(例如，在图18b中所看到的端点103f和103g)添加到视频会议。可选择地，初级端点151可以拨号其它端点103(例如，在本地参加人的请求下)，以将其它端点103加入视频会议。在一些实施例中，在初级端点151处的参加者可以按压“添加-呼叫”按钮(或者例如，访问添加-呼叫菜单选项、等等)以添加端点。

在1805处，初级端点151可以进行切换确定。在一些实施例中，如果在视频会议中的视频输入(例如，来自远程端点、本地摄像机、等等)的数量即将超过或预计要超过初级端点151的处理能力(例如，译码器端口的数量)(例如，当在图18b中的端点103h试图连接到视频会议时)，初级端点151可以进行切换确定，以将视频输入源(例如，远程端点103)中的一个或多个切换到具有管理视频会议(或帮助管理视频会议)能力的次级端点153。例如，端点103可以转移到次级端点153(例如，如在图18c中看到的那样，端点103e-h可以转移到次级端点153)，或者端点103的子集可以被转移(例如，如在图18d中看到的那样，端点103g-h可以转移到次级端点153)。在一些实施例中，转移端点103可以包括将指令发送到端点103和/或次级端点153，以彼此建立通信。端点103然后可以与次级端点153开始通信(并且/或者反之亦然)。在一些实施例中，转移端点103可以包括引导端点103、试图连接到初级端点151上、连接到次级端点153上。例如，如果初级端点151具有三个视频译码器，则当第四端点试图连接时，第四端点可以被引导到次级端点153，并且初级端点151和次级端点153可以辅助，以促进具有所有四个端点103的视频会议呼叫。

在一些实施例中，初级端点151在视频输入的数量超过在初级端点151上的译码器数量之前，可以进行切换确定以将在视频会议中的视频输入源的一个或多个切换到次级端点153。例如，如果计划视频会议将要求比初级端点151配置成提供的多的资源，则初级端点151可以在超过在初级端点151上的资源之前，将视频会议(或视频会议的一部分)转移到次级端点153。在一些实施例中，初级端点151可以从视频会议的开始使用次级端点153。例如，初级端点151可以具有当建立视频会议时要连接上的一个或多个次级端点153的IP地址(或IP地址的优化清单)。初级端点151通过分析次级端点153的特性(例如，输入端口的数量、支持的编解码器类型、等等)，也可以分析哪个次级端点153要用于视频会议。在一些实施例中，初级端点151可以将视频会议转移到在视频会议中的端点103中的一个(例如，如果初级端点151确定在视频会议中的端点103中的一个具有管理视频会议的能力)。

在一些实施例中，初级端点151可以至少部分地对于外部指示进行切换确定(例如，在视频会议中的参加者可以指导初级端点151进行切换，并且/或者可以规定将通信切换到哪个次级端点153)。在一些实施例中，初级端点151可以在先来先服务的基础上使用次级端点153，或者可以使用规定顺序(例如，由参加者214规定)。在一些实施例中，基于次级端点的特性(例如，译码器的数量、可用性、等等)，可以将视频会议分配给次级端点153。在一些实施例中，当新端点103呼叫进入初级端点151中时，新端点103可以被重新引导到次级端点153，使新端点的用户不知道端点已经被重新引导。

在1807处，初级端点151可以将指令通信到端点103和/或次级端点153。初级端点151部分基于在超过初级端点151的输入端口数量的视频会议中要支持的端点103的数量，可以进行切换确定。在一些实施例中，初级端点151可以访问支持视频会议的另一个端点资源。在一些实施例中，初级端点151可以将在视频会议中的所有视频输入源(如参加端点103)转移到较大次级端点153，初级端点151可以控制该较大次级端点153，或者可以将视频会议的控制转给该较大次级端点153。在一些实施例中，初级端点151可以将视频输入的子集转移到次级端点153(并且可以保持对于非转移视频输入的控制)。如果初级端点151和一个或多个次级端点153正在一起支持视频会议，则初级端点151和/或次级端点153可以通信(例如，通过本地连接、通过网络101、等等)，以支持视频会议。例如，对于视频会议要放入到合成视频图像中的端点的视频图像可以从初级端点151发送到次级端点153(或者从次级端点153发送到初级端点151)，以与其它视频图像合成。类似地，音频流、配置信息、等等可以共享(例如，通过本地菊花链接连接、网络连接、等等)，如在支持视频会议的初级端点151和/或次级端点153中需要的那样。

在一些实施例中，初级端点151可以使用多个次级端点153进行视频会议(例如，如在图1b-c中看到的那样)。例如，初级端点151可以按堆叠方法在几个次级端点153上组织视频会议，从而在另一个次级端点153被用来管理视频会议之前，使用一个次级端点153的全部输入端口。使用堆叠方法，单个视频会议可以在多个次级端点153上被支持(例如，两个10输入端口次级端点153可以支持20路呼叫或三个6路呼叫、等等)。在一些实施例中，每个视频会议可以使用在标题为“Systems and Methods for Selecting VideoconferencingEndpoints for Display in a Composite Video Image(为了在合成视频图像中的显示用来选择视频会议端点的系统和方法)”的美国专利申请No.12/244,436中所描述的n-谈话者处理方法，该申请在2008年10月2日提交，其发明人是Ashish Goyal、Hrishikesh Gopal Kulkarni、及Shantha Kumari Harohalli Sathyanarayana Rao，该申请由此通过参考全部包括，就像这里充分和完全叙述那样。最后n-谈话者模式可以允许初级端点151和/或次级端点153支持在视频会议中的一个或多个中的视频会议端点，这些视频会议端点比在管理视频会议的初级端点151和/或次级端点153上的输入端口的总数多。在一些实施例中，如果由初级端点151和/或次级端点153接收的视频输入的数量达到或接近在初级端点151和/或次级端点153上可用视频译码器的数量，则可以自动地接通最后n-谈话者模式。在一些实施例中，初级端点151和/或次级端点153可以支持与具有比对于初级端点151和/或次级端点153可用的视频译码器多的端点103之间的视频会议(例如，使用最后n-谈话者方法)，但可能需要基于可用音频译码器的数量(该数量可能大于可用视频译码器的数量)，限制视频会议。在一些实施例中，参加者可以对于当前视频会议中的一个或多个人工地选择最后n-谈话者模式。在一些实施例中，共享编码器可以用于非最后n-谈话者。

如以上提到的那样，初级端点151可以是可操作的，以使用自动发现方法自动地发现端点103e-m的一个或多个。发现过程的一部分可以包括：初级端点151确定发现的端点的一个或多个特性、和使用确定的特性挑选端点以将一个或多个端点转到视频会议中。特性可以包括最大可用带宽、多点端口的数量、IP能力、主速率接口(PRI)信息、ISDN信息、基本速率接口(BRI)信息、V.35能力、V.35速度、加密能力、公用交换电话网(PSTN)能力、蜂窝电话能力、通用分组无线电服务(GPRS)能力、3G移动能力、及/或是否用户已经预订服务。其它特性可以包括站名(例如，端点103的)、关于使用端点103的用户的信息(例如，姓名、地址、位置、电话号码、电子邮件地址、等等)、关于拥有或操作端点103的公司名称的信息(例如，名称、地址、位置、电话号码、电子邮件地址、等等)、IPv4地址/掩码、IPv6地址、站能力串、已知端点103的清单(例如，在目的地子网和/或其它中)、可能或怀疑端点103的清单、未响应端点103的清单、及/或其它信息。

在一些实施例中，初级端点151可以无缝地将端点103的一个或多个的通信转到次级端点153，如以前由视频会议参加者发现或预先指定的次级端点153，从而在视频会议中的参加者可能不知道切换已经进行。在一些实施例中，初级端点151可以联系次级端点153，并且然后通过使端点103将它们的视频(和/或音频)发送到不同的地址(例如，次级端点153的IP地址)，可以将通信从端点103转到次级端点153。初级端点151可以将用于端点103的配置信息提供给次级端点153。用于端点103的配置信息可以包括例如视频编码译码器类型、音频编码译码器类型、IP地址、视频分辨率、视频布局偏好设置、及支持带宽(也可以使用其它配置信息)。在一些实施例中，用户可以规定其它初级端点151或次级端点153用来管理另外的输入(例如，在视频会议前或在其期间)。

在1809处，次级端点153可以管理视频会议的至少一部分。在一些实施例中，次级端点153(从初级端点151接收视频会议的部分或全部)可以在视频会议之前缀于备用，以便如果需要则无缝地接收在视频会议中涉及的端点103。在一些实施例中，次级端点153可能不置于备用，而是代之以可以由初级端点151定位成可用和能够支持视频会议的部分或全部的端点。

在一些实施例中，一组次级端点353a-c(次级端点353a-c可以是次级端点153的实施例)可以由初级端点151管理。例如，两个或更多个次级端点353a-b(例如，具有可用译码器371)可以通过初级端点151被管理，该初级端点151作为用于组的联系端点操作。当端点103启动视频会议时，端点103可以呼叫到初级端点151中，并且初级端点151可以将端点103引导到在组中的次级端点353a-c之一。试图启动呼叫的端点103可以将分配的次级端点353用作视频会议的中心端点。中心次级端点353可以拨出到其它端点103，或者从其它端点103接收请求以加入视频会议。初级端点151可以作为用于在组中的次级端点353a-c的发信号资源操作，这些次级端点353a-c可以作为次级资源操作(在一些实施例中，初级端点151也可以作为次级资源操作)。如在图18e中看到那样，次级端点353a-c可以包括多个译码器资源。在一些实施例中，一个译码器每端点可以用在视频会议呼叫中。例如，视频会议呼叫#1可以包括12个端点，这12个端点使用次级端点353a的12个译码器371；视频会议呼叫#2可以包括9个端点，这9个端点使用次级端点353b的9个译码器371；及视频会议呼叫#3可以包括11个端点，这11个端点使用次级端点353c的11个译码器371。在一些实施例中，次级端点353的两个或更多个和/或初级端点151可以一起定位，从而它们可被菊花链接。菊花链接的初级端点151和/或次级端点153可以具有单个进入点(例如，初级端点151和次级端点153可以作为一排MCU操作，这些MCU通过单个IP地址从外部(例如通过网络101)被访问)。在一些实施例中，在IVR(智能话音路由选择)过程中可以访问初级端点151和/或次级端点153)。在一些实施例中，次级端点353和/或初级端点151可以定位在不同的位置处(并且可以例如通过网络通信)。

在一些实施例中，初级端点151使用堆叠方法可以将端点103分配/转移到次级端点353。例如，初级端点151可以按堆叠方法在几个次级端点353上组织视频会议，从而一个次级端点353的译码器(或其它资源，如输入端口)，在另一个次级端点353被用来支持由初级端点151管理的视频会议之前，可以被使用。使用堆叠方法，单个视频会议可以实际上支持在多个次级端点353上。例如，如在图3f中看到的那样，视频会议呼叫#1可以包括12个端点，这12个端点使用次级端点353a的12个译码器371；视频会议呼叫#2可以包括9个端点，这9个端点使用次级端点353a的4个译码器371和次级端点353b的5个译码器371；及视频会议呼叫#3可以包括11个端点，这11个端点使用次级端点353b的11个译码器371(留下次级端点353c空闲，例如，以用作后备次级端点)。如在图3e-f中看到的那样，初级端点151也可以具有可以用在视频会议呼叫的一个或多个中的译码器371。

在一些实施例中，初级端点151可以在先来先服务的基础上分配视频会议。例如，新会议可以在具有最大数量资源(例如，可用译码器)的次级端点153上开始。在一些实施例中，如果视频会议超过端点的能力，则初级端点151可以将在视频会议中的一个或多个端点103无缝地(例如，从而对于视频会议的一个或多个参加者不是显而易见的)转到次级端点153之一。

在一些实施例中，将端点的会议通信从初级端点151过渡到次级端点153可能导致在端点处的一种或多种副作用。例如，在端点处显示的视频可能临时“冻结”或变成空白。在一些实施例中，音频可能具有静音停顿。为了消除这些副作用，在一些实施例中，初级端点151可以缓冲来自在视频会议中的端点103的视频和/或音频，以在切换期间显示/播放而使切换显得无缝(例如，当缓冲结束时，次级端点153可以开始发送视频和/或音频)。也可想到其它过渡。例如，在一些实施例中，初级端点151可以延迟切换，直到在音频中探测到瞬时静音(例如，当在视频会议中没有扬声器时)。临时“冻结”或空白屏幕和静音音频瞬间因而可能较不引人注意。在一些实施例中，初级端点151可以缓冲视频和音频，并且等待在音频中的停顿，以开始缓冲重放和实现到次级端点153的切换。切换可能涉及次级端点153联系端点的一个或多个，这些端点将切换，或者被引导成联系次级端点153。初级端点151可以将配置参数转到用于将被切换的端点的次级端点153，或者端点103在切换之后可以将这种信息提供给次级端点153。

示范实施例

如下提供本发明的示范、非限制实施例。

一种用来进行具有多个端点的视频会议的方法，包括：在视频会议中的辅助端点从在视频会议中的第一叶端点接收视频图像；辅助端点将接收的视频图像发送到在视频会议中的主端点，作为辅助合成图像的一部分；其中，主端点是可操作的，以使用在辅助合成图像中的至少接收视频图像和来自第二叶端点的至少一个视频图像形成新合成图像。

以上的方法，其中，辅助端点是第一辅助端点，并且其中，主端点是进一步可操作的，以从第二辅助端点接收第二辅助合成图像；其中，来自第二叶端点的至少一个视频图像由主端点接收，作为由第二辅助端点发送的第二辅助合成图像的一部分。

以上的方法，其中，来自第二叶端点的至少一个视频图像由主端点直接从第二叶端点接收。

以上的方法，其中，来自第二叶端点的至少一个视频图像也由主端点接收，作为由辅助端点发送的辅助合成图像的一部分。

以上的方法，其中，主端点是可操作的，以将新合成视频图像发送到第一和第二叶端点。

以上的方法，其中，主端点是可操作的，以便：从多个辅助端点接收合成视频图像；使用来自接收合成视频图像中的至少两个的视频图像，形成新合成视频图像；及将新合成视频图像发送到与多个辅助端点通信的一个或多个叶端点。

以上的方法，还包括：辅助端点从第一叶端点接收音频；和辅助端点将接收音频发送到主端点。

以上的方法，其中，发送到主端点的接收音频包括第一音频流；其中，主端点是进一步可操作的，以将第二音频流发送到辅助端点；及其中，方法还包括：辅助端点基于来自主端点的第一和第二音频流中的一个或多个，形成积累音频流；及辅助端点将积累音频流发送到第一叶端点。

以上的方法，其中，发送到主端点的接收音频包括第一音频流；其中，主端点是进一步可操作的，以从第二叶端点接收第二音频流；其中，主端点是进一步可操作的，以基于第一音频流和第二音频流中的一个或多个，形成积累音频流；及其中，主端点是进一步可操作的，以将积累音频流发送到第一叶端点和第二叶端点中的至少一个。

以上的方法，其中，主端点具有第一数量的输入端口；其中，辅助端点的操作允许主端点支持视频会议，该视频会议具有数量比第一数量大的辅助端点和叶端点。

以上的方法，其中，主端点具有第一数量的视频译码器；其中，辅助端点的操作允许主端点支持视频会议，该视频会议具有数量比第一数量大的辅助端点和叶端点。

一种方法，包括：主端点从至少一个辅助端点接收至少一个合成视频图像，其中，至少一个合成视频图像包括来自第一叶端点的至少一个视频图像；主端点从第二叶端点接收视频图像；主端点至少将来自第一叶端点的视频图像和来自第二叶端点的视频图像合成为新合成视频图像。

以上的方法，其中，至少一个辅助端点包括第一辅助端点和第二辅助端点，其中，至少一个合成视频图像包括来自第一辅助端点的第一合成视频图像和来自第二辅助端点的第二合成视频图像，及其中，来自第二叶端点的视频图像由主端点接收，作为第二辅助合成图像的一部分。

以上的方法，其中，来自第二叶端点的视频图像由主端点直接从第二叶端点接收。

以上的方法，其中，主端点是可操作的，以将新合成视频图像发送到第一和第二叶端点。

以上的方法，还包括：主端点从至少第一或第二叶端点接收视频会议呼叫请求；和主端点将指令传输到至少第一或第二叶端点，以呼叫至少一个辅助端点中的辅助端点。

以上的方法，还包括：主端点探测至少第一或第二叶端点的至少一个特性；和主端点基于探测的至少一个特性，将至少第一或第二叶端点分配给至少一个辅助端点中的特定辅助端点。

以上的方法，还包括：主端点基于至少一个辅助端点的特定辅助端点的至少一个可操作特性，将第一或第二叶端点中的一个或多个分配给至少一个辅助端点的具体辅助端点。

以上的方法，其中，至少一个可操作特性指示至少一个辅助端点中的特定辅助端点在当前视频会议呼叫时在使用中的可能性。

以上的方法，还包括，响应主端点接收到至少一个辅助端点中的辅助端点即将不可用的指示，主端点将多个叶端点中的一个或多个叶端点分配给不同的辅助端点。

以上的方法，其中，至少一个辅助端点包括第一辅助端点和第二辅助端点；其中，第一辅助端点具有n个输入，并且第二辅助端点具有m个输入，并且其中，主端点是可操作的，以通过至少一个辅助端点中的第一和第二辅助端点支持具有n+m个叶端点的视频会议呼叫。

以上的方法，其中，主端点具有第一数量的输入端口；其中，主端点是可操作的以支持视频会议，该视频会议具有数量比第一数量大的辅助端点和叶端点。

以上的方法，其中，主端点具有第一数量的视频译码器；其中，主端点是可操作的以支持视频会议，该视频会议具有数量比第一数量大的辅助端点和叶端点。

一种系统，包括辅助端点，该辅助端点包括处理器、和存储器，该存储器耦合到处理器上，并且配置成存储程序指令，这些程序指令由处理器是可执行的，以便：从至少两个叶端点中的每一个接收视频图像；将接收的视频图像中的至少两个合成为合成视频图像；及将合成视频图像发送到主端点，其中，主端点是可操作的，以在多个叶端点之间实施视频会议，其中，多个叶端点包括至少两个叶端点。

以上的系统，其中，主端点是可操作的，以从两个或更多个辅助端点接收合成视频图像、从两个或更多个接收合成视频图像中的每一个中分离至少一个视频图像、及将分离视频图像的至少一个子集合成为新合成视频图像。

以上的系统，其中，主端点是进一步可操作的，以将新合成视频图像发送到多个端点中的至少一个叶端点。

以上的系统，其中，程序指令是进一步可执行的，以从多个端点的至少两个叶端点中的每一个接收音频、并且将接收的音频发送到主端点；并且其中，程序指令是进一步可执行的，以基于来自主端点的接收音频流中的一个或多个形成积累音频流、和将积累音频流发送到至少一个叶端点。

以上的系统，其中，辅助端点是可操作的，以使主端点能够支持视频会议，该视频会议具有数量比主端点的输入端口的数量大的辅助端点和叶端点。

一种用来进行视频会议的方法，包括：初级端点初始地与在视频会议中的多个端点通信；和初级端点将多个端点中的至少一个端点的通信引导到在视频会议中的次级端点；其中次级端点、或初级端点和次级端点一起，支持至少一个端点的视频会议。

以上的方法，其中，初级端点引导至少一个端点的通信：在视频会议期间进行切换确定；并且初级端点将切换指令通信到至少一个端点或次级端点；其中，至少一个端点是可操作的，以将会议通信切换到次级端点。

以上的方法，其中，进行切换确定至少部分地基于在超过初级端点的输入端口数量的(视频会议中)支持的端点数量。

以上的方法，其中，进行切换确定至少部分地基于外部指示。

以上的方法，其中，通信切换指令包括：将切换指令通信到次级端点，该次级端点将管理与在视频会议中的至少一个端点的视频会议通信；和次级端点与至少一个端点通信，以便于将会议通信切换到次级端点。

以上的方法，还包括，初级端点从在视频会议期间与初级端点通信的多个端点中的一个或多个接收视频和音频，并且将视频和音频输出提供给多个端点中的一个或多个，作为视频会议的一部分。

以上的方法，还包括，将用于至少一个端点的配置信息通信到次级端点。

一种在视频会议中用来将会议通信从初级端点切换到次级端点的方法，包括：在视频会议中的第一端点接收切换指令，其中，第一端点在具有初级端点和次级端点的视频会议中，其中至少部分地响应切换确定由初级端点发送切换指令；第一端点与次级端点通信；及第一端点将会议通信从初级端点切换到次级端点，其中次级端点是可操作的，以管理具有第一端点的视频会议。

以上的方法，其中，第一端点是在视频会议中的多个端点的一个子集，并且其中，在视频会议中的多个端点中的至少一个其它端点是可操作的，以在第一端点将通信切换到次级端点之后，继续与初级端点通信。

以上的方法，其中，切换确定至少部分地基于支持超过在初级端点上可用的输入端口数量的视频会议要求的输入数量。

以上的方法，其中，切换确定至少部分地基于从外部源接收切换指令。

以上的方法，其中，接收切换指令包括从初级端点接收切换指令。

以上的方法，其中，接收切换指令包括从在视频会议中的次级端点接收切换指令。

以上的方法，还包括，在接收切换指令之前，初级端点从一个或多个端点接收视频和音频，并且将视频和音频输出提供给一个或多个端点，作为视频会议的一部分。

以上的方法，其中，初级端点是可操作的，以将用于一个或多个端点的配置信息通信到次级端点。

一种用在视频会议中的初级端点，初级端点包括：至少一个处理器；存储器，耦合到至少一个处理器上，并且配置成存储程序指令，这些程序指令由处理器是可执行的，以便：与在视频会议中的一个或多个端点通信；并且将多个端点中的至少一个端点的通信引导到在视频会议中的次级端点，其中，次级端点、或初级端点和次级端点一起，支持至少一个端点的视频会议。

以上的初级端点，其中，在引导至少一个端点的通信时，初级端点是可操作的，以便：在视频会议期间进行切换确定；并且基于切换确定，将切换指令通信到至少一个端点或次级端点；其中，至少一个端点是可操作的，以基于切换指令将会议通信切换到次级端点。

以上的初级端点，其中，初级端点是可操作的，以进行至少部分地基于在超过初级端点的输入端口数量的视频会议中支持的端点数量的切换确定。

以上的初级端点，其中，初级端点是可操作的，以进行至少部分地基于外部指示的切换确定。

以上的初级端点，其中，在通信切换指令时，初级端点是可操作的，以便将切换指令通信到次级端点，该次级端点将管理与在视频会议中的至少一个端点的视频会议通信；其中，切换指令配置成，使次级端点与至少一个端点通信，以便于将会议通信切换到次级端点。

以上的初级端点，其中，程序指令是进一步可执行的，以将用于至少一个端点的配置信息通信到次级端点。

注意，这里描述的视频会议系统(例如，视频会议端点103)可以是专用视频会议系统(即，其目的是提供视频会议)、或执行视频会议软件(例如，用来使用用户应用程序的通用计算机，这些用户应用程序之一进行视频会议)的通用计算机(例如，IMB-兼容PC、Mac、等等)。专用视频会议系统可以专门地设计成用于视频会议，并且不用作通用计算平台；例如，专用视频会议系统可以执行操作系统，该操作系统可以典型地定制成(或“锁定”成)，运行为例如公司的会议室提供视频会议的一个或多个应用程序。在其它实施例中，视频会议系统可以是通用计算机(例如，可以由一般公众使用的典型计算机系统、或由公司使用的高端计算机系统)，该通用计算机可执行多个第三方应用程序，这些第三方应用程序之一提供视频会议能力。视频会议系统可以是复杂的(如在图2中表示的视频会议系统)或简单的(例如，具有摄像机、麦克风及/或扬声器的用户计算机系统)。因而，这里对于视频会议系统、端点、等等的提及可以指执行视频会议应用程序的通用计算机系统、或专用视频会议系统。进一步注意，对于完成动作的视频会议系统的提及可以指由完成动作的视频会议系统执行的视频会议应用程序(即，被执行以完成动作)。

以上的子集或全部(和部分或全部)的实施例可以由计算机程序实施，例如，作为在存储器介质或机载介质中存储的并且由处理器执行的程序指令。存储器介质可以包括各种类型的存储器装置或存储装置的任一种。术语“存储器介质”打算包括安装介质，例如，CompactDisc Read Only Memory(CD-ROM)、软盘、或磁带装置；计算机系统存储器或随机存取存储器，如Dynamic Random Access Memory(DRAM)、Double Data Rate Random Access Memory(DDR RAM)、Static Random Access Memory(SRAM)、Extended Data Out RandomAccess Memory(EDO RAM)、Rambus Random Access Memory(RAM)、等等；或非易失存储器，如磁性介质，例如硬盘驱动器、或光学存储装置。存储器介质也可以包括其它类型的存储器、或其组合。另外，存储器介质可以布置在其中执行程序的第一计算机中，或者可以布置在在网络，如互联网，上连接到第一计算机上的第二不同计算机中。在后一种情况下，第二计算机可以将程序指令提供给第一计算机以便执行。术语“存储器介质”可以包括可以驻留在不同位置中，例如在网络上连接的不同计算机中，的两个或更多个存储器介质。

在一些实施例中，在相应参加者位置处的计算机系统可以包括存储器介质，在该存储器介质上，可以存储根据本发明一个实施例的一个或多个计算机程序或软件元件。例如，存储器介质可以存储一个或多个程序，这些程序是可执行的以完成这里描述的方法。存储器介质也可以存储操作系统软件、以及用于计算机系统操作的其它软件。

本发明各个方面的进一步修改和可选择实施例鉴于本说明书对于本领域的技术人员可能是显然的。相应地，本说明书要仅解释成说明性的，并且是为了向本领域的技术人员讲授实现本发明的一般方式。要理解，这里表示和描述的本发明的形式要当作实施例。元素和材料可以替代这里表明和描述的那些，部分和过程可以颠倒，及本发明的一定特征可以独立地利用，所有这些对于本领域的技术人员在具有本发明的本说明书的益处之后是显然的。在这里描述的元素中可以进行变更，而不脱离在如下权利要求书中描述的本发明的精神和范围。

Claims (14)

1.一种用来进行具有多个端点的视频会议的方法，包括：

视频会议中的第一端点从视频会议中的第二端点接收视频图像；

所述第一端点将所接收的视频图像作为合成图像的一部分发送到视频会议中的第三端点；

其中，所述第三端点被配置成：至少使用所述合成图像中的所接收的视频图像和来自第四端点的至少一个视频图像来形成新合成图像；及

其中，所述第三端点具有第一数量的输入端口，其中，所述第一端点的操作允许所述第三端点支持端点数量比所述第一数量大的视频会议。

2.根据权利要求1所述的方法，

其中，所述第三端点还被配置成从第五端点接收第二合成图像；

其中，来自所述第四端点的所述至少一个视频图像作为由所述第五端点发送的第二合成图像的一部分由主端点接收。

3.根据权利要求1所述的方法，其中，来自所述第四端点的所述至少一个视频图像由所述第三端点直接从所述第四端点接收。

4.根据权利要求1所述的方法，其中，所述至少一个视频图像也由所述第三端点接收，作为由所述第一端点发送的合成图像的一部分。

5.根据以上权利要求中的任一项所述的方法，其中，所述第三端点能够将所述新合成视频图像发送到所述第二和第四端点。

6.根据以上权利要求中的任一项所述的方法，其中，所述第三端点被配置成：

从多个第一端点接收合成视频图像；

使用来自所接收的合成视频图像中的至少两个，形成新合成视频图像；及

将所述新合成视频图像发送到与所述多个第一端点通信的一个或多个第二端点。

7.根据以上权利要求中的任一项所述的方法，还包括：

所述第一端点从所述第二端点接收音频；和

所述第一端点将所接收的音频发送到所述第三端点。

8.根据权利要求7所述的方法，

其中，发送到所述第三端点的所接收的音频包括第一音频流；

其中，所述第三端点进一步被配置成将第二音频流发送到所述第一端点；及

其中，所述方法还包括：

所述第一端点基于来自所述第三端点的第一和第二音频流中的一个或多个，形成积累音频流；和

所述第一端点将所述积累音频流发送到所述第二端点。

9.根据权利要求7所述的方法，

其中，发送到所述第三端点的所接收的音频包括第一音频流；

其中，所述第三端点进一步被配置成从所述第四端点接收第二音频流；

其中，所述第三端点进一步被配置成基于所述第一音频流和所述第二音频流中的一个或多个来形成积累音频流；及

其中，所述第三端点进一步被配置成将所述积累音频流发送到所述第二端点和所述第四端点中的至少一个。

10.根据以上权利要求中的任一项所述的方法，

其中，所述第三端点具有第一数量的视频译码器；

其中，所述第一端点的操作允许所述第三端点支持端点数量比所述第一数量大的视频会议。

11.根据以上权利要求中的任一项所述的方法，

其中，所述第一端点是辅助端点，其中，所述第二和第四端点是叶端点，及其中，所述第三端点是主端点。

12.一种程序，被配置成实施根据权利要求1-11中的任一项所述的方法。

13.一种存储程序指令的存储器介质，这些程序指令可执行以实施根据权利要求1-11中的任一项所述的方法。

14.一种被配置成实施根据权利要求1-11中的任一项所述的方法的系统。

Images