CN104221366A

CN104221366A - 提供虚拟物理上下文的视频会议系统

Info

Publication number: CN104221366A
Application number: CN201380016369.5A
Authority: CN
Inventors: 大卫·布朗
Original assignee: Magor Communications Corp
Current assignee: N Harris Computer Corp
Priority date: 2012-02-01
Filing date: 2013-02-01
Publication date: 2014-12-17
Also published as: US9204099B2; CA2863232A1; WO2013113100A1; US20130194378A1; GB2513760A; GB201413319D0

Abstract

在一个电话会议系统中，多方从不同位置参与电话会议。该系统配置为使得包含表示参与者的同时图像或图标的影片条在会议位置处的一个或多个显示屏上按照表示其真实世界或虚拟世界空间关系的空间关系进行显示。

Description

提供虚拟物理上下文的视频会议系统

技术领域

本发明涉及视频会议领域，尤其涉及的是为多方视频通话提供虚拟物理上下文并且在一个方面适用于混合拓扑会议网络的视频会议系统。

背景技术

视频会议许可人们无需出行即可进行会晤。不幸的是，与和同样的人处于真实会议室中相比，视频会议体验并不令人感到满意。其中的一些问题在于：

在多方视频通话中，存在多个视频图像(通常每个端点至少会有一个)，如果图像多于视频监视器，则将以小的尺度(scale)渲染或者通过某种多路复用技术来逐一查看这些图像。通常，以全尺度查看单独的图像并且快速地在多个图像之间进行拣选是困难的。

通常，断定处于远程视频会议站点的人正在观看的内容是困难的。

如果在单个通话中连接了多个站点(多方视频通话)，那么无法清楚谁在与谁谈话。

典型地，多方视频会议由一个多方控制单元(MCU)主持，其也被称为多点会议单元。MCU联合来自端点的所有视频馈给(video feed)，并且在会议中向所有视频摄像机以及协作资料视频馈给的每个端点呈现适当的视频图像。

典型地，MCU许可有限地独立控制将哪些图像提升至全尺度大小。常见的全尺度选择技术是为了许可在单独的图像之间‘翻页’，或是使能用音频或人工指令(manual cue)来自动提升单个图像或图像组合。

MCU无法感知会议中的资料的物理位置或邻近度。在呈现中也没有保持或推测物理布局信息。图3a示出了一个典型的MCU屏幕布局。在最简单的情况下，屏幕31被简单地分成同等大小的窗格32，并且没有向任何远程端点视频给予加权。

作为替换，如图3b所示，在最大的“窗格”33中渲染的是当前说话人的视频A，其他参与者视频B、C和D在较小的窗格34中渲染。片刻之后，位置B处的参与者接起会话，并且MCU切换窗格，使得在大窗格33中渲染视频B，并且在较小的窗格34中渲染视频A。图3c中对此进行了示出。典型的MCU供应具有不同数量的窗格的若干布局设计，但是所有这些布局的特点都是缺乏整体一致的对视频窗格相对于彼此的定位。在某种程度上，视频窗格标签帮助参与者跟上会话，尤其是在于某些遥远的端点处采用了视频源切换的情况下。在一个通常为最小的窗格上显示本地视频以至其他端点将看到它。

Radvision SCOPIA Elite 5000 MCU是典型的当前技术。在默认情况下，所有端点接收相同视频流。该流的布局由一个仲裁器(moderator)设置。任一端点处的用户可以设置“个人会议布局”，但是执行该设置的是一个涉及若干对话框的多步骤过程。

术语“远程呈现(Telepresence)”用于指称一个具有解决进行与面对面的会晤更为相似的视频会议的一般问题的某些特征的视频会议系统。高清视频在典型地按行排列且通常没有边框的大屏幕上渲染真人大小的参与者，宽带立体声或多声道音响用于创建遥远方的逼真效果，其目的是给出他们实际坐在桌子对面的错觉。各种方法被用于解决当要显示的视频流多于显示这些视频流的监视器时出现的问题。

思科网真多点交换机(Cisco TelePresence Multipoint Switch，CTMS)是一种用在远程呈现环境中的典型MCU。为了满足在数量有限的监视器上以真人大小显示所有会晤参与者的相互矛盾的要求，使用语音激活切换。切换可以是站点级别的，也就是说，显示具有当前和最近说话人的站点。如果站点具有多于一个或两个的参与者，那么可以“分段”切换多个摄像机，以使当前和最近说话人在遥远的端点处是可见的。在此类系统中典型的是，经由例如膝上型PC的控制设备上的对话框来控制用于控制布局的本地用户界面，例如放置“图片中呈现(presentation-in-picture)”，或是在分开的监视器上放置。对于多方会议来说，其问题的本质在于视频摄像机在二维视频监视器上渲染三维世界。在渲染空间上适当的视频图像方面业已进行了一些研究；参见以下的参考文献1和2。

在采用MCU的多点会议中，端点以星形、多星形的拓扑进行互连。名为网格配置并在图2中示出的可替换配置中，每个端点直接连接到会议中的每一个其他端点。在此类布置中，每个端点具有完全的自由以独立于在其他端点处呈现视频及其他协作资料的方式并且唯一地呈现持视频和其他协作资料。

过去，网格端点是建立在标准的GUI框架之上的。这允许用户极度灵活地对窗口执行移动、整形、最小化、最大化、前移、回退、层叠等操作，每个窗口表示来自通话中的其他端点的视频或协作资料。然而，在会晤的上下文中，所有这些灵活性不但单调乏味，而且还分散注意力。

在现有技术中已经考虑了各种方法：—例如，参见：伯克利设计学院(Berkeley Institute of Design)的Nguyen,D.T.,Canny,J.发表于ACMconference on Human Factors in Computer Systems,2007,第1465-1474页的“Multiview:improving trust in group video conferencing through spatialfaithfulness”；以及加拿大皇后大学人类媒体实验室的Jenkin,T.,McGeachie,J.,Fono,D.,Vertegaal发表于Proceedings of the ACM Conference on HumanFactors in Computer Systems(CHI),2006(扩展摘要)第1497-1500页的“eyeView:focus+context views for large group video conferences”。

弗劳恩霍夫电信研究所(Fraunhofer Institute for Telecommunications)的海因里希赫兹研究所(Heinrich Hertz Institute)也从事于3D视频会议技术。一些公司正在使用3D环境的仿真，例如Tixeosoft。

Linda B.Allardyce以及L.Scott Randall于1983年4月发表了DARPA技术报告“DDI/IT83-4-314.73”。http://www.dtic.mil/cgi-bin/GetTRDoc？AD＝ADA127738andLocation＝U2anddoc＝GetTRDoc.pdf。该DARPA报告描述了如何“采用两种方式实现与会者关系的真实性(realism)。首先，在每个站上，四个与会者(一个真实与会者和三个代理人(surrogate))必须维持相同的排列；也就是说，A始终处于B的左边，B始终处于C的左边，以及D始终处于A的左边……。第二个关键点……对于每个代理，存在从该代理的视角来看将目前的与会者的图像传送到远程站的单独的摄像机，而不是由单个摄像机将真实与会者的相同图像传送到所有其他位置……”。

发明内容

在一个方面中，本发明提供了一种电话会议系统，其中多方从不同位置参与电话会议，并且该系统配置为使得包含表示参与者的同时图像或图标的影片条(filmstrip)在会议位置处的一个或多个显示屏上按照表示其真实世界或虚拟世界空间关系的空间关系进行显示。所述图像或图标可以是包含经尺寸减小的视频馈给的帧的形式，所述视频馈给可以通过点击被提升至全尺寸。

由此，本发明的实施例提供了一种用于多方视频通话的虚拟物理上下文，使得感知到人与物相对于彼此的位置。这解决了正在看着谁或者什么或是正在对谁说话的模糊性。本发明的一个实施例提供一个视频导航系统，该系统示出在虚拟会议室中人和物的位置，并且当图像多于可用视频监视器时帮助选择要看到的内容。即使当放大(在数个图像之中的)单个图像时，剩余的经按比例缩小的图像仍旧是活动的，并且是看得见的。

在将多个实时(live)视频馈给呈现给一个或多个视频监视器，且图像多于监视器的情况下，本发明的实施例许可容易地选择单个图像并将其提升至全尺度。许可将两个图像提升至1/2尺度以及将三个图像提升至1/3尺度等等。用户界面特意模仿了常见的计算机窗口管理系统如何运转，以使用户不必学习新的按键或鼠标动作。

在一个实施例中，在屏幕底部始终存在一行或多行处于全尺度的1/6到1/9的图像。通过单击或双击计算机鼠标左键，用户可以将一个或多个图像提升到全尺度。如果图像是实时视频馈给，那么以全尺度渲染该图像，其中该图像的底部被屏幕底部的影片条图像部分地挡住。如果该图像是计算机应用或桌面，那么减小该图像的尺寸，以使其任何部分都不被挡住。

使用包括按住shift键点击和按住ctrl键点击的标准用户方法来选择多个连续图像，或者实现选择/取消选择单个图像。

根据本发明一个实施例的视频映射技术允许用户同时看到所有活动视频，同时针对多于两个端点的视频会议保持自然注视角度及位置信息。

本发明许可在保持所有活动的馈给都看得见的同时快速将一个或多个活动视频馈给提升至全尺度。

相比于像众多远程呈现系统那样的典型地采用MCU或专用硬件的其他系统，本发明与常见的硬件和标准的操作系统一起工作。

在一个实施例中，本发明帮助端点以网格配置互连，这消除MCU的资金和管理成本，但其并不排除星形配置。

在混合拓扑网络中出现另一个问题，其中若干端点以网格连接进行连接，并且至少一个端点利用非网格连接连接到网格连接端点。在这种情况下，理想的是许可非网格连接端点享有与网格连接端点相同的特征。

由此，根据本发明的一个方面，提供一种电话会议系统，包括：多个端点，多个端点中的至少一些以网格配置进行连接，并且多个端点中的至少一个以非网格配置连接到网格连接端点中的所选择的网格连接端点，其中影片条在网格端点处进行显示，所述影片条具有包含来自会议参与者的经尺寸减小的视频馈给的帧，所选择的网格连接端点处的代理，所述代理用于非网格连接端点并且连接到每一个网格连接端点，以便从网格连接端点接收用于非网格连接端点的视频馈给，与所述代理相关联的服务器，所述服务器用于将具有包含来自网格连接的会议参与者的经尺寸减小的视频馈给的帧的影片条提供给非网格连接端点，以及控制连接，该控制连接许可位于非网格连接端点处的用户选择影片条上的视频馈给用于提升至全尺寸，以及发起全尺寸视频馈给到非网格连接端点的转移。

附图说明

现在将参考附图并仅借助示例来对本发明进行更详细的描述，其中：

图1示出典型的网格连接的视频会议端点；

图2示出典型的网格连接的四方通话；

图3a到3c示出典型的现有技术的屏幕布局；

图4a和4b示出根据本发明实施例的典型屏幕布局；

图4c和4d示出影片条；

图4e示出圆桌概念；

图5a和5b示出使用两个监视器的屏幕布局；

图6a到6c示出用于位置D处的用户的不同屏幕布局；

图7a和7b示出具有经提升的协作的不同屏幕布局；

图8描绘典型的现有技术的混合拓扑会议；

图9描绘具有星形服务器的混合拓扑会议；以及

图10描绘非网格端点代理。

具体实施方式

影片条的使用是根据本发明实施例的视频会议端点的用户界面的一个特征。所述影片条包括一个帧条，该帧条包含了来自各种参与者的经尺寸减小的视频馈给。它的目的是允许用户看到来自所有与会方的视频和协作资料，以及确定将“提升”也就是说以较大的尺度显示哪些特定的视频流或协作资料，以及初始将如何在端点的屏幕上安置提升。

图1描绘了一个典型端点10。该端点包括由公共的呼叫控制软件19所管理的设备的集合，所述公共的呼叫控制软件19具有用于通话建立的单个网络地址(例如IP地址或URL)。实现本发明的软件具体化在显示控制器11中。该图中的方框是功能性表示，其并不暗指任何特定的硬件集成。呼叫控制19和显示控制器11的软件可以与共享计算机或分开的计算机中的其他软件一起运行。

会议参与者14坐在视频摄像机15的前方以及监视器12的前面。所述监视器受控于显示控制器11，并且接收来自参与给定会议的所有其他端点的多个视频流及协作数据17。优选地，其他端点同样采用本发明。参与者可具有其希望在膝上型计算机16或视频记录设备(未显示)等等之上共享的协作资料。

如图2中的示例所示，多点通话中的端点可以采用网格配置来进行互连。该图示出了四个经互连的端点。在网格连接中，来自每一个端点例如端点21处的所有设备的媒体流和数据分别经由网络18的连接26、27和28独立地流传输至和自会议中的所有其他端点，例如端点22、23和24。如果如图1所示，一个端点21具有两个摄像机，那么在每个网络连接26、27和28中都将流传输这两个作为结果的视频流13。本领域技术人员将会理解，本发明可以在使用MCU的星形连接的系统中，可能作为MCU的一个特征实现，并且在将多个摄像机的输出传送至网络之前，可以采用某种方式来组合这些摄像机的输出。在端点具有用于示出视频或协作资料的单个显示屏的情形中，本发明最容易理解。

在一个实施例中，影片条位于屏幕的下边缘附近，并且是单行来自会议中的所有端点的所有视频或协作(即文档、呈现等等)的缩略图。在现有技术的端点(如上所述的图3)中，提升意味着在提升时移除较小的视频，与之形成关键区别点的是，即便已将来自遥远的端点的源提升至较大尺寸，也示出所有时间来自所有遥远的端点的所有源。

在优选实施例中，在将缩略图添加到通话的时候，按照从左到右的顺序将其添加到影片条。举例来说，图4a示出在被标示为D的端点已与端点A建立通话并且接着添加了端点B和C之后的影片条42。这种排序是作为用于建立虚拟圆桌的方法而被任意挑选的。

在图4e中示出了圆桌概念。当在任何给定位置显示影片条或经提升的视频时，其以一种反映了来自给定端点的视野的方式加以显示，就好像所有参与端点全都定位在圆桌492旁一样。例如，从处于虚拟桌旁的端点D494的角度来看，端点A位于左侧，B位于中心，C位于右侧。

当会议中的另一个端点同样具体化本发明时，这一点变得重要；优选的是，会议中的所有端点全都采用本发明。在本发明的另一个方面中，将在整个会议中保持“圆桌”顺序。

换言之，作为示例，位置C处的影片条将以图4c所示的方式显示，其反映来自该同一虚拟圆桌492旁的位置C的视野。类似地，位置A和B的顺序分别是BCDA和CDAB。注意，在该圆桌的实施例中，本地视野始终处于影片条的右端。用于建立和呈现圆桌顺序的其他规则是可能的，并且取决于设备配置规则。重要的是，在给定通话中使用本发明的所有端点都遵循相同的规则，以便创建围绕圆桌492的相同端点排序。

优选地，影片条中的缩略图是以相同的高度单行显示的，其中每一个缩略图的高度是屏幕高度的1/6到1/9。

参考图4a，在该实例中，视频B 41被提升至填充全屏11。根据本发明，缩略图视频B 44同样出现在影片条中。注意，由于元素41是一个视频，因此它可以使用影片条后面的屏幕空间，所以可以把影片条看作是画中画。

影片条GUI的一个特征在于其通过使用众所周知的GUI直接动作方法来实现常见动作，类似提升至全屏或共享屏幕以及降级。“GUI直接动作”指的是单个用户动作。单个用户动作的示例是：可选地，在用户按下shift、ctrl或其他键之一的同时，单击、双击或三击与鼠标或其他定点设备相关联的左键、右键或中键。它并不意味着：从通常与右键点击相关联的弹出菜单中进行选择；使用对话框；下拉菜单。此外，它并不意味着直接或以其他方式在除了显示影片条以及提升的一个显示器或显示器的集合之外的设备上的动作。

例如，在优选实施例中，如果提升视频A，也就是视频A正占用整个屏幕，那么，在视频B缩略图44上点击右键将会提升视频B，将其与经提升的视频A交换，其结果如图4a中所示。现在，如果现在用户在右键点击缩略图视频A 45的时候按住ctrl键，那么如图4b所示，视频A和视频B二者都将显示在屏幕上的预定平铺排列中。注意，以在平铺结构中放置经提升的视频的方式反映影片条中的圆桌顺序。由于视频A在影片条中处于左侧，因此，其被添加到了视频B的左侧。

依照众所周知的实践，用户现在可以调整经提升的视频的位置和尺寸。在优选实施例中，此类用户调整将取代预定的平铺排列而被保存和使用。

在用户可以调整影片条的方式上应用特殊的限制。影片条始终处于“顶部”窗口(也就是始终在暴露操作系统异常的屏幕上是完全可视的)。在优选实施例中，影响影片条的显现的唯一用户动作是使用任何众所周知的GUI方法来移动其在屏幕上的位置的用户能力。

本发明的这个方面的一个特征在于：当提升缩略图的时候，以较大的尺度来创建和显示视频流或协作的第二实例。缩略图中所显示的视频维持活动，作为经提升的视频(或Collab)的微型版本。

在默认情况下，影片条是在屏幕底部附近的中心处显示的。在本发明的替换实施例中，对部分地遮挡屏幕的一个安装在中心处的视频摄像机做出规定。影片条将显示在图4d所示的预先配置的排除区域的任意一侧。

优选地，对协作项的默认提升来说应用的特殊的限制不同于以上针对视频项所描述的限制。

例如，在图4所示的会议中，位置A处的参与者希望进行呈现，并且使用了已知的方法将其呈现添加到通话。该动作在采用本发明的会议中的所有端点处具有在包括端点A的各端点处将缩略图添加至影片条的即时效果。依照预定规则(其可以取决于房间配置而变化，并且以所有房间均进行相似配置的假设为基础)，Collab缩略图紧靠着相应的视频缩略图的右侧进行定位，扩展了圆桌概念。这在图7a中示出为其将在位置D处的影片条中出现。Collab A 71处于相关联的视频A 73的右侧。

在本发明的一个变体中，任何新添加的项都将立即被提升，就好像用户已右键点击了新添加的缩略图一样，在本范例中，该缩略图是71。无论是通过这种默认的手段还是当用户点击缩略图的时候，Collab都会被提升，但将不允许其使用整个屏幕。经提升的Collab 72将不但受到其他经提升的项(在本示例中并未呈现)的约束，而且受到影片条的约束。如果在具有Collab A的屏幕上维持任何经提升的视频，那么经提升的Collab相对于经提升的视频的位置与其缩略图相对于视频缩略图的位置是相同的。图7b示出了当Collab A 72与视频A 74和视频C 75同时显示时的可能结果。

通常，优选的是将视频和Collab视为分开的显示对象类，其允许用于视频类和Collab类的不同的行为规则。举例来说，除了不被影片条遮挡之外，当使用右键点击来提升Collab类时，其将不与视频类交换，而是添加到任何经提升的视频类对象，反之亦然。

如果在多于一个的端点中具体化本发明，那么针对影片条的所有用户动作都处于用户的端点本地。

影片条不但在如迄今为止描述的多点通话中是有用的，而且在点到点通话中是有用的，其中在所述点到点通话中，一个位置或这两个位置可具有可供另一方使用的多于一个的摄像机、视频馈给、文档、白板、呈现等等。

迄今为止，本发明已被描述成将应用于具有单个屏幕的端点。此外，它可以适配于端点具有可供会议内容呈现使用的多于一个的屏幕的情形。

参考图5a，将使用相同的四方通话来示出对两个屏幕的适配。在默认情况下，如单屏范例中所描述的影片条在多个屏幕之间被任意拆分。在双屏示例中，左侧屏幕502的影片条522包含了用于位置A和B的缩略图，并且右侧屏幕504的影片条524包含了用于剩余位置C以及本地视频D的缩略图。

优选的是，圆桌顺序被保持，由此，在相同的例示性的四方会议中的位置C处的双屏端点上的经聚合的影片条看起来将如图5b所示。注意，凭借相应缩略图的位置，在经提升的视频中同样也保持了圆桌顺序。参见图5a，在位置D处，在左侧屏幕502上显示视频B 512，并且在右侧屏幕504上显示视频D 514(D本地的视频)。参见图5b，在位置C处，在右侧屏幕518上显示视频B 518，并且在左侧屏幕506上显示视频D 516。

优选地，在默认情况下，视频被提升至其相应缩略图所位于的相同屏幕。根据本发明，用户可以将影片条的一部分从一个屏幕拖动到另一个屏幕，以便影响将出现提升的屏幕。优选地，影片条的这种调整由如以下示例示出的圆桌规则约束。

图6a示出典型的双屏布局。该示例是一个除端点D现在具有两个屏幕602和604以外与上文中使用的会议相似的四端点会议，但是会议的组成和状态与在图7a中针对位置D处的单个屏幕所示出的会议组成和状态相同。根据本发明，该影片条在两个屏幕之间被任意拆分：影片条606处于左侧，并且影片条608处于右侧。由于位置A处的个体仅将Collab资料添加到会议，因此，依照默认偏好，其以提升603显示在位置D的左侧屏幕602上。这是因为这就是缩略图Collab A 610在依照优选圆桌顺序添加的影片条中出现的位置。

现在，假设位置D处的用户希望将Collab A缩略图610拖动到右侧屏幕604，以便影响该会议的这个呈现及未来呈现。用户在缩略图上按压鼠标，并且典型的Windows图标612向用户指示现在可以采用鼠标拖动图标下方的对象，直至将其释放，在本范例中，该对象是缩略图610。

图6b示出拖放过程中的中间点。注意，为了保持优选的圆桌顺序，视频B缩略图614通过图标612被“推动”到目标缩略图610的前面。

假设用户遵循典型的GUI行为在释放鼠标按键之前拖动图标612直至右侧屏幕604，那么该拖动被视为结束，并且所拖动的对象被放置在于本范例中由新颖的影片条规则所约束的目标屏幕中。仅存在如在图6c的项616中所示的一个优选的影片条配置。缩略图视频A 618保留作为左侧屏幕602上的唯一缩略图。

图6所示的若干细节是一个详细设计的问题，并且并不是本发明所必需的。在图6a中，就像对于新添加项的偏好一样，Collab A 603被提升。然而，在图6b和6d中未示出所述提升，其是否停留、移动到右侧屏幕或不再被提升是一个用户偏好或设计的问题。影片条616被示出为处于中心，缩略图618保留在原来的位置、以及再次处于中心或缺失是一个用户偏好或设计的问题。影片条616和618二者的尺度与拖动前的尺度相同，可能是或可能不是这种情况，这不仅取决于设计或用户偏好，而且取决于视频和Collab资料的源与各方的数量。

在一个实施例中，当在经提升的视频(或Collab)已占用的屏幕上右键点击第二(或后续)缩略图并且另一个屏幕具有空闲空间(其可以是平铺空间)时，那么所述第二视频被提升至该替换屏幕。

以下的详细描述应用于其中在单个视频监视器上显示多个视频图像的解决方案。接下来是对于用于多个监视器的解决方案的分开的描述。

为了及时地实现影片条，使用已有的视频和桌面窗口。影片条中的每个帧都是分开的顶级窗口，该窗口为当被选择的时候将在主视图区域中被调整大小和显示的相同窗口。

优选地，只有当两个或更多视频或计算机桌面(collab)可用于在单个面板(这也包括本地视频/collab)上显示的时候，影片条才应该是可见的。

当处于影片条表示时，每一个视频和桌面都没有标题栏或边框以移动窗口或是调整窗口大小。这允许维持影片条的完整性，也就是说，处于影片条中的视频或桌面表示保留在影片条中。

移除与视频或桌面进行的其他形式的交互：在桌面上的鼠标移动和点击将是没有效果的，查看器上的缩放、裁剪和切换摄像机按钮被移除，在视频查看器上点击和拖动不导致平移。

当影片条没有填充整个水平底带时，可以在影片条的左端添加一个句柄，用户如有需要则点击和拖动所述句柄以移动影片条。

可以在期望摄像机所在的位置后面的影片条中留出一个空间，以使整个影片条都是可见的。

影片条中的窗口会始终保留在顶部。

影片条差不多作为画中画出现在正被查看的内容的顶部。

也就是说，如果视频是全屏的，那么其将被影片条部分地覆盖。然而，在默认情况下，桌面将不被放置在影片条的下方，并且将自动应用适当的缩放比例来确保这种情况。

影片条中的项将按照其桌面顺序出现：

如果从左侧的位置开始围绕圆桌行走，那么视频按照其在顺时针方向上出现的顺序从左到右出现。

桌面将出现在拥有该桌面的人的右侧。

本地视频以及任何本地桌面将出现在右边远方。

视频在影片条中的初始高度将是屏幕高度的1/6。然而如有必要，影片条中的项将收缩，以便容纳新的资源。

滚动栏将不会出现。

初始地，屏幕上正在显示的视频将由影片条中的图示表示，直至能够同时在相同屏幕上渲染同一视频的两个视图。

交互

●一般，N个视频或桌面可以同时显示，并且初始不需要设置限制。

●视频应以单行从左到右地显示，而不是将其堆叠(即仿真Ardbeg而不是Ardmore)

●点击、按住ctrl键点击(Ctrl-Clicking)以及按住shift键点击(shift-Clicking)是用于挑选显示哪些视频和collab的机制。

●正在尝试保持点击、按住shift键点击以及按住ctrl键点击的熟悉语义用于选择

●视频和collab被认为是不同的窗口类。点击collab绝不会置换视频。点击视频绝不会置换collab

●点击视频缩略图将导致其替换已有视频。点击collab缩略图将导致其替换已有collab。

●简单的情况是只显示一个视频，并且点击缩略图来将它们换出

●复杂的情况是显示了两个视频，将所有当前所显示的视频全都返回到影片条，并且显示被点击的视频

●点击用于已显示的视频或桌面的图示与在其尚未显示的情况下点击它具有相同的效果

●如果它未被最大化，则使其最大化(也就是说，进行重新布局)

●如果它不是正在显示的唯一视频，那么其在被点击之后变成正在显示的唯一视频-所有其他所显示的视频被返回到影片条。对collab来说也是如此。

●如果它是正在显示的唯一视频，并且被最大化，那么将没有效果

●当移动到多屏幕时，那么在视频或桌面上点击可能首先挑选一个屏幕，并且仅该屏幕会受到影响，而不影响在其他屏幕上所显示的资源

●按住ctrl键点击缩略图将更改被显示的视频或桌面的数量

●在当前未显示的视频或桌面上按住ctrl键点击导致其被显示，但是不移除当前正在显示的任何视频或桌面。

●在用于当前显示的视频或桌面的图示上按住ctrl键点击导致其被返回到影片条，并且不被任何其他视频或桌面替换。

●如果这是正在显示的唯一视频或桌面，那么其结果将是不显示任何视频或桌面

●按住shift键点击与按住ctrl键点击相似，但其选择要显示的视频和桌面的连续区域

●最终，应该能够从影片条中拖放视频和collab

●如果需要的话，利用无效空间(dead space)

●如果需要的话，替换所选择的窗口的内容

●在未来，这可以具有对圆桌进行重新排序的效果(但其将不太可能应用于单屏系统)

●影片条中的窗口不能被独立地四处移动，影片条应被认为是左侧具有句柄的单个窗口，所述句柄可以用于将其向左或向右拖动。

●由于具有标题栏和边框，影片条外部的窗口可以像过去那样被随意地四处移动。

●如果只显示一个窗口或桌面，那么，在另一个窗口或桌面上点击将导致媒体的交换，所述媒体可针对高宽比(aspect ratio)进行重新整形，但在其他方面将不导致其移动或调整大小。

●在另一个窗口或桌面上按住ctrl键点击，或在显示多个窗口的情况下执行正常点击将导致完全的重新布局，按照圆桌定位将所有资源移回到单行。

●将视频或桌面最小化应该将该视频或桌面返回到影片条中的实时视图。也就是说，这与在表示它的影片条图示上按住ctrl键点击具有相同的效果。

窗口行为/窗口管理器考虑

●影片条中的窗口：

●在任务栏中没有条目

●没有标题栏

●没有边框

●没有鼠标/键盘交互性

●始终处于顶部

●内容区中所显示的窗口

●在任务栏中具有条目，直至不再被显示

●当在内容区中不显示资源时，在任务栏中没有用于该资源的条目。访问该窗口的唯一方式是通过影片条。

●具有标题栏

●具有边框

●正常的鼠标/键盘交互性

●整个影片条

●在任务栏中没有条目

●没有标题栏

●没有边框

●始终处于顶部

●用于在屏幕底部的限定空间内移动它的特殊拖动句柄

资源选择模型

资源的自动选择

虽然影片条旨在主要由用户驱动，但存在一些时候，HD控制器从要显示的影片条中自动选择资源是有意义的，并且实际上对用户体验而言是非常重要的。特别地：

●当用户特别地将本地资源拖动到墙面(wall)时，意味着其希望立即查看该资源，因此应该将其添加到选集(selection)中。

●当用户与远程方进入视频会议时，应该认为远程视频比本地视频更为重要，并且应该显示远程视频，如果存在本地视频，则远程视频替换本地视频。

●类似地，当远程用户共享桌面时，这表明从视频会议转变到了协作会话，由此，远程桌面是最重要的资源，并且应该显示远程桌面，如果存在本地桌面，则远程桌面替换本地桌面。

●一般地，如果存在共享至本地墙面的资源，则可以假设用户希望查看其中至少一个资源。由此，如果结束资源共享导致在于此之前存在被选择的资源的地方任何资源都未被选择，并且尚存在共享的资源，那么必须挑选剩余资源之一来进行共享。

这导致以下规则：

1.没有伴随新的远程资源的新的本地资源或新的本地资源集的出现导致那些新的本地资源被选择。如果其伴随新的远程资源，则假设已响应于接收来自远程用户的远程共享由会话控制器自动共享了所述新的远程资源，于是，本地资源不会被自动选择。

2.新的远程媒体类型(远程视频或远程桌面)的出现表明转变到了新的操作模式(在这里考虑三种模式：本地工作站、视频会议以及远程协作)。由此，新的资源被选择，并且相同时间的所有本地资源被取消选择。

3.结束所有剩余的所选择的资源共享导致搜索最适当的剩余资源共享并且选择它。偏好的是远程视频，之后是远程桌面，然后是本地桌面，最后是本地视频。

资源的手动选择

所期待的某些动作将是常见的，并且需要使这些动作变得无关紧要的一个选择模型。这些操作是：

●选择要在任何给定时间显示的单个资源。

●选择要在任何给定时间显示的单个视频和单个桌面。

●改变被显示的发言者，而不改变被显示的桌面(反之亦然)。

●选择和取消选择一个(或少数的)其他资源。

这已产生以下行为：

1.点击视频导致其被选择/显示，替换当前所选择/显示的任何其他视频。类似地，点击桌面导致其被选择/显示，替换当前所选择/显示的任何其他桌面。这样一来，可以选择要在任何给定时间显示的单个视频和单个桌面。注意，如果存在视频的话，那么点击桌面不会替换所述视频，并且如果存在桌面的话，那么点击视频不会替换所述桌面。这样一来，可以容易地改变所显示的发言者，而不改变所显示的桌面，反之亦然。

2.在已经是正被选择/显示的单个视频的视频上点击导致该视频变成此时正被选择/显示的唯一资源(视频或桌面)。类似地，在已经是正被选择/显示的单个桌面的桌面上点击导致其变成此时正在显示的唯一资源(视频或桌面)。这样一来，可以选择要在任何给定时间显示的单个资源，同时仍旧能够保持先前所描述的行为。

3.在任何未被选择/未被显示的资源上按住ctrl键点击将所述资源添加到要显示的选集，而不替换任何其他已选择/已显示的资源。在任何已选择/已显示的资源上按住ctrl键点击将该资源从要显示的选集中移除，而不影响任何其他已选择/已显示的资源。这样一来，除了使用前述行为使其显示的单个视频和桌面之外，可以容易地选择额外的资源来进行显示。将这种行为称为切换选择(toggle selection)。

4.希望用户在其他方面能够以其始终采用的方式来操纵窗口，所述方式包括将其目前不希望看到的窗口最小化。然而，并不希望在任务栏中显示视频，因为其改为在影片条中显示。更进一步，希望影片条精确反映出正在显示的内容。由此，如果将窗口最小化，那么该窗口被取消选择。

资源的批量选择

虽然不太可能是常见动作，但是批量选择(bulk selection)补充了简单选择和切换选择动作。特别地，它是用户在操作台式计算机的其他方面中习惯的行为。在正常点击是简单选择并且按住ctrl键点击是切换选择的情况下，按住shift键点击一般是批量选择。

实质上，先前所选择的项被指定为“先导(leader)”，然后，在另一个项上按住shift键点击导致选择该项、先导以及介于其间的所有项，并且取消选择所有其他项，这导致一个连续的所选择区域。如果没有被指定为“先导”的先前所选择的项，那么所述先导变成经按住shift键点击的项，这导致单项选择。在范例中，所述“项”是视频和桌面资源。

对于批量选择，忽略在简单选择中遵守的视频与桌面资源之间的区别，因为不这样做的话将导致一个不连续的选择区域，而这与大多数用户熟悉的模型是相反的。

批量选择的一个未被明确定义或是在其他桌面平台上不一致的行为是对“先导”的选择。规则是简单的。通过除了批量选择之外的任何手段要添加到选集的最近的元素是先导。然而，仅仅记住当前先导，而不记住先前先导。因此，如果以任何方式从选集中移除当前先导，那么不知道要添加至选集的最近的元素。取而代之的是，挑选最左边的所选择的项。如果该选集为空，则没有选集先导。

这导致一种批量选择的简单实现方案，其对用户来说是直观的。

几何形状保持

希望确保初始为给定的所选择资源集提供最佳布局，然后让用户根据需要移动窗口或是调整窗口大小。一旦用户进行了修改，则其给予关于其偏好的暗示，并且希望当实施稍后的布局时将它们纳入考虑。尤其是，如果在每次进行新的布局的时候用户都必须以相同的方式重新修改窗口，那么用户将非常烦恼。因此，希望进行一定量的几何形状保持来确保一旦人们开始做出修改就遵从那些修改。

一种解决方案是使用最长共同子序列差分算法(longest commonsubsequence diff algorithm)来匹配新窗口与旧窗口，并且找出哪些新窗口没有与之匹配的相应旧窗口等等。由此，规则将是：

●交换：保持几何形状(收缩或增大垂直通道(vertical access)以使宽高比正确)

●添加：如果在左侧的所有资源与右侧的所有资源之间存在清晰的线，则通过适当地按比例缩小所有资源来打开右侧位置中的资源之间的空间，并且插入新的资源。否则，进行新的布局。

●删除：如果删除留出新的未使用的空间带，则提高(upscale)所有其他资源以填充该带。否则什么都不做。

如果存在多种改变，则应该按照以下顺序对其进行考虑：交换、删除、添加。

手动调用新的布局始终开始刷新。

具有多个视频监视器的系统上的影片条实现方案

影片条查看器的实现方案与马戈尔圆桌(Magor Round Table)是紧密关联的。它是一个将这二者联系在一起的慎重的设计决策。然而，以下章节(除了最后一节)做出了一个基本假设：在圆桌会话中的每个活动屏幕上都有一个摄像机。没有摄像机的屏幕(也被称为裸屏)不与圆桌旁的其他裸屏相兼容。只要在会议中只存在一个裸屏，就可以原封不动地保持所感知的注视角度(以及用户的信任)。

一般操作

1.影片条查看器是屏幕资源。它们在屏幕全满以及另一个图像被向前移动到屏幕之一时被实例化。然后，在具有两个(或更多个)图像的屏幕的底部示出影片条查看器。

2.当将图像从查看器向前移动到屏幕时，它们始终按照圆桌顺序放置。

3.将在被指派了多于一个图像的任何屏幕上实例化影片条查看器。

4.被手动编辑过形状或位置的图像在其被最小化回到该条并且被重新选择时记住其新的设定和位置。

管理到屏幕和摄像机的图像指派

到屏幕的图像指派：

考虑一个具有两个摄像机的双屏系统。该系统与四个其他系统处于活动会话中，其中有两个共享collab屏幕被用于总共七个图像，包括在使用影片条查看器的两个屏幕之间拆分的本地视图。在本节中，将论述如何可以将图像指派到屏幕，以及其可以在什么条件下从一个屏幕移动到另一个屏幕。假设collab屏幕被显示在共享该屏幕的人的图像的右侧，并且本地视图在本地作为最右侧图像出现(参见影片条的原始规范中影片条外观的部分。

期望的是，作为惯例，图像至屏幕的默认指派将是始于最左侧屏幕的均匀分布，并且当视频图像处于一个屏幕上且collab处于下一个屏幕上时，除非处于双方通话中，否则collab及其所有者的图像将被保持在同一屏幕。在分布中并不计入本地视图，但是计入共享的collab图像。在以下示例中，Av是来自系统A的视频图像；Ac是来自系统A的collab图像，依此类推。

默认的经放大图像

除非用户自添加最后一个图像之后已进行了特定选择，否则，每个屏幕上的经放大图像将是添加到会议的最后图像。假定，当将新的图像添加至会议时，它替换其所指派到的屏幕上的经放大图像。

将图像从一个屏幕移动到另一个屏幕

可以存在完成将图像从一个屏幕移动到另一个屏幕的数种方式。在第一部署阶段，只有首先将图像提升至全尺寸，所述图像才可以被移动。在稍后的阶段，可以通过点击并拖动(click-drag)影片条图像至另一个屏幕来移动它们。然而，不能打破圆桌顺序，因此，以下规则始终是适用的：

圆桌规则1：当将来自圆桌的图像从一个屏幕移动到另一个屏幕时，在右侧(如果向右移动)或者在左侧(如果向左移动)的所有图像将同样被移动到与该图像相同的目标屏幕。

圆桌规则2：当将视频图像移动到另一个屏幕时，(用于远程系统的)摄像机指派始终改变成新屏幕上的摄像机。唯一的例外是在目标屏幕上没有摄像机的情况。

注意，由于视频图像处于collab图像的左侧，因此，将collab图像移动到右侧不会拖动共享该collab图像的系统的视频图像。由于collab图像处于视频图像的右侧，因此，将视频图像移动到左侧也不会将用于该系统的相关联的collab图像拖动到目标屏幕。只有在加入用于初始屏幕指派的会议的时候，以及只有在会议中已经存在两个或更多个参与者的情况下，视频图像与其共享的collab图像的粘性才是相关的。

改变圆桌旁的位置(可选或由仲裁器监督)

为了改变位置，需要圆桌的可视化。相信，可容易地图标化和理解的简单的图是最佳的。考虑以下示例：

作为示例，x可以标记本地房间的位置。为了改变位置，可以简单地点击并拖动x立方体(x-cube)到其他立方体之间的位置；为了交换地方，点击并拖动x立方体到与之交换的位置的顶部。

绿色立方体可以表示系统，因此，并未表示collab图像。

在以下示例中表示圆桌规则的退出(opting out)。也对图标做了一点演进。

对于处理裸屏(没有摄像机的屏幕)的考虑

在部署的前几年中，将双屏系统连同一个摄像机一起销售以及将三屏系统连同两个摄像机一起销售已经成为了标准实践。假定的是一个屏幕可以用于协作并且不需要摄像机。摄像机是昂贵的-不仅仅是因为其需要整个计算机来对数据进行编码。

然而，注视角度出现问题。当在任何会议中连接两个双屏系统并且这二者都具有处于同一侧(全都处于左侧或右侧)的裸屏时，其他人在看着裸屏的时候似乎是在看着相反的方向。当会议中只有一个裸屏系统时，或者当它们具有相反的类型时(左-右或右-左)，那么其他系统可配置为应对该限制。

如果注视角度是重要的，那么必须在其无法符合所需要的配置的情况下对裸屏的使用加以制约。

注意，具有可被放置于任一屏幕上的单个摄像机的双屏系统或是具有两个摄像机但处理能力仅足够用于一个摄像机的双屏系统不会造成注视角度问题。

对于双屏系统来说，一种可能的折衷是将摄像机放置于屏幕之间。将会失去直接的目光接触，但是将恢复表面上的注视角度一致性。也就是说，当使用该系统的人转移目光时，其将似乎是看着正确的方向。考虑到相互注视不能得到满足的社会意义，这有可能是不可接受的。

本发明的变体

影片条是连接到其他视频或协作端点的视频端点的一个特征。该影片条位于屏幕下边缘附近，并且是来自所有与会端点的所有源的单行缩略图视频。所述影片条始终处于顶部(也就是始终是完全可视的)。使用已知的GUI方法，用户可以直接将任何缩略图提升至全屏，或者至使用已知方法所平铺的全屏的一个经分配的部分。可替换的GUI动作使新提升的缩略图添加至或替换已有的经提升视频或平铺视频。

以下按照重要性和非显而易见性的等级顺序粗略概述了一些更重要的变体：

○缩略图可以是真实视频流或协作(例如呈现、文档、网页等等)

○缩略图视频按顺序水平排列，就好像源在虚拟圆桌旁出现一样。

○端点显示能力包括以水平配置排列的多于一个的监视器，其出于本发明的目的被认为是单个宽显示器(也就是说，影片条以及经提升的视频使用所有显示器的整个宽度)。

○视频源被分类。允许某些源类别(例如真实视频)填充影片条后面的整个屏幕；其他类别(例如协作)不被影片条遮挡。

○如果在任何监视器前方存在实体对象(例如视频摄像机)，那么影片条在其中包括一个间隙，使得所述影片条不会显著地被摄像机所遮盖。

○可以使用已知的GUI方法移动经提升的视频并且制定其大小。

○可以使用已知的和在例如多方会议单元(MCU)中使用的方法在某种程度上使提升自动化

○可以减小可用的监视器空间以允许常见的GUI特征(例如Windows任务栏)

○一些或所有视频可放置于标准的窗口中，而不是将其平铺。

迄今为止所描述的实施例涉及网格拓扑会议。在本发明以及其他现有技术之前，非网格方可以参与网格会议，但是无法对视频内容进行个人控制，并且无法在网格会议中从影片条发明中得到其他益处。

本发明的一个重要方面涉及对混合拓扑会议即多方会议的控制，其中，一些端点是网格连接的，并且其他端点是星形连接到网格中的一个端点的。

在本发明的这个方面中，非网格端点用户可以使用如上所述的影片条用户界面来对其视频呈现实行与网格连接用户相同的控制。

在一个实施例中，这是在星形连接的端点处使用web浏览器技术实现的。在星形服务器上托管一个包括影片条的网页，并且在星形端点位置处显示该网页。星形服务器从所有网格连接端点接收构造网页上的影片条的视频。与由星形服务器所接收的影片条的用户交互导致将适当的视频流传送到星形端点。

图8示出了典型的混合拓扑会议通话。端点81、82和83是网格连接的。也就是说，每个端点经由多个连接88(媒体和呼叫控制，总数＝n x(n-1)/2 x 2 x 2+)将所有其媒体(视频、音频和数据)传送到所有其他网格端点。星形端点84连接到任一网格端点，在本示例中，其经由连接89连接到端点82。其他星形端点可以类似地连接到相同的或其他的网格端点。或者，诸如端点85和86的多个星形端点可以连接到一个MCU(多点控制单元)，所述MCU具有连接到一个网格端点在本范例中是端点83的分支。图中示出为单线的所有连接典型地包括视频音频媒体和数据，其中每个连接是双向IP连接。作为示例，连接89可以是Skype连接。

图9示出了采用本发明的多方会议，包括网格连接端点81、82和83以及连接到网格端点82的星形端点84。根据本发明的一个实施例，添加星形服务器91和计算机92。计算机92和星形端点84处于相同位置93，也就是说，93处的用户可以查看和访问这两个设备。计算机92正在运行可以显示由星形服务器91所托管的网页或其他合适呈现的浏览器或等效程序(App)，并且网页98包括如在IDF 29(特别是图4)中所描述的影片条99。网页98已经使用已知的方法例如会议登录过程与会议和端点84相关联。

计算机92可以是任何计算机，例如膝上型计算机或智能移动电话(iPhone或IPad)。此外，端点84的功能可以在同一计算机92上运行。

端点82已适配成支持到星形端点84以及另外到星形服务器91的标准(例如SIP或H.323)连接89。当星形服务器91例如在登录之后发现存在一个(或多个)星形端点参与会议时，它将确定哪个网格端点连接到星形端点(或相应端点)。对本领域技术人员来说，进行该处理的各种方法是显而易见的，但是一种方法是经由到相应网格端点81、82和83的控制连接95、96和97向每一个网格端点发送消息。这类消息将指示星形端点连接至会议及其标识，例如其IP地址、MAC地址、域名或分机号码等等中的一个或多个。

参考图10，示出一个网格端点82，该端点已适配成包括与嵌入式的MCU相似的星形代理功能。诸如连接96的连接可端接于代理控制功能104中。

一旦一个端点，在该范例中是端点82，已被指定为用于星形端点84的代理，那么它将使将充当用于星形端点的网格代理的本地混合器和中继器功能实例化。例如软件‘句柄’的控制连接108和109使用众所周知的MCU技术来分别控制混合和中继器的连接和操作。

代理控制功能104将使用任何已知为建立网格会议的方法来与会议中的其他网格端点通信，作为示例，该方法是用于在被指定星形代理之前将端点82连接到网格的相同过程。为了清楚起见，图10中省略了大多数以例如SIP的众所周知的方式运作的通话建立连接。由此，混合器功能102将分别经由连接1014、1016和1012连接到端点81、83以及本地端点101的传送媒体连接(视频、音频和数据)。类似地，中继器功能103将分别经由连接1015、1017和1013连接到端点81、83以及本地端点101的接收媒体连接(视频、音频和数据)。混合器功能102的输出经由连接1010(视频、音频和数据)连接到星形端点84。中继器功能103的输入经由连接1011(视频、音频和数据)连接到星形端点84。混合器102和中继器103的操作基本上与本地端点101内部的类似功能相同，并且典型地这些相同的过程将用于实现混合器和中继器功能的主体。

将连接描述为视频、音频和数据，这些全都可以或可以不存在于给定的会议通话中。

星形服务器91示出为分开的计算机，但其可以是在网格端点之一内部的计算机上运行的程序，例如图1中的11。浏览器被描述为分开的计算机92上运行的程序，但其可以是在端点84中的计算机上运行的程序。在上文中，为了本发明清楚起见，端点本地功能101、代理控制104、混合器102以及中继器104示出为分立的功能。在众多的实施例中，这些功能可以更进一步集成，并且不易被识别为分立的功能。

在优选实施例中，使用SIP协议建立会议，但是可以使用其他协议，例如H.323。

在以上描述中，描述了单个星形端点到网格会议的连接。可以将包括代理控制104、混合器102以及中继器104的任何数量的相似的星形代理106集成到单个网格端点或多个网格端点中，其允许任何数量的星形端点参与在核心处具有网格拓扑的会议。在这种情况下，它们优选地共享公共代理控制以及其他功能。

作为替换，星形代理106可以具体化在单独的计算机中，或者集成到星形服务器91中，然而，将星形代理106集成到网格端点82中是有益的，因为这样做使网络连接的数量最小化。

本领域技术人员将会理解，在极端情况下，构成星形代理106和/或星形服务器91的任何或所有功能都可以在被称为云的虚拟化计算机环境内的虚拟计算机中实现。

是否将星形代理106集成到网格端点82中或其被集成的程度未必是一个设计决策，相反，它是在安装时做出的决策，或者甚至是在调度或建立会议时或随着参与者临时(ad hoc)加入和离开动态做出的决策。这种资源分配决策可以取决于特定会议中的视频和/或音频媒体的质量。

在其他范例中，“星形端点”实际可以是如图8所描绘的连接到多个星形端点的MCU 87本身。在这种情况下，作为示例，显示影片条99的计算机92(图10)将典型地与星形端点之一85处于相同位置，以使用户可以方便地查看每个设备并与之进行交互。

代理允许端点84以非常类似于就好像其本是网格拓扑的一部分的方式参与会议。出于带宽的考虑，将高清视频从每一个网格连接端点流传输到端点84并不是合乎需要的。根据本发明的实施例，只需要流传输来自当前被提升至主窗口的端点的全尺寸视频馈给。仅尺寸减小的视频馈给需要通过流传输至端点本身或至在与端点处于相同位置的计算机上运行的浏览器来创建影片条。然后，用户可以选择影片条上的帧用于提升，并且经提升的馈给随后替换当前的全尺寸的帧馈给。

这样一来，非网格连接端点能够从以下优点中受益，即能够在影片条中以减小的尺寸查看所有视频馈给，并且选择任何馈给用于提升，而不耗费将所有高清馈给同时运送到端点84所要求的链路89上的带宽。

在上述所有情况中，所有端点，星形端点或网格端点，都从使用参考图1-7所描述的影片条的能力中受益。

Claims

1.一种电话会议系统，其中多方从不同位置参与电话会议，并且所述系统配置为使得包含表示参与者的同时图像或图标的影片条在会议位置处的一个或多个显示屏上按照表示其真实世界或虚拟世界空间关系的空间关系进行显示。

2.如权利要求1所述的电话会议系统，其中所述图像或图标按照将所述参与者表示为位于虚拟桌旁的空间关系进行显示，其中所述会议参与者设想为围坐在所述虚拟桌旁边。

3.如权利要求1或2所述的电话会议系统，其中所述虚拟桌是圆桌。

4.如权利要求1-3中任一权利要求所述的电话会议系统，其中所述空间关系跨所述系统保持，以使每个端点处的显示表示所述端点处的、所述参与者在所述虚拟桌旁的所述空间关系的视图。

5.如权利要求1-4中任一权利要求所述的电话会议系统，其中所述图像或图标是视频的形式。

6.如权利要求1-5中任一权利要求所述的电话会议系统，其中所述图像或图标能够响应于事件在全尺寸或中间尺寸与经减小的尺寸之间提升或降级。

7.如权利要求6所述的电话会议系统，其中所述事件是用户交互。

8.如权利要求7所述的电话会议系统，其中所述用户交互是鼠标点击的形式。

9.如权利要求6或7所述的电话会议系统，其中当将经尺寸减小的图像提升至全尺寸时，所述视频继续以所述经尺寸减小的图像运行，所述经尺寸减小的图像维持其与其他图像的、表示所述参与者的所述真实世界或虚拟世界空间关系的空间关系。

10.如权利要求1-9中任一权利要求所述的电话会议系统，其中所述图像或图标以影片条的形式展开在所述一个或多个显示屏上。

11.如权利要求1-10中任一权利要求所述的电话会议系统，进一步包括表示来自会议参与者的呈现的协作图像或图标，并且其中所述协作图像或图标同样在会议位置处的一个或多个显示屏上按照表示其真实世界或虚拟世界空间关系的空间关系进行显示。

12.如权利要求11所述的电话会议系统，其中协作图像或图标定位为接近于表示进行所述呈现的所述参与者的所述图像或图标。

13.如权利要求6所述的电话会议系统，其配置为使得新添加的项被立即提升。

14.如权利要求1-3中任一权利要求所述的电话会议系统，包括至少两个显示屏，其中所述图像或图标能够在不同的显示屏之间拖动，并且其中拖动到另一个显示屏的图像或图标“推动”其前面的图像或图标，以便保持所述图像或图标的顺序，并且由此保持其空间关系。

15.如权利要求1-13中任一权利要求所述的电话会议系统，其中终端参与者通过网格网络进行连接，并且端点之一处的代理接收用于呈现给非网格连接端点处的用户的视频馈给。

16.如权利要求15所述的电话会议系统，其中所述代理与用于以经减小的尺寸向位于所述非网格连接端点处的用户呈现所述视频馈给的服务器相关联。

17.如权利要求16所述的电话会议系统，进一步包括控制功能，以许可所述用户选择所述视频馈给之一用于提升，并且其中响应于来自所述用户的命令，所述代理将经提升的馈给作为全尺寸视频发送到所述非网格连接端点。

18.如权利要求17所述的电话会议系统，其中星形服务器在能够由终端用户访问的网页上构造所述影片条。

19.一种电话会议系统，包括：多个端点，所述多个端点中的至少一些以网格配置进行连接，并且所述多个端点中的至少一个以非网格配置连接到网格连接端点中的所选择的网格连接端点，其中影片条在网格端点处进行显示，所述影片条具有包含来自会议参与者的经尺寸减小的视频馈给的帧，所述所选择的网格连接端点处的代理，所述代理用于非网格连接端点并且连接到每一个所述网格连接端点，以便从所述网格连接端点接收用于所述非网格连接端点的视频馈给，与所述代理相关联的服务器，所述服务器用于将具有包含来自网格连接的会议参与者的经尺寸减小的视频馈给的帧的所述影片条提供给所述非网格连接端点，以及控制连接，所述控制连接许可位于所述非网格连接端点处的用户选择所述影片条上的视频馈给用于提升至全尺寸，以及发起全尺寸视频馈给到所述非网格连接端点的转移。

20.如权利要求19所述的电话会议系统，其中所述服务器配置为将所述影片条提供给与所述非网格连接端点处于相同位置的浏览器。

21.如权利要求20所述的电话会议系统，其中所述浏览器在与所述非网格连接端点处于相同位置的计算机上进行显示。

22.如权利要求21所述的电话会议系统，其中所述代理和服务器合并在虚拟化环境中。

23.如权利要求19-22中任一权利要求所述的电话会议系统，其中所述帧按照将所述参与者表示为位于虚拟桌旁的空间关系进行显示，其中所述会议参与者设想为围坐在所述虚拟桌旁边。

24.如权利要求23所述的电话会议系统，其中所述虚拟桌是圆桌。

25.如权利要求23或24所述的电话会议系统，其中所述空间关系跨所述系统保持，以使每个端点处的显示表示所述端点处的、所述参与者在所述虚拟桌旁的所述空间关系的视图。

26.一种用作电话会议系统中的网格连接端点的端点，所述电话会议系统包括：多个端点，所述多个端点中的至少一些以网格配置进行连接，并且所述多个端点中的至少一个以非网格配置连接到网格连接端点中的所选择的网格连接端点，其中影片条在网格端点处进行显示，所述影片条具有包含来自会议参与者的经尺寸减小的视频馈给的帧，所述网格连接端点包括代理，所述代理用于连接到每一个所述网格连接端点以便从所述网格连接端点接收用于所述非网格连接端点的视频馈给，与所述代理相关联的服务器，所述服务器用于将具有包含来自网格连接的会议参与者的经尺寸减小的视频馈给的帧的所述影片条提供给所述非网格连接端点，以及代理控制器，所述代理控制器许可位于所述非网格连接端点处的用户选择所述影片条上的视频馈给用于提升至全尺寸，以及发起全尺寸视频馈给到所述非网格连接端点的转移。