CN102265613A - 用于处理在多个视频会议终端之间的会议中的图像的方法、设备和计算机程序 - Google Patents

Abstract

本发明公开了一种用于处理在多个视频会议终端之间的会议中的图像的方法。所述方法包括首先提供至少两个视频会议终端的属性，然后根据所述至少两个视频会议终端的属性来定义若干个组，随后为每个视频会议终端确定该若干个组的排序列表，确定用于显示来自各视频会议终端的图像的窗格布局，所述窗格布局根据要在上面显示所述布局的视频会议终端的属性和该会议中各其它视频会议终端的属性来确定，把所述若干个组的排序列表映射到相应确定的窗格布局，并且最后依照选择的窗格布局和所述若干个组的映射来向每个视频会议终端提供至少一个合成图像流。所述方法允许不同类型的远程出席端点(例如不同的制造商、不同数目的屏幕/摄像机等)在相同的视频会议中一起很好地工作。

Description

用于处理在多个视频会议终端之间的会议中的图像的方法、设备和计算机程序

技术领域

本发明总体上涉及视频会议和远程出席系统领域。更具体地，本发明涉及一种用于处理在多个视频会议终端之间的会议中的图像的方法、设备和计算机程序。

背景技术

常规的视频会议系统包括若干视频会议终端(端点)，用于在诸如WAN、LAN和电路交换网之类的各种网络上及其之间交流实时视频、音频和/或数据(常常被称为双流视频(duo video))。

位于不同场点的若干视频会议系统常常可以通过一个或多个MCU(多点控制单元)来参与相同的会议，所述MCU执行例如切换和混合功能以允许视听终端适当地互相通信。

视频会议系统目前提供了在至少两个位置之间的通信，以允许在位于每个站点的参会者之间进行视频会议。远程出席(telepresence)系统是增强的视频会议系统。典型情况下，远程出席系统中的终端具有多个用于真人大小视频的大规模显示器，它们常常安装在具有为视频会议专用和装饰的内部的房间中，都用来创建尽可能接近于私人会晤的会议。远程出席系统中的终端装备有一个或多个摄像机。那些摄像机的输出连同音频信号一起被传输到在第二位置的相应多个显示器以使得在第一位置的参会者被感觉为是出席的或者与在第二位置的参会者面对面。

图1是图示远程出席视频会议的背景技术方面的示意图。

在多个(图示了四个)本地会议参会者前面布置视频会议设备的显示设备，特别是远程出席型的视频会议终端。本地参会者沿着桌子就座，面向包括多个显示屏幕的显示设备。在图示的例子中，在显示设备中包括四个显示屏幕。第一、第二和第三显示屏幕彼此邻近布置。第一、第二和第三显示屏幕用于显示在相应远程出席型的一个或多个远程会议场点捕获的图像。

第四显示屏幕被布置在第二显示屏幕下面的中心位置。在典型的使用中，第四屏幕可以用于计算机产生的演示或其它辅助会议信息。作为选择，如图2所示，第四屏幕由桌上安装的几个显示器来代替。摄像机被布置在上显示屏幕的顶上，以捕获本地参会者的图像，所述图像被传输到相应的远程视频会议场点。

在图1和图2中所示出的结构其目的在于给予本地参会者实际上与在相应显示屏上示出的远程参会者出席在相同会议室中的感觉。

实现出席感觉的关键因素是能够看见远程参会者正在看谁的能力，以实际的真人大小显示所有参会者，并且所有显示的参会者看起来相对彼此具有同样大小。用于实现高质量远程出席的另一条件是尽可能无失真地向每个本地参会者展示远程参会者的图像。

为了获得这种出席感觉，由远程出席系统使用特定的规则集或专有协议。因此，诸如在图1和图2中所示出的远程出席系统将只与支持该规则集(或协议)的其它远程出席系统适当地操作。由于不同的远程出席系统可能使用不同数目的显示屏幕的事实，例如一个、两个、三个或四个显示屏幕，这会进一步变得复杂。最后，两个以上远程出席系统可以参与到一个会议中，而所有参会者仍然期望有如两个系统会议的相同出席感觉。

此外，由于尚未为远程出席系统定义标准协议，所以只有来自相同制造商的远程出席系统才可以依照满意的方式相互操作。

在许多情况中，还需要从常规的视频会议终端呼叫远程出席系统或者接收来自远程出席系统的呼叫，即使所述常规的视频会议终端没有提供相同的出席感觉。

US 7,034,860描述了一种用于根据被连接到会议的参会者或视频源的数目来动态地确定图像布局的设备和方法，通过引用将其合并于此。系统依照定义的合成图像布局把每个视频源组合到复合视频信号中，并且将此合成信号传输到连接的场点。这对单屏幕系统可以很好地工作，但是当连接具有不同数目屏幕的两个多屏幕远程出席系统、连接两个以上多屏幕远程出席系统时，或/和当把单个屏幕系统连接到一个或多个多屏幕系统时会出现问题。

因此，在本领域中需要允许不同类型的远程出席端点(例如不同的制造商、不同数目的屏幕/摄像机等)在同一视频会议中一起很好地工作。

发明内容

本发明提供了如在所附权利要求中阐明的一种方法、计算机程序部分和视频会议设备。

具体地是，本发明提供了一种用于处理在多个视频会议终端之间的会议中的图像的方法，包括：首先提供至少两个视频会议终端的属性，然后根据所述至少两个视频会议终端的属性来定义若干个组，随后对每个视频会议终端，确定该若干个组的排序列表，确定用于显示来自各视频会议终端的图像的窗格布局，所述窗格布局根据要在上面显示该布局的视频会议终端的属性和会议中其它视频会议终端的属性来确定，把所述若干个组的排序列表映射到相应确定的窗格布局，并且最后依照选择的窗格布局和所述若干个组的映射来向每个视频会议终端提供至少一个合成图像流。

附图说明

为了使本发明更易于被理解，下面的论述将参照附图，其中

图1是图示远程出席视频会议的背景技术方面的示意图，

图2是图示远程出席视频会议的背景技术方面的示意图，

图3是图示用于处理视频会议视频流的方法原理的示意性流程图，

图4是依照本发明的视频会议终端屏幕布局的示例性概述，

图5a和5b示出了排序组与屏幕布局的示例性映射，

图6a和6b示出了依照本发明的示例性操作模式，

图7是远程出席终端的示例性配置的示意图，以及

图8是图示在依照本发明示例性实施例中的远程出席终端的画面。

具体实施方式

在下面，将通过描述各个实施例并且参照附图来论述本发明。然而，本领域技术人员将在如所附独立权利要求定义的本发明范围内实现其它应用和改变。

图3是图示用于处理在多个视频会议终端之间会议中的视频流的方法的原理的示意性流程图。

所述方法起始于开始步骤300。

首先，在步骤310，第一和第二视频会议终端向图像处理设备提供相应的视频会议终端的属性。优选地是，所述属性包括该视频会议终端的屏幕的数目，和从该视频会议终端提供的视频流的数目。优选地，相应的视频会议终端的属性还允许图像处理设备确定是允许全屏幕示出视频流还是如下所述只是在较小窗格中示出视频流，例如端点的视频分辨率。

接下来在步骤320，如果图像处理设备确定存在更多连接的视频会议终端要向所述图像处理设备提供它们相应的属性，那么方法继续至步骤330，如果不存在，那么所述方法继续至步骤340。

在步骤330，连接的终端向图像处理设备提供相应视频会议终端的属性，如在步骤310中所描述。

在步骤340，图像处理设备根据从各视频会议终端提供的属性把各视频会议终端聚集成组。具体地，依照该视频会议终端的屏幕的数目和/或从该视频会议终端提供的视频流的数目，一个组通常具有两个、三个或四个成员。单个屏幕/视频流端点一般并不安排成一个组，但是在替换实现方式中，也可以安排成一个成员的组。在下文中，一组屏幕或一组视频流被称作是一组。

接下来在步骤350，图像处理设备为每个视频会议终端确定这些组和这些单个屏幕端点的排序列表。组的排序列表优选地基于视频会议终端的语音切换次序，不包括要在上面显示视图的终端。选择性地，在替换实施例中，如果该终端的自视(self-view)功能被启用，那么排序列表将在列表末端包括要在上面显示视图的终端。在又一可选实施例中，图像处理设备对于每个会议来说允许指定“重要的”参会者。如果存在为会议指定的重要参会者，则对每个排序列表，该参会者的组被移到排序列表顶部，但是包括该重要参会者的组的终端的排序列表除外。

在步骤360，图像处理设备对每个视频会议终端，根据该视频会议终端自身的属性和会议中其它各视频会议终端的属性来确定该视频会议终端的窗格布局。下面参考图4描述依照本发明的示例性窗格布局。

由图像处理设备使用的所有布局遵循类似的格式；每个布局具有若干(可以是0)大行和/或一些数量的小行。大行是全屏幕窗格或者跨一个或多个屏幕中心的大窗格行。小行是覆盖在全屏幕窗格底部附近的连续出席(CP)窗格，或者在大窗格中心行以上和/或以下的独立小窗格。对于其中所有窗格具有相同大小的布局(例如在单个屏幕上的3x3布置)来说，所有行被认为是小行。

如果所述布局具有全屏幕大行，那么将通过用于每个个别视图的“显示CP”标志(即，组的组成端点的“显示CP”标志)来控制覆盖小CP窗格的存在。如果布局的大行不是全屏幕窗格，那么在较大窗格的中心行以上和以下的较小CP窗格将始终是存在的。

在步骤370，图像处理设备把经排序的各组映射到为每个视频会议终端选择的窗格布局的行中。如果布局包括大行，那么首先填充所述大行，然后填充较小的行。参考图5a进一步描述映射经排序的各组的处理，其中把八个不同的组映射到五个行布局。首先假定允许所有组能被全屏幕显示，并且行510是全屏幕行，那么最高优先级组501被映射到行510。由于现在在行510中只有一个屏幕可用，所以第二优先级组502被映射到行520。第三优先级组或单个屏幕503然后被映射到第一行510中可用的屏幕。在相同的处理之后，组504填充到行530，组505和组508被映射到行540；组506填充在行520中可用的屏幕，并且最后组507填充行550。此映射的结果与在所有行都是小行的情况下的组的映射完全相同。

现在，假定行510是全屏幕行，并且不允许组503和508被全屏幕示出。在这种情况下，如图5b所示，最高优先级组501被映射到大行510，第二优先级组502被映射到行520。不允许第三优先级组或单个屏幕503被映射到第一行510中可用的屏幕，并且等待可用的屏幕。组504填充行530，并且组505被映射到行540。行540现在具有一个可用的屏幕，其中，组503被映射到该屏幕。组506填充在行520中可用的屏幕，并且最后，组507填充行550。在这种情况下，在行510中可用的屏幕是空白的，并且不会显示组508。然而，在替换实施例中，组506和508可以借助本领域技术人员公知的方法来进行语音切换。

当排序的各组被映射到为每个视频会议终端选择的布局时，所述方法继续至步骤380，其中，所述视频处理设备从每个组接收视频流。用于处理视频流的视频处理设备依照确定的布局向每个终端屏幕提供分离的合成视频流。

现在返回到步骤360，将参考图4描述依照本发明的示例性窗格布局。如上面所公开，根据视频会议终端自身的属性以及会议中其它视频会议终端的属性来确定选择的窗格布局。在图4中，在表格左侧示出了将在上面显示视图的终端屏幕的数目，以及在表格上侧示出了会议中其它视频会议终端的属性。

在第一示例性的布局中，将在上面显示视图的终端是一个单屏幕终端。如果其它视频会议终端中的至少一个是四屏幕组，那么有效地在4x4网格上构成布局，其中四行中的每行可以包含具有四个的组，具有三个加一个的组等。行的填充排序一般是：从顶部开始的第二行，从顶部开始的第三行，顶部的行，以及最后是最下面一行。

如果在会议中不存在三屏幕终端，但是其它视频会议终端中的至少一个是三屏幕的组，那么在3x3网格上有效地构成布局，其中三行中的每个可以包含具有三个的组，具有两个加上一个的组等。行的填充排序一般是：中间行，最下面一行，以及最后是最上面一行。

如果在会议中没有三或四屏幕组，那么利用单个屏幕端点和两个屏幕组在2x2网格上构成布局。行的填充排序一般是：顶部的一行，以及最后为底部的一行。

在第二示例性的布局中，将在上面显示视图的终端是双屏幕终端。如果其它视频会议终端中的至少一个是四屏幕组或三屏幕组，那么在跨过中心的四个大窗格(即每个屏幕上的两个窗格)加上四窗格的四个组(即对每个屏幕的每组两个大窗格来说上面一组和下面一组)上构成布局。在中间的四个大窗格尽可能多地填充排序列表中合适的组，即，如果在列表顶部的组是四屏幕终端，那么跨所有四个窗格显示该组。如果在顶部的组不是四屏幕组，则可以全屏幕显示多于一个的组。行的填充次序一般是：大行，底部的小行，以及最后是顶部的小行。

如果在会议中不存在三或四屏幕组，则在两个全屏幕窗格加上在每个屏幕的底部附近示出的可达到两个连续出席(CP)窗格上构成布局。两个全屏幕窗格可以由单个双屏幕组或两个单屏幕组填充。可达到两个的CP窗格一般均包括两个或四个屏幕。行的填充次序一般是：大行，然后是小的底部行。

在第三示例性布局中，将在上面显示视图的终端是三屏幕终端。如果其它视频会议终端中的至少一个是四屏幕组，则在跨过中心的四个大窗格上构成布局，即在相应的左和右屏幕上的一个大窗格，在中间屏幕上的两个窗格，加上四窗格的四个组，即，对四个大窗格的每组来说的上面一组和下面一组。相应的左右屏幕的外部半个屏幕留作空白。在中间的四个大窗格填充尽可能多的排序列表中合适的组，即，如果在列表顶部的组是四屏幕终端，那么跨所有四个窗格显示该组。如果在顶部的组不是四屏幕组，那么可以全屏幕显示多于一个的组。行的填充次序一般是：大行，底部的小行，以及最后是顶部的小行。

如果在会议中不存在四屏幕系统，那么在三个全屏幕窗格加上在每个屏幕的底部的可达到六个的CP窗格上构成布局。行的填充次序一般是：大行，然后是小的底部行。

在第四示例性的布局中，将在上面显示视图的终端是四屏幕终端。在此配置中，始终在四个全屏幕窗格加上每个屏幕的可达到四个的CP窗格上构成布局，所述CP窗格在屏幕的底部。行的填充次序一般是：大行，然后是小的底部行。

上述四个示例性的布局是正常模式远程出席的示例性布局。替换的远程出席模式被称作是如在TANDBERG T3

中整合的“圆桌模式”，其中，通过创建虚拟圆桌会议来进一步增强出席感觉。T3

终端具有三个屏幕和三个视频流，即，来自位于每个屏幕上部的摄像机的一个视频流。在正常模式(图6a)中，每个摄像机捕获直接位于摄像机和屏幕前面的两个座位位置的图像，总计六个座位位置的图像，并且提供图像给其它远程出席终端，如上所述。在圆桌模式(图6b)中，三个摄像机中的每个捕获四个中心座位位置的图像，其本质上是捕获四个座位位置的左视图图像、中心视图图像和右视图图像。图7示出了在圆桌模式中的四个终端，箭头用于表明在哪个屏幕上示出哪个图像，例如，终端701的中心屏幕(701C)示出了终端703的中心摄像机的图像，右屏幕(701R)示出了终端702的左侧摄像机的图像，左屏幕(701L)示出了终端704的右侧摄像机的图像等。从而如图8所示，所有终端看到“圆”桌，其中从对准桌子曲率的正确角度示出了参会者。

上述圆桌布局是缺省模式，并且对三屏幕系统能够完美地工作。下面描述了在圆桌模式会议中分别用于一个、两个和四个屏幕终端的示例性布局。

在第一示例性的圆桌布局中，将在上面显示视图的终端是单屏幕终端。在2x2网格上有效地构成布局，每个窗格显示四个座位位置。窗格的填充次序一般是：左上方，右上方，左下方以及最后是右下方窗格。如果只有三个圆桌终端参与呼叫，那么剩下一个窗格是空白的。作为替换，可用的窗格填有单屏幕端点。选择性地，可以在屏幕底部显示达到三个的小CP窗格；这些CP窗格填有接下来的三个组。

在第二示例性圆桌布局中，将在上面显示视图的终端是双屏幕终端。在跨两个屏幕中心的行中的四个窗格上有效地构成布局，所述窗格示出了在它们正确位置中的四个圆桌组(即，会议的第一圆桌组在最左边的窗格中)。在此四窗格的行中的空窗格可以保持其它单屏幕端点，或者如果存在足够多的未使用窗格，则可能是两或三屏幕组。可选地，存在可达到四窗格的四个组，即对可用于示出单屏幕端点或其它组的每个屏幕的每组两个大窗格来说上面一组和下面一组。

在第三示例性的圆桌布局中，将在上面显示视图的终端是四屏幕终端。在四个全屏幕窗格上有效地构成布局，每个窗格全屏幕示出适当的圆桌参会者，其中，最终剩余的屏幕用于示出单屏幕端点。如果存在足够的其它会议参会者，那么还存在覆盖在每个屏幕底部的可达到四个的CP窗格。

依照本发明的一个方面，被配置为执行在本公开中描述的方法的图像处理设备可以被实现为视频会议终端，例如，远程出席终端。

依照本发明的另一方面，被配置为执行在本公开中描述的方法的图像处理设备优选可以被实现为多点控制单元，例如远程出席服务器。

进一步公开了一种计算机程序或至少是计算机程序部分，其包括用于使视频会议设备中的处理设备执行如本公开内容所述的方法的处理指令。计算机程序部分可以被有形存储在存储器中，诸如RAM、ROM或闪速存储器中，或者可以被存储在计算机可读介质中，诸如磁或光盘中。作为选择，计算机程序或计算机程序部分可以被实现为携带用于表示处理指令的信息的传播信号，例如，在本地、区域或全球计算机网络中的网络元件之间传送的通信信号。

本领域技术人员参考本公开教导可以容易地理解，在不脱离所附权利要求包含的本发明范围的情况下，可以设想本发明的若干组合和修改。

Claims (13)

1.一种用于处理在多个视频会议终端之间的会议中的图像的方法，所述方法包括

提供至少两个视频会议终端的属性，

根据所述至少两个视频会议终端的属性来定义若干个组，

对每个视频会议终端，确定所述若干个组的排序列表，

对每个视频会议终端，确定用于显示来自各视频会议终端的图像的窗格布局，所述窗格布局根据要在上面显示该布局的视频会议终端的属性以及该会议中其它各视频会议终端的属性来确定，

对每个视频会议终端，把所述若干个组的排序列表映射到相应确定的窗格布局，并且

依照所选择的窗格布局以及所述若干个组的映射向每个视频会议终端提供至少一个合成图像流。

2.如权利要求1所述的方法，其中，所述视频会议终端的属性包括该视频会议终端的屏幕的数目，和从该视频会议终端提供的视频流的数目。

3.如权利要求1或2所述的方法，其中，所述视频会议终端的属性包括用于确定是否允许全屏幕示出视频流的信息。

4.如权利要求2所述的方法，其中，依照所述视频会议终端的屏幕的数目和/或从该视频会议终端提供的视频流的数目来定义所述若干个组。

5.如权利要求1所述的方法，其中，基于所述视频会议终端的语音切换次序来确定所述若干个组的排序列表。

6.如权利要求1或5所述的方法，其中，所述若干个组的排序列表不包括要在上面显示所述布局的视频会议终端。

7.如权利要求1或5所述的方法，其中，所述若干个组的排序列表在所述排序列表的末尾包括要在上面显示所述布局的视频会议终端。

8.如权利要求1所述的方法，其中，所述视频会议终端中的一个被指定为重要的参会者，由此把所述指定的视频会议终端移动到所述若干个组的每个排序列表的顶部。

9.一种用于处理在多个视频会议终端之间的会议中的图像的视频会议设备，所述视频会议设备被配置为执行如权利要求1-8中的一个所述的方法。

10.如权利要求9所述的视频会议设备，所述视频会议设备被实现为视频会议终端。

11.如权利要求9所述的远程出席设备，所述视频会议设备被实现为远程出席终端。

12.如权利要求9所述的远程出席设备，所述视频会议设备被实现为多点控制单元或远程出席服务器。

13.一种计算机程序部分，其被有形存储在存储器或计算机可读介质中，或者由传播信号携带，所述计算机程序部分包括处理指令，所述处理指令当在视频会议设备中的处理设备上执行时，使所述处理设备执行如权利要求1-8中的一个所述的方法。

Images