CN102177711A - 用于在视频会议期间处理图像的方法、设备和计算机程序 - Google Patents

Abstract

公开了一种在多个视频会议终端之间的会议期间处理图像的方法。该方法包括：从第一视频会议终端的第一摄像机提供第一图像；从第二视频会议终端的第二摄像机提供第二图像；以及从第三视频会议终端的第三摄像机提供第三图像。此外，该方法包括：生成第一合成图像，包括把所述第三图像在第一位置插入到所述第二图像中；以及生成第二合成图像，包括把所述第三图像在第二位置插入到所述第一图像中。第一和第二位置分别位于第一和第二合成图像的横向上相反的部分。此外，分别供给第一和第二合成图像以用于显示在第一和第二视频会议终端的显示器上。当常规视频会议终端连接至会议时，该方法改善了远程出席体验。

Description

用于在视频会议期间处理图像的方法、设备和计算机程序

技术领域

本发明一般涉及视频会议和远程出席系统领域。更具体地，本发明涉及用于在多个视频会议终端之间的会议期间处理图像的方法、设备以及计算机程序。

背景技术

传统视频会议系统包括若干视频会议终端(端点)，用于在诸如WAN、LAN和电路交换网络的多种网络之上和之间交流实时视频、音频和/或数据(通常称为双视频)流。

驻于不同场点的若干视频会议系统可以参与同一会议，最通常地，通过执行如切换和混合功能的一个或多个MCU(多点控制单元)来允许视听终端适当地相互通信。

视频会议系统当前提供至少两个位置之间的通信，以允许在每个站点处的参会者之间进行视频会议。传统地，视频会议终端设有一个或多个摄像机。那些摄像机的输出连同音频信号被一起发送至第二位置处的相应多个显示器，使得感知到第一位置处的参会者出席或者与第二位置处的参会者面对面。

远程出席(telepresence)系统是增强的视频会议系统。典型地，远程出席系统中的终端具有多个大型显示器，用于实物尺寸的视频，通常安装在具有专用于和适于视频会议的内部陈设的房间中，所有均尽可能创建接近个人会见的会议。

图1是示出远程出席视频会议的背景技术方面的示意图。

视频会议设备的显示设备，特别是远程出席类型的视频会议终端，布置在多个(所示为4个)本地会议参会者前面。本地参会者沿着桌子落座于面对包括多个显示屏幕的显示设备之处。在所示的实例中，四个显示屏幕包括在显示设备中。第一、第二和第三显示屏幕相互邻近地布置。第一、第二和第三显示屏幕被用于显示在相应远程出席类型的一个或多个远程会议场点处拍摄的图像。

第四显示屏幕布置在第二显示屏幕之下的中心位置处。在典型使用中，第四屏幕可以用于计算机生成的呈现内容或其他次要会议信息。视频摄像机被布置在上部的显示屏幕的顶部上，以拍摄本地参会者的图像，所拍摄的图像被发送至相应的远程视频会议场点。

图1中所示设置的目的是给本地参会者提供与各个显示屏幕所示的远程参会者实际上在同一会议室中出席的感觉。

实现出席的感觉的关键因素是看到远程参会者正在注视谁的能力，所有参会者均以真人尺寸显示并且所有被显示的参会者看起来相互具有相等尺寸。用于实现高质量远程出席的另一条件是，尽可能不失真地将远程参会者的图像呈现给每个本地参会者。

为了获得这种出席的感觉，远程出席系统使用一组特殊规则或专用协议。从而，诸如图1中所示的远程出席系统将仅与支持该组规则(或协议)的其他远程出席系统适当地操作。

而且，由于还没有限定用于远程出席系统的标准协议，只有来自同一制造商的远程出席系统可以按满意的方式相互操作。

在多种情况下，即使常规视频会议终端不提供相同视频和音频质量、实物尺寸或目光接触，也需要从远程出席系统呼叫常规视频会议终端，或者在远程出席系统接收来自常规视频会议终端的呼叫。

解决这种问题的一种方式是使用传统视频会议编解码器来处理与常规(非远程出席)视频会议终端的呼叫，包括在使用第四显示器的会议中的那些呼叫。如图1所示，该第四屏幕可以位于第二屏幕之下。可替选地，其可以位于构成远程出席系统的显示器集合的上边或旁边。

在这样的第四屏幕上显示参会者的一个问题在于，出席的感觉通常会丧失或者至少减少。例如，当一个远程出席场点处的参会者注视第四屏幕时，在其他远程出席场点处的参会者看起来他们好象在看桌面、天花板或墙壁。

从而，当常规(非远程出席)视频会议终端包括在会议中时，需要改进远程出席系统中的出席体验。

涉及附加(例如，第四)屏幕的背景技术解决方案的另一缺点在于，会议系统占用会议室中很大的空间。甚至，随着三个主显示器的显示尺寸的增加，可能没有用于附加屏幕的空间。

发明内容

本发明提供了在权利要求中所述的方法、计算机程序部分以及视频会议设备。

附图说明

为了使本发明更容易理解，将参考附图进行以下论述，其中

图1是示出远程出席视频会议的背景技术方面的示意图，

图2是示出用于在视频会议期间处理图像的方法的原理的示意性流程图，

图3、图4和图5是实现用于在视频会议期间处理图像的方法的系统的示例性实施例，以及

图6是进一步示出用于在视频会议期间处理图像的方法的示意图。

具体实施方式

以下，将通过描述多种实施例并且通过参考附图论述本发明。然而，本领域技术人员会实现在所包括的独立权利要求中限定的本发明范围内的其他应用和修改。

图2是示出用于在多个视频会议终端之间的会议期间处理图像的方法的原理的示意性流程图。

该方法开始于起始步骤200。

首先，在步骤210中，从至少两个视频会议终端提供图像。

从第一视频会议终端的第一摄像机提供第一图像，并且从第二视频会议终端的第二摄像机提供第二图像。第一和第二视频会议终端可以是主型的，诸如，远程出席终端。第一和第二图像可以称为主图像，表示它们来自主型的视频会议终端，诸如远程出席终端。

还可以从主型的附加视频会议终端的摄像机提供图像。

接下来，在步骤220中，从第三视频会议终端的第三摄像机提供图像。该视频会议终端可以是辅助型的。一方面，辅助型的至少一个视频会议终端可以是非远程出席终端，例如，常规H.323终端。可替选地，第三远程出席终端可以在H.164、SIP、ICE或类似标准视频会议协议上操作。第三图像可以被称为辅助图像，表示其来自常规视频会议终端，即，辅助非远程出席终端。

还可以从辅助型的附加视频会议终端的摄像机提供图像。

第一、第二和第三图像(即，主图像和辅助图像)可以包含在视频信号中。

虽然第一和第二图像(主图像或者主视频信号)分别来自第一和第二视频会议终端，但是它们实际上可以经由中间附加视频会议装备和/或网络设备来提供。主图像或视频信号可以例如从包括在例如视频会议端点或多点控制单元(MCU)的视频会议设备中的诸如编解码器的合适电路读取。可以从诸如摄像机、DVD播放器或个人计算机的其他源提供附加主图像或主视频信号。

虽然第三图像(辅助图像或辅助视频信号)源自于第三视频会议终端，但是其实际上可以经由中间附加视频会议装置和/或网络设备来提供。辅助图像或辅助视频信号可以例如从包括在例如视频会议端点或多点控制单元(MCU)的视频会议设备中的诸如编解码器的合适电路读取。可以从诸如摄像机、DVD播放器或个人计算机的其他源提供附加辅助图像或视频信号。

在一个方面，第三图像仅源自于一个源。另一方面，第三图像是来自两个或更多源的合成图像，例如，两个视频会议终端的连续呈现图像。

接下来，在生成步骤230中，生成合成图像。

更具体地，在步骤230中，生成第一合成图像，其中，该生成包括：把第三图像(即，从第三非远程出席终端的摄像机提供的图像)在第一位置插入到第二图像(即，从第二视频会议终端的第二摄像机提供的图像)中。

而且，在步骤230中，生成第二合成图像，其中，该生成包括：把第三图像(即，从第三非远程出席终端的摄像机提供的图像)在第二位置插入到第一图像(即，从第一视频会议终端的第一摄像机提供的图像)中。

被插入到另一图像中的图像还可以称为画中画或简称PIP。

在生成步骤230中，第一和第二位置分别位于第一和第二合成图像的横向上相反的部分。

第一和第二位置位于第一和第二合成图像的横向上相反的部分的规定导致以下有益效果：当第一会议终端处的会议参会者注视被插入的第三图像即源自于常规的非远程出席终端的图像时，例如，在显示屏幕的右手侧，当图像由摄像机拍摄并且被显示在第二会议终端上时，该参会者好像在注视显示器的相反侧，诸如，显示器的左手侧。

因此，当第一或第二视频会议终端处的用户与第三终端处的用户交谈(并且注视)时，在异地的(分别为第二或第一)视频会议终端处的用户会直观地或者本能地理解本地用户正在关注谁，因第三图像的位置产生了自然的环境。

结果，在当常规视频会议终端包括在会议中的情况下，也明显地改善第一和第二视频会议终端的用户的出席体验。

而且，克服或减少了对要求空间的额外显示屏幕(在实例中为第四屏幕)的需要。

更具体地，在步骤230中，第一合成图像可以通过把第三图像插入到第二图像的右部位置来生成，并且第二合成图像可以通过把第三图像插入到第一图像的左部位置来生成。

第三图像可以位于第一图像的右半边，同时第三图像还可以位于第二图像的左半边。

更具体地，并且通过实例，第三图像可以位于第一和第二图像中的垂直划分中心轴的相反侧的相同位置处。

而且，第三图像可以位于第一和第二图像的下半部分。

在生成步骤230中，第三图像到第一或第二图像的插入可以进一步涉及：在被插入到第一或第二图像之前，调整第三图像的尺寸。更具体地，调整尺寸可以涉及：缩减第三图像的尺寸。调整尺寸可以例如包括缩减尺寸到预定尺寸/格式，或者可替选地，根据预定比率来缩减尺寸，或者根据预定规则来另外地调整尺寸。

例如，第三图像可以被调整尺寸，以获得小于或等于第一和第二图像的总面积的四分之一的尺寸。

在一个实施例中，生成第一和第二合成图像的步骤230在第一视频会议终端执行。

在另一实施例中，生成第一和第二合成图像的步骤230在多点控制单元MCU执行。

而且，在步骤240中，供给待用于显示在第一视频会议终端的显示器上的第一合成图像。而且，在步骤240中，供给待用于显示在第二视频会议终端的显示器上的第二合成图像。

在一个实施例中，步骤240进一步包括以下步骤：在第一视频会议终端的显示器上显示第一合成图像；以及在第二视频会议终端的显示器上显示第二合成图像。

在一个实施例中，提供所述第一、第二和第三图像的步骤210、220在所述第一视频会议终端执行。

在另一实施例中，提供第一、第二和第三图像的步骤210、220在多点控制单元MCU执行。

在一个实施例中，第一和第二视频会议终端中的至少一个是远程出席终端。第一和第二视频会议终端可以都是远程出席终端。

在一个实施例中，该方法进一步包括：从附加视频会议终端提供附加图像。

视频会议设备可以被配置成执行在本公开中描述的方法。这种视频会议设备可以例如被实现为视频会议终端，例如，远程出席终端或多点控制单元。

此外还公开了一种计算机程序或至少一个计算机程序部分，其包括处理指令，当所述指令由视频会议设备中的处理设备执行时，使视频会议设备中的处理设备执行在本公开中描述的方法。计算机程序部分可以确实地存储在诸如RAM、ROM或闪存的存储器中，或者其可以存储在诸如磁盘或光盘的计算机可读介质中。可替选地，计算机程序或计算机程序部分可以被实现为承载表示处理指令的信息的传播信号，例如，在局域、区域或全局计算机网络中的网络元件之间传送的通信信号。

现在仅通过举例示出该方法的进一步的可能方面。以下，将描述本发明的系统和布置的操作和布局的多个不同模式。

图3示出示例性实施例，其中，第一视频会议终端是远程出席终端301，并且第二视频会议终端是常规(非远程出席)视频会议终端302。

为了简单起见，仅在该实例中使用远程出席终端301的中心部件(即，中心编解码器)。

从第一视频会议终端301的第一摄像机提供第一图像，并且从第二视频会议终端302的第二摄像机提供第二图像。在该示例性情况下，图像提供步骤通过第一视频会议终端301来执行。

此外，从第三常规(非远程出席)视频会议终端303的第三摄像机提供第三图像。

生成第一合成图像，包括把第三图像在右下的第一位置插入到所述第二图像中。

还生成第二合成图像，包括把第三图像在左下的第二位置插入到所述第一图像中。

供给第一合成图像以用于显示在第一视频会议终端301上，并且供给第二合成图像以用于显示在第二视频会议终端302上。

图4示出典型实施例，其中，第一和第二视频会议终端401和402是远程出席终端。第二视频会议终端402可以可替选地是常规(非远程出席)视频会议终端。多点控制单元(MCU)404通信地连接至第一和第二视频会议终端401和402，并且被配置成执行切换和混合功能，以允许在各终端之间的适当相互通信。

为了简单起见，仅在该实例中使用远程出席终端401的中心部件(即，中心编解码器)。

从第一视频会议终端401的第一摄像机提供第一图像，并且从第二视频会议终端402的第二摄像机提供第二图像。在该示例性情况下，图像提供步骤通过MCU 404来执行。

此外，从第三常规(非远程出席)视频会议终端403的第三摄像机提供第三图像。第三视频会议终端403也通信地连接至MCU 404。

在该实施例中，第一、第二和第三图像通过MCU 404来提供。而且，在该示例性实施例中，生成第一合成图像的步骤通过MCU 404来执行，包括把第三图像在右下的第一位置插入到第二图像中。而且，在该示例性实施例中，生成第二合成图像的步骤通过MCU 404来执行，包括把第三图像在左下的第二位置插入到所述第一图像中。

在这种情况下，由MCU 404供给第一合成图像，以用于显示在第一视频会议终端401上，并且由MCU 404供给第二合成图像，以用于显示在第二视频会议终端402上。

图5示出典型实施例，其中，第一和第二视频会议终端501和502均是远程出席终端。在该实例中，使用远程出席终端501和502的左侧、中心和右侧部件(即，左侧、中心和右侧编解码器)。

从第一视频会议终端501的中心部件处的第一摄像机提供第一图像，并且从第二视频会议终端502的中心部件处的第二摄像机提供第二图像。在该示例性情况下，图像提供步骤通过第一视频会议(远程出席)终端501来执行。

此外，从第三常规(非远程出席)视频会议终端503的第三摄像机提供第三图像。

生成第一合成图像，包括把第三图像在右下的第一位置插入到第二图像中。

还生成第二合成图像，包括把第三图像在左下的第二位置插入到第一图像中。

供给第一合成图像以用于显示在第一视频会议终端501上，并且供给第二合成图像以用于显示在第二视频会议终端502上。

另外，如所示出的，第一视频会议终端501的左侧部件通信地连接至第二视频会议终端502的右侧部件，并且反之亦然。

图6进一步示出该方法的原理和结果。

图6中的最上(第一)行(6a)示出第一、第二和第三视频会议终端。第一和第二终端可以是远程出席终端，同时第三终端通常是常规视频会议终端。为了简单起见，在第一、第二和第三视频会议终端都仅示出一个用户。

在第一视频会议终端处，摄像机拍摄第一用户的图像。在第二视频会议终端处，摄像机拍摄第二用户的图像。在第三视频会议终端处，摄像机拍摄第三用户的图像。在图6的第二行(6b)中示出所得到的图像(分别是第一、第二和第三图像)。

在由图6进一步示出的方法中，生成第一合成图像，被示出为图6中的第三行(6c)的左侧。可以看出，把第三图像即第三用户的图像，在第一位置插入到第二图像即第二用户的图像，由此来生成第一合成图像。

而且，生成第二合成图像，被示出为图6中的第三行的右侧。把第三图像即第三用户的图像，在第二位置插入到第一图像即第一用户的图像中，由此来生成第二合成图像。

该行(6c)中的合成图像还示出第一和第二位置，即被插入的第三图像的位置位于第一和第二合成图像的横向上相反的部分。更具体地，第三图像位于第一合成图像的右下部分，同时它还位于第二合成图像的左下部分。

此外，在该方法中，供给第一合成图像以用于显示在第一视频会议终端的显示器上。第一用户的结果视图被示为图6中的第四行(6d)的左侧。

而且，供给第二合成图像以用于显示在第二视频会议终端的显示器上。第二用户的结果视图被示为图6中的第四行(6d)的右侧。

根据这些结果视图可理解，在第一视频会议终端处关注第三用户的第一用户将注视右侧。这会被第二视频会议终端处的第二用户以自然的方式观测和察觉到，因为当第一用户出现在第二终端显示屏幕上时，他或她在朝向第三用户的图像的方向观看。

Claims (15)

1.一种用于在多个视频会议终端之间的会议期间处理图像的方法，所述方法包括：

从第一视频会议终端的第一摄像机提供第一图像；

从第二视频会议终端的第二摄像机提供第二图像；

从第三视频会议终端的第三摄像机提供第三图像；

生成第一合成图像，包括把所述第三图像在第一位置插入到所述第二图像中；

生成第二合成图像，包括把所述第三图像在第二位置插入到所述第一图像中；

所述第一和第二位置分别位于所述第一和第二合成图像的横向上相反的部分；

供给待用于显示在所述第一视频会议终端的显示器上的第一合成图像；以及

供给待用于显示在所述第二视频会议终端的显示器上的第二合成图像。

2.根据权利要求1所述的方法，进一步包括：

在所述第一视频会议终端的显示器上显示所述第一合成图像；以及

在所述第二视频会议终端的显示器上显示所述第二合成图像。

3.根据权利要求1至2中的一项所述的方法，

其中，生成第一和第二合成图像的所述步骤进一步包括：对所述第三图像调整尺寸。

4.根据权利要求3所述的方法，

其中，所述调整尺寸包括：缩减尺寸至预定尺寸或格式，或者使用预定比率来缩减尺寸。

5.根据权利要求1至4中的一项所述的方法，

其中，在所述第一视频会议终端执行所述的提供所述第一、第二和第三图像的步骤。

6.根据权利要求1至4中的一项所述的方法，

其中，在多点控制单元MCU执行所述的提供所述第一、第二和第三图像的步骤。

7.根据权利要求1至6中的一项所述的方法，

其中，在所述第一视频会议终端执行所述的生成所述第一和第二合成图像的步骤。

8.根据权利要求1至6中的一项所述的方法，

其中，在多点控制单元MCU执行所述的生成所述第一和第二合成图像的步骤。

9.根据前述权利要求中的一项所述的方法，

其中，所述第一和第二视频会议终端中的至少一个是远程出席终端。

10.根据前述权利要求中的一项所述的方法，

其中，所述第三视频会议终端是在H.164、H.323、SIP、ICE或类似标准视频会议协议上操作的常规视频会议终端。

11.根据前述权利要求中的一项所述的方法，

其中，所述图像包含在视频信号中。

12.根据前述权利要求中的一项所述的方法，进一步包括：从附加视频会议终端提供附加图像。

13.一种用于在多个视频会议终端之间的会议期间处理图像的视频会议设备，

被配置成执行权利要求1-12中的一项所述的方法。

14.根据权利要求13所述的视频会议设备，

被实现为视频会议终端、远程出席终端或多点控制单元。

15.一种计算机程序部分，其确实地存储在存储器或计算机可读介质中，或者由被传播信号承载，

所述计算机程序部分包括处理指令，使视频会议设备中的处理设备执行权利要求1-12中的一项所述的方法。

Images