CN1863301A - 视频会议系统和方法 - Google Patents

Abstract

一个用于在视频会议中避免偏离镜头的系统，包括利用在会议站的监视器屏幕以外的多个摄象机(203a－d)来获取一个参加者的图象，以及一个利用来自各摄象机(203a－d)的视频流的处理器系统(301)，以及包括现场图形的软件(302)，来生成表示该参加者的数据流，就好象已生成的数据流是从位于监视器屏幕里面的一部虚拟视频摄象机所获取的那样。在某些实施例中，处理器(301)考虑到属于一个活动窗口的数据，以便将虚拟摄象机放到活动窗口之中。在其他各实施例中，可动的各摄象机跟具有定向输入的一个音频系统配合使用，该处理器可以被用来将各摄象机对准一个当前的活动的参加者。

Description

视频会议系统和方法

本申请是申请号为00812617.8、申请日为2000年7月28日、发明名称为“使视频会议参加者以聚焦方式出现在通往相关的各用户的摄象机上的方法与装置”的中国专利申请的分案申请。

技术领域

本发明属于视频会议和相关的数字网络应用的领域，并且更具体地说，属于规定视频会议的参加者相对于摄象机装置的明视位置的方法与装置。

背景技术

在诸如众所周知的因特网那样的广域网(WAN)上进行通信已经变得更加实用和有用，用于例如电话会议的各种技术已经趋于完善。例如，视频电话会议在最近几年已经得到明显的改进。在各种视频摄象机、设备和视频会议软件方面的改进已经允许清晰的和更流畅的视频运动、更清晰的声音以及更鲜明的图象。在许多情况下，在视频编解码方法、数据压缩技术以及带宽预约方案等方面的改进已经对极大地改进品质作出贡献。然而，包括摄象机之类的较好的硬件也已经导致较好的品质。

在一个典型的视频会议议程中，两个或多个用户具有一个能联网的家用电器，例如一部个人计算机，一个视频摄象机以及适当的软件在一个网络上互联，使得每一个用户都能跟参加一段给定议程的所有其他用户的视频/音频表示进行交互。这样的用户典型地被表示为出现在参加者的各自的显示监视器上的已分成帧的观察窗口。这样的监视器，可以是各种阴极射线管监视器，各种平板显示器或者其他合适的观察者接口。

在一种最基本的应用中，一个用户仅能看到和听到与之建立了一条开放信道的另一个用户。为了在第3方举行会议，必须开放一条第2信道并保持第1条信道。在某些强化的应用中，可以有几个用户同时参加一个会议。在一段议程中，如果得到软件和适当的硬件的帮助，几个用户中的任何一个都能在他或她的显示器中，在独立的分成帧的窗口上同时看到所有其他的参加者用户。涉及各参加方的可能数目的限制或容量通常会影响到任何一段活动的议程。该数目取决于在该议程中使用的在网络家用电器上所保持的软件和硬件混合物的复杂性水平。

现有技术的视频会议系统存在的一个问题是，在一个位置上典型地仅提供和安装一个摄象机，并指向每一个参加者用户。因此，用户必须注视摄象机，以便记者能看到该用户的脸部。若该用户的视线被引导离开摄象机，则正在跟该用户商谈的记者将感受到某种别扭的感觉。这种别扭的感觉必须处置这样一种状态，即，你正在跟没有注视你的视线的某个人谈话。换句话说，一个出现在屏幕上的用户正在消失或者偏离镜头。在电视行业中，通过提醒一个人仅注视正在进行主动记录的摄象机，就能使这个问题得以常规地避免。通常可以接受的是，若他或她做不到这一点，并且一个摄象机发现他们正在注视另一个摄象机，则他们的图象或消息的有效性可能会降低。

虽然这个问题涉及人的某些直觉的不舒服，并且通过视频会议系统的参加者可以使之合理化，但是人们还是希望通过提供这样一种视频会议系统，其中所有的参加者都表现为被聚焦和被约束(不左顾右盼)来作出改进，以纠正这个问题。

偏离镜头效果产生的原因是由于用户在谈话时不是直接地注视摄象机，而是希望去观察谈话对方的人或人们。他通过将他的视线从摄象机转移到他的显示器上含有许多记者其中之一的图象的一个分成帧的窗口，来做到这一点。若有不止一个的含有各记者的图象的窗口，则用户在跟他们进行谈话时，可以将他的视线从一个转向另一个，并且完全不必注视摄象机。这使得偏离镜头对用户消息的严重性具有不可捉摸的影响。

某些公司企图通过将摄象机集成到用户的监视器或显示器屏幕中去来缓解这个问题。例如将摄象机放在监视器的中心可以缩短从摄象机到任何分成帧的窗口的横向距离。这样就能减少偏离镜头效果，但是不能消除它。而且，若监视器非常大，并且相应的窗口位于这样一个监视器的四周，则偏离镜头效果仍然十分显著。

一些公司已经作出使偏离镜头效果最小化的另一种尝试，即，提供一块专门的很象一块电影屏幕那样的屏幕，其中一个摄象机被映射到屏幕之中。光敏感性是这种类型的系统的一个缺点，它要求各部件都保持小巧和被包围起来。同样，该屏幕比标准的个人计算机屏幕大很多。因此，若记者窗口位于屏幕的四周，则偏离镜头效果仍然会产生。

其他开发商曾经尝试使用两个摄象机和立体声软件，将一个摄象机虚拟地放在显示监视器的屏幕上。美国专利第5,886,735号是针对这样一种系统而授予的，并且其申请与本专利申请相关联，以IDS的形式提供。即使采用这样的开发成果，仍然存在一些问题。

明确地需要的是这样一种方法和装置，它将产生可以放置在视频会议屏幕的任何位置上的虚拟摄象机的效果。当用户没有注视一个实际的摄象机时，这样一个虚拟的摄象机可以被对准去跟随用户对其屏幕的注视角度，使得可以生成表示该用户的正面图象流，并向记者们发送，而不是表示偏离镜头的带有角度的图象。

发明内容

在本发明的一个优选实施例中，提供了一个视频会议站，包括：一个显示监视器，它有一个显示屏幕，用于显示远方会议参加者的图象；在显示监视器外面的两个或多个视频摄象机，用于获取位于显示监视器屏幕前面的一个或多个本地参加者的图象；以及一个计算机处理系统，它被连接到显示监视器以及视频摄象机二者，用于接收与各视频会议有关的各视频流，并显示来自各视频流的各种图象，还用于向远方会议参加者发送视频流，并且用于处理由两个或多个视频摄象机获取的各种图象。本处理系统通过执行包括现场图形的软件，以及使用由两个或多个视频摄象机所提供的已获取的各种图象，来产生并发送一个单独的视频流，它提供本地参加者的图象，就好象从位于显示器屏幕的区域之中的一部虚拟的视频摄象机所获取的视频流那样。

在一个实施例中，本处理系统将虚拟的视频摄象机放在位于显示器屏幕中心或与之靠近的地方。在其他各实施例中，本处理系统使用输入来在显示器屏幕中建立活动窗口，以便将虚拟的视频摄象机放在与该活动窗口有关的一个位置上。

在另一个实施例中，视频会议站附加地包括各机器人操作员，它们跟下列各项中的一些项有关：各视频摄象机，在监视器屏幕前面的、用于本地参加者的两个或多个位置，以及具有定向能力的、用于各参加者的一个音频输入系统，其中，本处理系统让各机器人操作员根据来自音频输入系统的定向输入，将个别的视频摄象机对准个别的本地参加者。定向能力可以限定每一个本地参加者都具有一个独立的麦克风，其中，每一个独立的麦克风跟用于本地参加者的、在显示器屏幕前面的一个位置有关，或者一个立体声麦克风，其中，本处理系统能根据来自立体声麦克风的输入来确定在显示器屏幕前面的各本地参加者的位置。

在本发明的另一方面，提供了一个视频会议系统，包括：两个或多个视频会议站；以及介于两个或多个站之间的能传送视频的链路，其中，一个或多个站的特征在于，一个显示监视器具有一个显示屏幕，用以显示远方会议参加者的各种图象，在显示监视器外面的两个或多个视频摄象机，用于获取位于显示监视器屏幕前面的一个或多个本地参加者的图象，以及一个计算机处理系统，它被连接到显示监视器以及视频摄象机二者，用于接收与各视频会议有关的各视频流，并显示来自各视频流的各种图象，还用于向远方会议参加者发送视频流，并且用于处理由两个或多个视频摄象机获取的各种图象，并且其中，本处理系统通过执行包括现场图形的软件，以及使用由两个或多个视频摄象机所提供的已获取的各种图象，产生并发送一个单独的视频流，它提供本地参加者的图象，就好象从位于显示器屏幕的区域之中的一部虚拟的视频摄象机所获取的视频流那样。

在某些实施例中，本处理系统将虚拟的视频摄象机放在位于显示器屏幕中心或与之靠近的地方。在其他各实施例中，本处理系统使用输入来在显示器屏幕中建立活动窗口，以便将虚拟的视频摄象机放在与该活动窗口有关的一个位置上。在其他各实施例中，视频会议系统附加地包括各机器人操作员，它们跟下列各项中的一些项有关：各视频摄象机，在监视器屏幕前面的、用于本地参加者的两个或多个位置，以及具有定向能力的、用于各参加者的一个音频输入系统，其中，本处理系统让各机器人操作员根据来自音频输入系统的定向输入，将个别的视频摄象机对准个别的本地参加者。在某些情况下，定向能力包括每一个本地参加者都具有独立的麦克风，其中，每一个独立的麦克风跟用于本地参加者的、在显示器屏幕前面的一个位置有关。在其他各实施例中，定向能力包括一个立体声麦克风，并且本处理系统能根据来自立体声麦克风的输入来确定在显示器屏幕前面的各本地参加者的位置。

在本发明的另一个方面，提供了一种用于在视频会议系统中纠正偏离镜头现象的方法，包括下列各步骤：(a)用位于显示器屏幕以外的两个或多个视频摄象机来获取会议参加者的图象；以及(b)从两个或多个视频摄象机向一个处理器馈送一组视频流；以及(c)从两组或多组视频流以及已存储的变量和常数并使用现场图形算法，来生成一个单独的视频流，该单独的视频流表示会议的参加者，就好象从位于监视器屏幕里面的一部虚拟的摄象机所获取的那样。

在一个实施例中，处理器将虚拟的摄象机放在位于显示器屏幕中心或与之靠近的地方。在另一个实施例中，本处理系统使用输入来在显示器屏幕中建立活动窗口，以便将虚拟的视频摄象机放在与该活动窗口有关的一个位置上。还可以附加地具有对与个别的一些视频摄象机有关的各机器人操作员进行操纵的步骤，以便通过处理来自一个具有定向能力的音频输入系统的输入，(使摄象机)聚焦于位于监视器前面的个别参加者。在某些实施例中，定向能力包括每一个本地参加者都具有一个独立的麦克风，其中，每一个独立的麦克风跟用于本地参加者的在显示器屏幕前面的一个位置有关。在定向能力中包括一个立体声麦克风，并且本处理系统能根据来自立体声麦克风的输入来确定在显示器屏幕前面的各本地参加者的位置。

在下面将要详细说明的本发明的各实施例中，首先让视频会议系统将虚拟的摄象机放在一个屏幕区域以内，并且根据一个参加者在其视线方向上可能作出的移动来改正虚拟摄象机的位置。

附图说明

图1是一份方框图，表示根据现有技术的一个视频会议站。

图2是一份方框图，表示根据本发明的一个实施例的一个视频会议站。

图3是一份方框图，表示图2所示的视频会议站与根据本发明的一个实施例的一个视频编解码处理器的交互作用。

图4是根据本发明的一个实施例的一份方框图，表示一个视频会议系统，其中让多个用户共享一个视频会议屏幕。

具体实施方式

图1是一份方框图，表示根据现有技术进行现场会议的视频会议系统100。系统100包括一个可能是阴极射线管监视器的显示监视器103、一个平板显示器、或者任何其它适用于视频会议的标准的显示监视器。在这个现有技术的实例中，监视器103是一个阴极射线管显示器，就象个人计算机典型地配置的一样。但是，显示器103也可能是视频电话、网络电视、或者任何其它已知的能够进行网络视频会议的设备上配置的已知的家用电器。

按照大多数现有技术的视频会议系统，以典型的外部安装方式安装了摄象机101。在这个实例中，摄象机101被安装在监视器103顶部的中央。在某些更近期的现有技术的实施例中，摄象机101可能是安装在屏幕103内部的一个集成单元。

在进行视频会议期间，屏幕103上可以显示一个或者多个内容窗口。在图中，会议内容窗口105a-c被表示为如屏幕103所示，并且与当前的视频会议有关。例如，窗口105a-c中至少有一个包含记者(会议参加者)的视频/音频表示。其它的窗口可能包含其他参会的记者(如果有两个以上参加)、文稿或文本对话框、或者其它与特定视频会议议程相关的信息显示。

应当理解，为了在屏幕103上得到参会的用户的面部形象，要求该用户最好直接注视摄象头101。如果用户不注视窗口105a-c其中之一的内容，那么任何其他通过远程系统参加此次会议的用户将看到第一个参加者的非正面形象。这样就产生了在技术背景节中所描述的偏离镜头(lost look effect)的异常现象。

若摄象机101与屏幕103集成在一起，使得它被放置在屏幕103里面的一个固定位置，例如在中央，这样，偏离镜头的效果就可以减轻，但并不是在所有的时候都能够将它去除掉。

本发明人通过提供多个摄象机和一段软件应用程序解决了现有技术这个实例中存在的问题，该软件应用程序生成了可以从屏幕103的任何位置进行摄象的虚拟摄象机，并且可以根据需要调整虚拟摄象机的位置。本发明的方法和装置将在下面进一步加以说明。

图2是一份方框图，表示根据本发明的一个实施例进行现场会议的视频会议系统200。在本实施例中，监视器202如同图1中对监视器103的描述一样，是一个类似于个人计算机中的典型CRT监视器，经改装用于实践本发明。但是监视器202可以是适用于视频会议的任何类型的网络家用电器，例如视频电话或者也许是连接网络的电视机。

不象现有技术系统100(图1)中的摄象机101那样使用单一的摄象机，发明者提供了多个摄象机201a-d，它们被安装在屏幕202的四周。摄象机201a-d也可以被安装在不同于本实例中所示的的位置，但这并没有超出本发明的精神实质和范围。另外，只要有至少两个这样的摄象机，就能提供比这里所显示的4个更多或者更少的摄象机203a-d。在本发明的实施例中，更多的摄象机可以在虚拟的放置中带来好处。在一个实施例中，也许只有2个摄象机，例如201d和201b，它们被安装在互相交叉的位置。在一个优选的实施例中，至少提供3个摄象机，例如摄象机201a，201b和201d。偏好于3个以上的摄象机201，这是因为较多的摄象机能够向系统200提供更多的数据输入，这将在下面作进一步的解释。

只要摄象机201a-d按照通常的方式环绕屏幕202而分布，它们具体的安装样式对于实践本发明来说并不特别重要。每一个摄象机201a-d都被调整为从各自的安装位置聚焦到一个用户，使得在视线记录中具有多个摄象机角度。

如屏幕202所示，这里有3个视频显示窗口203a-c。窗口203a-c类似于现有系统100(图1)的窗口105a-c。例如，所有3个窗口203a-d都可以表示使用本发明、跟一个使用系统200的用户一起参加会议的各记者的图象。在一个实施例中，窗口201a可能是一个记者的图象，而窗口203b则含有一份手稿，并且窗口203c是另一种类型的文本对话框，例如聊天或者信息系统。存在多种可能性。

本发明的一个具体目标就是通过组合摄象机201a-d的特定图象数据，以便在监视器屏幕区域中形成一个虚拟摄象机的位置。这样的虚拟摄象机并不是一个真实的摄象机，而是通过组合来自摄象机201a-d的实时摄象机图象输入而形成的一系列数据，从而重新生成一个用户的图象。其它的包含输入和变量信息的数据，例如窗口203a-c的坐标位置，这是在议程中当前使用的坐标位置，以及类似的信息，也被纳入到虚拟摄象机的计算序列之中。

在实践本发明的过程中，使用系统200来参加会议的用户可以注视窗口203b，为了本发明的目的，该窗口被假定为在本议程中当前的活动窗口。如前所述，窗口203b可能是一位记者的图象窗口，或者是手稿或文本显示窗口。应当懂得，当一位用户直接注视窗口203b时，他并不是注视着摄象机201a-d中的任何一个。但是摄象机203a-d对准用户，并且从它们环绕屏幕202的安装位置的不同角度和视角分别记录该用户的独立的和完整的图象序列。每个摄象机203a-d的摄象角度都是已知的，并且从每一个摄象机的前端到用户的脸部的准确距离也是已知的。

当一个用户注视着窗口203b时，摄象机201a-d正在摄象，并将各自的独立信息流送往一个处理装置(图2中未示出)，以便进行捕捉和分析，然后仅使用所需的组合和计算数据来生成该用户的虚拟图象序列。所生成的图象序列呈现于其他各位记者面前时，就象是有一个摄象机被放在用户所注视的地方接受信息，这里大约是窗口203b的中心点，这样摄象机就拍摄了一个正面的序列。

要注意的是，在本实施例中，虚拟摄象机的位置被调整到活动窗口的近似中心位置。如果有另外一个窗口也被激活，并且该窗口的坐标为已知，那么虚拟摄象机的位置就可以移到这个新的活动窗口。用户将以高概率来注视当前激活的任何活动窗口，也就是说，用户有意识地激活一个窗口，他将以高概率来注视刚刚激活的窗口，这将带来好处。

这样，就产生了一种虚拟摄象机的效果，传送到其他各记者的所得到的视频流就象是有一个移动的摄象机总是对着用户，即使用户的目光从屏幕202的一个区域移到另一个区域也是如此。因此，系统200去除了大多数现有技术系统所经受的偏离镜头的现象。有关通过各个独立数据输入的组合和计算以形成这样的虚拟摄象机的详细内容将在下面给出。

图3是一份方框图，表示根据本发明的一个实施例进行现场会议的视频会议系统200，它跟用软件302强化的视频编解码处理单元301发生交互作用。系统200使用一个处理单元301，它是一个用于视频编解码处理的系统。处理单元301可以是能够使用软件来处理和缓冲存储数字视频数据的任何适当的处理硬件。

根据本发明，处理器301可以是一个计算机处理器系统，一个强化的视频电话单元，或者是具有处理视频/音频信息流的适当处理能力的任何其它被连接的处理器。在本实施例中，处理器301是一个运行例如Windows 98^TM并且含有为业界所熟知的以及为进行视频/音频处理所需的所有必要的部件的计算机处理器。这些部件包括但并不局限于视频捕捉设备、视频设备驱动程序、足够的随机存取存储器(RAM)，声音/视频卡等。

处理单元301分别接收来自摄象机203a-d的各个独立视频数据流，如被连接的定向线305所示，它从摄象机203a-d发出并进入单元301。提供了如部件号303所示的双向网络连接，它适于为系统200实现业界所熟知的通信网络连接。在本实施例中，连接303被假定为因特网连接，它可能是通过因特网服务提供商(ISP)提供的一段陆地通信线路连接，或者是固定的或移动的无线连接。在一个实施例中，连接303可能是通往一个局域网(LAN)的连接，后者又是被进一步地连接到一个广域网(WAN)或因特网的连接。

通常，连接303代表在一个通信网络节点和本发明的节点之间建立的任何双向通信链路。提供了视频输出信道307，它适于将来自单元301的输入视频数据传送到屏幕202进行显示，如连接307上箭头的方向所示。连接307是常规的，并且在很大程度上取决于计算机的硬件结构。在其它各实施例，例如视频电话中，构成系统200的所有被提到的部件可能被纳入到同一个物理单元之中。

除了安装在系统200上的、并且适用于通过一个连接网络来发送和接收视频/音频的用途的常规的视频处理部件以外，发明者还提供了一个强化现场图形应用软件(SW)302，它可能跟安装在处理单元301之中的常规视频/音频处理软件集成在一起。

SW 302包含许多例行程序，这些程序是通过线路305接收来自摄象机201a-d的数据、包括其它已知的数据输入，进行计算以获得虚拟数据，并产生前面所描述的虚拟图象流所需的。一旦在单元301完成处理之后，所得到的图象流就经由连接303并通过适当的网络进行传送。

现场图形(field graph)在全息成象技术中是众所周知的。它们被用来计算一个物体在虚拟3维(3D)空间中特定的外观。使用现场图形通常是根据全息记录，或者有时根据使用立体摄象机。现场图形典型地是用来计算跟一幅图象相关的干扰图形。计算出来的干扰图形表示从某一个特定视点所得到的全息图象。

在本实施例中，SW 302是一段在现有技术中不曾有过的强化现场图形应用程序。现有技术中的现场图形应用程序和本发明的现场图形SW 302之间的差别在于，它根据通过几个实际的摄象机、例如摄象机201a-d所提供的数据而得到的所需的虚拟摄象机的虚拟位置和方向，仅计算出一个虚拟的图象。现代的CPU如Intel Pentium II^TM和AMDK6^TM都有一组内置的加速器功能，用以帮助这种现场图形计算。

在本发明的一般实施中，一个使用系统200来参加会议的用户至少要同一个以上的其他远程用户进行通话。在议程中，当例如窗口203a-c那样的内容窗口出现在屏幕202上时，用户可能倾向于以任意长的时间直接注视任何一个窗口。如果所有的3个窗口202a-c都含有接收到的表示参会的各位记者的视频信息流，那么用户可能倾向于注视无论哪一个活动窗口或者参加当前的交流。

现在假设一个使用系统200的用户正在与窗口203a中显示的记者进行交互，用户很可能在交互过程中注视着窗口203a。交互作用包括听取窗口203a中显示的记者的讲话或者跟他讲话。窗口203a对于计算机来说是活动窗口。在这段时间中它代表一个序列，摄象机201a-d在交互过程中分别记录了用户的视频数据流。每个视频数据流都从各个摄象机201a-d通过各自的连接305进入单元301，以便进行处理。

在这个实例中，屏幕202上窗口203a的坐标位置是已知的。在一些实施例中，窗口203a可能通过用户点击该窗口来确定其已被激活。这样窗口203a的坐标就被纳入到SW 302的计算当中。根据摄象机201a-d提供的数据，SW 302生成的图象就象是从一个虚拟的位置上拍摄到的。与窗口203a相关的坐标数据与从摄象机201a-d得到的所有的图象坐标数据或者最接近的图象坐标数据一起使用。

在这个实例中，从各摄象机、例如201a或者201c得到的数据表示该用户最接近的面部图象，它们可能是用来计算出一个可以接受的面部虚拟图象所需的全部数据。例如，摄象机201d将表示用户向右看、角度朝下，而摄象机201c将表示用户向左看、面部位置的角度朝上。剩下的各摄象机从距离方面来说离开窗口201a更远，它是当前吸引用户注意力的窗口。因此，只有摄象机201a和201c可以被选择用来提供有用的数据。如果窗口201b是活动窗口(接受用户的注视)，那么从摄象机201a-d得到的数据就是有用的。

SW 302具有根据输入的数据流以及变量和常量数据来模拟新的图象流的能力，图象流包含从摄象机201d和201c(最能被接受的摄象)获得的两个单独的图象数据流的实际象素值而得出的新的象素值。模拟的或者虚拟的数据流通过连接303被传送到所有其他记者。其效果是，用户看起来好象是在正前方的位置被摄象，好象一个摄象机正好被安放在窗口203的后面。

在另一个实施例中，软件也考虑到屏幕上光标的位置，以确定视频摄象机的虚拟位置。而在又一个实施例中，为了得到吸引用户视线的可能坐标，使用本发明的方法，就不需要专门地去激活一个窗口。在本实施例中，通过将用户面部的实际摄象机图象与预先输入的用户的面部图象进行比较，就能识别用户面部沿着x-y-z轴的倾斜的方向和角度，这样就可以使SW 302能够预测用户的目光在任何给定瞬间的方向和角度，从而使SW 302的能力得以增强。例如将从例如所有4个摄象机201a-d得到的读数加以组合，就能给出屏幕202上被用户注视的任何区域的坐标值。这样一来，用户就不局限于注视在屏幕202上的一个已说明的活动窗口或者物体。他或她可以随意改变在屏幕202上的注视方向。用户甚至可以注视屏幕或工作区域上与系统200没有特别关联的部分，例如工具条区域、滑动条区域、甚至与屏幕202无关的区域，如键盘区域。在有足够的处理能力的条件下，SW 302就能计算代表用户面部正面形象的实时虚拟图象流。

对于本领域的专业人士来说，显而易见，本发明的方法和装置可以用于外部安装的各摄象机，如前面所描述的各摄象机201a-d，或者用于被集成到显示器屏幕或者显示器里面的摄象机，这并没有背离本发明的精神实质和范围。

在本发明的再一个实施例中，当有一个以上的用户共享一个显示器屏幕时，最好能够用系统200这样的系统来进行工作。为了使安装的摄象机能够在视频会议活动中对准适当的用户，发明者提供了一种改进，使用输入音频方向指示器来精确定位一个以上的用户共享一个显示器时的位置。本发明的这种改进的实施例将在下面将进行详细说明。

图4是一份方框图，表示根据本发明的一个实施例的视频会议系统401，其中多个用户共享同一个显示器屏幕。在这个实例中，系统401被提供并且被表示为一个类似于前面描述的系统200，所不同的是它允许用户共享同一个显示器屏幕。系统401包括一个用户座席(premise)403和一个用户座席405。座席403和405表示通过通信网络417相互连接并因此能够通过使用系统401提供正在工作的视频会议连接的远方设备组。座席403和405可以被假定为必须是专门用于支持共享意义上的多用户的。但是只要其中一个座席支持多用户，就不需要有这样的特殊要求了。

在本实施例中，座席403包括一个用户407，该用户使用显示监视器409来操作一个视频会议站。显示监视器409可以是经过改装(加大)的与个人电脑相连接的CRT监视器屏幕，这里用部件号码412来表示。在一个实施例中，显示监视器409可能是从前面或者背面投影的屏幕，或者是能够用来实践本发明的与连接网络的家用电器相关的另一种类型的屏幕。这里所示出的是只有一个用户407在座席403中进行操作，但这不应当被解释为对本发明的一种限制。如上所述，多个用户可能在共享意义上在座席403中进行操作，但是为了讨论的目的，在座席403中仅示出一个用户407。

多个外部安装的摄象机411被提供用来在视频会议的议程中记录用户407的图象。各摄象机411类似于图3中的各摄象机201a-d，所不同的是，在一个实施例中，不同于固定安装和手动调整，它们可以自动调整位置。3个摄象机411在环绕监视器409的安装位置上是可以看见的。也可能有多于3个已安装的摄象机411，或者如图2参照于各摄象机201a-d所描述的那样，也可以少到只有两个摄象机411。

在这个实例中，如同在业界中众所周知的那样，用户407使用了一个标准的麦克风(实际的麦克风未示出)来实现在视频会议议程中的音频功能。麦克风线413表示上述的实施例以及通过麦克风端口或插孔415与计算机412的活动连接。麦克风端口415可以通过在其中安装多个麦克风插座，来同时处置几个麦克风。

座席405包括共享一个显示器屏幕423的操作的许多用户425a-b。所讨论的关于屏幕409的所有上述的参数和选项都适用于座席405的屏幕423。许多外部安装的摄象机421被安装并且被定位于屏幕423的周围。各摄象机423类似于上述的各摄象机411。为了在视频电话会议中实现业界所熟知的音频功能，各用户425都使用标准的麦克风。在座席405中使用多于一个麦克风的原因将在下面进行描述。

用户425a的麦克风能力由通往麦克风端口或者插口427的麦克风线d来表示。麦克风线e和f分别表示用户425b和425c的麦克风能力(实际的麦克风没有详细示出)。所有的麦克风线d-f都被表示为插入一个单独的端口427，其中包含多个麦克风插孔。端口427可能用来使更多或者更少的麦克风连接成为可能，这并没有背离本发明的精神实质和范围。

在一个简单的实施例中，通过将每一个可用的输入插座标识为端口427，来向所有被连接的麦克风赋予一个唯一的端口地址。在各用户425a-c的实例中，每一个用户都使用一个具有唯一地址的单独的麦克风，该地址可以用来标识视频会议期间在屏幕423前面的各用户425a-c的座位排列。

在一个实施例中，各摄象机421和411的自动调整通过软件联系于已连接的麦克风线的寻址方法。例如，当各用户425a-b中的一个被指定对着他或者她的麦克风说话时，该特定用户就被认为是活动的，使得摄象机421相应地调整其位置。这样一来，当各用户425a-b中的一个主动地对着他的麦克风说话时，各摄象机421就自动地摇向该特定的用户。当各用户425a-c中的另一个接着说话时，各摄象机就相应地摇向该用户。当然，在进行视频会议时，如果所有的摄象机都对准一个用户，就要求每个用户都轮流地独立于其他用户来讲话。

在按照本文所描述的实施例来实践本发明的过程中，要注意的是，用户407跟各用户425a-c一起参加视频会议的议程。情况可能是一次采访之类，其中用户407是采访者，并且用户425a-c是一次采访的主体。采访者407在屏幕409上可以有3个内容窗口(未示出)，每一个窗口适于显示被选定的记者425的虚拟图象流。

由于仅有一个采访者407，所以不需要摇动各摄象机411，宁可简单地将它们对准用户407。若用户407切换到分配给另一个座位的麦克风，则他也必须移动到该座位处，因为当他开始发言时，各摄象机411将摇动到该位置。一旦采访者407停下来等待来自各主体425a-c其中之一的响应时，在座席403处的屏幕409上适当的内容窗口上就开始显示虚拟的图象响应。在预期的响应前面可以发送一个标识，使得在该响应开始之前摄象机就摇动到该位置上。

在一个实施例中，各摄象机421中的某一些若受到麦克风的激活，就可以被指定去摇动，而其他的则被分配以固定位置。存在多种可能的组合。系统401的虚拟的图象能力是，除了上述的音频/摄象机命令改进以外，跟在图2和图3中所描述的系统200相同。可以生成具有多个麦克风和自动摄象机的专门的分组会议系统。

现在假定在屏幕409上有3个内容窗口在显示，它们表示各用户425a-c的各自的图象流。在这种情况下，用户407有如虚线箭头所示的3种典型的注视方向。当各用户425a-c中的任何一个被指定发言时，随着各摄象机421对准该用户，就产生虚拟的摄象机效果。所得到的图象流表现为用户407的正面图象流，而其余的两个用户则呈现出偏离镜头的效果。这是由于各摄象机421全都摇动到对准该活动的用户。在另一个实施例中，各专门的摄象机可能具有已划分好的分工。在上述实例中，各用户425将全部地注视着表示用户407的图象流的内容窗口，如虚线箭头所示。随着各用户425a-c轮流发言，在座席409处的虚拟摄象机能力发生作用，即使用户407将他的视线转移到在屏幕409上表示各用户425a-c的各内容窗口，仍然能够保证在屏幕423上表示用户407的内容窗口中的虚拟图象流总是正面的。

若出现附加的窗口，例如文稿框，或者其他文本显示，则任何用户都可以激活该窗口，并且改变虚拟摄象机效果，使得它表现为好象将摄象机直接放在现在激活的文本窗口后面。这样一来，虚拟图象流保持对准并聚焦于正面的表现。

在另一个实施例中，为了实践本发明，并不需要具有单一地址的多个麦克风。例如，代替使用麦克风连接d-f，可以提供一个单声或立体声麦克风的实施方案，由此将一个或多个能感知方向和距离的方向性声音传感器跟麦克风集成在一起。这样一来，当一个新用户开始发言以及各传感器检测到他的位置时，各摄象机421就要摇向该新用户。在本实施例中，唯一的缺点就是，用户在开始作出响应之前，必须作出某种确认，以便给各摄象机421以足够的时间，使之能摇动到该位置。

专业人士应当明白，本发明的虚拟图象会议系统可以作为一个新系统而被提供，或者在不背离本发明的精神实质和范围的前提下，它可以跟现有的会议系统集成在一起。例如，为了实践本发明的目的，可以提供一种软件/硬件升级包，它专用于特定的现有系统的改进。当然，这样一种升级产品可以通过修整，使其适用于包括准备升级的平台和支持硬件的系统类型。

根据又一个实施例，通过将适当的3维图形软件和硬件纳入到系统之中，就能提供一个3维系统。在这样一个系统中，可以生成虚拟的图象流，来表现相关用户的3维图象。例如，若一个用户坐偏了位置，并且跟表示一个记者的内容窗口成一个角度，则可以让虚拟图象跟踪该用户的运动，使得它表现为发生倾斜，并将其视线移动到直接注视该用户。这样一个复杂的实施例可能需要相当可观的处理能力，并且对普通用户来说可能是不实用的。然而，这样一个实施例是可能的。

根据上面详细描述的许多可能的实施例而应当被赋予最宽广的范围的本发明的方法和装置包括本发明人所想象的、但在本文中没有提及的其他可应用的实施例。因此，本发明的精神实质和范围应当仅受随后的权利要求书的限制。

Claims (18)

1.一种视频会议站，包括：

一个显示监视器，它有一个显示屏幕，用于显示远方会议参加者的图象；

在显示监视器之外的两个或多个视频摄象机，用于获取位于显示监视器屏幕前面的一个或多个本地参加者的图象；以及

一个计算机处理系统，它被连接到显示监视器以及视频摄象机二者，用于接收与视频会议有关的视频流并显示来自这些视频流的各种图象，向远方会议参加者发送一个视频流，并处理由两个或多个视频摄象机获取的各种图象；

其中该处理系统，通过执行包括现场图形的软件以及使用由两个或多个视频摄象机所提供的获取的图象，产生并发送一个单独的视频流，该视频流提供本地参加者的一种图象，就好象该视频流是从位于显示器屏幕的区域内的一个虚拟的视频摄象机所获取的视频流那样。

2.根据权利要求1所述的视频会议站，其中，该处理系统将虚拟的视频摄象机放在位于显示器屏幕中心或与之靠近的地方。

3.根据权利要求1所述的视频会议站，其中，该处理系统使用输入来在显示器屏幕中建立活动窗口，以便将虚拟的视频摄象机放在与该活动窗口有关的一个位置上。

4.根据权利要求1所述的视频会议站附加地包括各机器人操作员，它们跟下列各项中的一些项有关：各视频摄象机，在监视器屏幕前面的、用于本地参加者的两个或多个位置，以及具有定向能力的、用于各参加者的一个音频输入系统，其中，该处理系统让各机器人操作员根据来自音频输入系统的定向输入，将个别的视频摄象机对准个别的本地参加者。

5.根据权利要求4所述的视频会议站，其中，定向能力包括每一个本地参加者都具有一个独立的麦克风，其中，每一个独立的麦克风都跟用于本地参加者的在显示器屏幕前面的一个位置有关。

6.根据权利要求4所述的视频会议站，其中，定向能力包括一个立体声麦克风，并且处理系统能根据来自该立体声麦克风的输入来确定在显示器屏幕前面的各本地参加者的位置。

7.一种视频会议系统，包括：

两个或多个视频会议站；以及

介于两个或多个站之间的能传送视频的链路；

其中，这些站中的一个或多个的特征在于：具有一个显示屏幕的一个显示监视器，用以显示远方会议参加者的各种图象，在显示监视器之外的两个或多个视频摄象机，用于获取位于显示监视器屏幕前面的一个或多个本地参加者的图象；以及，一个计算机处理系统，它被连接到显示监视器以及视频摄象机二者，用于接收与各视频会议有关的视频流并显示来自各视频流的各种图象、向远方会议参加者发送一个视频流、并处理由两个或多个视频摄象机获取的各种图象，且其中该处理系统通过执行包括现场图形的软件以及使用由两个或多个视频摄象机所提供的获取的图象而产生并发送一个单独的视频流，该单独的视频流提供本地参加者的图象从而该视频流就好象从位于显示器屏幕的区域内的一个虚拟的视频摄象机所获取的视频流那样。

8.根据权利要求7所述的视频会议系统，其中，该处理系统将虚拟的视频摄象机放在位于显示器屏幕中心或与之靠近的地方。

9.根据权利要求7所述的视频会议系统，其中，该处理系统使用输入来在显示器屏幕中建立活动窗口，以便将虚拟的视频摄象机放在与该活动窗口有关的一个位置上。

10.根据权利要求7所述的视频会议系统附加地包括各机器人操作员，它们跟下列各项中的一些项有关：各视频摄象机，在监视器屏幕前面的、用于各本地参加者的两个或多个位置，以及具有定向能力的、用于各参加者的一个音频输入系统，其中，该处理系统让各机器人操作员根据来自音频输入系统的定向输入，将个别的视频摄象机对准个别的本地参加者。

11.根据权利要求10所述的视频会议系统，其中，定向能力包括每一个本地参加者都具有一个独立的麦克风，其中，每一个独立的麦克风都跟用于本地参加者的、在显示器屏幕前面的一个位置有关。

12.根据权利要求10所述的视频会议系统，其中，定向能力包括一个立体声麦克风，并且处理系统能根据来自立体声麦克风的输入来确定在显示器屏幕前面的各本地参加者的位置。

13.一种用于在视频会议系统中纠正偏离镜头现象的方法，包括下列各步骤：

(a)用位于显示器屏幕以外的两个或多个视频摄象机来获取一个会议参加者的图象；以及

(b)从两个或多个视频摄象机向一个处理器馈送视频流；以及

(c)从两或多个视频流以及已存储的变量和常数并使用现场图形算法来生成一个单独的视频流，该单独的视频流以这样的方式展示会议的参加者-即该单独的视频流就好象从位于监视器屏幕内的一个虚拟的摄象机所获取的那样。

14.根据权利要求13所述的方法，其中，在步骤(c)，该处理器将虚拟的视频摄象机放在位于显示器屏幕中心或与之靠近的地方。

15.根据权利要求13所述的方法，其中，该处理系统使用输入来在显示器屏幕中建立活动窗口，以便将虚拟的视频摄象机放在与该活动窗口有关的一个位置上。

16.根据权利要求13所述的方法附加地包括对与个别的视频摄象机有关的各机器人操作员进行操纵的步骤，以便通过处理来自一个具有定向能力的音频输入系统的输入，(将摄象机)聚焦于位于监视器屏幕前面的个别参加者。

17.根据权利要求16所述的方法，其中，定向能力包括每一个本地参加者都有一个独立的麦克风，其中，每一个独立的麦克风跟用于本地参加者的在显示器屏幕前面的一个位置有关。

18.根据权利要求16所述的方法，其中，定向能力包括一个立体声麦克风，并且本发明的处理系统能根据来自立体声麦克风的输入来确定在显示器屏幕前面的各本地参加者的位置。

Images