CN107786834A - 用于视频会议系统中的摄像机底座及其方法 - Google Patents

Abstract

本发明提供了一种用于视频会议系统中的摄像机底座，其可拆卸地至少电气连接到一个或多个第一摄像机，该摄像机底座包括：通信接口，其配置来使该摄像机底座与该视频会议系统通信连接；以及处理单元，其可操作地耦接到该一个或多个第一摄像机和通信接口，该处理单元可编程来执行下述步骤：生成控制信号以控制该一个或多个第一摄像机的至少一个摄像机来捕捉第一视频；执行冻结步骤以使得该视频会议系统停止更新来自该至少一个摄像机的该第一视频；以及响应于确定该至少一个摄像机执行完该控制信令，执行解冻步骤以使得该视频会议系统重新开始更新来自该至少一个摄像机的该第一视频。本发明还提供了相应的视频会议方法。

Description

用于视频会议系统中的摄像机底座及其方法

技术领域

本发明的技术总体上涉及视频会议。更具体地，本发明涉及智能摄像机底座及其方法。

背景技术

一般来说，视频会议中的摄像机拍摄装进所有与会者的画面。不幸的是，远端与会者会失去视频中的许多有价值的内容，因为显示在远端的近端与会者的大小会很小。在一些情况下，远端与会者不能看清近端与会者的面部表情，难以确定谁正在发言。这些问题使视频会议具有难以使用的感觉，从而使与会者难以进行富有成效的会议。

为了改进这种情况已经做出很多努力。

在一个示例中，用一个PTZ摄像机用于近端与会者的视频捕获，其一般是发言者和集成的网络摄影机，用于评估较大的场景。多数情况下该较大场景是静止的并不怎么改变。一些保利通的摄像机使用面部识别来帮助找到当前的发言者（例如，参见US6,593,956）。然而，由于随发言者的变更和移动而来的跟踪和调整的过程，PTZ摄像机可能为远端参与者带来恼人的体验。这样的不自然的转变可能使得远端参与者觉得眩晕。

在另一个示例中，可以使用两个PTZ摄像机而替代上面示例中的一个来对一般是发言者的近端参与者取景。当使用A摄像机对视频取景了之后，就从A摄像机发送。当来自A摄像机的视频被显示了，可以再用B摄像机取景，而后当取景完成之后可以适时切换到B摄像机。

发明内容

本发明的主题目的在于克服上述一个或多个问题，或者至少降低上述一个或多个问题的影响。

根据实施例的一个方面，提供了一种用于视频会议系统中的摄像机底座，其可拆卸地至少电气连接到一个或多个第一摄像机，该摄像机底座包括：通信接口，其配置来使该摄像机底座与该视频会议系统通信连接；以及处理单元，其可操作地耦接到该一个或多个第一摄像机和通信接口，该处理单元可编程来执行下述步骤：生成控制信号以控制该一个或多个第一摄像机的至少一个摄像机来捕捉第一视频；执行冻结步骤以使得该视频会议系统停止更新来自该一个或多个第一摄像机的该至少一个摄像机的该第一视频；以及响应于确定该一个或多个第一摄像机的该至少一个摄像机执行完该控制信令，执行解冻步骤以使得该视频会议系统重新开始更新来自该一个或多个摄像机的该至少一个摄像机的该第一视频。

根据实施例的另一个方面，提供了一种视频会议方法，包括：生成控制信号以控制一个或多个第一摄像机的至少一个摄像机捕捉第一视频；执行冻结步骤以使得视频会议系统停止更新来自该一个或多个第一摄像机的该至少一个摄像机的该第一视频；以及响应于确定该一个或多个第一摄像机的该至少一个摄像机执行完该控制信号，执行解冻步骤以使得该视频会议系统重新开始更新来自该一个或多个第一摄像机的该至少一个摄像机的该第一视频。

根据实施例的第三方面，提供了一种计算机程序产品，包括存储在非易失性记录介质上的指令，当该指令在处理器中执行时，实施本发明所公开的方法的步骤。

根据实施例的第四方面，提供了一种非易失存储介质，其存储了当在处理器中执行时实施根据本发明所公开的任意方法的方法步骤的指令。

作为整体或分场景来说，引入具有冻结和解冻机制的摄像机底座是有利的；它将帮助显示的视频从一个设定的视频立即切换到另一个设定的视频，减少了这期间由于调整、操纵等导致的可能的不自然、眩晕的视频会议与会体验。在一个场景中，仅需要一个具有摇移－俯仰－推拉（PTZ）功能的摄像机（又称云台摄像机，PTZ摄像机），节省了成本。在一个场景中，也可以用于非PTZ摄像机，因此将广泛使用于PTZ摄像机用户和非PTZ摄像机用户。总的来说，本发明使得视频会议系统给与会者带来更好的与会体验。

附图说明

现在将以示例的方式，基于实施例并参考附图描述本发明的技术，其中：

图1A-1C表示视频会议端点的平面图。

图2A表示按照本发明的用于摄像机的底座。

图2B-2C表示摄像机底座的备选结构。

图3图解说明图2A-2C的摄像机底座的组件。

图4A图解说明所公开摄像机底座的利用音频和视频处理的控制方案。

图4B图解说明用于处理视频的策略判定过程。

图4C图解说明视频会议期间，根据音频线索处理视频的判定过程。

图4D图解说明视频会议期间，根据视频线索处理视频的判定过程。

图5图示了根据本公开的视频会议方法的流程图。

具体实施方式

以下将参照附图更充分地描述本发明实施例，在附图中示出了本发明实施例。然而，可以用很多不同形式来实施本发明，并且本发明不应理解为受限于在此所阐述的实施例。在全文中，使用相似的标号表示相似的元件。

在此所使用的术语仅用于描述特定实施例的目的，而并非意欲限制本发明。如在此所使用的那样，单数形式的“一个”、“这个”意欲同样包括复数形式，除非上下文清楚地另有所指。还应当理解，当在此使用时，术语“包括”指定出现所声明的特征、整体、步骤、操作、元件和/或组件，但并不排除出现或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。

除非另外定义，否则在此所使用的术语（包括技术术语和科学术语）具有与本发明所属领域的普通技术人员所共同理解的相同意义。在此所使用的术语应解释为具有与其在该说明书的上下文以及有关领域中的意义一致的意义，而不能以理想化的或过于正式的意义来解释，除非在此特意如此定义。

以下参照示出根据本发明实施例的方法、装置（系统）和/或计算机程序产品的框图和/或流程图描述本发明。应理解，可以通过计算机程序指令来实现框图和/或流程图示图的一个方框以及方框的组合。可以将这些计算机程序指令提供给通用计算设备、专用计算设备的处理器和/或其它可编程数据处理装置，使得经由计算设备处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。

相应地，还可以用硬件和/或软件（包括固件、驻留软件、微码等）来实施本发明。更进一步地，本发明可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行系统来使用或结合指令执行系统而使用。在本发明上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行系统、装置或设备使用，或结合指令执行系统、装置或设备使用。

举例说明的操作方法的细节方面的各种变化都是可能的，而不脱离下述权利要求的范围。例如，图解说明的流程图步骤或过程步骤可按照与这里公开的顺序不同的顺序执行识别的步骤。另一方面，一些实施例可以结合这里被描述成独立步骤的活动。类似地，取决于实现所述方法的具体操作环境，一个或多个说明的步骤可被省略。

另外，与流程图或过程步骤相应的动作可用可编程控制装置实现，所述可编程控制装置执行组织成在非暂时性可编程存储装置上的一个或多个程序模块的指令。可编程控制装置可以是单个计算机处理器，专用处理器(例如，数字信号处理器，“DSP”)，用通信链路耦接的多个处理器，或者定制设计的状态机。定制设计的状态机可被嵌入诸如集成电路之类的硬件装置中，所述集成电路包括(但不限于)专用集成电路(“ASIC”)或者现场可编程门阵列(“FPGA”)。适合于有形地包含程序指令的非暂时性可编程存储装置(有时称为计算机可读介质)包括(但不限于)：磁盘(硬盘，软盘和可拆卸磁盘)和磁带；光学介质，比如CD-ROM和数字视频光盘(“DVDs”)；和半导体存储器装置，比如电可编程只读存储器(“EPROM”)，电可擦可编程只读存储器(“EEPROM”)，可编程门阵列和闪速装置。

下面将结合附图，参照本发明的实施例描述本发明。

A.视频会议端点

在图1A的平面图中，端点10的一种布置利用视频会议装置80，视频会议装置80包括摄像机底座90和可拆卸地电气且机械连接到摄像机底座90的摄像机50B，摄像机底座90具有与之集成的麦克风阵列60A-B和一部摄像机50A。所有或一些必需的视频会议组件，包括音频和视频模块、网络模块等可被置于与摄像机底座90耦接的独立视频会议单元95中。麦克风箱28可被放置在会议桌上，不过可以使用其它种类的麦克风，比如吸顶式麦克风，个人桌式麦克风等等。麦克风箱28与视频会议装置80通信连接，捕捉视频会议的音频。对装置80来说，装置80可被合并到显示器和/或视频会议单元(未示出)中，或者安装在之上。

应注意，麦克风阵列60A-B在本发明中并不是必要的。在一些实施例中，没有麦克风阵列60A-B系统也可以运转良好。

第一部摄像机50A可以是固定的或者房间画面摄像机，第二部摄像机50B可以是受控的或者人物画面摄像机。基本上，摄像机50A用于分析的目的，但在少数情况下也可以用于输出，例如，在视频会议开始时、结束时，或者某些取景画面不能适当捕捉时。如果摄像机50A的分辨率和成像质量不足以高得来在显示器上清楚地显示画面，则优选地不要输出从该摄像机捕捉的视频。例如，通过利用房间画面摄像机50A，端点10拍摄房间的视频，或者至少拍摄房间的一般应包括所有的视频会议与会者以及一些周围环境的宽画面或拉远的画面。

相反，端点10利用人物画面摄像机50B，以紧凑的或者拉近的画面拍摄一位或多位特定与会者，最好一位或多位当前发言人的视频。于是，人物画面摄像机50B尤其能够实现摇移、俯仰和推拉。摄像机50B捕捉的视频被输出用于本地显示或者输出到远程端点。

在一个实施例中，人物画面摄像机50B是可操纵的云台(PTZ)摄像机，而房间画面摄像机50A是网络摄像机。因而，人物画面摄像机50B能够被操纵，而房间画面摄像机50A能够用电子方式操作，以改变其缩放，而不是可操纵的。不过，摄像机底座90可以利用摄像机的其它安排和种类。例如，任务画面摄像机50B可以智能地操作自己，则摄像机底座90的多数功能可以不用。这样，摄像机底座不但可以支持传统的PTZ摄像机，也可以支持智能摄像机。

图1B表示端点10的另一种布置的平面图。这里，端点10具有安装在房间四周的几个装置80/81，并且具有在会议桌上的麦克风箱28。和前面一样，一个主装置80包括摄像机底座90和可拆卸地电气且机械连接到摄像机底座90的摄像机50B，摄像机底座90具有与之集成的麦克风阵列60A-B和一部摄像机50A。和前面一样，所有或一些必需的视频会议组件，包括音频和视频模块、网络模块等可被置于与摄像机底座90耦接的独立视频会议单元95中。其它装置81与主装置80耦接，并可被布置在视频会议环境的侧面。

辅助装置81至少具有人物画面摄像机50B，不过它们可以具有包括房间画面摄像机50A的摄像机底座，麦克风阵列60A-B，或者这两者，从而能够与主装置80相同。不管怎样，这里说明的音频和视频处理都能够识别在该环境中，哪部人物画面摄像机50B具有发言人的最佳画面。随后，可从在房间四周的人物画面摄像机50B中，选择对发言人来说最佳的人物画面摄像机50B，以致正面画面(或者最接近正面画面的画面)可被用于会议视频。

在图1C中，端点10的另一种布置包括视频会议装置80和远程发射器64。这种布置可用于跟踪在演讲期间移动的发言人。同样地，装置80包括摄像机底座90和可拆卸地电气且机械连接到摄像机底座90的摄像机50B，摄像机底座90具有与之集成的麦克风阵列60A-B和一部摄像机50A。所有或一些必需的视频会议组件，包括音频和视频模块、网络模块等可被置于与摄像机底座90耦接的独立视频会议单元95中。不过在这种布置中，麦克风阵列60A-B响应从发射器64发出的超声波，以跟踪主持人。按照这种方式，当主持人移动时，并且当发射器64继续发射超声波时，摄像机底座90能够跟踪主持人。除了超声波之外，麦克风阵列60A-B还能够响应语音，以致除了超声波跟踪之外，摄像机底座90还能够利用语音跟踪。当摄像机底座90自动检测到超声波时，或者当摄像机底座90被人工配置，以便进行超声波跟踪时，摄像机底座90能够按照超声波跟踪模式工作。

如图所示，发射器64可以是由主持人佩戴的组件。发射器64可具有产生超声波音调的一个或多个超声换能器66，并且可具有集成的麦克风68和射频(RF)发射器67。使用时，当集成的麦克风68获得主持人发言时，发射器单元64被启动。另一方面，主持人可人工启动发射器单元64，以致向RF单元97传送RF信号，指示该特定主持人要被跟踪。在美国专利公报No.2008/0095401中公开了与基于超声波的摄像机跟踪有关的细节，该专利在此整体引为参考。

视频会议装置

首先讨论按照本发明的视频会议装置的细节。如图2A中所示，视频会议装置80包括摄像机底座90和可拆卸地电气且机械连接到摄像机底座90的摄像机50B，摄像机底座90具有与之集成的麦克风阵列60A-B和一部摄像机50A。如图所示，摄像机底座90上置有具有几个麦克风62A的水平阵列60A和具有几个麦克风62B的垂直阵列60B。可选地，仅有具有麦克风62A的水平阵列60A也是可行的。在这种情况下，麦克风能够定位与会者的水平位置，而对视频的人脸分析能够帮助定位与会者的垂直位置。当需要节省空间时，这样的实施例具有很大价值。如图所示，阵列60A-B都可具有三个麦克风62A-B，不过任何一个阵列60A-B可具有数目与描述的数目不同的麦克风。

第一部摄像机50A是用来获得视频会议环境的宽画面或拉远的画面的房间画面摄像机。它安装在摄像机底座90的外壳上。第二部摄像机50B是用来获得视频会议与会者的紧凑画面或者拉近的画面的人物画面摄像机。

摄像机50B可以可拆卸地且可替换地通过适配器或连接器附着到摄像机底座90。该适配器可以形成摄像机50B和摄像机底座90之间的机械连接，以使得摄像机50B的位置由摄像机底座90支持。机械连接可以包括锁定机制以防止摄像机50B从摄像机底座90上脱开，诸如在摄像机底座90移动的过程中。该适配器可以使用例如传统的总线连接器、带状连接器、无线连接或任意其它可以契合或配合机械连接的其它配套连接形成摄像机50B和摄像机底座90之间的电连接，以使得机械和电气连接同时形成。机械连接可以被配置，以形成摄像机50B的机械配套，并且摄像机底座90在摄像机50B和摄像机底座90的电气连接组件相互联系之前匹配电气连接组件。该电气连接例如可以承载音频数据或信号，视频数据或信号、控制数据或信号，以及供电。

摄像机50B可以包括一个或多个马达、伺服电机或其它电子机械致动器来控制摄像机50B的操作。这可以包括例如，摄像机缩放、对焦和方向的控制，诸如摄像机50B的摇移和俯仰。摄像机可以响应于接收的控制信号来操作，以使得当附着到摄像机底座90时，摄像机50B可以由在摄像机底座90中执行的控制算法控制。

进行视频会议的所有或部分必需组件，包括音频和视频模块，网络模块，摄像机控制模块等等可以包括在耦接到摄像机底座90的独立视频会议单元95中。另一方面，所有或一些必需的视频会议组件可被置于摄像机底座90中使它称为视频会议端点。。因而，摄像机底座90可以是具有摄像机50A，麦克风阵列60A-B和其它有关组件的独立单元，而视频会议单元95负责所有的视频会议功能。当然需要时，装置80和单元95可被结合成一个单元。

公开的如图2B中所示的装置80可具有图2A所示的两套装置80级联在一起，而不是具有如图2A的一个摄像机50A和一个摄像机底座90。另一方面，如图2C中所示，装置80可包括两个级联在一起的摄像机底座90和一个连接其上的人物画面摄像机50B。因此，摄像机底座可拥有所有其它需要的电子和信号处理组件，并且能够支持一个或多个人物画面摄像机50B和一个或多个摄像机底座90之间的协作。

尽管装置80被表示成具有被设置成与摄像机底座90附近的一个摄像机50B，不过摄像机50B可以完全与摄像机底座90分离。另外，摄像机底座90可被配置成支持另外的摄像机，而不仅仅是两部摄像机。这样，用户能够安装能够与摄像机底座90无线连接并被布置在房间四周的其它摄像机，以致摄像机底座90总是能够选择发言人的最佳画面。

图3简要表示可为图2A-2C的摄像机底座90的一部分的一些例证组件。如图所示，摄像机底座90包括麦克风阵列60A-B，控制处理器110，现场可编程门阵列(FPGA)120，音频处理器130和视频处理器140。如前所述，摄像机底座90可以是具有与之集成的一部摄像机50A的集成单元(参见图2A)，或摄像机50A可以是具有它们自己的组件并且连接到摄像机底座90的独立单元。另外，一个或两个摄像机底座90可以连接到一个或两个人物画面摄像机50B。

工作期间，FPGA120捕捉来自摄像机50A的视频输入，产生给视频会议单元95的输出视频，并把输入视频发给视频处理器140。FPGA120还可比例缩放和合成视频和图形覆盖图。

可以是数字信号处理器(DSP)的视频处理器140捕捉来自FPGA120的视频，并负责运动检测，面部检测和其它视频处理，以帮助跟踪发言人。如下更详细所述，例如，视频处理器140可以使用面部检测算法找出每个脸的位置，并随后基于该位置为每个脸生成帧信息以及一些具体的策略，这将在后面更详细地讨论。此外，视频处理器140可对从人物画面摄像机50B捕捉的视频执行运动检测算法，以检查由人脸检测算法找到的候选发言人位置的当前画面中的运动。

可以是数字信号处理器的音频处理器130捕捉来自麦克风阵列60A-B的音频，并进行音频处理，包括回声消除，音频滤波，和来源跟踪。源跟踪结果可以与视频处理器140的面部检测结果结合使用来对人物画面取景，这将在下面详细讨论。音频处理器130还负责切换摄像机画面，检测会话模式，和这里公开的其它用途的规则。

可以是通用处理器(GPP)的控制处理器110负责与视频会议单元95的通信，并负责摄像机底座90的摄像机控制和全部系统控制。例如，控制处理器110控制人物画面摄像机的组件的摇移-俯仰-推拉通信。

C.控制方案

在了解上面说明的视频会议装置和组件的情况下，下面讨论公开的摄像机底座90的操作。首先，图4A表示公开的摄像机底座90用于进行视频会议的控制方案150。如前所述，在视频会议期间，控制方案150利用视频处理160，或者视频处理160和音频处理170控制摄像机50B的操作。处理160和170可以单独进行，或者结合在一起进行，以增强摄像机底座90的操作。

简要地，视频处理160可利用离摄像机50A的焦距来确定到与会者的距离，并且可以利用以颜色，运动和面部识别为基础的基于视频的技术来跟踪与会者。于是如图所示，视频处理160可以利用运动检测，肤色检测，面部检测和其它算法来处理摄像机50B的视频和控制操作。在视频处理160中，还能够利用在视频会议期间获得的记录信息的历史数据。用于人物画面摄像机50B的优化的摄像机参数，例如增益、光圈等可以基于视频处理160中生成的取景画面来计算，并以控制信号的形式发送到人物画面摄像机50B来配置它。此外，可以基于生成的取景画面在视频处理160中在图像输出显示之前智能地对其进行后处理。

对音频处理170来说，音频处理170利用借助麦克风阵列60A-B的话音跟踪。为了提高跟踪准确性，音频处理170能够利用本领域中已知的许多滤波操作。例如，当进行话音跟踪时，音频处理170最好进行回声消除，以致不会因端点的扬声器仿佛是主发言人似地拾取来自所述扬声器的耦合声音。音频处理170还利用滤波从语音跟踪中消除非语音音频，和忽略源于反射的较大声音频。

音频处理170可以利用来自另外的音频线索的处理，比如利用桌面麦克风元件或麦克风箱(28；图1A-B)。例如，音频处理170能够进行语音识别，以识别发言人的语音，并且能够确定视频会议期间话音中的会话模式。在另一个例子中，音频处理170能够从独立的麦克风箱(28)获得音源的方向(即，摇移)，并将其与借助麦克风阵列60A-B获得的位置信息结合。由于麦克风箱(28)可具有沿着不同方向布置的几个麦克风，因此能够确定音源相对于这些方向的位置。

当某位与会者最初发言时，麦克风箱(28)能够获得该与会者相对于麦克风箱(28)的方向。在映射表等中，所述方向可被映射到利用阵列(60A-B)获得的与会者的位置。在稍后某一时候，只有麦克风箱(28)可检测到当前发言人，以致只能获得其方向信息。不过，根据映射表，摄像机底座90能够利用映射信息操纵人物画面摄像机50B定位当前发言人的位置(摇移，俯仰，推拉坐标)，以便利用摄像机对该发言人取景。

如果所有的与会者（优选地在一个时间限之后）离开，摄像机底座90将生成控制信号关闭或休眠人物画面摄像机50B。视频会议装置80并不太费电，它能够不断地记录视频和/或音频来基于某些规则检测视频会议的意图，并生成控制信号来打开或者唤醒人物画面摄像机50B。这同样也适用于视频会议系统。

D.生成控制信号的场景

在给出C部分中的概括的控制方案的情况下，下面讨论可能涉及控制信号的生成的一些通用场景中的细节。首先我们讨论如图4B中的，所公开端点在视频会议期间的操作的更详细过程180A。当开始视频会议时，摄像机底座90捕捉视频(方框181)，通常，摄像机50B被操纵来输出视频会议中的包含物的当前画面(方框181)。一般来说，在视频会议开始时，房间画面摄像机50A对房间取景，最好调整房间画面摄像机50A的摇移，俯仰和推拉，以包括所有与会者(如果可能的话)。另一方面，如果摄像机50A的清晰度高、画面质量好，它自己可以直接输出当前画面。

摄像机底座90可以采用两种控制逻辑策略。其中一种是仅使用来自房间画面摄像机50A的房间画面上的面部检测结果进行小组的跟踪，而另一种是使用来自房间画面摄像机的房间画面上的面部检测结果结合来自麦克风阵列60A-B的音频源跟踪结果的活跃发言人跟踪。

小组跟踪策略适用于参与视频会议的人员数量相对少的情况，而活跃发言人跟踪策略适用于参与视频会议的人员数量相对多的情况。优选地，摄像机底座90中的控制处理器110可根据来自房间画面摄像机50B的房间画面上的面部检测结果对包括视频会议中所有与会者的区域执行判断（方框184）。当执行判断的时候可以应用区域阈值。例如，阈值可以是房间画面的一半。在包括视频会议所有与会者的区域不满足条件（方框185）或与会者选择重新设置策略并在其之间切换（187）的情况下，这两种跟踪策略可以相互切换。在任一事件中，摄像机底座90确定是否将一种策略切换到另一种（判定240），从而应用当前策略还是改变策略（242）。

I. 活跃发言人跟踪

下面讨论图4C中的，所公开摄像机底座在视频会议期间的操作的更详细过程180B。

随着视频会议的进行，摄像机底座90监控关于几个发生的事情之一的捕捉音频(方框186)。当这样做时，摄像机底座90利用各种判定和规则来管理摄像机底座90的行为，和确定哪部摄像机50A-B为会议视频进行输出。对于给定的实现，可按照任意特定的方式安排和构成所述各种判定和规则。由于一种判定会影响另一种判定，一种规则会影响另一种规则，因此可不同于图4C中所述地安排所述判定和规则。

1. 一位发言人

在视频会议中的某一时刻，房间中的近端与会者之一开始发言，端点10确定有一位明确的发言人(判定190)。如果有一位发言人，那么摄像机底座90应用各种规则191，确定是否把摄像机底座90输出的当前画面切换成另一个画面(判定188)，从而输出当前画面(方框182)，或者改变画面(方框189)——从而可能需要生成对应的控制信号。

例如，在一位与会者发言的情况下，摄像机底座90指令人物画面摄像机50B对该发言人取景(最好用“头部和肩部”特写镜头)。另外，摄像机底座90最好要求在发言人最初开始发言之后，和在摄像机底座90实际移动人物画面摄像机50B之前，过去等待时期。这能够避免频繁地移动摄像机，尤其是在当前发言人只简要发言时。

考虑了准确性，摄像机底座90可利用多种算法定位和取景发言人，这里更详细地说明其中的一些算法。一般来说，通过分析用麦克风阵列60A-B捕捉的音频，摄像机底座90能够估计当前发言人的方位角(bearing angle)和目标距离。利用面部识别技术，能够调整摄像机50B的缩放系数，以致来自人物画面摄像机50B的头部镜头始终如一。显然，这样的过程牵扯大量针对摄像机50B的控制信号。可以使用这些技术和其它技术。

2. 无发言人

在视频会议中的某些时候，房间中的与会者都未发言，摄像机底座90确定没有明确的发言人(判定192)。这种判定可以在视频会议环境中，检测到最后的话音音频之后过去一定量的时间为基础。如果没有当前发言人，那么摄像机底座90应用各种规则193，确定是否把摄像机底座90输出的当前画面切换成另一个画面(判定188)，从而输出当前画面(182)或改变画面(189)。

例如，输出的当前画面可以是来自人物画面摄像机50B的、最近发言的与会者的拉近画面。尽管该与会者已停止发言，不过摄像机底座90可决定保持该画面，或者切换到来自房间画面摄像机50A的拉远的画面。决定是否切换画面可取决于在一定时间内，其它与会者是否开始发言，或者在一定时间内，某位近端或远端与会者开始发言。换句话说，一旦在拉近的画面中被取景的近端与会者停止发言，在远端的与会者可能开始持续较长时间地发言。在这种情况下，摄像机底座90可从拉近的画面切换到包括所有与会者的房间镜头。在这样的场景中，不需要针对摄像机50B的控制信号。

3. 新的或者先前的发言人

在视频会议中的某些时候，新的或者先前的发言人开始发言，摄像机底座90判定是否有新的发言人或者先前的发言人(判定194)。新的或者先前的发言人的判定可以来自确定视频会议环境中的不同音源的位置的麦克风阵列60A-B的话音跟踪为基础。当通过跟踪定位某个音源时，摄像机底座90能够把其确定为新的或者先前的发言人。另一方面，新的或者先前的发言人的判定可以检测发言人的语音特性的语音识别为基础。

随着时间的过去，摄像机底座90能够记录在视频会议环境中发言的与会者的位置。可以使这些记录的位置与摄像机坐标(例如，摇移，俯仰和推拉)相关联。摄像机底座90还可记录来自被定位与会者的话音的特性，与会者发言的次数和时间，和其它历史数据。摄像机底座90又可根据规则和判定，利用该历史数据判定是否，何时，何处和如何把摄像机50B对着与会者。

无论如何，摄像机底座90应用各种规则195，判定是否把当前画面切换成另一个画面(判定188)，从而输出当前画面(182)或者改变画面(189)。例如，即使有新的或者先前的发言人，在该发言人已讲话一定时间之前，摄像机底座90可不切换到该发言人的拉近画面。这可避免在与会者和宽镜头之间不必要地跳转摄像机画面。因此不需要针对摄像机50B的控制信号。

4. 近端对话

在视频会议中的某些时候，两位以上的发言人可能在近端大约同时地相互谈话。此时，摄像机底座90能够判定是否正在发生近端对话或者音频交换(判定196)。例如，近端的多位与会者可能同时相互交谈或者发言。如果所述与会者进行对话，那么摄像机底座90最好同时拍摄对话双方的视频。如果与会者未进行对话，一位与会者只是在另一位与会者之后简短地插嘴，那么摄像机底座90最好保持主要发言人的当前画面。

响应近端对话，人物画面摄像机50B可对两位发言人取景，拍摄视频。另一方面，人物画面摄像机50B可拍摄一位发言人的拉近画面，同时房间画面摄像机50A被指令拍摄另一位发言人的拉近画面。摄像机底座90的合成软件随后能够把这两个视频馈送放入合成布局中，以便输出给远端，或者摄像机底座90能够根据当前发言人，在要输出哪个摄像机的视频之间切换。在当不止两位与会者在近端谈话的其它情形下，摄像机底座90可改为切换到摄像机50A捕获的包括所有与会者的小组画面或房间画面，这不涉及用来改变摄像机50B的控制信号。

不管怎样，摄像机底座90能够利用多种规则来确定何时发生近端对话，和近端对话何时结束。例如，随着视频会议的进行，摄像机底座90可确定在相同的两位与会者(摄像机位置)之间，指定的当前发言人已更替，以致在第一时间范围(例如，最后的10秒左右)内，每位与会者至少两次是当前发言人。当确定了这种情况时，在第三位发言人变成当前发言人，或者所述两位发言人之一持续第二时间范围(例如，15秒左右)以上，一直是唯一的发言人之前，摄像机底座90最好指令人物画面摄像机50B至少对这两位与会者取景。在这个过程中，需要生成针对摄像机50B的控制信号。

为了帮助进行判定，摄像机底座90最好保存频繁发言的发言人，他们的位置，和他们是否倾向于相互交谈的指示。如果在刚刚结束一个对话后的一定时间(例如，5分钟)内，频繁发言的发言人开始后一个对话，那么一旦第二位发言人开始在对话中说话，摄像机底座90就可直接返回过去使用的先前的对话取景。在这个过程中，需要生成针对摄像机50B的控制信号。

作为另一种考虑，摄像机底座90能够确定对话中的发言人之间的视角。如果他们被大于45°左右的视角隔开，那么完成人物画面摄像机50B的对准和拉远所用的时间会大于期望的时间。在这种情况下，摄像机底座90可改为切换到房间画面摄像机50A，以拍摄房间的宽画面，或者对话中的与会者的小组画面，并且在摄像机50A可以输出用于显示的高质量视频的情况下输出它。

5. 远端对话

在视频会议中的某些时候，近端与会者之一可能正在和一位远端与会者对话，摄像机底座90确定正在进行远端对话或者音频交换(判定198)，并应用某些规则(199)。例如，当近端发言人参加与远端发言人的会话时，近端发言人通常停止讲话，以倾听远端发言人。摄像机底座90会把这种情况识别成与远端的对话，并保持近端与会者的当前人物画面，而不是把这种情况识别成等同于没有近端发言人并切换到房间画面或小组画面。

为此，摄像机底座90可利用借助视频会议单元95，从远端获得的音频信息。所述音频信息可指示在会议期间，从远端检测到的话音音频的持续时间和频率。在近端，摄像机底座90可获得话音的类似持续时间和频率，并把其与远端音频信息相关。根据所述相关，摄像机底座90判定近端与会者在与远端对话，从而当近端发言人停止讲话时，摄像机底座90不切换到房间画面或小组画面，而不管在近端房间中有多少其他与会者。此时，是否需要生成针对摄像机50B的控制信号取决于是否需要控制它。尽管我们集中讨论的是摄像机50B，事实上，摄像机50A也可能被调整，它所捕获的图像也会适时呈现，因此，摄像机50A捕获的视频中的不自然的转变也是我们的解决目标。

II. 小组跟踪

下面讨论图4D中的，所公开摄像机底座在视频会议期间的操作的更详细过程180C。

如果采用了小组跟踪策略，不管是手动还是自动采用，画面取景将会相对简单。运动检测、肤色检测、面部检测和其它算法将被用于对小组画面取景，包含几乎所有的与会者，并且PTZ控制信号在摄像机底座90中生成，发送到人物画面摄像机50B以操纵它，并且小组画面（即取景画面）上的视频被输出（方框243）。

随着视频会议的进行，摄像机底座90监测来自摄像机50A捕捉的视频（方框244）。当这样做时，摄像机底座90利用各种判定和规则来管理摄像机底座90的行为。对于给定的实现，可按照任意特定的方式安排和构成所述各种判定和规则。由于一种判定会影响另一种判定，一种规则会影响另一种规则，因此可不同于图4D中所述地安排所述判定和规则。

1. 视频会议器件区域改变了，但还不至于到要改变策略的程度

如果现有的与会者移动、离开，或新的与会者加入视频会议等，则生成的取景画面将多少会改变（方框245）。如果这个区域改变还没有到要改变策略的程度，则摄像机底座90应用各种规则246并且判定是否把摄像机50B输出的当前取景画面切换成另一个画面(判定188)，从而输出当前画面(182)或者改变画面(189)。

例如，如果面部落在了当前取景画面之外，则摄像机底座90将确定改变画面。或者当各个脸的中心点偏离取景画面的中心点太远，则摄像机底座90将确定改变画面。

这里可能需要控制信号，取决于是否需要控制摄像机50B。

关于控制信号讨论了视频会议的一般过程之后，我们现在转向控制摄像机的更加特定的过程。

事实上，可能导致控制信号的生成以控制摄像机50B的任何场景都应视为适用于这里我们公开的实施例。例如，在一个场景中，摄像机50B被重新放置，从而取景的控制信号被生成；在另一个场景中，光线环境改变，因此用于调整摄像机50B的光参数以得到更好的视频质量的控制信号被生成。开机或重启摄像机50B也是这些场景之一。

此外，一些摄像机具有多个操作模式，例如，一些能够改变分辨率，一些可以从可视频谱切换到红外。这些转变也可能不自然，因此这里描述的实施例也适用于它们。

E. 平滑转变的方式

图5图示了根据本公开一个或多个实施例的视频会议方法的流程图。如参考图4A所讨论的，在步骤501，控制摄像机50B的操纵和/或调整等的控制信号在控制方案150中生成。控制信号的生成预示着由摄像机50B捕获的视频的即将发生的转变。当控制信号发送到摄像机50B中，在步骤502，开始冻结视频呈现的冻结步骤。我们说冻结视频呈现的意思是使得视频会议系统停止更新来自摄像机50B的视频，而只是继续显示之前呈现的图像、发言者、场景等。

一旦摄像机50B已经完成了根据控制信号的操纵和/或调整等（在步骤503确定），当前暂时不会再发生视频转变，并且视频会议与会者可以享受到高质量的视频呈现。因此，需要解冻步骤504去重新开始视频呈现。我们所说的解冻的意思是使得视频会议系统重新开始更新由摄像机50B捕获的视频，即继续与会者的“实时”视频显示的更新。

显然，解冻步骤504之后呈现的至少应该是根据控制信令进行的摄像机50B的操纵和/或调整等完成之后的新捕获的视频。关于从哪个视频帧开始更新的细节可以再规范。与现场的同步也应该考虑进来。

可以以若干方式实现冻结步骤502和解冻步骤504。在一个实施例中，冻结步骤502包括摄像机底座90向视频会议单元95发送停止更新来自摄像机50B的视频的请求；以及解冻步骤504包括摄像机底座90向视频会议单元95发送从现在开始重新开始更新来自摄像机50B的视频的请求，把主动权交给视频会议单元95。一般来说，视频会议单元95能够妥善处理这些请求。此时，摄像机50B到视频会议单元95输出仍然是源源不断持续进行的。在另一个实施例中，冻结步骤包括使得停止来自摄像机50B的到视频会议单元95的视频输出；以及解冻步骤包括使得重新开始来自摄像机50B的到视频会议单元的新捕获的视频的输出。在此另一个实施例中，摄像机50B可能停止捕获冻结期间的视频，并且摄像机底座90可以向视频会议单元95发送通知以让它们知道冻结和解冻的事情，也可以不向视频会议单元95发送这样的通知。

尽管参考图5仅描述了一个摄像机50B，但是如图1B所示的两个或多个摄像机50B也是适用的。

虽然已经结合具体实施例描述了本发明，但是本领域技术人员将理解，可以做出许多改变和修改，并且可以对其元件进行等效替换，而不背离本发明的真正范围。此外，可以做出许多修改来使本发明的教导与特定情况适配，而不背离其中心范围。因此，本发明并不限于这里作为实现本发明而构思的最佳模式而公开的特定实施例，相反本发明包括落入所附权利要求书范围内的所有实施例。

Claims (22)

1.一种用于视频会议系统中的摄像机底座，其可拆卸地至少电气连接到一个或多个第一摄像机，所述摄像机底座包括：

通信接口，配置来使所述摄像机底座与所述视频会议系统通信连接；以及

处理单元，可操作地耦接到所述一个或多个第一摄像机和通信接口，该处理单元可编程来执行下述步骤：

生成控制信号以控制所述一个或多个第一摄像机的至少一个摄像机来捕捉第一视频；

执行冻结步骤以使得所述视频会议系统停止更新来自所述一个或多个第一摄像机的所述至少一个摄像机的所述第一视频；以及

响应于确定所述一个或多个第一摄像机的所述至少一个摄像机执行完所述控制信令，执行解冻步骤以使得所述视频会议系统重新开始更新来自所述一个或多个摄像机的所述至少一个摄像机的所述第一视频。

2.如权利要求1所述的摄像机底座，其中所述一个或多个第一摄像机是可操纵的摇移－俯仰－推拉摄像机。

3.如权利要求1所述的摄像机底座，进一步包括第二摄像机，其配置用来捕捉视频会议环境的宽画面的第二视频；以及其中所述处理单元进一步可操作地耦接到所述多个麦克风并被进一步编程来执行：基于所述第二视频生成所述控制信号。

4.如权利要求3所述的摄像机底座，进一步包括：

多个麦克风，配置来捕捉视频会议环境的音频；以及

其中所述处理单元进一步可操作地耦接到所述多个麦克风并被进一步编程以执行以下步骤：

确定用所述麦克风捕捉的表示语音的第一音频的位置；以及

基于所述第二视频的特征和所述位置生成所述控制信号。

5.如权利要求1所述的摄像机底座，其中所述处理单元进一步编程来执行以下步骤：

确定所述一个或多个第一摄像机的所述至少一个摄像机的优化的光参数；以及

其中所述控制信号用于用所述优化的光参数调节所述一个或多个第一摄像机的所述至少一个摄像机。

6. 如权利要求1所述的摄像机底座，其中所述处理单元进一步编程来执行以下步骤：

确定所述一个或多个第一摄像机的所述至少一个摄像机的模式；以及

其中所述控制信号用于将所述一个或多个第一摄像机的所述至少一个摄像机切换到所述模式中。

7. 如权利要求1所述的摄像机底座，其中所述处理单元进一步编程来执行以下步骤：

确定所述第一视频的取景画面；以及

其中所述控制信号用于操纵所述一个或多个第一摄像机的所述至少一个摄像机捕捉所述取景画面的第一视频。

8.如权利要求1所述的摄像机底座，其中所述冻结步骤包括向所述视频会议系统发送停止更新来自所述一个或多个第一摄像机的所述至少一个摄像机的第一视频的请求；以及其中所述解冻步骤包括向所述视频会议系统发送重新开始更新来自所述一个或多个第一摄像机的所述至少一个摄像机的所述第一视频的请求。

9.如权利要求1所述的摄像机底座，其中所述冻结步骤包括使得停止来自所述一个或多个第一摄像机的所述至少一个摄像机的到所述视频会议系统的第一视频输出；以及其中所述解冻步骤包括使得来自所述一个或多个第一摄像机的所述至少一个摄像机的到所述视频会议系统的所述第一视频的输出重新开始。

10.如权利要求9所述的摄像机底座，其中所述处理单元可进一步编程来执行以下步骤：

向所述视频会议系统通知所述冻结步骤的执行和所述解冻步骤的执行。

11.一种视频会议方法，包括下述步骤：

生成控制信号以控制一个或多个第一摄像机的至少一个摄像机捕捉第一视频；

执行冻结步骤以使得视频会议系统停止更新来自所述一个或多个第一摄像机的所述至少一个摄像机的所述第一视频；以及

响应于确定所述一个或多个第一摄像机的所述至少一个摄像机执行完所述控制信号，执行解冻步骤以使得所述视频会议系统重新开始更新来自所述一个或多个第一摄像机的所述至少一个摄像机的所述第一视频。

12.如权利要求11所述的视频会议方法，其中所述一个或多个第一摄像机是可操纵的摇移－俯仰－推拉摄像机。

13.如权利要求11所述的视频会议方法，进一步包括下述步骤：基于第二摄像机捕捉的视频会议环境的宽画面的第二视频生成所述控制信号。

14. 如权利要求13所述的视频会议方法，进一步包括：

确定配置用来捕捉视频会议环境的音频的麦克风捕捉的表示语音的第一音频的位置；以及

基于所述第二视频的特征和所述位置生成所述控制信号。

15. 如权利要求11所述的视频会议方法，进一步包括下述步骤：

确定所述一个或多个第一摄像机的所述至少一个摄像机的优化的光参数；以及

其中所述控制信号用于用所述优化的光参数调节所述一个或多个第一摄像机的所述至少一个摄像机。

16. 如权利要求11所述的视频会议方法，进一步包括下述步骤：

确定所述一个或多个第一摄像机的所述至少一个摄像机的模式；以及

其中所述控制信号用于将所述一个或多个第一摄像机的所述至少一个摄像机切换到所述模式中。

17. 如权利要求11所述的视频会议方法，其中所述处理单元进一步编程来执行以下步骤：

确定所述第一视频的取景画面；以及

其中所述控制信号用于操纵所述一个或多个第一摄像机的所述至少一个摄像机捕捉所述取景画面的第一视频。

18.如权利要求11所述的视频会议方法，其中所述冻结步骤包括向所述视频会议系统发送停止更新来自所述一个或多个第一摄像机的所述至少一个摄像机的第一视频的请求；以及其中所述解冻步骤包括向所述视频会议系统发送重新开始更新来自所述一个或多个第一摄像机的所述至少一个摄像机的所述第一视频的请求。

19.如权利要求11所述的视频会议方法，其中所述冻结步骤包括使得停止来自所述一个或多个第一摄像机的所述至少一个摄像机的到所述视频会议系统的视频输出；以及其中所述解冻步骤包括使得来自所述一个或多个第一摄像机的所述至少一个摄像机的到所述视频会议系统的所述第一视频的输出重新开始。

20.如权利要求19所述的视频会议方法，进一步包括以下步骤：

向所述视频会议系统通知所述冻结步骤的执行和所述解冻步骤的执行。

21.一种视频会议设备，包括：

通信接口，配置来接收视频和其它消息；

显示装置，配置来呈现所接收的视频；以及

处理器，编程来响应于经由所述通信接口接收到停止更新所述视频的请求，使得所述显示设备停止更新所述视频，以及响应于经由所述通信接口接收到重新开始更新所述视频的请求，使得所述显示装置呈现新接收的视频。

22.一种视频会议方法，用于一种视频会议设备，所述视频会议设备包括：通信接口，配置来接收视频和其它消息，以及显示装置，配置来呈现所接收的视频，所述方法包括：

响应于经由所述通信接口接收到停止更新所述视频的请求，使得所述显示设备停止更新所述视频，以及响应于经由所述通信接口接收到重新开始更新所述视频的请求，使得所述显示装置呈现新接收的视频。