CN102754434A - 在视频会议端点中进行自动摄像头控制的方法和装置 - Google Patents

Abstract

本发明涉及自动调整与本地视频会议端点相关联的一个或多个摄像头的摇摄、倾斜以及变焦的装置和方法，以捕捉兴趣区域/点的特写视图。视频会议端点的用户提供端点的摄像头可见的目标点。该目标点可为光源，由用户放置在摄像头前面的兴趣点上或附近。通过分析摄像头捕捉的图像，本发明确定一个或多个图片内的目标点的位置，并且确定移动该摄像头所需要的摇摄和倾斜量，使得摄像头的视图中心位于目标点限定的所述位置上。

Description

在视频会议端点中进行自动摄像头控制的方法和装置

技术领域

本发明涉及自动调整与视频会议端点(video conferencing endpoint)相关联的摄像头的方法，以及相应的视频会议端点。

背景技术

常规的视频会议系统包括多个端点，这些端点通过各种网络(比如WAN、LAN和电路交换网络)并且在这些网络之间传送实时的视频、音频和/或数据(通常称为双路视频(duo video))流。

在大部分高端视频会议系统内，使用具有摇摄(pan)、倾斜(tilt)和变焦(zoom)能力的高品质摄像头来捕捉会议室和与会人员的视图。这些摄像头通常具有宽广的视场(FOV)以及高度的机械摇摄、倾斜和变焦能力。这就允许很好地纵观会议室，并且能够捕捉与会人员和物体的特写图像。来自摄像头的视频流被压缩并发送到视频会议中的一个或多个接收站点(site)。会议中所有的站点从会议中的其他站点接收现场视频和音频，从而能用视觉信息和听觉信息实现实时通信。

在视频会议期间，本地站点的与会人员常希望与远程站点分享物体的某些视觉上的细节。这种情况的典型实例如下：产品(比如鞋)的(一个或多个)设计人员想要与位于另一个大陆上的制造商探讨制造问题。为了示出制造缺陷/难题的细节，当与设计人员探讨如何解决问题时，制造商可以变焦以趋近产品(鞋)并且指向产品上的点/区域。在其他情况下下，与会人员可能想要分享仅可在纸上获得的信息，比如图像、图表、图纸、甚至文本。如今的高品质视频会议摄像头当然能够提供这种物体的特写图像。然而，为了示出物体的这些细节，本地用户必须手动调整摄像头的摇摄、倾斜以及变焦，以捕捉所需要的视图。

通常通过手动控制摄像头的摇摄、倾斜以及变焦，使用标准的输入装置(比如遥控装置上的键区(keypad)或鼠标)调整摄像头。通常，使用具有标准按钮的传统IR遥控装置(remote control)来调整摄像头。标准设置是使用一组四个箭头键控制摇摄和倾斜，并且使用变焦趋近(zoom in)和变焦远离(zoom out)按钮控制变焦。

如上所述，手动调整摄像头的摇摄/倾斜/变焦以捕捉这些小细节是一个繁琐且费时的过程。首先，用户必须通过浏览视频会议系统所提供的若干个屏幕菜单而激活摄像头控制。其次，当激活摄像头控制时，用户必须使用遥控装置上的箭头键来手动地调整摄像头。这通常是交替地调整变焦和摇摄/倾斜的反复过程。

而且，即使摄像头的摇摄-倾斜机构包括小型步进电动机(允许“高分辨率”运动)，视频会议系统也常被配置成逐步移动摄像头以免用户过多地按键。这在摄像头处于广FOV内时达到预期的效果，然而当摄像头变焦趋近时，由于步幅变得相当大，会造成麻烦。

因此，在已知的系统上找出最佳的摄像头调整，通常需要按遥控装置和/或屏幕上菜单系统上的按钮的多次迭代，这就较为繁琐、恼人并且费时。

发明内容

本发明的一个目的在于提供自动调整与视频会议端点相关联的摄像头的方法以及视频会议端点，其消除或减少了至少一些上述缺点。所附的独立权利要求内所限定的特征表示了该方法和视频会议端点的特点。

附图说明

下面通过更具体地描述本发明的优选实施例，将使本发明的上述和其他目标、特征和优点显而易见，如附图中所图示，其中，在不同的附图中，相似的标号表示相同的部件。附图不一定是按比例绘出，而是重点图示本发明的原理。

图1为示例性视频会议端点的概述图；

图2为图示了视频会议端点的进一步原理的方框图；

图3为用于与视频会议端点一起使用的瞄准(targeting)装置的概述图；

图4为图示了用于调整与视频会议端点相关联的摄像头的方法的原理的流程图；以及

图5a和5b为进一步图示了自动摄像头调整特征的操作的示意图。

具体实施方式

下面将通过描述各个实施例和通过参照附图来讨论本发明。然而，本领域的技术人员会认识到，在所附的独立权利要求中所限定的本发明的范围内，可以有其他应用和修改。

本发明涉及的方法自动调整与本地视频会议端点相关联的一个或多个摄像头的摇摄、倾斜和变焦，以捕捉兴趣区域/兴趣点的特写视图。本发明还涉及相应的视频会议端点。

根据本发明，视频会议端点用户能够提供与端点相关联的摄像头可见的目标点，比如包含在端点内。目标点可以是光源，它由用户放置在摄像头前面的兴趣点上或该点附近。可替代地，用户可将激光束或另一个相似的光源指向兴趣点(通常在物体上)，从而提供目标点。通过分析摄像头捕捉的图片，该方法和相应的视频会议方法确定这(一个或多个)图片内目标点的位置，并确定移动摄像头所需的摇摄和倾斜量，使得摄像头的视图中心位于目标点限定的所述位置上。当确定了摇摄和倾斜量时，开始摄像头的摇摄、倾斜和变焦。摄像头的变焦继续到摄像头达到最大的变焦，或者直到用户指示应当停止变焦。可替代地，根据本发明的图片分析过程可以连续地运行以自动地检测目标点。然而，在本发明的优选实施例中，由用户发起图像分析过程。

图1是根据本公开的某些内容的视频会议端点1的图示。视频会议系统1包括至少一个视频会议单元10、一个或多个监视器9、至少一个能够摇摄/倾斜/变焦的视频摄像头6以及一个或多个输入装置7。视频会议端点1还可以包括一个或多个外围装置，比如计算机(膝上型或台式)、数字通用光盘(DVD)播放器等等。在一个实施例中，视频会议单元1为TANDBERG Codec C90、C60、MPX 6000或MPX 3000，视频摄像头6为TANDBERG PrecisionHD 1080p摄像头或TANDBERG PrecisionHD 720p摄像头，所有这些产品均来自本公开的受让人。

视频会议单元10用于经由网络而与远程端点(未示出)建立和进行视频会议。视频会议单元10连接到一个或多个摄像头6、一个或多个监视器9、一个或多个扬声器5以及一个或多个麦克风4。取决于实施方式，视频会议单元1可以具有其他常用组件，比如红外(IR)检测器，用于从输入装置(标准的遥控装置)7接收IR信号。摄像头可以包括硬件，比如处理单元和存储器，以允许摄像头存储计算机程序以及独立于外部计算机而执行逻辑操作。摄像头中的光学传感器可以是CCD图像传感器或CMOS传感器。

现在参照图2，更详细地示意性图示了根据本发明的视频会议端点1。视频会议单元10具有控制器200，该控制器可以包括任何常规的解码器/编码器、处理器以及本领域中已知并且用于视频会议单元的其他电子组件。控制器200耦合到视频的输出215、用于用户接口的I/O接口217、以及存储了功能222的存储器220。控制器200还耦合到用于从本地摄像头230接收视频的输入216以及用于控制本地摄像头230的接口231。视频输出215耦合到监视器9的视频输入，I/O接口217从I/O装置240(比如遥控装置或用户操作的其他装置)接收数据。例如，I/O接口217包括IR检测器，该IR检测器从包括IR发送器的I/O装置240接收IR信号，使I/O装置240能经由所述I/O接口将控制数据发送给控制器200。在其他实施例中，I/O接口217可以包括其他有线或无线通信装置，比如蓝牙、WiFi、电缆连接等等。

控制器200包括视频编解码器201和数据处理器202。视频编解码器201负责处理视频数据，该视频数据将由监视器9显示并且发送到视频会议的远程端点。通常，视频数据可包括由单元10的摄像头230捕捉的图片图像(图片)、来自视频会议的远程端点的视频、来自外围装置(比如VCR、DVD播放器、计算机、文件摄像头等等)的内容、以及其他视觉数据。在视频会议的场合下，这种视频编解码器201的操作由本领域所公知，因此，此处未对其进行描述。

数据处理器202负责处理用于视频会议单元10的数据。该数据包括来自摄像头接口231的数据、通信数据、命令(比如来自I/O接口217)、来自目标点定位器功能222的数据、视频会议信息等等。控制器200还耦合到网络接口214(比如常用于视频会议单元的接口)，并且该网络接口214耦合到本领域中已知的视频会议网络中。

图3示出了根据本发明的一个示例性实施例的I/O装置240。I/O装置240包括至少一个光源304以及用于操作所述光源304的控制器302。光源304可以是能够由摄像头中的光学传感器检测的任何光源，例如，发光二极管(LED)、有机发光二极管(OLED)、激光二极管、激光器等等。光源可以发射波长对应于可见光的波长的光信号，或发射红外波长范围内的光信号。

根据本发明的一个示例性实施例，I/O装置还包括激活操作元件(activation operating element)，比如激活按钮301，用于激活光源304。I/O装置还包括第二光源308，发射红外波长范围内的光信号。第二光源用于经由I/O接口217将命令从I/O装置发送到视频会议单元10的控制器200。第二光源也由控制器302操作。

根据本发明的一个示例性实施例，I/O装置包含在用于操作视频会议端点1的标准的遥控装置内。

根据本发明的一个示例性实施例，I/O装置是与用于操作视频会议端点1的标准的遥控装置分离的装置。

根据本发明的一个示例性实施例，两个光源304、308为一个共同的光源，在红外波长范围内进行操作。

控制器200使用存储器220内存储的操作功能222来控制视频会议端点1的至少一些特征的操作。该操作功能包括目标点定位器功能222。后面更详细地讨论该操作功能222，但是此处会大致概述这些功能222。

目标点定位器功能222允许视频会议单元10确定用户所提供的目标点的位置。目标点是光源304，或者是由光源304照亮的点。目标点定位器功能222处理由摄像头230捕捉的一个或一系列图像/图片(或一连串图像/图片)，并且确定所述图片内目标点的位置。而且，目标点定位器功能222确定目标点相对于所述一个图片或多个图片的中心点的移动。目标点定位器功能222计算将摄像头的视场中心放置在目标点位置中所需要的摇摄和倾斜量。在一个实施例中，附近的摄像头230为摇摄-倾斜-变焦摄像头，能够进行摇摄、倾斜和变焦。一个或多个机械致动器402、403、405可完成本地摄像头230的一个或多个摇摄、倾斜和变焦能力，如本领域中用于操作视频会议单元的摇摄-倾斜-变焦摄像头那样。接口231耦合到致动器402、403、405，并且控制器200经由接口231使用控制信号控制本地摄像头230的摇摄、倾斜和变焦能力的操作。致动器402、403、405包括位置感测装置，允许致动器相对于参考位置确定摄像头摇摄、倾斜和变焦的当前位置。位于摄像头203的底座404内的致动器或控制器按预定的情况向控制器200报告摄像头摇摄、倾斜和变焦的当前位置，比如，按预定的时间间隔，当执行摇摄、倾斜和变焦中的一个时，等等。控制器200可产生控制信号，以控制附近的摄像头230的摇摄、倾斜和变焦。可用多种方式实施对摇摄和变焦摄像头的控制，控制致动器并且提供位置反馈的一种具体实施方式不应限制本发明的范围。

可替代地，可电子地实现附近的摄像头102的摇摄、倾斜和变焦能力。例如，附近的摄像头203可具有摇摄、倾斜和/或变焦的处理能力，控制器200可经由摄像头接口231使用控制信号控制该处理。

根据本发明的一个示例性实施例，控制器200、I/O接口217以及包括目标点定位器222的存储器220位于摄像头230的底座404内。在该实施例中，摄像头可执行根据本发明的方法，无需与视频会议单元10通信。

如果连接到IP网络，视频会议端点可以是H.323或SIP型端点，或者如果连接到ISDN网络，视频会议端点可以是H.320型端点。H.323和H.320为国际电信联盟(ITU)限定的标准。当提及该标准时，可特别参照H.323和H.320ITU-T建议，这些建议在该专利申请的优先权日当天处于有效状态。

图4为图示了根据本发明的一个示例性实施例的调整摄像头的方法的流程图。根据本发明的一个实施例，由本地视频会议端点的用户操作与本地视频会议端点相关联的I/O装置240。如上所述，I/O装置240包括光源。如果用户希望变焦趋近摄像头，以捕捉物体(比如小物体、纸张、图像等等)或人的特写，或者刚好将摄像头视图的中心放置在兴趣点上，那么用户将I/O装置240放置在兴趣点上或该点附近，使得对于本地视频会议端点的摄像头而言，光源是至少部分地可见的。

根据一个实施例，图4中所图示的程序由控制器200实施。示出了开始步骤S1，但是将认识到，控制器200执行多个操作，因此，开始步骤应理解为子程序的进入点，比如用于调整摄像头的子程序。在决定步骤S2中，检验是否从用户接收到启动信号，该信号指示已经提供目标点。比如，通过按下激活操作元件(比如I/O装置240上的激活按钮301)，可识别启动信号。如果未接收到启动信号(比如，按下激活按钮)，那么返回决定步骤S2。如果在S2中接收到指示已经提供目标点的启动信号，那么控制器200继续进入步骤S3，以确定目标点的位置。确定目标点的位置的步骤S3包括处理来自摄像头230的一个或多个连续的图像/图片，以确定图像/图片内光源(或光源所照亮的点)的位置。后文中更详细地讨论定位目标点的方法。

在步骤S4中，当已经确定目标点的位置时，控制器确定将摄像头的视场的中心放置在目标点(或目标点的位置)上所需要的摇摄和倾斜。这是通过测量相对于所处理的(一个或多个)图片的中心的目标点的位置以及当前所使用的变焦量来确定的。如果还未了解的话，控制器可从摄像头230要求摇摄/倾斜/变焦机构的当前位置。当计算将摄像头的视场中心放置在目标点上所需要的摇摄和倾斜量时，必须考虑当前使用的变焦。

当已经确定所需要的摇摄和倾斜时，在步骤S5中，控制器指示摄像头开始摇摄和倾斜所确定的量。在步骤S6中，控制器还指示摄像头开始变焦。

在决定步骤S7中，检验摄像头是否已经完成摇摄和倾斜(到达摄像头的视场中心与目标点重合的点)。如果摄像头未完成摇摄和倾斜，那么在决定步骤S8中，检验是否接收到用户希望停止调整摄像头的指示(比如，松开激活按钮301)。如果未接收到指示(比如，未松开激活按钮301)，那么可能采取两个可替代的行动方针。在第一行动方针中(图4内的ALT1)，返回决定步骤S7。在第二可替代的行动方针中(图4内的ALT2)，如果用户已经移动目标点，控制器重复步骤S3-S7，以校正所需要的摇摄和倾斜，或验证/校正先前的计算。

如果在步骤S9中接收到指示(比如，松开激活按钮301)，那么摄像头可停止变焦和完成将摄像头的视场中心放置在目标点上所需要的摇摄和倾斜，或者摄像头可以可替代地返回到开始步骤S1之前其最初的摇摄/倾斜/变焦位置。

如果在决定步骤S7中摄像头完成摇摄和倾斜，那么在决定步骤S10中检验摄像头是否已经达到其最大的变焦，该变焦受摄像头的机械(光学)变焦能力的限制。如果达到最大的变焦，那么在步骤S12中结束调整摄像头的过程。如果未达到最大的变焦，那么在决定步骤S11中检验是否接收到用户希望停止调整摄像头(比如，松开激活按钮301)的指示。如果未接收到指示(比如，未松开激活按钮301)，那么返回到决定步骤S11。如果接收到指示(比如，松开激活按钮301)，那么控制器指示摄像头停止变焦，并且在步骤S12中结束调整摄像头的过程。

根据本发明的另一个示例性实施例，步骤S2、S8和S11中的决定不是基于按下还是释放操作元件(按钮)，而是基于用户做出的开始调整摄像头的过程或结束调整摄像头的过程的指示。用户做出的这种指示可以是，比如，用户按一次激活按钮301，以开始该过程，然后再次按按钮，以结束该过程。用户还可使用声觉或视觉指示，以开始或停止该过程，比如可由摄像头检测的声音命令、手指/臂部姿势等等。

根据本发明的又一个实施例，如果在决定步骤S7中，摄像头未完成摇摄和倾斜，那么返回到决定步骤S7，而非继续进入决定步骤S8。

根据本发明的一个实施例，通过分析摄像头捕捉的两个或两个以上连续的图片而执行确定目标点的位置的步骤S3。摄像头根据每秒钟N个帧(即NHz)的帧速率(捕捉连续帧的速率)捕捉图像，其中，N的范围可以是24-100。根据该实施例，控制器302配置成通过脉冲串或以某个其他合适的方式为光源304提供动力，使得光源以频率M发射短脉冲(比如0.1-5ms)。频率M是摄像头的帧速率的频率的一半(M＝N/2)。这就表示，当摄像头捕捉光源的图像/图片(帧)时，每个编号为偶数的帧包括照亮的光源，每个编号为奇数的帧不包括照亮的光源，或反之。通过接收两个连续的图片(或帧)，并且使用图像分析方法(该方法从所述连续帧中除一个帧之外的其他帧中减去这一个帧)，结果是仅包括该光源的图片。因此，可确定目标点(光源)的位置。

根据另一个示例性实施例，可以把用于检测图像内物体的其他图像分析方法用于确定目标点的位置。

图5a和5b为本发明的自动摄像头调整特征的操作的图示。图5a为摄像头203所捕捉的图像/图片的图示，其中，在远程和/或本地端点1处，在监视器9上显示图像/图片。摄像头捕捉的图片示出了一个人坐在桌旁，并且有大量的文件放在桌上。现在假设该用户希望变焦趋近文件，以便向远程与会人员示出文件的内容。使用常规系统时，用户必须使用常规的远程控制装置多迭代地手动调整摇摄、倾斜和变焦。然而，使用本发明时，用户可简单地在文件前面持有I/O装置240，并且通过比如按激活按钮，从而激活自动摄像头调整特征。当用户比如按住激活按钮时，光源304将开始发射摄像头230可检测的光。然后，控制器200将确定光源所提供的目标点(TP)的位置，确定摄像头合适的摇摄和倾斜，并且促使摄像头将其视场中心放置在目标点(TP)上。控制器还促使摄像头变焦趋近，并且控制器促使摄像头继续变焦趋近，直到用户另外做出指示(比如，松开激活按钮)。(如上所示，可以使用户做出的开始和停止自动摄像头调整特征的指示，而不是按下和释放按钮)。在图5b中，可见摄像头捕捉的结果图片，其图示了摄像头已经重新定位，使得目标点(TP)现在位于图片的中心(CP)。因此，通过将I/O装置240放置在摄像头捕捉的场景内的空间兴趣点上或该点附近这一简单的任务，用户就通过用户所选择的变焦因数促使摄像头变焦趋近到兴趣点上。

Claims (13)

1.一种用于自动调整与视频会议端点相关联的摄像头的方法，该摄像头能够用于摇摄、倾斜以及变焦，

该摄像头具有视场，该视场具有中心，

该方法包括以下步骤；

-从摄像头提供一系列图片；

-接收启动信号，并且在接收到启动信号时：

-在一个所述图片内确定一个目标点的位置；

-对所述摄像头进行摇摄和倾斜，使得摄像头的视场的中心与所述一个目标点重合；以及

-对所述摄像头变焦，直到接收到用户要求停止变焦的第一指示，或者直到实现最大变焦。

2.根据权利要求1所述的方法，其中，所述一个目标点包括光源，该光源位于感兴趣的空间点上或该点附近，使得对于所述摄像头而言，所述光源是至少部分地可见的，该光源由操作元件来激活。

3.根据权利要求2所述的方法，其中，该方法还包括以下步骤：

响应于激活所述光源，把表示已经提供一个目标点的第一指示发送给控制器；

监视所述控制器的输出，该监视针对的是表示已经提供一个目标点的第二指示；以及

响应于所述第二指示，确定所述一个目标点的位置。

4.根据权利要求2所述的方法，其中，所述一个目标点由用户提供，该用户使用该光源照亮物体上或物体附近的点，使得对于所述摄像头而言，所述点是至少部分地可见的；并且

响应于所述操作元件的激活，而向控制器发送表示已经提供目标点的指示。

5.根据权利要求1-4中一项所述的方法，其中，所述光源是发光二极管(LED)、有机发光二极管(OLED)、激光二极管、激光器中的一项。

6.根据权利要求1所述的方法，其中，对所述摄像头进行摇摄和倾斜的步骤还包括以下步骤：

计算把摄像头的视场的中心移动到与所述一个目标点的位置重合所需要的摇摄和倾斜量；以及

指示摄像头摇摄和倾斜至所述计算的量。

7.根据权利要求1所述的方法，其中，对所述摄像头进行变焦的步骤还包括以下步骤：

指示摄像头同时开始变焦、摇摄和倾斜。

8.根据权利要求1所述的方法，还包括：

确定摄像头是否已完成摇摄和倾斜但仍然在进行变焦，并且如果是这样的话，则重复以下两个步骤：

确定所述一个目标点的位置，以及

对该摄像头进行摇摄和倾斜。

9.一种视频会议端点，包括视频会议单元和摄像头，

该摄像头能够用于摇摄、倾斜和变焦，

该摄像头具有视场，该视场具有中心，该视频会议端点还包括：

瞄准装置，其包括光源，用于在感兴趣的空间点上或该点附近提供一个目标点；

该视频会议端点的特征在于包括：

第一控制器，其配置成：

接收启动信号，并且响应于启动信号的接收而进行下述操作：

-在摄像头捕捉的一系列图片中的一个图片内，确定所述一个目标点的位置；

-对该摄像头进行摇摄和倾斜，使得摄像头的视场的中心与所述一个目标点重合；以及

-对该摄像头进行变焦，直到接收到用户要求停止变焦的第一指示，或者直到实现最大变焦。

10.根据权利要求9所述的视频会议端点，其中，瞄准装置包括：

-激活操作元件；以及

-第二控制器，被配置来激活所述光源，并在该操作元件受到操作时向所述第一控制器发送表示已经提供一个目标点的指示。

11.根据权利要求9-10中一项所述的视频会议端点，其中，所述光源为发光二极管(LED)、有机发光二极管(OLED)、激光二极管、激光中的一项。

12.根据权利要求9-11中一项所述的视频会议端点，其中，所述瞄准装置被包含在用于操作所述视频会议端点的遥控装置内，所述光源是包含在该遥控装置内的IR发送器或专用LED。

13.根据权利要求9所述的视频会议端点，其中，

所述摄像头被配置成以第一速率N捕捉图像；

所述瞄准装置被配置成以第二速率M＝N/2切换光源的打开和关闭，使得每两个图像会包括一个照亮的光源，而每个中间的图像不会包括照亮的光源；并且

所述第一控制器还被配置成从所述摄像头取回两个或更多个连续的图像，并从这些连续的图像中除一个图像之外的其他中减去这一个图像，以找出所述目标点的位置。

Images