CN102918547A - 远程注视控制系统和方法 - Google Patents

Abstract

本发明提供用于指导主体的注视（包括主体看向的方向，或主体和摄像头之间的距离）的技术，该主体的图像被摄像机捕获，该技术使得摄像机能够捕获视觉上吸引人的图像，其中媒体专业人员（例如，访问者或导演）或其它具有媒体最佳实践方面的知识的人与主体不在同一地点。该技术使得媒体专业人员能够既可以手动地也可以自动地提供视觉提示给位于远处的主体。

Description

远程注视控制系统和方法

相关申请的交叉引用

本申请要求2010年4月8日提交的美国临时申请SN 61/322,129的优先权，该申请由此通过引用以其整体合并于此。

技术领域

本发明涉及一种在TV摄制环境中的用户界面。更明确地，本发明涉及一种方法、系统和协议，设计为使不在同一地点的媒体专业人员（例如，导演或制片人）能够指引主体的“注视位置”（即，主体的视觉的焦点的方向或主体正在看向的方向），该主体的图像由摄像机捕获，或者指引摄像机和主体之间的距离，从而摄像机能够捕获视觉上吸引人的图像。

背景技术

TV摄制的一个场景是访问情境，其中将被访问的主体的地点物理上不同于访问者的地点。尽管访问者为媒体专业人员是非常普遍的，其中媒体专业人员知晓如何以TV观众愉悦的方式物理地呈现，但对于被访问的主体而言并不一定如此。因此，如果媒体专业人员（例如，访问者、制片人、或导演）能够为主体提供关于观众愉悦行为的提示，则会是有帮助的。作为选择地，或除此以外，如果提供这些提示能够是自动的，则将是有帮助的。

两个感兴趣的区域是主体的“注视”或“注视位置”，即，主体看向的方向，以及主体和摄像机拾取地点之间的距离。在TV上，访问情境企图仿真且合适地捕获例如访问者、主体和TV观众之间的直接对话。所有三个实体之间的眼神接触对于TV观众的视觉愉悦体验是重要的。因此，主体的注视应当被指引至访问者和捕获摄像机。类似地，如果主体的头部或脸部被再现以传达TV观众和主体之间的距离印象不会太近（违反了TV观众的“舒适空间”，该“舒适空间”取决于例如TV观众的文化背景）也不会太远（造成明显的遥远或远离的印象），则是视觉愉悦的。如果访问者物理地出现在与被访问者相同的地点，则两个目标都不难达到。然而，当访问者位于遥远的地点时（例如，位于另一个演播室），则有必要为非媒体专业主体提供提示，以合适地指导他/她的注视，且与摄像机保持一定的距离是必需的。

在演播室环境中，注视、距离、和类似控制能够通过许多不同的机构而提供。例如，人类技术员能够通过移动摄像机的物理位置来指导主体的注视，或者通过对主体作手势以一定的方式来指示他/她的注视。技术机构的一个例子是“直播”灯，演播室TV摄像机能够具有在它的壳体上的“直播”灯。专用的灯也能够被使用于指导主体的注视。主体能够在访问之前被建议和训练，例如，总是关注许多演播室摄像机都包括的“直播”灯，或关注为了这个目的而使用的专用灯。在专业操作者的控制下，摄像机也能够被移动来捕获最舒适的视觉角度。对于距离控制，在演播室环境中，专业操作者的控制下的摄像机变焦是一种方法。

关于主体的注视的兴趣区域包括，例如通过观察与头部或脸部的余下部分有关的虹膜，或者通过识别与其它身体部分和背景有关的主体头部或脸部。头部和眼睛跟踪机构和算法之前已经被广泛地研究。作为介绍材料，请参见例如Savucci,Goldberg所著的“Identifying fixations and saccades ineye-tracking protocols(在眼睛追踪协议中的识别固定和扫视)”（2000年眼睛追踪的研究&应用专题讨论会会议论文71-78页，棕榈滩花园，加利福利亚州，美国，SBN:1-58113-280-8，还可以从http://portal.acm.org/citation.cfm?id=355028得到）以及其中的参考文献。

概述

本发明提供用于指导主体的注视（包括主体看向的方向，以及主体和摄像机之间的距离）的技术，该主体的图像由摄像机捕获，该技术使得摄像机能够捕获视觉上吸引人的图像，其中媒体专业人员（例如，访问者或导演）或其他具有媒体最佳实践方面的知识的人与主体不在同一地点。该技术使得媒体专业人员能够相互且自动地提供提示给处于远处的主体。

在一个示例性实施例中，该提示可以是在视觉上显示给主体的明确指令。在相同的或另一实施方式中，该提示可以是除了在视觉上显示给主体的明确指令之外的视觉提示。在相同的或另一实施方式中，该提示可由专用设备提供。在相同的或另一实施方式中，图像分析器能够确定以及影响主体注视的位置或主体和摄像机之间的距离。在相同的或另一实施方式中，主体的注视位置或主体与摄像机之间的距离能够手动确定。

附图简述

图1是图示出根据本发明的高级系统的框图，该系统用于远程指导主体的注视和主体与摄像机之间的距离。

图2图示出根据本发明的示例性视频显示器。

图3图示出根据本发明的示例性视频显示器和摄像机。

图4图示出根据本发明的示例性视频显示器和摄像机。

图5图示出根据本发明的用于移动视觉提示的示例性的机械设备。

图6是示出根据本发明的高级系统的框图，该系统用于远程指导主体的注视以及主体与摄像机之间的距离。

图7是示出根据本发明的高级系统的框图，该系统用于远程指导主体的注视以及主体与摄像机之间的距离。

图8是示出根据本发明的高级系统的框图，该系统用于远程指导主体的注视以及主体与摄像机之间的距离。

贯穿这些附图，除非另有声明，否则相同的参考数字和符号被用于表示图示的实施方式的相同特征、元件、组件或部分。此外，尽管现在将参考附图来详细描述公开的发明，但该描述连同图示的实施方式来进行。

发明详述

被提出的发明在摄像机捕获人类主体的图像的环境中是有用的。作为非限制性的示例，受访主体会具有很少或没有最佳媒体实践方面的训练，而且位于不是专业演播室的某个地方，该地方没有在行的媒体专业人员能够指导主体关于注视位置和离摄像机（例如，访问者）的距离。

如图1中描绘的，在一个示例的实施方式中，本发明能够被用在街头访问的情况。例如，技术人员可安装便携式媒体捕获设备，例如膝上型计算机（102），其能够装配摄像机（103）、话筒（104）以及视频显示器（膝上型计算机屏幕）（105）。然而，本发明预见能够使用其它媒体捕获设备和视听装备。膝上型计算机能够经由数据链路（107）使用例如因特网在移动、无线或有线的接入连接上连接至演播室（106）。技术员能够指导膝上型计算机（102）和主体（108），从而主体能够观看膝上型计算机屏幕（105），且主体处于摄像机（103）的观看角度。摄像机（103）可被固定至膝上型计算机（102），且可以是固定聚焦的（即，没有变焦能力）。在相同的或另一个数据链路（107）之上，膝上型计算机（102）能够接收将显示在屏幕（105）上的信息，和/或使用一个或更多音频输出设备（109）（例如，扬声器）将该信息提供给主体（108）。

图2描绘显示在示例性的视频显示器（201）上的示例性的屏幕内容，该视频显示器连接至便携式媒体捕获设备（即，膝上型计算机屏幕）。在访问的场景中，正在被访问的主体从远程访问者接收（主观地）实时反馈是有帮助的；因此，可存在一个窗口（202）显示访问者的图像。此外，可存在标记或清楚的警告（203）指出主体是否在“直播”。屏幕还可显示其它内容；然而，在一些情况中，其它内容会分散注意力且因此能够被省略。

因为膝上型计算机的屏幕可设置为供主体观看，所以该屏幕可用于给主体提供视觉提示。例如，如果主体失去与摄像机镜头的眼神接触，如在演播室中检测到的（通过人类或如下描述的自动监控），屏幕能够闪现警告信息，比如“看摄像机！”。在相同的或另一实施方式中，当在演播室中检测到（通过人类或自动的手段）主体离摄像机镜头太近或太远时，视频显示器能够闪现“靠近一点！”或“走开！”。然而，这种直接交互可导致主体的行为较不理想。例如，已经被指导过眼神接触很重要的主体在接收警告时会对他/她的行为不专业感觉难堪，这对访问的质量可能具有负面暗示——例如，主体可能失去他/她的思绪或可能脸红。类似地，如果他/她被简报过关于他/她的头部或脸部与摄像机之间的理想距离，但尽管如此还是从那个距离离开且接收到屏幕上清楚的警告信息时，主体可能感觉难堪。因此，存在对于给主体提供更加微妙的指导的技术的需求。

参照图3，在本发明的一个示例性的实施方式中，微妙的指导可包括在屏幕（302）上显示的视觉提示（301），该提示吸引主体的注意，而不通过显示明确的消息来指导主体，使得当他/她关注视觉提示时，主体改变他/她的注视位置或离摄像机的距离，导致更加有吸引力的图像。该视觉提示可例如包括对比颜色（相对于屏幕背景）的闪烁点。

一个好的注视位置可以是主体看起来尽可能接近地关注摄像机镜头的位置；因此，视觉提示能够定位于接近摄像机（303）的位置，且能够移动以指导主体的注视位置朝向视觉提示（301）。（摄像机（303）被描绘为从前面能看见，以圆圈代表镜头；摄像机的观看轴的中心垂直于图所在的平面）。视觉提示（301）的尺寸例如能够依赖于主体至摄像机（303）的优选距离而变化，如果视觉提示变小，主体可能移动至更靠近膝上型计算机（302）的屏幕（且通过安装在膝上型计算机中的摄像机，从而与摄像机更近），反之如果视觉提示变大，主体可从膝上型计算机的屏幕（以及摄像机）移远。

应当注意，通过故意地从离摄像机位置最近的场所移走视觉提示，可实现一定的心理光学效果。例如，如果视觉提示放置在显著低于摄像机视场的中线下，主体可能关注视觉提示，且能够给出被抑制的印象，即使主体没有意图表现出这种印象。如果视觉提示放置在显著低于摄像机视场的中线上，主体可能关注视觉提示，且能够引起主体看来好像他/她相信他/她自己“高于观众”，甚至傲慢。类似地，将视觉提示移动至摄像机视场的左边或左边，能够引起主体没有注意访问者而是对其它事物感兴趣的表现。通过故意地选择更小或更大的视觉提示，即使主体位于距离摄像机的合适距离的位置，对应的效果也能够达到。

可视提示位置的其它用途也可以想到。例如，如果背景不是访问情境，而是拍电影，能够提供视觉提示给主体（此处为演员），以指导演员的观看方向以及摄像机距离，该观看方向以及摄像机距离是位于远处的媒体专业人员（例如，导演）所需要的。虽然大多数演员应当能够跟随抽象的屏幕命令，但视觉提示的使用将演员从阅读和执行导演的意图中卸下，释放演员的心力以关注他/她的表演的其它方面。

参照图4，在相同的或另一实施方式中，视觉提示能够处于屏幕（402）上的访问者的窗口（401）的位置。使用访问者的窗口（401）比其它类型的视觉提示具有优势，因为在一些文化中，主体自然地与人类交流搭档保持眼神接触，且观察与搭档的最小和最大距离——即使搭档仅在屏幕（402）上可见。通过以各种不同的位置和尺寸以屏幕（402）上的访问者窗口（401）的形式提供视觉提示，与利用更抽象的视觉提示相比，主体更可能地直觉地调整他/她的注视以及离屏幕（402）（以及摄像机，假定摄像机合适的放置）的距离。

在相同的或另一实施方式中，视觉提示也能够通过专用设备而非屏幕来提供，或者视觉提示也能够除了屏幕之外还通过专用设备被提供。例如，如图5中描绘的，一种机械设备能够被用于定位视觉提示和/或调整其尺寸。主体（501）和摄像机（502）能够定位在固定的位置。以例如工业机器人（503）的形式的设备能够显示视觉提示（此处以灯（504）的形式，从而视觉提示能够在主体的视场中被移动）。工业机器人（503）能够被隐藏在半透明墙（505）的后面，该半透明墙（505）让灯（504）的光通过，但另外地隐藏机器人（503），以不分散主体的注意力。本发明预见机械装置的许多其它的实现方式能够被使用以显示视觉提示。

参照图6，在示例性的实施方式中，图像分析器（601）可分析由摄像机（604）捕获的摄像机信号（603），该图像分析器能够以硬件或本地嵌入膝上型计算机中的软件而实现。信号分析可包括，例如，主体（606）的虹膜位置（605）的识别、或摄像机（604）和主体（606）之间距离（607）的启发式测量（例如，通过相关主体的头部或脸部的平均尺寸、摄像机视角、以及由视频流中头部或脸部的描绘而占用的像素的数量）。例如，如果主体（606）正在关注理想摄像机注视中线之外的区域，则图像分析器能够识别这种情形，且安排膝上型计算机屏幕（608）从而视觉提示（609）朝向摄像机视野的中线移动。类似地，图像分析器（601）能够确定主体（606）的头部或脸部以及摄像机（604）之间的距离，且安排膝上型计算机屏幕（608），从而视觉提示（609）被修改，以反映主体（606）为了理想的位置而必须移动（更接近或更远离摄像机）的方向。

在相同的或另一实施方式中，与上面描述的图像分析器相仿的图像分析器能够以位于演播室的设备被实现。这具有优势，因为复杂的且潜在昂贵的图像分析软件/硬件不需要在电池供电的必定存在CPU功率限制的膝上型计算机或其它相似设备或与膝上型计算机在相同的地点的现场设备上运行。参照图7，笔记本（701）的摄像机（702）捕获主体（703），且所得的可被摄像机或膝上型计算机压缩的视频流被摄像机或膝上型计算机经由网络（704）（例如，因特网）发送至演播室（705）。在演播室（705）中，视频流被用于演播室可能需要的任何的后制作处理、直播和/或存储供将来使用。然而，视频流还可进一步被馈入图像分析器（706）。

图像分析器（706）根据可以是固定或可配置的指南（707）来分析视频流。例如，一个指南能够提供必须产生的视觉提示（711）的位置，以便通过移动视觉提示（711）至与摄像机（702）注视中线尽可能近的位置，优化主体（703）与摄像机（702）的眼神接触。例如，另一个指南（707）能够提供视觉提示（711）的尺寸应当依赖于主体（703）至摄像机（702）的最愉悦视觉距离而调整——如果主体需要移动靠近摄像机位置，则指示的尺寸减小，如果主体需要从摄像机位置移动远离，则提示的尺寸被放大。这些示例性的两个指南（707）可通过例如从视频流内容中识别主体（703）的虹膜位置和脸部空间区域以及为视觉提示（711）创造更新的位置和尺寸而被完成，当主体（703）遵循该提示（711）时，将移动该主体的关注更靠近摄像机（702）的注视中线和/或从摄像机更近/更远移动。

一旦被创造，该位置能够被协议封装，且该协议的协议数据单元（PDU）能够在网络上被传达至膝上型计算机（701）。膝上型计算机（701）中的显示管理器（710）接收PDU（708），解释它们的内容（更新过的位置），以及相应地在笔记本屏幕（712）上移动视觉提示（711）。

在相同的或另一实施方式中，也可手动地影响或确定视觉提示的位置或尺寸。参照图8，位于演播室（804）的人类操作员（801）（例如，电影导演）可监控已经由笔记本（802）的摄像机捕获且由膝上型计算机（802）或摄像头经由网络（803）发送至演播室（804）的视频流，该视频流可被摄像机或膝上型计算机压缩。经过合适的输入机构（805）（例如，鼠标、操纵杆、或键盘），操作员能够提供视觉提示给组合器（806），该组合器也能够如上描述地从图像分析器（807）接收输入。组合器将来自操作人员（801）的输入与图像分析器（807）的输出组合，且形成包含视觉提示位置和尺寸的PDU，该视觉提示在网络（803）上传达至膝上型计算机（802）用于显示。

Claims (13)

1.一种用于控制主体的位置特性的媒体捕获设备，包括：

(a)摄像机，适合用于捕获所述主体的一个或多个图像，如果存在虹膜，则所述图像的一部分对应于虹膜，

(b)图像分析器，操作地耦合至所述摄像机，用于分析一个或多个捕获的图像以确定位置特性，所述位置特性包括虹膜位置以及所述主体和所述摄像机之间的距离中的一个或多个，以及

(c)屏幕，操作地耦合至所述图像分析器，用于显示对应于所述位置特性的视觉提示。

2.如权利要求1所述的媒体捕获设备，其特征在于，所述视觉提示包括适合于指导所述主体的注视的视觉信息。

3.如权利要求1所述的媒体捕获设备，其特征在于，所述视觉提示包括适合于指导所述主体保持他/她自己与所述摄像机之间的距离的视觉信息。

4.一种用于控制主体的注视位置的系统，包括：

(a)至少一个媒体捕获设备包括：

(i)摄像机，适合用于捕获所述主体的一个或多个图像，如果存在虹膜，则所述图像的一部分对应于虹膜，

(ii)屏幕，用于显示对应于位置特性的视觉提示，以及

(iii)显示管理器，操作地耦合至所述摄像机和所述屏幕，用于从所述摄像机接收一个或多个捕获的图像，且提供对应于所述位置特性的视觉提示信息至所述屏幕；以及

(b)至少一个演播室设备，操作地耦合至所述显示管理器，包括：

(i)用于接收和分析所述一个或多个捕获图像以确定位置特性的装置，所述位置特性包括虹膜位置以及所述主体和所述摄像机之间的距离中的一个或多个，以及

(ii)用于产生对应于所述位置特性的视觉提示信息至所述屏幕以及用于发送所述视觉提示信息至所述显示管理器的装置，其中所述视觉提示信息具有至少一个性质。

5.如权利要求4所述的系统，其特征在于，所述演播室设备进一步包括受操作员控制的至少一个输入设备。

6.如权利要求4所述的系统，其特征在于，所述演播室设备进一步包括图像分析器。

7.如权利要求4所述的系统，其特征在于，所述演播室设备进一步包括组合器。

8.如权利要求4所述的系统，其特征在于，所述至少一个性质包括所述提示的尺寸。

9.如权利要求4所述的系统，其特征在于，所述至少一个性质包括所述提示在所述屏幕上的位置。

10.一种用于控制主体的注视位置的方法，包括：

(a)至少一个演播室设备从至少一个媒体捕获设备接收所述主体的一个或多个图像，并分析所述一个或多个图像以确定位置特性，所述位置特性包括虹膜位置以及所述主体和摄像机之间的距离中的一个或多个；以及

(b)所述至少一个演播室设备产生对应于所述位置特性的视觉提示信息至所述至少一个媒体捕获设备，其中所述视觉提示信息具有至少一个性质；

(c)所述至少一个演播室设备发送所述视觉提示信息至所述至少一个媒体捕获设备；以及

(d)所述至少一个媒体捕获设备在屏幕上显示对应于位置特性的视觉提示信息。

11.如权利要求10的方法，其特征在于，所述视觉提示的所述至少一个性质的确定是由至少一个人类操作员、至少一个图像分析器或至少一个组合器中的至少一个作出的。

12.如权利要求10的方法，其特征在于，所述至少一个性质包括所述视觉提示的尺寸。

13.如权利要求10的方法，其特征在于，所述至少一个性质包括所述视觉提示的位置。

Images