CN106484092B - 产生远程临场机器人的控制信号的方法和远程临场系统 - Google Patents

Abstract

本发明涉及产生远程临场机器人的控制信号的方法和远程临场系统。为了基于操作者的移动自然地控制远程临场机器人，公开了一种由计算设备基于操作者的移动产生用于远程临场机器人的控制信号的计算机实现的方法。在步骤S102，基于获取所述操作者的至少一部分的图像的摄像机，计算所述操作者的所述至少一部分所在的方向。在步骤S103，计算所述操作者的所述至少一部分所指向的方位，然后在步骤S107，基于所述方向并结合所述方位，产生所述远程临场机器人的一个或多个运动参数作为所述控制信号。所述方向和所述方位被不同地反映到所述一个或多个运动参数。

Description

产生远程临场机器人的控制信号的方法和远程临场系统

技术领域

本发明一般地涉及远程临场机器人，更具体地说，涉及用于产生远程临场机器人的控制信号的方法、远程临场系统和计算机程序。

背景技术

针对用于人际交流(例如，远程讲座中的演讲者—听众交流)的远程临场系统而言，可以利用配备云台电动机、显示器和摄像机的远程临场机器人将一个参与者(例如，演讲者、发言者)物理地呈现给另一参与者(例如，学生、听众)。远程临场机器人的主要作用不仅包括将有关另一参与者的信息提供给所述一个参与者，而且还通过远程临场机器人所增强的社交临场感为另一参与者提供一致性。位于一个地点的操作者可以遥控远程临场机器人移动其头部；机器人可以移动具有摄像机的脸部来将位于另一地点的机器人周围的信息提供给操作者。远程临场机器人通过模拟操作者的移动来表达操作者的行为，从而将操作者(他/她)的意图、特征和周围环境传递给另一参与者。

通过使用诸如键盘之类的输入设备和控制设备控制远程临场机器人给操作者带来了认知负担，从而导致在执行认知复杂的任务(例如，演讲、操作指示等)期间出现性能劣化。如果操作者过分关注他/她的表现，可能会忘记控制，或者，如果他/她专注于控制机器人的操作，则可能无法将注意力集中在他/她的表现上。

另外，提供了一种通过使用配备陀螺传感器的HMD(头戴式显示器)来控制的机器人，HMD将操作者的移动复制给远程机器人。但是，穿戴此类传感设备可能给操作者带来负担。被HMD覆盖的脸部导致僵硬的脸部表情，从而使得呈现给听众的亲和力下降。另外还需要考虑操作者的无意移动(例如，向旁边观望)会导致机器人出现不适当行为。

发明内容

技术问题

需要这样的方法、远程临场系统和关联的计算机程序：即，这些方法、远程临场系统和计算机程序在无需任何干扰操作者自然表情的附加设备且不会给操作者带来太多认知负担的情况下，产生远程临场机器人的控制信号，并且能够基于操作者的移动，通过远程临场机器人表示操作者的自然具身性(embodiment)。

问题的解决方案

根据本发明的一个实施例，提供一种由计算设备基于操作者的移动产生用于远程临场机器人的控制信号的计算机实现的方法。所述方法包括基于获取所述操作者的至少一部分的图像的摄像机，计算所述操作者的所述至少一部分所在的方向。所述方法还包括计算所述操作者的所述至少一部分所指向的方位。所述方法还包括基于所述方向并结合所述方位，产生所述远程临场机器人的一个或多个运动参数作为所述控制信号，其中所述方向和所述方位被不同地反映到所述一个或多个运动参数。

根据本发明的另一方面，提供一种远程临场系统，其包括基于操作者的移动产生用于远程临场机器人的控制信号的计算设备。所述计算设备包括方向计算器，其被配置为基于获取所述操作者的至少一部分的图像的摄像机，计算所述操作者的所述至少一部分所在的方向。所述计算设备还包括方位计算器，其被配置为计算所述操作者的所述至少一部分所指向的方位。所述计算设备进一步包括产生器，其被配置为基于所述方向并结合所述方位，产生所述远程临场机器人的一个或多个运动参数作为所述控制信号，其中所述方向和所述方位被不同地反映到所述一个或多个运动参数。

此处还描述和要求保护与本发明的一个或多个方面相关的计算机程序。

通过本发明的技术实现附加特征和优点。在此详细地描述本发明的其它实施例和方面并且它们被视为所要求保护的本发明的一部分。

附图说明

图1示出根据本发明的一个示例性实施例的用于远程讲座的远程临场系统的示意图；

图2示出根据本发明的所述示例性实施例的包括计算设备的远程临场机器人的硬件配置；

图3示出根据本发明的所述示例性实施例的远程临场系统的框图；

图4A描述根据本发明的所述示例性实施例的操作者的有意移动和无意移动的角度；

图4B描述根据本发明的所述示例性实施例的用于由计算设备检测操作者的脸部方向的脸部跟踪处理；

图4C描述根据本发明的所述示例性实施例的用于由计算设备估计操作者的脸部方位的估计处理；

图5是示出根据本发明的所述示例性实施例的用于基于操作者的移动控制远程临场机器人的处理的流程图；

图6A描述根据本发明的所述示例性实施例的远端远程临场机器人的运动参数；

图6B描述根据本发明的另一示例性实施例的远端远程临场机器人的运动参数；

图7A示出根据本发明的一个特定优选实施例的由操作者的有意移动实现的远程临场机器人的移动；

图7B示出根据本发明的所述特定优选实施例的由操作者的无意移动实现的远程临场机器人的移动。

具体实施方式

现在将使用特定实施例描述本发明，下面描述的实施例被理解为仅参考实例，并非旨在限制本发明的范围。

根据本发明的一个或多个实施例涉及用于由计算设备基于操作者的移动产生远程临场机器人的控制信号的方法、远程临场系统和计算机程序。

现在参考一系列图1-7，其中示出根据本发明的一个或多个实施例的用于产生远程临场系统中的远程临场机器人的控制信号的远程临场系统和方法。

参考图1，其中示出根据本发明的一个示例性实施例的用于远程讲座的远程临场系统100的示意图。存在两个主要地点，包括演讲者(例如，讲师)130所在的演讲者地点110和听众(例如，学生)170所在的听众地点150。在每个地点110、150中，设置远程临场机器人120、160以增强演讲者130与听众170之间交流的社交临场感。远程临场机器人120、160经由网络102连接来相互通信。网络102可以包括但不限于局域网(LAN)、一般广域网(WAN)、公共网络(例如，因特网、蜂窝网络)等。

如图1所示，每个远程临场机器人120、160具有身体122、162和头部124、164。每个头部124、164具有配备显示器166(未示出机器人120的显示器)和摄像机168(未示出机器人120的摄像机)的脸部。在所描述的实施例中，头部124、164可通过致动器沿两个轴线移动，从而使得头部124、164以及脸部可以独立地相对于身体122、162扫视和俯仰。但这只是本发明的一个或多个实施例的可能设计的一个实例。在其它实施例中，头部可以沿一个轴线或两个以上的轴线移动，显示器(或脸部)和摄像机(或眼睛)可以沿一个或多个轴线单独移动。

在远程临场系统100中，远程临场机器人120、160可以相互地将一个参与者物理呈现给其他参与者(多个)。位于演讲者地点110的远程临场机器人120的摄像机所拍摄的视图经由网络102被发送到位于听众地点150的远程临场机器人160，以通过显示器166显示演讲者地点110的视图(例如，演讲者130的脸部)，并且反之亦然。在主模式下操作的远程临场机器人(例如，演讲者地点110的机器人120)能够通过摄像机检测并跟踪演讲者的脸部，并且通过显示器，从伙伴机器人(在从模式下操作的远程临场机器人(例如，听众地点150的机器人160))的视角在听众地点150显示图像。在从模式下操作的远程临场机器人(例如，机器人160)能够通过显示器166显示演讲者的脸部，并且随着演讲者130的脸部的移动扫视和俯仰头部164。

现在参考图2，其中示出远程临场机器人10(与图1所示的每个远程临场机器人120、160对应)的硬件配置的示意图。图2所示的远程临场机器人10只是适当的远程临场机器人的一个例子，并非旨在暗示对此处描述的本发明实施例的使用范围或功能的任何限制。总而言之，远程临场机器人10能够实现和/或执行下面列出的任一功能。

远程临场机器人10的组件可以包括但不限于处理器(处理单元)12以及通过总线30与处理器12相连的存储器14，总线30将包括存储器14的各种系统组件连接到处理器12。总线30表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线架构中的任意总线架构的局域总线。

远程临场机器人10一般包括多种计算机可读介质。此类介质可以是能够由远程临场机器人10访问的任何可用介质，它包括易失性和非易失性介质、可移动和不可移动介质。

存储器114可以包括采取易失性存储器(例如，随机存取存储器(RAM))形式的计算机可读介质。远程临场机器人10可以进一步包括其它可移动/不可移动、易失性/非易失性存储介质。仅作为例子，可以设置存储设备16以针对不可移动的非易失性磁介质执行读取操作。如下面将进一步示出和描述的，存储设备16可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置为执行本发明各实施例的功能。

具有一组(至少一个)程序模块的程序/实用工具，可以存储在存储设备16中，这样的程序模块包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些操作系统、一个或多个应用程序、其它程序模块以及程序数据中的每一个或某种组合中可能包括网络环境的实现。程序模块通常执行此处描述的发明实施例中的功能和/或方法。

远程临场机器人10还可以包括一个或多个外部设备，例如显示器20、摄像机22、驱动云台致动器26、28的致动器驱动器24、以及使得远程临场机器人10能与一个或多个其它远程临场机器人或计算设备进行通信的网络适配器18。远程临场机器人10可以通过网络适配器18与网络102(例如LAN、WAN和/或公共网络(例如因特网))通信。如图所示，网络适配器18经由总线30与远程临场机器人10的其它组件通信。

如图2所示，远程临场机器人10以包括机器人机构24、26、28、显示器20、摄像机22和用于控制机器人机构、显示器20和摄像机22的计算设备中的全部的单个装置的形式进行描述。但是，在其它实施例中，远程临场机器人10的各组件能够以多种形式单独提供，并且经由接口或网络(例如，组成远程临场机器人10的通用串行总线(USB)、通信、通信以及其它计算机总线和电源连接器)耦合。

在一个特定实施例中，提供处理器、存储器、存储设备、网络适配器、显示器和摄像机作为计算机系统，并且提供包括致动器驱动器、致动器和其它机构的机器人机构作为计算机系统的外部设备或配件。在所述特定实施例中，计算机系统可通过多种通用或专用计算系统环境或配置执行操作。公知的适合用于远程临场机器人10的计算系统、环境和/或配置的例子包括但不限于平板计算机系统、智能电话、移动设备、个人计算机系统、手持式或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、单板计算机系统、计算棒、可编程消费电子产品、网络PC、微型计算机系统等等。应该理解，尽管未示出，但是其它硬件和/或软件组件也可以结合远程临场机器人10使用。

再次参考图1，在远程临场系统100中，演讲者130可以通过在演讲者地点110中配备的远程临场机器人120的前方移动他的身体部位(例如，脸部、头部和身体)来远程控制在听众地点150中配备的远程临场机器人160。

一般而言，演讲者130不希望在认知复杂的任务期间执行特定于某个操作的动作(例如，按下键盘中的按键，操控控制器设备中的杆和按钮)，并且不希望穿戴任何附属设备(例如，HMD)来感测可能干扰演讲者130的自然脸部表情的演讲者130的移动。另外还应考虑由演讲者130的无意移动(例如，侧头观看文件)导致的不适当行为。无意移动的呈现可能显著影响演讲者130的社交临场感。但是，没有已知的技术能够在远程临场系统中自然地协调远程临场机器人的自然操作的有意移动与所呈现的无意移动。

因此，需要这样的方法、关联的远程临场系统和计算机程序：即，这些方法、远程临场系统和计算机程序在无需任何干扰操作者的自然脸部表情的附加设备且不会给操作者带来太多认知负担的情况下，产生远程临场机器人的控制信号或控制远程临场机器人，并且能够基于操作者的移动，通过远程临场机器人表示操作者(例如，远程讲座中的演讲者)的自然具身性。

在根据本发明的一个或多个实施例中，用于产生位于一个地点(例如，听众地点150)的远程临场机器人的控制信号(从而控制远程临场机器人)的新颖处理由计算设备基于位于另一地点(例如，演讲者地点110)的操作者的移动来执行，其中操作者的有意和无意移动基于获取该操作者的图像(例如该操作者的脸部)的摄像机的工作而被有差别地检测。该计算设备可以被包括在位于一个地点的远程临场机器人或位于另一地点的远程临场机器人中，也可以与这些远程临场机器人相连。

在该新颖处理期间，计算设备基于摄像机计算操作者的脸部所在的方向，其中该方向指示操作者的有意移动。计算设备进一步计算操作者的脸部所指向的方位，其中该方位指示操作者的无意移动。然后，计算设备基于方向与方位的组合，产生远程临场机器人的一个或多个运动参数，以便控制位于一个地点的远程临场机器人的动作。该方向和方位被不同地反映到远程临场机器人的一个或多个运动参数。这样，操作者针对远程临场机器人的操作性和展示性移动被自然地协调。

现在参考图3和图4，将更详细地描述根据本发明的示例性实施例的用于控制远程临场机器人的远程临场系统。图3示出远程临场系统的框图。如图3所示，远程临场系统100的框图200包括以主模式操作的本地远程临场机器人(例如，图1所示的远程临场机器人120)的框图210和以从模式操作的远端远程临场机器人(例如，图1所示的远程临场机器人160)的框图250。在所描述的实施例中，计算设备230被嵌入本地远程临场机器人210中。但是，在其它实施例中，计算设备230可以被嵌入远端远程临场机器人250中，或者被连接到远程临场机器人210、250中的任一者。

本地远程临场机器人210可以包括：获取操作者的脸部图像的摄像机212；更改至少摄像机212的方位的致动器214；脸部跟踪器216、脸部方位估计器218；运动参数产生器220；以及通信224。

脸部跟踪器216和脸部方位估计器218被配置为分别计算操作者的有意移动和无意移动的角度。图4A描绘操作者的有意移动和无意移动的角度。

脸部跟踪器216被配置为，通过调整摄像机212的扫视和俯仰角度，在摄像机212的视图中心跟踪操作者OP的脸部，这两个角度是致动摄像机212的致动器214的参数。图4B描述用于检测操作者OP的脸部方向的脸部跟踪处理。如图4B所示，脸部跟踪器216尝试通过图像分析识别视图中的人脸，以便在视图中检测操作者的脸部位置F，并且基于当前扫视和俯仰角度以及所检测到的操作者脸部F在视图中的位置调整扫视和俯仰角度，以便通过诸如反馈技术之类的任何已知技术在视图的中心(被示出为十字形虚线)处捕捉操作者的脸部F。

脸部跟踪器216能够计算方向t1，其中操作者OP的脸部基于摄像机212所获得的图像，相对于本地远程临场机器人210的身体进行定位。方向t1由与机器人的身体RB的方向所成的角度(更精确地说，可以包括水平角度和垂直角度)来定义。方向t1的角度可以简单地基于当前对致动器214设定的扫视和俯仰角度来计算。备选地，方向t1的角度可以基于所检测到的操作者脸部F在视图中的位置以及当前扫视和俯仰角度来计算。方向t1的角度指示操作者的有意移动。脸部跟踪器216在所描述的实施例中构成方向计算器。

在一个特定实施例中，方向t1可以在摄像机212的给定视角A下，通过以下公式计算：

公式1

其中x表示所检测到的脸部F的中心位置(以像素表示)，w表示视图中的像素数量。在上述公式中，“tan”表示正切函数，“atan”表示正切函数的反函数。更精确地说，可以在水平轴线和垂直轴线两者上计算方向t1。

在所描述的实施例中，脸部跟踪器216在摄像机212的视图中心跟踪操作者OP的脸部以计算方向t1。该配置可以增加操作范围。但是，在其它实施例中，摄像机212的视图可以被固定。在其它实施例中，方向t1的角度能够基于操作者的脸部F在视图中的检测位置被直接计算，不需要移动扫视和俯仰角度。

脸部方位估计器218被配置为通过分析摄像机212所获得的图像来估计操作者的脸部的方位。图4C描述用于估计操作者的脸部方位的估计处理。图像可以是带有或不带有距离信息的二进制图像、灰度图像或彩色图像，具体取决于摄像机22的功能。脸部方位估计器218可以识别图像中突出的脸部特征(例如，鼻子、眼睛和嘴唇)以查找这些脸部特征的位置，然后基于找到的脸部特征的位置，通过使用任何已知的脸部方位估计技术来计算脸部方位。

脸部方位估计器218能够基于摄像机212所获得的图像计算操作者的脸部所指向的方位t2。脸部方位t2由与法线方向(在该方向上，操作者的脸部正好面对机器人的显示器)所成的角度(更精确地说，可以包括水平角度和垂直角度)来定义。方位t2的角度指示操作者的无意移动。脸部方位估计器218在所描述的实施例中构成方位计算器。

在一个特定实施例中，方位t2可以在假设人脸大小的情况下，通过以下公式计算：

公式2

其中x表示所检测到的鼻子的位置，l表示所检测到的脸部区域的中心位置，r表示从颈椎到鼻子的深度。在上述公式中，“abs”表示绝对函数，“asin”表示正弦函数的反函数。但是，这只是本发明的一个或多个实施例中的一个可能实现的例子。当基于图像计算方位时，能够使用多种脸部特征。在其它实施例中，眼睛或嘴(而非鼻子)的中心位置能够被用于计算变量r，x。

在进一步的其它特定实施例中，能够通过使用附着在操作者头部的微型陀螺传感器直接计算方位t2。

在所描述的实施例中，方位t2是操作者的脸部方位；但是，这只是在本发明的一个或多个实施例中可用的可能方位的一个实例。在其它实施例中，能够使用通过利用任何已知的凝视方位估计技术测量的操作者的凝视方位来替代脸部方位或者将该凝视方位与脸部方位结合使用。

运动参数产生器220基于方向t1和方位t2判定远端远程临场机器人250如何移动。运动参数产生器220被配置为基于方向t1并且结合方位t2产生远端远程临场机器人250的一个或多个运动参数作为控制信号，其中方向t1和方位t2被不同地反映到一个或多个运动参数。一个或多个运动参数可以包括所描述的实施例中的扫视和俯仰角度中的至少一个。

运动参数产生器220可以包括意图判定器222，其被配置为基于方向t1和方位t2中的至少一者判定操作者是否将注意力集中在显示器上。在一个特定实施例中，指示操作者的无意移动的方位t2能够被优选地用于判定操作者是否将注意力集中在显示器上。运动参数产生器220可以根据意图判定器222的结果将不同的权重赋予方向t1和方位t2。

在一个优选实施例中，在操作者将注意力集中在显示器上的情况下，运动参数产生器220将较重的权重设定给方向t1，将较轻的权重设定给方位t2。如果操作者将注意力集中在本地远程临场机器人210的显示器上，则认为脸部位置的变化为有意移动。因此，可以强调方向t1的变化。另一方面，在操作者将注意力集中在显示器以外的情况下，运动参数产生器220将较轻的权重设定给方向t1，将较重的权重设定给方位t2。如果操作者将注意力集中在显示器以外(例如，集中在文件上)，则认为脸部位置的变化为无意移动。操作者可能移动他/她的头部来观看文件。因此，能够抑制方向t1的变化。下面将更详细地描述运动参数产生的过程。

通信224被配置为将所产生的运动参数提交给远端远程临场机器人250，以便控制远端远程临场机器人250的移动。

远端远程临场机器人250可以包括：摄像机252，其被配置为收集远端远程临场机器人250周围的信息；显示器254，其被配置为将操作者的脸部显示给听众；以及致动器256，其被配置为沿至少一个轴线致动摄像机252和显示器254中的至少一者。当远端远程临场机器人250从本地远程临场机器人210接收运动参数时，远端远程临场机器人250基于所接收的运动参数为致动器256设定参数。可以通过摄像机252移动头部，并且相应地移动其脸部，从而将远端远程临场机器人250周围的信息提供给位于本地远程临场机器人210前方的操作者。同时，远端远程临场机器人250基于操作者的移动表现操作者的行为，以便将他/她的意图传达给听众。

如图3所示，远程临场系统200包括一个或多个模块以提供多种特征和功能。这些模块可以通过硬件、可以在硬件上执行的软件或固件，或者它们的组合实现。另外，给出这些模块只是为了举例，并非旨在暗示任何限制。备选实施例可以包括比图3所示的模块更多或更少的模块，或者以不同的方式组织模块。另外应该理解，在某些实施例中，某些模块的功能可以被划分为多个模块，或者相反地，若干模块的功能可以被组合成单个或更少的模块。

现在参考图5和图6，将描述根据本发明的示例性实施例的用于基于远程临场系统中的操作者的移动来控制远程临场机器人的处理(与方法对应)。

图5是示出用于基于操作者的移动控制远程临场机器人的处理的流程图。如图5所示，响应于本地远程临场机器人210启动并且作为伙伴机器人建立与远端远程临场机器人250的会话，处理从步骤S100开始。需要指出，图5所示的处理由图3所示的计算设备230执行。

在步骤S101，计算设备230通过摄像机212获得脸部图像，以及在必要时获得被设定给致动器214的当前扫视和俯仰角度。

在步骤S102，计算设备230基于当前扫视和俯仰角度以及脸部图像(在必要时)，通过脸部跟踪器216计算脸部相对于本地远程临场机器人210的身体所在的方向作为操作者的有意移动的角度。可以简单地从当前扫视和俯仰角度、基于当前扫视和俯仰角度并结合所检测到的操作者脸部在图像中的位置、或仅基于所检测到的操作者脸部在图像中的位置来计算方向t1的角度。

在步骤S103，计算设备103基于脸部图像，通过脸部方位估计器218计算操作者的脸部相对于法线方位(在该方位上，脸部刚好正对显示器)的方位作为操作者的无意移动的角度。

在步骤S104，计算设备230基于方向t1和方位t2中的至少一者，通过意图判定器222判定操作者是否将注意力集中在显示器上。在一个优选实施例中，指示操作者的无意移动的方位t2能够被用于判定操作者的注意力是否集中在显示器上。在一个特定实施例中，操作者对显示器的非意向程度可通过t2/K估计，其中K表示归一化常数。相比之下，操作者对显示器的意向程度可通过1-t2/K估计。

如果计算设备230在步骤S104判定操作者的注意力集中在显示器上，处理分支到步骤S105。在所述特定实施例中，如果非意向程度t2/K小于阈值，则计算设备230判定操作者的注意力集中在显示器上。在步骤S105，计算设备230通过运动参数产生器220，对有意移动的角度t1设定较重的权重，对无意移动的角度t2设定较轻的权重。

另一方面，如果计算设备230在步骤S104判定操作者的注意力集中在显示器以外，处理分支到步骤S106。在步骤S106，计算设备230通过运动参数产生器220，对有意移动的角度t1设定较轻的权重，对无意移动的角度t2设定较重的权重。

在步骤S107，计算设备230基于有意移动的角度t1和无意移动的角度t2(具有在步骤S105或S106设定的权重)，由运动参数产生器220产生远端远程临场机器人250的运动参数。

图6A描述根据所述示例性实施例的远端远程临场机器人250的运动参数。图6A示出远端远程机器人250，在该机器人中，摄像机和显示器可以在扫视和俯仰致动器的作用下沿两个轴线同时移动。

在与图6A所示的远端远程临场机器人250相关的一个特定实施例中，步骤S104到S107能够通过计算远端远程临场机器人250的头部的角度(准确地说，可以包括扫视和俯仰角度)T来完成，T通过以下公式确定：

公式3

其中t1表示方向，t2表示方位，M、N和K分别表示预定常数。用于方向的常数M可以微调，以便操作者能够通过小幅移动来扫视听众地点。用于方位的常数N可以微调，以便调整无意移动的呈现。方向t1和方位t2以不同的方式被反映到运动参数T。

t2/K表示操作者的非意向程度，而(1-t2/K)表示操作者的意向程度。非意向程度t2/K和意向程度1-t2/K可以通过相反的方式变化。非意向程度t2/K随着意向程度1-t2/K的减少而增加，并且反之亦然。如果非意向程度t2/K超过阈值(0.5)，则非意向程度t2/K将较重的权重赋予方位t2，将较轻的权重赋予方向t1。

在一个特定优选实施例中，如果常数M被设定为正值，则常数N被设定为负值，以便方向t1和方位t2通过相反的方式被反映到远程临场机器人250的移动。

图7A示出根据本发明的所述特定优选实施例的由操作者的有意移动实现的远程临场机器人的移动。另一方面，图7B示出由操作者的无意移动实现的远程临场机器人的其它移动。

如图7A所示，当演讲者130有意将他/她的脸部位置朝向位于演讲者地点110中的本地远程临场机器人120的显示器时，本地远程临场机器人120跟随操作者的脸部，并且远端远程临场机器人160通过与演讲者的动作点对称的方式旋转其头部。当演讲者移动到他/她的右手侧时，远端机器人160旋转其头部以收集其左手侧的信息。

相比之下，当演讲者130将他/她的脸部方位更改为远离法线方位(在该方位上，脸部正好面对位于演讲者地点110中的本地远程临场机器人120的显示器，如图7B所示)时，远端远程临场机器人160通过相反的方式(与演讲者的运动同步的方式)旋转其头部。当演讲者将他/她的头部移动到左手侧时，远端机器人160旋转其头部以收集其左手侧的信息。

现在返回参考图5，在步骤S108，计算设备230通过通信224将所产生的运动参数作为控制信号提交给远端远程临场机器人。

在步骤S109，计算设备230判定控制是否结束。如果计算设备230在步骤S109判定控制未结束，则处理环回步骤S101。另一方面，如果计算设备230在步骤S109判定控制结束，则处理分支到步骤S110以结束处理。当远程临场机器人210关机或者断开与伙伴机器人的连接时，计算设备230可以判定控制已经结束。

在所描述的实施例中，步骤被描述为按照图5所示的顺序执行。但是，在其它实施例中，图5所示的任何步骤都可以按照多种顺序执行。特别是，S102和S103的步骤可以按照相反的顺序或者并行地执行。

根据图5所示的新颖处理，操作者的自然具身性可以由远端远程临场机器人在无需任何干扰操作者的自然脸部表情的附加设备(例如，HMD)，以及不给操作者带来太多认知负担的情况下，基于操作者的移动进行表现。操作者可以在没有任何明确动作的情况下切换其(他/她的)要被提交的操作移动和无意移动，以将操作与操作者的意图和表现相协调，以便在缺乏操作者意图的情况下增强社交临场感并不给操作者带来任何认知负担。

此处描述的远程临场机器人可以被用作远程讲座、研讨会或协同工作中的操作者的化身。远程临场机器人的硬件配置能够被简化以降低远程临场机器人的制造和操作(例如，安装、维护等)成本。

备选实施例

在本发明的一个或多个其它实施例中，远端远程临场机器人的运动参数可以包括以下至少一者：即，远端远程临场机器人的一部分(例如，头部、脸部、眼睛等)的一个或多个角度、安装在远端远程临场机器人中的摄像机的一个或多个角度、安装在远端远程临场机器人中的显示器的一个或多个角度、以及安装在远端远程临场机器人中的一组摄像机和显示器的一个或多个角度。

现在参考图6B，将描述根据本发明的其它示例性实施例的远程临场机器人，其中摄像机和显示器在每个扫视和俯仰致动器的作用下沿两个轴线中的每个轴线单独移动。

在图6B所示的特定实施例中，远程临场机器人的一个或多个运动参数包括多个参数，每个参数与远端远程临场机器人的不同部分(例如，脸部或显示器以及眼睛或摄像机)对应。在该实施例中，能够由关于方向t1和方位t2的不同函数来确定每个参数。

在与图6B所示的远端远程临场机器人相关的一个特定实施例中，图5所示的步骤S104到S107可以通过计算显示器的角度T_d和摄像机的角度T_c来完成，这两个角度中的每一者通过以下公式确定：

公式4

其中t1表示方向，t2表示方位，M_d、M_c、N_d、N_c、K_d和K_c分别表示预定常数。

根据所述其它实施例，操作者的自然具身性可以由远端远程临场机器人基于操作者的移动被更精细地表现，其中能够单独地控制显示器的移动和摄像机的移动。

计算机程序实现

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现

此处使用的术语只是为了描述特定的实施例并且并非旨在作为本发明的限制。如在此使用的，单数形式“一”、“一个”和“该”旨在同样包括复数形式，除非上下文明确地另有所指。还将理解，当在此说明书中使用时，术语“包括”和/或“包含”指定存在声明的特征、整数、步骤、操作、元素和/或组件，但是并不排除存在或增加一个或多个其他特征、整数、步骤、操作、元素、组件和/或它们的组合。

以下权利要求中的对应结构、材料、动作以及所有功能性限定的装置或步骤的等同替换，旨在包括任何用于与在权利要求中具体指出的其它单元相组合地执行该功能的结构、材料或操作。所给出的对本发明的一个或多个方面的描述是示例性和描述性的，并非穷尽性的，并且也不限于所公开的发明形式。

在不偏离所描述的实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变化都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (15)

1.一种由计算设备基于操作者的移动产生用于远程临场机器人的控制信号的计算机实现的方法，所述方法包括：

基于获取所述操作者的至少一部分的图像的摄像机，计算所述操作者的所述至少一部分所在的方向；

计算所述操作者的所述至少一部分所指向的方位；以及

基于所述方向并结合所述方位，产生所述远程临场机器人的一个或多个运动参数作为所述控制信号，其中所述方向和所述方位被不同地反映到所述一个或多个运动参数，

所述方法进一步包括：

基于所述方向和所述方位中的至少一者，判定所述操作者是否将注意力集中于配备所述摄像机的显示器，所述显示器被配置为显示所述远程临场机器人的视图；

其中所述产生包括根据所述判定的结果对所述方向和所述方位不同地加权。

2.根据权利要求1所述的方法，其中所述加权包括：

在所述操作者将注意力集中于所述显示器的情况下，对所述方向设定较重的权重并且对所述方位设定较轻的权重。

3.根据权利要求1所述的方法，其中所述加权包括：

在所述操作者将注意力集中于所述显示器以外的情况下，对所述方向设定较轻的权重并且对所述方位设定较重的权重。

4.根据权利要求1所述的方法，其中所述远程临场机器人的所述一个或多个运动参数包括多个参数，每个参数均对应于所述远程临场机器人的不同部分，每个参数由关于所述方向和所述方位的不同函数来确定。

5.根据权利要求1所述的方法，其中所述远程临场机器人的所述一个或多个运动参数包括以下至少一者：所述远程临场机器人的一部分的一个或多个角度、安装在所述远程临场机器人中的远程摄像机的一个或多个角度、安装在所述远程临场机器人中的远程显示器的一个或多个角度、以及安装在所述远程临场机器人中的一组远程摄像机和远程显示器的一个或多个角度。

6.根据权利要求1所述的方法，其中所述远程临场机器人的所述一个或多个运动参数包括由以下公式确定的所述远程临场机器人的角度T：

[公式1]

其中t1表示所述方向，t2表示所述方位，M、N和K分别表示预定常数。

7.根据权利要求1所述的方法，其中所述方向被以点对称方式并且所述方位被以同步方式从所述操作者的移动反映到所述远程临场机器人的移动。

8.根据权利要求1所述的方法，其中所述操作者的所述至少一部分是所述操作者的脸部，并且所述远程临场机器人具有被配置为显示所述操作者的所述脸部的远程显示器、被配置为收集所述远程临场机器人周围的信息的远程摄像机、以及被配置为沿至少一个轴线致动所述远程摄像机和所述远程显示器中的至少一者的一个或多个致动器。

9.根据权利要求1所述的方法，其中所述计算设备配备所述摄像机、被包括在所述远程临场机器人中、或者被连接到所述远程临场机器人。

10.一种远程临场系统，其包括基于操作者的移动产生用于远程临场机器人的控制信号的计算设备，所述计算设备包括：

方向计算器，其被配置为基于获取所述操作者的至少一部分的图像的摄像机，计算所述操作者的所述至少一部分所在的方向；

方位计算器，其被配置为计算所述操作者的所述至少一部分所指向的方位；以及

产生器，其被配置为基于所述方向并结合所述方位，产生所述远程临场机器人的一个或多个运动参数作为所述控制信号，其中所述方向和所述方位被不同地反映到所述一个或多个运动参数；以及

判定器，其被配置为基于所述方向和所述方位中的至少一者，判定所述操作者是否将注意力集中于配备所述摄像机的显示器，所述显示器被配置为显示所述远程临场机器人的视图，

其中所述产生器进一步被配置为根据所述判定的结果对所述方向和所述方位不同地加权。

11.根据权利要求10所述的远程临场系统，其中所述产生器进一步被配置为在所述操作者将注意力集中于所述显示器的情况下，对所述方向设定较重的权重并且对所述方位设定较轻的权重。

12.根据权利要求10所述的远程临场系统，其中所述产生器进一步被配置为在所述操作者将注意力集中于所述显示器以外的情况下，对所述方向设定较轻的权重并且对所述方位设定较重的权重。

13.根据权利要求10所述的远程临场系统，其中所述远程临场机器人的所述一个或多个运动参数包括多个参数，每个参数均对应于所述远程临场机器人的不同部分，每个参数由关于所述方向和所述方位的不同函数来确定。

14.根据权利要求10所述的远程临场系统，其中所述操作者的所述至少一部分是所述操作者的脸部，并且所述远程临场系统进一步包括：

所述远程临场机器人，其具有被配置为显示所述操作者的所述脸部的远程显示器、被配置为收集所述远程临场机器人周围的信息的远程摄像机、以及被配置为沿至少一个轴线致动所述远程摄像机和所述远程显示器中的至少一者的一个或多个致动器；以及

本地机器人，其体现所述操作者，所述本地机器人具有被配置为获取所述操作者的所述脸部的图像的摄像机、被配置为向所述操作者显示所述远程临场机器人的视图的本地显示器、以及被配置为致动所述摄像机和所述本地显示器中的至少一者的一个或多个本地致动器。

15.根据权利要求10所述的远程临场系统，其中所述计算设备配备所述摄像机、被包括在所述远程临场机器人中、或者被连接到所述远程临场机器人。