CN101009818B - 远程指示系统、远程指示方法 - Google Patents

Abstract

本发明公开了远程指示系统、远程指示方法和用于远程指示的程序产品。所述远程指示系统包括控制部分，该控制部分将为捕获对象的图像提供的图像捕获部分所捕获的图像传送给远程终端，并按照远程终端基于所述捕获的图像发出的指示来控制投影部分将注释图像投影到对象上。控制部分基于所述捕获的图像来测量对象表面的反射特性，并基于远程终端指示的注释图像的颜色与对象表面的反射特性之间的比较结果，转换将被投影到对象上的注释图像的颜色，然后将注释图像投影到对象上。

Description

远程指示系统、远程指示方法

技术领域

本发明一般地涉及一种远程指示系统(Remote instruction system)和一种远程指示方法。

背景技术

在远程会议系统中(remote conference system)，必须从远程侧向真实对象侧提供多种指示。作为能够从远程侧向真实对象侧提供指示的远程指示系统的例子，存在这样的已知的技术：在真实世界侧存在的目标对象被摄像机捕获，并且这样捕获的图像被传送到远程终端的同时，从真实对象侧的投影机将由远程终端基于被捕获的图像所确定的注释图像(annotation image)投影到目标对象上(见美国第2004/0070674号专利)。

在远程终端上可以自由地确定注释图像的形状和颜色。但是存在这样的问题：由于注释图像投影到的对象的表面的反射特性，当注释图像被实际投影到对象上时，注释图像好像具有不同的颜色。

发明内容

本发明鉴于上面的情况而作出，提供了远程指示系统和远程指示方法，其中可以将具有与在远程终端上所确定的颜色相同的颜色的注释图像投影到具有不同反射特性的对象上。

本发明一个方面提供了一种远程指示系统，其包括控制部分。控制部分向远程终端传送由被提供用于捕获对象的图像的图像捕获部分所捕获的图像，并依据远程终端基于被捕获的图像而发出的指示来控制投影部分将注释图像投影到对象上。控制部分基于被捕获的图像来测量对象表面的反射特性，并基于远程终端指示的注释图像的颜色与对象表面的反射特性之间的比较结果，转换将被投影到对象上的注释图像的颜色，然后将注释图像投影到对象上。按照本发明的一个方面，可以将具有与被远程终端确定的颜色相同的颜色的注释图像投影到具有不同反射特性的对象上。

在上述远程指示系统中，控制部分可测量对象表面中注释图像将投影到的部分表面的反射特性，并基于远程终端指示的注释图像的颜色与对象表面的反射特性之间的比较结果，转换将被投影到对象上的注释图像的颜色，并将注释图像投影到对象上。依据本发明的一个方面，因为不必测量对象整个表面的反射特性，因而可以以小的计算量投影具有与被远程终端确定的颜色相同的颜色的注释图像。

在上述远程指示系统中，控制部分可通过投影注释图像，测量对象表面中注释图像将被投影到的部分表面的反射特性。这消除了独立光源的必要性。在上述远程指示系统中，当将远程终端指示的注释图像的颜色与对象表面的反射特性进行比较时，控制部分可以比较相应的像素。在上述远程指示系统中，当将远程终端指示的注释图像的颜色与对象表面的反射特性进行比较时，控制部分可以比较构成各注释图像的像素值的平均值。

本发明另一个方面提供了一种远程指示方法，其包括：传送步骤，将对象的图像传送到远程终端；投影步骤，依据远程终端基于捕获的图像而发出的指示，控制投影部分将注释图像投影到对象上；测量步骤，基于所述捕获的图像测量对象表面的反射特性；以及转换步骤，基于远程终端指示的注释图像的颜色与对象表面的反射特性之间的比较结果，转换将被投影到对象上的注释图像的颜色，然后将注释图像投影到对象上。根据本发明的一个方面，可以将具有与被远程终端确定的颜色相同的颜色的注释图像投影到具有不同反射特性的对象上。

在上述远程指示方法中，测量步骤可以测量对象表面中注释图像将被投影到的部分表面的反射特性；转换步骤可以基于远程终端指示的注释图像的颜色与对象表面的反射特性之间的比较结果，转换将被投影到对象上的注释图像的颜色，然后将注释图像投影到对象上。依据本发明的一个方面，因为不必测量对象整个表面的反射特性，因而可以以小的计算量投影具有与被远程终端确定的颜色相同的颜色的注释图像。在上述远程指示方法中，测量步骤通过投影注释图像，测量对象表面中将被注释图像投影的部分表面的反射特性。依据本发明的一个方面，可以提供远程指示系统和远程指示方法，其中，可以将具有与被远程终端确定的颜色相同的颜色的注释图像投影到具有不同反射特性的对象上。

本发明另一个方面提供一种计算机可读介质，其存储使计算机执行用于远程指示的处理的程序，所述处理包括：将对象的图像传送到远程终端；依据远程终端基于捕获的图像而发出的指示，控制投影部分将注释图像投影到对象上；基于所述捕获的图像测量对象表面的反射特性；并基于远程终端指示的注释图像的颜色与对象表面的反射特性之间的比较结果，转换将被投影到对象上的注释图像的颜色，然后将注释图像投影到对象上。

附图说明

将基于附图详细说明本发明的实施例，在附图中：

图1是示出了远程指示系统的示例性实施例的结构图；

图2是示出了对象侧装置的服务器上的示例处理的流程图；

图3是示出了在远程终端的计算机上形成图像的示例处理的流程图；

图4是示出了在远程终端侧的示例操作的图；

图5是示出了在远程指示系统中转换注释图像的颜色并接着投影注释图像的情况的处理流程图；

图6A是示出了在远程终端上确定的注释图像的图；

图6B是示出了在远程终端上确定的注释图像的颜色分量(颜色A)的图；

图7A是示出了对象表面的注释图像将被投影到的部分的图；

图7B是示出了注释图像将被投影到的图像部分上的对象的颜色分量(颜色B)的图；

图8A是示出了在摄像机(camcorder)捕获的图像中注释图像的图；

图8B是示出了在摄像机捕获的图像中注释图像的颜色分量(颜色C)的图；

图9是示出了校正后的注释图像的颜色分量(颜色D)的图；以及

图10是在远程指示系统中转换注释图像的颜色并投影注释图像的情况下的另一处理流程图。

具体实施方式

现将参照附图说明本发明的实施例。图1是示出了远程指示系统1的示例性实施例的结构图。远程指示系统1包括对象侧装置10和远程终端100。对象侧装置10和远程终端100经网络300彼此连接，而能够互相通信。在图1中，仅示出了一个远程终端100，但是，正如随后将讨论的那样，可以有多个远程终端100通过网络300连接到对象侧装置10的服务器50。

对象侧装置10包括：用作图像捕获部分的摄像机20；用作投影部分的投影机40；用作控制部分的服务器50；半反射镜(half mirror)60；和用作相对位置改变部分的旋转台70。摄像机20例如由CCD摄像机组成，以捕获放置在旋转台70上的对象(目标对象)200，同时这样捕获的图像的信息被放进服务器50。摄像机20捕获通过半反射镜60传送来的图像。

投影机40由液晶投影机或类似的装置组成，并依据远程终端100基于捕获的图像而给出的指示将注释图像201投影到对象200上。另外，投影机40被布置为使其光学系统通过半反射镜60与摄像机20的光学主点大致一致。投影机40将服务器50传送的注释图像经过其光学系统和半反射镜60投影到对象200上。投影机40投影的注释图像经半反射镜60反射，投影到对象200上。注释图像包括任何图像类型，如线条、字符、图形等等。

旋转台70由服务器50控制，并且转动被置于旋转台70的上表面的对象200，以改变对象200相对于摄像机20和投影机40的位置。服务器50控制摄像机20、投影机40和旋转台70的操作，同时通过网络300向/从远程终端100传递/接收各种信息。

服务器50将摄像机20捕获的图像发送到远程终端100，并依据远程终端100基于这样捕获的图像而发出的指示将注释图像投影到对象200上。根据被置于旋转台70上的对象200的旋转(运动)，服务器50进行控制来改变投影机40投影的注释图像的投影位置。

远程终端100由显示装置110、计算机120、指示装置(鼠标)130等组成。显示装置110由液晶显示器、CRT或类似的装置组成。计算机120连接到网络300。指示装置130连接到计算机120。显示装置110在其显示屏上显示从对象侧装置10传送来的图像。指示装置130被用于利用在其上正在显示所捕获的图像的显示屏幕上的指针来操作各种按钮，以创建与将被投影到对象200上的注释图像相关的指示。指示装置130也被用于给出指示以利用旋转台70的旋转来旋转对象200。

接下来，参照图2到图4，说明具有上述结构的远程指示系统1的操作。图2是示出了在对象侧装置10的服务器50上的示例处理的流程图。图3是示出了在远程终端100的计算机120上形成图像的示例处理的流程图。图4是示出了在远程终端100侧的示例操作的图。

现参照图2，对象侧装置10的服务器50开始利用摄像机20捕获图像(步骤S11)，并确定是否有来自远程终端100的计算机120的连接请求(步骤S12)。如果有来自计算机120的连接请求，则服务器50通过网络300将摄像机20捕获的图像传送给远程终端100的计算机120(步骤S13)。

接着，服务器50确定是否有从计算机120传递来的控制信号(步骤S14)。控制信号包括绘制信号和位置控制信号，绘制信号是关于注释图像的绘制的信息，位置控制信号被提供用于转动旋转台70。如果服务器50接收到前述控制信号，则服务器50按照控制信号的内容执行控制信号处理(步骤S15)。

同时，如果服务器50没有接收到上述控制信号，则服务器50确定是否有断开请求(步骤S16)。如果没有断开请求，则服务器50返回到步骤S13，并通过网络300将最新捕获的图像传送给远程终端100的计算机120。如果有断开请求，则服务器50停止传送摄像机20捕获的图像(步骤S17)。然后，服务器50确定是否有处理结束请求(步骤S18)。如果没有结束请求，则处理返回到步骤S12，重复上面说明的处理。如果有处理结束请求，则处理终止。

下面给出远程终端100的操作说明。首先，如图3所示，远程终端100的计算机120向服务器50发出连接请求(步骤S21)。接着，在连接建立之后，例如如图4所示，计算机120在显示装置110的显示屏111上显示正在被对象侧装置10的服务器50传送的捕获的图像(步骤S22)。

接着，计算机120确定操作者是否给出了与捕获的图像中的关注区有关的指示(步骤S23)。如果有与关注区有关的指示，就按照指示执行处理(步骤S26)。具体地，如果在正在显示的图像中有操作者想投影注释图像的区域，则远程终端100的操作者在观看显示装置110的显示屏111上的图像的同时，操作指示装置130，而在显示屏111上移动指针Pt，并发出与关注区有关的指示，如图4所示。关注区是定义注释图像DR将被投影到的投影位置的区域，这时，操作者同时发出与将被投影到关注区的注释图像有关的信息的指示。

例如，通过操作该显示屏上形成的各种按钮BT等，可以指示诸如画好的矩形或圆形的图形信息、预先制备的位图图像、从键盘输入的文本信息。

计算机120将在步骤S26中指定的各种类型的信息传送到服务器50作为绘制信息(步骤S27)。

接下来，计算机120确定远程终端100基于摄像机20捕获的图像而发出的操作者的指示是否已经完成(步骤S28)。如果指示已被完成，则向服务器50发出断开请求(步骤S29)，并终止处理。如果远程终端100的操作者发出的指示没被完成，则处理返回到步骤S22以重复上述的处理。

在这里，如果远程终端100的操作者想旋转对象200，则操作者在观看如图4所示的正显示在显示屏111上的图像的同时，操作旋转按钮R1和R2，来指示旋转台70的旋转方向和旋转量，以便可以显示捕获的图像中对象200上操作者想投影注释图像的区域，或可以使对象200的观察位置最为合适。在显示屏111上提供旋转按钮R1和R2，以使旋转台70旋转。在步骤S23中，如果没有与关注区相关的指示(没有与注释图像相关的指示)，则计算机120确定将给出对象200的旋转指示，并进行与对象200的旋转相关的处理(步骤S24)。

接着，计算机120向对象侧装置10的服务器50发送与旋转量(其已由与对象200的旋转有关的处理所获取)有关的信息(移动量信息)(步骤S25)。这使得旋转台70旋转，并在对象侧装置10处改变对象200的旋转位置。在远程终端100的显示装置110上显示最新捕获的图像(步骤S22)。

下面将给出依据对象表面的反射特性而转换注释图像并接着将其投影的情况的操作的说明。图5是示出了在远程指示系统中转换注释图像的颜色，然后投影注释图像的情况的处理流程图。颜色例如可以以R(红)、G(绿)、B(蓝)三原色表达。“对象的颜色”是当光源发出的光在“对象”表面上被反射并进入人眼时人的反应。因而，“颜色”是“光”，“对象的颜色”是对象表面的反射特性。这是对物质感觉的基础。

首先，远程位置处的用户利用远程终端100的指示装置130等发出用颜色A绘制注释图像的指示。图6A是示出了在远程终端确定的注释图像的图。图6B是示出了在远程终端确定的注释图像的颜色分量(颜色A)的图。如图6B所示，用R＝0.2、G＝0.5和B＝0.6表示由颜色A确定的注释图像的颜色分量。

如果确定在远程终端100上注释图像是用颜色A绘制的(步骤S31)，则服务器50测量对象表面上注释图像将被投影到的部分的反射特性，即，在摄像机20捕获的图像中注释图像将被投影到的部分的颜色B(步骤S32)。图7A是示出了注释图像将被投影到的对象表面的部分的视图。图7B是示出了在图像中注释图像被投影到的部分上对象的颜色分量(颜色B)的视图。如图7B所示，它表示：R＝0.1、G＝0.2并且B＝0.3是在摄像机20捕获的图像中对象上的注释图像将被投影到的部分的颜色分量。在这里，由于在绘制阶段，哪个部分与注释图像对应是已知的，因而可以从捕获的图像中切出注释图像。因而，可以从摄像机20捕获的图像中切出注释图像的部分。随后，服务器50测量已切出的注释图像的颜色B。

在此，依据示例性实施例，为了减少计算量，测量的是将被注释图像投影到的对象部分的反射特性。但是可以计算所有对象的反射特性。由于在绘制阶段，捕获的图像中哪个部分与注释图像对应是已知的，所以通过测量将被注释图像以颜色A投影的位置的颜色B，可以切出捕获的图像中注释图像将被投影到的部分。

紧接着，服务器50利用投影机40以远程终端100指示的颜色A将注释图像投影到对象200上(步骤S33)。但是，由于对象200的表面反射特性，看起来注释图像201被以与颜色A不同的颜色投影。因而服务器50测量在摄像机20捕获的图像中的注释图像201的颜色C(步骤S34)。

图8A是示出了在摄像机20捕获的图像中注释图像的图。图8B是示出了在摄像机20捕获的图像中注释图像的颜色分量(颜色C)的图。如图8B所示，用R＝0.2、G＝0.4和B＝0.5表示在图像中注释图像的颜色分量(颜色C)。在这里，由于在绘制阶段，捕获的图像中哪个部分与注释图像相对应是已知的，因而可以从捕获的图像中切出注释图像。因而，可以从摄像机20捕获的图像中切出注释图像的部分。随后，服务器50测量已切出的注释图像的颜色C。

服务器50确定在远程终端100处由远程用户确定的注释图像的颜色A是否不同于在摄像机20捕获的图像中注释图像的颜色C(步骤S35)。服务器50将颜色A和颜色C分解为RGB色彩空间的颜色信息，并比较该颜色信息。然后，如果确定远程终端100确定的注释图像的颜色A不同于在摄像机20捕获的图像中注释图像的颜色C(在步骤S35中为“是”)，则服务器50基于远程终端100确定的注释图像的颜色A与在对象表面上(颜色C的)反射特性之间的比较结果，转换将被投影到对象200上的注释图像的颜色。即，服务器50按照颜色A和颜色C之间的差异计算校正后的颜色D。颜色D的计算公式在下面的表达式(1)中示出。

[表达式(1)]

$R_D=\frac{R_A-R_B}{R_C-R_B}{R}_A$ $G_D=\frac{G_A-G_B}{G_C-G_B}{G}_A$ $B_D=\frac{B_A-B_B}{B_C-B_B}{B}_A$

图9是示出了校正后的注释图像的颜色分量(颜色D)的视图。如图9所示，用R＝0.5、G＝0.75和B＝0.9表示校正后的注释图像的颜色分量(颜色D)。然后服务器50利用投影机40使用校正后的颜色D再次将注释图像投影到对象200上(步骤S36)。如果颜色校正处理被完成(在步骤S37中为“是”)，则整个处理完成。在远程指示系统1中，由于测量了对象表面的反射特性，并且依照对象表面的反射特性调节了将被投影的注释图像的颜色，因而，可以将具有实际确定的颜色的注释图像投影到具有不同反射特性的表面上。

图10是在远程指示系统中转换注释图像的颜色并投影注释图像的情况下的另一处理流程图。在图10所示的示例中，步骤S43被添加到在图5中所示的流程图。但是，其它的处理与在图5中示出的那些相同。在步骤S43，如果在远程终端100上释放了鼠标而完成了颜色A的绘制，服务器50使投影机40投影颜色A的注释图像。因此，在远程位置绘制中鼠标被按下/释放时，进入步骤S44，可简化处理。

在此，在为了将远程终端100处确定的注释图像颜色与对象表面的反射特性相比较，而比较对应的像素，并且转换注释图像的颜色的情况下，则利用最小二乘法可尽可能多地最小化相邻像素间的颜色差异。当通过比较远程终端100处确定的注释图像的颜色与对象表面的反射特性而校正注释图像的颜色时，服务器50可通过计算构成各注释图像的像素值的平均值并比较整个注释图像的颜色，来转换注释图像的颜色。

在至此的说明中，在颜色的比较和校正中已经说明了RGB颜色模型的示例，然而另选地，可使用诸如YUV模型、Lab模型等的颜色模型。在YUV颜色模型中，Y代表亮度，U代表蓝色色差，V代表红色色差。在Lab颜色模型中，L代表照明度，a代表绿色和洋红色(magenta)两种颜色的混合比例，b代表蓝色和黄色两种颜色的混合比例。

在上述的步骤S36中的颜色校正中，如果不可能通过校正获得同样的颜色(例如，颜色D变得超过1.0)，比较好的是优先组合颜色(YUV颜色模型中的U和V)。这时，尽可能将亮度(YUV颜色模型中的Y)调节到最大值。

在步骤S32和S33中，如果在测量图像中的颜色时，颜色超过了摄像机20的动态范围(例如，颜色B或颜色C超过了1.0)，则控制摄像机20的曝光时间。在此，在步骤S36中，如所说明的那样，比较好的是优先校正颜色。基于摄像机20的曝光参数e和特征函数f，将摄像机20和曝光参数设置为利用下面的表达式(2)计算校正后的颜色。在这里，预先测量函数f。

[表达式(2)]

$R_c^{,}=f(R_c,e)$

如此前说明的，按照本发明的示例性实施例，通过基于被捕获的图像来测量对象表面的反射特性，并基于这样测量出的对象表面转换注释图像的颜色，将注释图像投影到对象上，可将具有在远程终端处确定的同一颜色的注释图像投影到具有不同反射特性的对象上。另外，仅须测量对象表面中注释图像将被投影到的那部分的反射特性。这消除了测量整个对象表面的反射特性的必要性，因此用小计算量就能够使注释图像具有与远程终端确定的颜色相同的颜色。此外，由于只有注释图像被用于测量对象表面的反射特性，因而不必增加诸如标准光源等的硬件。同样，当仅基于对象表面的反射特性校正注释图像的颜色时，需要测量投影机和对象表面之间的距离。但是在依据本发明的示例性实施例所采用的远程指示系统1中，测量在对象表面中注释图像将被投影到的部分，并随后反馈给系统，因此消除了测量投影机40和对象表面之间的距离的必要性。同样，依据本发明的示例性实施例，在投影注释图像时，测量对象表面的反射特性用于颜色校正。即使对象的材质不同或对象的位置经常被移动，也可校正颜色。

在上述示例性实施例中，已经给出投影机被用作投影部分的情况的说明。但是，投影部分不局限于投影机。例如，可通过发射激光束等在对象上形成图像。

在上述示例性实施例中，对作为相对位置改变部分的示例的旋转台进行了说明。但是相对位置改变部分不局限于旋转台。例如，可以使用自动装置(robot)或类似的装置作为相对位置改变部分。在上述示例性实施例中，已经对对象被移动的情况进行了说明。但是，它可以被配置成这样的方式：移动用作图像捕获部分的摄像机或用作投影部分的投影机。

在上述示例性实施例中，已经给出了对在显示屏111上形成旋转按钮R1和R2以指示旋转台70转动的情况的说明。但是，指示转动的方法不局限于上面说明的旋转按钮。可以使用键盘或另选的方法。

在上述示例性实施例中，已经给出远程终端100通过网络300连接到服务器50的情况的说明。但是，连接不局限于网络。可以采用用于连接远程终端100和服务器50的另选的方法，可在对象200侧提供远程终端100。

在本发明的示例性实施例中使用的远程指示方法由远程指示系统1实现。服务器50或计算机120例如由中央处理单元(CPU)、只读存储器(ROM)和随机存取存储器(RAM)等组成。

为图示和说明的目的，提供了对上述本发明的示例性实施例的说明。并不想将发明穷举或限制为所公开的精确形式。显然，对本领域技术人员来说，很多变型和更改将是显而易见的。选择和说明的这些示例性实施例是为了最好地解释本发明的原理和它的实际应用，从而使本领域其他技术人员能够理解本发明的不同实施例，并能够使用不同的变型以适合预想的特殊应用。本发明的范围意在由下面的权利要求书和它们的同等物限定。

Claims (8)

1.一种远程指示系统，其包括控制部分和位置调整部分，

所述位置调整部分通过转动对象而操纵所述对象的位置和朝向，

所述控制部分向远程终端传送图像捕获部分捕获的图像，并依据远程终端基于所述捕获的图像发出的指示，控制投影部分将注释图像投影到对象上，所述图像捕获部分是为捕获对象的图像而提供的，

所述控制部分基于所述捕获的图像来测量对象表面的反射特性，并基于远程终端指示的注释图像的颜色与对象表面的反射特性之间的比较结果，通过使用最小二乘法来转换将被投影到对象上的注释图像的颜色，然后将注释图像投影到对象上，

如果释放了鼠标而完成了所述颜色的绘制，则所述控制部分使得所述投影部分投影所述颜色的注释图像。

2.根据权利要求1所述的远程指示系统，其中，所述控制部分测量对象表面中注释图像将被投影到的部分表面的反射特性，并基于远程终端指示的注释图像的颜色与对象表面的反射特性之间的比较结果，转换将被投影到对象上的注释图像的颜色，并将注释图像投影到对象上。

3.根据权利要求2所述的远程指示系统，其中，所述控制部分通过投影注释图像，测量对象表面中注释图像将被投影到的部分表面的反射特性。

4.根据权利要求1所述的远程指示系统，其中，在将远程终端指示的注释图像的颜色与对象表面的反射特性进行比较时，控制部分比较对应的像素。

5.根据权利要求1所述的远程指示系统，其中，在将远程终端指示的注释图像的颜色与对象表面的反射特性进行比较时，控制部分比较构成各注释图像的像素值的平均值。

6.一种远程指示方法，包括以下步骤：

操纵步骤，通过转动对象而操纵所述对象的位置和朝向；

传送步骤，将对象的图像传送到远程终端；

投影步骤，依据远程终端基于被捕获的图像发出的指示来控制投影部分将注释图像投影到对象上；

测量步骤，基于被捕获的图像来测量对象表面的反射特性；以及

转换步骤，基于远程终端指示的注释图像的颜色与对象表面的反射特性之间的比较结果，通过使用最小二乘法来转换将被投影到对象上的注释图像的颜色，然后将注释图像投影到对象上，

如果释放了鼠标而完成了所述颜色的绘制，则使得所述投影部分投影所述颜色的注释图像。

7.根据权利要求6所述的远程指示方法，其中，

测量步骤测量对象表面中注释图像将被投影到的部分表面的反射特性；

转换步骤基于远程终端指示的注释图像的颜色与对象表面的反射特性之间的比较结果，转换将被投影到对象上的注释图像的颜色，然后将注释图像投影到对象上。

8.根据权利要求7所述的远程指示方法，其中，测量步骤通过投影注释图像，测量对象表面中注释图像将被投影到的部分表面的反射特性。

Images