CN101185054A - 用于控制设备的方法 - Google Patents

Abstract

本发明描述了一种用于控制设备(D1，D2)的方法。该方法包括步骤：使定点设备(1)在与待控设备(D1，D2)相关联的物体(O1，O2，O3)的方向上瞄准，该定点设备(1)包括照相机(2)和不可见光的源(3)，在该物体(O1，O2，O3)上或者在该物体(O1，O2，O3)中安置多个回射标记元件(M1，M2，M3，...，M11)，该回射标记元件(M1，M2，M3，...，M11)将至少一部分的由光源(2)发出的不可见光反射回定点设备(1)；产生由定点设备(1)瞄准的目标区域(A)的第一图像(IA)，在此光源(3)是停用的；产生由定点设备(1)瞄准的目标区域(A)的第二图像(IB)，在此至少在用于产生第二图像(IB)的一部分曝光时间期间，由光源(3)在指向的方向(P)上发出不可见光；处理目标区域图像(IA，IB)来确定回射标记元件(M1，M2，M3，...，M11)的存在；使用关于回射标记元件(M1，M2，M3，...，M11)的信息来识别待控设备(D1，D2)和/或确定用于所识别设备(D1，D2)的控制信号(CS1，CS2)。而且，本发明描述了用于控制设备(D1，D2)的适当系统和在这样的方法中使用的定点设备(1)。

Description

用于控制设备的方法

本发明涉及用于控制设备的方法和系统，并且涉及可用于这样的系统中的定点设备(pointing device)。

为了控制设备，比如任何消费电子设备例如电视机、DVD播放器、调谐器等等，通常使用遥控器。然而，在一般的家庭中，可以需要多个遥控器，通常每个消费电子设备一个遥控器。即便是对于通晓其拥有的消费电子设备的个人来说，记住每个遥控器上的每个按钮实际上是干什么的仍是一个挑战。而且，可用于一些消费电子设备的屏幕上菜单驱动导航经常不够直观，特别是对于那些不可能拥有对设备可用选项的深入了解的用户来说尤为如此。结果是：用户必须连续检查在屏幕上呈现的菜单以定位他正在查找的选项，然后向下看遥控器来寻找适当的按钮。经常地，按钮被给出非直观名称或者缩写。而且，遥控器上的按钮可能还执行另一功能，而该另一功能是通过首先按下模式按钮来接入的。

有时，可以用单个遥控器设备来控制多个设备。因为遥控器不能够在设备间进行区分，所以遥控器必须被配备有用于每个设备的专用按钮，并且用户在与希望的设备进行交互之前必须明确地按下适当的按钮。

对于通常的遥控器的一种可能的替换方案可以是定点设备。基于定点设备的用户接口系统从WO 2004/047011 A2可以得知，其公开内容这里被包括进来作为参考。这样的系统的概念在于：连接到照相机的定点设备可以用来通过指向一个物体而控制它周围的任何设备，所述物体例如是设备的外壳、屏幕、或者与设备相关联的任何其它应用或附件。定点设备的照相机产生目标区域的图像，这些图像被随后进行分析。

图像分析必须解决的主要任务是识别用户正在指向的物体，并且确定指向轴和物体的交叉点，该交叉点可以是用于为设备产生控制信号的准则。例如，如果用户指向显示菜单的屏幕，该菜单包括多个选项用于控制相关联设备，则交叉点产生用户正在指向的菜单的选项。在另一个例子中，用户可以指向位于DVD播放器的外壳上的“播放”按钮来开始播放电视片。

然而，当物体在形状和外观上相似时，例如同样大小和形状的一批电视机或者计算机显示器、或者消费电子设备比如录像机、DVD播放器等等，它们常常具有相似的外观，这时识别设备和/或正确交叉点的问题变得更加困难。即使这些物体在正常情况下是可以分辨的，在可见度差的情况下例如在黑暗的房间中也可能不再能做到这一点。

因此，本发明的一个目的是提供一种容易且合理的方式，其避开或者减少上面提到的自动识别物体和/或确定指向轴与物体的交叉点的问题。

为此，本发明提供一种用于控制设备的方法，该方法包括以下步骤：包括照相机和不可见光的源的定点设备瞄准在与待控设备相关联的物体的方向中，在该物体上或者在该物体中安置多个回射标记，回射标记元件将至少一部分的由光源发出的不可见光反射回定点设备。然后产生由定点设备瞄准的目标区域的第一图像，在此光源是停用的(inactive)，开且产生由定点设备瞄准的目标区域的第二图像，在此至少在用于产生第二图像的一部分曝光时间期间，由光源在指向方向上发出不可见光。因此，对于本领域的技术人员来说显然原理上第二图像也可以在第一图像之前产生。目标区域图像随后被处理来确定回射标记元件的存在，以及关于回射标记元件的信息用于识别待控设备和/或确定用于所识别设备的控制信号。

使用这样的方法来控制设备的适当系统实质上要求根据本发明的定点设备包括：用于在定点设备被瞄准的方向上发出不可见光的不可见光的源；用于在指向方向上产生目标区域的图像的照相机，该照相机对于由光源发出的不可见光的频率范围敏感；以及还包括同步单元用于同步光源和照相机，以便产生目标区域的第一图像，在此光源停用，以及产生目标区域的第二图像，在此至少在用于产生第二图像的一部分曝光时间期间，由光源在指向方向上发出不可见光。

另外，根据本发明，用于控制设备的这样的系统应当包括安置在与待控设备相关联的物体上或者物体中的多个回射标记元件，该回射标记元件将至少一部分的由光源发出的不可见光反射回定点设备，还包括图像处理单元用于处理目标区域图像来确定回射标记元件的存在，以及控制装置用于识别待控设备和/或使用关于回射标记元件的信息来确定所识别设备的控制信号。

回射元件已知为在光或者其他辐射来自的方向上发回光或者其他辐射而不管入射角度如何的设备，这不像反射镜，反射镜是仅当它刚好垂直于光束时才在光来处的方向上向回反射光。因此，回射标记元件的好处在于：定点设备中的光源不必为了给定点设备中的照相机获得来自标记元件的足够强度的反射信号而产生特别强的光束。因为对于定点设备的用户而言，能够看到所有物体的回射标记元件可能是使其不快的，因此光源、回射标记元件和照相机被配置来工作在人眼不可见的光谱的范围上。这样的范围可能例如是红外或者紫外区。仍可以借助于照相机来容易地识别的回射标记元件可以在图像的处理中被利用并且可以优选地用来明显地参与取向。

因为人们仅必须指向一个设备或者物体来在所产生的图像的基础上产生控制信号，所以根据本发明的方法和系统提供对相应定点设备的更容易的使用，该定点设备是一个通用控制工具。具体地，通过这里所描述的方法，用户可以通过这样的定点设备来容易地识别由回射标记元件标记的设备并且与之进行交互-即使与不同设备相关联的任何物体在外观上是相似的或者甚至是相同的，或者如果周围环境是在黑暗中的话。这种定点设备的能力连同如上所述的其方便的指向形式(pointing modality)，结合起来使得本发明成为用于日常生活的种种情况下的有力且实用的工具。

从属权利要求和随后的描述公开了本发明的特别有利的实施例和特征。

各种可能性考虑了识别第二目标区域图像中的回射标记元件。在优选方法中，用于确定回射标记元件的存在的处理步骤包括-优选地按单像素(pixel-wise)-从第二目标区域图像中减去第一目标区域图像以产生目标区域标记图像的步骤。这个目标区域标记图像然后仅显示回射标记元件，以便回射标记元件可以在这个图像中被清楚地识别。

为了减少用于识别待控设备和/或用于确定所识别设备的控制信号而必须被处理的数据量，优选地在这个方法中使用以下的两步骤过程：

在第一步骤中，目标区域图像的图像数据被预处理以确定任何回射标记元件的存在。在这个步骤中，第一目标区域图像和/或第二目标区域图像和/或目标区域标记图像的图像数据依赖于所安置的回射标记元件而被提取。所提取的图像数据例如可以只是所安置的回射标记元件的图像坐标或者可以是标记元件周围的某些“感兴趣区”或者是从图像可提取的任何其他数据。关于某些被识别元件的图像中的这样的信息在本发明的意义上被视作图像数据。可选地，该设备还可以通过使用回射标记元件在这个步骤中加以识别。

在第二步骤中，所提取的图像数据被进一步加以处理，例如来识别该设备-如果这在第一步骤中没有进行的话，和/或用于确定所识别设备的控制信号。具体地，在这个进一步的处理步骤中，指向轴与用户已经指向的物体的交叉点可以被确定，并且取决于物体和/或关联设备的控制信号可以根据这个交叉点被确定。

优选地，用于进一步处理的图像数据借助于按照待控设备而规定的滤波器规则(filter rule)来提取。例如，设备可能请求特定的滤波，并且定点设备包括恰当的滤波器装置，其具有用于为各种设备存储滤波器规则的存储器。用于设备的滤波器规则可能例如指定在图像数据中寻找所有三角形回射标记元件，或者要寻找具有最小尺寸的回射标记元件。同等地，滤波器规则可能指定寻找分离一定距离并且相互具有某一取向的回射标记元件的特定组合。

而且，滤波器规则还可以指定当识别出某些回射标记元件或者回射标记元件的组合时将要选择哪一图像数据。这样，用于设备的第一滤波器规则可能指定仅转送所安置的回射标记元件的坐标。另一设备的滤波器规则可能指定除了所安置的回射标记元件的坐标之外，还转送关于回射标记元件的形状和取向的信息，这样使得例如包含所识别的回射标记元件的目标标记图像的图像数据也被转送。还有其他滤波器规则可以指定也应当发送某些图像区域，例如在所识别的回射标记元件的中心周围的一个10×10像素的正方形区域。同等地，可以规定标记元件周围的任何其他种类的图像区域。

滤波器规则优选地被如此指定，使得图像数据的选择最佳地被执行，这样一方面选择最小可能的数据量用于处理，而另一方面选择足够的数据量来保证控制信号可以相当快地被确定。这样，对于一个设备，只是关于回射标记元件的位置信息被转送便足够了，并且如果希望的话，也转送描述例如它们的形状和大小的信息。这些回射标记元件应当例如位于设备外壳的前面，在其上某些按钮被安置在确定的点上，回射标记元件的坐标足以确定指向轴与设备外壳的前面的交叉点，并且足以确定用户当前将定点设备瞄准在哪个按钮上。在另一个例子中，例如屏幕显示多个频繁改变的菜单项，则选择更大数量的数据可能是有利的。在这样的例子中选择第一或者第二目标区域图像中的所有图像数据可能是有利的，目标区域图像包括在所识别的回射标记元件之间的屏幕的至少一部分。在这些图像数据的基础上，识别交叉点或者所选菜单选项可能变得更容易。

在本发明的特定优选实施例中，目标区域图像或者目标区域标记图像的预处理在定点设备本身中执行。换言之，回射标记元件以及可选地被指向的物体或者设备在定点设备中被识别。

然而，这样的定点设备(其优选地被实现为舒适地持在手中)的计算能力必然地很受复杂计算过程所要求的能力的限制。因此，所提取的图像数据优选地被传送到与待控设备相关联的控制单元用于进一步处理。这个控制单元确定用于待控设备的控制信号。这个控制单元可以例如是设备的一部分并且被结合在设备本身的同一外壳中。在另一实施例中，这个控制单元可以被实现为单独的实体，其可以以任何适当的方式与待控设备进行通信，由此这样的控制设备可以有能力控制不止一个设备。

在一个优选实施例中，定点设备传送根据特定滤波器规则提取的图像数据连同用于识别所关联的滤波器规则和/或与这个滤波器规则相关联的设备的信息信号(以下称作“滤波器标识符”)。这允许定点设备以广播方式与所关联的信息信号一起传送图像数据。具体地，当各种设备被指配给不同的控制单元时，其中每个控制单元仅与它自己的设备相关联，这个方法的好处在于定点设备不必识别待控设备，但是必须仅识别所存储的滤波器规则及其相关联的滤波器标识符。每个设备控制单元可以基于滤波器标识符来从广播信号滤出相关数据，并且因此仅需要处理预定给那个控制单元的相关图像数据。

这个方法因此以有利的方式保证了：一方面，定点设备中的图像处理相当有限，而另一方面，在定点设备和控制单元之间的数据转送可以大大减少。这个方法因此也适用于有限的通信带宽，比如当前短距离无线电信道比如蓝牙等等可用的。而且，考虑了可用于当前消费电子设备和定点设备的相当有限的处理能力。

在识别出匹配多个滤波器规则的回射标记元件的情况下，不需要不止一次地发送根据滤波器规则提取的图像数据。由于广播传送的方法，所以在预处理期间在定点设备中提取充足的图像区域以满足各种滤波器规则的要求、以及这些图像区域然后与关于所应用的滤波器规则或者相应设备的信息例如滤波器标识符一起被传送，便足够了。在这个例子中，设备或者它们相关联的控制单元接收比它们可能实际要求的更多的数据。然而，总的转送数据量可以以这种方式被保持最小。

特别地，在优选方法中，若借助于不同设备所请求的滤波器规则提取的图像数据的数量超出一定水平，则整个第一或者第二目标区域图像并且可选地目标区域标记图像或者回射标记元件的图像数据，例如回射标记元件的坐标，被传送到控制单元。例如，当整个第一目标区域图像的图像数据量少于根据滤波器规则提取的图像数据的整体量时，这有意义。还是在这个例子中，除了传送整个目标区域图像之外，所有相关滤波器的滤波器标识符也被传送，这样相应的控制单元知道所传送的图像是预定给它们的，并且它们必须以适当的方式执行进一步处理。

回射标记元件可以是如上所述的、使用其可以获得回射效果的任何类型的元件。回射效果通常可以以不同的方式来获得：

a)回射元件包括一组三个垂直镜-其形成了一个角(角形反射器或者角隅棱镜(corner cube))，和具有折射系数2的材料的透明球体。

b)回射元件可以由结合在薄片中或者涂料(paint)中的这些结构的许多很小型式组成。在包含玻璃珠的涂料的情况中，涂料使得珠子粘附到要求回射的表面上，并且珠子从涂料突出来，它们的直径约是涂料涂层厚度的两倍。

因此，可能例如将适当的涂层涂覆到各个物体的表面-例如待控设备的外壳-这样回射标记元件形成了物体或设备的外壳的组成部分。

另一种选择可能是使用粘附物形式的回射标记元件，该粘附物被简单地施加到物体或设备的表面。这样的自粘附回射箔，通常特征为嵌入式玻璃微珠，可以各种颜色得到，比如那些由Orafol Klebetechnick GmbH公司制造的。此外，可得到回射箔可以印制的一系列颜色。

优选地，使用了回射标记元件，其在可见光范围内看起来是透明的或者与它们被施加到的物体的表面是相同的，这样它们不改变物体的外表的外观并且这样用户乍看起来将不知道回射标记元件。

回射标记元件优选地被设计，即成形和着色，并且以特定的方式加以安排以给出与待控设备的物体间接关联或者与待控设备直接关联的唯一标识符。

当要使用粘附物时，用户自己可以将这些施加到他希望使用的、借助定点设备进行控制的设备或者相关联的物体上。为此，用户可以在购买到定点设备或者某个待控设备时被给以一组回射标记元件来适当施加。对于用户来说不必以固定的预定义方式来施加回射标记元件或者精确地测量出准确位置。对于回射标记元件的用于进一步处理的所有要求的信息可以在建立或者初始化程序中获得，其中在将粘附物附连到物体上之后用户被要求将定点设备瞄准物体达几秒钟。使用这样的训练模式，用户可以通过适当的用户接口指定要与当前可识别的回射标记相关联的那个设备，由此相应设备或者控制单元然后可以独立地确定要供该设备使用的滤波器规则。

如果用户购买到他希望能够用他现有系统中的定点设备进行控制的新设备，假定该设备包含合适的回射标记元件，则该设备可以在初始化程序中立即传送滤波器规则给定点设备，以便未来这个滤波器规则将由定点设备考虑进去，并且根据这个滤波器规则提取的数据将被传送到该设备或者相应的控制单元。

本发明使得可能使用以下的有利技术：

例如，只要被指向的设备或者物体被识别为相关，就可以提供一种类型的视觉反馈。具体地，当光源发出紫外光时，可能暂时使合适的荧光层或者涂层可见，例如以设备的前面板上的按钮边缘(button surround)的形式，该按钮边缘反射可见光。

如果不可见光的源是红外光源，则在本发明的一个优选实施例中有可能在定点设备的帮助下控制这样的传统设备，该传统设备不能通过以已经描述的方式来简单地指向相关联物体而进行控制。在这样的情况下，红外光源可以用于直接向设备发送适当代码，比如当前通常可用的红外遥控器便是这种情况。为此，设备可以例如首先通过上述方法所识别。随后，适当的控制信号可以在专用控制单元中为该设备而产生并且以适当形式传送到定点设备。这个控制信号最后可以以红外信号的形式从定点设备传送到待控设备。当然需要控制单元在初始化程序中获得用于稍后识别待控设备和用于产生适当控制信号所需的信息。基本上对于定点设备本身来说有可能包含(feature)一个适当的控制单元用于控制这样的设备。

此外，在一个优选实施例中有可能缩小或者放大感兴趣区，即，依赖于照相机传感器与物体之间的距离，使用照相机传感器的更大或者更小区域。由此解决了识别一个物体、而该物体如此接近于定点设备以致于它不适合一个图像的问题。同等地，分辨率可以根据到物体的距离而变化。

为了确定例如在指向轴和物体之间的交叉点，可以应用计算机视觉算法(computer vision algorithm)。

使用计算机视觉算法处理物体的目标区域图像的所提取图像数据的方法可能包括检测目标图像数据中的区别点(distinctive point)，确定设备的物体模板中的对应点，并且开发一个变换用于将图像数据中的点映射到模板中的对应点。图像数据的区别点可能是回射标记元件，但是同样(附加地)可能是物体本身的区别点或者设备周围区域中的点。这个变换然后可以用于确定定点设备相对于物体的位置和方位以使得指向轴与物体的交叉点可以位于模板中。这个交叉点在模板中的位置对应与待控设备相关联的物体上的目标点并且可以用来容易地确定哪个选项已经被用户做为目标。这样，比较图像数据与预定义模板可以被限制来仅识别和比较突出点比如不同的隅角点(distinctive corner point)。可应用到本发明中的术语“ 比较”将被广义地理解，即通过仅比较足够的特征以便快速识别用户正在瞄准的选项。

为了易于使用，定点设备可以为棒或者钢笔的形状，以伸长的形式使得可以被舒适地抓住并且易于由用户四处携带。该用户可以因此将定点设备定向到要被控制、而同时被放置在相距那个设备一定距离的设备上。同等地，定点设备可能被制成手枪的形状。此外，附加的可见光源可能被安装在定点设备中或者定点设备上，用来照亮定点设备被瞄准的区域，这样用户可以容易地定位待控设备，即使周围一片黑暗。同等地，产生可见激光光束的激光源可能被结合在定点设备中或者定点设备上以准确地向用户显示他将定点设备瞄准何处。

上面所述的定点设备和控制单元结合来给出有力的控制系统，实际地用于任何种类的环境，比如家庭、办公室、博物馆、医院或者旅馆环境。根据本发明的方法可以应用到任何电地或者电子地可控的设备。此外，控制单元和待控设备可以包括任何数量的模块、部件或者单元，并且可以以任何方式来分布。

本发明的其他目的或者特征将从下面结合附图考虑的具体描述中变得明白。然而，应当理解附图仅被设计来用于解释说明的目的而不是作为限制本发明的限定。

图1是用于控制设备的系统的示意图，显示了根据本发明的一个实施例的定点设备和两个设备；

图2a是设备的显示器的目标区域图像，在该显示器上安置了四个回射标记元件；

图2b显示了根据与显示器的设备相关联的滤波器规则从图2a的目标区域图像中提取的图像数据；

图3是显示了根据本发明的一个实施例的一个物体、其相关联的模板、以及由定点设备产生的目标区域图像的示意图。

在整个附图中，同样的数字指同样的物体。所描述的定点设备由用户手持和操作，图中未显示这一点。

图1显示的系统包括两个待控设备D₁、D₂和可以用其控制设备D₁、D₂的定点设备1。在这个例子中，与对应设备D₁、D₂相关联并且可以借助于定点设备1中的照相机2来识别的物体O₁、O₂，是实际设备D₁、D₂的外壳或者外罩。尽管在这个例子中仅显示了两个设备，但是当任意多个设备被配置用于根据本发明的方法中时，可以借助于定点设备1来控制这样的附加设备。

第一设备D₁是具有屏幕的电视机。第二设备例如是具有显示器14和在其前面板上具有各种按钮15的立体声系统的调谐器。为了解释说明的目的，定点设备1被显示在比待控设备D₁、D₂更大的比例尺上。持在手中的定点设备1将通常比待控设备D₁、D₂小得多。

这些设备D₁、D₂中的每个被配备有其自己的控制单元C₁、C₂，控制单元C₁、C₂这里为了清楚起见被显示为在它们的对应物体O₁、O₂旁边的单独的实体。优选地，这些控制单元C₁、C₂的每一个将被结合在对应设备D₁、D₂的外壳中。

然而，基本上可能给如图所示的设备D₁、D₂配备以外部控制单元。例如，设备可以被升级来与这样的控制单元一起工作，只要它具有适当的控制输入，借助于该控制输入，控制模块C₁、C₂可以发送控制信号CS₁、CS₂到相关联的设备D₁、D₂。例如，系统可能通过取一个传统设备来组成，比如通常借助红外遥控器被控制的设备，并且允许这由配备有适当的红外发射器的控制单元服务，只要该设备能够接收从控制单元发送的红外信号即可。这样，借助于外部控制单元，任何设备可以被升级，使得它可以使用根据本发明的方法来控制。

根据本发明，回射标记元件M₁、M₂、M₃、M₄、M₅、M₆、M₇被施加到对应设备D₁、D₂的物体O₁、O₂的外罩上。这些可以例如是透明的或者具有与它们被施加到的外罩O₁、O₂表面相同颜色的粘附物，这样它们不被发觉。可选地，这些回射标记元件M₁、M₂、M₃、M₄、M₅、M₆、M₇可能被直接集成在外罩O₁、O₂的表面中，例如在涂料本身中。在上面的例子中，回射标记元件M₁、M₂、M₃、M₄、M₅、M₆、M₇具有不同的形状。这里，附连到电视机D₁的两个回射标记元件M₁、M₂具有三角形形状。另一回射标记元件M₃的特征为具有圆角的纵向形状，并且第四回射标记元件M₄为长方形形状。在第二设备D₂的情况中，使用了两个圆形的回射标记元件M₅、M₆和另一十字形的回射标记元件M₇。这些回射标记元件M₁、M₂、M₃、M₄、M₅、M₆、M₇的形状与它们的相对位置一起产生了与待控设备D₁、D₂相关联的唯一标识符。使用无对称转动轴的回射标记元件，或者使用回射标记元件的组合，具有这样的好处，即：回射标记元件因此清楚地描述了它们的取向，并且在稍后的识别步骤中将不必应付有关取向的不确定性。

定点设备1包括本发明所需的以下部件-照相机2、不可见光的源3、同步单元4、包括有帧缓冲器6、减法单元7和数字信号处理器(DSP)8的处理单元5。此外，定点设备1包括无线通信模块9，使用该无线通信模块，数据可以被传送到设备D₁、D₂的控制单元C₁、C₂以及从其接收。

不用说，定点设备1除了上述那些部件之外还可以包括其他部件，例如按钮、或者一种类型的用户接口，用户可以通过该用户接口输入附加命令用于产生对设备的控制信号。关于这样的附加部件，再次参考WO2004/047011 A2，其中用于这样的定点设备的多个附加部件被具体加以描述。该定点设备还可以用于以这里所描述的方式产生控制信号。例如，除了简单地指向目标之外，定点设备还可以以特定的方式或者姿势被移动，其可以以特定的方式被解释以用于产生控制信号。

下面具体描述图1中所示的定点设备1和控制单元C₁、C₂的各个部件的功能。

同步单元4的两个定时器4a、4b被用来以这样的方式控制照相机2和光源3，即：产生在指向的方向上目标区域A的第一目标区域图像I_A。这个第一目标区域图像I_A被存储在帧缓冲器6中并且还被转发到DSP8。在短的延时(该延时应当短得以至于定点设备相对于目标区域的任何运动在那时被忽略不计)之后，产生第二目标区域图像I_B。在产生第二目标区域图像I_B期间，光源3是起作用的，至少是暂时地起作用。由光源3发出的不可见光在定点设备1的方向上并且由此在照相机2的方向上，从物体O₁的回射标记元件M₁、M₂、M₃、M₄反射回来，物体O₁在这个例子中为电视机的外罩O₁。第二目标区域图像I_B被转发到减法单元7，其中存储于帧缓冲器6中的第一目标区域图像I_A被从第二目标区域图像I_B按像素相减，产生目标区域标记图像I_M。在这个目标区域标记图像I_M中，各个回射标记M₁、M₂、M₃、M₄可以清楚地被识别。这个图像以及第一目标区域图像I_A由DSP8处理。

首先，确定每个所识别的回射标记元件M₁、M₂、M₃、M₄的坐标。这可以使用各种已知的图像处理方法来完成。一种可能性是利用所谓的“哈里斯角检测器”。这是一种可以用于识别回射标记元件的角的方法。一旦回射标记元件的角或者边缘已经使用各种图像处理技术被识别，则回射标记元件的中心点例如可以相对于图像的坐标系统被确定。这些坐标然后当作图像数据用于进一步处理，例如用于识别用户正在瞄准的物体O₁。

某些滤波器规则FR₁、FR₂然后被应用以便确定是否已经在图像中检测到某些设备的潜在感兴趣的回射标记元件。为此，每个设备D₁、D₂可以例如通过发射器接口11、11’发送适当的设备特定的滤波器规则FR₁、FR₂到定点设备1的无线通信模块9。这些优选地伴随有适当的滤波器标识符IE₁、IE₂，每个相应的滤波器规则FR₁、FR₂有一个滤波器标识符IE₁、IE₂。DSP8然后可以借助于滤波器规则FR₁、FR₂，滤出来自目标区域图像I_A的所有感兴趣的数据。

例如，第一设备D₁的滤波器规则FR₁可能指定DSP 8在所有图像中搜索特定星座中的三角形和长方形回射标记元件M₁、M₂、M₃、M₄。与第二设备D₂相关联的另一滤波器规则FR₂可能指定搜索圆形回射标记元件M₅、M₆和十字形回射标记元件M₇。

一旦通过DSP8的图像处理找到了匹配滤波器规则FR₁、FR₂的相关回射标记元件M₁、M₂、M₃、M₄、M₅、M₆、M₇，则图像数据IE₁、IE₂被根据滤波器规则FR₁、FR₂进行选择。所选图像数据IE₁、IE₂可能仅包括所识别的回射标记元件M₁、M₂、M₃、M₄、M₅、M₆、M₇的坐标和/或某些显著点比如在这些回射标记元件M₁、M₂、M₃、M₄、M₅、M₆、M₇附近的角或者边缘的坐标。可选地，一种类型的置信测度比如信号强度测度，也可以被提供，表示识别的准确度。所识别的结构的取向也可以被提供。此外，在所识别的回射标记M₁、M₂、M₃、M₄、M₅、M₆、M₇周围的某个区域(感兴趣区域)内的像素也可以被提供。

下面，给出几个示例命令，通过其，要传输的图像数据-也称作“点形状(spot shape)”-可以在滤波器规则中用适当的命令定义来指定：

“ 无”：仅仅是坐标、而无任何另外的信息被传送。

“一个像素”：仅关于所识别回射标记的中心像素的颜色信息被传送(用于当使用在不可见光范围内具有不同颜色的回射标记时的情况)。

“长方形”：这个命令表示两个整数要被提供，这两个整数定义了将被传送的长方形图像提取的像素尺寸，该长方形图像的中心是所识别的回射标记元件的坐标的中心点。

“圆形”：使用这个命令，给定整数形式的半径，这样在回射标记元件的坐标的中心点周围以及位于从这个中心点起的这个半径内的所有像素将作为图像提取被发送到对应于这个滤波器规则的设备。

这样的所选图像提取的例子在图2a和2b中被给出。图2a显示了计算机显示器D₃。这个显示器是与计算机(图中未显示)相关联的物体O₃，其被借助定点设备来进行遥控。三角形标记M₈和十字形标记M₉已经被施加到显示器O₃的上边缘，而长方形标记M₁₀和另一三角形标记M₁₁已经被施加到下边缘。在标记M₈、M₉、M₁₀、M₁₁周围的某图像区域IE₃已经在由待控计算机指定的这些标记M₈、M₉、M₁₀、M₁₁的预定义滤波器规则的基础上为定点设备1提取。这些图像区域IE₃再次在图2b中被显示出。

如图1所示，仅所提取的图像区域IE₁、IE₂通过无线通信接口9被传送到设备D₁、D₂的控制单元C₁、C₂。为了让设备D₁、D₂识别图像数据IE₁、IE₂是预定给那个设备，图像数据IE₁、IE₂伴随有相应的标识符FI₁、FI₂，定点设备1已经在前面的初始化程序中由设备D₁、D₂(或者设备D₁、D₂的控制单元C₁、C₂)提供标识符FI₁、FI₂。

为了在设备D₁、D₂的控制单元C₁、C₂中处理图像数据，再次参考图1。控制单元C₁、C₂如上所述包括适当的无线通信模块11、11’，可以使用该无线通信模块11、11’来传送和接收数据。

识别是在标识符单元12、12’中执行以决定图像数据是否是预定给那个设备D₁、D₂的。指向方向且因此是指向方向与相应设备D₁、D₂的物体O₁、O₂的交叉点也可以发生在这个标识符单元12、12’中。

该数据随后被转发到设备控制信号产生单元13、13’，该单元然后使用该数据来产生实际的控制信号CS₁、CS₂。如果用户借助定点设备1上的用户接口比如适当的按钮或者通过使用定点设备1做出的姿势发出附加命令，则这些命令与图像数据IE₁、IE₂和滤波器标识符FI₁、FI₂一起也被转发，并且相应地在设备控制信号产生单元13、13’中也被处理。以这样方式产生的控制信号CS₁、CS₂然后被发送到设备D₁、D₂的相关部件。

如果各种滤波器规则被用于请求特定回射标记元件的不同类型的信息和不同图像形状，则所有图像数据优选地尽可能地被组合在单个传输中。例如，回射标记元件的坐标仅需要被提供一次。以同样的方式，图像数据比如某些像素值不应当被多重发送，以便保持数据量尽可能低。所有被应用的滤波器规则的滤波器标识符与图像数据一起被传送，这样相关设备可以相应地处理所接收的数据。

下面再次解释在根据本发明的方法的范围内设备可以如何借助定点设备来被控制。用户将不总是使定点设备直接在前方瞄准物体或者设备-更可能是定点设备1将以或多或少的倾斜角度瞄准物体，因为瞄准定点设备1经常比改变一个人自己的位置更方便。这在图3中加以例示，显示了由定点设备1产生的目标区域图像I_A的示意图，定点设备1从一定距离处和以倾斜的角度瞄准物体O₃，物体O₃在这个例子中为图2a的显示器，这样目标区域A中的物体O₃的比例和透视图在目标区域图像I_A中看起来是变形的。多个选项MP₁、MP₂、MP₃可以在显示器O₃的显示上看到。位于这个显示器O₃上的回射标记元件M₈、M₉、M₁₀、M₁₁和由与待控设备相关联的滤波器规则指定的图像数据(这里为感兴趣区域)也在图中显示出。用户(图中未显示)可能希望借助定点设备1来选择这些选项MP₁、MP₂、MP₃之一。

如前面在图2b下描述的，传送仅各个回射标记元件M₈、M₉、M₁₀、M₁₁的中心点以及在回射标记元件M₈、M₉、M₁₀、M₁₁的中心点周围的标记区域IE₃的坐标就足够了。在图3中，为了清楚起见而显示出整个目标区域图像I_A。从定点设备发送到控制单元并且用于以后处理的目标区域图像I_A的析取IE₃用虚线表示。这些数据与滤波器规则的标识符一起由定点设备传送。与显示器O₃相关联的设备的控制单元(图中未显示)可以解释标识符来看数据是否预定给这个设备，并且然后可以继续解释用户动作以便相应地控制设备。

为此，目标区域图像I_A的所提取的图像数据IE₃更详细地被检查。不管定点设备1关于设备D₁的角度如何，目标区域图像I_A总是以目标点P_T为中心。控制单元的图像处理单元比较目标区域图像I_A的所提取的图像数据IE₃与预定义模板T来确定由用户指向的选项MP₃。为此，使用与所提取的图像数据一起发送的坐标，在目标区域图像I_A中定位定点设备1的纵向轴(指向轴)与设备D₁的交叉点P_T。模板T中对应交叉点P_T的点然后可以被定位。

因此，回射标记元件的中心点的坐标[(x_a’，y_a’)，(x_b’，y_b’)，(x_c’，y_c’)，(x_d’，y_d’)]可以与模板T中的相应点[(x_a，y_a)，(x_b，y_b)，(x_c，y_c)，(x_d，y_d)]进行比较。另外，使用边缘与角检测方法的计算机视觉算法可以被应用来定位目标区域图像I_A的图像数据IE₃中的另外点，该另外点对应于设备的模板T中的点，以获取更高的精度。

每个点可以被表示为一个矢量，例如点(x_a，y_a)可以表示为

做为下一个步骤，变换函数T_□被开发以将目标区域图像I_A映射到模板T：

$f\left(\mathrm{\λ}\right)=\underset{i}{\mathrm{\Σ}}{|T_{\mathrm{\λ}}\left(\stackrel{\→}{v_i}\right)-\stackrel{\→}{v_i^{\′}}|}^2$

其中矢量

代表模板T中的坐标对(x_i，y_i)，并且矢量

代表目标区域图像I_A中的对应坐标对(x_i’，y_i’)。参数集□包括用于旋转和平移图像、产生对该函数最节省成本的解的参数，该参数集可以被应用来确定定点设备1关于物体O₃的位置和取向。计算机视觉算法利用了这样的事实，即定点设备1中的照相机2是固定的并且在指向姿势的方向上“看”。下一个步骤是计算定点设备1的纵向轴在指向方向P上与物体O₃的交叉点P_T。这个点可以被取作目标区域图像I_A的中心。一旦已经计算出交叉点的坐标，在模板T中定位这个点便是一件较容易的事情。这样，该系统可以确定用户正在瞄准的选项MP₃，并且可以产生与物体O₃相关联的设备的适当的控制信号。

尽管本发明已经以优选实施例及其变例的形式进行公开，但是应当理解可以对其做出各种另外的修改和改变而不背离本发明的范围。定点设备可以用作家庭中或者具有电地或者电子地可控设备的任何其他环境中的通用用户接口设备。简而言之，在用户可以通过指向来表示意图的无论何处，它都可以是有益的。它的小型因子(small form factor)和它的方便且直观的指向形式可以将这样的简单定点设备提升为有力的通用遥控器。作为对钢笔形状的备选方案，定点设备可以例如还是具有内置照相机的个人数字助理(PDA)、或者是具有内置照相机的移动电话。

为了清楚起见，还应当理解在整个申请中的“一”或“一个”的使用不排除多个，并且“包括”不排除其它步骤或者元件。除非明确描述为一单个实体，否则“单元”可以包括多个块或者设备。

Claims (12)

1.一种用于控制设备(D₁，D₂)的方法，该方法包括步骤：

-使定点设备(1)在与待控设备(D₁，D₂)相关联的物体(O₁，O₂，O₃)的方向上瞄准，该定点设备(1)包括照相机(2)和不可见光的源(3)，在该物体(O₁，O₂，O₃)上或者在该物体(O₁，O₂，O₃)中安置多个回射标记元件(M₁，M₂，M₃，...，M₁₁)，该回射标记元件(M₁，M₂，M₃，...，M₁₁)将至少一部分的由光源(2)发出的不可见光反射回定点设备(1)；

-产生由定点设备(1)瞄准的目标区域(A)的第一图像(I_A)，在此光源(3)是停用的；

-产生由定点设备(1)瞄准的目标区域(A)的第二图像(I_B)，在此至少在用于产生第二图像(I_B)的一部分曝光时间期间，由光源(3)在指向的方向(P)上发出不可见光；

-处理目标区域图像(I_A，I_B)来确定回射标记元件(M₁，M₂，M₃，...M₁₁)的存在；

-使用关于回射标记元件(M₁，M₂，M₃，...，M₁₁)的信息来识别待控设备(D₁，D₂)和/或确定用于所识别设备(D₁，D₂)的控制信号(CS₁，CS₂)。

2.根据权利要求1的方法，其中用于确定回射标记元件(M₁，M₂，M₃，...，M₁₁)的存在的处理步骤包括从第二目标区域图像(I_B)中减去第一目标区域图像(I_A)以产生目标区域标记图像(I_M)的步骤。

3.根据权利要求1或权利要求2的方法，其中：

-在目标区域图像(I_A，I_B)的图像数据被处理以确定回射标记元件(M₁，M₂，M₃，...，M₁₁)的存在之后，第一目标区域图像(I_A)和/或第二目标区域图像(I_B)和/或目标区域标记图像(I_M)的图像数据依赖于所安置的回射标记元件(M₁，M₂，M₃，...M₁₁)而被提取；

-并且所提取的图像数据(IE₁，IE₂，IE₃)被进一步加以处理用于识别待控设备(D₁，D₂)和/或用于确定所识别设备(D₁，D₂)的控制信号(CS₁，CS₂)。

4.根据权利要求3的方法，其中用于进一步处理的图像数据(IE₁，IE₂，IE₃)借助于按照待控设备(D₁，D₂)定义的滤波器规则(FR₁，FR₂)来提取。

5.根据权利要求3或4的方法，其中所提取的图像数据(IE₁，IE₂，IE₃)被传送给与待控设备(D₁，D₂)相关联的控制单元(C₁，C₂)用于进一步处理。

6.根据权利要求5的方法，其中定点设备(1)传送根据特定滤波器规则(FR₁，FR₂)提取的图像数据(IE₁，IE₂，IE₃)以及用于识别相关联滤波器规则(FR₁，FR₂)和/或与这个滤波器规则(FR₁，FR₂)相关联的设备(D₁，D₂)的信息信号(FI₁，FI₂)。

7.根据权利要求1至6的任一项的方法，其中如果借助于滤波器规则(FR₁，FR₂)提取的图像数据(IE₁，IE₂，IE₃)的量超出一定水平，则整个第一目标区域图像(I_A)或者整个第二目标区域图像(I_B)被传送给控制单元(C₁，C₂)。

8.根据权利要求1至7的任一项的方法，其中回射标记元件(M₁，M₂，M₃，...，M₁₁₎以特定方式被设计和/或安排以给出与待控设备(D₁，D₂)的物体(O₁，O₂，O₃)相关联或者与待控设备(D₁，D₂)相关联的唯一标识符。

9.根据权利要求1至8的任一项的方法，其中回射标记元件(M₁，M₂，M₃，...，M₁₁)在可见频率范围内看起来是透明的，或者在可见频率范围内看起来与它们被安置在其上或者其中的物体(O₁，O₂，O₃)的表面相同。

10.根据权利要求1至9的任一项的方法，其中回射标记元件(M₁，M₂，M₃，...，M₁₁)是粘附物。

11.一种用于控制设备(D₁，D₂)的系统(10)，包括：

-定点设备(1)，包括：

不可见光的源(3)，用于在定点设备(1)瞄准的方向(P)上发出不可见光，

照相机(2)，用于在指向的方向(P)上产生目标区域(A)的图像(I_A，I_B)，该照相机(2)对于由光源(3)发出的不可见光的频率范围敏感，

以及同步单元(4)，用于同步光源(3)和照相机(2)，这样使得产生目标区域(A)的第一图像(I_A)，在此光源(3)是停用的，并且产生目标区域(A)的第二图像(I_B)，在此至少在用于产生第二图像(IB)的一部分曝光时间期间，由光源(3)在指向的方向(P)上发出不可见光；

-多个回射标记元件(M₁，M₂，M₃，...，M₁₁)，安置在与待控设备(D₁，D₂)相关联的物体(O₁，O₂，O₃)上或者在该物体(O₁，O₂，O₃)中，该回射标记元件(M₁，M₂，M₃，...，M₁₁)将至少一部分的由光源(3)发出的不可见光反射回定点设备(1)；

-图像处理单元(5)，用于处理目标区域图像(I_A，I_B)来确定回射标记元件(M₁，M₂，M₃，...，M₁₁)的存在；

-以及控制装置(5，C₁，C₂)，使用关于回射标记元件(M₁，M₂，M₃，...，M₁₁)的信息来识别待控设备(D₁，D₂)和/或确定用于所识别设备(D₁，D₂)的控制信号(CS₁，CS₂)。

12.一种定点设备(1)，包括：

-不可见光的源(3)，用于在定点设备(1)瞄准的方向(P)上发出不可见光，

-照相机(2)，用于在指向的方向(P)上产生目标区域(A)的图像(I_A，I_B)，该照相机(2)对于由光源(3)发出的不可见光的频率范围敏感，以及

-同步单元(4)，用于同步光源(3)和照相机(2)，这样使得产生目标区域(A)的第一图像(I_A)，在此光源(3)是停用的，并且产生目标区域(A)的第二图像(I_B)，在此至少在用于制作第二图像(IB)的一部分曝光时间期间，由光源(3)在指向的方向(P)上发出不可见光。

Images