CN101223493A - 控制在命令区域上控制点位置的方法和用于控制设备的方法 - Google Patents

Abstract

本发明描述了一种控制在命令区域(A_CM)上的控制点(C)的位置(x′，y′)的方法，该方法包括步骤：将包括摄像机(2)的指示设备(1)朝着命令区域(A_CM)的方向对准；生成指示设备所对准的目标区域(A_I)的图像(I)；处理目标区域图像(I)以确定指示设备(1)所对准的目标点(T)；根据在当前定义的控制区域(A_CT)中目标点(T)的坐标(x，y)确定控制点(C)的坐标(x′，y′)，该控制区域(A_CT)至少部分地包括命令区域(A_CM)。此外本发明描述了一种用于控制在命令区域(A_CM)上的控制点位置(P)的适当的系统和指示设备(1)。

Description

控制在命令区域上控制点位置的方法和用于控制设备的方法

本发明涉及一种控制在命令区域上控制点位置的方法和用于控制设备的方法。而且，本发明涉及用于控制在命令区域上控制点位置的合适的系统和指示设备(pointing device)，以及用于控制设备的合适的系统。

为了控制一个设备，诸如任何消费电子设备，例如电视机、DVD播放器、调谐器等，通常使用遥控器。然而，在普通的家庭中，需要多个遥控器，经常对每个消费电子设备有一个遥控器。即使对于能够很好熟知他所拥有的消费电子设备的人，记位每个遥控器上的每个按钮实际上是用来做什么的也是种挑战。而且，一些消费电子设备上可用的屏幕菜单驱动导航(on-screen menu-driven)常常不够直观，部分是对于可能不具有设备上可用选项的深入知识的用户。结果是用户必须持续地检查在屏幕上呈现的菜单以定位他寻找的选项，然后向下看遥控器以寻找合适的按钮。相当经常地，按钮被给定了不直观的名字或缩写。另外，在遥控器上的按钮可能也执行另外的功能，其必须首先通过按模式按钮来访问。

有时，单个遥控器设备能够被用于控制多个设备。既然遥控器自身没有能力将一个设备与另一个区分开，遥控器必须装备有用于每个设备的专用按钮，用户必须在与所需要的设备交互之前明确地按合适的按钮。

通常遥控器的一个可能的替换方案是指示设备。基于指示设备的用户接口系统从WO2004/047011 A2中已知，其所公开的内容通过引用被包括于此。该系统的思想是连接至摄像机的指示设备可以被用来通过对准一个对象来控制在它周围的任何设备，例如对准设备的机罩(housing)、屏幕或与设备关联的任何其它应用或附件。指示设备的摄像机生成被对准的目标区域的图像，并且随后分析这些图像。

在用于控制设备的许多应用中，将被控制的设备的多个用户选项被可见地呈现在命令区域或图形用户界面上。如果例如电视机、个人计算机或膝上型计算机的设备具有屏幕、投影仪(beamer)或其它图像呈现装置，这种命令区域能够在图像呈现装置的辅助下而呈现。而且，将被控制的设备的命令区域可以任何其它方式而呈现，然后用于这个设备的选项能够呈现在其上面。例如，中央控制单元可以具有特征是一个显示屏，在上面呈现命令区域。由此，指示轴(pointing axis)(即，在捕获的图像的中心可见的点)的精确位置可以在命令区域中被确定。这允许例如控制在命令区域上例如光标的控制点，并因此通过菜单和使用图形用户界面通常可能的其它类型的交互，诸如建立草图(sketch)等来导航。其它重要的可能的交互模式可以包括“超出屏幕(beyondscreen)”交互，诸如当指向屏幕的上面或下面时向上或向下滚动，在屏幕间执行拖放(drag-and-drop)操作，通过执行预定义或用户定义的“在空间中(inthe air)”几何运动方式来表示。

为了允许从一个距离处对命令区域上的控制点的“类似鼠标(mouse-like)”控制，允许在高达由用户视力能力给定的最大可能距离上有精确的交互是必要的，用户视力能力即眼睛关于被控制对象的尺寸的分辨率。在视觉辅助的帮助下，这典型地超出了精确手动协调(accurate hand coordination)可能的范围。事实上，当至命令区域的距离变得相对较大时，直接交互发生的角度范围，即在该角度下从用户位置可以看到命令区域的角度，变得相对较小。结果，交互变得更加难以精确执行，这是因为持有指示设备的手的抖动和无意识的移动所带来的强大的负面影响。

因此，本发明的目的是提供一种容易的和合理的方式，其允许精确地控制在命令区域上的控制点，还可从较大的距离控制。

为了这个目的，本发明提供了一种控制在命令区域上控制点的位置的方法，其中(如上面提到的)包括摄像机的指示设备朝着命令区域的方向对准，由指示设备对准的目标区域的图像被生成并且目标区域图像被处理以确定指示设备对准的目标点。由此，根据本发明，根据在当前定义的控制区域中的目标点的位置确定在命令区域中的控制点位置，该控制区域至少部分地包括命令区域。因此，根据本发明，无论何时用户将指示设备对准“虚拟”控制区域中的真实的目标点(在下面也被称作“实际目标点”)，与虚拟控制区域有关的真实指示位置将被转换为与实际命令区域有关的虚拟指示位置，由此这个虚拟指示位置相应于控制点位置。

通过以根据本发明的方式在虚拟控制区域中确定真实目标点，并且通过将目标点的这个位置映射至当前命令区域，有可能为了定位目标点的需要而使控制区域适应当前情形。尤其有利地，控制区域可以相对于命令区域而被扩大，尤其是如果用户位于设备很远的情况中。虚拟控制区域的使用适合于在指示设备和命令区域之间的距离，这确保指示设备的轻微移动不会被解释为在命令区域内相应的较大移动，使得用户能够在命令区域中更精确地定向指示设备。这特别适用于指示设备的角度移动，其随着对于命令区域的距离增加导致命令区域中真实目标点的成比例地大线性运动。

“控制点”预定将意味着不仅仅是通常的光标，还是任何种类的可见反馈，用于给用户示出命令区域中他当前对准的点。例如，其可以是通过(如果有必要)一个分离的设备投射到命令区域上的一个光点。同样地，当控制点到达这样的区域中时，象征不同菜单项目的确定区域可以是高亮的，就像通常在菜单驱动图形用户界面中的情况。

由于通过合适的可见反馈示出了控制点，根据本发明的方法的用户将不会被给出他正在指向命令区域外面的印象，即使在很大的距离，虽然如此也是这样。如果他沿着指示设备的长度看他将仅仅注意到偏差。代替地，他简单地被给出对在命令区域中的控制点具有更好可控性的印象。

如上面所提到的，当用户期望在较大距离上与命令区域交互时这个方法特别有利。因此，相对于命令区域扩大控制区域是本发明的优选应用。然而，同样有可能创建小于实际命令区域的虚拟控制区域。一个例子可以是控制呈现设置，其中命令区域在呈现背景上被放大很大地显示，并且给出呈现的人站在相对接近背景的位置。在这种情形中，为控制区域指定较小的区域是适宜的，这样用户可以指向带有控制点的命令区域中的所有范围，但是使用指示设备的较小移动。

用于控制在命令区域上的控制点位置的适当的系统包括带有摄像机的指示设备和图象处理单元，所述摄像机用于生成指示方向上目标区域的图像，所述图象处理单元用于处理目标区域的图像以确定指示设备对准的目标点。根据本发明，系统必须还包括控制点位置计算单元用于根据当前定义的控制区域中的目标点的位置来确定控制点位置，该控制区域至少部分地包括命令区域。此外，系统应当包括控制点可视化单元用于命令区域上控制点的可视化。

从属权利要求和随后的描述公开了本发明特别有利的实施方式和特征。

在本发明的优选实施方式中，控制区域的尺寸和/或位置根据瞬时的指示条件和/或控制情形而被定义。术语“指示条件”不仅意味着距离，还意味着在指示设备和命令区域之间的角度。根据指示设备相对于命令区域的位置，不仅可以确定控制区域的尺寸，还有方位，即控制区域相对于命令区域是否向上、下或横向偏移。术语“控制情形”尤其意味着在命令区域中的菜单类型、个别菜单项目的大小等。例如，在具有大量菜单项目的菜单在命令区域中被显示的情况中，每个菜单项目只提供相对小的激活范围，即为了选择菜单项目指示设备必须对准的区域，其使得有必要提供扩大的虚拟控制区域，甚至在离命令区域相对较小的距离情况中，以便使得用户更容易地精确对准个别的菜单项目或它的激活范围。另一方面，如果在命令区域中示出只有相对较少的选项，具有相对较大的激活范围，控制区域保持与命令区域相同的大小就足够了，即使有较大的距离。

如上面提到的，控制区域的大小优选地首先根据在指示设备和命令区域之间的距离来定义。该方式存在多种可能性，在该方式中控制区域的大小根据在指示设备和命令区域之间的距离而扩大。

在一个实施方式中，如果在指示设备和命令区域之间的距离超出了确定的限制，则控制区域的尺寸被扩展或扩大。根据这个方法，例如，对于相对较小的第一距离控制区域能够与命令区域一致。如果用户将指示设备移动远离命令区域超过确定的距离门限，虚拟控制区域将扩大确定的数量。超过另一个进一步的距离门限，虚拟控制区域可以再次扩大确定的数量。根据距离，控制区域增大的逐步增加因此成为可能。距离门限由此可以基本上被选择为如所期望地小，这样显然地持续过渡成为可能。距离门限的值和相应的控制区域的尺寸可以被存储在一个表中。

可替换地，在控制区域的尺寸和离命令区域的距离之间合适的连续关系可以被定义在一个合适的函数中。例如，可以选择一个由距离决定的扩大系数，其指定虚拟控制区域的尺寸相对于命令区域的实际大小而被放大的程度。

优选地，至少对于非常大的距离，定义根据命令区域的尺寸扩大或重设控制区域的尺寸的大小的扩展系数将与在指示设备和命令区域之间的距离成比例。

在进一步的优选实施方式中，如果用户对准当前控制区域外的目标点，控制区域的尺寸被扩展，从而使得目标点落在新的控制区域之中。

使用这个特征的一个潜在的选择是一直使得能够直接交互，即，对于所有的距离虚拟控制区域都相应于物理命令区域，只要用户将指示设备对准在命令区域中的一个点。只有当用户指向命令区域外时，扩大系数的另一个值将被应用，因此允许相对缩放。然而这个方法具有的缺点在于显示边界的不连续。

在优选的可替换方案中(如在上面的可替换方案中)交互最初是直接的。如果用户将指示设备对准物理屏幕之外的点，扩展或扩大系数被增加这样使得实际指示轴和因此最终的实际目标点与(更新后的)虚拟控制区域的边界上的点相一致。在这个可替换方案中，扩展系数因此不再仅仅是距离的函数，还取决于用户行为。这样的操作可以被称为“挤(punch)”，由于当指示位置(明显地)试图通过它们时，虚拟控制区域表现好像它的边界被推或挤压出去。优选地，最小距离和/或最小时间可以在这个条件触发之前被应用。

为了允许“超出屏幕(beyond-screen)”交互，例如通过指向屏幕的上/下而向上/下滚动，这个特征可以只在一个方向(在这个情况中是X轴)上被启动，或者它可以只是矩形控制区域的四个边的一个是“可挤压”的。在任何情况中可以检测这个事实，即用户放好指示设备或开始指示房间中的其它一些设备，这样这些事件将不会导致虚拟屏幕区域的挤压。

在优选实施方式中，控制区域的尺寸在确定的时间段后又会减少，该时间段期间用户不指向当前控制区域的确定的范围之外的目标点。例如，如果用户不再次挤压瞬时控制区域的边界，则扩展系数随着时间慢慢减小，最终收敛向为1的值。优选地，时间常数相对较长，例如以秒至分钟的数量级。虚拟控制区域将因此适于用户优选的尺寸。这个可替换方案也将指导这样的用户，他在这个直接指示方法中不熟练的的，但是其可以熟练使用间接控制方法，诸如使用计算机鼠标，以自动地使得从相对指示范例到直接操作范例的心理转变。

由于指示设备允许控制非常不同的设备，特别地是可以彼此紧紧靠近的设备，邻近设备的控制区域的冲突应当被避免。两个不同设备的控制区域的重叠将导致关于哪个设备是用户实际对准的含糊的结论。有多种可能性以处理这样的情况。

在第一个(非常简单的)解决方案中，邻近命令区域的控制区域被选择，使得控制区域不会重叠。那意味着虚拟控制区域保持完全分离。

在进一步的优选实施方式中，只有一个设备的命令区域的确定的范围，例如命令区域的中间或中央范围，被保持在其它邻近设备的虚拟控制区域之外，反之亦然。然后，优选地通过对准相应的命令区域的那个确定范围可以激活命令区域，并且与当前活动的命令区域关联的扩展的控制区域被选择，这样其不与邻近命令区域的确定的范围重叠。那意味着，在后者的情况中，可以通过一直选择先前被指向的设备来解决指示模糊性，即，只有当指示方向唯一地确定目标设备时切换到其它设备。用户然后将经历一种滞后效果：控制器意图操纵一个设备，只通过指向确定的“激活区域”，例如命令区域的中央部分，才能够将焦点转移到其它设备。

在根据本发明控制设备的方法中，带有摄像机的指示设备朝着与将被控制的设备关联的命令区域的方向而对准，其中命令区域呈现有用于控制设备的多个选项。瞬时控制点的位置的可见反馈在这个命令区域内被给出，例如以光标的形式。随后(如上面解释的)生成由指示设备指向的目标区域的图像，并且目标区域图像被处理以确定指示设备对准的目标点。根据本发明，选择的选项根据命令区域中控制点的位置而被确定，其中控制点位置根据上面解释的方法而被控制。

用于控制设备的合适的系统包括命令区域，用于可见地呈现用于将被控制的设备的用户选项；一个系统，用于如上面解释的控制位于命令区域上的控制点；以及解释单元，用于根据命令区域中控制点的位置解释或确定选择的选项。解释单元还可以根据选择的选项生成用于将被控制的设备的控制信号。

基于当前控制点位置对已选择选项的识别和控制信号的生成可以本领域技术人员所公知的通常的方式而实现，例如以鼠标控制的应用的情况。

为了确定控制区域中的瞬时实际目标点，可以应用计算机视觉算法。使用计算机视觉算法处理目标区域图像的图像数据的方法可以包括检测目标图像数据中的特殊的点，确定在设备的命令区域模板，例如屏幕中或在(已知的)命令区域的周围的相应的点，并开发(develop)转换以将图像数据中的点映射至模板中相应的点。该转换然后可以被用于确定指示设备相对于包括命令区域的虚拟控制区域的位置和方位，这样指示轴与控制区域的交点能够被定位在模板中。在模板中的这个交点的位置相应于控制区域中的目标点，其能够被用于容易地确定命令区域中的相应的控制点，例如用于识别哪个选项已经被用户对准。将图像数据与预定义的模板相比较可以由此被限制为仅仅识别和比较诸如特殊拐角点的突出的点。如在本发明中所应用的术语“比较”将以广泛的含义理解，即，通过仅仅比较足够的特征以快速地识别用户对准的选项。

在本发明特别优选的实施方式中，处理目标区域图像以识别控制区域中的目标点或命令区域中的控制点可以在指示设备自身中执行。然而，优选地实现为适于手持的这样的指示设备的计算能力必然被复杂计算处理所需要的能力而限制。因此，目标图像优选地被发射至与将被控制的设备关联的控制单元以进一步处理。控制单元可以识别控制区域中的目标点和命令区域中的控制点，并可以进一步发送控制信号至设备，该设备生成命令区域以将控制点位置的可见反馈给至用户，例如以光标位置的形式。该控制单元还可以基于识别的由用户选择的选项来确定用于将被控制的设备的控制信号。

该控制单元例如可以是设备的一部分，可以与设备自身结合在同一个外壳中。在另一个实施方式中，该控制单元可以实现为分离的实体，其能够以任何合适的方式与将被控制的设备通信，由此该控制单元可以有能力控制多于一个的设备。

上面描述的指示设备和控制单元组合以给出功能强大的控制系统，实际使用在任何种类的环境中，诸如家庭、办公室、博物馆、医院或宾馆环境。根据本发明的方法可以被应用于任何电力或电子可控设备中。此外，控制单元和将被控制的设备能够包括任何数量的模块、组件或单元，并能够以任何方式分布。

本发明的其它对象和特征将从下面结合附图考虑的详细描述中变得明显。然而，应当理解图仅是为了图解的目的被设计而不应被看作发明限制的定义。

图1是与命令区域关联的扩展的虚拟控制区域的原理的示意性远景表示；

图2是本发明使用的指示设备的示意性表示；

图3是可根据本发明控制的设备的示意性粗略表示；

图4是根据第一实施方式的两个邻近命令区域和它们相应的控制区域的示意性表示；

图5是根据第二实施方式的两个邻近命令区域和它们相应的控制区域的示意性表示；

图6是示意图，示出了根据本发明的实施方式的通过屏幕实现的命令区域、它关联的控制区域、它关联的模板和由指示设备生成的目标区域图像。

在图中，同样的标记始终指的是同样的对象。描述的指示设备是由图中未示出的用户持有和操作的。

如上面已经解释的，本发明根本的原理是其中显示多种选项用于控制设备的确定的命令区域被转换为虚拟控制区域。由此，真实或实际目标点在这个虚拟控制区域中的位置将被转换为在命令区域中控制点的坐标，例如光标的位置。通常将要实施的是命令区域的虚拟扩大，因此使得用户更容易定向在命令区域的边界内的光标或类似的点。因此，在下面，被指派给命令区域的扩大的控制区域的例子出于说明性的目的被使用，但是不将本发明限制为这个例子。

如在图1中所示，从虚拟扩展的控制区域A_CT中的真实目标点T至真实命令区域A_CM中的控制点C的转换的原理是将实际指示射线s映射至更靠近命令区域A_CM的中央的虚拟指示射线s′。通常，这是通过定义从实际指示轴s的球面坐标(θ，)至虚拟指示轴s′的球面坐标(θ′，′)的映射来实现的。非常自然的是假设映射是旋转对称(rotationally symmetric)的，即只依赖于θ。因此，可以设置＝′和θ＝f_r(θ)，带有一些函数族f，由在用户(即指示设备1)和命令区域A_CM之间的距离r作为参数。

为了避免三角复杂(trigonometric complication)，选择从属的形式是有利的并且在一些时候是非常自然的

θ′＝arctan(α(r)·tan(θ))

因为在坐标系的原点位于命令区域的中心的假设下，当改变为在命令区域A_CM的平面上的二维坐标系统时，这转换为线性变换。然后下式是适用的：

x′＝α(r)·x

y′＝α(r)·y

由此，距离相关的系数α(r)能够被认为是比例系数。α(r)的值必须落在0.0和1.0之间；值越小，增强或扩大系数越大，通过它虚拟控制区域A_CT的尺寸相对于命令区域A_CM的真实大小而被放大或扩大。

为了清楚地选择α对r的依靠性，下面的约束将优选地被考虑：

对于非常大的距离，从用户观点观看虚拟控制区域出现的角度应当保持不变，因为一方面，如果角度随着距离增加是反直觉的，而另一方面，它不应当降低到确定的标准限制以下。因此，比例系数将优选地被选择，使得：

α(r)～1/r，对于r→∞

对于小的距离，在一些点控制区域A_CT的扩展的益处由于直接交互(“你指向的就是你控制的”)的直观性而更显著。因此，对于小的距离，比例系数应当优选地逼近1：

α(r)＝1，对于小的r

或许将这两个约束放在一起的最好方式是通过平滑的、增加的组合，以下面方式：

α(r)＝min(1，r₀/r)

距离参数r₀可以被解释为行为从命令区域A_CM上的直接交互平滑切换到虚拟扩展的控制区域A_CT上的交互的距离。这个距离参数r₀可以被例如根据设备或当前应用而设置。

可替换地，或附加地，距离参数r₀还可以根据用户偏爱和/或用户体验/能力而选择。例如，距离参数r₀可以由用户根据预期的抖动程度而调整，和/或用户的指示精确度可以被测量(在校准步骤)并据此调整r₀。

图2示出了在根据本发明的方法中使用的指示设备1的大大简化的实施方式。这个指示设备1，在它的前端带有摄像机2，特征在于以拉长形式的棒状或笔状形状的机罩，其能够被用户方便地抓住并容易随身携带。同样地，指示设备的形状可以是手枪状。

摄像机2生成的目标区域图像I被传输至图像处理单元3，其处理目标区域图像I以确定用户将指示设备1对准的实际或真实目标点T的位置。确定目标点T和距离r可以在命令区域A_CM或围绕命令区域A_CM的区域的模板的辅助下，通过将目标区域图像I与这些模板比较来实现。确定目标点T的实际方法将在下面在图6的辅助下被详细解释。

该目标点T然后被转发至控制点位置计算单元4，其根据在虚拟控制区域A_CT中目标点T的坐标x，y来确定控制点位置，即，在命令区域A_CM中的控制点C的坐标x′，y′。当前控制区域A_CT的尺寸和位置也可以在这个控制点处理单元4中被确定。这个计算必要的数据，例如在指示设备1和命令区域A_CM之间的距离也可以从目标区域图像I中被推导出，例如从图像处理单元3中。图像处理单元3和控制点处理单元4例如能够以指示设备1中可编程处理器上的软件模块的形式被实现。

控制点C的坐标x′，y′随后可以通过通信接口5被发射至将被控制的设备D₁的控制单元6(比较图3)。通信接口5可以是诸如蓝牙、IEEE或类似技术的标准接口，它还可以实现为接收或发射用于指示设备1的其它数据。例如，用于各种设备和/或它们周围的相应命令区域A_CM的模板可以使用这样的接口5被提供给指示设备，这样图像处理步骤可以在指示设备1中被执行。在指示设备1的范围内可以利用其它组件，诸如按钮、旋钮或其它类型的用户接口，通过这些可以生成用于控制设备D₁的附加信号，这些当然还可以经由通信接口5被发射。

不言而喻，指示设备1可以包括上面提到的那些之外其它组件，例如按钮、或一种类型的用户接口，通过它用户能够输入附加的命令用于生成用于设备的控制信号。关于该附加的组件，再一次参考WO2004/047011A2，其中详细描述了用于该指示设备的多个附加组件。指示设备还可以被用于以在那里描述的方式生成控制信号。例如，除了简单地对准目标，指示设备能够以特定的方式或姿态移动，其能够以特定的方式解释以便生成控制信号。

图3以非常简化的示意概括图示出了说明本发明所必需的将被控制的设备D₁的组件。这里，将被控制的设备D₁包括监视器10，在上面显示有命令区域A_CM，带有特征在于用于由用户选择的多个菜单项目M1，M2，M3，M4，M5，M6的菜单。这个设备D₁的另一个组件是控制单元6，与监视器10相分离地示出，对于个人计算机可能是这种情况。这个控制单元6当然能够与监视器10合并在单个机罩中，对于电视机通常是这种情况。

本发明所必需的控制单元6的组件例如是通信接口7，特别地，其可以接收来自指示设备1的通信接口的信号和数据，或发射信号和数据至指示设备1。另外的组件是控制点可视化单元8和解释单元9，其功能将在下面解释。

通过通信接口7所接收的，在命令区域A_CM中的控制点C的坐标x′，y′初始被转发至控制点可视化单元8。在这个单元8的帮助下，光标(例如小方块、十字、箭头或类似的)被控制，这样用户可以看到他明显地将指示设备1指向的命令区域A_CM中的点。控制点C的坐标x′，y′还被转发至解释单元9。这个解释单元9服务以解释控制点C的位置以确定在命令区域A_CM中显示的选项M1，M2，M3，M4，M5，M6中的哪个正在被用户选择。为了这个目的，解释单元9必须知道在命令区域A_CM中当前示出的菜单的状态。从而，使用控制点C的坐标x′，y′，它能够确定用户当前指向选项M1，M2，M3，M4，M5，M6中的哪个。解释单元9还能够负责命令区域中图形用户界面的当前状态。

控制点可视化单元8和解释单元9可以以控制单元6的可编程处理器的软件模块形式来实现。

明显地，控制单元或将被控制的设备D₁特征在于该设备运行所必需或期望的多个其它组件，诸如电源、用于控制设备的各种应用的各种接口和组件，例如在电视机的情况中用于接收电视信号的接收器，或在DVD录象机的情况中的DVD托盘等。为了简化，这些组件没有在图3中示出。然而，本领域技术人员将清楚对于每个设备类型哪个组件是必需的。

再一次，需要强调没有必要在指示设备1中实现图像处理单元3和控制点处理单元4。这些单元3、4中的一个或两者同样地在控制单元6中实现。在这个情况中，例如，由摄像机2生成的目标区域图像I将被直接发射，例如经由发射模块5发射至控制单元6。同样地，图像处理单元3和控制点位置计算单元4也可以在分离的实体中一起实现。

图4和5图解了一种情况，其中两个设备，每个带有它自己的命令区域A_CM，A_{CM`</sub>，被直接地定位彼此旁边。在这样的情况中，当与命令区域A<sub>CM</sub>，A<sub>CM`}关联的控制区域A_CT，A_CT`重叠时会出现问题。如果用户指向重叠的区域，这可能导致无法确定用户想要控制两个设备中的哪个。

图4示出了一种解决方案，其确保在邻近的命令区域A_CM，A_{CM`</sub>的控制区域A<sub>CT</sub>，A<sub>CT`}之间无论如何都不会出现重叠。这可以通过使得设备或指示设备得知不同A_CM，A_{CM`</sub>的位置而实现，和/或已经预先地分配确定的的区域给个别的命令区域A<sub>CM</sub>，A<sub>CM`}，其中控制区域A_CT，A_{CT`</sub>允许移动。图4示出这能够引起命令区域A<sub>CM</sub>，A<sub>CM`}，的控制区域A_CT，A_{CT`</sub>关于它相应的命令区域A<sub>CM</sub>，A<sub>CM`}不对称。然而理想地，控制区域A_CT关于相应的命令区域A_CM应当在每个方向上成比例地扩展，因为这提供了更直观地交互。

控制区域A_CT的重叠还能够通过使不同的虚拟控制区域A_CT，A_{CT`</sub>彼此“排斥”而避免，即，通过使无论何时控制区域A<sub>CT</sub>，A<sub>CT`}被扩大时考虑邻近的控制区域A_CT，A_{CT`</sub>。如果邻近的控制区域将被扩大后的控制区域A<sub>CT</sub>，A<sub>CT`}接触，则邻近的控制区域将随着控制区域A_CT，A_{CT`</sub>的扩大而收缩，或者控制区域A<sub>CT</sub>，A<sub>CT`}的进一步扩大将被禁止。

图5示出了另一个可替换方案。这里，控制区域A_CT，A_{CT`</sub>被允许扩展，直到它们接触到确定的区域，所谓的邻近命令区域A<sub>CM</sub>，A<sub>CM`}的激活区域A_CT，A_{CT`</sub>。因此，只有一个控制区域A<sub>CT</sub>，A<sub>CT`}是曾经激活的。当用户将指示设备对准相应的命令区域A_CM，A_{CM`</sub>的激活区域A<sub>CT</sub>，A<sub>CT`}时会实现激活。这意味着用户可以根据需要在命令区域A_CM和命令区域A_CM`之间切换，取决于他当前期望控制哪个设备。

关于这点将与图6一起更详细地解释，使用指示设备1指向的真实目标点T的位置x，y怎样能够在命令区域和/或它的周围的模板的帮助下被确定。

用户将不会总是直接从前面将指示设备1指向命令区域A_CM，更可能指示设备1将以或多或少的倾斜角度指向命令区域A_CM，因为比起改变一个人自己的位置，将指示设备对准往往更方便的。这在图6中被图解，其示出了由指向设备D₂的指示设备1从一定距离并以一个倾斜角度生成的目标区域图像I的示意性表示，在这个情况中设备D₂是电视机屏幕或计算机监视器，这样在目标区域A_I中的设备D₂的比例和远景在目标区域图像I中扭曲地出现。

多个选项M₁，M₂，M₃可以在设备D₂的显示屏上被看到。用户，在该图中未示出，可以在指示设备1的辅助下期望选择这些选项M₁，M₂，M₃中的一个。在设备D₂的显示屏中还可见的是在瞬时控制点C的位置的光标，因此帮助用指示设备1指向的用户。如上面解释的，控制点C的当前位置根据在虚拟扩展的控制区域A_CT中的真实目标点T的位置而被计算。

为了找到真实目标点T的位置，目标区域图像I被更详细地研究。不管指示设备1相对于设备D₂的角度，目标区域图像I总是以目标点T为中心。因此，这个点相对容易地在目标区域图像I中被确定。只需要保持它以确定在这个点T的坐标到命令区域A_CM或命令区域A_CM的中心的关系。当然可替换地，坐标能够相对于命令区域A_CM中的另一个点被确定，例如相对于显示的用户选项的拐角点，或者相对于监视器的任何可注意的点，诸如拐角点，由此这些坐标然后能够被转换至需要的原点。由于虚拟扩展的控制区域的测量优选地在同样的坐标系中被执行，因此确定在虚拟扩展的控制区域A_CT中的实际目标点T的坐标是很简单的。

为了确定在选择的坐标系中真实目标点T的坐标，图像处理单元3将目标区域图像I与预定义的模板TD₂相比较。

由此，使用边缘和角检测方法的计算机视觉算法被应用以定位目标区域图像I中的点，其相应于在设备D₁的模板TD₂中的点[(x_a，y_a)，(x_b，y_b)，(x_c，y_c)]。

每个点可以被表示为向量，例如点(x_a，y_a)能够被表示为

。下一步，转换函数T被提出以将目标区域图像I映射至模板TD₂上：

$f\left(\mathrm{\&lambda;}\right)=\underset{i}{\mathrm{\&Sigma;}}{|T_{\mathrm{\&lambda;}}\left({\stackrel{\&RightArrow;}{v}}_i\right)-{\stackrel{\&RightArrow;}{v}}_i^{\&prime;}|}^2$

其中向量

表示在模板TD₂中的坐标对(x_i，y_i)，向量

表示在目标区域图像I中相对应的坐标对(x_i′，y_i′)。参数集合λ包括用于旋转和平移图像的参数以产生对于该函数最经济的解决方案，可以被应用以确定指示设备1关于命令区域A_CM的位置和方向。在例如指示设备1和命令区域A_CM之间的距离可以这种方式被确定。此外，由于目标点T总是在目标区域图像I的中心，在命令区域A_CM的模板TD₂中的目标点T的坐标可以被确定。

虽然本发明已经以优选实施方式和它的变形的方式被公开，应当理解可以对它做出多种附加的改变和变化，而不脱离本发明的范围。在带有电气或电子可控设备的家庭或任何其它环境中指示设备可以服务为通用用户接口设备。简而言之，无论什么时候用户通过指示来表达意图，它都是有益的。它的小形状因素和它的方便和直观指示形式可以将这样的简单指示设备提高为功能强大的通用遥控器。作为笔形状的替换，指示设备还可以例如是带有内置摄像机的个人数字助理(PDA)，或带有内置摄像机的移动电话。为了清楚的目的，还应当理解贯穿该申请的“一”或“一个”的使用不排除多个，并且“包括”不排除其它步骤或元件。“单元”可以包括多个块或设备，除非作为一个单独实体而明确描述。

Claims (13)

1.一种控制在命令区域(A_CM)上的控制点(C)的位置(x′，y′)的方法，该方法包括步骤：

将包括摄像机(2)的指示设备(1)朝着命令区域(A_CM)的方向对准；

生成指示设备所对准的目标区域(A_I)的图像(I)；

处理目标区域图像(I)以确定指示设备(1)所对准的目标点(T)；

根据在当前定义的控制区域(A_CT)中目标点(T)的位置(x，y)确定控制点(C)的位置(x′，y′)，该控制区域(A_CT)至少部分地包括命令区域(A_CM)。

2.根据权利要求1的方法，其中控制区域(A_CT)的尺寸和/位置根据瞬时的指示条件和/或控制情形而被定义。

3.根据权利要求2的方法，其中控制区域(A_CT)的尺寸根据在指示设备(1)和命令区域(A_CM)之间的距离(r)而被定义。

4.根据权利要求2的方法，其中如果在指示设备(1)和命令区域(A_CM)之间的距离(r)超出了确定的限制，则控制区域(A_CT)的尺寸被扩展。

5.根据权利要求1至4中任一的方法，其中定义控制区域(A_CT)的尺寸与命令区域(A_CM)的尺寸的比率的扩展系数α至少在确定的距离范围内是与在指示设备(1)和命令区域(A_CM)之间的距离(r)成比例的。

6.根据权利要求1至5中任一的方法，其中如果用户正在将指示设备(1)对准当前控制区域(A_CT)之外的目标点(T)，则控制区域(A_CT)的尺寸被扩展。

7.根据权利要求1至6中任一的方法，其中在确定的时间段之后控制区域(A_CT)的尺寸被减少，在该时间段期间用户没有将指示设备(1)对准当前控制区域(A_CT)的确定范围之外的目标点(T)。

8.根据权利要求1至7中任一的方法，其中邻近命令区域(A_CM，A_{CM`</sub>)的控制区域(A<sub>CT</sub>，A<sub>CT`})被选择，使得控制区域(A_CT，A_CT`)不会重叠。

9.根据权利要求1至8中任一的方法，其中可以通过对准命令区域(A_CM，A_{CM`</sub>)的某个范围(A<sub>CT</sub>，A<sub>CT`})而激活命令区域(A_CM，A_{CM`</sub>)，与当前活动命令区域(A<sub>CM</sub>，A<sub>CM`})关联的扩展的控制区域(A_CT，A_{CT`</sub>)被选择为使得它至少不会与邻近命令区域(A<sub>CM</sub>，A<sub>CM`})的某个范围(A_CT，A_CT`)重叠。

10.一种控制设备(D₁，D₂)的方法，该方法包括步骤：

将包括摄像机(2)的指示设备(1)朝着与将被控制的设备(D₁，D₂)关联的命令区域(A_CM)的方向对准，在该命令区域(A_CM)上呈现有用于控制设备(D₁，D₂)的多个选项(M₁，M₂，M₃，M₄，M₅，M₆)；

生成指示设备(1)所对准的目标区域(A_I)的图像(I)；

处理目标区域图像(I)以确定指示设备(1)所对准的目标点(T)；

根据命令区域(A_CM)中的控制点(C)的位置(x′，y′)确定选择的选项(M₅)，其中控制点位置(x′，y′)根据权利要求1至9中任意一个被控制。

11.一种用于控制在命令区域(A_CM)上的控制点(C)位置(x′，y′)的系统，包括：

指示设备(1)，其包括摄像机(2)，用于生成在指示的方向(P)上的目标区域(A_I)的图像(I)；

图像处理单元(3)，用于处理目标区域图像(I)以确定指示设备(1)所对准的目标点(T)；

控制点位置计算单元(4)，用于根据在当前定义的控制区域(A_CT)中的目标点(T)的位置(x，y)确定控制点(C)的位置(x′，y′)，该控制区域(A_CT)至少部分地包括命令区域(A_CM)，和

控制点可视化单元(8)，用于在命令区域(A_CM)上控制点(C)的可视化。

12.一种用于控制设备(D₁，D₂)的系统，包括：

命令区域(A_CM)，用于可视地呈现用于将被控制的设备的用户选项(M₁，M₂，M₃，M₄，M₅，M₆)；

根据权利要求11用于控制在命令区域(A_CM)上的控制点(C)位置(x′，y′)的系统，和

解释单元(9)，用于根据在命令区域(A_CM)中的控制点(C)位置(x′，y′)确定选择的选项(M_S)。

13.一种用于控制在命令区域(A_CM)上的控制点(C)位置(x′，y′)的指示设备，包括：

摄像机(2)，用于生成在指示方向(P)上的目标区域(A_I)的图像(I)；

图像处理单元(3)，用于处理目标区域图像(I)以确定指示设备(1)对准的目标点(T)；

控制点位置计算单元(4)，用于根据在当前定义的控制区域(A_CT)中的目标点(T)的位置(x，y)确定控制点(C)的位置(x′，y′)，该控制区域(A_CT)至少部分地包括命令区域(A_CM)。

Images