CN101657785A - 用于提供交互控制系统的方法和装置 - Google Patents

Abstract

一种装置，包括：成像设备，该成像设备捕捉从交互控制设备发出的多个定位信号以形成具有一个或者多个控制点的二维图像，该交互控制设备可以在该成像设备的视场中的三维控制空间中移动。此外，该装置包括显示器，该显示器具有显示控制区域，在该显示控制区域中显示定位信号对象和一个或者多个控制对象，用于与交互控制设备进行交互。另外，该装置包括处理器，该处理器基于该一个或者多个控制点来生成定位信号对象，并且将该一个或者多个控制对象和定位信号对象映射到数据结构，使得在该一个或者多个控制对象和该定位信号对象之间的交互在空间上是同步的。

Description

用于提供交互控制系统的方法和装置

技术领域

本公开一般地涉及交互设备领域。更具体地，本公开涉及一种允许用户与系统进行远程交互的设备。

背景技术

例如电视机、家庭影院系统、计算机等的各种显示系统已经得到极大的发展，以向用户提供更多的功能。同时，在这些系统上显示的用户界面已经变得越来越复杂。通过标准的遥控装置或者甚至通过通用遥控装置来控制用户界面经常是非常麻烦的。由于针对用户界面的可能操作的数目而导致遥控装置上的按钮的数目已经增加。用户经常面临即使为了执行简单的操作，也必须从许多按钮中找出一个按钮。

例如，家庭影院系统可能具有与整个家庭中的很多其它固定的或者移动的设备联网的多个机顶盒。对于在该类型的强大家庭媒体系统中所经常使用的大量操作而言，传统的遥控装置实在过于麻烦。内置在传统的遥控装置中用以提供这样的大量操作的许多按钮最终使大多数用户感到失望。因为用户无法找到或者失去试图找到相应按钮的耐心，所以很多功能没有被利用。此外，在例如用于观看电影的黑暗房间中的低亮度环境下，用户可能甚至更加难以找到按钮。

另外，传统的遥控装置没有为用户提供更多的灵活性来扩展家庭影院系统。例如，对家庭影院系统添加组件可能对用户提供附加的费用，用户因而可能必须购买具有附加按钮的新的遥控装置来适应该扩展。

替代地，基于菜单的系统有时被用于强大的家庭媒体系统。基于菜单的系统经常简化遥控装置，而同时使用户界面变得复杂。换言之，操作可能不具有在传统的遥控装置上的相应按钮，而是具有用于选择的附加的菜单项。然后，用户可以使用在传统的遥控装置上的箭头键通过菜单进行导航以执行操作。因此，许多的菜单项经常被组合用于强大家庭媒体系统中的用户界面，以适应这样的系统中的大量操作。因此，即使为了执行简单的操作，用户也可能必须通过数字内容的众多列表或者很多菜单级来进行导航。

发明内容

在本公开的一个方面中，公开了一种装置。该装置包括：成像设备，该成像设备捕捉从交互控制设备发出的多个定位信号以形成具有一个或者多个控制点的二维图像，该交互控制设备可以在该成像设备的视场中的三维控制空间中移动。此外，该装置包括显示器，该显示器具有显示控制区域，在该显示控制区域中显示定位信号对象以及一个或者多个控制对象，用于与交互控制设备进行交互。另外，该装置包括处理器，该处理器基于一个或者多个控制点来生成定位信号对象，并且将该一个或者多个控制对象和定位信号对象映射到数据结构，使得在该一个或者多个控制对象和该定位信号对象之间的交互在空间上是同步的。在该显示控制区域中展现该定位信号对象和该一个或者多个控制对象。

在本公开的另一个方面中，公开了一种装置。该装置包括光源，该光源发出处于成像设备的视场中并且根据成像设备的视场中的控制平面的二维坐标系被跟踪的定位信号，使得该定位信号的控制平面二维坐标被转换成该定位信号的显示二维坐标。该显示二维坐标基于显示器的二维坐标系。此外，该装置包括激活按钮，该激活按钮被激活以提供指示和与该显示器相关联的系统的场境相关联的命令的命令信号。

在本公开的又一个方面中，公开了一种装置。该装置包括透镜模块。此外，该装置包括成像传感器，该成像传感器通过该透镜模块来捕捉从可以在三维控制空间中移动的交互控制设备发出的多个定位信号，并且形成具有一个或者多个控制点的二维图像，使得处理器基于该一个或者多个控制点来生成定位信号对象。

附图简要说明

结合附图来参考下面的描述，本公开的上述特征将变得更加明显，在附图中，相同的附图标记表示相同的元件，并且在附图中：

图1图示了利用交互控制设备的系统。

图2图示了交互控制设备的放大的视图。

图3A图示了交互控制设备所位于的三维控制空间。

图3B图示了成像设备如何捕捉在控制平面内移动的交互控制设备的光源的位置。

图3C图示了交互控制设备相对于成像设备的位置二维透视图。

图3D图示了交互控制设备相对于成像设备的位置另一个二维透视图。

图3E图示了聚焦和变焦能力如何被实现用于将光源的位置的坐标映射到显示系统中的显示器的坐标的更好分辨率。

图3F图示了将光源的位置的坐标映射到显示系统中的显示器的坐标。

图4图示了交互控制系统所使用的过程。

图5图示了交互控制设备所使用的过程。

图6图示了成像设备所使用的过程。

图7图示了实现从交互控制装置接收到的数据的处理的站或者系统的框图。

具体实施方式

公开了一种提供交互控制系统的方法和装置。该交互控制系统可以为用户提供用于与显示系统进行远程交互的基于光标的点击功能。因此，从交互控制设备去掉了通常出现在遥控设备上的通过过多按钮的特征集合。此外，可以通过空中导航来操作交互控制设备。因此，用户可以在没有通常由诸如计算机鼠标的设备所使用的平坦表面的情况下，操作交互控制设备。因此，用户可以以快速、舒适并且极大简化的方式与显示系统进行交互。

另外，该交互控制系统涉及不依赖于特定显示系统的位置确定和命令动作。根据在显示系统上显示的控制对象来使用交互控制系统的特征集合和控制。因此，无需为适应对显示系统的改变而修改交互控制系统。可以简单地通过改变在显示系统中所使用的设备来更新特征集合。

图1图示了利用交互控制设备102和成像设备108的交互控制系统100。用户104可以利用交互控制设备102来与显示系统106进行交互。显示系统106可以包括具有显示器的任何类型的设备，例如，电视机、家庭影院系统、个人计算机、平板式个人计算机、膝上型计算机等。此外，显示系统106具有显示器116，即，作为显示器116的最小单元的图像元素(“像素”)的二维阵列。在一个实施例中，显示器116具有例如矩形部分的显示控制区域，显示器116利用该显示控制区域用于光标运动和控制激活。该矩形部分可以是与显示器116相同的大小。替代地，该矩形部分可以小于显示器116。该显示控制区域可以是各种形状的任何一个，例如，正方形、圆形等，并且不限于矩形部分。

显示器116可以显示控制画面，该控制画面是控制对象的布局，其可以随着被控制的系统状态而变化，以便以用户友好的方式来提供控制操作。控制画面的格式可以基于显示格式，例如，宽屏、信箱等。控制对象可以是独立的图标、光标、按钮，或者是为用户104提供用于控制操作的目标和指针/光标的其它图形对象。

用户104可能正在查看在显示器116的显示控制区域中所显示的菜单，并且希望与该菜单进行交互。因此，用户104可能移动交互控制设备102，以便于将显示系统106上的光标移动到所期望的菜单选择。系统100通过成像设备108来提供该功能，成像设备108跟踪交互控制设备102的移动。为了跟踪该移动，成像设备108接收从交互控制设备102发出的一个或者多个定位信号。例如，交互控制设备102可以从光源112发出可识别的光脉冲序列，并且成像设备108可以通过透镜和传感器格网(grid)来检测该光脉冲的二维位置。换言之，成像设备108可以将每一个光脉冲视作在成像设备108的视场114中的点。然后成像设备108可以向机顶盒110中的处理器提供二维坐标或者一个或多个受激格网点。替代地，成像设备108可以提供图像捕捉，图像捕捉是当从成像设备108的视场114以二维表示成像到成像设备传感器矩阵时的存储的像素的集合。

然后，处理器可以将由成像设备108捕捉的一个或者多个点的二维坐标映射到控制画面上作为一个或者多个控制点。在一个实施例中，处理器将由成像设备108捕捉的控制点和控制画面的控制对象的二维坐标存储在数据结构中。例如，控制数据结构处理器可以将用于由成像设备108捕捉的控制点和控制对象的像素值存储在矩阵中。在给定时间，如果由成像设备108捕捉的映射的控制点处于与控制对象相同的矩阵位置，则处理器确定用户104期望由用户104选择的控制对象。因此，然后处理器可以执行由用户104所指示的操作。无论由成像设备108所捕捉的点是否与控制对象重叠，处理器也向显示器116提供多个像素值，使得可以显示具有控制对象和表示由成像设备108所捕捉的点的图标的控制画面的图形表示。在一个实施例中，处理器将数据结构传送到显示系统106，使得可以将该数据结构展现在显示器116上。处理器可以提供中间阵列或者流的构成和大小，以便可以将数据结构传送到显示器116并且在显示器116上进行表示。替代地，如果存在硬件或者其它系统约束，则处理器可以分离数据结构分量并且单独地传送该分量。

处理器可以将由成像设备108捕捉的控制点的二维坐标映射到显示系统106中的显示器116的二维坐标系。例如，显示器的二维矩形区域可以是交互控制装置102运动范围(即，空中控制平面区域)的两倍。因此，处理器可以将控制平面区域的二维坐标映射到显示系统106的二维坐标。该映射有效地缩放光脉冲的二维位置，使得显示器中的光标的运动对应于交互控制设备102的运动。控制平面的形状可以类似于显示系统106的形状。

此外，成像设备108和相关的处理逻辑可以具有聚焦和放大或者缩小的能力，使得用户104可以在距成像设备108的各种距离处空中操作交互控制设备102。变焦是对在视点推进(即，放大)或者后退(即，缩小)的模拟中的视觉透视的光学和/或数字操纵。光学变焦由成像透镜系统来实现。数字“放大”通过下述过程来实现：减少图像元素的数目，即，裁剪；以及通过一些重复和可能的替换值来将那些元素重新映射回初始阵列大小以模拟整体放大。

基于交互控制设备102的用户设置、人工或者自动光学变焦、或者预定的输出特征，系统100可以标识在视场114内的控制平面的维度。例如，用户104可以发起定标序列(calibration sequence)，其中，可以利用测试运动来对成像设备108标识用户期望的二维运动范围。

此外，如果显示控制区域小于显示器116，则处理器存储x和/或y边界值，使得对用户104的反馈是在显示器116中的受限的光标移动。可以为特定目的通过用户设置来建立边界值，或者该边界值可以受应用控制，即，根据场境自动地设置。

在一个实施例中，成像设备108包括透镜模块和基于格网的图像捕捉子系统。例如，成像设备108可以具有成像传感器，该成像传感器具有1.0百万像素量级的分辨率的红外格网传感器，使得受照像素转变为离散坐标。成像传感器通过透镜跟踪交互控制设备102的光源112的峰值。此外，成像设备可以与机顶盒110中的处理器对接以注册交互控制设备102的位置和按钮激活。虽然成像设备108被图示为机顶盒110的一部分，但是还可以将成像设备108插入机顶盒110中，使得成像设备108是机顶盒110的一部分或者独立于机顶盒，但与机顶盒110进行通信。此外，透镜模块可以包括一个或者多个透镜的透镜配置。

在另一个实施例中，定位信号是红外信号。此外，可以以编码脉冲格式来发出红外信号，以将交互控制设备102与其它设备或者周边条件进行区分。换言之，各种脉冲模式可以用于类似的交互设备102，以向不同的交互控制设备102提供独特性。此外，编码脉冲格式还可以允许由成像设备108来识别命令模式并且支持处理逻辑。替代地，在成像设备108跟踪位置的同时，独立于成像设备108的设备可以被用于接收和识别命令模式。

在一个实施例中，将成像设备108集成到结合显示系统106使用的机顶盒110中。此外，成像设备108可以具有通信模块，以将坐标数据发射到机顶盒110中的处理器。因此，机顶盒110中的处理器利用来自成像设备108的二维数据来在显示系统106上显示表示交互控制设备102的位置的图像。例如，可以在显示系统106上显示光标或者图标，以指示交互控制设备102的位置。在一个实施例中，机顶盒110中的处理器将例如从成像设备108接收到的二维坐标集合的控制平面二维数据转变成例如显示系统106的二维坐标的显示二维数据，并且在其中发起光标展现。在一个实施例中，可以通过定标步骤来确定初始光标速度，其中，用户104在期望的二维空间上移动交互控制设备102。然后，机顶盒110中的处理器创建从那个区域到显示系统106中的显示画面的维度的映射。还可以利用自动定标。此外，可以根据系统状态和精确的实时光标定位二者来保持预定的画面布局。在当发起命令时的任何给定时间，在光标位置和显示的画面对象之间的相关性确定后续的功能。因此，可以利用基于操作场境而出现的画面对象来支持对场境敏感的(context sensitive)用户界面呈现。换言之，基于操作状态或者场境的细节来为用户呈现控制选项。因此，与仅通过专用按钮集合来提供静态功能而不考虑改变的场境的传统遥控装置相反，交互控制设备102基于给定场境来提供功能。

可以通过充分采样成像设备108内所捕捉的运动数据并且快速地更新光标来实现连续的光标运动的感知。此外，如果用户104移动交互控制设备102以使信号在成像设备108的视界以外，则光标沿着显示系统106的显示画面的外缘保持可见，直至信号在成像设备108的视界以内。

一旦用户已经有效地将光标或者图标移动到显示屏幕上的预期的位置，用户就可能希望执行动作。在以上示例中，用户104可能已经将光标从控制画面的左手侧移动到控制画面的右手侧，以将光标置于菜单项上。在一个实施例中，用户104通过激活按钮来选择菜单项。因此，从交互控制设备102发出命令信号。还可以通过诸如红外信号的信号来发出命令信号。此外，可以以脉冲格式通过红外信号来发出命令信号。在另一个实施例中，还可以通过无线电波来发出命令信号。可以以与定位信号相同或者不同的形式来发射命令信号。

在另一个实施例中，用户104通过交互控制设备102的预定运动来发布命令。可以通过标准的默认运动来设置或者由用户104定制来该类型的基于运动的控制。例如，在播放唱片(recording)的同时，用户104可以通过在成像设备108的查看区域上从左到右地移动交互控制设备102来发布快进命令。此外，用户104可以通过在成像设备108的查看区域上从右到左地移动交互控制设备102来发布倒带(rewind)命令。另外，用户104可以通过以向下运动移动交互控制设备102来发布停止命令。基于运动的控制可以被实现用于特技播放，包括回放操作，诸如倒带、快进、暂停等。

此外，预定的运动在不同的场境中可以表示不同的命令。例如，向下运动可以在播放唱片的场境中发布停止命令，而在观看电视直播的场境中发布频道改变命令。运动可以被预定为改变场境，例如，向上运动。还可以利用运动命令来改变音量，例如，向上运动指示增加音量而向下运动指示降低音量。

在一个实施例中，处理器可以存储用于控制对象和由成像设备108捕捉的点的先前值的缓冲器。因此，处理器可以通过监视用于与预定运动相对应的预定的数值序列的缓冲器的内容来确定针对命令的预定运动已经在何时发生。

在一个实施例中，用户104可以定制交互控制设备102的预定运动。处理器具有这样的能力：获悉处理器从用户104接收的命令和对应的预定模式，使得处理器将来识别该模式。结果，当接收到指示模式的多个坐标时，处理器将知道要执行什么命令。

在另一个实施例中，成像设备108可以具有附加的并且不同于机顶盒110中的处理器的处理器。可以利用在成像设备108中的附加的处理器来执行各种功能。例如，成像设备108中的附加的处理器可以为多个坐标确定代表性代码，并且向机顶盒110中的处理器发送该代表性代码，而非多个坐标。因此，针对通过交互控制设备102的定位信号或者运动命令，附加的处理器可以向机顶盒110中的处理器发送控制输出，诸如多个坐标、代表性代码等。

在一个实施例中，交互控制设备102通过由用户104点击的按钮来开始发出信号。例如，在控制会话中的第一信号可以发起应用显示，并且将光标定位在显示系统106的显示画面的中心。在另一个实施例中，如果交互控制设备102在超时时段内是不活动的，则交互控制装置102停止发出信号，并且在再次发出信号之前等待用户104发起交互控制设备102的按钮点击。在另一个实施例中，交互控制设备102具有能够检测视频画面呈现的嵌入式传感器，并且当实现这样的检测时，为了通过显示器开始基于光标的控制，交互控制设备102自发地开始信号发出序列。在超时时段之后，信号可以终止使得节省电力。

可以将成像设备108内置在显示系统106中或者集成到现有的显示系统106中。例如，可以通过USB连接将成像设备108附连到现有的机顶盒110。此外，可以与具有内置或者集成的成像设备108的显示系统106一起使用交互控制设备102。

在一个实施例中，机顶盒110支持设备驱动器。此外，机顶盒110还支持应用编程接口(“API”)。因此，机顶盒110中的处理器转换从成像设备108接收到的二维数据，并且不依赖于特定的成像设备108。

交互控制设备102提供了一种用于操控基于画面的菜单的低成本可靠方法。因此，交互控制设备102特别地有助于其中桌上型鼠标不可行并且键盘和复杂的远程控制器不方便的应用。交互控制设备102允许用户104在用户104前面的自由空间平面中进行操作。因此，用户104不受操作范围或者表面的约束。此外，交互控制设备102允许点击和激活，这对于很多用户104而言是非常自然的方式。另外，交互控制设备102有助于有视觉或者身体残疾的用户104。

在可选实施例中，从交互控制设备102的光源112发出的定位信号指示在用户104的三维坐标空间中的交互控制设备102的位置的三维坐标的集合。换言之，交互控制设备102可以具有处理器和确定交互控制设备102的三维位置的定位模块。然后，交互控制设备102可以将三维数据发射到接收器设备，然后该接收器设备可以从三维坐标提取二维坐标。替代地，交互控制设备102可以发送具有交互控制设备102的二维位置的定位信号，使得成像设备108无须提取数据。然后接收器设备可以向机顶盒110中的处理器提供二维数据，用于映射到显示系统106中的显示器116的二维坐标系。可以以分组的形式发射用于定位信号的数据。

操作中的交互控制系统100的示例是激活在交互控制设备102上的光源112。然后设定变焦水平，或者已经设定了变焦水平。此外，用户104移动交互控制设备102，并且从而移动光源112合理的距离，并且观察朝着选择的控制对象移动的跟踪光标。用户104将光标停留在控制对象上，并且因为交互控制系统100将该对象放置在适当的位置，所以交互控制系统100意识到光标位置与控制对象一致。在用户“点击-激活”该对象时，执行与该对象相关联的功能。所显示的与交互控制系统相关的对象，例如，按钮和光标，在被映射用于显示之前在它们的相对定位中是已知的。换言之，那些控制对象可以初始地位于例如矩阵的单个(公共)数据结构上。

图2图示了交互控制设备102的放大视图。可以在具有用于点击功能的一个或者多个按钮202和用于发送一个或者多个信号的光源112的设备中实现交互控制设备102。例如，该光源可以发送红外信号。本领域普通技术人员应当理解，可以结合光源112使用各种类型的光。

交互控制设备102可以是各种不同的形状和配置的任何一个。例如，交互控制设备102可以具有钢笔的形状。此外，按钮202可以位于交互控制设备102的任何部分上。例如，按钮202可以位于钢笔形配置的一端上，使得按钮202可以用用户104的拇指来激活。另外，交互控制设备102可以具有一个或多个附属物来辅助于用户104做舒适的自由范围运动。例如，可以将环附连到交互控制设备102，使得用户104能够容易地定位交互控制设备102，并且仍然利用他的或者她的手来执行其它任务，例如，写字、吃饭、喝水等。虽然图示了按钮202，但是可以利用多个按钮。此外，可以替代地使用或者除了按钮202之外使用其它类型的执行器(actuator)。例如，可以利用旋钮、开关等。

在另一个实施例中，交互控制设备102可以被实现为具有执行器和光源的另一个装置的一部分。例如，蜂窝电话、个人数字助理(“PDA”)、MP3播放器等可以被配置成为交互控制设备102。

在一个实施例中，光源112以脉冲格式发出编码的信号。因此，无论周围的光条件如何，用户104都可以利用交互控制设备102。换言之，在例如灯光明亮的房间或者黑暗房间中的房间中周围光量并不妨碍交互控制设备102的操作。

图3A图示了交互控制设备102所位于的三维控制空间300。交互控制装置102在在三维控制空间300内是可移动的。因此，三维控制空间300具有x轴、y轴和z轴。交互控制设备102的光源112的位置可以位于点(x’，y’，z’)处。当用户104移动交互控制设备时，光源112将被移动到不同的位置，例如(x”，y”，z”)。

图3B图示了成像设备108如何捕捉在控制平面302内移动的交互控制设备102的光源112的位置。z方向在光源112和成像设备108之间延伸(run)。成像设备108在三维坐标空间300中的控制平面302的成像的部分内捕捉信号。当用户104移动交互控制设备102时，可以在控制平面302内确定具有x和y坐标的各种其它的点。通过捕捉控制平面302，成像设备108允许用户沿着z轴移动交互设备108，而不会显著地影响坐标缩放。如以上所讨论的，聚焦和变焦能力辅助跟踪x和y坐标，而不考虑z坐标。

成像设备108将来自控制平面302的提供给可能具有处理器的机顶盒110，如图1中所示。处理器可以将来自控制平面302的二维数据映射到如图1中所示的显示系统106中的显示画面的二维坐标空间。例如，控制平面302可以是比显示画面的二维坐标空间更小或者更大的二维坐标空间。因此，处理器了解显示画面的大小，并且可以将点(x’，y’)的相对位置映射到显示画面上的对应点，以提供有效的缩放。因此，成像设备108可以是可互换的，并且可以通过通信模块向处理器通信数据，该处理器已经了解显示系统106。该处理器有效地提供坐标转换，并且可以包括坐标转换模块、可以结合坐标转换模块来工作、或者可以是坐标转换模块的一部分。

图3C图示了交互控制装置102相对于成像设备108的位置的二维透视图。图示的两个维度是y轴和z轴。将x轴示作进入页面中。因此，由成像设备108捕捉的光源112的位置在控制平面302内，控制平面302是通过y轴进入页面中的平面。

图3D图示了交互控制设备102相对于成像设备108的位置的另一个二维透视图。图示的两个维度是x轴和y轴。使控制平面302在成像设备108的视场114内沿着x轴和y轴安置。此外，点(x’，y’)在控制平面302内。

图3E图示了聚焦和变焦能力如何被实现用于将光源112的位置坐标映射到显示系统106中的显示器116的坐标的更好的分辨率。如果用户104处于距成像设备108很远的距离处，则在成像设备108的视场114内，控制平面302可能看起来很小。因此，在映射之后的分辨率可能不是最佳的。因此，聚焦和变焦能力调整控制平面302的大小，使得控制平面302相对于成像设备108的视场114的尺寸对于用于映射的最佳分辨率而言是足够的。

图3F图示了光源112的位置的坐标到显示系统106中的显示器116坐标的映射350。控制平面302的具有x轴和y轴的二维透视图被示出具有在(0，0)处的原点和以下的四个角：右上(“UR”)、左上(“UL”)、右下(“LR”)和左下(“LL”)。例如，光源112的位置可以具有(400，-150)的坐标。此外，显示系统106的显示器116的具有x轴和y轴的二维透视图被示出具有在(0，0)处的原点和以下四个角：右上’(“UR’”)、左上’(“UL’”)、右下’(“LR’”)和左下(“LL’”)。映射305被配置成将光源112的位置从控制平面302的坐标系映射到显示系统106的显示器116的坐标系中。因此，在知道光源112的移动和两个坐标空间的大小的情况下，在机顶盒110中的处理器可以执行该坐标转换。例如，成像设备108在与沿着y轴的实际移动相同的方向上，而在与沿着x轴的实际移动相反的方向上，捕捉光源112的移动坐标。换言之，如果用户104在向下方向上移动光源112，则成像设备108在向下方向上捕捉y坐标。然而，如果用户104在向左方向或者在向左/向下方向上移动成像设备108，则成像设备108在向右方向上捕捉x坐标。因此，机顶盒110中的处理器将坐标从控制平面302映射到显示系统106中的显示器116，以使x坐标的方向反转而y坐标的方向保持不变。此外，机顶盒110中的处理器将坐标从控制平面302映射到显示系统106中的显示器116，以缩放不同坐标系的大小。例如，显示系统106的显示器116的大小可以是在成像设备108的视场114中的控制平面302区域大小的两倍。因此，机顶盒110中的处理器知道存在二比一的比率，并且应该在映射中被用于缩放。

在该示例中，机顶盒110中的处理器110接收控制平面302的坐标系中的坐标(400，-150)，并且通过反转y坐标的方向和利用二比一的缩放比率来映射这些坐标。结果，在显示系统106中的显示器116的坐标系中的映射的坐标是(-800，-300)。然后，机顶盒110中的处理器可以向显示模块提供坐标(-800，-300)，然后该显示模块将该坐标提供给显示系统106的显示器116以显示光标。

此外，基于以上讨论的方向和比率来将控制面板302的角映射到显示系统106的显示器116的角中。例如，将UL映射到UR’、将UR映射到UL’、将LL映射到LR’，以及将LR映射到LL’。机顶盒110中的处理器还将该角的映射的坐标提供给显示模块，然后显示模块将角的坐标提供给显示系统106的显示器116以与光标一起显示角。

在另一个实施例中，不使用机顶盒110。可以利用独立或者集成处理器进行处理。

在又一个实施例中，不使用显示模块。机顶盒110中的处理器可以将映射的坐标直接发送到显示系统106的显示器116。

图4图示了由交互控制系统利用的过程400。在过程块402处，过程400捕捉从交互控制设备发出的多个定位信号以形成具有一个或多个控制点的二维图像，该交互控制设备可以在成像设备的视场中的三维控制空间中移动。此外，在过程块404处，过程400显示显示控制区域，在该显示控制区域中，显示定位信号对象和一个或者多个控制对象用于与交互控制设备进行交互。另外，在过程块406处，过程400基于该一个或者多个控制点来生成定位信号对象，并且将该一个或者多个控制对象和定位信号对象映射到数据结构，使得在该一个或者多个控制对象和定位信号对象之间的交互在空间上是同步的。在显示控制区域中展现该定位信号对象和该一个或者多个控制对象。

图5图示了由交互控制设备102利用的过程500。在过程块502处，过程500根据成像设备的视场中的控制平面的二维坐标系来发出处于成像设备的视场中并且被跟踪的定位信号，使得定位信号的控制平面二维坐标被转换成定位信号的显示二维坐标，该显示二维坐标基于显示器的二维坐标系。此外，在过程块504处，过程500提供指示和与显示器相关联的系统的场境相关联的命令的命令信号。

图6图示了由成像设备108利用的过程600。在过程块602处，过程600通过透镜模块来捕捉从交互控制设备发出的多个定位信号，该交互控制设备可以在三维控制空间中移动。此外，在过程块604处，过程600形成具有一个或者多个控制点的二维图像，使得处理器基于该一个或者多个控制点来生成定位信号对象。

图7图示了实现处理从交互控制设备102接收到的数据的站或者系统700的框图。在一个实施例中，使用通用计算机或者任何其它硬件等价形式来实现该站或者系统700。因此，该站或者系统700包括：处理器710；存储器720，例如，随机存取存储器(“RAM”)和/或只读存储器(ROM)；显示模块740以及各种输入/输出设备730(例如，存储设备，包括但不限于磁带驱动器、软盘驱动器、硬盘驱动器或者光盘驱动器；接收器；发射器；扬声器；显示器；图像捕捉传感器，例如在数字静态相机或者数字相机中使用的那些；时钟；输出端口；用户输入设备(诸如键盘、键区、鼠标等，或者用于捕捉语言命令的麦克风))。

应该理解，显示模块740可以被实现为通过通信信道被耦接到处理器710的一个或者多个物理设备。显示模块740可以从处理器710接收像素数据，并且将该像素数据发送到例如显示器的输入/输出设备以进行显示。替代地，显示模块740可以由一个或者多个软件应用(或者甚至软件和硬件的组合，例如，使用专用集成电路(ASIC))来表示，其中从存储介质(例如，磁驱动器或者光驱动器或者磁盘)加载软件，并且由计算机的存储器720中的处理器来操作软件。这样，可以将本公开的显示模块740(包括关联的数据结构)存储在计算机可读介质上，计算机可读介质例如RAM存储器、磁驱动器或者光驱动器或者磁盘等。

应该理解，还可以在其它类型的系统中应用在这里所描述的提供交互控制系统的方法和装置。本领域技术人员应当意识到，在不偏离本方法和系统的范围和精神的情况下，可以配置该方法和装置的实施例的各种改编和修改。因此，应当理解，在所附权利要求的范围内，可以不按照这里所具体描述的来实践本方法和装置。

1.一种装置，包括：

成像设备，所述成像设备捕捉从交互控制设备发出的多个定位信号以形成具有一个或者多个控制点的二维图像，所述交互控制设备可以在所述成像设备的视场中的三维控制空间中移动；

显示器，所述显示器具有显示控制区域，在所述显示控制区域中显示定位信号对象和一个或者多个控制对象，用于与所述交互控制设备进行交互；以及

处理器，所述处理器基于所述一个或者多个控制点来生成定位信号对象，并且将所述一个或者多个控制对象和所述定位信号对象映射到数据结构，使得在所述一个或者多个控制对象和所述定位信号对象之间的交互在空间上是同步的，所述定位信号对象和所述一个或者多个控制对象被展现在所述显示控制区域中。

2.根据权利要求1的装置，其中，所述成像设备包括具有传感器格网和透镜模块的成像传感器。

3.根据权利要求1或者权利要求2所述的装置，其中，以红外脉冲格式来编码所述多个定位信号。

4.根据权利要求1到3的任何一项所述的装置，其中，所述定位信号对象是光标的图像，所述光标提供所述交互控制设备在所述显示控制区域中的相对位置的指示。

5.根据权利要求1到4的任何一项所述的装置，其中，在所述处理器将所述一个或者多个控制对象和所述定位信号对象映射到所述显示控制区域并且从所述交互控制设备接收命令信号之后，如果所述定位信号对象在所述显示控制区域中处于与所述控制对象相同的位置中，则所述处理器执行与所述一个或者多个控制对象中的一个相关联的命令。

6.根据权利要求1到5的任何一项所述的装置，其中，响应于与所述交互控制设备相关联的按钮的激活，从所述交互控制设备传出命令信号。

7.根据权利要求6所述的装置，其中，根据所述交互控制设备的预定运动模式来解释所述命令信号。

8.一种装置，包括：

光源，所述光源发出处于成像设备的视场中并且根据所述成像设备的视场中的控制平面的二维坐标系被跟踪的定位信号，使得所述定位信号的控制平面二维坐标被转换成所述定位信号的显示二维坐标，所述显示二维坐标基于显示器的二维坐标系；以及

激活按钮，所述激活按钮被激活以提供命令信号，所述命令信号指示和与所述显示器相关联的系统的场境相关联的命令。

9.根据权利要求8所述的装置，其中，从所述光源提供所述命令信号。

10.根据权利要求8所述的装置，其中，从不同于所述光源的传输介质提供所述命令信号。

11.根据权利要求8到10的任何一项所述的装置，其中，将与所述定位信号相关联的位置数据提供给显示模块，使得在所述显示器上指示经转换的所述光源的位置。

12.根据权利要求11所述的装置，其中，光标的图像提供所述光源在所述显示器中的相对位置的指示。

13.根据权利要求8到12的任何一项所述的装置，其中，以红外脉冲格式来编码所述定位信号。

14.根据权利要求8到13的任何一项所述的装置，其中，以红外脉冲格式来编码所述命令信号。

15.根据权利要求8到14的任何一项所述的装置，进一步包括：传感器，所述传感器检测显示系统，并且基于所述显示系统的检测来发出可由所述成像设备检测的一个或多个控制信号，以发起对所述显示系统的控制。

16.一种装置，包括：

透镜模块；以及

成像传感器，所述成像传感器通过所述透镜模块来捕捉从可以在三维控制空间中移动的交互控制设备发出的多个定位信号，并且形成具有一个或者多个控制点的二维图像，使得处理器基于所述一个或者多个控制点来生成定位信号对象。

17.根据权利要求16所述的装置，其中，所述成像传感器还接收命令信号，所述命令信号包括根据在所述定位信号的显示二维坐标处所显示的对象来发起的命令。

Claims (20)

1.一种装置，包括：

成像设备，所述成像设备捕捉从交互控制设备发出的多个定位信号以形成具有一个或者多个控制点的二维图像，所述交互控制设备可以在所述成像设备的视场中的三维控制空间中移动；

显示器，所述显示器具有显示控制区域，在所述显示控制区域中显示定位信号对象和一个或者多个控制对象，用于与所述交互控制设备进行交互；以及

处理器，所述处理器基于所述一个或者多个控制点来生成定位信号对象，并且将所述一个或者多个控制对象和所述定位信号对象映射到数据结构，使得在所述一个或者多个控制对象和所述定位信号对象之间的交互在空间上是同步的，所述定位信号对象和所述一个或者多个控制对象被展现在所述显示控制区域中。

2.根据权利要求1的装置，其中，所述成像设备包括具有传感器格网和透镜模块的成像传感器。

3.根据权利要求1或者权利要求2所述的装置，其中，以红外脉冲格式来编码所述多个定位信号。

4.根据权利要求1到3的任何一项所述的装置，其中，所述定位信号对象是光标的图像，所述光标提供所述交互控制设备在所述显示控制区域中的相对位置的指示。

5.根据权利要求1到4的任何一项所述的装置，其中，在所述处理器将所述一个或者多个控制对象和所述定位信号对象映射到所述显示控制区域并且从所述交互控制设备接收命令信号之后，如果所述定位信号对象在所述显示控制区域中处于与所述控制对象相同的位置中，则所述处理器执行与所述一个或者多个控制对象中的一个相关联的命令。

6.根据权利要求1到5的任何一项所述的装置，其中，响应于与所述交互控制设备相关联的按钮的激活，从所述交互控制设备传出命令信号。

7.根据权利要求6所述的装置，其中，根据所述交互控制设备的预定运动模式来解释所述命令信号。

8.根据权利要求1到7的任何一项所述的装置，其中，所述显示器是电视机。

9.根据权利要求1到7的任何一项所述的装置，其中，所述显示器是计算机监视器。

10.根据权利要求1到9的任何一项所述的装置，其中，所述数据结构是矩阵。

11.一种装置，包括：

光源，所述光源发出处于成像设备的视场中并且根据所述成像设备的视场中的控制平面的二维坐标系被跟踪的定位信号，使得所述定位信号的控制平面二维坐标被转换成所述定位信号的显示二维坐标，所述显示二维坐标基于显示器的二维坐标系；以及

激活按钮，所述激活按钮被激活以提供命令信号，所述命令信号指示和与所述显示器相关联的系统的场境相关联的命令。

12.根据权利要求11所述的装置，其中，从所述光源提供所述命令信号。

13.根据权利要求11所述的装置，其中，从不同于所述光源的传输介质提供所述命令信号。

14.根据权利要求11到13的任何一项所述的装置，其中，将与所述定位信号相关联的位置数据提供给显示模块，使得在所述显示器上指示经转换的所述光源的位置。

15.根据权利要求14所述的装置，其中，光标的图像提供所述光源在所述显示器中的相对位置的指示。

16.根据权利要求11到15的任何一项所述的装置，其中，以红外脉冲格式来编码所述定位信号。

17.根据权利要求11到16的任何一项所述的装置，其中，以红外脉冲格式来编码所述命令信号。

18.根据权利要求11到17的任何一项所述的装置，进一步包括：传感器，所述传感器检测显示系统，并且基于所述显示系统的检测来发出可由所述成像设备检测的一个或多个控制信号，以发起对所述显示系统的控制。

19.一种装置，包括：

透镜模块；以及

成像传感器，所述成像传感器通过所述透镜模块来捕捉从可以在三维控制空间中移动的交互控制设备发出的多个定位信号，并且形成具有一个或者多个控制点的二维图像，使得处理器基于所述一个或者多个控制点来生成定位信号对象。

20.根据权利要求19所述的装置，其中，所述成像传感器还接收命令信号，所述命令信号包括根据在所述定位信号的显示二维坐标处所显示的对象来发起的命令。

Images