CN103493115A - 估计来自具有照相机的遥控器的控制特征 - Google Patents

Abstract

装置（1）通过让照相机（11）进一步检测来自非信标（41，42）的光点（61，62）而估计包括照相机（11）的遥控器（10）的控制特征，所述照相机用于检测来自位于要经由遥控器（10）控制的设备（20）处或附近的信标（31，32）的光点（51，52）。处理器（2）响应于来自光点（51，52，61，62）的检测的信息而估计控制特征。非信标（41，42）包括噪声源或者不同于信标（31，32）的任何其他源。存储器（3）每时间间隔存储每次检测的信息。来自信标（31，32）的光可以是调制光，并且来自非信标（41，42）的光可以是其他的光。所述信息可以包括每次检测和每时间间隔的光点（51，52，61，62）的坐标、尺寸和强度。控制特征可以包括遥控器（10）的指向位置、距离、旋转、倾斜、定位、速度、加速度、运动和/或变焦。

Description

估计来自具有照相机的遥控器的控制特征

技术领域

本发明涉及一种用于估计遥控器的至少一个控制特征的装置，该遥控器包括照相机，该照相机用于检测来源于位于要经由遥控器控制的设备处或附近的至少一个信标的至少一个光点。

本发明进一步涉及：一种包括所述装置的遥控器；一种包括所述装置的设备；一种用于估计遥控器的至少一个控制特征的方法，该遥控器包括照相机，该照相机用于检测来源于位于要经由遥控器控制的设备处或附近的至少一个信标的至少一个光点；一种用于执行所述方法的步骤的计算机程序产品；以及一种用于存储并且包括所述计算机程序产品的介质。

这样的设备的实例为具有显示器的设备以及要远程地控制的其他设备。

背景技术

从Philips® uWand®技术公司可获悉一种用于估计遥控器的至少一个控制特征的装置，该遥控器包括照相机，该照相机用于检测来源于位于要经由遥控器控制的设备处或附近的至少一个信标的至少一个光点。

当也检测到不来源于信标，而是例如来源于噪声源的另外的光点时，问题可能出现。现有的技术设法过滤和/或消除这样的另外的光点，这并不总是容易的。

发明内容

本发明的一个目的是提供一种改进的用于估计遥控器的至少一个控制特征的装置，该遥控器包括照相机，该照相机用于检测来源于位于要经由遥控器控制的设备处或附近的至少一个信标的至少一个光点。

本发明的另外的目的是提供：一种包括所述装置的遥控器；一种包括所述装置的设备；一种用于估计遥控器的至少一个控制特征的方法，该遥控器包括照相机，该照相机用于检测来源于位于要经由遥控器控制的设备处或附近的至少一个信标的至少一个光点；一种用于执行所述方法的步骤的计算机程序产品；以及一种用于存储并且包括所述计算机程序产品的介质。

依照第一方面，提供了一种用于估计遥控器的至少一个控制特征的装置，该遥控器包括照相机，该照相机用于检测来源于位于要经由遥控器控制的设备处或附近的至少一个信标的至少一个光点并且用于检测来源于至少一个非信标的至少一个光点，来自所述至少一个信标的光不同于来自所述至少一个非信标的光，该装置包括

- 处理器，其用于响应于来自光点的检测的信息而估计所述至少一个控制特征。

为了估计所述至少一个控制特征，处理器不仅使用来自信标的光点的检测的信息，而且使用来自非信标的光点的检测的信息。换言之，来源于噪声源的光点（其在过去必须被过滤和/或消除）现在用于创建附加信息。附加信息的存在性可以用于补偿缺失的信息并且用于创建更多的信息以便改进控制特征的估计。

所述非信标包括噪声源或者不同于信标的任何其他源。

所述装置的一个实施例由以下限定：来源于所述至少一个信标的所述至少一个光点包括来源于第一和/或第二信标的第一和/或第二光点，并且来源于所述至少一个非信标的所述至少一个光点包括来源于第一和/或第二非信标的第三和/或第四光点，照相机被设置用于每时间间隔检测第一和/或第二光点并且每时间间隔检测第三和/或第四光点，所述信息包括来自每时间间隔的第一和/或第二光点的第一和/或第二检测的第一和/或第二信息以及来自每时间间隔的第三和/或第四光点的第三和/或第四检测的第三和/或第四信息，并且所述装置进一步包括

- 存储器，其用于每时间间隔存储第一和/或第二信息以及第三和/或第四信息。

通过每时间间隔检测光点并且通过每时间间隔存储信息，光点可以被跟踪并且更多的信息被收集。来自第三信标的另外的光点或者来自第三和第四信标等的另外的光点不被排除。并且来自第三非信标的更进一步的光点或者来自第三和第四非信标等的更进一步的光点不被排除。

所述装置的一个实施例由以下限定：其中在第一和/或第二信标中仅仅第一信标存在并且其中在第一和/或第二非信标中仅仅第一非信标存在，处理器被设置用于在一定时间间隔内不能检测到第一光点的情况下，通过处理来自该时间间隔的第三信息以及来自先前时间间隔的第一和第三信息估计该时间间隔的第一信息。该实施例在一个信标和一个非信标存在的情况下限定了估计。

所述装置的一个实施例由以下限定：其中在第一和/或第二信标中第一信标和第二信标存在并且其中在第一和/或第二非信标中仅仅第一非信标存在，处理器被设置用于在一定时间间隔内不能检测到第一光点的情况下，通过处理来自该时间间隔的第二和第三信息以及来自先前时间间隔的第一和第二和第三信息估计该时间间隔的第一信息。该实施例在两个信标和一个非信标存在的情况下限定了估计。

所述装置的一个实施例由以下限定：其中在第一和/或第二信标中第一信标和第二信标存在并且其中在第一和/或第二非信标中第一非信标和第二非信标存在，处理器被设置用于在一定时间间隔内不能检测到第一光点的情况下，通过处理来自该时间间隔的第二和第三和第四信息以及来自先前时间间隔的第一和第二和第三和第四信息估计该时间间隔的第一信息。该实施例在一个信标和两个非信标存在的情况下限定了估计。

所述装置的一个实施例由以下限定：其中在第一和/或第二信标中第一信标和第二信标存在并且其中在第一和/或第二非信标中第一非信标和第二非信标存在，处理器被设置用于响应于来自该时间间隔的第一和第二和第三和第四信息和/或来自先前时间间隔的第一和第二和第三和第四信息改进所述至少一个控制特征的估计。该实施例在两个信标和两个非信标存在的情况下限定了估计的改进。

所述装置的一个实施例由以下限定：来自所述至少一个信标的光为调制光，并且来自所述至少一个非信标的光为其他的光。

所述装置的一个实施例由以下限定：所述信息包括每次检测和每时间间隔的坐标和/或尺寸和/或强度。

所述装置的一个实施例由以下限定：所述至少一个控制特征包括设备上的指向位置和/或遥控器与设备之间的距离和/或遥控器的旋转和/或遥控器的倾斜和/或遥控器相对于设备的定位。

所述装置的一个实施例由以下限定：所述至少一个控制特征包括遥控器的速度和/或遥控器的加速度和/或遥控器的运动和/或遥控器的变焦。

依照第二方面，提供了一种包括如上面所限定的装置的遥控器。

依照第三方面，提供了一种包括如上面所限定的装置的设备。

依照第四方面，提供了一种用于估计遥控器的至少一个控制特征的方法，该遥控器包括照相机，该照相机用于检测来源于位于要经由遥控器控制的设备处或附近的至少一个信标的至少一个光点并且用于检测来源于至少一个非信标的至少一个光点，来自所述至少一个信标的光不同于来自所述至少一个非信标的光，该方法包括

- 响应于来自光点的检测的信息而估计所述至少一个控制特征的步骤。

依照第五方面，提供了一种用于执行如上面所限定的方法的步骤的计算机程序产品。

依照第六方面，提供了一种用于存储并且包括如上面所限定的计算机程序产品的介质。

一种深刻见解可能是，来源于非信标的另外的光点的检测可以用来创建附加信息。

一种基本思想可能是，要响应于来自信标以及非信标的光点的检测的信息而估计控制特征。

提供一种改进的用于估计遥控器的至少一个控制特征的装置的问题已经解决。

另一优点可能是，可以降低和/或避免用于过滤和/或消除来源于非信标的光点的处理能力。

本发明的这些和其他方面根据以下描述的实施例将是清楚明白的，并且将参照这些实施例进行阐述。

附图说明

在附图中：

图1示出了使用中的遥控器和设备并且示出设备附近的信标以及非信标，

图2示意性地示出了遥控器和设备，该遥控器包括装置和照相机，

图3示出了针对两个不同时间间隔的由遥控器的照相机创建的第一概图（map），

图4示出了针对两个不同时间间隔的由遥控器的照相机创建的第二概图，

图5示出了针对两个不同时间间隔的由遥控器的照相机创建的第三概图，以及

图6示意性地示出了遥控器和设备，该遥控器包括照相机并且该设备包括装置。

具体实施方式

在图1中，示出了使用中的遥控器10和设备20。在设备20附近，示出了信标31和32。可替换地，这些信标31和32可以形成设备20的部分。此外，示出了非信标41和42。来自信标31和32的光为例如红外光和/或例如在频率、波长、强度、接通/关断模式等等方面调制的光。来自非信标41和42的光为其他的光，例如其他的红外光和/或以其他方式调制的光或者不是调制光。非信标41和42为例如噪声源，例如灯、反射、阳光等等。

在图2中，示意性地示出了遥控器10和设备20。遥控器10包括装置1和照相机11。照相机11耦合到控制器12。控制器12的一侧耦合到发射器13并且控制器12的另一侧耦合到装置1的处理器2。处理器2耦合到装置1的存储器3。发射器13将控制数据发送至耦合到设备20的接收器21以便控制设备20。照相机11每时间间隔检测概图上的光点，这些光点来源于信标31和32以及来源于非信标41和42，如图3-5中所示。控制数据通常例如经由射频信号或者另一种无线信号无线地交换。

可替换地，装置1可以形成控制器12的部分，或者反之亦然。可替换地，装置1可以代替控制器12，或者装置1可以位于控制器12与发射器13之间。可替换地，接收器21可以形成设备20的部分，等等。

再者，在图3-5的视图中，照相机11检测来源于信标31和/或32的第一和/或第二光点51和/或52，并且检测来源于非信标41和/或42的第三和/或第四光点61和/或62。处理器2响应于来自光点51、52、61和/或62的检测的信息而估计至少一个控制特征。该控制特征将作为控制数据被发送至设备20，或者将被转换成控制数据以用于控制设备20。

照相机11优选地被设置用于每时间间隔检测第一和/或第二光点51和52并且每时间间隔检测第三和/或第四光点61和62。所述信息包括来自每时间间隔的第一和/或第二光点51和52的第一和/或第二检测的第一和/或第二信息以及来自每时间间隔的第三和/或第四光点61和62的第三和/或第四检测的第三和/或第四信息。存储器3每时间间隔存储第一和/或第二信息以及第三和/或第四信息。

所述信息包括例如每次检测和每时间间隔的（光点51、52、61和/或62的）坐标和/或尺寸和/或强度。所述至少一个控制特征可以包括设备20上的指向位置和/或遥控器10与设备20之间的距离和/或遥控器10的旋转和/或遥控器10的倾斜和/或遥控器10相对于设备20的定位。所述至少一个控制特征可以包括遥控器10的速度和/或遥控器10的加速度和/或遥控器10的运动和/或遥控器10的变焦。变焦或者其变化可以进一步用于指示设备20。遥控器10可以将例如响应于用户按压按钮或者例如来自加速度传感器或倾斜传感器等等的另外的数据添加到控制数据以便指示设备20。

为了能够将一方面来自信标31-32的光和另一方面来自非信标41-42的光区分，照相机11可以例如被设置成检测来自信标31-32的调制光的频率或波长或强度或接通/关断模式等等，和/或照相机11可以例如被设置成检测来自非信标41-42的非调制光或者以其他方式调制的光的特征。频率和波长和强度和接通/关断模式等等的检测在本领域中是常见的。此外，对于接通/关断模式的检测，时间间隔的持续时间可能需要选择得比接通/关断模式的周期更长，和/或接通/关断模式的周期可能需要选择得比时间间隔的持续时间更短，和/或两个后续时间间隔之间的另外的时间（如果存在的话）可能需要与接通/关断模式的周期相比适当地加以选择，和/或接通/关断模式的周期可能需要与两个后续时间间隔之间的另外的时间（如果存在的话）相比适当地加以选择，和/或若干时间间隔可能需要被使用，等等。可替换地，所述检测可以部分地或者完全地从照相机11移到控制器12和/或装置1中。

在图3中，示出了针对两个不同时间间隔的由遥控器10的照相机11创建的第一概图。在这种情况下，信标32和非信标42例如不存在或者一直被覆盖。在第一时间间隔或者第一时刻，照相机11创建包括来自信标31的光点51和来自信标41的光点61的概图。在第二时间间隔或者第二时刻，照相机11创建由于以下事实而仅仅包括来自信标41的光点61的概图：来自信标31的光点51暂时不可检测，如虚线所示。然而，通过使用来自这两幅概图的信息，可以在这里例如在没有发生旋转的假设下计算光点51的新位置。显然，与第一时间间隔相比，由于光点51和61被定位成稍微更靠右这一事实，用户在第二时间间隔内稍微更指向左边。

在图4中，示出了针对两个不同时间间隔的由遥控器10的照相机11创建的第二概图。在这种情况下，非信标42例如不存在或者一直被覆盖。在第一时间间隔或者第一时刻，照相机11创建包括来自信标31的光点51和来自信标32的光点52以及来自信标41的光点61的概图。在第二时间间隔或者第二时刻，照相机11创建由于以下事实而仅仅包括来自信标32的光点52以及来自信标41的光点61的概图：来自信标31的光点51暂时不可检测，如虚线所示。然而，通过使用来自这两幅概图的信息，可以计算光点51的新位置。显然，与第一时间间隔相比，由于光点51和52和61被定位成稍微更高这一事实，用户在第二时间间隔内指向稍微更低。

在图5中，示出了针对两个不同时间间隔的由遥控器10的照相机11创建的第三概图。在第一时间间隔或者第一时刻，照相机11创建包括来自信标31的光点51和来自信标32的光点52以及来自信标41的光点61和来自信标42的光点62的概图。在第二时间间隔或者第二时刻，照相机11创建由于以下事实而仅仅包括来自信标32的光点52以及来自信标41的光点61和来自信标42的光点62的概图：来自信标31的光点51暂时不可检测，如虚线所示。然而，通过使用来自这两幅概图的信息，可以计算光点51的新位置。显然，与第一时间间隔相比，由于光点51和52和61和62被定位成稍微更低这一事实，用户在第二时间间隔内指向稍微更高。在这里，仿射变换可以用来估计缺失的光点的位置。

优选地，处理器3被设置用于响应于来自第二时间间隔的第一和第二和第三和第四信息和/或来自第一时间间隔的第一和第二和第三和第四信息而改进所述至少一个控制特征的估计。显然，当超过严格必要的信息可用时，可以就不规则性检查该信息，并且可以改进估计。

当考查不同时间间隔的概图时，可以确定平移、旋转、角度、伸缩、移动等等，并且可以检查和/或校正分配。更多的概图和更多的时间间隔和更多的光点不被排除。时间间隔可以具有任何种类的持续时间，并且可以包括一个时刻或者超过一个时刻。在两个后续的时间间隔之间，另外的时间可以存在或者不存在。

通常，光点将覆盖超过一个像素。在光点的形状或者光点的强度不是完美地对称的情况下，对于每光点可以通过比较两幅概图确定旋转。在光点的形状和光点的强度完美地对称的情况下，需要两个或更多光点以便通过比较两幅概图确定旋转。光点也可以称为团迹（blob）。团迹数据可以包括坐标数据、尺寸数据和亮度数据。

诸如基于指针或姿态的控制系统之类的用户接口系统包括具有照相机的遥控器，例如基于照相机的指针设备，以及诸如目标设备之类的设备和诸如固定信标之类的信标。信标可以例如包括红外发光二极管。可以将来自高达八个团迹的团迹数据发送至这样的设备，该设备可以处理团迹数据并且使用处理结果例如通过适应性调节显示屏幕上的图形用户界面而控制该设备。为了能够可靠地检测来自任何其他噪声源的团迹，应当跨帧跟踪照相机检测的团迹，从而例如它们的强度调制可以在时间上相关，并且相对信标的已知调制进行检查。信标可以进一步具有彼此之间的已知距离和/或相对于彼此和/或相对于设备的已知定位。通过跨相邻帧利用具有团迹的概图，可以估计缺失的、遮挡的团迹的位置。信标的更鲁棒的跟踪可以通过利用来自一个或多个噪声源的团迹而实现。

在图6中，示意性地示出了遥控器10和设备20，遥控器10包括照相机11，并且设备20包括装置1。图6与图2的不同之处在于，装置1从遥控器10移到设备20中。此外，信标31和32以及接收器21形成设备20的部分，设备20进一步包括耦合到控制器23的屏幕22，该控制器耦合到接收器21并且耦合到装置1的处理器3。在这种情况下，发射器13将概图数据发送至接收器21以便控制设备20。在那里，在设备20中或者附近，如针对图2-5所讨论的那样处理概图数据。

可替换地，装置1可以形成控制器23的部分，或者反之亦然。可替换地，装置1可以代替控制器23，或者装置1可以位于控制器23与接收器21之间，等等。

可替换地，装置1可以位于遥控器10之外和/或设备20之外，并且被设置成经由有线或无线耦合与遥控器10和/或设备20通信。

总的说来，装置1通过让照相机11进一步检测来自非信标41、42的光点61、62而估计包括照相机11的遥控器10的控制特征，所述照相机用于检测来自位于要经由遥控器10控制的设备20处或附近的信标31、32的光点51、52。处理器2响应于来自光点51、52、61、62的检测的信息而估计控制特征。非信标41、42包括噪声源或者不同于信标31、32的任何其他源。存储器3每时间间隔存储每次检测的信息。来自信标31、32的光可以是调制光，并且来自非信标41、42的光可以是其他的光。所述信息可以包括每次检测和每时间间隔的光点51、52、61、62的坐标、尺寸和强度。控制特征可以包括遥控器10的指向位置、距离、旋转、倾斜、定位、速度、加速度、运动和/或变焦。

尽管在所述附图和前面的描述中已经详细地图示和描述了本发明，但是这样的图示和描述应当被认为是说明性或示例性的，而不是限制性的；本发明并不限于所公开的实施例。例如，设备（20）在整个正文和权利要求书中可以由与设备（20）关联的物体代替。举例而言，指向邻近散热器旋钮（物体）的信标的邻近方向可以用来生成用于关联的中央供暖系统（设备）的控制信号。另一个实例是借助其可以控制（用户不可见的）百叶窗控制器（设备）的被指向的窗口百叶窗（物体）。

本领域技术人员在实施要求保护的本发明时，根据对于所述附图、本公开内容以及所附权利要求书的研究，能够理解并实现所公开实施例的其他变型。在权利要求书中，措词“包括/包含”并没有排除其他的元件或步骤，并且不定冠词“一”并没有排除复数。在相互不同的从属权利要求中记载特定技术措施这一事实并不意味着这些技术措施的组合不可以加以利用。权利要求中的任何附图标记都不应当被视为对范围的限制。

Claims (15)

1.一种用于估计遥控器（10）的至少一个控制特征的装置（1），该遥控器（10）包括照相机（11），该照相机用于检测来源于位于要经由遥控器（10）控制的设备（20）处或附近的至少一个信标（31，32）的至少一个光点（51，52）并且用于检测来源于至少一个非信标（41，42）的至少一个光点（61，62），来自所述至少一个信标（31，32）的光不同于来自所述至少一个非信标（41，42）的光，该装置（1）包括

- 处理器（2），其用于响应于来自光点（51，52，61，62）的检测的信息而估计所述至少一个控制特征。

2.如权利要求1所限定的装置（1），来源于所述至少一个信标（31，32）的所述至少一个光点（51，52）包括来源于第一和/或第二信标（31，32）的第一和/或第二光点（51，52），并且来源于所述至少一个非信标（41，42）的所述至少一个光点（61，62）包括来源于第一和/或第二非信标（41，42）的第三和/或第四光点（61，62），照相机（11）被设置用于每时间间隔检测第一和/或第二光点（51，52）并且每时间间隔检测第三和/或第四光点（61，62），所述信息包括来自每时间间隔的第一和/或第二光点（51，52）的第一和/或第二检测的第一和/或第二信息以及来自每时间间隔的第三和/或第四光点（61，62）的第三和/或第四检测的第三和/或第四信息，并且所述装置（1）进一步包括

- 存储器（3），其用于每时间间隔存储第一和/或第二信息以及第三和/或第四信息。

3.如权利要求2所限定的装置（1），其中在第一和/或第二信标（31，32）中仅仅第一信标存在（31）并且其中在第一和/或第二非信标（41，42）中仅仅第一非信标（41）存在，处理器（2）被设置用于在一定时间间隔内不能检测到第一光点（51）的情况下，通过处理来自该时间间隔的第三信息以及来自先前时间间隔的第一和第三信息估计该时间间隔的第一信息。

4.如权利要求2所限定的装置（1），其中在第一和/或第二信标（31，32）中第一信标（31）和第二信标（32）存在并且其中在第一和/或第二非信标（41，42）中仅仅第一非信标（41）存在，处理器（2）被设置用于在一定时间间隔内不能检测到第一光点（51）的情况下，通过处理来自该时间间隔的第二和第三信息以及来自先前时间间隔的第一和第二和第三信息估计该时间间隔的第一信息。

5.如权利要求2所限定的装置（1），其中在第一和/或第二信标（31，32）中第一信标（31）和第二信标（32）存在并且其中在第一和/或第二非信标（41，42）中第一非信标（41）和第二非信标（42）存在，处理器（3）被设置用于在一定时间间隔内不能检测到第一光点（51）的情况下，通过处理来自该时间间隔的第二和第三和第四信息以及来自先前时间间隔的第一和第二和第三和第四信息估计该时间间隔的第一信息。

6.如权利要求2所限定的装置（1），其中在第一和/或第二信标（31，32）中第一信标（31）和第二信标（32）存在并且其中在第一和/或第二非信标（41，42）中第一非信标（41）和第二非信标（42）存在，处理器（3）被设置用于响应于来自该时间间隔的第一和第二和第三和第四信息和/或来自先前时间间隔的第一和第二和第三和第四信息改进所述至少一个控制特征的估计。

7.如权利要求1所限定的装置（1），来自所述至少一个信标（31，32）的光为调制光，并且来自所述至少一个非信标（41，42）的光为其他的光。

8.如权利要求2所限定的装置（1），所述信息包括每次检测和每时间间隔的坐标和/或尺寸和/或强度。

9.如权利要求1所限定的装置（1），所述至少一个控制特征包括设备（20）上的指向位置和/或遥控器（10）与设备（20）之间的距离和/或遥控器（10）的旋转和/或遥控器（10）的倾斜和/或遥控器（10）相对于设备（20）的定位。

10.如权利要求2所限定的装置（1），所述至少一个控制特征包括遥控器（10）的速度和/或遥控器（10）的加速度和/或遥控器（10）的运动和/或遥控器（10）的变焦。

11.一种包括如权利要求1所限定的装置（1）的遥控器（10）。

12.一种包括如权利要求1所限定的装置（1）的设备（20）。

13.一种用于估计遥控器（10）的至少一个控制特征的方法，该遥控器（10）包括照相机，该照相机用于检测来源于位于要经由遥控器（10）控制的设备（20）处或附近的至少一个信标（31，32）的至少一个光点并且用于检测来源于至少一个非信标（41，42）的至少一个光点，来自所述至少一个信标（31，32）的光不同于来自所述至少一个非信标（41，42）的光，该方法包括

- 响应于来自光点的检测的信息而估计所述至少一个控制特征的步骤。

14.一种用于执行如权利要求13所限定的方法的步骤的计算机程序产品。

15.一种用于存储并且包括如权利要求14所限定的计算机程序产品的介质。

Images