CN1943229A - 移动可投影图形用户界面 - Google Patents

Abstract

一种手持式设备在针对设备的运动稳定投影的控制下在表面上创建视觉信息的投影。该设备具有用于在稳定的投影中创建视觉标记的部件，该视觉标记在用户控制下相对于投影是可移动的。这种结构使该设备能够被配置为遥控设备。

Description

移动可投影图形用户界面

技术领域

本发明涉及用于在表面上创建视觉信息投影的手持设备。

背景技术

从例如引入在此作为参考的公开号为20030038928的美国专利申请中公知这样的设备。该公知设备涉及利用手持式或可佩带设备呈现视觉信息。在一种实施方式中，蜂窝电话被修改为包括用于将图像投影到墙上的装置。还结合了一种检测该蜂窝电话何时相对于墙上的图像移动以及通过用于稳定图像的手段抵销相对移动的装置。这使得蜂窝电话的用户能够产生大的视觉媒体显示(器)并与之交互作用，同时不显著增加蜂窝电话的尺寸。

发明内容

本发明人认识到，能够采用这种已知的概念进一步实现再现(rendering)与用户交互作用的协同组合。为此，本发明人建议一种手持式设备，具有在表面上产生视觉信息投影的功能。该投影是受用于稳定该设备运动的投影的稳定器控制的。该设备包括用于在稳定的投影中产生相对于用户控制下的投影可移动的视觉标记的部件。限定词“手持式”是指在操作使用期间该设备的移动或便携式特性。这种结构能够集成用于为手持设备创建大尺寸的图形用户界面的装置，而该手持设备根据定义几乎都具有小的形状因数。

在本发明的一种实施方式中，该部件包括发光部分，例如激光指针，其方向相对于该设备被固定。在另一种实施方式种，该部件包括微控制器，用于控制标记的位置，作为投影视觉信息的一部分。

在还一种实施方式中，该设备具有确认输入，用于允许用户确认由标记占据的投影中位置的选择。这个配置使得能够使用投影作为对例如用于在设备(PDA，MP3播放器等)上有组织存储电子文件的文件系统的图形用户界面(GUI)。

在另一种实施方式中，该设备具有通信器，用于传送选择的确认给该设备外部的源。该配置给该设备提供例如遥控器的功能，从而能够通过把标记的位置与投影中表示的可选择项目相关联来进行源操作的遥控。确认位置启动了正确的遥控命令的发送。作为该配置的另一个例子，该设备具有浏览器，并且通信器能够无线接入数据网络。在因特网上导航和单击超链接是通过确认上述选择来完成。

在另一种实施方式中，该设备被配置用于播放计算机游戏，投影对该计算机游戏形成可视反馈。该部件包括微控制器，用于控制为投影的视觉信息一部分的标记的位置。该标记可以包括用于与利用投影所表示的虚拟世界交互作用的动画或动画制作的字符。

在另一种实施方式中，该设备包括显示监视器。当视觉信息具有太高的分辨率以致于在显示监视器上再现时不能辨别时，投影能力可能是有用的。

视觉标记可以用于例如在讨论或呈现视觉信息时将观众的注意力引导到特定的特性。该标记也可以辅助用于与投影中表现的信息交互作用。

附图说明

通过举例并参考附图，更加详细地解释本发明，其中：

图1、2和3是本发明中的设备的方框图；

图4、5和6说明若干实施方式的确定标记的屏幕位置的方式。

在所有的附图中，相同的标号表示类似的或相应的特征。

具体实施方式

在下面的实施方式中，根据本发明的设备例如包含在PDA、蜂窝电话、静止图片或摄像机、便携式音乐播放器、遥控设备、计算机游戏设备等等或者在操作使用中一般手持的或可佩带的另一移动设备中或包括上述的设备。

图1和2是说明本发明中的手持设备100的操作使用的框图。图1表示第一操作模式中的设备100，发射光束102，以便在墙壁106上创建视觉信息的投影104。通过从例如美国专利申请公开号为20030038928以及从其中所提及的文献中公知的方式对于例如用户的手的不期望振动(摆动)而使投影104稳定。这种类型的稳定抵消了或者至少降低了投影104中由于设备100是手持的而遭受到的振动。一般，这些振动的特征在于特定量级的振幅和特定范围的频率。图2示出了第二操作模式中的设备100。通过与例如设备100上的模式选择按钮108的用户交互作用或通过一些其他适当的手段诸如语音控制、定时器等完成模式选择，在经过一个时间段之后，定时器从第一模式切换到第二模式，其中设备100保持为相对静止。图2中的设备100保持在墙壁106上投影视觉信息，但是现在对于大于无意识振动的运动，也需要投影的稳定性。在实际限制内，用户改变设备100的位置和方向，以便越过投影图像104移动标记。投影的稳定性也对通过用户的手有意识地施加到设备100上的这些运动作出反应。这种运动一般具有比无意识振动更大的幅度和更低的频率。设备100现在生成窄的光束202，以便在墙壁106上产生视觉标记204，用于指示由于光束102引起的投影104中的某些特性。为了实施这一功能，设备100具有例如机载激光指针(未示出)或另一发光部件(未示出)，其方向和位置相对于设备100的外壳(housing)被固定。或者，指针功能通过以软件控制标记的位置来实现。例如，在第二模式中，生成标记作为在投影图像上重叠的像素簇(cluster)或作为在组成待投影的图像的其他MPEG-7对象之中的MPEG-7对象，并且该像素团的运动利用软件来控制，以致于例如该像素簇不进行稳定操作。也就是说，该像素簇跟随着设备100的运动，就好像该像素簇是利用相对于设备100固定的单独光源来投影的一样。如所公知的，MPEG-7把视听数据模拟为对象的组成部分，其处理能够单独地进行控制。

在实际限制内，用户改变设备100的位置和方向，以便越过投影图像104移动标记。投影的稳定性现在也对由于用户的手在设备100上有意识施加的运动作出反应。这种运动一般具有比无意识振动更大的幅度和更低的频率。

在第二模式中，设备100例如用于向一个或多个其他人呈现视觉信息。指针模式则使得用户能够由于可移动指针而把注意力吸引到投影中的特定特征上。或者，第二模式使得用户能够与投影的信息交互作用。例如，设备100投影例如包括可点击链接的网页或诸如在显示列出若干可选项的菜单的Windows Explorer菜单中可见的组织结构的图像。在后一情况中，链接或菜单选项的选择是通过将标记的位置与用户确认他的/她的选择时在投影的图像中链路或菜单选项的位置相关联来实现。在这种相关联的上下文中，例如，参见US专利申请公开号20030030622，其通过参考结合在这里。该公开文本披露了用于确定标记相对于投影图像的位置的各种方式。在使用的另一个例子中，设备100的第二模式用于计算机游戏或视频游戏中，其中标记用于例如在投影中瞄准移动对象。

图3是用于设备100的实现的框图。设备100包括外壳302，其容纳一个或多个传感器304，用于检测设备100例如相对于参考方向和/或相对于地球的重力场、相对于投影104等的方向。例如，传感器304，请参见上文提到过的US专利申请公开号20030038928。外壳302还容纳投影控制器306和投影仪308。传感器304提供输入给投影控制器306，用于投影仪308的控制，以便对于外壳302的运动来稳定投影104。设备100包括用于在稳定的投影104中创建在用户控制下相对于投影104是可移动的视觉标记的部件310。部件310以其光束202的方向相对于外壳302被固定的方式安装在外壳302内或安装在外壳302上。操纵外壳302则使得该标记以这样的方式越过投影104移动，就好像该标记是外壳302的物理延伸。

在本发明的实施例中，该标记用于与投影104交互作用并用于将这个交互作用的结果传送给外部源(未示出)。设备100则包括用于在设备100和源之间通信的通信器312。例如，设备100是遥控设备，并且投影104包括用于控制包括诸如TV、DVD播放器等的可遥控装置的源的可选选项的菜单。选择特定菜单选项是通过把标记放置在投影104中的选项上并且通过与设备100的另一个用户交互作用(例如，按压按钮)确认选择来完成的。确认随后使得通信器312通过红外(IR)或射频(RF)电磁波向源发送相关的控制命令。作为另一个例子，设备100具有通过通信器312的无线因特网接入，并包括浏览器。投影104包括具有超级链接的网页的图像。设备100使得用户能够在投影104中在链接的位置上定位标记，并且例如通过按下按钮在链接上启动该点击。这引起相关URL被传送给无线接入点以及对应的新网页被检索，这都是通过通信器312完成的。设备100也可以包括显示监视器314。例如，如果视觉信息具有太高的分辨率以致于不能使用具有小的形状因数的显示器314舒适观看的话，则使用投影仪308。

为此，当用户确认选择或点击链接时，必须相对于投影104确定标记的位置。图4是说明这样做的一种方式的图。假定只需要有限的精度，因为菜单选项和可点击链接占用表面402上投影104中有限大小的面积，链接或选项的面积大于标记所占用的面积。进一步假定，借助于保持光束102的光轴404基本垂直于表面402来稳定投影104。后者是关于操作使用的合理假定，因为实质上倾斜的投影将使投影的图像失真。设备100在图4中表示为倾斜和/或摇摄，同时在表面402上投影图像产生投影104。部件310相对于投影仪308的位置被固定并被公知。

首先考虑这种情况(未示出)，其中部件310的结构是这样的，以致于它的位置和投影仪308的位置能够被认为是一致的。也就是说，在光束102和光束202的源之间没有偏移。当设备100在第一模式中保持与表面404垂直时，光束202与光轴406重合。标记的位置完全由稳定时设备100相对于光轴404的倾斜和摇摄角来确定。这是由以下事实导致的：设备100和表面402之间的距离并不影响光束202与投影104的交叉点相对于图像的位置。如果是这样的话，在距离改变时，投影的图像本身将非均匀地被失真。因此，稳定操作所导致的倾斜角和摇摄角能够转换为相对于图像的坐标，从而选择相关的菜单选项或可点击链接。现在考虑这样的情况，其中部件310的结构使得部件310和投影仪308的光源的位置相对彼此具有偏移。考虑如图3中的横向偏移406。当轴404在第一模式中基本上保持与表面402垂直时，光束202和光轴404现在是平行的但并不重合。随后，设备100和表面402之间的距离确实起作用。这在图中通过把表面402的成像移位到设备100更靠近的表面408的位置而容易看出。光束202与投影104相交的点确定光束202所指向的投影图像中的项的坐标。这些坐标现在由摇摄角和倾斜角以及距离来确定。距离能够通过聚焦图像和采用焦距作为距离的表示来确定。确定距离的其他方式可以包括校准步骤，其中用户例如通过按下确认按钮来对设备100确认：光束202击中稳定的投影图像中的校准记号410。根据摇摄角与倾斜角、偏移406和图像中记号410的相对位置，能够估计距离。类似的考虑应用于其中光束102和202的源具有轴向偏移(一个位于另一个之后)的情况中。如果横向偏移406相对于设备100和表面402之间的距离是小的话，则在实际条件下在精确定位标记时，该距离只起着次要作用(如果起作用的话)。

图5是说明本发明的还一实施方式的图，其中标记502的运动以软件来控制。图像504和标记502利用投影仪被投影在墙106上。标记502被生成为在图像504上重叠的像素簇或生成为组成待投影的图像504的其他MPEG-7对象中的MPEG-7对象。为此，设备100包括图像处理器506。图像504减去标记502经历如上文所述的设备100的第二模式中投影控制器306的稳定操作。标记502将跟随第二模式中设备100的运动，就好象标记502是例如由固定到设备100上的激光指针生成的(光)点。假定：在第二模式中，标记502的位置被初始化在图像504的中央。由传感器304检测到的设备100的摇摄角和/或倾斜角的变化引起图像504的投影104相应地变化，以抵消这一变化，这例如通过控制投影仪308中反射镜508的运动来实现。由于标记502是投影的图像504的一部分，所以标记502将经历相同的操作，使之保持原样。因此，处理器506移动图像504中的标记502，以抵消稳定反作用。在这个上下文中，参考Nancy Kidney等人于2001年3月30日申请的US专利申请序列号09/823460(代理人记录表US 018037)的ONE-TO-ONE DIRECT COMMUNICATION，其在PCT的公开号为WO 02079969，并且结合在这里作为参考。该文件涉及在物体在发送器的显示器上逐渐滑出视图(窗)并且在接收器的显示器上逐渐滑入视图时图形表示电子对象从发送手持式装置到接收器的传送的进程。手持式装置中的重力传感器用于确定传输的数据速率。这个视觉反馈例如是电子玩具的人类工程学特征。

在图5的讨论中所提及的操作在图6中示出。假定：投影仪308上图像504的面积的线性尺寸已知为具有量级“A”。投影104的线性尺寸则是“A.D”，其中“D”是投影仪308和表面106之间的距离。假定打算表示标记502的投影的新位置的设备100的倾斜或摇摄角。如果没有图像稳定，则图像504的投影104将具有一个位置，其中心即标记502的投影的初始位置在点410上。由于投影104对于这个移动被稳定，所以投影104并不跟随该移动，这建立度角。然而，标记502的投影将利用点410的位置。这个位置是偏离尺寸A.D的投影104的中心的距离D.(弧度)。如果图像504中的标记502被移动到偏离图像504的中心的距离，则它们的复合投影导致稳定的情况，标记502的投影利用用户意图采用的位置。因此，图像处理器将被提供检测的倾斜角和摇摄角的值，以移动图像504中的标记502，从而使后者被用作指针。

Claims (12)

1、一种手持式设备，具有用于在稳定器的控制下在表面上创建视觉信息的投影的功能，以便针对设备的运动来稳定投影，该设备包括用于在稳定的投影中创建视觉标记的部件，该视觉标记在用户控制下相对于投影是可移动的。

2、权利要求1的设备，其中该部件包括其方向相对于该设备被固定的发光部分。

3、权利要求1的设备，其中该部件包括控制器，用于控制标记的位置作为投影的视觉信息的一部分。

4、权利要求1的设备，包括确认输入，用于确认被标记占用的投影中的位置的选择。

5、权利要求4的设备，包括通信器，用于将选择的确认传送给该设备外部的源。

6、权利要求4的设备，包括遥控器，用于使得能够通过将标记的位置与投影中表示的可选项相关联来遥控源的操作。

7、权利要求4的设备，包括浏览器，并且其中该通信器能够无线接入数据网络。

8、权利要求4的设备，包括文件系统，用于组织存储电子文件。

9、权利要求1的设备，被配置为播放计算机游戏，对于该计算机游戏，投影形成视觉反馈。

10、权利要求9的设备，其中该部件包括控制器，用于控制标记的位置为投影的视觉信息的一部分。

11、权利要求10的设备，其中该标记包括动画。

12、权利要求1的设备，包括显示监视器。

Images