CN101002196A - 用于手持电子设备的用户接口控制器方法和装置 - Google Patents

Abstract

一种手持电子设备(100)的用户接口控制器，该用户接口控制器具有生成视频图像的拍摄装置，将信息呈现(1105)在手持电子设备的显示器(105)上，处理(1110)视频图像以跟踪处于拍摄装置的视场(225)中的引导物体(260)的位置和取向中的至少一个，并且响应于引导物体的轨迹，修改(1115)呈现在显示器上的至少一个画面。画面的修改可以包括，选择一个或多个画面对象，移动光标对象，和调节连续画面的视角。

Description

用于手持电子设备的用户接口控制器方法和装置

技术领域

本发明通常涉及手持电子设备的领域，并且更具体地，涉及人与手持电子设备显示器上呈现的信息进行交互的领域。

背景技术

小的手持电子设备变得非常精密，与其进行友好交互的设计是具有挑战性的。特别地，能够呈现在许多手持电子设备上使用的小的、高密度的、全彩色的显示器上的信息量要求与膝上型或桌上型计算机上使用的鼠标相似的功能，以协助人与显示器上的信息的交互。用于提供该交互的一种技术是，使用尖头的物体触碰显示器表面，以确认在显示器上示出的对象或区域，但是在操作小的手持设备，诸如蜂窝电话的多种条件下，这不易于操作。

附图说明

本发明借助于示例说明，并且不限于附图，在附图中相似的参考符号表示相似的元件，并且其中：

图1是示出了根据本发明的某些实施例的手持设备的功能框图。

图2是示出了根据本发明的某些实施例的，包括引导物体和某些虚拟的几何线的手持电子设备的透视图。

图3是示出了根据本发明的某些实施例的拍摄装置的图像平面的平面视图。

图4是示出了根据本发明的某些实施例的手持电子设备和引导物体的截面视图。

图5是示出了根据本发明的某些实施例的，包括物体标志图像的手持电子设备的图像平面的平面视图。

图6是根据本发明的某些实施例的，可用于定位和定向的引导物体的图示。

图7是根据本发明的某些实施例的显示器表面的平面视图。

图8是根据本发明的某些实施例的显示器表面的平面。

图9、10和11是根据本发明的某些实施例的显示器表面的平面视图。

图12示出了根据本发明的某些实施例的在手持设备中使用的独特方法的某些步骤的流程图。

本领域的技术人员应认识到，出于简单和清楚的目的说明了图中的元件，并且其没有必要依比例绘制。例如，图中的某些元件的尺寸可以相对于其他的元件被放大，以协助改善对本发明的实施例的理解。

具体实施方式

在详细描述根据本发明的特定的人机交互技术之前，应当观察到，本发明主要在于关于人与手持电子设备的交互的方法步骤和装置部件的组合。因此，在适当的情况下，装置部件和方法步骤通过附图中的传统符号呈现，其仅示出了与理解本发明有关的具体细节，因此不会使本公开内容同对于受益于此处的描述的本领域的普通技术人员显而易见的细节混淆。

参考图1，示出了根据本发明的某些实施例的手持设备的功能框图。手持电子设备100包括显示器105、第一拍摄装置110和处理功能115，其耦合到显示器105和第一拍摄装置110。手持电子设备100可以进一步包括第二拍摄装置130、光源120、一个或多个传感器125和电话功能135，每个(所包括的)部件也耦合到处理功能115。根据本发明，手持电子设备100被唯一地组成作为这样的装置，即其相比于传统设备，基本上改进了人与手持电子设备100的交互，并且此处还描述了一种方法，用于影响牵涉手持电子设备100的该改进方案。

手持电子设备100优选地被设计为能够在正常使用的同时，在一只手中握持。因此，相比于诸如膝上型计算机、桌上型计算机和设计用于桌面、墙壁或者自身站立安装的电视的电子设备的显示器，显示器105典型地是小的。手持电子设备100可以是蜂窝电话，在该情况中其将包括电话功能135。特别地，当手持电子设备100是蜂窝电话时，在许多情况中，显示器105将约为2×2厘米。本发明能够向其提供有意义的优点的大部分电子设备100将具有小于100平方厘米的显示器可视区域。显示器105的可视表面可以是平坦的或者近似平坦的，但是对于本发明，可以使用可替换的配置。显示器105技术可以是与手持电子设备兼容的任何可用的技术，对于传统的显示器，其包括，但不限于，液晶、电致发光、光发射二极管和有机光发射设备。显示器100可以包括除了驱动电路以外的电子电路，其出于实践目的必须与显示器面板一同安置；例如，可以包括这样的电路，其可以自处理功能115接收视频信号，并且将该视频信号转换为用于显示器驱动电路所需的电子信号。例如，该电路可以包括微处理器、相关联的程序指令和相关的处理电路，或者可以是专用电路。

蜂窝电话功能135可以提供任何可用类型的一个或多个蜂窝电话服务。某些传统的技术是时分多址(TDMA)、码分多址(CDMA)或者根据诸如GSM、CDMA2000、GPRS等标准实现的相似方案。电话功能135包括必需的无线电发射机和接收机，以及用于操作无线电发射机和接收机的处理、所需的语音编码和解码、麦克风，并且可以包括用于电话所需的键盘和键盘感应功能。因此，在多数示例中，电话功能135包括处理电路，其可以包括微处理器、相关联的程序指令和相关电路。

手持电子设备100可由一个或多个电池供电，并且可以具有相关联的功率转换和调节功能。然而，可替换地，手持电子设备100可以是电源供电的，并且仍受益于本发明的优点。

第一拍摄装置与目前可用于蜂窝电话中的拍摄装置相似。其可以稍有不同，不同之处在于所提供的透镜光学装置的特征，这是因为，在可被分类为二维的某些实施例中，本发明不能极大地受益于大于约10厘米的景深范围(例如，从5厘米到15厘米)。在可以包括被分类为二维的某些实施例，以及被分类为三维的某些实施例中，第一拍摄装置110可以受益于非常短的景深，即，近似零厘米，并且不能通过大于约50厘米的景深提供基本上改进的优点。在一个示例中，本发明可以提供关于约5厘米～约25厘米的景深范围的重要优点。这些值优选地是在关于手持设备的常见的环境光条件下实现的，该环境光条件可以包括近似全暗、明亮目光、以及在此两者之间的环境光条件。在本发明的某些实施例中提供了实现所需的景深的手段，如下文更加详细描述的。对于本发明的某些实施例，单色拍摄装置是足够适用的，而在其他的实施例中，彩色拍摄装置是理想的。

处理功能115可以包括微处理器、存储在适当的存储器中的相关联的程序指令、和相关联的电路，诸如存储器管理和输入/输出电路。处理功能115的电路可以是两个或者多个集成电路，或者全部在一个集成电路中，或者连同手持电子设备100的其他功能在一个集成电路中。

参考图2，示出了根据本发明的某些实施例的手持电子设备的透视图，其包括引导物体260和某些虚拟的几何线。在手持电子设备100的该视图中示出的是显示器的可视表面210、拍摄装置孔径215、光源孔径220、传感器孔径235、作为开关的传感器245和键盘区域240。第一拍摄装置110具有视场225，其在该示例中是圆锥形的，如由虚线226指出的，其具有视场轴230。视场轴230基本上垂直于显示器的表面。(假设显示器的可视表面基本上平行于手持电子设备100的表面。)对于典型的显示器105，其在其构造中是平面的，可以称该轴被定向为基本上垂直于显示器105。拍摄装置孔径215可以包括拍摄装置镜头。

引导物体260还可被描述为棒(wand)，其在图2中说明的特定的实施例中包括安装在柄的一个末端上的球体270。引导物体260可以手持(图2中未示出)。球体270具有这样的表面，其经由自球体270的表面投射的光255，可以在第一拍摄装置110的图像平面301(图3)上产生图像370(图3)。该球体的表面在此处被称为引导物体标志，并且在其他的实施例中，可能存在多个引导物体标志。投射到图像平面301上的光可以是，例如，自球体270的表面反射的环境光、自光源120发射的和自球体270的表面反射的光、或者在球体270中生成的透射通过透明或半透明的球体表面的光、或者在球体270的表面处生成的光。引导物体260的其他部分(柄)(在该示例中不是引导物体标志)的表面的图像360也可以通过反射光投影在图像平面301上。在某些实施例中，物体标志可以覆盖整个引导物体。

参考图3，示出了根据本发明的某些实施例的第一拍摄装置110的图像平面301的平面视图。图像平面301可以是成像设备的有源表面，例如光电管扫描矩阵，用于捕获视频图像。在图3中示出的示例中，成像设备的有源表面具有外周界302，其近似对应于第一拍摄装置110的视场限制。在图像平面301上产生的球体270的图像370被称为物体标志的图像(或者物体标志图像)。在可替换的实施例中，引导物体260可被实现为生成可替换的物体标志，如下文将进一步详细描述的。在本发明的可替换的实施例中，可以在引导物体上提供不止一个物体标志。在许多实施例中，引导物体被设计为舒适的握持，并且在一只手握持手持电子设备100的同时，通过另一只手使其在手持电子设备100上移动。通过本领域的普通技术人员公知的技术，第一拍摄装置110生成一连串的视频图像。响应于引导物体260相对于手持电子设备100的移动，在连续的视频图像中，物体标志图像370可以呈现在不同的位置和取向。应当认识到，通常物体标志图像并非简单地是引导物体的二维视图的比例缩放版本(其中二维视图的平面垂直于视场轴)，这是因为，物体标志图像通过传统的透镜投射到图像平面上，其产生了相对于引导物体的二维视图的比例缩放版本失真的图像。因此，该示例中的物体标志图像不是圆形的，而是更类似于椭圆形。

处理功能115独特地包括第一功能，其使用可以包括公知的传统技术的技术，诸如边缘识别，执行物体标志图像370的物体识别；以及第二功能，其使用可以包括公知的传统技术的技术，至少确定引导物体360的参考点271的二维位置。在一个实施例中，使用作为正交矩形轴305、310的集合的坐标系统，其具有位于图像平面中的图像平面与视场225的轴230的交点处的原点，参考点271的二维位置被定义为参考点271在图像平面301上的投影位置。尽管这并未确认参考点271自身在具有相同原点的三维矩形坐标系统中的二维位置，但是以该方式定义物体标志的投影位置，可适于本发明的许多用途。在所说明的示例中，第一功能将物体标志图像370识别为由于投影而稍有修改的圆形，并且第二功能确定物体标志图像370的中心在图像平面301的正交坐标系统305、310中的二维位置。在某些实施例中，物体标志图像可以足够接近于其使用关于圆形的方程式识别的圆形。在此处描述的另一实施例中，处理功能115的第一功能确认比投影球体更加复杂的物体标志的图像，并且处理功能115的第二功能确定引导物体的三维位置和取向。处理功能115的第三功能保存获得自第一拍摄装置110生成的至少某些连续的视频图像的引导物体260的位置历史(或者在由第二功能确定时，保存取向的历史，或者保存此两者的历史)。处理功能115的第一、第二和第三功能在此处由术语“跟踪处于第一拍摄装置视场中的引导物体”概括，并且“跟踪引导物体”通常组成了引导物体在可能许多秒的时间周期中的位置和取向的历史，但是在某些环境中，可能组成“跟踪引导物体”的更加一般定义的子集，诸如简单地是引导物体的当前位置。

如下文将更加详细描述的，处理功能执行进一步的功能，即响应于所使用的坐标系统中的引导物体260的轨迹，修改在显示器105上显示的画面。与该方面有关的是，将引导物体的轨迹从用于跟踪引导物体的坐标系统映射到显示器105，其在图3中被示为正方形320。应当认识到，引导物体的轨迹到显示器105的映射可能比图3中推断的简单关系更加复杂，其中如果显示器是正方形的，则如关于第一拍摄装置110的坐标系统中定义的关于引导物体轨迹的坐标同显示器之间的关系可以是单一的缩放比例值。可以容易地理解，如果显示器是矩形的，则可以使用x和y方向中的不同的缩放比例值，作为所示出的正方形映射到显示器。还可以使用其他的映射。例如，可以在x和y方向中使用共同的缩放比例因子，映射到矩形显示器；在该情况中，对应于显示器的x和y轴的引导物体260的移动距离将是不同的。

参考图4，示出了根据本发明的某些实施例的手持电子设备100和引导物体260的截面视图。参考图5，示出了根据本发明的某些实施例的手持电子设备100的图像平面301的平面视图，其包括在引导物体260处于如图4中说明的相对于手持电子设备100的位置时，球体表面产生的物体标志图像370。引导物体260没有必要处于如图2或3所示的相对于手持电子设备100的相同的位置。图4和5中还示出了三维坐标系统，其具有位于第一拍摄装置孔径215中的透镜的投影中心处的原点。在该示例中使用三维坐标，在三维中定义了引导物体260的位置，其是球体270的中心的位置，该三维坐标被确认为Phi(Φ)405、Theta(θ)510、和R410。Theta是在图像平面301中，相对于图像平面301中的参考线505的绕视场225的轴230旋转的角度。Phi是相对于视场225的轴230的倾斜角度，而R是从原点到引导物体260(参考点271)的距离。在图5中，具有恒定Φ值(例如30°)的所有位置的轨迹的投影是圆形。应当认识到，对象标志图像370的尺寸随着到球体270的距离R的减小而增加，而且球体270的图像从Φ为零度时的圆形变为椭圆形，其随着Φ的增加而变得更长。通过球体270的椭圆图像的尺寸的测量，诸如椭圆的长轴371，并且通过角度Φ的测量，可以确定R。由图像平面301上的长轴371的中心离开轴230同图像平面301的交点的距离，可以确定角度Φ。因此，确定了引导物体360的三维位置。然而，应当进一步认识到，通过参考图3～5给出的描述，未能通过所描述的测量确定引导物体360的取向。

通过在引导物体上定位的6个唯一可确认的点，可以使用拍摄装置图像确定引导物体在三维坐标系统中的位置和取向。然而，还应当认识到，较简单的方法常常可以提供所需的位置和取向信息。例如，非常令人满意的是，仅确定参考图3～5描述的引导物体360的柄的取向(即，未分辨绕柄的轴转动的量)。而且，某些理论上的不定性是可接受的，诸如在上文的示例中假设柄总是指向远离拍摄装置。对于某些用途，可能仅需要三维位置，不需要取向，但是在其他的用途中，可能仅需要二维位置，不需要取向。

存在多种技术可用于协助处理功能115确认引导物体。一般而言，该手段的目的是改善引导物体360的特定点或区域的图像相对于这些点或区域周围的图像之间的亮度对比度和边缘锐度，并且计算简单地确定定义点的位置。在上文描述的棒示例的情况中，球体的使用基本上投影成圆形或者近似圆形的图像，不论棒的取向如何(只要柄的厚度相比于球体270的直径是小的)，定义点的位置位于球体中心处。球体270可以涂覆有高度漫射反射的白色涂层，用于在操作于多种环境条件下时，提供高的亮度对比度。对于环境更差的条件下的操作，球体270可以涂覆有回向反射涂层，并且手持电子设备100可以配备有光源120，其具有被安置为与第一拍摄装置孔径215接近的孔径220。球体270可以是光源。在某些实施例中，图像处理功能可以仅响应于关于物体标志图像的一个频带的光(例如，蓝光)，其可以通过物体标志中的光源产生，或者可由物体标志选择性地反射。当存在多个引导物体标志时，关于离开第一拍摄装置110的正常距离处的视场的小尺寸的引导物体标志的使用是特别有利的。引导物体可以采用与手持电子设备100的短程(如上文所述)使用兼容并且适合于所需的跟踪信息量的任何形状。例如，上文描述的棒最适合用于二维和三维位置信息，不具有取向信息。添加到棒的柄的引导物体标志(例如，回向反射带的对)可以允许有限的取向确定，其在许多情况中是非常令人满意的。在需要完整取向和三维位置的情况中，可能需要引导物体具有一个或多个充分隔开的引导物体标志，由此在正常使用过程中在引导物体的所有取向中可以唯一地确认6个引导物体标志。通常，图像处理功能用于确认引导物体标志的图像和跟踪引导物体的参数包括已知用于物体检测的参数，并且可以包括诸如边缘检测、对比度检测、形状检测等的图像检测参数，每个参数可以具有用于增强物体检测的阈值和增益设定。一旦引导物体标志的图像被确认，则可以使用第一公式集合确定引导物体的位置(即，相对于引导物体的主体固定的定义点的位置)，并且可以使用第二公式集合确定取向。更典型地，第一和第二公式是将诸如斜率和边缘端点的中间值转换为选定坐标系统中的标志位置和取向的公式。

出于使处理功能115的复杂度下降的目的，理想的是，使用反射的引导物体标志。这提供了使引导物体标志呈现为比图像中的其他物体更加明亮的优点。如果该相对亮度可以充分增加，则快门速度可以增加到拍摄装置几乎检测不到其他的物体的程度。当图像中的不需要的物体的数目减少时，可以使用更加简单的算法确认图像中的引导物体标志。由于仅必须计算较少的结果，因此该复杂度的减少转化为减少的功耗。由于可以减少存储器需求，因此该复杂度的减少还减少了处理功能成本，并且可以选择较少的专用处理加速器或者较慢的较小的处理器核。特别地，反射材料可以是回向反射的，其在直接向后返回光源的反射光处是高度有效率的，不同于较常见的镜面反射器，其中以角度α入射的光线以角度90-α反射(例如在镜子中)，或者Lambertian反射器，其在所有的角度中以均匀的分布反射光。当使用后向反射器时，有必要包括光源120，诸如LED，其与拍摄装置透镜215非常接近，由此透镜215处于回向反射的引导物体标志向后反射回到发光体的光的圆锥中。图6中示出了可以提供三维位置和最正常的取向的确定的引导物体的一个实施例，其是棒600的图示，其具有一个末端上的简笔画605。简笔画605提供了针对引导物体的取向的用户的自然指示，并且包括多个后向反射器610。(可替换地，后向反射器(retroreflector)610可由光发射元件替换，其可以使用不同的颜色简化引导物体标志的确认，但是其相比于后向反射器，将增加棒的复杂度，并且其不能在所有的环境照明条件下良好工作)。

在其他的实施例中，可以引导视场轴远离垂直于显示器的位置。例如，可以将视场轴引导为，当手持电子设备在用户的左手中握持时，其典型地处于垂直位置的右侧。这可以改善边缘检测和图像标志的对比度，由于离开引导物体而非用户面部的背景中的物体的较长范围，其可以使用户面部处于背景中。该视场轴远离用户面部的偏移可能需要手持电子设备的左手版本和右手版本，因此替换方案提供了可以手动移位的第一拍摄装置110，用于改善多种环境下的准确图像检测的可能性。

现在参考图7，示出了根据本发明的某些实施例的显示器表面210的平面视图。该视图示出了包括字符和图标的画面。此处使用的术语“画面”意味着，可能随时间变化的显示器上示出的一组信息。例如，诸如所示出的文本屏幕可以通过例如，添加、改变或删除字符，或者通过使一个图标变为另一图标而改变。对于其他的用途，该画面可以是正呈现在显示器105上的视频图像的一帧。如上文所述，物体轨迹由处理功能使用，用于修改显示器105上的画面。该修改方案包括，但不限于，使光标对象在显示器上的一个或多个连续的画面中移动，选择显示器上的一个或多个连续的画面中的一个或多个画面对象，并且调节显示器上的连续画面的可视透视。光标对象705可以呈现为与如图7中所示的文本插入标志相似，但是可替换地，可以是任何图标，其包括，但不限于，诸如沙漏或者加号或者箭头的常见的光标图标，其可以是或者可以不是闪烁的，或者具有另一改变外观的类型。光标对象705可以响应于引导物体的二维位置移动，并且可以结合其他的命令使用，用于执行常见的光标功能，诸如选择一个或多个字符或图标。该命令可以是用于影响光标对象的运动、使用或外观的任何命令，其包括，但不限于，与鼠标按键相关联的命令，诸如左击、右击等。可以使用用于手持设备的任何输入传感器输入命令，诸如一个或多个推动或滑动开关、旋转拨号盘、键盘开关、同命令识别功能耦合的麦克风、和显示器表面210中的触摸传感器等。命令感应技术可以是，由预留用于特定应用程序中的命令的图像处理功能检测视频图像中的引导物体360的唯一轨迹，诸如引导物体远离显示器105的非常快速的移动。命令感应技术可以包括引导物体标志的唯一图案的检测。例如，通常未被激励的物体标志可以响应于用户肢体的动作发射光，诸如按动引导物体上的按键。可替换的或者另外的技术是，响应于用户的手的动作改变物体标志的颜色或亮度。

命令可以发起绘图功能，其响应于光标的运动绘制画面对象，其中光标的运动响应于引导物体的移动。该绘图可以具有任何类型，诸如产生新的图画，或者具有覆盖于获得自另一源的画面上的形式自由的线的形式。作为一个示例，另一计算设备的用户可以向手持设备100发送图画，并且手持设备的用户可以通过调用绘图命令，并且通过使用引导物体圈住第一画面对象(例如，一群人中的一个人的图画)，在画面的顶部绘制第二画面对象，确认第一画面对象。然后手持设备100的用户可以将所标出的图画返回到计算设备(例如，通过蜂窝消息递送)，用于呈现给计算设备的用户。

尽管上文描述了二维位置跟踪的示例，但是二维位置和取向跟踪也是有用的，类似于简单的桌球游戏，其仅呈现为桌子和排队的棒的平面视图。

参考图8，示出了根据本发明的某些实施例的显示器表面210的平面。显示器105呈现出三维井字棋(tic-tac-toe)游戏的透视画面，作为球体270的三维位置检测有利地用于控制下一“棋子”(palyingpiece)的插入的情况的示例(在图8中示出了第一玩家的三个棋子820和第二玩家的三个棋子825)。在该三维绘制的固定透视图中(在显示器表面210的二维中)，引导物体远离和朝向显示器105的表面的移动可用于调节关于下一棋子沿轴815的位置的选择，其可被视为处于显示器表面210的平面内部或外部，而引导物体平行于显示器105的表面的移动可用于调节关于下一棋子沿轴805、810的位置的选择。引导物体的三维位置跟踪的许多其他可替换的使用也是可行的。

参考图9、10和11，示出了根据本发明的某些实施例的显示器表面210的平面视图。显示器105呈现出游戏中的一部分城区区域的透视画面，作为引导物体的三维位置和取向的检测有利地用于控制该游戏中提供的一个控制模式过程中的城区区域的视图的情况的示例。在该三维绘制的可变的透视图中，引导物体取向变化，同时引导物体离开显示器表面210的距离不变，可以引起如图8和9所示的画面变化，而引导物体朝向显示器105的表面移动，同时取向不变，可以引起如图9和10所示的透视图的变化。当用户将所需用于呈现变化的透视图的连续画面的可视透视图调节为所需的透视图时，用户可以将显示器105上的画面的引导物体控制模式改变为允许光标在三维中移动(在表示建筑物的框中“上下”移动，或者在建筑物之间和在建筑物中的“楼层”中“水平”移动)的模式。引导物体的取向和位置跟踪对于该光标移动是有用的，或者仅响应于位置跟踪可以是适合的。引导物体的三维位置和取向跟踪的许多其他可替换的使用也是可行的。

参考图12，示出了根据本发明的某些实施例的在手持设备100中使用的唯一方法的步骤的流程图。在步骤1205中，信息呈现在显示器105上。在步骤1210中处理拍摄装置捕获的视频图像，以跟踪处于拍摄装置视场中的引导物体的位置和取向中的至少一个。在步骤1215中，响应于引导物体的轨迹修改呈现在显示器上的至少一个画面。

应当认识到，呈现在显示器105上的画面可以是已存储在存储器中的，或者自存储器生成的，或者由手持设备105接收的画面。在某些实施例中，手持设备105可以具有第二内置拍摄装置，如现今公知的，用于捕获静止或视频图像，或者第一拍摄装置可用于捕获静止或视频图像，其被呈现作为使用引导物体进行修改的显示器上的画面。

应当认识到，手持电子设备的处理功能115和部分一个或多个其他功能，包括功能105、110、120、125、130、135，可以包括一个或多个传统的处理器和对应的唯一存储程序指令，其控制一个或多个处理器实现此处描述的某些或所有功能；这样，处理功能115和部分其他功能105、110、120、125、130、135可被解释为用于执行功能的方法步骤。可替换地，这些功能115和部分功能105、110、120、125、130、135可以通过状态机实现，其不具有存储的程序指令，其中每个功能或者部分特定功能105、110、120、125、130、135的某些组合被实现为定制逻辑。当然，可以使用这两种方法的组合。因此，此处描述了用于手持电子设备的方法和装置。

在前面的说明中，通过参考具体的实施例描述了本发明及其益处和优点。然而，本领域的普通技术人员应当认识到，在不偏离所附权利要求中阐述的本发明的范围的前提下，可以进行多种修改和变化。因此，说明和附图应被视为说明性的而非限制性的，并且所有该修改方案应涵盖于本发明的范围内。益处、优点、对问题的解决方案、以及可以使任何益处、优点或解决方案出现或变得更加显著的任何要素，不应被解释为任何或所有权利要求的关键的、必需的或基本的特征或要素。

如此处使用的术语“包括”或其任何变化形式，目的在于涵盖非排他性的内含物，由此包括要素列表的工艺、方法、物体或装置不仅包括这些要素，而且可以包括未明确列出的或者对于该工艺、方法、物体或装置是固有的其他要素。

如此处使用的“集合”意指非空集合(即，对于此处定义的集合，包括至少一个成员)。如此处使用的术语“另一”被定义为至少第二个或更多。如此处使用的术语“包括”和/或“具有”，被定义为包括。如此处参考电光技术使用的术语“耦合”，被定义为连接，尽管其没有必要是直接连接，也没有必要是机械连接。如此处使用的术语“程序”被定义为设计用于在计算机系统上执行的指令序列。“程序”或者“计算机程序”可以包括子程序、函数、进程、对象方法、对象实现方案、可执行应用程序、applet、servlet、源代码、对象代码、共享库/动态负载库和/或其他的设计用于在计算机系统上执行的指令序列。应当进一步理解，关系性术语的使用，诸如第一和第二、顶部和底部等，唯一地用于使一个实体或动作同另一实体或动作区分，没有必要需要或意指该实体或动作之间的任何实际的该关系或顺序。

Claims (14)

1.一种手持电子设备的用户接口控制器，包括：

显示器，

第一拍摄装置，其生成视频图像；和

处理功能，其耦合到所述显示器和所述第一拍摄装置，该处理功能

在所述显示器上呈现信息，

处理所述视频图像，以跟踪处于所述第一拍摄装置的视场中

的引导物体的位置和取向中的至少一个，并且

响应于所述引导物体的轨迹，修改呈现在所述显示器上的至

少一个画面。

2.如权利要求1所述的手持电子设备的用户接口控制器，其中修改所述至少一个画面的所述处理功能执行下列功能中的至少一个：

响应于所述引导物体的轨迹，使光标对象在所述显示器上的一个或多个连续的画面中移动；

响应于所述引导物体的轨迹，选择所述显示器上的一个或多个连续的画面中的一个或多个画面对象；和

响应于所述引导物体的轨迹，调节所述显示器上的连续画面的可视透视图。

3.如权利要求2所述的手持电子设备的用户接口控制器，其中光标对象的所述移动包括：响应于所述引导物体的三维跟踪，修改所述光标对象。

4.如权利要求2所述的手持电子设备的用户接口控制器，其中调节连续画面的可视透视图包括：响应于所述引导物体的三维跟踪，修改所述连续画面的三维方位。

5.如权利要求1所述的手持电子设备的用户接口控制器，其中所述显示器具有小于100平方厘米的可视区域。

6.如权利要求1所述的手持电子设备的用户接口控制器，其中将视场轴取向在偏离操作者面部的预期方向的方向中。

7.如权利要求1所述的手持电子设备的用户接口控制器，其中所述第一拍摄装置的视场轴可以由所述电子设备的操作者移动。

8.如权利要求1所述的手持电子设备的用户接口控制器，其中处理所述视频图像以跟踪所述引导物体位置的所述处理功能响应于一个或多个引导物体标志的图像，所述一个或多个引导物体标志的图像具有包括以下各项的一个或多个特征群，包括：

每个物体标志图像是包括至少一个定义点位置的定义形状的投影，

每个物体标志图像相对于所述视场是小尺寸的，

每个物体标志图像具有相比于紧邻环境的高的亮度对比度的比，和

每个物体标志图像主要包括特定光频带中的光。

9.如权利要求1所述的手持电子设备的用户接口控制器，其中所述处理功能使用一个或多个引导物体标志中的至少一个图像来跟踪所述引导物体。

10.如权利要求9所述的手持电子设备的用户接口控制器，其中所述手持电子设备进一步包括光源，并且所述一个或多个引导物体标志中的至少一个的图像是来自所述手持电子设备中的光源的光反射。

11.如权利要求9所述的手持电子设备的用户接口控制器，其中所述一个或多个引导物体标志中的至少一个包括光源，该光源生成所述一个或多个引导物体标志中的所述一个的所述图像。

12.如权利要求1所述的手持电子设备的用户接口控制器，其中所述处理功能在处于所述显示器平面中的二维中跟踪所述引导物体。

13.如权利要求1所述的手持电子设备的用户接口控制器，其中所述处理功能在三维中跟踪所述引导物体。

14.如权利要求1所述的手持电子设备的用户接口控制器，其中所述处理功能进一步处理所述视频图像，以跟踪所述引导物体的位置，并且由所述引导物体上的一个或多个引导物体标志的图像确定所述引导物体的位置。

Images