CN103752010A - 用于控制设备的增强现实覆盖 - Google Patents

Abstract

本发明提供用于控制设备的增强现实覆盖。为控制设备提供指导信息的实施例被公开。在一个示例中，在包括透视显示器和朝外的图像传感器的透视显示器设备上的一种方法包括获取通过所述透视显示器可见的场景的图像以及检测场景中的控制设备；该方法还包括检索与该控制设备的交互元件的功能有关的信息；并在该透视显示器上显示图像以用与该控制设备的该交互元件的功能有关的图像数据增强该交互元件的外观。

Description

用于控制设备的增强现实覆盖

技术领域

本发明涉及增强现实。

背景技术

当使用一个控制设备时，用户可能不确定控制设备的交互元件诸如按钮的功能。关于这些输入的功能的信息可经由试错法(trial-and-error)测试、通过在线搜索、通过咨询屏幕上或打印的用户手册等等而被获得。然而，这样的解决方案在某些情况下可能会带来不便。例如，在线资源或用户手册可能难以定位或对于一些控制设备不可用。此外，试错法测试可能会导致不期望的指令从控制设备被传递到正被控制的设备。

发明内容

这里所公开的实施例涉及到在透视(see-through)显示器设备上为控制设备提供指导信息。例如，一个公开的实施例提供了一种方法，包括获取通过该透视显示器可见的场景的图像，检测场景中的控制设备，检索与该控制设备的交互元件的功能有关的信息，以及在该透视显示器上显示图像而用与该交互元件的功能相关的图像数据增强该控制设备的交互元件的外观。

本概述被提供来以简化的形式介绍概念的选择，在下面详细描述会被进一步的描述。本概述并不旨在标识所要求保护的主题的关键特征或必要特征，也不是旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题并不限于解决本公开的任何部分中提及的任何或所有缺点的实现。

附图说明

图1示意性地示出了包括控制设备的实施例的物理空间的一个示例。

图2示出了根据本公开的一个实施例的透视显示器设备的一个示例性实施例。

图3示出图2的实施例的框图。

图4A示出了控制设备的另一个实施例。

图4B示出根据本公开的一个实施例的对图4A的控制设备的一个示例增强。

图5示出对图4A的控制设备的另一个示例增强。

图6A-6C示出对图4A的控制设备的一个示例多步增强。

图7A示出了控制设备的另一个实施例。

图7B示出了对图7A的控制设备的一个示例增强。

图8A示出了控制设备的另一个实施例。

图8B示出了对图8A的控制设备的一个示例增强。

图9示出了对车辆仪表盘的实施例的一个示例增强。

图10示意性示出了包括控制设备的实施例的另一个示例物理空间。

图11是示出了通过透视显示器设备为控制设备提供指导信息的方法的一个实施例的流程图。

图12是示出了向透视显示器设备提供关于控制设备的操作的指导信息的方法的一个实施例的流程图。

图13是计算系统的一个示例实施例的框图。

具体实施方式

如上文所讨论的，控制设备的用户可能希望获得关于所述控制设备上的交互元件的功能的信息。因而，这里公开了涉及通过透视显示器设备提供这样的信息的实施例。例如，如下面更详细描述的，透视显示器设备可被配置为提供关于控制设备上的交互元件的功能的信息作为显示在控制设备的用户视图上的增强现实图像(augmented reality image)。

图1示出了包括控制设备102的物理空间100的一个示例实施例，并显示了与控制设备102交互来控制相关联的计算设备106的用户104。作为一个非限制性的例子，控制设备102可以是视频游戏控制器而计算设备106可以是视频游戏控制台。控制设备和相关联的计算设备的其它例子包括但不限于键盘和用于个人计算机的其它输入设备、音频／视频设备的遥控器、车辆的仪表盘控制器、电视机的遥控器以及自助服务终端的其它电子产品键盘，等等。

该用户104可通过透视显示器设备查看控制设备102，透视显示器设备的实施例被示于108。所描绘的透视显示器设备108采取头戴式设备(HMD)的形式，它允许用户104的双手可以自由地与其它对象如控制设备102进行交互。透视显示器设备108包括被配置为允许物理空间100的外观的视觉增强给用户104的透视显示器系统。换句话说，该透视显示器允许光从物理空间100穿过透视显示器使得用户104可以直接看到实际的物理空间100还有显示作为该实际物理空间100的覆盖(overlay)的一个或多个虚拟对象。

在一个非限制性的例子中，当用户104的注视110朝向控制设备102时，透视显示设备108可以按照与控制设备的一个或多个功能有关的信息的形式显示一个或多个虚拟对象。所显示的信息可以任何适当的方式来获得。例如，所显示的信息可从计算设备106、经由网络112从远程计算设备107(其中，该遥控设备可与存储关于控制设备的功能的信息的数据库107a通信)、从控制设备102等等接收。

根据本公开的透视显示器设备可采用任何合适的形式，包括但不限于诸如图1中的头戴式透视显示器108的HMD设备。图2示出了包括透视显示器系统200的该透视显示器设备108的一个示例性实施例，并且图3示出了该透视显示器系统200的框图。

该透视显示器系统200包括形成透视显示器子系统204的一部分的一个或多个透镜202，以使图像可以被投影到透镜202上，或由被合并到透镜202的透视图像产生元件(例如透明OLED显示器)产生。该透视显示器系统200还包括一个或多个朝外(outward-facing)的图像传感器206，其被配置为获取背景场景的和／或正被用户查看的物理空间的图像，且可包括一个或多个麦克风208，其被配置来检测声音，诸如来自用户的语音命令。朝外的图像传感器206可包括一个或多个深度传感器和／或一个或多个二维图像传感器。

透视显示器系统200还可包括注视检测子系统210，其被配置为检测用户的每个眼睛的注视方向，如上所述。注视检测子系统210可被配置为以任何合适的方式确定用户的每个眼睛的注视方向。例如，在所描述的实施例中，注视检测子系统210包括一个或多个诸如红外光源的闪烁光源212(其配置为使得光线闪烁从用户的每一个眼球反射)，和一个或多个诸如朝内(inward-facing)的传感器的图像传感器214(其被配置以捕获用户的每个眼球的图像)。从通过图像传感器214收集的图像数据中确定的来自用户眼球的闪烁的变化可用于检测注视方向。此外，从用户眼睛投射的注视线与外部显示器相交的位置可以被用来确定该用户正在注视的对象(例如，显示在外部显示器上的虚拟对象)。该注视检测子系统210可以具有任何合适的数量和布置的光源和图像传感器。

该透视显示器系统200还可其它传感器。例如，透视显示器系统200可包括全球定位(GPS)子系统216，以允许透视显示器系统200的位置被确定。例如，透视显示器系统200的位置可被用来标识用户视野中的控制设备。

该透视显示器系统200还可包括一个或多个运动传感器218以当用户佩戴透视显示器系统200时检测用户头部的运动。运动数据可被使用，可能和眼睛跟踪闪烁数据和朝外的图像数据一起，用于注视检测，以及用于图像稳定以帮助修正来自朝外的图像传感器206的图像中的模糊。运动数据的使用可允许注视位置的变动被跟踪，即使来自朝外的图像传感器206的图像数据不能被解析。同样地，运动传感器218，以及麦克风208和注视检测子系统210，也可以被用来作为用户的输入设备，使得用户可通过眼睛、颈部和／或头部的姿势以及通过口头命令与透视显示器系统200交互。可以理解的是示于图2和图3中的传感器是为了示例的目的被显示并且不旨在以任何方式进行限制，因为任何其它合适的传感器和／或传感器的组合都可以使用。

该透视显示器系统200还包括具有逻辑子系统222和数据保存子系统224的控制器220，该控制器220与传感器、注视检测子系统210、以及透视显示器子系统204通信。该数据保存子系统224包括存储在其上可由逻辑子系统222执行的指令，例如，以接收和解释来自传感器的输入，以确定用户注视的控制设备和／或计算设备的存在和身份(例如，通过经由通信子系统226与控制设备、被该控制设备控制的计算设备、或其它计算设备通信)，以及通过透视显示器子系统204、一个或多个扬声器228、和／或其它输出设备接收和显示有关控制设备和／或计算设备的信息。

应当理解的是所描绘的透视显示器设备108为了示例的目的被描述，因此不意味着是限制性的。因此需要理解的是透视显示器设备可以包括不同于所显示出的附加的和／或备选传感器、相机、麦克风、输入设备、输出设备等等，而不脱离本公开的范围。此外，透视显示器设备及其各种传感器和子组件的物理配置可以采取各种不同的形式而不脱离本公开的范围。

现在转向图4A，一个示例控制设备被示为视频游戏控制器400。视频游戏控制器400可包括一个或多个交互元件402(其两个例子被标为402a和402b)。在一个非限制性的示例中，交互元件402可以是由用户驱动的硬按钮，其可被按压以向一个运行在视频游戏控制台(图4A中未示出)上的视频游戏应用提供指令。交互元件402还可包括操纵杆、方向手柄、软按键、触敏输入设备、拨号盘、触发器、旋钮、运动传感器等等。将被理解的是描绘的交互式元件402的布置是为了示例的目的被示出，并且任何适当数量、布置和类型的交互式元件可被包括在视频游戏控制器400中。

图4B示出从通过透视显示器设备查看视频游戏控制器400的用户的视角的视频游戏控制器400。虚线404表示该透视显示器设备的一个示例视野。在通过透视显示器设备查看时，该交互元件的外观可被增强来提供与交互元件的一个或多个功能有关的信息。在图4B中，这样的增强被示为图像406，其覆盖控制设备的交互元件。每个图像406可向用户提供在其上方显示该图像的交互元件402的功能的指示。

任何合适的信息可被显示在覆盖交互元件的图像中。在所描绘的实施例中，图像406中的一些包括与位于图像下方的交互式按钮相关联的武器或攻击类型的图形表示。例如，如在406a上所指出的，剑的图形表示可能表明按下相关联的按钮允许用户在游戏应用中执行剑攻击。该图像406可附加地或可替换地包括文本。例如，如在406b上所指出的，词“移动”可指示与相关联的操纵杆402b的交互允许用户在各种方向上移动视频游戏应用的角色。

应当理解的是图4b所示的该图像以及上面所述都是为了示例的目的被呈现，并且任何合适的图形表示可以被显示以提供与视频游戏控制器400的交互元件402有关的信息。例如，该图像可能包括图标、图片、视频等等，其提供与视频游戏控制器的交互元件有关的信息。此外，该图像可指示与交互元件402有关的音频或视频剪辑的存在。在这样的实施例中，用户可选择音频或视频剪辑以开始播放，或该音频或视频剪辑可以自动化的方式开始。

图5示出图4A的控制设备的另一个示例增强。在所描述的实施例中，图像506采用基于文本的飞出(text-based fly-outs)或工具提示的形式。该飞出或工具提示可包括具有描述相关联的交互元件的文本信息，和／或任何其它合适的信息的文本框。其它的例子包括但不限于，图标、图片、动画和视频。

在一些实施例中，视频游戏控制器400控制的应用可以在游戏运行期间改变状态。这种状态的改变可能会影响视频游戏控制器400的交互元件的功能。例如，交互元件在不同的游戏场景下可具有不同的功能。同样，即使在单个场景中，在被单独驱动和在被与其他控件组合驱动时交互元件可具有不同的功能。从一个游戏改变到另一个游戏是可能会影响视频游戏控制器400的交互元件的功能的状态改变的另一个例子。

相应地，透视显示器设备可能会响应于这种状态的改变而改变增强图像(imagery)使得交互元件的当前功能被正确显示。在一些实施例中，这种更新可以动画化，而在其它实施例中任何其它合适的过渡可被使用。

增强图像也可以被用来说明和指导如何执行多步输入。图6A-6C示出一个这样的增强的显示的一个示例实施例。如图6A所示，一个飞出608被显示，指示有一个特殊攻击可用(例如，由于用户输入的特定序列，在游戏应用中进入一个特定的虚拟位置，在游戏应用中获得新的虚拟项，等等)。

显示该飞出608之后，该透视显示器设备可以图示该多步输入的下一个步骤，如图6B所示。在一些实施例中，下一个步骤的图示在第一帧(如在图6A中所示的帧)被显示预定的时间量后自动地被显示。在其它实施例中，下一个步骤的图示可以根据用户的操作被显示，例如，通过驱动交互元件(例如按下按钮)、注视指向该元件、提供语音指令、执行手势等等。

图6B示出了该多步输入的第二步骤的显示。在这个步骤中，箭头610被显示，指挥用户以逆时针方向移动左操纵杆。在一些实施例中，箭头610和／或显示在左操纵杆上的任何增强可以被动画化以提供额外的指示，指示运动被包含在输入组合的步骤中。继续，图6C示出该多步输入的最后步骤的显示，指示按压一个特定的交互元件402的阴影覆盖(overlay)图像612。

每一个步骤和／或多步输入的附加信息可以通过其它增强图像被显示。例如，在图6C中，该飞出614包括一可伸缩的文本框扩展616，其显示有关动画和／或输入组合的附加信息。在所描绘的实施例中，该文本框扩展616可以包括到显示一个特殊攻击的示例执行的视频的超链接。在其它实施例中，文本框扩展616可以包括用于执行特殊攻击的一个或多个额外指示、有关特殊攻击的嵌入的视频或音频剪辑等等。在一些实施例中，这样的文本框扩展616可基于对与飞出614相关联的相应控件的选择被伸出或缩回。

图7A示出了包括多个键702的键盘700的形式的控制设备的另一个示例实施例。键702可以是物理键或触敏输入设备上的基于软件的“软键(soft key)”。键702中的一个或多个可基于正在被控制的特定应用、计算设备等等具有不同的功能。例如，在某些使用期间，键702a可能是键盘700的控制键，键702b可能是键盘700的字母键以及键702c可能是键盘700的方向键。

在其它使用中，这些键可以具有不同的功能。例如，字母键702b在视频游戏中可以用作方向键。因此，图7B示出了具有提供关于这些不同功能的信息的增强图像的键盘700的示例增强。例如，控制键702a上标记的“控制”可以被掩盖以显示覆盖文字，例如“跑步”。同样，“W”，“A，”，S“和”D“键702b可能全都具有和方向箭头键702c有相同的颜色的覆盖，表明这些键有作为方向键(如：上，左，下，右)相关的功能。该增强图像可能会完全掩盖下面的键盘标记，或可部分透视使得下面的键盘标记保持可见。将理解的是增强图像的这些特定实施例是为了示例的目的被展现，并且不旨在以任何方式进行限制，由于任何其它合适的增强图像可以被使用。

该增强图像还可通过一个或多个用户偏好控制。例如，当增强图像时用户可以选择要使用的语言和／或字符集。这样的设置也可用于自动翻译由透视显示器设备检测到的不采用首选语言的任何文本。用户偏好也可被用于选择要用于彩色覆盖或其它增强图像的首选色彩和／或色彩方案。例如，色盲模式可能被选择以显示有色觉缺陷的用户可检测的各种颜色。可以理解的是这些实施例是为了示例的目的被呈现，并且该用户偏好可用于控制增强图像的任何合适的方面。

图8A示出了可被用于将用户输入提供给电视机、音频接收器、多媒体设备等的遥控器800形式的控制设备的另一个实施例。该遥控设备800可以包括多个用户可驱动交互元件，诸如按钮802，其基于正被控制的计算设备、正被控制的应用、正被控制的应用的状态等可具有不同的功能。

图8B示出了通过透视显示器设备显示在遥控设备800上的增强图像的一个示例。如图8B所示，用显示与该遥控设备800的按钮的功能有关的信息的增强图像804、806以及808增强按钮802。例如，该遥控设备800可以具有对应于正被控制的不同设备的多个模式。因此，如所描绘的，每个模式由图形覆盖标明，诸如在804由“电视(TV)”所示的。此外，表示交互元件在每个模式内的功能的标记可被显示，如DVD播放机控制标记806所指示的。飞出808也被显示为指示音量和频道改变的功能。此外，该增强图像804、806和808可以响应于模式的变化而动态地更新。

图9示出汽车仪表盘900控件形式的控制设备的另一个实施例，仪表盘900包括当从透视显示器设备查看时的用户驱动控件902和显示器904。有时，用户可能希望了解与控件或显示器的功能有关的信息。这样，用户可以指示更多的信息被需要的仪表盘元件(例如，一个特定的指示灯)，例如，通过语音命令、手势(例如，触摸或指向该元件)、注视(如注视线906所示)，或其它合适的方式。作为响应，该透视显示器设备可显示该指定元件的功能，如908所示。在一些实施例中，增强图像908取决于汽车和／或驾驶者的状况(例如，当该汽车被确定将要移动或者正在以高于阈值的速度移动)可不被显示。可以理解的是用于任何合适的汽车和／或其它机械设备的控件的外观可类似地被增强。

图10示意性示出了环境形式的该环境包括自助服务终端1002(kiosk)形式的控制设备。该自助服务终端1002可包括诸如用户1006可驱动的按钮1004的交互元件，其中该按钮可基于自助服务终端1002的状态具有不同的功能。例如，该自助服务终端1002可是自动取款机(ATM)，以及该按钮1004可基于菜单系统中的当前位置提供不同的功能。

该透视显示器设备1008可以检测自助服务终端1002在用户1006和／或该透视显示器设备1008的视野中的存在，并且作为响应，可请求或检索信息以标识该自助服务终端1002。附加地或可替换地，该透视显示器设备1008可通过以下方法检测自助服务终端1002：标识自助服务终端1002发出的信标信号、扫描以及标识位于自助服务终端1002上或者在自助服务终端1002附近的条形码或Q码、识别通过透视显示器设备的深度或图像传感器获取的自助服务终端1002的图像、接收包括关于自助服务终端1002的信息的用户输入、和／或按照任何其它合适的方式。

该透视显示器设备1008可以通过对等连接、通过网络接入点或者以任何合适的方式直接连接到自助服务终端1002。一旦连接，自助服务终端1002可以将标识该按钮1004的功能的信息发送到透视显示器设备1008。由该自助服务终端1002发送的信息可响应于自助服务终端1002状态的变化而被动态地更新。以这种方式，透视显示器设备1008可以更新增强图像以确保当前按钮的功能被正确显示。

图11示出阐述用于通过透视显示器设备显示控制设备的指导信息的方法1100的实施例的流程图。在1102，透视显示器设备获取通过透视显示器可见的场景的图像，例如使用图像传感器，如上面更详细地参考图1-3讨论的。在1104，透视显示器设备在场景中检测控制设备，例如，通过分析获取的场景的图像数据。该透视显示器设备还可在1106例如，通过分类功能，标识该控制设备。但可以理解的是，在一些实施例中，这些标识和／或这里公开的其它过程可通过远程服务被执行。

在检测和标识该控制设备后，透视显示器设备在1108检索与该控制设备的交互元件的功能有关的信息。这样的信息可被以任何合适的方式被检索。例如，在某些情况下，该信息可以被本地存储，例如，当该控制设备是已知的控制设备(例如，用户的遥控设备)时和／或当被控制的应用是一个已知的应用时。在这种情况下，透视显示器设备可从本地存储器中检索信息。在其它情况下，透视显示器设备可从控制设备、基于网络的服务、和／或从任何其它合适的位置检索信息。

在一些实施例中，可对于控制设备的交互元件的子集获得信息。例如，在一些实施例中，透视显示器设备在1110可以检测到用户注视在选定的交互元件上，并获取那个元件的信息。注视检测也可以用于为选定的元件(例如，在汽车仪表盘的情形下)显示信息而排除其它元件，其中其它元件的信息已经被获得。

在1112，透视显示器设备显示使用与交互元件的功能有关的图像数据增强交互元件的图像。这样图像数据可包含任何合适的信息，包括但不限于图形元素、文本、动画等等。另外，如上所述，在一些实施例中，透视显示器设备可以被配置为增强选择的交互元件而排除其它交互元件，如在1114所指示的以减少显示当前不感兴趣的信息而可能引起的任何注意力分散。

如上所述，控制设备的交互元件的功能在某些情况下可能会改变。因此，方法1100包括，在1116，检测交互元件的功能的变化。这种变化可能由正被控制的应用的变化、正被控制的应用的状态变化、和／或任何其它合适的变化而引起。作为响应，透视显示器设备显示更新的图像，其提供有关新功能的更新的信息，如1118所示的。例如，透视显示器设备可以接收和／或检索更新的信息并显示更新的信息作为一个或多个附加的或备选的增强图像。这可能有助于确保当前信息被显示。

如上所述，在一些情况下，透视显示器设备可以接收与控制设备的一个交互元件的当前功能有关的信息。图12示出阐述一个用于从控制设备提供这样的信息给另一个计算设备，例如透视显示器设备，的方法1200的实施例的流程图。方法1200包括，在1202，建立和透视显示器设备的连接。任何合适的连接类型可被建立。例子包括但不限于，直接的有线和／或无线连接(例如直接的WiFi，蓝牙，等等)，以及通过网络接入点的连接。

在1204，方法1200包括从第二计算设备接收对与该控制设备的一个或多个用户可驱动组件的当前功能有关的信息的请求。这可以包括，在1206，接收和该请求一起的控制设备标识信息。这也可以包括，在1207，接收捕捉未知的控制设备的图像数据或其它数据以及从该数据标识控制设备的请求。

响应于该请求，在1208第一计算设备将信息发送给第二计算设备。这可以进一步包括，在1209，标识该控制设备(例如，通过使用一个或多个分类函数对图像数据进行分类)以协助发送被请求的控制设备的功能的信息。此外，在一些实施例中，在1210该第一计算设备可以发送用于该控制设备的该用户可驱动组件的多个映射，该多个映射的每一个对应于与在1206接收的应用信息相关联的应用的不同状态。可以理解的是与该透视显示器设备建立连接并通信的该计算设备可以是任何合适的计算设备，包括但不限于运行远程服务的服务器、自助服务终端，等等。

在一些实施例中，上面描述的方法和过程可被绑定至包括一个或多个计算机的计算系统。具体地，这里描述的该方法和过程可以被实现为计算机应用、计算机服务、计算机API、计算机库、和／或其它计算机程序产品。

图13示意性示出了一个非限制性的计算系统1300，其可执行一个或多个上面描述的方法和过程。该计算系统1300以简化形式被示出。应当理解的是几乎任何计算机体系结构可被使用而不脱离本公开的范围。在不同的实施例中，该计算系统1300可能采用以下形式：大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备、头戴式显示器设备、透视显示器设备，等等。

该计算系统1300包括逻辑子系统1302和数据保存子系统1304。该计算系统1300可以可选地包括显示子系统1306、传感器子系统1308、通信子系统1310、和／或图13中未示出的其它组件。该计算系统1300还可以可选地包括用户输入设备，例如，诸如键盘、鼠标、游戏控制器、相机、麦克风和／或触摸屏。

该逻辑子系统1302可以包括被配置为执行一个或多个指令的一个或多个物理设备。例如，该逻辑子系统可被配置来执行一一个或多个指令，其是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构件的一部分。这样的指令可以被实现为执行任务、实现数据类型、变换一个或多个设备的状态、或以其它方式达到期望的结果。

该逻辑子系统可以包括被配置以执行软件指令的一个或多个处理器。附加地或可选地，该逻辑子系统可包括被配置以执行硬件或固件指令的一个或多个硬件或固件逻辑器。该逻辑子系统的处理器可以是单核或多核的，并且在其上执行的程序可以被配置用于并行或分布式处理。该逻辑子系统可以可选地包括分布在两个或多个设备上的独立组件，这些设备可位于远程和／或被配置为协同处理。该逻辑子系统中的一个或多个方面可以被虚拟化并被配置在云计算配置的远程可访问的联网的计算设备执行。

该数据保存子系统1304可以包括一个或多个物理的非瞬态的设备，其被配置以保存数据和／或由逻辑子系统执行的指令以实现这里所述的方法和过程。当这些方法和过程被实现时，数据保存子系统1304的状态可能转移(例如，保存不同的数据)。

该数据保存子系统1304可以包括可移动介质和／或内置设备。该数据保存子系统1304可包括光存储设备(例如CD，DVD，HD-DVD，蓝光光盘，等等)、半导体存储器设备(例如RAM，EPROM，EEPROM，等等)和／或磁存储器设备(例如，硬盘驱动器，软盘驱动器，磁带驱动器，MRAM，等等)，等等。该数据保存子系统1304可包括具有下列一个或多个特性的设备：易失性，不易失性，动态，静态，读／写，只读，随机存取，顺序存取，位置可寻址，文件可寻址，以及内容可寻址。在一些实施例中，该逻辑子系统1302和数据保存子系统1304可以被集成到一个或多个通用设备，诸如专用集成电路或片上系统。

图13也示出了可移动计算机可读存储介质1312的形式的数据保存子系统的一个方面，可移动计算机可读存储介质1312可以被用来存储和/或传输数据和／或可执行指令以实现这里所描述的方法和过程。可移动计算机可读存储介质1312可以采用CD、DVD、HD-DVD、蓝光光盘、EEPROM、和／或软盘，等形式。

应当理解的是数据保存子系统1304包括一个或多个物理的非瞬态的设备。与此相反，在一些实施例中这里描述的指令的一方面可以通过纯信号(例如，电磁信号，光信号，等等)以瞬态的方式被传播，该信号不由一个物理设备保存至少有限的时间。而且，数据和／或与本公开有关的信息的其它形式可通过纯信号被传播。

术语“程序”可以被用来描述计算系统1300被实现以执行一个或多个特定的功能的一个方面。在一些情形下，这样的一个程序可以通过逻辑子系统1302执行数据保存子系统1304保存的指令被实例化。应当理解的是不同的程序可以从同一应用、服务、代码块、对象、库、例程、API、函数等实例化。同样地，相同的程序可由不同的应用、服务、代码块、对象、库、例程、API、函数等实例化。术语“程序”旨在包括可执行的文件、数据文件、库、驱动程序、脚本、数据库记录等等的个体或组。

应当理解的是如本文所使用的“服务”可以是跨越多个用户会话可执行并且对一个或多个系统组件、程序、和／或其它服务可用的应用程序。在一些实现中，服务可以响应于来自客户端的请求运行在服务器上。

当被包括时，显示子系统1306可以被用于呈现数据保存子系统1304中保存的数据的视觉表示。例如，显示子系统1306可以是透视显示器，如上所述。当这里所述的方法和过程改变由数据保存子系统保存的数据，并因此改变数据保存子系统的状态时，显示子系统1306的状态同样可以被改变以在视觉上表示底层数据的变化。该显示子系统1306可以包括一个或多个利用几乎任何类型的技术的显示器设备。这样的显示器设备可以与逻辑子系统1302和／或数据保存子系统1304相结合在共享的外壳中，或者这样的显示器设备可以是外围显示器设备。

当被包括时，通信子系统1310可以被配置以将计算系统1300通信耦合至一个或多个其它计算设备。例如，在透视显示器设备的情况下，通信子系统1310可被配置以将计算系统1300通信耦合至一个或多个其它的透视显示器设备、游戏控制台、自助服务终端、控制设备、和／或任何其它计算设备。该通信子系统1310可包括与一个或多个不同的通信协议兼容的有线和／或无线通信设备。作为非限制性示例，通信子系统可以被配置用于通过无线电话网络、无线局域网、有线局域网、无线广域网、有线广域网等等通信。在一些实施例中，通信子系统可允许计算系统1300通过诸如互联网的网络将信息发送到其它设备和／或从其它设备接收信息。

该传感器子系统1308可以包括被配置来感测不同物理现象(例如，可见光，红外光，加速度，方向，位置，等等)的一个或多个传感器，如上所述。例如，该传感器子系统1308可以包括一个或多个图像传感器、诸如加速度计的运动传感器、触摸板、触摸屏、和／或任何其它合适的传感器。因此，传感器子系统1308可被配置以将观察信息提供给该逻辑子系统1302，例如。如上所述，观察信息诸如图像数据、运动传感器数据、和／或任何其它合适的传感器数据，可被用来执行这样的任务，如确定用户执行的一个特定手势、检测用户的注视、执行目标识别，等等。

在一些实施例中，传感器子系统1308可包括深度相机(例如，图2的朝外的传感器206)，包括但不限于光相机、飞行时间相机，立体摄像系统，或任何其它合适的深度分辨的相机。

在一些实施例中，传感器子系统1308可包括可见光相机。几乎任何类型的数字相机技术可以被使用而不脱离本公开的范围。作为一个非限制性的示例，可见光相机可以包括电荷耦合器件图像传感器。

应当理解的是这里所描述的配置和／或方法是为了示例的目的被呈现，并且这些具体的实施例或示例不以限制的意义被考虑，因为许多变化是可能的。这里所描述的具体例程或方法可表示任意数量的处理策略的一个或多个。因此，所示的各种行为可以按照所示的顺序执行、以其它顺序执行、并行执行、或在某些情况下被省略。同样地，上述过程的次序可被改变。

本公开的主题包括这里公开的各种过程、系统和配置以及其它特征、功能、动作、和／或属性以及任何和所有的等价物的所有新颖的和非显而易见的组合以及子组合。

Claims (10)

1.一种在包括透视显示器(204)和朝外的图像传感器(206)的透视显示器设备(108)上用于为控制设备(102)提供指导信息的方法，所述方法包括：

获取(1102)通过所述透视显示器可见的场景的图像；

检测(1104)所述场景中的控制设备；

检索(1108)与所述控制设备的交互元件的功能有关的信息；

在所述透视显示器上显示(1112)图像以用与所述控制设备的所述交互元件的所述功能有关的图像数据增强所述交互元件的外观。

2.根据权利要求1的方法，其特征在于，所述图像包括与所述交互元件的所述功能相关的图形元素，所述图形元素在所述透视显示器上被显示在所述交互元件上。

3.根据权利要求1的方法，其其特征在于，所述图像包括具有描述所述交互单元的文本信息的文本框。

4.根据权利要求3的方法，其特征在于，还包括接收对所述文本框的选择，并且作为响应在所述透视显示器设备上显示附加信息。

5.根据权利要求1的方法，其特征在于，所述图像包括动画。

6.根据权利要求1的方法，其特征在于，检索所述信息包括从所述控制设备和基于网络的服务中的一个或多个检索所述信息。

7.一种便携式透视显示器设备(108)，包括：

图像传感器(206)；

透视显示器(204)；

逻辑子系统(222)；以及

数据保存子系统(224)，其包括由所述逻辑子系统(222)可执行的指令以：

获取(1102)通过所述透视显示器可见的场景的图像；

检测(1104)所述场景中的控制设备；

检索(1108)与所述控制设备的交互元件的功能有关的信息；

在所述透视显示器上显示(1112)增强所述控制设备的所述交互元件的外观的图像，所述图像与所述交互元件的所述功能相关；

检测(1116)所述交互元件的功能的变化；以及

显示(1118)提供与所述功能的变化相关的更新的信息的更新的图像。

8.根据权利要求7的设备，其特征在于，所述指令可执行来通过检测正被所述控制设备控制的应用的当前状态的变化以检测所述交互元件的功能的变化。

9.根据权利要求7的设备，其特征在于，所述指令可执行来检测所述场景中的键盘并在所述透视显示器上显示根据正被所述键盘控制的应用增强所述键盘的键的外观的图像。

10.根据权利要求7的设备，其特征在于，还包括朝内的传感器，其被配置以检测所述透视显示器设备的用户对所述控制设备的所选交互元件的注视，并且其中所述指令还可执行来显示增强所选交互元件而不是另一个交互元件的外观的图像。

Images