CN107567610A - 附连控制元素的混合环境显示 - Google Patents

附连控制元素的混合环境显示 Download PDF

Info

Publication number
CN107567610A
CN107567610A CN201680024636.7A CN201680024636A CN107567610A CN 107567610 A CN107567610 A CN 107567610A CN 201680024636 A CN201680024636 A CN 201680024636A CN 107567610 A CN107567610 A CN 107567610A
Authority
CN
China
Prior art keywords
computing device
data
orders
user
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680024636.7A
Other languages
English (en)
Other versions
CN107567610B (zh
Inventor
D·M·希尔
A·W·吉恩
J·J·埃弗特
A·M·琼斯
R·C·勒斯勒
C·W·卡尔森
E·V·查博尼奥
J·达克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/824,042 external-priority patent/US20160314621A1/en
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107567610A publication Critical patent/CN107567610A/zh
Application granted granted Critical
Publication of CN107567610B publication Critical patent/CN107567610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文中所描述的技术提供了附连控制元素的混合环境显示。本文中所公开的技术允许第一计算设备的用户与被配置成控制对象(诸如灯、家电、或任何其它合适的对象)的远程计算设备交互。本文中公开的各配置中允许第一计算设备通过捕捉和分析定义一个或多个手势(诸如用户看着由第二计算设备控制的对象)的执行的输入数据来导致一个或多个动作(诸如对对象的选择或用户界面的显示)。被配置成实现对对象的控制的经渲染的图形元素可与对象的现实世界视图一起被显示。

Description

附连控制元素的混合环境显示
背景
连接互联网的设备的使用在日常生活中的许多方面都变得普遍。这类设备允许用户从远程位置控制几乎任何东西以及与其通信。例如，连接互联网的设备可被用于控制家电、灯具、温度调节装置、汽车、以及安全系统。许多不同的产业已经展示了连接互联网的设备可被使用的各种创意方式。
虽然现有技术提供了许多益处，但是连接互联网的设备的产品设计者仍然面临许多挑战。例如，由于对寻找这类设备的可承受性和普及性的节能、低成本方案的需求，这类设备并不普遍地采用昂贵的用户接口组件，诸如显示屏、触摸屏之类。在缺少这类接口组件的情况下，通用设计可包括使用Web服务器软件，这类Web服务器软件使得用户能够从操作Web浏览器的远程计算机处与设备交互。这类配置使得用户能够通过网页接收并查看状态信息并且向设备发送控制命令。
虽然基于Web的接口方案比显示屏和触摸屏更便宜，但是基于Web的接口方案并不总是提供与这类设备交互时的积极的用户体验。例如，当用户被要求与大量设备交互时，管理任务可能是特别困难的。如果用户正管理数以百计的连接互联网的设备，则他或她被要求为每一个设备维护Web地址记录并且独立地导航到每一个设备。另外，考虑到通用设计的低成本属性，连接互联网的设备所生成的大部分用户界面并不提供对于控制按钮和状态数据的最优的布局。
本文所做出的本公开正是关于这些和其它考虑事项而提出的。
概述
本文中所描述的技术提供了附连控制元素的混合环境显示。各配置允许第一计算设备的用户与被配置成控制对象(诸如灯、家电、或任何其它合适的对象)的远程计算设备交互。在一些配置中，第一计算设备通过捕捉和分析定义一个或多个手势(诸如用户看着由第二计算设备控制的对象)的执行的输入数据来导致一个或多个动作(诸如对对象的选择或用户界面的显示)。在一些配置中，被显示的用户界面包括被配置成控制对象的图形元素，并且图形元素可与对象的现实世界视图一起被显示。图形元素可被配置成指示对象的现实世界视图和所显示的内容(例如，状态数据和控制按钮)之间的关联。图形地附连的用户界面元素的渲染以及对象或对象的组件的视图使得用户能够容易地标识观察的对象和所显示内容之间的关联。
在一些配置中，第一计算设备(诸如头戴式显示器(HMD))可包括硬件显示表面，该硬件显示表面被配置成创建使得用户能够透过硬件显示表面查看对象的透明部分。另外，硬件显示表面被配置成在透过硬件显示表面看到的对象上和周围显示经渲染的图形元素。第一计算设备可获得定义用于控制第二计算设备的一个或多个命令的控制数据。第二计算设备可以例如被配置成控制对象，诸如家电、灯具、车库门开启器、或能够由设备或组件控制或影响的任何其它物体。
第一计算设备可随后在硬件显示表面上显示包括一个或多个命令的图形元素。图形元素可与由第二计算设备控制的对象的现实世界视图一起透过硬件显示表面的透明部分显示。另外，图形元素可显示从第二计算设备接收的状态数据。第一计算设备还可解释由用户执行的手势或输入以生成定义输入命令的数据。第一计算设备还可将定义输入命令的数据传递给第二计算设备。第二计算设备可响应于接收输入命令来控制对象。
第一计算设备还可使得用户能够通过执行一个或多个自然手势或其它形式的输入来选择远程计算设备。例如，用户可通过透过第一计算设备的硬件显示表面看着第二计算设备或由第二计算设备控制的对象来选择第二计算设备。一旦第二计算设备被选择，第一计算设备以及许多不同动作可发起与第二计算设备的通信和/或通过与第二计算设备的通信来控制对象。
应当理解，上述主题也可被实现为计算机控制的装置、计算机进程、计算系统或诸如计算机可读介质等制品。通过阅读下面的详细描述并审阅相关联的附图，这些及各种其它特征将变得显而易见。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在将本概述用来限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图简述
图1是示出用于实现附连控制元素的混合环境显示的若干示例设备的框图；
图2是示出图1中示出的设备的若干示例组件的框图；
图3A－3D解说了两个对象的视图和图形元素的渲染，其中图形元素具有被配置成示出图形元素的内容和相应对象之间的关联的形状；
图4A－4C解说了对象的视图和图形元素的渲染，其中图形元素具有被配置成示出图形元素的内容和该对象之间的关联的组件；
图5A－5C解说了对象的视图和图形元素的渲染，其中图形元素包括可选择控制元素和状态数据，图形元素具有被配置成示出图形元素的内容和该对象之间的关联的组件；
图6是解说可用于提供附连控制元素的混合环境显示的例程的流程图；
图7是解说能够实现本文中呈现的技术和技艺的各方面的计算系统的说明性计算机硬件和软件架构的计算机架构图；
图8是解说能够实现本文中呈现的技术和技艺的各方面的分布式计算环境的图示；以及
图9是示出用于能够实现本文中所呈现的技术和技艺的各方面的计算设备的计算设备体系结构的计算机体系结构图。
详细描述
本文中所描述的技术提供了附连控制元素的混合环境显示。本文中所公开的各技术允许第一计算设备的用户与被配置成控制对象(诸如灯、家电、车辆、温度调节装置、或任何其它合适的对象)的第二计算设备交互。本文中公开的各配置中允许第一计算设备通过捕捉和分析定义一个或多个手势(诸如用户看着由第二计算设备控制的对象)的执行的输入数据来导致一个或多个动作(诸如对对象的选择或用户界面的显示)。在一些配置中，被显示的用户界面包括被配置成控制对象的图形元素，并且图形元素可与对象的现实世界视图一起被显示。图形元素可被配置成指示对象的现实世界视图和所显示的内容(例如，状态数据和控制按钮)之间的关联。图形地附连的用户界面元素的渲染以及对象或对象的组件的视图使得用户能够容易地标识观察的对象和所显示内容之间的关联。
在一些配置中，第一计算设备(诸如头戴式显示器(HMD))可包括硬件显示表面，该硬件显示表面被配置成创建透明部分以使得用户能够透过硬件显示表面看对象。另外，硬件显示表面被配置成在透过硬件显示表面看到的对象上和周围显示渲染的图形元素。第一计算设备可获得定义用于控制第二计算设备的一个或多个命令的控制数据。第二计算设备可以是例如家电、灯或能够由计算机控制的任何其它物体的控制器。
第一计算设备可随后在硬件显示表面上显示包括一个或多个命令的图形元素。图形元素可与由第二计算设备控制的对象的现实世界视图一起透过硬件显示表面的透明部分显示。另外，图形元素可显示从第二计算设备接收的状态数据。第一计算设备还可解释由用户执行的手势或输入以生成定义输入命令的数据。第一计算设备还可将定义输入命令的数据传递给第二计算设备以至少部分基于用户所执行的手势或输入来控制和/或影响对象。
第一计算设备还可使得用户能够通过执行一个或多个手势或其它形式的输入来选择远程计算设备。例如，用户可通过透过第一计算设备的硬件显示表面看着远程计算设备来选择远程计算设备。一旦远程计算设备被选择，第一计算设备可发起与远程计算设备的通信和/或执行多个交互(诸如本文中公开的那些)。
通过使用本文中描述的技术，用户可与多个远程计算设备交互而无需管理和导航通过大量的机器地址和凭证。如以下将更详细描述的，所公开的技术可通过允许用户通过看着设备或由该设备控制的对象来选择性地与远程设备交互而改善与大量远程设备的用户交互。
交互式、混合环境显示使得用户能够看到包含状态数据和上下文相关控件的图形元素以及他们正交互的对象或设备的现实世界视图。在本文中描述的技术所提供的许多益处中，用户与一个或多个设备的交互可被改善，这可减少无意输入的数量、减少对处理资源的消耗、并且减轻对网络资源的使用。除了本文中提到的那些之外的其它技术效果也可通过本文中所公开的技术的实施来实现。
应当理解，上述主题可被实现为计算机控制的装置、计算机进程、计算系统或诸如计算机可读存储介质等制品。通过阅读下面的详细描述并审阅相关联的附图，这些及各种其它特征将变得显而易见。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
尽管本文中描述的主题主要在用于提供附连控制元素的混合环境显示的技术的一般上下文中呈现，但可以理解本文中描述的技术可适用于任何类型的其中两个或更多个人彼此通信的场景。
如将在此更加详细描述地，可以理解在此所述的技术和技艺的各实现可以包括固态电路、数字逻辑电路、计算机组件和/或在一个或多个设备上执行的软件的使用。在此所述的信号可以包括用于传递改变的状态、移动和与运动检测相关联的任何数据的模拟和/或数字信号。计算设备的用户所捕捉的手势可使用任何类型的传感器或输入设备。
尽管在结合计算机系统上的操作系统和应用程序的执行而执行的程序模块的一般上下文中提出了本文描述的主题，但是本领域技术人员将认识到，其它实现可以结合其它类型的程序模块来执行。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构及其它类型的结构。此外，本领域技术人员将明白，可以使用其它计算机系统配置来实施本文描述的主题，这些计算机系统配置包括手持式设备、多处理器系统、基于微处理器的或可编程消费电子产品、小型计算机、大型计算机等等。
在以下详细描述中，参考了构成详细描述的一部分并作为说明示出了各具体配置或示例的附图。现在参考附图，其中相同的附图标记贯穿若干附图表示相同的元素，将提出用于提供附连控制元素的混合环境显示的计算系统、计算机可读存储介质、以及计算机实现的方法的各方面。如下将参考图7-9更加详细描述地，存在可以具体化在此所述的功能和技术的许多应用和服务。
图1是示出本文中所公开的用于提供附连控制元素的混合环境显示的一个示例环境100(本文中也称为“系统100”)的系统图。在一个说明性示例中，示例环境100可包括一个或多个服务器110、一个或多个网络150、与用户101相关联的用户设备102、以及一个或多个控制器设备103A到103E(统称为“控制器设备103”)。出于说明目的，用户设备102和控制器设备103也被一般地称为“计算设备”。
图1还解说了包含可由控制器设备103控制的多个对象的示例场景的各个方面。在这一示例中，第一控制器设备103A被配置成与车库门开启器104A交互并控制车库门开启器104A。图1中还示出了，第二控制器设备103B被配置成与厨灶104B交互并控制厨灶104B、第三控制器设备103C被配置成与冰箱104C交互并控制冰箱104C、第四控制器设备103D被配置成与第一灯具104D交互并控制第一灯具104D、以及第五控制器设备103E被配置成与第二灯具104E交互并控制第二灯具104E。出于说明目的，车库门开启器104A、厨灶104B、冰箱104C、第一灯具104D、以及第二灯具104E在本文中也被称为“对象104”。如以下将更详细描述的，本文中公开的技术使得用户能够通过使用手势或由用户设备102解释的其它形式的输入来与对象104交互(例如，控制)、通信、以及以其它方式产生影响。
图1中示出的示例是出于说明目的提供的，而不被理解为限制性的。可以理解，示例环境100可包括任意数量的控制器设备103、任意数量的用户设备102、任意数量的用户101、任意数量的服务器110、和/或任意数量的对象104。还可理解，对象可包括除图1中所示出的那些之外的许多其它类型的物体。
控制器设备103可作为独立设备工作，或者控制器设备103可与其它计算机(诸如一个或多个服务器110或其它控制器设备103)协同工作。在一些配置中，控制器设备103可以是具有用于控制其它设备和/或对象的一个或多个组件的便携式、单板计算机。市场上可买到的控制器设备103的一个示例被称为树莓派(RASPBERRY PI)。其它示例包括由PARTICLE.IO制造的PHOTON(Wi-Fi)以及ELECTRON(2G/3G蜂窝)。可以理解，控制器设备103还可以是个人计算机或具有用于提供与网络的通信的组件和用于与一个或多个对象交互的组件的任何其它计算设备的形式。
用户设备102可作为独立设备工作，或者用户设备102可与其它计算机(诸如一个或多个服务器110或其它用户设备102)协同工作。用户设备102可以是个人计算机、可佩戴计算机(诸如HMD)、或具有用于提供与网络的通信的组件和用于与用户101交互的组件的任何其它计算设备的形式。如以下将更详细描述的，用户设备102可被配置成接收来自用户101的输入命令，包括由输入设备(诸如相机、触摸板或键盘)捕捉的手势。
用户设备102、控制器设备103、服务器110和/或任何其它计算机可通过一个或多个局域网和/或广域网(诸如网络150)互连。另外，计算设备可使用任何技术(诸如，蓝牙、WIFI、WIFI DIRECT、NEC)或任何其它合适的技术，这些技术可包括基于光的、有线、或无线技术。应当理解，可以利用本文中描述的以外的多得多的类型的连接。
服务器110可以是个人计算机、服务器场、大规模系统或具有用于在一个或多个计算设备之间处理、协调、收集、存储、和/或传递数据的组件的任何其它计算系统的形式。在一些配置中，服务器110可与一个或多个服务提供商相关联。服务提供商可以是分享或租赁计算资源以用于促成本文所公开的技术的各方面的公司、人或任何类型的实体。服务器110还可包括用于执行本文所公开的技术的一个或多个方面的组件和服务，诸如应用服务以及图8中所示的。
现在参考图2，用户设备102、控制器设备103以及服务器110的各方面被更详细地描述。在一个说明性示例中，服务器110可包括本地存储器180，在本文中也称为“计算机可读存储介质”，其被配置成存储数据(诸如输入数据113)，该数据可由设备生成并由用户发出。与一个或多个计算设备或对象104有关的状态数据114也可被存储在服务器110的本地存储器180中。存储在一个或多个服务器110上的数据可以是存储在控制器设备103和/或用户设备102上的数据的复制副本，以允许中央服务协调多个客户端计算机(诸如控制器设备103和/或用户设备102)的各方面。可以理解，服务器110可存储除图2中所示出的那些之外的其它形式的数据。
在一些配置中，单个服务器110可包括被配置成执行本文所描述的技术的一个或多个方面的服务器模块107。服务器110还可包括接口118，诸如用于显示数据的屏幕。另外，服务器110还可包括输入设备119，诸如键盘、鼠标、话筒、相机、或适用于生成定义与服务器110的任何用户交互的信号和/或数据的任何其他设备。在一些配置中，服务器110可被配置成允许用户从远程位置与服务器110交互。
在一些配置中，单个控制器设备103可包括本地存储器180，在本文中也称为“计算机可读存储介质”，其被配置成存储数据(输入数据113)，该数据可由设备生成并由用户发出。与一个或多个设备有关的状态数据114也可被存储在单个控制器设备103的本地存储器180中。单个控制器设备103的本地存储器180可包括被配置成执行本文所描述的技术的一个或多个方面的控制器模块121。控制器模块121可作为独立模块工作，或者控制器模块121可与其它模块或计算机(诸如服务器110和/或其它用户设备102)协同工作。
控制器设备103的本地存储器180还可存储控制数据115，控制数据115可定义可由控制器设备103执行的代码、命令或指令。在一些配置中，控制数据115可包括可由计算设备(诸如各控制器设备103中的一个)执行和/或解释以执行一个或多个任务的命令、代码、目标代码、脚本、经编译的程序、经解释的程序、或任何其它可执行指令集。控制数据115还可定义通信接口，诸如应用编程接口(API)。如可被理解的，这类数据可使得远程计算机能够通过使用API来发送命令数据(也被称为“输入命令”数据)到单个控制器设备103。
控制数据115可由控制器设备103提供，或者控制数据115可由另一资源提供，该资源可涉及控制数据115的服务公布方面。如以下将更详细描述的，当计算设备(诸如用户设备102)获得控制数据115时，计算设备可提供遵从控制数据115的命令来控制控制器设备103的各方面，并且因而也影响或控制相关联的对象。
单个控制器设备103还可包括用于与一个或多个对象104交互的控制组件122。例如，控制组件122可包括用于控制给一个或多个对象104的电力的电中继、用于控制一个或多个对象104或对象104的组件的移动的致动器、和/或允许控制对象104或与对象104通信的任何类型的设备。单个控制器设备103还可包括120。例如，传感器120可包括相机、触摸传感器、接近度传感器、深度场相机、或任何其它类型的输入设备，用于生成与对象104和/或一个或多个控制器设备103有关的状态数据114。
在一些配置中，用户设备102可包括存储输入数据113的本地存储器180，输入数据113可由设备或用户生成。如以下将更详细描述的，输入数据113可从用户设备102的一个或多个组件(诸如传感器120或输入设备119)处接收和/或由其生成。输入数据113还可由内部或外部资源(诸如GPS组件、指南针、或诸如图9中示出的那些之类的任何其它合适的组件)生成。传感器120(其可以是位置追踪组件)以及一个或多个输入设备119(诸如相机、话筒或键盘)可生成输入数据113，输入数据113可定义任何合适形式的用户活动，诸如用户的手势、语音命令、凝视方向等。在其它示例中，输入数据113可从一个或多个系统(诸如社交网络、电子邮件系统、搜索引擎、即时消息系统、或任何其它合适的应用或平台)处接收。这类系统的示例可包括图8中所示的服务和资源(814－824)。一个或多个动作(诸如对对象的选择或与对象的交互)可基于对来自多个源的输入数据113的解释来执行。
用户设备102的本地存储器180还可被用于存储与一个或多个设备和/或组件有关的状态114。另外，用户设备102的本地存储器180还可被用于存储设备模块111，该设备模块111被配置成管理本文中描述的各技术以及用户101和用户设备102之间的交互。例如，如以下将详细描述的，设备模块111可被配置成处理和传递控制数据115、状态数据114、输入数据113以及其它数据。另外，设备模块111可被配置成执行一个或多个表面重构算法以及用于定位对象104并且捕捉所述对象104的图像的其它算法。设备模块111可以具有生产力应用、游戏应用、虚拟现实应用、操作系统组件或被配置为实现本文所公开的各技术的任何其它应用的形式。如本文中所描述的，设备模块111被配置成允许用户与虚拟世界环境和增强现实环境交互。
在一些配置中，用户设备102可包括硬件显示表面118(本文中也被称为“接口118”)，其被配置成显示渲染内容并且提供本文中描述的其它视图。硬件显示表面118可包括一个或多个组件，诸如投影仪、平板或曲面屏幕、或用于向用户101产生对象和/或数据视图的其它合适的组件。在一些配置中，硬件显示表面118可被配置成覆盖用户101的至少一只眼睛。在一个说明性示例中，硬件显示表面118可被配置成覆盖用户101的两只眼睛。硬件显示表面118可渲染一幅或多幅图像，用于生成一个或多个对象的单眼或双眼视图或立体显示。
硬件显示表面118可被配置成允许用户101从不同环境查看对象。在一些配置中，硬件显示表面118可显示对象的渲染。另外，硬件显示表面118的一些配置可允许用户101透过硬件显示表面118的具有可控制的透明度的可选择的部分观看，从而使得用户101能够在他或她的周围环境中看到对象。出于说明的目的，用户透过硬件显示表面118查看对象的视角在本文中被称为对象的“现实世界视图”或者“物理对象的现实世界视图”。
硬件显示表面118在本文中被描述为具有“视野”或“视场”，“视野”或“视场”可以是在任意给定时刻通过硬件显示表面118看到的可观测区域的范围。在本文描述的示例中，当通过硬件显示表面118观测到对象时，视野的方向(例如，凝视方向)指向该对象。出于说明目的，定义硬件显示表面118的视野的方向以及进而定义用户设备102的视野的方向的凝视方向数据可由一个或多个设备生成，这些设备包括指南针、GPS组件、相机和/或用于生成方向和位置数据的合适组件的组合。具有已知位置的对象的图像数据的分析也可被用于生成凝视方向数据。
如以下将更详细描述的，计算机生成的对象和/或数据的渲染可被显示在硬件显示表面118的透明部分中、周围或附近，从而允许用户查看计算机生成的渲染以及通过硬件显示表面118的所选部分观测到的现实世界视图。
本文中描述的一些配置提供“透视显示器”和“增强现实显示器”两者。出于说明目的，“透视显示器”可包括能让内容显示在其上的透明透镜。“增强现实显示器”可包括被配置成在图像的渲染上显示内容的不透明显示器，该图像可来自任何源，诸如来自被用来捕捉用户设备102周围的环境的图像的相机的视频馈送。出于说明的目的，本文中公开的一些示例描述在图像的显示上显示经渲染的内容。另外，本文中公开的一些示例描述将经渲染的内容显示在“透视显示器”上从而使得用户能够看见对象的现实世界视图以及该内容的技术。可以理解，本文中描述的技术的各示例可应用于“透视显示器”、“增强现实显示器”或其变体以及它们的组合。出于说明的目的，被配置成实现“透视显示器”、“增强现实显示器”或其组合的设备在本文中被称为能够提供“混合环境”显示的设备。
用户设备102可包括输入设备119，诸如键盘、鼠标、话筒、相机、深度图相机、触摸传感器、或被配置成允许生成表征与设备103的交互的数据的任何其他设备。如图2中所示，输入设备119(诸如话筒和/或相机)可被放置在用户设备102的前方。
用户设备102还可包括一个或多个传感器120，诸如陀螺仪、声纳传感器、红外传感器、指南针、加速度计、和/或用于检测设备103和其它对象的位置或移动的任何其它设备或组件。传感器120还可实现表征与设备103的交互(诸如用户手势)的数据的生成。出于说明的目的，一个或多个传感器120和/或输入设备119可实现定义一个或多个对象(对象可包括设备103、设备103附近的物理物体、和/或用户101)的位置和移动的各方面(例如，速度、方向、加速度)的输入数据113的生成。在其它示例中，传感器120和/或输入设备119可实现定义对象的存在和/或特性的输入数据113的生成。例如，这类组件可生成定义对象的诸如颜色、大小、形状、或其它物理特征之类的特性的数据。
各配置可使得用户设备102能够捕捉和解释由用户101执行的手势并且生成上文描述的视野的图像数据。定义特性的数据还可包括对象的位置。多个组件(诸如GPS设备、网络设备、和/或本文中公开的一个或多个传感器)可被用于生成定义对象的位置的数据。
在一个说明性示例中，传感器120和/或输入设备119可实现标识用户101正看着的对象(其在本文中也被称为“凝视目标”)的输入数据113的生成。在一些配置中，凝视目标可通过使用实现对定义用户正看着的方向(其在本文中也被称为“凝视方向”)的数据的生成的传感器120和/或输入设备119来被标识。例如，安装到用户设备102的传感器120(诸如相机或深度图传感器)可被引导朝向用户的视野。从输入设备119和/或传感器120生成的图像数据可被分析以确定视野中的对象是否位于该图像数据的图像的预确定位置或区域中。如果对象位于至少一幅图像的预确定区域内(诸如图像的中心)，则设备可确定该对象是凝视目标。
来自许多类型的输入设备119和/或传感器120的数据可被用来标识凝视目标和凝视方向。例如，指南针、位置追踪组件(例如，GPS组件)、和/或加速度计可被用于生成指示凝视方向的数据和指示特定对象的位置的数据。使用这类数据，本文中公开的技术能够确定特定对象是凝视目标。其它数据(诸如指示对象移动的速度和方向的数据)也可被用于标识凝视方向和/或凝视目标。例如，如果用户101正观察以特定速度和方向行进的车辆，则这类数据可从该车辆传递到用户设备102，并且这类数据可使用已知技术与其它数据进行组合以确定该车辆是凝视目标。
在一些配置中，一个或多个传感器120可被引导朝向用户的至少一只眼睛。指示至少一只眼睛的方向和/或位置的数据可被用于标识凝视方向和凝视目标。这类配置可在用户正看着显示在硬件显示表面118上的对象的渲染时被使用。在一个说明性示例中，如果用户佩戴的HMD具有渲染在硬件显示表面118上的两个不同对象，则被引导朝向用户的至少一只眼睛的一个或多个传感器120能实现指示用户正看着第一经渲染的对象还是第二经渲染的对象的眼睛位置数据的生成。眼睛位置数据可与其它数据(诸如凝视方向数据)组合以标识凝视目标，这可以基于显示在硬件显示表面118上的经渲染的对象或透过硬件显示表面118观察到的现实世界对象。
如上文概述的，用户设备102(诸如HMD)可允许通过捕捉和分析定义一个或多个手势或其它形式的输入的执行的输入数据113来对由控制器设备103控制的对象104进行选择。出于说明的目的，对对象的选择还可意味着对与对象104相关联的控制器设备103的选择，而对控制器设备103的选择还可意味着对与对象相关联的对象的选择。如现在将更详细描述的，对对象104的选择导致用户设备102获得用于与一个或多个相关联的控制器设备103通信的地址信息。
一旦对象104被选择，用户设备102可采取一个或多个动作。例如，用户设备102可发起与远程计算设备的通信和/或致使显示内容(诸如被配置成控制控制器设备103的命令)的一个或多个图形元素的显示。另外，用户设备102可响应于对图形元素的选择而生成定义输入命令的数据。定义输入命令的数据可被传递给控制器设备103供执行。命令的执行可致使控制器设备103控制对象104、获得来自对象104的状态、或致使与对象104的其它交互。与控制器设备103相关联的状态数据可被传递给用户设备102以向用户101显示。图3A到3D提供了示出这类技术的说明性示例，其中用户设备102(诸如HMD)被用于选择分别与两个不同的灯具相关联的两个控制器设备103并与这两个控制器设备103交互。
图3A解说了一个示例视图300，该视图300来自用户设备102(例如HMD)的视角，该视角具有被引导朝向第一灯具104D和第二灯具104E的视野，第一灯具104D和第二灯具104E被共同和概括地称为“对象104”。在这一示例中，视图300包括透过用户设备102的硬件显示表面118的对象104的现实世界视图。虽然这一示例视图300解说了包含对象104的现实世界视图的配置(通过使用由被引导朝向该视野的相机所生成的图像数据)，但是可以理解，对象104的渲染可被显示在硬件显示表面118上。
在本示例中，用户101可使用用户设备102通过引导用户设备102的视野朝向想要的对象104来选择两个对象104中的一个。这一动作可在例如当用户101转头看向感兴趣的对象时被执行。在这一示例中，用户101首先将视野转向第一灯具104D。通过使用本文所公开的技术，第一灯具104D和/或相关联的控制器设备(例如第四控制器设备103D)可被选择。一旦对象(诸如第一灯具104D)被选择，用户设备102就可采取一个或多个动作。例如，用户设备102可显示图形元素、生成音频信号、和/或提供任何其它形式的通知以确认对该对象的选择。在另一示例中，响应于对该对象的选择，第四控制器设备103D可致使定义用于控制第四控制器设备103D和/或第一灯具104D的一个或多个命令的控制数据被传递给用户设备102。在这一示例中，传递自第四控制器设备103D的控制数据可定义用于控制组件的指令，例如把灯调暗、把灯打开或关闭等。在另一示例中，响应于对对象的选择，用户设备102可接收定义一个或多个设备和/或组件的状态数据。
图3B示出一个示例视图300’，该视图300’可在第一灯具104D被选择时向用户101显示。如所示出的，响应于该选择，用户设备102可致使一个或多个图形元素与第一灯具104D的现实世界视图一起显示。在这一示例中，第一图形元素303A指示第一灯具104D的状态。具体来说，第一图形元素303A通过使用经渲染的线和圆来指示第一灯具104D被打开。
图3B中还示出，第二图形元素303B包括状态数据和用于控制第四控制器设备103D和第一灯具104D的可选择控制元素。在这一示例中，状态数据包括第一灯具104D的标识符，例如“灯具1：家庭室”。状态数据还指示灯具已被使用的小时数。第二图形元素303B还包括用于致使用于显示更多命令和/或其它状态数据的其它图形元素(例如子菜单(未示出))的显示的一组可选择控制元素305。另外，基于该控制数据，第二图形元素303B可包括用于控制第一灯具104D和/或第四控制器设备103D的一个或多个可选择控制元素306。用户设备102被配置成根据对一个或多个可选择控制元素306的选择来处理命令。在这一示例中，可选择控制元素可被用于打开或关闭灯具以及改变灯具的亮度。
如图3B中所示，第二图形元素303B被配置成示出第二图形元素303B的内容和第一灯具104D的现实世界视图之间的关联。在这一示例中，第二图形元素303B的形状被用于示出一个或多个关联。具体来说，第二图形元素303B的形状被定形和定位在第一灯具104D周围以示出各种关联，例如图形元素的内容和对象之间的关联、图形元素303B和对象之间的关联。图形元素303B还可示出被显示的内容和第四控制器设备103之间的关联，这可包括对第四控制器设备103D的渲染或第四控制器设备103D的现实世界视图。虽然图形元素的形状被用于示出图形元素的内容和对象之间的关联，但是可以理解，任何形状、颜色、线、或任何其它标志符(诸如音频信号)可被用于指示对象和所显示内容之间的关联。
如以上概述的，在一个或多个图形元素的显示期间，用户设备102的传感器120或输入设备119可被用于捕捉手势或另一种形式的输入以生成输入数据113。用户设备102可处理输入数据113、控制数据115、和/或其它数据以生成被配置成在控制器设备103处执行计算机可执行指令的命令。图3C示出一个示例，其中用户设备102被用于捕捉用户101所执行的手势以实现用于控制第四控制器设备103D和第一灯具104D的命令的生成和传递。
图3C示出第一灯具104D的现实世界视图的示例视图300’，其中用户手势正与第二图形元素303B交互。在本示例中，用户设备102的传感器120(例如被引导朝向该视野的相机)捕捉由用户101执行的手势。如图3C中所示，用户101正执行指示对被配置成改变第一灯具104D的亮度的可选择控制元素的选择的手势。当这一输入被检测到时，定义命令的数据可从用户设备102传递到第四控制器设备103D和第一灯具104D。
在一些配置中，用户设备102可基于一个或多个动作修改与第一灯具104D有关的图形元素的显示。在一个示例中，当用户101视线离开第一灯具104D时，图形元素可从视图300’中移除。其它用户动作(诸如语音输入、手势、或其它类型的输入)也可导致图形元素的移除。如以下将更详细描述的，其它用户动作致使用户设备102采取其它动作。
在本示例中，用户101通过看着(例如将用户设备102的视野从第一灯具104D引导移开并朝向第二灯具104E)第二灯具104E来与其交互。响应于检测到这一活动，本文所公开的技术可移除第一和第二图形元素(303A和303B)的显示、选择第二灯具104E、并且显示与第二灯具104E和第五控制器设备103E有关的其它图形元素。
图3D示出另一示例视图300”，该视图300”可在第二灯具104E被选择时向用户101显示。在这一说明性示例中，第三图形元素303C指示第二灯具104E的状态。在这一说明性示例中，第三图形元素303C指示第二灯具104E被关闭。还示出，第四图形元素303D包括状态数据和用于控制第五控制器设备103E和第二灯具104E的命令。第四图形元素303D包括如结合图3B描述的标识符、状态数据、以及可选择控制元素。
本文所公开的技术还使得用户能够一次与多个对象和/或设备交互。例如，在以上包含灯具的示例中，用户可通过图3A中所示的视图来控制两个灯具。当两个灯具都在观看区域内时，这两个灯具用户设备102都可选择。在这类配置中，一个或多个图形元素可被显示以控制这两个灯具。替代地，或者作为显示图形元素的补充，用户设备102可生成指示对两个灯具的选择的通知。该通知可包含音频信号(例如，指示“两个灯具都被选择”的生成的语音)或者适合提供这一通知的另一信号的生成。一旦选择了灯具，用户设备102可控制这两个对象。例如，用户可提供手势或输入命令(输入命令可包括语音命令)来控制灯具。例如，用户可说“关闭所有的灯”或者“打开所有的灯”。这一示例是出于说明的目的被提供的且不被解释为限制性的。可以理解，本文中所公开的配置可被用来控制任意数量的对象和/或远程控制器设备103。
继续上述示例，考虑其中用户正站在房屋之外的场景。通过看向房屋的方向，多个不同类型的对象被选择，例如多个灯、多个家电、一个或多个温度调节装置等。用户可随后提供手势或其它形式的输入以控制选择对象或对象的类别。例如，用户可提供指示他们希望“关闭所有的灯”或者“打开所有的灯”的语音命令。另外，用户可在看着房屋的同时指向温度调节装置的方向，并且说“将温度调高到71度”。用于解释这类输入的一个或多个技术可被用来通过将恰当的命令导向恰当的控制器设备103来选择和控制不同对象以及不同类别的对象。
图4A到4C解说了另一示例，其中用户设备102(具有HMD的形式)被用来与车库门开启器104A交互。在这一说明性示例中，用户设备102的视野被引导朝向车库开启器104A，从而通过用户设备102的接口118创建车库开启器104A的现实世界视图。图4A示出这一场景中可向用户101显示的示例视图400。如以上概述的，当这一场景被本文中所公开的一个或多个技术检测到时，用户设备102可选择车库门开启器104A和/或相关联的计算设备(例如第一控制器设备103A)。在选择车库门开启器104A之际，用户设备102可采取一个或多个动作，这些动作可包括显示包括被配置成控制车库门开启器104A的可选择元素的图形元素。
图4B示出一个示例视图400，该视图400可在车库门开启器104A和/或相关联的设备被选择时向用户101显示。如所示出的，用户设备102可致使图形元素402与车库门开启器104A的现实世界视图一起显示。在这一示例中，图形元素402包括允许用户设备102控制车库门开启器104A的可选择的控制元素。如所示出的，一个或多个可选择控制元素可被选择以发起致使车库门打开或关闭的一个或多个动作。另外，对可选择控制元素的选择可致使针对车库开启器104A和/或第一控制器设备103A的软件更新。内容(诸如状态数据)可被包括在图形元素402中。图4B中示出的示例状态数据指示维护到期日期以及定义最近用户活动的数据。在这一示例中，用户活动标识车库门开启器104A的用户以及车库门开启器104A被最后一次操作的时间的时间戳。
如图4B中所示，图形元素402被配置成示出图形元素402和车库门开启器104A之间的关联。在这一示例中，图形元素402的轮廓包括引导朝向车库开启器104A的线。虽然线被用来示出图形元素402的内容和车库门开启器104A之间的关联，但是可以理解，任何形状、颜色、或任何其它标志符可被用来示出对象(诸如车库门开启器104A)和其它所显示内容之间的关联。
图3C示出车库门开启器104A的现实世界视图的示例视图400，其中用户手势正与图形元素402交互。在本示例中，用户设备102的传感器120捕捉由用户101执行的手势。如图3C中所示，用户101正执行指示对被配置成打开车库门的可选择控制元素的选择的手势。当这一输入被检测到时，定义命令的数据可从用户设备102传递到与车库门开启器104A相关联的控制器设备103。控制器设备103可随后致使车库门开启器104A工作。
如以上所概述的，用户设备102可与被配置成与对象交互的任何计算设备交互。用户界面图形元素可被显示在由联网计算机控制的任何对象的现实世界视图附近。类似于以上所描述的那些的图形元素可被用来控制包括图1中所示的家电在内的各种对象以及与其交互。例如，图形元素可以本文中描述的方式与厨灶104B和冰箱104C关联地渲染。
在又一些其它示例中，本文中所公开的技术可被用于控制可被嵌入在其它对象(诸如车辆)中的控制器设备并与其通信。这类应用的一个示例被示出在图5A到图5C中。
图5A示出一个示例视图500，该视图500可在用户101接近车辆501时向他或她显示。图5B示出两个图形元素的示例视图500，这两个图形元素可在通过使用本文中描述的技术选择了车辆501和/或相关联的计算设备时向用户101显示。图5C示出示例视图500，该视图500可在用户101执行致使用户设备102将命令传递给与车辆501相关联的计算设备的手势时被提供给用户101。
如图5B中所示，第一图形元素502A可与车辆501的现实世界视图一起显示在接口118上。如所示出的，第一图形元素502A被配置成解说所显示的状态数据和车辆501的组件之间的关联(例如，附属关系)。在这一特定示例中，所显示的状态数据描述轮胎中的一个的各方面，而图形元素502A被配置成指示所显示的状态数据和轮胎中的一个之间的附属关系。
如图5B中所示，具有可选择控制元素(例如，用于开启和关闭窗户的按钮、以及用于锁门的按钮)的第二图形元素502B可与车辆501的现实世界视图一起显示。在这一示例中，第二图形元素502B的可选择控制元素涉及车辆501的各个组件，例如窗户和门。
图5C解说了一个示例，其中第二图形元素502B被(例如通过使用箭头)配置成指示车辆501的组件(例如窗户)和一个或多个可选择控制元素之间的关联。在指示一个或多个关联时，图形元素可以是静态或动态的。例如，箭头可被持续显示，或者箭头可响应于一个或多个动作显示。图5B和图5C中所示的示例示出可如何响应于对一个或多个可选择控制元素的选择(例如用户选择)而显示对象(或对象的组件)与内容之间的关联。在这一示例中，第二图形元素502B可如图5B中所示的配置，随后响应于一个或多个动作(诸如用户动作)过渡到如图5C中所示的配置。
如图5B和图5C中所示，第二图形元素502B可具有其中第二图形元素502B不指示附属关系的一种状态，并且随后在选择一个或多个可选择控制元素之际，第二图形元素502B可具有其中第二图形元素502B指示控制元素和对象的组件之间的附属关系的第二状态。在本示例中，第二图形元素502B通过使用箭头指示与窗的关联。这一示例是出于说明的目的被提供的且不被解释为限制性的。可以理解，任何形状、颜色、或任何其它标志符可被用来示出可选择控制元素和对象或对象的组件之间的附属关系。
在一些配置中，本文中所公开的技术还可生成图形元素以示出对象和与对象相关联的控制器设备103之间的关联。在一些场景中，与对象相关联的控制器设备103在对该对象的视觉检查之际可以不是可见的。在这样的情形下，本文中公开的技术可生成代表控制器设备103的一个或多个图形元素。这类渲染的示例被示出在图1中。例如，如果第四控制器设备103D被嵌入在第一灯具104D内，则表示第四控制器设备103D的图形元素可在第一灯具104D的现实世界视图附近生成。另外，该图形表示可具有一个或多个线或形状以示出对象和与对象相关联的控制器设备103之间的关联。在图1中所示的示例中，几条线中的圆可被用来示出控制器设备103的渲染和对象之间的关联。
通过使用以上描述的图形渲染，本文中所公开的技术使得设备的用户能够控制可能相对于用户设备102不在直接视线中的多个对象。例如，对于车库门场景，如果用户正从外面看向车库门并且车库门是关闭的，则本文中公开的技术可渲染代表车库门开启器的图像。在另一示例中，如果用户正看向具有多个灯开关的房间，用户设备102可显示每一个开关的渲染或者实现每一个开关的现实世界视图。用户设备102可随后通过用户所致的输入来控制每一个开关。在一个说明性示例中，用户可提供通用输入命令，诸如“打开所有的灯”或“关闭所有的灯”的手势或语音命令来控制多个控制器设备103。
在一些配置中，本文中所公开的技术使得设备能够在附连到一个或多个对象的不同位置中提供多个接口，例如图像元素、全息图等。例如，在其中用户看向具有一个三路光开关的房间的场景中，设备可为每一个开关渲染一个图形元素或者为两个开关渲染一个图形元素。这类配置可使得用户能够从两个开关控制一个对象(例如，一个灯)。在又一示例场景中，当用户通过用户设备102的接口看着房屋时，用户设备102可显示每一间房间内的虚拟温度调节装置。每一个虚拟温度调节装置可被配置成显示状态数据和/或用于控制每一个温度调节装置的一个或多个可选择图形元素。用户设备102可被配置成解释各种形式的输入(包括语音输入)以将命令引向各个温度调节装置、各组温度调节装置、和/或所有的温度调节装置。因此，在这一示例场景中，当用户查看各自附连到房屋的各房间的多个虚拟温度调节装置时，用户可发起导向一个温度调节装置的输入命令，例如用户可以说“将阁楼的温度下调5度”。
现在转到图6，以下示出并描述了用于提供附连的控制元素的混合环境显示的例程600的各方面。应该理解，不一定按任何特定次序来呈现本文公开的方法的操作，并且用替换次序来执行部分或全部操作是可能的且可构想的。为了易于描述和说明，按所示次序来呈现各操作。可以添加、省略和/或同时执行操作，而不脱离所附权利要求书的范围。
还应当理解，所解说的方法可在任何时间结束且不必完整地执行。这些方法的部分或全部操作和/或基本等效的操作可通过执行计算机存储介质上所包括的计算机可读指令来执行，如在下文中所定义的。如在说明书和权利要求书中使用的术语“计算机可读指令”及其变型，在本文是用来广泛地包括例程、应用、应用模块、程序模块、程序、组件、数据结构、算法等等。计算机可读指令可以在各种系统配置上实现，包括单处理器或多处理器系统、小型计算机、大型计算机、个人计算机、手持式计算设备、基于微处理器的可编程消费电子产品、其组合等等。
因此，应该理解，本文所述的逻辑操作被实现为：(1)一系列计算机实现的动作或运行于计算系统上的程序模块；和/或(2)计算系统内的互连的机器逻辑电路或电路模块。该实现是取决于计算系统的性能及其它要求的选择问题。因此，本文描述的逻辑操作被不同地称为状态、操作、结构设备、动作或模块。这些操作、结构设备、动作和模块可以用软件、固件、专用数字逻辑及其任何组合来实现。
例如，例程600的操作在本文中被描述为至少部分地由诸如设备模块111和/或服务器模块107之类的应用、组件和/或电路来实现。在一些配置中，设备模块111和/或服务器模块107可以是动态链接库(DLL)、静态链接库、由应用编程接口(API)实现的功能、经编译的程序、经解释的程序、脚本或任何其它可执行指令集。由设备模块111和/或服务器模块107接收的数据(诸如输入数据113)可被存储在一个或多个存储器组件中的数据结构中。数据可通过对数据结构的链接或引用进行寻址来从数据结构中索取。
尽管以下图示涉及图1和图2的各组件，但是可以理解例程600的操作也可以许多其它方式来实现。例如，例程600可至少部分地由另一远程计算机或本地电路的处理器来实现。另外，例程600的一个或多个操作可替换地或附加地至少部分地由单独工作的芯片组或与其它软件模块协同工作的芯片组来实现。适于提供指示任何设备的位置或状态的输入数据的任何服务、电路、或应用可在本文所描述的操作中使用。
参照图6，例程600开始于操作601，在此，设备模块111接收一个或多个远程设备的标识数据。总得来说，标识数据可包括将对象的各方面与控制器设备103的各方面关联起来的数据。例如，标识数据可包括控制器设备103的地址，诸如IP地址、MAC地址、或任何其它的基于网络的标识符。控制器设备103的地址可与控制器设备103和/或由控制器设备103控制的对象的一个或多个特性相关联。例如，标识数据可定义对象(诸如第一灯具104D)的特性。标识数据可定义物理对象的特性颜色、形状、异常、缺陷、或任何其它标识符。特性可随后与相关联的设备(诸如第四控制器设备104D)的地址相关联。
在一些配置中，标识数据可将特定控制器设备103的地址与位置数据相关联。位置数据可定义特定控制器设备103和/或由该特定控制器设备103控制的对象的位置。如以下将描述的，如果用户设备102检测到特定控制器设备处于预定距离内，则本文中公开的技术可利用这类信息来寻找特定控制器设备的地址。
标识数据可被手动配置，或由服务或远程资源提供。在一些配置中，标识数据可由设备(诸如用户设备102)生成。为了生成这一数据，用户设备102可进入初始化模式。在处于初始化模式下时，用户可接近特定对象和/或看着特定对象，并且提供输入以指示该设备将定义与对象有关的一个或多个特性的数据记录在数据结构中供未来访问。例如，参考图5A，用户101可能正通过用户设备102的接口118看着车辆501。在用户101看着车辆501时，用户可能提供语音命令、手势、或其它形式的输入来指示对标识数据的存储，标识数据可包括位置数据、图像数据、和/或定义与对象有关的一个或多个特性的元数据。另外，用户101或设备可提供并存储与对象(例如车辆501)相关联的计算设备的地址。
当处于初始化模式中时，在一些配置中，用户设备102的传感器120可获得对象(诸如车辆501)的图像。该图像数据可被处理以获得该对象的一个或多个特性。图像数据、对象的位置数据、描述对象的一个或多个特性的数据、和/或其它标识信息可与相关联的控制器设备103的地址相关联并且被存储在存储器中的数据结构中供未来访问。这些示例是出于说明的目的被提供且并不理解为限制性的。可以理解，标识数据可由其它计算机生成，并且可包括指示地址的其它类型的数据以及标识对象或相关联的控制设备的数据。
一旦标识数据被接收或生成，用户设备102就可进入常规操作模式，其中用户设备102被用来选择一个或多个对象并且使用相关联的计算设备103来与该对象交互。以下过程块解说了以下方面：其中用户设备102选择一对象、发起对状态数据、控制数据和/或命令数据的传递以控制被选择的对象以及相关联的控制器设备103的一个或多个方面。
返回图6，在操作603，设备模块111可选择由控制器设备103控制的对象。如以上所概述的，对象可通过使用任意数量的技术来选择。例如，对象可通过对定义任何合适的用户活动(诸如用户的手势、语音命令、凝视方向、或任何其它类型的输入)的输入数据113的分析来选择。在其它示例中，对象可通过对从一个或多个系统(诸如社交网络、电子邮件系统、电话系统、即时消息系统、或任何其它合适的应用或平台)接收的输入数据113的分析来选择。
在一个说明性示例中，标识凝视目标和/或凝视方向的输入数据113可被分析以标识和选择对象和/或与被选择的对象相关联的控制器设备103。例如，从一个或多个设备(诸如用户设备102)接收的输入数据113可指示用户101正看着特定物体。这类活动可通过使用由被引导朝向设备的视野的传感器120所捕捉的图像数据来确定。通过使用一个或多个图像处理技术，一个或多个特性(例如大小、形状、位置、或对象的任何方面)可被标识并存储在数据结构中。定义所标识的特性的数据可被分析并与上文所描述的标识数据作比较以确定选择一个对象并获得相关联的控制器设备103的地址。
参考图3B中所示的示例，在用户设备102的操作期间，由输入设备119和/或传感器120生成的输入数据113可指示用户正看着具有一组特性的第一灯具104D。在这一示例中，假定用户设备102存储定义第一灯具104D的一组特性的标识数据。如果标识数据的该组特性具有与输入数据113的一组特性的阈值量的相似度，则用户设备102可选择第一灯具104D。通过使用标识数据，与被选择的对象相关联的控制器设备103的地址可被获得。
位置数据还可被用来选择对象。例如，如果用户设备102位于距特定对象的预定距离内，则本文中所公开的技术可选择该特定对象。这类技术可与定义凝视方向的数据组合。因此，如果用户设备102位于距特定对象的预定距离内，并且如果用户设备102的视野被引导朝向该对象，则本文中所公开的技术可选择该特定对象。
在选择特定对象的过程中，输入数据113可包括来自一个或多个远程资源的上下文数据。例如，如果用户在搜索引擎上执行多个搜索，在社交网络上提交评论，和/或引起关于特定对象(诸如车辆或家电)的通信，则这类数据可被用于标识和选择特定对象。这类示例是出于说明的目的被提供且并不理解为限制性的。可以理解，输入数据113可从任何服务或资源(诸如个人存储资源、诸如由本地或远程存储服务提供的资源)中索取。在一个说明性示例中，如果用户指在特定对象或表达指示对一对象感兴趣的一个或多个手势，表征这一用户活动的数据可被分析以标识和选择特定对象。在又一示例中，如果用户通过设备(例如，电话或IM系统)通信，则通信数据可被分析以标识和选择特定对象。
另外，不同类型的输入数据113的组合可被用来标识和选择特定对象。例如，通信数据和标识凝视目标的数据可被用来标识和选择特定对象。已知的用于分析语音、文本、图像、或其它数据的技术可被用于推导关键词或标识对象的其它数据。这些示例是出于说明的目的被提供且并不理解为限制性的。可以理解，任何类型的合适的输入数据113可被用于标识和选择特定对象和/或相关联的控制器设备103。一旦对象被选择，与所选择的对象相关联的计算机的地址信息可从一个或多个资源处获得，包括获得的标识数据。
接着，在操作605，设备模块111可接收与所选择的对象有关的控制数据115和状态数据114。如上文概述的，控制数据115可定义能够由与所选择的对象相关联的控制器设备103执行的代码、命令或指令。例如，控制数据115可包括能够由与所选择的对象相关联的控制器设备103执行和/或解释的命令、代码、目标代码、脚本、经编译的程序、经解释的程序、或任何其它可执行指令集。控制数据115还可定义针对与所选择的对象相关联的控制器设备103的通信接口，诸如应用编程接口(API)。
状态数据114可包括与所选择的对象和/或与所选择的对象相关联的控制器设备103有关的任何信息。例如，如果对象是车辆，则状态数据可定义车辆的引擎、轮胎或任何其它组件的状态。控制数据115和状态数据114可被存储在存储器或任何计算机可读存储介质中的数据结构中以供在稍后的时间访问。控制数据115可从服务、控制器设备103、和/或另一资源处接收。控制数据115可通过初始化过程或响应于用户设备102的使用期间的请求而被提供给用户设备102的设备模块111或另一组件。
接着，在操作607，设备模块111可致使包含内容(诸如状态数据和/或一个或多个可选择控制元素)的一个或多个图形元素的显示。例如，如以上所描述的以及至少示出在图3B、4B和5B中的，用户设备102可致使状态数据和/或一个或多个可选择的控制元素与所选择的对象的视图一起显示在硬件显示表面118(例如，接口)上。所选择的对象的视图可包括对象的渲染或通过硬件显示表面118看到的对象的现实世界视图。
在一些配置中，可选择控制元素的配置可至少部分基于在操作605中获得的控制数据115。可选择控制元素被配置成实现命令(本文中也称为“输入命令”)的生成，该命令可被传递到与所选择的对象相关联的控制器设备103。特定命令的传递可响应于对与特定命令相关联的可选择控制元素的选择。
如上文概述的，图形元素被配置成示出对象和图形元素的内容之间的关联。例如，图形元素可被配置成示出对象的视图和与该对象相关联的状态数据的显示之间的关联。在另一示例中，图形元素可被配置成示出对象的视图和可选择控制元素的显示之间的关联。处于说明目的，当对象和所显示的内容之间作出关联时，对象的视图在本文中被称为“附连”到所显示的内容的显示。
如上文概述的，图形元素或内容的大小、形状、颜色、或任何其它特性可被用来示出对象和所显示内容之间的关联。例如，如图3B中所示，图形元素的形状被用来示出对象(灯具)的现实世界视图和图形元素的内容的显示之间的关联。在图4B中所示的示例中，从图形元素中引出的线被用来示出对象(车库门开启器)的现实世界视图和图形元素的内容的显示之间的关联。如图5B和图5C中所示，箭头被用来示出对象的组件和图形元素的内容的显示之间的关联。
操作607还可包含响应于对对象的选择而导致的一个或多个动作。例如，两个或更多个设备之间的通信可响应于对对象的选择而发起。通知(其可以是音频信号、机械动作、电气动作、或任何合适的图形显示)可响应于对对象的选择而产生。
接着，在操作609，设备模块111可接收对控制元素的选择。例如，如以上所描述的并且至少在图3C、4C和5C中示出的，用户设备102可接收来自用户101的指示对可选择控制元素的选择的输入。传感器120(其可以是相机)以及一个或多个输入设备119(诸如话筒或键盘)可导致输入数据113的生成，输入数据113可定义任何合适形式的用户活动，诸如用户的手势、语音命令、凝视方向等。输入数据113可由用户设备102或另一设备解释以引发一个或多个动作，诸如与所选择的控制元素相关联的命令的传递。
在操作611，设备模块111将一个或多个命令传递给与所选择的对象相关联的控制器设备103。在操作611，命令的传递可以响应于对至少一个可选择控制元素的选择。命令可以具有任何合适的格式并且命令可使用任何合适的协议来传递。在一个示例中，命令可被传递给控制器设备103的API。在其它示例中，命令可使用基于Web的协议或基于消息的协议被传递给控制器设备103。
接着，在操作613，控制器设备103可执行该命令。在该命令的执行中，控制器设备103可导致所选择的对象执行一个或多个动作、改变一个或多个状态、和/或传递数据。如以上的示例中所示，控制器设备103可致使灯具打开或关闭、致使车库门开启器开门或关门等。另外，输入命令可致使控制器设备103执行一个或多个动作，诸如传递状态数据和/或更新软件等。
图7示出了能够执行上述用于提供附连控制元素的混合环境显示的程序组件的计算机(例如图1和图2中示出的计算设备103)的示例计算机体系结构700的附加细节。由此，图7中例示的计算机体系结构700示出服务器计算机、移动电话、HMD、PDA、智能电话、台式计算机、上网本计算机、平板计算机、和/或膝上型计算机的体系结构。计算机体系结构700可用于执行本文所呈现的软件组件的任何方面。
图7所示的计算机体系结构700包括中央处理单元702(“CPU”)、包括随机存取存储器706(“RAM”)和只读存储器(“ROM”)708的系统存储器704、以及将存储器704耦合至CPU702的系统总线710。基本输入/输出系统被存储在ROM 708中，该系统包含帮助诸如在启动期间在计算机体系结构700中的各元件之间传输信息的基本例程。计算机体系结构700还包括用于存储操作系统707、以及一个或多个应用程序的大容量存储设备77，应用程序包括但不限于输入数据113、标识数据732、以及传感器数据733。
大容量存储设备712通过连接至总线710的大容量存储控制器(未示出)连接至CPU702。大容量存储设备712及其相关联的计算机可读介质为计算机体系结构700提供非易失性存储。虽然对此处包含的计算机可读介质的描述引用了诸如固态驱动器、硬盘或CD-ROM驱动器之类的大容量存储设备，但是本领域的技术人员应该明白，计算机可读介质可以是可由计算机体系结构700访问的任何可用计算机存储介质或通信介质。
通信介质包括诸如载波或其它传输机制等已调制数据信号中的计算机可读指令、数据结构、程序模块或其它数据，且包含任何传递介质。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。作为示例而非限制，通信介质包括诸如有线网络或直接线连接之类的有线介质，以及诸如声学、RF、红外及其他无线介质之类的无线介质。上述的任意组合也应包括在计算机可读介质的范围之内。
作为示例而非限制，计算机存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。例如，计算机介质包括但不限于，RAM、ROM、EPROM、EEPROM、闪存或其他固态存储器技术、CD-ROM、数字多功能盘(“DVD”)、HD-DVD、蓝光(BLU-RAY)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机体系结构700访问的任何其他介质。为了权利要求书的目的，短语“计算机存储介质”、“计算机可读存储介质”及其变型不包括波、信号和/或其他瞬态和/或无形通信介质本身。
根据各配置，计算机体系结构700可以使用通过网络150和/或另一网络(未示出)的到远程计算机的逻辑连接来在联网环境中操作。计算机体系结构700可以通过连接至总线710的网络接口单元714来连接到网络150。应当理解，网络接口单元714还可以被用来连接到其他类型的网络和远程计算机系统。计算机体系结构700还可包括用于接收和处理来自多个其他设备的输入的输入/输出控制器716，这些设备包括键盘、鼠标、或电子指示笔(在图7中未示出)。类似地，输入/输出控制器716可向显示屏、打印机、或者其他类型的输出设备(在图7中也未示出)提供输出。
应当理解，本文所描述的软件组件在被加载到CPU 702中并被执行时可以将CPU702和总体计算机体系结构700从通用计算系统变换成为被定制为促进本文提出的功能的专用计算系统。CPU 702可以用任意数量的晶体管或其他分立的电路元件(它们可以分别地或共同地呈现任意数量的状态)来构建。更具体而言，CPU 702可响应于被包含在本文所公开的软件模块中的可执行指令而作为有限状态机来操作。这些计算机可执行指令可以通过指定CPU 702如何在各状态之间转换来变换CPU 702，由此变换了构成CPU 702的晶体管或其他分立硬件元件。
对本文所提出的软件模块的编码也可变换本文所提出的计算机可读介质的物理结构。在本说明书的不同实现中，物理结构的具体变换可取决于各种因素。这样的因素的示例可以包括，但不仅限于：用于实现计算机可读介质的技术、计算机可读介质被表征为主存储器还是辅存储器等等。例如，如果计算机可读介质被实现为基于半导体的存储器，则本文所公开的软件可以通过变换半导体存储器的物理状态而在计算机可读介质上编码。例如，软件可以变换构成半导体存储器的晶体管、电容器或其他分立电路元件的状态。软件还可变换这些组件的物理状态以在其上存储数据。
作为另一示例，本文所公开的计算机可读介质可以使用磁或光技术来实现。在这些实现中，本文所提出的软件可以在磁或光介质中编码了软件时变换所述磁或光介质的物理状态。这些变换可以包括改变给定磁性介质内的特定位置的磁性。这些变换还可以包括改变给定光学介质内的特定位置的物理特征或特性，以改变这些位置的光学特性。在没有偏离本说明书的范围和精神的情况下，物理介质的其他变换也是可以的，前面提供的示例只是为了便于此讨论。
鉴于以上内容，应当理解，在计算机体系结构700中发生许多类型的物理变换以便存储并执行本文所提出的软件组件。还应理解，计算机体系结构700可包括其它类型的计算设备，包括手持计算机、嵌入式计算机系统、个人数字助理、以及本领域技术人员已知的其它类型的计算设备。还构想了计算机体系结构700可不包括图7中示出的全部组件，可包括图7中没明确示出的其它组件、或者可包括与图7中所示的完全不同的体系结构。
图8示出能够执行本文所描述的用于提供附连控制元素的混合环境显示以及其它方面的软件组件的说明性分布式计算环境800。这样，图8中所示的分布式计算环境800可用于执行本文所呈现的软件组件的任何方面。例如，分布式计算环境800可被用来执行本文中所公开的各技术的各方面。
根据各种实现，分布式计算环境800包括在网络802上操作、与该网络通信、或者作为该网络的一部分的计算环境804。网络804可以是或可包括本文中结合图1描述的网络150以及本文中结合图9描述的网络956。网络804还可包括各种接入网络。一个或多个客户端设备806A-806N(在下文中统称和/或通称为“客户端806”)可经由网络804和/或其他连接(在图8中未示出)与计算环境802通信。在一个所示的配置中，客户端806包括：诸如HMD、膝上型计算机、台式计算机、或其他计算设备之类的计算设备806A；板式或平板计算设备(“平板计算设备”)806B；诸如移动电话、智能电话、或其他移动计算设备之类的移动计算设备806C；服务器计算机806D；和/或其他设备806N。应当理解，任意数量的客户端806可与计算环境802通信。应当理解，所示客户端806以及本文中示出和描述的计算体系结构是说明性的，并且不应被解释为以任何方式进行限制。
在所示的配置中，计算环境802包括应用服务器808、数据存储810、以及一个或多个网络接口812。根据各种实现，应用服务器808的功能可由作为网络804一部分执行或者与该网络通信的一个或多个服务器计算机提供。应用服务器808可主存各种服务、虚拟机、门户、和/或其他资源。在所示的配置中，应用服务器808主存一个或多个虚拟机814以供主存应用或其他功能。根据各个实现，虚拟机814主存用于提供附连控制元素的混合环境显示的一个或多个应用和/或软件模块。应当理解，该配置是说明性的，并且不应被解释为以任何方式进行限制。应用服务器808还主存或提供对一个或多个门户、链接页面、Web站点、和/或其他信息(“Web门户”)816的访问。
根据各种实现，应用服务器808还包括一个或多个邮箱服务818以及一个或多个消息收发服务820。邮箱服务818可包括电子邮件(“email”)服务。邮箱服务818还可包括各种个人信息管理(“PIM”)服务，包括但不限于日历服务、联系人管理服务、协作服务、和/或其他服务。消息收发服务820可包括但不限于即时消息收发服务、聊天服务、论坛服务、和/或其他通信服务。
应用服务器808还可包括一个或多个社交网络服务822。社交网络服务822可包括各种社交网络服务，包括但不限于用于共享或张贴状态更新、即时消息、链接、照片、视频、和/或其他信息的服务，用于评论或显示对文章、产品、博客、或其他资源的兴趣的服务，和/或其他服务。在一些配置中，社交网络服务822可包括脸谱(FACEBOOK)社交网络服务、LINKEDIN专业人士网络服务、MYSPACE社交网络服务、FOURSQUARE地理网络服务、YAMMER办公同事网络服务等，或者可由这些服务提供。在其他配置中，社交网络服务822可由其他服务、站点、和/或可明确或可不明确地称为社交网络供应商的供应商提供。例如，一些网站允许用户在各种活动和/或上下文(诸如阅读已发表的文章、评论商品或服务、发表、协作、游戏等)期间经由电子邮件、聊天服务、和/或其他手段彼此交互。这些服务的示例包括但不限于来自美国华盛顿州雷蒙德市微软公司的WINDOWS LIVE服务和XBOX LIVE服务。其他服务也是可能的且是可构想的。
社交网络服务822还可以包括评论、博客、和/或微博服务。这种服务的示例包括但不限于YELP评论服务、KUDZU审阅服务、OFFICETALK企业微博服务、TWITTER消息收发服务、GOOGLE BUZZ服务、和/或其他服务。应当理解，以上服务列表并非穷尽性的，并且为了简洁起见在本文中未提及多种附加和/或替换社交网络服务822。由此，以上配置是说明性的，并且不应被解释为以任何方式进行限制。根据各个实现，社交网络服务822可以主存提供在此所述的功能的一个或多个应用和/或软件模块，所述功能用于提供附连控制运输的混合环境显示。例如，应用服务器808的任何一个可以传送或促进在此所述的功能和特征。例如，在电话或任何其它客户端806上运行的社交网络应用、消息收发客户端或浏览器可以与联网服务822通信并促进所述功能(即使是部分地)，如上参考图6所述。
如图8所示，应用服务器808还可主存其他服务、应用、门户、和/或其他资源(“其他资源”)824。其它资源824可以包括但不限于文档共享、渲染或任何其它功能。因此可理解，计算环境802可以提供本文中提供的本文公开的概念和技术与各种邮箱、消息收发、社交网络、和/或其他服务或资源的集成。
如以上所提及的，计算环境802可包括数据存储810。根据各种实现，数据存储810的功能由在网络804上操作的或者与该网络通信的一个或多个数据库提供。数据存储810的功能也可由被配置成主存用于计算环境802的数据的一个或多个服务器计算机提供。数据存储810可以包括、主存或提供一个或多个实际或虚拟数据存储826A-826N(下文统称和/或一般地称为“数据存储826”)。数据存储826被配置成主存由应用服务器808使用或创建的数据和/或其他数据。尽管在图8中未示出，但数据存储826还可以主存或存储web页面文档、word文档、演示文档、数据结构、供推荐引擎执行的算法和/或由任何应用程序或另一个模块(例如内容管理器105)利用的其它数据。数据存储826的各方面可以与存储文件的服务相关联。
计算环境802可与网络接口812通信或由该网络接口访问。网络接口812可包括各种类型的网络硬件和软件，以支持包括但不限于客户端806和应用服务器808的两个或更多个计算设备之间的通信。应当理解，网络接口812还可用于连接到其他类型的网络和计算机系统。
应当理解，本文中所描述的分布式计算环境800可向本文中所描述的软件元件的任何方面提供可被配置成执行本文中所公开的软件组件的任何方面的任意数量的虚拟计算资源和/或其他分布式计算功能。根据本文中所公开的概念和技术的各种实现，分布式计算环境800向客户端806提供本文中所描述的软件功能作为服务。应当理解，客户端806可包括实际或虚拟机，包括但不限于服务器计算机、web服务器、个人计算机、移动计算设备、智能电话、和/或其他设备。由此，本文公开的概念和技术的各个配置使被配置成访问分布式计算环境800的任何设备能够利用本文中所述的提供附连控制元素的混合环境显示以及其它方面的功能。在一个具体示例中，如上文概述的，本文中所描述的技术可以至少部分由图7的操作系统707来实现，所述操作系统707与图8的应用服务器808协同工作。
现在转到图9，能够执行本文所述的用于提供附连控制元素的混合环境显示的各个软件组件的计算设备的一说明性计算设备体系结构900。计算设备体系结构900可适用于部分地由于形状因子、无线连接、和/或电池供电操作而便于移动计算的计算设备。在一些配置中，计算设备包括但不限于移动电话、平板设备、板状设备、便携式视频游戏设备等。计算设备体系结构900可用于图8所示的客户端806中的任一个。此外，计算设备体系结构900的多个方面可适用于传统的台式计算机、便携式计算机(例如，膝上型计算机、笔记本计算机、超便携计算机、以及上网本计算机)、服务器计算机、以及诸如本文中所描述的那些计算机系统。例如，本文中在以下所公开的单点触摸和多点触摸方面可应用于使用触摸屏或一些其他启用触摸的设备(诸如启用触摸的跟踪板或者启用触摸的鼠标)的台式计算机。
图9所示的计算设备体系结构900包括处理器902、存储器组件904、网络连接组件906、传感器组件908、输入/输出组件912、以及电源组件912。在所示的配置中，处理器902与存储器组件904、网络连接组件906、传感器组件908、输入/输出(“I/O”)组件910、以及电源组件912通信。虽然在图9所示的单独的组件之间未示出连接，但是这些组件可交互以实现设备功能。在一些配置中，这些组件被安排成经由一条或多条总线(未示出)通信。
处理器902包括中央处理单元(“CPU”)，中央处理单元被配置成处理数据、执行一个或多个应用程序的计算机可执行指令并且与计算设备体系架构1500的其他组件通信以执行本文所述的多个功能。处理器902可用于执行本文中所描述的软件组件的多个方面，特别是至少部分地使用启用触摸的输入的那些方面。
在一些配置中，处理器902包括被配置成加速由CPU执行的操作的图形处理单元(“GPU”)，包括但不限于通过执行通用科学和/或工程计算应用以及图形密集的计算应用(诸如高分辨率视频(例如720P、1080P以及更高分辨率)、视频游戏、三维(“3D”)建模应用)等等而执行的操作。在一些配置中，处理器902被配置成与分立的GPU(未示出)通信。在任一情况下，CPU和GPU可根据共同处理CPU/GPU计算模型来配置，其中应用的顺序部分在CPU上执行而计算密集部分由GPU加速。
在一些配置中，处理器902连同在下文中所描述的其他组件中的一个或多个为片上系统(“SoC”)或者包括在该SoC中。例如，Soc可包括处理器902、GPU、网络连接组件906中的一个或多个、以及传感器组件908中的一个或多个。在一些配置中，可部分地使用层叠封装(“PoP”)集成电路封装技术来制造处理器902。处理器902可以是单核或多核处理器。
处理器902可根据可从英国剑桥市ARM HOLDINGS许可购得的ARM体系结构来创建。替换地，处理器902可根据诸如可从美国加利福尼亚州芒廷维尤市英特尔公司购得的x86体系结构以及其他体系结构来创建。在一些配置中，处理器902是可从美国加利福尼亚州圣地亚哥市高通公司购得的SNAPDRAGON SoC、可从美国加利福尼亚州圣巴巴拉市的NVIDIA购得的TEGRASoC、可从韩国首尔市三星公司购得的HUMMINGBIRD SoC、可从美国德克萨斯州达拉斯市德州仪器公司购得的开放式多媒体应用平台(“OMAP”)SoC、以上SoC中的任一个的定制版、或者专有SoC。
存储器组件904包括随机存取存储器(“RAM”)914、只读存储器(“ROM”)916、集成存储器(“集成存储”)918、以及可移动存储存储器(“可移动存储”)920。在一些配置中，RAM914或其一部分、ROM 916或其一部分、和/或RAM 914和ROM 916的某一组合可集成在处理器902中。在一些配置中，ROM 916被配置成存储固件、操作系统或其一部分(例如，操作系统内核)、和/或从集成存储918或可移动存储920加载操作系统内核的引导加载器(bootloader)。
集成存储918可包括固态存储器、硬盘、或者固态存储器和硬盘的组合。集成存储918可焊接或以其他方式连接到逻辑板，该逻辑板还可连接有处理器902以及本文中所描述的其他组件。由此，集成存储918集成在计算设备中。集成存储918被配置成存储操作系统或其多个部分、应用程序、数据、以及本文中所描述的其他软件组件。
可移动存储920可包括固态存储器、硬盘、或者固态存储器和硬盘的组合。在一些配置中，提供可移动存储920来代替集成存储918。在其他配置中，提供可移动存储920作为附加的任选存储。在一些配置中，可移动存储920在逻辑上与集成存储918组合，以使全部可用的存储变得可用作为总组合存储容量。在一些配置中，集成存储918和可移动存储920的总组合容量取代集成存储918和可移动存储920的分开的存储容量被示出给用户。
可移动存储920被配置成插入通过其插入和紧固可移动存储920以便于连接的可移动存储存储器槽(未示出)或其他机构，通过该连接可移动存储920可与诸如处理器902之类的计算设备其他组件通信。可移动存储920可以具体化为各种存储器卡格式，包括但不限于PC卡、CompactFlash卡、存储器棒、安全数字(“SD”)、小型SD(miniSD)、微型SD(microSD)、通用集成电路卡(“UICC”)(例如，订户身份模块(“SIM”)或通用SIM(“USIM”))、专用格式等。
可以理解，存储器组件904的一个或多个可存储操作系统。根据各个配置，操作系统包括但不限于来自美国华盛顿州雷蒙德市的微软公司的WINDOWSMOBILE OS、来自微软公司的WINDOWS PHONE OS、来自微软公司的WINDOWS、来自加拿大安大略省沃特卢市的运动研究有限公司(Research INMotion Limited)的BLACKBERRY OS、来自美国加利福尼亚州库珀蒂诺市苹果公司的IOS、以及来自美国加利福尼亚州芒廷维尤市谷歌公司的ANDROID OS。构想了其它操作系统。
网络连接组件906包括无线广域网组件(“WWAN组件”)922、无线局域网组件(“WLAN组件”)924、以及无线个域网组件(“WPAN组件”)926。网络连接组件906促成与网络956或另一网络的往返通信，该网络可以是WWAN、WLAN、或WPAN。虽然仅示出网络956，但是网络连接组件906可促成与多个网络(包括图9的网络956)的同时通信。例如，网络连接组件906可促成经由WWAN、WLAN、或WPAN中的一个或多个与多个网络的同时通信。
网络956可以是或可以包括WWAN，诸如利用一种或多种移动电信技术来经由WWAN组件922向利用计算设备体系结构900的计算设备提供语音和/或数据服务的移动电信网络。移动电信技术可包括但不限于全球移动通信系统(“GSM”)、码分多址(“CDMA”)系统、CDMA7000、通用移动电信系统(“UMTS”)、长期演进(“LTE”)、以及微波接入全球互通(“WiMax)。”此外，网络956可使用各种信道接入方法(它们可被或可不被上述标准使用)，这些信道接入方法包括但不限于时分多址(“TDMA”)、频分多址(“FDMA”)、CDMA、宽带CDMA(“W-CDMA”)、正交频分多路复用(“OFDM”)、空分多址(“SDMA”)等。可使用通用分组无线电业务(“GPRS”)、全球演进的增强型数据速率(“EDGE”)、包括高速下行链路分组接入(“HSDPA”)、增强型上行链路(“EUL”)或者称为高速上行链路分组接入(“HSUPA”)的高速分组接入(“HSPA”)协议系列、演进HSPA(“HSPA+”)、LTE、以及各种其他当前和未来的无线数据接入标准来提供数据通信。网络956可被配置成通过以上技术的任意组合提供语音和/或数据通信。网络956可被配置成调适成根据未来的生成技术提供语音和/或数据通信。
在一些配置中，WWAN组件922被配置成提供到网络956的双模-多模连接。例如，WWAN组件922可被配置成提供到网络956的连接，其中网络956经由GSM和UMTS技术、或者经由技术的一些其他组合提供服务。替换地，多个WWAN组件922可用于执行这种功能和/或提供附加功能以支持其他非兼容技术(即，无法被单个WWAN组件支持)。WWAN组件922可便于与多个网络(例如，UMTS网络和LTE网络)的类似连接。
网络956可以是根据一个或多个电气和电子工程师学会(“IEEE”)802.11标准(诸如IEEE 802.11a、802.11b、802.11g、802.11n、和/或未来的802.11标准(在此被称为WI-FI))而操作的WLAN。还可构想802.11标准草案。在一些配置中，使用一个或多个无线WI-FI接入点来实现WLAN。在一些配置中，用作WI-FI热点的一个或多个无线WI-FI接入点是与WWAN连接的另一计算设备。WLAN组件924被配置成经由WI-FI接入点连接到网络956。可经由加密技术来确保这些连接，这些加密技术包括但不限于WI-FI保护接入(“WPA”)、WPA2、有线等效加密(“WEP)等。”
网络956可以是根据红外数据协会(“IrDA”)、BLUETOOTH、无线通用串行总线(“USB”)、Z-波、ZIGBEE、或者一些其他近程无线技术操作的WPAN。在一些配置中，WPAN组件926被配置成便于经由WPAN与诸如外围设备、计算机、或者其他计算设备之类的其他设备的通信。
传感器组件908包括磁力计928、环境光传感器930、邻近度传感器932、加速度计934、陀螺仪936、以及全球定位系统传感器(“GPS传感器”)938。可构想其他传感器(诸如但不限于温度传感器或震动检测传感器)也可结合到计算设备体系结构900中。
磁力计928被配置成测量磁场的强度和方向。在一些配置中，磁力计928提供对存储在存储器组件904之一内的罗盘应用程序的测量以向用户提供包括基本方向、北、南、东和西的基准帧中的准确方向。可将类似的测量值提供给包括罗盘组件的导航应用程序。可构想磁力计928所获取的测量值的其他用途。
环境光传感器930被配置成测量环境光。在一些配置中，环境光传感器930提供对存储在一个存储器组件904内的应用程序的测量，从而自动地调整显示器的亮度(在下文中描述)以补偿低光和高光环境。可构想环境光传感器930所获取的测量值的其他用途。
邻近度传感器932被配置成检测邻近计算设备而不直接接触的对象或物体的存在。在一些配置中，邻近度传感器932检测用户身体(例如，用户的脸部)的存在性，并且将该信息提供给存储在存储器组件904之一内的应用程序，该存储器组件使用邻近度信息来启用或禁用计算设备的一些功能。例如，电话应用程序可响应于接收到邻近信息自动地禁用触摸屏(在下文中描述)，以使用户的脸部在呼叫期间不会无意地结束呼叫或者启用/禁用电话应用程序内的其他功能。可构想如邻近度传感器932检测到的接近度的其他用途。
加速度计934被配置成测量准确的加速。在一些配置中，来自加速度计934的输出被应用程序用作为输入机制以控制应用程序的一些功能。例如，应用程序可以是视频游戏，其中响应于经由加速度计934接收到的输入移动或以其他方式操纵字符、其一部分、或者对象。在一些配置中，将来自加速度计934的输出被提供给应用程序以供在横向和纵向模式之间切换时使用，从而计算坐标加速度或检测下降。可构想加速度计934的其他用途。
陀螺仪936被配置成测量和维持定向。在一些配置中，来自陀螺仪936的输出被应用程序作为输入机制以控制应用程序的一些功能。例如，陀螺仪936可用于准确地识别在视频游戏应用或一些其他应用的3D环境内的移动。在一些配置中，应用程序使用来自陀螺仪936和加速度计934的输出来增强对应用程序的一些功能的控制。可构想陀螺仪936的其他用途。
GPS传感器938被配置成接收来自GPS卫星的信号，以供在计算位置时使用。GPS传感器938计算的位置可被需要位置信息或者受益于该位置信息的任何应用程序使用。例如，GPS传感器938计算的位置可与导航应用程序一起使用，以提供从该位置到目的地的方向、或者从目的地到该位置的方向。此外，GPS传感器938可用于将位置信息提供给基于外部位置的服务，诸如E911服务。GPS传感器938可使用网络连接组件906中的一个或多个辅助GPS传感器938来获取经由WI-FI、WIMAX、和/或蜂窝三角测量技术而生成的位置信息以帮助获取位置确定。GPS传感器938还可用于辅助GPS(“A-GPS”)系统中。
I/O组件910包括显示器940、触摸屏942、数据I/O接口组件(“数据I/O”)944、音频I/O接口组件(“音频I/O”)946、视频I/O接口组件(“视频I/O”)948、以及相机950。在一些配置中，显示器940和触摸屏942组合。在一些配置中，数据I/O组件944、音频I/O组件946、以及视频I/O组件948中的两个或更多个被组合。I/O组件910可包括被配置成支持在下文中所描述的各种接口的分立处理器，或者可包括构建到处理器902中的处理功能。
显示器940是被配置成呈现视觉形式的信息的输出设备。具体而言，显示器940可呈现图形用户界面(“GUI”)元素、文本、图像、视频、通知、虚拟按钮、虚拟键盘、消息收发数据、因特网内容、设备状态、时间、日期、日历数据、偏好、地图信息、位置信息、以及能够以视觉形式呈现的任何其他信息。在一些配置中，显示器940是利用任何有源或无源矩阵技术以及任何背光技术(如果使用的话)的液晶显示器件(“LCD”)。在一些配置中，显示器940是有机发光二极管(“OLED”)显示器。可构想其他显示器类型。
触摸屏942(在本文中也被称为“启用触摸的屏幕”)是被配置成检测触摸的存在和位置的输入设备。触摸屏942可以是电阻触摸屏、电容触摸屏、表面声波触摸屏、红外触摸屏、光学成像触摸屏、色散信号触摸屏、声音脉冲识别触摸屏，或者可使用任何其他触摸屏技术。在一些配置中，触摸屏942结合到显示器940的顶部作为透明层，以使用户能够使用一个或多个触摸与显示器940上所呈现的对象或其他信息交互。在其他配置中，触摸屏942是结合到不包括显示器940的计算设备的表面上的触摸垫。例如，计算设备可具有结合到显示器940的顶部的触摸屏以及与显示器940相对的表面上的触摸垫。
在一些配置中，触摸屏942是单点触摸触摸屏。在其他配置中，触摸屏942是多点触摸触摸屏。在一些配置中，触摸屏942被配置成检测分立触摸、单点触摸姿势、和/或多点触摸姿势。为了方便起见，这些在此处被统称为手势。现在将描述若干手势。应当理解，这些手势是说明性的，并且不旨在限制所附权利要求书的范围。此外，所描述的姿势、附加姿势、和/或替换姿势可在软件中实现以与触摸屏942一起使用。由此，开发者可创建特定应用程序专用的手势。
在一些配置中，触摸屏942支持轻叩姿势，在该轻叩姿势中，用户在显示器942上所呈现的项目上轻叩触摸屏940一次。出于各种原因，可使用轻叩姿势，这些原因包括但不限于打开或启动用户叩击的任何事物。在一些配置中，触摸屏942支持双轻叩姿势，在该双轻叩姿势中，用户在显示器942上所呈现的项目上轻叩触摸屏940两次。出于各种原因，可使用双轻叩姿势，这些原因包括但不限于分多级放大或缩小。在一些配置中，触摸屏942支持轻叩和保持手势，在该轻叩和保持手势中，用户轻叩触摸屏942并维持接触达至少预定义时间。出于各种原因，可使用轻叩并保持手势，这些原因包括但不限于打开上下文特定的菜单。
在一些配置中，触摸屏942支持平移姿势，在该平移姿势中，用户将手指放置在触摸屏942上并维持与触摸屏942的接触同时在触摸屏942上移动手指。出于各种原因，可使用平移手势，这些原因包括但不限于以受控速率移动通过屏幕、图像、或菜单。还可构想多手指平移手势。在一些配置中，触摸屏942支持轻拂姿势，在该轻拂姿势中，用户在用户想要屏幕移动的方向上划动(swipe)手指。出于各种原因，可使用轻拂手势，这些原因包括但不限于水平或垂直滚动通过菜单和页面。在一些配置中，触摸屏942支持收窄和张开姿势，在窄和张开姿势中，用户在触摸屏942上用两个手指(例如，拇指和食指)进行收窄运动或者将两个手指张开。出于各种原因，可使用捏合和张开手势，这些原因包括但不限于逐步地放大或缩小网站、地图、或图片。
虽然已参考将一个或多个手指用于执行姿势来描述了以上姿势，但是诸如脚趾之类的其他附属体以及诸如指示笔之类的物体可用于与触摸屏942交互。如此，以上手势应当被理解为说明性的，并且不应被解释为以任何方式进行限制。
数据I/O接口组件944被配置成便于数据输入到计算设备以及从计算设备输出数据。在一些配置中，例如出于同步操作的目的，数据I/O接口组件944包括被配置成提供计算设备和计算机系统之间的有线连接的连接器。连接器可以是专有连接器或标准化连接器，诸如USB、微型USB、小型USB等。在一些配置中，连接器是用于将计算设备与诸如对接站、音频设备(例如，数字音乐播放器)、或视频设备之类的另一设备对接的对接连接器。
音频I/O接口组件946被配置成向计算设备提供音频输入和/或输出能力。在一些配置中，音频I/O接口组件946包括被配置成收集音频信号的话筒。在一些配置中，音频I/O接口组件946包括被配置成向耳机或其他外部扬声器提供连接的耳机插孔。在一些配置中，音频I/O接口组件946包括用于输出音频信号的扬声器。在一些配置中，音频I/O接口组件946包括光学音频电缆输出。
视频I/O接口组件948被配置成向计算设备提供视频输入和/或输出能力。在一些配置中，视频I/O接口组件948包括被配置成接收来自另一设备(例如，诸如DVD或蓝光播放器之类的视频媒体播放器)的视频作为输入或者将视频作为输出发送到另一设备(例如，监视器、电视、或者一些其他外部显示器)的视频连接器。在一些配置中，视频I/O接口组件948包括高清晰度多媒体接口(“HDMI”)、小型HDMI、微型HDMI、显示器端口、或者到输入/输出视频内容的专有连接器。在一些配置中，视频I/O接口组件948或其一部分与音频I/O接口组件946或其一部分组合。
相机950可被配置成捕捉静止图像和/或视频。相机950可使用电荷耦合设备(“CCD”)或互补金属氧化物半导体(“CMOS”)图像传感器来捕捉图像。在一些配置中，相机950包括在低光环境中辅助拍摄图片的闪光灯。相机950的设置可被实现为硬件或软件按钮。
虽然未示出，但是还可在计算设备体系结构900中包括一个或多个硬件按钮。硬件按钮可用于控制计算设备的一些操作方面。硬件按钮可以是专用按钮或多用途按钮。硬件按钮可以是基于机械或传感器的。
所示的电源组件914包括可连接到电池量表(gauge)952的一个或多个电池954。电池952可以是再充电的或者一次性的。再充电的电池类型包括但不限于锂聚合物、锂电池、镍镉、以及镍金属氢化物。每一电池952可由一个或多个电池单元制成。
电池量表954可被配置成测量电池参数，诸如电流、电压、以及温度。在一些配置中，电池量表954被配置成测量电池的放电速率、温度、使用年限、以及其他因素的影响以在特定百分比误差内预测剩余寿命。在一些配置中，电池量表954向应用程序提供测量值，该应用程序被配置成使用这些测量值将有用的功率管理数据呈现给用户。功率管理数据可包括所使用电池的百分比、剩余电池的百分比、电池状况、剩余时间、剩余电容量(例如，瓦时)、电流消耗、以及电压中的一个或多个。
电源组件912还可包括功率连接器，该功率连接器可与上述I/O组件910中的一个或多个组合。电源组件912可经由功率I/O组件与外部功率系统或充电装备对接。
可鉴于以下条款来考虑本文提出的公开。
条款A：一种第一计算设备，包括：处理器；硬件显示表面；一个或多个输入设备；其上存储有计算机可执行指令的存储器，所述计算机可执行指令在由所述处理器执行时，使得所述第一计算设备获得定义被配置成致使第二组计算机可执行指令在第二计算设备处执行的一个或多个命令的控制数据，其中所述第二计算设备被配置成与对象交互，获得指示与所示第二计算设备或所示对象相关联的状态的状态数据，致使包括所述状态数据和所述一个或多个命令的一个或多个图形元素显示在所述硬件显示表面上，其中所述硬件显示表面被配置成通过所述硬件显示表面的透明部分将所述一个或多个图形元素与所述对象的现实世界视图一起显示，以及响应于对所述一个或多个命令的选择被所述一个或多个输入设备检测到，将所述一个或多个命令传递给所述第二计算设备，其中传递所述一个或多个命令致使所述第二组计算机可执行指令的至少一部分在所述第二计算设备处执行。
条款B：如条款A所述的计算设备，其特征在于，所述第二组计算机可执行指令的至少一部分在所述第二计算设备处的执行控制所述对象的至少一个组件。
条款C：如条款A－B所述的计算设备，其特征在于，所述计算机可执行指令进一步致使所述第一计算设备：获得指示所述第二计算设备的地址和所述对象的至少一个物理特性之间的关联的标识数据；分析来自所述一个或多个输入设备的图像数据以生成定义所标识的所述对象的物理特性的数据；至少部分基于定义所标识的所述对象的物理特性的数据和指示所述对象的至少一个物理特性的标识数据来选择所述对象；以及响应于对所述对象的选择，发起与所述第二计算设备的通信连接，其中所述通信连接通过使用所述第二计算设备的地址来创建。
条款D：如条款A－C所述的计算设备，其特征在于，所述计算机可执行指令进一步致使所述第一计算设备：获得指示所述第二计算设备的地址和所述对象的至少一个物理特性之间的关联的标识数据；分析来自所述一个或多个输入设备的图像数据以生成定义所标识的所述对象的物理特性的数据；至少部分基于定义所标识的所述对象的物理特性的数据和指示所述对象的至少一个物理特性的标识数据来选择所述对象；以及响应于对所述对象的选择，将针对所述控制数据的请求传递给所述第二计算设备，其中所述请求通过使用所述第二计算设备的地址来传递。
条款E：如条款A－D所述的计算设备，其特征在于，所述计算机可执行指令进一步致使所述第一计算设备：接收定义所述第二计算设备的位置的数据；接收定义所述第一计算设备的位置的数据；接收定义所述硬件显示表面的视野的方向的凝视方向数据；以及至少部分基于定义所述第二计算设备的位置的数据、定义所述第一计算设备的位置的数据、以及所述凝视方向数据来选择所述对象，并且其中所述一个或多个图形元素的显示是响应于对所述对象的选择而导致的。
条款F：如条款A-E所述的计算设备，其特征在于，所述计算机可执行指令进一步致使所述第一计算设备确定所述凝视方向数据是否指示所述视野被引导朝向所述对象，并且其中如果所述凝视方向数据指示所述视野被引导朝向所述对象，则选择所述第二计算设备。
条款G：如条款A－F所述的计算设备，其特征在于，所述计算机可执行指令进一步致使所述第一计算设备：确定所述第一计算设备是否位于距所述第二计算设备预定距离内；以及如果定义所述第二计算设备的位置的数据和定义所述第一计算设备的位置的数据指示所述第一计算设备位于距所述第二计算设备预定距离内，则选择所述对象，并且其中所述一个或多个图形元素的显示是响应于对所述对象的选择而导致的。
条款H：如条款A-G所述的计算设备，其特征在于，对所述一个或多个命令的选择被所述一个或多个输入设备检测到包括指示所述选择的输入信号，其中所述信号由语音命令、手势命令、以及键输入命令中的至少一者导致。
条款I：一种计算机实现的方法，包括：在第一计算设备处获得定义被配置成致使第二组计算机可执行指令在第二计算设备处执行的一个或多个命令的控制数据，其中所述第二计算设备被配置成与对象交互，致使包括所述一个或多个命令的一个或多个图形元素显示在所述硬件显示表面上，其中所述硬件显示表面被配置成通过所述硬件显示表面的透明部分将所述一个或多个图形元素与所述对象的现实世界视图一起显示，以及响应于对所述一个或多个命令的选择被所述一个或多个输入设备检测到，将所述一个或多个命令从所述第一计算设备传递给所述第二计算设备，其中传递所述一个或多个命令致使所述第二组计算机可执行指令的至少一部分在所述第二计算设备处执行。
条款J：如条款I所述的计算机实现的方法，其特征在于，所述一个或多个图形元素被配置成指示所述对象的现实世界视图和包括所述一个或多个命令的所述一个或多个图形元素的显示之间的关联。
条款K：如条款I-J所述的计算机实现的方法，其特征在于，所述一个或多个图形元素被配置成指示所述对象的组件的渲染和包括所述一个或多个命令的所述一个或多个图形元素的显示之间的关联。
条款L：如条款I-K所述的计算机实现的方法，其特征在于，响应于对所述一个或多个命令的选择，致使对所述一个或多个图形元素的修改以指示所述对象的组件的现实世界视图和包括所述一个或多个命令的所述一个或多个图形元素的显示之间的关联。
条款M：如条款I-L所述的计算机实现的方法，其特征在于，响应于对所述一个或多个命令的选择，致使对所述一个或多个图形元素的修改以指示所述对象的现实世界视图和包括所述一个或多个命令的所述一个或多个图形元素的显示之间的关联。
条款N：一种第一计算设备，包括：处理器；硬件显示表面；一个或多个输入设备；其上存储有计算机可执行指令的存储器，所述计算机可执行指令在由所述处理器执行时，使得所述第一计算设备获得定义被配置成致使第二组计算机可执行指令在一个或多个控制器设备处执行的一个或多个命令的控制数据，其中所述一个或多个控制器设备被配置成与一个或多个对象交互，致使包括所述一个或多个命令的一个或多个图形元素显示在所述硬件显示表面上，其中所述显示进一步包括所述一个或多个控制器设备的渲染或所述一个或多个对象的渲染，以及响应于对所述一个或多个命令的选择被所述一个或多个输入设备检测到，将所述一个或多个命令传递给所述一个或多个控制器设备，其中传递所述一个或多个命令致使所述第二组计算机可执行指令的至少一部分在所述一个或多个控制器设备处执行。
条款O：如条款N所述的计算机实现的方法，其特征在于，所述第二组计算机可执行指令的至少一部分在所述一个或多个控制器设备处的执行控制所述一个或多个对象的至少一个组件。
条款P：如条款N-O所述的计算机实现的方法，其特征在于，所述计算机可执行指令进一步致使所述第一计算设备：获得指示所述一个或多个控制器设备的地址和所述一个或多个对象的至少一个物理特性之间的关联的标识数据；分析来自所述一个或多个输入设备的图像数据以生成定义所标识的所述一个或多个对象的物理特性的数据；至少部分基于定义所标识的所述一个或多个对象的物理特性的数据和指示所述一个或多个对象的至少一个物理特性的标识数据来选择所述一个或多个对象，其中所述一个或多个图形元素的显示是响应于对所述一个或多个对象的选择而引发的，以及其中所述一个或多个命令的传递至少部分基于所述地址。
条款Q：如条款N-P所述的计算机实现的方法，其特征在于，所述计算机可执行指令进一步致使所述第一计算设备：获得指示所述一个或多个控制器设备的地址和所述一个或多个对象的至少一个物理特性之间的关联的标识数据；分析来自所述一个或多个输入设备的图像数据以生成定义所标识的所述一个或多个对象的物理特性的数据；至少部分基于定义所标识的所述一个或多个对象的物理特性的数据和指示所述一个或多个对象的指示一个物理特性的标识数据来选择所述一个或多个对象；其中所述一个或多个图形元素的显示是响应于对所述一个或多个对象的选择而引发的，以及其中所述一个或多个命令的传递至少部分基于所述地址。
条款R：如条款N-Q所述的计算机实现的方法：其特征在于，所述计算机可执行指令进一步致使所述第一计算设备：接收定义所述一个或多个对象的位置的数据；接收定义所述第一计算设备的位置的数据；接收定义所述硬件显示表面的视野的方向的凝视方向数据；以及至少部分基于定义所述一个或多个对象的位置的数据、定义所述第一计算设备的位置的数据、以及所述凝视方向数据来选择所述所述一个或多个对象，并且其中所述一个或多个图形元素的显示是响应于对所述一个或多个对象的选择而导致的。
条款S：如条款N-R所述的计算机实现的方法，其特征在于，所述计算机可执行指令进一步致使所述第一计算设备：使用所述一个或多个输入传感器所导致的数据来确定所述凝视方向数据是否指示所述视野被引导朝向所述对象，并且其中如果所述凝视方向数据指示所述视野被引导朝向所述对象，则选择所述一个或多个对象。
条款T：如条款N-S所述的计算机实现的方法，其特征在于，所述计算机可执行指令进一步致使所述第一计算设备：
确定所述第一计算设备是否位于距所述一个或多个对象预定距离内；以及如果定义所述一个或多个对象的位置的数据和定义所述第一计算设备的位置的数据指示所述第一计算设备位于距所述一个或多个对象预定距离内，则选择所述一个或多个对象，并且其中所述一个或多个图形元素的显示是响应于对所述一个或多个对象的选择而导致的。
基于上述内容，应当意识到，本文已经公开了用于提供附连控制元素的混合环境显示的概念和技术。虽然用计算机结构特征、方法和变换动作、特定计算机器、以及计算机可读介质专用的语言描述了本文中所描述的主题，但是应当理解，所附权利要求书中所定义的本发明不必限于本文中所描述的具体特征、动作、或介质。相反，这些具体特征、动作以及介质是作为实现权利要求的示例形式而公开的。
以上所述的主题仅作为说明提供，并且不应被解释为限制。可对本文中所描述的主题作出各种修改和改变，而不必遵循示出和描述的示例配置和应用且不背离所附权利要求书中所阐述的本发明的真正精神和范围。

Claims (15)

1.一种第一计算设备，包括：
处理器；
硬件显示表面；
一个或多个输入设备；
其上存储有计算机可执行指令的存储器，所述计算机可执行指令在由所述处理器执行时，使得所述第一计算设备：
获得定义被配置成致使第二组计算机可执行指令在第二计算设备处执行的一个或多个命令的控制数据，其中所述第二计算设备被配置成与对象交互，
获得指示与所示第二计算设备或所示对象相关联的状态的状态数据，
致使包括所述状态数据和所述一个或多个命令的一个或多个图形元素显示在所述硬件显示表面上，其中所述硬件显示表面被配置成通过所述硬件显示表面的透明部分将所述一个或多个图形元素与所述对象的现实世界视图一起显示，以及
响应于对所述一个或多个命令的选择被所述一个或多个输入设备检测到，将所述一个或多个命令传递给所述第二计算设备，其中传递所述一个或多个命令致使所述第二组计算机可执行指令的至少一部分在所述第二计算设备处执行。
2.如权利要求1所述的计算设备，其特征在于，所述第二组计算机可执行指令的至少一部分在所述第二计算设备处的执行控制所述对象的至少一个组件。
3.如权利要求1所述的计算设备，其特征在于，所述计算机可执行指令进一步致使所述第一计算设备：
获得指示所述第二计算设备的地址和所述对象的至少一个物理特性之间的关联的标识数据；
分析来自所述一个或多个输入设备的图像数据以生成定义所标识的所述对象的物理特性的数据；
至少部分基于定义所标识的所述对象的物理特性的数据和指示所述对象的至少一个物理特性的标识数据来选择所述对象；以及
响应于对所述对象的选择，发起与所述第二计算设备的通信连接，其中所述通信连接通过使用所述第二计算设备的地址来创建。
4.如权利要求1所述的计算设备，其特征在于，所述计算机可执行指令进一步致使所述第一计算设备：
获得指示所述第二计算设备的地址和所述对象的至少一个物理特性之间的关联的标识数据；
分析来自所述一个或多个输入设备的图像数据以生成定义所标识的所述对象的物理特性的数据；
至少部分基于定义所标识的所述对象的物理特性的数据和指示所述对象的至少一个物理特性的标识数据来选择所述对象；以及
响应于对所述对象的选择，将针对所述控制数据的请求传递给所述第二计算设备，其中所述请求通过使用所述第二计算设备的地址来传递。
5.如权利要求1所述的计算设备，其特征在于，所述计算机可执行指令进一步致使所述第一计算设备：
接收定义所述第二计算设备的位置的数据；
接收定义所述第一计算设备的位置的数据；
接收定义所述硬件显示表面的视野的方向的凝视方向数据；以及
至少部分基于定义所述第二计算设备的位置的数据、定义所述第一计算设备的位置的数据、以及所述凝视方向数据来选择所述对象，并且其中所述一个或多个图形元素的显示是响应于对所述对象的选择而导致的。
6.如权利要求5所述的计算设备，其特征在于，所述计算机可执行指令进一步致使所述第一计算设备确定所述凝视方向数据是否指示所述视野被引导朝向所述对象，并且其中如果所述凝视方向数据指示所述视野被引导朝向所述对象，则选择所述第二计算设备。
7.如权利要求5所述的计算设备，其特征在于，所述计算机可执行指令进一步致使所述第一计算设备：
确定所述第一计算设备是否位于距所述第二计算设备预定距离内；以及
如果定义所述第二计算设备的位置的数据和定义所述第一计算设备的位置的数据指示所述第一计算设备位于距所述第二计算设备预定距离内，则选择所述对象，并且其中所述一个或多个图形元素的显示是响应于对所述对象的选择而导致的。
8.如权利要求1所述的计算设备，其特征在于，对所述一个或多个命令的选择被所述一个或多个输入设备检测到包括解释指示对所述一个或多个命令的选择的输入信号，其中所述信号由语音命令、手势命令、以及键输入命令中的至少一者导致。
9.一种计算机实现的方法，包括：
在第一计算设备处获得定义被配置成致使第二组计算机可执行指令在第二计算设备处执行的一个或多个命令的控制数据，其中所述第二计算设备被配置成与对象交互，
致使包括所述一个或多个命令的一个或多个图形元素显示在所述硬件显示表面上，其中所述硬件显示表面被配置成通过所述硬件显示表面的透明部分将所述一个或多个图形元素与所述对象的现实世界视图一起显示，以及
响应于对所述一个或多个命令的选择被所述一个或多个输入设备检测到，将所述一个或多个命令从所述第一计算设备传递给所述第二计算设备，其中传递所述一个或多个命令致使所述第二组计算机可执行指令的至少一部分在所述第二计算设备处执行。
10.如权利要求9所述的方法，其特征在于，所述一个或多个图形元素被配置成指示所述对象的现实世界视图和包括所述一个或多个命令的所述一个或多个图形元素的显示之间的关联。
11.如权利要求9所述的方法，其特征在于，所述一个或多个图形元素被配置成指示所述对象的组件的渲染和包括所述一个或多个命令的所述一个或多个图形元素的显示之间的关联。
12.如权利要求9所述的方法，其特征在于，响应于对所述一个或多个命令的选择，致使对所述一个或多个图形元素的修改以指示所述对象的组件的现实世界视图和包括所述一个或多个命令的所述一个或多个图形元素的显示之间的关联。
13.如权利要求9所述的方法，其特征在于，响应于对所述一个或多个命令的选择，致使对所述一个或多个图形元素的修改以指示所述对象的现实世界视图和包括所述一个或多个命令的所述一个或多个图形元素的显示之间的关联。
14.一种第一计算设备，包括：
处理器；
硬件显示表面；
一个或多个输入设备；
其上存储有计算机可执行指令的存储器，所述计算机可执行指令在由所述处理器执行时，使得所述第一计算设备
获得定义被配置成致使第二组计算机可执行指令在一个或多个控制器设备处执行的一个或多个命令的控制数据，其中所述一个或多个控制器设备被配置成与一个或多个对象交互，
致使包括所述一个或多个命令的一个或多个图形元素显示在所述硬件显示表面上，其中所述显示进一步包括所述一个或多个控制器设备的渲染或所述一个或多个对象的渲染，以及
响应于对所述一个或多个命令的选择被所述一个或多个输入设备检测到，将所述一个或多个命令传递给所述一个或多个控制器设备，其中传递所述一个或多个命令致使所述第二组计算机可执行指令的至少一部分在所述一个或多个控制器设备处执行。
15.如权利要求14所述的计算设备，其特征在于，所述第二组计算机可执行指令的至少一部分在所述一个或多个控制器设备处的执行控制所述一个或多个对象的至少一个组件。
CN201680024636.7A 2015-04-27 2016-04-15 附连控制元素的混合环境显示 Active CN107567610B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562153460P 2015-04-27 2015-04-27
US62/153,460 2015-04-27
US14/824,042 US20160314621A1 (en) 2015-04-27 2015-08-11 Mixed environment display of attached data
US14/824,042 2015-08-11
US14/946,688 2015-11-19
US14/946,688 US10007413B2 (en) 2015-04-27 2015-11-19 Mixed environment display of attached control elements
PCT/US2016/027644 WO2016176057A1 (en) 2015-04-27 2016-04-15 Mixed environment display of attached control elements

Publications (2)

Publication Number Publication Date
CN107567610A true CN107567610A (zh) 2018-01-09
CN107567610B CN107567610B (zh) 2021-03-19

Family

ID=57147706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680024636.7A Active CN107567610B (zh) 2015-04-27 2016-04-15 附连控制元素的混合环境显示

Country Status (4)

Country Link
US (2) US10007413B2 (zh)
EP (1) EP3289431B1 (zh)
CN (1) CN107567610B (zh)
WO (1) WO2016176057A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020239832A1 (en) * 2019-05-31 2020-12-03 BSH Hausgeräte GmbH Method and device for providing information regarding a gas hob
CN112106116A (zh) * 2018-05-04 2020-12-18 微软技术许可有限责任公司 三维环境中的内容项的自动放置和布置
CN114666650A (zh) * 2018-06-25 2022-06-24 谷歌有限责任公司 识别和控制智能设备

Families Citing this family (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9411327B2 (en) 2012-08-27 2016-08-09 Johnson Controls Technology Company Systems and methods for classifying data in building automation systems
US10099382B2 (en) 2015-04-27 2018-10-16 Microsoft Technology Licensing, Llc Mixed environment display of robotic actions
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
US10534326B2 (en) 2015-10-21 2020-01-14 Johnson Controls Technology Company Building automation system with integrated building information model
US11268732B2 (en) 2016-01-22 2022-03-08 Johnson Controls Technology Company Building energy management system with energy analytics
US11947785B2 (en) 2016-01-22 2024-04-02 Johnson Controls Technology Company Building system with a building graph
US10802695B2 (en) * 2016-03-23 2020-10-13 Youar Inc. Augmented reality for the internet of things
CN109154802A (zh) 2016-03-31 2019-01-04 江森自控科技公司 分布式建筑物管理系统中的hvac装置注册
US10613729B2 (en) * 2016-05-03 2020-04-07 Johnson Controls Technology Company Building and security management system with augmented reality interface
US10901373B2 (en) 2017-06-15 2021-01-26 Johnson Controls Technology Company Building management system with artificial intelligence for unified agent based control of building subsystems
US10505756B2 (en) 2017-02-10 2019-12-10 Johnson Controls Technology Company Building management system with space graphs
US11774920B2 (en) 2016-05-04 2023-10-03 Johnson Controls Technology Company Building system with user presentation composition based on building context
US10417451B2 (en) 2017-09-27 2019-09-17 Johnson Controls Technology Company Building system with smart entity personal identifying information (PII) masking
US10169918B2 (en) * 2016-06-24 2019-01-01 Microsoft Technology Licensing, Llc Relational rendering of holographic objects
GB2552371B (en) * 2016-07-22 2022-04-20 Advanced Risc Mach Ltd Data processing
US10248189B2 (en) * 2016-07-29 2019-04-02 Lenovo (Singapore) Pte. Ltd. Presentation of virtual reality object based on one or more conditions
US10950229B2 (en) * 2016-08-26 2021-03-16 Harman International Industries, Incorporated Configurable speech interface for vehicle infotainment systems
EP3312819A1 (en) * 2016-10-20 2018-04-25 TTI (Macao Commercial Offshore) Limited Systems and methods for diagnostics to support operation of a garage door opener using asynchronous reporting of logged data
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
CA3045664A1 (en) 2016-12-05 2018-06-14 Magic Leap, Inc. Virtual user input controls in a mixed reality environment
US10684033B2 (en) 2017-01-06 2020-06-16 Johnson Controls Technology Company HVAC system with automated device pairing
US11132840B2 (en) * 2017-01-16 2021-09-28 Samsung Electronics Co., Ltd Method and device for obtaining real time status and controlling of transmitting devices
US11900287B2 (en) 2017-05-25 2024-02-13 Johnson Controls Tyco IP Holdings LLP Model predictive maintenance system with budgetary constraints
US11994833B2 (en) 2017-02-10 2024-05-28 Johnson Controls Technology Company Building smart entity system with agent based data ingestion and entity creation using time series data
US10417245B2 (en) 2017-02-10 2019-09-17 Johnson Controls Technology Company Building management system with eventseries processing
US20190095518A1 (en) 2017-09-27 2019-03-28 Johnson Controls Technology Company Web services for smart entity creation and maintenance using time series data
US11764991B2 (en) 2017-02-10 2023-09-19 Johnson Controls Technology Company Building management system with identity management
US11360447B2 (en) 2017-02-10 2022-06-14 Johnson Controls Technology Company Building smart entity system with agent based communication and control
US10515098B2 (en) 2017-02-10 2019-12-24 Johnson Controls Technology Company Building management smart entity creation and maintenance using time series data
US11307538B2 (en) 2017-02-10 2022-04-19 Johnson Controls Technology Company Web services platform with cloud-eased feedback control
US11042144B2 (en) 2017-03-24 2021-06-22 Johnson Controls Technology Company Building management system with dynamic channel communication
US11327737B2 (en) 2017-04-21 2022-05-10 Johnson Controls Tyco IP Holdings LLP Building management system with cloud management of gateway configurations
US10788229B2 (en) 2017-05-10 2020-09-29 Johnson Controls Technology Company Building management system with a distributed blockchain database
EP3635512A1 (en) 2017-05-16 2020-04-15 Koninklijke Philips N.V. Virtual cover for user interaction in augmented reality
US11022947B2 (en) 2017-06-07 2021-06-01 Johnson Controls Technology Company Building energy optimization system with economic load demand response (ELDR) optimization and ELDR user interfaces
EP3655826B1 (en) 2017-07-17 2024-07-03 Johnson Controls Tyco IP Holdings LLP Systems and methods for agent based building simulation for optimal control
WO2019018008A1 (en) 2017-07-21 2019-01-24 Johnson Controls Technology Company BUILDING MANAGEMENT SYSTEM WITH DYNAMIC WORKING ORDER GENERATION WITH ADAPTIVE DIAGNOSTIC ASSIGNMENT DETAILS
WO2019022849A1 (en) 2017-07-26 2019-01-31 Magic Leap, Inc. FORMATION OF A NEURONAL NETWORK WITH REPRESENTATIONS OF USER INTERFACE DEVICES
US10648692B2 (en) 2017-07-27 2020-05-12 Johnson Controls Technology Company Building management system with multi-dimensional analysis of building energy and equipment performance
US10591730B2 (en) * 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
KR102434402B1 (ko) * 2017-09-19 2022-08-22 한국전자통신연구원 혼합현실 콘텐츠를 제공하는 장치 및 방법
US10962945B2 (en) 2017-09-27 2021-03-30 Johnson Controls Technology Company Building management system with integration of data into smart entities
US20190095821A1 (en) 2017-09-27 2019-03-28 Johnson Controls Technology Company Building risk analysis system with expiry time prediction for threats
US10796487B2 (en) * 2017-09-27 2020-10-06 Fisher-Rosemount Systems, Inc. 3D mapping of a process control environment
US10430658B2 (en) * 2017-10-06 2019-10-01 Steve Rad Augmented reality system and kit
US10565452B2 (en) * 2017-10-06 2020-02-18 Steve Rad Virtual reality system and kit
US10558858B2 (en) * 2017-10-06 2020-02-11 Steve Rad Augmented reality system and kit
US10809682B2 (en) 2017-11-15 2020-10-20 Johnson Controls Technology Company Building management system with optimized processing of building system data
US11281169B2 (en) 2017-11-15 2022-03-22 Johnson Controls Tyco IP Holdings LLP Building management system with point virtualization for online meters
US10732826B2 (en) 2017-11-22 2020-08-04 Microsoft Technology Licensing, Llc Dynamic device interaction adaptation based on user engagement
US11127235B2 (en) 2017-11-22 2021-09-21 Johnson Controls Tyco IP Holdings LLP Building campus with integrated smart environment
US10760815B2 (en) * 2017-12-19 2020-09-01 Honeywell International Inc. Building system commissioning using mixed reality
WO2019140284A1 (en) * 2018-01-11 2019-07-18 Access Solutions, LLC Systems and methods for foreign material exclusion accountability
US20190258367A1 (en) * 2018-02-21 2019-08-22 Haier Us Appliance Solutions, Inc. Appliance feature interactive demonstration method
US11954713B2 (en) 2018-03-13 2024-04-09 Johnson Controls Tyco IP Holdings LLP Variable refrigerant flow system with electricity consumption apportionment
EP3575925B1 (en) * 2018-06-01 2020-12-30 Hewlett-Packard Enterprise Development LP Network device modifications via augmented reality user interfaces
US20200053315A1 (en) * 2018-08-13 2020-02-13 Sony Corporation Method and apparatus for assisting a tv user
US11244509B2 (en) 2018-08-20 2022-02-08 Fisher-Rosemount Systems, Inc. Drift correction for industrial augmented reality applications
AU2018443902B2 (en) * 2018-09-24 2021-05-13 Google Llc Controlling a device based on processing of image data that captures the device and/or an installation environment of the device
US11016648B2 (en) 2018-10-30 2021-05-25 Johnson Controls Technology Company Systems and methods for entity visualization and management with an entity node editor
US11927925B2 (en) 2018-11-19 2024-03-12 Johnson Controls Tyco IP Holdings LLP Building system with a time correlated reliability data stream
US10776933B2 (en) * 2018-12-06 2020-09-15 Microsoft Technology Licensing, Llc Enhanced techniques for tracking the movement of real-world objects for improved positioning of virtual objects
US10930275B2 (en) * 2018-12-18 2021-02-23 Microsoft Technology Licensing, Llc Natural language input disambiguation for spatialized regions
US11164159B2 (en) 2019-01-18 2021-11-02 Johnson Controls Tyco IP Holdings LLP Smart building automation system with digital signage
US10788798B2 (en) 2019-01-28 2020-09-29 Johnson Controls Technology Company Building management system with hybrid edge-cloud processing
TWI693592B (zh) * 2019-01-28 2020-05-11 緯創資通股份有限公司 顯示裝置及其顯示方法
WO2020181086A1 (en) * 2019-03-06 2020-09-10 Rad Steve Augmented and virtual reality system and kit
WO2020187950A1 (fr) * 2019-03-21 2020-09-24 Orange Dispositif, système et procédé de traitement de données de réalite virtuelle
FR3107390B1 (fr) * 2020-02-13 2023-10-20 Orange Dispositif, système et procédé de traitement de données de réalité virtuelle
CN117590582A (zh) * 2019-04-11 2024-02-23 三星电子株式会社 头戴式显示设备及其操作方法
WO2020242047A1 (en) * 2019-05-30 2020-12-03 Samsung Electronics Co., Ltd. Method and apparatus for acquiring virtual object data in augmented reality
US11587294B2 (en) * 2019-08-22 2023-02-21 Carrier Corporation System and a method for applying augmented reality technique to audits
US11430447B2 (en) * 2019-11-15 2022-08-30 Qualcomm Incorporated Voice activation based on user recognition
CN112835304B (zh) * 2019-11-25 2023-06-27 京东方科技集团股份有限公司 展厅控制方法及系统、控制终端、后台服务器和中控主机
US11894944B2 (en) 2019-12-31 2024-02-06 Johnson Controls Tyco IP Holdings LLP Building data platform with an enrichment loop
US12021650B2 (en) 2019-12-31 2024-06-25 Tyco Fire & Security Gmbh Building data platform with event subscriptions
EP4085345A1 (en) 2019-12-31 2022-11-09 Johnson Controls Tyco IP Holdings LLP Building data platform
US11237534B2 (en) 2020-02-11 2022-02-01 Honeywell International Inc. Managing certificates in a building management system
US11526976B2 (en) 2020-02-11 2022-12-13 Honeywell International Inc. Using augmented reality to assist in device installation
US11287155B2 (en) 2020-02-11 2022-03-29 Honeywell International Inc. HVAC system configuration with automatic parameter generation
US11468650B2 (en) * 2020-04-06 2022-10-11 Purdue Research Foundation System and method for authoring augmented reality storytelling experiences incorporating interactive physical components
US11537386B2 (en) 2020-04-06 2022-12-27 Johnson Controls Tyco IP Holdings LLP Building system with dynamic configuration of network resources for 5G networks
US11651074B2 (en) * 2020-04-30 2023-05-16 Musarubra Us Llc Methods and apparatus to accelerate security threat investigation
US11874809B2 (en) 2020-06-08 2024-01-16 Johnson Controls Tyco IP Holdings LLP Building system with naming schema encoding entity type and entity relationships
US11816887B2 (en) 2020-08-04 2023-11-14 Fisher-Rosemount Systems, Inc. Quick activation techniques for industrial augmented reality applications
US11954154B2 (en) 2020-09-30 2024-04-09 Johnson Controls Tyco IP Holdings LLP Building management system with semantic model integration
US11397773B2 (en) 2020-09-30 2022-07-26 Johnson Controls Tyco IP Holdings LLP Building management system with semantic model integration
US11847310B2 (en) 2020-10-09 2023-12-19 Honeywell International Inc. System and method for auto binding graphics to components in a building management system
US20220138362A1 (en) 2020-10-30 2022-05-05 Johnson Controls Technology Company Building management system with configuration by building model augmentation
US20220198765A1 (en) * 2020-12-22 2022-06-23 Arkh, Inc. Spatially Aware Environment Interaction
US11921481B2 (en) 2021-03-17 2024-03-05 Johnson Controls Tyco IP Holdings LLP Systems and methods for determining equipment energy waste
US11815679B2 (en) * 2021-04-16 2023-11-14 Industrial Technology Research Institute Method, processing device, and display system for information display
US11908088B2 (en) 2021-06-09 2024-02-20 Red Hat, Inc. Controlling virtual resources from within an augmented reality environment
US11769066B2 (en) 2021-11-17 2023-09-26 Johnson Controls Tyco IP Holdings LLP Building data platform with digital twin triggers and actions
US11899723B2 (en) 2021-06-22 2024-02-13 Johnson Controls Tyco IP Holdings LLP Building data platform with context based twin function processing
IT202100022940A1 (it) * 2021-09-06 2023-03-06 Candy Spa Metodo per assistere un utente nell’uso e/o nell’esplorazione delle funzionalità di un elettrodomestico, mediante impiego di realtà aumentata
US11960652B2 (en) * 2021-10-12 2024-04-16 Qualcomm Incorporated User interactions with remote devices
US20230130770A1 (en) * 2021-10-26 2023-04-27 Meta Platforms Technologies, Llc Method and a system for interacting with physical devices via an artificial-reality device
US11796974B2 (en) 2021-11-16 2023-10-24 Johnson Controls Tyco IP Holdings LLP Building data platform with schema extensibility for properties and tags of a digital twin
US11934966B2 (en) 2021-11-17 2024-03-19 Johnson Controls Tyco IP Holdings LLP Building data platform with digital twin inferences
US11704311B2 (en) 2021-11-24 2023-07-18 Johnson Controls Tyco IP Holdings LLP Building data platform with a distributed digital twin
US12013673B2 (en) 2021-11-29 2024-06-18 Tyco Fire & Security Gmbh Building control system using reinforcement learning
US11714930B2 (en) 2021-11-29 2023-08-01 Johnson Controls Tyco IP Holdings LLP Building data platform with digital twin based inferences and predictions for a graphical building model
US20230409122A1 (en) * 2022-06-21 2023-12-21 Apple Inc. Hand-Gesture Activation of Actionable Items
US12013823B2 (en) 2022-09-08 2024-06-18 Tyco Fire & Security Gmbh Gateway system that maps points into a graph schema
US20240094822A1 (en) * 2022-09-19 2024-03-21 Sharon Moll Ar glasses as iot remote control

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010037163A1 (en) * 2000-05-01 2001-11-01 Irobot Corporation Method and system for remote control of mobile robot
US20060241792A1 (en) * 2004-12-22 2006-10-26 Abb Research Ltd. Method to generate a human machine interface
CN101794349A (zh) * 2010-02-09 2010-08-04 北京邮电大学 机器人遥操作增强现实实验系统及方法
US20120127284A1 (en) * 2010-11-18 2012-05-24 Avi Bar-Zeev Head-mounted display device which provides surround video
US20130073092A1 (en) * 2011-09-15 2013-03-21 Persimmon Technologies Corporation System and method for operation of a robot
CN102999160A (zh) * 2011-10-14 2013-03-27 微软公司 混合现实显示器中用户控制的现实对象的消失
CN103091844A (zh) * 2011-12-12 2013-05-08 微软公司 将头戴式显示连接到外部显示和其他通信网络
US8718822B1 (en) * 2011-05-06 2014-05-06 Ryan Hickman Overlaying sensor data in a user interface
US20140325206A1 (en) * 2013-04-24 2014-10-30 Intellectual Discovery Co., Ltd. Digital device and method for performing secure communication using same

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4482960A (en) 1981-11-20 1984-11-13 Diffracto Ltd. Robot tractors
US6016385A (en) 1997-08-11 2000-01-18 Fanu America Corp Real time remotely controlled robot
US6741911B2 (en) 2000-09-20 2004-05-25 John Castle Simmons Natural robot control
US20020044152A1 (en) 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
NO317898B1 (no) 2002-05-24 2004-12-27 Abb Research Ltd Fremgangsmate og system for a programmere en industrirobot
SE0203908D0 (sv) 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
CA2530987C (en) 2003-07-03 2012-04-17 Holotouch, Inc. Holographic human-machine interfaces
US8225226B2 (en) 2003-12-31 2012-07-17 Abb Research Ltd. Virtual control panel
GB0405792D0 (en) 2004-03-15 2004-04-21 Univ Catholique Louvain Augmented reality vision system and method
US8077963B2 (en) 2004-07-13 2011-12-13 Yulun Wang Mobile robot with a head-based movement mapping scheme
WO2008017051A2 (en) 2006-08-02 2008-02-07 Inneroptic Technology Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
US7881901B2 (en) 2007-09-18 2011-02-01 Gefemer Research Acquisitions, Llc Method and apparatus for holographic user interface communication
US8212768B2 (en) 2007-10-31 2012-07-03 Fimed Properties Ag Limited Liability Company Digital, data, and multimedia user interface with a keyboard
US20090109215A1 (en) 2007-10-31 2009-04-30 Fein Gene S Method and apparatus for user interface communication with an image manipulator
WO2009121380A1 (en) 2008-04-02 2009-10-08 Nokia Corporation User interfaces comprising a holographic image provider and associated methods
US20090322671A1 (en) 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method
KR101178847B1 (ko) 2008-12-08 2012-08-31 한국전자통신연구원 가상공간과 연계된 다중 로봇 제어 장치 및 방법
US9728006B2 (en) 2009-07-20 2017-08-08 Real Time Companies, LLC Computer-aided system for 360° heads up display of safety/mission critical data
KR101114750B1 (ko) 2010-01-29 2012-03-05 주식회사 팬택 다차원 영상을 이용한 사용자 인터페이스 장치
US8982156B2 (en) * 2010-06-10 2015-03-17 Sartorius Stedim Biotech Gmbh Assembling method, operating method, augmented reality system and computer program product
US8847919B2 (en) 2011-02-02 2014-09-30 Apple Inc. Interactive holographic display device
US20120249588A1 (en) 2011-03-22 2012-10-04 Panduit Corp. Augmented Reality Data Center Visualization
US9330499B2 (en) 2011-05-20 2016-05-03 Microsoft Technology Licensing, Llc Event augmentation with real-time information
US20130050069A1 (en) 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
IN2014CN03103A (zh) 2011-10-20 2015-07-03 Koninkl Philips Nv
US9511711B2 (en) 2012-01-30 2016-12-06 Klear-View Camera, Llc System and method for providing front-oriented visual information to vehicle driver
US9463574B2 (en) 2012-03-01 2016-10-11 Irobot Corporation Mobile inspection robot
US20130246967A1 (en) 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US9165381B2 (en) 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
US20130328925A1 (en) 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
US20130335405A1 (en) 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment
US9495783B1 (en) 2012-07-25 2016-11-15 Sri International Augmented reality vision system for tracking and geolocating objects of interest
CN202693992U (zh) 2012-08-16 2013-01-23 重庆麦锐科技有限公司 全息成像系统
US9429912B2 (en) 2012-08-17 2016-08-30 Microsoft Technology Licensing, Llc Mixed reality holographic object development
KR20150060735A (ko) 2012-08-27 2015-06-03 유니버시티 오브 휴스턴 이미지-안내 및 로봇-이용 수술을 위해 사용하는 로봇식 장치 및 시스템 소프트웨어, 하드웨어 및 방법
KR102065687B1 (ko) 2012-11-01 2020-02-11 아이캠, 엘엘씨 무선 손목 컴퓨팅과 3d 영상화, 매핑, 네트워킹 및 인터페이스를 위한 제어 장치 및 방법
US9304491B2 (en) 2012-11-26 2016-04-05 Intel Corporation Transparent holographic display with dynamic image control
US20140146038A1 (en) 2012-11-28 2014-05-29 International Business Machines Corporation Augmented display of internal system components
WO2014084858A1 (en) * 2012-11-30 2014-06-05 Empire Technology Development Llc Energy savings using augmented reality
US9058693B2 (en) 2012-12-21 2015-06-16 Dassault Systemes Americas Corp. Location correction of virtual objects
US9812046B2 (en) 2013-01-10 2017-11-07 Microsoft Technology Licensing, Llc Mixed reality display accommodation
US9395543B2 (en) 2013-01-12 2016-07-19 Microsoft Technology Licensing, Llc Wearable behavior-based vision system
US20140253432A1 (en) 2013-01-21 2014-09-11 Holly Tina Ferguson Sensor-monitored, 3d, interactive holographic freespace control unit (hfcu) and associated components
US8712632B2 (en) 2013-01-30 2014-04-29 Navteq B.V. Method and apparatus for complementing an instrument panel by utilizing augmented reality
JP5670498B2 (ja) 2013-03-08 2015-02-18 シャープ株式会社 機能管理装置、遠隔制御システム、機能管理装置の制御方法、制御プログラムおよび記録媒体
US9547917B2 (en) 2013-03-14 2017-01-17 Paypay, Inc. Using augmented reality to determine information
US9443354B2 (en) 2013-04-29 2016-09-13 Microsoft Technology Licensing, Llc Mixed reality interactions
US9245388B2 (en) 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
KR20140147205A (ko) 2013-06-18 2014-12-30 삼성전자주식회사 휴대 가능한 의료 진단 장치의 주행 경로 제공 방법 및 장치
KR102077105B1 (ko) 2013-09-03 2020-02-13 한국전자통신연구원 사용자 인터랙션을 위한 디스플레이를 설계하는 장치 및 방법
US20150109332A1 (en) 2013-10-17 2015-04-23 Fmr Llc Real-time visualizations of components in a modular instrumentation center
US9652892B2 (en) 2013-10-29 2017-05-16 Microsoft Technology Licensing, Llc Mixed reality spotlight
JP6264972B2 (ja) * 2014-03-18 2018-01-24 富士通株式会社 表示装置、表示制御プログラム、および表示制御方法
US10099382B2 (en) 2015-04-27 2018-10-16 Microsoft Technology Licensing, Llc Mixed environment display of robotic actions

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010037163A1 (en) * 2000-05-01 2001-11-01 Irobot Corporation Method and system for remote control of mobile robot
US20060241792A1 (en) * 2004-12-22 2006-10-26 Abb Research Ltd. Method to generate a human machine interface
CN101794349A (zh) * 2010-02-09 2010-08-04 北京邮电大学 机器人遥操作增强现实实验系统及方法
US20120127284A1 (en) * 2010-11-18 2012-05-24 Avi Bar-Zeev Head-mounted display device which provides surround video
US8718822B1 (en) * 2011-05-06 2014-05-06 Ryan Hickman Overlaying sensor data in a user interface
US20130073092A1 (en) * 2011-09-15 2013-03-21 Persimmon Technologies Corporation System and method for operation of a robot
CN102999160A (zh) * 2011-10-14 2013-03-27 微软公司 混合现实显示器中用户控制的现实对象的消失
CN103091844A (zh) * 2011-12-12 2013-05-08 微软公司 将头戴式显示连接到外部显示和其他通信网络
US20140325206A1 (en) * 2013-04-24 2014-10-30 Intellectual Discovery Co., Ltd. Digital device and method for performing secure communication using same

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112106116A (zh) * 2018-05-04 2020-12-18 微软技术许可有限责任公司 三维环境中的内容项的自动放置和布置
CN114666650A (zh) * 2018-06-25 2022-06-24 谷歌有限责任公司 识别和控制智能设备
CN114666650B (zh) * 2018-06-25 2023-12-26 谷歌有限责任公司 识别和控制智能设备
US11921988B2 (en) 2018-06-25 2024-03-05 Google Llc Identifying and controlling smart devices
WO2020239832A1 (en) * 2019-05-31 2020-12-03 BSH Hausgeräte GmbH Method and device for providing information regarding a gas hob

Also Published As

Publication number Publication date
US20180349012A1 (en) 2018-12-06
EP3289431A1 (en) 2018-03-07
CN107567610B (zh) 2021-03-19
US10572133B2 (en) 2020-02-25
WO2016176057A1 (en) 2016-11-03
US10007413B2 (en) 2018-06-26
EP3289431B1 (en) 2019-10-23
US20160313902A1 (en) 2016-10-27

Similar Documents

Publication Publication Date Title
CN107567610A (zh) 附连控制元素的混合环境显示
CN106575360B (zh) 图表数据的增强识别
US10140776B2 (en) Altering properties of rendered objects via control points
CN104541271B (zh) 从电子表格数据生成场景和游览
CN105934756B (zh) 索引电子表格结构属性以供搜索
CN105593803B (zh) 自动滚动区域
CN107533767A (zh) 机器人的增强的配置和控制
CN104350493B (zh) 将数据变换成可消费的内容
CN104737185B (zh) 用于具有伴随的备注的交互式幻灯片演示的阅读模式的方法、系统、装置和计算机可读存储介质
CN104067215B (zh) 呈现数据驱动表单
CN109416576A (zh) 基于确定的约束与虚拟对象的交互
JP6466347B2 (ja) 個人情報コミュニケータ
CN109074393A (zh) 对于日历事件的上下文感知洞察
CN108141702A (zh) 上下文知晓的位置共享服务
CN106537382B (zh) 查询建议
CN108369595A (zh) 可收集数据结构的可扩展性
CN109074531A (zh) 工作流事件的自动化
CN106537371A (zh) 可视化建议
WO2017100022A1 (en) Enhanced management capabilities for collectable data structures
CN106663091A (zh) 摘要数据自动填充
CN108885640A (zh) 生成服务应用
CN107810489A (zh) 应用与设备之间的无缝转换
CN107407944A (zh) 参考传感器的发现和利用
CN110235085A (zh) 确定多处理系统的处理器使用率

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant