CN113196212A - 作为用于交互的物理接口的移动平台 - Google Patents

作为用于交互的物理接口的移动平台 Download PDF

Info

Publication number
CN113196212A
CN113196212A CN201980082858.8A CN201980082858A CN113196212A CN 113196212 A CN113196212 A CN 113196212A CN 201980082858 A CN201980082858 A CN 201980082858A CN 113196212 A CN113196212 A CN 113196212A
Authority
CN
China
Prior art keywords
mobile computing
computing platform
virtual
user
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980082858.8A
Other languages
English (en)
Other versions
CN113196212B (zh
Inventor
阿维·巴尔-泽埃夫
杰拉尔德·小赖特
亚历克斯·都灵
迭戈·莱顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
MEDWAY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MEDWAY filed Critical MEDWAY
Publication of CN113196212A publication Critical patent/CN113196212A/zh
Application granted granted Critical
Publication of CN113196212B publication Critical patent/CN113196212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/323—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections between game devices with different hardware characteristics, e.g. hand-held game devices connectable to game consoles or arcade machines
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了提供移动计算平台作为交互式空间的物理接口的系统和方法。主机设备(例如，头戴式耳机)的用户可以体验交互式空间。交互式空间可以包括虚拟内容的视图。可以确定移动计算平台相对于交互式空间的虚拟内容的感知位置和/或航向的位置和/或航向。可以基于相对位置信息和/或传达移动计算平台的一个或多个输入元素的用户录入和/或选择的用户输入信息来确定远程命令信息。远程命令信息可以被配置为基于与移动计算平台的用户交互来实现与交互式空间中的虚拟内容的用户交互。

Description

作为用于交互的物理接口的移动平台
技术领域
本文所述的系统和方法涉及提供移动计算平台作为交互式空间的物理接口工具。
背景技术
有许多类型的视觉系统可提供虚拟和/或增强现实(VR和/或AR)显示。特别地，可以使用诸如头戴式显示器(HMD)的可穿戴技术。可穿戴技术可以向用户呈现虚拟内容的图像，该图像可以被用户感知为存在于真实世界中。用户可以使用手势与虚拟内容进行交互。
发明内容
本文描述的系统和方法的一种或多种实现方式促进提供移动计算平台作为交互式空间的物理接口工具。交互式空间可以包括虚拟现实环境和/或增强现实环境之一或二者。增强现实环境可以包括叠加在真实环境的视图上的虚拟内容的图像的视图。虚拟现实环境可以包括虚拟环境内的虚拟内容的图像的视图。用户可以将移动计算平台用作与虚拟内容进行交互的遥控器。例如，移动计算平台可以用于指向和/或选择虚拟内容以进行交互。移动计算平台可以促进虚拟内容的精确选择，如果仅通过物理手势来尝试此类选择，则可能很难。移动计算平台可以呈现包括输入元素的用户接口。用户可以选择一个或多个输入元素来实现与移动计算平台可能指向的虚拟内容的一个或多个交互。本文描述了其它交互。
被配置为提供移动计算平台作为交互式空间的物理接口的系统可以包括主机设备、移动计算平台和/或其它组件中的一个或多个。主机设备可以被配置为由用户佩戴。主机设备可以包括一个或多个物理处理器、一个或多个图像形成组件和/或其它组件中的一个或多个。该一个或多个图像形成组件可以被配置为生成光线以形成虚拟内容的图像。该一个或多个图像形成组件可以被配置为向用户呈现图像。图像可以叠加在真实世界的视图上以创建交互式空间。通过非限制性说明，虚拟内容可以被用户感知为存在于真实世界中。虚拟内容可以包括一个或多个虚拟对象。
可以通过机器可读指令来配置主机设备的一个或多个物理处理器。机器可读指令可以包括一个或多个计算机程序组件。计算机程序组件可以包括内容组件、控制组件、相对位置组件、通信组件和/或其它组件中的一个或多个。
内容组件可以被配置为获得定义虚拟内容的信息。定义虚拟内容的信息可以包括定义虚拟内容的视觉外观、虚拟内容的一种或多种交互能力、虚拟内容的移动和/或其它信息中的一种或多种的信息。
通信组件可以被配置为在主机设备和与主机设备分离并且不同的移动计算平台之间建立无线连接。在一些实现方式中，与移动计算平台的用户交互可以促进与交互式空间中的虚拟内容的用户交互。
相对位置组件可以被配置为获得相对位置信息。相对位置信息可以传达移动计算平台相对于虚拟内容的感知位置和/或航向的位置和/或航向。
控制组件获得用户输入信息和/或其它信息。用户输入信息可以传达对移动计算平台的一个或多个输入元素的用户录入和/或选择。对一个或多个输入元素的用户录入和/或选择可以包括与移动计算平台的用户交互的一部分。
控制组件可以被配置为确定远程命令信息和/或其它信息。远程命令信息可以被配置为基于与移动计算平台的用户交互来实现与交互式空间中的虚拟内容的用户交互。可以基于相对位置信息、用户输入信息和/或其它信息中的一个或多个来确定远程命令信息。
控制组件可以被配置为基于远程命令信息和/或其它信息来控制一个或多个图像形成组件。通过非限制性说明，可以控制一个或多个图像形成组件以使虚拟内容的图像反映与虚拟内容的用户交互。
在参考附图考虑以下描述和所附权利要求后，本公开的这些和其它目的、特征和特性，以及结构相关组件的操作方法和功能以及零件和制造经济性的结合将变得更加明显，所有这些均形成了本说明书的一部分，其中，相似的附图标记在各个附图中表示对应的部分。然而，应该明确地理解，附图仅出于说明和描述的目的，并且不旨在作为对任何限制的定义。如说明书和权利要求书中所使用的，单数形式的“一”、“一个”和“该”包括复数指示物，除非上下文另外明确指出。
附图说明
图1示出根据一个或多个实现方式的被配置为提供移动计算平台作为交互式空间的物理接口的系统。
图2示出根据一个或多个实现方式的提供移动计算平台作为交互式空间的物理接口的方法。
图3示出根据一个或多个实现方式的提供移动计算平台作为交互式空间的物理接口的方法。
图4示出示例性头戴式显示器。
图5示出根据一个或多个实现方式的图像形成组件的光源和光学元件的配置。
图6示出图1的系统的实现方式，图1示出交互式空间的视图，该交互式空间包括一组虚拟对象和提供交互式空间的物理接口的移动计算平台。
图7示出图1的系统的实现方式，图1示出交互式空间的视图，该交互式空间包括一组虚拟对象和提供交互式空间的物理接口的移动计算平台。
图8示出在移动计算平台的显示器上呈现的示例性用户接口,该移动计算平台被配置为具有交互式空间的物理接口。
图9示出在移动计算平台的显示器上呈现的示例性用户接口，该移动计算平台被配置为具有交互式空间的物理接口。
图10示出在移动计算平台的显示器上呈现的示例性用户接口，该移动计算平台被配置为具有交互式空间的物理接口。
图11示出在移动计算平台的显示器上呈现的示例性用户接口，该移动计算平台被配置为用于将图形图像与具有交互式空间的真实世界或虚拟对象相关联的物理接口。
图12a和图12b示出在移动计算平台的显示器上呈现的另一示例性用户接口，该移动计算平台被配置为用于将图形图像与具有交互式空间的真实世界或虚拟对象相关联的物理接口。
具体实现方式
图1示出根据一个或多个实现方式的被配置为提供移动计算平台作为交互式空间的物理接口的系统100。交互式空间可以包括增强现实环境、虚拟现实环境和/或其它交互式空间中的一个或多个。增强现实环境可以包括形成叠加在真实世界的视图上的虚拟内容的图像的视图。虚拟现实环境可以包括在虚拟环境内形成虚拟内容的图像的视图。在虚拟现实和/或增强现实的上下文中，术语“空间”和“环境”可以在本文中互换使用。虚拟内容可以包括虚拟对象、虚拟世界和/或其它虚拟内容中的一个或多个。
与交互式空间中虚拟对象的交互可能由手部运动和/或手势决定。然而，此类基于手部的交互可能具有挑战性。这可能是由于用户为了进行交互而可能需要的手部运动的精度和/或由于虚拟对象本身的复杂性。本文所述的移动计算平台可以被配置为提供手持式物理工具，以一般与交互式空间和/或系统中的虚拟对象进行交互。可以经由移动计算平台容易且直观地完成与虚拟对象的精确交互和/或其它交互。
在一些实现方式中，移动计算平台可以充当3D控制器和/或充当指针，以控制用于选择被感知为存在于交互式空间中的虚拟对象的光标。例如，移动计算平台上的传感器可以提供指示移动计算平台在真实世界中的位置和/或航向的信息。在一些实现方式中，诸如主机设备上的图像传感器的传感器142可以识别移动计算平台并通过基于图像的技术确定其位置和/或航向。光标可以充当移动计算平台的扩展；例如，用户可以将移动计算平台指向他们希望光标移动的位置。移动计算平台可以利用现有的和/或定制的用户接口元素/按钮来与虚拟对象进行交互。通过非限制性说明，可以使用现有的和/或定制的键盘将文本输入到虚拟对象(例如，电子邮件、网络浏览器等)中。定制用户接口元素可以允许与虚拟对象的某些交互。交互可以包括选择、移动、缩放、旋转、改变虚拟对象的纹理/颜色、重置SLAM、表面扫描和/或其它类型的交互中的一种或多种。
在图1中，系统100可以包括主机设备102、一个或多个其它主机设备123、移动计算平台126、一个或多个其它移动计算平台121和/或其它组件中的一个或多个。注意，尽管本文中的一些描述可以针对主机设备102，但这仅出于说明的目的，而不应被认为是限制性的。例如，应理解，可以以与主机设备102相同或相似的方式来配置一个或多个其它主机设备123中的各个主机设备。进一步应注意，尽管一些描述可以针对移动计算平台126，这仅是出于说明的目的，而不应被认为是限制性的。例如，应当理解，一个或多个其它移动计算平台121中的各个其它移动计算平台可以以与移动计算平台126相同或相似的方式配置。
在一些实现方式中，主机设备102的一个或多个组件可以被包括在主机设备102中和/或以其它方式并入主机设备102。通过非限制性说明，主机设备102可以包括和/或以其它方式保持一个或多个物理处理器104、一个或多个图像形成组件120、一个或多个传感器122和/或其它组件中的一个或多个。主机设备102可以被配置为佩戴在用户的头部上。通过非限制性说明，主机设备102可以包括头戴式耳机，诸如头戴式显示器(HMD)、眼镜、护目镜和/或其它设备中的一个或多个。
在一些实现方式中，主机设备102的一个或多个组件可以被包括在主机设备102外部的一个或多个设备中。例如，一个或多个组件可以被包括在台式计算机、膝上型计算机、其它移动计算机配置和/或其它计算设备中的一个或多个中。通过非限制性说明，一个或多个物理处理器104和/或其它组件可以被包括在主机设备102外部的移动计算设备中(图1中未示出)。主机设备102可以被联系和/或以其它方式连接到一个或多个外部设备。此类连接可以是有线的(例如，USB、HDMI和/或其它有线连接)和/或无线的(例如，蓝牙、Wi-Fi和/或其它无线连接)。
在图1中，一个或多个图像形成组件120中的各个图像形成组件可以被配置为生成光线以形成虚拟内容的图像。人类感知系统可以有效地组合各种感官线索，以便在真实世界环境中感知“物理上合理的”虚拟内容。例如，人类感知系统除其它事项外可以集成诸如亮度、深度和/或形状信息中的一个或多个的感觉线索，以形成和/或感知连贯的虚拟内容。结果，如本文所述，可以通过视觉系统利用人类感知的特性，采用硬件和/或软件架构来形成通过神经科学原理可以定位和/或感知为位于真实世界中的虚拟内容(例如，数字图像)。例如，虚拟内容可以被感知为存在于真实世界中的给定位置。基于正在从中观看虚拟内容的交互式空间中的观点，可以将虚拟内容感知为具有特定的航向和/或取向。
一个或多个图像形成组件120中的各个图像形成组件可以包括一个或多个光源、一个或多个光学元件和/或其它组件中的一个或多个。在一些实现方式中，可以将单个光源布置在主机设备102上，以将光线引向一个或多个光学元件。该一个或多个图像形成组件120可以被配置为使得虚拟内容的图像可以被叠加在真实世界的视图上以创建交互式空间的视图。在一些实现方式中，图像可以作为立体图像对单独地呈现给用户的每只眼睛。
光源可包括以下一个或多个：微机电系统(MEMS)、RGB激光扫描仪、microLED微型显示器、LED发光硅上液晶(LCOS)微型显示器、RGB激光LCOS微型显示器、数字光投影仪(DLP)、数字微镜器件(DMD)、液晶显示器(LCD)、有机发光二极管(OLED)显示器、OLED微显示器和/或其它光源。
注意，术语“光线”的使用并不旨在将本公开的范围限制为单个离散的光子和/或光子包。取而代之，在一个或多个实现方式中，本公开可以设想光线是指包括多个和/或连续的光子的光束。
在一些实现方式中，可将一个或多个图像形成组件120的一个或多个光学元件布置在主机设备102上，使得当主机设备102佩戴在用户的头部上时，可引导用户的凝视朝向一个或多个光学元件。在一些实现方式中，光学元件可以形成主机设备102的至少一部分，用户可以通过主机设备102观看真实世界。在一些实现方式中，光学元件可以包括一个或多个反射和/或部分反射的表面。光学元件可以由反射和/或部分反射的材料形成。光学元件可以由透明和/或部分透明的材料形成。光学元件的材料可以包括ZEONEX、环烯烃聚合物(COP)、环烯烃共聚物(COC)、聚碳酸酯、聚(甲基丙烯酸甲酯)(PMMA)和/或其它材料中的一种或多种。
在一些实现方式中，光学元件可包括波导、光学耦合特征和/或其它组件中的一个或多个。波导可以包括分层波导、平面部分反射镜阵列波导、衍射波导、包括布拉格光栅的衍射波导、自由形式的表面棱镜和/或其它波导中的一个或多个。在一些实现方式中，波导可以包括光学耦合特征和/或可以与光学耦合特征耦合，该光学耦合特征被配置为将光线耦合到波导中。耦合到波导中的光线可以通过波导传播，并从波导向外指向用户的一只或两只眼睛。
在一些实现方式中，一个或多个图像形成组件120的一个或多个光学元件可以被布置在主机设备102上，使得由一个或多个光源生成的光线可以被引导到一个或多个光学元件，耦合到一个或多个光学元件中，和/或从一个或多个光学元件中引出到用户的眼睛中。虚拟内容的图像可以被投影到眼睛的视网膜上，使得图像可以被叠加在真实世界的用户视图上。
现在参考图4，在一些实现方式中，头戴式耳机(例如，图1中的主机设备102)可以包括HMD 400。系统100(图1)的一个或多个组件可以由HMD 400的一部分保持，并入HMD 400的一部分中，和/或以其它方式包括HMD 400的一部分。通过非限制性说明，图像形成组件的光学元件可以包括HMD 400的遮光板部分402的至少一部分。组件(诸如一个或多个物理处理器、图像形成组件的光源、一个或多个传感器和/或其它组件)可以并入壳体部分404和/或HMD 400的其它部分中。
图5示出根据一个或多个实现方式的图像形成组件的光源504和光学元件506的配置。光学元件506可以包括头戴式耳机的遮光板部分和/或可以是头戴式耳机的遮光板部分的一部分。光源504可以被配置为发射包括光线508的光线。光线可以形成包括图像512的图像。光线可以由光学元件506接收并且被提供给用户的眼睛510。眼睛510接收到的光线可以形成虚拟内容514(例如，虚拟对象)，该虚拟内容514被感知为位于用户的视野或其部分中的三维空间内。
返回图1，主机设备102的一个或多个传感器122可以包括深度传感器、图像传感器、位置传感器、航向传感器和/或其它传感器中的一个或多个。
深度传感器可以被配置为生成传达深度信息和/或其它信息的输出信号。深度信息可包括距深度传感器的真实世界的表面和/或对象的距离和/或范围，和/或其它信息。在一些实现方式中，深度信息可以以点云的形式提供。点云可以包括一组点。各个点可以表示真实世界内的各个表面。深度信息可以针对各个点指定该点到深度传感器的单个距离、该点相对于深度传感器的单个方向和/或其它信息中的一个或多个。在一些实现方式中，可以从深度信息中确定对象的形状、表面和/或对象的航向和/或其它信息。在一些实现方式中，深度传感器可以包括飞行时间传感器、结构化光传感器、非结构化光传感器、有源立体声对、无源立体声对和/或其它深度感测设备中的一个或多个。
图像传感器可以被配置为生成传达视图信息和/或其它信息的输出信号。视图信息可以指定图像传感器的视野内的视觉内容。视觉内容可以包括真实世界中存在的真实世界对象和/或表面。视图信息可以指定图像中像素形式的视觉内容。像素可以由位置(例如，二维坐标)、颜色、透明度和/或其它信息中的一个或多个来定义。在一些实现方式中，图像传感器可以包括以下一个或多个：光传感器阵列(例如，光站点阵列)、电荷耦合器件传感器、有源像素传感器、互补金属氧化物半导体传感器、N型金属氧化物半导体传感器和/或其它图像传感器。
位置传感器可以被配置为生成传达位置传感器的地理位置的输出信号。位置传感器可以包括全球定位系统(GPS)和/或其它位置传感器。
航向传感器可以被配置为生成传达航向信息和/或其它信息的输出信号。航向信息可以包括取向和/或航向。在一些实现方式中，可以相对于一个或多个自由度来指定航向信息。通过非限制性说明，航向信息可以指定主机设备102随时间推移的俯仰角、侧倾角和/或偏航角中的一个或多个。航向传感器可以包括惯性测量单元(IMU)和/或其它传感器。在一些实现方式中，可以通过利用传达视图信息的输出信号的图像处理技术和/或其它技术来确定航向。
在图1中，主机设备102的一个或多个处理器104、一个或多个图像形成组件120、一个或多个传感器122和/或其它组件可以经由一个或多个电子通信链路可操作地链接。例如，可以至少部分地经由网络118来建立此类电子通信链路。网络118可以包括有线和/或无线通信中的一个或二者。将理解，这并不旨在是限制性的，并且本公开的范围包括其中一个或多个处理器104、一个或多个图像形成组件120、一个或多个传感器122和/或其它组件可以经由一些其它通信介质可操作链接的实现方式。
在图1中，移动计算平台126可以是手持设备。移动计算平台126可以包括移动电话(例如，智能电话)、平板计算平台和/或其它设备中的一个或多个。移动计算平台126可以包括一个或多个物理处理器128、显示器140、一个或多个传感器142、触觉致动器144和/或其它组件中的一个或多个。
显示器140可以被配置为呈现视觉内容。视觉内容可以是图像、视频、文本、图形用户接口和/或内容的形式。显示器140可以包括显示屏、触摸屏显示器、投影仪显示器和/或被配置为呈现内容的其它设备中的一个或多个。显示器140上呈现的用户接口可以被配置为促进与交互式空间的虚拟内容的交互(例如，参见输入组件134和/或图8-10)。
在一些实现方式中，移动计算平台126的一个或多个传感器142的各个传感器可以与主机设备102的一个或多个传感器122的各个传感器相同或相似。通过非限制性说明，一个或多个传感器142可以包括深度传感器、图像传感器、位置传感器、航向传感器和/或其它传感器中的一个或多个。
在图1中，主机设备102的一个或多个物理处理器104可以由机器可读指令106配置。执行机器可读指令106可以使一个或多个物理处理器104促进提供移动计算平台作为交互式空间的物理接口。机器可读指令106可以包括内容组件108、控制组件110、相对位置组件112(在图1中缩写为“Rel.Position Component 112”)、通信组件114(在图1中缩写为“Comm.Component 114”)和/或其它组件中的一个或多个。
内容组件108可以被配置为获得定义虚拟内容的信息。定义虚拟内容的信息可以包括定义虚拟内容的视觉外观、虚拟内容的一种或多种交互能力、虚拟内容的移动和/或其它信息中的一种或多种的信息。虚拟内容的视觉外观可以包括虚拟内容的二维表示、虚拟内容的三维表示、虚拟内容的颜色和/或其它信息中的一个或多个。交互能力可以指与用户在交互式空间内操纵虚拟内容的能力有关的属性。可以通过经由移动计算平台126的输入来提供操纵。虚拟内容的移动可以指虚拟内容在交互式空间中的运动。
控制组件110可以被配置为控制一个或多个图像形成组件120中的各个图像形成组件。控制图像形成组件120可以包括控制一个或多个光源、一个或多个光学元件和/或其它组件中的一个或多个。
可以控制一个或多个光源以根据要呈现给主机设备102的用户的虚拟内容和/或其它信息来生成光线。光源可以生成光线以形成数字图像，当将其引向用户的眼睛时，可以将该数字图像感知为真实世界的用户视图内三维空间中的虚拟内容。观看用户可以将虚拟内容感知为存在于真实世界中的某个位置。在一些实现方式中，用户可以经由移动计算平台126与虚拟内容交互，这可能影响虚拟内容的一个或多个方面。
在一些实现方式中，控制组件110可被配置为基于用户输入信息、远程命令信息和/或其它信息中的一个或多个来控制一个或多个图像形成组件120中的各个图像形成组件(更详细地在此呈现)。
在一些实现方式中，相对位置组件112可以被配置为获得相对位置信息和/或其它信息。相对位置组件112可以被配置为通过确定相对位置信息和/或从一个或多个源接收信息来获得相对位置信息。相对位置信息可以传达移动计算平台126相对于虚拟内容的感知位置和/或航向的位置和/或航向。相对位置信息可以包括移动计算平台126到虚拟内容的距离、相对于虚拟内容的移动计算平台126的航向和/或其它信息中的一个或多个。
在一些实现方式中，确定相对位置信息可以包括以下一个或多个：确定移动计算平台126的主轴，确定移动计算平台126相对于主轴的主方向，和/或其它操作。在一些实现方式中，移动计算平台126的主轴和/或主方向可以指示移动计算平台126的指向方向。例如，移动计算平台126可以充当指针以控制用于选择虚拟对象的光标。在一些实现方式中，虚拟光标可以被感知为沿主方向从主轴延伸。可以将虚拟光标感知为位于主轴(沿主方向)与虚拟对象的感知相交处。
在一些实现方式中，主轴可以包括移动计算平台126的纵向中心线。在一些实现方式中，主方向可以包括通常可以理解为指向移动计算平台126的“顶部”的方向。例如，移动计算平台126可以包括智能电话和/或其它设备。智能电话和/或其它设备在使用时可以具有传统的取向，例如，其顶部可以与底部区分开。主方向可以从底部延伸到顶部。
通过非限制性说明，图6示出了交互式空间的视图。交互式空间可以包括一组虚拟对象、虚拟光标600和/或提供交互式空间的物理接口的移动计算平台126。该组虚拟对象可以包括第一虚拟对象602、第二虚拟对象604、第三虚拟对象606和/或其它虚拟对象中的一个或多个。移动计算平台126可以包括显示表面126a和主轴608。表示主轴608的虚线可以是假想线和/或可以被示为交互式空间内的虚拟对象。主轴608可以包括移动计算平台126的纵向中心线。光标600可以充当移动计算平台126的扩展，并且可以被感知为存在于主轴608和第一虚拟对象602的相交处。
图7示出与移动计算平台126的用户交互如何可以促进诸如第二虚拟对象604的其它虚拟对象的选择。例如，充当指示设备的移动计算平台126可以允许用户指向期望的虚拟对象以传达该虚拟对象的选择。与移动计算平台126的用户交互可以包括移动移动计算平台126、旋转移动计算平台126和/或其它交互中的一个或多个。
返回图1，在一些实现方式中，主机设备102的相对位置组件112可以被配置为确定相对位置信息和/或其它信息。可以基于来自一个或多个传感器122和/或142的输出信号和/或其它信息源来确定相对位置信息。
在一些实现方式中，可以由相对位置组件112基于由来自主机设备102的深度传感器的输出信号所传达的深度信息和/或其它信息来确定相对位置信息。深度信息可以包括点云和/或其它信息。可以基于对点云内的移动计算平台126的大小和/或形状的识别，从点云确定移动计算平台126的存在。可以从点云确定移动计算平台126的位置和/或航向。通过非限制性说明，可以利用一种或多种检测和/或识别技术来识别和/或检测点云内的移动计算平台126的形状和/或形式。
在一些实现方式中，可以相对于主机设备102、深度传感器和/或其它参考点中的一个或多个来确定移动计算平台126的位置和/或航向。可以基于虚拟内容的感知位置和/或航向以及移动计算平台126的确定位置和/或航向来确定移动计算平台126相对于感知为存在于真实世界中的虚拟内容的位置和/或航向。例如，可以相对于同一参考点(例如，主机设备102、一个或多个传感器122和/或其它参考中的一个或多个)确定移动计算平台126的位置和/或航向以及虚拟内容的感知位置和/或航向。因此，可以使用传统几何考虑和/或其它技术来确定和/或计算移动计算平台126相对于虚拟内容的感知位置和/或航向的位置和/或航向。
在一些实现方式中，相对位置信息可以由相对位置组件112基于由主机设备102的图像传感器和/或交互式空间中的墙壁或其它固定位置上的图像传感器(即，能够跟踪移动计算平台126的位置和/或运动的“外而内”外部设备)的输出信号传达的视图信息来确定。观看信息可以定义图像和/或视频。可以使用一种或多种图像处理技术(诸如计算机视觉中的技术)从视图信息中确定移动计算平台126的存在。可以使用一种或多种图像处理技术在图像和/或视频内确定和/或跟踪移动计算平台126相对于一个或多个参考的位置和/或航向。一种或多种图像处理技术可以包括对象检测、束调节和/或其它计算机视觉技术。基于虚拟内容的感知位置和/或航向以及移动计算平台126的确定位置和/或航向，可以确定移动计算平台126相对于被感知为存在于真实世界中的虚拟内容的位置和/或航向。
在一些实现方式中，相对位置信息可以由相对位置组件112基于从移动计算平台126接收的信息和/或其它信息来确定。从移动计算平台126接收的信息可以包括以下一个或多个：来自移动计算平台126的航向传感器的传达航向信息的输出信号、来自移动计算平台126的位置传感器的传达位置信息的输出信号，和/或其它信息。该位置传感器可以包括移动计算平台126的一个或多个相机或图像传感器，和/或一个或多个惯性测量单元(IMU)和/或计算平台126的其它位置和/或运动基础传感器(即，能够跟踪移动计算平台126的位置和/或运动的“内而外”内部设备)中的一个或多个。相对位置组件112可以利用移动计算平台126的传达航向和/或移动计算平台126的传达位置来确定移动计算平台126相对于虚拟内容的感知航向的航向、移动计算平台126相对于虚拟内容的感知位置的位置和/或其它信息中的一个或多个。
通信组件114可以被配置为在主机设备102和移动计算平台126之间建立连接。该连接可以通过网络124和/或其它通信网络来建立。该连接可以包括有线和/或无线连接。
通信组件114可以被配置为实现到移动计算平台126的信息通信和/或从移动计算平台126接收信息。
控制组件110可以被配置为获得用户输入信息和/或其它信息。用户输入信息可以传达对移动计算平台的一个或多个输入元素的用户录入和/或选择。对一个或多个输入元素的用户录入和/或选择可以包括与移动计算平台126的用户交互的一部分，其可以促进与交互式空间中的虚拟内容的交互。可以从移动计算平台126接收和/或检索用户输入信息。用户输入信息可以由移动计算平台126的输入组件134确定。在一些实现方式中，用户输入信息可以包括可以应用于所选的虚拟内容的交互和/或动作。通过非限制性说明，各个输入元素可以对应于交互式空间内的各个交互和/或动作。交互可以包括移动、缩放、旋转、改变虚拟对象的纹理/颜色和/或其它类型的交互中的一种或多种。动作可包括以下一个或多个：重置真实世界环境的地图，表面扫描和/或其它动作。可以通过同时定位和映射(SLAM)计算来提供地图，该同时定位和映射(SLAM)计算构造和/或更新环境的地图，同时保持对主机设备102的位置的跟踪。表面扫描可以是指扫描表面以了解表面的形貌和/或关于表面的其它信息。可以执行其它交互和/或动作。
控制组件110可以被配置为确定远程命令信息和/或其它信息。远程命令信息可以被配置为基于与移动计算平台126的用户交互来实现与交互式空间中的虚拟内容的用户交互。在一些实现方式中，远程命令信息可以包括传达对虚拟内容的选择(例如，经由指向移动计算平台126)、应用于所选虚拟内容的交互和/或动作(例如，经由移动计算平台126的输入元素的用户录入和/或选择)、对一个或多个图像形成组件120控制一个或多个图像形成组件120以反映应用于所选虚拟内容的交互和/或动作的指令和/或其它信息中的一个或多个的信息。可以基于相对位置信息、用户输入信息和/或其它信息中的一个或多个来确定远程命令信息。例如，对于本领域普通技术人员而言将显而易见的是，相对位置组件112和控制组件110中的一个或多个可以采用“外而内”外部传感器设备和“内而外”内部传感器设备的任何组合来分别确定相对位置信息和/或远程命令信息。
在一些实现方式中，确定远程命令信息可以包括基于相对位置信息和/或其它信息来确定虚拟内容的感知选择，诸如单个虚拟对象和/或虚拟对象组。在一些实现方式中，可以基于移动计算平台126的主轴、移动计算平台126相对于主轴的主方向、感知为沿主方向与主轴相交的虚拟内容和/或其它信息中的一个或多个来确定选择虚拟内容。在一些实现方式中，被感知为沿主方向与主轴相交的虚拟内容可以传达对该虚拟内容的选择。
在一些实现方式中，可以通过虚拟光标来促进虚拟内容的选择。虚拟光标可以提供关于移动计算平台126可以相对于主轴的主方向指向何处的视觉指示。控制组件110可以被配置为控制一个或多个图像形成组件120以生成形成虚拟光标的图像的光线。虚拟光标的图像可以被配置为使得虚拟光标可以被感知为位于沿主方向的主轴和虚拟内容的感知相交处。虚拟光标的图像可以被配置为使得虚拟光标可以随着移动计算平台126的运动而跟踪。
在一些实现方式中，确定远程命令信息可以包括基于对移动计算平台126的一个或多个输入元素的用户录入和/或选择来确定与交互式空间中所选虚拟对象的交互，和/或在互动空间中执行的动作。
控制组件110可以被配置为基于远程命令信息和/或其它信息来控制一个或多个图像形成组件120。可以控制一个或多个图像形成组件120以使虚拟内容的图像反映与虚拟内容的用户交互。
在图1中，移动计算平台126的一个或多个物理处理器128可以由机器可读指令130配置。执行机器可读指令130可以使一个或多个物理处理器128促进提供移动计算平台作为交互式空间的物理接口。机器可读指令130可以包括通信组件132(在图1中缩写为“Comm.Component 132”)、输入组件134和/或其它组件中的一个或多个。
通信组件132可以被配置为在主机设备102和移动计算平台126之间建立连接。该连接可以通过网络124和/或其它通信网络来建立。该连接可以包括有线和/或无线连接。
通信组件132可以被配置为实现到主机设备102的信息通信和/或从主机设备102接收信息。
输入组件134可以被配置为从一个或多个传感器142中的各个传感器获得输出信号。通过非限制性说明，输入组件134可以被配置为从一个或多个传感器142获得传达位置信息、航向信息和/或其它信息的输出信号。位置信息可以传达移动计算平台126的位置。航向信息可以传达移动计算平台126的航向。
输入组件134可以被配置为获得用户输入信息。可以通过基于对移动计算平台126的一个或多个输入元素的用户录入和/或选择来确定用户输入信息来获得用户输入信息。用户输入信息可以传达对移动计算平台126的一个或多个输入元素的用户录入和/或选择。对一个或多个输入元素的用户录入和/或选择可以包括用于确定与虚拟内容的交互的与移动计算平台126的用户交互的一部分。
在一些实现方式中，输入组件134可以被配置为实现一个或多个图形用户接口在移动计算平台126的显示器140上的呈现。用户接口可以包括被配置用于对用户录入和/或选择的一个或多个输入元素。单个输入元素可以对应于与虚拟对象和/或交互式空间内的动作的一个或多个交互。通过非限制性说明，第一输入元素可以对应于执行颜色改变，第二输入元素可以对应于执行缩放操作，第三输入元素可以对应于提供文本输入(例如，键盘)，和/或其它输入元素可以对应于其它交互。单个输入元素可以包括虚拟按钮、滑动条、复选框、下拉菜单、键盘、文本输入条和/或其它元素中的一个或多个。一旦选择了虚拟对象(例如，通过指向移动计算平台126)，就可以选择一个或多个输入元素以实现与所选虚拟对象的一个或多个交互。
图8-10示出在移动计算平台的显示器上呈现的用户接口的示例，该移动计算平台被配置为具有交互式空间的物理接口。单个用户接口可以包括一个或多个输入元素。
在图8中，示出了用户接口800。用户接口800可以包括用户接口元素的网格。用户接口元素的网格可以包括第一用户接口元素802、第二用户接口元素804、第三用户接口元素806、第四用户接口元素808和/或其它用户接口元素中的一个或多个。单个用户接口元素可以形成为方形虚拟按钮，和/或可以具有其它形状。
在图9中，示出了用户接口900。用户接口900可以是第一用户接口元素902、第二用户接口元素904、第三用户接口元素906和/或其它用户接口元素中的一个或多个。第一用户接口元素902和/或第二用户接口元素904可以形成为圆形虚拟按钮和/或可以具有其它形状。第三用户接口元素906可以是滑块用户接口元素。第三用户接口元素906可以包括虚拟按钮，该虚拟按钮可以沿滑动条908滑动。与第三用户接口元素906的交互可以提供虚拟对象的方面的增加和/或减少。通过非限制性说明，滑块机构可以促进增加和/或减小虚拟对象的大小(或比例)、亮度、色调和/或其它方面。
在图10中，示出了用户接口1000。用户接口1000可以包括第一用户接口元素1002、第二用户接口元素1004和/或其他用户接口元素中的一个或多个。第一用户接口元素1002可以包括文本查看窗口。第二用户接口元素1004可以包括键盘。可以将第二用户接口元素1004中的输入反映在所选虚拟对象上和/或第一用户接口元素1002内作为参考。
返回图1，主机设备102、一个或多个其它主机设备123、移动计算平台126、一个或多个其它移动计算平台121、外部资源125和/或其它组件可以经由一个或多个电子通信链路可操作地链接。例如，可以至少部分地经由网络124建立此类电子通信链路。网络124可以包括有线和/或无线通信(例如，蓝牙、Wi-Fi等)之一或二者。将理解，这不旨在是限制性的，并且本公开的范围包括其中一个或多个主机设备102、一个或多个其它主机设备123、移动计算平台126、一个或多个其它移动计算平台121、外部资源125和/或其它组件可以经由一些其它通信介质可操作链接的实现方式。在一些实现方式中，网络118可以与网络124相同，或者网络可以是分离且不同的网络。
外部资源125可以包括信息源、主机、参与系统100的外部实体、虚拟内容的提供者和/或其它资源。在一些实现方式中，本文中归因于外部资源125的功能中的一些或全部可以由系统100中包括的资源来提供。
处理器104可以包括和/或可以访问电子存储装置116和/或其它组件。处理器104可以包括通信线路或端口，以使得能够与系统100的网络和/或其它组件交换信息。图1中处理器104的图示不旨在是限制性的。处理器104可以包括多个硬件、软件和/或固件组件，该硬件、软件和/或固件组件一起操作以提供在此归因于处理器104的功能。例如，处理器104可以由作为处理器104一起操作的计算平台的云来实现。
电子存储装置116可以包括以电子方式存储信息的非暂态电子存储介质。电子存储装置116可以存储机器可读指令106。电子存储装置116的电子存储介质可以包括与处理器104整体地(即，基本上不可移动的)提供的系统存储装置和/或经由例如端口或驱动器可移动地连接到处理器104的可移动存储装置中的一个或二者。端口可以包括USB端口、FIREWIRE端口和/或其它端口。驱动器可以包括磁盘驱动器和/或其它驱动器。电子存储装置116可以包括光学可读存储介质(例如，光盘等)、磁性可读存储介质(例如，磁带、磁性硬盘驱动器、软盘驱动器等)、基于电荷的存储介质(例如，EEPROM、RAM等)、固态存储介质(例如闪存驱动器等)和/或其它电子可读存储介质中的一种或多种。电子存储装置116可以包括一个或多个虚拟存储资源(例如，云存储、虚拟专用网络和/或其它虚拟存储资源)。电子存储装置116可以存储软件算法、由处理器104确定的信息、从系统100的其它组件接收的信息和/或使处理器104能够如本文所述起作用的其它信息。
处理器104被配置为为主机设备102提供信息处理能力。这样，处理器104可以包括物理处理器、数字处理器、模拟处理器、被设计用于处理信息的数字电路、被设计用于处理信息的模拟电路、状态机和/或用于电子处理信息的其它机制中的一个或多个。尽管在图1中处理器104示为单个实体，但是这仅用于说明目的。在一些实现方式中，处理器104可以包括一个或多个处理单元。这些处理单元可以物理上位于同一设备内，或者处理器104可以表示协同操作的多个设备的处理功能。处理器104可以被配置为执行组件108、110、112、114和/或其它组件。处理器104可以被配置为通过如下执行组件108、110、112、114和/或其它组件：软件；硬件；固件；软件、硬件和/或固件的一些组合；和/或用于在处理器104上配置处理能力的其它机制。
应当理解，尽管组件108、110、112和114在图1中被示为共处于单个处理单元内，但是在其中处理器104包括多个处理单元的实现方式中，一个或多个组件可以远离其它组件。由单个组件提供的功能的描述是出于说明性目的，而不是旨在限制，因为给定的组件可以提供比所描述的更多或更少的功能。例如，可以消除给定的组件，并且其功能的一些或全部可以由另一个组件提供。作为另一示例，处理器104可以被配置为执行一个或多个附加组件，该一个或多个附加组件可以执行归因于组件108、110、112、114和/或其它组件中的各个组件的一些或全部功能。
移动计算平台126的处理器128可以包括和/或可以访问电子存储装置138和/或其它组件。处理器128可以包括通信线路或端口，以使得能够与系统100的网络和/或其它组件交换信息。图1中的处理器128的图示不旨在是限制性的。处理器128可以包括多个硬件、软件和/或固件组件，该硬件、软件和/或固件组件一起操作以提供在此归因于处理器128的功能。例如，处理器128可以由作为处理器128一起操作的计算平台的云来实现。
电子存储装置138可以包括以电子方式存储信息的非暂态电子存储介质。通过非限制性说明，电子存储装置138可以存储机器可读指令130。电子存储装置138的电子存储介质可以包括与处理器128整体地(即，基本上不可移动的)提供的系统存储装置和/或经由例如端口或驱动器可移动地连接到处理器128的可移动存储装置中的一个或二者。端口可以包括USB端口、FIREWIRE端口和/或其它端口。驱动器可以包括磁盘驱动器和/或其它驱动器。电子存储装置138可以包括光学可读存储介质(例如，光盘等)、磁性可读存储介质(例如，磁带、磁性硬盘驱动器、软盘驱动器等)、基于电荷的存储介质(例如EEPROM、RAM等)、固态存储介质(例如闪存驱动器等)和/或其它电子可读存储介质中的一种或多种。电子存储装置138可以包括一个或多个虚拟存储资源(例如，云存储、虚拟专用网络和/或其它虚拟存储资源)。电子存储装置138可以存储软件算法、由处理器128确定的信息、从系统100的其它组件接收的信息和/或使处理器128能够如本文所述起作用的其它信息。
处理器128被配置为在移动计算平台126中提供信息处理能力。这样，处理器128可以包括物理处理器、数字处理器、模拟处理器、被设计用于处理信息的数字电路、被设计用于处理信息的模拟电路、状态机和/或用于电子处理信息的其它机制中的一个或多个。尽管在图1中处理器128示为单个实体，但是这仅用于说明目的。在一些实现方式中，处理器128可以包括一个或多个处理单元。这些处理单元可以物理上位于同一设备内，或者处理器128可以表示协同操作的多个设备的处理功能。处理器128可以被配置为执行组件132、134和/或其它组件。处理器128可以被配置为通过如下执行组件132、134和/或其它组件：软件；硬件；固件；软件、硬件和/或固件的一些组合；和/或用于在处理器128上配置处理能力的其它机制。
应当理解，尽管组件132和/或134在图1中被示为共处于单个处理单元内，但是在其中处理器128包括多个处理单元的实现方式中，一个或多个组件可以远离其它组件。由单个组件提供的功能的描述是出于说明性目的，而不是旨在限制，因为给定的组件可以提供比所描述的更多或更少的功能。例如，可以消除给定的组件，并且其功能的一些或全部可以由另一个组件提供。作为另一示例，处理器128可以被配置为执行一个或多个附加组件，该一个或多个附加组件可以执行归因于组件132、134和/或其它组件中的各个组件的一些或全部功能。
图2和图3分别示出了根据一个或多个实现方式的提供移动计算平台作为交互式空间的物理接口的方法200和300。下面呈现的方法200和/或方法300中的各个方法的操作旨在是说明性的。在一些实现方式中，方法200和/或方法300可以采用一个或多个未描述的附加操作和/或没有讨论的一个或多个操作来实现。另外，在图2和图3中分别示出了方法200和方法300的操作的顺序，并且下面描述的顺序不旨在限制。
在一些实现方式中，方法200和/或方法300可以在诸如图1所示并在本文描述的系统100的系统中和/或使用该系统来实现。通过非限制性说明，方法200可以由与图1中的主机设备102的一个或多个物理处理器104相同或相似的一个或多个物理过程来实现。通过非限制性说明，方法300可以由与图1中的移动计算平台126的一个或多个物理处理器128相同或相似的一个或多个物理处理器来实现。该一个或多个物理处理器可以包括一个或多个设备，以响应于以电子方式存储在电子存储介质上的指令而分别执行方法200和/或方法300的一个或多个操作。该一个或多个处理设备可以包括通过被专门设计用于执行方法200和/或方法300的一个或多个操作的硬件、固件和/或软件配置的一个或多个设备。
参考图2中的方法200，在操作202处，可以在设备和移动计算平台之间建立无线连接。移动计算平台可以与设备分离并且不同。该设备可以被配置为佩戴在用户的头部上。该设备可以包括一个或多个图像形成组件和/或其它组件。该一个或多个图像形成组件可以被配置为生成光线以形成虚拟内容的图像。该一个或多个图像形成组件可以被配置为向用户呈现图像并且将图像叠加在真实世界的视图上以创建交互式空间。虚拟内容可以被感知为存在于真实世界中。与移动计算平台的用户交互可以促进与交互式空间中的虚拟内容的用户交互。在一些实现方式中，操作202可以由一个或多个物理处理器执行，该物理处理器执行与通信组件114(在图1中示出并且在本文中描述)相同或相似的通信组件。
在操作204处，可以确定相对位置信息。相对位置信息可以传达移动计算平台相对于虚拟内容的感知位置和/或航向的位置和/或航向。在一些实现方式中，操作204可以由一个或多个物理处理器执行，该物理处理器执行与相对位置组件112(在图1中示出并且在本文中描述)相同或相似的相对位置组件。
在操作206处，可以获得用户输入信息。用户输入信息可以传达对移动计算平台的一个或多个输入元素的用户录入和/或选择。对一个或多个输入元素的用户录入和/或选择可以包括与移动计算平台的用户交互的一部分。在一些实现方式中，操作206可以由一个或多个物理处理器执行，该物理处理器执行与通信组件114(在图1中示出并且在本文中描述)相同或相似的通信组件。
在操作208处，可以确定远程命令信息。可以基于相对位置信息、用户输入信息和/或其它信息中的一个或多个来确定远程命令信息。远程命令信息可以被配置为基于与移动计算平台的用户交互来实现与交互式空间中的虚拟内容的用户交互。在一些实现方式中，操作208可以由一个或多个物理处理器执行，该物理处理器执行与控制组件110(在图1中示出并且在本文中描述)相同或相似的控制组件。
在操作210处，可以基于远程命令信息和/或其它信息来控制一个或多个图像形成组件。通过非限制性说明，可以控制一个或多个图像形成组件以使虚拟内容的图像反映与虚拟内容的用户交互。在一些实现方式中，操作210可以由一个或多个物理处理器执行，该物理处理器执行与控制组件110(在图1中示出并且在本文中描述)相同或相似的控制组件。
参考图3中的方法300，在操作302处，可以在设备和移动计算平台之间建立无线连接。移动计算平台可以与设备分离并且不同。该设备可以被配置为佩戴在用户的头部上。该设备可以包括一个或多个图像形成组件和/或其它组件。该一个或多个图像形成组件可以被配置为生成光线以形成虚拟内容的图像。该一个或多个图像形成组件可以被配置为向用户呈现图像并且将图像叠加在真实世界的视图上以创建交互式空间。虚拟内容可以被感知为存在于真实世界中。与移动计算平台的用户交互可以促进与交互式空间中的虚拟内容的用户交互。在一些实现方式中，操作302可以由一个或多个物理处理器执行，该物理处理器执行与通信组件132(在图1中示出并且在本文中描述)相同或相似的通信组件。
当虚拟内容被叠加在移动计算平台126的显示器140上而该显示器处于闲置状态且颜色为黑色时，该显示器将基本上看起来对用户不可见(看起来像进入虚拟世界的一块玻璃或窗户)。另一方面，当图像以非黑色的颜色渲染在显示器140上(或固定在移动计算平台126的其它部分上)时，这些元素可增加用户对虚拟内容的感知(例如，通过在虚拟空间中创建2D浮动元素和/或3D元素)。虚拟内容的该共享或复合渲染可以例如有利地将移动计算平台的高分辨率和触觉特征与由主机设备102生成的交互式空间中提供的扩展视野(FOV)集成。
在操作304处，可以获得传达位置信息和/或航向信息的输出信号。位置信息和/或航向信息可以传达移动计算平台的位置和/或航向。在一些实现方式中，操作304可以由一个或多个物理处理器执行，该物理处理器执行与输入组件134(在图1中示出并且在本文中描述)相同或相似的输入组件。
在操作306处，可以获得用户输入信息。用户输入信息可以传达对移动计算平台的一个或多个输入元素的用户录入和/或选择。对一个或多个输入元素的用户录入和/或选择可以包括与移动计算平台的用户交互的一部分。在一些实现方式中，操作306可以由一个或多个物理处理器执行，该物理处理器执行与输入组件134(在图1中示出并且在本文中描述)相同或相似的输入组件。
在操作308处，可以实现到设备的输出信号、用户输入信息和/或其它信息的通信。该设备可以利用输出信号、用户输入信息和/或其它信息来控制一个或多个图像形成组件，以使虚拟内容的图像反映与虚拟内容的用户交互。在一些实现方式中，操作308可以由一个或多个物理处理器执行，该物理处理器执行与通信组件132(在图1中示出并且在本文中描述)相同或相似的通信组件。
再次参考图6和图7，应当容易地理解，沿从移动计算平台126的底部到顶部的中心线延伸的移动计算平台126的主轴608仅用于说明目的，并且根据本公开的主轴可以沿着或通过与移动计算设备126相交的任何轴(包括在移动计算平台126的任何外表面或它们之间的体积的平面内或垂直于任何外表面或它们之间的体积)延伸。例如，合适的主轴可以垂直于移动计算平台126的显示表面126a延伸，而航向例如在与移动计算平台126的显示表面126a相对设置的表面向外延伸的方向中，以通过以传统上用于采用图像传感器142捕获视频或图像的取向使移动计算平台126(例如移动电话)取向来使用户能够指向虚拟对象或与虚拟对象交互，该图像传感器在此类移动计算平台126中设置在与显示表面126a相反的表面上。
另外，对于图8-10，应当容易理解，呈现在移动计算平台126的显示器140上的用户接口元素(例如接口元素80X、90X、100X)可以促进用户与在交互式空间中投影的虚拟内容的交互，该虚拟内容可以通过例如存储在存储器138中并由此类移动计算平台126的处理器128(图1中所示)执行的软件应用程序或应用软件来产生。此类软件应用程序或应用软件还可以单独或与用户选择、取消选择、激活和/或停用的先前显示的接口元素结合使用，例如基于此类移动计算平台126相对于交互式空间中一个或多个虚拟对象的位置的取向或航向中的运动和/或变化，描绘不同的可选接口元素，例如元素80X、90X、100X。
参考图1，移动计算平台126的处理器128还可以基于特定事件的发生，包括例如当移动计算平台126的主轴608处于航向或取向以选择或取消选择在交互式空间中显示的虚拟对象，诸如图7中描绘的虚拟对象604以确认对此类虚拟对象604的选择或取消选择，或提供有关远程命令信息的警报或其它事件的发生时，控制触觉致动器144以选择性地振动或向用户提供其它类型的触觉反馈。
此外，如果移动计算平台126包括图1的图像传感器142，则有利的是，使用图像传感器142基于相对于移动计算平台126的已知位置的真实世界环境的捕获图像的处理或以其它方式来促进对物理取向或航向的确定。可以单独或者与包括例如陀螺仪或角度确定技术的用于确定物理取向或航向的其它技术结合而采用处理器128对此类捕获的图像的使用。
图11描绘了移动计算平台126的示例性操作，用于使例如诸如字母数字、表情符号、图像或视频的虚拟图像的特定图形信息1101的生成选择性地与诸如虚拟对象602的对象相关联。此类关联可以由例如对应的引导线1110的投影来表示。根据用于将图形图像生成并将其与对象(例如虚拟对象602)关联的一种示例性操作，用户将对移动计算平台126进行定位，以便根据本文所述的对象选择技术之一或其它方式使用例如虚拟光标600进行选择。用户进一步通过例如显示在显示器126a上的接口元素1120输入移动计算平台126的图形图像信息，此类输入的信息指示用户希望与虚拟对象602相关联的图形图像。在与对应的图形信息相关联的对象的信息录入和选择之后，用户选择适当的接口元素1130以执行关联步骤，其中图形信息1101作为虚拟图像被投影在虚拟对象602附近的交互式空间中，优选地在它们之间投影出引导线1110。根据本公开，可替代地有可能使图形图像与真实世界的对象(未示出)相关联，而不是与位于交互式空间内的虚拟对象602相关联。此外，通过使用例如虚线、对应的线投影或图形图像的相同或互补色(或至少包围图形图像的一部分的边框)和/或关联的对象图像(或包围对象的至少一部分的边框)，或一些其它关联指示器的使用，图形图像1101可以与预期对象相关联而无需使用引导线1110。
图12a和图12b描绘了移动计算平台126的另一示例性操作，用于引起生成特定图形信息1201作为虚拟图像，该虚拟图像可以选择性地与诸如图12a和图12b中所示的虚拟对象602的对象相关联。可以例如通过确定虚拟对象602与移动计算平台126之间的距离低于预定阈值来确定该关联。
如图12b中所示，可以例如通过在虚拟对象602和图形信息1201之间投影对应的虚拟引导线1210来表示该关联。在该操作中，如在图12a中所示，移动计算平台126不用于将图形图像1201投影到如图11中所示的虚拟光标600所指示的位置，而是由用户定位，使得图形信息1201在显示表面126a上的位置与图形信息1201出现在交互式空间中的位置一致。一旦移动计算平台126被定位为将图形信息1201放置在该位置，则用户可以选择如图12a中所示的接口元素1230，并且然后撤回如图12b中所示的移动计算平台126，以便与引导线1210一起在期望的位置处生成虚拟图形信息1201。虽然将图形信息1210示出为具有实线矩形边框，但是应当理解，图形信息1210可以以各种边框形状和阴影中的任何一种来生成，或者可能生成为无边框。
此外，在本公开中，例如关于图3中的步骤302对无线通信进行的参考旨在表示第一和第二组件之间的直接无线通信或间接无线通信。通过间接无线通信是指第一和第二组件之间的通信是经由一个或多个中间组件进行的，其中任何此类第一、第二或中间组件之间的至少一个通信路径是通过无线通信，而其它通信路径可以是有线通信路径。
尽管出于说明的目的基于当前被认为是最实际和最优选的实现方式对所公开的技术进行了详细描述，但是应当理解，此类细节仅用于该目的，并且本公开并不限于任何特定的实现方式，相反，其旨在覆盖所附权利要求书的精神和范围内的修改和等同布置。例如，应当理解，本公开考虑了在可能的范围内，任何实施例的一个或多个特征可以与任何其它实现方式的一个或多个特征组合。

Claims (39)

1.一种被配置为提供移动计算平台作为交互式空间的物理接口的系统，所述系统包括：
被配置为佩戴在用户头部上的设备；
由所述设备保持的一个或多个图像形成组件，所述一个或多个图像形成组件被配置为生成光线以形成虚拟内容的图像，所述一个或多个图像形成组件被配置为向所述用户呈现所述图像并将所述图像叠加在真实世界环境的视图上以创建交互式空间，使得所述虚拟内容被感知为存在于所述真实世界环境中，所述虚拟内容包括一个或多个虚拟对象；
一个或多个物理处理器，所述一个或多个物理处理器由机器可读指令配置为：在所述设备和与所述设备分离且不同的移动计算平台之间建立无线连接，其中，与所述移动计算平台的用户交互促进与所述交互式空间中所述虚拟内容的用户交互；
获得相对位置信息，所述相对位置信息传达所述移动计算平台相对于所述虚拟内容的感知位置和/或航向的位置和/或航向；
获得用户输入信息，所述用户输入信息传达对所述移动计算平台的一个或多个输入元素的用户录入和/或选择，对所述一个或多个输入元素的所述用户录入和/或选择包括与所述移动计算平台的所述用户交互的一部分；
基于所述相对位置信息和所述用户输入信息来确定远程命令信息，所述远程命令信息被配置为基于与所述移动计算平台的所述用户交互，实现与所述交互式空间中所述虚拟内容的所述用户交互；以及
基于所述远程命令信息控制所述一个或多个图像形成组件，使得控制所述一个或多个图像形成组件以使所述虚拟内容的所述图像反映与所述虚拟内容的所述用户交互。
2.根据权利要求1所述的系统，其中，基于所述相对位置信息和所述用户输入信息来确定所述远程命令信息包括：
基于所述相对位置信息，确定虚拟对象的感知选择；以及
基于对所述移动计算平台的所述一个或多个输入元素的所述用户录入和/或选择，确定与所述交互式空间中的所选虚拟对象的交互。
3.根据权利要求1所述的系统，其中，确定所述相对位置信息包括：
确定所述移动计算平台的主轴；以及
确定所述移动计算平台相对于所述主轴的主方向。
4.根据权利要求3所述的系统，其中，确定所述远程命令信息包括：
识别被感知为沿所述主方向与所述主轴相交的虚拟内容。
5.根据权利要求4所述的系统，其中，所述一个或多个物理处理器进一步由所述机器可读指令配置为：
控制所述一个或多个图像形成组件以生成形成虚拟光标的图像的光线，所述虚拟光标的所述图像被配置为使得所述虚拟光标被感知为位于所述感知的相交处。
6.根据权利要求4所述的系统，其中，所述识别被感知为沿所述主方向与所述主轴相交的所述虚拟内容传达所述用户对所述虚拟内容的选择。
7.根据权利要求1所述的系统，其中，所述移动计算平台的所述一个或多个输入元素包括物理元素或虚拟元素之一或二者，所述虚拟元素被呈现在所述移动计算平台的显示器上。
8.根据权利要求7所述的系统，其中，各个输入元素对应于与所述虚拟内容的各个交互。
9.根据权利要求1所述的系统，其中，所述交互式空间包括增强现实空间。
10.一种提供移动计算平台作为交互式空间的物理接口的方法，所述方法包括：
在设备和与所述设备分离且不同的移动计算平台之间建立无线连接，所述设备被配置为佩戴在用户的头部上，所述设备包括被配置为生成光线以形成虚拟内容的图像的一个或多个图像形成组件，所述一个或多个图像形成组件被配置为向所述用户呈现所述图像并将所述图像叠加在真实世界环境的视图上以创建交互式空间，使得所述虚拟内容被感知为存在于所述真实世界环境中，其中，与所述移动计算平台的用户交互促进与所述交互式空间中所述虚拟内容的用户交互；
获得相对位置信息，所述相对位置信息传达所述移动计算平台相对于所述虚拟内容的感知位置和/或航向的位置和/或航向；
获得用户输入信息，所述用户输入信息传达对所述移动计算平台的一个或多个输入元素的用户录入和/或选择，对所述一个或多个输入元素的所述用户录入和/或选择包括与所述移动计算平台的所述用户交互的一部分；
基于所述相对位置信息和所述用户输入信息来确定远程命令信息，所述远程命令信息被配置为基于与所述移动计算平台的所述用户交互，实现与所述交互式空间中所述虚拟内容的所述用户交互；以及
基于所述远程命令信息控制所述一个或多个图像形成组件，使得控制所述一个或多个图像形成组件以使所述虚拟内容的所述图像反映与所述虚拟内容的所述用户交互。
11.根据权利要求10所述的方法，其中，基于所述相对位置信息和所述用户输入信息来确定所述远程命令信息包括：
基于所述相对位置信息，确定虚拟对象的感知选择；以及
基于对所述移动计算平台的所述一个或多个输入元素的所述用户录入和/或选择，确定与所述交互式空间中所述所选虚拟对象的交互。
12.根据权利要求10所述的方法，其中，确定所述相对位置信息包括：
确定所述移动计算平台的主轴；以及
确定所述移动计算平台相对于所述主轴的主方向。
13.根据权利要求12所述的方法，其中，确定所述远程命令信息包括：
识别被感知为沿所述主方向与所述主轴相交的虚拟内容。
14.根据权利要求13所述的方法，进一步包括：
控制所述一个或多个图像形成组件以生成形成虚拟光标的图像的光线，所述虚拟光标的所述图像被配置为使得所述虚拟光标被感知为位于所述感知的相交处。
15.根据权利要求13所述的方法，其中，所述识别被感知为沿所述主方向与所述主轴相交的所述虚拟内容传达所述用户对所述虚拟内容的选择。
16.根据权利要求10所述的方法，其中，所述移动计算平台的所述一个或多个输入元素包括物理元素或虚拟元素之一或二者，所述虚拟元素被呈现在所述移动计算平台的显示器上。
17.一种非暂态电子存储介质，其存储机器可读指令，所述指令在由移动计算平台执行时，使所述移动计算平台：
在所述移动计算平台和被配置为佩戴在用户头部上的设备之间建立无线连接，所述设备包括被配置为生成光线以形成虚拟内容的图像的一个或多个图像形成组件，所述一个或多个图像形成组件被配置为向所述用户呈现所述图像并将所述图像叠加在真实世界环境的视图上以创建交互式空间，使得所述虚拟内容被感知为存在于所述真实世界环境中，其中，与所述移动计算平台的用户交互促进与所述交互式空间中所述虚拟内容的用户交互；
获得传达位置信息和/或航向信息的输出信号，所述位置信息和/或航向信息传达所述移动计算平台的位置和/或航向；
获得用户输入信息，所述用户输入信息传达对所述移动计算平台的一个或多个输入元素的用户录入和/或选择，对所述一个或多个输入元素的所述用户录入和/或选择包括与所述移动计算平台的所述用户交互的一部分；以及
实现所述输出信号和所述用户输入信息到所述设备的通信，其中，所述设备利用所述输出信号和所述用户输入信息来控制所述一个或多个图像形成组件，以使所述虚拟内容的所述图像反映与所述虚拟内容的所述用户交互。
18.根据权利要求17所述的非暂态电子存储介质，其中，所述方法进一步包括：
实现所述一个或多个输入元素在所述移动计算平台的显示器上的呈现。
19.根据权利要求17所述的非暂态电子存储介质，其中，传达所述位置信息和/或航向信息的所述输出信号由所述移动计算平台所包括的一个或多个传感器生成。
20.根据权利要求17所述的非暂态电子存储介质，其中，所述移动计算平台是移动电话或平板计算平台。
21.根据权利要求3所述的系统，其中，所述主轴垂直于所述移动计算平台的显示表面延伸。
22.根据权利要求21所述的系统，其中，所述一个或多个物理处理器进一步由所述机器可读指令配置为：
控制所述一个或多个图像形成组件以生成形成虚拟轮廓的图像的光线，所述虚拟光标的所述图像被配置为使得所述虚拟轮廓被感知为位于所述感知的相交处。
23.根据权利要求22所述的系统，其中，所述识别被感知为沿所述主方向与所述主轴相交的所述虚拟内容传达所述用户对所述虚拟内容的选择。
24.根据权利要求22所述的系统，其中，所述虚拟轮廓是指示所述移动计算平台的轮廓的形状。
25.根据权利要求10所述的方法，其中，所述主轴垂直于所述移动计算平台的显示表面延伸。
26.根据权利要求25所述的方法，其中，确定所述远程命令信息包括：
识别被感知为沿所述主方向与所述主轴相交的虚拟内容。
27.根据权利要求26所述的方法，进一步包括：
控制所述一个或多个图像形成组件以生成形成虚拟轮廓的图像的光线，所述虚拟轮廓的所述图像被配置为使得所述虚拟轮廓被感知为位于所述感知的相交处。
28.根据权利要求27所述的方法，其中，所述识别被感知为与沿所述主方向与所述主轴相交的所述虚拟内容传达所述用户对所述虚拟内容的选择。
29.根据权利要求27所述的方法，其中，所述虚拟轮廓是指示所述移动计算平台的轮廓的形状。
30.根据权利要求3所述的系统，其中，所述移动计算平台进一步包括通信耦合到所述一个或多个物理处理器的图像传感器，以及其中，所述图像传感器促进所述一个或多个物理处理器确定相对于所述主轴的所述移动计算平台的所述主方向。
31.根据权利要求3所述的系统，其中，所述移动计算平台进一步包括通信耦合到所述一个或多个物理处理器的触觉反馈致动器，以及其中，所述一个或多个物理处理器被配置为控制所述触觉反馈致动器以结合远程命令信息或移动计算平台相对于所显示的虚拟内容的所述位置和/或航向中的至少一个向用户提醒所述事件的发生。
32.根据权利要求12所述的方法，其中，所述相对位置信息至少部分地由由设置在所述移动计算平台内的图像传感器生成的图像数据确定。
33.根据权利要求12所述的方法，进一步包括以下步骤：生成对所述移动计算平台的用户的触觉反馈，以结合远程命令信息或移动计算平台相对于所显示的虚拟内容的所述位置和/或航向中的至少一个向所述用户提醒所述事件的发生。
34.根据权利要求14所述的方法，进一步包括：
识别要与所述虚拟内容相关联的图形信息；
将所述图形信息呈现为所述交互式空间中的虚拟内容；以及
将所述虚拟图形信息与所述虚拟对象视觉关联。
35.根据权利要求34所述的方法，其中，所述视觉关联由虚拟引导线提供。
36.根据权利要求11所述的方法，其中，确定所述虚拟对象的所述感知选择包括：确定所述虚拟对象与所述移动计算平台之间的距离小于预定阈值。
37.根据权利要求36所述的方法，进一步包括：
识别要与所述虚拟内容相关联的图形信息；
将所述图形信息呈现为所述交互式空间中的虚拟内容；以及
将所述虚拟图形信息与所述虚拟对象视觉关联。
38.根据权利要求37所述的方法，其中，所述视觉关联由虚拟引导线提供。
39.根据权利要求36所述的方法，其中，所述图形信息被显示在所述移动计算平台上，并且由此被定位在与所述移动计算平台的所述显示器上的其位置紧邻的所述交互式空间中。
CN201980082858.8A 2018-10-17 2019-10-16 作为用于交互的物理接口的移动平台 Active CN113196212B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862747005P 2018-10-17 2018-10-17
US62/747,005 2018-10-17
PCT/US2019/056529 WO2020081677A2 (en) 2018-10-17 2019-10-16 Systems and methods to provide a mobile computing platform as a physical interface tool for an interactive space

Publications (2)

Publication Number Publication Date
CN113196212A true CN113196212A (zh) 2021-07-30
CN113196212B CN113196212B (zh) 2025-06-13

Family

ID=70284208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980082858.8A Active CN113196212B (zh) 2018-10-17 2019-10-16 作为用于交互的物理接口的移动平台

Country Status (5)

Country Link
US (1) US11697068B2 (zh)
EP (1) EP3867734B1 (zh)
KR (1) KR20210102210A (zh)
CN (1) CN113196212B (zh)
WO (1) WO2020081677A2 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024122801A1 (ko) * 2022-12-09 2024-06-13 삼성전자주식회사 외부 전자 장치의 위치에 기반하여 시각적 객체를 표시하기 위한 전자 장치 및 그 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140152558A1 (en) * 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
CN103984404A (zh) * 2013-02-07 2014-08-13 镇江为天下信息服务有限公司 一种用虚拟光标响应用户操作的远程控制方法
US20150220506A1 (en) * 2014-02-05 2015-08-06 Kopin Corporation Remote Document Annotation
WO2016157783A1 (ja) * 2015-03-27 2016-10-06 パナソニックＩｐマネジメント株式会社 遠隔制御システム、および電子機器
WO2017201162A1 (en) * 2016-05-17 2017-11-23 Google Llc Virtual/augmented reality input device
US20180101986A1 (en) * 2016-10-10 2018-04-12 Aaron Mackay Burns Drawing in a 3d virtual reality environment
CN108369345A (zh) * 2015-10-20 2018-08-03 奇跃公司 在三维空间中选择虚拟对象

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140168261A1 (en) 2012-12-13 2014-06-19 Jeffrey N. Margolis Direct interaction system mixed reality environments
KR102243656B1 (ko) 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
US10303323B2 (en) * 2016-05-18 2019-05-28 Meta Company System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
DE202017104928U1 (de) * 2016-08-23 2017-11-24 Google Inc. Manipulation virtueller Objekte anhand von Controllern mit sechs Freiheitsgraden in erweiterten bzw. virtuellen Realitätsumgebungen

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140152558A1 (en) * 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
CN103984404A (zh) * 2013-02-07 2014-08-13 镇江为天下信息服务有限公司 一种用虚拟光标响应用户操作的远程控制方法
US20150220506A1 (en) * 2014-02-05 2015-08-06 Kopin Corporation Remote Document Annotation
WO2016157783A1 (ja) * 2015-03-27 2016-10-06 パナソニックＩｐマネジメント株式会社 遠隔制御システム、および電子機器
CN108369345A (zh) * 2015-10-20 2018-08-03 奇跃公司 在三维空间中选择虚拟对象
WO2017201162A1 (en) * 2016-05-17 2017-11-23 Google Llc Virtual/augmented reality input device
US20180101986A1 (en) * 2016-10-10 2018-04-12 Aaron Mackay Burns Drawing in a 3d virtual reality environment

Also Published As

Publication number Publication date
EP3867734A4 (en) 2022-07-13
EP3867734B1 (en) 2025-06-18
US20210354038A1 (en) 2021-11-18
US11697068B2 (en) 2023-07-11
WO2020081677A3 (en) 2020-07-30
WO2020081677A9 (en) 2020-09-10
KR20210102210A (ko) 2021-08-19
EP3867734A2 (en) 2021-08-25
WO2020081677A2 (en) 2020-04-23
CN113196212B (zh) 2025-06-13

Similar Documents

Publication Publication Date Title
CN114730094B (zh) 具有人工现实内容的变焦显示的人工现实系统
US11954268B2 (en) Augmented reality eyewear 3D painting
EP3717992B1 (en) Device for providing augmented reality service, and method of operating the same
CN107209386B (zh) 增强现实视野对象跟随器
CN108780358B (zh) 基于视场显示三维虚拟对象
US9934614B2 (en) Fixed size augmented reality objects
EP3172644B1 (en) Multi-user gaze projection using head mounted display devices
CN110546595B (zh) 导航全息图像
US10488942B2 (en) Systems and methods to facilitate user interactions with virtual content having two-dimensional representations and/or three-dimensional representations
CN110377148B (zh) 计算机可读介质、训练对象检测算法的方法及训练设备
US20150379770A1 (en) Digital action in response to object interaction
US9703400B2 (en) Virtual plane in a stylus based stereoscopic display system
CN117590582A (zh) 头戴式显示设备及其操作方法
CN112328078A (zh) 处理三维用户输入的方法
CN115917465A (zh) 使用卷帘快门相机的视觉惯性追踪
CN115735179A (zh) 增强现实眼戴器与情绪共享
CN113196212B (zh) 作为用于交互的物理接口的移动平台
US12333353B2 (en) Systems and methods to extend an interactive space across multiple platforms
JP2024109620A (ja) ウェアラブル端末装置、プログラムおよび表示方法
US10255727B1 (en) Systems and methods to provide effects for virtual content in an interactive space
CN113661433A (zh) 头戴式显示设备及其操作方法
US12288305B2 (en) Wearable terminal apparatus to change display position of partial image
CN119948439A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
JP2017146647A (ja) 表示装置、入力装置、頭部装着型表示装置、表示装置の制御方法、及び、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: U.S.A.

Address after: San Mateo, USA

Applicant after: Campfair 3D Co.

Address before: San Mateo, USA

Applicant before: Medway

Country or region before: U.S.A.

CB02 Change of applicant information
CB03 Change of inventor or designer information

Inventor after: Avi bar Zeev

Inventor after: Gerald Wright Phillips

Inventor after: Alexander Tyling

Inventor after: Diego Leighton

Inventor before: Avi bar Zeev

Inventor before: Gerald Wright Phillips

Inventor before: Alex Turin

Inventor before: Diego Leighton

CB03 Change of inventor or designer information
TA01 Transfer of patent application right

Effective date of registration: 20240530

Address after: California, USA

Applicant after: QUALCOMM Inc.

Country or region after: U.S.A.

Address before: San Mateo, USA

Applicant before: Campfair 3D Co.

Country or region before: U.S.A.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant