CN108604123A - 虚拟现实中的位置仪 - Google Patents

虚拟现实中的位置仪 Download PDF

Info

Publication number
CN108604123A
CN108604123A CN201780002054.3A CN201780002054A CN108604123A CN 108604123 A CN108604123 A CN 108604123A CN 201780002054 A CN201780002054 A CN 201780002054A CN 108604123 A CN108604123 A CN 108604123A
Authority
CN
China
Prior art keywords
virtual target
user
controller
interaction
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780002054.3A
Other languages
English (en)
Other versions
CN108604123B (zh
Inventor
R.陶
T.阿德尔-加瓦德
A.格莱齐尔
D.P.凯瑟尔
M.西格米勒
A.勒
N.阿什科纳兹
H-W.楚
J.金
M.波德沃
R.C.贾格诺
C-P.王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN108604123A publication Critical patent/CN108604123A/zh
Application granted granted Critical
Publication of CN108604123B publication Critical patent/CN108604123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • Architecture (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Chairs Characterized By Structure (AREA)
  • Materials For Photolithography (AREA)

Abstract

在一个通常的方面，一种方法可包括触发运行在物理环境中的头部安装显示器(HMD)装置中虚拟环境的显示，触发代表第二虚拟目标的第一虚拟目标的显示，第一虚拟目标具有的尺寸小于第二虚拟目标的尺寸，接收用户与第一虚拟目标互动的指示，用户具有的第一尺寸大于第一虚拟目标的尺寸，和响应于与第一虚拟目标的互动触发与第二虚拟目标的互动，在与第二虚拟目标互动时用户具有的第二尺寸大于第一尺寸。

Description

虚拟现实中的位置仪
相关申请
本申请要求于2016年11月15日提交的美国临时专利申请No.62/422,563的优先权，通过引用将其全部合并于此。
技术领域
本发明通常涉及虚拟现实或增强现实环境中的位置仪。
背景技术
增强现实(AR)和/或虚拟现实(VR)系统可以产生沉浸式的三维(3D)虚拟环境。在该虚拟环境中用户可以使用各种电子装置而与虚拟目标、元素、特征等互动，电子装置例如是头盔或其他头部安装装置，包括显示器、眼睛或护目镜(用户在观察显示装置时透过其进行观看)，一个或多个外部电子装置(例如控制器、控制杆等)、配备有传感器、键盘、鼠标的手套，以及其他电子装置。在沉浸在虚拟环境时，用户可以运动经过虚拟环境，且可以例如通过物理运动和/或一个或多个电子装置的操作而操作虚拟环境的虚拟元件且与之互动。
发明内容
在一个通常的方面，一种方法可包括触发运行在物理环境中的头部安装显示器(HMD)装置中虚拟环境的显示，触发代表第二虚拟目标的第一虚拟目标的显示，第一虚拟目标具有的尺寸小于第二虚拟目标的尺寸，接收用户与第一虚拟目标互动的指示，用户具有的第一尺寸大于第一虚拟目标的尺寸，和响应于与第一虚拟目标的互动触发与第二虚拟目标的互动，在与第二虚拟目标互动时用户具有的第二尺寸大于第一尺寸。
在另一通常的方面，一种方法可以包括触发运行在物理环境中的头部安装显示器(HMD)装置中虚拟环境的显示，触发与第一控制器相关的第一虚拟目标的显示，第一虚拟目标代表第二虚拟目标，第一虚拟目标具有的尺寸小于第二虚拟目标的尺寸，经由第二控制器选择第一虚拟目标中的一位置，以触发用户向第二虚拟目标中的一位置的移动，和接收第二虚拟目标中的互动的指示。
在另一通常的方面，一种设备包括，头部安装显示器(HMD)装置，第一控制器和第二控制器，和处理器，其被编程为：产生虚拟环境，经由第一控制器显示代表第二虚拟目标的第一虚拟目标，第一虚拟目标具有的尺寸相对于第二虚拟目标的尺寸缩小，经由第二控制器选择第一虚拟目标中的一位置，将用户移动到第二虚拟目标中的一位置，和在第二虚拟目标中互动。
在附图和以下的描述中给出一个或多个实施方式的细节。从描述和附图且从权利要求可理解本发明的其他特征。
附图说明
图1A-1C显示了根据如在本文所述的实施方式的增强现实和/或虚拟现实系统的示例性实施方式的第三人称视角视图，所述系统包括头部安装显示装置和一个或多个手持电子装置。
图1D示出了与第二虚拟目标相关的第一虚拟目标。
图2示出了通过使用第一控制器和第二控制器的用户观察到的虚拟环境。
图3示出了使用与地球仪相关的指示器的例子。
图4是示出了悬停和触发互动的状态图。
图5A是示出了可通过控制器触发的额外互动的图。
图5B示出了通过使用第二控制器的用户观察到的显示菜单。
图5C示出了通过使用第二控制器的用户观察到的键盘。
图6A示出了根据另一示例性实施例的使用第一控制器和第二控制器的用户所观察的虚拟环境。
图6B示出了根据另一示例性实施例的通过在第二虚拟目标中移动的用户观察到的图6A的虚拟环境。
图7A和7B是根据如在本文所述的实施例的触发虚拟现实环境中互动的方法的流程图。
图8A和8B是示例性头部安装显示装置的透视图。
图8C示出了根据如在本文所述的实施方式的手持电子设备的例子。
图9是根据如在本文所述的实施方式的示例性增强现实和/或虚拟现实系统的方块图，
图10显示了计算机装置和移动计算机装置的例子，其可用于执行本文所述的技术。
具体实施方式
沉浸在增强现实(AR)和/或虚拟现实(VR)环境中且穿戴例如头部安装显示器(HMD)装置的用户可以探索虚拟环境且通过各种不同类型的输入而与虚拟环境中的虚拟目标、特征等互动。这些输入例如可以包括物理互动，例如包括HMD和/或与HMD分离的电子装置的物理运动和/或操作，和/或手/手臂姿势，头部运动和/或头部和/或眼睛的方向性注视等。用户可以在虚拟环境中执行一种或多种这些不同类型的互动，以执行具体动作，例如运动经过虚拟环境，例如从虚拟环境的第一区域运动到虚拟环境的第二区域，或从第一虚拟环境运动到第二虚拟环境。
根据本文所述的实施方式，系统和方法可以允许用户在虚拟现实或增强现实环境中导航。具体地，虚拟或增强环境中的第一目标可用于在虚拟或增强环境中的第二目标中导航。第一目标可以是第二目标的至少一部分的小尺度(例如微型化的)版本。第二目标因为其可以是与第一目标相比较大的，所以会难以在虚拟或增强现实环境中直接导航。第一目标因为其具有相对小的尺寸，所以可以是用户可与之互动以在第二目标中导航的容易得多的目标。在一些实施方式中，第一目标可以是微型地球仪(也可以被称为位置仪)，其可用于在第二目标中导航，所述第二目标可以是整个地球的更大展现。
在图1A-1C所示的示例性实施方式中，穿戴HMD 100的用户持有便携手持电子装置102。手持电子装置102例如可以是控制器、智能电话、控制杆或其他便携手持电子装置(一个或多个)，其可以与HMD 100配对或通信，以用于在虚拟现实或增强现实环境中互动，所述虚拟现实或增强现实环境是通过HMD 100产生且例如在HMD 100的显示器上显示给用户的。手持电子装置102可用作与HMD 100通信的控制器，用于与通过HMD 100产生的沉浸式虚拟现实或增强现实环境中互动。
如图1A所示，在虚拟环境中，第一目标10和第二目标15可以经由HMD100而被观察到。为了描述的目的，在图1A中从第三人称视角显示了穿戴HMD 100的用户50、手持电子装置102、第一目标10和第二目标15。具体地，第一目标10和第二目标15将被穿戴HMD 100的用户看到且被显示在该图1A中，使得用户与第一目标10和第二目标15的互动可被更容易地示出和描述。
在该实施方式中，第一目标10可用于在第二目标15中导航。第一目标10可以是第二目标15的至少一部分的小尺度(例如微型化的)版本。第一目标10可以比第二目标15小得多(例如小10倍，小100倍等)。第二目标15因为其与第一目标10相比较大，所以难以在其中直接互动或导航。第一目标10因为其相对小，所以是用户可以更容易与之互动的目标。作为具体例子，第一目标10可以是地球(或另一行星)的缩型展现(例如地球仪)，其可用于通过第二目标15(其可以是地球(或另一行星)的更大展现)进行导航。
相对于用户50，第一目标10可以小于用户的尺寸，如图1A所示。例如，第一目标10可以比用户50小10倍(且在第一目标10以外)。这有助于用户50在第一目标10中导航(例如做出位置选择)，因为用户50大于第一目标10。
在一些实施方式中，第二目标15的表面可以与第一目标10的表面(虽然尺寸缩放)对应。在一些实施方式中，与第一目标10的互动可以转变为与第二目标15的互动。在一些实施方式中，与第一目标10的互动可以直接转变为与第二目标15的相应互动。在该实施方式中，第二目标15可以与第一目标10相同。例如，与第一目标10的互动(例如选择纽约市的位置)直接将用户移动到第二目标15中的一位置(例如纽约市)。
在一些实施方式中，与第一目标10的互动可用于随后引导与第二目标15的互动。例如，在用户50选择第一目标10中的一位置(例如纽约市)时，用户50可以在随后的预定时间在第二目标10中互动(同时在处于不同位置处的第二目标10中互动)。在一些实施方式中，所选择的位置(例如纽约市)可以通过指示器(或一些形式的标记)识别，以在随后的时间在所选择的位置中互动。
在一些实施方式中，与第一目标10的互动可以是第一层面的互动，随后可以是与第二目标15的第二层面的互动。例如，第一层面的互动可以是与第一目标10相关的互动。即，用户50与第一目标10互动，以选择第一目标10上的一位置。在该(第一)层面的互动中，用户50具有大尺度(例如大于第一目标10)，以在第一目标10中导航，如图1A所示。一旦第一层面的互动被执行，则可以随后执行与第二目标15相关的第二层面的互动。在该(第二)层面的互动中，用户50具有小尺度(如与执行第一层面的互动时的用户50相比)，使得用户50可以与第二目标15互动，如图1B或1C所示。例如，用户50可以在第二目标15的表面上或附近。在另一例子中，用户50可以在第二目标15中，且完全沉浸在第二目标15的环境中。
在一些实施方式中，与第一目标10的互动(例如第一层面的互动)可以是第一选择层面和第二选择层面。例如，第一选择层面的互动可以是第一目标上的大致位置(例如在欧洲附近的位置-例如德国和意大利)，且第二选择层面的互动以是第一目标10上的更具体位置(例如意大利中的城市–例如米兰和佛罗伦萨)。在一些实施方式中，可以存在多于两个的选择层面的互动。这些互动可提供更大的准确性和精确性，如在第二目标10中导航那样。
在一些实施方式中，第一目标10与手持电子装置102(其可被称为控制器)、另一控制器(未示出)、和/或虚拟环境中的另一位置和/或特征相关。在一些实施方式中，第一目标10可被配置为响应于通过控制器102做出的运动而运动，仿佛第一目标10与控制器102刚性连接一样。例如，如果控制器102运动到左或右，则第一目标10运动到左或右；且如果控制器102上下运动，则第一目标10上下运动。可以采用本文所述方向以外的其他方向。在一些实施方式中，在控制器102使得第一目标10运动时，第二目标15可以触发第一目标10的相应运动。在其他实施方式中，在控制器102使得第一目标10运动时，第二目标15可以不触发第一目标10的相应运动，而是向静止的用户提供视图。
在一些实施方式中，第一目标10可被配置为定位在与控制器102的一部分相距一定的距离处(例如靠近)。例如，第一目标10可直接设置在控制器102前方。在其他例子中，第一目标10可以在控制器102上方。除了或代替本文所述的位置，可以实施第一目标10相对于控制器102的其他位置。第一目标10可以相对靠近控制器102，因为其可以更容易地与第一目标10互动(例如导航、操作、选择等)。
在一些实施方式中，如图1A中从第三人称视角所示，用户可以在第一目标10的前方，以用于互动。换句话说，第一目标10可以设置在用户50和第二目标15之间。在一些实施方式中，如图1B中从第三人称视角所示，用户(小尺度)50在第二目标15的前方，以用于互动。在该例子中，第一目标10可以与互动不相干(例如对于用户不可见)。在一些实施方式中，第一目标10可以是无形的或被完全移除。在一些实施方式中，如图1C中从第三人称视角所示，第一目标10可以设置在用户50和第二目标15之间。在该例子中，在用户(小尺度)50与第二目标15互动时，用户100可以与第一目标10互动，以选择第一目标10上的另一位置。进一步地，在该例子中，第一目标10可以小于用户50(且在用户是大尺寸时比图1A中的更小)。
在一些实施方式中，第一目标10可被配置为响应于互动而使用控制器102改变状态。例如，第一目标10可被配置为尺寸扩大、尺寸缩小、旋转、消失、改变颜色或形状和/或诸如此类。作为具体例子，来自控制器102的与第一目标10相交的光束可使得第一目标10扩大和/或缩小。例如，第一虚拟目标10可以在对选择位置做出响应时扩大(例如尺寸放大)，且相反地，第一虚拟目标可以在没有通过控制器102选择位置时缩小(例如尺寸减少)。
如图1D所示，其示出了通过用户同时观察到的第一目标10和第二目标15，第一目标10比第二目标15小得多。在一些实施方式中，与第一目标10的互动可以不立即转变为第二目标15。例如，用户可以通过让控制器(未示出)运动到左或右或沿±X方向运动(或以相似的方式操作控制器的另一控制机构)，通过让控制器上下运动或沿±Y方向运动(或以相似的方式操作控制器的另一控制机构)而上下运动或沿±Y方向运动，和通过在向前和/或向后的方向或沿±Z方向让控制器运动(或以相似的方式操作手持电子装置102的另一控制机构)而在向前和/或向后的方向上或沿±Z方向运动，从而进行与第一目标10的互动(例如以6个自由度(DoF)的互动，或以3个DoF互动)。与第一目标10的互动在与第二目标15的互动之前执行。在一些实施方式中，第一目标10可以沿Y方向轴线旋转，以让第一目标10旋转到期望位置。在该例子中，第一目标10的旋转可是逆时针的。
在一些实施方式中，与第一目标10的互动可用于移动到(例如传送到)第二目标15上的一位置。例如，可使用手持电子装置102选择第一目标10(其可以是第二目标15的缩小版本)上的一位置。响应于第一目标10的位置的选择，用户的虚拟体验可以移动到第二目标15的一位置。第二目标15上的位置可对应于第一目标10的位置。因而，经由与第一目标10的互动而触发与第二目标15的互动。
虽然在图1中未示出，但是可使用多于一个的控制器实施与第一目标10的互动。具体地，除了图1所示的控制器102，可使用第二控制器以与第一目标互动。这种实施方式至少显示在图2中。
图2示出了使用第一控制器210和第二控制器220的用户所观察的虚拟环境。第一和第二控制器210、220(其可显示在虚拟环境中)可被观察虚拟环境的用户控制。第一控制器210(还可被称为主控制器)且第二控制器220配置为与地球仪25(例如第一目标，微型地球仪)互动，使得用户对于地球28(例如第二目标)的虚拟体验可被改变。虽然在地球仪25(其是地球的至少一部分的缩小版本)和地球28的情况下描述了图2，但是与图2相关的描述可应用于各种第一和第二目标。
在一些实施方式中，第一控制器210和第二控制器220可被配置为触发不同操作或动作或可具有不同(或重叠)功能。例如，第一控制器210可用于让地球仪25旋转，且第二控制器可用于识别地球仪25上的一位置，用于传送(其可对应于地球28上的一位置)。在一些实施方式中，地球仪25可与第一控制器210相关。具体地，地球仪25可被配置为随控制器210运动，仿佛地球仪25刚性联接到第一控制器210或是第一控制器210的延伸。因而，在第一控制器210被用户运动时，地球仪25可以以与第一控制器210相对应的方式运动。例如，如果第一控制器210运动到左或右，则地球仪25运动到左或右；和如果第一控制器210上下运动，则地球仪25上下运动。可以采用本文所述方向以外的其他方向。
在该实施方式中，用户(未示出)可使用第二控制器220在地球仪25上点击一位置26。例如，用户可以引导从第二控制器220发出的光束29，以识别地球仪25上的位置26。在一些实施方式中，可使用地球仪25上的某些类型的标记来识别位置26。响应于与第二控制器220的互动(例如扣动第二控制器220上的触发器或点击其上的按钮)，用户的虚拟环境可被移动(例如传送、运输、转移等)到地球28中的与地球仪25上的该位置对应的位置。
在一些实施方式中，基于第二控制器220与地球仪25的互动，指示器(例如光标钉、小人、宇航员)可在地球仪25上的一位置悬停。具体地，可在光束29与地球仪25的表面的相交位置处包括指示器。与地球仪25相关的指示器的另一例子显示在图3中。在图3的该实施方式中，在用户处于太空中时显示宇航员31以代替指示器(例如位置钉)，且显示出虚影的宇航员32以代替指示器，以向用户展示用户将转变到太空模式。在该例子中，在该例子中，基于第二控制器220的互动，宇航员31可以代表指示出与地球仪25相关的用户期望位置的指示器，且虚影的宇航员32可以代表显示了当前位置的在地球仪25周围悬停的指示器。例如，用户可以选择地球仪25上的一位置且通过用宇航员31标记出该位置而指示该位置，同时基于第二控制器220的互动，宇航员32围绕地球仪25悬停，指示出当前位置。
在一些实施方式中，指示器可有助于用户相对于地球仪25和/或地球28的取向。例如，在一些实施方式中，指南针可被用户使用以确定他们自己在地球仪25和/或地球28中的取向。在一些实施方式中，代替指示用户位置的钉(pin)、目标的箭头或视野可旋转，以模仿地球仪25和/或地球28中的用户的当前头部方向。
在一些实施方式中，在指向地球仪25上的位置26之后，用户可触发直接达到地球28的与位置26对应的位置的移动(例如传送、转移)。在一些实施方式中，触发转移可以是响应于扣动控制器(例如第二控制器220)的触发器而做出的。
在一些实施方式中，在指向地球仪25上的位置26之后，用户可使得屏幕消退并转变为用户在地球28上的与位置26对应的位置上方悬停(例如在上方远距悬停，悬停至上方的太空模式(在外太空))。在一些实施方式中，触发消退可以是响应于扣动控制器(例如第二控制器220)的触发器而做出的。
在一些实施方式中，在处于地球仪25和/或地球28中的地形视图(更靠近地面)时，地球仪25和/或地球28的位置上的指示器(例如钉)可具有表示用户头部所朝向方向的箭头。例如，在行星视图中(远离地面)时，在用户看向行星中心时箭头可朝向上(朝向北极)，且在用户转向右时顺时针旋转，且在用户转向左时逆时针旋转。
在一些实施方式中，在用户将来自控制器(例如第二控制器220)的光束引导(例如引导并经过设定的时间段)到地球仪25的位置26时，地球仪25可在控制器(例如第一控制器210)上方被改变(例如扩大)。换句话说，地球仪25可被配置为响应于通过第二控制器220造成的与地球仪25的互动(例如悬停，光束29的互动)而扩大到如图2所示的尺寸。在一些实施方式中，在控制器不直接与地球仪25互动时，地球仪25可从如图2所示的状态缩小尺寸(未示出)。在一些实施方式中，将光束引导到地球仪25并经过设定或临界时间段可被称为悬停或被称为悬停互动。
在一些实施方式中，在用户将来自控制器(例如第二控制器220)的光束引导(例如引导并经过设定的时间段)到地球仪25的位置26时，地球仪25的纹理可从矢量图像渐变为更详细的图像(例如卫星图像，国家边界的图像)。在一些实施方式中，在用户将来自控制器(例如第二控制器220)的光束引导(例如引导并经过设定的时间段)到地球仪25的位置26时，指示器可出现在地球仪25上的光束与地球仪25相交的点处。在一些实施方式中，在用户将来自控制器(例如第二控制器220)的光束引导(例如引导并经过设定的时间段)到地球仪25的位置26时，一个或多个工具提示(例如与第一控制器210的触摸板相关的“旋转”，与第二控制器220的触发器相关的“传送”)可被触发以用于显示。
在一些实施方式中，例如，响应于用户促动第一控制器210的右旋转按钮，可使得地球仪25沿逆时针围绕北极旋转(使得正面移向右)。在一些实施方式中，在用户促动第一控制器210的左旋转按钮时可实现相反效果。在一些实施方式中，位置指示器可跟随地球仪25的旋转，使得其保持在用户的位置处。
在一些实施方式中，在用户例如促动第二控制器220的触发器而光束与地球仪25相交时，指示器(例如红色钉)可在相交位置处插入到地球仪25中(例如插入到地球仪中20％)。在一些实施方式中，在用户例如促动第二控制器220的触发器时，指示器(例如红色钉)可在用户促动触发器且停止光束与地球仪25相交时保持在一位置(例如位置26)。在一些实施方式中，即使触发器仍被促动，也可在用户的来自第二控制器220的光束不再与地球仪25相交时移除指示器。
在一些实施方式中，在用户例如释放第二控制器220的触发器而光束(例如光束29)与地球仪25相交时，显示可淡入为黑色且渐变为在地球28的期望位置上方的行星视图。在一些实施方式中，在用户例如释放第二控制器220的触发器而光束(例如光束29)与地球仪25相交时，位置26的指示器在渐变期间消失。
在一些实施方式中，在用户例如促动第二控制器220的触发器时，第一指示器(例如红色钉)可在光束与地球仪25相交的位置处插入到地球仪25中。在用户例如释放第二控制器220的触发器而光束(例如光束29)与地球仪25相交时，位置(例如蓝色位置钉)的第二指示器可移动到第一指示器的位置。在一些实施方式中，地球仪25上的位置可旋转，使得位置钉的第二指示器回到第二控制器220前方的默认位置。
在一些实施方式中，在用户例如释放控制器(例如第二控制器220)的触发器而光束不与地球仪25相交时，用户将不在地球28中移动(例如传送)。在一些实施方式中，地球仪25可以保持扩大状态并经过设定的持续时间且随后缩小(收缩)。在一些实施方式中，如果地球仪25被旋转，则地球仪25将在缩小(收缩)时进行默认旋转。
图4是示出了悬停和触发器互动的状态图。如该状态图所示的，第一目标(例如地球仪)可基于悬停和/或触发器互动的各种组合而扩大或缩小。为了让第一目标(例如地球仪)扩大或缩小，用户可以控制(例如操作)控制器(例如第二控制器220)。例如，如步骤402所示，基于控制器(例如第二控制器220)的互动，在指示器(例如宇航员)在第一目标(例如地球仪)上的一位置上方悬停时，第一目标(例如地球仪)可以处于扩大状态。在另一例子中，如步骤403所示，基于控制器(例如第二控制器220)的互动，在控制器上执行触发(例如扣动触发器或点击按钮)且指示器(例如宇航员)在第一目标(例如地球仪)上的一位置上方悬停时，第一目标(例如地球仪)可以处于扩大状态。在另一例子中，如步骤404所示，在控制器上执行触发(例如扣动触发器或点击按钮)时，第一目标(例如地球仪)可以处于扩大状态。步骤401示出了在未执行触发且指示器(例如宇航员)未悬停在第一目标(例如地球仪)上的一位置上方时，第一目标(例如地球仪)处于缩小状态。然而，在一些实施方式中，可能存在未执行触发且指示器未悬停在第一目标(例如地球仪)上的一位置上方悬停时第一目标(例如地球仪)可以处于扩大状态的情况。例如，在用户释放控制器上的触发器且指示器(例如宇航员)消失(例如渐变、过期等)延迟(预定已经经过预定时间)时，第一目标(例如地球仪)可能处于扩大状态。换句话说，直到时间延迟已经经过之前，第一目标(例如地球仪)都处于扩大状态。
图5A是可被第一控制器210和第二控制器220触发的额外互动的图。如图5A所示，第一目标(例如地球仪25)处于缩小状态。为了确定地球仪25上的用于互动(例如访问)的位置，用户经由第一控制器210旋转地球仪25，以观察地球仪25的各种位置。在一些实施方式中，第一控制器210包括用于各种功能的一些按钮和/或触发器。例如，按钮/触发器22是地球仪25的取向按钮(例如使得地球倾斜)，以确定地球仪25的取向，且按钮/触发器224具有保存功能，以保存已访问位置(一个或多个)(例如保持以保存)。
为了让地球仪25扩大(变大)，用户在地球仪25上的一位置处点击第二控制器220，以指示要移动(例如传送)的位置(例如经由光标钉、小人、或宇航员)。从第二控制器220发出的光束(未示出)可以与地球仪25的表面相交(且是高亮的)，以确定要访问的位置。一旦在地球仪25上确定位置，则用户操作第二控制器220上的按钮和/或触发器中之一以传送到期望位置。在一些实施方式中，第二控制器220包括用于各种功能的一些按钮和/或触发器。例如，按钮/触发器232具有菜单功能，以为用户提供菜单窗口，以将用户引导到所保存的位置(一个或多个)，按钮/触发器234具有飞行功能以允许用户飞过地球仪25并提供方向，按钮/触发器236具有拖曳功能，使得用户可拖曳视图，且按钮/触发器238具有旋转功能，以旋转用户所观察的视图。
在一些实施方式中，如图5B所示，用户可以通过菜单显示410直接移动(例如传送，传输等)到期望位置。在该示例性实施方式中，可以通过点击第二控制器220上的按钮(例如菜单按钮)来显示菜单显示410，以将菜单显示410显示给用户。菜单显示410可以包括要移动(例如传送)到期望位置的存储位置。例如，如图5B所示，所示的菜单显示410可以包括要选择的六个目的地(例如意大利佛罗伦萨、德国新天鹅堡、日本东京、犹他州熊耳、纽约曼哈顿和巴西里约热内卢)。一旦选择了位置，则用户直接移动(例如传送)到选择的位置并在第二虚拟目标中互动。
在一些实施方式中，如图5C所示，如果菜单显示410不包含要移动的期望位置，则用户可以引出键盘440并经由第二控制器220键入期望位置。在该例子中，用户试图移动(例如传送)到位于英国的埃姆斯伯里的巨石阵。在一些实施方式中，用户可以在互动期间的任何时间呼出键盘440，而不显示菜单显示410，并在输入窗口450中键入期望位置。换句话说，用户可以在与第一虚拟目标的互动期间或在与第二虚拟目标的互动期间呼出键盘440并键入期望位置。为了方便，用户可在输入窗口450中仅键入期望位置的少量开头字母，且产生以所键入字母开头的可能位置的目录，如框460所示。
图6A示出了根据另一示例性实施例的使用第一控制器和第二控制器的用户所观察的虚拟环境。在该例子中，用户具有与世界(即建筑物、山、地形等较小)相比具有较大的尺寸。图6B示出了在第二虚拟目标中进行互动(例如沉浸)的用户所观察的图6A的虚拟环境。
如图6A所示，第一虚拟目标为球体601(例如映射到球体上的全景图像(例如街景图))。球体601可以用作进入街景位置的入口，且将用户移动(例如传送)到街景(例如所选择位置的全景图(街景图))。球体601可以对应于一位置，用户在该位置上方。在该例子中，用户选择且位于意大利罗马市，且球体601显示了意大利罗马的科洛塞竞技场(罗马圆形大剧场)，以与之互动。换句话说，用户可以与球体601互动，以在飞行模式(如图6A所示)和街景模式(如图6B所示)之间进行改变。
在一些实施方式中，街景模式可以通过与球体601的互动来实施。例如，用户可以使得控制器(例如第一控制器210)更靠近用户的脸，并在街景中移动(例如传送)到罗马圆形大剧场，如图6B所示。在用户将控制器(例如第一控制器210)从用户的脸移走时，球体601切换回到缩小尺寸(用户回到飞行模式)且显示球体601的视图(如图6A所示)。在该方法中，用户可使用球体601以观察街景并移动(例如传送)到所述位置。在一些实施方式中，用户可以粗略看一眼街景位置，并容易地移动回来(例如传送)。
在一些实施方式中，用户可以与球体601互动且通过用第二控制器220(未示出)在球体601上点击而选择街景。这种互动也将使得用户移动(例如传送)到街景(与球体601中的视图对应)，如图6B所示。与让球体601更靠近用户的如上所述方法比较，这种方法将用户永久地传送到所述位置。在一些实施方式中，用户不能在没有选择命令(例如点击按钮以返回到图6A)的情况下离开街景并返回到飞行模式。
一旦处于街景中，则用户可以观察街景的各种视图，提供在虚拟环境中的沉浸式体验。换句话说，用户在街景中观察所存储图像的全景的360o的视图。在一些实施方式中，为了在街景中移动到不同位置(一个或多个)，用户离开街景并将指示器移动到图6A中的期望位置，且通过新的位置选择街景。
在一些实施方式中，用户可移动到不同位置(在街景中)且在仍然处于街景中时观察其他位置。例如，参考图6B，如果用户希望观察在罗马圆形大剧场的角落有什么(右手侧，看向罗马圆形大剧场)，则用户朝向罗马圆形大剧场移动并观察该新的位置。在该事件中，新的图像将被产生并显示，以展现该新的位置。这形成了虚拟环境中的更沉浸式的体验，而没有离开街景。在一些实施方式中，在处于新的位置时，用户可以离开街景图并在飞行模式下观察该新的位置。例如，在街景中移动时，用户会希望观察与整个城市相关的新的位置，因此，用户可以离开街景(经由球体601)并确定飞行模式中观察到新的位置。
在一些实施方式中，用户可以在全球视图(如图2所示)和街景(如图6A所示)之间改变视图。在一个实施方式中，可以通过改变用户的尺度来实现街景。例如，在全球视图中，第一虚拟目标是地球仪25且用户可以通过旋转地球仪25并确定要访问的位置而选择位置。一旦位置被选择，则用户可以改变用户的尺度以切换到街景。改变尺度的一种方法可以是经由第二控制器220实现的(例如点击第二控制器上的按钮/触发器)，直到用户的尺度超过临界值。例如，用户的尺度变得越来越小，直到已经达到临界值且第一虚拟目标切换为球体。在该事件中，地球仪25(如图2所示)将切换到球体601(如图6A所示)。
在一些实施方式中，用户可以通过用第二控制器220选择街景而直接改变到街景。例如，第二控制器220可以与第一虚拟目标(例如地球仪25)互动并通过显示菜单窗口(未示出)和切换到街景模式而选择街景。
在一些实施方式中，可使用各种逻辑架构限定如上所述的各种互动。在一些实施方式中，可涉及操作位置仪的两个大类，控制器Ui的六个维度(SixDof ControllerUi)和位置仪显示(LocationGlobeDisplay)。在一些实施方式中，位置仪显示通过获得用户的控制器转换(定位和/或位置)和当前地理位置(GeoLocation)而确定在何处产生可生成的微型地球仪(MiniGlobeRenderable)和/或两个可生成形状(ShapeRenderable)的钉。在一些实施方式中，控制器Ui的六个维度具有位置仪显示，且通过控制器的转换、当前地理位置和用户的前进方向，在每次更新呼叫时对其更新。在一些实施方式中，新的种类可作为被称为可互动位置仪(LocationGlobeInteractable)的互动App模式(InteractiveAppMode)的构成要件来添加，其处理所有互动且在应该扩大时和在有激光进行指点的情况下更新位置仪显示。在一些实施方式中，可互动位置仪能与位置仪显示进行通信。在一些实施方式中，获得位置仪显示(GetLocationGlobeDisplay)的方法可添加到Ui，且在互动App模式中抓取显示。在一些实施方式中，通过获得对位置仪显示的指针(pointer)，以使得Ui界面更复杂为代价，可消除让额外状态目标在周围经过的需要。
在一些实施方式中，可互动位置仪检测光束与球形尺寸的碰撞器的碰撞，碰撞器基于位置仪显示的转换来定位。在一些实施方式中，在激光碰撞时，互动App模式能更新当前控制器配置方案(controller layout)，以实现传送和旋转。在一些实施方式中，同时，可互动位置仪将用于显示扩大地球仪并开始对光标钉的更新。在一些实施方式中，因为其是互动App模式的组成要件所以在另一app模式被推送到app模式堆栈时其可停止更新，例如菜单App模式(MenuAppMode)或在传送渐变为黑色期间，改变视图App模式(ChangeViewAppMode)。在一些实施方式中，用于计算位置仪的转换的方法不属于该类，或其可在用户打开菜单时停止对定位的更新。在一些实施方式中，另一限制是，因为可互动位置仪保持与地球仪的旋转有关的状态信息，所以如果互动App模式离开app模式堆栈，则该信息会丢失。在一些实施方式中，可互动位置仪呼叫与位置仪显示分类有关的方法，以使其收缩/扩大，更新光标钉，和/或旋转地球仪。
在一些实施方式中，通过添加位置仪状态(LocationGlobeState)作为执行器(Actor)的构成要件，可以辅助可互动位置仪和位置仪显示之间的通信。该方法消除了可互动位置仪和位置仪显示之间的依从性，且减少Ui界面上的混乱。然而，这会造成该额外状态目标的维护开销，其可能无法作为执行器的构成要件而完全匹配。
根据本文所述的实施例的、在虚拟现实环境中与虚拟目标互动的方法显示在图7A和7B中。在图块700中，系统和方法可以触发HMD装置中虚拟环境的显示。在触发虚拟环境的显示时，系统和方法可以触发代表第二虚拟目标的第一虚拟目标的显示。第一虚拟目标可以具有小于第二虚拟目标的尺寸(图块702)。在用户与第一目标互动(例如选择位置)时，用户可以具有大于第一虚拟目标尺寸的第一尺寸(图块704)。随后响应于与第一虚拟目标的互动，用户触发与第二虚拟目标I的互动(图块706)。在该层面的互动期间，在与第二虚拟目标互动时用户具有大于第一尺寸的第二尺寸。
类似地，图7B所述的示例性方法可以触发HMD装置中虚拟环境的显示(图块701)。在触发虚拟环境的显示时，系统和方法可以触发与第一控制器相关的第一虚拟目标的显示。第一虚拟目标可以代表第二虚拟目标。第一虚拟目标可以具有小于第二虚拟目标的尺寸(图块703)。在第一目标互动期间，用户经由第二控制器选择第一虚拟目标中的位置，以触发用户向第二虚拟目标中的位置的移动(图块705)。在该阶段，用户可以在第二虚拟目标中接收互动(图块707)。例如，用户可以在第二目标的表面上和/或附近或完全沉浸在第二虚拟目标的环境中。
在一些实施方式中，如图1A所示，控制器102可以例如经由有线连接或无线连接(例如WiFi或Bluetooth连接)而操作地联接到HMD 100或与HMD 100配对。控制器102和HMD100的这种配对或操作连接可以提供控制器102和HMD 100之间的通信以及控制器102和HMD100之间的数据交换。这可以允许控制器102用作与HMD 100通信的控制器，用于在通过HMD100产生的沉浸式虚拟环境中互动。
例如，控制器102的操作、和/或在控制器102的触摸表面上接收的输入、和/或控制器102的运动可以转变为在通过HMD 100产生和显示的虚拟环境中的相应选择、或运动、或其他类型的互动。
图1A所示的示例性实施方式包括与HMD 100通信的一个控制器102，用于与HMD100进行数据交换，和在通过HMD 100产生的虚拟环境中与特征、要是、目标等的互动。然而，在一些实施方式中，多于一个的控制器102可以操作地联接到HMD 100并与之通信，且可以一起或分开操作，以用于在虚拟环境中互动。
图8A和8B是示例性HMD(例如图1中的用户佩戴的HMD 100)的透视图，且图8C示出了示例性控制器，例如如图1所示的控制器102。
控制器102可以包括壳体103(在壳体中接收装置102的内部部件)和壳体103上的可被用户操作的用户界面104。用户界面104例如可以包括触敏表面106，其配置为接收用户的触摸输入、触摸和拖曳输入等。用户界面104还可以包括用户操作装置105，例如促动触发器、按钮、旋钮、切换开关、控制杆等。
HMD 100可以包括联接到框架120的壳体110，具有也联接到框架120的音频输出装置130，所述音频输出装置例如包括安装在耳机中的扬声器。在图2B中，壳体110的前部部分110a从壳体110的基部部分110b旋转离开，使得接收在壳体110中的一些部件可见。显示器140可以安装在壳体110的前部部分110a的面向内的一侧上。透镜150可以安装在壳体110中，在前部部分110a处于抵靠壳体110的基部部分110b的关闭位置中时处于用户的眼睛和显示器140之间。HMD 100可以包括具有各种传感器的传感系统160和包括处理器190和各种控制系统装置的控制系统170，以有助于HMD100的操作。
例如，在一些实施方式中，传感系统160可以包括惯性测量单元(IMU)162，其包括各种不同类型的传感器，例如加速表、陀螺仪、磁力计和其他这种传感器。基于通过包括在IMU 162中的传感器提供的数据，HMD 100的位置和取向可以被检测和追踪。HMD 100的经检测的位置和取向可以允许系统进一步检测和追踪用户头部的注视方向和运动。
在一些实施方式中，HMD 100可以包括注视追踪装置165，其例如包括一个或多个传感器165A，以检测和追踪眼睛的注视方向和运动。通过传感器(一个或多个)165A捕获的影像可以被处理，以检测和追踪用户的眼睛注视的方向和运动，且经检测和追踪的眼睛注视可以被处理作为用户输入，以在沉浸式虚拟体验中转变为相应的互动。摄像头180可以捕获静止和/或运动的影像，其可以用于有助于追踪用户的物理位置和/或与HMD 100通信/操作地联接的其他外部装置。捕获的影像还可以在显示器140上以通过模式(pass throughmode)显示给用户。
图9显示了设置为用于让虚拟环境的虚拟要素相对于用户运动的系统的方块图。系统可以包括第一电子装置300(例如，针对图1和8A-8B如上所述的HMD)和与第一电子装置300通信的至少一个第二电子装置302(例如，针对图1和8C如上所述的控制器)。
第一电子装置300可以包括传感系统360和控制系统370，其可以分别类似于图8A和8B所示的传感系统160和控制系统170。传感系统360可以包括不同类型的传感器(例如包括光传感器、音频传感器、影像传感器、距离和/或近程传感器)，例如包括陀螺仪、加速表、磁力计等的IMU，计时器，和/或其他传感器和/或传感器的不同组合(一个或多个)。控制系统370例如可以包括接通/暂停控制装置、音频和视频控制装置、光控制装置、转变控制装置、和/或其他这种装置和/或装置的不同组合(一个或多个)。传感系统360和/或控制系统370可以包括更多、更少的装置，这取决于具体实施方式。包括在传感系统360和/或控制系统370中的元件可以例如在一HMD中(而非图8A和8B所示的HMD 100)具有不同的物理布置形式(例如不同物理位置)。第一电子装置300还可以包括存储器380、和与传感系统360和控制系统370通信的处理器390。处理器390可以处理从传感系统360接收的输入，以及从其他外部源(例如第二电子装置302)接收的输入，且执行与经检测输入对应的指令。第一电子装置300还可以包括通信模块350，其设置为用于提供第一电子装置300和其他外部计算装置(例如第二电子装置302和涉及处理系统相关信息的其他计算装置)之间的通信。
第二电子装置302可以包括通信模块306，其提供第二电子装置302和另一装置(例如第一电子装置300)之间的通信和数据交换。在一些实施方式中，取决于第二电子装置302(即控制器，相对于键盘或鼠标而言)的具体构造，第二电子装置302可以包括传感系统304(其例如包括影像传感器和音频传感器(例如包括在摄像头和麦克风中))、IMU、计时器、触摸传感器(例如在控制器的触敏表面中)、或智能电话、和其他这种传感器和/或传感器的不同组合(一种或多种)。处理器309可以与第二电子装置302的传感系统304和控制器305通信，该控制器305对存储器308访问且控制第二电子装置302的总体操作。
图10显示了计算机装置900和移动计算机装置950的例子，其可以用于本文所述的技术。计算装置900包括处理器902、存储器904、存储装置906、连接到2904和高速扩展端口910的高速接口908、和连接到低速总线914和存储装置906的低速接口912。部件902、904、906、908、910和912中的每一个各种总线互连，且可以安装在共用主板中或以其他方式适当安装。处理器902可处理用于在计算装置900中执行的指令，包括存储在存储器904中或存储装置906上的指令，以在外部输入/输出装置上显示用于GUI的图形信息，例如联接到高速接口908的显示器916。在其他实施方式中，在适当的情况下，可以与多个存储器和多种类型的存储器一起使用多个处理器和/或多个总线。还有，可以连接多个计算装置900，每一个装置提供必要操作的一些部分(例如作为服务器组、刀片式服务器组、或多处理器系统)。
存储器904在计算装置900中存储信息。在一个实施方式中，存储器904为一个或多个易失存储器单元。在另一实施方式中，存储器904是一个或多个非易失存储器单元。存储器904还可以是另一形式的计算机可读介质，例如磁盘或光盘。
存储装置906能为计算装置900提供大量储存。在一个实施方式中，存储装置906可以是或包括计算机可读介质，例如软盘装置、硬盘装置、光盘装置或磁带装置，闪速存储器或其他相似的固态存储装置，或装置阵列，包括存储区域网络中的装置或其他配置。计算机程序产品可具体实施在信息载体中。计算机程序产品还可以包含在被执行时执行一个或多个方法的指令，例如如上所述的那些。信息载体是计算机或机器可读介质，例如存储器904、存储装置906、或处理器902上的存储器。
高速控制器908为计算装置900管理带宽密集型操作，而低速控制器912管理低带宽密集型操作。这种功能分配仅是示例性的。在一个实施方式中，高速控制器908联接到存储器904、显示器916(例如通过图形处理器或加速器)，且联接到高速扩展端口910，所述高速扩展端口可以接收各种扩展卡(未示出)。在该实施方式中，低速控制器912联接到存储装置906和低速扩展端口914。低速扩展端口(其可以包括各种通信端口(例如USB、Bluetooth、以太网、无线以太网)可以联接到一个或多个输入/输出装置，例如键盘、点击装置、扫描仪或网络装置，例如切换器或路由器，例如通过网络适配器连接。
计算装置900可以实施为多种不同形式，如图所示。例如，其可以实施为标准服务器920，或在这种服务器组中实施多次。其还可以实施为机架式服务器系统924的一部分。此外，其可以实施在例如笔记本电脑922这样的个人计算机中。替换地，从计算装置900而来的部件可以与移动装置(未示出)中的其他部件组合，例如装置950。这种装置每一个可以包含计算装置900、950中的一个或多个，且整个系统可以由彼此通信的多个计算装置900、950制造。
计算装置950包括处理器952、存储器964、输入/输出装置(例如显示器954)、通信接口966和收发器968，还有其他部件。装置950还可以设置有存储装置，例如微驱动器或其他装置，以提供额外存储。部件950、952、964、954、966和968每一个使用各种总线互连，且所述部件中的一些可以安装在共用主板上或以其他方式适当安装。
处理器952可执行计算装置950中的指令，包括存储在存储器964中的指令。处理器可以实施为芯片组，其包括单独的多个模拟和数字处理器。处理器可以例如提供装置950的其他部件的协调，例如用户界面的控制，通过装置950运行的应用，和通过装置950进行的无线通信。
处理器952可以通过控制接口958和联接到显示器954的显示器接口956而与用户通信。显示器954例如可以是TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二级管)显示器，或其他适当显示器技术。显示器接口956可以包括用于驱动显示器954以向用户呈现图形和其他信息的适当电路。控制接口958可以从用户接收命令并将它们转换以用于提交到处理器952。此外，外部接口962可以提供与处理器952的通信，以便启用装置具有与其他装置的近场通信。外部接口962可以例如以一些实施方式提供有线通信，或以其他实施方式提供无线通信，且还可以使用多个接口。
存储器964在计算装置950中存储信息。存储器964可实施为一个或多个计算机可读介质、一个或多个易失存储器或一个或多个非易失存储器单元中的一个或多个。扩展存储器974也可以被设置且通过扩展接口972连接到装置950，所述扩展接口例如可以包括SIMM(Single In Line Memory Module，单直插内存模块)卡接口。这种扩展存储器974可以为装置950提供额外的存储空间，或还可以存储用于装置950的应用或其他信息。具体地，扩展存储器974可以包括执行或补充如上所述过程的指令，且还可以包括固定信息。由此，例如，扩展存储器974可以设置作为用于装置950的安全模块，且可以被编程为具有允许装置950的安全使用的指令。此外，安全应用可以经由SIMM卡与额外信息一起提供，例如以不可被入侵的方式将识别信息置于SIMM卡上。
存储器例如可以包括闪速存储器和/或NVRAM存储器，如下文所述的。在一个实施方式中，计算机程序产品具体实施在信息载体中。计算机程序产品含有在被执行时执行一个或多个方法的指令，例如如上所述的那些。信息载体是计算机或机器可读介质，例如存储器964、扩展存储器974、或处理器952上的存储器(其例如可以被接收在收发器968或外部接口962上)。
装置950可以通过通信接口966无线通信，所述通信接口可以包括数字信号处理电路(如果必要)。通信接口966可以设置为提供在各种模式或协议下的通信，例如GSM语音呼叫、SMS、EMS、或MMS报文发送、CDMA、TDMA、PDC、WCDMA、CDMA2000、或GPRS，等等。这种通信可以例如通过无线射频收发器968发生。此外，可以例如使用Bluetooth、Wi-Fi或其他这种收发器(未示出)实现短程通信。此外，GPS(全球定位系统)接收器模块970可以将额外的导航和相关的无线数据提供给装置950，其可以被运行在装置950上的应用适当使用。
装置950还可以使用音频编解码器960进行音频通信，其可以从用户接收语音信息并将其转换为可用的数字信息。音频编解码器960也可以为用户产生可听见的声音，例如通过扬声器，例如在装置950的听筒中。这种声音可以包括从语音电话呼叫而来的声音，可以包括记录的声音(例如语音消息、音乐文件等)且还可以包括通过运行在装置950上的应用产生的声音。
计算装置950可以实施为多种不同形式，如图所示。例如，其可以实施为蜂窝电话980。其还可以实施为智能电话982、个人数字助理或其他相似移动装置的一部分。
本文所述的系统和技术的各种实施方式可在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。各种实施方式可包括在可编程系统可执行和/或可解译的一个或多个计算机程序中的实施方式，所述可编程系统包括至少一个可编程处理器，其可以是专用或通常目的，其联接为从存储系统、至少一个、输入装置和至少一个输出装置接收数据和指令以及向其传递数据和指令。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，且可在高级程序的和/或面向对象的设计语言中实施和/或在组件/机器语言中实施。如在本文使用的，术语机器可读介质和计算机可读介质是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、设备和/或装置(例如磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括接收机械指令作为机器可读信号的机器可读介质。术语机器可读信号是指用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的互动，本文所述的系统和技术可在计算机上实施，所述计算机具有用于为用户显示信息的显示装置(例如CRT(阴极射线管)或LCD(液晶显示器)监视器)、键盘和点击装置(例如鼠标或追踪球)，通过其用户可向计算机提供输入。其他类型的装置可也用于提供与用户的互动；例如，提供给用户的反馈可是任何形式的传感反馈(例如视觉反馈、听觉反馈或触觉反馈)；和从用户而来的输入可以以任何形式接收，包括声音、语音或触觉输入。
本文所述的系统和技术可实施在计算系统中，所述计算系统包括后端部件例如数据服务器)，或包括中间件部件(例如应用服务器)，或包括前端部件(例如客户计算机，其具有图形用户界面或网络浏览器，通过其用户可与本文所述的系统和技术的实施方式互动)，或包括这种后端、中间件或前端部件的任何组合。系统的部件可通过数字数据通信的任何形式或介质(例如通信网络)互连。通信网络的例子包括局部区域网络(LAN)、宽区域网络(WAN)和因特网。
计算系统可包括客户端和服务器。客户端和服务器通常彼此远离且通常通过通信网络互动。客户端和服务器的关系通过运行在相应计算机上的计算机程序产生且彼此具有客户端-服务器关系。
在一些实施方式中，显示在图9中的计算装置包括传感器，其与虚拟现实(VR头盔/HMD装置990)接通。例如，包括在图9所示的计算装置950或其他计算装置上的一个或多个传感器可向VR头盔990提供输入，或通常向VR空间提供输入。传感器可包括但不限于触摸屏、加速计、陀螺仪、压力传感器、生物识别感应器、温度传感器、湿度传感器、和环境光传感器。计算装置950可使用传感器以确定计算装置在VR空间中的绝对位置和/或经检测的旋转，其可随后用作向VR空间的输入。例如，计算装置950可以并入到VR空间中作为虚拟目标，例如控制器、激光笔、键盘、武器等。在并入到VR空间中时通过用户对计算装置/虚拟目标定位可允许用户位置计算装置，以便在VR空间中以某些方式观察虚拟目标。例如，如果虚拟目标代表激光笔，则用户可操作计算装置，仿佛其是实际的激光笔。用户可让计算装置左右、上下、圆形运动等，且以与使用激光笔相似的方式使用装置。
在一些实施方式中，被包括在计算装置950上或连接到计算装置950的一个或多个输入装置可用作向VR空间的输入。输入装置可包括但不限于触摸屏、键盘、一个或多个按钮、触控板、触摸板、点击装置、鼠标、追踪球、控制杆、摄像头、麦克风、具有输入功能的耳机或耳塞、游戏控制器或其他可连接输入装置。在计算装置并入到VR空间中时用户与包括在计算装置950上的输入装置的互动可使得VR空间中发生具体的动作。
在一些实施方式中，计算装置950的触摸屏可生成为VR空间中的触摸板。用户可与计算装置950的触摸屏互动。在VR头盔中生成的互动例如作为VR空间中生成的触摸板上的运动。生成的运动可控制VR空间中的虚拟目标。
在一些实施方式中，包括在计算装置950上的一个或多个输出装置可向VR空间中的VR头盔990的用户提供输出和/或反馈。输出和反馈可是视觉的、触觉的或听觉的。输出和/或反馈可包括但不限于振动、让一个或多个灯或闪光灯打开和关闭或闪烁和/或闪光、响起警报、播放钟声、播放格却和播放音频文件。输出装置可包括但不限于振动马达、振动线圈、压电装置、静电装置、发光二极管(LED)、闪光灯和扬声器。
在一些实施方式中，计算装置950可以作为计算机产生的3D环境中的另一目标出现。通过用户与计算装置950的互动(例如旋转、摇动、接触触摸屏、让手指扫过触摸屏)可解读为与VR空间中的目标的互动。在VR空间中的激光笔的例子中，计算装置950作为计算机产生的3D环境中的虚拟激光笔出现。在用户操作计算装置950时，VR空间中的用户看到激光笔的运动。用户从计算装置950上的或VR头盔990上的VR环境中的计算装置950的互动接收反馈。
在一些实施方式中，计算装置950可以包括触摸屏。例如，用户可以具体方式与触摸屏互动，其可将触摸屏上发生的事情模仿成在VR空间中发生的事情。例如，用户可以使用夹捏类型的动作以缩放触摸屏上显示的内容。触摸屏上的这种夹捏类型的动作可使得在VR空间中提供的信息被缩放。在另一例子中，计算装置可以在计算机产生的3D环境中生成为虚拟的书。在VR空间中，书页可被显示在VR空间中且用户的手指扫过触摸屏则可被解读为是让虚拟书页翻页/翻动。在每一页翻页/翻动时，除了看到页内容改变，用户还被提供音频反馈，例如书页翻页的声音。
在一些实施方式中，除了计算装置以外的一个或多个输入装置(例如鼠标，键盘)可在计算机产生的3D环境中生成。所生成的输入装置(例如生成的鼠标，生成的键盘)可用作在VR空间生成的，以控制VR空间中的目标。
计算装置900目的是代表各种形式的数字计算机和装置，包括但不限于笔记本电脑、台式电脑、工作站、个人数字助理、服务器、刀片式服务器、大型机、和其他合适的计算机。计算装置950目的是代表各种形式的移动装置，例如个人数字助理、蜂窝电话、智能电话和其他相似的计算装置本文所示的部件、其连接和关系、和其功能仅是示例性的，且不是要限制本文所述和/或要求保护的本发明实施方式。
进一步实施方式总结于以下例子：
例子1：一种方法包括：触发运行在物理环境中的头部安装显示器(HMD)装置中虚拟环境的显示，触发代表第二虚拟目标的第一虚拟目标的显示，第一虚拟目标具有的尺寸小于第二虚拟目标的尺寸，接收用户与第一虚拟目标互动的指示，用户具有的第一尺寸大于第一虚拟目标的尺寸，和响应于与第一虚拟目标的互动触发与第二虚拟目标的互动，在与第二虚拟目标互动时用户具有的第二尺寸大于第一尺寸。
例子2：如权利要求1所述的方法，其中与第一虚拟目标的互动包括选择第一虚拟目标中的一位置。
例子3：如权利要求1或2所述的方法，其中与第二虚拟目标的互动包括响应于与第一虚拟目标的互动而在第二虚拟目标中移动到第二虚拟目标中的、与第一虚拟目标中的所述位置相对应的位置。
例子4：如权利要求1到3所述的方法，其中所述移动包括在第二虚拟目标中传送，所述第二虚拟目标对应于第一虚拟目标中的所述位置。
例子5：如权利要求1或2所述的方法，其中第一虚拟目标是地球的微型地球仪。
例子6：如权利要求1或2所述的方法，其中第一虚拟目标是包括所述位置的街景图的球体。
例子7：如权利要求6所述的方法，其中在接收到用户与第一虚拟目标互动的指示之前用户的尺寸变得较小时，第一虚拟目标改变为所述球体。
例子8：如权利要求1所述的方法，其中与第一目标的互动直接转换为与第二目标的相应互动。
例子9：如权利要求1所述的方法，其中与第一目标的互动在一段时间后转换为与第二目标的相应互动。
例子10：如权利要求1所述的方法，其中与第一目标的互动包括第一层面的互动，随后是与第二虚拟目标的第二层面的互动。
例子11：如权利要求1到10所述的方法，其中第二层面的互动相对于第一层面的互动更接近地平面。
例子12：如权利要求1所述的方法，其中第二虚拟目标与第二虚拟目标相同。
例子13：一种方法，包括：触发运行在物理环境中的头部安装显示器(HMD)装置中虚拟环境的显示，触发与第一控制器相关的第一虚拟目标的显示，第一虚拟目标代表第二虚拟目标，第一虚拟目标具有的尺寸小于第二虚拟目标的尺寸，经由第二控制器选择第一虚拟目标中的一位置，以触发用户向第二虚拟目标中的一位置的移动，和接收第二虚拟目标中的互动的指示。
例子14：如权利要求13所述的方法，其中第一虚拟目标配置为固定在与第一控制器的一部分靠近的一距离处。
例子15：如权利要求13或14所述的方法，其中第一虚拟目标配置为响应于第一控制器的运动而运动。
例子16：如权利要求13到15所述的方法，其中第一虚拟目标配置为响应于使用第二控制器选择所述位置而改变状态。
例子17：如权利要求13到16所述的方法，其中在对选择所述位置做出响应时，第一虚拟目标的尺寸扩大，
例子18：如权利要求13到16所述的方法，其中在没有选择位置时第一虚拟目标的尺寸缩小。
例子19：一设备包括：头部安装显示器(HMD)装置，第一控制器和第二控制器，和处理器，其被编程为：触发运行在物理环境中的头部安装显示器(HMD)装置中虚拟环境的显示，触发与第一控制器相关的第一虚拟目标的显示，第一虚拟目标代表第二虚拟目标，第一虚拟目标具有的尺寸小于第二虚拟目标的尺寸，经由第二控制器选择第一虚拟目标中的一位置，以触发用户向第二虚拟目标中的一位置的移动，和接收第二虚拟目标中的互动的指示。
例子20：如权利要求19所述的系统，其中第一虚拟目标配置为响应于使用第二控制器选择所述位置而改变状态。
已经描述了多个实施例。然而，应理解可以在不脱离本发明精神和范围的情况下做出各种修改。
此外，图中所示的逻辑流不要求所示的具体顺序，或连续的顺序，以实现期望的结果。此外，对于所述流，可以提供其他步骤，或可以取消步骤，且可以向所述系统添加其他部件或从其去除其他部件。
方法步骤可以通过一个或多个可编程处理器执行，所述处理器通过在输入数据上操作且产生输出而执行计算机程序以执行功能。方法步骤还可以通过特殊目的逻辑电路执行，且设备可以实施为特殊目的逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(现场可编程门阵列)。
本文使用的术语例如但不限于“大约”、“基本上”、“大致”等表示不需要其精确值或范围且不需要具体设定。如在本文使用的，如上所述的术语对本领域技术人员来说具有自有的和即时的意义。
而且，本文中术语的使用(例如上、下、顶、底、侧、端、前、后等)是对当前所述或所示的取向做出的参考。如果相对于另一取向描述，则应理解这种术语必须相应地改变。
进一步地，在本说明书和所附权利要求中，单数形式“一”、和“所述”并不排出多个的含义，除非在上下文另有明确说明。而且，连词(例如“和”、“或”、和“和/或”)是包含性的，除非在上下文另有明确说明。例如，“A和/或B”包括仅、仅B、和A与B。
另外，各种图中所示的连接线和连线目的是表示各种元件之间的示例性功能关系和/或物理或逻辑连接。应注意，可以存在许多替换的和/或额外的功能关系、物理连接或逻辑连接。而且，对于实施本发明来说没有必不可少的项目或部件，除非该元件被具体描述为“必不可少”或“关键”。另外，图和/或未按比例绘制，而是为了清楚展示和描述而绘制。
虽然已经在本文描述了某些示例性方法、设备和制造物品，但是本专利的覆盖范围并不限于此。应理解，本文采用的术语目的是描述具体方面，且不是限制性的。相反，本专利覆盖所有落入本专利权利要求范围的方法、设备和制造物品。

Claims (20)

1.一种方法，包括：
触发运行在物理环境中的头部安装显示器(HMD)装置中虚拟环境的显示；
触发代表第二虚拟目标的第一虚拟目标的显示，第一虚拟目标具有的尺寸小于第二虚拟目标的尺寸；
接收用户与第一虚拟目标互动的指示，用户具有的第一尺寸大于第一虚拟目标的尺寸；和
响应于与第一虚拟目标的互动，触发与第二虚拟目标的互动，在与第二虚拟目标互动时用户具有的第二尺寸大于第一尺寸。
2.如权利要求1所述的方法，其中与第一虚拟目标的互动包括选择第一虚拟目标中的一位置。
3.如权利要求2所述的方法，其中与第二虚拟目标的互动包括响应于与第一虚拟目标的互动而在第二虚拟目标中移动到第二虚拟目标中的、与第一虚拟目标中的所述位置相对应的位置。
4.如权利要求3所述的方法，其中所述移动包括在第二虚拟目标中传送，所述第二虚拟目标对应于第一虚拟目标中的所述位置。
5.如权利要求2所述的方法，其中第一虚拟目标是地球的微型地球仪。
6.如权利要求2所述的方法，其中第一虚拟目标是包括所述位置的街景图的球体。
7.如权利要求6所述的方法，其中在接收到用户与第一虚拟目标互动的指示之前用户的尺寸变得较小时，第一虚拟目标改变为所述球体。
8.如权利要求1所述的方法，其中与第一虚拟目标的互动直接转换为与第二虚拟目标的相应互动。
9.如权利要求1所述的方法，其中与第一虚拟目标的互动在一段时间后转换为与第二虚拟目标的相应互动。
10.如权利要求1所述的方法，其中与第一虚拟目标的互动包括第一层面的互动，随后是与第二虚拟目标的第二层面的互动。
11.如权利要求10所述的方法，其中处于第二层面互动的用户小于处于第一层面互动的用户。
12.如权利要求1所述的方法，其中第一虚拟目标与第二虚拟目标相同。
13.一种方法，包括：
触发运行在物理环境中的头部安装显示器(HMD)装置中虚拟环境的显示；
触发与第一控制器相关的第一虚拟目标的显示，第一虚拟目标代表第二虚拟目标，第一虚拟目标具有的尺寸小于第二虚拟目标的尺寸；
经由第二控制器选择第一虚拟目标中的一位置，以触发用户向第二虚拟目标中的一位置的移动；和
接收在第二虚拟目标中互动的指示。
14.如权利要求13所述的方法，其中第一虚拟目标配置为固定在与第一控制器的一部分靠近的一距离处。
15.如权利要求13所述的方法，其中第一虚拟目标配置为响应于第一控制器的运动而运动。
16.如权利要求13所述的方法，其中第一虚拟目标配置为响应于使用第二控制器选择所述位置而改变状态。
17.如权利要求16所述的方法，其中在对选择所述位置做出响应时，第一虚拟目标的尺寸扩大。
18.如权利要求16所述的方法，其中在没有选择位置时，第一虚拟目标的尺寸缩小。
19.一种系统，包括:
头部安装显示器(HMD)装置；
第一控制器和第二控制器；和
处理器，被编程为：
触发在物理环境中运行的HMD装置中虚拟环境的显示；
触发与第一控制器相关的第一虚拟目标的显示，第一虚拟目标代表第二虚拟目标，第一虚拟目标具有的尺寸小于第二虚拟目标的尺寸；
经由第二控制器选择第一虚拟目标中的一位置，以触发用户向第二虚拟目标中的一位置的移动；和
接收在第二虚拟目标中互动的指示。
20.如权利要求19所述的系统，其中第一虚拟目标配置为响应于使用第二控制器选择所述位置而改变状态。
CN201780002054.3A 2016-11-15 2017-11-15 虚拟现实中的位置仪 Active CN108604123B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662422563P 2016-11-15 2016-11-15
US62/422,563 2016-11-15
PCT/US2017/061816 WO2018093912A1 (en) 2016-11-15 2017-11-15 Location globe in virtual reality

Publications (2)

Publication Number Publication Date
CN108604123A true CN108604123A (zh) 2018-09-28
CN108604123B CN108604123B (zh) 2023-03-17

Family

ID=60629806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780002054.3A Active CN108604123B (zh) 2016-11-15 2017-11-15 虚拟现实中的位置仪

Country Status (8)

Country Link
US (1) US10635259B2 (zh)
EP (1) EP3542248B1 (zh)
JP (1) JP6778815B2 (zh)
KR (1) KR102251252B1 (zh)
CN (1) CN108604123B (zh)
DE (2) DE112017005753T5 (zh)
GB (1) GB2561738B (zh)
WO (1) WO2018093912A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309243A (zh) * 2020-03-05 2020-06-19 Oppo广东移动通信有限公司 一种信息显示方法、装置及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10168798B2 (en) * 2016-09-29 2019-01-01 Tower Spring Global Limited Head mounted display
US10926056B2 (en) * 2017-09-14 2021-02-23 Advanced Micro Devices, Inc. Method, apparatus and system for mitigating motion sickness in a virtual reality environment
CN113498531A (zh) * 2019-03-06 2021-10-12 麦克赛尔株式会社 头戴式信息处理装置以及头戴式显示系统
US12026298B2 (en) 2020-01-15 2024-07-02 British Telecommunications Public Limited Company United Interaction-based rendering of spatial environments
US20210358294A1 (en) * 2020-05-15 2021-11-18 Microsoft Technology Licensing, Llc Holographic device control
US11747617B2 (en) * 2020-07-24 2023-09-05 Padula Rehabilitation Technologies, Llc Systems and methods for a parallactic ambient visual-field enhancer
US11206313B1 (en) 2020-09-09 2021-12-21 Oracle International Corporation Surrogate cache for optimized service access with compact user objects and offline database updates
US20230418466A1 (en) * 2020-10-26 2023-12-28 Emmanuel Proulx Keyboard mapped graphical user interface systems and methods
JP1719677S (ja) * 2021-08-26 2022-07-13 情報表示機能付き電子計算機
WO2024101038A1 (ja) * 2022-11-11 2024-05-16 株式会社Ｎｔｔドコモ アバター移動装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009133531A2 (en) * 2008-05-01 2009-11-05 Animation Lab Ltd. Device, system and method of interactive game
CN103221953A (zh) * 2010-09-23 2013-07-24 诺基亚公司 在增强现实中用于分组内容的方法，装置和计算机程序产品
CN105425955A (zh) * 2015-11-06 2016-03-23 中国矿业大学 多用户沉浸式全互动虚拟现实工程培训系统
CN107995964A (zh) * 2015-01-28 2018-05-04 Ccp公司 用于经由虚拟控制对象接收手势输入的方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL1029724C1 (nl) * 2005-08-12 2005-10-17 Erwin Nikkels Altitude Ranking: het waarderen van data afhankelijk van de 'hoogte'.
CN104508600B (zh) * 2012-07-27 2017-06-13 日本电气方案创新株式会社 三维用户界面装置及三维操作方法
WO2014145166A2 (en) 2013-03-15 2014-09-18 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
US9766713B2 (en) * 2015-09-08 2017-09-19 Unity IPR ApS System and method for providing user interface tools

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009133531A2 (en) * 2008-05-01 2009-11-05 Animation Lab Ltd. Device, system and method of interactive game
CN103221953A (zh) * 2010-09-23 2013-07-24 诺基亚公司 在增强现实中用于分组内容的方法，装置和计算机程序产品
CN107995964A (zh) * 2015-01-28 2018-05-04 Ccp公司 用于经由虚拟控制对象接收手势输入的方法和系统
CN105425955A (zh) * 2015-11-06 2016-03-23 中国矿业大学 多用户沉浸式全互动虚拟现实工程培训系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
THIES PFEIFFER: "《youtube》", 25 January 2010 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309243A (zh) * 2020-03-05 2020-06-19 Oppo广东移动通信有限公司 一种信息显示方法、装置及存储介质

Also Published As

Publication number Publication date
DE212017000252U1 (de) 2019-06-28
EP3542248A1 (en) 2019-09-25
WO2018093912A1 (en) 2018-05-24
US10635259B2 (en) 2020-04-28
KR20190027898A (ko) 2019-03-15
DE112017005753T5 (de) 2019-08-22
EP3542248B1 (en) 2023-07-26
KR102251252B1 (ko) 2021-05-12
CN108604123B (zh) 2023-03-17
GB2561738A (en) 2018-10-24
GB201807762D0 (en) 2018-06-27
JP6778815B2 (ja) 2020-11-04
US20180136816A1 (en) 2018-05-17
GB2561738B (en) 2021-10-13
JP2019530064A (ja) 2019-10-17

Similar Documents

Publication Publication Date Title
CN108604123A (zh) 虚拟现实中的位置仪
EP3997552B1 (en) Virtual user interface using a peripheral device in artificial reality environments
EP3548989B1 (en) Generating virtual notation surfaces with gestures in an augmented and/or virtual reality environment
EP3414643B1 (en) Laser pointer interactions and scaling in virtual reality
EP3384365B1 (en) Teleportation in an augmented and/or virtual reality environment
US20190187876A1 (en) Three dimensional digital content editing in virtual reality
EP3229107B1 (en) Massive simultaneous remote digital presence world
CN107533374A (zh) 虚拟现实中的头部、手势和触摸输入的动态切换和合并
CN107646098A (zh) 用于在虚拟现实中跟踪手持式设备的系统
US20200387286A1 (en) Arm gaze-driven user interface element gating for artificial reality systems
CN108604119A (zh) 在增强和/或虚拟现实环境中的虚拟项的共享
US10921879B2 (en) Artificial reality systems with personal assistant element for gating user interface elements
KR101790592B1 (ko) 관광드론을 이용한 증강현실 관광 시스템 및 방법
US20170228931A1 (en) Limited field of view in virtual reality
EP3321777A1 (en) Dragging virtual elements of an augmented and/or virtual reality environment
US11086475B1 (en) Artificial reality systems with hand gesture-contained content window
US20200388247A1 (en) Corner-identifiying gesture-driven user interface element gating for artificial reality systems
US10852839B1 (en) Artificial reality systems with detachable personal assistant for gating user interface elements
JP7480388B2 (ja) ヘッドマウント情報処理装置
JP2018072604A (ja) Ｖｒ酔いを抑制するための方法、当該方法をコンピュータに実行させるためのプログラムおよび、情報処理装置
JP6227732B1 (ja) 仮想空間において入力を支援するための方法および装置、ならびに当該方法をコンピュータに実行させるプログラム
CN108700944A (zh) 与在虚拟现实环境中的运动有关的系统和方法
JP2018049629A (ja) 仮想空間において入力を支援するための方法および装置、ならびに当該方法をコンピュータに実行させるプログラム
US20230367403A1 (en) Terminal device, virtual object manipulation method, and virtual object manipulation program
WO2020031493A1 (ja) 端末装置および端末装置の制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant