CN108700941A - 用于在虚拟现实环境中对准组件的方法和设备 - Google Patents

用于在虚拟现实环境中对准组件的方法和设备 Download PDF

Info

Publication number
CN108700941A
CN108700941A CN201780011132.6A CN201780011132A CN108700941A CN 108700941 A CN108700941 A CN 108700941A CN 201780011132 A CN201780011132 A CN 201780011132A CN 108700941 A CN108700941 A CN 108700941A
Authority
CN
China
Prior art keywords
hand held
held controller
input
controller
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780011132.6A
Other languages
English (en)
Other versions
CN108700941B (zh
Inventor
戴维·迪尔曼
春·亚特·弗兰克·李
埃里卡·莫尔斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202310252373.7A priority Critical patent/CN116360604A/zh
Publication of CN108700941A publication Critical patent/CN108700941A/zh
Application granted granted Critical
Publication of CN108700941B publication Critical patent/CN108700941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了用于在虚拟现实环境中对准组件的系统、装置、方法、计算机程序产品和电子设备。示例方法包括：检测来自虚拟现实系统的手持控制器的第一输入；响应于检测到所述第一输入，指示用户将手持控制器定向在指定方向上；检测来自所述手持控制器的第二输入；以及响应于检测所述第二输入，存储表示所述手持控制器的对准的对准数据。

Description

用于在虚拟现实环境中对准组件的方法和设备
相关申请的交叉引用
本申请是于2017年5月12日提交的标题为“METHODS AND APPARATUS TO ALIGNCOMPONENTS IN VIRTUAL REALITY ENVIRONMENTS”的美国非临时专利申请No.15/594,186的继续部分并且要求其优先权，该美国非临时专利申请要求于2016年5月13日提交的标题为“METHODS AND APPARATUS TO ALIGN COMPONENTS IN VIRTUAL REALITY ENVIRONMENTS”的美国临时专利申请No.62/335,829的优先权，其公开内容通过引用整体地并入在本文中。
本申请也要求于2016年5月13日提交的美国临时专利申请No.62/335,829的优先权，其公开内容通过引用整体地并入在本文中。
技术领域
本公开一般涉及虚拟现实(VR)环境，并且更具体地，涉及用于在VR环境中对准组件的方法和设备。
背景技术
虚拟现实(VR)系统为用户生成沉浸式虚拟环境。例如，沉浸式环境可以是三维(3D)的并且可包括用户可以与之交互的多个虚拟对象。用户可经由各种显示装置体验沉浸式虚拟环境，所述各种显示装置诸如例如包括用户在观看显示装置时看的显示器、眼镜或护目镜的头盔或其它头戴式装置。
一旦沉浸在3D虚拟环境中，通过以物理方式移动和/或操纵电子装置来与该虚拟环境交互并且使与该虚拟环境的交互个性化，用户就可穿过该虚拟环境并且移动到虚拟环境的其它区域。例如，VR系统可包括用于跟踪用户的头或身体移动的传感器。附加地，VR系统可包括包括传感器和其它此类电子组件的手持装置。用户可使用此手持装置来在虚拟环境中导航并且与虚拟环境交互。
发明内容
一些方面执行方法，所述方法包括：检测来自虚拟现实系统的手持控制器的第一输入；响应于检测到第一输入，指示用户将手持控制器定向在指定方向上；检测来自手持控制器的第二输入；以及响应于检测到第二输入，存储表示手持控制器的对准的对准数据。
一些方面包括包含非暂时性存储介质的计算机程序产品，所述计算机程序产品包括代码，所述代码在由被配置成产生虚拟现实环境的虚拟现实系统的处理电路执行时使处理电路执行方法，所述方法包括：检测来自虚拟现实系统的手持控制器的第一输入；响应于检测到第一输入：将手持控制器通信地耦合到虚拟现实系统的头戴式显示器并且指示用户将手持控制器定向在指定方向上；检测来自手持控制器的第二输入；以及响应于检测到第二输入，存储表示手持控制器的对准的对准数据。
一些方面包括被配置成产生虚拟现实环境的电子设备，所述电子设备包括存储器和耦合到存储器的控制电路，所述控制电路被配置成：检测来自虚拟现实系统的手持控制器的第一输入，响应于检测到第一输入：经由无线信号将手持控制器通信地耦合到虚拟现实系统的头戴式显示器，并且指示用户将手持控制器定向在指定方向上，检测来自手持控制器的第二输入，以及响应于检测到第二输入：确定手持控制器的控制器定向，确定头戴式显示器的显示器定向；并且存储表示手持控制器的对准的对准数据。
一些方面执行方法，所述方法包括：检测来自虚拟现实系统的手持控制器的输入，响应于输入而将手持控制器通信地耦合到虚拟现实系统的头戴式显示器，响应于将手持控制器通信地耦合到头戴式显示器而在虚拟现实场景中显示与手持控制器相关联的第一符号和与头戴式显示器相关联的第二符号，以及当第一符号在虚拟现实场景中与第二符号至少部分地重叠时存储表示手持控制器与头戴式显示器对准的数据。
一些方面执行方法，所述方法包括：检测来自虚拟现实系统的手持控制器的输入，响应于输入而将手持控制器通信地耦合到虚拟现实系统的头戴式显示器，在检测到输入的同时指示用户将头戴式显示器定向在指定方向上，在虚拟现实场景中显示表示头戴式显示器的定向的指示器，以及当不再检测到输入时存储表示头戴式显示器的对准的数据。
根据一个方面计算机可读介质已记录并在其上具体实现了指令，所述指令当由计算机系统的处理器执行时，使计算机系统执行本文中所公开的方法和过程中的任一个。
在下面的附图和描述中阐述一个或多个实施方式的细节。其它特征从本说明书和附图中并且从权利要求书中将是显而易见的。
附图说明
图1是根据本公开的可以用于在VR环境中对准组件的示例VR系统的框图。
图2是图示根据本公开的教导的示例头戴式显示器(HMD)的示意图。
图3是图示根据本公开的教导的示例手持控制器的示意图。
图4是表示可以用于实现HMD的示例方法的流程图。
图5是表示可以用于实现手持控制器的示例方法的流程图。
图6是示出示例目标和示例光标的示例VR场景。
图7是示出示出示例目标和示例光标的示例VR场景的示例交互。
图8A和图8B顺序地图示HMD与VR场景的示例对准。
图9是表示可以用于实现HMD的示例方法的另一流程图。
图10是表示可以用于实现HMD的示例方法的再一个流程图。
图11是示出HMD和手持控制器的示例指向的示例VR场景。
图12是可以用于实现本文中所公开的示例的示例计算机装置和示例移动计算机装置的框图。
具体实施方式
现在将详细地参考本公开的非限制性示例，其示例被图示在附图中。在下面通过参考附图对示例进行描述，其中相似的附图标记指代相似的元件。当相似的附图标记被示出时，不重复相应的描述，并且感兴趣的读者参考先前讨论的图以得到相似的元件的描述。
转向图1，示出了根据本公开的教导的用于创建三维(3D)虚拟现实(VR)环境并与之交互的示例VR系统100的框图。一般而言，系统100提供使得用户能够访问、观看、使用和/或与本文中描述的示例交互的3D VR环境和VR内容。系统100可以为用户提供用于使用例如眼睛凝视和/或VR环境内的移动来访问内容、应用、虚拟对象和VR控件的选项。图1的示例VR系统100包括头戴式显示器(HMD)110和手持控制器112。另外示出的是正在佩戴HMD 110并握着手持控制器112的用户105。
使用本文中所公开的示例，用户105可使HMD 110和控制器112彼此对准。例如，可在初始化过程期间或者为了校正HMD 110与控制器112之间随着时间的推移的漂移而执行对准。通过使HMD 110和控制器112彼此对准，控制器112的表示在HMD 110内的VR环境中的定位与实际控制器112相对于HMD 110的位置对准。附加地，HMD 110和控制器112中的一个或两个的对准可相对于VR场景漂移。本文中所公开的实施例可用于将HMD 110和控制器112中的一个或两个重新对准到VR场景。
在一些实施例中，HMD 110和控制器112各自独立地(例如，使用单独的惯性运动单元)测量移动和/或旋转变化。使用这些测量，HMD 110和控制器112各自独立地跟踪它们自己的定向和/或姿态。在一些实施例中，姿态包括位置和定向。例如，位置可通过包括向前/向后(X坐标)、右/左(Y坐标)和向上/向下(Z坐标)的三个自由度(3DOF)来表示，并且定向可包括三个旋转分量，诸如俯仰(即，绕Y轴的旋转)、偏航(即，绕Z轴的旋转)和横摇(即，绕X轴的旋转)。因此，在一些实施例中，姿态通过包括向前/向后(X坐标)、右/左(Y坐标)、向上/向下(Z坐标)、俯仰(即，绕Y轴的旋转)、偏航(即，绕Z轴的旋转)和横摇(即，绕X轴的旋转)的六个自由度(6DOF)来表示。尽管在HMD 110和控制器112的姿态的对准方面对本文中的许多示例进行描述，然而其它实施例也是可能的。例如，一些实施例对准HMD 110和控制器112的位置或定向中的一个或另一个。本文中描述的技术的实施例使控制器112和/或HMD 110彼此对准和/或与VR场景对准。
随着时间的推移，当HMD 110和控制器112独立地跟踪它们的姿态时，数值偏差可累积从而使HMD 110和控制器112的对准漂移。例如，在一定时间之后，控制器112在真实空间中相对于HMD 110的姿态可以不同于控制器112的虚拟表示在VR环境中相对于HMD 110的虚拟表示的姿态。
因此，用户105可以认为他们正在将控制器112指向相对于在该方向上看的特定方向(例如，用他们的眼睛一直向前看，和/或通过一直向前指向他们的HMD 110)。然而，实际上，用户105可能正在看着并指向略微不同的方向。此效果被称为漂移，并且可以使用户105在与VR环境中的虚拟对象交互时遇到一些困难。因此，在本文中公开了使得用户能够在例如VR应用启动期间和/或稍后在操作期间容易地将HMD 110与控制器112对准的示例。对准过程在HMD 110中将控制器112的姿态调整成与HMD 110的姿态对准。在一些示例中，对准与HMD 110和控制器112经由例如短距离无线信号诸如 等的通信耦合一起发生。以这种方式，可使用输入装置的单次致动(例如，将按钮按压成激活状态)来触发HMD 110和控制器112的通信耦合和对准。在一些实施例中，也在通信耦合之后执行对准过程。例如，在一些实施例中，在用于执行初始对准的VR会话期间和/或然后稍后为了重新对准而执行对准过程多次。虽然为了简单，在本文中参考按钮和按钮按压，但是根据本公开，可以使用任何其它输入装置来触发通信耦合和对准。例如，跟踪板等上的触摸或手势或任何其它可检测的输入。
示例对准过程包括：检测对第一组件(例如，手持控制器112)的按钮的按压，响应于按钮按压而将控制器112通信地耦合到第二组件(例如，HMD 110)，响应于通信耦合而在VR场景中显示与HMD 110相关联的第一符号(例如，目标114)和与控制器112相关联的第二符号(例如，光标115)。在一些示例中，光标115可被表示为激光指示器或与手持控制器相关联(或者从其发射)的光线。用户被指示将HMD和/或他们的眼睛朝向第一符号定向，并且将手持控制器112指向第一符号。另外当目标114和光标115在VR场景中重叠时存储表示控制器112与HMD 110对准的数据(也可被称为对准数据)。在一些示例中，VR场景在目标114和光标115被显示在变化的VR场景中的同时改变。
在一些示例中，对准数据表示控制器112相对于HMD 110的姿态的至少一个分量中的校正。例如，当用户试图将控制器112和HMD 110两者指向指定方向(例如，直接向前、向右等)时；控制器112可以被指向与HMD 110不同的方向。因此，示例对准数据表示要应用于由系统100的HMD 110或另一组件维护的控制器112的3DoF或6DoF参考模型的一个或多个组件的偏移。可以通过将对准数据的值添加到例如3DoF或6DoF坐标使得测量的姿态被改变为校正的姿态来应用对准数据。例如，对准数据可以表示HMD和手持控制器的姿态之间的差异。可以类似地在HMD姿态与VR场景的原点或指定对准点之间应用对准数据(参见图9)。
在一些示例中，可能需要按压并保持按钮。在一些情况下，控制器112和HMD 110的角色是相反的，例如，在HMD 110上而不是在控制器112上按压按钮。或者，需要在手持控制器112和HMD 110两者上按压并保持按钮。
可以使用可用于确定HMD 110的姿态的发射器或图像(其中的一个被指定在附图标记116处)和/或使用可用于确定HMD 110的定向的传感器或相机(其中的一个被指定在附图标记118处)来确定HMD 110的姿态(例如，在6DoF中或在3DoF中)。HMD 110可包括可用于感测发射器/图像116的相机240(参见图2)，和/或用于由传感器/相机118感测的发射器245(参见图2)。可以使用任何数量和/或类型的发射器、图像、传感器和/或相机，并且可以使用利用这些来确定HMD 110的姿态的任何方法。可同样地使用传感器/相机118和手持控制器112的发射器320(参见图3)来确定手持控制器112的姿态。姿态(包括位置和/或定向)的确定可以由VR系统100的HMD 110或另一装置(例如，在下面讨论的装置131-133中的任一个)来执行，和/或可以由图12的示例计算装置P00和P50实现。
如图1中所示，示例VR系统100包括可通过网络120交换数据的任何数量的计算和/或电子装置。这些装置可以表示客户端或服务器，并且可经由网络120或任何其它附加和/或替代网络进行通信。示例客户端装置包括但不限于移动装置131(例如，智能电话、个人数字助理、便携式媒体播放器等)、电子平板(未示出)、膝上型电脑或上网本132、相机(未示出)、HMD 110、桌面型计算机133、VR手持控制器112、游戏装置(未示出)，以及可使用网络120或其它网络来与其它计算或电子装置或系统进行通信或者可以用于访问VR内容或者在VR环境中操作的任何其它电子或计算装置。装置110、112和131-133可以表示客户端或服务器装置。装置110、112和131-133可执行客户端操作系统，以及可在包括在每个相应的装置110、112和131-133中或者与每个相应的装置110、112和131-133相结合地包括的显示装置上访问、渲染、提供或者显示VR内容的一个或多个客户端应用。
在一些示例中，移动装置131可被放置、定位或者以其它方式实现在HMD 110内或者与HMD 110相结合地操作来提供可被用作用于HMD 110的屏幕的显示器。移动装置131可附加地或替选地包括用于执行VR应用的硬件和/或软件。
图2是尤其可以用于实现图1的示例HMD 110的示例HMD 200的示意图。图2的示例HMD 200包括光学模块205、处理器模块210和感测模块215。
光学模块205包括但不限于使得HMD 200的佩戴者能够观看显示器220的透镜、镜子、涂层、孔径等。示例显示器220为HMD 200的佩戴者的相应眼睛显示并排图像和/或视频。在其它示例中，两个(或更多个)显示器220分别用于共同地显示并排图像和/或视频。
为了控制HMD 200，图2的示例处理器模块210包括形式为被编程或者配置成执行存储在存储器230中的机器可读指令的微控制器、中央处理单元(CPU)和/或图形处理单元(GPU)的处理器225。在一些示例中，指令当被执行时，使处理器225尤其实现VR应用，确定HMD 200和/或控制器112的姿态，和/或执行对准过程以将HMD 200与控制器112对准。
在一些示例中，对准数据和/或参数被存储在存储器230中。在一些实施例中，对准数据表示在假定了手持控制器在被按与HMD 200对准的意图保持的对准过程期间HMD 200被定向于的第一方向与手持控制器被定向于的第二方向之间的差异或偏移。例如，对准数据可表示相对于HMD 200的前表面的方向(例如，与HMD 200的表面正交的矢量)的控制器的纵轴之间的偏移。因此，示例对准数据能指示用户在指向控制器并且看着VR场景中的相同点时无意地将控制器112向右指向1度并向上指向2度。执行VR应用的HMD 200或另一装置131-133可使用对准数据来校正手持控制器的已测量到的定向，使得它正向左指向1度并向下指向2度，使得手持控制器现在更准确地指向用户正在看着的东西。在一些示例中，佩戴者正在看着的东西通过HMD的位置来确定。在其它示例中，佩戴者正在看着的东西使用眼睛跟踪来确定。对准数据和/或参数也可补偿HMD的目标和手持控制器的目标由于例如累积数值偏差、随着时间的推移的机械变化、用户疲劳等而导致的任何漂移。在一些实施例中。对准数据包括可用于对准控制器和HMD的姿态的数据(例如，用于定向和位置两者的偏移)。
在一些实施例中，对准数据表示用于控制器和/或参考HMD坐标系的参考控制器坐标系。例如，参考控制器坐标系可以存储当用户在对准过程期间像指示的那样向前瞄准控制器时与控制器的纵轴对准的X轴，然而参考HMD坐标系可以存储当用户在对准过程期间像指示的那样面向前方时与HMD的前表面面向的方向对准的X轴。
为了将示例HMD 200通信地耦合到手持控制器，诸如图1的控制器112，图2的示例HMD 200包括通信模块235。示例通信模块235是根据蓝牙标准的短距离无线通信模块。然而，可以使用其它通信信号和/或协议，诸如Wi-Fi或通用串行总线(USB)。
为了帮助确定HMD 200的定向，图2的示例感测模块215可包括可用于使用图1的示例发射器/图像116来确定HMD 200的定向的前向传感器或相机240。附加地或替选地，示例感测模块215可包括VR系统的其它装置诸如示例装置131-133可使用来确定HMD 200的定向的发射器245。一些实施例包括可用于确定HMD 200的定向和/或检测HMD 200的运动的惯性测量单元(IMU)260。在各种实施例中，IMU260包括各种类型的传感器，诸如例如加速度计、陀螺仪、磁力计和其它此类传感器。可以基于由包括在IMU 260中的传感器提供的数据来检测并跟踪HMD 200的位置和定向。所检测到的HMD 200的位置和定向可以允许系统进而检测并跟踪用户的头部凝视方向和移动。
为了确定佩戴者正在凝视的方向，示例处理器模块210包括眼睛跟踪模块250。使用任何数量和/或类型的算法、方法和逻辑，图2的处理器模块210处理佩戴者的眼睛中的一个或多个的图像以确定佩戴者正在凝视的方向。
为了使得用户能够控制或者操作HMD 200，示例处理器模块210包括输入装置255。输入装置255的示例包括按钮和其它用户可致动控件。HMD 200的示例输入装置255可由用户操作来经由通信模块235和315(参见图3)发起HMD 200与手持控制器(未示出)的通信耦合，并且发起HMD 200和手持控制器的对准。
可以使用任何数量和/或类型的组件和/或机器可读指令来实现模块205、210和215及其中的元件。在一些示例中，处理器模块210使用诸如可通信地和/或以物理方式耦合到HMD 200的移动电话或智能电话的移动装置来实现。感测模块215可以附加地由移动装置实现。
图3图示可以用于实现图1的示例手持控制器112的示例手持控制器300。为了控制图3的手持控制器300，示例手持控制器300包括例如形式为被编程或者配置成执行存储在存储器310中的机器可读指令的CPU或微控制器的处理器305。在一些示例中，指令当被执行时，使处理器305尤其与HMD 110、200交互，并且操作通信模块315。
为了将示例手持控制器300通信地耦合到HMD 110、200，图3的示例手持控制器300包括通信模块315。示例通信模块315是根据蓝牙标准的短距离无线通信模块。然而，可以使用其它通信信号和/或协议，诸如Wi-Fi、USB等。
为了帮助确定手持控制器300的定位，图3的示例手持控制器300包括VR系统的其它装置诸如示例装置110、200和131-133可使用来确定手持控制器300的定向的发射器320。在一些示例中，反射器可以被实现来反射由其它装置发射的光以确定控制器300的定向。附加地或替选地，手持控制器300的一些实施例包括惯性测量单元(IMU)330以跟踪手持控制器300的定向和/或运动。IMU 330可以类似于HMD 200的IMU 260。
为了使得用户能够控制或者操作手持控制器300，示例手持控制器300包括可由用户致动的输入装置325。输入装置325的示例是用户可以按压以致动的按钮。手持控制器300的示例输入装置325可由用户操作来经由通信模块235和315发起手持控制器300和HMD的通信耦合，并且发起手持控制器300和HMD的对准。
为了为传感器/相机240和/或可确定手持控制器300的定位的其它装置131-133提供光照，示例手持控制器300包括发射器320。发射器320可以发射例如可见光和/或红外光。
图4是可以例如作为由一个或多个处理器诸如图12的示例处理器执行的机器可读指令被实现来实现本文中所公开的示例HMD的示例过程400的流程图。将参考示例HMD 200描述示例方法400，但是可以使用示例方法400来实现其它HMD。图4的示例方法400包括处理器225在HMD 200上启动VR模式(块405)，并且在例如蓝牙发现模式下启动通信模块235(块410)。
如果用户致动诸如输入装置255的输入装置(例如，通过按压并保持按钮)(块415)，则通信模块235扫描附近的手持控制器(块420)。如果找到最近连接的手持控制器(块425)，则通信模块235尝试与该手持控制器连接(块430)。在一些示例中，不需要致动输入装置255，而是替代地，HMD 200当在VR模式下时保持在监听模式下，从而主动地监听来自手持控制器的蓝牙查询。
如果成功地获得通信(块435)，则处理器225在显示器220(在HMD内)上的较大VR场景620(参见图7)的一部分615(参见图6)中发起目标605(参见图6)的显示，并向用户指示要看着目标605，使得HMD和控制器被指向相同方向，并且将已连接的手持控制器指向目标605(块440)。VR场景620的VR部分615、目标605和光标610被显示在HMD中。当光标610(参见图6)在手持控制器的控制下与目标605对准(例如，重叠)时，输入装置255(如果被致动)或输入装置325(如果被致动)被释放以指示目标605和光标610被对准(块445)，HMD和手持控制器的位置和定向被作为对准参数保存在例如存储器230中(块450)，并且VR应用被启动(块455)。在一些示例中，对准数据表示控制器112相对于HMD 110的至少一个定向分量中的校正。例如，当用户指示控制器和HMD两者被指向相同方向时，控制器112可以实际地被指向与HMD 110不同的方向。因此，示例对准数据可包括表示要应用于控制器112或HMD 110的姿态的一个或多个分量(例如，在3DoF或6DoF参考坐标系的任何分量中)的偏移的数据。可以例如使用发射器320和245、传感器/相机240和/或眼睛跟踪模块250来确定对准参数。控制从示例方法400退出直到需要执行新的通信耦合和/或对准为止，这可以通过用户请求、时间段的期满、在VR应用中发生的事件或任何其它类型的事件来触发。随后在确定手持控制器的位置和/或定向时应用诸如对准参数的对准数据，所述位置和/或定向然后可以用于确定已连接的手持控制器被指向的目标定位(或对象)。由于对准数据的应用，可更准确地确定所确定的位置和定向。因此，在一些实施方式中，也基于对准数据的应用更准确地确定目标定位(或对象)。换句话说，手持控制器在VR环境中的表示可通过使用对准数据来在确定手持控制器的定向和位置时校正先前的偏差或漂移来更准确地指向用户的预定目标。
返回到块435，如果不能建立连接，则控制从示例方法400退出直到将HMD通信地耦合和/或对准到手持控制器的新尝试被发起为止。
返回到块425，如果未找到先前连接的手持控制器，则通信模块235搜索附近的手持控制器(块460)。如果未找到附近的手持控制器(块460)，则控制从示例性方法400退出直到将HMD通信地耦合和/或对准到手持控制器的新尝试被发起为止。否则，通信模块235试图与最近的手持控制器连接(块465)，并且控制进行到块435。
图7以及类似地图11是从在该VR环境内观看VR环境的第三人的角度示出的。这些图中描绘的人在具有第三人的这个VR环境中，并且如第三人所看到的那样。
图5是可以例如被实现为由一个或多个处理器诸如图12的示例处理器执行的机器可读指令以实现本文中所公开的示例手持控制器的示例过程500的流程图。将参考示例手持控制器300描述示例方法500，但是可以使用示例方法500来实现其它手持控制器。图5的示例方法500包括等待用户致动并保持示例输入装置325(块505)。当输入装置325被致动并保持时(块505)，通信模块315在例如蓝牙发现模式下被激活(块510)，并且通信模块315扫描附近的HMD(块515)。如果找到最近连接的HMD(块520)，则通信模块315试图与该HMD连接(块525)。
如果建立了连接(块530)，则处理器305等待释放已致动的输入装置325(块535)。当确定了输入装置325已被释放(例如，按钮被释放)时，处理器305通知实现对准的HMD 110或其它VR应用(块540)，控制从方法500退出直到将控制器通信地耦合和/或对准到HMD的新尝试被发起为止。
返回到块530，如果未建立连接(块530)，则控制从示例性方法500退出直到将控制器通信地耦合和/或对准到HMD的新尝试被发起为止。
返回到块520，如果未找到先前连接的HMD，则通信模块315搜索附近的HMD(块545)。如果未找到附近的HMD(块545)，则控制从示例方法500退出直到将控制器通信地耦合和/或对准到HMD的新尝试被发起为止。否则，控制器试图与最接近的HMD连接，并且控制进行到块530。
转向图7，示出了包括图6的部分615的VR场景620。如所示，目标605和光标610被重叠在VR场景620上，并且如果用户移动他们的凝视或身体，则目标605和光标610将被显示在VR场景600的不同部分上。
图8A和图8B顺序地图示HMD与VR主屏幕(或其它VR场景元件，例如对象)的示例对准。图8A图示在HMD诸如HMD 110中示出的示例VR场景805。示例VR场景800包括主屏幕810，所述主屏幕810包括多个按钮，其中的一个被指定在附图标记815处。由于漂移，主屏幕810的中心线820相对于VR场景805的中心线825(其也是HMD的中心线)偏移。为了将HMD对准到主屏幕810，用户可以按压并保持手持控制器上的按钮。当被指示时，HMD的佩戴者看着(例如，用他们的眼睛和/或通过指向他们的HMD)主屏幕810的中心830并且释放按钮。基于由HMD捕获的对准数据，主屏幕810被快动回到VR场景(并且HMD)的中心，如图8B中所示。在图8A和图8B的示例中，为了说明的清楚描绘了仅并排偏移。可以校正其它偏移，包括例如在3DoF或6DoF参考模块的一个或多个坐标中的任一个中的偏移。此类偏移可以产生旋转、扭曲等。
图9是可以例如作为由一个或多个处理器(例如图12的示例处理器)执行的机器可读指令被实现来实现本文中所公开的示例HMD的示例过程900的流程图。将参考示例HMD200描述示例方法800，但是可以使用示例方法800来实现其它HMD。方法900的示例方法可以用于像上面关于图8A和图8B所讨论的那样执行HMD和VR场景的示例对准。示例方法900的部分类似于图4的示例方法400。因此，不在这里重复对图4和图9的相同部分的描述。替代地，感兴趣的读者往回参考图4的针对相同部分的描述。
在块905处，用户在佩戴HMD 200的同时被指示看着VR元件诸如VR对象、主屏幕等的中心，然后停止致动输入装置255(例如，通过释放按钮)。当确定了输入装置255不再被致动(块445)时，记录和存储表示HMD 110被指向的方向与VR元件的中心线的定位之间的偏移的对准数据(块450)。在块455处，VR应用被启动并且使用所存储的对准数据来校正它们的位置。例如，如图8A和图8B中所示，由按钮集合构成的主屏幕向左移位如由HMD 200的对准定义的那样与VR屏幕的中心对准(块910)。控制然后从示例方法800退出。
图10是可以例如作为由一个或多个处理器诸如图12的示例处理器执行的机器可读指令被实现来实现本文中所公开的示例HMD的示例过程1000的流程图。将参考示例HMD200描述示例方法1000，但是可以使用示例方法1000来实现其它HMD。方法1000的示例方法可以用于将手持控制器对准到HMD。示例方法1000的部分类似于图4的示例方法400。因此，不在这里重复对图4和图10的相同部分的描述。替代地，感兴趣的读者往回参考图4的针对相同部分的描述。
在块1005，用户1105(参见图11)被指示在指定方向上(例如，一直向前、向右等)看并且同时在相同定位1115(参见图11)处将控制器1110指向该方向上，然后停止致动输入装置255(例如，通过释放按下的按钮)。当确定了输入装置255不再被致动(块445)时，表示HMD200的姿态与手持控制器的姿态之间的偏移的对准数据被存储(块450)。在一些实施例中，对准数据表示HMD 200的定向与手持控制器的定向之间的偏移。在块455处，VR应用被启动并且基于对准数据改变控制器相对于HMD 110的姿态，因此它们彼此对准。
可以组合图8A、图8B、图9和图10的示例以同时地将HMD对准到VR元件(例如，主屏幕)并且以将手持控制器对准到HMD。在这种示例中，用户将被指示朝向VR元件的中心看并指向VR元件的中心。
在图4、图9和图10中，对准参数被示出为在按钮被释放之后被保存。然而，在一些示例中，当HMD正在等待按钮被释放时，可以可能暂时地存储对准参数。
本文中所公开的元件和接口中的一个或多个可以被复制、并行地实现、单个地实现，组合、划分、重新布置、省略、消除和/或以任何其它方式实现。另外，所公开的元件和接口中的任一个可以由图12的示例处理器平台P00和P50和/或一个或多个电路、可编程处理器、熔丝、专用集成电路(ASIC)、可编程逻辑器件(PLD)，现场可编程逻辑器件(FPLD)和/或现场可编程门阵列(FPGA)等实现。本文中所公开的元件和接口中的任一个可以例如作为由一个或多个处理器执行的机器可读指令被实现。可以使用、配置和/或编程诸如图12中所示的那些的控制器和/或任何其它适合的处理装置以执行和/或实行本文中所公开的示例。例如，这些接口和元件中的任一个可以用存储在有形和/或非暂时性计算机可读介质上的程序代码和/或机器可读指令加以具体实现，所述有形和/或非暂时性计算机可读介质可由处理器、计算机和/或具有处理器的机器诸如在下面连同图12一起所讨论的机器访问。机器可读指令包括例如使处理器、计算机和/或具有处理器的机器执行一个或多个特定过程的指令。可以改变方法的执行的顺序，和/或可以改变、消除、细分或者组合所描述的块和/或交互中的一个或多个。附加地，它们可以由例如单独的处理线程、处理器、装置、离散逻辑、电路等顺序地执行和/或并行地执行。
本文中所公开的示例方法例如可以被实现为由一个或多个处理器执行的机器可读指令。可以使用、配置和/或编程处理器、控制器和/或诸如图12中所示的任何其它适合的处理装置以执行和/或实行示例方法。例如，它们可以用存储在有形和/或非暂时性计算机可读介质上的程序代码和/或机器可读指令加以具体实现，所述有形和/或非暂时性计算机可读介质可由处理器、计算机和/或具有处理器的其它机器诸如在下面连同图12一起所讨论的机器访问。机器可读指令包括例如使处理器、计算机和/或具有处理器的机器执行一个或多个特定过程的指令。可以采用实现示例方法的许多其它方法。例如，可以改变执行的顺序，和/或可以改变、消除、细分或者组合所描述的块和/或交互中的一个或多个。附加地，示例方法中的任何或全部可以由例如单独的处理线程、处理器、装置、离散逻辑、电路等顺序地执行和/或并行地执行。
如本文中所使用的，术语“计算机可读介质”和“机器可读介质”被明确地定义成包括任何类型的可读介质并且明确地排除传播信号。示例计算机可读介质和机器可读介质包括但不限于以下各项中的一种或任何组合：易失性和/或非易失性存储器、易失性和/或非易失性存储器装置、紧致盘(CD)、数字通用盘(DVD)、只读存储器(ROM)、随机存取存储器(RAM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除PROM(EEPROM))、光学存储盘、光学存储装置、磁存储盘、磁存储装置、高速缓存，和/或信息被存储持续任何持续时间(例如，持续延长时间段、永久地、短暂情况、用于暂时地缓冲和/或用于信息的缓存)并且可以由处理器、计算机和/或具有处理器的其它机器访问的任何其它存储介质。
返回到图1，VR系统100可以包括存储可生成、修改和/或执行VR场景的内容和/或VR软件模块(例如，形式为VR应用144)的任何数量的VR内容系统140。在一些示例中，装置110、112和131-133以及VR内容系统140包括一个或多个处理器和一个或多个存储器装置，其可执行客户端操作系统和一个或多个客户端应用。HMD 110、控制器112、其它装置131-133或VR内容系统140可以由图12的示例计算装置P00和P50实现。
VR应用144可被配置成在装置110、112和131-133中的任一个或全部上执行。例如，HMD 110可连接到装置131-133以访问VR内容系统140上的VR内容。装置131-133可以(有线或无线地)连接到HMD 110，所述HMD 110可以提供VR内容以供显示。VR系统可以仅仅是HMD110，或者是装置131-133和HMD 110的组合。
HMD 110可以表示VR HMD、眼镜、目镜或能够显示VR内容的任何其它可佩戴装置。在操作中，HMD 110可以执行可为用户回放接收的、渲染的和/或处理的图像的VR应用144。在一些情况下，VR应用144可由装置131-133中的一个或多个托管。
在一些实施方式中，一个或多个内容服务器(例如，VR内容系统140)和一个或多个计算机可读存储装置可使用网络120来与计算装置110和131-134进行通信以向装置110和131-134提供VR内容。
在一些实施方式中，移动装置131可执行VR应用144并且为VR环境提供内容。在一些实施方式中，膝上型计算装置132可执行VR应用144并且可从一个或多个内容服务器(例如，VR内容服务器140)提供内容。一个或多个内容服务器和一个或多个计算机可读存储装置可使用网络120来与移动装置131和/或膝上型计算装置132进行通信以提供在HMD 106中显示的内容。
在HMD 106以无线方式耦合到装置102或装置104的情况下，耦合可以包括任何无线通信协议的使用。可以单独地或者相结合地使用的无线通信协议的非详尽列表包括但不限于电气与电子工程师协会802.x标准族即Wi-Fi或无线局域网(WLAN)、蓝牙、传输控制协议/互联网协议(TCP/IP)、卫星数据网络、蜂窝数据网络、Wi-Fi热点、互联网、和无线广域网(WWAN)。
在HMD 106电耦合到装置102或104的情况下，可使用在任一端具有适当的连接器以用于插入到装置102或104中的电缆。可以单独地或者相结合地使用的有线通信协议的非详尽列表包括但不限于IEEE802.3x(以太网)、电力线网络、互联网、同轴电缆数据网络、光纤数据网络、宽带或电话拨号调制解调器网络、专用通信网络(例如，专用局域网(LAN)、租用线路等)。
电缆可在两端上包括通用串行总线(USB)连接器。USB连接器可以是相同的USB类型连接器或者USB连接器可以各自是不同类型的USB连接器。各种类型的USB连接器可包括但不限于USB A型连接器、USB B型连接器、micro-USB A连接器、micro-USB B连接器、micro-USB AB连接器、USB五针Mini-b连接器、USB四针Mini-b连接器、USB 3.0A型连接器、USB 3.0B型连接器、USB 3.0Micro B连接器和USB C型连接器。类似地，电耦合可包括在任一端具有适当的连接器以用于插入到HMD 106和装置102或装置104中的电缆。例如，电缆可在两端上包括USB连接器。USB连接器可以是相同的USB类型连接器或者USB连接器可以是不同类型的USB连接器。用于将装置102或104耦合到HMD 106的电缆的任何一端可以固定地连接到装置102或104和/或HMD 106。
图12示出可以与这里所描述的技术一起使用的通用计算机装置P00和通用移动计算机装置P50的示例。计算装置P00旨在表示各种形式的数字计算机，诸如膝上型计算机、桌面型计算机、平板计算机、工作站、个人数字助理、电视、服务器、刀片服务器、大型机和其它适当的计算装置。计算装置P50旨在表示各种形式的移动装置，诸如个人数字助理、蜂窝电话、智能电话和其它类似的计算装置。这里示出的组件、它们的连接和关系以及它们的功能仅意在为示例性的，而不意在限制本文档中描述和/或要求保护的发明的实施方式。
计算装置P00包括处理器P02、存储器P04、存储装置P06、连接到存储器P04和高速扩展端口P10的高速接口P08以及连接到低速总线P14和存储装置P06的低速接口P12。处理器P02可以是基于半导体的处理器。存储器P04可以是基于半导体的存储器。组件P02、P04、P06、P08、P10和P12中的每一个使用各种总线来互连，并且可以被酌情安装在公共母板上或者以其它方式安装。处理器P02可处理在计算装置P00内执行的指令，包括存储在存储器P04中或在存储装置P06上以在外部输入/输出装置诸如耦合到高速接口P08的显示器P16上显示用于GUI的图形信息的指令。在其它实施方式中，可以酌情连同多个存储器和多个类型的存储器一起使用多个处理器和/或多个总线。另外，可以连接多个计算装置P00，其中每个装置提供必要操作的部分(例如，作为服务器组、一组刀片服务器或多处理器系统)。
存储器P04存储计算装置P00内的信息。在一个实施方式中，存储器P04是一个或多个易失性存储器单元。在另一实施方式中，存储器P04是一个或多个非易失性存储器单元。存储器P04也可以是另一形式的计算机可读介质，诸如磁盘或光盘。
存储装置P06能够为计算装置P00提供大容量存储。在一个实施方式中，存储装置P06可以是或者包含计算机可读介质，诸如软盘装置、硬盘装置、光盘装置或磁带装置、闪速存储器或其它类似的固态存储装置或装置的阵列，包括存储区域网络或其它配置中的装置。计算机程序产品可被有形地具体实现在信息载体中。计算机程序产品也可以包含指令，所述指令当被执行时，执行一个或多个方法，诸如上述的那些方法。信息载体是计算机或机器可读介质，诸如存储器P04、存储装置P06或处理器P02上的存储器。
高速控制器P08管理计算装置P00的带宽密集操作，而低速控制器P12管理较低带宽密集操作。功能的这种分配仅是示例性的。在一个实施方式中，高速控制器P08耦合到存储器P04、显示器P16(例如，通过图形处理器或加速器)，并且耦合到高速扩展端口P10，所述高速扩展端口P10可以接受各种扩展卡(未示出)。在该实施方式中，低速控制器P12耦合到存储装置P06和低速扩展端口P14。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以例如通过网络适配器耦合到一个或多个输入/输出装置，诸如键盘、指点装置、扫描仪或诸如交换机或路由器的网络装置。
如图中所示，可以以许多不同的形式实现计算装置P00。例如，它可以作为标准服务器P20被实现，或者被实现在一组此类服务器中多次。它也可以作为机架服务器系统P24的一部分被实现。此外，它可以被实现在诸如膝上型计算机P22的个人计算机中。替选地，来自计算装置P00的组件可以与移动装置(未示出)诸如装置P50中的其它组件组合。此类装置中的每一个可以包含计算装置P00、P50中的一个或多个，并且整个系统可以由彼此进行通信的多个计算装置P00、P50组成。
计算装置P50包括处理器P52、存储器P64、诸如显示器P54的输入/输出装置、通信接口P66和收发器P68以及其它组件。装置P50也可以被提供有存储装置，诸如微驱动器或其它装置，以提供附加存储。组件P50、P52、P64、P54、P66和P68中的每一个使用各种总线来互连，并且若干组件可以被酌情安装在公共母板上或者以其它方式安装。
处理器P52可执行计算装置P50内的指令，包括存储在存储器P64中的指令。处理器可以作为芯片的芯片组被实现，所述芯片包括单独的和多个模拟和数字处理器。处理器可以提供例如用于装置P50的其它组件的协调，诸如对用户界面、由装置P50运行的应用和由装置P50进行的无线通信的控制。
处理器P52可以通过耦合到显示器P54的控制接口P58和显示接口P56来与用户进行通信。显示器P54可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其它适当的显示技术。显示接口P56可以包括用于驱动显示器P54以向用户呈现图形和其它信息的适当的电路。控制接口P58可以接收来自用户的命令并且对它们进行转换以便提交给处理器P52。此外，可以提供与处理器P52通信的外部接口P62，以便使得能实现装置P50与其它装置的近区域通信。外部接口P62可以在一些实施方式中提供例如用于有线通信，或者在其它实施方式中提供用于无线通信，并且也可以使用多个接口。
存储器P64存储计算装置P50内的信息。存储器P64可作为一个或多个计算机可读介质、一个或多个易失性存储器单元或者一个或多个非易失性存储器单元中的一个或多个被实现。扩展存储器P74也可以被提供并且通过扩展接口P72连接到装置P50，所述扩展接口P72可以包括例如SIMM(单列直插存储器模块)卡接口。这种扩展存储器P74可以为装置P50提供额外的存储空间，或者也可以为装置P50存储应用或其它信息。具体地，扩展存储器P74可以包括用于执行或者补充上述的过程的指令，并且也可以包括安全信息。因此，例如，扩展存储器P74可以作为用于装置P50的安全模块被提供，并且可以被编程有允许安全地使用装置P50的指令。此外，可以连同附加信息一起经由SIMM卡提供安全应用，诸如以不可破解方式将识别信息放置在SIMM卡上。
如在下面所讨论的，存储器可以包括例如闪速存储器和/或NVRAM存储器。在一个实施方式中，计算机程序产品被有形地具体实现在信息载体中。计算机程序产品包含指令，所述指令当被执行时，执行一个或多个方法，诸如上述的那些方法。信息载体是可以例如通过收发器P68或外部接口P62接收的计算机或机器可读介质，诸如存储器P64、扩展存储器P74或处理器P52上的存储器。
装置P50可以通过通信接口P66以无线方式通信，所述通信接口P66必要时可以包括数字信号处理电路。通信接口P66可以提供用于在各种模式或协议下的通信，所述各种模式或协议诸如GSM语音呼叫、SMS、EMS或MMS消息传送、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这种通信可以例如通过射频收发器P68而发生。此外，短距离通信可以诸如使用蓝牙、Wi-Fi或其它这种收发器(未示出)来发生。此外，GPS(全球定位系统)接收器模块P70可以向装置P50提供附加导航和定位相关无线数据，其可以由在装置P50上运行的应用酌情使用。
装置P50也可以使用音频编解码器P60来可听地通信，所述音频编解码器P60可以从用户接收口语信息并且将它转换为可用的数字信息。音频编解码器P60同样地可以诸如通过扬声器例如在装置P50的听筒中为用户生成可听声音。这种声音可以包括来自语音电话呼叫的声音，可以包括记录的声音(例如，语音消息、音乐文件等)并且也可以包括由在装置P50上操作的应用生成的声音。
如图中所示，可以以许多不同的形式实现计算装置P50。例如，它可以作为蜂窝电话P80被实现。它也可以作为智能电话P82、个人数字助理或其它类似移动装置的一部分被实现。
这里描述的系统和技术的各种实施方式可以用数字电子电路、集成电路、专门地设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合加以实现。这些各种实施方式可包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，所述可编程系统包括至少一个可编程处理器，其可以是专用或通用的，耦合以从存储系统、至少一个输入装置和至少一个输出装置接收数据和指令，并且向存储系统、至少一个输入装置和至少一个输出装置发送数据和指令。
这些计算机程序(也被称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可用高级过程和/或面向对象的编程语言和/或用汇编/机器语言加以实现。如本文中所使用的，术语“机器可读介质”、“计算机可读介质”指代用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、设备和/或装置(例如，磁盘、光盘、存储器、可编程逻辑器件(PLD))，包括将机器指令作为机器可读信号来接收的机器可读介质。术语“机器可读信号”指代用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互，可在计算机上实现这里描述的系统和技术，所述计算机具有用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以及用户可用来向该计算机提供输入的键盘和指点装置(例如，鼠标或轨迹球)。其它种类的装置也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以以任何形式接收来自用户的输入，包括声、语音或触觉输入。
可以将这里描述的系统和技术实现在计算系统中，所述计算系统包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，具有用户可用来与这里描述的系统和技术的实施方式交互的图形用户界面或Web浏览器的客户端计算机)，或者此类后端、中间件或前端组件的任何组合。系统的组件可通过任何形式或介质的数字数据通信(例如，通信网络)来互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和互联网。
计算系统可包括客户端和服务器。客户端和服务器一般地彼此远离并且通常通过通信网络来交互。客户端和服务器的关系借助于在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
在一些实施方式中，图12中描绘的计算装置可包括与虚拟现实(VR头戴式耳机/HMD装置P90)对接以生成沉浸式环境的传感器。例如，包括在图12中描绘的计算装置P50或其它计算装置上的一个或多个传感器可向VR头戴式耳机P90提供输入，或者一般而言，向VR空间提供输入。传感器可包括但不限于触摸屏、加速度计、陀螺仪、压力传感器、生物计量传感器、温度传感器、湿度传感器和环境光传感器。计算装置P50可使用传感器来确定计算装置在VR空间中的绝对位置和/或检测到的旋转，其然后可被用作VR空间的输入(例如，以执行如本文中所描述的对准或者以在对准已被执行之后与VR空间交互)。例如，计算装置P50可以作为虚拟对象诸如控制器、激光指示器、键盘、武器等)被并入到VR空间中。计算装置/虚拟对象在被并入到VR空间中时由用户定位可允许用户定位该计算装置，以便在VR空间中以某些方式观看虚拟对象。例如，如果虚拟对象表示激光指示器，则用户可操纵计算装置如同它是实际的激光指示器一样。用户可左右、上下、按照圆等移动计算装置，并且以与使用激光指示器类似的方式使用该装置。
在一些实施方式中，被包括在计算装置P50上或者连接到计算装置P50的一个或多个输入装置可被用作VR空间的输入。输入装置可包括但不限于触摸屏、键盘、一个或多个按钮、跟踪板、触摸板，指点装置、鼠标、轨迹球、操纵杆、相机、麦克风、具有输入功能性的耳机或耳塞、游戏控制器或其它可连接的输入装置。用户在计算装置被并入到VR空间中时与被包括在计算装置P50上的输入装置交互可导致在VR空间中发生特定动作。
在一些实施方式中，计算装置P50的触摸屏可被渲染为在VR空间中的触摸板。用户可与计算装置P50的触摸屏交互。例如，在VR头戴式耳机P90中将交互渲染为在VR空间中渲染的触摸板上的移动。渲染的移动可控制VR空间中的虚拟对象。
在一些实施方式中，包括在计算装置P50上的一个或多个输出装置可向VR空间中的VR头戴式耳机P90的用户提供输出和/或反馈。输出和反馈可以是视觉的、触觉的或音频。输出和/或反馈可包括但不限于振动、一个或多个灯或闪光灯的打开和关闭或闪烁和/或闪光、发警报音、播放铃声、播放歌曲以及音频文件的播放。输出装置可包括但不限于振动马达、振动线圈、压电装置、静电装置、发光二极管(LED)、闪光灯和扬声器。
在一些实施方式中，计算装置P50可以在计算机生成的3D环境中作为另一对象出现。由用户与计算装置P50进行的交互(例如，旋转、摇动、触摸触摸屏、越过触摸屏扫掠手指)可被解释为与VR空间中的对象的交互。在VR空间中的激光指示器的示例中，计算装置P50在计算机生成的3D环境中作为虚拟激光指示器出现。当用户操纵计算装置P50时，VR空间中的用户看到激光指示器的移动。用户从在计算装置P50上或者在VR头戴式耳机P90上在VR环境中与计算装置P50的交互接收反馈。本文中描述的对准技术可以允许这些交互对用户而言感觉更自然且直观，因为被渲染在VR头戴式耳机P90中的相应对象的位置将与实际对象对准。
在一些实施方式中，计算装置P50可以包括触摸屏。例如，用户可以以特定方式与触摸屏交互，所述特定方式可利用在VR空间中发生的东西模仿在触摸屏上发生的东西。例如，用户可以使用捏类式运动来缩放触摸屏上显示的内容。触摸屏上的这种捏式运动可使VR空间中提供的信息被缩放。在另一示例中，计算装置可以被渲染为在计算机生成的3D环境中的虚拟书。在VR空间中，书的页面可被显示在VR空间中并且用户的手指越过触摸屏的扫掠可被解释为翻/翻转虚拟书的页面。随着每页被翻/翻转，除了看到页面内容变化之外，还可以给用户提供音频反馈，诸如书中翻页的声音。
在一些实施方式中，除了计算装置之外的一个或多个输入装置(例如，鼠标、键盘)可被渲染在计算机生成的3D环境中。经渲染的输入装置(例如，经渲染的鼠标、经渲染的键盘)可像被渲染在VR空间中那样用于控制VR空间中的对象。
在本说明书和所附权利要求中，除非上下文另外清楚地规定，否则单数形式“一”、“一个”和“该”不排除复数引用。另外，除非上下文另外清楚地规定，否则诸如“和”、“或”以及“和/或”的连词是包括的。例如，“A和/或B”包括仅仅A、仅仅B和A与B一起。另外，所呈现的各个图中示出的连接线或连接器旨在表示各种元件之间的示例性功能关系和/或物理或逻辑耦合。应该注意的是，在实际装置中可以存在许多替代或附加功能关系、物理连接或逻辑连接。此外，除非元件被具体地描述为“必要的”或“关键的”，否则项目或组件对于本文中所公开的实施例的实践而言不是必要的。
在以下示例中概括了另外的实施方式：
示例1：一种方法，所述方法包括：检测来自虚拟现实系统的手持控制器的第一输入；响应于检测到所述第一输入，指示用户将手持控制器定向在指定方向上；检测来自所述手持控制器的第二输入；以及响应于检测到所述第二输入，存储表示所述手持控制器的对准的对准数据。
示例2：根据示例1所述的方法，还包括：响应于检测到所述第一输入，将所述手持控制器通信地耦合到所述虚拟现实系统的头戴式显示器。
示例3：根据示例2所述的方法还包括：响应于检测到所述第二输入：确定所述手持控制器的控制器定向；以及确定头戴式显示器(HMD)的显示器定向。
示例4：根据示例3所述的方法，其中，存储对准数据包括存储表示所确定的控制器定向与所确定的显示器定向之间的偏移的数据。
示例5：根据示例2所述的方法，其中，通信地耦合包括经由短距离无线信号建立连接。
示例6：根据示例1至5中的一个所述的方法，还包括基于所述对准数据对准由所述头戴式显示器显示的虚拟现实场景的至少一部分。
示例7：根据示例1至6中的一个所述的方法，其中，存储表示所述手持控制器的对准的对准数据包括存储向前/向后位置、向上/向下位置、左/右位置、俯仰、横摇和偏航中的至少一个。
示例8：根据示例1至7中的一个所述的方法，其中，检测所述第一输入包括检测所述手持控制器的输入装置的致动。
示例9：根据示例8所述的方法，其中，检测所述输入装置的致动包括检测所述手持控制器的按钮的按压。
示例10：根据示例8或9所述的方法，其中，检测所述第二输入包括检测所述手持控制器的输入装置的释放。
示例11：根据示例10所述的方法，其中，检测输入装置的释放包括检测按钮的释放。
示例12：一种包括非暂时性存储介质的计算机程序产品，所述计算机程序产品包括代码，所述代码在由被配置成产生虚拟现实环境的虚拟现实系统的处理电路执行时使所述处理电路执行方法，所述方法包括：检测来自所述虚拟现实系统的手持控制器的第一输入；响应于检测到所述第一输入，将所述手持控制器通信地耦合到所述虚拟现实系统的头戴式显示器；以及指示用户将手持控制器定向在指定方向上；检测来自所述手持控制器的第二输入；以及响应于检测到所述第二输入，存储表示所述手持控制器的对准的对准数据。
示例13：根据示例12所述的计算机程序产品，其中，所述方法还包括：响应于检测到所述第二输入：确定所述手持控制器的控制器定向；以及确定头戴式显示器(HMD)的显示器定向。
示例14：根据示例13所述的计算机程序产品，其中，存储对准数据包括存储表示所确定的控制器定向与所确定的显示器定向之间的偏移的数据。
示例15：根据示例12至14中的一个所述的计算机程序产品，其中，通信地耦合包括经由短距离无线信号建立连接。
示例16：根据示例12至15中的一个所述的计算机程序产品，还包括基于所述对准数据对准由所述头戴式显示器显示的虚拟现实场景的至少一部分。
示例17：根据示例12至16中的一个所述的计算机程序产品，其中，指示用户将手持控制器定向在指定方向上包括在由所述头戴式显示器显示的虚拟现实场景内显示指令。
示例18：一种被配置成产生虚拟现实环境的电子设备，所述电子设备包括：存储器；以及耦合到所述存储器的控制电路，所述控制电路被配置成：检测来自所述虚拟现实系统的手持控制器的第一输入；响应于检测到所述第一输入：经由无线信号将所述手持控制器通信地耦合到所述虚拟现实系统的头戴式显示器；并且指示用户将手持控制器定向在指定方向上；检测来自所述手持控制器的第二输入；以及响应于检测到所述第二输入：确定所述手持控制器的控制器方向；确定头戴式显示器的显示器定向；并且存储表示所述手持控制器的对准的对准数据。
示例19：根据示例18所述的电子设备，其中，存储对准数据包括存储表示所确定的控制器定向与所确定的显示器定向之间的偏移的数据。
示例20：根据示例19所述的电子设备，所述控制电路还被配置成基于所存储的对准数据协调所述手持控制器和所述头戴式显示器在虚拟现实场景中的移动。
尽管已经在本文中描述了某些示例方法、设备和制品，然而本专利的覆盖范围不限于此。相反，本专利涵盖实质上落入本专利的权利要求的范围内的所有方法、设备和制品。

Claims (20)

1.一种方法，包括：
检测来自虚拟现实系统的手持控制器的第一输入；
响应于检测到所述第一输入，指示用户将手持控制器定向在指定方向上；
检测来自所述手持控制器的第二输入；以及
响应于检测到所述第二输入，存储表示所述手持控制器的对准的对准数据。
2.根据权利要求1所述的方法，还包括：
响应于检测到所述第一输入，将所述手持控制器通信地耦合到所述虚拟现实系统的头戴式显示器。
3.根据权利要求2所述的方法，还包括：
响应于检测到所述第二输入：
确定所述手持控制器的控制器定向；以及
确定头戴式显示器(HMD)的显示器定向。
4.根据权利要求3所述的方法，其中，存储对准数据包括存储表示所确定的控制器定向与所确定的显示器定向之间的偏移的数据。
5.根据权利要求2所述的方法，其中，通信地耦合包括经由短距离无线信号建立连接。
6.根据权利要求1所述的方法，还包括基于所述对准数据对准由所述头戴式显示器显示的虚拟现实场景的至少一部分。
7.根据权利要求1所述的方法，其中，存储表示所述手持控制器的对准的对准数据包括存储向前/向后位置、向上/向下位置、左/右位置、俯仰、横摇和偏航中的至少一个。
8.根据权利要求1所述的方法，其中，检测所述第一输入包括检测所述手持控制器的输入装置的致动。
9.根据权利要求8所述的方法，其中，检测所述输入装置的致动包括检测所述手持控制器的按钮的按压。
10.根据权利要求8所述的方法，其中，检测所述第二输入包括检测所述手持控制器的输入装置的释放。
11.根据权利要求10所述的方法，其中，检测输入装置的释放包括检测按钮的释放。
12.一种包括非暂时性存储介质的计算机程序产品，所述计算机程序产品包括代码，所述代码在由被配置成产生虚拟现实环境的虚拟现实系统的处理电路执行时使所述处理电路执行方法，所述方法包括：
检测来自所述虚拟现实系统的手持控制器的第一输入；
响应于检测到所述第一输入：
将所述手持控制器通信地耦合到所述虚拟现实系统的头戴式显示器；以及
指示用户将手持控制器定向在指定方向上；
检测来自所述手持控制器的第二输入；以及
响应于检测到所述第二输入，存储表示所述手持控制器的对准的对准数据。
13.根据权利要求12所述的计算机程序产品，其中，所述方法还包括：
响应于检测到所述第二输入：
确定所述手持控制器的控制器定向；以及
确定头戴式显示器(HMD)的显示器定向。
14.根据权利要求13所述的计算机程序产品，其中，存储对准数据包括存储表示所确定的控制器定向与所确定的显示器定向之间的偏移的数据。
15.根据权利要求12所述的计算机程序产品，其中，通信地耦合包括经由短距离无线信号建立连接。
16.根据权利要求12所述的计算机程序产品，还包括基于所述对准数据对准由所述头戴式显示器显示的虚拟现实场景的至少一部分。
17.根据权利要求12所述的计算机程序产品，其中，指示用户将手持控制器定向在指定方向上包括在由所述头戴式显示器显示的虚拟现实场景内显示指令。
18.一种被配置成产生虚拟现实环境的电子设备，所述电子设备包括：
存储器；以及
耦合到所述存储器的控制电路，所述控制电路被配置成：
检测来自所述虚拟现实系统的手持控制器的第一输入；
响应于检测到所述第一输入：
经由无线信号将所述手持控制器通信地耦合到所述虚拟现实系统的头戴式显示器；并且
指示用户将手持控制器定向在指定方向上；
检测来自所述手持控制器的第二输入；以及
响应于检测到所述第二输入：
确定所述手持控制器的控制器定向；
确定头戴式显示器的显示器定向；并且
存储表示所述手持控制器的对准的对准数据。
19.根据权利要求18所述的电子设备，其中，存储对准数据包括存储表示所确定的控制器定向与所确定的显示器定向之间的偏移的数据。
20.根据权利要求19所述的电子设备，所述控制电路还被配置成基于所存储的对准数据协调所述手持控制器和所述头戴式显示器在虚拟现实场景中的移动。
CN201780011132.6A 2016-05-13 2017-05-15 用于在虚拟现实环境中对准组件的方法和设备 Active CN108700941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310252373.7A CN116360604A (zh) 2016-05-13 2017-05-15 用于在虚拟现实环境中对准组件的方法和设备

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662335829P 2016-05-13 2016-05-13
US62/335,829 2016-05-13
US15/594,186 US10198874B2 (en) 2016-05-13 2017-05-12 Methods and apparatus to align components in virtual reality environments
US15/594,186 2017-05-12
PCT/US2017/032635 WO2017197381A1 (en) 2016-05-13 2017-05-15 Methods and apparatus to align components in virtual reality environments

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310252373.7A Division CN116360604A (zh) 2016-05-13 2017-05-15 用于在虚拟现实环境中对准组件的方法和设备

Publications (2)

Publication Number Publication Date
CN108700941A true CN108700941A (zh) 2018-10-23
CN108700941B CN108700941B (zh) 2023-03-28

Family

ID=58765997

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780011132.6A Active CN108700941B (zh) 2016-05-13 2017-05-15 用于在虚拟现实环境中对准组件的方法和设备
CN202310252373.7A Pending CN116360604A (zh) 2016-05-13 2017-05-15 用于在虚拟现实环境中对准组件的方法和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310252373.7A Pending CN116360604A (zh) 2016-05-13 2017-05-15 用于在虚拟现实环境中对准组件的方法和设备

Country Status (4)

Country Link
US (2) US10198874B2 (zh)
EP (2) EP4009148A1 (zh)
CN (2) CN108700941B (zh)
WO (1) WO2017197381A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113465632A (zh) * 2021-09-03 2021-10-01 北京亮亮视野科技有限公司 传感器的校准方法、装置、设备和介质
CN114764849A (zh) * 2021-01-14 2022-07-19 宏达国际电子股份有限公司 校正系统、校正方法以及非暂态电脑可读取储存媒体
US12014465B2 (en) 2022-01-06 2024-06-18 Htc Corporation Tracking system and method

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9940009B2 (en) * 2013-05-15 2018-04-10 Sony Corporation Display control device for scrolling of content based on sensor data
US10198874B2 (en) * 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
US10345925B2 (en) * 2016-08-03 2019-07-09 Google Llc Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments
GB2555838A (en) * 2016-11-11 2018-05-16 Sony Corp An apparatus, computer program and method
US10216333B2 (en) * 2017-06-30 2019-02-26 Microsoft Technology Licensing, Llc Phase error compensation in single correlator systems
US10540778B2 (en) * 2017-06-30 2020-01-21 Intel Corporation System for determining anatomical feature orientation
US10817128B2 (en) * 2017-07-11 2020-10-27 Logitech Europe S.A. Input device for VR/AR applications
CN109247945A (zh) * 2017-07-12 2019-01-22 松下知识产权经营株式会社 计测装置
US11080931B2 (en) 2017-09-27 2021-08-03 Fisher-Rosemount Systems, Inc. Virtual x-ray vision in a process control environment
IL276254B1 (en) 2018-02-06 2024-05-01 Magic Leap Inc Systems and methods for augmented reality
USD868108S1 (en) * 2018-03-16 2019-11-26 Magic Leap, Inc. Display panel or portion thereof with graphical user interface
US10679376B2 (en) * 2018-04-24 2020-06-09 Microsoft Technology Licensing, Llc Determining a pose of a handheld object
US11094221B2 (en) 2018-06-21 2021-08-17 University Of Utah Research Foundation Visual guidance system and method for posing a physical object in three dimensional space
US11244509B2 (en) 2018-08-20 2022-02-08 Fisher-Rosemount Systems, Inc. Drift correction for industrial augmented reality applications
US10482677B1 (en) * 2018-11-20 2019-11-19 Dell Products, L.P. Distributed simultaneous localization and mapping (SLAM) in virtual, augmented, and mixed reality (xR) applications
US10854012B1 (en) * 2019-05-29 2020-12-01 Dell Products, L.P. Concealing loss of distributed simultaneous localization and mapping (SLAM) data in edge cloud architectures
US10937192B2 (en) * 2019-05-29 2021-03-02 Dell Products, L.P. Resolving incorrect distributed simultaneous localization and mapping (SLAM) data in edge cloud architectures
US11334174B2 (en) 2019-07-18 2022-05-17 Eyal Shlomot Universal pointing and interacting device
US10705597B1 (en) * 2019-12-17 2020-07-07 Liteboxer Technologies, Inc. Interactive exercise and training system and method
US11816887B2 (en) 2020-08-04 2023-11-14 Fisher-Rosemount Systems, Inc. Quick activation techniques for industrial augmented reality applications
US11592907B2 (en) 2020-10-20 2023-02-28 Google Llc Gesture-triggered augmented-reality
CN114815239B (zh) * 2021-01-29 2023-11-10 华为技术有限公司 头戴式显示设备及其画面显示方法
US20230176662A1 (en) * 2021-12-06 2023-06-08 Htc Corporation Control method, virtual reality system, and non-transitory computer readable storage medium with map of head-mounted device
US20240037865A1 (en) 2022-07-28 2024-02-01 Ntt Docomo, Inc. Xr multi-window control

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110029275A1 (en) * 2009-07-30 2011-02-03 Research In Motion Limited Method and system for testing and calibrating an accelerometer of an electronic device
US20110029903A1 (en) * 2008-04-16 2011-02-03 Virtual Proteins B.V. Interactive virtual reality image generating system
US20130328762A1 (en) * 2012-06-12 2013-12-12 Daniel J. McCulloch Controlling a virtual object with a real controller device
US20140168264A1 (en) * 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
US20140247279A1 (en) * 2013-03-01 2014-09-04 Apple Inc. Registration between actual mobile device position and environmental model
US20150241969A1 (en) * 2013-09-13 2015-08-27 Nod, Inc. Methods and Systems for Integrating One or More Gestural Controllers into a Head Mounted Wearable Display or Other Wearable Devices
CN104914582A (zh) * 2015-07-07 2015-09-16 吴展雄 一种头戴式无线虚拟现实显示器
CN104995583A (zh) * 2012-12-13 2015-10-21 微软技术许可有限责任公司 用于混合现实环境的直接交互系统
CN105009039A (zh) * 2012-11-30 2015-10-28 微软技术许可有限责任公司 使用imu的直接全息图操纵
US20160093108A1 (en) * 2014-09-30 2016-03-31 Sony Computer Entertainment Inc. Synchronizing Multiple Head-Mounted Displays to a Unified Space and Correlating Movement of Objects in the Unified Space

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060053371A1 (en) * 1997-04-14 2006-03-09 Anderson Thomas G Navigation and viewing in a multidimensional space
US6757068B2 (en) 2000-01-28 2004-06-29 Intersense, Inc. Self-referenced tracking
US20160098095A1 (en) 2004-01-30 2016-04-07 Electronic Scripting Products, Inc. Deriving Input from Six Degrees of Freedom Interfaces
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7636645B1 (en) 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
KR101337204B1 (ko) * 2009-04-08 2013-12-06 퀄컴 인코포레이티드 향상된 핸드헬드 스크린-센싱 포인터
US9571625B2 (en) * 2009-08-11 2017-02-14 Lg Electronics Inc. Electronic device and control method thereof
EP2392391B1 (en) 2010-02-03 2017-06-28 Nintendo Co. Ltd. Display device, game system, and game processing method
US9247212B2 (en) 2010-08-26 2016-01-26 Blast Motion Inc. Intelligent motion capture element
US8678282B1 (en) 2010-11-29 2014-03-25 Lockheed Martin Corporation Aim assist head-mounted display apparatus
EP2485119A3 (en) 2011-02-02 2012-12-12 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
US9696547B2 (en) * 2012-06-25 2017-07-04 Microsoft Technology Licensing, Llc Mixed reality system learned input and functions
US9235241B2 (en) 2012-07-29 2016-01-12 Qualcomm Incorporated Anatomical gestures detection system using radio signals
US9726498B2 (en) 2012-11-29 2017-08-08 Sensor Platforms, Inc. Combining monitoring sensor measurements and system signals to determine device context
US9105178B2 (en) 2012-12-03 2015-08-11 Sony Computer Entertainment Inc. Remote dynamic configuration of telemetry reporting through regular expressions
KR20230113418A (ko) * 2013-03-15 2023-07-28 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
EP3007496A4 (en) 2013-05-31 2016-12-28 Yulong Computer Telecommunication Scientific Shenzhen Co Ltd MOBILE DEVICE, PORTABLE DEVICE AND EQUIPMENT SAVING METHOD
EP3058384A4 (en) * 2013-10-16 2017-06-21 Nokia Technologies Oy Methods, apparatuses and computer program products for calibration of antenna array
KR102182161B1 (ko) * 2014-02-20 2020-11-24 엘지전자 주식회사 Hmd 및 그 제어 방법
US9996975B2 (en) 2014-03-18 2018-06-12 Dreamworks Animation L.L.C. Interactive multi-rider virtual reality ride system
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US9821220B2 (en) * 2014-10-09 2017-11-21 Golfstream Inc. Sport and game simulation systems with user-specific guidance and training using dynamic playing surface
US10437335B2 (en) * 2015-04-14 2019-10-08 John James Daniels Wearable electronic, multi-sensory, human/machine, human/human interfaces
US10191561B2 (en) 2015-06-15 2019-01-29 Facebook Technologies, Llc Tracking controllers of a virtual reality system
US20160378204A1 (en) 2015-06-24 2016-12-29 Google Inc. System for tracking a handheld device in an augmented and/or virtual reality environment
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
CN108139815B (zh) 2016-02-22 2020-11-10 谷歌有限责任公司 用于虚拟现实内容的显示的场景和对象的分立时间扭曲
US10334076B2 (en) 2016-02-22 2019-06-25 Google Llc Device pairing in augmented/virtual reality environment
US20170262049A1 (en) * 2016-03-11 2017-09-14 Empire Technology Development Llc Virtual reality display based on orientation offset
CN105867617B (zh) * 2016-03-25 2018-12-25 京东方科技集团股份有限公司 增强现实设备、系统、图像处理方法及装置
US9916496B2 (en) * 2016-03-25 2018-03-13 Zero Latency PTY LTD Systems and methods for operating a virtual reality environment using colored marker lights attached to game objects
US20170287219A1 (en) * 2016-03-31 2017-10-05 Adam G. Poulos Electromagnetic tracking of objects for mixed reality
US10275023B2 (en) * 2016-05-05 2019-04-30 Google Llc Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
US10198874B2 (en) * 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
WO2017201162A1 (en) * 2016-05-17 2017-11-23 Google Llc Virtual/augmented reality input device
US9922465B2 (en) * 2016-05-17 2018-03-20 Disney Enterprises, Inc. Systems and methods for changing a perceived speed of motion associated with a user
US10890600B2 (en) 2016-05-18 2021-01-12 Google Llc Real-time visual-inertial motion tracking fault detection
US20170352184A1 (en) 2016-06-06 2017-12-07 Adam G. Poulos Optically augmenting electromagnetic tracking in mixed reality
US10254546B2 (en) * 2016-06-06 2019-04-09 Microsoft Technology Licensing, Llc Optically augmenting electromagnetic tracking in mixed reality
US10249090B2 (en) 2016-06-09 2019-04-02 Microsoft Technology Licensing, Llc Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
US10146335B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Modular extension of inertial controller for six DOF mixed reality input
US10146334B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Passive optical and inertial tracking in slim form-factor
US9885232B2 (en) * 2016-06-09 2018-02-06 Noralis Limited Method for determining position with improved calibration with opposing sensors
US10078377B2 (en) 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
US10482662B2 (en) * 2016-06-30 2019-11-19 Intel Corporation Systems and methods for mixed reality transitions
EP3488321B1 (en) 2016-07-22 2021-05-05 Google LLC Detecting user range of motion for virtual reality user interfaces
US10489978B2 (en) * 2016-07-26 2019-11-26 Rouslan Lyubomirov DIMITROV System and method for displaying computer-based content in a virtual or augmented environment
DE202017104928U1 (de) 2016-08-23 2017-11-24 Google Inc. Manipulation virtueller Objekte anhand von Controllern mit sechs Freiheitsgraden in erweiterten bzw. virtuellen Realitätsumgebungen
US9965675B2 (en) * 2016-09-15 2018-05-08 Georgios P. Schinas Using virtual reality for behavioral analysis
US20180101986A1 (en) 2016-10-10 2018-04-12 Aaron Mackay Burns Drawing in a 3d virtual reality environment
US10642991B2 (en) 2016-10-14 2020-05-05 Google Inc. System level virtual reality privacy settings
US10445523B2 (en) 2016-10-14 2019-10-15 Google Llc Information privacy in virtual reality
US10134192B2 (en) 2016-10-17 2018-11-20 Microsoft Technology Licensing, Llc Generating and displaying a computer generated image on a future pose of a real world object
US10817066B2 (en) 2016-12-05 2020-10-27 Google Llc Information privacy in virtual reality
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10852847B2 (en) 2017-07-26 2020-12-01 Google Llc Controller tracking for multiple degrees of freedom

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110029903A1 (en) * 2008-04-16 2011-02-03 Virtual Proteins B.V. Interactive virtual reality image generating system
US20110029275A1 (en) * 2009-07-30 2011-02-03 Research In Motion Limited Method and system for testing and calibrating an accelerometer of an electronic device
US20130328762A1 (en) * 2012-06-12 2013-12-12 Daniel J. McCulloch Controlling a virtual object with a real controller device
CN105009039A (zh) * 2012-11-30 2015-10-28 微软技术许可有限责任公司 使用imu的直接全息图操纵
CN104995583A (zh) * 2012-12-13 2015-10-21 微软技术许可有限责任公司 用于混合现实环境的直接交互系统
US20140168264A1 (en) * 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
US20140247279A1 (en) * 2013-03-01 2014-09-04 Apple Inc. Registration between actual mobile device position and environmental model
US20150241969A1 (en) * 2013-09-13 2015-08-27 Nod, Inc. Methods and Systems for Integrating One or More Gestural Controllers into a Head Mounted Wearable Display or Other Wearable Devices
US20160093108A1 (en) * 2014-09-30 2016-03-31 Sony Computer Entertainment Inc. Synchronizing Multiple Head-Mounted Displays to a Unified Space and Correlating Movement of Objects in the Unified Space
CN104914582A (zh) * 2015-07-07 2015-09-16 吴展雄 一种头戴式无线虚拟现实显示器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
H. KATO等: "Marker tracking and HMD calibration for a video-based augmented reality conferencing system", 《PROCEEDINGS 2ND IEEE AND ACM INTERNATIONAL WORKSHOP ON AUGMENTED REALITY (IWAR"99)》 *
曲德祥等: "试论虚拟现实技术", 《工会论坛(山东省工会管理干部学院学报)》 *
王涌天等: "户外增强现实系统关键技术及其应用的研究", 《系统仿真学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114764849A (zh) * 2021-01-14 2022-07-19 宏达国际电子股份有限公司 校正系统、校正方法以及非暂态电脑可读取储存媒体
CN113465632A (zh) * 2021-09-03 2021-10-01 北京亮亮视野科技有限公司 传感器的校准方法、装置、设备和介质
CN113465632B (zh) * 2021-09-03 2024-06-18 北京亮亮视野科技有限公司 传感器的校准方法、装置、设备和介质
US12014465B2 (en) 2022-01-06 2024-06-18 Htc Corporation Tracking system and method

Also Published As

Publication number Publication date
US10198874B2 (en) 2019-02-05
EP3455701B1 (en) 2022-03-02
WO2017197381A1 (en) 2017-11-16
US10475254B2 (en) 2019-11-12
CN116360604A (zh) 2023-06-30
US20170330387A1 (en) 2017-11-16
EP3455701A1 (en) 2019-03-20
CN108700941B (zh) 2023-03-28
EP4009148A1 (en) 2022-06-08
US20190139323A1 (en) 2019-05-09

Similar Documents

Publication Publication Date Title
CN108700941A (zh) 用于在虚拟现实环境中对准组件的方法和设备
US11043031B2 (en) Content display property management
EP3250983B1 (en) Method and system for receiving gesture input via virtual control objects
US10102674B2 (en) Virtual reality headset connected to a mobile computing device
US20210011556A1 (en) Virtual user interface using a peripheral device in artificial reality environments
US8558759B1 (en) Hand gestures to signify what is important
US20170103582A1 (en) Touch and social cues as inputs into a computer
US11340707B2 (en) Hand gesture-based emojis
US20130174213A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
US20130208005A1 (en) Image processing device, image processing method, and program
JP7382994B2 (ja) 仮想現実システム内の仮想コントローラの位置および向きの追跡
US11474970B2 (en) Artificial reality system with inter-processor communication (IPC)
US11188144B2 (en) Method and apparatus to navigate a virtual content displayed by a virtual reality (VR) device
US10521013B2 (en) High-speed staggered binocular eye tracking systems
Chen et al. A case study of security and privacy threats from augmented reality (ar)
KR20220021886A (ko) 가상 환경에서 사용자의 시야를 제어하고 경험을 실시간 공유하는 vr 시스템
KR20230070308A (ko) 웨어러블 장치를 이용한 제어가능한 장치의 위치 식별
JP6941715B2 (ja) 表示装置、表示プログラム、表示方法及び表示システム
US11816757B1 (en) Device-side capture of data representative of an artificial reality environment
JP2019060910A (ja) 表示装置、表示プログラム、表示方法及び表示システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant