CN109643014B - 头戴式显示器追踪 - Google Patents

头戴式显示器追踪 Download PDF

Info

Publication number
CN109643014B
CN109643014B CN201780031248.6A CN201780031248A CN109643014B CN 109643014 B CN109643014 B CN 109643014B CN 201780031248 A CN201780031248 A CN 201780031248A CN 109643014 B CN109643014 B CN 109643014B
Authority
CN
China
Prior art keywords
virtual reality
mounted display
head mounted
reality head
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780031248.6A
Other languages
English (en)
Other versions
CN109643014A (zh
Inventor
G.T.布莱克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN109643014A publication Critical patent/CN109643014A/zh
Application granted granted Critical
Publication of CN109643014B publication Critical patent/CN109643014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/323—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections between game devices with different hardware characteristics, e.g. hand-held game devices connectable to game consoles or arcade machines
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/34—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using peer-to-peer connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)

Abstract

描述虚拟现实(VR)头戴式显示器(HMD)、计算机实施的方法和VR追踪系统。一般来说，VR HMD包括惯性测量单元(IMU)和光学传感器。当第二VR HMD位于同一个物理环境中时，可以操作所述VR HMD以追踪所述第二VR HMD在所述物理环境中的运动。举例来说，除了两个VR HMD的惯性数据之外，还使用由所述VR HMD俘获的图像数据来确定所述第二VR HMD的三维(3D)物理位置和随着时间过去而追踪所述3D物理位置。从所述追踪得出所述运动的三个自由度(DOF)或六个DOF。

Description

头戴式显示器追踪
相关申请的交叉引用
本申请要求2016年3月30日提交的美国专利申请No.15/085,887的优先权，所述申请的公开内容特此出于所有目的以引用方式整体并入。
背景技术
虚拟现实(VR)头戴式显示器(HMD)用于不同的应用。举例来说，用户戴上并操作VRHMD以观看VR内容。通常，VR内容呈现在VR HMD 的音频和视频系统处。VR内容包括视频游戏、电影、虚拟会议或其它线上和线下内容。
一般来说，VR HMD实现了沉浸式用户体验，所述沉浸式用户体验的现实性、视觉吸引力和复杂性已随着时间过去而增加。举例来说，VR HMD 将用户带到虚拟世界，在所述虚拟世界，用户表示为虚拟用户。用户在物理世界中的运动使虚拟用户在虚拟世界中移动。响应于运动，更新VR内容以提供沉浸式虚拟世界体验。因此，运动追踪对于给出在虚拟世界中的沉浸感和存在感来说是关键的。
现有的VR运动追踪系统通常遵循两种方法中的一者。在基本方法中，操作VR HMD的用户的运动追踪仅由VR HMD执行。这种方法涉及最少量的VR追踪设备并且可以容易地进行部署。在另一种方法中，涉及更复杂的系统。此类系统包括在物理环境中固定的运动追踪装置。在用户在物理环境中四处走动时，运动追踪装置检测所述运动并且将相关信息发送给 VR HMD。虽然运动追踪非常精确，但是此类系统涉及较复杂的VR追踪设备。
然而，现有的VR运动追踪系统无法在依赖于较不复杂的设备的同时实现高的追踪精确度(例如，类似于或基本上接近于复杂系统的精确度)。
发明内容
一般来说，描述一种VR HMD。在一个实例中，所述VR HMD包括惯性测量单元(IMU)和光学传感器以及其它部件。所述VR HMD被配置成基于所述IMU和光学传感器的能力来追踪第二VR HMD的运动。
另外，描述计算机实施的方法和VR追踪系统。一般来说，操作VR HMD以追踪第二VRHMD的运动。在一个实例中，所述运动包括三个自由度(DOF)或六个DOF的运动并且基于第二VR HMD在物理环境中的三维(3D)位置随着时间过去发生的变化来进行追踪。举例来说，所述VR HMD从所述第二VR HMD接收位置数据，诸如惯性数据。所述VR HMD 还俘获所述物理环境的图像。在所述图像中识别第二VR HMD。进一步分析所述图像和所述位置数据以确定所述3D位置和随着时间过去而追踪变化。
此外，可以从多个VR HMD接收位置数据。相应地得出物理环境中的相应的3D位置。在一个实例中，基于物理对虚拟空间映射将所述3D 位置映射至虚拟环境中的3D虚拟位置。可以部分基于所述3D虚拟位置来控制在VR HMD处呈现的VR内容。
计算机系统被配置成执行所述计算机实施的方法。所述计算机系统是 VR HMD、VR追踪系统、中央计算机的部件，或分布在VR HMD、VR 追踪系统和中央计算机之间。
在一个实例中，一种计算机实施的方法包括多个操作。在一个操作中，所述计算机系统存取第一VR HMD的位置数据。基于包括所述第一VR HMD的物理环境的图像数据来产生所述位置数据。由第二VR HMD的光学传感器来产生所述图像数据。在另一个操作中，所述计算机系统基于所述位置数据来确定所述第一VR HMD在物理环境中的位置。在另一个操作中，所述计算机系统基于物理环境中的位置导致在第一VR HMD处呈现VR内容。
在一个实例中，另一种计算机实施的方法还包括多个操作。在一个操作中，所述计算机系统存取位于物理环境中的VR HMD的位置数据。基于惯性数据和图像数据来产生所述位置数据。所述惯性数据指示远离所述 VR HMD的光学传感器在物理环境中的移动。所述图像数据是由所述光学传感器产生并且对应于物理环境中的所述VR HMD的图像。在另一个操作中，所述计算机系统基于所述位置数据来确定所述VR HMD在物理环境中的位置。在另一个实施方案中，所述计算机系统基于物理环境中的所述位置而导致在所述VR HMD处呈现虚拟现实内容。
在一个实例中，另一种计算机实施的方法也包括多个操作。在一个操作中，所述计算机系统确定第一VR HMD在物理环境中的第一位置。基于第二位置数据来确定所述第一位置，所述第二位置数据是基于第二VR HMD的第二光学传感器来产生。在另一个操作中，所述计算机系统确定所述第二VR HMD在物理环境中的第二位置。基于第一位置数据来确定所述第二位置，所述第一位置数据是基于所述第一VR HMD的第一光学传感器来产生。在另一个操作中，所述计算机系统基于物理环境中的所述第一位置和所述第二位置而导致在所述第一VR HMD和所述第二VR HMD处呈现VR内容。
可以参考说明书的其余部分以及附图来进一步理解本文中公开和表明的实施方案的性质和优点。
附图说明
图1示出根据本公开的实施方案的涉及许多个VR HMD的示例性VR 运动追踪。
图2示出根据本公开的实施方案的基于物理环境中的所追踪位置来帮助存取VR内容的物理对虚拟空间映射。
图3示出根据本公开的实施方案的VR HMD的示例性部件。
图4示出根据本公开的实施方案的另一个VR HMD的示例性部件。
图5示出根据本公开的实施方案的包括VR HMD、接近装置和可穿戴手势装置的示例性系统。
图6示出根据本公开的实施方案的操作第一VR HMD的用户的位置追踪的示例性流程。
图7示出根据本公开的实施方案的操作第一VR HMD的用户的位置追踪的示例性流程，其中由第二VR HMD来执行定位追踪。
图8示出根据本公开的实施方案的操作第一VR HMD的用户的位置追踪的示例性流程，其中由第一VR HMD基于由第二VR HMD产生并从第二VR HMD接收到的图像数据来执行定位追踪。
图9示出根据本公开的实施方案的操作第一VR HMD的用户的位置追踪的示例性流程，其中由第一VR HMD基于校准来执行定位追踪，并且其中所述校准是基于由第二VR HMD产生的图像数据。
图10示出根据本公开的实施方案的操作第一VR HMD的用户的位置追踪的示例性流程，其中部分基于由接近装置和手势装置产生并从所述接近装置和所述手势装置接收到的数据来执行定位追踪。
图11示出根据本公开的实施方案的操作VR HMD的用户相对于彼此的位置追踪的示例性流程。
图12示出根据本公开的实施方案的适合于实施计算机系统的硬件系统的实例。
具体实施方式
一般来说，描述用于VR运动追踪的系统和方法。通常，用户操作VR HMD以存取VR内容。至少部分通过用户在物理环境中的运动来控制所述存取。在物理环境中的三维(3D)位置限定了物理运动。将所述3D位置映射至虚拟环境中的3D位置。虚拟3D位置限定用户在虚拟环境中的虚拟运动。基于所述虚拟运动来帮助对VR内容的存取。举例来说，如果用户将他或头从左到右移动，那么VR内容会刷新以在虚拟环境中模仿类似的运动。
在一个实例中，VR运动追踪涉及至少两个VR HMD。举例来说，两位用户同处在物理环境中。第一用户操作第一VR HMD来存取VR内容。类似地，第二用户操作第二VR HMD来存取相同的或不同的VR内容。所述VR HMD中的每一者包括惯性测量单元(IMU)和光学传感器(例如，VR HMD的相机的部件)。因此，所述VR HMD中的每一者可以基于IMU和光学传感器而用作其它VR HMD的运动追踪器。换句话说，第一VR HMD 追踪第二VR HMD的运动并且向第二VRHMD提供关于此运动的信息。第二VR HM可以对第一VR HMD做相同的事。
举例来说，在一个时间，第一VR HMD从第二VR HMD接收位置数据，诸如惯性数据。此位置数据由第二VR HMD的IMU俘获。第一VR HMD也基于第一V HMD的光学传感器来俘获第二VR HMD的图像数据。基于所述位置数据和所述图像数据，第一VR HMD得出第二VR HMD的3D物理位置。将该位置发送给第二VR HMD。第二VR HMD将所述3D 物理位置转变成3D虚拟位置。随着时间过去而追踪所述3D物理位置，由此实现运动追踪。
提供以上实例是为了进行说明。本公开的实施方案并未限制为如此。所述实施方案类似地适用于大量的VR HMD、适用于可以在VR HMD之间交换的不同类型的数据、适用于除了VR HMD之外的移动追踪装置和/ 或适用于在中央计算机系统处的数据处理。接下来在本文中进一步描述这些和其它的实施方案。
图1示出涉及许多VR HMD的示例性VR运动追踪。在一个实例中，用户110操作VRHMD 112。另一位用户150类似地操作VR HMD 152。虽然示出两个VR HMD，但是还可以使用更多个。另外，为了清楚地阐释，用户150在本文中被称作追踪者150并且VR HMD 152被称作追踪者装置 152，因为VR HMD 152被配置成追踪用户110的运动。
一般来说，运动追踪涉及监测VR HMD 112的3D物理位置随着时间过去而发生的变化。位置追踪在本文中用于指代随着时间过去而追踪VR HMD 112的3D物理位置。所追踪的3D物理位置的集合表示运动追踪。通常，位置追踪(以及等效地，运动追踪)涉及位置数据和图像数据的处理。位置数据是指表示3D物理位置的数据。图像数据是指表示物理环境的图像的数据。
在图1的说明性实例中，追踪器152追踪用户110(诸如用户110的头部)的3D物理位置180。经由数据网络将3D物理位置180发送至VR HMD 112以控制对VR内容的存取。当VRHMD 110包括与追踪者装置152中的部件类似的部件时，所述VR HMD还可以追踪并提供追踪者150的位置。所述数据网络包括对等数据通信网络，诸如使用
Figure GDA0003196301710000061
WiFi 或其它无线技术的网络。其它类型的数据网络也是可能的，诸如使用局域网(LAN)的数据网络。
在一个实例中，VR HMD 112包括用于产生追踪者装置VR HMD 112 的位置数据120的IMU和信号处理器。位置数据120可以限定随着时间过去沿着三个自由度(DOF)的运动(诸如旋转运动(例如，翻滚、偏航和俯仰)) 或沿着六个DOF的运动(诸如平移运动(例如，沿着X、Y、Z轴线)和旋转运动)。
举例来说，IMU包括加速度计、陀螺仪和磁力计。加速度计测量沿着 X、Y、Z轴线的移动。一般来说，陀螺仪测量三百六十度旋转。磁力计确定朝向磁场的定向。因而，可以根据这些传感器的读数来产生指示用户110 (例如，戴有VR HMD 112的用户的头部)的旋转运动的惯性数据。还可以另外基于用户110的头部运动的速度和时间来产生平移运动。举例来说，限定运动向量。根据加速度来测量速度，并且根据速度和时间来测量距离。从旋转和定向来得出方向。所述运动向量限定运动的距离和方向，由此允许追踪用户110的头部沿着X、Y和Z轴线的平移运动。因此，通过限定惯性数据、运动向量中的距离和方向，可以随着时间过去沿着六个DOF 来追踪用户的头部110的运动。每个时间点对应于3D物理位置180。
追踪者装置152还包括用于产生追踪者150的位置数据的IMU和信号处理器。此处，类似地，位置数据可以表示追踪者150的头部的旋转运动、平移运动、或旋转运动与平移运动两者。
另外，追踪者装置152包括用于俘获图像数据(或更一般地说，产生图像)的光学传感器(或更一般地说，相机)。所述图像数据与不同的接近数据一起使用以随着时间过去而追踪3D物理位置180并且由此追踪运动。不同的追踪技术是可能的并且在下文中进一步描述。
在示例性追踪技术中，追踪者装置152被配置成对用户110的位置(诸如用户110的头部)执行位置追踪160。在此实例中，追踪者装置152在不同的时间(例如，每隔几毫秒)接收用户110的位置数据120，诸如用户110 的惯性数据。追踪者装置152还产生图像数据，所述图像数据表示包括用户110的物理环境的图像。还在不同的时间基于VR HMD 112与追踪者装置152之间的时间同步来产生图像数据。根据接近数据120和所述图像数据来确定VRHMD 112在所述时间中的每一者时的3D物理位置180(并且因此确定随着时间过去而发生的运动)。另外，因为追踪者装置152还可能是在运动中(例如，基于追踪者110的运动)，所以追踪者装置112存取其自己的惯性数据以抵销其自己的运动并提高位置追踪160的精确度。
在此示例性技术的例示中，追踪者装置152实施不同的图像处理技术，诸如图案辨识、边缘检测以及其它图像相关的分析，以从图像数据中识别出VR HMD 112。追踪者装置152还基于惯性数据来对图像数据应用几何重建以确定随着时间过去VR HMD 112的3D物理位置180。一般来说，几何重建包括确定两个或更多个点之间(诸如分别表示VR HM 112和VRHMD 152的两个点之间)的距离、角度、方向、定向和/或其它几何性质。根据对单个图像的分析来确定所述性质中的一些，而其它性质的分析横跨多个图像。
在例示中，根据作为位置数据120的部分被接收的惯性数据来确定 VR HMD 112的定向速度。类似地，根据本地惯性数据来确定追踪者装置 152的定向速度。根据两个定向速度来确定偏移定向速度。两个图像中的VR HMD 112的像素位置的变化、图像的定时以及偏移定向速度指示所行进距离以及所行进距离的方向。将所行进距离映射至图像像素的变化。所述映射表示可用于检测图像中的深度和接近度的像素分辨率比例尺。使用深度来检测每个图像中的沿着X、Y和Z轴线的VR HMD 112的3D物理位置180以及所述图像间的3D物理位置180的X、Y、Z和旋转变化。使用接近度来检测VR HMD 112对物理环境中的其它物体(例如，对其它可能的障碍物和/或对追踪者装置152)的接近度(例如，就距离和方向来说)。
在另一种示例性追踪技术中，将位置追踪160转移给VR HMD 112。在这个实例中，将追踪者装置112的惯性数据和所俘获的图像数据发送给 VR HMD 112。转而，与上文类似，VR HMD 112应用图像处理技术和几何重建来随着时间过去而追踪3D物理位置180。
在另一种示例性追踪技术中，位置追踪160分散在追踪者装置152与 VR HMD 112之间。举例来说，在VR HMD 112处根据VR HMD 112的惯性数据来在本地追踪旋转运动。相比之下，在追踪者装置152处基于所俘获的图像数据来远程地追踪平移运动。追踪者装置152将平移运动发送给 VR HMD 112，由此补充平移运动，使得VR HMD 112可以确定用户110 沿着六个DOF的运动。
在另一种示例性追踪技术中，3D实际位置180(无论是由追踪者装置 152还是由VRHMD 112产生)用于校准以提高本地位置测量的准确性和精确度。举例来说，VR HMD 112在一时间点根据位置数据120来在本地测量其自己的3D实际位置。将该位置与在该时间点时的3D实际位置180(至少部分基于图像数据来产生)进行比较以确定校准偏移。VR HMD 112使用所述校准偏差来校正3D物理位置的随后的本地测量结果，由此校正传感器漂移。
除了位置追踪160之外，如上文所阐释，还使用位置数据120、所俘获的图像数据以及追踪者装置152本地的惯性数据来检测VR HMD 112对可能的障碍物和/或追踪者装置152(例如，追踪者150)的接近度。接近数据可以向用户110提供关于物理环境的提醒，使得用户110可以避免与物体(例如，可能的障碍物或追踪者150)碰撞。如果对物体的接近度低于阈值，那么产生接近指示并且使用不同的呈现形式(例如，触觉、可听和视觉呈现)来在VR HMD112处呈现所述接近指示。如果物体包括追踪者152，那么还可以在追踪者装置152处呈现接近指示。在一个实例中，接近指示识别去到所述物体的距离和方向。另外，接近指示建议运动以避免与所述物体碰撞。举例来说，接近指示建议在与用户110的当前运动相反的方向上运动。
各种技术还可用于限定阈值。在一个实例中，阈值是静态的并且基于 (例如)测量精确度来限定。在另一个实例中，基于用户输入来限定阈值。举例来说，用户110设置关于与物体相距的阈值距离的偏好。所述偏好可以存储在VR HMD 112本地或远程可存取的用户简档中。在另一种示例性技术中，基于VR HMD 112的使用或VR内容的类型来限定阈值。举例来说，某些视频游戏或内容需要用户110几乎不移动(例如，象棋视频游戏)，而视频游戏或内容需要更多移动(例如，体育水平游戏)。在前一种情况中，阈值可以被限定为大距离，因为用户110预计不会移动很多。在后一种情况中，阈值可以被限定为小距离，因为用户110预计会需要较大空间。
虽然图1示出追踪者装置152和VR HMD，但是可以类似地使用其它类型的移动计算装置。举例来说，追踪者150操作移动装置(例如，智能电话、平板计算机或某其它便携式终端用户装置)。如果所述移动装置包括位置追踪部件，诸如IMU和光学传感器，那么可以实施上述位置追踪160。举例来说，所述实现方式向移动装置添加软件应用程序以分别基于IMU和光学传感器来产生位置数据和图像数据，并且基于此数据来执行位置追踪160。
另外，虽然图1示出VR HMD 112与追踪者装置152之间的对等通信以及分散在所述两个部件之间的数据处理，但是还可以使用中央计算机。在一个实例中，VR HMD 112和追踪者装置152与中央计算机进行数据通信。中央计算机可以位于含有VR HMD 112和追踪者装置152的物理环境中(例如，中央计算机是台式计算机或视频游戏控制台)或可以远离所述物理环境(例如，可以是基于云的计算服务)。经由LAN、专用网(例如，内联网)或公用网(因特网)来进行数据通信。一般来说，中央计算机管理位置追踪。举例来说，中央计算机接收来自VR HMD 112和/或追踪者装置152 的位置数据、接收来自追踪者装置152的图像数据、随着时间过去而追踪 3D物理位置180、检测接近度、将3D物理位置180和接近指示发送给 VRHMD 112和/或基于3D物理位置180和/或接近指示来控制VR HMD 112对VR内容的存取。
在物理环境中还可以同时存在两位以上的用户。单个用户的位置追踪可以由其它用户的VR HMD中的一者或多者执行或者在适用时由与此类 VR HMD进行数据通信的中央计算机执行。其它VR HMD中的每一者可以被配置为追踪者装置152。一般来说，随着时间过去而追踪用户的位置的追踪者装置152的数目越高，所追踪位置就越精确。
图2示出有助于基于物理环境中的所追踪位置来存取VR内容的物理对虚拟空间映射。如所示，在物理环境中存在两位用户210和212。每位用户操作相应的VR HMD。与结合图1所描述的位置追踪类似地，所述 VR HMD被配置成追踪用户210和212在物理环境中的位置。
明确地说，第一用户的VR HMD追踪第二用户212的3D物理位置 216。随着时间过去而追踪3D物理位置216以限定(例如)戴有第二VR HMD的第二用户的头部的平移运动和/或旋转运动。类似地，第二用户的 VR HMD随着时间过去而追踪第一用户210的3D物理位置214。
在一个实例中，使用物理对虚拟空间映射220来控制对VR内容的存取或VR内容在每个VR HMD处的呈现。一般来说，物理对虚拟空间映射 220将物理环境中的3D物理位置映射至虚拟空间中的3D虚拟位置。因而，物理环境中的平移运动和/或旋转运动可以映射至虚拟环境中的运动。
不同类型的物理对虚拟空间映射220是可用的。在一个实例中，使用一对一映射，其中沿着某方向的平移运动映射至类似的虚拟平移运动，并且其中沿着所述方向的旋转运动也映射至类似的虚拟旋转运动。因此，如果用户210在物理环境中将他或她的头从左到右移动，那么所呈现的VR 内容向用户210给出VR内容(或等效地，用户的投射(在虚拟环境中，例如，相应的虚拟用户))也在从左到右移动的感觉。此映射也可以使用比例尺。举例来说，对于用户210在物理环境中发生的每一位置变化，在虚拟环境中提供缩放的位置变化。为了进行说明，假设VR内容呈现虚拟房间。对于用户210在物理环境中向前走的每一步，虚拟用户在虚拟房间中向前移动十英尺(或某其它距离量)。取决于VR内容，其它类型的映射是可能的。举例来说，在一个方向上的平移运动可以映射至在另一个方向上的旋转方向。
另外，物理对虚拟空间映射220不需要是但可以是VR内容特定的。因此，如果用户210和212存取同一个VR内容，那么应用相同的物理对虚拟空间映射220。另外，物理对虚拟空间映射220不需要是但可以是每位用户特定的。举例来说，所述比例尺取决于尺寸和/或用户的偏好而变化。继续以上例示，虽然虚拟房间中的向前十英尺对应于用户210在物理环境中的一步，但是此虚拟距离对应于其它用户212的两步。
在一个实例中，物理对虚拟空间映射220还相对于虚拟环境中的用户来确定用户(例如，虚拟环境中的相应虚拟用户)的3D虚拟位置。在这个实例中，当第一用户210在观看VR时，VR内容向第一用户210呈现第二虚拟用户(对应于第二用户212)的虚拟位置。举例来说，如果第二用户212 在第一用户210的右边并且第一用户210将他或她的头转向右，那么在向第一用户210呈现的VR内容中可以看到第二虚拟用户(或相应虚拟位置的指示)是在第一虚拟用户的右边。在一个实例中，此相对定位有助于多玩家视频游戏，其中虚拟玩家处在多玩家视频游戏的虚拟环境中的不同位置。举例来说，在网球视频游戏中，取决于两位用户210和212的3D物理位置214和216，两位虚拟玩家可以位于虚拟网球场上并且在虚拟网球场上移动。
经由物理对虚拟空间映射220进行的相对定位可以是基于导航推测或标注数据。在导航推测实例中，并未将3D物理位置214和216锚定到物理环境中的参考点。相比之下，相应的3D虚拟位置被默认为虚拟环境中的某(些)默认参考点。在3D物理位置214和216随着时间过去而改变时，3D虚拟位置相对于默认参考点移动。
在这个实例中，除了定位之外，还可以确定接近度。举例来说，如果 3D虚拟位置指示虚拟用户已远离默认参考点或朝向彼此行进了某距离，那么可以产生接近警报。在另一个例示中，如果3D物理位置指示用户210 和212中的任一位或两位在物理空间中的行进距离过大(例如，超过阈值) 或两位用户210和212在碰撞路线上，那么也可以产生接近警报。
另一方面，标注数据使得相对定位能够锚定到特定的参考点。换句话说，标注数据提供相对于物理环境的用户210和212的3D物理位置214 和216的估计。如图5中进一步示出，接近装置可以位于物理环境中并且用作参考点。还可以在物理对虚拟空间映射220中将这个参考点映射至虚拟环境中的参考点。可以将3D虚拟位置锚定到该参考点。举例来说并且继续网球视频游戏例示，接近装置可以位于游戏室的中央(或某其它物理位置)。物理对虚拟空间映射220将该物理参考点映射至虚拟网球场的中央。
在标注数据实例中，接近装置监测用户210和212对彼此或对障碍物的接近度。因此，向VR HMD发送接近警报以提醒用户210和212。
图3示出VR HMD 300的示例性部件。VR HMD 300表示具有低程度的部件集成的基本配置，不过，所述基本配置有助于定位追踪。明确地说， VR HMD 300包括壳体310和可从壳体310拆卸的移动装置320。
壳体310可以由不同的材料制成，包括(例如)硬纸板或塑料。在壳体 310中还可以包括透镜和条带。所述透镜被配置成使得能够按类VR模式观看在移动装置310的显示器上显示的内容。所述条带被配置成将壳体310 固定在用户的头上。
壳体310还包括被配置成将壳体310与移动装置320附接的接口，诸如机械接口。在一个实例中，所述机械接口是移动装置320可以放置于其中的外壳、凹口、开口、凹穴。
移动装置320表示移动的终端用户装置，诸如智能电话。在一个实例中，移动装置320包括相机的光学传感器322。移动装置320还包括IMU 324。
图4示出VR HMD 400的示例性部件。与VR HM 300相比，VR HMD 400表示具有较高程度的部件集成并且有助于定位追踪的配置。明确地说， VR HMD 400包括壳体410，所述壳体集成VR相关部件，诸如显示器、处理单元、存储器、音频系统、输入/输出(I/O)端口、图形处理单元以及其它电子的、电气的和机械的部件。壳体410还集成(例如，容纳、附接或保持)用于定位追踪的额外部件，使得所述额外部件与壳体410刚性地连接。这些部件包括(例如)光学传感器412、IMU 414、收发器单元416和反射器单元418。
在一个实例中，光学传感器412可以是相机的部分。相机的其余部件容纳在壳体410内并且与VR HMD 400的其它部件耦接。在一个实例中，光学传感器412在可见光谱中俘获图像数据。在另一个实例中，光学传感器412是红外线(IR)传感器。
在一个实例中，IMU 414包括加速度计、陀螺仪和磁力计。IMU 414 和/或VR HMD400的处理单元(例如，中央处理器)根据由此类传感器感测到的数据产生位置数据。
所述图像数据和所述位置数据(除了另一个VR HMD的接收到的位置数据之外)用于定位追踪。举例来说，中央处理器执行定位追踪。
在一个实例中，收发器416向另一个计算装置(诸如另一个VR HMD 或接近装置)发射识别VR HMD 400的信号。另外，基于同一个信号或所发射的另一个信号来感测对计算装置的接近度。举例来说，收发器416发射声信号。作为响应，计算装置接收衰减的声信号。基于声衰减，计算装置测量所述接近度。经由数据网络将所述接近度从计算装置发送给VRHMD 400。在这个实例中，收发器416可以仅实施为发射器。以其它方式测量接近度也是可能的。明确地说，收发器416响应于从计算装置发射的声信号而接收衰减的声信号。因此，VRHMD 400测量接近度。在这个实例中，收发器416可以仅实施为接收器。
在一个实例中，反射器单元418反射可见光谱或不可见光谱(例如，IR 光谱)中的光。一般来说，壳体410将反射器单元418附接在壳体410的外表面上。另一个计算装置(诸如另一个VR HMD或接近装置)的相机装置(或光学传感器)俘获反射器单元418的图像。分析所述图像以确定定位和/或接近度。
举例来说，反射器单元418表示编码二维机器可读(例如，二维条形码) 的标签。沿着一个维度，反射器单元418编码VR HMD 400的识别符，使得计算装置可以从图像中识别所述VR HMD。沿着另一个维度，发射器单元418还编码比例尺(例如，反射器单元418的比例尺寸，诸如反射器单元 418的对角线)。因此，计算装置根据图像分析来识别所述比例尺。将所述比例尺映射至像素分辨率比例尺，由此有助于几何重建以基于图像数据进行定位和接近追踪。反射器单元418的其它实例也是可能的并且包括射频识别(RFID)标签。
图5示出示例性系统500，所述系统包括VR HMD 510、接近装置520 和可穿戴手势装置530。所述不同的装置可以经由一个或多个数据网络和其它通信网络来交换数据。所述数据支持基于标注数据进行位置追踪。如接下来在本文中进一步描述，所述数据还支持接近和手势感测。
在一个实例中，VR HMD 510包括结合图4所描述的VR HMD 400的一些或所有部件。举例来说，VR HMD 510包括光学传感器、IMU、收发器和/或反射器单元。
接近装置520被配置成提供标注数据和接近感测功能性。举例来说，接近装置520位于物理环境中的特定位置。该位置用作标注数据的参考点。另外，接近装置520测量VRHMD 510对参考点和/或对物理环境内的区域的周界的接近度(例如，距离和方向)。所述区域表示接近装置520在其中监测接近度的区域。靠近周界(例如，远离所述周界阈值距离)会触发接近装置520产生接近警报。
接近装置520的不同配置是可能的。示例性配置描述于与本申请同时提交并且发明名称为“VIRTUAL REALITY PROXIMITY SENSORS”的共同未决的美国专利申请No.[](代理人案号090619-1005171-009900US)中，所述申请以引用方式整体并入本文中。
在一个实例中，接近装置520被配置为有源装置。有源装置是指需要与另一个装置进行一定程度的主动交互。举例来说，接近装置520接收衰减信号。衰减信号表示VR HMD510发射并且在物理环境中衰减的信号。接近装置520基于所述衰减来确定VR HMD 510对接近装置520和/或周界的接近度。在另一个例示中，接近装置520包括用于基于从接近装置520 发射的信号和从VR HMD 510的用户(或从VR HMD 510)反射的信号来测量接近度的许多个接近传感器。举例来说，这些信号包括射频(RF)信号、 IR信号、声信号或LiDAR信号中的任一者。基于信号的强度、飞行时间和/或多普勒效应来确定接近度。
在另一个实例中，接近装置520被配置为无源装置。无源装置是指非有源装置。举例来说，接近装置520表示编码比例尺的反射器单元(例如，与图4的反射器单元418类似地)。在这个实例中，VR HMD 510基于应用于含有接近装置520的图像的几何重建来确定接近度。
另一方面，可穿戴手势装置530被配置成提供手势感测功能性。在一个实例中，可穿戴手势装置530位于VR HMD 510的用户身上的特定点处。举例来说，用户将可穿戴手势装置530戴在他或她的手腕或脚踝上。通过计算装置(诸如VR HMD 510、接近装置520或另一位用户的另一个VR HMD)监测该特定点处的用户手势并且将所述用户手势中继给VR HMD510。
可穿戴手势装置530的不同配置是可能的。在一个实例中，可穿戴手势装置530包括编码比例尺的反射器单元(例如，与图4的反射器单元418 类似地)。在这个实例中，所述计算装置基于应用于含有可穿戴手势装置 530的图像的几何重建来确定可穿戴手势装置530的距离和方向。随着时间过去按运动向量来追踪所述距离和方向。所述运动向量限定手势数据(例如，被限定为定向距离和速度)。
在另一个实例中，可穿戴手势装置530是发射信号的有源装置。计算装置分析相应的衰减信号并随时间过去而相应地产生运动向量。
图6示出操作第一VR HMD的用户的位置追踪的示例性流程。位置追踪包括确定用户(诸如用户的头部)的3D物理位置并且追踪所述3D物理位置的变化以确定平移运动和/或旋转运动。基于所述平移运动和/或旋转运动在第一VR HMD处呈现VR内容。一般来说，使用位置数据和图像数据进行定位追踪。由包括光学传感器(或更一般地说，相机)的另一个计算装置来至少产生图像数据。此计算装置可以是第二VR HMD或移动装置。位置追踪可以在其它计算装置处、在用户的第一VR HMD本地、在与第一VR HMD和所述计算装置进行数据通信的中央计算机处执行和/或分散在此类部件之间。因此，计算机系统被示出为执行所述流程的操作。
在一个实例中，计算机系统包括处理器和耦接至所述处理器的存储器。处理器执行存储在存储器中的计算机可读指令。所述计算机可读指令包括用于执行所述操作的指令。在一个实例中，计算机系统是所述计算装置、用户的第一VR HMD、中央计算机的部件或分散在此类部件之间。
虽然按特定次序示出了所述操作，但是所述操作中的一些可以被重新排序或被省去。另外，结合下一幅图描述的流程包括可以被实施为图6的示例性流程的子操作的示例性操作。为了清楚地阐释，在本文中不重复所述图中的操作之间的类似事物。
在一个实例中，流程包括操作602，其中存取第一VR HMD的位置数据。举例来说，所述位置数据表示在某时间点第一VR HMD在物理环境中的3D物理位置。除了本地接近数据之外，计算机系统还根据由另一个计算装置(例如，第二VR HMD和/或移动装置)俘获的图像数据来产生位置数据。所述图像数据表示物理环境的图像。所述图像可以含有第一VR HMD的快照。本地接近数据表示第一VR HMD和所述计算装置的接近数据，诸如惯性数据。所述计算机系统实施图像处理技术、速度测量、速度偏移和图像重建技术以计算位置数据。
在一个实例中，流程包括操作604，其中基于所述位置数据来产生第一VR HMD的位置。举例来说，将位置数据映射至3D维度空间以限定第一VR HMD的3D物理位置。如果标注数据可用(例如，基于接近装置)，那么3D物理位置可以是相对于标注数据来说的。否则，3D物理位置可以是相对于第一HMD的之前追踪的位置来说的或相对于计算装置的3D物理位置来说的。
在一个实例中，流程包括操作606，其中基于所述位置来导致在第一 VR HMD处呈现VR内容。举例来说，计算机系统基于物理对虚拟空间映射将3D物理位置转变成3D虚拟位置。根据所述3D虚拟位置来存取或设置在第一VR HMD处呈现的VR内容。举例来说，如果用户看起来是直立的，那么呈现与该直立位置对应的VR内容。
在一个实例中，流程包括操作606，其中基于位置数据的更新来随着时间过去追踪位置。举例来说，计算机系统通过重复操作602和604而随着时间过去追踪变化。所追踪的3D物理位置表示用户(例如，用户的头部) 在物理空间中的运动，诸如平移和/或旋转运动。更新VR内容的呈现，使得所呈现的VR内容对应于所述平移和/或旋转运动。
在一个实例中，流程包括操作610，其中确定第一VR HMD与所述计算装置之间是否存在视线。如果视线存在，那么由计算装置产生的图像数据对应于示出第一VR HMD的图像。因此，基于图像数据的位置追踪是可能的。在此种情况中，通常后面跟着操作608以基于图像数据来继续追踪位置。然而，如果视线不存在，那么位置追踪不可以再依赖于图像数据。在这种情况中，后面通常跟着操作612。
在一个实例中，流程包括操作612，其中基于第一VR HMD的本地位置数据来追踪位置。本地接近数据包括由第一VR HMD的IMU和信号处理器产生的惯性数据和/或运动向量数据。因此，计算机系统不再基于图像数据来追踪3D物理位置的变化(并且反之也不追踪运动)。而是，根据本地接近数据来追踪3D物理位置(和运动)。可以重复操作612，直到视线再次存在为止。
图7示出操作第一VR HMD的用户的位置追踪的示例性流程，其中由第二VR HMD执行定位追踪。操作第二VR HMD的用户的类似定位追踪在第一VR HMD处是可能的。另外，并且为了清楚地阐释，单个VR HMD 被示出为追踪单个用户(或用户操作的单个VR HMD)的位置。然而，示例性流程可以类似地应用于通过大量VR HMD追踪单个用户。
在一个实例中，流程包括操作702，其中产生包括第一VR HMD的环境的图像数据。举例来说，第二VR HMD包括光学传感器。通过光学传感器产生图像数据。第二VR HMD还包括相机的其它部件，诸如被配置成根据图像数据产生图像的信号处理器。所述图像示出物理环境中的第一 VR HMD。
在一个实例中，流程包括操作704，其中从第一VR HMD接收第一惯性数据。第一惯性数据是第一VR HMD经由数据通信网络发送给第二VR HMD的本地位置数据的实例。第一惯性数据是由第一VR HMD的IMU 和信号处理器产生并且包括(例如)翻滚、俯仰和偏航。第二VR HMD可以接收的其它可能的本地位置数据包括第一VR HMD的向量运动数据或其它X、Y、Z位置。
在一个实例中，流程包括操作706，其中存取第二VR HMD的第二惯性数据。举例来说，由第二VR HMD的IMU和信号处理器产生第二惯性数据。第二VR HMD从本地存储器存取此类数据。
在一个实例中，流程包括操作708，其中基于图像数据以及第一和第二惯性数据来产生第一VR HMD的位置。举例来说，第二VR HMD确定第一惯性数据与第二惯性数据之间的偏移。第二VR HMD还应用图像处理技术以在图像(或图像数据)中识别第一VR HMD。对图像应用几何重建并且基于所述偏移来校正几何重建。因此，第二VR HMD辨识第一VR HMD相对于之前图像中的之前位置、相对于第二VR HMD或如果使用标注数据则相对于参考点的当前3D物理位置。图像间的3D物理位置的变化指示第一VR HMD在3D空间中的运动。
在一个实例中，流程包括操作710，其中将所述位置发送给第一VR HMD。举例来说，第二VR HMD经由数据通信网络来传输所述位置。第一VR HMD接收所述位置并将所述位置映射至3D虚拟空间。通过第一 VR HMD存取和/或在第一VR HMD处呈现的VR内容取决于3D虚拟位置。
在一个实例中，流程包括操作712，其中检测第一VR HMD对第二 VR HMD或对障碍物的接近。举例来说，第二VR HMD基于额外图像数据和惯性数据来随着时间过去而追踪第一VR HMD的3D物理位置的变化。该变化表示第一HMD在3D物理空间中的运动。所述变化可以用运动向量来表达。基于应用于额外图像数据的图像处理技术和几何重建，第二 VR HMD更新运动向量并基于第一VR HMD与第二VR HMD和障碍物之间的相对距离和方向来检测对第二VR HMD或对障碍物的接近。如果所述距离超出阈值和/或所述方向指示可能的碰撞路线，那么第二VR HMD 产生接近指示。所述接近指示识别相对距离和方向并且可以建议进行调整 (例如，在相反方向上移动)以避免可能的碰撞。
在一个实例中，流程包括操作714，其中将接近指示发送给第一VR HMD。举例来说，第二VR HMD经由数据通信网络来传输接近指示。第一VR HMD接收所述接近指示并且使用不同的呈现形式来将接近指示呈现为警报。如果是接近第二VR HMD，那么第二VR HMD也呈现接近指示。
图8示出操作第一VR HMD的用户的位置追踪的示例性流程，其中由第一VR HMD基于由第二VR HMD产生并从第二VR HMD接收到的图像数据来执行所述位置追踪。操作第二VRHMD的用户的类似的位置追踪在第二VR HMD处也是可能的。另外，并且为了清楚地阐释，单个 VR HMD被示出为产生单个用户(或用户操作的单个VR HMD)的图像数据。然而，示例性流程可以类似地应用于由大量VR HMD产生图像数据。
在一个实例中，流程包括操作802，其中接收包括第一VR HMD的环境的图像数据。举例来说，第二VR HMD产生图像数据(或对应的图像) 并经由数据网络传输所述图像数据。第一VR HMD接收所述图像数据。所述图像数据表示包括第一VR HMD的物理环境的图像。
在一个实例中，流程包括操作804，其中从第二VR HMD接收第二惯性数据。举例来说，第二VR HMD产生第二惯性数据并经由数据网络传输第二惯性数据。第一VR HMD接收第二惯性数据。
在一个实例中，流程包括操作806，其中存取第一VR HMD的第一惯性数据。举例来说，第一VR HMD从本地存储器存取此类数据。
在一个实例中，流程包括操作808，其中基于图像数据以及第一和第二惯性数据来产生第一VR HMD的位置。举例来说，第一VR HMD确定第一惯性数据与第二惯性数据之间的偏移。第一VR HMD还应用图像处理技术以在图像(或图像数据)中识别第一VR HMD。对图像应用几何重建并且基于所述偏移来校正几何重建。因此，第一VR HMD辨识第一VR HMD相对于之前图像中的之前位置、相对于第二VR HMD或如果使用标注数据则相对于参考点的当前3D物理位置。图像间的3D物理位置的变化指示第一VR HMD在3D空间中的运动。
在一个实例中，流程包括操作810，其中检测第一VR HMD对第二 VR HMD或对障碍物的接近。举例来说，第一VR HMD基于从第二VR HMD接收到的额外图像数据(或图像)和惯性数据来随着时间过去而追踪第一VR HMD的3D物理位置的变化。该变化表示第一HMD在3D物理空间中的运动。所述变化可以用运动向量来表达。基于应用于所产生的额外图像数据的图像处理技术和几何重建，第一VR HMD更新运动向量并基于第一VR HMD与第二VR HMD和障碍物之间的相对距离和方向来检测对第二VR HMD或对障碍物的接近。
在一个实例中，流程包括操作812，其中基于所述接近来产生接近指示。举例来说，如果第一VR HMD与所述物体中的任一者之间的距离超出阈值和/或方向指示可能的碰撞路线，那么第一VR HMD产生接近指示。所述接近指示识别相对的距离和方向并且可以建议进行调整(例如，在相反方向上移动)以避免可能的碰撞。
在一个实例中，流程包括操作814，其中在第一VR HMD处呈现接近指示。举例来说，第一VR HMD使用不同的呈现形式来将接近指示呈现为警报。如果是接近第二VR HMD，那么第一VR HMD经由数据通信网络将接近指示传输给第二VR HMD以便在第二VR HMD处呈现。
图9示出操作第一VR HMD的用户的位置追踪的示例性流程，其中由第一VR HMD基于校准来执行定位追踪，并且其中所述校准是基于由第二VR HMD产生的图像数据。操作第二VR HMD的用户的类似定位追踪在第二VR HMD处也是可能的。另外，并且为了清楚地阐释，单个VR HMD被示出为产生单个用户(或用户操作的单个VR HMD)的图像数据。然而，示例性流程可以类似地应用于由大量VR HMD来产生图像数据。
在一个实例中，流程包括操作902，其中从第二VR HMD接收位置数据。举例来说，第一VR HMD经由数据网络接收位置数据。在一个例示中，如结合图7所描述，所述位置数据包括第一VR HMD的3D物理位置。在另一个例示中，如结合图8所描述，所述位置数据包括第二VR HMD 的图像数据和惯性数据。
在一个实例中，流程包括操作904，其中根据位置数据来产生校准偏移。举例来说，第一VR HMD根据第一本地位置数据(例如，在第一VR HMD本地的惯性数据和/或运动向量数据)来计算其自己的3D物理位置(或沿着不同的维度轴线的等效位置数据)。第一VR HMD将此计算出的3D 物理位置(或等效位置数据)与接收到的3D物理数据(或接收到的位置数据)进行比较以产生校准偏移。可以使用所述校准偏移来校正第一VR HMD 的传感器中(诸如在其IMU的传感器中)的漂移。
在一个实例中，流程包括操作906，其中存取第二本地位置数据。举例来说，第一VRHMD从第一VR HMD的存储器存取第二本地位置数据。此第二本地位置数据可以对应于第一VR HMD相对于第一本地位置数据的随后位置(例如，在随后的时间)，所述第一本地位置数据用于在操作904 处进行校准。在此种情况中，在操作908处产生所述随后位置。可选地，第二本地位置数据对应于第一本地位置数据。在这种情况中，执行操作908 以提高或增加在操作904处确定的位置的准确性。
在一个实例中，流程包括操作908，其中基于本地位置数据和校准偏移来产生第一VR HMD的位置(取决于第二本地位置数据而为随后位置、当前位置或之前位置)。举例来说，第一VR HMD基于惯性数据和/或运动向量数据来在3D空间中产生3D物理位置并且通过应用校准偏移来细化 3D物理位置。
图10示出操作第一VR HMD的用户的位置追踪的示例性流程，其中部分基于由接近装置和手势装置产生并从所述接近装置和所述手势装置接收到的数据来执行定位追踪。操作第二VR HMD的用户的类似定位追踪在第二VR HMD处也是可能的。另外，并且为了清楚地阐释，示出单个接近装置和单个手势装置。然而，示例性流程可以类似地应用于大量的此类装置。
在一个实例中，流程包括操作1002，其中从接近装置接收接近数据。举例来说，接近装置经由数据网络传输接近数据。转而，第一VR HMD 经由数据网络接收接近数据。接近数据指示第一VR HMD对接近装置的接近度。接近度可以被表达为两个装置之间的距离和方向。在一个实例中，使用有源接近装置来测量接近度。在另一个实例中，使用无源接近装置。在这个实例中，不是从接近装置接收接近度，而是第一VR HMD俘获图像或读取编码在无源接近装置上的机器可读代码。所俘获的图像数据或所读取的编码数据包括使得第一VR HMD能够测量接近度(例如，基于几何重建)的接近相关数据。
在一个实例中，流程包括操作1004，其中基于接近数据来相对于参考点产生第一VR HMD的位置。举例来说，所述参考点表示接近装置在物理环境中的3D位置。如图7、图8和图9的流程中的任一者中所描述，可以基于第一VR HMD与第二VR HMD之间的交互来确定相对的3D物理位置。第一VR HMD(或等效地，第二VR HMD)根据参考点基于接近度 (例如，去到接近装置的距离和方向)来将所述相对的3D物理位置映射至所述3D物理位置。这表示将标注数据应用于3D物理位置。
在一个实例中，流程包括操作1006，其中从接近装置接收额外接近数据。所述额外接近数据指示第一VR HMD对物体的接近，诸如对在其中执行接近监测的区域的周界的接近、对表示可能障碍物的物理障碍物的接近或对第二VR HMD的接近。如果接近数据指示不可接受的接近(例如，距离小于阈值，并且方向指示碰撞路线)，那么第一VR HMD(或类似地，接近装置)可以产生接近指示。所述接近指示识别对物体的接近并且可以建议进行调整以避免可能冲突(或可能越过周界)。
在一个实例中，流程包括操作1008，其中呈现接近指示。举例来说，第一VR HMD使用一种或多种呈现形式来将接近指示呈现为警报。
在一个实例中，流程包括操作1010，其中从第二VR HMD接收手势数据。举例来说，第一VR HMD的用户佩戴可穿戴手势装置(有源或无源)。第二VR HMD俘获和分析可穿戴手势装置的图像数据(以及来自可穿戴手势装置、第一VR HMD和/或第二VR HMD的任何其它可用位置数据)以识别手势。第二VR HMD经由数据网络将关于这些手势的手势数据发送给第一VR HMD。
在一个实例中，流程包括操作1012，其中基于手势数据来在第一VR HMD处呈现VR内容。举例来说，可以维持物理对虚拟空间手势映射的映射。将手势数据(或物理环境中的手势)转变成虚拟环境中的虚拟手势。根据所述虚拟手势来存取或呈现VR内容。为了进行说明，如果虚拟手势是用网球拍击打网球，那么VR内容显示正在进行该手势。
图11示出操作VR HMD的用户相对于彼此的位置追踪的示例性流程。为了清楚地阐释，结合第一VR HMD和第二VR HMD来描述所述示例性流程的操作。然而，所述示例性流程可以类似地应用于大量VR HMD。另外，计算机系统被示出为执行所述操作。计算机系统的不同架构是可能的。举例来说，计算机系统是第一VR HMD、第二VR HMD、中央计算机的部件，或分布在此类部件之间。
在一个实例中，流程包括操作1102，其中接收第二VR HMD的第二位置数据。举例来说，由第一VR HMD基于结合图6至图10所描述的示例性流程中的任一者来产生第二位置数据。取决于计算机系统的架构，在适用时，第一VR HMD经由数据网络将位置数据发送给计算机系统。
在一个实例中，流程包括操作1104，其中基于第二位置数据来确定第二VR HMD在物理环境中的第二位置。举例来说，第二位置数据包括第二VR HMD的3D物理位置(相对于第一VR HMD或相对于物理环境中的参考点)。因此，计算机系统从第二位置数据中识别3D物理位置。在另一个例示中，第二位置数据包括惯性数据、图像数据和/或接近数据。在这种情况中，计算机系统根据此类数据来产生3D物理位置。
在一个实例中，流程包括操作1106，其中接收第一VR HMD的第一位置数据。此操作可以类似于操作1102，其中第二VR HMD产生并发送第一位置数据。
在一个实例中，流程包括操作1108，其中基于第一位置数据来确定第一VR HMD在物理环境中的第一位置。此操作可以类似于操作1104，其中计算机系统根据所述第一位置数据来识别或产生第一VR HMD的3D物理位置。
在一个实例中，流程包括操作1110，其中将来自物理环境的第一位置和第二位置映射至虚拟环境中的相应的虚拟位置。举例来说，计算机系统将物理对虚拟空间映射应用于第一3D物理位置以产生第一VR HMD的第一3D虚拟位置。类似地，计算机系统应用相同或不同的物理对虚拟空间映射(例如，取决于VR内容、用户偏好等)来产生第二VR HMD的第二虚拟位置。可以将两个虚拟位置表达为彼此的相对位置。如果使用标注数据，那么另外地或可选地，所述两个虚拟位置可以表达为相对于虚拟环境中的虚拟参考点。
在一个实例中，流程包括操作1112，其中基于虚拟位置来提供VR内容以在第一VRHMD和第二VR HMD处呈现。举例来说，在第一VR HMD 处呈现的VR内容可以呈现指示或可以显示第二VR HMD相对于第一VR HMD的虚拟视点的第二虚拟位置。在另一个例示中，在多玩家视频游戏中，可以向每位虚拟玩家显示VR内容的视图，所述视图识别其它虚拟玩家或指示其它虚拟玩家的位置。
图12示出根据各种实施方案的适合于实施计算机系统1200的硬件系统的实例。计算机系统1200表示(例如)VR HMD、移动装置、接近装置、可穿戴手势装置和/或中央计算机的部件。计算机系统1200包括用于运行软件应用程序和任选地允许操作系统的中央处理单元(CPU)1205。CPU 1205可以由一个或多个同质或异质处理核组成。存储器1210存储应用程序和数据以供CPU 1205使用。存储装置1215提供用于应用程序和数据的非易失性存储装置和其它计算机可读介质并且可以包括固定磁盘驱动器、可移动磁盘驱动器、快闪存储器装置和CD-ROM、DVD-ROM、蓝光、 HD-DVD或其它光学存储装置以及信号传输和存储介质。用户输入装置 1220将来自一位或多位用户的用户输入传送给计算机系统1200，用户输入装置的实例可以包括键盘、鼠标、操纵杆、触控板、触摸屏、静态相机或摄影机和/或麦克风。网络接口1225允许计算机系统1200经由电子通信网络与其它计算机系统通信，并且可以包括经由局域网和广域网(诸如因特网)的有线或无线通信。音频处理器1255适于根据由CPU1205、存储器 1210和/或存储装置1215提供的指令和/或数据产生模拟或数字音频输出。经由一个或多个数据总线1260来连接计算机系统1200的部件，包括CPU 1205、存储器1210、数据存储装置1215、用户输入装置1220、网络接口 1225和音频处理器1255。
图形子系统1230进一步与数据总线1260和计算机系统1200的部件连接。图形子系统1230包括图形处理单元(GPU)1235和图形存储器1240。图形存储器1240包括用于存储输出图像的每个像素的像素数据的显示存储器(例如，帧缓冲器)。图形存储器1240可以与GPU1235集成在同一个装置中、作为单独装置与GPU 1235连接和/或在存储器1210内实施。可以将像素数据从CPU 1205直接提供给图形存储器1240。可选地，CPU 1205 向GPU 1235提供限定所要输出图像的数据和/或指令，GPU 1235根据所述数据和/或指令产生一个或多个输出图像的像素数据。限定所要输出图像的数据和/或指令可以存储在存储器1210和/或图形存储器1240中。在一个实施方案中，GPU 1235包括用于根据限定场景的几何形状、照明、阴影、纹理、运动和/或相机参数的指令和数据来产生输出图像的像素数据的 3D呈现能力。GPU1235还可以包括能够执行着色器程序的一个或多个可编程执行单元。
图形子系统1230定期地从图形存储器1240输出图像的像素数据以在显示装置1250上显示。显示装置1250可以是能够响应于来自计算机系统 1200的信号而显示视觉信息的任何装置，包括CRT、LCD、等离子体和 OLED显示器。计算机系统1200可以向显示装置1250提供模拟或数字信号。
根据各种实施方案，CPU 1205是具有一个或多个处理核的一个或多个通用微处理器。可以使用具有特别适合于高度并行和计算密集型应用(诸如媒体和交互式娱乐应用)的微处理器架构的一个或多个CPU 1205来实施其它实施方案。
可以经由网络来连接系统的部件，在不同的实施方案中，所述网络可以是以下的任何组合：因特网、IP网络、内联网、广域网(“WAN”)、局域网(“LAN”)、虚拟专用网(“VPN”)、公共交换电话网(“PSTN”)或支持本文中描述的装置之间的数据通信的任何其它类型的网络。网络可以包括有线连接与无线连接，包括光链路。鉴于本公开，许多其它实例是可能的并且是本领域的技术人员显而易见的。在本文中的讨论中，可能会或可能不会特别地提到网络。
在前文的说明中，参考本发明的特定实施方案来描述本发明，但是本领域的技术人员将认识到本发明不限于此。上述发明的各种特征和方面可以单独地或共同地使用。另外，在不脱离本说明书的较广泛精神和范围的情况下，本发明可以在本文中描述的那些环境和应用的以外的任何数目个环境和应用中使用。因此，说明书和图式被认为是说明性而非限制性的。
应指出，上文讨论的方法、系统和装置仅意欲为实例。必须要强调的是，各种实施方案在适当时可以省去、替代或增添各种程序或部件。举例来说，将了解到，在可选实施方案中，方法可以按与所描述的次序不同的次序来执行，并且可以增添、省去或组合各种步骤。此外，相对于某些实施方案描述的特征可以在各种其它实施方案中组合。所述实施方案的不同方面和元件可以用类似方式组合。此外，应强调的是，技术会进化，并且因此，所述元件中的许多是实例并且不应被解释为限制本发明的范围。
在描述中给出了具体细节以提供对实施方案的透彻理解。然而，本领域普通技术人员将理解，可以在无这些具体细节的情况下实践所述实施方案。举例来说，已在无多余细节的情况下示出熟知的电路、方法、算法、结构和技术，以免掩盖实施方案。
此外，应指出，实施方案可以被描述为方法，所述方法被绘示为流程图或框图。虽然流程图或框图各自可以将操作描述为顺序过程，但是所述操作中的许多操作可以并行地或同时地执行。另外，可以重新安排操作的次序。方法可以具有图中未包括的额外步骤。
此外，如本文中所公开，术语“存储器”或“存储器单元”可以表示用于存储数据的一个或多个装置，包括只读存储器(ROM)、随机存取存储器 (RAM)、磁性RAM、磁心存储器、磁盘存储介质、光学存储介质、快闪存储器装置或用于存储信息的其它计算机可读介质。术语“计算机可读介质”包括但不限于便携式或固定的存储装置、光学存储装置、无线信道、sim卡、其它智能卡以及能够存储、容留或载运指令或数据的各种其它介质。
此外，实施方案可以通过硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实施。当用软件、固件、中间件或微码来实施时，用于执行必要任务的程序码或码段可以存储在计算机可读介质(诸如存储介质)中。处理器可以执行所述必要任务。
除非另外指示，否则在本说明书中(包括在以下权利要求书中)陈述的所有测量结果、值、等级、位置、量值、大小和其它规格是近似的而非确切的。其意欲具有与其相关功能一致并且与其所属领域中的惯例一致的合理范围。“约”包括在±0.01％、±0.1％、±1％、±2％、±3％、±4％、±5％、±8％、±10％、15％、±20％、±25％的容差内或如本领域中另外所知的。“基本上”是指超过66％、75％、80％、90％、95％、99％、99.9％或取决于基本上这个术语出现的上下文而为本领域中已知的其它值。
已描述了若干实施方案，本领域技术人员将认识到，在不脱离本发明的精神的情况下，可以使用各种修改、替代构造和等效物。举例来说，以上元件可以仅为较大型系统的部件，其中其它规则可以优先于本发明的应用或否则修改本发明的应用。此外，许多步骤可以在考虑以上元件之前、期间或之后实施。因此，以上描述不应被视为限制本发明的范围。

Claims (20)

1.一种计算机实施的方法，包括：
由计算机系统存取第一虚拟现实头戴式显示器的惯性数据，以及包括所述第一虚拟现实头戴式显示器的物理环境的图像数据，所述图像数据是由第二虚拟现实头戴式显示器的光学传感器产生；
由所述计算机系统基于所述惯性数据确定所述第一虚拟现实头戴式显示器的定向速度；
由所述计算机系统基于所述图像数据中所述第一虚拟现实头戴式显示器的像素位置的变化、图像的定时以及偏移定向速度，确定行进的距离和所述行进的距离的方向；
由所述计算机系统基于所述定向速度、所述行进的距离以及所述行进的距离的方向来确定所述第一虚拟现实头戴式显示器在所述物理环境中的位置；以及
由所述计算机系统基于所述物理环境中的所述位置来导致在所述第一虚拟现实头戴式显示器处呈现虚拟现实内容。
2.如权利要求1所述的计算机实施的方法，其中所述第一虚拟现实头戴式显示器包括所述计算机系统，其中存取所述惯性数据包括经由对等数据通信网络从所述第二虚拟现实头戴式显示器接收所述惯性数据，并且其中随着时间过去基于所述惯性数据的更新来追踪所述第一虚拟现实头戴式显示器的所述位置。
3.如权利要求2所述的计算机实施的方法，其中由与所述第一虚拟现实头戴式显示器刚性地连接的惯性测量单元产生所述惯性数据。
4.如权利要求1所述的计算机实施的方法，其中基于随着时间过去追踪所述位置而产生所述第一虚拟现实头戴式显示器的运动，其中所述运动包括平移运动和旋转运动，并且其中基于所述平移运动和所述旋转运动在所述第一虚拟现实头戴式显示器处呈现所述虚拟现实内容。
5.如权利要求1所述的计算机实施的方法，其中所述第一虚拟现实头戴式显示器包括二维机器可读代码，所述二维机器可读代码识别所述第一虚拟现实头戴式显示器并且识别比例尺寸，其中基于从所述图像数据中识别所述比例尺寸由所述第二虚拟现实头戴式显示器产生所述惯性数据。
6.如权利要求1所述的计算机实施的方法，其中所述第一虚拟现实头戴式显示器包括所述计算机系统，并且所述方法还包括：
由所述计算机系统将所述惯性数据发送给所述第二虚拟现实头戴式显示器；以及
由所述计算机系统基于所述惯性数据被发送来从所述第二虚拟现实头戴式显示器接收所述位置。
7.如权利要求1所述的计算机实施的方法，其中所述第一虚拟现实头戴式显示器包括所述计算机系统，并且所述方法还包括：
由所述计算机系统从所述第二虚拟现实头戴式显示器接收所述图像数据；以及
由所述计算机系统基于所述接收到的图像数据并且基于所述第一虚拟现实头戴式显示器的惯性数据来产生指示所述位置的位置数据。
8.如权利要求1所述的计算机实施的方法，其中所述第一虚拟现实头戴式显示器包括所述计算机系统和与所述计算机系统耦接的惯性测量单元，并且其中确定所述位置包括：
由所述惯性测量单元产生所述第一虚拟现实头戴式显示器的所述惯性数据；
由所述计算机系统基于从所述第二虚拟现实头戴式显示器发送的第二惯性数据来产生校准偏移；以及
由所述计算机系统基于所述第一虚拟现实头戴式显示器的所述惯性数据和所述校准偏移来产生所述位置。
9.一种计算机系统，包括：
处理器；以及
存储计算机可读指令的存储器，所述指令在由所述处理器执行时，将所述计算机系统配置为：
存取第一虚拟现实头戴式显示器的惯性数据，以及包括所述第一虚拟现实头戴式显示器的物理环境的图像数据，所述图像数据是由第二虚拟现实头戴式显示器的光学传感器产生；
基于所述惯性数据确定所述第一虚拟现实头戴式显示器的定向速度；
基于所述图像数据中所述第一虚拟现实头戴式显示器的像素位置的变化、图像的定时以及偏移定向速度，确定行进的距离和所述行进的距离的方向；
基于所述定向速度、所述行进的距离以及所述行进的距离的方向来确定所述第一虚拟现实头戴式显示器在所述物理环境中的位置；以及
基于所述物理环境中的所述位置来导致在所述第一虚拟现实头戴式显示器处呈现虚拟现实内容。
10.如权利要求9所述的计算机系统，其中所述第一虚拟现实头戴式显示器包括所述计算机系统，其中存取所述惯性数据包括经由对等数据通信网络从所述第二虚拟现实头戴式显示器接收所述惯性数据，并且其中随着时间过去基于所述惯性数据的更新来追踪所述第一虚拟现实头戴式显示器的所述位置。
11.如权利要求10所述的计算机系统，其中由与所述第一虚拟现实头戴式显示器刚性地连接的惯性测量单元产生所述惯性数据。
12.如权利要求9所述的计算机系统，其中基于随着时间过去追踪所述位置而产生所述第一虚拟现实头戴式显示器的运动，其中所述运动包括平移运动和旋转运动，并且其中基于所述平移运动和所述旋转运动在所述第一虚拟现实头戴式显示器处呈现所述虚拟现实内容。
13.如权利要求9所述的计算机系统，其中所述第一虚拟现实头戴式显示器包括二维机器可读代码，所述二维机器可读代码识别所述第一虚拟现实头戴式显示器并且识别比例尺寸，其中基于从所述图像数据中识别所述比例尺寸由所述第二虚拟现实头戴式显示器产生所述惯性数据。
14.如权利要求9所述的计算机系统，其中所述第一虚拟现实头戴式显示器包括所述计算机系统，并且所述计算机可读指令还将所述计算机系统配置为：
将所述惯性数据发送给所述第二虚拟现实头戴式显示器；以及
基于所述惯性数据被发送来从所述第二虚拟现实头戴式显示器接收所述位置。
15.如权利要求9所述的计算机系统，其中所述第一虚拟现实头戴式显示器包括所述计算机系统，并且其中所述计算机可读指令还将所述计算机系统配置为：
从所述第二虚拟现实头戴式显示器接收所述图像数据；以及
基于所述接收到的图像数据并且基于所述第一虚拟现实头戴式显示器的惯性数据来产生指示所述位置的位置数据。
16.如权利要求9所述的计算机系统，其中所述第一虚拟现实头戴式显示器包括所述计算机系统和与所述计算机系统耦接的惯性测量单元，并且其中确定所述位置包括：
由所述惯性测量单元产生所述第一虚拟现实头戴式显示器的所述惯性数据；
由所述计算机系统基于从所述第二虚拟现实头戴式显示器发送的第二惯性数据来产生校准偏移；以及
由所述计算机系统基于所述第一虚拟现实头戴式显示器的所述惯性数据和所述校准偏移来产生所述位置。
17.一种存储计算机可读指令的非暂时性计算机可读介质，所述计算机可读指令在计算机系统上执行时使所述计算机系统执行以下操作，包括：
存取第一虚拟现实头戴式显示器的惯性数据，以及包括所述第一虚拟现实头戴式显示器的物理环境的图像数据，所述图像数据是由第二虚拟现实头戴式显示器的光学传感器产生；
基于所述惯性数据确定所述第一虚拟现实头戴式显示器的定向速度；
基于所述图像数据中所述第一虚拟现实头戴式显示器的像素位置的变化、图像的定时以及偏移定向速度，确定行进的距离和所述行进的距离的方向；
基于所述定向速度、所述行进的距离以及所述行进的距离的方向来确定所述第一虚拟现实头戴式显示器在所述物理环境中的位置；以及
基于所述物理环境中的所述位置来导致在所述第一虚拟现实头戴式显示器处呈现虚拟现实内容。
18.如权利要求17所述的非暂时性计算机可读介质，其中所述第一虚拟现实头戴式显示器包括所述计算机系统，其中存取所述惯性数据包括经由对等数据通信网络从所述第二虚拟现实头戴式显示器接收所述惯性数据，并且其中随着时间过去基于所述惯性数据的更新来追踪所述第一虚拟现实头戴式显示器的所述位置。
19.如权利要求18所述的非暂时性计算机可读介质，其中由与所述第一虚拟现实头戴式显示器刚性地连接的惯性测量单元产生所述惯性数据。
20.如权利要求17所述的非暂时性计算机可读介质，其中基于随着时间过去追踪所述位置而产生所述第一虚拟现实头戴式显示器的运动，其中所述运动包括平移运动和旋转运动，并且其中基于所述平移运动和所述旋转运动在所述第一虚拟现实头戴式显示器处呈现所述虚拟现实内容。
CN201780031248.6A 2016-03-30 2017-02-28 头戴式显示器追踪 Active CN109643014B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/085,887 US10099122B2 (en) 2016-03-30 2016-03-30 Head-mounted display tracking
US15/085,887 2016-03-30
PCT/US2017/020036 WO2017172193A1 (en) 2016-03-30 2017-02-28 Head-mounted display tracking

Publications (2)

Publication Number Publication Date
CN109643014A CN109643014A (zh) 2019-04-16
CN109643014B true CN109643014B (zh) 2021-11-19

Family

ID=59958984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780031248.6A Active CN109643014B (zh) 2016-03-30 2017-02-28 头戴式显示器追踪

Country Status (5)

Country Link
US (2) US10099122B2 (zh)
EP (1) EP3436867B1 (zh)
JP (2) JP6690014B2 (zh)
CN (1) CN109643014B (zh)
WO (1) WO2017172193A1 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US10099122B2 (en) 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking
US10451719B2 (en) * 2016-06-22 2019-10-22 Loose Cannon Systems, Inc. System and method to indicate relative location of nodes in a group
US11089280B2 (en) 2016-06-30 2021-08-10 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content
US10896544B2 (en) * 2016-10-07 2021-01-19 Htc Corporation System and method for providing simulated environment
US10296105B2 (en) * 2016-11-30 2019-05-21 Seiko Epson Corporation Head-mounted display device, computer program, and control method for head-mounted display device
US10713848B2 (en) * 2017-04-06 2020-07-14 Htc Corporation System and method for providing simulated environment
US20180314322A1 (en) * 2017-04-28 2018-11-01 Motive Force Technology Limited System and method for immersive cave application
DE102017208936A1 (de) * 2017-05-29 2018-11-29 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
KR102603712B1 (ko) 2017-11-03 2023-11-20 삼성전자주식회사 헤드 마운팅 장치
US10983589B2 (en) * 2018-01-22 2021-04-20 MassVR, LLC Systems and methods for collision avoidance in virtual environments
KR102582745B1 (ko) * 2018-02-08 2023-09-25 라인플러스 주식회사 대화방을 3차원 형태로 제공하는 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
EP3557378B1 (en) * 2018-04-16 2022-02-23 HTC Corporation Tracking system for tracking and rendering virtual object corresponding to physical object and the operating method for the same
US11048464B2 (en) * 2018-07-31 2021-06-29 Dell Products, L.P. Synchronization and streaming of workspace contents with audio for collaborative virtual, augmented, and mixed reality (xR) applications
CN113168007B (zh) * 2018-09-25 2023-09-15 奇跃公司 用于增强现实的系统和方法
US10871939B2 (en) * 2018-11-07 2020-12-22 Nvidia Corporation Method and system for immersive virtual reality (VR) streaming with reduced audio latency
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US11221814B2 (en) * 2018-12-27 2022-01-11 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11675424B2 (en) * 2019-01-22 2023-06-13 Hewlett-Packard Development Company, L.P. Mixed reality presentation
US10885710B2 (en) 2019-03-14 2021-01-05 Microsoft Technology Licensing, Llc Reality-guided roaming in virtual reality
JP7349256B2 (ja) * 2019-04-23 2023-09-22 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および情報提示方法
CN110124305B (zh) * 2019-05-15 2023-05-12 网易（杭州）网络有限公司 虚拟场景调整方法、装置、存储介质与移动终端
US11474610B2 (en) * 2019-05-20 2022-10-18 Meta Platforms Technologies, Llc Systems and methods for generating dynamic obstacle collision warnings for head-mounted displays
US11372474B2 (en) * 2019-07-03 2022-06-28 Saec/Kinetic Vision, Inc. Systems and methods for virtual artificial intelligence development and testing
KR20230144093A (ko) * 2019-07-28 2023-10-13 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
CN114830182A (zh) 2019-10-18 2022-07-29 奇跃公司 视觉惯性里程计的重力估计和光束法平差
US11743064B2 (en) * 2019-11-04 2023-08-29 Meta Platforms Technologies, Llc Private collaboration spaces for computing systems
US11209657B2 (en) 2020-01-24 2021-12-28 Valve Corporation Position tracking system for head-mounted display systems that includes angle sensitive detectors
CN115066281A (zh) * 2020-02-12 2022-09-16 Oppo广东移动通信有限公司 增强现实(ar)应用的姿势评估数据
US11777626B2 (en) 2020-12-09 2023-10-03 XRSpace CO., LTD. Method and apparatus related to multiple modes
EP4012535A1 (en) * 2020-12-10 2022-06-15 XRSpace CO., LTD. Method and apparatus related to multiple modes
JP2022108093A (ja) * 2021-01-12 2022-07-25 ソニーセミコンダクタソリューションズ株式会社 接近回避システム及び前庭電気刺激装置
US11558711B2 (en) * 2021-03-02 2023-01-17 Google Llc Precision 6-DoF tracking for wearable devices
KR20220136561A (ko) 2021-03-31 2022-10-11 삼성디스플레이 주식회사 표시 장치 및 표시 장치 제어 방법
CN113253840B (zh) * 2021-05-06 2023-03-10 青岛小鸟看看科技有限公司 多参与模式的人工现实系统
CN117441149A (zh) * 2021-06-18 2024-01-23 松下电器（美国）知识产权公司 信息处理方法、程序及信息处理系统
US20230196681A1 (en) * 2021-12-17 2023-06-22 Objectvideo Labs, Llc Extended reality 3d space creation and management
CN117472198A (zh) * 2022-07-27 2024-01-30 宏达国际电子股份有限公司 跟踪系统和跟踪方法
US20240087224A1 (en) * 2022-09-12 2024-03-14 Htc Corporation Remote-control system, remote-controller, and remote-control method
CN117180720B (zh) * 2023-11-07 2024-01-05 成都孚谦科技有限公司 一种基于体感追踪器技术的虚拟动作游戏交互系统及方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
WO2015048890A1 (en) 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for augmented reality and virtual reality applications
CN103019377A (zh) * 2012-12-04 2013-04-03 天津大学 基于头戴式可视显示设备的输入方法及装置
KR102516124B1 (ko) * 2013-03-11 2023-03-29 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
CN105359063B (zh) 2013-06-09 2018-08-17 索尼电脑娱乐公司 利用追踪的头戴式显示器
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US20150097719A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for active reference positioning in an augmented reality environment
US20150116316A1 (en) 2013-10-28 2015-04-30 Brown University Virtual reality methods and systems
US9524580B2 (en) * 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
EP3108287A4 (en) * 2014-02-18 2017-11-08 Merge Labs, Inc. Head mounted display goggles for use with mobile computing devices
US9996975B2 (en) * 2014-03-18 2018-06-12 Dreamworks Animation L.L.C. Interactive multi-rider virtual reality ride system
TW201537219A (zh) 2014-03-21 2015-10-01 Quanta Comp Inc 頭戴式顯示裝置
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
JP2016004493A (ja) * 2014-06-18 2016-01-12 キヤノン株式会社 画像処理装置およびその制御方法
US9406171B2 (en) * 2014-08-25 2016-08-02 Daqri, Llc Distributed aperture visual inertia navigation
US10083544B2 (en) * 2015-07-07 2018-09-25 Google Llc System for tracking a handheld device in virtual reality
JP6172233B2 (ja) * 2015-10-02 2017-08-02 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US10099122B2 (en) 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking

Also Published As

Publication number Publication date
WO2017172193A8 (en) 2018-04-05
CN109643014A (zh) 2019-04-16
EP3436867B1 (en) 2021-12-22
EP3436867A1 (en) 2019-02-06
US10905950B2 (en) 2021-02-02
WO2017172193A1 (en) 2017-10-05
JP2019516174A (ja) 2019-06-13
US20170282062A1 (en) 2017-10-05
JP6979475B2 (ja) 2021-12-15
US20190046873A1 (en) 2019-02-14
US10099122B2 (en) 2018-10-16
EP3436867A4 (en) 2019-12-04
JP2020102239A (ja) 2020-07-02
JP6690014B2 (ja) 2020-04-28

Similar Documents

Publication Publication Date Title
CN109643014B (zh) 头戴式显示器追踪
CN112400202B (zh) 为在hmd环境中进行快速中央凹渲染利用预测和对gpu的后期更新做出的眼睛跟踪
KR102212250B1 (ko) 증강 현실 오브젝트의 신체 고정식 배치
EP3486707B1 (en) Perception based predictive tracking for head mounted displays
US11836284B2 (en) Sensor fusion for electromagnetic tracking
US10279255B2 (en) Position-dependent gaming, 3-D controller, and handheld as a remote
US20150070274A1 (en) Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
JP2019505926A (ja) 拡張現実のためのシステムおよび方法
WO2016041088A1 (en) System and method for tracking wearable peripherals in augmented reality and virtual reality applications
US11100713B2 (en) System and method for aligning virtual objects on peripheral devices in low-cost augmented reality/virtual reality slip-in systems
US11127156B2 (en) Method of device tracking, terminal device, and storage medium
US20220026981A1 (en) Information processing apparatus, method for processing information, and program
JP7368489B2 (ja) サーモパイルアレイフュージョントラッキング
US20190126139A1 (en) Calibration of a magnetometer for augmented reality experience
US11300783B2 (en) Method and system for resolving hemisphere ambiguity in six degree of freedom pose measurements
Chen et al. The Body Sensor Suit with Mixed Reality Interactive Games

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant