CN107111340B - 在虚拟或增强现实场景内进行用户交互的方法和系统 - Google Patents

在虚拟或增强现实场景内进行用户交互的方法和系统 Download PDF

Info

Publication number
CN107111340B
CN107111340B CN201580071504.5A CN201580071504A CN107111340B CN 107111340 B CN107111340 B CN 107111340B CN 201580071504 A CN201580071504 A CN 201580071504A CN 107111340 B CN107111340 B CN 107111340B
Authority
CN
China
Prior art keywords
mounted display
movement
head mounted
virtual reality
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580071504.5A
Other languages
English (en)
Other versions
CN107111340A (zh
Inventor
E.拉森
F.乌明格
X.叶
N.里蒙
J.R.斯塔福德
X.娄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN107111340A publication Critical patent/CN107111340A/zh
Application granted granted Critical
Publication of CN107111340B publication Critical patent/CN107111340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

头戴式显示器内的惯性传感器用来追踪所述头戴式显示器的移动。所述头戴式显示器的所述追踪的移动与虚拟现实场景内的目前显示给佩戴所述头戴式显示器的用户的动作关联。所述虚拟现实场景内的所述动作基于目前显示的所述虚拟现实场景的情形。所述头戴式显示器的所述检测的移动可与诸如注视检测数据的其他传感器数据结合来确定所述虚拟现实场景内的所述动作。以此方式，如使用所述头戴式显示器内的所述惯性传感器检测的所述用户的移动用作输入来在如所述头戴式显示器内显示给所述用户的所述虚拟现实场景的所述当前情形内引发动作。

Description

在虚拟或增强现实场景内进行用户交互的方法和系统
技术领域
本发明涉及用于在虚拟现实空间内进行用户交互的方法和系统。
背景技术
在虚拟现实系统中，用户在视觉上变得沉浸在计算机产生的三维虚拟现实场景中。在一些应用中，如向用户显示的整个虚拟现实场景是计算机产生的。在其他应用中，虚拟现实场景的一部分是计算机产生的，同时虚拟现实场景的另一部分对应于现实物体和/或个人的视频和/或图像，其中此类现实视频/图像可基本上实时地在虚拟现实场景中渲染。此类应用可被称为增强现实应用。
在许多虚拟现实应用中，不仅希望使用户感觉在视觉上沉浸在虚拟现实场景中，而且希望为用户提供与显示在虚拟现实场景内的特征自然交互的感觉。本发明就是在这种情形下产生。
发明内容
在示例性实施方案中，一种方法包括将视频数据传输到头戴式显示器以在头戴式显示器内显示虚拟现实场景。所述方法还包括从头戴式显示器内的一个或多个惯性传感器接收惯性传感器数据。惯性传感器数据指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动。用户的移动基于显示在头戴式显示器内的虚拟现实场景。所述方法还包括使接收的惯性传感器数据与虚拟现实场景内的动作关联。所述方法还包括产生虚拟现实场景的更新以反映动作的实现。
在示例性实施方案中，一种方法包括在头戴式显示器处接收视频数据。视频数据定义虚拟现实场景。所述方法还包括在头戴式显示器内显示虚拟现实场景。所述方法还包括操作头戴式显示器内的一个或多个惯性传感器来产生惯性传感器数据，所述惯性传感器数据指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动。用户的移动对应于虚拟现实场景内的动作。所述方法还包括将惯性传感器数据传输到视频数据从其接收的计算系统。所述方法还包括从计算系统接收视频数据，所述视频数据定义反映虚拟现实场景内的对应于用户移动的动作的更新的虚拟现实场景。所述方法还包括在头戴式显示器内显示更新的虚拟现实场景。
在示例性实施方案中，一种系统包括惯性数据处理模块，所述惯性数据处理模块被配置来从头戴式显示器接收惯性传感器数据。惯性传感器数据指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动。用户的移动基于显示在头戴式显示器内的虚拟现实场景。惯性数据处理模块被配置来根据惯性传感器数据确定头戴式显示器的移动路径和头戴式显示器的移动速率。所述系统还包括惯性数据关联模块，所述惯性数据关联模块被配置来使头戴式显示器的移动路径和头戴式显示器的移动速率与虚拟现实场景内的动作关联。所述系统还包括惯性数据命令输出模块，所述惯性数据命令输出模块被配置来向渲染引擎提供命令信号。命令信号引导渲染引擎来更新虚拟现实场景以反映动作的实现。
在示例性实施方案中，一种方法包括将视频数据传输到头戴式显示器以在头戴式显示器内显示虚拟现实场景。头戴式显示器配备有一个或多个惯性传感器，所述一个或多个惯性传感器被配置来产生指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动的惯性传感器数据。虚拟现实场景请求用户做出示意动作来在虚拟现实场景内引发具体动作。示意动作引发头戴式显示器的移动和对应于头戴式显示器的移动的惯性传感器数据的产生。所述方法还包括从头戴式显示器接收惯性传感器数据。惯性传感器数据指示头戴式显示器响应于用户做出示意动作来在虚拟现实场景内引发具体动作的移动。所述方法还包括使接收的惯性传感器数据与虚拟现实场景内的具体动作关联，使得当随后接收基本上等于先前接收的惯性传感器数据的惯性传感器数据时具体动作在虚拟现实场景内被执行。
在示例性实施方案中，一种方法包括将视频数据传输到头戴式显示器以在头戴式显示器内显示虚拟现实场景。头戴式显示器配备有一个或多个惯性传感器，所述一个或多个惯性传感器被配置来产生指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动的惯性传感器数据。虚拟现实场景允许用户做出示意动作来在虚拟现实场景内引发具体动作。示意动作引发头戴式显示器的移动和对应于头戴式显示器的移动的惯性传感器数据的产生。所述方法还包括从头戴式显示器接收惯性传感器数据。惯性传感器数据指示头戴式显示器响应于用户做出示意动作来在虚拟现实场景内引发具体动作的移动。所述方法还包括通过处理接收的惯性传感器数据来确定用户的移动路径和用户的移动速率。所述方法还包括确定虚拟现实场景的对应于接收的惯性传感器数据的移动类别。所述方法还包括使接收的惯性传感器数据与虚拟现实场景的确定的移动类别关联。所述方法还包括在用户简档中记录接收的惯性传感器数据与虚拟现实场景的确定的移动类别的关联。
结合附图来阅读以下详细描述，本发明的其他方面将变得更显而易见，以下详细描述通过举例的方式来说明本发明。
附图说明
图1A示出根据本发明的示例性实施方案的佩戴头戴式显示器的用户，所述头戴式显示器通过有线链路与计算机系统通信。
图1B示出根据本发明的示例性实施方案的由用户佩戴以观看多媒体内容和/或与之交互的示例性头戴式显示器。
图2A示出根据本发明的示例性实施方案的佩戴头戴式显示器的用户的侧视图，其中用户位于相对于由x、y、z轴线限定的参考笛卡儿坐标系统的起始位置。
图2B示出根据本发明的示例性实施方案的佩戴头戴式显示器的用户的主视图，其中用户位于相对于由x、y、z轴线限定的参考笛卡儿坐标系统的起始位置。
图3A示出根据本发明的示例性实施方案的用户从起始位置的前倾移动。
图3B示出根据本发明的示例性实施方案的用户从起始位置的后倾移动。
图3C示出根据本发明的示例性实施方案的用户从起始位置的左倾移动。
图3D示出根据本发明的示例性实施方案的用户从起始位置的右倾移动。
图3E示出根据本发明的示例性实施方案的佩戴头戴式显示器的用户的俯视图，其中用户位于相对于由x、y、z轴线限定的参考笛卡儿坐标系统的起始位置。
图3F示出根据本发明的示例性实施方案的用户从起始位置的左转头移动。
图3G示出根据本发明的示例性实施方案的用户从起始位置的右转头移动。
图3H示出根据本发明的示例性实施方案的用户从起始位置的上摆头移动。
图3I示出根据本发明的示例性实施方案的用户从起始位置的下摆头移动。
图3J示出根据本发明的示例性实施方案的用户从起始位置的向下移动。
图3K示出根据本发明的示例性实施方案的用户从起始位置的向上移动。
图3L示出根据本发明的示例性实施方案的佩戴头戴式显示器的用户的主视图，其中用户位于相对于由x、y、z轴线限定的参考笛卡儿坐标系统的起始位置，并且其中另外的惯性传感器位于用户身体上在头戴式显示器外部。
图4示出根据本发明的示例性实施方案的一种操作计算机系统来基于从头戴式显示器接收的惯性传感器数据产生虚拟现实场景的视频数据的方法的流程图。
图5示出根据本发明的示例性实施方案的一种操作计算机系统来基于从头戴式显示器接收的惯性传感器数据和注视方向数据产生虚拟现实场景的视频数据的方法的流程图。
图6示出根据本发明的示例性实施方案的一种用于操作头戴式显示器的方法的流程图，在所述头戴式显示器中基于用户移动产生的惯性数据信号被提供作为在虚拟现实场景内引发动作的输入。
图7示出根据本发明的示例性实施方案的一种用于操作头戴式显示器的方法的流程图，在所述头戴式显示器中基于用户移动产生的惯性数据信号和注视方向数据两者被提供作为在虚拟现实场景内引发动作的输入。
图8示出根据本发明的示例性实施方案的一种操作计算机系统来基于从头戴式显示器接收的惯性传感器数据校准虚拟现实场景内的动作的方法的流程图。
图9A示出根据本发明的示例性实施方案的一种操作计算机系统来基于从头戴式显示器接收的惯性传感器数据动态地校准虚拟现实场景内的动作的方法的流程图。
图9B示出根据本发明的示例性实施方案的用户简档中的接收的惯性传感器数据与虚拟现实场景的确定的移动类别的示例性关联。
图10示出根据本发明的示例性实施方案的头戴式显示器的块级体系结构。
图11A示出计算机系统和可用来实现本发明的一些实施方案的其他交互硬件的示例性块级体系结构。
图11B示出根据本发明的示例性实施方案的惯性处理模块的块级图。
具体实施方式
在以下描述中，提出了许多具体细节，以便提供对本发明的透彻的了解。然而，本领域的技术人员将明白，在不具有一些或全部这些具体细节的情况下也可实践本发明。在其他情况下，众所周知的过程操作尚未进行详细描述，以免不必要地混淆本发明。
以下详细说明包括对这些附图的参考，这些附图形成所述详细说明的一部分。附图示出根据示例性实施方案的例证。对在本文中还被称为“实例”的这些示例性实施方案进行足够详细的描述，以使得本领域的技术人员能够实践所呈现的主题。在不脱离权利要求书的范围的情况下，可结合这些实施方案，可利用其他实施方案，或可做出结构、逻辑和电气改变。因此以下详细说明不应以限制的含义来理解，并且所述范围仅由所附权利要求书及它们的等效物来限定。在本文件中，术语“一个”和“一种”像通常专利文件中一样用来包括一个(种)或多于一个(种)。在本文件中，除非另外指示，否则术语“或者”用来指代非排他性的或者，使得“A或B”包括“A但不是 B”、“B但不是A”、和“A和B”。
可使用多种技术来实现本文公开的实施方案的技术。例如，以计算机系统上执行的软件或者以利用微处理器或其他专门设计的专用集成电路(ASIC)、可编程逻辑器件的组合或者它们的各种组合的硬件来实现本文描述的方法。具体地，本文描述的方法由驻留在存储介质(诸如磁盘驱动器)或计算机可读介质上的一系列计算机可执行指令来实现。应注意，本文公开的方法可由移动终端、蜂窝电话、智能电话、计算机(例如，台式计算机、平板计算机、膝上型计算机)、游戏机、手持式游戏设备等来实现。
如本文使用的术语“头戴式显示器”是指以下中的一个或多个：具有显示器的可佩戴计算机、头戴式电子器件、头联式显示器、头盔显示器、具有显示器的头戴式计算机。戴在用户头上或作为头盔的一部分的头戴式显示器具有位于一只眼睛(单眼显示器件)或每只眼睛(双眼显示器件)前方的小型显示光学器件。头戴式显示器具有一个或两个小型显示单元，其中透镜和半透明镜片嵌入头盔、眼镜(也被称为数据玻璃)或遮光板。显示单元可小型化并且可包括液晶显示器 (LCD)、有机发光二极管(OLED)显示器等。一些供应商采用多个微显示器来增大总分辨率和视野。一些其他头戴式显示器从不使用传统的显示器，而是替代地将光直接投射到用户的眼睛上。
图1A示出根据本发明的示例性实施方案的佩戴头戴式显示器 102的用户100，所述头戴式显示器102通过有线链路104与计算机系统106通信。以类似于眼镜、护目镜或头盔的方式佩戴头戴式显示器102，并且所述头戴式显示器102被配置来向用户100显示视频游戏或其他内容。头戴式显示器102被配置来通过非常接近于用户眼睛操作其显示部件(诸如光学器件和显示屏)向用户100提供沉浸式体验。此外，视频内容的格式可被限定来通过头戴式显示器102向用户100显示虚拟现实场景，其中使得用户100感觉真实置身于虚拟现实场景内。在一些实施方案中，头戴式显示器102可为用户的每只眼睛提供显示区域，所述显示区域占据用户视野的大部分或甚至整个部分。
计算机系统106可以是任何通用或专用计算机，包括但不限于游戏机、个人计算机、膝上型电脑、平板计算机、移动设备、蜂窝电话、平板电脑、精简型客户端、机顶盒、流媒体设备等。计算机系统106被配置来渲染视频和音频内容并且通过有线链路104将渲染的内容传输到头戴式显示器102。应理解尽管图1A的实例包括有线链路104，但其他实施方案可单独或结合通过有线链路104的通信利用头戴式显示器102与计算机系统106之间的无线通信。此外，在一些实施方案中，头戴式显示器102可直接连接到互联网。
由计算机系统106渲染的内容可基本上用于任何类型的计算机应用，并且可包括一种或多种类型的内容，诸如游戏、电影、音频、图像、多媒体等。在一些实施方案中，内容或内容的部分由计算机系统106产生。然而，在一些实施方案中，内容或内容的部分通过网络110从远程内容源120流式传送到计算机系统106。此外，在一些实施方案中，内容或内容的部分通过网络110从云游戏基础设施112流式传送到计算机系统106。云游戏基础设施112还可通过网络110将有待从远程内容源120传输的各种类型的内容引导到计算机系统106。示例性远程内容源120是提供可下载内容和/或流式内容的互联网网站。由远程内容源120提供的内容可包括任何类型的多媒体内容，诸如电影、游戏、静态/动态内容、图片、社交媒体内容、社交媒体网站等。在一些实施方案中，内容数据从远程内容源 120传输到计算机系统106，其中计算机系统106接着以适于由头戴式显示器102使用的格式渲染内容数据，接着通过有线链路104将渲染的内容从计算机系统106传输到头戴式显示器102。
在一些实施方案中，用户100可操作控制器(未示出)来向计算机系统106提供输入命令。此外，在一些实施方案中，摄像机108被配置来捕获用户100所处的环境的图像。摄像机108如由链接109所指示连接到计算机系统106。计算机系统106可操作来分析由摄像机108捕获的图像以确定用户100、头戴式显示器102和/或控制器的位置和移动。如关于图1B所论述的，头戴式显示器102可包括一个或多个灯，所述一个或多个灯可用作标记以帮助通过对由摄像机108 捕获的图像的分析追踪头戴式显示器102。此外，在一些实施方案中，摄像机108可被配置来包括多个图像捕获设备(诸如立体摄像机对)、红外摄像机、深度摄像机或其组合。在一些实施方案中，一个或多个麦克风(未示出)可用来捕获来自用户100和/或来自用户100所处的环境的声音，以用于由计算机系统106处理。
在一些实施方案中，计算机系统106被配置来在计算机系统106 的处理硬件上以本地方式执行游戏。可以任何形式获得游戏或内容，诸如物理介质形式(例如，数字光盘、磁带、插件、拇指驱动器、固态芯片或插件等)，或借助于经由网络110从互联网下载。在一些实施方案中，计算机系统106充当通过网络110与云游戏基础设施112通信的客户端。云游戏基础设施112可维护并且执行用户100 正玩的视频游戏。计算机系统106可被限定来将从头戴式显示器 102、控制器和摄像机108接收的输入传输到云游戏基础设施112，所述云游戏基础设施112处理输入以影响正执行的视频游戏的游戏状态。
在一些实施方案中，头戴式显示器102、控制器和摄像机108本身可以是连接到网络110以便与云游戏基础设施112通信的联网设备。例如，计算机系统106可以是不另外进行视频游戏处理但促进网络流量通过的本地网络设备(诸如路由器)。头戴式显示器102、控制器和摄像机108到网络110的连接可以是有线或无线的。
来自正执行视频游戏的游戏数据(诸如视频数据、音频数据和触觉反馈数据)可从云游戏基础设施112和/或内容源120传输到计算机系统106。计算机系统106在传输到适当设备之前可进一步处理游戏数据，或可将所述游戏数据直接传输到适当设备。例如，视频流和音频流可传输到头戴式显示器102，而振动反馈命令可传输到控制器。
图1B示出根据本发明的示例性实施方案的由用户100佩戴以观看多媒体内容和/或与之交互的示例性头戴式显示器102。头戴式显示器102允许用户100观看丰富的多媒体内容，所述多媒体内容包括来自视频游戏的交互式场景、来自电影的场景、互联网内容以及其他类型的交互式和非交互式内容。对头戴式显示器102的位置和移动(包括取向、定位、方向等)的追踪由头戴式显示器102搭载的惯性传感器并且通过以下方式来实现：使用传感器组合或基于用来定义围绕头戴式显示器102的体积的一个或多个变量追踪跨头戴式显示器102的不同外表面分布的多个标记元素(诸如发光二极管、红外标记、视觉标记元素等)。用于追踪的传感器中的一些包括但不限于头戴式显示器102内的允许对头戴式显示器102进行移动追踪的惯性传感器、一个或多个图像传感器和一个或多个深度传感器，其中所述图像传感器和所述深度传感器允许光学追踪。使用惯性传感器进行的追踪可使用设置在头戴式显示器102内的一个或多个加速计和一个或多个陀螺仪来实现。
图像传感器可包括一个或多个单透镜摄像机、红外摄像机、立体摄影机等。此外，深度传感器可包括一个或多个深度感测摄像机、超声波摄像机、三维(3D)立体摄像机、视频摄像机等。图像传感器和深度传感器涵盖设置在头戴式显示器102内的一个或多个摄像机以及分散在佩戴头戴式显示器102的用户100的现实世界环境内的外部摄像机，诸如摄像机108。头戴式显示器102内的图像传感器和/或深度传感器例如用来从佩戴头戴式显示器102的用户100的角度捕获紧邻用户100的现实世界物体/场景的图像/视频。当内容产生时，捕获的图像/视频可在头戴式显示器102的显示器部分中渲染。
此外，捕获的图像/视频可在头戴式显示器102的显示器上呈现给用户100以在用户100佩戴头戴式显示器102时向所述用户100提供“视频透视式”能力。就是说，尽管严格意义上来说，用户100不能透视头戴式显示器102，但头戴式显示器102的图像捕获设备所捕获的视频可提供功能等效物，所述功能等效物能够看见头戴式显示器 102外部的环境，如同头戴式显示器102是透明的。此类视频可利用虚拟元素来增强，以便提供增强的现实体验，或可与虚拟元素以其他方式组合或共混。为了便于描述，如本文使用的术语“虚拟现实场景”是指头戴式显示器102内的视频显示，所述视频显示为完全由计算机产生的虚拟现实场景或增强现实场景。
从外部看分布在用户100的场景内的图像传感器和/或深度传感器例如被配置来捕获跨头戴式显示器102的外表面分布的各种标记 (诸如灯、发光二极管(LED)、红外标记等)的图像/视频。在一个实施方案中，图像/视频被传输到计算机系统106，在所述计算机系统106 中对所述图像/视频帧进行分析以确定头戴式显示器102的位置。另外，可在头戴式显示器102的计算机处理能力内对图像/视频进行分析以确定头戴式显示器102相对于现实世界场景中的其他物体的位置、取向、方向。
在一个配置中，头戴式显示器102包括设置在头戴式显示器102 的一个或多个外表面上的战略位置处的LED(例如，由图1B中的泡状物2、4和6所表示)。例如，LED可设置在头戴式显示器102的前块单元102a(例如，也被称为光学块)的四角上，并且两个LED设置在头戴式显示器102的后/背区段102b上。在一些实施方案中，后/ 背区段102b设置在可调节带单元上。头戴式显示器102还可包括其他表面，诸如102c和102d，以允许用户安全且紧固地将头戴式显示器102定位在用户100的头部上。在一些实施方案，前部LED被配置成部分地设置在前块单元102a的前表面上并且部分地设置在前块单元102a的侧表面上(设置在前表面中的每一侧上)，以限定局部L 形、弯曲L形、回旋形、弯曲矩形、曲线、斑点、圆形、图案或其组合。标记并不局限于LED而且还可包括灯、红外标记、颜色编码的标记、反射标记等。
对图像/视频帧的分析用来计算头戴式显示器102的不同标记与彼此和与一个或多个参考点的相对距离。经计算的距离用来确定头戴式显示器102周围的体积和在使用期间的体积变化以更准确地限定头戴式显示器102的位置。另外，在一些实施方案中，对由各种传感器捕获的视频帧/图像进行分析以帮助就取向、定位和移动方向而言确定各个标记的位置，以便更准确地确定佩戴头戴式显示器102 的用户100的移动方向或位置。
此外，如本文论述的，头戴式显示器102搭载的惯性传感器产生惯性传感器数据，可对所述惯性传感器数据进行分析/处理以确定头戴式显示器102的位置、移动方向和移动速率，以便确定由用户 100做出的作为对应用的输入的动作和/或示意动作，所述输入执行来产生在头戴式显示器102中显示的虚拟现实场景。在一些实施方案中，可在没有头戴式显示器102的其他标记的情况下使用惯性传感器来确定头戴式显示器102的位置、移动方向和移动速率。在一些实施方案中，可使用惯性传感器结合头戴式显示器102的其他标记来确定头戴式显示器102的位置、移动方向和移动速率。
在一些实施方案中，头戴式显示器102被配置来允许观看计算机应用的交互式虚拟现实场景。例如，可支持虚拟现实场景产生和通过头戴式显示器102显示的一些计算机应用包括游戏(诸如第一人称射击游戏)、虚拟旅行(诸如酒店、旅游景点、全球名胜古迹、增强现实应用(诸如用于虚拟会议、不同远程用户之间的协作、共享/同步虚拟空间))和增强现实医学应用(诸如远程检查、检查协助、远程手术、远程手术协助)等。在各种计算机应用中，佩戴头戴式显示器 102的用户100将能够在任何方向移动他们的头部以观看虚拟现实场景的其他部分。此外，就交互式虚拟现实场景而言，头戴式显示器 102借助于用户头部移动的移动可用来提供输入以控制用户和/或虚拟现实场景内的其他物体的移动，和/或在虚拟现实场景内采取其他动作，诸如相对于虚拟现实场景内存在的物体放大和缩小用户的视野。
因为可在头戴式显示器102中的虚拟现实场景中渲染的交互式内容几乎是无限的，所以用户能够在几乎每个维度中观看虚拟场景并且与之交互。追踪用户的移动可包括使用设置在头戴式显示器102 内的惯性传感器。惯性传感器可包括一个或多个加速计(诸如MEMS 惯性加速计等)和/或一个或多个陀螺仪(诸如环形激光陀螺仪、光纤陀螺仪、MEMS陀螺仪等)。头戴式显示器102的一些实现可包括或多或少的惯性传感器。
为了便于描述，如本文使用的术语“惯性传感器”是指能够在没有外部参考的情况下检测/感测本身移动的任何类型的惯性传感器。惯性传感器产生惯性传感器数据，所述惯性传感器数据提供有关惯性传感器的移动方向和移动速率的信息。由于惯性传感器固定在头戴式显示器102内，可对惯性传感器数据进行分析以确定头戴式显示器102的移动方向和移动速率，继而可对所述移动方向和移动速率进行分析以确定佩戴头戴式显示器102的用户100的移动方向和移动速率。以此方式，如通过对惯性传感器数据的分析确定的用户移动可用作对计算机应用的输入，所述输入执行来产生和渲染虚拟现实场景。
因此，通过对惯性传感器数据的分析，用户能够充当人控制器以影响交互式虚拟现实场景内的具体动作。此外，在一些实施方案中，用户的移动和在虚拟现实场景内的对应动作可自然地彼此相关。例如，指示用户前倾的惯性传感器数据可由计算机应用用作输入以引发用户的视点在虚拟现实场景内前移。应了解，根据人体可能的移动范围和任何给定虚拟现实场景的情形，用户移动和虚拟现实场景内的对应动作的类型基本上是无限的。
图2A示出根据本发明的示例性实施方案的佩戴头戴式显示器 102的用户100的侧视图，其中用户位于相对于由x、y、z轴线限定的参考笛卡儿坐标系统的起始位置。图2B示出根据本发明的示例性实施方案的佩戴头戴式显示器102的用户100的主视图，其中用户位于相对于由x、y、z轴线限定的参考笛卡儿坐标系统的起始位置。
图3A示出根据本发明的示例性实施方案的用户100从起始位置的前倾移动。用户100的前倾移动致使头戴式显示器102搭载的惯性传感器产生惯性传感器数据，所述惯性传感器数据在被分析时揭示出如箭头201所指示的前倾移动方向。如通过对惯性传感器数据的分析确定的前倾移动方向可用来影响显示在头戴式显示器102中的虚拟现实场景内的动作，诸如致使用户的视点或受用户控制的虚拟物体前倾，或者致使用户的视点或受用户控制的虚拟物体的后移停止，或者致使用户在虚拟现实场景内的特定物体或点上的视野放大等与当前在头戴式显示器102内显示给用户100的虚拟现实场景的情形相称的其他可能的动作。
图3B示出根据本发明的示例性实施方案的用户100从起始位置的后倾移动。用户100的后倾移动致使头戴式显示器102搭载的惯性传感器产生惯性传感器数据，所述惯性传感器数据在被分析时揭示出如箭头203所指示的后倾移动方向。如通过对惯性传感器数据的分析确定的后倾移动方向可用来影响显示在头戴式显示器102中的虚拟现实场景内的动作，诸如致使用户的视点或受用户控制的虚拟物体的前移停止，或者致使用户的视点或受用户控制的虚拟物体后移，或者致使用户从虚拟现实场景内的特定物体或点的视野缩小等与当前在头戴式显示器102内显示给用户100的虚拟现实场景的情形相称的其他可能的动作。
图3C示出根据本发明的示例性实施方案的用户100从起始位置的左倾移动。用户100的左倾移动致使头戴式显示器102搭载的惯性传感器产生惯性传感器数据，所述惯性传感器数据在被分析时揭示出如箭头205所指示的左倾移动方向。如通过对惯性传感器数据的分析确定的左倾移动方向可用来影响显示在头戴式显示器102中的虚拟现实场景内的动作，诸如致使用户的视点或受用户控制的虚拟物体的右移停止，或者致使用户的视点或受用户控制的虚拟物体左移，或者致使用户或受用户控制的虚拟物体的视野向左倾斜等与当前在头戴式显示器102内显示给用户100的虚拟现实场景的情形相称的其他可能的动作。
图3D示出根据本发明的示例性实施方案的用户100从起始位置的右倾移动。用户100的右倾移动致使头戴式显示器102搭载的惯性传感器产生惯性传感器数据，所述惯性传感器数据在被分析时揭示出如箭头207所指示的右倾移动方向。如通过对惯性传感器数据的分析确定的右倾移动方向可用来影响显示在头戴式显示器102中的虚拟现实场景内的动作，诸如致使用户的视点或受用户控制的虚拟物体的左移停止，或者致使用户的视点或受用户控制的虚拟物体右移，或者致使用户的视点或受用户控制的虚拟物体右倾等与当前在头戴式显示器102内显示给用户100的虚拟现实场景的情形相称的其他可能的动作。
图3E示出根据本发明的示例性实施方案的佩戴头戴式显示器 102的用户100的俯视图，其中用户位于相对于由x、y、z轴线限定的参考笛卡儿坐标系统的起始位置。图3F示出根据本发明的示例性实施方案的用户100从起始位置的左转头移动。用户100的左转头移动致使头戴式显示器102搭载的惯性传感器产生惯性传感器数据，所述惯性传感器数据在被分析时揭示出如箭头209所指示的左转头移动方向。如通过对惯性传感器数据的分析确定的左转头移动方向可用来影响显示在头戴式显示器102中的虚拟现实场景内的动作，诸如致使用户的视点或受用户控制的虚拟物体的右转移动停止，或者致使用户的视点或受用户控制的虚拟物体左转，或者致使用户的视野向左摇摄等与当前在头戴式显示器102内显示给用户100的虚拟现实场景的情形相称的其他可能的动作。
图3G示出根据本发明的示例性实施方案的用户100从起始位置的右转头移动。用户100的右转头移动致使头戴式显示器102搭载的惯性传感器产生惯性传感器数据，所述惯性传感器数据在被分析时揭示出如箭头211所指示的右转头移动方向。如通过对惯性传感器数据的分析确定的右转头移动方向可用来影响显示在头戴式显示器 102中的虚拟现实场景内的动作，诸如致使用户的视点或受用户控制的虚拟物体的左转移动停止，或者致使用户的视点或受用户控制的虚拟物体右转，或者致使用户的视野向右摇摄等与当前在头戴式显示器102内显示给用户100的虚拟现实场景的情形相称的其他可能的动作。
图3H示出根据本发明的示例性实施方案的用户100从起始位置的上摆头移动。用户100的上摆头移动致使头戴式显示器102搭载的惯性传感器产生惯性传感器数据，所述惯性传感器数据在被分析时揭示出如箭头213所指示的仰头移动方向。如通过对惯性传感器数据的分析确定的上摆头移动方向可用来影响显示在头戴式显示器102 中的虚拟现实场景内的动作，诸如致使用户的视点或受用户控制的虚拟物体的向下移动停止，或者致使用户的视点或受用户控制的虚拟物体向上转动，或者致使用户的视野向上摇摄等与当前在头戴式显示器102内显示给用户100的虚拟现实场景的情形相称的其他可能的动作。
图3I示出根据本发明的示例性实施方案的用户100从起始位置的下摆头移动。用户100的下摆头移动致使头戴式显示器102搭载的惯性传感器产生惯性传感器数据，所述惯性传感器数据在被分析时揭示出如箭头215所指示的低头移动方向。如通过对惯性传感器数据的分析确定的下摆头移动方向可用来影响显示在头戴式显示器102 中的虚拟现实场景内的动作，诸如致使用户的视点或受用户控制的虚拟物体的向上移动停止，或者致使用户的视点或受用户控制的虚拟物体向下转动，或者致使用户的视野向下摇摄等与当前在头戴式显示器102内显示给用户100的虚拟现实场景的情形相称的其他可能的动作。
图3J示出根据本发明的示例性实施方案的用户100从起始位置的向下移动。用户100的向下移动致使头戴式显示器102搭载的惯性传感器产生惯性传感器数据，所述惯性传感器数据在被分析时揭示出如箭头217所指示的向下移动方向。如通过对惯性传感器数据的分析确定的向下移动方向可用来影响显示在头戴式显示器102中的虚拟现实场景内的动作，诸如致使用户的视点或受用户控制的虚拟物体的向上移动停止，或者致使用户的视点或受用户控制的虚拟物体向下移动，或者致使用户的视点或受用户控制的虚拟物体在虚拟现实场景内呈现静止状态、或者致使选择动作发生等与当前在头戴式显示器102内显示给用户100的虚拟现实场景的情形相称的其他可能的动作。
图3K示出根据本发明的示例性实施方案的用户100从起始位置的向上移动。用户100的向上移动致使头戴式显示器102搭载的惯性传感器产生惯性传感器数据，所述惯性传感器数据在被分析时揭示出如箭头219所指示的直立移动方向。如通过对惯性传感器数据的分析确定的向上移动方向可用来影响显示在头戴式显示器102中的虚拟现实场景内的动作，诸如致使用户的视点或受用户控制的虚拟物体的向下移动停止，或者致使用户的视点或受用户控制的虚拟物体向上移动，或者致使用户的视点或受用户控制的虚拟物体在虚拟现实场景内进行跳跃等与当前在头戴式显示器102内显示给用户100 的虚拟现实场景的情形相称的其他可能的动作。
图3L示出根据本发明的示例性实施方案的佩戴头戴式显示器 102的用户100的主视图，其中用户位于相对于由x、y、z轴线限定的参考笛卡儿坐标系统的起始位置，并且其中另外的惯性传感器301 位于用户100的身体上在头戴式显示器102外部。在此实施方案中，可结合从头戴式显示器102搭载的惯性传感器接收的信号处理来自位于用户100的身体上在头戴式显示器102外部的另外的惯性传感器 301的信号，以帮助确定正由用户100进行的移动的具体种类。例如，当头戴式显示器102搭载的惯性传感器指示侧向(左/右)方向上的移动时，虽然用户100的身体上的惯性传感器301不指示侧向方向上的移动，但是如由头戴式显示器102搭载的惯性传感器指示的侧向方向上的移动可被解释为对应于侧向摆头运动，所述侧向摆头运动不同于侧向倾斜运动。类似地，在另一个实例中，当头戴式显示器102搭载的惯性传感器指示侧向(左/右)方向上的移动时，虽然用户100的身体上的惯性传感器301同样指示侧向方向上的移动，但是如由头戴式显示器102搭载的惯性传感器指示的侧向方向上的移动可被解释为对应于侧向倾斜运动，所述侧向倾斜运动不同于侧向摆动运动。
在另一个实例中，当头戴式显示器102搭载的惯性传感器指示向前方向上的移动时，虽然用户100的身体上的惯性传感器301不指示向前方向上的移动，但是如由头戴式显示器102搭载的惯性传感器指示的向前方向上的移动可被解释为对应于前摆头运动，所述前摆头运动不同于前倾运动。类似地，在另一个实例中，当头戴式显示器102搭载的惯性传感器指示向前方向上的移动时，虽然用户100 的身体上的惯性传感器301同样指示向前方向上的移动，但是如由头戴式显示器102搭载的惯性传感器指示的向前方向上的移动可被解释为对应于前倾运动，所述前倾运动不同于前摆头运动。
在另一个实例中，当头戴式显示器102搭载的惯性传感器指示向后方向上的移动时，虽然用户100的身体上的惯性传感器301不指示向后方向上的移动，但是如由头戴式显示器102搭载的惯性传感器指示的向后方向上的移动可被解释为对应于后摆头运动，所述后摆头运动不同于后倾运动。类似地，在另一个实例中，当头戴式显示器102搭载的惯性传感器指示向后方向上的移动时，虽然用户100 的身体上的惯性传感器301同样指示向后方向上的移动，但是如由头戴式显示器102搭载的惯性传感器指示的向后方向上的移动可被解释为对应于后倾运动，所述后倾运动不同于后摆头运动。
在另一个实例中，当头戴式显示器102搭载的惯性传感器指示旋转方向上的移动(向左旋转或向右旋转)时，虽然用户100的身体上的惯性传感器301不指示旋转方向上的移动，但是如由头戴式显示器102搭载的惯性传感器指示的旋转方向上的移动可被解释为对应于旋转方向上的转头运动，所述旋转方向上的转头运动不同于旋转方向上的转身运动。在另一个实例中，当头戴式显示器102搭载的惯性传感器指示第一旋转方向上的移动时，虽然用户100的身体上的惯性传感器301指示与第一旋转方向相反的第二旋转方向上的移动，但是如由头戴式显示器102搭载的惯性传感器指示的相对于用户100的身体上的惯性传感器的相反的旋转移动可被解释为对应于逆旋转运动，所述逆旋转运动诸如缠绕运动等。
应理解如图3L描绘的用户100的身体上的惯性传感器301的特定数目和位置通过举例来提供。在各种实施方案中，用户100的身体上的惯性传感器301的数目和位置可根据需要改变以便提供表示身体运动的信号，从而与由头戴式显示器102搭载的惯性传感器产生的信号比较以便识别用户100的具体移动。
应理解关于图3A-3L描述的特定用户100移动是更广泛可能的用户100移动集合的实例。因此，尽管关于图3A-3L描述的特定用户 100移动可被认为是主要移动，但这些特定用户100移动决不是穷举所有可能的用户100移动。对惯性传感器数据的分析可揭示出可能发生的任何方向的用户100移动，包括图3A-3L描绘的特定用户100 移动及其之间的任何方向的用户100移动。此外，可使虚拟现实场景内与虚拟现实场景的情形相称的任何动作与可通过对从头戴式显示器102内的惯性传感器接收的惯性传感器数据进行分析检测的任何用户100移动关联。
图4示出根据本发明的示例性实施方案的一种操作计算机系统来基于从头戴式显示器接收的惯性传感器数据产生虚拟现实场景的视频数据的方法的流程图。所述方法包括用于将视频数据传输到头戴式显示器以在头戴式显示器内显示虚拟现实场景的操作401。所述方法还包括用于从头戴式显示器内的一个或多个惯性传感器接收惯性传感器数据的操作403。惯性传感器数据指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动。用户的移动基于显示在头戴式显示器内的虚拟现实场景。所述方法还包括用于使接收的惯性传感器数据与虚拟现实场景内的动作关联的操作405。所述方法还包括用于产生虚拟现实场景的更新以反映动作的实现的操作407。虚拟现实场景的更新是反映处理与接收的惯性传感器数据关联的动作之后的虚拟现实场景的视频数据。
在一些实施方案中，操作405的关联包括确定头戴式显示器的移动路径和确定头戴式显示器的移动速率。在一些实施方案中，头戴式显示器的移动路径对应于用户移动集合内的一个或多个用户移动，所述用户移动集合包括前倾、后倾、左倾、右倾、左转头、右转头、上摆头、下摆头、后蹲和跳跃。然而，在其他实施方案中，头戴式显示器的移动路径可对应于人体的移动能力内的基本上任何用户移动。
操作405的关联还可包括确定虚拟现实场景的当前情形内的可允许虚拟移动集合。操作405的关联还可包括使头戴式显示器的移动路径映射到可允许虚拟移动集合内的对应虚拟移动。在一些实施方案中，使头戴式显示器的移动路径映射到对应虚拟移动包括查询校准表，其中所述校准表定义头戴式显示器的多个移动路径与虚拟现实场景内(即，虚拟现实场景的当前情形内)的所得动作之间的关联。
操作405的关联还可包括使头戴式显示器的移动速率映射到虚拟现实场景内的对应虚拟移动的速率，其中所述虚拟移动可针对用户的视点、针对受用户控制的物体、或者针对虚拟现实场景内的某种其他移动动作。在一些实施方案中，使头戴式显示器的移动路径和移动速率两者映射到虚拟现实场景内的对应虚拟移动包括查询校准表，其中所述校准表定义头戴式显示器的多个移动路径和移动速率组合与虚拟现实场景内的所得动作之间的关联。
在一些实施方案中，虚拟现实场景内的在操作405中使接收的惯性传感器数据与其关联的动作是用户视点在虚拟现实场景内的移动。在一些实施方案中，虚拟现实场景内的在操作405中使接收的惯性传感器数据与其关联的动作是用户视点在虚拟现实场景内的方向变化。在一些实施方案中，虚拟现实场景内的在操作405中使接收的惯性传感器数据与其关联的动作是用户视点在虚拟现实场景内的放大或缩小。在一些实施方案中，虚拟现实场景内的在操作405 中使接收的惯性传感器数据与其关联的动作是显示在虚拟现实场景内的物体的移动。然而，不管具体实施方案如何，应理解虚拟现实场景内的在操作405中使接收的惯性传感器数据与其关联的动作可以是与如在头戴式显示器内显示给用户的虚拟现实场景的当前情形相称的基本上任何类型的动作。
在一些实施方案中，其中操作405的关联包括确定虚拟现实场景的当前情形内的可允许虚拟移动集合，操作405的关联还可包括确定头戴式显示器的移动路径并不对应于可允许虚拟移动集合内的任何虚拟移动。在这些实施方案中，所述方法可包括用来将反馈信号传输到头戴式显示器的任选操作，其中反馈信号通知用户头戴式显示器的移动并不对应于可允许虚拟移动集合内的任何虚拟移动。
图4的方法还可包括从定位在正佩戴头戴式显示器的用户身体上的一个或多个外部惯性传感器接收惯性传感器数据的任选操作。外部惯性传感器数据指示用户身体的移动。所述方法还可包括用于将外部惯性传感器数据与从头戴式显示器中的惯性传感器接收的惯性传感器数据比较以便确定用户做出的具体移动，诸如关于图3L所论述。接着，用于使接收的惯性传感器数据与虚拟现实场景内的动作关联的操作405将会将从定位在用户身体上的一个或多个外部惯性传感器接收的外部惯性传感器数据考虑在内。
图5示出根据本发明的示例性实施方案的一种操作计算机系统来基于从头戴式显示器接收的惯性传感器数据和注视方向数据产生虚拟现实场景的视频数据的方法的流程图。所述方法包括用于将视频数据传输到头戴式显示器以在头戴式显示器内显示虚拟现实场景的操作501。所述方法还包括用于从头戴式显示器内的一个或多个惯性传感器接收惯性传感器数据的操作503。惯性传感器数据指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动。用户的移动基于显示在头戴式显示器内的虚拟现实场景。
所述方法还包括用于从头戴式显示器内的一个或多个注视检测器接收注视方向数据的操作505。注视检测器被限定来检测用户眼睛的瞳孔的准确位置。注视方向数据指示当虚拟现实场景显示在头戴式显示器内时用户的视觉焦点方向。所述方法还包括用于使注视方向数据与惯性传感器数据同步以确定当虚拟现实场景显示在头戴式显示器内时用户的同步视觉焦点方向的操作507。在一些实施方案中，在操作507中使注视方向数据与惯性传感器数据同步包括使注视方向数据与惯性传感器数据临时匹配，使得注视方向数据和惯性传感器数据对应于同一时刻。
所述方法还包括用于使接收的惯性传感器数据与虚拟现实场景内的动作关联的操作509。操作509的关联包括用来基于接收的惯性传感器数据确定头戴式显示器的移动路径和头戴式显示器的移动速率的操作509A。操作509的关联还包括用来使用头戴式显示器的移动路径和同步视觉焦点方向两者来确定虚拟现实场景内的动作的操作509B。在一些实施方案中，同步视觉焦点方向被应用为确定虚拟现实场景内的动作的方向加权参数。例如，在一些实施方案中，方向加权参数的大小与同步视觉焦点方向在给定方向上持续的时间量成比例。还应理解以上关于图4的方法中的操作405的关联论述的任何特征同样适用于操作509的关联。
图5的方法还包括用于产生虚拟现实场景的更新以反映动作的实现的操作511。虚拟现实场景的更新是反映处理与接收的惯性传感器数据和接收的注视方向数据两者关联的动作之后的虚拟现实场景的视频数据。
图5的方法还可包括从定位在正佩戴头戴式显示器的用户身体上的一个或多个外部惯性传感器接收惯性传感器数据的任选操作。外部惯性传感器数据指示用户身体的移动。所述方法还可包括用于将外部惯性传感器数据与从头戴式显示器中的惯性传感器接收的惯性传感器数据比较以便确定用户做出的具体移动，诸如关于图3L所论述。接着，用于使接收的惯性传感器数据与虚拟现实场景内的动作关联的操作509将会将从定位在用户身体上的一个或多个外部惯性传感器接收的外部惯性传感器数据考虑在内。
图6示出根据本发明的示例性实施方案的一种用于操作头戴式显示器的方法的流程图，在所述头戴式显示器中基于用户移动产生的惯性数据信号被提供作为在虚拟现实场景内引发动作的输入。所述方法包括用于在头戴式显示器处接收视频数据的操作601，其中所述视频数据定义虚拟现实场景。所述方法还包括用于在头戴式显示器内显示虚拟现实场景、使得用户能够观看虚拟现实场景的操作 603。所述方法还包括用于操作头戴式显示器内的一个或多个惯性传感器来产生惯性传感器数据的操作605，所述惯性传感器数据指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动。用户的移动对应于有待在虚拟现实场景内进行的动作。
惯性传感器数据允许确定头戴式显示器的移动路径和确定头戴式显示器的移动速率。在一些实施方案中，头戴式显示器的移动路径和头戴式显示器的移动速率由计算系统映射到虚拟现实场景的当前情形内的可允许虚拟移动集合内的对应虚拟移动。在一些实施方案中，头戴式显示器的移动路径对应于用户移动集合内的一个或多个用户移动，所述用户移动集合包括前倾、后倾、左倾、右倾、左转头、右转头、上摆头、下摆头、后蹲和跳跃。然而，在其他实施方案中，头戴式显示器的移动路径可对应于人体的移动能力内的基本上任何用户移动。
在一些实施方案中，虚拟现实场景内的产生的惯性传感器数据与其对应的动作是用户视点在虚拟现实场景内的移动。在一些实施方案中，虚拟现实场景内的产生的惯性传感器数据与其对应的动作是用户视点在虚拟现实场景内的方向变化。在一些实施方案中，虚拟现实场景内的产生的惯性传感器数据与其对应的动作是用户视点在虚拟现实场景内的放大或缩小。在一些实施方案中，虚拟现实场景内的产生的惯性传感器数据与其对应的动作是显示在虚拟现实场景内的物体的移动。然而，不管具体实施方案如何，应理解虚拟现实场景内的产生的惯性传感器数据与其对应的动作可以是与如在头戴式显示器内显示给用户的虚拟现实场景的当前情形相称的几乎任何类型的动作。
所述方法还包括用于将惯性传感器数据传输到视频数据从其接收的计算系统的操作607。所述方法还包括用于从计算系统接收视频数据的操作609，所述视频数据定义反映虚拟现实场景内的对应于用户移动的动作的更新的虚拟现实场景。所述方法还包括用于在头戴式显示器内显示更新的虚拟现实场景的操作611。
此外，在一些实施方案中，图6的方法可包括用于从计算系统接收指示头戴式显示器的移动路径不具有虚拟现实场景的当前情形内的可允许虚拟移动集合内的任何对应虚拟移动的反馈信号的任选操作。响应于反馈信号，用户可被通知头戴式显示器的移动路径并不对应于虚拟现实场景的当前情形内的有效动作。在一些实施方案中，通知用户反馈信号可通过操作头戴式显示器来提供听觉信号、触觉信号和视觉信号等中的一个或多个来进行。
图6的方法还可包括将来自定位在正佩戴头戴式显示器的用户身体上的一个或多个外部惯性传感器的惯性传感器数据传输到视频数据从其接收的计算系统的任选操作。外部惯性传感器数据指示用户身体的移动。计算系统接着可使用外部惯性传感器数据结合从头戴式显示器中的惯性传感器接收的惯性传感器数据以便确定用户做出的具体移动，诸如关于图3L所论述。接着，如在操作609中接收的定义更新的虚拟现实场景的视频数据将反映虚拟场景内的根据外部惯性传感器数据和头戴式显示器惯性传感器数据的组合识别的动作。
图7示出根据本发明的示例性实施方案的一种用于操作头戴式显示器的方法的流程图，在所述头戴式显示器中基于用户移动产生的惯性数据信号和注视方向数据两者被提供作为在虚拟现实场景内引发动作的输入。所述方法包括用于在头戴式显示器处接收视频数据的操作701，其中所述视频数据定义虚拟现实场景。所述方法还包括用于在头戴式显示器内显示虚拟现实场景、使得用户能够观看虚拟现实场景的操作703。所述方法还包括用于操作头戴式显示器内的一个或多个惯性传感器来产生惯性传感器数据的操作705，所述惯性传感器数据指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动。用户的移动对应于有待在虚拟现实场景内进行的动作。所述方法还包括用于将惯性传感器数据传输到视频数据从其接收的计算系统的操作707。
惯性传感器数据允许确定头戴式显示器的移动路径和确定头戴式显示器的移动速率。在一些实施方案中，头戴式显示器的移动路径和头戴式显示器的移动速率由计算系统映射到虚拟现实场景的当前情形内的可允许虚拟移动集合内的对应虚拟移动。在一些实施方案中，头戴式显示器的移动路径对应于用户移动集合内的一个或多个用户移动，所述用户移动集合包括前倾、后倾、左倾、右倾、左转头、右转头、上摆头、下摆头、后蹲和跳跃。然而，在其他实施方案中，头戴式显示器的移动路径可对应于人体的移动能力内的基本上任何用户移动。
在一些实施方案中，虚拟现实场景内的产生的惯性传感器数据与其对应的动作是用户视点在虚拟现实场景内的移动。在一些实施方案中，虚拟现实场景内的产生的惯性传感器数据与其对应的动作是用户视点在虚拟现实场景内的方向变化。在一些实施方案中，虚拟现实场景内的产生的惯性传感器数据与其对应的动作是用户视点在虚拟现实场景内的放大或缩小。在一些实施方案中，虚拟现实场景内的产生的惯性传感器数据与其对应的动作是显示在虚拟现实场景内的物体的移动。然而，不管具体实施方案如何，应理解虚拟现实场景内的产生的惯性传感器数据与其对应的动作可以是与如在头戴式显示器内显示给用户的虚拟现实场景的当前情形相称的几乎任何类型的动作。
所述方法还包括用于操作头戴式显示器内的一个或多个注视检测器来产生指示当虚拟现实场景显示在头戴式显示器内时用户的视觉焦点方向的注视方向数据的操作709。注视检测器被限定来检测用户眼睛的瞳孔的准确位置。所述方法还包括用于将注视方向数据传输到视频数据从其接收的计算系统的操作711。使注视方向数据与惯性传感器数据同步以确定当虚拟现实场景显示在头戴式显示器内时用户的同步视觉焦点方向。在一些实施方案中，使注视方向数据与惯性传感器数据同步包括使注视方向数据与惯性传感器数据临时匹配，使得注视方向数据和惯性传感器数据对应于同一时刻。如根据惯性传感器数据确定的头戴式显示器的移动路径和同步视觉焦点方向两者用来确定虚拟现实场景内对应于用户移动的动作。
所述方法还包括用于从计算系统接收视频数据的操作713，所述视频数据定义反映虚拟现实场景内的对应于用户移动的动作的更新的虚拟现实场景。所述方法还包括用于在头戴式显示器内显示更新的虚拟现实场景的操作715。
此外，在一些实施方案中，图7的方法可包括用于从计算系统接收指示头戴式显示器的移动路径不具有虚拟现实场景的当前情形内的可允许虚拟移动集合内的任何对应虚拟移动的反馈信号的任选操作。响应于反馈信号，用户可被通知头戴式显示器的移动路径并不对应于虚拟现实场景的当前情形内的有效动作。在一些实施方案中，通知用户反馈信号可通过操作头戴式显示器来提供听觉信号、触觉信号和视觉信号等中的一个或多个来进行。
图7的方法还可包括将来自定位在正佩戴头戴式显示器的用户身体上的一个或多个外部惯性传感器的惯性传感器数据传输到视频数据从其接收的计算系统的任选操作。外部惯性传感器数据指示用户身体的移动。计算系统接着可使用外部惯性传感器数据结合从头戴式显示器中的惯性传感器接收的惯性传感器数据以便确定用户做出的具体移动，诸如关于图3L所论述。接着，如在操作713中接收的定义更新的虚拟现实场景的视频数据将反映虚拟场景内的根据外部惯性传感器数据和头戴式显示器惯性传感器数据的组合识别的动作。
图8示出根据本发明的示例性实施方案的一种操作计算机系统来基于从头戴式显示器接收的惯性传感器数据校准虚拟现实场景内的动作的方法的流程图。所述方法包括用于将视频数据传输到头戴式显示器以在头戴式显示器内显示虚拟现实场景、使得佩戴头戴式显示器的用户能够观看虚拟现实场景的操作801。头戴式显示器配备有一个或多个惯性传感器，所述一个或多个惯性传感器被配置来产生指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动的惯性传感器数据。产生虚拟现实场景以请求用户做出示意动作来在虚拟现实场景内引发具体动作。例如，虚拟现实场景可示出有待做出的示意动作的图，或者可显示有待做出的示意动作的文本指令，或者可简单地示出隐含地邀请用户做出所请求的示意动作的场景。所请求示意动作引发头戴式显示器的移动和对应于头戴式显示器的移动的惯性传感器数据的产生。
所述方法还包括用于从头戴式显示器接收惯性传感器数据的操作803。惯性传感器数据指示头戴式显示器响应于用户做出示意动作来在虚拟现实场景内引发具体动作的移动。所述方法还包括用于使接收的惯性传感器数据与虚拟现实场景内的具体动作关联，使得在随后接收基本上等于在操作803中接收的惯性传感器数据的惯性传感器数据时具体动作在虚拟现实场景内被执行的操作805。应理解操作805的关联使接收的惯性传感器数据与属于虚拟现实场景的情形的具体动作相关联。
使接收的惯性传感器数据与虚拟现实场景内的具体动作关联有效地校准与接收的惯性传感器数据相关联的用户移动以在虚拟现实场景内引发具体动作。在一些实施方案中，在操作805中使接收的惯性传感器数据与具体动作关联包括确定头戴式显示器的移动路线和确定头戴式显示器的移动速率，以及记录具体动作与头戴式显示器的确定移动路线和头戴式显示器的确定移动速率之间的关联。
图8的方法还可包括针对虚拟现实场景内的多个具体动作中的每一个重复操作801、803和805。在一些实施方案中，虚拟现实场景内的多个具体动作包括前移、后移、左移和右移的移动动作，其中用户进行来引发这些移动动作的示意动作分别为前倾、后倾、左倾和右倾。在一些实施方案中，虚拟现实场景内的多个具体动作包括左看、右看、上看和下看的观看动作，其中用户进行来引发这些观看动作的示意动作分别为左转头、右转头、上摆头和下摆头。在一些实施方案中，虚拟现实场景内的多个具体动作包括跳跃和下蹲的垂直移动动作，其中用户进行来引发这些垂直移动动作的示意动作分别为跳跃和下蹲。在一些实施方案中，虚拟现实场景内的多个具体动作包括就坐，其中用户进行来引发所述就坐的示意动作为后蹲。在一些实施方案中，虚拟现实场景内的多个具体动作包括放大和缩小的缩放动作，其中用户进行来引发这些缩放动作的示意动作分别为头部前移和头部后移。
图8的方法还可包括从定位在正佩戴头戴式显示器的用户身体上的一个或多个外部惯性传感器接收惯性传感器数据的任选操作。外部惯性传感器数据指示用户身体的移动。所述方法还可包括用于将外部惯性传感器数据与从头戴式显示器中的惯性传感器接收的惯性传感器数据比较以便确定用户做出的具体移动，诸如关于图3L所论述。接着，用于使接收的惯性传感器数据与虚拟现实场景内的具体动作关联的操作805将会将从定位在用户身体上的一个或多个外部惯性传感器接收的外部惯性传感器数据考虑在内。
图9A示出根据本发明的示例性实施方案的一种操作计算机系统来基于从头戴式显示器接收的惯性传感器数据动态地校准虚拟现实场景内的动作的方法的流程图。所述方法包括用于将视频数据传输到头戴式显示器以在头戴式显示器内显示虚拟现实场景、使得佩戴头戴式显示器的用户能够观看虚拟现实场景的操作901。头戴式显示器配备有一个或多个惯性传感器，所述一个或多个惯性传感器被配置来产生指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动的惯性传感器数据。产生虚拟现实场景以允许用户做出示意动作来在虚拟现实场景内引发具体动作。例如，虚拟现实场景可针对用户已经熟悉的应用。用户的示意动作引发头戴式显示器的移动和对应于头戴式显示器的移动的惯性传感器数据的产生。
所述方法还包括用于从头戴式显示器接收惯性传感器数据的操作903。惯性传感器数据指示头戴式显示器响应于用户做出示意动作来在虚拟现实场景内引发具体动作的移动。所述方法还包括用于通过处理接收的惯性传感器数据来确定用户的移动路径和用户的移动速率的操作905。所述方法还包括用于确定虚拟现实场景的对应于接收的惯性传感器数据的移动类别的操作907。所述方法还包括用于使接收的惯性传感器数据与虚拟现实场景的确定的移动类别关联的操作909。此外，所述方法包括用于在用户简档中记录接收的惯性传感器数据与虚拟现实场景的确定的移动类别的关联的操作911。图9B 示出根据本发明的示例性实施方案的用户简档中的接收的惯性传感器数据与虚拟现实场景的确定的移动类别的示例性关联。当用户移动来在虚拟现实场景内引发动作时，用户简档中接收的惯性传感器数据与虚拟现实场景的确定的移动类别的关联可由与虚拟现实场景相关联的应用来连续且自动地更新。
图9A的方法还可包括从定位在正佩戴头戴式显示器的用户身体上的一个或多个外部惯性传感器接收惯性传感器数据的任选操作。外部惯性传感器数据指示用户身体的移动。所述方法还可包括用于将外部惯性传感器数据与从头戴式显示器中的惯性传感器接收的惯性传感器数据比较以便确定用户做出的具体移动，诸如关于图3L所论述。接着，用于确定用户移动路径的操作905将会将与从位于头戴式显示器内的惯性传感器接收的惯性传感器数据相比从定位在用户身体上的一个或多个外部惯性传感器接收的外部惯性传感器数据考虑在内。
图10示出根据本发明的示例性实施方案的头戴式显示器102的块级体系结构。应理解，头戴式显示器102可包括或不包括比图10 所示的多或少的部件，取决于启用的配置和功能。头戴式显示器102 可包括用于执行程序指令的处理器1001。存储器1003被提供用于数据存储目的，并且可包括易失性存储器和非易失性存储器。包括显示器1005，所述显示器1005提供用户可观看的视觉界面。显示器 1005可由单个显示器或可以每只眼睛单独显示屏的形式界定。当提供两个显示屏时，有可能分别提供左眼和右眼视频内容。将视频内容单独呈现给每只眼睛例如可提供对虚拟现实场景的三维内容更好的沉浸式控制。
电池1007可被提供为头戴式显示器102的电源。在其他实施方案中，电源可包括插座连接电源。在其他实施方案中，可提供插座连接电源和电池1007。在一些实施方案中，头戴式显示器102从相同电缆获得电力或可连接到另一条电缆。在一些实施方案中，头戴式显示器102可具有可再充电的电池1007，以便避免额外的电源线。
运动检测模块1037可包括各种运动敏感硬件中的任一种，诸如磁力计1039、加速计1041和陀螺仪1043。磁力计1039测量头戴式显示器102附近的磁场的强度和方向。在一些实施方案中，在头戴式显示器102内使用三个磁力计1039，从而确保世界空间偏航角的绝对参考。在一些实施方案中，磁力计1039被设计来跨越地球磁场，所述地球磁场为±80微特斯拉。磁力计受金属影响，并且提供与实际偏航无变化的偏航测量。磁场可由于环境中的金属而扭曲，从而导致偏航测量的偏差。如果必要的话，那么可使用来自其他传感器(诸如陀螺仪或摄像机)的信息来校准此偏差。在一些实施方案中，加速计1041与磁力计1039一起使用，以便获得头戴式显示器102的倾斜度和方位角。
加速计1041是用于测量反作用力所引起的加速度和重力的设备。单轴和多轴(例如，六轴)模型能够检测不同方向上的加速度的量级和方向。加速计1041用于感测倾斜度、振动和冲击。在一个实施方案中，使用三个加速计1041来提供重力方向，所述重力方向为两个角度(世界空间纵摇和世界空间横摇)给出绝对参考。
陀螺仪1043是用于基于角动量的原理来测量或维持定向的设备。在一个实施方案中，三个陀螺仪1043基于惯性感测提供关于越过相应坐标轴(x、y和z)的移动的信息。陀螺仪1043帮助检测快速旋转。然而，陀螺仪1043在不存在绝对参考的情况下可随时间而漂移。这需要定期重新设置陀螺仪1043，所述重新设置可使用其他可利用的信息来完成，所述信息诸如基于对物体、加速计、磁力计等的视觉追踪的位置/定向确定。
摄像机1009被提供用于捕获头戴式显示器102所曝光的现实世界环境的图像和图像流。头戴式显示器102可包括多于一个摄像机 1009(任选地)，所述多于一个摄像头1009包括后置摄像机1009(当用户正在观看头戴式显示器102的显示时背离用户),和前置摄像机 1009(当用户正在观看头戴式显示器102的显示时直接朝向用户)。另外，头戴式显示器102可包括深度摄像机1011，以用于感测头戴式显示器102所曝光的真实世界环境中的物体的深度信息。
头戴式显示器102包括用于提供音频输出的扬声器1013。此外，可包括麦克风1015，以用于从真实世界环境捕获音频，所述音频包括来自周围环境的声音、用户的语音等。头戴式显示器102包括用于向用户提供触觉反馈的触觉反馈模块1017。在一个实施方案中，触觉反馈模块1017能够引起头戴式显示器102的移动和/或振动，以便向用户提供触觉反馈。
LED 1019被提供为头戴式显示器102的状态的视觉指示器。例如，LED可指示电池水平、通电等。LED 1019还可用于通过摄像机观看头戴式显示器102所处的现实世界环境来对头戴式显示器102的位置和移动进行视觉追踪。提供读卡器1021来使头戴式显示器102能够从存储卡读取信息和将信息写入到存储卡。包括USB接口 1023作为用于实现外围设备的连接或连到其他设备(诸如其他便携式设备、计算机等)的连接的接口的一个实例。在头戴式显示器102的各种实施方案中，可包括各种接口中的任一种来实现头戴式显示器 102的更大的连接性。
可包括WiFi模块1025，以用于实现头戴式显示器102经由无线联网技术来连接到互联网。此外，头戴式显示器102可包括用于实现无线连接到其他设备的蓝牙模块1027。还可包括通信链接1029，以用于连接到其他设备。在一个实施方案中，通信链路1029利用红外线传输来进行无线通信。在其他实施方案中，通信链路1029可利用各种无线或有线传输协议中的任一种来与其他设备通信。
包括输入按钮/传感器1031来为用户提供输入接口。可包括各种输入接口中的任一种，诸如按钮、示意动作、触摸板、操纵杆、轨迹球等。头戴式显示器102可包括超声波通信模块1033，以用于促进经由超声波技术与其他设备的通信。
头戴式显示器102还可包括一个或多个生物传感器1035，以实现对来自佩戴头戴式显示器102的用户的生理数据的检测。在一些实施方案中，生物传感器1035包括一个或多个干电极，所述一个或多个干电极用于通过用户皮肤、语音检测、眼睛视网膜检测来检测用户的生物电信号以识别用户/简档等。
应理解如图10所述的头戴式显示器102的部件是头戴式显示器 102可包括的部件的实例，并且不代表头戴式显示器102可包括的所有可能的部件。例如，在各种实施方案中，头戴式显示器102可包括或可不包括图10所述的部件中的一些。此外，在一些实施方案中，头戴式显示器102可包括图10未示出的另外的部件。
图11A示出计算机系统106和可用来实现本发明的一些实施方案的其他交互硬件的示例性块级体系结构。在一些实施方案中，计算机系统106可以是
Figure BDA0001334994180000331
Play
Figure BDA0001334994180000332
娱乐设备。如本文使用的术语Play
Figure BDA0001334994180000333
是指原始Play
Figure BDA0001334994180000334
PlayStation
Figure BDA0001334994180000335
PlayStation
Figure BDA0001334994180000336
PlayStation
Figure BDA0001334994180000337
或者任何未来版本的Play
Figure BDA0001334994180000338
游戏系统中的任一种。计算机系统106可包括：cell处理器1102、
Figure BDA0001334994180000339
动态随机存取存储器(XDRAM)单元1104、具有专用视频随机存取存储器 (VRAM)单元1108的现实合成器图形单元1106、和I/O桥1110。计算机系统106还可包括用于从磁盘1112a读取的Blu
Figure BDA0001334994180000341
Disk
Figure BDA0001334994180000349
光盘读取器1112和可移除吸入式硬盘驱动器(HDD) 1114，所述Blu
Figure BDA0001334994180000343
Disk
Figure BDA00013349941800003410
光盘读取器1112和可移除吸入式硬盘驱动器(HDD)1114可通过I/O桥1110存取。任选地，计算机系统106还包括用于读取压缩闪存卡、Memory
Figure BDA0001334994180000345
存储卡等的存储卡读卡器1101，所述存储卡读卡器1101类似地可通过I/O桥1110 存取。I/O桥1110还连接到六个通用串行总线(USB)2.0端口1116、千兆以太网端口1118、IEEE 802.11b/g无线网络(Wi-Fi)端口1120和能够支持达七个蓝牙连接的
Figure BDA0001334994180000346
无线链接端口1122。
在操作中，I/O桥1110处置所有无线、USB和以太网数据，包括来自一个或多个游戏控制器1162和1124的数据。例如，当用户正在玩游戏时，I/O桥1110经由蓝牙链接从游戏控制器1162和1124 接收数据并将其引导到cell处理器1102，所述cell处理器1102相应地更新游戏的当前状态。
无线、USB和以太网端口还提供用于除游戏控制器1162和1124 之外的其他外围设备的连接性，所述其他外围设备诸如遥控器 1126、键盘1128、鼠标1130、诸如Sony
Figure BDA0001334994180000347
娱乐设备的便携式娱乐设备1132、诸如Play
Figure BDA0001334994180000348
Eye Camera的视频摄像机1134、形状物体1136、和麦克风1138。此类外围设备因此原则上可无线连接到计算机系统106。例如，便携式娱乐设备1132可经由Wi-Fi对等式连接通信，而形状物体1136可经由蓝牙链接通信。
提供这些接口意味着计算机系统106潜在地也与其他外围设备兼容，所述其他外围设备诸如数字视频录像机(DVR)、机顶盒、数码摄像机、便携式媒体播放器、互联网协议(IP)语音电话、移动电话、打印机和扫描仪。另外，传统存储卡读卡器1140可经由USB端口1116连接到系统单元，从而使得能够读取由先前PlayStation设备使用的类型的存储卡。
游戏控制器1162和1124可操作来经由蓝牙链接与计算机系统 106进行无线通信，或连接到USB端口，从而还提供了藉以为游戏控制器1162和1124的电池充电的电力。游戏控制器1162和1124还可包括存储器、处理器、存储卡读取器、永久存储器(诸如快闪存储器)、光发射器(诸如球面照射部分)、发光二极管(LED)、或红外光、用于超声通信的麦克风和扬声器、声室、数码摄像机、内部时钟、面对游戏控制台的可辨识形状、和使用诸如
Figure BDA0001334994180000351
WiFiTM等协议的无线通信等。可辨识形状可为实质上含以下形状的形状：球体、立方体、平行四边形、长方体、圆锥体、棱锥体、英式足球体、美式足球体或橄榄球体、未完成球体、球体的部分、平头棱锥体、平头圆锥体、棒球棍、平头立方体、多面体、星形等、或这些形状中的两个或多个的组合。
游戏控制器1124被设计来供两只手使用，并且游戏控制器1162 是具有球形附件的单手控制器。除一个或多个模拟操纵杆和常规控制按钮之外，游戏控制器对三维位置确定敏感。因此，除常规的按钮或操纵杆命令之外或取而代之，游戏控制器的用户的示意动作和移动可转换为游戏的输入。任选地，诸如Sony
Figure BDA0001334994180000352
便携式设备的其他支持无线的外围设备可用作控制器。在Sony
Figure BDA0001334994180000353
便携式设备的情况下，可在设备的屏幕上提供另外的游戏或控制信息(例如，控制指令或生命数目)。还可使用其他替代性或补充性控制设备，诸如跳舞毯(未示出)、光枪(未示出)、方向盘和踏板(未示出)或定制的控制器，诸如用于快速反应问答游戏的单个或若干大按钮(也未示出)。
遥控器1126也可操作来经由蓝牙链接与计算机系统106无线通信。遥控器1126包括适于Blu RayTM光盘BD-ROM读取器1112的操作并且适于导览光盘内容的控件。除了常规预刻录CD和可刻录CD 以及所谓的超级音频CD之外，Blu RayTM光盘BD-ROM阅读器1112 可操作来读取与任何PlayStation设备兼容的CD-ROM。除了常规预刻录DVD和可刻录DVD之外，阅读器1112也可操作来读取与任何 PlayStation设备兼容的DVD-ROM。阅读器1112进一步可操作来读取与任何PlayStation设备兼容的BD-ROM，以及常规的预刻录蓝光光盘和可刻录蓝光光盘。
计算机系统106可操作来通过音频和视频连接器将由PlayStation 设备经由现实合成器图形单元(RSX)1106产生或解码的音频和视频提供到显示器和声音输出设备1142，诸如具有显示器1146和一个或多个扬声器1148或独立扬声器1150的监视器或电视机。在一些实施方案中，利用语音和注视输入来根据用户的POG来朝向具体音频扬声器播放声音。音频连接器1158可包括常规的模拟和数字输出，而视频连接器1160可不同地包括分量视频、S视频、复合视频和一个或多个高清晰度多媒体接口(HDMI)输出。因此，视频输出可呈诸如PAL或NTSC的格式，或呈720p、1080i或1080p的高清晰度。音频处理(产生、解码等)是由cell处理器1302进行。PlayStation 3设备的操作系统支持
Figure BDA0001334994180000361
5.1环绕声、
Figure BDA0001334994180000362
剧场环绕(DTS)和来自
Figure BDA0001334994180000363
光盘的7.1环绕声的解码。
计算机系统106还包括与cell处理器1102通信的惯性处理模块 1170。惯性处理模块1170被连接来从头戴式显示器102内的惯性传感器接收惯性传感器数据。图11B示出根据本发明的示例性实施方案的惯性处理模块1170的块级图。惯性处理模块1170包括惯性数据处理模块1180，所述惯性数据处理模块1180被配置来从头戴式显示器102接收惯性传感器数据。惯性传感器数据指示头戴式显示器102 根据佩戴所述头戴式显示器102的用户移动的移动。用户的移动基于显示在头戴式显示器102内的虚拟现实场景。惯性数据处理模块1180被配置来根据惯性传感器数据确定头戴式显示器102的移动路径和头戴式显示器102的移动速率。在一些实施方案中，头戴式显示器的移动路径对应于用户移动集合内的一个或多个用户移动，所述用户移动集合包括前倾、后倾、左倾、右倾、左转头、右转头、上摆头、下摆头、后蹲和跳跃。然而，在其他实施方案中，头戴式显示器的移动路径可对应于人体的移动能力内的基本上任何用户移动。
惯性处理模块1170还包括惯性数据关联模块1182，所述惯性数据关联模块1182被配置来使头戴式显示器的移动路径和头戴式显示器的移动速率与目前显示在头戴式显示器102内的虚拟现实场景内的动作关联。在一些实施方案中，虚拟现实场景内的动作是用户视点虚拟现实场景内的移动。在一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的方向变化。在一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的放大或缩小。在一些实施方案中，虚拟现实场景内的动作是显示在虚拟现实场景内的物体的移动。然而，应理解虚拟现实场景内的使惯性传感器数据与其关联的动作可以是与如在头戴式显示器内显示给用户的虚拟现实场景的当前情形相称的几乎任何类型的动作。
惯性处理模块1170还包括惯性数据命令输出模块1184，所述惯性数据命令输出模块1184被配置来向渲染引擎(诸如现实合成器图形单元(RSX)1106)提供命令信号。命令信号引导渲染引擎更新虚拟现实场景以反映与头戴式显示器102的移动路径和移动速率关联的动作的实现。
在一些实施方案中，惯性数据关联模块1182被配置来确定虚拟现实场景的当前情形内的可允许虚拟移动集合。在一些实施方案中，惯性数据关联模块1182被配置来使头戴式显示器的移动路径映射到可允许虚拟移动集合内的对应虚拟移动。在一些实施方案中，惯性数据关联模块1182被配置来查询校准表以便使头戴式显示器的移动路径映射到可允许虚拟移动集合内的对应虚拟移动。在此类实施方案中，校准表定义头戴式显示器的多个移动路径与虚拟现实场景内的所得动作之间的相关性。
此外，在一些实施方案中，惯性数据关联模块1182被配置来使头戴式显示器的移动速率映射到虚拟现实场景内的对应虚拟移动。在一些实施方案中，惯性数据关联模块1182被配置来查询校准表以便使头戴式显示器的移动路径和移动速率映射到虚拟现实场景内的对应虚拟移动。在此类实施方案中，校准表定义头戴式显示器的多个移动路径和移动速率组合与虚拟现实场景内的所得动作之间的相关性。
此外，在一些实施方案中，惯性数据关联模块1182被配置来确定头戴式显示器的移动路径并不对应于可允许虚拟移动集合内的任何虚拟移动。在一些实施方案中，惯性处理模块1170包括惯性数据反馈模块1186，所述惯性数据反馈模块1186被配置来产生反馈信号并将反馈信号传输到头戴式显示器，其中反馈信号通知用户头戴式显示器的移动并不对应于可允许虚拟移动集合内的任何虚拟移动。
在一些实施方案中，惯性处理模块1170包括注视方向处理模块 1188，所述注视方向处理模块1188被配置来从头戴式显示器接收注视方向数据。注视方向数据指示当虚拟现实场景显示在头戴式显示器内时用户的视觉焦点方向。惯性处理模块1170还可包括同步模块 1190，所述同步模块1190被配置来使注视方向与惯性传感器数据同步以确定同步视觉焦点方向。在一些实施方案中，同步模块1190被配置来使注视方向数据与惯性传感器数据临时匹配。
当利用注视方向处理模块1188和同步模块1190时，惯性数据关联模块1182可被配置来使用头戴式显示器的移动路径和同步视觉焦点方向两者来确定虚拟现实场景内的动作。在一些实施方案中，惯性数据关联模块1182被配置来使用同步视觉焦点方向作为确定虚拟现实场景内的动作的方向加权参数。在一些实施方案中，方向加权参数的大小与同步视觉焦点方向在给定方向上持续的时间量成比例。
应用编程接口(API)可用来向应用提供对惯性处理模块1170的功能和输出的访问权。API可由多个应用(例如游戏)以同时的方式使用。应理解在各种实施方案中惯性处理模块1170和/或其中的各种模块(1180、1182、1184、1186、1188、1190)可实现为软件和/或固件。此外，在一些实施方案中，惯性处理模块1170和/或其中的各种模块(1180、1182、1184、1186、1188、1190)的部分诸如在应用性能需要迅速数据处理时可实现为硬件。
如本文论述的，提供方法和系统，其中头戴式显示器的移动用来确定有待在当前显示在头戴式显示器内的虚拟现实场景内进行的动作，其中头戴式显示器的移动路径和移动速率使用设置在头戴式显示器内的惯性传感器来检测和测量。以此方式，佩戴头戴式显示器的用户可充当人体控制器(例如，人体操纵杆)以影响虚拟现实场景内的动作。在一些实施方案中，头戴式显示器的现实世界移动用来控制用户的角色在虚拟现实场景中的移动。在一些实施方案中，头戴式显示器的现实世界移动用来控制用户视点在虚拟现实场景中的移动，诸如使其看起来好像用户正在虚拟现实场景内移动。应了解根据应用，头戴式显示器的现实世界移动可用来控制虚拟现实场景内的几乎任何类型的动作。
在一些实施方案中，头戴式显示器与现实世界中的起始位置相关联。头戴式显示器从此起始位置的移动被检测和转换来引导虚拟现实场景中的动作(即变化)。虚拟现实场景中的动作可以是通过检测头戴式显示器的物理移动而易于控制的几乎任何动作。例如，在一些实施方案中，头戴式显示器的移动可用来引导用户位置在虚拟现实场景中改变，不管是通过步行、跑步、跳跃等。此外，在一些实施方案中，头戴式显示器的移动可用来引导用户视点在虚拟现实场景中改变，不管是通过放大、缩小、在特定方向上看等。
在一些实施方案中，校准过程可被进行来在头戴式显示器的移动路径与虚拟现实场景内的动作之间建立相关性。此类校准过程可包括使如由头戴式显示器中的惯性传感器检测的用户的运动路径映射到用户角色在虚拟现实场景中的移动。此外，此类校准过程可包括使如由头戴式显示器中的惯性传感器检测的用户的运动速率(加速度/减速度)映射到用户角色在虚拟现实场景中的移动速率。以此方式，头戴式显示器内的惯性传感器用来基于校准过程确定用户角色在虚拟现实场景内的方向和速度。此外，在一些实施方案中，头戴式显示器的移动可与用户整个身体的移动关联，由此减少或消除借助除头戴式显示器之外的手段追踪用户身体移动的需要。此外，在一些实施方案中，用户眼睛移动的检测(即，注视检测)可与头戴式显示器的移动检测结合以确定虚拟现实场景内的动作。
虚拟现实场景的情形可用来计量虚拟现实场景内的对应于检测的头戴式显示器移动的动作。例如，任务专用的放大/缩小动作可基于当前显示的虚拟现实场景的视觉情形。例如，显示广大户外场景的虚拟现实场景的放大/缩小量对于头戴式显示器的给定移动与显示用于用户阅读的书本的虚拟现实场景相比可以更大。此外，虚拟现实场景的情形可用来计量虚拟现实场景内的对应于检测的头戴式显示器移动的动作(例如移动)速率。在一些实施方案中，对虚拟现实场景内的对应于检测的头戴式显示器移动的动作的基于情形的计量可被预定义。然而，在一些实施方案中，对虚拟现实场景内的对应于检测的头戴式显示器移动的动作的基于情形的计量可在执行产生虚拟现实场景的应用期间被确定。
应理解本文论述的头戴式显示器的移动借以用来确定有待在虚拟现实场景内做出的动作的方法和系统可与能够在头戴式显示器内显示给用户的任何类型的虚拟现实场景和任何类型的增强现实场景一起使用。例如，本文论述的头戴式显示器的移动借以用来确定有待在虚拟现实场景内做出的动作的方法可系统可与应用一起用于：游戏(诸如几乎任何其他类型电脑游戏中的第一人称射击游戏)、酒店虚拟现实旅行、旅游胜地虚拟现实旅行、全球名胜古迹的虚拟现实旅行、远程用户之间的合作、共享/同步虚拟现实空间、虚拟会议、医疗实践(诸如远程手术协助和远程检查等)和适用于在用户所佩戴的头戴式显示器内显示虚拟现实场景的任何其他类型的活动。
利用本文论述的方法和系统，当佩戴头戴式显示器的用户希望围绕虚拟现实场景移动时，用户可简单地做出示意动作，接着进行容易的身体移动。例如，用户可用手指向一定方向并且接着朝向所述方向稍微前倾。在其他实施方案中，朝向一定方向简单地前倾、同时佩戴头戴式显示器可致使角色或用户在虚拟现实场景中的特定方向上移动。为了停止移动，用户可简单地停止前倾。移动(例如倾斜)可以是非常轻微的，只要头戴式显示器中的惯性传感器可检测移动或移动变化。用户的头部因此可充当一种类型的操纵杆，所述类型为用户可能想要在一定方向上步行或停止步行所做出的自然运动类型。例如，如果用户想要在现实生活中步行前进，那么用户一般前倾。这种倾斜可被检测到，所述倾斜可致使用户在虚拟现实场景中移动，如当前显示在头戴式显示器内。
此外，如由头戴式显示器内的惯性传感器检测的头戴式显示器的移动可与其他输入结合以在虚拟现实场景中引发对应动作。例如，用户可使用脚踏板从而可踏着踏板移动，并且移动方向可通过头戴式显示器中的惯性传感器根据用户的倾斜检测，正如用户正充当操纵杆控制器一样。为了增强示意动作，用户在场景中经由眼睛追踪观看的方向可用来形成移动方向，接着是用户头部在所述方向上倾斜。用户在另一个方向上的注视可用来在虚拟现实场景中自然地引导角色。因此，使用用户的自然头部运动和/或其他示意动作，可使用示意动作操纵方法的组合。
本文论述的方法和系统的一个实现可以是进行远程手术。如果外科医生经由某个专注示意动作聚焦于身体的某个特定部位并且外科医生自然向前运动以便更靠近地观看，那么示意动作引起放大，从而使得用户实际上无需不得不移得太近。这种示意动作预测用户想要放大。这与当用户注视屏幕并且接着表现得移动地更近时类似。这是需要放大的指示，并且所述放大可自动完成。应理解这仅是本文论述的方法和系统的基本上无限数目的应用的实例，头戴式显示器的借以所述方法和系统的基于惯性传感器的移动检测可用来影响显示给佩戴头戴式显示器的用户的虚拟现实场景中的变化/动作。
在本发明的一些实施方案中，一种方法包括：A)将视频数据传输到头戴式显示器以在头戴式显示器内显示虚拟现实场景，B)从头戴式显示器内的一个或多个惯性传感器接收惯性传感器数据，所述惯性传感器数据指示头戴式显示器根据佩戴头戴式显示器的用户移动的移动，所述用户的移动基于显示在头戴式显示器内的虚拟现实场景，C)使接收的惯性传感器数据与虚拟现实场景内的动作关联，以及D)产生虚拟现实场景的更新以反映动作的实现。在本发明的一些实施方案中，C)的关联包括确定头戴式显示器的移动路径以及确定头戴式显示器的移动速率。在本发明的一些实施方案中，C)的关联包括确定虚拟现实场景的当前情形内的可允许虚拟移动集合。在本发明的一些实施方案中，C)的关联包括使头戴式显示器的移动路径映射到可允许虚拟移动集合内的对应虚拟移动。在本发明的一些实施方案中，使头戴式显示器的移动路径映射到对应虚拟移动包括查询校准表，所述校准表定义头戴式显示器的多个移动路径与虚拟现实场景内的所得动作之间的关联。在本发明的一些实施方案中，C) 的关联包括使头戴式显示器的移动速率映射到虚拟现实场景内的对应虚拟移动速率。在本发明的一些实施方案中，使头戴式显示器的移动路径和移动速率映射到对应虚拟移动包括查询校准表，所述校准表定义头戴式显示器的多个移动路径和移动速率的组合与虚拟现实场景的所得动作之间的关联。在本发明的一些实施方案中，C)的关联包括确定头戴式显示器的移动路径并不对应于可允许虚拟移动集合内的任何虚拟移动。
在本发明的一些实施方案中，所述方法包括将反馈信号传输到头戴式显示器，所述反馈信号通知用户头戴式显示器的移动并不对应于可允许虚拟移动集合内的任何虚拟移动。在本发明的一些实施方案中，头戴式显示器的移动路径对应于用户移动集合内的一个或多个用户移动，所述用户移动集合包括前倾、后倾、左倾、右倾、左转头、右转头、上摆头、下摆头、后蹲和跳跃。在本发明的一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的移动。在本发明的一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的方向变化。在本发明的一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的放大或缩小。在本发明的一些实施方案中，虚拟现实场景内的动作是显示在虚拟现实场景内的物体的移动。
在本发明的一些实施方案中，所述方法包括：从头戴式显示器内的一个或多个注视检测器接收注视方向数据，所述注视方向数据指示当虚拟现实场景显示在头戴式显示器内时用户的视觉焦点方向；以及使注视方向数据与惯性传感器数据同步以确定同步视觉焦点方向。在本发明的一些实施方案中，C)的关联包括确定头戴式显示器的移动路径和确定头戴式显示器的移动速率，其中所述C)的关联包括使用头戴式显示器的移动路径和同步视觉焦点方向两者来确定虚拟现实场景内的动作。在本发明的一些实施方案中，同步视觉焦点方向被应用为确定虚拟现实场景内的动作的方向加权参数。在本发明一些实施方案中，方向加权参数的大小与同步视觉焦点方向在给定方向上持续的时间量成比例。在本发明的一些实施方案中，使注视方向数据与惯性传感器数据同步包括使注视方向数据与惯性传感器数据临时匹配。
在本发明的一些实施方案中，一种方法包括：A)在头戴式显示器处接收视频数据，所述视频数据定义虚拟现实场景，B)在头戴式显示器内显示虚拟现实场景，C)操作头戴式显示器内的一个或多个惯性传感器来产生指示头戴式显示器根据佩戴头戴式显示器的用户移动的移动的惯性传感器数据，所述用户移动对应于虚拟现实场景内的动作，D)将惯性传感器数据传输到视频数据从其接收的计算系统，E)从计算系统接收定义反映虚拟现实场景内对应于用户移动的动作的更新的虚拟现实场景的视频数据，以及F)在头戴式显示器内显示更新的虚拟现实场景。在本发明的一些实施方案中，惯性传感器数据允许确定头戴式显示器的移动路径以及确定头戴式显示器的移动速率。在本发明的一些实施方案中，头戴式显示器的移动路径和头戴式显示器的移动速率由计算系统映射到虚拟现实场景的当前情形内的可允许虚拟移动集合内的对应虚拟移动。
在本发明的一些实施方案中，所述方法包括用于从计算系统接收指示头戴式显示器的移动路径不具有虚拟现实场景的当前情形内的可允许虚拟移动集合内的任何对应虚拟移动的反馈信号。在本发明的一些实施方案中，通知通过操作头戴式显示器来提供听觉信号、触觉信号和视觉信号中的一个或多个来进行。在本发明的一些实施方案中，头戴式显示器的移动路径对应于用户移动集合内的一个或多个用户移动，所述用户移动集合包括前倾、后倾、左倾、右倾、左转头、右转头、上摆头、下摆头、后蹲和跳跃。在本发明的一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的移动。在本发明的一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的方向变化。在本发明的一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的放大或缩小。在本发明的一些实施方案中，虚拟现实场景内的动作是显示在虚拟现实场景内的物体的移动。
在本发明的一些实施方案中，所述方法包括：操作头戴式显示器内的一个或多个注视检测器来产生指示当虚拟现实场景显示在头戴式显示器内时用户的视觉焦点方向的注视方向数据，以及将注视方向数据传输到视频数据从其接收的计算系统，所述注视方向数据与所述惯性传感器数据同步以确定同步视觉焦点方向。在本发明的一些实施方案中，惯性传感器数据允许确定头戴式显示器的移动路径和确定头戴式显示器的移动速率，其中头戴式显示器的移动路径和同步视觉焦点方向用来确定虚拟现实场景内对应于用户移动的动作。
在本发明的一些实施方案中，一种系统包括：A)惯性数据处理模块，所述惯性数据处理模块被配置来从头戴式显示器接收惯性传感器数据，所述惯性传感器数据指示头戴式显示器根据佩戴头戴式显示器的用户移动的移动，所述用户移动基于显示在头戴式显示器内的虚拟现实场景，所述惯性数据处理模块被配置来根据惯性传感器数据确定头戴式显示器的移动路径和头戴式显示器的移动速率，B) 惯性数据关联模块，所述惯性数据关联模块被配置来使头戴式显示器的移动路径和头戴式显示器的移动速率与虚拟现实场景内的动作关联，以及C)惯性数据命令输出模块，所述惯性数据命令输出模块被配置来向渲染引擎提供命令信号，所述命令信号引导渲染引擎来更新虚拟现实场景以反映动作的实现。在本发明的一些实施方案中，惯性数据关联模块被配置来确定虚拟现实场景的当前情形内的可允许虚拟移动集合。在本发明的一些实施方案中，惯性数据关联模块被配置来使头戴式显示器的移动路径映射到可允许虚拟移动集合内的对应虚拟移动。在本发明的一些实施方案中，惯性数据关联模块被配置来查询校准表以便使头戴式显示器的移动路径映射到可允许虚拟移动集合内的对应虚拟移动，所述校准表定义头戴式显示器的多个移动路径与虚拟现实场景的所得动作之间的关联。在本发明的一些实施方案中，惯性数据关联模块被配置来使头戴式显示器的移动速率映射到虚拟现实场景内的对应虚拟移动速率。在本发明的一些实施方案中，惯性数据关联模块被配置来查询校准表以便使头戴式显示器的移动路径和移动速率映射到虚拟现实场景内的对应虚拟移动，所述校准表定义头戴式显示器的多个移动路径和移动速率组合与虚拟现实场景的所得动作之间的关联。在本发明的一些实施方案中，惯性数据关联模块被配置来确定头戴式显示器的移动路径并不对应于可允许虚拟移动集合内的任何虚拟移动。
在本发明的一些实施方案中，所述系统包括惯性数据反馈模块，所述惯性数据反馈模块被配置来产生反馈信号并将反馈信号传输到头戴式显示器，所述反馈信号通知用户头戴式显示器的移动并不对应于可允许虚拟移动集合内的任何虚拟移动。在本发明的一些实施方案中，头戴式显示器的移动路径对应于用户移动集合内的一个或多个用户移动，所述用户移动集合包括前倾、后倾、左倾、右倾、左转头、右转头、上摆头、下摆头、后蹲和跳跃。在本发明的一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的移动。在本发明的一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的方向变化。在本发明的一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的放大或缩小。在本发明的一些实施方案中，虚拟现实场景内的动作是显示在虚拟现实场景内的物体的移动。
在本发明的一些实施方案中，所述系统包括：注视方向处理模块，所述注视方向处理模块被配置来从头戴式显示器接收注视方向数据，所述注视方向数据指示当虚拟现实场景显示在头戴式显示器内时用户的视觉焦点方向；和同步模块，所述同步模块被配置来使注视方向数据与惯性传感器数据同步以确定同步视觉焦点方向。在本发明的一些实施方案中，惯性数据关联模块被配置来使用头戴式显示器的移动路径和同步视觉焦点方向两者来确定虚拟现实场景内的动作。在本发明的一些实施方案中，惯性数据关联模块被配置来使用同步视觉焦点方向作为确定虚拟现实场景内的动作的方向加权参数。在本发明一些实施方案中，方向加权参数的大小与同步视觉焦点方向在给定方向上持续的时间量成比例。在本发明的一些实施方案中，同步模块被配置来使注视方向数据与惯性传感器数据临时匹配。
在本发明的一些实施方案中，一种方法包括：A)将视频数据传输到头戴式显示器以在头戴式显示器内显示虚拟现实场景，所述头戴式显示器配备有一个或多个惯性传感器，所述一个或多个惯性传感器被配置来产生指示头戴式显示器根据佩戴头戴式显示器的用户移动的移动的惯性传感器数据，所述虚拟现实场景请求用户做出示意动作来在虚拟现实场景内引发具体动作，所述示意动作引发头戴式显示器的移动和对应于头戴式显示器的移动的惯性传感器数据的产生，B)从头戴式显示器接收惯性传感器数据，所述惯性传感器数据指示头戴式显示器响应于用户做出示意动作来在虚拟现实场景内引发具体动作的移动，以及C)使接收的惯性传感器数据与虚拟现实场景内的具体动作关联，使得在后续接收基本上等于在B中接收的惯性传感器数据的惯性传感器数据时在虚拟现实场景内执行具体动作。在本发明的一些实施方案中，使接收的惯性传感器数据与具体动作关联包括确定头戴式显示器的移动路线和确定头戴式显示器的移动速率，以及记录具体动作与头戴式显示器的确定移动路线和头戴式显示器的确定移动速率之间的关联。在本发明的一些实施方案中，所述方法包括重复A、B和C以在虚拟现实场景内实现多个具体动作。
在本发明的一些实施方案中，虚拟现实场景内的多个具体动作包括前移、后移、左移和右移的移动动作，并且其中用户做出来引发移动动作的示意动作分别为前倾、后倾、左倾和右倾。在本发明的一些实施方案中，虚拟现实场景内的多个具体动作包括左看、右看、上看和下看的观看动作，并且其中用户做出来引发观看动作的示意动作分别为左转头、右转头、上摆头和下摆头。在本发明的一些实施方案中，虚拟现实场景内的多个具体动作包括跳跃和下蹲的垂直移动动作，并且其中用户做出来引发垂直移动动作的示意动作分别为跳跃和下蹲。在本发明的一些实施方案中，虚拟现实场景内的多个具体动作包括就坐，并且其中用户做出来引发所述就坐的示意动作为后蹲。在本发明的一些实施方案中，虚拟现实场景内的多个具体动作包括放大和缩小的缩放动作，并且其中用户做出来引发缩放动作的示意动作分别为头部前移和头部后移。在本发明的一些实施方案中，所述关联使接收的惯性传感器数据与属于虚拟现实场景的情形的具体动作相关联。
在本发明的一些实施方案中，一种方法包括：A)将视频数据传输到头戴式显示器以在头戴式显示器内显示虚拟现实场景，所述头戴式显示器配备有一个或多个惯性传感器，所述一个或多个惯性传感器被配置来产生指示头戴式显示器根据佩戴头戴式显示器的用户移动的移动的惯性传感器数据，所述虚拟现实场景允许用户做出示意动作来在虚拟现实场景内引发具体动作，所述示意动作引发头戴式显示器的移动和对应于头戴式显示器的移动的惯性传感器数据的产生，B)从头戴式显示器接收惯性传感器数据，所述惯性传感器数据指示头戴式显示器响应于用户做出示意动作来在虚拟现实场景内引发具体动作的移动，C)通过处理接收的惯性传感器数据来确定用户移动路径和用户移动速率，D)确定虚拟现实场景的对应于接收的惯性传感器数据的移动类别，E)使接收的惯性传感器数据与虚拟现实场景的确定的移动类别关联，以及F)在用户简档中记录接收的惯性传感器数据与虚拟现实场景的确定的移动类别的关联。
尽管一些方法操在本文中已经作以具体顺序来描述，但是应理解，其他内务处理操作可在各个操作之间进行，或操作可加以调整以使得其在稍微不同时间来发生，或可分布于允许处理操作以与处理相关联的不同间隔来发生的系统中。本发明的实施方案可以通过各种计算机系统配置来实践，包括手持式设备、微处理器系统、基于微处理器的或可编程的消费型电子产品、小型计算机、大型计算机等。本发明也可在分布式计算环境下实践，其中由通过基于有线或无线的网络链接的远程处理设备来执行任务。
考虑到以上实施方案，应理解，本发明可采用涉及存储于计算机系统中的数据的各种计算机实现的操作。这些操作是需要对物理量进行物理操纵的操作。本文中描述的形成本发明的各种实施方案的部分的任何操作都是有用的机器操作。本发明的若干实施方案还涉及用于执行这些操作的设备或装置。所述装置可出于所要求的目的而专门构造而成，或所述装置可为由存储于计算机中的计算机程序选择性地激活或配置的通用计算机。具体来说，各种通用机器可与根据本文的教导内容所编写的计算机程序一起使用，或者可更方便地构造更专门的装置来执行所要求的操作。
本发明的各种实施方案也可体现为计算机可读介质上的计算机可读代码。所述计算机可读介质是可存储数据的任何数据存储设备，所述数据随后可由计算机系统读取。计算机可读介质的实例包括硬盘驱动器、网络附加存储器(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储设备。所述计算机可读介质可包括分布在网络耦合计算机系统上的计算机可读有形介质，使得计算机可读代码以分布式方式存储和执行。
尽管为了理解的清晰性目的而略微详细地描述了前述发明，但很显然，可在所附权利要求的范围内实践某些变化和修改。因此，本发明的实施方案被认为是说明性的而非限制性的，并且本发明不限于本文给出的细节，而可在所描述实施方案的范围和等效范围内进行修改。

Claims (16)

1.一种方法，其包括：
将视频数据传输到头戴式显示器以在所述头戴式显示器内显示虚拟现实场景，其中任何给定的虚拟现实场景具有情形；
从所述头戴式显示器内的一个或多个惯性传感器接收惯性传感器数据，所述惯性传感器数据指示所述头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动，所述用户移动基于显示在所述头戴式显示器内的所述虚拟现实场景；
使所述接收的惯性传感器数据与所述虚拟现实场景内的虚拟角色的移动关联，其中所述关联包括确定所述头戴式显示器的移动路径和确定所述头戴式显示器的移动速率，其中所述关联包括确定如显示给所述头戴式显示器中的用户的所述虚拟现实场景的当前情形内的可允许虚拟移动集合，并且其中基于所述头戴式显示器的移动路径和所述接收的惯性传感器数据指示的所述头戴式显示器的移动速率的至少一个，所述关联包括使所述头戴式显示器的所述移动映射到所述可允许虚拟移动集合内的对应虚拟移动；
将反馈信号传输到所述头戴式显示器，所述反馈信号通知所述用户所述头戴式显示器的所述移动并不对应于如所述关联确定的所述可允许虚拟移动集合内的任何虚拟移动；以及
根据所述可允许虚拟移动集合内的对应虚拟移动，产生所述虚拟现实场景的更新以反映所述虚拟现实场景内的虚拟角色的移动的实现。
2.如权利要求1所述的方法，其中使所述头戴式显示器的所述移动路径映射到所述对应虚拟移动包括查询校准表，所述校准表定义所述头戴式显示器的多个移动路径与所述虚拟现实场景内的所得虚拟角色的移动之间的关联。
3.如权利要求2所述的方法，其中所述关联包括使所述头戴式显示器的所述移动速率映射到所述虚拟现实场景内的所述对应虚拟移动的速率。
4.如权利要求1所述的方法，其还包括：
从设置在所述用户上位于所述头戴式显示器外部位置的一个或多个惯性传感器接收外部惯性传感器数据；
使用所述外部惯性传感器数据来促进从所述头戴式显示器内的所述一个或多个惯性传感器接收的所述惯性传感器数据与所述虚拟现实场景内的所述虚拟角色的移动关联。
5.如权利要求1所述的方法，其还包括：
从所述头戴式显示器内的一个或多个注视检测器接收注视方向数据，所述注视方向数据指示当所述虚拟现实场景显示在所述头戴式显示器内时所述用户的视觉焦点方向；以及
使所述注视方向数据与所述惯性传感器数据同步以确定同步视觉焦点方向。
6.如权利要求5所述的方法，其中所述关联包括使用所述头戴式显示器的所述移动路径和所述同步视觉焦点方向两者来确定所述虚拟现实场景内的所述虚拟角色的移动。
7.一种方法，其包括：
在头戴式显示器处接收视频数据，所述视频数据定义虚拟现实场景，其中任何给定的虚拟现实场景具有情形；
在所述头戴式显示器内显示所述虚拟现实场景；
操作所述头戴式显示器内的一个或多个惯性传感器来产生惯性传感器数据，所述惯性传感器数据指示所述头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动，所述用户移动对应于所述虚拟现实场景内的虚拟角色的移动；
将所述惯性传感器数据传输到所述视频数据从其接收的计算系统，其中所述惯性传感器数据允许通过所述计算系统确定所述头戴式显示器的移动路径和通过所述计算系统确定所述头戴式显示器的移动速率，其中所述头戴式显示器的所述移动路径和所述头戴式显示器的所述移动速率的至少一个由所述计算系统使用，以将所述头戴式显示器的所述移动映射到如显示给所述头戴式显示器中的用户的所述虚拟现实场景的当前情形内的可允许虚拟移动集合内的对应虚拟移动，所述对应虚拟移动引导所述虚拟现实场景内的所述虚拟角色的移动；
从所述计算系统接收视频数据，所述视频数据定义反映所述虚拟现实场景内的对应于所述头戴式显示器的移动的所述虚拟角色的移动的更新的虚拟现实场景；
从所述计算系统接收指示所述头戴式显示器的所述移动路径不具有所述虚拟现实场景的所述当前情形内的所述可允许虚拟移动集合内的任何对应虚拟移动的反馈信号；
操作所述头戴式显示器来提供听觉信号、触觉信号和视觉信号中的一个或多个以通知所述用户接收所述反馈信号；以及
在所述头戴式显示器内显示所述更新的虚拟现实场景。
8.如权利要求7所述的方法，其还包括：
将外部惯性传感器数据从设置在所述用户上位于所述头戴式显示器外部位置的一个或多个惯性传感器传输到所述计算系统，所述外部惯性传感器数据由所述计算系统用来促进确定所述头戴式显示器的所述移动路径。
9.如权利要求7所述的方法，其还包括：
操作所述头戴式显示器内的一个或多个注视检测器来产生注视方向数据，所述注视方向数据指示当所述虚拟现实场景显示在所述头戴式显示器内时所述用户的视觉焦点方向；以及
将所述注视方向数据传输到所述视频数据从其接收的所述计算系统，所述注视方向数据与所述惯性传感器数据同步以确定同步视觉焦点方向。
10.如权利要求9所述的方法，其中所述头戴式显示器的所述移动路径和所述同步视觉焦点方向两者用来确定所述虚拟现实场景内对应于所述用户移动的所述虚拟角色的移动。
11.一种系统，其包括：
头戴式显示器；
惯性数据处理模块，所述惯性数据处理模块被配置来从头戴式显示器接收惯性传感器数据，所述惯性传感器数据指示所述头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动，所述用户移动基于显示在所述头戴式显示器内的虚拟现实场景，其中任何给定的虚拟现实场景具有情形，所述惯性数据处理模块被配置来根据所述惯性传感器数据确定所述头戴式显示器的移动路径和所述头戴式显示器的移动速率；
惯性数据关联模块，所述惯性数据关联模块被配置来使接收的惯性传感器数据与所述虚拟现实场景内的虚拟角色的移动关联，其中所述惯性数据关联模块被配置来确定如显示给所述头戴式显示器中的用户的所述虚拟现实场景的当前情形内的可允许虚拟移动集合，其中基于所述头戴式显示器的移动路径和所述接收的惯性传感器数据指示的所述头戴式显示器的移动速率的至少一个，所述惯性数据关联模块被配置来使所述头戴式显示器的所述移动路径映射到所述可允许虚拟移动集合内的对应虚拟移动；以及
惯性数据命令输出模块，所述惯性数据命令输出模块被配置来向渲染引擎提供命令信号，所述命令信号引导所述渲染引擎更新所述虚拟现实场景以反映所述虚拟角色的移动的实现；以及
惯性数据反馈模块，所述惯性数据反馈模块被配置来产生反馈信号并将所述反馈信号传输到所述头戴式显示器，所述反馈信号通知所述用户所述头戴式显示器的所述移动并不对应于所述可允许虚拟移动集合内的任何虚拟移动。
12.如权利要求11所述的系统，其中所述惯性数据关联模块被配置来使所述头戴式显示器的所述移动速率映射到所述虚拟现实场景内的对应虚拟移动的速率。
13.如权利要求12所述的系统，其中所述惯性数据关联模块被配置来查询校准表以便使所述头戴式显示器的所述移动路径和所述移动速率映射到所述虚拟现实场景内的所述对应虚拟移动，所述校准表定义所述头戴式显示器的多个移动路径和移动速率组合与所述虚拟现实场景的所得虚拟角色的移动之间的关联。
14.如权利要求11所述的系统，其还包括：
注视方向处理模块，所述注视方向处理模块被配置来从所述头戴式显示器接收注视方向数据，所述注视方向数据指示当所述虚拟现实场景显示在所述头戴式显示器内时所述用户的视觉焦点方向；以及
同步模块，所述同步模块被配置来使所述注视方向数据与所述惯性传感器数据同步以确定同步视觉焦点方向，其中所述惯性数据关联模块被配置来使用所述头戴式显示器的所述移动路径和所述同步视觉焦点方向两者来确定所述虚拟现实场景内的所述虚拟角色的移动。
15.如权利要求14所述的系统，其中所述惯性数据关联模块被配置来使用所述同步视觉焦点方向作为确定所述虚拟现实场景内的所述虚拟角色的移动的方向加权参数。
16.一种计算机可读存储介质，其上存储计算机可读程序指令，当所述计算机可读程序指令由计算机运行时，使得所述计算机执行如权利要求1到10的任一项所述的方法。
CN201580071504.5A 2014-12-29 2015-12-07 在虚拟或增强现实场景内进行用户交互的方法和系统 Active CN107111340B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462097549P 2014-12-29 2014-12-29
US62/097,549 2014-12-29
US14/745,267 US10073516B2 (en) 2014-12-29 2015-06-19 Methods and systems for user interaction within virtual reality scene using head mounted display
US14/745,267 2015-06-19
PCT/US2015/064316 WO2016109127A1 (en) 2014-12-29 2015-12-07 Methods and systems for user interaction within virtual or augmented reality scene using head mounted display

Publications (2)

Publication Number Publication Date
CN107111340A CN107111340A (zh) 2017-08-29
CN107111340B true CN107111340B (zh) 2020-09-01

Family

ID=56164082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580071504.5A Active CN107111340B (zh) 2014-12-29 2015-12-07 在虚拟或增强现实场景内进行用户交互的方法和系统

Country Status (5)

Country Link
US (1) US10073516B2 (zh)
EP (1) EP3241088B1 (zh)
JP (1) JP6484340B2 (zh)
CN (1) CN107111340B (zh)
WO (1) WO2016109127A1 (zh)

Families Citing this family (147)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8020095B2 (en) 1997-11-14 2011-09-13 Immersion Corporation Force feedback system including multi-tasking graphical host environment
US9632315B2 (en) 2010-10-21 2017-04-25 Lockheed Martin Corporation Head-mounted display apparatus employing one or more fresnel lenses
US10359545B2 (en) 2010-10-21 2019-07-23 Lockheed Martin Corporation Fresnel lens with reduced draft facet visibility
US8947216B2 (en) 2012-11-02 2015-02-03 Immersion Corporation Encoding dynamic haptic effects
US9898084B2 (en) 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
US9202352B2 (en) 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
US9092954B2 (en) 2013-03-15 2015-07-28 Immersion Corporation Wearable haptic device
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9207764B2 (en) 2013-09-18 2015-12-08 Immersion Corporation Orientation adjustable multi-channel haptic device
US9213408B2 (en) 2013-10-08 2015-12-15 Immersion Corporation Generating haptic effects while minimizing cascading
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US10254836B2 (en) 2014-02-21 2019-04-09 Immersion Corporation Haptic power consumption management
US9392212B1 (en) 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
US10684476B2 (en) 2014-10-17 2020-06-16 Lockheed Martin Corporation Head-wearable ultra-wide field of view display device
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US10254838B2 (en) 2014-12-23 2019-04-09 Immersion Corporation Architecture and communication protocol for haptic output devices
US10269392B2 (en) 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US10216277B2 (en) 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
KR20160105321A (ko) 2015-02-27 2016-09-06 임머숀 코퍼레이션 사용자의 무드에 기초하는 액션 생성
US9939650B2 (en) 2015-03-02 2018-04-10 Lockheed Martin Corporation Wearable display system
US9952669B2 (en) 2015-04-21 2018-04-24 Immersion Corporation Dynamic rendering of etching input
US10261582B2 (en) 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
US9665170B1 (en) * 2015-06-10 2017-05-30 Visionary Vr, Inc. System and method for presenting virtual reality content to a user based on body posture
US10109161B2 (en) 2015-08-21 2018-10-23 Immersion Corporation Haptic driver with attenuation
CN105120253B (zh) 2015-09-10 2018-01-30 京东方科技集团股份有限公司 3d播放系统
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
JPWO2017064926A1 (ja) * 2015-10-15 2018-08-02 ソニー株式会社 情報処理装置及び情報処理方法
US10754156B2 (en) 2015-10-20 2020-08-25 Lockheed Martin Corporation Multiple-eye, single-display, ultrawide-field-of-view optical see-through augmented reality system
CN105657408B (zh) * 2015-12-31 2018-11-30 北京小鸟看看科技有限公司 虚拟现实场景的实现方法和虚拟现实装置
KR102524641B1 (ko) * 2016-01-22 2023-04-21 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
JP6698824B2 (ja) * 2016-04-11 2020-05-27 富士フイルム株式会社 画像表示制御装置および方法並びにプログラム
CN105903166B (zh) * 2016-04-18 2019-05-24 北京小鸟看看科技有限公司 一种3d在线运动竞技方法和系统
US10509469B2 (en) 2016-04-21 2019-12-17 Finch Technologies Ltd. Devices for controlling computers based on motions and positions of hands
US9995936B1 (en) * 2016-04-29 2018-06-12 Lockheed Martin Corporation Augmented reality systems having a virtual image overlaying an infrared portion of a live scene
US10556175B2 (en) 2016-06-10 2020-02-11 Immersion Corporation Rendering a haptic effect with intra-device mixing
US10401962B2 (en) 2016-06-21 2019-09-03 Immersion Corporation Haptically enabled overlay for a pressure sensitive surface
US10210724B2 (en) 2016-06-29 2019-02-19 Immersion Corporation Real-time patterned haptic effect generation using vibrations
CN106095116A (zh) * 2016-08-10 2016-11-09 幻视互动（北京）科技有限公司 用于虚拟现实头戴式设备头部动作轨迹的警示系统
KR20180021538A (ko) * 2016-08-22 2018-03-05 삼성전자주식회사 전자 장치 및 이를 이용하여 영상 컨텐츠를 제작하는 방법
US11269480B2 (en) * 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
JP6523233B2 (ja) * 2016-10-26 2019-05-29 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
BR112018074062A2 (pt) * 2016-11-18 2019-03-06 Eyedaptic, Inc. sistemas melhorados para auxílio e ferramentas visuais de realidade aumentada
US20180144554A1 (en) 2016-11-18 2018-05-24 Eyedaptic, LLC Systems for augmented reality visual aids and tools
CN106405843A (zh) * 2016-11-24 2017-02-15 天津临境科技有限公司 投射型vr眼镜
WO2018097632A1 (en) 2016-11-25 2018-05-31 Samsung Electronics Co., Ltd. Method and device for providing an image
CN106557170A (zh) * 2016-11-25 2017-04-05 三星电子（中国）研发中心 对虚拟现实设备上的图像进行缩放的方法及装置
US10055028B2 (en) 2016-12-05 2018-08-21 Google Llc End of session detection in an augmented and/or virtual reality environment
EP3859495B1 (en) * 2016-12-06 2023-05-10 Vuelosophy Inc. Systems and methods for tracking motion and gesture of heads and eyes
US10942252B2 (en) * 2016-12-26 2021-03-09 Htc Corporation Tracking system and tracking method
US10652364B2 (en) * 2016-12-28 2020-05-12 Intel Corporation Shared display links in a user system
US10147460B2 (en) 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
EP3343242B1 (en) * 2016-12-29 2019-09-04 HTC Corporation Tracking system, tracking device and tracking method
CN110100199B (zh) * 2017-01-13 2022-06-14 努诺·安图内斯 采集、配准和多媒体管理的系统和方法
US10298840B2 (en) 2017-01-31 2019-05-21 Microsoft Technology Licensing, Llc Foveated camera for video augmented reality and head mounted display
US11187909B2 (en) 2017-01-31 2021-11-30 Microsoft Technology Licensing, Llc Text rendering by microshifting the display in a head mounted display
US10354140B2 (en) 2017-01-31 2019-07-16 Microsoft Technology Licensing, Llc Video noise reduction for video augmented reality system
US10504397B2 (en) 2017-01-31 2019-12-10 Microsoft Technology Licensing, Llc Curved narrowband illuminant display for head mounted display
WO2018153267A1 (zh) 2017-02-24 2018-08-30 腾讯科技（深圳）有限公司 群组视频会话的方法及网络设备
US10405374B2 (en) * 2017-03-17 2019-09-03 Google Llc Antenna system for head mounted display device
US10564725B2 (en) 2017-03-23 2020-02-18 Immerson Corporation Haptic effects using a high bandwidth thin actuation system
CN106843507B (zh) * 2017-03-24 2024-01-05 苏州创捷传媒展览股份有限公司 一种虚拟现实多人互动的方法及系统
WO2018190327A1 (ja) * 2017-04-11 2018-10-18 株式会社バスキュール 仮想現実提供システム、３次元表示データ提供装置、仮想空間提供システム及びプログラム
US10705113B2 (en) 2017-04-28 2020-07-07 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user to generate inputs for computer systems
US10379613B2 (en) 2017-05-16 2019-08-13 Finch Technologies Ltd. Tracking arm movements to generate inputs for computer systems
US10540006B2 (en) 2017-05-16 2020-01-21 Finch Technologies Ltd. Tracking torso orientation to generate inputs for computer systems
US10394315B2 (en) * 2017-05-25 2019-08-27 Acer Incorporated Content-aware virtual reality systems and related methods
US10366584B2 (en) 2017-06-05 2019-07-30 Immersion Corporation Rendering haptics with an illusion of flexible joint movement
US10194078B2 (en) 2017-06-09 2019-01-29 Immersion Corporation Haptic enabled device with multi-image capturing abilities
US10620710B2 (en) 2017-06-15 2020-04-14 Microsoft Technology Licensing, Llc Displacement oriented interaction in computer-mediated reality
US11579744B2 (en) * 2017-06-21 2023-02-14 Navitaire Llc Systems and methods for seat selection in virtual reality
US20190012841A1 (en) 2017-07-09 2019-01-10 Eyedaptic, Inc. Artificial intelligence enhanced system for adaptive control driven ar/vr visual aids
JP2019016316A (ja) * 2017-07-11 2019-01-31 株式会社日立エルジーデータストレージ 表示システム、及び表示システムの表示制御方法
WO2019018028A1 (en) * 2017-07-17 2019-01-24 Google Llc METHODS, SYSTEMS AND MEDIA FOR PRESENTING MULTIMEDIA CONTENT OVERVIEWS
US20190041987A1 (en) 2017-08-03 2019-02-07 Immersion Corporation Haptic effect encoding and rendering system
EP3470006B1 (en) 2017-10-10 2020-06-10 Holo Surgical Inc. Automated segmentation of three dimensional bony structure images
EP3445048A1 (en) * 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
US10477298B2 (en) 2017-09-08 2019-11-12 Immersion Corporation Rendering haptics on headphones with non-audio data
CN107728781A (zh) * 2017-09-16 2018-02-23 深圳市赛亿科技开发有限公司 一种酒店内景虚拟参观系统
JP6340464B1 (ja) * 2017-09-27 2018-06-06 株式会社Ｃｙｇａｍｅｓ プログラム、情報処理方法、情報処理システム、頭部装着型表示装置、情報処理装置
US10984508B2 (en) * 2017-10-31 2021-04-20 Eyedaptic, Inc. Demonstration devices and methods for enhancement for low vision users and systems improvements
CN109840947B (zh) * 2017-11-28 2023-05-09 广州腾讯科技有限公司 增强现实场景的实现方法、装置、设备及存储介质
US10521011B2 (en) * 2017-12-19 2019-12-31 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user and to a head mounted device
DE112017008230T5 (de) 2017-12-21 2020-08-13 Intel Corporation Verfahren und vorrichtung zum abbilden einer virtuellen umgebung auf eine physische umgebung
US10583359B2 (en) 2017-12-28 2020-03-10 Immersion Corporation Systems and methods for providing haptic effects related to touching and grasping a virtual object
US10509464B2 (en) 2018-01-08 2019-12-17 Finch Technologies Ltd. Tracking torso leaning to generate inputs for computer systems
US11016116B2 (en) 2018-01-11 2021-05-25 Finch Technologies Ltd. Correction of accumulated errors in inertial measurement units attached to a user
JP6388270B1 (ja) * 2018-01-17 2018-09-12 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11563885B2 (en) 2018-03-06 2023-01-24 Eyedaptic, Inc. Adaptive system for autonomous machine learning and control in wearable augmented reality and virtual reality visual aids
US11474593B2 (en) 2018-05-07 2022-10-18 Finch Technologies Ltd. Tracking user movements to control a skeleton model in a computer system
US10416755B1 (en) 2018-06-01 2019-09-17 Finch Technologies Ltd. Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
CN108704310B (zh) * 2018-05-17 2021-05-14 长沙神漫文化科技有限公司 一种双vr设备参与虚拟游戏时的虚拟场景同步切换方法
US11164377B2 (en) * 2018-05-17 2021-11-02 International Business Machines Corporation Motion-controlled portals in virtual reality
CN112601509B (zh) 2018-05-29 2024-01-23 爱达扩视眼镜公司 用于低视力用户的混合式透视增强现实系统和方法
US11500452B2 (en) * 2018-06-05 2022-11-15 Apple Inc. Displaying physical input devices as virtual objects
US10665067B2 (en) 2018-06-15 2020-05-26 Immersion Corporation Systems and methods for integrating haptics overlay in augmented reality
US11009941B2 (en) 2018-07-25 2021-05-18 Finch Technologies Ltd. Calibration of measurement units in alignment with a skeleton model to control a computer system
JP6623431B2 (ja) * 2018-08-06 2019-12-25 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム
TWI693533B (zh) * 2018-08-09 2020-05-11 黃鈞鼎 影像處理方法及頭戴式影像系統
EP3608870A1 (en) 2018-08-10 2020-02-12 Holo Surgical Inc. Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure
US10817047B2 (en) * 2018-09-19 2020-10-27 XRSpace CO., LTD. Tracking system and tacking method using the same
CN112969436B (zh) 2018-09-24 2024-02-09 爱达扩视眼镜公司 电子视觉辅助设备中自主增强的免手动控制
US11890494B2 (en) 2018-11-09 2024-02-06 Qwake Technologies, Inc. Retrofittable mask mount system for cognitive load reducing platform
US10417497B1 (en) 2018-11-09 2019-09-17 Qwake Technologies Cognitive load reducing platform for first responders
US10896492B2 (en) 2018-11-09 2021-01-19 Qwake Technologies, Llc Cognitive load reducing platform having image edge enhancement
WO2020101891A1 (en) * 2018-11-12 2020-05-22 Magic Leap, Inc. Depth based dynamic vision sensor
WO2020101895A1 (en) 2018-11-12 2020-05-22 Magic Leap, Inc. Event-based camera with high-resolution frame output
US11902677B2 (en) 2018-11-12 2024-02-13 Magic Leap, Inc. Patch tracking image sensor
TWI662984B (zh) * 2018-11-28 2019-06-21 宏碁股份有限公司 應用於虛擬實境之電競座艙
CN109364471A (zh) * 2018-12-12 2019-02-22 歌尔科技有限公司 一种vr系统
WO2020147948A1 (en) 2019-01-16 2020-07-23 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
US11675424B2 (en) 2019-01-22 2023-06-13 Hewlett-Packard Development Company, L.P. Mixed reality presentation
CN109998496A (zh) * 2019-01-31 2019-07-12 中国人民解放军海军工程大学 一种自主式人体体温自动采集及呼吸监测系统和方法
US20220114792A1 (en) * 2019-02-06 2022-04-14 Maxell, Ltd. Mixed reality display device and mixed reality display method
EP3922010A4 (en) 2019-02-07 2022-10-26 Magic Leap, Inc. PASSIVE DEPTH EXTRACTION LIGHTWEIGHT EXTENDED REALITY DEVICE
US20200267487A1 (en) * 2019-02-14 2020-08-20 Bose Corporation Dynamic spatial auditory cues for assisting exercise routines
WO2020184021A1 (ja) * 2019-03-12 2020-09-17 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN111818115B (zh) * 2019-04-12 2021-10-22 华为技术有限公司 一种处理方法、装置和系统
US10978019B2 (en) 2019-04-15 2021-04-13 XRSpace CO., LTD. Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium
US11294453B2 (en) * 2019-04-23 2022-04-05 Foretell Studios, LLC Simulated reality cross platform system
EP3979896A1 (en) 2019-06-05 2022-04-13 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
US11486961B2 (en) * 2019-06-14 2022-11-01 Chirp Microsystems Object-localization and tracking using ultrasonic pulses with reflection rejection
EP3760157A1 (en) 2019-07-04 2021-01-06 Scopis GmbH Technique for calibrating a registration of an augmented reality device
US10809797B1 (en) 2019-08-07 2020-10-20 Finch Technologies Ltd. Calibration of multiple sensor modules related to an orientation of a user of the sensor modules
CN110572632A (zh) * 2019-08-15 2019-12-13 中国人民解放军军事科学院国防科技创新研究院 一种基于视线跟踪的增强现实显示系统、头盔和方法
WO2021041990A1 (en) * 2019-08-28 2021-03-04 Qwake Technologies, Llc Wearable assisted perception module for navigation and communication in hazardous environments
EP3792817A1 (en) * 2019-09-10 2021-03-17 XRSpace CO., LTD. Method and system for human behavior identification
CN110673734B (zh) * 2019-09-30 2023-12-01 京东方科技集团股份有限公司 虚拟旅游方法、客户端、服务器端、系统及图像采集设备
JP6923964B2 (ja) * 2019-11-05 2021-08-25 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム
JP6707224B2 (ja) * 2019-11-05 2020-06-10 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム
US10705597B1 (en) * 2019-12-17 2020-07-07 Liteboxer Technologies, Inc. Interactive exercise and training system and method
CA3168826A1 (en) 2020-01-22 2021-07-29 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
CN113515187B (zh) * 2020-04-10 2024-02-13 咪咕视讯科技有限公司 一种虚拟现实场景的生成方法和网络侧设备
KR102405227B1 (ko) 2020-04-24 2022-06-07 한국과학기술원 온라인-오프라인 융합 서비스 제공 방법 및 서비스 장치
CN111738797A (zh) * 2020-06-19 2020-10-02 深圳市酷开网络科技有限公司 虚拟现实的购物方法、系统、vr设备、服务器及存储介质
CN111744189B (zh) * 2020-07-27 2022-02-01 腾讯科技（深圳）有限公司 画面更新方法、装置、计算机设备和存储介质
CN111968251A (zh) * 2020-08-18 2020-11-20 国核自仪系统工程有限公司 基于虚拟现实的数据交互方法、交互系统、设备及介质
CN112667079A (zh) * 2020-12-25 2021-04-16 海信视像科技股份有限公司 一种虚拟现实设备及反向提示画面显示方法
US11896878B2 (en) * 2020-12-31 2024-02-13 Sports Virtual Training Systems, Inc. Computer trackable football, system and method of manufacturing
CN113190113A (zh) * 2021-04-09 2021-07-30 深圳市纽瑞芯科技有限公司 超宽带定位的虚拟现实系统及实现位置和方向的定位方法
CN114089829B (zh) * 2021-10-13 2023-03-21 深圳中青宝互动网络股份有限公司 一种虚拟现实的元宇宙系统
BE1029880B1 (nl) * 2021-10-26 2023-05-30 Rods&Cones Holding Bv Geautomatiseerde gebruikersvoorkeursinstellingen

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101465957A (zh) * 2008-12-30 2009-06-24 应旭峰 一种虚拟三维场景中实现遥控互动的系统

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2671619B2 (ja) * 1991-03-06 1997-10-29 富士通株式会社 映像生成処理装置
US5598187A (en) 1993-05-13 1997-01-28 Kabushiki Kaisha Toshiba Spatial motion pattern input system and input method
JPH0728591A (ja) 1993-05-13 1995-01-31 Toshiba Corp 空間操作マウスシステム及び空間動作パターン入力方法
US5490784A (en) * 1993-10-29 1996-02-13 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
US5641288A (en) * 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
US6630915B1 (en) * 1999-01-26 2003-10-07 Lsa. Inc. Wireless transmission system for transmitting data to a simulation system user
AU2001233019A1 (en) * 2000-01-28 2001-08-07 Intersense, Inc. Self-referenced tracking
NL1018198C2 (nl) * 2001-06-01 2002-12-03 Tno Head mounted display inrichting.
JP2004233909A (ja) 2003-01-31 2004-08-19 Nikon Corp ヘッドマウントディスプレイ
US20100009809A1 (en) * 2008-06-26 2010-01-14 Janice Carrington System for simulating a tour of or being in a remote location while exercising
US8913009B2 (en) * 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US8619005B2 (en) * 2010-09-09 2013-12-31 Eastman Kodak Company Switchable head-mounted display transition
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US20120188148A1 (en) 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
US9058054B2 (en) 2012-02-29 2015-06-16 Google Inc. Image capture apparatus
JP2013254251A (ja) 2012-06-05 2013-12-19 Nec System Technologies Ltd ヘッドマウントディスプレイ装置、制御方法、及びプログラム
US9530232B2 (en) * 2012-09-04 2016-12-27 Qualcomm Incorporated Augmented reality surface segmentation
US20150212647A1 (en) * 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
US20140282275A1 (en) 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a zooming gesture
JP6313432B2 (ja) * 2013-06-09 2018-04-18 株式会社ソニー・インタラクティブエンタテインメント 頭部装着ディスプレイ
US9710130B2 (en) 2013-06-12 2017-07-18 Microsoft Technology Licensing, Llc User focus controlled directional user input
KR20150058848A (ko) * 2013-11-21 2015-05-29 한국전자통신연구원 원격 현장감 생성 장치 및 방법
GB2527503A (en) * 2014-06-17 2015-12-30 Next Logic Pty Ltd Generating a sequence of stereoscopic images for a head-mounted display
US9599821B2 (en) * 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
US9746984B2 (en) * 2014-08-19 2017-08-29 Sony Interactive Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101465957A (zh) * 2008-12-30 2009-06-24 应旭峰 一种虚拟三维场景中实现遥控互动的系统
CN101465957B (zh) * 2008-12-30 2011-01-26 应旭峰 一种虚拟三维场景中实现遥控互动的系统

Also Published As

Publication number Publication date
US20160187969A1 (en) 2016-06-30
CN107111340A (zh) 2017-08-29
JP6484340B2 (ja) 2019-03-13
EP3241088A1 (en) 2017-11-08
WO2016109127A1 (en) 2016-07-07
JP2018508805A (ja) 2018-03-29
EP3241088B1 (en) 2023-11-22
US10073516B2 (en) 2018-09-11

Similar Documents

Publication Publication Date Title
CN107111340B (zh) 在虚拟或增强现实场景内进行用户交互的方法和系统
US10229541B2 (en) Methods and systems for navigation within virtual reality space using head mounted display
US11654358B2 (en) Head mounted displays (HMDs) with front facing cameras for transitioning between non-transparent modes and transparent modes
JP6408634B2 (ja) 頭部装着ディスプレイ
US9630105B2 (en) Camera based safety mechanisms for users of head mounted displays
CN105377117B (zh) 基于用户的光学处方的头戴式显示器
US10543425B2 (en) Systems and methods for detecting and displaying a boundary associated with player movement
US10545339B2 (en) Information processing method and information processing system
CN109643161A (zh) 动态进入和离开由不同hmd用户浏览的虚拟现实环境
JP6470859B1 (ja) ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法
US20180247454A1 (en) Unknown
KR102195450B1 (ko) 줌 장치 및 관련된 방법
JP2019160295A (ja) ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20171124

Address after: Tokyo, Japan, Japan

Applicant after: SONY COMP ENTERTAINMENT INC.

Address before: American California

Applicant before: SONY COMP ENTERTAINMENT US

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant