CN105378596A - 用于头戴式显示器中在透明模式与非透明模式之间转变的系统和方法 - Google Patents

用于头戴式显示器中在透明模式与非透明模式之间转变的系统和方法 Download PDF

Info

Publication number
CN105378596A
CN105378596A CN201480039467.5A CN201480039467A CN105378596A CN 105378596 A CN105378596 A CN 105378596A CN 201480039467 A CN201480039467 A CN 201480039467A CN 105378596 A CN105378596 A CN 105378596A
Authority
CN
China
Prior art keywords
game
hmd
screen
user
transparent mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480039467.5A
Other languages
English (en)
Other versions
CN105378596B (zh
Inventor
S.奥斯曼
X.毛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN105378596A publication Critical patent/CN105378596A/zh
Application granted granted Critical
Publication of CN105378596B publication Critical patent/CN105378596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6653—Methods for processing data by generating or executing the game program for rendering three dimensional images for altering the visibility of an object, e.g. preventing the occlusion of an object, partially hiding an object

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

用于执行呈现在头戴式显示器的屏幕上的游戏的系统和方法包括执行游戏。所述游戏的执行在所述HMD的所述屏幕上显现所述游戏的互动场景。接收识别穿戴所述HMD的所述用户的注视方向的转移的图像。在观看呈现在所述HMD屏幕上的所述互动场景期间检测所述注视转移。从所述HMD的前向相机捕捉与所述用户的所述注视方向一致的真实世界图像。响应于所述注视方向的所述转移将所述屏幕的一部分从非透明模式转变到半透明模式，使得所述真实世界图像的至少部分呈现在显现所述游戏的所述互动场景的所述屏幕的所述部分中。在一个时间段之后中止透明模式。

Description

用于头戴式显示器中在透明模式与非透明模式之间转变的系统和方法
发明背景
1.技术领域
本发明涉及用于在头戴式显示器中改变透明度模式的方法和系统。
2.现有技术描述
多年来，已经看到视频游戏产业的许多变化。由于计算能力扩大，视频游戏的开发者同样创建了利用这些计算能力的增加的游戏软件。为此，视频游戏开发者已经编码并入复杂运算和数学以产生极为逼真的游戏体验的游戏。
已经以游戏机形式开发和出售许多游戏平台。典型的游戏机被设计成连接到监视器(通常是电视机)且支持通过手持控制器的用户交互。设计具有专用处理硬件的游戏机，包括中央处理单元(CPU)、用于处理密集图形运算的图形合成器、用于执行几何变换的矢量单元和其它粘合硬件、软件和固件。还设计具有用于容纳通过游戏机本地游戏用的游戏光盘的光盘托盘的游戏机。还设计游戏机用于在线游戏，其中用户可以针对或与互联网上的其它用户互动游戏。随着游戏复杂度持续吸引玩家，游戏和硬件厂商持续创新以支持额外互动和计算机程序。
计算机游戏产业的增长趋势是开发增加用户与游戏系统之间的互动的游戏和游戏控制器。游戏控制器包括通过允许游戏系统追踪玩家的变动，且使用这些移动作为游戏系统上执行的游戏的输入而支持更丰富互动体验的特征。
在这种内容背景下出现本发明的实施方案。
发明内容
本发明的实施方案提供用于从一个透明模式转变成如本文使用的另一模式的系统和方法。
一般地说，本发明的各个实施方案公开了用于执行呈现在头戴式显示器(HMD)的屏幕上的游戏的系统和方法。执行游戏且来自所述游戏的互动场景显现在头戴式显示器的屏幕上。用户穿戴的HMD的图像被接收且用来识别HMD相对于被引导朝向用户的捕捉位置的第一空间定位。用户握持的控制器的图像被接收且用来识别控制器相对于捕捉位置的第二空间定位。控制器提供输入以至少部分驱动与被执行游戏的互动。接收识别用户观看呈现在HMD的屏幕上的互动场景时的注视方向的图像。还接收从HMD的前向方向捕捉的真实世界图像。屏幕的一部分被转变到透明模式，使得透明模式用真实世界图像的至少部分更换显现在屏幕的部分中的互动场景。在一个时间段之后中止透明模式，使得用户可以继续完全沉浸在游戏中且完全体验游戏。从其中用户完全沉浸在游戏中的非透明模式转变到透明模式支持用户瞥视真实世界而不中断用户玩游戏。转变还允许用户从高度紧张游戏逐渐进入真实世界。
在一个实施方案中，公开了一种用于执行呈现在头戴式显示器的屏幕上的游戏的方法。所述方法包括执行游戏。响应于游戏的执行，在HMD的屏幕上显现游戏的互动场景。接收由用户穿戴的HMD的图像。HMD的图像用来识别HMD相对于被引导朝向用户的捕捉位置的第一空间定位。接收由用户握持的控制器的图像。控制器的图像用来识别控制器相对于捕捉位置的第二空间定位。控制器提供输入以至少部分驱动被执行游戏内的互动。接收识别用户观看呈现在HMD的屏幕上的游戏的互动场景的注视方向的转移的图像。接收与用户的转移注视方向一致的真实世界图像。从HMD的前向方向捕捉真实世界图像。响应于检测注视方向的转移，将屏幕的一部分转变成半透明模式。转变造成所捕捉真实世界图像的至少一部分呈现在显现互动场景的屏幕的部分中。在一个时间段之后中止半透明模式。
在另一实施方案中，公开了一种用于执行呈现在头戴式显示器(HMD)的屏幕上的游戏的方法。所述方法包括执行游戏。所述游戏的执行在所述HMD的所述屏幕上显现所述游戏的互动场景。接收识别穿戴HMD的用户在观看呈现在HMD的屏幕上的互动场景时的注视方向的转移的图像。接收从HMD的前向相机捕捉的真实世界图像。捕捉的真实世界图像与用户的注视方向一致。响应于注视方向的转移将屏幕的一部分从非透明模式转变到半透明模式，使得捕捉的真实世界图像的至少部分覆加在显现互动场景的屏幕的部分中。在一个时间段之后中止半透明模式。
在另一实施方案中，公开了一种用于执行呈现在头戴式显示器的屏幕上的游戏的方法。所述方法包括执行游戏。在游戏执行时，游戏的互动场景显现在HMD的屏幕上。在执行游戏期间检测在HMD的附近内发生的触发事件。触发事件造成屏幕从非透明模式转变成全透明模式。转变包括调整屏幕的一个或多个光学特性以便将屏幕切换到全透明模式。全透明模式支持用户通过屏幕观看HMD附近的真实世界环境。在一个时间段之后中止全透明模式。
将从以下结合附图进行的、通过举例方式说明本发明的实施方案的原理的详述明白本发明的其它方面。
附图简述
参考结合附图所作的下文描述，可最佳地理解本发明的实施方案，其中：
图1A-1D说明根据本发明的一些实施方案的不同游戏环境的系统架构配置。
图2A-2D说明根据本发明的实施方案的与游戏程序交互使用的头戴式显示器的组件。
图3A-3G在本发明的一些实施方案中说明非透明模式与半透明或全透明模式之间的转变的实施方式。
图4A-4E在本发明的一些实施方案中说明在头戴式显示器内的三维空间和不同转变区中的非透明模式与透明模式之间的转变的实施方式。
图5说明根据本发明的实施方案的用于执行头戴式显示器的屏幕上呈现的游戏的方法操作。
图6在本发明的一个实施方案中说明游戏模块的整体系统架构。
图7说明根据本发明的实施方案的游戏系统的框图。
具体实施方式
描述了用于在头戴式显示器(HMD)内从非透明模式转变到半透明或全透明模式的系统和方法。游戏机或游戏云上执行的游戏会造成要显现在HMD屏幕上的游戏的互动场景。在执行游戏期间，检测到触发事件的发生。响应于触发事件的检测，HMD的一部分屏幕或全屏幕从非透明模式转变到半透明或全透明模式。转变允许在HMD屏幕的部分中显现的互动场景旁边呈现从HMD附近捕捉的真实世界图像的至少部分，或允许用户通过屏幕观看来自HMD附近的真实世界图像。
在一些实施方案中，转变到半透明模式包括在前景中显现真实世界图像时使互动场景淡入到背景中。在一些实施方案中，转变可以递增进行。在一些实施方案中，递增转变可以取决于游戏强度而为线性的或非线性的。在一些实施方案中，转变到全透明模式包括用由HMD的前向相机捕捉的真实世界图像更换在HMD屏幕的部分中显现的互动场景。在其它实施方案中，通过调整屏幕的光学特性完成从非透明模式转变为全透明模式以使屏幕全透明。在一些实施方案中，可以在检测到穿戴HMD的用户的注视方向的改变时触发事件。在一些其它实施方案中，可在用户的即时真实世界环境中检测到移动，诸如一个人进入用户正在使用HMD玩游戏的房间，或者在用户的即时真实世界环境内由HMD检测到声音时，触发事件。在一些实施方案中，触发事件可以响应于来自用户的语音或运动命令或从控制器或HMD发出的命令。
应注意，本公开中描述的各个实施方案可以在没有这些特定详情中的一些或所有的情况下实行。在其它实例中，熟知过程操作未作详细描述以免使本公开中描述的各个实施方案不必要地变模糊。
在一个实施方案中，系统包括计算机、手持控制器(HHC)和头戴式显示器(HMD)。在各个实施方案中，计算机可以是通用计算机、专用计算机、游戏机、移动电话、平板装置或执行显现在HMD的显示屏幕上的互动程序的一个或多个部分的其它这些装置。互动程序可以是多个用户游戏的多用户游戏程序或一个用户游戏的单用户游戏程序。在一些实施方案中，游戏程序的至少一部分正在计算机上执行。在这些实施方案中，互动程序的任何剩余部分被执行在游戏云系统中，例如一个或多个虚拟机(VM)上。在一些实施方案中，互动程序的所有部分被执行在游戏云系统上。
HMD是直接穿戴在用户头部上或作为头盔的部分的显示装置。HMD在用户的一只眼睛或每只眼睛前面具有小型显示光学器件。在一些实施方案中，HMD能够接收和显现来自计算机和/或游戏云系统上执行的程序的视频输出。用户操作手持控制器(HHC)和/或HMD以生成提供给互动程序的一个或多个输入。在各个实施方案中，HHC和/或HMD与计算机无线通信，因为这比有线连接提供HHC和/或HMD的更好的移动自由。HHC可以包括用于提供输入给互动程序的各个特征中的任一个，诸如按钮、惯性传感器、可追踪LED灯、触摸屏、具有输入控件的控制杆、方向垫、触发器、触摸垫、触摸屏且可以具有检测和解译手势、语音输入的电路/逻辑以及其他类型的输入机构。此外，HHC可以是支持用户通过移动控制器与互动程序交互且对其提供输入的运动控制器。
与之相似，HMD可以包括支持用户通过移动HMD与互动程序交互且对其提供输入的用户输入电路。可采用各种技术来检测运动控制器和/或HMD的定位和移动。例如，HMD的运动控制器和/或用户输入电路可以包括各个类型的惯性传感器电路，诸如加速计、陀螺仪和磁强计。在一些实施方案中，运动控制器可以包括全球定位系统(GPS)、罗盘等等。在一些实施方案中，加速计是6轴低延迟加速计。在一些实施方案中，运动控制器和/或用户输入电路可以包括一个或多个固定参考对象(另称为“标记元件”)，例如，发光二极管(LED)、彩色点、光反射器等等。固定参考对象的图像由系统的一个或多个数字相机捕捉。在一些实施方案中，数字相机包括视频相机，其还包括单电荷耦合装置(CCD)、LED指示器和基于硬件的实时数据压缩和编码设备，使得可以按适当格式(诸如基于内部图像的运动图像专家组(MPEG)标准格式)传输压缩的视频数据。然后可以通过分析一个或多个数字相机捕捉的图像确定运动控制器和/或HMD的定位和移动。
图1A是系统100的示例性配置的实施方案。在一个实施方案中，系统包括通过互联网110通信的游戏云102、HMD104和HHC106。在一个实施方案中，HMD104包括与互联网110通信的路由器(未示出)。在一些实施方案中，游戏云102在本文称为游戏云系统。HMD104由用户108放置在其头部上，使得显示屏幕在他/她的眼睛前面以其中用户108将戴上头盔的类似方式对准。HHC106由用户106握持在他/她的手部中。
在各个实施方案中，代替HHC106，用户108的手部可用来提供可以由HMD104内的互动程序和/或逻辑解译的姿势，例如手势、手指姿势等等。在这些实施方案中，用户可以穿戴具有传感器的互动手套以提供触觉反馈。当由用户穿戴时，互动手套用作HHC，且以互动姿势/动作的方式提供输入给互动程序和/或HMD。互动手套可以包括标记元件，诸如LED、光反射器等等，以允许检测各种移动。互动手套是一种用来提供输入给HMD和/或互动程序的可穿戴装置形式且还可以接合其它形式的可穿戴衣物/装置。HMD104的数字相机101捕捉姿势的图像且HMD104内的处理器分析姿势以确定是否影响HMD104内显示的游戏。在一个实施方案中，相机101是位于面向前方的HMD104的面板405上的外部数字相机。在一些实施方案中，一个以上外部数字相机可提供在HMD104的面板上以捕捉真实世界图像的不同角度。在一些实施方案中，相机可以是立体相机、IR相机、单镜头相机等等。如本文使用，处理器可以是微处理器、可编程逻辑装置、专用集成电路或其组合。
系统100包括网络110，其可以是局域网(LAN)、广域网(WAN)或其组合。网络110的实例包括互联网、内联网或其组合。在一些实施方案中，网络110使用传输控制协议(TCP)/互联网协议(IP)以经由网络110在游戏云102与HMD104或HHC106之间传达媒体数据。实施方案不限于TCP/IP协议，而是还可接合其它形式的通信协议以经由网络传递媒体数据。在各个实施方案中，网络使用以太网和TCP/IP协议的组合以经由网络110在游戏云102与HMD104或HHC106之间传递媒体数据。
游戏云102包括编码器/解码器(编解码器)112和流缓冲器114。流缓冲器114存储执行游戏程序117之后生成的媒体数据116的流。媒体数据116包括虚拟环境数据、虚拟游戏对象数据、其组合等等。虚拟环境数据用来生成游戏的虚拟环境且虚拟游戏对象数据用来生成一个或多个虚拟游戏对象，例如，虚拟游戏角色、虚拟游戏对象、虚拟点、虚拟奖品、游戏界面等等。游戏程序117是由游戏云102的一个或多个服务器执行的互动程序的实例。编解码器112使用压缩器/解压缩器来使用有损压缩、无损压缩等编码/解码媒体数据。
HMD104用来访问由HMD104的处理器执行的操作系统(OS)。例如，选择和激活HMD104中的按钮支持HMD104的处理器执行OS。类似地，HHC106可用来访问由HHC106的处理器执行的OS。HHC106上的按钮可用来使HHC106的处理器执行OS。
在一些实施方案中，OS允许HMD104直接访问网络110。例如，用户可以使用网络访问图标、网络访问符号等等在OS顶部上选择由HMD104的处理器执行的网络访问应用。网络访问应用提供从其中选择网络来访问网络110的网络清单。根据网络访问协议，访问网络110可能需要用户认证。在选择和成功的用户认证(如果需要)之后支持用户访问网络110。HMD104内的内置路由器(未示出)使用网络110与游戏云交互以交换游戏数据。在这些实施方案中，网络110与HMD104之间的通信遵循无线通信协议。与之相似，HHC106通过使用网络访问应用选择网络得以访问网络110且HHC106与网络之间的通信遵循无线通信协议。
一旦访问网络110，OS允许HMD104以类似于选择网络的方式访问游戏程序117。例如，当用户108通过游戏访问图标、游戏访问符号等在OS顶部上选择HMD104的处理器执行的游戏访问应用时，游戏访问应用经由HMD104的处理器请求访问游戏程序117以显示给用户108。在获得游戏程序117的访问之后，HMD104的微控制器在HMD104的显示屏幕上显示游戏。在一些实施方案中，HMD104的显示屏幕是高性能屏幕以减少HMD104快速移动时的模糊。在一个实施方案中，显示屏幕是液晶显示(LCD)屏幕。用户108执行一个或多个头部和/或眼睛运动，例如，头部倾斜、眨眼、注视、转移注视、凝视等等，并且每个头部或眼睛运动触发用户输入电路生成可用于玩游戏的输入。在这些实施方案中，游戏程序117在游戏云102上执行且游戏程序117与HMD104之间的通信是通过内置路由器和网络110。
在一些实施方案中，游戏访问应用请求用户108访问游戏程序117的用户认证信息，诸如用户名和/或密码。在从游戏云102接收成功认证之后，游戏访问应用允许用户108访问游戏程序117。
在各个实施方案中，代替访问游戏应用/程序，用户108请求在访问网络110之后访问网页且所述网页允许用户108访问游戏程序117。例如，用户108经由用户输入电路或经由HHC106选择网页浏览器应用来访问网页。在访问网页之后，用户108玩网页上显示的游戏或使用其内提供的链路访问游戏。当在游戏云102上执行游戏程序117时显现游戏。在一些实施方案中，在提供网页访问以玩在游戏云102上执行游戏程序117时显示的游戏之前可能需要用户认证。以与用户108经由游戏访问应用访问游戏时所述类似的方式验证用户名和/或密码。
当访问游戏程序117时，编解码器112编码(例如压缩等等)媒体数据116的数字数据流用于经由网络110将编码的媒体数据流发送到HMD104。在一些实施方案中，编码媒体数据的数字数据流是用于经由网络110发送的分包形式。
HMD104经由网络110从编解码器112接收所选择的游戏程序的编码媒体数据的数字数据流，且所述数字数据流被处理，例如拆包、解码等等，并且所处理的流用来在HMD104的显示屏幕上显示游戏。当游戏数据显示在HMD104的显示屏幕上时。HMD104的外部相机101响应于HMD处的触发事件的检测捕捉用户108紧邻的真实世界环境的一个或多个图像。在一些实施方案中，外部相机101是视频相机。真实世界环境的实例包括用户108访问游戏的房间、用户108位于的地理区、用户108周围的真实世界对象等等。地理区的实例包括公园、道路、街道、湖泊、城市、地标等等。真实世界对象的实例包括公交站、咖啡厅、商店、办公室、车辆、房间、凳子、桌子、椅子、球等等。在一个实施方案中，包括真实世界环境的一个或多个图像的真实世界环境数据被处理并本地存储在HMD中且用于后续显现在HMD的屏幕上。诸如触发事件的用户输入可以被HMD104处理、分包和编码，并且通过内置路由器和网络110发送到游戏云102中的编解码器112。在一些实施方案中，除了用户输入之外，真实世界环境数据还可以可被HMD104分包和编码，并且经由HMD104的内置路由器、网络110作为编码环境数据流被发送到游戏云102中的编解码器112。
在接收用户输入和/或真实世界环境数据之后，游戏程序117生成由游戏云102的一个或多个服务器分包的额外媒体数据以生成额外媒体数据流。额外媒体数据可以包括游戏修改，包括虚拟游戏对象修改，例如计算机生成对象等等，用于更新显现在HMD上的虚拟游戏环境。额外媒体数据流被存储在流缓冲器114中、由编解码器112编码，并经由网络110作为编码额外媒体数据流发送到HMD104。HMD104接收编码额外媒体数据流、拆包流，并解码编码额外媒体数据以提供额外媒体数据给HMD104的微控制器。HMD104的微控制器基于额外媒体数据改变由游戏程序117执行显现在HMD的屏幕上的游戏显示。
可通过HMD104和/或HHC106提供用户输入。例如，用户108可以使用HMD104中提供的输入界面/机构提供输入。或者，用户108可以使用HHC执行手部运动，例如按压按钮、移动控制杆、手势、手指姿势、其组合等等，且提供在HHC106处的这种用户输入生成由HHC106的通信电路转换成输入信号的输入数据用于发送到HMD104的通信电路。当然，HHC包括手持控制器、控制杆、运动控制器、衣物的可穿戴物品、可穿戴装置等。源自HHC106和HMD104的输入信号被HMD104的通信电路从模拟形式转换成数字形式，被HMD104分包、编码且经由网络110发送到编解码器112。HMD的通信电路的实例包括收发器、传输/接收电路、网络界面控制器等等。
在一些实施方案中，游戏程序117映射由HMD生成的输入数据与HHC处生成的输入数据(例如，基于手部运动)以确定是否改变显示在HMD104上的游戏状态。例如，当经由网络110接收来自HMD的输入以及HHC106处生成的输入(诸如HHC106上的按钮的按压)时，游戏程序116确定改变游戏状态。否则，游戏程序117确定不改变游戏状态。
基于手部运动和/或手持控制器运动生成的输入的输入数据被HHC106的通信电路(例如收发器、传输/接收电路等)传达到HMD104的通信电路，例如收发器、传输/接收电路等等。传达到HMD的输入数据和/或由HMD生成的输入数据被HMD104分包且编码且经由网络110作为编码的输入数据流发送到编解码器112。例如，可经由网络110使用内置路由器将输入数据从HMD104直接发送到游戏云102。在许多实施方案中，用户108执行手部运动且提供来自HMD的用户输入以改变显现在HMD处的虚拟对象的位置和/或定向。
编解码器112解码(例如解压缩等等)经由网络110从HMD104接收的编码输入数据流且解码的输入数据被缓冲到流缓冲器114中用于拆包且发送到游戏程序117。游戏云102的一个或多个服务器拆包解码的输入数据流且将输入数据发送到游戏程序117。在接收输入数据之后，游戏程序117生成被游戏云102的一个或多个服务器分包以生成下个媒体数据流的下个媒体数据。下个媒体数据流被存储在流缓冲器114中、被编解码器112编码，且经由网络110作为编码的下个媒体数据流发送到HMD104。HMD104接收编码的下个媒体数据流、拆包流，并解码编码的下个媒体数据以提供下个媒体数据给HMD104的微控制器。HMD104的微控制器基于下个媒体数据改变由游戏程序117执行的游戏显示。例如，微控制器改变重叠在真实世界环境的一个或多个图像上或简单显现在HMD104的屏幕上的虚拟游戏对象的外观、定位和/或定向。
应注意，HHC和/或HMD处生成的输入数据会改变游戏状态。在一些实施方案中，游戏显示在本文称为与游戏程序117相关联的互动的一部分。
在各个实施方案中，代替将基于手部运动生成的输入数据从HHC106传达到HMD104，经由网络110将输入数据直接从HHC106传达到编解码器112。在HHC106处生成的输入数据以与HMD104的传达类似的方式被HHC106传达。例如，来自HHC106基于手部运动生成的输入数据被HHC106编码且分包且经由网络110作为编码的输入数据流发送到编解码器112。
应注意，在图1A所示的实施方案中，HMD和HHC个别地直接与网络110通信而不经过游戏机或外部路由器。在替代实施方案中，HHC可以与HMD通信以传输在HHC处生成的输入数据，且HMD可以利用网络110直接传达HHC和/或HMD处的数据。在这些实施方案中的两者中，媒体数据116、额外媒体数据、下个数据等经由网络101和内置路由器被游戏云102的编解码器112直接串流到HMD104的无线访问卡(WAC)。此外，在这些实施方案中，例如输入数据、真实世界环境数据等的数据经由内置路由器和网络110被HMD104的WAC直接串流到游戏云102的编解码器112。结合HMD的内置路由器的WAC能够往返于HMD传输串流媒体数据和输入数据。
图1B是用于经由网络110和路由器152在HMD104或HHC106与游戏云102之间传送数据的系统150的实施方案的图。除了系统150在HMD104与网络110之间包括路由器152之外，系统150类似于系统100(图1A)。路由器152还位于HHC106与网络110之间。在这个实施方案中，HMD104的WAC将于路由器152介接以与网络110通信。
HMD104经由无线连接例如蓝牙连接或Wi-Fi连接等耦合到路由器152。此外，HHC106经由无线连接耦合到路由器152。在一些实施方案中，路由器152经由有线连接耦合到网络110。
除了编码数据流从HMD104或HHC106发送到路由器152之外，图1B所示系统150以与系统100(图1A)的方式类似的方式操作。路由器152路由(例如引导等)编码数据流到网络110中的路径以促进发送所述流到编解码器112。路由器152使用编解码器112的IP地址来将编码数据流路由到编解码器112。在一些实施方案中，路由器152基于网络流量因子例如网络路径的分包流量、网络路径的拥塞等确定网络110的网络路径。
路由器152经由网络110从游戏云102接收编码数据流且将编码数据流路由到HMD104。例如，路由器152经由网络110基于HMD104的IP地址将从游戏云102接收的编码数据流路由到HMD104。在使用系统100和150的一些实施方案中，游戏执行主要发生在游戏云102上。在一些实施方案中，游戏的一些部分可以在HMD104上执行，同时剩余部分可在游戏云102上执行。
图1C是用于使用计算机172来将媒体数据直接或通过路由器152传达到网络的系统170的实施方案的图。
在一些实施方案中，无线网络清单显现在HMD104的屏幕上供用户选择。或者，在一些其它实施方案中，无线网络清单呈现在与计算机172相关联的显示屏幕上。例如，当计算机172是移动电话时，移动电话包括用于显示无线网络清单的显示屏幕。作为另一实例，当计算机172耦合到电视显示屏幕时，无线网络清单显示在电视显示屏幕上。在这些实施方案中，当计算机172的处理器执行存储在计算机172的存储器装置内的无线访问应用时访问无线网络清单。当用户108通过执行头部运动和/或手部运动经由HMD104或HHC106生成输入数据时，处理器176执行无线访问应用。基于头部运动和/或手部运动生成的输入数据从HMD104或HHC106的通信电路被发送到计算机172。当计算机172的处理器接收输入数据时，执行无线访问应用以生成无线网络清单。
计算机172包括网络界面控制器(NIC)174，其从游戏云102请求游戏程序117的一部分。NIC的实例包括网络界面卡和网络适配器。游戏程序117的部分被编解码器112编码且经由网络110串流到计算机172的NIC174。计算机172的处理器176执行游戏程序117的部分以生成媒体数据，其从计算机172的通信电路178例如收发器、传输/接收电路、网络界面控制器等被发送到HMD104以显示在HMD104的显示屏幕上。HMD104的通信电路从计算机172接收媒体数据且将所述媒体数据发送到HMD104的微控制器以进行处理并且将所述媒体数据显示在HMD104的显示屏幕上。
此外，计算机172的通信电路178接收来自HMD104的基于头部运动和/或来自HHC106的基于手部运动所生成的输入数据且将所述输入数据发送到处理器176。在一个实施方案中，输入数据可以是从HMD104的通信电路接收的真实世界环境数据。处理器176执行存储在计算机172内的游戏程序117的部分，以生成从通信电路178发送到HMD104的通信电路的额外媒体数据。在接收额外媒体数据之前或之后，HMD104的通信电路经由通信电路178将使用头部运动和/或手部运动生成为游戏的部分的来自HHD104和/或HHC106的输入数据发送到处理器176。响应于所述输入数据，处理器176执行存储在计算机172内的游戏程序117的部分以生成从通信电路178发送到HMD104的通信电路的下个媒体数据。下个媒体数据被发送到HMD104的通信电路以改变游戏，包括改变/更新通过执行游戏程序117显示的虚拟游戏对象和/或虚拟游戏环境。当例如真实世界对象、虚拟游戏对象等的游戏对象和/或虚拟环境改变时，通过执行游戏程序117显示的游戏的游戏状态改变。
在一些实施方案中，游戏状态经由路由器152和网络110被计算机172的NIC174发送到游戏云102以通知游戏云的一个或多个服务器当前游戏状态。
在各个实施方案中，媒体数据116、额外媒体数据、下个媒体数据等经由网络110和路由器152首先从编解码器112发送到HMD104，直到游戏程序117的一部分从游戏云102被下载到计算机172。例如，首先，用户108使用游戏访问应用访问游戏部分117。当访问游戏程序117时，媒体数据116、额外媒体数据、下个媒体数据等经由网络110和路由器152从编解码器112发送到HMD104以显示在HMD104的显示屏幕上。在来自游戏云102用于显示在HMD104上的媒体数据的访问时间期间，计算机172的NIC174经由网络110和路由器152从游戏云102下载游戏程序117的一部分。
在一些实施方案中，当计算机172访问游戏程序117时，例如媒体数据116、额外媒体数据、下个媒体数据等的媒体数据经由网络110从编解码器112被直接发送到HMD104以绕过计算机172而显示在HMD104的显示屏幕上，而计算机访问游戏云上供下载的游戏程序。所接收的媒体数据显现在HMD104的显示器上。同时，计算机172的NIC174经由网络110和路由器152从游戏云102下载游戏程序117的一部分。
在许多实施方案中，基于头部运动和/或手部运动生成的输入数据的一部分和/或真实世界环境数据的一部分经由路由器152和网络110被从HMD104发送到游戏云102的编解码器112，同时输入数据的剩余部分和/或真实世界环境数据的剩余部分从HMD104的通信电路被发送到计算机172的通信电路178。
在各个实施方案中，基于手部运动生成的输入数据的一部分经由路由器152和网络110从HHC106的通信电路发送到游戏云102的编解码器112且输入数据的剩余部分通过HMD或直接从HHC106的通信电路发送到计算机172的通信电路178。
在各个实施方案中，通过使用从计算机/HMD/HHC接收的用户输入执行游戏程序117生成的例如媒体数据116、额外媒体数据、下个媒体数据等的媒体数据经由网络110和路由器152从游戏云102的编解码器112发送到HMD104以显现在HMD104的显示屏幕上作为游戏的部分，并且通过由计算机172的处理器176执行游戏程序117的部分生成的媒体数据从计算机172的通信电路178发送到HMD104以显示在显示屏幕上。在这些实施方案中，游戏云102和计算机172具有同步游戏状态。例如，编解码器112经由网络110和路由器152将通过执行游戏程序117生成的游戏状态发送到计算机172的NIC174以通知计算机172游戏状态。作为另一实例，计算机172的NIC174经由路由器152和网络110将通过执行计算机172上的游戏程序117的部分生成的游戏状态发送到游戏云102的编解码器112，以通知一个或多个游戏云服务器游戏状态。游戏云102的编解码器112与计算机的NIC之间的通信周期性进行以保持两侧的游戏状态同步。
在数个实施方案中，通过执行游戏程序117生成且从游戏云102的编解码器112发送到HMD104的例如媒体数据116、额外媒体数据、下个媒体数据等的媒体数据比由计算机172的处理器176生成的媒体数据具有更高量的图形。明显的是，在一些实施方案中，在媒体数据经由网络110从游戏云102的编解码器112直接发送到HMD104时，计算机172被绕过。
图1D说明HMD使用计算机172和路由器152往返于编解码器112传达输入数据和/或媒体数据的系统配置。系统190的配置类似于参考图1C所述系统170的配置。系统190包括计算机172，其通过路由器152和互联网110通信连接到游戏云102且被配置来获得游戏程序的部分和游戏相关数据。计算机还通信连接到HMD104和HHC106以获得输入数据。
在一些实施方案中，计算机172的处理器执行存储在计算机172的存储器装置内的无线访问应用以访问网络110。在一些实施方案中，响应于经由HMD104或HHC106从用户接收的输入数据而执行无线访问应用。输入数据可以包括头部运动和/或手部运动。当计算机172的处理器接收HMD或HHC生成的输入数据时，无线访问应用生成从其中可选择网络来访问网络110的可用无线网络清单。
计算机172包括网络界面控制器(NIC)174，其从游戏云102请求游戏程序117的一部分且作为响应，编解码器112编码的游戏程序117的部分117-b经由网络110被串流到计算机172的NIC174。在一些实施方案中，游戏云包括从其中检索游戏程序117且将其下载到计算机172的游戏数据库131。在一些实施方案中，游戏程序117的一部分117-a从游戏数据库131被下载到游戏服务器102上且游戏程序117的剩余部分117-b被下载到计算机172。在一些实施方案中，被下载到计算机172的部分117-b是整个游戏。计算机172的处理器176执行游戏程序117的部分117-b以生成媒体数据、额外媒体数据和下个媒体数据(统称为“媒体数据”)，其从计算机172的通信电路178、网络界面控制器等被发送到HMD104以显示在HMD104的显示屏幕上。
可响应于从HMD104接收且包括头部运动/其它用户输入、手部运动等的输入数据提供额外媒体数据和下个媒体数据。在一个实施方案中，除了头部运动和/或手部运动之外，输入数据还可包括由布置在HMD104外面的外部相机101捕捉且由HMD104的通信电路传输的真实世界环境数据。在一些其它实施方案中，由外部相机101捕捉的真实世界环境数据被本地存储在HMD内且用于显现在HMD屏幕上。额外媒体数据提供虚拟环境相关数据用于在HMD上显现虚拟游戏场景且下个媒体数据在游戏期间提供对显示在虚拟游戏场景内的虚拟游戏对象和/或虚拟环境的改变。HMD104的通信电路从计算机172接收媒体数据作为媒体流且将所述媒体数据发送到HMD104的微控制器以进行解译并且显示在HMD104的显示屏幕上。当例如真实游戏对象、虚拟游戏对象等的游戏对象和/或虚拟环境改变时，通过执行游戏程序117显示的游戏的游戏状态改变。
如早前所述，在一些实施方案中，游戏状态经由路由器152和网络110被计算机172的NIC174发送到游戏云102以通知游戏云102的一个或多个服务器游戏状态以便使所述游戏状态与计算机172上的游戏状态同步。在这些实施方案中，大多数游戏执行发生在计算机172上。
在一些实施方案中，游戏程序117的部分117-a在游戏云102上执行同时游戏程序117正被下载到计算机172上。因此，与游戏云102上的游戏程序117的部分117-a的执行相关联的媒体数据经由网络110和路由器152从编解码器112被直接发送HMD104以显现在HMD上，直到游戏程序117的部分117-b从游戏云102被下载到计算机172。在一个实施方案中，游戏程序117的部分117-b被下载且存储在计算机172的本地存储装置113中且由处理器176执行。一旦部分117-b被下载且计算机172的处理器176开始执行游戏部分117-b，那么媒体数据将针对游戏程序117的部分117-b从计算机172被传输到HMD104。在一些实施方案中，游戏程序的所有媒体数据从计算机172被直接传输到HMD104用于显现。计算机172还可周期性传输媒体数据到游戏云102以使游戏云102上的游戏程序的游戏状态与计算机172上的游戏状态同步。
在许多实施方案中，由连接到计算机172的观察相机171捕捉基于头部运动和/或手部运动的输入数据的一部分。在一些实施方案中，观察相机171与计算机172之间的连接可以是有线连接。在其它实施方案中，观察相机171与计算机172之间的连接可以是无线连接。在一些实施方案中，观察相机171是立体相机、IR相机或单色相机中的任何一种或组合。在一些实施方案中，观察相机171是视频相机或静止运动相机中的一个。由观察相机171捕捉的图像可以用来确定HMD和HHC的位置和运动。例如，可以使用观察相机171的图像来识别HMD的定位A的坐标(Xa,Ya,Za)和HHC的定位B的坐标(Xb,Yb,Zb)。除了坐标平面的坐标之外，观察相机的图像可用来确定俯仰、偏转和滚转以生成HMD和HHC的六轴数据。在一些实施方案中，在HMD和HHC处生成的头部和/或手部运动由观察相机171捕捉并被传输到HMD104的微控制器作为六轴数据。来自HMD104和/或HHC106的六轴数据被解译以生成输入数据。被解译的输入数据从HMD104被传输到计算机172以影响游戏程序的结果。在一些实施方案中，由观察相机171捕捉的头部和/或手部运动被直接传输到在其中将所述运动被解译以生成六轴数据的处理器176。观察相机171观察用户的运动(头部和/或手部)，并且此信息用来提供反馈给游戏程序以影响游戏状态改变。在本实施方案中，有关游戏程序117的任何其它输入数据被HMD104传输给处理器且处理器176用六轴数据解译所述其它输入数据以确定游戏的游戏状态是否需要改变。基于解译，得以改变游戏的游戏状态。在一些实施方案中，来自HMD104的输入数据包括由外部相机101捕捉且从HMD104的通信电路发送到计算机172的通信电路178的真实世界环境数据。真实世界环境数据可用于影响显现在HMD104的屏幕的某些部分处的虚拟游戏场景。
在一些实施方案中，HMD104使用有线连接通信连接到计算机172。在这种实施方案中，HMD被配置来检测有线连接的打断以便暂停显现在HMD104的屏幕上的虚拟游戏场景。HMD检测通信连接的打断，相应地生成信号且将所述信号中继到计算机172以造成计算机172暂停游戏程序的执行且存储游戏会话的游戏状态和游戏场景。来自HMD的电池的电力可用来在通信连接的打断期间提供用于与计算机172传达连接状态的电力。游戏程序的执行可在计算机172从HMD104得到已经重新建立有线连接的信号时尽快恢复。在一些实施方案中，在恢复HMD与计算机172之间的连接之后，计算机172可以开始从中断点串流游戏场景。在另一实施方案中，计算机172可以开始从由连接中断造成的暂停之前的点(例如，暂停之前的数百个帧)串流游戏场景，使得用户可以得到一些时间来沉浸于游戏中。在本实施方案中，计算机172可以允许用户重新执行游戏的部分以允许用户进入游戏。HHC与HMD之间的通信以及HHC与计算机172之间的通信可以遵循无线通信协议。
在一些实施方案中，HMD104可以包括一个或多个内部相机103以检测用户的眼睛移动的改变。内部相机103还可用来在提供对游戏的访问之前识别/认证用户。
虽然提供关于游戏环境的详述，但是预期介接还可在与计算机系统的互动通信期间发生。计算机系统可以是具有图形用户界面的通用计算机，其允许用户108在空间上呈现和进行控制图标、键入、选择、文字和其它命令的手势。
图2A-2D说明头戴式显示器(HMD)104的框图，其描绘用来往返于游戏云102和/或计算机传达程序相关的媒体数据的各个视图和方面。HMD104被配置来通过解码HMD处接收的媒体数据而显示部分或全部执行在计算机172上且/或部分或全部执行在游戏云上的游戏程序117的计算机生成图像(即，虚拟图像)。HMD还被配置来在传输到计算机和/或游戏云用于更新执行游戏程序之前编码在HMD处生成或接收的媒体数据。HMD还被配置来显示从用户角度捕捉的真实世界环境图像。
图2A说明用于生成输入数据且用于显现游戏场景和真实世界环境场景的示例性HMD104。如所示，HMD104由用户108穿戴。HMD104包括帮助视觉追踪HMD的一个或多个标记元件。类似地，HHC106(未示出)包括类似于HMD上提供的标记元件的一个或多个标记元件。每个标记元件可以是发光二极管214、红外灯210、颜色、反射材料、具有经由图像分析容易辨识的特殊特征或特性的对象等。例如，球形对象212可被添加到HMD以便于追踪。此外，还可以使用具有LED灯、红外灯或任何其它类型的照明的球形对象212照射。此外，HMD104还可以包括特殊视觉标记器(未示出)，诸如特定几何形状的反射区域、具有特定颜色的区域(例如，蓝色矩形等)或标记(例如，HMD表面上的三条平行线)等。
在一些实施方案中，HMD在HMD的侧面和/或背面(即，HMD触摸头部背面的部分)上还包括额外标记元件以通过检测各自灯或视觉标记进一步视觉追踪HMD的位置。
可以使用不同类型的外部相机支持HMD的视觉追踪。在一些实施方案中，相机是(图1D的)观察相机171。在一个实施方案中，使用立体相机402追踪HMD，所述立体相机是包括每个透镜具有单独图像传感器的两个或两个以上透镜的相机。单独图像传感器支持立体相机捕捉提供深度错觉的对象的三维图像。在一个实施方案中，立体相机光学器件被设计成设定为光学无限(例如，约9米)以提供立体图像。使用三角测量分析比较由相机的不同透镜捕捉的HMD的标记元件的图像来确定HMD在三维空间中的位置(例如，用于计算游戏场地内的深度)。
在另一实施方案中，红外(IR)相机404可用来分析提供在HMD上的红外灯210。红外光对人眼不可见，但可容易由红外相机检测。HMD可以包括红外灯以避免影响HMD的外观。在一些环境中(例如，弱光或亮光)，追踪红外光可以比追踪其它类型的光更容易，以检测HMD中的位置、形状和特征。红外(IR)相机提供追踪对象诸如HMD的增强成像和热成像。IR相机还可用作内部相机以检测用户的注视方向。
在又一实施方案中，普通相机405(在本文中也称为单色相机，因为相机仅具有一个透镜)用来追踪HMD中配置用于视觉追踪的灯或其它标记元件。为了使用普通相机确定HMD的游戏场内的深度，分析HMD上的特征中的一些的大小。特征越小，所述特征应该越远离HMD的相机。此外，视觉追踪还可以结合其它类型的追踪，诸如惯性运动追踪、航位推算、HMD和计算装置之间的超声波通信等。
数字相机402捕捉HMD104的图像。当用户108的头部倾斜或移动时，标记元件的位置和定位在坐标系统中改变。数字相机捕捉标记元件的图像且将所述图像发送到计算机172。标记元件的图像是输入数据的实例。HMD104在三维空间中的定位(X,Y,Z)可以由计算机172的处理器176基于标记元件在图像中的定位来确定。此外，惯性运动例如HMD104的偏转、俯仰和滚转等由计算机172的处理器176基于标记元件的移动来确定。在计算机172不可用的情况中，来自数字相机的标记元件的图像被发送到HMD104的处理器和HMD的处理器将使用标记元件的坐标确定HMD的定位。
在一些实施方案中，数字相机402捕捉HHC106的图像。当用户108的手部倾斜或移动时，标记元件在HHC上的位置和定位在坐标系统中改变。数字相机捕捉标记元件在HHC上的图像且将所述图像发送到计算机172或HMD104的处理器。标记元件在HHC上的图像是输入数据的实例。HHC106在三维空间中的定位(X,Y,Z)可以由计算机172的处理器176或HMD104的处理器通过分析图像中标记元件在HHC上的定位来确定。此外，惯性运动例如HMD104的偏转、俯仰和滚转等由计算机172的处理器176或HMD104的处理器基于HHC的标记元件的移动来确定。
在一些实施方案中，代替HHC106，用户108的手部可以由数字相机追踪且所追踪的数据可用来确定手部在三维空间中的定位和手部的惯性运动。在一些实施方案中，代替HHC106可使用互动手套。手套可以包括标记元件以追踪和解译用户穿戴手套的手部的不同部分的运动。
有关用于跟随标记对象的方法的更多信息可参考2011年8月15日提交且在2012年3月22日公布的美国专利申请公开号2012-0072119，以及2008年10月27日提交且在2010年4月29日公布的美国专利申请公开号2010-0105475，此两件公开以引用的方式并入本文。
如所示，一对或多对立体相机402、一个或多个红外相机404和/或一种或多个单色相机405或其组合可以用来确定HMD的相对定位以及通过用户的头部运动和包括用户穿戴用来提供输入数据的可穿戴物品/装置的手部的控制器提供的HMD的运动。
HMD还可配备安装在内部的一个或多个内部相机以捕捉与用户相关的图像并且将所述图像馈送到通信模块，以提供用户特定和环境特定的数据给HMD。(多个)内部相机可用于识别穿戴HMD的用户，所述HMD可用于获得用户的用户简介。因此，内部相机可以被配置来采用视网膜扫描技术和/或虹膜扫描技术以描用户的视网膜或虹膜并且使用来自扫描的数据以生成用户的至少一个生物特征身份。用户的生物特征身份可以是用户简介的一部分。内部相机还包括注视检测器算法来检测用户的注视方向并且基于检测调整HMD的屏幕上显现的图像数据。在一些实施方案中，内部相机是IR相机。注视检测技术还可以用来认证用户。例如，可要求用户跟随屏幕上显现的对象或追踪显现在屏幕上的随机生成的字母、对象或图案(例如，圆形、三角形、矩形等等)。在一些实施方案中，可为用户提供口头或文字命令以追踪屏幕上的字母、对象或图案，且通过使用注视检测技术认证用户。用户认证可用来允许访问用户帐号、游戏、游戏的某些部分或级别等。
图2B说明用户穿戴HMD104，其中内部相机109(图1D的103)用于检测用户的生物特征身份和用户的眼移动。
内部相机(图2B的109和图1D的103)和外部相机(图1D的101)联手工作，以确定用户的注视并且使所述注视与用户注视的视线中的对象有关。HMD的游戏处理模块包括软件，所述软件计算用户的注视方向并且将其与计算方向的视场内的对象相关。
HMD包括在一只眼睛或每只眼睛前面的一个或一对显示屏幕。显示屏幕是微型屏幕，仅举几例，其包括阴极射线管(CRT)、液晶显示器(LCD)、硅上液晶(LCos)或有机发光二极管(OLED)。
图2C说明在本发明的各个实施方案中使用的简化HMD的框图再现。HMD可以包括一个或多个锚定带401，以允许在HMD固定地适配在用户的头部和前面板405上。前面板405包括屏幕安置在内侧上的屏幕部分和安置在其上的一个或多个内部相机单元(109)。除了内部相机单元(即，内部安装的相机)之外，一个或多个外部相机单元(即，外部安装的相机)(未示出)还可安置在HMD上以捕捉如从用户角度看到的真实世界环境。除了观察相机171之外，外部相机单元用于检测HMD和HHC的运动。HMD的面板包括多个标记元件，包括一个或多个发光二极管210、一个或多个红外灯214和一个或多个球形对象212、彩色表面、反射材料、具有经由图像分析容易辨识的特殊特征或特性的对象等。在游戏期间，HMD上的标记元件的图像被一个或多个观察相机捕捉且来自捕捉图像的坐标数据用来确定HMD的位置、移动和定位。观察相机可以直接或通过计算机172连接到HMD且被配置来与HMD和/或与计算机172交换与捕捉图像有关的数据。当传输到HMD时，HMD内的处理器处理数据以识别HMD的六轴数据并且将处理的数据发送到计算机172和/或通过计算机172(存在时)和路由器、通过路由器和网络发送到游戏云102或从HMD作为输入数据直接发送到游戏云102。输入数据会影响或影响游戏程序的游戏状态。
内部相机109检测且追踪用户的眼睛移动和注视。内部相机109可用来确定用户的注视方向达一个时间段(例如，当用户正在向下直视达一个时间段时)、检测注视方式达一个时间段(例如，当用户跟随对象、追踪图案等时)，和/或检测注视方向的改变(例如，眼睛的往复运动、眼睛的滚转-其可为用户经历头晕的迹象-尤其是在高强度的游戏等中)。HMD的内部相机与HMD的外部相机和与观测相机通信以确定用于显现在HMD的屏幕上的适当游戏相关数据。这个通信将支持用户/环境相关的数据响应于某些触发事件同时或代替游戏相关数据显现在HMD的屏幕上。
图2D是HMD104的通信架构的框图。HMD104包括一些示例性模块，诸如视频音频分离器254、视频解码器255、存储器装置256、WAC258、流缓冲器259、一个或多个扬声器260、电池261、用户输入电路262、显示屏幕266、微控制器268、音频缓冲器272、观察数字相机274、外部数字相机275、音频编解码器276、内部数字相机278、视频缓冲器280、视频音频同步器282、麦克风284、LED285和IR灯287。LED285和IR灯287表示用于追踪HMD的定位的标记元件。
在许多实施方案中，扬声器260形成音频电路。在各个实施方案中，音频编解码器276、音频缓冲器272和/或扬声器260形成音频电路。在各个实施方案中，微控制器268是用于在显示屏幕上显现图像的显示电路。显示屏幕266的实例包括LED屏幕、液晶显示(LCD)屏幕、硅上液晶屏幕、有机LED(OLED)屏幕、等离子体屏幕等等。外部数字相机的实例包括拳眼相机，诸如SonyComputerEntertainment公司制造的Playstation
微控制器268存储显现程序286和操作系统288。显现程序286和操作系统288存储在微控制器286的存储器装置中且由微控制器268的微处理器执行。微控制器268的实例包括低成本微控制器，其包括例如LCD驱动器的驱动器，所述驱动器生成信号以检测元件(例如LCD等)，以提供媒体数据用于显示在显示屏幕266上。微控制器的另一实例包括GPU和存储器装置。
在一些实施方案中，微控制器的存储器装置是不同于快速存储器或随机存取存储器(RAM)。例如，微控制器的存储器装置是缓冲器。在各个实施方案中，微控制器的存储器装置是闪存或RAM。用户输入电路262的实例包括陀螺仪、磁强计和加速计。在一些实施方案中，用户输入电路262还包括全球定位系统(GPS)、罗盘或任何位置追踪装置。WAC258的实例包括NIC。在一些实施方案中，WAC258在本文中称为通信电路。
编码的媒体数据流从网络110或路由器152(图1B-1C)被接收到流缓冲器259中。应注意，当路由器152耦合到计算机172(图1C)时，从计算机172接收的数据被存储在HMD250的缓冲器(未示出)或存储器装置256中，而非存储在流缓冲器259中。
WAC258访问来自流缓冲器259的从计算机或编解码器112接收的编码媒体数据流且拆包所述流。WAC258还包括解码器以解码编码的媒体数据。
在计算机172(图1C)经由路由器152(图1C)接收编码媒体数据流的实施方案中，计算机172的NIC174(图1C)拆包且解码编码媒体数据流以生成存储在HMD250的缓冲器(未示出)中的解码数据。
视频音频分离器254从WAC258或从缓冲器(未示出)访问解码数据。视频音频分离器254在解码数据内将音频数据与视频数据分离。
视频音频分离器254将音频数据发送到音频缓冲器272且将视频数据发送到视频缓冲器280。视频解码器255解码例如视频数据且/或将视频数据从数字形式改变成模拟形式以生成模拟视频信号。视频音频同步器282使存储在视频缓冲器280中的视频数据与存储在音频缓冲器272中的音频数据同步。例如，视频音频同步器282使用视频数据和音频数据的重播时间同步视频数据与音频数据。
音频编解码器276将同步的音频数据从数字格式转换成模拟格式，以生成音频信号且由扬声器260重播所述音频信号以生成声音。微控制器268执行显现程序286以基于由视频解码器255生成的模拟视频信号在显示屏幕266上显示游戏。在一些实施方案中，显示在显示屏幕266上的游戏与音频信号的重播同步显示。
此外，用户108(图1A-1C)对着麦克风284讲话，麦克风将声音信号转换成电信号，例如音频信号。音频编解码器276将音频信号从模拟格式转换成数字格式，以生成存储在音频缓冲器272中的音频数据。存储在音频缓冲器272中的音频数据是基于用户108的声音生成的输入数据的实例。音频数据还可以包括在HMD处生成或由HMD中的扬声器检测的其它音频信号。音频数据由WAC258从音频缓冲器272访问以经由网络110(图1A-1C)将其发送到游戏云102(图1A-1C)的编解码器112(图1A-1C)。例如，WAC258分包和编码从音频缓冲器272访问的音频数据，以经由网络110将其发送到编解码器112。
在一些实施方案中，音频数据由WAC258从音频缓冲器272访问以经由路由器152(图1A-1C)和网络110(图1A-1C)将其发送到游戏云102的编解码器112(图1A-1C)。例如，WAC258分包和编码从音频缓冲器272访问的音频数据，以经由路由器152和网络110将其发送到编解码器112。
内部数字相机278(图1D的103、图2B的109)捕捉用户108(图1A-1C)的眼睛运动的一个或多个图像，以基于头部和/或眼睛运动生成为HMD处生成的输入数据的实例的图像数据。类似地，安装在HMD上的观察数字相机274(图1D的相机171)和/或外部数字相机275(图1D的相机101)捕捉位于HMD250上和/或用户108的HHC/手套/手部上的标记、穿戴HMD的用户的头部运动的一个或多个图像以生成图像数据，其为基于手部/头部运动生成的输入数据的实例。由数字相机274、275和278捕捉的图像数据被存储在视频缓冲器280中。
在一些实施方案中，由数字相机274、275和278捕捉的图像数据被存储在HMD250的缓冲器中且所述缓冲器是视频缓冲器280之外的缓冲器。在各个实施方案中，由数字相机274、275和278捕捉的图像数据被视频解码器255解码并且发送到微控制器268以在显示屏幕266上显示图像。
由数字相机274、275和278捕捉的图像数据由WAC(无线访问卡)258从视频缓冲器280访问以经由网络110(图1A-1C)将其发送到游戏云102(图1A-1C，2)的编解码器112(图1A-1C)。例如，WAC258分包和编码从视频缓冲器280访问的图像数据，以经由网络110将其发送到编解码器112。
在一些实施方案中，视频数据由WAC258从视频缓冲器280访问以经由路由器152(图1B-1C)和网络110(图1A-1C)将其发送到游戏云102的编解码器112(图1A-1C)。例如，WAC258分包和编码从视频缓冲器280访问的视频数据，以经由路由器152和网络110将其发送到编解码器112。
控制器/控制台通信电路289从计算机172接收媒体数据用于存储在缓冲器(未示出)中。此外，控制器/控制台通信电路289从HHC106(图1A-1C)接收输入信号、将输入信号从模拟形式转换成数字形式以生成输入数据，所述输入数据被WAC258访问经由网络110(图1A-1C)发送到游戏云102(图1A-1C)的编解码器112(图1A-1C)。例如，WAC258分包和编码从控制器/控制台通信电路289访问的输入数据，以经由网络110将其发送到编解码器112。
在一些实施方案中，输入数据由WAC258从控制器/控制台通信电路289访问以经由路由器152(图1B-1C)和网络110(图1A-1C)将其发送到游戏云102的编解码器112(图1A-1C)。例如，WAC258分包和编码从视频缓冲器280访问的视频数据，以经由路由器152和网络110将其发送到编解码器112。
应注意，代替控制器/控制台通信电路289，可使用两个单独的通信电路，一个用于例如与计算机172(图1C)传达例如接收、发送等数据，且另一个用于与HHC106(图1A-1C)传达数据。
在许多实施方案中，解码器位于WAC258外部。在各个实施方案中，流缓冲器259位于WAC258内。
在一些实施方案中，HMD104不包括观察数字相机274。在数个实施方案中，HMD104包括任何数量的微控制器、任何数量的缓冲器和/或任何数量的存储器装置。
在各个实施方案中，HMD104包括一个或多个电池261，其给例如视频音频分离器254、存储器装置256、无线访问卡258、流缓冲器259、一个或多个扬声器260、用户输入电路262、显示屏幕266、微控制器268、音频缓冲器272、外部数字相机274、音频编解码器276、内部数字相机278、视频缓冲器280、视频音频同步器282和麦克风284的组件供电。一个或多个电池261被可以被插入到交流电插座中的充电器(未示出)充电。
在许多实施方案中，输入数据和/或媒体数据在本文称为互动媒体。
在一些实施方案中，HMD104包括通信电路以经由配对促进本地用户之间的对等多信道通信。例如，HMD104包括收发器，其调制从麦克风284接收的声音信号且经由信道将调制信号发送到另一HMD(未示出)的收发器。其它HMD的收发器解调信号以提供给其它HMD的扬声器以促进用户之间的通信。
在各个实施方案中，不同信道由HMD104的收发器使用以与不同的其它HMD通信。例如，调制信号在其上被发送到第一其它HMD的信号不同于调制信号在其上被发送给第二其它HMD的信道。
在一些实施方案中，WAC258、用户输入电路262、微控制器268和视频解码器255集成在一个或多个个别电路芯片上。例如，WAC258、视频解码器255和微控制器268集成在一个电路芯片上且用户电路262集成在另一电路芯片上。作为另一实例，WAC258、用户输入电路262、微控制器268和视频解码器255中的每个集成在单独电路芯片上。
HMD的各个模块用来确定必需执行转变动作且在HMD屏幕处执行所述转变的触发事件的发生。在一些实施方案中，HMD内的模块统称为“游戏处理模块”。HMD的游戏处理模块检测触发事件的发生且允许HMD视野基于触发事件在“非透明”模式、“半透明”模式、“仿真透明”模式与“全透明”模式之间转变。在一些实施方案中，用户可配有确定用户希望哪个透明模式转变的选项且根据所选选项执行所述转变。基于所述转变，用户能够部分或全部地观看真实世界环境和/或游戏的互动场景。应注意，当来自游戏的互动场景显现在HMD的屏幕上时，所述屏幕称为“非透明”模式。
在一些实施方案中，基于检测触发事件，游戏处理模块将HMD屏幕从非透明模式转变为半透明模式。在一些实施方案中，从非透明模式到半透明模式的转变仅在HMD屏幕的一部分中执行，同时HMD屏幕的剩余部分继续为非透明模式。或者，整个HMD屏幕从非透明模式转变成半透明模式。在半透明模式中，真实世界环境中的一些对象与当前显现在HMD屏幕上的游戏程序的互动场景一起呈现。HMD屏幕处呈现的真实世界环境由HMD的前向相机从用户紧邻处捕捉。在一个实施方案中，呈现真实世界环境使得游戏的互动场景显现在背景中且来自真实世界环境的对象中的一些呈现在前景中。或者，在另一实施方案中，互动场景显现在前景中，同时来自真实世界环境的对象中的一些显现在背景中。
在一个实施方案中，响应于触发事件的发生，游戏处理模块将HMD屏幕从其中仅显现游戏的互动场景的非透明模式转变成其中用户暴露给来自用户紧邻的真实世界环境的视野的仿真透明模式。在这个实施方案中，游戏处理模块激活且引导HMD中的前向相机以从穿戴HMD的用户附近捕捉且传输真实世界环境的与用户注视一致的图像和/或视频。游戏处理模块接收前向相机传输的图像/视频、处理所述图像/视频(例如，重定大小、重新调整分辨率等)，并且在HMD屏幕上显现真实世界环境的处理图像/视频。显现造成用处理的图像/视频替换当前被显现的游戏程序的互动场景。在这个实施方案中，仿真转变出现使游戏处理模块将HMD屏幕转变成“全透明”模式，但是实际上，通过在HMD屏幕处呈现由前向相机捕捉的真实世界环境的图像而提供仿真转变。
在另一实施方案中，游戏处理模块响应于检测触发事件通过调整HMD屏幕的光学设定而完成非透明(即，不透明或暗淡)模式与全透明(即，清透)模式之间转变。在这个实施方案中，HMD屏幕是液晶显示(LCD)屏幕。游戏处理模块在暗淡/黑设定(表示非透明模式)与清透设定(表示全透明模式)之间切换LCD的光学特性。清透设定支持用户以类似于看穿清透玻璃屏幕的方式从用户邻近周围环境在真实世界对象处看透HMD的显示屏幕。在不透明/暗淡设定中，用户无法或是难以看穿显示屏幕。在非透明模式(即，不透明/暗淡设定)中，游戏的互动场景显现在HMD的显示屏幕中。用于在非透明模式与全透明模式之间的转变的光学设定的调整是在LCD屏幕背后进行。当然，当面向外时，HMD的LCD屏幕的光学器件需颠倒。
在一个实施方案中，分析触发事件以确定是否确保模式转变且基于所述确定完成模式转变，包括光学器件的颠倒。例如，分析可以确定用户的注视转移是否达足够长时间段以确保模式转变且在注视转移达至少等于预定义阈值时段的时段时完成所述模式转变。因此，游戏处理模块提供在非透明模式与透明模式之间转变的替代方法以允许用户取决于触发事件而不时部分或全部地观看真实世界环境，同时允许用户沉浸在游戏体验触发事件中。透明模式可以是半透明模式、仿真透明模式和全透明模式中的任何一个或组合。
造成从非透明模式转变成半透明、仿真透明或全透明模式的一些示例性触发事件可以包括以下项的任一项或组合：穿戴HMD的用户的注视转移、语音命令、HHC/HMD处检测到的动作(包括按钮按压、触摸屏互动、姿势、通过一个或多个输入机构/装置的互动等)、用户邻近中检测到的声音或移动、检测接受电话、文字、ping、消息、电子邮件、检测用户邻近的其它用户的动作诸如语音等等。
通过操纵显现在屏幕上的物体的这种形式的转变允许用户从完全沉浸状态切换到部分沉浸或非沉浸状态。从非透明模式转变成半透明、仿真透明或全透明模式支持用户不时部分或全部地观看真实世界环境，同时继续沉浸在游戏中。在一些其它实施方案中，从非透明模式转变成透明模式(半透明、仿真透明或全透明)为用户提供从全沉浸状态转变成完全非沉浸状态的能力。在一些实施方案中，从非透明转变成透明模式提供为一个选项且用户可以选择或不选择转变。
转变是通过在执行游戏期间检测事件的发生而获支持。事件的发生例如可以通过识别且观察穿戴HMD的用户眼睛的注视状况来确定。注视状况的观察可以包括：检测用户的注视方向达一个时间段以查看注视是否随时间转移；检测注视方式达一个时间段以确定用户是否正追踪图案、注视从第一定位切换到第二定位，重复返回到第一定位；检测注视方向中的改变以确定用户是否正经历头晕等等。注视状况的观察与由HHC、HMD、游戏云和/或计算机(如果存在)提供的预定义动作相关，以便确定是否已经执行转变。除了移动动作之外，HHC或HMD提供的动作还可包括给游戏程序的反馈，诸如触觉反馈、音频反馈等。用户的注视状况可以使用一个或多个内部相机单元来追踪。
在追踪期间，如果确定用户的注视继续在正显现与HMD、HHC和/或游戏程序提供的动作直接相关的游戏的互动场景的屏幕上的一部分/区上，那么屏幕继续以非透明模式为串流自游戏程序的游戏展现互动场景。图3A说明一个这种实施方案，其中内部相机的追踪检测用户的注视以离法线呈角‘'定义的线‘a’说明的注视角固定在显现在屏幕上的互动场景上。响应于此检测，HMD的游戏处理模块将继续在HMD的屏幕上显现与串流自计算机或游戏云且与注视角度相关的游戏程序有关的互动场景。然而，如果内部安装相机检测到注视状况的改变，例如用户的注视转移到屏幕的不同部分，那么内部相机将检测注视状况的改变，即，注视转移，并且确定注视转移的角度。多个内部安装相机可用来精确确定注视转移的坐标。
图3B说明由内部相机检测的用户注视状况的改变(即，注视转移)和转移方向。内部相机可以通过捕捉对应场景的多个图像帧而精确识别注视转移方向和注视转移级别并且将信息馈送到HMD的游戏处理模块。在一些实施方案中，内部相机提供的图像还可以包括相机捕捉的每个帧的时戳以支持游戏处理模块根据时间分析图像帧以确定用户的注视转移。游戏处理模块通过分析来自捕捉帧的注视点计算转移角度。例如，如图3A所示，由内部相机检测的用户的第一注视由线‘a’定义。如早前所定义，游戏处理模块确定离法线(例如，x轴)呈角度‘’的第一注视。游戏处理模块追踪注视方向的转移且确定由图3B中的线‘b’且应以离法线呈角度‘λ’表示的第二注视的角度，且所述注视从向上方向转移成向下方向。因此，用户的注视的总转移角度为(+λ)。或者，注视转移可以继续为向上方向。在这种情况中，当角‘λ’大于角‘’时用户注视的总转移角度可以计算为(λ–)，或者当角‘’大于‘λ’时计算为(-λ)。这个信息由HMD内的游戏处理模块使用以不仅确定注视转移，还识别在所述角度的视线下的游戏场景和/或真实世界环境的对象。转移角度的精确计算可以通过分析来自多个相机的图像帧使用三角测量技术来进行。
响应于检测用户注视的转移，内部安装相机还可追踪注视方式。在一些实施方案中，注视方式可以通过用户追踪显现在屏幕上的对象或字母来建立。在一些实施方案中，注视方式可以是眼睛在屏幕上的第一定位与第二定位之间的往复移动。注视方式可以通过分析由捕捉注视转移的图像帧提供的视线信息和时戳信息来确定。在一些实施方案中，如果用户的眼睛保持从初始角度转移达多于预定义阈值时段(例如，0.5秒、1秒、2秒、3秒、4秒等)，那么注视转移是明显的。在一个实施方案中，基于图像和时戳的分析，游戏处理模块可以确定游戏方式并未识别用户的注视状况的任何明显改变，即注视转移是不明显的(按时间或按角度)、暂时的(小于预定义阈值时段发生一次)且用户继续关注屏幕的展现游戏有关活动的部分或区上。在这个实施方案中，HMD的游戏处理模块将继续维持屏幕的非透明模式且继续显现串流自游戏程序的游戏的互动场景。
在一些实施方案中，基于注视状况的分析，如果游戏处理模块建立转移到屏幕的不同部分的用户注视，那么游戏处理模块尝试确定用户转移的注视的方向是否与游戏的不同区域相关。如果是，那么游戏处理模块可以将互动场景切换到与用于显现在HMD处的屏幕的新部分相关的互动场景。
在图3B所示的一个实施方案中，如果注视方式建立用户的注视正在第一区302与第二区304之间切换，那么游戏处理模块将确定用户所关注的方向、确定来自真实世界环境的与视线对准的对象，且每次用户的注视朝向屏幕的对应区或部分时便在屏幕的所述区或部分中提供所述对象的视觉。例如，用户可以参与赛车游戏。在他正在玩游戏时，来自与来自HHC和HMD的用户输入相关的赛车游戏的场景显现在HMD的屏幕上。在游戏期间，用户的注视可以从直视赛车游戏场景前方转移成向下朝向屏幕底部观看。在这个情况中，游戏处理模块将识别注视转移、建立注视方式以查看注视转移是否是明显的(与角度和/或时间有关)，并且使用这个信息来识别与视线对准的真实世界对象/场景或虚拟世界对象/场景。
在图3B所示的一个实施方案中，可确定转移注视的视线中的对象可以是用户的手部中正提供输入给HMD的HHC。转移注视的视线中的对象可以通过使来自内部相机的输入数据与来自安装在HMD上的观察相机和外部相机的数据相关来确定，以确定所关注的与转移注视的角度相关的对象。这个信息由游戏处理模块用来引导HMD的外部相机以捕捉用户手部中的HHC的图像。响应于来自游戏处理模块的命令，HMD的外部相机捕捉识别的对象的图像并且将相同图像传输到游戏处理模块，其然后将视觉图像转换成数字数据且转递数字数据以显现在HMD的屏幕的对应部分处。在一些实施方案中，可以调整对象的视觉图像以与游戏的互动场景相关。例如，如果视线中的对象是控制器且游戏是互动赛车游戏，那么控制器的视觉图像(即，用户的转移视线中的真实世界对象)可被调整以表现为车辆方向盘。
在图3B表示的一个实施方案中，握持在用户的手部中的HHC的图像(即，视觉或调整视觉)显现在HMD的屏幕的底部(由区304表示)中，而屏幕的剩余部分(由区302表示)继续显现来自串流自计算机或游戏云的游戏的互动场景。结果，HMD屏幕的底部被视为从非透明模式转变成仿真透明模式，而屏幕的剩余部分继续以非透明模式显现。在一些实施方案中，来自真实世界的显现场景/对象的图像包括视觉深度以在屏幕上提供3维沉浸效果。
在图3B所示的实施方案中，例如，对象的图像叠加在显现在底部304的一部分中的场景上，同时允许互动场景在底部的剩余部分中可见。对象的图像显现在该部分中的前景中。在这个实例中，底部的仅一部分被视为转变成仿真透明模式，而底部的剩余部分和屏幕的剩余部分继续显现互动游戏场景。在另一实施方案中，互动游戏场景可以灰视格式呈现在底部的剩余部分中，建议底部为仿真透明模式。在又另一实施方案中，整个底部可以转变成仿真透明模式且可以显现所关注的对象的图像(即，来自以上实例的HHC)以及前向相机捕捉的周围真实世界对象。或者，对象可以显现在背景中，而互动场景显现在前景中。
应注意，用户的注视可以在任何方向上转移。结果，HMD的屏幕的对应部分可以取决于在屏幕的所述部分上显现之物而从非透明转变成透明模式。
在一个实施方案中，并非所有注视转移将导致从非透明模式转变成透明模式。例如，用户的注视可以从屏幕的右侧转移到屏幕的左侧。在这个实施方案中，用户的注视可以响应于基于来自用户通过HMD或HHC提供的输入、来自另一用户(在多玩家游戏的情况中)的输入或来自游戏的输入的游戏的改变而转移。在这个实施方案中，屏幕的左侧可以包括基于游戏改变的互动游戏场景。在一个实施方案中，当检测到用户的注视转移时，游戏处理模块可以确定用户的注视转移是否超过预定义阈值限制，诸如例如3秒。当注视转移超过阈值限制时，游戏处理模块更新HMD的屏幕以显现对应于来自用户的注视方向的场景的游戏场景，同时继续维持屏幕的非透明模式。
如早前所述，将屏幕的一部分从非透明模式转变成半透明或全透明模式的触发事件不限于注视转移的检测。在一个实施方案中，转变事件可以响应于在真实世界中、接近用户或在用户的相机和/或观察相机的视线中检测的移动而触发。例如，可以在人员进入用户正在参与执行于计算机上或游戏云上的游戏的房间时触发所述转变。
图3C说明当用户333进入用户108正在玩在线游戏的房间时的一个这种案例。用户108在游戏期间穿戴的HMD的屏幕正显现来自游戏程序的游戏的互动场景。当游戏处理模块检测用户333进入房间时，游戏处理模块将显现在用户的HMD的屏幕上的场景改变为包括如HMD屏幕的部分340b所示用户333进入房间的图像，同时继续在340a表示的剩余部分中显现游戏的互动场景。在这个实施方案中，屏幕340b的改变的部分与用户333进入房间或出现在检测移动的相机的视线中的方向相关。在一些实施方案中，场景中的改变提供用户333进入的房间的一部分的三维视野。在这个实施方案中，HMD屏幕被视为在部分340b继续显现互动场景连同用户333时转变成半透明模式。
或者，可以在对象进入HMD的外部安装相机或外部相机的视线中时触发转变。图3D-3F说明一个这种实施方案。在图3D中，用户的HMD的屏幕显现用户在时间T0正在玩的游戏的互动场景。在时间T0，对象(弹跳球)开始弹跳，但是在与用户的HMD关联的相机的视野的外面。在这个实例中，对象(即，球)在离表面的高度d0处。在时间T1，球弹跳到高度d1,且结果，进入与HMD相关联的至少一个相机(外部相机或观察相机)的视野中。响应于由所述相机中的至少一个检测到对象，游戏处理模块可以在屏幕的与球位置在屏幕中由至少一个相机检测的角度/定位(距离d1)相关的部分中显现球的3维图像。
因此，如图3E所示，在高度d1下弹跳的球显现在屏幕的部分或区304a中，而屏幕的剩余部分继续显现游戏有关互动场景。类似地，在时间T2，HMD的至少一个相机在球继续其向上上升到距离d2时检测不同角度/位置下的球，且游戏处理模块将球的不同角度/位置转译到屏幕上显现球的图像的对应位置。图3F说明显现球的图像的位置304b(位置304b可以与高度d2相关)，而屏幕的剩余部分继续显现来自游戏的互动场景。当球降落时，球在向下方向的移动被捕捉直到球落在相机的捕捉范围之外。因此，图3D说明在时间T0以及时间T5显现在HMD的屏幕上的场景，图3E说明在时间T1(对应于球上升)以及时间T4(对应于球下降)球覆盖屏幕的一部分304a的场景，且图3F说明在时间T2(对应于球上升)以及时间T3(对应于球上升)球覆盖屏幕的一部分304b的场景。在这个实施方案中，HMD屏幕被视为从非透明模式转变成仿真透明模式。在一些实施方案中，球的图像可以显现在前景中，而互动场景可以显现在背景中。或者，球的图像可以显现在背景中，而互动场景可以显现在前景中。在这些实施方案中，HMD屏幕被视为从非透明模式转变成半透明模式。因此，游戏处理模块为用户提供完全沉浸在游戏中同时基于触发外部事件或基于来自用户的输入(诸如注视转移)或用户明示或暗示提供的其它这种视觉提示而提供从真实世界瞥视场景的方法。
在替代实施方案中，HMD屏幕可以从非透明模式转变成全透明模式。在这个实施方案中，响应于触发事件，游戏处理模块可以调整HMD屏幕的光学特性，从暗淡/不透明设定(表示非透明模式)调整为清透设定(表示全透明模式)。在清透设定中，用户在用户的紧邻具有周围真实世界环境的全部视野，宛若用户正看穿清透玻璃。图3G说明这个实施方案的实例，其中用户能够观看真实世界对象，诸如用户正使用HMD的房间中的灯、桌子、镜子/屏幕。
图4A-4D说明替代实施方案，其中游戏处理模块组合互动游戏场景与来自真实世界的三维场景以在接收瞥视真实世界时在游戏中提供三维(3D)沉浸。图4A说明显现在用户108的HMD屏幕上的游戏的三维游戏空间。游戏空间说明用户A、B和C处于离用户108和彼此特定距离。图4A所示的HMD屏幕示出为非透明模式。图4B将游戏空间说明为穿戴HMD的用户108向前走且他向下看。以用户A、B和C关于用户108且关于彼此的相对定位、角度和位置来反映用户108在三维游戏空间中的向前移动。此外，响应于用于将其头部向下移动，游戏空间向下移动以显示额外玩家D以及对用户A、B和C在游戏空间中的相对位置的更新。用户108的头部的向下移动还导致用户的HHC在与用户的手部在真实世界的位置有关的3D游戏空间的对应部分401的再现。图4B所示的HMD屏幕被视为转变为半透明模式且造成这种转变的触发事件可以是用户的向前移动和注视的向下转移。
图4C说明用户108继续往前走时显现在屏幕上的视野。互动场景中的游戏对象(即，用户)已被更新为将对象显现为与用户的移动相关。在这个实施方案中，HMD屏幕中显现的互动场景示出有关游戏空间中仅一个用户(例如用户C)与用户108移动的距离相关。此外，用户的继续向下注视转移达大于预定义阈值时段的时段将造成游戏处理模块突出由外部相机捕捉的真实世界对象的至少一些部分，诸如台灯、桌子、游戏机等等。游戏空间中的对象的距离、位置、角度等以及来自真实世界的对象通过考虑由观察相机和外部相机捕捉的用户的向前移动和向下注视转移而被显现在HMD的屏幕上。因此，以使对象表现为更接近用户108的方式显现对象(真实对象和虚拟对象两者)。在图4C所示的实例中，HMD屏幕被视为从非透明模式转变成半透明模式。在一些实施方案中，虚拟游戏对象淡出到背景且真实世界对象变突出(即，前景)。在替代实施方案中，真实世界对象淡出到背景且虚拟游戏对象变突出(即，前景)。
在一个实施方案中，从非透明模式转变为半透明模式可以在HMD处开始以为用户提供用于观看显现在HMD的显示屏幕上的内容(包括来自游戏的游戏场景)/与其互动的安全区。例如，完全沉浸在视频游戏的游戏中的用户可以在房间中四处移动同时仍融入视频游戏中。结果，用户可更接近房间中的对象，诸如墙、灯、桌子、椅子、沙发、床、绳子、宠物、人员等等。为了防止用户碰到对象、防止纠缠HMD的电线/绳子、防止受伤或防止对对象造成损害，HMD中的游戏处理模块检测用户对对象的接近。响应于用户的移动和动作，系统可以例如在用户接近对象时开始将HMD的显示屏幕从非透明转变为半透明模式。在半透明模式中，游戏处理模块将来自真实世界的对象与显现在HMD的显示屏上的游戏场景混合或将来自真实世界的对象引入到显现在HMD的显示屏上的游戏场景中，以指示用户对象在用户的移动方向上的存在和接近。在一个实例中，显现在显示屏幕中的对象的大小和接近可以与真实世界对象与用户的相对接近成比例。在一个实施方案中，真实世界对象可以以由如图4C所示的虚线表示的轮廓形态显现。轮廓形态可以是灰视形态、折线形态、轮廓形态、虚影形态、半透明形态或完全可观看呈现。在一个实施方案中，除了转变之外，游戏处理模块可以在用户移动过于靠近房间中的对象时发布警告标志给HMD用户。警告标志可以是音频格式、触觉格式或其任何组合。因此，游戏处理模块可以出于安全目的使用，其中系统允许用户充实观看体验，同时保护用户以及用户的即时周围环境中的对象的安全。在一个实施方案中，用来捕捉真实世界对象的相机可以是深度感测相机、普通RGB相机(在三个不同线上提供三个基本颜色分量-红色、蓝色、绿色)、或可以识别对象离用户的接近、深度和距离的超声波传感器，或其任何组合。
图4D说明用户108沉浸在与游戏的游戏空间中的游戏对象的3D互动体验中时显现在用户108的HMD的屏幕上的游戏空间。在一个实施方案中，用户使用控制器手套335与游戏对象互动。在一个实施方案中，控制器手套335被配置来在与游戏对象的游戏互动期间为用户提供触觉反馈以提供更真实的游戏体验。在一些实施方案中，控制器手套包括标记元件335-a，诸如LED灯或其它可追踪对象/标记等，以支持相机(外部和观察)检测互动游戏期间的手指/手部运动。控制器手套用作HHC，其中其可使用无线通信协议与计算机和HMD通信。通信还可包括接收提供反馈给手套的指令数据。控制器手套是可以由用户使用的互动对象的一个实例。可以由用户使用来沉浸在3D互动体验中的其它互动对象包括衣服、鞋子或其它可穿戴衣物、可穿戴装置或可握持对象。图4D说明用户108使用控制器手套335与游戏空间中的用户B互动。游戏处理模块检测控制器手套在游戏空间内的存在且将HMD屏幕从非透明模式转变为半透明模式，以便提供用户的手部在控制器手套(真实世界对象)内在与用户B的手部的位置相关的位置中的图像。屏幕的这种有关部分的转变使得用户108实际上与3D空间中的用户B互动。
在另一实施方案中，可以响应于在用户108附近或在集成到用户108的HMD或耦合到所述HMD的麦克风附近检测的声音触发转变。此外，可以通过明确源自用户、源自所述用户附近的其它用户、源自所述用户附近的其它对象、源自HMD上执行的应用(诸如ping、文字、电子邮件、电话、消息等)的命令诸如语音或其它音频命令触发转变。响应于触发事件，HMD的游戏处理模块确定从其中使用音频感测技术发生触发事件的方向、识别与该视线对准的对象或场景并且在HMD的屏幕的对应部分中提供对象或场景的视觉。屏幕通过显现对象与互动游戏场景而从非透明模式转变成半透明，或通过用来自用户附近的真实世界环境的图像更换互动游戏场景而转变成仿真透明模式。触发事件提供真实世界境况的瞥视，同时允许用户继续沉浸在游戏中。触发转变的事件的方向可以使用三角测量技术使用音频感测技术来精确确定且使用来自音频感测技术的信息来使用外部相机和观察相机识别对象。观察相机可以能够使用安装在HMD的外表面上的诸如LED的标记元件以关于触发诸如人员进入房间、在用户/HMD的麦克风附近检测到声音等而确定用户的相对定位和方向。与触发的位置/方向相关的HMD的屏幕的任何部分或区，诸如图4E中由TR1-TR9表示的区，可从非透明模式转变成半透明模式。
在一些实施方案中，从非透明模式转变成透明模式(即，半透明、仿真透明或全透明模式)可以递增以线性方式或非线性方式进行。屏幕的一部分从非透明模式转变成半透明模式可以使用任何形式的淡化来执行，且当转变发生时，音频、触觉或其它形式的反馈可以提供给用户。可以取决于HMD显现的场景、取决于用户握持的对象、取决于用户的注视方向、取决于所检测的音频/运动信号或取决于用户正在使用HMD的环境来动态地设定从非透明转变成半透明的区域或区。HMD中的屏幕的某些部分的转变支持用户在真实世界与虚拟世界之间建立连接。因此，当真实世界中存在涉及真实世界实体对象且与发生在虚拟世界中与虚拟对象的动作有关的动作时，系统通过允许用户从虚拟世界内看到真实世界的透明版本而提供一起尝试真实世界中的动作和虚拟世界中的动作的方法。此外，系统可以提供显现真实世界中涉及实体对象且可能与虚拟世界并无关联的动作的方法以为用户提供真实世界意识。
在一个实施方案中，从非透明模式转变成半透明模式可以响应于互动游戏的游戏中的用户互动。例如，第一用户可以融入与第二玩家的多玩家游戏。在这个实施方案中，当第一玩家指向对象或区时，游戏处理模块能够检测第一用户指向的方向，确定指向方向中的对象或场景，且以半透明模式提供适当对象或场景视野给第二玩家。在这个实施方案中，对象或场景可以是真实世界对象/场景中的对象/场景。在这个实施方案中，游戏处理模块从安装在第一玩家和第二玩家的HMD上的外部相机以及一个或多个观察相机接收输入以在指向方向中追踪多个空间点，以便能够确定两个玩家对对象的视野之间的角度，且然后使用三角测量技术捕捉用于显现在第二玩家的HMD处的适当3D图像。在一个实施方案中，呈现给第二玩家的对象或场景的视野与第二玩家的定位以及如第二玩家看到/观看的真实世界中的对象/场景的视野相关。
在一些实施方案中，系统可以检测用户融入屏幕的特定部分且融入在其中当前正显现游戏发生的动作的屏幕的主要部分并不多。屏幕中用户关注的部分在此时可能并未发生任何明显的游戏动作。在这些实施方案中，系统可确定用户的兴趣和关注已从游戏转移且可以暂停视频游戏在HMD屏幕上的再现。此外，系统可以发送暂停信号给游戏云以暂停游戏程序的执行。在这个实施方案中，游戏处理模块可以通过将屏幕的光学特性调整为清透设定而将整个屏幕从非透明模式转变成全透明模式，以允许用户观看玩家环境附近内的真实世界对象。在替代实施方案中，游戏处理模块可以通过捕捉真实世界的图像且用捕捉的真实世界图像更换游戏的互动场景而将整个屏幕从非透明模式转变成仿真透明模式。可以取决于显现在用户的HMD的屏幕上的游戏强度逐渐进行从非透明模式转变到全透明或仿真透明模式以允许用户从虚拟环境转变到真实世界环境。
在一个实施方案中，系统可以检测用户兴趣/关注的转移且提供暂停游戏的选项给用户。可以按钮激活、语音命令、眼睛信号、音频命令等的形式提供暂停游戏的选项。除了提供暂停选项之外，还可以为用户提供恢复选项以支持用户访问当用户选择暂停选项时用户从其中离开的游戏且沉浸在其中。可以类似于暂停选项或与其有所不同的形式提供恢复选项。
在一些实施方案中，在从非透明模式转变成透明模式(例如，半透明、全透明或仿真透明模式)之后，游戏处理模块可以在预设时间段到期之后将屏幕的部分返回到非透明模式。在一些实施方案中，从非透明转变到透明且往回转变到非透明模式可以响应于用户动作而进行。例如，当用户在主游戏区域与屏幕的具体部分之间往复注视(诸如按钮、左、右、上等)时，游戏处理模块检测用户注视的这个往复移动以建立注视方式。基于注视方式，游戏处理模块与建立的用户的注视方式一致在非透明模式与半透明模式(其中真实世界场景和互动场景一起呈现)或仿真透明模式(其中来自真实世界场景的对象的至少部分更换互动场景的至少一部分)之间切换屏幕的适当部分。因此，当用户的注视朝向下时，屏幕的底部可以显现用户的手部中的HHC，且当用户的注视转向上时，显现来自游戏程序的互动游戏场景，从而提供更逼真的转变效果给用户。在一个实施方案中，屏幕的某些部分从非透明切换到半透明或仿真透明模式可以在检测的用户的注视转移超过预定义阈值(即，用户的注视转移达至少3秒或5秒)之后执行。
或者，从半透明转变到非透明模式可以发生在触发转变的事件返回到常规或稳定状态时，不再可用或在一个时间段期满之后时。例如，在由于人员步入房间发生转变的情况中，转变回非透明模式可以发生在人员离开房间或留在场景上达预定义阈值中定义的至少预设时间段时。
在一个实施方案中，从非透明模式转变为全透明模式可以在完全沉浸在高强度游戏中的用户希望在选择退出游戏时得到稳定状态时发生。在这个情况中，从非透明模式转变为全透明模式可以以线性递增进行以使用户适应强度的改变。在转变期间，游戏处理模块可以调整HMD屏幕的光学特性以逐渐从不透明/暗淡设定移向清透设定。或者，游戏处理模块可以通过接收且显现用户即时环境的真实世界场景而执行从非透明模式到仿真透明模式的转变。在这个实施方案中，游戏处理模块可以用捕捉的真实世界场景的图像执行互动场景的逐步更换，以使得HMD的屏幕完全转成透明。真实世界场景可以响应于通过用户动作提供的选择退出触发事件而由相机捕捉。
当用户完全沉浸在高强度游戏且注视转移促使从高强度场景转变到低强度场景或真实世界的静态场景时，在从非透明模式转变到半透明、仿真透明或全透明模式期间显现在光学屏幕上的图像中的逐渐改变尤其有用。
图5说明在本发明的一个实施方案中的用于执行头戴式显示器的屏幕上呈现的游戏的方法操作。方法开始于操作510，其中执行游戏。游戏可以执行在计算机上或可以执行在游戏云上。在游戏执行时，游戏的互动场景显现在HMD的屏幕上。互动场景包括游戏进行时的虚拟对象、虚拟环境和虚拟对象/环境的改变。互动场景的媒体数据串流自计算机或游戏云。
随着游戏的进行，如操作520所示，检测到穿戴HMD的用户的注视方向的转移。HMD内可用的一个或多个内部相机可用来在游戏期间监视用户的注视方向，且提供用户的注视方向的图像给HMD的游戏处理模块。游戏处理模块从内部相机接收图像且检测用户的注视方向的转移。游戏处理模块还可以分析注视方向中的转移以确定转移是否达至少预定义阈值时段。当确定注视转移达至少预定义阈值时段时，游戏处理模块将引导HMD的前向相机捕捉在注视方向线中的真实世界图像。
如操作530中所示，游戏处理模块从HMD的前向相机接收捕捉的真实世界图像。响应于触发事件(诸如注视转移)捕捉真实世界图像。注视转移是造成在穿戴HMD的用户附近中捕捉真实世界环境的图像的一种类型的触发事件，且其它触发事件还可造成捕捉来自穿戴HMD的用户紧邻的真实世界环境图像。在一些实施方案中，代替捕捉用户附近中的真实世界环境的图像，游戏处理模块可以识别在用户的注视转移的方向中的游戏场景且可以在HMD的屏幕处提供相同场景。
如操作540所示，HMD的屏幕的一部分被转变到半透明模式，使得所述转变造成真实世界对象的至少部分的图像呈现在具有游戏的互动场景的屏幕的一部分中。转变可以递增进行。在一些实施方案中，来自真实世界环境的对象的图像显现在HMD屏幕的部分中，使得真实世界环境对象显现在前景中且互动场景显现在背景中。在其它实施方案中，来自真实世界环境的对象的图像显现在HMD屏幕的部分中，使得真实世界环境对象显现在背景中且互动场景显现在前景中。如操作550所示，可以在一个时间段后中止透明模式。中止透明模式造成HMD屏幕切换到非透明模式，其中游戏的互动场景显现在HMD屏幕中。切换到非透明模式允许用户完全沉浸在游戏中，同时转变到透明模式提供在用户继续沉浸在游戏中时瞥视真实世界。
图6说明可以用来实施本发明的一些实施方案的硬件和用户接口。图6示意性说明PlayStation娱乐装置的整体系统架构。PlayStation的其它版本可以包括更多或更少特征。系统单元1300具备可连接到提供系统单元1300的各种外围装置。系统单元1300包括：单元处理器1302；动态随机存取存储器(XDRAM)单元1304；具有专用视频随机存取存储器(VRAM)单元1308的真实合成器图形单元1306；和I/O桥1310。系统单元1300还包括用于从磁盘1312a读取和从通过I/O桥1310访问的可移动插入式硬盘驱动器(HDD)1314读取的光盘光盘阅读器1312。任选地，系统单元1300还包括用于读取紧凑式快速存储卡、Memory存储卡等且可相似地通过I/O桥1310访问的存储卡阅读器1301。
I/O桥1310还连接到六个通用串行总线(USB)2.0端口1316；千兆以太网端口1318；IEEE802.11b/g无线网络(Wi-Fi)端口1320；和能够支持多达七个蓝牙连接的无线链路端口1322。
在操作中，I/O桥1310处置所有无线、USB和以太网数据，包括来自一个或多个游戏控制器110和1324的数据。例如，在用户玩游戏时，I/O桥1310经由蓝牙链路从游戏控制器110和1324接收数据并将数据引导到单元处理器1302，以因此更新游戏的当前状态。
除游戏控制器110和1324外，无线、USB和以太网端口还对其它外围装置提供连接，诸如：远程控制器1326；键盘1328；鼠标1330；便携式娱乐装置1332，诸如Sony娱乐装置；视频相机，诸如眼睛相机1334；形状对象1336；和麦克风1338。因此，在原理上，这些外围装置可无线连接到系统单元1300；例如便携式娱乐装置1332可以经由Wi-Fi特设连接进行通信，而形状对象1336可以经由蓝牙链路进行通信。
这些接口的提供意指PlayStation3装置还可能与其它外围装置兼容，诸如数字视频录像机(DVR)、机顶盒、数字相机、便携式媒体播放器、网络语音(IP)电话、手机、打印机和扫描仪。此外，旧存储卡阅读器1340可以经由USB端口1316连接到系统单元，从而使得能够读取由或PlayStation装置使用的种类的存储卡。
游戏控制器110和1324可操作以经由蓝牙链路与系统单元1300进行无线通信，或连接到USB端口，从而还提供功率以借此对游戏控制器110和1324的电池充电。游戏控制器110和1324还可包括存储器、处理器、存储卡阅读器、永久存储器(诸如快闪存储器)、发光体(诸如照射的球形区段、发光二极管(LED)或红外灯)、用于超声波通信的麦克风和扬声器、隔音箱、数字相机、内部时钟、面向游戏机的可辨识形状和使用诸如WiFiTM的协议的无线通信等。可辨识形状可呈以下形状，实质上是球体、立方体、平行四边形、长方体、锥、棱锥、英式足球、美式足球或橄榄球、不完美球、球体的区段、截棱锥、截锥、棒球棒、截头立方体、多面体、星体等、或这些形状中的两个或两个以上的组合。
游戏控制器1324是被设计来用两只手使用的控制器，且游戏控制器110是具有球形接头的单手控制器。除一个或多个模拟控制杆和常规控制按钮外，游戏控制器可易于三维位置确定。因此，除常规按钮或控制杆命令外或替代其的是，游戏控制器的用户的姿势和移动还可以被转译成游戏输入。任选地，其它支持无线的外围装置(Sony便携式装置)可以用作控制器。在Sony便携式装置的情况下，可以在装置屏幕上提供额外游戏或控制信息(例如，控制指令或生物数量)。还可以使用其它替代或补充控制装置，诸如跳舞毯(未示出)、光枪(未示出)、转向盘和踏板(未示出)或定制控制器，诸如用于快速反应答问游戏的单个或若干大按钮(也未示出)。
远程控制器1326还可操作以经由蓝牙链路与系统单元1300进行无线通信。远程控制器1326包括适于BluRayTM光盘BD-ROM阅读器1312的操作和光盘内容导航的控件。
除常规预录和可录CD和所谓超音频CD外，BluRayTM光盘BD-ROM阅读器1312还可操作以读取与PlayStation和PlayStation2装置兼容的CD-ROM。除常规预录和可录DVD外，阅读器1312还可操作以读取与PlayStation2和PlayStation3装置兼容的DVD-ROM。阅读器1312还可操作以读取与PlayStation3装置兼容的BD-ROM以及常规预录和可录蓝光光盘。
系统单元1300可操作以经由真实合成器图形单元(RSX)1306以通过音频连接器和视频连接器将由PlayStation3装置生成或解码的视频和音频供应给显示器和声音输出装置1342，诸如具有显示器1346和一个或多个扩音器1348的监控器或电视机，或独立扬声器1350。在一个实施方案中，语音和注视输入用来根据用户的POG朝向特定音频扬声器播放声音。音频连接器1358可以包括常规模拟和数字输出，而视频连接器1360可以不同地包括分量视频、超级视频、复合视频和一个或多个高分辨率多媒体接口(HDMI)输出。因此，视频输出可以呈诸如PAL或NTSC的格式或具720p、1080i或1080p高分辨率。
由单元处理器1302执行音频处理(生成、解码等)。PlayStation3装置的操作系统支持5.1环绕声、剧场环绕声(DTS)和来自光盘的7.1环绕声的解码。
在本发明实施方案中，视频相机1334包括单电荷耦合装置(CCD)、LED指示器和基于硬件的实时数据压缩和编码设备，使得可以按适当格式(诸如基于内部图像的MPEG(运动图像专家组)标准)传输压缩的视频数据以供系统单元1300解码。相机LED指示器被排列来响应于来自系统单元1300的适当控制数据而进行照射，例如以表示相反照明条件。视频相机1334的实施方案可以经由USB、蓝牙或Wi-Fi通信端口不同地连接到系统单元1300。视频相机的实施方案可以包括一个或多个相关联麦克风且还能够传输音频数据。在视频相机的实施方案中，CCD可以具有适于高分辨率视频捕捉的分辨率。在使用中，由视频相机捕捉的图像可以例如并入游戏中或被解释为游戏控制输入。在另一实施方案中，相机是适于检测红外光的红外相机。
大体来说，为了经由系统单元1300的通信端口中的一个与外围装置(诸如视频相机或远程控制器)进行成功数据通信，应提供适当软件零件，诸如装置驱动器。装置驱动器技术是熟知的且在此不再赘述，除非所属领域的熟练技术人员将意识到，在本发明所述的实施方案中可能需要装置驱动器或相似软件接口。
图7是根据本发明的各种实施方案的游戏系统1100的框图。游戏系统1100被配置经由网络1115将视频流提供给一个或多个客户端1110。游戏系统1100通常包括视频服务器系统1120和任选游戏服务器1125。视频服务器系统1120被配置来以最小服务品质将视频流提供给一个或多个客户端1110。例如，视频服务器系统1120可以接收改变视频游戏的状态或视频游戏内的视野点的游戏命令，且以最小滞后时间对客户端1110提供反映这个状态变化的更新的视频流。视频服务器系统1120可以被配置来以各种替代视频格式提供视频流，包括尚待定义的格式。此外，视频流可以包括被配置来以各种帧速率向用户呈现的视频帧。典型帧速率是每秒30帧、每秒60帧和每秒1120帧。但在本发明的替代实施方案中包括更高或更低帧速率。
客户端1110(在本文中分别称为1110A、1110B等)可以包括头戴式显示器、终端机、个人计算机、游戏机、平板计算机、电话、机顶盒、资讯站、无线装置、数字垫、独立装置、手持玩游戏装置等。通常，客户端1110被配置来接收编码的视频流，解码视频流且向用户(例如，游戏玩家)呈现所得视频。接收编码的视频流和/或解码视频流的过程通常包括将个别视频帧存储在客户端的接收缓冲器中。可以在客户端1110内部的显示器上或在单独装置(诸如监控或电视机)上向用户呈现视频流。任选地，客户端1110被配置来支持一个以上游戏玩家。例如，游戏机可以被配置来同时支持两个、三个、四个或更多个玩家。这些玩家中的每个可以接收单独视频流，或单个视频流可以包括具体针对每个玩家生成(例如，基于每个玩家的视野点生成)的帧的区。任选地，客户端1110是地理上分散的。游戏系统1100中包括的客户端的数量可能变化很大，从一个或两个到几千个、几万个或更多。如本文中所使用，术语“游戏玩家”用来指代玩游戏的人员且术语“玩游戏装置”用来指代用于玩游戏的装置。在一些实施方案中，玩游戏装置可以指代进行协作以向用户传递游戏体验的多个计算装置。例如，游戏机和HMD可以与视频服务器系统1120协作以传递通过HMD观看的游戏。在一个实施方案中，游戏机从视频服务器系统1120接收视频流，且游戏机将视频流或视频流更新转递到HMD以便显现。
客户端1110被配置来经由网络1115接收视频流。网络1115可以是任何类型的通信网络，包括电话网络、互联网、无线网络、电力线网络、局域网、广域网、私人网络等。在典型实施方案中，经由标准协议(诸如TCP/IP或UDP/IP)传达视频流。或者，经由专属标准传达视频流。
客户端1110的典型实例是个人计算机，包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力和输入装置。解码逻辑可以包括硬件、固件和/或存储在计算机可读介质上的软件。用于解码(和编码)视频流的系统在所属技术领域中是熟知的且取决于使用的特定编码方案而变化。
客户端1110可以但无需进一步包括被配置来修改接收的视频的系统。例如，客户端可以被配置来执行另一显现，以使一个视频图像覆加在另一视频图像上，以修剪视频图像等。例如，客户端1110可以被配置来接收各种类型的视频帧(诸如I帧、P帧和B帧)，且将这些帧处理成图像以向用户显示。在一些实施方案中，客户端1110的成员被配置来对视频流执行另一显现、着色、3-D转换或相似操作。任选地，客户端1110的成员被配置来接收一个以上音频或视频流。客户端1110的输入装置可以包括例如单手游戏控制器、双手游戏控制器、姿势辨识系统、注视辨识系统、语音辨识系统、键盘、控制杆、指向装置、力反馈装置、运动和/或位置感测装置、鼠标、触屏、神经接口、相机、尚待开发的输入装置等。
由视频服务器系统1120生成和提供由客户端1110接收的视频流(和任选音频流)。如本文中别处进一步所述，这个视频流包括视频帧(且音频流包括音频帧)。视频帧被配置来(例如，其包括呈适当数据结构的像素信息)有意义地促成向用户显示的图像。如本文中所使用，术语“视频帧”用来指代主要包括被配置来促成(例如实现)向用户显示的图像的信息的帧。本文中关于“视频帧”的多数教学内容也可适用于“音频帧”。
客户端1110通常被配置来从用户接收输入。这些输入可以包括被配置来改变视频游戏的状态或以其它方式影响玩游戏的游戏命令。游戏命令可使用输入装置接收和/或可通过在客户端1110上执行的计算指令自动生成。接收的游戏命令经由网络1115从客户端1110传达到视频服务器系统1120和/或游戏服务器1125。例如，在一些实施方案中，游戏命令经由视频服务器系统1120传达到游戏服务器1125。在一些实施方案中，游戏命令的单独复本从客户端1110传达到游戏服务器1125和视频服务器系统1120。任选地，游戏命令的传达取决于命令的身份。任选地，游戏命令通过用来将音频或视频流提供给客户端1110A的不同路由或通信信道从客户端1110A传达。
任选地，由不同于视频服务器系统1120的实体操作游戏服务器1125。例如，可以由多玩家游戏的发布者操作游戏服务器1125。在这个实例中，视频服务器系统1120任选被游戏服务器1125视为客户端且任选被配置来从游戏服务器1125的观点来看是执行现有技术游戏引擎的现有技术客户端。视频服务器系统1120与游戏服务器1125之间的通信任选经由网络1115发生。因而，游戏服务器1125可是将游戏状态信息发送到多个客户端(其中一个是视频服务器系统1120)的现有技术多玩家游戏服务器。视频服务器系统1120可以被配置来同时与游戏服务器1125的多个实例进行通信。例如，视频服务器系统1120可被配置来将多个不同视频游戏提供给不同用户。这些不同视频游戏中的每个可以受不同游戏服务器1125支持和/或由不同实体发布。在一些实施方案中，视频服务器系统1120的若干地理上分布的实例被配置来将游戏视频提供给多个不同用户。视频服务器系统1120的这些实例中的每个可以与游戏服务器1125的相同实例进行通信。视频服务器系统1120与一个或多个游戏服务器1125之间的通信任选经由专用通信信道发生。例如，视频服务器系统1120可以经由高带宽信道连接到游戏服务器1125，所述高带宽信道专用于这两个系统之间的通信。
视频服务器系统1120至少包括视频源1130、I/O装置1145、处理器1150和非暂时性存储装置1155。视频服务器系统1120可以包括一个计算装置或分布在多个计算装置当中。这些计算装置任选经由通信系统(诸如局域网)连接。
视频源1130被配置来提供视频流，例如，串流视频或形成移动图片的一系列视频帧。在一些实施方案中，视频源1130包括视频游戏引擎和显现逻辑。视频游戏引擎被配置来从玩家接收游戏命令且基于接收的命令维持视频游戏状态的复本。这个游戏状态包括游戏环境中的对象的位置以及(通常)视野点。游戏状态还可以包括对象的性质、图像、颜色和/或纹理。通常基于游戏规则以及游戏命令(诸如移动、转身、攻击、聚焦、交互、使用等)维持游戏状态。游戏引擎的部分任选安置在游戏服务器1125内。游戏服务器1125可以基于从使用地理上分散的客户端的多个玩家接收的游戏命令，维持游戏状态复本。在这些情况下，游戏状态由游戏服务器1125提供给视频源1130，其中存储游戏状态复本且执行显现。游戏服务器1125可以经由网络1115直接从客户端1110接收游戏命令，和/或经由视频服务器系统1120接收游戏命令。
视频源1130通常包括显现逻辑，例如硬件、固件和/或存储在计算机可读介质(诸如存储装置1155)上的软件。这个显现逻辑被配置来基于游戏状态创建视频流的视频帧。显现逻辑的所有或部分任选安置在图形处理单元(GPU)内。显现逻辑通常包括被配置来基于游戏状态和视野点确定对象之间的三维空间关系和/或应用适当纹理等的处理阶段。显现逻辑产生接着通常在传达到客户端1110之前被编码的原始视频。例如，可以根据Adobe标准、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.Xvid.FFmpeg、x264、VP6-8、realvideo、mp3等对原始视频进行编码。编码过程产生任选被封装来传递到远程装置上的解码器的视频流。视频流的特征在于帧大小和帧速率。典型帧大小包括800x600、1280x720(例如，720p)、1024x768，但可以使用任何其它帧大小。帧速率是每秒的视频帧数量。视频流可以包括不同类型的视频帧。例如，H.264标准包括“P”帧和“I”帧。I-帧包括用来刷新显示装置上的所有宏块/像素的信息，而P-帧包括用来刷新其子集的信息。P-帧的数据大小通常小于I-帧。如本文中所使用，术语“帧大小”意指帧内的像素数量。术语“帧数据大小”用来指代存储帧所需的字节数量。
在替代实施方案中，视频源1130包括视频记录装置，诸如相机。这个相机可以用来生成可包括在计算机游戏的视频流中的延迟或实时的视频。所得视频流任选包括显现的图像和使用静物或视频相机记录的图像。视频源1130还可以包括被配置来存储将包括在视频流中的先前记录视频的存储装置。视频源1130还可以包括被配置来检测对象(例如，人员)的运动或位置的运动或定位感测装置和被配置来基于检测的运动和/或位置确定游戏状态或产生视频的逻辑。
视频源1130任选被配置来提供被配置来放置在其他视频上的覆加。例如，这些覆加可以包括命令界面、指令日志、发给游戏玩家的消息、其它游戏玩家的图像、其它游戏玩家的视频反馈(例如，网络摄像头视频)。在包括触屏界面或注视检测界面的客户端1110A的实施方案中，覆加可以包括虚拟键盘、控制杆、触垫等。在覆加的一个实例中，玩家的语音覆加在音频流上。视频源1130任选还包括一个或多个视频源。
在视频服务器系统1120被配置来基于来自一个以上玩家的输入维持游戏状态的实施方案中，每个玩家可以具有不同视野点，包括位置和视野方向。视频源1130任选被配置来基于其视野点对每个玩家提供单独视频流。此外，视频源1130可以被配置来将不同帧大小、帧数据大小和/或编码提供给客户端1110中的每个。视频源1130任选被配置来提供3-D视频。
I/O装置1145被配置用于视频服务器系统1120以发送和/或接收信息，诸如视频、命令、信息请求、游戏状态、注视信息、装置运动、装置位置、用户运动、客户端身份、玩家身份、游戏命令、安全信息、音频等。I/O装置1145通常包括通信硬件，诸如网卡或调制解调器。I/O装置1145被配置来与游戏服务器1125、网络1115和/或客户端1110进行通信。
处理器1150被配置来执行逻辑，例如软件，包括在本文中所论述的视频服务器系统1120的各种组件内。例如，可以使用软件指令对处理器1150进行编程以便执行视频源1130、游戏服务器1125和/或客户端限定器1160的功能。视频服务器系统1120任选包括处理器1150的一个以上实例。还可以使用软件指令对处理器1150进行编程以便执行由视频服务器系统1120接收的命令，或协调本文中所论述的游戏系统1100的各种元件的操作。处理器1150可以包括一个或多个硬件装置。处理器1150是电子处理器。
存储装置1155包括非暂时性模拟和/或数字存储装置。例如，存储装置1155可以包括被配置来存储视频帧的模拟存储装置。存储装置1155可以包括计算机可读数字存储装置，例如硬盘驱动器、光学驱动器或固态存储装置。存储装置1115被配置来(例如通过适当数据结构或文件系统)存储视频帧、人工帧、视频流(包括视频帧和人工帧两者)、音频帧、音频流等。存储装置1155任选分布在多个装置当中。在一些实施方案中，存储装置1155被配置来存储本文中别处所论述的视频源1130的软件组件。这些组件可以存储成准备好在被需要时提供的格式。
视频服务器系统1120任选还包括客户端限定器1160。客户端限定器1160被配置来远程地确定客户端(诸如客户端1110A或1110B)的能力。这些能力可包括客户端1110A自身的能力以及客户端1110A与视频服务器系统1120之间的一个或多个通信信道的能力两者。例如，客户端限定器1160可以被配置来通过网络1115测试通信信道。
客户端限定器1160可手动地或自动地确定(例如，发现)客户端1110A的能力。手动确定包括与客户端1110A的用户进行通信和请求用户提供能力。例如，在一些实施方案中，客户端限定器1160被配置来在客户端1110A的浏览器内显示图像、文字等。在一个实施方案中，客户端1110A是包括浏览器的HMD。在另一实施方案中，客户端1110A是具有可以显示在HMD上的浏览器的游戏机。显示的对象请求用户键入信息，诸如客户端1110A的操作系统、处理器、视频解码器类型、网络连接类型、显示分辨率等。由用户键入的信息传达回到客户端限定器1160。
自动确定可以例如通过对客户端1110A执行代理和/或通过将测试视频发送到客户端1110A而发生。代理可以包括计算指令，诸如java脚本，嵌入网页中或安装为附加条码。任选地，由客户端限定器1160提供代理。在各种实施方案中，代理可发现客户端1110A的处理功率、客户端1110A的解码和显示能力、客户端1110A与视频服务器系统1120之间的通信信道的滞后时间可靠度和带宽、客户端1110A的显示类型、客户端1110A上存在的防火墙、客户端1110A的硬件、客户端1110A上执行的软件、客户端1110A内的注册表项等。
客户端限定器1160包括硬件、固件和/或存储在计算机可读介质上的软件。客户端限定器1160任选安置在与视频服务器系统1120的一个或多个其它元件分离的计算装置上。例如，在一些实施方案中，客户端限定器1160被配置来确定客户端1110与视频服务器系统1120的一个以上实例之间的通信信道的特性。在这些实施方案中，由客户端限定器发现的信息可用来确定视频服务器系统1120的哪些实例最适于将串流视频传递到客户端1110中的一个。
可以使用各种计算机系统配置实行本发明的实施方案，包括手持装置、微处理器系统、基于微处理器或可编程的消费类电子装置、小型计算机、大型计算机等。还可在分布式计算环境中实行本发明的数个实施方案，其中由通过基于有线或无线网络链接的远程处理装置执行任务。
基于上述实施方案，应了解，本发明的数个实施方案可采用涉及存储在计算机系统中的数据的各种计算机实施操作。这些操作是需要物理量的物理操控的操作。形成本命发明的各个实施方案的部分的本文中所述操作中的任何一个是有用机器操作。本发明的数个实施方案还涉及用于执行这些操作的装置或设备。设备可以是特别构造用于所需目的，或所述设备可是通用计算机装置，所述通用计算机装置由存储在计算机中的计算机程序选择性地激活或配置。特定而言，各个通用机器可以搭配根据本文教导编写的计算机程序使用，或可更便利构造更专用的设备以执行所需操作。
本发明的各个实施方案还可体现为计算机可读介质上的计算机可读代码。计算机可读介质是可存储随后可供计算机系统读取的数据的任何数据存储装置。计算机可读介质的实例包括硬盘驱动器、网络附接存储装置(NAS)、只读存储器(ROM)、随机存取存储器、紧凑型光盘ROM(CD-ROM)、可再录CD(CD-R)、可再写CD(RW)、磁带以及其它光学和非光学数据存储装置。计算机可读介质可包括分布在网络耦接计算机系统上的计算机可读有形介质使得以分布方式存储和执行计算机可读代码。
尽管按特定顺序描述方法操作，但应了解，其它内务处理操作可以在操作之间执行，或可以调整操作使得其在略不同时间发生，或可以分布在允许以与处理相关联的各种间隔发生处理操作的系统中，只要以所要方式执行覆加操作的处理。
尽管已出于清晰理解的目的详细描述前述发明，但将明白，可在所附权利要求书的范围内实行某些变化和修改。因此，本发明实施方案被视为说明性且非限制性，且本发明的各个实施方案不限于本文中所给出的详情，但可以在所附权利要求书的范围和等效物内进行修改。

Claims (35)

1.一种用于执行呈现在头戴式显示器(HMD)的屏幕上的游戏的方法，所述方法包括，
执行游戏，所述执行在所述屏幕上显现所述游戏的互动场景；
接收用户穿戴的所述HMD的图像以识别所述HMD相对于被引导朝向所述用户的捕捉位置的第一空间定位；
接收所述用户握持的控制器的图像以识别所述控制器相对于所述捕捉位置的第二空间定位，所述控制器提供输入以至少部分驱动与被执行的所述游戏的互动；
接收识别所述用户观看呈现在所述HMD的所述屏幕上的所述游戏的所述互动场景的注视方向的转移的图像；
接收与所述用户的所述注视方向一致、从所述HMD的前向方向捕捉的真实世界图像；
响应于检测所述注视方向的所述转移将所述屏幕的一部分转变到透明模式，使得所述捕捉的真实世界图像的至少一部分呈现在显现所述互动场景的所述屏幕的所述部分中；和
在一个时间段之后中止所述透明模式，
其中所述方法操作由处理器执行。
2.根据权利要求1所述的方法，其中所述游戏是在通信连接到所述头戴式显示器的计算机上执行。
3.根据权利要求1所述的方法，其中所述游戏是在游戏云上执行且所述头戴式显示器通信连接至所述游戏云。
4.根据权利要求1所述的方法，其中识别所述第一空间定位和所述第二空间定位以提供六轴数据。
5.根据权利要求1所述的方法，其中所述转变是成为半透明模式且响应于在所述HMD处检测的触发事件而执行。
6.根据权利要求5所述的方法，其中所述触发事件是穿戴所述HMD的所述用户的真实世界附近中检测到的声音或移动、由所述HMD的用户提供的音频或视觉命令、所述HMD处检测到的音频或输入、从所述HMD或所述控制器提供的命令或其任何组合中的一个。
7.根据权利要求1所述的方法，其中所述呈现包括在所述屏幕的背景中显现所述游戏的所述互动场景且在所述屏幕的前景中显现所述捕捉的真实世界图像。
8.根据权利要求1所述的方法，其中所述呈现包括在所述屏幕的前景中显现所述游戏的所述互动场景且在所述屏幕的背景中显现所述捕捉的真实世界图像。
9.一种用于执行呈现在头戴式显示器(HMD)的屏幕上的游戏的方法，所述方法包括，
执行游戏，所述执行在所述HMD的所述屏幕上显现所述游戏的互动场景；
接收识别穿戴所述HMD的用户在观看呈现在所述HMD的所述屏幕上的所述互动场景时的注视方向的转移的图像；
接收与所述用户的所述注视方向一致的真实世界图像，所述真实世界图像是从所述HMD的前向相机捕捉；
响应于所述注视方向的所述转移将所述屏幕的一部分转变到半透明模式，使得所述捕捉的真实世界图像的至少部分呈现在显现所述互动场景的所述屏幕的所述部分中；和
在一个时间段之后中止所述半透明模式，
其中所述方法操作由处理器执行。
10.根据权利要求9所述的方法，其还包括，
接收所述HMD的图像以识别所述HMD相对于被引导朝向所述用户的捕捉位置的第一空间定位；和
接收所述用户握持的控制器的图像以识别所述控制器相对于所述捕捉位置的第二空间定位，所述控制器提供输入以至少部分驱动与被执行的所述游戏的互动。
11.一种用于执行呈现在头戴式显示器(HMD)的屏幕上的游戏的方法，所述方法包括，
执行游戏；
在所述游戏执行时，将所述游戏的互动场景显现在所述HMD的所述屏幕上；
在所述游戏的所述执行期间检测在所述HMD的附近内发生的触发事件，所述触发事件造成所述屏幕从非透明模式转变成全透明模式，所述转变包括调整所述屏幕的一个或多个光学特性以将所述屏幕切换到所述全透明模式，其中所述全透明模式支持用户通过所述屏幕观看所述HMD附近的真实世界环境；和
在一个时间段之后中止所述全透明模式，
其中所述方法操作由处理器执行。
12.根据权利要求11所述的方法，其还包括，
检验所述触发事件以确定所述屏幕的所述转变是否完成；和
基于所述确定执行所述转变。
13.根据权利要求13所述的方法，其中所述确定包括，
证实所述触发事件的原因；
确定所述原因是否持续达至少预定义阈值时段；和
当所述原因持续达至少所述预定义阈值时段时完成所述转变。
14.根据权利要求11所述的方法，其中当识别穿戴所述HMD的所述用户的注视状况时检测到发生所述事件。
15.根据权利要求14所述的方法，其中所述所述注视状况是以下状况中的一种，
(a)检测注视方向达一个时间段；
(b)检测注视方式达一个时间段；和
(c)检测注视方向的改变。
16.根据权利要求11所述的方法，其中所述转变以线性或非线性渐进增量执行。
17.根据权利要求11所述的方法，其中中止还包括调整所述屏幕的光学特性以切换到非透明模式，所述切换到非透明模式造成在所述屏幕上显现所述游戏的所述互动场景。
18.根据权利要求11所述的方法，其中所述屏幕是液晶显示屏幕。
19.根据权利要求11所述的方法，其中所述游戏在通信连接到所述HMD的计算机上、在游戏云上执行，其中所述HMD通信连接到所述游戏云或部分在所述游戏云上且部分在通信连接到所述HMD的所述计算机上，所述游戏的所述互动场景串流自所述计算机或所述游戏云。
20.根据权利要求11所述的方法，其中所述触发事件是穿戴所述HMD的所述用户的真实世界附近中检测到的声音或移动、由用户提供的音频命令或视觉命令、所述HMD处检测到的输入、从控制器提供的命令、从所述HMD提供的命令或其任何组合。
21.一种用于执行呈现在头戴式显示器(HMD)的屏幕上的游戏的方法，所述方法包括，
执行游戏，所述执行在所述屏幕上显现所述游戏的互动场景；
接收用户穿戴的所述HMD的图像以识别所述HMD相对于被引导朝向所述用户的捕捉位置的第一空间定位；
接收所述用户握持的控制器的图像以识别所述控制器相对于所述捕捉位置的第二空间定位，所述控制器提供输入以至少部分驱动与被执行的所述游戏的互动；
当所述HMD改变所述第一空间定位处的定向时，修改观看显现在所述屏幕上的所述互动场景的方向；和
从所述控制器接收输入，所述输入包括所述第二空间定位处的定向改变；
其中在所述互动场景的所述显现期间所述第一空间定位和所述第二空间定位相关，且其中所述方法操作由处理器执行。
22.根据权利要求21所述的方法，其中所述定向改变包括定位或运动中的至少一个的改变。
23.根据权利要求21所述的方法，其还包括，
在所述游戏的所述执行期间检测在所述HMD的附近内触发事件的发生，所述触发事件造成所述屏幕从非透明模式转变成全透明模式，所述转变包括调整所述屏幕的一个或多个光学特性以将所述屏幕切换到所述全透明模式，其中所述全透明模式支持用户通过所述屏幕观看所述HMD附近的真实世界环境。
24.根据权利要求23所述的方法，其还包括，
在一个时间段之后中止所述全透明模式。
25.根据权利要求23所述的方法，其中所述屏幕是液晶显示屏幕。
26.一种方法，其包括：
执行游戏以支持玩游戏，所述执行造成在头戴式显示器(HMD)的屏幕上显现所述游戏的互动场景；
在有效游戏期间检测接近穿戴所述HMD的用户的真实世界对象；和
提供关于所述真实世界对象接近所述用户的通知给所述HMD的所述屏幕或音频输出，
其中所述方法操作由处理器执行。
27.根据权利要求26所述的方法，其中响应于在所述HMD处检测的触发事件执行检测和提供通知。
28.根据权利要求27所述的方法，其中响应于所述用户在真实世界环境中的动作检测所述触发事件。
29.根据权利要求26所述的方法，其中在所述真实世界对象的所述接近在预定义阈值距离内时提供所述通知。
30.根据权利要求26所述的方法，其中以文本格式、图形格式、音频格式、触觉格式或其任何组合中的一个在所述HMD处提供所述通知。
31.根据权利要求26所述的方法，其中提供通知还包括将所述HMD的所述屏幕自动转变成半透明模式或透明模式，所述转变造成将所述真实世界对象显现在所述HMD的所述屏幕上。
32.一种用于执行呈现在头戴式显示器(HMD)的屏幕上的游戏的系统，所述系统包括，
用于执行游戏的构件，所述执行在所述屏幕上显现所述游戏的互动场景；
用于接收用户穿戴的所述HMD的图像的构件，以识别所述HMD相对于被引导朝向所述用户的捕捉位置的第一空间定位；
用于接收所述用户握持的控制器的图像的构件，以识别所述控制器相对于所述捕捉位置的第二空间定位，所述控制器提供输入以至少部分驱动与被执行的所述游戏的互动；
用于接收识别所述用户观看呈现在所述HMD的所述屏幕上的所述游戏的所述互动场景的注视方向的转移的图像的构件；
用于接收与所述用户的所述注视方向一致、从所述HMD的前向方向捕捉的真实世界图像的构件；
用于响应于检测所述注视方向的所述转移将所述屏幕的一部分转变到透明模式的构件，使得所述捕捉的真实世界图像的至少一部分呈现在显现所述互动场景的所述屏幕的所述部分中；和
用于在一个时间段之后中止所述透明模式的构件。
33.一种用于执行呈现在头戴式显示器(HMD)的屏幕上的游戏的系统，所述系统包括，
用于执行游戏的构件，所述执行在所述HMD的所述屏幕上显现所述游戏的互动场景；
用于接收识别穿戴所述HMD的用户在观看呈现在所述HMD的所述屏幕上的所述互动场景时的注视方向的转移的图像的构件；
用于接收与所述用户的所述注视方向一致的真实世界图像的构件，所述真实世界图像是从所述HMD的前向相机捕捉；
用于响应于所述注视方向的所述转移将所述屏幕的一部分转变到半透明模式的构件，使得所述捕捉的真实世界图像的至少部分呈现在显现所述互动场景的所述屏幕的所述部分中；和
用于在一个时间段之后中止所述半透明模式的构件。
34.一种用于执行呈现在头戴式显示器(HMD)的屏幕上的游戏的系统，所述系统包括，
用于执行游戏的构件；
用于在所述游戏执行时将所述游戏的互动场景显现在所述HMD的所述屏幕上的构件；
用于在所述游戏的所述执行期间检测在所述HMD的附近内发生的触发事件的构件，所述触发事件造成所述屏幕从非透明模式转变成全透明模式，所述转变包括调整所述屏幕的一个或多个光学特性以将所述屏幕切换到所述全透明模式，其中所述全透明模式支持用户通过所述屏幕观看所述HMD附近的真实世界环境；和
用于在一个时间段之后中止所述全透明模式的构件。
35.一种用于执行呈现在头戴式显示器(HMD)的屏幕上的游戏的系统，所述系统包括，
用于执行游戏的构件，所述执行在所述屏幕上显现所述游戏的互动场景；
用于接收用户穿戴的所述HMD的图像的构件，以识别所述HMD相对于被引导朝向所述用户的捕捉位置的第一空间定位；
用于接收所述用户握持的控制器的图像的构件，以识别所述控制器相对于所述捕捉位置的第二空间定位，所述控制器提供输入以至少部分驱动与被执行的所述游戏的互动；
用于在所述HMD改变所述第一空间定位处的定向时修改观看显现在所述屏幕上的所述互动场景的方向的构件；和
用于从所述控制器接收输入的构件，所述输入包括所述第二空间定位处的定向改变；
其中在所述互动场景的所述显现期间所述第一空间定位和所述第二空间定位相关。
CN201480039467.5A 2013-06-08 2014-05-30 用于头戴式显示器中在透明模式与非透明模式之间转变的系统和方法 Active CN105378596B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361832778P 2013-06-08 2013-06-08
US61/832,778 2013-06-08
US14/254,881 US9908048B2 (en) 2013-06-08 2014-04-16 Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US14/254,881 2014-04-16
PCT/US2014/040410 WO2014197337A1 (en) 2013-06-08 2014-05-30 Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display

Publications (2)

Publication Number Publication Date
CN105378596A true CN105378596A (zh) 2016-03-02
CN105378596B CN105378596B (zh) 2019-01-22

Family

ID=52005904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480039467.5A Active CN105378596B (zh) 2013-06-08 2014-05-30 用于头戴式显示器中在透明模式与非透明模式之间转变的系统和方法

Country Status (5)

Country Link
US (6) US9908048B2 (zh)
EP (1) EP3005029B1 (zh)
JP (2) JP6195664B2 (zh)
CN (1) CN105378596B (zh)
WO (1) WO2014197337A1 (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106484119A (zh) * 2016-10-24 2017-03-08 网易（杭州）网络有限公司 虚拟现实系统及虚拟现实系统输入方法
CN106791779A (zh) * 2016-12-13 2017-05-31 深圳市潘多拉虚拟与现实科技有限公司 一种视频播放器及视频显示方法、系统
CN106919294A (zh) * 2017-03-10 2017-07-04 京东方科技集团股份有限公司 一种3d触控交互装置、其触控交互方法及显示装置
CN107233731A (zh) * 2016-03-28 2017-10-10 株式会社万代南梦宫娱乐 模拟控制装置
CN107272907A (zh) * 2017-07-10 2017-10-20 三星电子（中国）研发中心 一种基于虚拟现实技术的场景中断衔接方法和装置
CN107678535A (zh) * 2016-08-01 2018-02-09 三星电子株式会社 用于图像显示的方法和支持该方法的电子设备
CN108334377A (zh) * 2017-01-20 2018-07-27 深圳纬目信息技术有限公司 一种头戴显示设备的用户使用进度控制方法
WO2018157669A1 (zh) * 2017-03-01 2018-09-07 中兴通讯股份有限公司 虚拟现实眼镜、智能终端及导视实现和控制方法
CN108700936A (zh) * 2016-03-29 2018-10-23 谷歌有限责任公司 用于虚拟现实的直通相机用户界面元素
CN109151446A (zh) * 2018-09-25 2019-01-04 联想(北京)有限公司 控制方法和电子设备
CN109310926A (zh) * 2016-06-07 2019-02-05 喀普康有限公司 游戏装置、游戏装置的控制方法及计算机可读取的记录介质
CN109643162A (zh) * 2016-06-30 2019-04-16 索尼互动娱乐股份有限公司 用现实世界内容增强虚拟现实内容
CN109997098A (zh) * 2016-11-25 2019-07-09 诺基亚技术有限公司 装置、相关联的方法和相关联的计算机可读介质
CN110045501A (zh) * 2018-01-09 2019-07-23 瑞轩科技股份有限公司 显示装置组件
CN110058708A (zh) * 2017-11-10 2019-07-26 夏普株式会社 显示装置、控制方法、及记录介质
CN110140099A (zh) * 2017-01-27 2019-08-16 高通股份有限公司 用于跟踪控制器的系统和方法
CN110603509A (zh) * 2017-05-04 2019-12-20 微软技术许可有限责任公司 计算机介导的现实环境中直接和间接交互的联合
CN110603508A (zh) * 2017-03-21 2019-12-20 家乐氏公司 媒体内容跟踪
CN110915208A (zh) * 2017-07-31 2020-03-24 谷歌有限责任公司 使用深度传感器的虚拟现实环境边界
CN111742253A (zh) * 2018-02-23 2020-10-02 三星电子株式会社 头戴式电子装置
CN111773683A (zh) * 2020-07-03 2020-10-16 珠海金山网络游戏科技有限公司 一种基于移动终端的文字显示方法及装置
CN112579029A (zh) * 2020-12-11 2021-03-30 上海影创信息科技有限公司 Vr眼镜的显示控制方法和系统

Families Citing this family (236)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8020095B2 (en) 1997-11-14 2011-09-13 Immersion Corporation Force feedback system including multi-tasking graphical host environment
US10209771B2 (en) 2016-09-30 2019-02-19 Sony Interactive Entertainment Inc. Predictive RF beamforming for head mounted display
US10585472B2 (en) 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9355585B2 (en) * 2012-04-03 2016-05-31 Apple Inc. Electronic devices with adaptive frame rate displays
GB2501768A (en) * 2012-05-04 2013-11-06 Sony Comp Entertainment Europe Head mounted display
US8947216B2 (en) 2012-11-02 2015-02-03 Immersion Corporation Encoding dynamic haptic effects
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US9898084B2 (en) 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9626015B2 (en) 2013-01-08 2017-04-18 Leap Motion, Inc. Power consumption in motion-capture systems with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9202352B2 (en) 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
WO2014200589A2 (en) 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
US9092954B2 (en) 2013-03-15 2015-07-28 Immersion Corporation Wearable haptic device
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9878235B2 (en) * 2013-06-07 2018-01-30 Sony Interactive Entertainment Inc. Transitioning gameplay on a head-mounted display
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
EA032658B1 (ru) * 2013-07-15 2019-06-28 Вр Электроникс Лимитид Способ интерактивной физиологической синхронизации пользователя с виртуальной средой
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
KR20150026336A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 웨어러블 디바이스 및 그 컨텐트 출력 방법
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9207764B2 (en) 2013-09-18 2015-12-08 Immersion Corporation Orientation adjustable multi-channel haptic device
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9213408B2 (en) 2013-10-08 2015-12-15 Immersion Corporation Generating haptic effects while minimizing cascading
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US20150169047A1 (en) * 2013-12-16 2015-06-18 Nokia Corporation Method and apparatus for causation of capture of visual information indicative of a part of an environment
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
KR102355118B1 (ko) * 2014-01-06 2022-01-26 삼성전자주식회사 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법
US20150194128A1 (en) * 2014-01-07 2015-07-09 Nvidia Corporation Generating a low-latency transparency effect
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US10254836B2 (en) 2014-02-21 2019-04-09 Immersion Corporation Haptic power consumption management
US9754167B1 (en) * 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
US20150304697A1 (en) * 2014-04-18 2015-10-22 Microsoft Corporation Changing broadcast without interruption to active gameplay
US10409366B2 (en) 2014-04-28 2019-09-10 Adobe Inc. Method and apparatus for controlling display of digital content using eye movement
KR20160014418A (ko) * 2014-07-29 2016-02-11 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 방법
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
CN105373326B (zh) * 2014-09-01 2020-11-24 深圳富泰宏精密工业有限公司 数据处理系统及方法
US10248285B2 (en) * 2014-09-10 2019-04-02 Utherverse Digital Inc. Immersive displays
EP2996017B1 (en) * 2014-09-11 2022-05-11 Nokia Technologies Oy Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display
US9984505B2 (en) * 2014-09-30 2018-05-29 Sony Interactive Entertainment Inc. Display of text information on a head-mounted display
WO2016064435A1 (en) 2014-10-24 2016-04-28 Usens, Inc. System and method for immersive and interactive multimedia generation
US10320437B2 (en) * 2014-10-24 2019-06-11 Usens, Inc. System and method for immersive and interactive multimedia generation
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
CN111754750B (zh) * 2014-11-17 2022-03-01 洋马动力科技有限公司 远程控制作业机用显示设备、显示系统以及作业机
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
DE102014018054A1 (de) * 2014-12-05 2016-06-09 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und Anzeigevorrichtung
DE102014018056A1 (de) * 2014-12-05 2016-06-09 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und Virtual-Reality-Brille
US20160170206A1 (en) * 2014-12-12 2016-06-16 Lenovo (Singapore) Pte. Ltd. Glass opacity shift based on determined characteristics
US10809794B2 (en) * 2014-12-19 2020-10-20 Hewlett-Packard Development Company, L.P. 3D navigation mode
US10613628B2 (en) 2014-12-23 2020-04-07 Immersion Corporation Media driven haptics
US9746921B2 (en) * 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US20160210780A1 (en) * 2015-01-20 2016-07-21 Jonathan Paulovich Applying real world scale to virtual content
GB2534846B (en) * 2015-01-28 2020-12-23 Sony Interactive Entertainment Inc Head-mountable apparatus and systems
US10242379B2 (en) * 2015-01-30 2019-03-26 Adobe Inc. Tracking visual gaze information for controlling content display
US10269392B2 (en) 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
CN107278370A (zh) * 2015-02-16 2017-10-20 来喜事株式会社 用于生成图像信号的穿戴式设备及其控制系统
US10216277B2 (en) 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
US10111620B2 (en) 2015-02-27 2018-10-30 Microsoft Technology Licensing, Llc Enhanced motion tracking using transportable inertial sensors to determine that a frame of reference is established
US10444018B2 (en) 2015-02-27 2019-10-15 Microsoft Technology Licensing, Llc Computer-implemented method to test the sensitivity of a sensor for detecting movement of a tracking device within an established frame of reference of a moving platform
KR20160105321A (ko) 2015-02-27 2016-09-06 임머숀 코퍼레이션 사용자의 무드에 기초하는 액션 생성
CN108139876B (zh) * 2015-03-04 2022-02-25 杭州凌感科技有限公司 用于沉浸式和交互式多媒体生成的系统和方法
WO2016158080A1 (ja) * 2015-03-30 2016-10-06 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法およびプログラム
EP3286621A4 (en) 2015-04-21 2018-12-12 Immersion Corporation Dynamic rendering of etching input
US10261582B2 (en) 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
JP6439935B2 (ja) * 2015-05-07 2018-12-19 パナソニックＩｐマネジメント株式会社 表示制御方法、ヘッドマウントディスプレイ、およびプログラム
US11252399B2 (en) * 2015-05-28 2022-02-15 Microsoft Technology Licensing, Llc Determining inter-pupillary distance
US9898091B2 (en) 2015-06-03 2018-02-20 Oculus Vr, Llc Virtual reality system with head-mounted display, camera and hand-held controllers
KR101735484B1 (ko) * 2015-06-04 2017-05-15 엘지전자 주식회사 헤드 마운티드 디스플레이
US9833700B2 (en) * 2015-06-11 2017-12-05 Oculus Vr, Llc Connectable hand-held controllers for virtual-reality systems
USD772986S1 (en) 2015-06-11 2016-11-29 Oculus Vr, Llc Wireless game controller
US9939644B2 (en) * 2015-06-25 2018-04-10 Intel Corporation Technologies for controlling vision correction of a wearable computing device
US10078917B1 (en) * 2015-06-26 2018-09-18 Lucasfilm Entertainment Company Ltd. Augmented reality simulation
US10484824B1 (en) 2015-06-26 2019-11-19 Lucasfilm Entertainment Company Ltd. Content presentation and layering across multiple devices
JP6436872B2 (ja) * 2015-07-09 2018-12-12 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
TWI570638B (zh) * 2015-07-29 2017-02-11 財團法人資訊工業策進會 凝視分析方法與裝置
EP3333616A4 (en) 2015-08-04 2019-04-03 Sony Interactive Entertainment Inc. VISIOCASQUE, DISPLAY CONTROL METHOD, AND PROGRAM
US10002429B2 (en) 2015-08-17 2018-06-19 Samsung Electronics Co., Ltd. Apparatus and method for notifying a virtual reality user of real world objects
EP3133468A1 (en) * 2015-08-17 2017-02-22 Samsung Electronics Co., Ltd. Virtual reality headset for notifying an object and method thereof
US10109161B2 (en) 2015-08-21 2018-10-23 Immersion Corporation Haptic driver with attenuation
US11992746B1 (en) * 2015-08-22 2024-05-28 Bertec Corporation Hybrid display system for a force measurement assembly, an exercise device, or an interactive game
US9901816B2 (en) * 2015-08-24 2018-02-27 Htc Corporation Interactive game system with an HMD and a ground pad
US9839840B2 (en) * 2015-11-05 2017-12-12 Oculus Vr, Llc Interconnectable handheld controllers
US10007339B2 (en) 2015-11-05 2018-06-26 Oculus Vr, Llc Controllers with asymmetric tracking patterns
US20170132845A1 (en) * 2015-11-10 2017-05-11 Dirty Sky Games, LLC System and Method for Reducing Virtual Reality Simulation Sickness
US9990045B2 (en) 2015-11-12 2018-06-05 Oculus Vr, Llc Method and apparatus for detecting hand gestures with a handheld controller
US10130875B2 (en) 2015-11-12 2018-11-20 Oculus Vr, Llc Handheld controller with finger grip detection
US20170168592A1 (en) * 2015-12-14 2017-06-15 Volodymyr Mishyn System and method for optical tracking
US9804693B2 (en) * 2015-12-18 2017-10-31 Oculus Vr, Llc Handheld controller with activation sensors
AU2015275252A1 (en) 2015-12-22 2017-07-06 Canon Kabushiki Kaisha Systems and method to modify display of augmented reality content
JP6832061B2 (ja) * 2015-12-29 2021-02-24 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム
US9977494B2 (en) 2015-12-30 2018-05-22 Oculus Vr, Llc Tracking constellation assembly for use in a virtual reality system
US10441880B2 (en) 2015-12-30 2019-10-15 Facebook Technologies, Llc Handheld controller with spring-biased third finger button assembly
US10343059B2 (en) 2015-12-30 2019-07-09 Facebook Technologies, Llc Handheld controller with thumbstick guard
US10386922B2 (en) 2015-12-30 2019-08-20 Facebook Technologies, Llc Handheld controller with trigger button and sensor retainer assembly
US11857869B2 (en) 2015-12-31 2024-01-02 Meta Platforms Technologies, Llc Handheld controller with hand detection sensors
US9818031B2 (en) * 2016-01-06 2017-11-14 Orcam Technologies Ltd. Crowd-sourced vision-based information collection
DE102016000627B4 (de) * 2016-01-22 2024-03-28 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
JP6709633B2 (ja) * 2016-02-17 2020-06-17 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びゲームシステム
JP6232649B2 (ja) * 2016-02-18 2017-11-22 国立大学法人名古屋大学 仮想空間表示システム
US10477157B1 (en) * 2016-03-02 2019-11-12 Meta View, Inc. Apparatuses, methods and systems for a sensor array adapted for vision computing
GB2548154A (en) 2016-03-11 2017-09-13 Sony Computer Entertainment Europe Ltd Virtual reality
US10115205B2 (en) 2016-03-11 2018-10-30 Facebook Technologies, Llc Eye tracking system with single point calibration
CN108780223B (zh) * 2016-03-11 2019-12-20 脸谱科技有限责任公司 用于生成眼睛模型的角膜球跟踪
KR20170106862A (ko) * 2016-03-14 2017-09-22 삼성전자주식회사 데이터 동기화 방법 및 이를 구현하는 전자 장치 및 시스템
US10481682B2 (en) * 2016-03-29 2019-11-19 Google Llc System and method for generating virtual marks based on gaze tracking
US10099122B2 (en) * 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking
KR102445364B1 (ko) * 2016-04-21 2022-09-19 매직 립, 인코포레이티드 시야 주위의 시각적 아우라
US10025376B2 (en) * 2016-04-27 2018-07-17 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
KR102673480B1 (ko) * 2016-04-27 2024-06-07 로비 가이드스, 인크. 가상 현실 환경을 디스플레이하는 헤드업 디스플레이 상에 추가적인 콘텐트를 디스플레이하는 방법 및 시스템
JP6262283B2 (ja) * 2016-05-17 2018-01-17 株式会社コロプラ 仮想空間を提供する方法、プログラム、および記録媒体
WO2017200279A1 (en) 2016-05-17 2017-11-23 Samsung Electronics Co., Ltd. Method and apparatus for facilitating interaction with virtual reality equipment
EP3249928A1 (en) * 2016-05-23 2017-11-29 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
JP6959943B2 (ja) * 2016-05-25 2021-11-05 ワーナー ブラザーズ エンターテイメント インコーポレイテッド ３ｄ音声ポジショニングを用いて仮想現実又は拡張現実のプレゼンテーションを生成するための方法及び装置
US10249090B2 (en) * 2016-06-09 2019-04-02 Microsoft Technology Licensing, Llc Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
US10556175B2 (en) 2016-06-10 2020-02-11 Immersion Corporation Rendering a haptic effect with intra-device mixing
US10245507B2 (en) * 2016-06-13 2019-04-02 Sony Interactive Entertainment Inc. Spectator management at view locations in virtual reality environments
US10401962B2 (en) 2016-06-21 2019-09-03 Immersion Corporation Haptically enabled overlay for a pressure sensitive surface
US10210724B2 (en) 2016-06-29 2019-02-19 Immersion Corporation Real-time patterned haptic effect generation using vibrations
US10471353B2 (en) * 2016-06-30 2019-11-12 Sony Interactive Entertainment America Llc Using HMD camera touch button to render images of a user captured during game play
US10482662B2 (en) * 2016-06-30 2019-11-19 Intel Corporation Systems and methods for mixed reality transitions
CN109644262A (zh) * 2016-08-25 2019-04-16 Lg电子株式会社 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
CN106489113B (zh) * 2016-08-30 2019-03-15 北京小米移动软件有限公司 Vr控制的方法、装置及电子设备
KR20180028796A (ko) * 2016-09-09 2018-03-19 삼성전자주식회사 이미지 표시 방법, 저장 매체 및 전자 장치
JP6298130B2 (ja) * 2016-09-14 2018-03-20 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP6373920B2 (ja) 2016-09-14 2018-08-15 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
US20180082482A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Display system having world and user sensors
CN107872556A (zh) * 2016-09-23 2018-04-03 成都理想境界科技有限公司 基于头戴式显示设备的事件提醒方法及装置
JP6808419B2 (ja) * 2016-09-26 2021-01-06 キヤノン株式会社 画像処理システム及びその制御方法
USD835104S1 (en) 2016-09-27 2018-12-04 Oculus Vr, Llc Wireless game controller
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
EP3519066B1 (en) * 2016-09-30 2021-09-01 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US10032314B2 (en) * 2016-10-11 2018-07-24 Microsoft Technology Licensing, Llc Virtual reality headset
US10963009B2 (en) 2016-10-18 2021-03-30 Lg Electronics Inc. Head-mounted display
WO2018080028A1 (ko) * 2016-10-31 2018-05-03 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
US10747323B2 (en) 2016-10-31 2020-08-18 Tegway Co., Ltd. Feedback device and method for providing thermal feedback by means of same
US10736576B2 (en) * 2016-10-31 2020-08-11 Tegway Co., Ltd. Feedback device and method for providing thermal feedback using the same
KR102369905B1 (ko) 2016-10-31 2022-03-03 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
KR20180048227A (ko) 2016-10-31 2018-05-10 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
WO2018092947A1 (ko) * 2016-11-18 2018-05-24 주식회사 트라이캐치미디어 스마트 로봇 게임 시스템
GB2556910A (en) 2016-11-25 2018-06-13 Nokia Technologies Oy Virtual reality display
KR102654621B1 (ko) 2016-12-08 2024-04-04 삼성전자주식회사 객체를 디스플레이하기 위한 방법 및 그 전자 장치
KR20180074369A (ko) 2016-12-23 2018-07-03 삼성전자주식회사 3차원 컨텐츠의 썸네일 관리 방법 및 그 장치
GB2558280A (en) * 2016-12-23 2018-07-11 Sony Interactive Entertainment Inc Head mountable display system
US10147460B2 (en) 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
US10088911B2 (en) * 2016-12-30 2018-10-02 Manuel Saez Programmable electronic helmet
US10204455B2 (en) * 2016-12-31 2019-02-12 Intel Corporation Collision prevention for virtual reality systems
WO2018126281A1 (en) * 2017-01-02 2018-07-05 Merge Labs, Inc. Three-dimensional augmented reality object user interface functions
WO2018131813A1 (en) 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Method and apparatus for generating metadata for 3d images
KR102329061B1 (ko) * 2017-01-10 2021-11-19 삼성전자주식회사 3차원 이미지에 대한 메타데이터를 생성하기 위한 방법 및 장치
US10212428B2 (en) * 2017-01-11 2019-02-19 Microsoft Technology Licensing, Llc Reprojecting holographic video to enhance streaming bandwidth/quality
US20180255285A1 (en) * 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
WO2018173159A1 (ja) * 2017-03-22 2018-09-27 マクセル株式会社 映像表示装置
US10564725B2 (en) 2017-03-23 2020-02-18 Immerson Corporation Haptic effects using a high bandwidth thin actuation system
JP6658642B2 (ja) * 2017-03-24 2020-03-04 トヨタ自動車株式会社 車両用視認装置
WO2018183390A1 (en) * 2017-03-28 2018-10-04 Magic Leap, Inc. Augmeted reality system with spatialized audio tied to user manipulated virtual object
US10726792B2 (en) * 2017-04-17 2020-07-28 Intel Corporation Glare and occluded view compensation for automotive and other applications
WO2018194637A1 (en) 2017-04-21 2018-10-25 Hewlett-Packard Development Company, L.P. Object detections for virtual reality
DE102017108551A1 (de) * 2017-04-21 2018-10-25 Carl Zeiss Meditec Ag Kopftragbare Darstellungsvorrichtung, Verfahren zum Betreiben derselben und medizinisch optisches Beobachtungssystem
JP6503407B2 (ja) * 2017-04-28 2019-04-17 株式会社スクウェア・エニックス コンテンツ表示プログラム、コンピュータ装置、コンテンツ表示方法、及びコンテンツ表示システム
JP6796197B2 (ja) * 2017-04-28 2020-12-02 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法及びプログラム
US10776930B2 (en) * 2017-05-05 2020-09-15 John W. Perry Mobile device, system, and computerized method for tracking flying objects and displaying tracked flying objects on the mobile device
US10366584B2 (en) 2017-06-05 2019-07-30 Immersion Corporation Rendering haptics with an illusion of flexible joint movement
US10194078B2 (en) 2017-06-09 2019-01-29 Immersion Corporation Haptic enabled device with multi-image capturing abilities
US10803663B2 (en) * 2017-08-02 2020-10-13 Google Llc Depth sensor aided estimation of virtual reality environment boundaries
US20190041987A1 (en) 2017-08-03 2019-02-07 Immersion Corporation Haptic effect encoding and rendering system
WO2019032967A1 (en) * 2017-08-10 2019-02-14 Google Llc HAND INTERACTION SENSITIVE TO THE CONTEXT
CN107479804A (zh) * 2017-08-16 2017-12-15 歌尔科技有限公司 虚拟现实设备及其内容调整方法
GB2565836B (en) 2017-08-25 2021-04-14 Sony Interactive Entertainment Inc Data processing for position detection using markers in captured images
JP2019040555A (ja) * 2017-08-29 2019-03-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10477298B2 (en) 2017-09-08 2019-11-12 Immersion Corporation Rendering haptics on headphones with non-audio data
CN111279292B (zh) 2017-09-29 2022-06-14 苹果公司 检测物理边界
DE102017123894B3 (de) 2017-10-13 2019-02-07 Carl Zeiss Meditec Ag Scheibe für ein HMD und HMD mit wenigstens einer Scheibe
US10593101B1 (en) * 2017-11-01 2020-03-17 Facebook Technologies, Llc Marker based tracking
CN107831831B (zh) * 2017-11-13 2020-11-27 重庆市科源能源技术发展有限公司 一种电力企业员工业务内容培训系统
WO2019112557A1 (en) * 2017-12-05 2019-06-13 Hewlett-Packard Development Company, L.P. Enhanced reality headsets
US10583359B2 (en) 2017-12-28 2020-03-10 Immersion Corporation Systems and methods for providing haptic effects related to touching and grasping a virtual object
WO2019135634A1 (en) * 2018-01-05 2019-07-11 Samsung Electronics Co., Ltd. Method and apparatus to navigate a virtual content displayed by a virtual reality (vr) device
JP6353994B1 (ja) * 2018-01-17 2018-07-04 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理方法、および情報処理装置
US10534454B2 (en) * 2018-02-02 2020-01-14 Sony Interactive Entertainment Inc. Head-mounted display to controller clock synchronization over EM field
US10976982B2 (en) * 2018-02-02 2021-04-13 Samsung Electronics Co., Ltd. Guided view mode for virtual reality
JP6775870B2 (ja) * 2018-02-06 2020-10-28 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
US10726765B2 (en) 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
US10289152B1 (en) * 2018-02-23 2019-05-14 The Chamberlain Group, Inc. Interactive multimedia assistant device with a swappable personality customizable skin
KR102656447B1 (ko) * 2018-02-27 2024-04-12 삼성전자주식회사 컨트롤러와 접촉된 신체 부위에 따라 그래픽 객체를 다르게 표시하는 방법 및 전자 장치
KR102122600B1 (ko) 2018-03-07 2020-06-12 매직 립, 인코포레이티드 주변 디바이스들의 시각적 추적
JP7259838B2 (ja) * 2018-03-13 2023-04-18 ソニーグループ株式会社 情報処理装置、情報処理方法、および記録媒体
US10695667B2 (en) 2018-03-14 2020-06-30 Sony Interactive Entertainment LLC Pro gaming AR visor and method for parsing context specific HUD content from a video stream
US20190042843A1 (en) * 2018-04-05 2019-02-07 Intel Corporation Cable detection for ar/vr computing method and apparatus
US10853014B2 (en) * 2018-04-17 2020-12-01 Rockwell Collins, Inc. Head wearable device, system, and method
US10747309B2 (en) 2018-05-10 2020-08-18 Microsoft Technology Licensing, Llc Reconfigurable optics for switching between near-to-eye display modes
JP6933189B2 (ja) * 2018-05-29 2021-09-08 株式会社デンソー 表示制御装置、及び表示制御プログラム
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US10665067B2 (en) 2018-06-15 2020-05-26 Immersion Corporation Systems and methods for integrating haptics overlay in augmented reality
US10540824B1 (en) * 2018-07-09 2020-01-21 Microsoft Technology Licensing, Llc 3-D transitions
WO2020018064A1 (en) 2018-07-16 2020-01-23 Hewlett-Packard Development Company, L.P. Physical controls for mixing views
WO2020049665A1 (ja) * 2018-09-05 2020-03-12 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、情報処理方法、及びプログラム
DE112019004485T5 (de) 2018-09-07 2021-07-01 Apple Inc. Wechseln zwischen bildern und tönen einer virtuellen umgebung und einer realen umgebung
FR3086411B1 (fr) * 2018-09-21 2021-01-15 Cayceo Procede et dispositif de pilotage et de synchronisation de visiocasques
US10569164B1 (en) * 2018-09-26 2020-02-25 Valve Corporation Augmented reality (AR) system for providing AR in video games
US11347303B2 (en) * 2018-11-30 2022-05-31 Sony Interactive Entertainment Inc. Systems and methods for determining movement of a controller with respect to an HMD
CN111309142A (zh) * 2018-12-11 2020-06-19 托比股份公司 用于切换显示设备的输入模态的方法和设备
US11853533B1 (en) 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US11644940B1 (en) * 2019-01-31 2023-05-09 Splunk Inc. Data visualization in an extended reality environment
JP7353773B2 (ja) * 2019-03-18 2023-10-02 株式会社ソニー・インタラクティブエンタテインメント 複数のマーカを備えたデバイス
US11659153B2 (en) * 2019-03-29 2023-05-23 Sony Interactive Entertainment Inc. Image data transmission method, content processing apparatus, head-mounted display, relay apparatus and content processing system
US11580324B2 (en) * 2019-06-14 2023-02-14 Google Llc Systems and methods for detecting environmental occlusion in a wearable computing device display
US11385789B1 (en) * 2019-07-23 2022-07-12 Facebook Technologies, Llc Systems and methods for interacting with displayed items
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
CN110515468A (zh) * 2019-08-30 2019-11-29 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置和存储介质
US11842449B2 (en) 2019-09-26 2023-12-12 Apple Inc. Presenting an environment based on user movement
US11049306B2 (en) * 2019-11-06 2021-06-29 Vago Technologies Oy Display apparatus and method for generating and rendering composite images
EP3839699A1 (en) * 2019-12-19 2021-06-23 Koninklijke KPN N.V. Augmented virtuality self view
US11474358B2 (en) * 2020-03-20 2022-10-18 Magic Leap, Inc. Systems and methods for retinal imaging and tracking
US11550446B2 (en) 2020-04-06 2023-01-10 Samsung Electronics Co., Ltd. Systems and methods for viewing webpages in extended reality environments
US11493764B2 (en) * 2020-06-04 2022-11-08 Htc Corporation Method for dynamically displaying real-world scene, electronic device, and computer readable medium
US11617945B2 (en) * 2020-11-13 2023-04-04 Qtech Innovations Llc Game controller with scroll wheel
CN112704876B (zh) * 2020-12-30 2022-10-04 腾讯科技（深圳）有限公司 虚拟对象互动模式的选择方法、装置、设备及存储介质
US11836870B1 (en) * 2021-01-19 2023-12-05 United Services Automobile Association (Usaa) Systems and methods for virtual physical distancing
US11461986B2 (en) 2021-01-27 2022-10-04 Qualcomm Incorporated Context-aware extended reality systems
GB2608997B (en) * 2021-07-15 2024-02-07 Sony Interactive Entertainment Inc Alert system and method for virtual reality headset
GB2610386B (en) * 2021-09-01 2024-01-10 Sony Interactive Entertainment Inc Head-mountable display system and methods
US20230277947A1 (en) * 2022-03-01 2023-09-07 William G. DiSessa Trend-based guessing game
US20230381645A1 (en) * 2022-05-27 2023-11-30 Sony Interactive Entertainment LLC Methods and systems to activate selective navigation or magnification of screen content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002073246A (ja) * 2000-08-25 2002-03-12 Minolta Co Ltd 映像表示システム
US20120050141A1 (en) * 2010-08-25 2012-03-01 Border John N Switchable head-mounted display
CN103076875A (zh) * 2011-09-30 2013-05-01 微软公司 具有全息对象的个人音频/视频系统

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2301216A (en) * 1995-05-25 1996-11-27 Philips Electronics Uk Ltd Display headset
JP2000097637A (ja) * 1998-09-24 2000-04-07 Olympus Optical Co Ltd 姿勢位置検出装置
ATE440536T1 (de) 2001-05-25 2009-09-15 Imaging Therapeutics Inc Verfahren zur diagnose, behandlung und prävention von knochenverlust
JP3880561B2 (ja) * 2002-09-05 2007-02-14 株式会社ソニー・コンピュータエンタテインメント 表示システム
US10279254B2 (en) 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
JP2005165778A (ja) * 2003-12-03 2005-06-23 Canon Inc 頭部装着型表示装置、及びその制御方法
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
US7680694B2 (en) * 2004-03-11 2010-03-16 American Express Travel Related Services Company, Inc. Method and apparatus for a user to shop online in a three dimensional virtual reality setting
JP4642538B2 (ja) * 2005-04-20 2011-03-02 キヤノン株式会社 画像処理方法および画像処理装置
JP2011200533A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 超音波診断装置
US9111498B2 (en) * 2010-08-25 2015-08-18 Eastman Kodak Company Head-mounted display with environmental state detection
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP5874176B2 (ja) * 2011-03-06 2016-03-02 ソニー株式会社 表示装置、並びに中継装置
US8743244B2 (en) * 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
JP2012203128A (ja) 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP5834439B2 (ja) * 2011-03-24 2015-12-24 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US8964008B2 (en) * 2011-06-17 2015-02-24 Microsoft Technology Licensing, Llc Volumetric video presentation
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US9454849B2 (en) * 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
US20130205311A1 (en) * 2012-02-07 2013-08-08 Arun Ramaswamy Methods and apparatus to control a state of data collection devices
US9093012B2 (en) * 2012-02-29 2015-07-28 Lenovo (Beijing) Co., Ltd. Operation mode switching method and electronic device
US9041622B2 (en) * 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
US9329678B2 (en) * 2012-08-14 2016-05-03 Microsoft Technology Licensing, Llc Augmented reality overlay for control devices
US20150046295A1 (en) * 2013-08-12 2015-02-12 Airvirtise Device for Providing Augmented Reality Digital Content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002073246A (ja) * 2000-08-25 2002-03-12 Minolta Co Ltd 映像表示システム
US20120050141A1 (en) * 2010-08-25 2012-03-01 Border John N Switchable head-mounted display
CN103076875A (zh) * 2011-09-30 2013-05-01 微软公司 具有全息对象的个人音频/视频系统

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107233731B (zh) * 2016-03-28 2022-06-07 株式会社万代南梦宫娱乐 模拟控制装置
CN107233731A (zh) * 2016-03-28 2017-10-10 株式会社万代南梦宫娱乐 模拟控制装置
CN108700936A (zh) * 2016-03-29 2018-10-23 谷歌有限责任公司 用于虚拟现实的直通相机用户界面元素
CN109310926A (zh) * 2016-06-07 2019-02-05 喀普康有限公司 游戏装置、游戏装置的控制方法及计算机可读取的记录介质
CN109643162B (zh) * 2016-06-30 2022-09-09 索尼互动娱乐股份有限公司 用现实世界内容增强虚拟现实内容
CN109643162A (zh) * 2016-06-30 2019-04-16 索尼互动娱乐股份有限公司 用现实世界内容增强虚拟现实内容
CN107678535A (zh) * 2016-08-01 2018-02-09 三星电子株式会社 用于图像显示的方法和支持该方法的电子设备
CN106484119A (zh) * 2016-10-24 2017-03-08 网易（杭州）网络有限公司 虚拟现实系统及虚拟现实系统输入方法
CN109997098A (zh) * 2016-11-25 2019-07-09 诺基亚技术有限公司 装置、相关联的方法和相关联的计算机可读介质
CN106791779A (zh) * 2016-12-13 2017-05-31 深圳市潘多拉虚拟与现实科技有限公司 一种视频播放器及视频显示方法、系统
CN108334377A (zh) * 2017-01-20 2018-07-27 深圳纬目信息技术有限公司 一种头戴显示设备的用户使用进度控制方法
CN110140099A (zh) * 2017-01-27 2019-08-16 高通股份有限公司 用于跟踪控制器的系统和方法
US11740690B2 (en) 2017-01-27 2023-08-29 Qualcomm Incorporated Systems and methods for tracking a controller
CN110140099B (zh) * 2017-01-27 2022-03-11 高通股份有限公司 用于跟踪控制器的系统和方法
WO2018157669A1 (zh) * 2017-03-01 2018-09-07 中兴通讯股份有限公司 虚拟现实眼镜、智能终端及导视实现和控制方法
CN106919294A (zh) * 2017-03-10 2017-07-04 京东方科技集团股份有限公司 一种3d触控交互装置、其触控交互方法及显示装置
WO2018161542A1 (zh) * 2017-03-10 2018-09-13 京东方科技集团股份有限公司 一种3d触控交互装置、其触控交互方法及显示装置
CN106919294B (zh) * 2017-03-10 2020-07-21 京东方科技集团股份有限公司 一种3d触控交互装置、其触控交互方法及显示装置
CN110603508B (zh) * 2017-03-21 2023-07-14 家乐氏公司 媒体内容跟踪
CN110603508A (zh) * 2017-03-21 2019-12-20 家乐氏公司 媒体内容跟踪
CN110603509A (zh) * 2017-05-04 2019-12-20 微软技术许可有限责任公司 计算机介导的现实环境中直接和间接交互的联合
CN107272907B (zh) * 2017-07-10 2020-08-07 三星电子（中国）研发中心 一种基于虚拟现实技术的场景中断衔接方法和装置
CN107272907A (zh) * 2017-07-10 2017-10-20 三星电子（中国）研发中心 一种基于虚拟现实技术的场景中断衔接方法和装置
CN110915208A (zh) * 2017-07-31 2020-03-24 谷歌有限责任公司 使用深度传感器的虚拟现实环境边界
CN110058708A (zh) * 2017-11-10 2019-07-26 夏普株式会社 显示装置、控制方法、及记录介质
CN110045501A (zh) * 2018-01-09 2019-07-23 瑞轩科技股份有限公司 显示装置组件
CN111742253A (zh) * 2018-02-23 2020-10-02 三星电子株式会社 头戴式电子装置
CN109151446A (zh) * 2018-09-25 2019-01-04 联想(北京)有限公司 控制方法和电子设备
CN111773683A (zh) * 2020-07-03 2020-10-16 珠海金山网络游戏科技有限公司 一种基于移动终端的文字显示方法及装置
CN111773683B (zh) * 2020-07-03 2024-06-04 珠海金山数字网络科技有限公司 一种基于移动终端的文字显示方法及装置
CN112579029A (zh) * 2020-12-11 2021-03-30 上海影创信息科技有限公司 Vr眼镜的显示控制方法和系统

Also Published As

Publication number Publication date
US20220152498A1 (en) 2022-05-19
US20200330869A1 (en) 2020-10-22
JP2016532178A (ja) 2016-10-13
JP2018010657A (ja) 2018-01-18
US10010792B2 (en) 2018-07-03
US20230293994A1 (en) 2023-09-21
US11235243B2 (en) 2022-02-01
US20140364212A1 (en) 2014-12-11
US11654358B2 (en) 2023-05-23
US9908048B2 (en) 2018-03-06
US20160214015A1 (en) 2016-07-28
US20180311583A1 (en) 2018-11-01
US10722797B2 (en) 2020-07-28
EP3005029A1 (en) 2016-04-13
JP6195664B2 (ja) 2017-09-13
JP6438087B2 (ja) 2018-12-12
WO2014197337A1 (en) 2014-12-11
CN105378596B (zh) 2019-01-22
EP3005029B1 (en) 2018-07-18

Similar Documents

Publication Publication Date Title
US11654358B2 (en) Head mounted displays (HMDs) with front facing cameras for transitioning between non-transparent modes and transparent modes
CN105377117B (zh) 基于用户的光学处方的头戴式显示器
JP6771101B2 (ja) 仮想現実環境内の特定のコンテンツに焦点を合わせるためのｈｍｄ遷移
JP6545744B2 (ja) 頭部装着ディスプレイにおけるオペレーション・モード・スイッチング
JP6575974B2 (ja) ヘッドマウントディスプレイの追跡システム
RU2639118C2 (ru) Системы и способы использования сокращенных транзитных участков для создания сцены дополненной виртуальной реальности с помощью устанавливаемой на голове системы
KR102158004B1 (ko) 두부 장착형 시스템과 연관된 홉을 감소시키기 위한 시스템 및 방법
CN105705210B (zh) 用于头戴式显示器用户的基于摄像机的安全机制
CN105392538B (zh) 响应于头戴式显示器中的用户动作的图像渲染
CN105359063A (zh) 利用追踪的头戴式显示器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant