CN104238738B - 在头戴式系统内产生增强虚拟现实场景的系统和方法 - Google Patents

在头戴式系统内产生增强虚拟现实场景的系统和方法 Download PDF

Info

Publication number
CN104238738B
CN104238738B CN201410250175.8A CN201410250175A CN104238738B CN 104238738 B CN104238738 B CN 104238738B CN 201410250175 A CN201410250175 A CN 201410250175A CN 104238738 B CN104238738 B CN 104238738B
Authority
CN
China
Prior art keywords
game
user
head
computer
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410250175.8A
Other languages
English (en)
Other versions
CN104238738A (zh
Inventor
D.佩里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Computer Entertainment America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment America LLC filed Critical Sony Computer Entertainment America LLC
Priority to CN201811478206.XA priority Critical patent/CN110083227B/zh
Publication of CN104238738A publication Critical patent/CN104238738A/zh
Application granted granted Critical
Publication of CN104238738B publication Critical patent/CN104238738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A63F13/245—Constructional details thereof, e.g. game controllers with detachable joystick handles specially adapted to a particular type of game, e.g. steering wheels
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/71—Game security or game management aspects using secure communication between game devices and game servers, e.g. by encrypting game data or authenticating players
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/98—Accessories, i.e. detachable arrangements optional for the use of the video game device, e.g. grip supports of game controllers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/401—Secure communication, e.g. using encryption or authentication
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/532—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing using secure communication, e.g. by encryption, authentication
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明描述用于使用减少的跃点在头戴式显示器内产生增强虚拟现实场景的系统和方法。所述头戴式显示器用于通过游戏云端系统玩游戏。所述头戴式显示器包括用于通过网络发送与游戏程序相关联的现实世界媒体的通信电路。现实世界媒体由所述游戏云端系统加以处理并且从所述通信电路直接串流传输到所述游戏云端系统。头戴式显示器进一步包括耦合到所述通信电路的游戏处理电路。游戏处理电路用于对通过所述网络从所述游戏云端系统接收到的计算机产生的交互式媒体进行解码。游戏处理电路通过将所述计算机产生的交互式媒体重叠在所述现实世界媒体上，来驱动与所述游戏程序相关联的交互性的一部分。计算机产生的交互式媒体基于所述现实世界媒体来产生。

Description

在头戴式系统内产生增强虚拟现实场景的系统和方法
技术领域
本公开涉及用于使用减少的跃点在头戴式系统内产生增强虚拟现实场景的系统和方法。
技术背景
通常使用视频游戏控制台(video game console)来玩增强虚拟现实游戏。例如，用户常常购买控制器和控制台来玩增强虚拟现实游戏。控制台可连接至互联网。用户开启控制台并操作控制器来通过控制台和互联网玩游戏。但是，为便于玩游戏而使游戏数据通过的许多跃点(例如，许多网络设备)可能会减缓玩增强虚拟现实游戏的速度。例如，用户可能必须等着玩所述增强虚拟现实游戏的某些阶段。
本公开中描述的实施方案正是在这个背景下出现的。
发明概要
本公开中描述的实施方案提供用于使用减少的跃点在头戴式系统内产生增强虚拟现实场景的系统和方法。
概括来说，在许多实施方案中，所述系统和方法允许玩增强虚拟现实游戏，其中通过绕过头戴式显示器与网络之间的路由器来将媒体数据从网络串流传输到头戴式显示器。不使用路由器减少了头戴式显示器与游戏云端之间的跃点数目，所述游戏云端执行游戏程序来允许用户玩增强虚拟现实游戏。
在一些实施方案中，头戴式显示器用于通过游戏云端系统玩游戏。所述头戴式显示器包括用于通过网络发送与游戏程序相关联的现实世界媒体的通信电路。所述现实世界媒体由游戏云端系统加以处理并且是从所述通信电路直接串流传输到所述游戏云端系统。所述头戴式显示器进一步包括耦合到所述通信电路的游戏处理电路。所述游戏处理电路用于对通过所述网络从所述游戏云端系统接收到的计算机产生的交互式媒体进行解码。所述游戏处理电路通过将所述计算机产生的交互式媒体重叠在所述现实世界媒体上，来驱动与所述游戏程序相关联的交互性的一部分。所述计算机产生的交互式媒体是基于所述现实世界媒体来产生。
在一些实施方案中，描述一种用于通过游戏云端系统玩游戏的方法。所述方法包括通过网络发送与游戏程序相关联的现实世界媒体。所述现实世界媒体由所述游戏云端系统加以处理并且是直接串流传输到所述游戏云端系统。所述方法包括对通过所述网络从所述游戏云端接收到的计算机产生的交互式媒体进行解码。所述方法包括通过将所述计算机产生的交互式媒体重叠在所述现实世界媒体上，来驱动与所述游戏程序相关联的交互性的一部分。所述计算机产生的交互式媒体是基于所述现实世界媒体来产生。
在各种实施方案中，描述一种非暂时性计算机可读介质，所述非暂时性计算机可读介质上存储有用于通过游戏云端系统玩游戏的计算机可执行指令。所述计算机可执行指令在由计算机的处理器执行时，通过网络发送与游戏程序相关联的现实世界媒体。所述现实世界媒体由所述游戏云端系统加以处理并且是直接串流传输到所述游戏云端系统。所述计算机可执行指令在由所述处理器执行时，对通过所述网络从所述游戏云端接收到的计算机产生的交互式媒体进行解码。所述计算机可执行指令在由所述处理器执行时，通过将所述计算机产生的交互式媒体重叠在所述现实世界媒体上，来驱动与所述游戏程序相关联的交互性的一部分。所述计算机产生的交互式媒体是基于所述现实世界媒体来产生。
根据以下结合举例说明本公开中所描述的实施方案的原理的附图进行的详述，所描述的其它方面将变得显而易见。
附图简述
通过参考以下结合附图进行的描述，可以最好地理解本公开中描述的各种实施方案，在附图中：
图1A是根据本公开中描述的一个实施方案的系统的图，所述系统用于使用游戏云端与头戴式显示器(HMD)或手持式控制器(HHC)之间有所减少的跃点数目在HMD中产生增强虚拟现实场景。
图1B是根据本公开中描述的一个实施方案的系统的图，所述系统用于通过网络和路由器在HMD或HHC与游戏云端之间传送数据以便在HMD中产生增强虚拟现实场景。
图1C是根据本公开中描述的一个实施方案的系统的图，所述系统用于使用控制台来传达媒体数据并且用于使用或不使用路由器来传达输入数据和/或媒体数据和/或现实世界环境数据以便在HMD中产生增强虚拟现实场景。
图2是根据本公开中描述的一个实施方案的系统的图，所述系统用于示出基于用户的头部动作和/或手部动作产生输入数据。
图3是根据本公开中描述的一个实施方案的HMD的图，所述HMD是图1A的HMD的实例。
图4A是根据本公开中描述的一个实施方案的图像的图，所述图像是显示在图3的HMD的显示屏上以便来访问无线网络。
图4B是根据本公开中描述的一个实施方案的图像的图，所述图像是显示在计算机的显示屏上以便访问无线网络。
图5A是根据本公开中描述的一个实施方案的游戏图像的图，所述图像是显示在图3的HMD的显示屏上，其中HMD的显示屏的外围区域具有低分辨率且中心区域具有高分辨率。
图5B是根据本公开中描述的一个实施方案的游戏图像的图，所述图像是显示在图3的HMD的显示屏上，其中HMD的显示屏的顶部区域和底部区域具有低分辨率且在顶部区域与底部区域之间的区域具有高分辨率。
图5C是根据本公开中描述的一个实施方案的游戏图像的图，所述图像是显示在图3的HMD的显示屏上，其中HMD的显示屏的右侧区域和左侧区域具有低分辨率且介于右侧区域与左侧区域之间的区域具有高分辨率。
图6是示出根据本公开中描述的一个实施方案的各种类型HHC的图。
图7A是根据本公开中描述的一个实施方案的HMD的实施方案的图，所述HMD是图3的HMD的实例。
图7B是根据本公开中描述的一个实施方案的HMD的实施方案的等距视图，所述HMD是图3的HMD的实例。
图8A是示出根据本公开中描述的一个实施方案将图7B的HMD与Dualshock控制器一起使用的图。
图8B是示出根据本公开中描述的一个实施方案将图7B的HMD与MoveTM控制器一起使用的图。
图9A是示出根据本公开中描述的一个实施方案将图7B的HMD与图8A的Dualshock控制器一起使用以便在增强虚拟现实场景中玩游戏的图。
图9B是示出根据本公开中描述的一个实施方案的图9A的增强虚拟现实场景的图。
图10根据本公开中描述的一个实施方案的控制台的框图，所述控制台可兼容地与HHC和图3的HMD对接。
图11是根据本公开中描述的一个实施方案的游戏系统的实施方案的框图。
具体实施方式
本发明描述用于使用减少的跃点在头戴式系统内执行增强虚拟现实的系统和方法。举例来说，例如路由器、中继器、集线器、计算机、控制台等的网络设备向通过所述网络设备传送的数据添加跃点。一个或多个网络设备可能位于头戴式显示器(HMD)与网络之间和/或手持式控制器(HHC)与网络之间。跃点的添加可能是由于：网络设备从另一个设备接收数据；网络设备对数据的缓冲；分析数据；以及网络设备向另一个设备重新发送数据。所述系统和方法减少HMD与网络之间和/或HHC与网络之间的网络设备的数目。网络设备的数目的减少可以减少延迟，例如滞后时间、缓冲数据的时间、接收数据的时间、分析数据的时间、重新发送数据的时间等。当减少了延迟时，使用HMD和/或HMC以最小的延迟来显示通过网络从游戏云端接收到的高密度图形。高密度图形是用来产生增强虚拟现实场景。应注意，本公开中描述的各种实施方案可以在没有这些具体细节中的一些或全部的情况下实践。在其它情况下，没有详细描述众所周知的处理操作，以避免不必要地混淆本公开中描述的各种实施方案。
在一些实施方案中，系统包括计算机、HHC和HMD。在各种实施方案中，计算机可以是执行呈现在显示器上的交互式游戏程序的一个或多个部分的专用计算机、游戏控制台、移动电话、平板计算机或其它这类设备。在这些实施方案中，在游戏云端系统(例如一个或多个虚拟机(VM))中执行交互式游戏程序的任何其余部分。在一些实施方案中，游戏云端系统包括许多服务器，所述服务器执行游戏程序来在游戏设备(例如，HMD、计算机屏幕、电视屏幕等)上产生游戏环境。例如，在物力资源(例如处理器、存储设备、服务器等)之上执行虚拟机监控程序(hypervisor)，以便执行许多操作系统和许多计算机软件应用程序来产生数据，所述数据进一步用来在HMD上产生游戏环境。游戏控制台的实例包括Sony ComputerEntertainmentTM公司和其它制造商所制造的游戏控制台。交互式游戏程序可以是由多个用户来玩的多用户游戏程序或由用户与计算机来玩的单用户游戏程序。
在一些实施方案中，在游戏云端系统上或在计算机上执行交互式游戏程序的全部部分。
HMD是戴在用户头上或作为头盔的部分的设备，其具有位于用户的一只眼睛或每只眼睛前方的小型显示光学部件，例如透镜、玻璃等。在一些实施方案中，尽管对两只眼睛使用两个光学器件，但在HMD的显示屏上显示一个场景，例如虚拟场景、扩大的虚拟现实场景等。两只眼睛看见一个场景。
在一些实施方案中，HMD能够接收并呈现来自计算机的视频输出。在各种实施方案中，HHC和/或HMD与计算机无线通信，因为这种无线通信与有线连接相比而言提供了HHC和/或HMD的更大行动自由。
HHC可包括用于向交互式游戏程序提供输入的各种特征中的任何一个，例如像按钮、操纵杆、方向板、触发器、触摸板、手部示意动作、触摸屏或其它类型的输入机构等。HHC的一个实例是Sony Computer EntertainmentTM公司制造的Sony Dualshock 4控制器。HHC的其它实例包括由其它实体制造且具有任何型号和任何版本号的控制器。
此外，HHC可以是运动控制器，其允许用户与交互式游戏程序对接并且通过使运动控制器移动来向交互式游戏程序提供输入。运动控制器的一个实例是Sony ComputerEntertainmentTM公司制造的PlayStation MoveTM控制器。
类似地，HMD可包括用户输入电路，其允许用户与交互式游戏程序对接并且通过使HMD移动来向交互式游戏程序提供输入。可使用各种技术来检测运动控制器和/或HMD的定位和移动。例如，运动控制器和/或用户输入电路可包括各种类型的惯性传感器电路，如加速计、陀螺仪和磁力计。在一些实施方案中，加速计是6轴低延迟加速计。在一些实施方案中，运动控制器和/或HMD可包括一个或多个固定的参考对象，例如发光二极管(LED)、有色点、反光体、标记、逆反射材料、预定义的形状、预定义的颜色、预定义的对象、条形码、标签、快速响应(QR)码等，且由一个或多个数码摄像机来捕获所述固定的参考对象的图像。在一些实施方案中，数码摄像机包括视频摄像机，所述视频摄像机进一步包括单个电荷耦合设备(CCD)、LED指示器和基于硬件的实时数据压缩与编码装置，以便可用适当格式(如基于图像内的运动图片专家组(MPEG)标准)传输压缩后的视频数据。于是，可通过分析由一个或多个数码摄像机捕获的图像来确定运动控制器和/或HMD的定位和移动。
图1A是系统100的实施方案的图，所述系统用于使用游戏云端102与HMD 104或HHC106之间有所减少的跃点数目在HMD 104中产生增强虚拟现实场景。在一些实施方案中，游戏云端102在本文中被称为游戏云端系统。在各种实施方案中，用户108将HMD 104放在他的头上以便HMD 104的透镜位于他/她的眼睛前方，其方式与用户108戴上头盔的方式类似。在一些实施方案中，像眼镜(例如验光眼镜、护目镜等)一样戴上HMD 104。在许多实施方案中，HMD 104覆盖用户108的两只眼睛。用户108将HHC 106握在他/她的手中。
在各种实施方案中，使用用户108的手而不是HHC 106来向HMD 104提供示意动作，例如手部示意动作、手指示意动作等。例如，HMD 104内的数码摄像机捕获示意动作的图像，且HMD 104内的处理器分析示意动作来确定HMD 104所显示的游戏是否受所述示意动作的影响。
如本文中所使用，处理器可以是微处理器、可编程逻辑设备(PLD)、专用集成电路(ASIC)或其组合。
系统100包括网络110，其可以是局域网(LAN)、广域网(WAN)或其组合。网络110的实例包括互联网、内部网或其组合。在一些实施方案中，网络110使用传输控制协议(TCP)/互联网协议(IP)或用户数据报协议/IP(UDP/IP)在游戏云端102与HMD 104或HHC 106之间通过网络110传达媒体数据。在各种实施方案中，网络110使用以太网协议、TCP/IP协议或所述两个协议在游戏云端102与HMD 104或HHC 106之间通过网络110传达媒体数据。游戏云端102包括编码器/解码器(编码解码器)112和串流缓冲器114。串流缓冲器114存储在执行游戏程序117时产生的媒体数据116的串流。游戏程序117是交互式游戏程序的实例并且是由游戏云端102的一个或多个服务器来执行。
媒体数据116包括虚拟环境数据、虚拟游戏对象数据、其组合等。在各种实施方案中，呈现虚拟环境数据来产生游戏的虚拟环境，且呈现虚拟游戏对象数据来产生一个或多个虚拟游戏对象，例如虚拟游戏人物、虚拟点、虚拟奖品、游戏界面等。
在一些实施方案中，游戏的虚拟环境包括虚拟游戏对象。虚拟环境的实例包括虚拟地理区，例如虚拟城市、虚拟道路、虚拟湖泊、虚拟海洋等。
编码解码器112的实例包括压缩器/解压缩器。例如，编码解码器112对媒体数据116进行编码/解码。压缩的实例包括有损压缩、无损压缩等。
在一些实施方案中，编码解码器112执行分包(packetization)和拆包(depacketization)，且执行编码和解码。在这些实施方案中，编码解码器112包括串流缓冲器114。
用户108使用HMD 104来存取由HMD 104的处理器执行的操作系统(OS)。例如，用户108通过按钮开启HMD 104，并且HMD 104的处理器执行OS。
在一些实施方案中，OS允许HMD 104访问网络110。例如，当用户108选择由HMD 104的处理器在OS之上执行的网络访问应用程序(例如网络访问图标、网络访问符号等)时，网络访问应用程序向HMD 104的微控制器提供网络列表，以便显示给用户108。用户108使用用户输入电路在选择所述网络中的一个，用来访问网络110。例如，用户108执行一个或多个头部动作，例如头部倾斜、眨眼、注视、凝视、点头、摇头等，用户输入电路检测到所述头部动作来产生用于选择所述网络中的一个的输入。作为另一个实施例，用户108选择HHC 106上的按钮来选择所述网络中的一个，且由HHC 106的通信电路将这个选择从HHC 106传达到HMD104。通信电路的实例包括收发器、发射/接收电路、网络接口控制器或其组合等。网络访问应用程序还向用户108请求密码(例如安全密钥、数字密码等)来访问网络110。在验证密码有效后，网络访问应用程序允许用户108访问网络110。
一旦访问网络110，OS就允许HMD 104访问游戏程序117。例如，当用户108选择由HMD 104的处理器在OS之上执行的游戏访问应用程序(例如游戏访问图标、游戏访问符号等)时，游戏访问应用程序请求通过网络110访问游戏程序117。例如，用户108执行一个或多个头部动作，用户输入电路检测到所述头部动作来产生用于选择游戏访问应用程序的输入。作为另一个实施例，用户108选择HHC 106上的按钮来选择游戏访问应用程序，且由HHC106的通信电路将这个选择从HHC 106传达到HMD 104。
在通过网络110得以访问游戏程序117后，HMD 104的微控制器在HMD 104的显示屏上显示游戏。在一些实施方案中，HMD 104的显示屏是高性能屏，以便在HMD 104快速移动时减少模糊。用户108执行头部动作中的一个或多个且每个头部动作触发用户输入电路来产生输入，所述输入可用来玩游戏。在一些实施方案中，用户108使用他/她的手执行选择HHC106的一个或多个按钮，且每个手部动作(例如，按压手指、移动手指、旋转手指、向上移手指、向下移手指、向右移手指、向左移手指等)触发HHC 106来产生输入，所述输入可用来玩游戏。
在一些实施方案中，游戏访问应用程序向用户108请求用户名和/或密码来访问游戏程序117。在从游戏云端102接收到对用户名和/或密码有效的验证后，游戏访问应用程序允许用户108访问游戏程序117。在一些实施方案中，用户108通过执行手部动作中的一个或多个和/或执行头部动作中的一个或多个来提供用户名和/或密码。
在各种实施方案中，代替访问所述游戏访问应用程序，用户108在访问网络110后请求访问网页，且网页允许用户108访问游戏程序117。例如，用户108通过执行手部动作中的一个或多个来通过用户输入电路选择web浏览器应用程序，或通过执行头部动作中的一个或多个来通过HHC 106选择web浏览器应用程序，以便访问网页。在访问网页后，用户108玩所述网页上显示的游戏。当在游戏云端102上执行游戏程序117时，显示游戏。
在一些实施方案中，在访问网页来玩在游戏云端102上执行游戏程序117时所显示的游戏之前，验证用户108的用户名和/或密码。验证用户名和/或密码的方式与用户108通过游戏访问应用程序访问游戏时的上述方式类似。
当访问游戏程序117时，编码解码器112对媒体数据116的数字数据串流进行编码，例如压缩等，以便通过网络110将已编码媒体数据的数字数据串流发送到HMD 104。在一些实施方案中，已编码媒体数据的数字数据串流是呈数据包的形式，以便通过网络110发送。HMD 104通过网络110从编码解码器112接收已编码媒体数据的数字数据串流，并且对数字数据串流进行处理(例如解码、拆包等)和呈现，以便在HMD 104的显示屏上显示游戏。
当在HMD 104的显示屏上显示游戏时，HMD 104的外部视频摄像机捕获围绕用户108的现实世界环境的一个或多个图像。现实世界环境的实例包括用户108所在的房间、用户108所在的地理区、用户108周围的现实世界对象等。地理区的实例包括公园、道路、街道、湖泊、城市、地标等。现实世界对象的实例包括公交站台、咖啡店、商店、扑克牌、一副扑克牌、桶、瓶子、电话、移动电话、扑克牌上的条形码、办公室、运载工具、房间、办公桌、桌子、椅子等。现实世界环境数据(现实世界环境的一个或多个图像的数据)由HMD 104进行分包和编码，并且作为已编码环境数据的串流通过网络110发送到编码解码器112。例如，当不通过路由器发送现实世界环境数据时，通过网络110将现实世界环境数据从HMD 104直接发送到游戏云端102。在一些实施方案中，现实世界环境数据包括音频数据、视频数据或其组合。在各种实施方案中，现实世界环境数据在本文中被称为现实世界媒体。
在一些实施方案中，代替HMD 104的外部视频摄像机，或除了HMD 104的外部视频摄像机之外，使用可移动的数码摄像机来捕获现实世界环境的图像。例如，将视频摄像机耦合到机器人设备，用来捕获围绕并且包括用户108的现实世界环境的图像。机器人设备的实例包括多旋翼直升机(multicopter)、机器人手臂、机器人、机器人运载工具、机器人汽车、四旋翼直升机(quadcopter)等。例如，关于机器人设备(例如，在机器人设备的下方、上方、一侧等)附接视频摄像机，以便捕获围绕HMD 104、用户108和/或HHC 106的现实世界的图像。
在接收到已编码现实世界环境数据的串流后，编码解码器112对已编码现实世界环境数据进行解码，且游戏云端102的一个或多个服务器对串流进行拆包。在一些实施方案中，从HMD 104接收到的已编码现实世界环境数据的串流是由游戏云端102首先进行拆包然后进行解码。
基于已解码现实世界环境数据，游戏程序117产生其它媒体数据，游戏云端102的一个或多个服务器对其它媒体数据进行分包来产生其它媒体数据的串流。例如，游戏程序117产生将要在现实世界办公桌的图像之上显示的虚拟游戏人物。作为另一个实施例，游戏程序117产生将要在用户108的现实世界办公室的图像内显示的虚拟显示屏。
在一些实施方案中，基于现实世界对象之间的现实世界关系产生虚拟游戏对象。例如，在现实世界中，在真实的道路上驾驶真实的汽车。在这个实施例中，当游戏程序117接收到现实世界道路的图像时，产生虚拟汽车。作为另一个实施例，真实的电话或真实的计算机是放在真实办公室的真实办公桌上。在这个实施例中，虚拟电话或虚拟显示屏是放在位于现实世界办公室中的现实世界办公桌的图像上。其它媒体数据包括虚拟游戏对象数据和/或虚拟环境数据。虚拟游戏对象数据和虚拟环境数据的实例包括计算机产生的对象数据、由游戏云端102的一个或多个服务器产生的对象数据等。
在一些实施方案中，其它媒体数据包括由游戏云端102的一个或多个服务器产生的虚拟游戏对象数据，且包括通过网络110从HMD 104接收到的现实世界环境数据。
其它媒体数据的串流被存储在串流缓冲器114中，由编码解码器112进行编码，并且作为已编码其它媒体数据的串流通过网络110发送到HMD 104。在一些实施方案中，将其它媒体数据首先进行编码，然后进行分包，以便产生已编码其它媒体数据的串流。HMD 104接收已编码其它媒体数据的串流，对串流进行拆包，并且对已编码其它媒体数据进行解码，以便将其它媒体数据提供给HMD 104的微控制器。
HMD 104的微控制器基于其它媒体数据改变由游戏程序117执行的游戏的显示。例如，HMD 104的微控制器呈现虚拟游戏对象数据来产生虚拟游戏对象的一个或多个图像，并且微控制器将虚拟游戏对象叠加在HMD 104的外部视频摄像机所捕获的现实世界环境的一个或多个图像上。作为另一个实施例，将虚拟形象或虚拟游戏人物重叠在扑克牌的条形码之上。
作为对叠加在现实世界环境的一个或多个图像上的虚拟游戏对象的例示，改变现实世界环境中的桌子的样子(例如，颜色、形状、纹理等)。作为另一个例示，移除现实世界房间内的全部现实世界对象，一些现实世界对象除外。
在玩游戏期间，例如在将虚拟游戏对象叠加在现实世界环境的一个或多个图像上之前或之后，从HMD 104和/或HHC 106接收一个或多个输入。例如，用户108在戴上HMD 104后执行头部动作中的一个或多个。执行一个或多个头部动作来控制叠加在现实世界环境的一个或多个图像上的虚拟游戏对象或虚拟环境(例如，改变其位置，改变其姿态，改变其样子，改变其运动等)。作为另一个实施例，用户108执行手部动作中的一个或多个(例如按压按钮、移动操纵杆、手部示意动作、手指示意动作、其组合等)来控制叠加在现实世界环境的一个或多个图像上的虚拟游戏对象或虚拟环境，且在执行一个或多个手部动作时，HHC 106产生输入数据，HHC 106的通信电路将输入数据转换成输入信号，以便发送到HMD 104的通信电路。在许多实施方案中，用户108执行头部动作和/或手部动作来改变重叠在现实世界环境的一个或多个图像上的虚拟对象的位置和/或定向。HMD 104的通信电路将输入信号从模拟形式转换成数字形式来产生输入数据，且HMD 104对输入数据进行分包和编码并且通过网络110发送到编码解码器112。
在一些实施方案中，游戏程序117映射基于一个或多个头部动作产生的输入数据与基于一个或多个手部动作产生的输入数据，以便确定是否要改变HMD 104上显示的游戏的状态。例如，当通过网络110接收到指示头部倾斜的输入与指示按压HHC 106上的按钮的输入时，游戏程序117确定要改变游戏的状态。否则，游戏程序117确定不改变游戏的状态。
基于一个或多个头部动作和/或一个或多个手部动作产生的输入的输入数据由HMD 104进行分包和编码，并且作为已编码输入数据的串流通过网络110发送到编码解码器112。例如，当不通过路由器发送输入数据时，通过网络110将输入数据从HMD 104直接发送到游戏云端102。路由器可放在HMD 104与网络110之间，用来在HMD 104与网络110之间将数据选路传输(例如，传递、发送)到已定址的设备等。
编码解码器112对通过网络110从HMD 104接收到的已编码输入数据的串流进行解码(例如解压缩等)，且在串流缓冲器114中对已解码输入数据进行缓冲以便拆包并发送到游戏程序117。游戏云端102的一个或多个服务器对已解码输入数据的串流进行拆包并且将输入数据发送到游戏程序117。在一些实施方案中，游戏云端102首先执行拆包，然后执行解码。
基于输入数据，游戏程序117产生下一个媒体数据，游戏云端102的一个或多个服务器对下一个媒体数据进行分包以便产生下一个媒体数据的串流。下一个媒体数据的串流被存储在串流缓冲器114中，由编码解码器112进行编码，且作为已编码下一个媒体数据的串流通过网络110发送到HMD 104。在一些实施方案中，在将下一个媒体数据通过网络110发送到HMD 104之前，首先对下一个媒体数据进行编码，然后进行分包。HMD 104接收已编码下一个媒体数据的串流，对串流进行拆包，且对已编码下一个媒体数据进行解码，以便向HMD104的微控制器提供下一个媒体数据。
在一些实施方案中，游戏环境包括媒体数据116、或其它媒体数据、或下一个媒体数据或其组合。
HMD 104的微控制器基于下一个媒体数据改变由游戏程序117执行的游戏的显示。例如，微控制器改变叠加在现实世界环境的一个或多个图像上的虚拟游戏对象的样子、定位和/或定向。作为另一个实施例，当用户108点头时，在通过执行游戏程序117所产生的游戏的虚拟世界中，用户108的虚拟形象也点头。在这个实施例中，虚拟形象被叠加在现实世界环境的一个或多个图像上。作为又一个实施例，当用户108摇动他/她的头表示拒绝时，在通过执行游戏程序117所产生的游戏的虚拟世界中，用户108的虚拟形象也摇动它的头表示拒绝。在这个实施例中，虚拟形象被叠加在现实世界环境的一个或多个图像上。作为另一个实施例，当用户108看着HMD 104的显示屏上显示的虚拟游戏人物时，虚拟游戏人物回看着用户108。当用户108从虚拟游戏人物身上移开目光时，虚拟游戏人物从用户108身上移开目光。在这个实施例中，虚拟形象被叠加在现实世界环境的一个或多个图像上。此外，在这个实施例中，HMD 104的外部视频摄像机捕获用户108的眼睛或头部位置的图像。基于眼睛的或头部位置的注视，游戏程序117改变虚拟游戏人物的眼睛的位置。
应注意，基于一个或多个头部动作和/或一个或多个手部动作产生的输入的输入数据改变游戏的状态。在一些实施方案中，游戏的显示在本文中被称为与游戏程序117相关联的交互性的一部分。
在各种实施方案中，代替将基于一个或多个手部动作产生的输入数据从HHC 106传达到HMD 104，将输入数据通过网络110从HHC 106直接传达到编码解码器112。例如，当不通过HHC 106与网络110之间的路由器(未示出)传达输入数据时，将输入数据通过网络110从HHC 106直接传达到编码解码器112。HHC 106传达来自HMD 104的基于一个或多个手部动作产生的输入数据，其方式与HMD 104传达输入数据的方式类似。例如，来自HMD 104的基于一个或多个手部动作产生的输入数据由HHC 106进行编码和分包，且作为已编码输入数据的串流通过网络110发送到编码解码器112。
应注意，HMD 104与网络110之间没有路由器(未示出)减少了网络110与HMD 104之间的跃点数目。在没有路由器的实施方案中，游戏云端102的编码解码器112将数据(例如，媒体数据116、其它媒体数据、下一个媒体数据等)通过网络110直接串流传输到HMD 104的无线访问卡(WAC)。此外，在这些实施方案中，HMD 104的WAC将数据(例如，输入数据、现实世界环境数据等)通过网络110直接串流传输到游戏云端102的编码解码器112。跃点数目的减少节省了与路由器相关联的时间。例如，路由器从另一个网络设备接收数据，对数据进行缓冲，分析数据，并且将数据重新发送到另一个网络设备。当通过绕过路由器来在HMD 104与游戏云端102之间通过网络110传送数据时，节省了接收数据、对数据进行缓冲、分析数据并重新发送数据的时间。同样，当通过绕过路由器来在HHC 106与游戏云端102之间通过网络110传送数据时，节省了接收数据、对数据进行缓冲、分析数据并重新发送数据的时间。
类似地，当在HMD 104或HHC 104与网络110之间不使用计算机(例如，控制台、移动设备等)，节省了与数据的接收、存储、分析和重新发送相关联的时间。
图1B是系统150的实施方案的图，所述系统用于通过网络110和路由器152在HMD104或HHC 106与游戏云端102之间传送数据。系统150与系统100(图1A)类似，只是系统150包括在HMD 104与网络110之间的路由器152。路由器152还位于HHC 106与网络110之间。
HMD 104通过无线连接(例如，蓝牙连接、Wi-Fi连接等)耦合到路由器152。此外，HHC 106通过无线连接(例如，蓝牙连接、Wi-Fi连接等)耦合到路由器152。在一些实施方案中，路由器152通过有线连接耦合到网络110。
系统150操作的方式与系统100(图1A)的方式类似，只是已编码数据的串流是从HMD 104或HHC 106发送到路由器152。路由器152将已编码数据的串流选路传输(例如，传递等)到网络110中的路径，以便于将串流发送到编码解码器112。路由器152使用编码解码器112的IP地址和/或媒体访问层(MAC)地址将已编码数据的串流选路传输到编码解码器112。在一些实施方案中，路由器152基于一个或多个网络流量因素(例如，网络路径上的数据包流量、网络路径上的拥塞等)确定网络110的网络路径。
路由器152通过网络110从游戏云端102接收已编码数据的串流，且将已编码数据的串流选路传输到HMD 104。例如，路由器152基于HMD 104的IP地址和/或MAC地址将通过网络110从游戏云端102接收到的已编码数据的串流选路传输到HMD 104。
图1C是系统170的实施方案的图，所述系统用于使用计算机172来传达媒体数据并且用于使用或不使用路由器152来传达输入数据和/或媒体数据和/或现实世界环境数据。
在一些实施方案中，在耦合到计算机172或位于计算机172内的显示屏上而不是在HMD 104上呈现无线网络的列表。例如，当计算机172是移动电话时，计算机172包括用于显示无线网络的列表的显示屏。作为另一个实施例，当计算机172耦合到电视显示屏时，在显示屏上显示无线网络的列表。在这些实施方案中，当计算机172的处理器176执行存储在计算机172的存储设备内的无线访问应用程序时，访问无线网络的列表。当用户108通过执行一个或多个头部动作和/或一个或多个手部动作时来通过HMD 104或HHC 106访问所述无线访问应用程序时，处理器176执行无线访问应用程序。从HMD 104或HHC 106的通信电路将基于一个或多个头部动作和/或一个或多个手部动作产生的输入数据发送到计算机172。当计算机172的处理器176接收到输入数据时，执行无线访问应用程序来产生无线网络的列表。
计算机172包括网络接口控制器(NIC)174，其向游戏云端102请求游戏程序117的一部分。NIC的实例包括网络接口卡和网络适配器。游戏程序117的所述部分由编码解码器112进行编码并且通过网络110串流传输到计算机172的NIC 174。计算机172的处理器176执行游戏程序117的所述部分来产生媒体数据，将所述媒体数据从通信电路178(例如，收发器、发射/接收电路、网络接口控制器等)发送到HMD 104以便在HMD 104的显示屏上显示。HMD 104的通信电路从计算机172接收媒体数据并且将媒体数据发送到HMD 104的微控制器以便在HMD 104的显示屏上显示。
此外，计算机172的通信电路178从HMD 104的通信电路接收现实世界环境数据。对现实世界环境数据做出响应，处理器176执行存储在计算机172内的游戏程序117的所述部分来产生其它媒体数据，将所述其它媒体数据从通信电路178发送到HMD 104的通信电路。
在接收其它媒体数据之前或之后，HMD 104的通信电路将来自HMD 104和/或HHC106的输入数据通过通信电路178发送到处理器176，所述输入数据是基于一个或多个头部动作和/或一个或多个手部动作产生的。对输入数据做出响应，处理器176执行存储在计算机172内的游戏程序117的所述部分来产生下一个媒体数据，将所述下一个媒体数据从通信电路178发送到HMD 104的通信电路。将下一个媒体数据发送到HMD 104的通信电路来改变通过执行游戏程序117所显示的游戏的虚拟游戏对象和/或虚拟环境。当游戏对象(例如，真实游戏对象、虚拟游戏对象等)和/或环境(例如，真实环境、虚拟环境等)改变时，通过执行游戏程序117所显示的游戏的游戏状态改变。
在一些实施方案中，计算机172的NIC 174将游戏状态通过路由器152和网络110发送到游戏云端102，以便将游戏状态告知游戏云端102的一个或多个服务器。
在各种实施方案中，将媒体数据(例如，媒体数据116、其它媒体数据、下一个媒体数据等)通过网络110和路由器152从编码解码器112发送到HMD 104，直到游戏程序117的一部分得以从游戏云端102下载到计算机172。例如，用户108最初使用游戏访问应用程序来访问游戏程序117。在对游戏程序117的所述部分的访问期间，将媒体数据(例如，媒体数据116、其它媒体数据、下一个媒体数据等)通过网络110和路由器152从编码解码器112发送到HMD 104以便在HMD 104的显示屏上显示。在对来自游戏云端102的媒体数据进行存取以便在HMD 104上显示的时间期间，计算机172的NIC 174通过网络110和路由器152从游戏云端102下载游戏程序117的一部分。
在一些实施方案中，当计算机172访问游戏程序117的所述部分时，将媒体数据(例如，媒体数据116、其它媒体数据、下一个媒体数据等)通过网络110从编码解码器112发送到HMD 104以便在HMD 104的显示屏上显示。在这些实施方案中，绕过路由器152以便减少跃点数目。在绕过路由器152之后，在对来自游戏云端102的媒体数据(例如，媒体数据116、其它媒体数据、下一个媒体数据等)进行存取以便在HMD 104上显示的时间期间，计算机172的NIC 174通过网络110和路由器152从游戏云端102下载游戏程序117的一部分。
在许多实施方案中，将基于一个或多个头部动作和/或一个或多个手部动作产生的输入数据的一部分和/或现实世界环境数据的一部分通过路由器152和网络110从HMD104发送到游戏云端102的编码解码器112，且将输入数据的其余部分和/或现实世界环境数据的其余部分从HMD 104的通信电路发送到计算机172的通信电路178。
在各种实施方案中，将基于一个或多个手部动作产生的输入数据的一部分通过路由器152和网络110从HHC 106的通信电路发送到游戏云端102的编码解码器112，且将输入数据的其余部分从HHC 106的通信电路发送到计算机172的通信电路178。
在一些实施方案中，将基于一个或多个头部动作和/或一个或多个手部动作产生的输入数据的一部分和/或现实世界环境数据的一部分通过网络110从HMD 104发送到游戏云端102的编码解码器112，且将输入数据的其余部分和/或现实世界环境数据的其余部分从HMD 104的通信电路发送到计算机172的通信电路178。在这些实施方案中，绕过路由器152。
在一些实施方案中，将基于一个或多个手部动作产生的输入数据的一部分通过网络110从HHC 106的通信电路发送到游戏云端102的编码解码器112，且将输入数据的其余部分从HHC 106的通信电路发送到计算机172的通信电路178。在这些实施方案中，绕过路由器152。
在各种实施方案中，将通过执行游戏程序117所产生的媒体数据(例如，媒体数据116、其它媒体数据、下一个媒体数据等)通过网络110和路由器152从游戏云端102的编码解码112发送到HMD 104，以便呈现媒体数据，从而在HMD 104的显示屏上显示游戏，且将通过计算机172的处理器176执行游戏程序117的所述部分所产生的媒体数据从计算机172的通信电路178发送到HMD 104以便在显示屏上显示游戏。在这些实施方案中，游戏云端102和计算机172具有同步的游戏状态。例如，编码解码器112将通过执行游戏程序117所产生的游戏状态通过网络110和路由器152发送到计算机172的NIC 174，以便将游戏状态告知计算机172。作为另一个实施例，计算机172的NIC 174将通过在计算机172上执行游戏程序117的所述部分所产生的游戏状态通过路由器152和网络110发送到游戏云端102的编码解码112，以便将游戏状态告知一个或多个游戏云端服务器。
在一些实施方案中，将通过执行游戏程序117所产生的媒体数据(例如，媒体数据116、其它媒体数据、下一个媒体数据等)通过网络110从游戏云端102的编码解码112发送到HMD 104，以便呈现媒体数据，从而在HMD 104的显示屏上显示游戏，且将通过计算机172的处理器176执行游戏程序117的所述部分所产生的媒体数据从计算机172的通信电路178发送到HMD 104以便在显示屏上显示游戏。在这些实施方案中，在将媒体数据(例如，媒体数据116、其它媒体数据、下一个媒体数据等)从编码解码器112发送到HMD 104时，绕过路由器152。在这些实施方案中，游戏云端102和计算机172如上所述具有同步的游戏状态。
在一些实施方案中，与通过计算机172的处理器176执行游戏程序117的一部分所产生的媒体数据相比，通过执行游戏程序117所产生并且通过网络110和路由器152从游戏云端102的编码解码器112发送到HMD 104以便在HMD 104的显示屏上呈现媒体数据的媒体数据(例如，媒体数据116、其它媒体数据、下一个媒体数据等)具有更大数量的图形。
在一些实施方案中，与通过计算机172的处理器176执行游戏程序117的一部分所产生的媒体数据相比，通过执行游戏程序117所产生并且通过网络110从游戏云端102的编码解码器112发送到HMD 104以便在HMD 104的显示屏上呈现媒体数据的媒体数据(例如，媒体数据116、其它媒体数据、下一个媒体数据等)具有更大数量的图形。在这些实施方案中，在将媒体数据通过网络110从游戏云端102的编码解码器112发送到HMD 104时，绕过路由器152。
在各种实施方案中，使用HMD 104(图1A至图1C、图2)来显示二维图像或三维图像。
图2是系统200的实施方案的图，所述系统用于示出基于一个或多个头部动作和/或一个或多个手部动作产生输入数据。用户108戴着HMD 202且握着HHC 204。HMD 202是HMD104(图1A至图1C)的实例且HHC 204是HHC 106(图1A至图1C)的实例。
HMD 202包括一个或多个标记，例如标记M1、标记M2和标记M3等。类似地，HHC 204包括一个或多个标记，例如标记M4、标记M5和标记M6等。每个标记可以是发光二极管、光源、颜色、反射材料等。
视频摄像机206捕获HMD 202的图像。当用户108的头部倾斜或移动时，标记M1至M3的定位和位置在xyz坐标系统中改变。视频摄像机206捕获标记M1至M3的图像且将图像发送到计算机172。标记M1至M3的图像是输入数据的实例。HMD 202在三维空间(X,Y,Z)中的定位可由计算机172的处理器176(图1C)基于图像中的标记M1至M3的定位来确定。此外，HMD 202的惯性运动(例如，偏转(yaw)、倾斜和滚动等)是由计算机172的处理器176(图1C)基于标记M1至M3的移动来确定。
在各种实施方案中，视频摄像机206是可移动的。例如，视频摄像机206附接到机器人设备，例如多旋翼直升机、机器人手臂、机器人、机器人运载工具、机器人汽车、四旋翼直升机等。例如，关于机器人设备(例如，在机器人设备的下方、上方、一侧等)附接视频摄像机206，以便捕获用户108和/或HMD 202和/或HHC 204的图像。HMD 202随着用户108的头部移动而移动。在一些实施方案中，使用数码摄像机来代替视频摄像机206。
在一些实施方案中，视频摄像机206捕获HHC 204的图像。当用户108的手移动时，标记M4至M6的定位和位置在坐标系统中改变。视频摄像机206捕获标记M4至M6的图像且将图像发送到计算机172。标记M4至M6的图像是输入数据的实例。HHC 204在三维空间(X,Y,Z)中的定位可由计算机172的处理器176基于图像中的标记M4至M6的定位来确定。此外，HHC204的惯性运动(例如，偏转、倾斜和滚动等)是由计算机172的处理器176基于标记M4至M6的移动来确定。
在一些实施方案中，用户108的手而不是HHC 204标有标记M4至M6。
图3是HMD 250的实施方案的图，所述HMD是HMD 104(图1A至图1C)的实例。HMD 250包括视频音频分离器254、视频解码器255、WAC 258、串流缓冲器259、一个或多个扬声器260、用户输入电路262、显示屏266、微控制器268、音频缓冲器272、外部视频摄像机274、音频编码解码器276、内部数码摄像机278、视频缓冲器280、视频音频同步器282、麦克风284和控制器/计算机通信电路287。外部视频摄像机274面向用户108的现实世界环境，且内部数码摄像机278面向用户108，例如用户108的眼睛、头等。
在许多实施方案中，扬声器260是音频电路。在各种实施方案中，音频编码解码器276、音频缓冲器272和/或扬声器260是音频电路。在一些实施方案中，视频解码器255与微控制器268的组合在本文中被称为游戏处理电路。在各种实施方案中，微控制器268是显示电路。显示屏的实例包括LED屏、液晶显示器(LCD)屏、硅基液晶屏(liquid crystal onsilicon screen)、有机LED(OLED)屏、等离子屏等。外部数码摄像机274的实例包括由SonyComputer Entertainment公司制造的Playstation
微控制器268存储呈现程序286和操作系统288。呈现程序286和操作系统288是存储在微控制器268的存储设备中，并且由微控制器268的微处理器来执行。微控制器268的实例包括低成本微控制器，其包括驱动程序，例如LCD驱动程序，所述驱动程序驱动(例如，产生信号来提供给，产生信号来激活等)显示屏266的元件(例如LCD)来在显示屏266上显示游戏。微控制器268的另一个实例包括图形处理单元(GPU)和存储设备。
在一些实施方案中，微控制器268的存储设备并不是闪存和随机存取存储器(RAM)。例如，微控制器的存储设备是缓冲器。在各种实施方案中，微控制器268的存储设备是闪存或RAM。用户输入电路262的实例包括陀螺仪、磁力计和加速计。WAC 258的实例包括NIC。在一些实施方案中，WAC 258在本文中被称为通信电路。
从网络110或路由器152(图1B至图1C、图2)将已编码媒体数据的串流接收到串流缓冲器259中。串流缓冲器259所接收的已编码媒体数据的实例包括已编码的媒体数据116(图1A至图1C、图2)、已编码的其它媒体数据、已编码的下一个媒体数据等。应注意，当路由器152耦合到计算机172(图2)时，从计算机172接收到的数据是存储在HMD 250的缓冲器(未示出)中而不是存储在串流缓冲器259中。
WAC 258从串流缓冲器259存取已编码媒体数据的串流并且对串流进行拆包。此外，WAC 258还包括解码器，用来对已编码媒体数据进行解码。
在计算机172(图1C)通过路由器152(图1C)接收已编码媒体数据的串流的实施方案中，计算机172的NIC 174(图1C)对已编码媒体数据的串流进行拆包和解码来产生已解码数据，所述已解码数据由路由器152发送到HMD 250的缓冲器(未示出)以便进行存储。
视频音频分离器254从WAC 258或HMD 250的缓冲器(未示出)存取已解码数据。视频音频分离器254将已解码数据内的音频数据与视频数据分开。
视频音频分离器254将音频数据发送到音频缓冲器272且将视频数据发送到视频缓冲器280。视频音频同步器282使存储在视频缓冲器280内的视频数据与存储在音频缓冲器272内的音频数据同步。例如，视频音频同步器282使用视频数据和音频数据的播放时间来使视频数据和音频数据同步。
音频编码解码器276将同步的音频数据从数字格式转换成模拟格式以便产生音频信号，且扬声器260播放音频信号来产生声音。视频解码器255对同步的视频数据进行解码，例如从数字形式变为模拟形式等，以便产生视频信号。微控制器268基于由视频解码器255产生的同步模拟视频信号执行呈现程序286，以便在显示屏266上显示游戏。在一些实施方案中，在显示屏266上显示的游戏是与音频信号的播放同步显示的。
此外，用户108(图1A至图1C、图2)对着麦克风284说话，所述麦克风将声音(例如语音)信号转换成电信号(例如音频信号)。音频编码解码器276将音频信号从模拟格式转换成数字格式来产生音频数据，所述音频数据存储在音频缓冲器276中。存储在音频缓冲器276中的音频数据是基于用户108的声音产生的输入数据的实例。WAC 258从音频缓冲器276存取音频数据，以便通过网络110(图1A至图1C、图2)发送到游戏云端102(图1A至图1C、图2)的编码解码器112(图1A至图1C)。例如，WAC 258对从音频缓冲器276存取的音频数据进行分包和编码，以便通过网络110发送到编码解码器112。
在一些实施方案中，WAC 258从音频缓冲器276存取音频数据，以便通过路由器152(图1B至图1C、图2)和网络110(图1A至图1C、图2)发送到游戏云端102的编码解码器112(图1A至图1C)。例如，WAC 258对从音频缓冲器276存取的音频数据进行分包和编码，以便通过路由器152和网络110发送到编码解码器112。
内部数码摄像机278捕获用户108(图1A至图1C、图2)的一个或多个头部动作的一个或多个图像来产生图像数据，所述图像数据是基于一个或多个头部动作产生的输入数据的实例。类似地，外部视频摄像机274捕获现实世界环境的一个或多个图像和/或位于HMD250上或位于用户108的手上的标记的一个或多个图像和/或用户108的手的一个或多个图像来产生图像数据，所述图像数据是输入数据的实例。基于位于用户108的手上的标记或基于用户108的手的移动所产生的图像数据是基于手部动作产生的输入数据的实例。将摄像机274和278所捕获的图像数据存储在视频缓冲器280中。
在一些实施方案中，将数码摄像机274和278所捕获的图像数据存储在HMD 250的缓冲器中，且所述缓冲器并不是视频缓冲器280。在各种实施方案中，摄像机274和278所捕获的图像数据由视频解码器255进行解码并且被发送到微控制器268以便在显示屏266上显示图像。
在一些实施方案中，WAC 258从视频缓冲器280存取摄像机274和278所捕获的图像数据，以便通过网络110(图1A至图1C、图2)发送到游戏云端102(图1A至图1C、图2)的编码解码器112(图1A至图1C)。例如，WAC 258对从视频缓冲器280存取的图像数据进行分包和编码，以便通过网络110发送到编码解码器112。
在一些实施方案中，WAC 258从视频缓冲器280存取视频数据，以便通过路由器152(图1B至图1C、图2)和网络110(图1A至图1C、图2)发送到游戏云端102的编码解码器112(图1A至图1C)。例如，WAC 258对从视频缓冲器280存取的视频数据进行分包和编码，以便通过路由器152和网络110发送到编码解码器112。
控制器/计算机通信电路287从计算机172接收媒体数据，以便存储在HMD 250的缓冲器(未示出)中。此外，控制器/计算机通信电路287从HHC 106(图1A至图1C、图2)接收输入信号，将输入信号从模拟形式转换成数字形式以便产生输入数据，WAC 258存取所述输入数据以便通过网络110(图1A至图1C、图2)发送到游戏云端102(图1A至图1C、图2)的编码解码器112(图1A至图1C)。例如，WAC 258对从控制器/计算机通信电路287存取的输入数据进行分包和编码，以便通过网络110发送到编码解码器112。
在一些实施方案中，WAC 258从控制器/计算机通信电路287存取输入数据以便通过路由器152(图1B至图1C、图2)和网络110(图1A至图1C、图2)发送到游戏云端102的编码解码器112(图1A至图1C)。例如，WAC 258对从视频缓冲器280存取的视频数据进行分包和编码，以便通过路由器152和网络110发送到编码解码器112。
在一些实施方案中，控制器/计算机通信电路287从HHC 106(图1A至图1C、图2)接收现实世界环境数据，WAC 258存取现实世界环境数据以便通过网络110(图1A至图1C、图2)发送到游戏云端102(图1A至图1C、图2)的编码解码器112(图1A至图1C)。例如，WAC 258对控制器/计算机通信电路287从HHC 106的通信电路接收到的现实世界环境数据进行分包和编码，以便通过网络110发送到编码解码器112。
在一些实施方案中，WAC 258从控制器/计算机通信电路287存取现实世界环境数据，以便通过路由器152(图1B至图1C、图2)和网络110(图1A至图1C、图2)发送到游戏云端102的编码解码器112(图1A至图1C)。例如，WAC 258对从控制器/计算机通信电路287存取的现实世界环境数据进行分包和编码，以便通过路由器152和网络110发送到编码解码器112。
应注意，可使用两个分开的通信电路来代替控制器/计算机通信电路287，一个用于与计算机172(图1B)传达(例如，接收、发送等)数据，且另一个用于与HHC 106(图1A至图1C、图2)传达数据。
在许多实施方案中，WAC 258的解码器位于WAC 258外。在各种实施方案中，串流缓冲器259位于WAC 258内。
在一些实施方案中，HMD 250包括任何数量的微控制器、任何数量的缓冲器和/或任何数量的存储设备。
在各种实施方案中，HMD 250包括一个或多个电池，其提供电力给部件，例如，视频音频分离器254、无线访问卡258、串流缓冲器259、一个或多个扬声器260、用户输入电路262、显示屏266、微控制器268、音频缓冲器272、外部视频摄像机274、音频编码解码器276、内部数码摄像机278、视频缓冲器280、视频音频同步器282、麦克风284和控制器/计算机通信电路287。用插入到交流电插座中的充电器(未示出)对一个或多个电池充电。
在一些实施方案中，HMD 250包括通信电路(未示出)以便于通过配对在局部用户之间进行对等型多信道通信。例如，HMD 250包括收发器，其对从麦克风284接收的声音信号进行调制并且将调制信号通过信道发送到另一个HMD(未示出)的收发器。另一个HMD的收发器对信号进行解调以便提供给另一个HMD的扬声器，以便于在用户之间进行通信。
在各种实施方案中，HMD 250的收发器使用不同的信道来与不同的其它HMD通信。例如，将调制信号发送到第一个其它HMD所通过的信道不同于将调制信号发送到第二个其它HMD所通过的信道。
在一些实施方案中，WAC 258、用户输入电路262、微控制器268和视频解码器255是集成在一个或多个单独的电路芯片中。例如，WAC 258、视频解码器255和微控制器268是集成在一个电路芯片中，且用户输入电路262被集成到另一个电路芯片中。作为另一个实施例，WAC 258、用户输入电路262、微控制器268和视频解码器255中的每一个被集成在一个单独的电路芯片中。
在一些实施方案中，HMD 250没有外部数码摄像机274且/或没有内部数码摄像机278。在这些实施方案中，HMD 250的定位和运动是由游戏云端102的一个或多个服务器和/或由计算机172(图1C)的处理器176(图1C)基于输入数据来确定，所述输入数据是由用户输入电路262产生且通过网络110(图1A至图1C、图2)发送或通过路由器152(图1B至图1C、图2)和网络110发送或通过路由器152、计算机172和网络110发送。
在一些实施方案中，当内部数码摄像机278不能看到用户108的眼睛或头时和/或当视频摄像机206(图2)不能看到用户108的头时，用户输入电路262产生输入数据。在这些实施方案中，HMD 250的定位和运动是由游戏云端102的一个或多个服务器和/或由计算机172(图1C)的处理器176(图1C)基于输入数据来确定，所述输入数据是通过网络110(图1A至图1C、图2)发送到游戏云端102或通过路由器152(图1B至图1C、图2)和网络110发送或通过路由器152、计算机172和网络110发送。
在一些实施方案中，HMD 250(例如HMD 250的WAC 258)在两种或更多种模式之间切换。第一种模式包括在HMD 250与游戏云端102(图1A至图1C、图2)之间通过网络110(图1A至图1C、图2)传达数据时使用路由器152(图1B至图1C、图2)和计算机172(图1C和图2)。第二种模式包括在HMD 250与游戏云端102之间通过网络110传达数据时使用路由器152。在第二种模式中，在传达数据时绕过计算机172。第三种模式包括在HMD 250与游戏云端102之间通过网络110传达数据时使用网络110。在第三种模式中，在传达数据时绕过路由器152和计算机172。
在一些实施方案中，用户108使用HMD 104与HHC 106，且在单个增强虚拟现实游戏场景中表示HMD 104的定位和运动以及HHC 106的定位和运动。例如，在通过执行游戏程序117所产生并且在HMD 104中显示的增强虚拟现实游戏内，将HHC 106表示为虚拟的剑。在这个实施例中，游戏具有增强虚拟现实游戏场景，其中所述剑叠加在现实世界森林的图像上。当用户108将他/她的头向左转时，向用户108展示森林的左边部分，且当用户108将他/她的头向右转时，向用户108展示森林的右边部分。森林的所述部分的显示是基于HMD 104的定位和移动。此外，当用户108使HHC 106向左移动且使HMD 104向左移动时，向用户展示剑在森林的左边部分中指向左。当用户108使HHC 106向左移动且使HMD 104向右移动时，向用户108展示森林的右边部分且在右边部分中不显示剑。此外，当用户108使HHC 106向右移动且使HMC 104向右移动时，向用户展示剑在森林的右边部分中指向右。当用户108使HHC 106向右移动且使HMD 104向左移动时，向用户108展示森林的左边部分且在左边部分中不显示剑。在森林的一部分中显示或不显示剑是基于HHC 106的定位和运动。
图4A是图像300的实施方案的图，所述图像是显示在HMD 250(图3)的显示屏266上，用来访问无线网络。图像300是在微控制器268(图3)执行网络访问应用程序时由微控制器268(图3)产生的。图像300包括网络(例如，无线网络A、无线网络B、无线网络C等)的列表，HMD 250可连接到所述网络以便从游戏云端102访问游戏程序117。用户108通过执行一个或多个头部动作和/或一个或多个手部动作来选择无线网络A、无线网络B、无线网络C中的一个，以便将HMD 250连接到所述无线网络。
在许多实施方案中，图像300包括所列出的任何数量的无线网络。
图4B是图像310的实施方案的图，所述图像是显示在计算机172(图2)的显示屏312上，用来访问无线网络。图像310是在计算机172的处理器176(图2)执行网络访问应用程序时由计算机172的GPU产生的。图像310包括网络(例如，无线网络A、无线网络B、无线网络C等)的列表，HMD 250可通过路由器152和计算机172连接到所述网络以便从游戏云端102访问游戏程序117。用户108通过执行一个或多个头部动作和/或一个或多个手部动作来选择无线网络A、无线网络B、无线网络C中的一个，以便将HMD 250通过路由器152和计算机172连接到所述无线网络。
在许多实施方案中，图像310包括所列出的任何数量的无线网络。
图5A是显示在显示屏321上的游戏图像320的图，所述显示屏是显示屏266(图3)的实例。微控制器268(图3)用低分辨率显示图像320的外围区域322，且微控制器268用高分辨率显示中心区域324。高分辨率高于较低的比率。外围区域322与显示屏321的边缘E1至E4相邻。
在一些实施方案中，边缘E1垂直于边缘E2且垂直于边缘E4。边缘E3垂直于边缘E2和E4且平行于边缘E1。在各种实施方案中，边缘E1大致上(例如，以范围为87度至93度的角度等)垂直于边缘E2且垂直于边缘E4。边缘E3大致上垂直于边缘E2和E4且大致上平行于边缘E1。
应注意，在一些实施方案中，显示屏321为任何形状，例如，矩形、正方形、圆形、卵形、多边形、曲线形等。
基于内部数码摄像机278(图3)所捕获的注视的图像，微控制器268(图3)将显示屏321分成区域322和324。例如，在确定用户108(图1A至图1C、图2)注视着中心区域324时，微控制器268确定中心区域324具有高分辨率，确定外围区域322具有低分辨率，并且执行呈现程序286以便用高分辨率显示中心区域324且用低分辨率显示外围区域322。
图5B是显示在显示屏321上的图像330的实施方案的图。图像330具有顶部外围区域332和底部外围区域334。顶部外围区域332与边缘E1相邻，且底部外围区域334与边缘E3相邻。外围区域332和334具有低分辨率，且中间区域336具有高分辨率。中间区域336与边缘E2和E4相邻定位且位于区域332与334之间。
基于内部数码摄像机278(图3)所捕获的注视的图像，微控制器268(图3)将显示屏321分成区域332、334和336。例如，在确定用户108(图1A至图1C、图2)注视着中间区域336时，微控制器268确定中间区域336具有高分辨率，确定外围区域332和334具有低分辨率，并且执行呈现程序286以便用高分辨率显示中间区域336且用低分辨率显示外围区域332和334。
在一些实施方案中，外围区域332的分辨率不同于外围区域334的分辨率。例如，外围区域332具有介于低分辨率与高分辨率之间的中等分辨率，且外围区域334具有低分辨率。作为另一个实施例，外围区域334具有中等分辨率且外围区域332具有低分辨率。
图5C是显示在显示屏321上的图像340的实施方案的图。图像340具有右边外围区域342和左边外围区域344。右边外围区域342与边缘E2相邻，且左边外围区域344与边缘E4相邻。外围区域342和344具有低分辨率，且中间区域346具有高分辨率。中间区域346与边缘E1和E3相邻定位且位于区域342与344之间。
基于内部数码摄像机278(图3)所捕获的注视的图像，微控制器268(图3)将显示屏321分成区域342、344和346。例如，在确定用户108(图1A至图1C、图2)注视着中间区域346时，微控制器268确定中间区域346具有高分辨率，确定外围区域342和344具有低分辨率，并且执行呈现程序286以便用高分辨率显示中间区域346且用低分辨率显示外围区域342和344。
在一些实施方案中，外围区域342的分辨率不同于外围区域344的分辨率。例如，外围区域342具有介于低分辨率与高分辨率之间的中等分辨率，且外围区域344具有低分辨率。作为另一个实施例，外围区域344具有中等分辨率且外围区域342具有低分辨率。
在各种实施方案中，可使用任何其它头部动作(而不是注视)来确定显示屏321的一个或多个区域具有高分辨率并且确定显示屏321的一个或多个区域具有低分辨率。
在一些实施方案中，显示屏的外围区域为任何形状，例如，曲线形、半圆形、多边形等，且显示屏的中心区域或中间区域为任何形状，例如，矩形、圆形、多边形、椭圆形、曲线形等。
图6是示出各种类型的HHC 350、352、354、356、358和360的图。每个HHC 350、352、354、356、358和360是HHC 106(图1A至图1C、图2)的实例。如所示，HHC 350具有回旋镖的形状，HHC 352具有麦克风的形状，且HHC 354具有方向盘的形状。此外，HHC 356是用户108戴在他/她手上的手套，HHC 358是用户108穿在他/她上半身上的夹克、上衣、衬衫等，且HHC360是用户108穿在他/她下半身上的裤子。
每个HHC 350、352、354、356、358和360包括一个或多个反馈机构，例如，传感器、机械压缩器、机械增重器、机械减重器、机械解压缩器、振动机构、触觉反馈机构、加热器、冷却器、电震器(electrical shocker)等，其用于在玩通过执行游戏程序117(图1A至图1C、图2)所显示的增强虚拟现实游戏期间向用户108提供反馈。
在各种实施方案中，用户108将HHC 356戴在他/她手上，并且在玩通过执行游戏程序117所显示的增强虚拟现实游戏期间抚摸虚拟的狗。虚拟的狗被叠加在现实世界公共公园图像上。触觉反馈机构向用户108提供触觉反馈，以便允许用户108感觉就好像用户108在抚摸真实的狗一样。当用户108举起虚拟的狗时，增重器用来允许用户108感觉就好像用户108在举起真实的狗一样。
在许多实施方案中，用户108除了戴着HMD 104之外还将HHC 356戴在他/她手上，且HMD 104产生现实世界地点(例如，东京、纽约等)的场景。当用户108伸出他/她的手去抓住一杯虚拟咖啡时，执行游戏程序117来在场景中显示用户108的虚拟手，以便产生增强虚拟现实场景。当用户108举起杯子时，增重器向用户108的真手应用重量，以便允许用户108感觉就好像用户108在举起现实世界的杯子一样。当用户108将杯子放在所述场景中的现实世界桌子的图像上时，减重器减少应用到用户108的真手的重量，以便允许用户108感觉就好像用户108在放下现实世界的杯子一样。
在一些实施方案中，用户108除了戴着HMD 104之外还穿着HHC 358，并且在现实世界海洋的视频中作为虚拟人物进行虚拟水肺潜水。机械增重器增加应用到用户108的重量，以便允许用户108感觉就好像用户108在真实的海洋中进行水肺潜水一样且感觉到用户108上方的水的重量。类似地，随着用户108接近海洋的表面，机械减重器减少应用在用户108身上的重量。
在一些实施方案中，每个HHC 350、352、354、356、358和360包括一个或多个固定的参考对象(上文提供其实施例)，用来确定HHC的定位和运动。
在各种实施方案中，HHC 106具有任何形状，例如，矩形、圆形、卵形、多边形、曲线形、螺旋形等。
图7A是HMD 370的实施方案的图。HMD 370是HMD 250(图3)的实例。HMD 370包括带子372和374，当用户108戴上HMD 370时，所述带子在用户108(图1A至图1C、图2)的头后面。此外，HMD 370包括耳机376A和376B(例如，扬声器等)，其发出与通过执行游戏程序117(图1A至图1C)来玩的游戏相关联的声音。HMD 370包括透镜378A和378B，其允许用户108看到通过执行游戏程序117来玩并且是显示在显示屏266(图3)上的游戏。凹槽380搁在用户108的鼻子上，以便将HMD 370支撑在鼻子上。
在一些实施方案中，用户108戴上HMD 370的方式与用户108戴上太阳镜、眼镜或阅读用眼镜的方式类似。
图7B是HMD 400的实施方案的等距视图，HMD 400是HMD250(图3)的实例。在一些实施方案中，HMD 400是Sony Computer Entertainment America LLC研究与开发的产品。HMD400包括头部支撑架402。HMD 400进一步包括标记，例如：LED 404A和404B，红外光发射器406A、406B、406C、406D、406E、406F、406G和406H。红外光发射器的实例包括LED。HMD 400包括开启/关闭开关408，其允许开启或关闭HMD 400。
所述标记是用来确定HMD 400的定位和运动。例如，随着用户108(图1A至图1C、图2)的头部的移动，外部视频摄像机274(图3)所捕获的LED 404A和404B的图像的大小发生改变。基于所述大小，计算机172(图3)的处理器或游戏云端102(图1A至图1C、图2)的一个或多个服务器确定HMD 400在坐标系统中的定位和运动。
图8A是示出根据本公开中描述的一个实施方案将图7B的HMD 400与Dualshock控制器450一起使用的图。用户108操作Dualshock控制器450来改变叠加在现实世界场景上的虚拟对象(例如，虚拟汽车、虚拟人物等)的定位和/或运动。在HMD 400上显示虚拟对象在现实世界场景上的叠加。
图8B是示出根据本公开中描述的一个实施方案将HMD 400图7B与MoveTM控制器(例如HHC 352)一起使用的图。用户108操作move控制器来改变叠加在现实世界场景上的虚拟对象(例如，剑、笔等)的定位和/或运动。在HMD 400上显示虚拟对象在现实世界场景上的叠加。
图9A是示出根据本公开中描述的一个实施方案将图7B的HMD 400与Dualshock控制器450一起使用以便在增强虚拟现实场景中玩游戏的图。用户108操作Dualshock控制器450和HMD 400来在增强虚拟现实场景中玩游戏。由视频摄像机208捕获的图像确定Dualshock控制器450和HMD 400的定位和位置。
图9B是示出根据本公开中描述的一个实施方案的增强虚拟现实场景410的图。在用户108戴着的HMD 400上显示增强虚拟现实场景410。当用户108执行手部动作中的一个或多个来操作Dualshock控制器450(图9A)时，执行游戏程序117(图1A至图1C、图2)来在增强虚拟现实场景410中显示虚拟方向盘411。此外，执行游戏程序117来显示现实世界环境(例如，现实世界街道、用户108的真手等)的图像。用户108的真手的图像412A和412B叠加在虚拟方向盘411上。在一些实施方案中，执行游戏程序117来在虚拟环境上叠加现实世界环境的图像。
在各种实施方案中，在增强虚拟现实场景410中显示虚拟的手(例如，戴手套的手、有颜色的手等)，而不是图像412A和412B。在许多实施方案中，在增强虚拟现实场景410中使用虚拟街道的图像，而不是现实世界街道的图像413。
图10是可兼容地与HHC 106和HMD 104(图1A至图1C、图2)对接的控制台500的实施方案的框图。控制台500可用来执行并呈现游戏程序117的一部分。控制台500可兼容地使HHC 106和HMD 104(图1A至图1C、图2)与游戏程序117对接。控制台500具备可连接到控制台500的各种外围设备。控制台500具有：单元处理器528、动态随机存取存储器(XDRAM)单元526、具有专用视频随机存取存储器(VRAM)单元532的现实合成器图形单元(RSX)530，以及输入/输出(I/O)桥534。控制台500还包括：用于从磁盘540a进行读取的Blu盘只读存储器(BD-ROM)光盘读取器540，以及可移除的吸入式硬盘驱动器(HDD)536，所述Blu盘只读存储器(BD-ROM)光盘读取器和可移除的吸入式硬盘驱动器(HDD)可通过I/O桥534存取。任选地，控制台500还包括用于读取压缩闪存卡、Memory存储卡等的存储卡读卡器538，所述存储卡读卡器类似地可以通过I/O桥534存取。
I/O桥534还连接到通用串行总线(USB)2.0端口524、千兆以太网端口522、IEEE802.11b/g无线网络(Wi-Fi)端口520以及能够支持蓝牙连接的蓝牙无线链接端口518。
在操作中，I/O桥534处理全部无线数据、通用串行总线(USB)数据和以太网数据，所述数据包括来自一个或多个游戏控制器502和503的数据和来自HMD 505的数据，HMD 505是HMD 250(图3)的实例。例如，当用户108(图1A至图1C、图2)在玩通过执行游戏程序117(图1A)的一部分所产生的游戏时，I/O桥534通过蓝牙链接从游戏控制器502或503或从HMD 505接收输入数据并且将输入数据传递到单元处理器528，所述单元处理器相应地更新游戏的当前状态。每个游戏控制器502和503是HHC 106(图1A至图1C、图2)的实例。
无线端口、USB端口和以太网端口还提供用于除游戏控制器502和503以及HMD 505之外的其它外围设备的连接性，其它外围设备例如像：遥控器504、键盘506、鼠标508、如Sony Playstation娱乐设备的便携式娱乐设备510、如视频摄像机的视频摄像机512、麦克风头戴式耳机514，以及麦克风515。因此，这类外围设备原则上可以无线连接到控制台500，例如，便携式娱乐设备510可通过Wi-Fi专用连接来通信，而麦克风头戴式耳机514可通过蓝牙链接来通信。
提供这些接口意味着控制台500潜在地也与其它外围设备兼容，所述其它外围设备如：数字视频录像机(DVR)、机顶盒、数码摄像机、便携式媒体播放器、IP语音电话、移动电话、打印机以及扫描仪。
另外，旧版存储卡读卡器516可通过USB端口524连接到控制台500，从而允许读取控制台500所使用的种类的存储卡548。
游戏控制器502和503以及HMD 505可操作来通过蓝牙链接与控制台500无线通信，或连接到USB端口，因此还提供电力，用来对游戏控制器502和503以及HMD 505的电池充电。在一些实施方案中，游戏控制器502和503以及HMD 505中的每一个还可包括：存储器；处理器；存储卡读卡器；如闪存的永久存储器；如照亮的球形部分、LED或红外灯的光发射器；用于超声波通信的麦克风和扬声器；声学腔；数码摄像机；内部时钟；面向游戏控制台的如球形部分的可辨认形状；使用例如像蓝牙、Wi-Fi等协议的无线通信。
游戏控制器502设计成由用户108的两只手来使用，且游戏控制器503是带有附件的单手控制器。HMD 505设计成装配在用户108的头顶上和/或眼睛前方。除了一个或多个模拟操纵杆和常规控制按钮之外，每个游戏控制器502和503也可以接受数位位置确定。类似地，HMD 505可以接受数位位置确定。因此，除了常规按钮或操纵杆命令之外或代替常规按钮或操纵杆命令，可将游戏控制器502和503以及HMD 505的用户108的示意动作和移动转化为游戏的输入。任选地，如PlaystationTM便携式设备的其它带无线功能的外围设备可用作控制器。在PlaystationTM便携式设备的情况下，可在设备的显示屏上提供其它的游戏或控制信息(例如，控制指令或生命数)。还可以使用其它替代或补充控制设备，所述控制设备如：跳舞毯(未示出)；光枪(未示出)；以及方向盘与踏板(未示出)或定制的控制器，所述定制的控制器如用于快速响应问答比赛的单个或多个大型按钮(也未示出)。
遥控器504也可操作来通过蓝牙链接与控制台500无线通信。遥控器504包括适合于Blu RayTM光盘BD-ROM读取器540的操作并且适合于导览光盘内容的控制件。
除了常规预先录制的且可录制的CD和所谓的超音频CD之外，Blu RayTM光盘BD-ROM读取器540还可操作来读取与控制台500兼容的CD-ROM。除了常规预先录制的且可录制的DVD之外，读取器540还可操作来读取与控制台500兼容的数字视频光盘ROM(DVD-ROM)。读取器540进一步可操作来读取与控制台500兼容的BD-ROM以及常规预先录制的且可录制的Blu-Ray光盘。
控制台500可操作来通过音频连接器550和视频连接器552将通过现实合成器图形单元530所产生或解码的音频和视频供应给显示和声音输出设备542，如具有显示屏544和一个或多个扬声器546的监视器或电视机。音频连接器550可包括常规的模拟和数字输出，而视频连接器552可不同地包括分量视频、S视频、复合视频和一个或多个高清晰度多媒体接口(HDMI)输出。因此，视频输出可以是如PAL或NTSC的格式，或是520p、1080i或1080p的高清晰度。
音频处理(产生、解码等)是由单元处理器528执行。控制台500的操作系统支持5.1环绕立体声、剧场环绕(DTS)，以及对来自光盘的7.1环绕立体声的解码。
在一些实施方案中，视频摄像机(例如视频摄像机512等)包括单个电荷耦合设备(CCD)、LED指示器以及基于硬件的实时数据压缩和编码装置，以便可用适当格式(如基于图像内的MPEG(运动图片专家组)标准)传输压缩后的视频数据，以便由控制台500解码。视频摄像机512的LED指示器被布置成响应来自控制台500的适当控制数据进行照明，以便例如表明不利的照明条件。视频摄像机512的实施方案可通过USB、蓝牙或Wi-Fi通信端口不同地连接到控制台500。视频摄像机的实施方案可包括一个或多个相关联的麦克风且还能够传输音频数据。在视频摄像机的实施方案中，CCD可具有适合于高清晰度视频捕获的分辨率。在使用中，视频摄像机所捕获的图像可例如并入游戏内或解释为游戏控制输入。在另一个实施方案中，视频摄像机是适合于检测红外光的红外摄像机。
在各种实施方案中，为了通过控制台500的通信端口中的一个与例如像视频摄像机或遥控器的外围设备进行成功的数据通信，提供一段软件，如设备驱动程序。
在一些实施方案中，上述系统设备(包括控制台设备、便携式HHC和便携式HMD)允许HHC和便携式HMD显示并捕获游戏程序117(图1A至图1C)的交互式会话的视频。控制台设备开始游戏程序117的交互式会话，所述交互式会话定义用户108与游戏程序117之间的交互性。系统设备确定用户108所操作的HHC和/或HMD的初始定位和定向。控制台设备基于用户108与游戏程序117之间的交互性来确定游戏程序117的当前状态。系统设备在用户108与游戏程序117的交互式会话期间追踪HHC和/或HMD的定位和定向。系统设备基于游戏程序117的当前状态以及HHC和/或HMD的所追踪定位和定向来产生交互式会话的分离器视频串流。在一些实施方案中，HHC在HHC的显示屏上呈现分离器视频串流。在各种实施方案中，HMD在HMD的显示屏上呈现分离器视频串流。
图11是根据本公开中描述的各种实施方案的游戏系统600的框图。在一些实施方案中，游戏系统600是云端游戏系统，其中在由虚拟机监控程序在资源与VM之间建立关系之后，使用一个或多个资源(例如，服务器、存储设备等)来执行VM(例如，操作系统、软件应用程序等)。游戏系统600用来通过网络615向一个或多个客户端610提供视频串流，网络615是网络110(图1A至图1C、图2)的实例。游戏系统600包括视频服务器系统620和任选的游戏服务器625。视频服务器系统620用来以一定的服务质量向一个或多个客户端610提供视频串流。例如，视频服务器系统620可接收改变视频游戏(例如，通过执行游戏程序116(图1A至图1C)来玩的游戏等)的状态或所述视频游戏内的视角的游戏命令，并且以最小的滞后时间给客户端610提供反映这种状态变化的更新后的视频串流。视频服务器系统620可用来以多种替代视频格式(包括还未定义的格式)提供视频串流。此外，视频串流可包括用于以多种帧速率呈现给用户108(图1A至图1C、图2)的视频帧。典型的帧速率是每秒30帧、每秒60帧和每秒620帧。但是本公开中描述的各种实施方案中包括更高或更低的帧速率。
客户端610(本文中各自被称为610A、610B等)可包括HMD 104(图1A至图1C、图2)、HHC 104(图1A至图1C、图2)终端、个人计算机、游戏控制台、平板计算机、电话、机顶盒、无线设备、数字板、独立设备和/或类似设备。客户端610用来接收已编码视频串流，对视频串流进行解码，并且将所得的视频呈现给用户108(例如游戏玩家)。接收已编码视频串流和/或对视频串流进行解码的过程包括将各个视频帧存储在客户端的接收缓冲器中。可以在与客户端610成一体的显示器上或在如监视器或电视的单独设备上将视频串流呈现给用户108。
客户端610任选地用来支持一个以上的游戏玩家。例如，游戏控制台可用来支持两个、三个、四个或更多个同时玩家。这些玩家中的每一个可接收单独的视频串流，或单个视频串流可包括特别针对每个玩家所产生(例如，基于每个玩家的视角所产生)的帧的多个区。
客户端610任选地在地理上分散开。游戏系统600中所包括的客户端的数目可从一个或两个广泛变化到几千个、几万个或更多个。如本文中所使用，术语“游戏玩家”是用来指玩游戏的人，且术语“玩游戏的设备”是用来指用来玩游戏(例如，通过执行游戏程序116(图1A至图1C)来玩的游戏等)的设备。在一些实施方案中，玩游戏的设备可以指多个计算设备，其进行合作来向用户108传达游戏体验。例如，游戏控制台和HMD 104(图1A至图1C、图2)可与视频服务器系统620合作来传达通过HMD 104看到的游戏。在一个实施方案中，游戏控制台从视频服务器系统620接收视频串流，且游戏控制台将视频串流或对视频串流的更新转发给HMD 104以便呈现。
客户端610用来通过网络615接收视频串流。网络615可以是任何类型的通信网络，其包括电话网络、互联网、无线网络、电力线网络、局域网、广域网、私有网络和/或类似网络。在一些实施方案中，通过如TCP/IP或UDP/IP的标准协议来传达视频串流。在许多实施方案中，通过专有标准来传达视频串流。
客户端610中的一个的典型实例是个人计算机，所述个人计算机包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力以及一个或多个输入设备。解码逻辑可包括硬件、固件和/或存储在非暂时性计算机可读介质上的软件。
客户端610可以(但不需要)进一步包括用于修改接收到的视频的系统。例如，客户端可用来：执行进一步呈现，将一个视频图像叠加在另一个视频图像上，修剪视频图像，和/或类似者。作为另一个实施例，客户端将虚拟世界环境叠加在现实世界环境的图像上，以便在显示屏上创建增强虚拟现实场景。作为另一个实施例，客户端610可用来接收各种类型的视频帧，如帧内编码图片(I帧)、预测帧(P帧)和双向预测图片帧(B帧)，并且将这些帧处理成图像以便向用户108显示游戏，例如，通过执行游戏程序116(图1A至图1C)来玩的游戏等。在一些实施方案中，客户端610的部件用来对视频串流执行进一步呈现、阴影处理、转换成3-D或类似操作。客户端610的部件任选地用来接收一个以上的音频或视频串流。
客户端610的输入设备可包括：例如，单手游戏控制器、双手游戏控制器、示意动作识别系统、注视识别系统、语音识别系统、键盘、操纵杆、指向设备、力反馈设备、运动和/或位置传感设备、鼠标、触摸屏、神经接口、摄像机、还未开发出的输入设备，和/或类似设备。
客户端610所接收的视频串流和任选的音频串流是由视频服务器系统620产生并提供的。这个视频串流包括视频帧，且音频串流包括音频帧。在适当数据结构中包括像素信息的视频帧在很大程度上构成向用户108显示的图像。如本文中所使用，术语“视频帧”是用来指主要包括如下信息的帧，这个信息是用来构成(例如，实现等)用户108所玩的游戏(例如，通过执行游戏程序116(图1A至图1C)来玩的游戏等)的图像。本文中关于“视频帧”的大部分教义也可以适用于“音频帧”。
在各种实施方案中，客户端610用来从用户108接收输入。这些输入可包括用来改变视频游戏(例如，通过执行游戏程序116(图1A至图1C)来玩的游戏等)的状态或以其它方式影响玩游戏的游戏命令。可使用输入设备(例如，用户输入电路262(图4)等)接收游戏命令，且/或可由在客户端610上执行的计算指令自动产生游戏命令。将接收到的游戏命令通过网络615从客户端610传达到视频服务器系统620和/或游戏服务器625。例如，将游戏命令通过视频服务器系统620传达到游戏服务器625。
在一些实施方案中，将游戏命令的单独拷贝从客户端610传达到游戏服务器625和视频服务器系统620。
游戏命令的传达任选地取决于命令的身份。通过用来向客户端610A提供音频或视频串流的不同路线或通信信道，从客户端610A任选地传达游戏命令。
游戏服务器625任选地由不同于视频服务器系统620的实体来操作。例如，游戏服务器625可由游戏发行商来操作。在这个实施例中，视频服务器系统620任选地被游戏服务器625视为客户端，且任选地用来(从游戏服务器625的角度看)表现为执行游戏引擎的客户端。视频服务器系统620与游戏服务器625之间的通信任选地通过网络615发生。因此，游戏服务器625可以是向多个客户端发送游戏状态信息的多玩家游戏服务器，所述客户端中的一个是视频服务器系统620。
视频服务器系统620可用来同时与游戏服务器625的多个实例通信。例如，视频服务器系统620可用来向不同用户提供多个不同视频游戏。这些不同视频游戏中的每一个可由不同游戏服务器625支持且/或由不同实体发行。
在一些实施方案中，视频服务器系统620的一些地理上分布式实例用来向多个不同用户提供游戏视频。视频服务器系统620的这些实例中的每一个可与游戏服务器625的相同实例通信。
视频服务器系统620与游戏服务器625之间的通信任选地通过专用通信信道发生。例如，视频服务器系统620可通过高带宽信道连接到游戏服务器625，所述高带宽信道专门用于这两个系统之间的通信。
视频服务器系统620至少包括：视频源630、I/O设备645、处理器650，以及存储体655。视频服务器系统620可包括一个计算设备或分布在多个计算设备当中。这些计算设备任选地通过如局域网的通信系统连接起来。
视频源630用来提供视频串流，例如，串流传输视频或形成运动图片的一系列视频帧。在一些实施方案中，视频源630包括视频游戏引擎和呈现逻辑。
视频游戏引擎用来：从玩家接收游戏命令，且基于接收到的命令维持视频游戏(例如，通过执行游戏程序116(图1A至图1C)来玩的游戏等)的状态的拷贝。这个游戏状态包括游戏环境中的对象的定位，以及视角。游戏状态还可以包括对象的性质、图像、颜色和/或纹理。基于游戏规则以及游戏命令(如，移动、转动、攻击、设置焦点、互动、使用和/或类似命令)来维持游戏状态。游戏引擎的部分任选地放置在游戏服务器625内。游戏服务器625可基于使用地理上分散开的客户端从多个玩家接收到的游戏命令来维持游戏状态的拷贝。在这些情况下，游戏服务器625将游戏状态提供给视频源630，在视频源630中存储游戏状态的拷贝并且执行呈现。游戏服务器625可通过网络615从客户端610接收游戏命令，且/或可通过视频服务器系统620接收游戏命令。
视频源630包括呈现逻辑，例如，硬件、固件和/或存储在非暂时性计算机可读介质(如存储体655)上的软件。这个呈现逻辑用来基于游戏状态创建视频串流的视频帧。呈现逻辑的全部或部分任选地放置在GPU内。呈现逻辑包括用于确定多个对象之间的三维空间关系且/或用于例如基于游戏状态和视角来应用适当的纹理等的处理阶段。呈现逻辑产生原始视频，然后常常对原始视频进行编码，然后传达给客户端610。例如，可根据Adobe标准、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.、Xvid.、FFmpeg、x264、VP6-8、realvideo、mp3或类似标准对原始视频进行编码。编码过程产生视频串流，任选地将所述视频串流打包以便传达到远程设备上的解码器。
视频串流是由帧大小和帧速率来表征。典型的帧大小包括800x 600、1280x 720(例如720p)、1024x 768，但是可使用任何其它帧大小。帧速率是每秒的视频帧数。视频串流可包括不同类型的视频帧。例如，H.264标准包括“P”帧和“I”帧。I帧包括用来刷新显示设备上的全部宏块/像素的信息，而P帧包括用来刷新所述宏块/像素的子集的信息。P帧的数据大小小于I帧。如本文中所使用，术语“帧大小”打算指帧内的像素数。术语“帧数据大小”是用来指存储所述帧所需的字节数。
在一些实施方案中，视频源630包括如摄像机的视频录制设备。这个摄像机可用来产生可以包括在计算机游戏的视频串流中的延迟视频或实况视频。所得的视频串流任选地包括所呈现的图像与使用静态摄像机或视频摄像机录制的图像。视频源630还可以包括用来存储将要包括在视频串流中的先前录制视频的存储设备。视频源630还可以包括：用来检测HMD 104、HHC 106或用户108(图1A至图1C、图2)的运动或定位的运动或定位传感设备；以及用来基于所检测运动和/或定位来确定游戏状态或产生视频的逻辑。
视频源630任选地用来提供用来放在其它视频上的叠加。例如，这些叠加可包括命令界面、登入指令、发给游戏玩家的消息、其它游戏玩家的图像、其它游戏玩家的视频馈送(例如网络摄像头视频)。在客户端610A包括触摸屏界面或注视检测界面的一些实施方案中，所述叠加可包括虚拟的键盘、操纵杆、触摸板和/或类似物。在叠加的一个实施例中，将玩家的语音叠加在音频串流上。视频源630任选地进一步包括一个或多个音频源。
在使用视频服务器系统620基于来自一个以上的玩家的输入来维持游戏状态的实施方案中，每个玩家可以有不同视角，视角包括定位和观看方向。视频源630任选地用来基于玩家的视角给每个玩家提供单独的视频串流。此外，视频源630可用来向客户端610中的每一个提供不同的帧大小、帧数据大小和/或编码。视频源630任选地用来提供3-D视频。
I/O设备645是用于视频服务器系统620，用来发送和/或接收信息，所述信息如：视频、命令、对信息的请求、游戏状态、注视信息、设备运动、设备位置、用户运动、客户端身份、玩家身份、游戏命令、安全信息、音频和/或类似信息。I/O设备645包括如网络接口卡或调制解调器的通信硬件。I/O设备645用来与游戏服务器625、网络615和/或客户端610通信。
处理器650用来执行本文中讨论的视频服务器系统620的各种部件内所包括的逻辑，例如软件。例如，处理器650可编程有软件指令，以便执行视频源630、游戏服务器625和/或客户端限定器660的功能。视频服务器系统620任选地包括处理器650的一个以上的实例。处理器650还可以编程有软件指令，以便执行视频服务器系统620所接收的命令或协调本文中讨论的游戏系统600的各种元件的操作。处理器650可包括一个或多个硬件设备。处理器650是电子处理器。
存储体655包括非暂时性模拟和/或数字存储设备。例如，存储体655可包括用来存储视频帧的模拟存储设备。存储体655可包括非暂时性计算机可读数字存储体，例如，硬盘驱动器、光盘驱动器或固态存储体。存储体615(例如由适当的数据结构或文件系统)用来存储视频帧、人工帧、包括视频帧与人工帧的视频串流、音频帧、音频串流和/或类似物。存储体655任选地分布在多个设备当中。在一些实施方案中，存储体655用来存储本文中其它地方所讨论的视频源630的软件部件。这些部件可以按需要时随时可以供应的格式来存储。
视频服务器系统620任选地进一步包括客户端限定器660。客户端限定器660用于远程确定如客户端610A或610B的客户端的能力。这些能力可包括客户端610A本身的能力与介于客户端610A与视频服务器系统620之间的一个或多个通信信道的能力。例如，客户端限定器660可用来测试通过网络615的通信信道。
客户端限定器660可手动或自动地确定(例如发现)客户端610A的能力。手动确定包括：与客户端610A的用户108通信，以及要求用户108提供能力。例如，在一些实施方案中，客户端限定器660用来在客户端610A的web浏览器上显示图像、文字和/或类似物。在一些实施方案中，客户端610A是包括web浏览器的HMD，例如HMD 104等。在另一个实施方案中，客户端610A是具有web浏览器的游戏控制台，所述web浏览器可显示在HMD上。所显示的对象请求用户108输入客户端610A的信息，如操作系统、处理器、视频解码器类型、网络连接类型、显示器分辨率等。向客户端限定器660传达回用户108所输入的信息。
自动确定可例如通过在客户端610A上执行代理程序和/或通过向客户端610A发送测试视频来进行。代理程序可包括嵌入网页中或安装为加载项的计算指令，如java脚本。代理程序任选地由客户端限定器660提供。在各种实施方案中，代理程序可发现：客户端610A的处理能力、客户端610A的解码和显示能力、客户端610A与视频服务器系统620之间的通信信道的滞后时间可靠性和带宽、客户端610A的显示器类型、客户端610A的上存在的防火墙、客户端610A的硬件、在客户端610A的上执行软件、客户端610A内的注册表项和/或类似物。
客户端限定器660包括硬件、固件和/或存储在非暂时性计算机可读介质上的软件。客户端限定器660任选地放置在与视频服务器系统620的一个或多个其它元件分开的计算设备上。例如，在一些实施方案中，客户端限定器660用来确定客户端610与视频服务器系统620的一个以上的实例之间的通信信道的特性。在这些实施方案中，客户端限定器所发现的信息可用来确定视频服务器系统620的哪个实例最适合于向客户端610中的一个传达串流传输视频。
在一些实施方案中，媒体数据包括现实世界环境数据、虚拟世界环境数据或其组合。现实世界环境数据包括由现实世界环境的一个或多个图像产生的数据，现实世界环境例如：真实的汽车、真实的人、真实的地理位置、真实的结构、真实的房屋、真实的树、真实的对象、真实的生物、真实的非生物等。现实世界环境数据是在摄像机捕获现实世界环境的图像时由摄像机(例如，视频摄像机、音频摄像机等)产生的。虚拟世界环境数据是由计算机(例如，执行游戏程序117的处理器等)产生的数据。
在许多实施方案中，一个或多个用户(例如，用户108、另一个用户等)可与增强虚拟现实世界互动。如本文中所使用，术语增强虚拟现实世界包括现实世界环境和虚拟世界环境，所述虚拟世界环境是虚构(例如，计算机产生的等)环境。所述虚构环境具有由一个或多个处理器模拟的互动规则，真实的用户可通过一个或多个显示屏感知这个环境和/或可以通过一个或多个用户界面设备与这个环境互动。如本文中所使用，术语用户界面设备是指用户108可用来向增强虚拟现实世界发送输入或从增强虚拟现实世界接收输出的真实设备，例如，HMD 104、HHC 106(图1A至图1C、图2)等。增强虚拟现实世界可由一个或多个处理器模块(例如，游戏云端102(图1A至图1C、图2)的一个或多个服务器、微控制器268(图3)、处理器176(图1C)等)来模拟。一个或多个处理器模块可通过网络110(图1A至图1C、图2)链接在一起。用户108可通过用户界面设备与增强虚拟现实世界互动，所述用户界面设备可通过网络110与所述处理器模块和其它用户界面设备通信。增强虚拟现实世界的某些方面可在图形显示屏上以图形形式呈现给用户108，所述图形显示屏例如像：计算机监视器、电视监视器、显示屏266、HHC 106的显示屏，或类似的显示器。增强虚拟现实世界的某些其它方面可在扬声器(例如，扬声器260(图3)、计算机172(图1C)的扬声器、HHC 106(图1A至图1C)的扬声器等)上以可以听见的形式呈现给用户，所述扬声器可与图形显示器相关联。
在增强虚拟现实世界内，用户可由虚拟形象来表示。增强虚拟现实世界内的每个虚拟形象可以唯独与一个不同用户相关联。用户108的名字或假名可以显示在虚拟形象旁边，以便另一个用户可容易辨识用户108。用户108与增强虚拟现实世界的互动可由虚拟形象的一个或多个对应动作来表示。例如，当用户108执行头部动作时，虚拟形象执行相同的头部动作。作为另一个实施例，当用户108执行手部动作时，虚拟形象在增强虚拟现实世界中执行相同的手部动作。不同用户可以通过其虚拟形象在增强虚拟现实公共空间(例如，增强虚拟现实地理区等)中彼此互动。表示用户108的虚拟形象可以具有与人、动物或物体的外观类似的外观。呈人的形式的虚拟形象可以具有与用户108相同的性别或具有不同性别。虚拟形象可以展示在显示屏(例如，显示屏266(图3)、显示屏544(图10)、HHC 106(图1A至图1C)的显示屏、计算机172(图1C)的显示屏等)上，以便用户108可以看见虚拟形象与增强虚拟现实世界中的其它对象。
在各种实施方案中，显示屏(例如，显示屏266(图3)、显示屏544(图10)、HHC 106(图1A至图1C)的显示屏、计算机172(图1C)的显示屏等)可以从虚拟形象的视角来展示增强虚拟现实世界，而不展示虚拟形象。增强虚拟现实世界上的虚拟形象的视角可被认为是虚拟摄像机的视野。如本文中所使用，虚拟摄像机是指增强虚拟现实世界内的视角，其可以用来呈现增强虚拟现实世界内的三维场景的二维图像。用户可通过与每个大厅相关联的聊天信道来通过其虚拟形象在增强虚拟现实世界中彼此互动。用户可通过其用户界面输入文字，以便与其它用户聊天。所述文字随后可出现在用户的虚拟形象上面或旁边，例如，呈漫画书式对话泡(有时称为聊天泡)的形式。通过使用录音短语聊天系统(有时称为快速聊天)，可有助于这种聊天。在快速聊天的情况下，用户108可以从菜单选择一个或多个聊天短语。
在一些实施方案中，公共空间在如下意义上是公共的：公共空间不是唯独与任何特定的用户或用户群相关联，且没有用户或用户群可以将另一个用户从公共空间排除出去。相比之下，私有空间域多个用户中的特定用户相关联。私有空间在如下意义上是私有的：与私有空间相关联的特定用户可以限制其它用户进入所述私有空间。私有空间可呈现出常见的私有房地产的外观。在其它实施方案中，用户不需要控制在显示屏(例如，显示屏266(图3)、显示屏544(图10)、HHC 106(图1A至图1C)的显示屏、计算机172(图1C)的显示屏等)上看见的虚拟形象。虚拟空间中所展示的虚拟形象可以是由机器(例如，处理器等)控制的机器人(bot)。虚拟形象机器人因此可以在增强虚拟现实世界中到处移动，其移动方式与由用户108控制的虚拟形象类似，但是现实世界用户并不实际上控制虚拟形象机器人。虚拟形象机器人可以许多方式在空间中漫游，完成动作，发布消息，对某些消息分配权限，与其他虚拟形象机器人或由现实世界用户控制的虚拟形象互动等。更进一步，机器人可以设置成以已定义的方式互动，修改环境，发布公告，发布消息，建立虚拟空间、虚拟建筑物，或构造虚拟对象、对象的图形表示，交换真实的或虚拟的钱币等。
在一些实施方案中，叠加或重叠是透明的、半透明的或不透明的。例如，与现实世界对象叠加的虚拟对象是透明的、半透明的或不透明的。作为另一个实施例，与现实世界环境叠加的虚拟环境是透明的、半透明的或不透明的。
本公开中描述的实施方案可以通过各种计算机系统配置来实践，所述计算机系统配置包括手持式设备、微处理器系统、基于微处理器的或可编程的消费电子产品、小型计算机、大型计算机和类似物。本公开中描述的一些实施方案还可以在分布式计算环境下实践，其中由通过有线或无线网络加以链接的远程处理设备执行任务。
考虑到以上实施方案，应理解的是，本公开中描述的许多实施方案可采用各种计算机实行的操作，这些操作涉及存储在计算机系统中的数据。这些操作是需要对物理量进行物理操作的操作。本公开中描述的任何操作都是有用的机器操作，所述操作形成本公开中描述的各种实施方案的部分。本公开中描述的一些实施方案还涉及用于执行这些操作的设备或装置。所述装置可出于所需目的专门构造而成，或所述装置可以是由存储在计算机中的计算机程序选择性地激活或配置的计算机。具体来说，各种机器可与根据本文中的教义编写的计算机程序一起使用，或者可能更方便的是，构造更专用的装置来执行所需操作。
本公开中描述的各种实施方案还可以体现为非暂时性计算机可读介质上的计算机可读代码。非暂时性计算机可读介质是可以存储数据的任何数据存储设备，例如RAM、ROM、闪存、磁盘等，然后可由计算机系统对其进行读取。计算机可读介质的实例包括硬盘驱动器、网络附加存储器(NAS)、ROM、RAM、ROM光盘(CD-ROM)、可录制CD(CD-R)、可重写CD(RW)、磁带以及其它光学和非光学数据存储设备。计算机可读介质可以包括分布在网络耦合式计算机系统上的计算机可读有形介质，以使得计算机可读代码是以分布式方式存储和执行。
虽然以特定顺序描述了方法操作，但应理解的是，可在操作之间执行其它内务操作，或可调整操作以使得它们在略微不同的时间发生，或操作可分布在系统中，所述系统允许以与处理相关联的各种时间间隔发生处理操作，或者可以不同顺序执行操作，只要叠加操作的处理以所需方式执行即可。
虽然为了清楚理解的目的而略微详细地描述了前述实施方案，但很显然，可以在所附权利要求的范围内做出某些变化和修改。因此，本发明的实施方案应被认为是说明性的而非限制性的，并且本公开中描述的各种实施方案不限于本文中给出的细节，而可以在所附权利要求的范围和等效范围内进行修改。

Claims (21)

1.一种用于通过游戏云端系统玩游戏的头戴式显示器，所述头戴式显示器包括：
通信电路，其用于通过网络发送与游戏程序相关联的现实世界媒体，所述现实世界媒体由所述游戏云端系统加以处理并且从所述通信电路直接串流传输到所述游戏云端系统；以及
耦合到所述通信电路的游戏处理电路，所述游戏处理电路用于对通过所述网络从所述游戏云端系统接收到的已压缩的计算机产生的交互式媒体进行解码，其中所述游戏处理电路被配置为解压缩所述已压缩的计算机产生的交互式媒体以获得所述计算机产生的交互式媒体，所述游戏处理电路通过将所述计算机产生的交互式媒体重叠在所述现实世界媒体上，来驱动与所述游戏程序相关联的交互性的一部分，所述计算机产生的交互式媒体基于所述现实世界媒体来产生。
2.如权利要求1所述的头戴式显示器，其中所述游戏处理电路用于呈现所述现实世界媒体和所述计算机产生的交互式媒体的图像。
3.如权利要求1所述的头戴式显示器，其进一步包括：
耦合到所述游戏处理电路的用户输入电路，所述用户输入电路用于基于用户的头部动作产生输入；以及
音频电路，其用于基于所述计算机产生的交互式媒体或基于所述输入产生声音。
4.如权利要求1所述的头戴式显示器，其进一步包括耦合到所述游戏处理电路的用户输入电路，所述用户输入电路用于基于用户的头部动作产生输入，其中所述用户输入电路包括用于确定所述头戴式显示器的定位和运动的惯性传感器电路。
5.如权利要求4所述的头戴式显示器，其中所述惯性传感器电路包括陀螺仪、磁力计、加速计或其组合。
6.如权利要求1所述的头戴式显示器，其进一步包括通信电路以便于通过配对在局部用户之间进行对等型多信道通信。
7.如权利要求1所述的头戴式显示器，其中所述通信电路用于通过所述网络在用户之间进行远程交互式多用户玩游戏。
8.如权利要求1所述的头戴式显示器，其进一步包括耦合到所述游戏处理电路的用户输入电路，所述用户输入电路用于基于用户的头部动作产生输入，其中所述通信电路、所述用户输入电路和所述游戏处理电路集成在一个或多个单独的电路芯片中。
9.如权利要求1所述的头戴式显示器，其中所述游戏处理电路包括用于呈现所述现实世界媒体和所述计算机产生的交互式媒体的微处理器，所述头戴式显示器进一步包括用于缓冲所述计算机产生的交互式的缓冲器。
10.如权利要求1所述的头戴式显示器，其进一步包括用于与手持式控制器通信的通信电路。
11.如权利要求1所述的头戴式显示器，其进一步包括用于从用户接收动作来产生输入的用户输入电路，其中所述输入是用户的语音或者所述用户的注视。
12.如权利要求11所述的头戴式显示器，其中所述输入被映射到手持式控制器的输入。
13.如权利要求1所述的头戴式显示器，其中所述头戴式显示器与手持式控制器一起使用，所述手持式控制器直接与所述游戏云端系统通信。
14.如权利要求1所述的头戴式显示器，其中所述头戴式显示器与手持式控制器一起使用，其中在单个增强现实场景中表示所述头戴式显示器的定位和运动以及所述手持式控制器的定位和运动。
15.如权利要求1所述的头戴式显示器，其中所述头戴式显示器与手持式控制器一起使用，所述手持式控制器与游戏控制台通信。
16.如权利要求1所述的头戴式显示器，其中所述头戴式显示器与手持式控制器和控制台通信。
17.如权利要求16所述的头戴式显示器，其中所述手持式控制器与所述控制台通信。
18.如权利要求1所述的头戴式显示器，其进一步包括用于从用户接收动作来产生输入的用户输入电路，所述输入包括由所述用户输入电路检测到的定位和运动，其中所述通信电路将所述输入直接传达到所述游戏云端系统。
19.如权利要求1所述的头戴式显示器，其中所述计算机产生的交互式媒体通过所述网络直接从所述游戏云端系统接收。
20.一种用于通过游戏云端系统玩游戏的方法，所述方法包括：
从头戴式显示器通过网络发送与游戏程序相关联的现实世界媒体，所述现实世界媒体由所述游戏云端系统加以处理并且直接串流传输到所述游戏云端系统；以及
由所述头戴式显示器对通过所述网络从所述游戏云端系统接收到的已压缩的计算机产生的交互式媒体进行解码，其中执行所述解码以解压缩所述已压缩的计算机产生的交互式媒体以获得所述计算机产生的交互式媒体；
由所述头戴式显示器通过将所述计算机产生的交互式媒体重叠在所述现实世界媒体上，来驱动与所述游戏程序相关联的交互性的一部分，所述计算机产生的交互式媒体基于所述现实世界媒体来产生。
21.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质上存储有用于通过游戏云端系统玩游戏的计算机可执行指令，所述计算机可执行指令在由计算机的处理器执行时，执行以下操作：
从头戴式显示器通过网络发送与游戏程序相关联的现实世界媒体，所述现实世界媒体由所述游戏云端系统加以处理并且直接串流传输到所述游戏云端系统；以及
由所述头戴式显示器对通过所述网络从所述游戏云端系统接收到的已压缩的计算机产生的交互式媒体进行解码，其中执行所述解码以解压缩所述已压缩的计算机产生的交互式媒体以获得所述计算机产生的交互式媒体；
由所述头戴式显示器通过将所述计算机产生的交互式媒体重叠在所述现实世界媒体上，来驱动与所述游戏程序相关联的交互性的一部分，所述计算机产生的交互式媒体基于所述现实世界媒体来产生。
CN201410250175.8A 2013-06-07 2014-06-06 在头戴式系统内产生增强虚拟现实场景的系统和方法 Active CN104238738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811478206.XA CN110083227B (zh) 2013-06-07 2014-06-06 在头戴式系统内产生增强虚拟现实场景的系统和方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361832776P 2013-06-07 2013-06-07
US61/832,776 2013-06-07
US14/144,210 US10137361B2 (en) 2013-06-07 2013-12-30 Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US14/144,210 2013-12-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201811478206.XA Division CN110083227B (zh) 2013-06-07 2014-06-06 在头戴式系统内产生增强虚拟现实场景的系统和方法

Publications (2)

Publication Number Publication Date
CN104238738A CN104238738A (zh) 2014-12-24
CN104238738B true CN104238738B (zh) 2018-12-28

Family

ID=52005903

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811478206.XA Active CN110083227B (zh) 2013-06-07 2014-06-06 在头戴式系统内产生增强虚拟现实场景的系统和方法
CN201410250175.8A Active CN104238738B (zh) 2013-06-07 2014-06-06 在头戴式系统内产生增强虚拟现实场景的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201811478206.XA Active CN110083227B (zh) 2013-06-07 2014-06-06 在头戴式系统内产生增强虚拟现实场景的系统和方法

Country Status (8)

Country Link
US (3) US10137361B2 (zh)
EP (2) EP3659682B1 (zh)
JP (3) JP6532864B2 (zh)
KR (5) KR20200098736A (zh)
CN (2) CN110083227B (zh)
BR (1) BR112015030580B1 (zh)
RU (1) RU2639118C2 (zh)
WO (1) WO2014197230A1 (zh)

Families Citing this family (162)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
KR102063952B1 (ko) 2012-10-10 2020-01-08 삼성전자주식회사 멀티 디스플레이 장치 및 멀티 디스플레이 방법
US20150212647A1 (en) 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
CN105188516B (zh) * 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
KR102458124B1 (ko) 2013-03-15 2022-10-21 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US9952042B2 (en) 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9785231B1 (en) * 2013-09-26 2017-10-10 Rockwell Collins, Inc. Head worn display integrity monitor system and methods
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9575319B2 (en) * 2014-03-10 2017-02-21 Ion Virtual Technology Corporation Method and system for reducing motion blur when experiencing virtual or augmented reality environments
WO2015139002A1 (en) 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
US9392212B1 (en) 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US9690367B2 (en) * 2014-12-10 2017-06-27 Sixense Entertainment, Inc. System and method for assisting a user in locating physical objects while the user is in a virtual reality environment
US9851786B2 (en) * 2014-12-10 2017-12-26 Sixense Entertainment, Inc. System and method for assisting a user in remaining in a selected area while the user is in a virtual reality environment
US20160342968A1 (en) * 2014-12-15 2016-11-24 Empire Technology Development Llc Loyalty program system
US10353532B1 (en) 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9746921B2 (en) * 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
US10726625B2 (en) * 2015-01-28 2020-07-28 CCP hf. Method and system for improving the transmission and processing of data regarding a multi-user virtual environment
WO2016136794A1 (ja) * 2015-02-27 2016-09-01 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
JP6693718B2 (ja) 2015-02-27 2020-05-13 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
US9558760B2 (en) * 2015-03-06 2017-01-31 Microsoft Technology Licensing, Llc Real-time remodeling of user voice in an immersive visualization system
US10102674B2 (en) * 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
CN104699247B (zh) * 2015-03-18 2017-12-12 北京七鑫易维信息技术有限公司 一种基于机器视觉的虚拟现实交互系统及方法
US9779554B2 (en) * 2015-04-10 2017-10-03 Sony Interactive Entertainment Inc. Filtering and parental control methods for restricting visual activity on a head mounted display
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
AU2016251812B2 (en) * 2015-04-20 2021-08-05 Snap Inc. Interactive media system and method
KR102013403B1 (ko) * 2015-05-27 2019-08-22 구글 엘엘씨 구면 영상 스트리밍
US9665170B1 (en) * 2015-06-10 2017-05-30 Visionary Vr, Inc. System and method for presenting virtual reality content to a user based on body posture
CN107735152B (zh) * 2015-06-14 2021-02-02 索尼互动娱乐股份有限公司 用于虚拟现实(vr)观看的扩展视野重新渲染
US9704298B2 (en) * 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
US20160378204A1 (en) * 2015-06-24 2016-12-29 Google Inc. System for tracking a handheld device in an augmented and/or virtual reality environment
US10083544B2 (en) * 2015-07-07 2018-09-25 Google Llc System for tracking a handheld device in virtual reality
CN105653020A (zh) * 2015-07-14 2016-06-08 朱金彪 穿越时空的方法和装置以及使用其的眼镜或头盔
CN106358104A (zh) * 2015-07-15 2017-01-25 视讯联合科技股份有限公司 一种具备隐藏视像屏及多种传感器的耳机
CN105169701A (zh) * 2015-07-22 2015-12-23 陈飞 用于情境模拟训练/游戏的头盔
US10799792B2 (en) 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
CN105068648A (zh) * 2015-08-03 2015-11-18 众景视界（北京）科技有限公司 头戴式智能交互系统
CN107533222B (zh) 2015-08-19 2020-05-05 深圳市柔宇科技有限公司 头戴式电子装置
CN107209374A (zh) 2015-08-19 2017-09-26 深圳市柔宇科技有限公司 头戴式电子装置
EP3339934A4 (en) 2015-08-19 2019-04-10 Shenzhen Royole Technologies Co. Ltd. ELECTRONIC DEVICE INSTALLED ON THE HEAD
WO2017028282A1 (zh) 2015-08-19 2017-02-23 深圳市柔宇科技有限公司 穿戴式显示设备
CN105117016A (zh) * 2015-09-07 2015-12-02 众景视界（北京）科技有限公司 用于虚拟现实和增强现实交互控制中的交互手柄
CN105117017A (zh) * 2015-09-07 2015-12-02 众景视界（北京）科技有限公司 用于虚拟现实和增强现实交互控制中的手套
CN105829949B (zh) * 2015-09-14 2018-06-12 深圳市柔宇科技有限公司 一种头戴式显示设备
US9711015B2 (en) * 2015-09-16 2017-07-18 Immersion Corporation Customizing haptic feedback in live events
CN105148513B (zh) 2015-09-23 2017-06-06 腾讯科技（深圳）有限公司 智能硬件的操作方法及装置
CN105334959B (zh) * 2015-10-22 2019-01-15 北京小鸟看看科技有限公司 一种虚拟现实环境中的手势动作控制系统和方法
CN105334494B (zh) * 2015-10-22 2017-10-31 浙江大学 一种基于眼镜架的头部运动轨迹射频追踪系统
CN106648043A (zh) * 2015-11-02 2017-05-10 广东虚拟现实科技有限公司 用于控制器的信号采集方法及控制器
CN105913371A (zh) * 2015-11-16 2016-08-31 乐视致新电子科技（天津）有限公司 一种针对虚拟现实应用延迟的系统优化方法和装置
US10353473B2 (en) * 2015-11-19 2019-07-16 International Business Machines Corporation Client device motion control via a video feed
WO2017090298A1 (ja) * 2015-11-26 2017-06-01 株式会社コロプラ 仮想空間内オブジェクトへの動作指示方法、及びプログラム
CN105338272A (zh) * 2015-11-27 2016-02-17 广东长虹电子有限公司 基于VR技术及Miracast技术的电视机
WO2017088187A1 (zh) * 2015-11-27 2017-06-01 深圳市欢创科技有限公司 对虚拟现实设备实现位置追踪的系统及方法
US11010972B2 (en) * 2015-12-11 2021-05-18 Google Llc Context sensitive user interface activation in an augmented and/or virtual reality environment
US20170178395A1 (en) * 2015-12-16 2017-06-22 Google Inc. Light field rendering of an image using variable computational complexity
US10037085B2 (en) * 2015-12-21 2018-07-31 Intel Corporation Techniques for real object and hand representation in virtual reality content
US10582017B2 (en) * 2015-12-24 2020-03-03 Intel Corporation Techniques to provide wireless storage and processing capabilities
US20170185261A1 (en) * 2015-12-28 2017-06-29 Htc Corporation Virtual reality device, method for virtual reality
US10477006B2 (en) 2016-01-22 2019-11-12 Htc Corporation Method, virtual reality system, and computer-readable recording medium for real-world interaction in virtual reality environment
US10908694B2 (en) * 2016-02-01 2021-02-02 Microsoft Technology Licensing, Llc Object motion tracking with remote device
US10089725B2 (en) * 2016-02-09 2018-10-02 Google Llc Electronic display stabilization at a graphics processing unit
US10616662B2 (en) 2016-02-10 2020-04-07 Disney Enterprises, Inc. Systems and methods to provide video and control signals over an internet protocol communications network
US10788966B2 (en) * 2016-02-10 2020-09-29 Disney Enterprises, Inc. Systems and methods for interacting with a virtual interface
KR20170106862A (ko) * 2016-03-14 2017-09-22 삼성전자주식회사 데이터 동기화 방법 및 이를 구현하는 전자 장치 및 시스템
JP6783541B2 (ja) * 2016-03-30 2020-11-11 株式会社バンダイナムコエンターテインメント プログラム及び仮想現実体験提供装置
US10509487B2 (en) * 2016-05-11 2019-12-17 Google Llc Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
CN106095235B (zh) * 2016-06-07 2018-05-08 腾讯科技（深圳）有限公司 基于虚拟现实的控制方法和装置
CN106095090A (zh) * 2016-06-07 2016-11-09 北京行云时空科技有限公司 基于智能系统的空间场景的操控方法、装置和系统
US10146335B2 (en) * 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Modular extension of inertial controller for six DOF mixed reality input
US10249090B2 (en) * 2016-06-09 2019-04-02 Microsoft Technology Licensing, Llc Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
US10078377B2 (en) * 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
US10146334B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Passive optical and inertial tracking in slim form-factor
CN106094989A (zh) * 2016-06-10 2016-11-09 北京行云时空科技有限公司 一种增强现实图像定位显示方法、装置和系统
EP3469803B1 (en) * 2016-06-13 2024-09-11 Sony Interactive Entertainment LLC Method and system for directing user attention to a location based game play companion application
US10126553B2 (en) * 2016-06-16 2018-11-13 Microsoft Technology Licensing, Llc Control device with holographic element
CN109416679B (zh) * 2016-06-21 2023-06-06 蓝色歌姬有限责任公司 用于混合现实交互的多个电子控制和追踪装置
CN106200899A (zh) * 2016-06-24 2016-12-07 北京奇思信息技术有限公司 根据用户头部动作控制虚拟现实交互的方法及系统
US10620717B2 (en) 2016-06-30 2020-04-14 Microsoft Technology Licensing, Llc Position-determining input device
US10453262B1 (en) 2016-07-21 2019-10-22 Relay Cars LLC Apparatus and method for dynamic reflecting car mirrors in virtual reality applications in head mounted displays
US20180059812A1 (en) * 2016-08-22 2018-03-01 Colopl, Inc. Method for providing virtual space, method for providing virtual experience, program and recording medium therefor
US10521603B2 (en) * 2016-08-24 2019-12-31 Branch Banking And Trust Company Virtual reality system for providing secured information
CN106648048A (zh) * 2016-09-18 2017-05-10 三峡大学 一种基于虚拟现实的外语学习方法与系统
US20180082477A1 (en) * 2016-09-22 2018-03-22 Navitaire Llc Systems and Methods for Improved Data Integration in Virtual Reality Architectures
WO2018063163A1 (en) * 2016-09-27 2018-04-05 Google Llc Selective simulation of virtualized hardware inputs
EP3519892B1 (en) 2016-09-27 2020-12-16 Snap Inc. Eyewear device mode indication
KR20180041890A (ko) 2016-10-17 2018-04-25 삼성전자주식회사 가상 객체를 표시하는 방법 및 장치
CN106331181B (zh) * 2016-11-09 2019-08-02 宇龙计算机通信科技(深圳)有限公司 一种虚拟公交站台的实现方法及装置
CN106708258A (zh) * 2016-11-29 2017-05-24 维沃移动通信有限公司 一种虚拟现实终端的数据处理方法和虚拟现实终端
WO2018101279A1 (ja) 2016-11-29 2018-06-07 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム
CN106648084A (zh) * 2016-12-09 2017-05-10 深圳市天易联科技有限公司 虚拟现实设备中的数据处理方法及装置
CN108205409A (zh) * 2016-12-16 2018-06-26 百度在线网络技术（北京）有限公司 用于调整虚拟场景的方法和装置以及设备
CN106823408B (zh) * 2016-12-30 2019-05-07 武汉市马里欧网络有限公司 基于ar的儿童积木搭建系统及方法
US11740690B2 (en) 2017-01-27 2023-08-29 Qualcomm Incorporated Systems and methods for tracking a controller
US11429337B2 (en) * 2017-02-08 2022-08-30 Immersive Robotics Pty Ltd Displaying content to users in a multiplayer venue
JP2018142168A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2018141874A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部搭載型表示装置及び画像形成光学系
JP2018148257A (ja) * 2017-03-01 2018-09-20 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法
US20180255285A1 (en) * 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
CN106913449A (zh) * 2017-03-23 2017-07-04 郑州诚优成电子科技有限公司 互动式增强现实视力康复装置
SE540869C2 (en) * 2017-04-11 2018-12-11 Cargotec Patenter Ab A three dimensional presentation system using an orientation sensor and a digital curtain
WO2018200993A1 (en) * 2017-04-28 2018-11-01 Zermatt Technologies Llc Video pipeline
CN107198876B (zh) * 2017-06-07 2021-02-05 北京小鸟看看科技有限公司 游戏场景的加载方法及装置
US10904449B2 (en) 2017-07-31 2021-01-26 Disney Enterprises, Inc. Intrinsic color camera
KR102374408B1 (ko) * 2017-09-08 2022-03-15 삼성전자주식회사 가상 현실에서의 포인터 제어 방법 및 전자 장치
US10532814B2 (en) * 2017-09-11 2020-01-14 Disney Enterprises, Inc. Augmented reality travel route planning
US10341537B2 (en) * 2017-09-29 2019-07-02 Sony Interactive Entertainment America Llc Spectator view into an interactive gaming world showcased in a live event held in a real-world venue
US10556185B2 (en) * 2017-09-29 2020-02-11 Sony Interactive Entertainment America Llc Virtual reality presentation of real world space
US10668382B2 (en) * 2017-09-29 2020-06-02 Sony Interactive Entertainment America Llc Augmenting virtual reality video games with friend avatars
US10621784B2 (en) * 2017-09-29 2020-04-14 Sony Interactive Entertainment America Llc Venue mapping for virtual reality spectating of live events
CN108031116A (zh) * 2017-11-01 2018-05-15 上海绿岸网络科技股份有限公司 实时进行动作行为补偿的vr游戏系统
CN107831831B (zh) * 2017-11-13 2020-11-27 重庆市科源能源技术发展有限公司 一种电力企业员工业务内容培训系统
CN107959887B (zh) * 2017-12-04 2019-12-10 神州租屏(武汉)网络技术有限公司 一种屏幕展示互动系统及实现方法
CN108452521A (zh) * 2018-01-18 2018-08-28 安徽三弟电子科技有限责任公司 一种基于vr虚拟现实的游戏系统
CN108187338A (zh) * 2018-01-18 2018-06-22 安徽三弟电子科技有限责任公司 一种基于vr虚拟体验的高空跳伞系统
CN108211365A (zh) * 2018-01-18 2018-06-29 安徽三弟电子科技有限责任公司 一种基于vr虚拟体验的过山车系统
CN108319369B (zh) * 2018-02-01 2021-04-27 网易（杭州）网络有限公司 驾驶交互方法、装置、存储介质及处理器
US10534454B2 (en) * 2018-02-02 2020-01-14 Sony Interactive Entertainment Inc. Head-mounted display to controller clock synchronization over EM field
EP4086736A1 (en) * 2018-02-23 2022-11-09 Telefonaktiebolaget LM Ericsson (publ) Coordinating alignment of coordinate systems used for a computer generated reality device and a haptic device
JP2019149066A (ja) 2018-02-28 2019-09-05 富士ゼロックス株式会社 情報処理装置及びプログラム
CN108196686B (zh) * 2018-03-13 2024-01-26 北京无远弗届科技有限公司 一种手部动作姿态捕捉设备、方法及虚拟现实交互系统
CN110809149B (zh) 2018-08-06 2022-02-25 苹果公司 用于计算机生成现实的媒体合成器
US10569164B1 (en) * 2018-09-26 2020-02-25 Valve Corporation Augmented reality (AR) system for providing AR in video games
US11347303B2 (en) * 2018-11-30 2022-05-31 Sony Interactive Entertainment Inc. Systems and methods for determining movement of a controller with respect to an HMD
CN109765035B (zh) * 2018-12-29 2020-06-30 北京理工大学 一种基于渐变编码的vr头盔的移动延迟测量方法
CN109632263B (zh) * 2018-12-29 2020-06-30 北京理工大学 一种基于光栅尺的vr头盔的移动延迟测量方法
US11200656B2 (en) 2019-01-11 2021-12-14 Universal City Studios Llc Drop detection systems and methods
KR102237608B1 (ko) * 2019-01-22 2021-04-09 (주)스코넥엔터테인먼트 가상 현실 제어 시스템
US11964202B2 (en) 2019-02-22 2024-04-23 Mursion, Inc. Peer to peer communication system and method
US11107293B2 (en) 2019-04-23 2021-08-31 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
US11327307B2 (en) 2019-05-03 2022-05-10 Microsoft Technology Licensing, Llc Near-eye peripheral display device
US20210405758A1 (en) * 2019-06-05 2021-12-30 Lg Electronics Inc. Method of controlling augmented reality electronic device
WO2020250106A1 (en) * 2019-06-08 2020-12-17 Pankaj Raut A system and a method for teleportation for enhanced audio-visual interaction in mixed reality (mr) using a head mounted device (hmd)
CN112068693A (zh) * 2019-06-10 2020-12-11 Oppo广东移动通信有限公司 控制方法、头戴设备、服务器和运算系统
US11023095B2 (en) * 2019-07-12 2021-06-01 Cinemoi North America, LLC Providing a first person view in a virtual world using a lens
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
KR20210138739A (ko) * 2019-09-27 2021-11-19 애플 인크. 애디티브 디스플레이들을 갖는 관리 디바이스들
TWI724615B (zh) * 2019-11-07 2021-04-11 南開科技大學 依據擴增實境之圖像配置進行解鎖的系統及其方法
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
CN111475132A (zh) * 2020-04-07 2020-07-31 捷开通讯(深圳)有限公司 虚拟或增强现实文字输入方法、系统及存储介质
US11257391B2 (en) 2020-04-27 2022-02-22 Nithin S Senthil System and a method for virtual learning of driving a vehicle
KR20220018330A (ko) 2020-08-06 2022-02-15 주식회사 엘지화학 양극 활물질 전구체 및 그 제조 방법
JP7197217B2 (ja) * 2021-06-04 2022-12-27 株式会社コナミアミューズメント ゲームシステム、それに用いるコンピュータプログラム、及び制御方法
KR102567805B1 (ko) * 2021-06-14 2023-08-21 (주)이머시브캐스트 컨트롤 입력 기반의 pc 게임 확장 vr 시스템
CN113542849B (zh) * 2021-07-06 2023-06-30 腾讯科技（深圳）有限公司 视频数据处理方法及装置、电子设备、存储介质
US12032737B2 (en) * 2022-08-22 2024-07-09 Meta Platforms Technologies, Llc Gaze adjusted avatars for immersive reality applications
US20240071002A1 (en) * 2022-08-30 2024-02-29 Rovi Guides, Inc. Systems and methods for pinning content items to locations in an augmented reality display based on user preferences

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012049674A2 (en) * 2010-10-10 2012-04-19 Rafael Advanced Defense Systems Ltd. Network-based real time registered augmented reality for mobile devices
CN103038771A (zh) * 2010-02-22 2013-04-10 耐克国际有限公司 增强现实设计系统

Family Cites Families (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04350608A (ja) 1991-05-29 1992-12-04 Mitsubishi Electric Corp ズームレンズユニット
JP3163786B2 (ja) 1992-10-09 2001-05-08 ソニー株式会社 眼鏡型映像表示装置
JPH06176131A (ja) * 1992-12-03 1994-06-24 Namco Ltd 画像合成装置及びこれを用いた仮想体験装置
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
US6868091B1 (en) * 1997-10-31 2005-03-15 Stmicroelectronics Asia Pacific Pte. Ltd. Apparatus and method for depacketizing and aligning packetized input data
US6490324B1 (en) 1998-12-08 2002-12-03 Stmicroelectronics, Inc. System, method and apparatus for a variable output video decoder
US6963937B1 (en) * 1998-12-17 2005-11-08 International Business Machines Corporation Method and apparatus for providing configurability and customization of adaptive user-input filtration
JP4374708B2 (ja) * 2000-03-30 2009-12-02 株式会社デンソー 網膜走査ディスプレイ装置及び光走査装置
KR20020040676A (ko) * 2000-04-12 2002-05-30 이데이 노부유끼 데이터 전송 방법 및 데이터 전송 장치
JP2002159019A (ja) * 2000-11-16 2002-05-31 Canon Inc 表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体
US7445549B1 (en) * 2001-05-10 2008-11-04 Best Robert M Networked portable and console game systems
US7046214B2 (en) * 2003-12-17 2006-05-16 Information Decision Technologies, Llc Method and system for accomplishing a scalable, multi-user, extended range, distributed, augmented reality environment
JP2003346190A (ja) * 2002-05-29 2003-12-05 Canon Inc 画像処理装置
AU2003244901A1 (en) 2002-06-26 2004-01-19 Nokia Corporation Bluetooth rf based rf-tag read/write station
US7096383B2 (en) * 2002-08-29 2006-08-22 Cosine Communications, Inc. System and method for virtual router failover in a network routing system
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US9108107B2 (en) * 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US9756349B2 (en) * 2002-12-10 2017-09-05 Sony Interactive Entertainment America Llc User interface, system and method for controlling a video stream
US20040176143A1 (en) * 2003-02-07 2004-09-09 Willins Bruce A. System and method for wireless collection and presentation of data
KR20050025083A (ko) 2003-09-03 2005-03-11 휴먼센스 주식회사 영상저장매체 착탈 가능한 두부장착 디스플레이 장치
JP2005165776A (ja) * 2003-12-03 2005-06-23 Canon Inc 画像処理方法、画像処理装置
KR100586818B1 (ko) 2004-02-18 2006-06-08 한국과학기술원 증강현실 기술을 이용하는 두부장착 디스플레이 장치
US20060230073A1 (en) * 2004-08-31 2006-10-12 Gopalakrishnan Kumar C Information Services for Real World Augmentation
US8460108B2 (en) * 2005-02-25 2013-06-11 Microsoft Corporation Computerized method and system for generating a gaming experience in a networked environment
US20070132785A1 (en) * 2005-03-29 2007-06-14 Ebersole John F Jr Platform for immersive gaming
US20060250322A1 (en) 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
US8275397B2 (en) 2005-07-14 2012-09-25 Huston Charles D GPS based friend location and identification system and method
JP2009505268A (ja) * 2005-08-15 2009-02-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ エンドユーザプログラミングのための拡張現実感眼鏡のためのシステム、装置及び方法
EP2405410A1 (en) * 2005-12-22 2012-01-11 PKR Limited Improvements relating to on-line gaming
WO2008137432A2 (en) * 2007-05-01 2008-11-13 Dyyno Sharing of information and formatting information for transmission over a communication network
US8675017B2 (en) * 2007-06-26 2014-03-18 Qualcomm Incorporated Real world gaming framework
WO2009008418A1 (ja) * 2007-07-11 2009-01-15 Sony Corporation 表示装置、映像信号処理方法、およびプログラム
US8825468B2 (en) 2007-07-31 2014-09-02 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
US10058778B2 (en) * 2007-12-05 2018-08-28 Sony Interactive Entertainment America Llc Video compression system and method for reducing the effects of packet loss over a communication channel
US7730219B2 (en) * 2008-01-07 2010-06-01 Lenovo (Singapore) Pte. Ltd. System and method for detecting free and open wireless networks
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
TW201018132A (en) * 2008-10-23 2010-05-01 Asustek Comp Inc Power saving control method for wireless LAN
US20100157990A1 (en) * 2008-12-19 2010-06-24 Openpeak, Inc. Systems for providing telephony and digital media services
CN102460349A (zh) 2009-05-08 2012-05-16 寇平公司 使用运动和语音命令对主机应用进行远程控制
US8745494B2 (en) * 2009-05-27 2014-06-03 Zambala Lllp System and method for control of a simulated object that is associated with a physical location in the real world environment
US8320954B2 (en) * 2009-07-31 2012-11-27 Research In Motion Limited System and method for enabling messages to be sent while a mobile device is out-of-coverage
TWI392485B (zh) * 2009-12-03 2013-04-11 Univ Nat Yang Ming 一種具立體視覺之頭盔式弱視輔具裝置及系統
US9244533B2 (en) 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US9164577B2 (en) * 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US8913009B2 (en) * 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
JP5499762B2 (ja) * 2010-02-24 2014-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び画像処理システム
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20110214082A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
KR101171660B1 (ko) * 2010-03-01 2012-08-09 이문기 증강현실의 포인팅 장치
US8866845B2 (en) * 2010-03-10 2014-10-21 Empire Technology Development Llc Robust object recognition by dynamic modeling in augmented reality
CA2696925A1 (en) * 2010-03-19 2011-09-19 Bertrand Nepveu Integrated field-configurable headset and system
US8275375B2 (en) * 2010-03-25 2012-09-25 Jong Hyup Lee Data integration for wireless network systems
US8649297B2 (en) * 2010-03-26 2014-02-11 Cisco Technology, Inc. System and method for simplifying secure network setup
WO2011129907A1 (en) 2010-04-13 2011-10-20 Sony Computer Entertainment America Llc Calibration of portable devices in a shared virtual space
JP4971483B2 (ja) * 2010-05-14 2012-07-11 任天堂株式会社 画像表示プログラム、画像表示装置、画像表示システム、および画像表示方法
US20110307927A1 (en) * 2010-06-11 2011-12-15 Toshihisa Nakano Method, system and apparatus for managing network services
JP2012048597A (ja) 2010-08-30 2012-03-08 Univ Of Tokyo 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム
WO2012040386A1 (en) * 2010-09-21 2012-03-29 4Iiii Innovations Inc. Head-mounted peripheral vision display systems and methods
US20120077437A1 (en) * 2010-09-27 2012-03-29 Sony Ericsson Mobile Communications Ab Navigation Using a Headset Having an Integrated Sensor
US20120092327A1 (en) * 2010-10-14 2012-04-19 Sony Corporation Overlaying graphical assets onto viewing plane of 3d glasses per metadata accompanying 3d image
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
KR101482025B1 (ko) 2011-02-25 2015-01-13 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실 프리젠테이션
US20120224070A1 (en) * 2011-03-04 2012-09-06 ZionEyez, LLC Eyeglasses with Integrated Camera for Video Streaming
JP5960796B2 (ja) * 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
JP6316186B2 (ja) 2011-05-06 2018-04-25 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 広範囲同時遠隔ディジタル提示世界
US8964008B2 (en) 2011-06-17 2015-02-24 Microsoft Technology Licensing, Llc Volumetric video presentation
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8190749B1 (en) * 2011-07-12 2012-05-29 Google Inc. Systems and methods for accessing an interaction state between multiple devices
US8629815B2 (en) 2011-08-09 2014-01-14 Google Inc. Laser alignment of binocular head mounted display
JP2013044913A (ja) * 2011-08-24 2013-03-04 Sony Corp 表示装置及び表示制御方法
US9155964B2 (en) * 2011-09-14 2015-10-13 Steelseries Aps Apparatus for adapting virtual gaming with real world information
US8998414B2 (en) 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US20130083008A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Enriched experience using personal a/v system
US20130083003A1 (en) 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US20130084976A1 (en) 2011-10-01 2013-04-04 Microsoft Corporation Game paradigm for language learning and linguistic data generation
US8971873B2 (en) * 2011-11-18 2015-03-03 General Motors Llc Method of selecting wireless base stations
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
CN102495959A (zh) * 2011-12-05 2012-06-13 无锡智感星际科技有限公司 一种基于位置映射的增强现实平台系统及应用方法
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US8970960B2 (en) 2011-12-22 2015-03-03 Mattel, Inc. Augmented reality head gear
US9141194B1 (en) * 2012-01-04 2015-09-22 Google Inc. Magnetometer-based gesture sensing with a wearable device
US9230171B2 (en) * 2012-01-06 2016-01-05 Google Inc. Object outlining to initiate a visual search
US20150170418A1 (en) * 2012-01-18 2015-06-18 Google Inc. Method to Provide Entry Into a Virtual Map Space Using a Mobile Device's Camera
US9910488B2 (en) * 2012-04-23 2018-03-06 Japan Science And Technology Agency Motion guide presentation method and system therefor, and motion guide presentation device
US20130286053A1 (en) * 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
JP5580855B2 (ja) 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US9491425B2 (en) * 2012-07-10 2016-11-08 Empire Technology Development Llc Device and method for projecting a scrambled image
KR20140025930A (ko) * 2012-08-23 2014-03-05 삼성전자주식회사 헤드마운트형 디스플레이장치 및 그 제어방법
US8971194B2 (en) * 2012-10-29 2015-03-03 At&T Intellectual Property I, L.P. Controlling wireless transition timers based on application and content
US20140128161A1 (en) * 2012-11-06 2014-05-08 Stephen Latta Cross-platform augmented reality experience
US20140129343A1 (en) * 2012-11-08 2014-05-08 Microsoft Corporation Dynamic targeted advertising avatar
US9977492B2 (en) * 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
US9317972B2 (en) 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
US20140172640A1 (en) 2012-12-19 2014-06-19 Wal-Mart Stores, Inc. Augmented reality shopping game
US9746926B2 (en) * 2012-12-26 2017-08-29 Intel Corporation Techniques for gesture-based initiation of inter-device wireless connections
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US8976197B1 (en) * 2013-02-21 2015-03-10 Hurricane Electric LLC Solution generating devices and methods
US9041741B2 (en) * 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9420331B2 (en) * 2014-07-07 2016-08-16 Google Inc. Method and system for categorizing detected motion events
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US11055918B2 (en) * 2019-03-15 2021-07-06 Sony Interactive Entertainment Inc. Virtual character inter-reality crossover
US11882188B2 (en) * 2019-12-23 2024-01-23 Sony Interactive Entertainment Inc. Methods and systems for maintaining smooth frame rate during transmission of streaming video content
US12045627B2 (en) * 2022-03-14 2024-07-23 Sony Interactive Entertainment Inc. Sled level boot management control of compute nodes for context switching using boot controllers

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103038771A (zh) * 2010-02-22 2013-04-10 耐克国际有限公司 增强现实设计系统
WO2012049674A2 (en) * 2010-10-10 2012-04-19 Rafael Advanced Defense Systems Ltd. Network-based real time registered augmented reality for mobile devices

Also Published As

Publication number Publication date
JP6532864B2 (ja) 2019-06-19
JP6982466B2 (ja) 2021-12-17
JP7073444B2 (ja) 2022-05-23
KR20180049225A (ko) 2018-05-10
US10137361B2 (en) 2018-11-27
CN110083227B (zh) 2022-08-23
CN110083227A (zh) 2019-08-02
KR20190090880A (ko) 2019-08-02
EP3659682A1 (en) 2020-06-03
KR20160018691A (ko) 2016-02-17
EP3659682B1 (en) 2023-08-16
EP3003514B1 (en) 2020-03-04
KR102378669B1 (ko) 2022-03-25
US20190070498A1 (en) 2019-03-07
CN104238738A (zh) 2014-12-24
WO2014197230A1 (en) 2014-12-11
JP2018069069A (ja) 2018-05-10
BR112015030580A2 (pt) 2017-07-25
JP2020171712A (ja) 2020-10-22
KR20210097210A (ko) 2021-08-06
BR112015030580B1 (pt) 2021-11-09
US20210220730A1 (en) 2021-07-22
US10974136B2 (en) 2021-04-13
EP3003514A1 (en) 2016-04-13
KR20200098736A (ko) 2020-08-20
US20140364209A1 (en) 2014-12-11
JP2016528942A (ja) 2016-09-23
RU2015156217A (ru) 2017-07-14
RU2639118C2 (ru) 2017-12-19

Similar Documents

Publication Publication Date Title
CN104238738B (zh) 在头戴式系统内产生增强虚拟现实场景的系统和方法
US11697061B2 (en) Systems and methods for reducing hops associated with a head mounted system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant