CN105392538A - 响应于头戴式显示器中的用户动作的图像渲染 - Google Patents

响应于头戴式显示器中的用户动作的图像渲染 Download PDF

Info

Publication number
CN105392538A
CN105392538A CN201480032498.8A CN201480032498A CN105392538A CN 105392538 A CN105392538 A CN 105392538A CN 201480032498 A CN201480032498 A CN 201480032498A CN 105392538 A CN105392538 A CN 105392538A
Authority
CN
China
Prior art keywords
hmd
motion
game
user
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480032498.8A
Other languages
English (en)
Other versions
CN105392538B (zh
Inventor
J.R.斯塔福德
X.毛
G.布莱克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to CN201910203465.XA priority Critical patent/CN109999491B/zh
Publication of CN105392538A publication Critical patent/CN105392538A/zh
Application granted granted Critical
Publication of CN105392538B publication Critical patent/CN105392538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • A63F13/10—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了用于在头戴式显示器(HMD)上渲染图像的方法、系统和计算机程序。一种方法包括用于利用所述HMD内部的一个或多个第一摄像头追踪用户的目光且用于追踪所述HMD的运动的操作。所述HMD的所述运动是通过分析利用不在所述HMD中的第二摄像头拍摄的所述HMD的图像来追踪。此外，所述方法包括用于基于所述目光和所述HMD的所述运动来预测所述用户的所述目光的运动的操作。基于所述目光的预测运动确定用于被界定在通过所述HMD渲染的视图上的多个区域的渲染策略。所述图像是基于所述渲染策略渲染在所述视图上。

Description

响应于头戴式显示器中的用户动作的图像渲染
技术领域
本实施方案涉及用于改善头戴式装置(HMD)的可用性的方法，且更特定地涉及用于在HMD内的显示器上渲染图像的方法、系统和计算机程序。
背景技术
通常，HMD是被穿戴在用户头部周围的便携式装置，以使得相距眼睛不远处的显示器提供图像进行用户互动。一些HMD提供混合的真实生活和虚拟生活环境，其中用户能够看见由计算装置创建的图像以及一些真实生活图像。其他HMD将阻止外界的沉浸式体验提供给用户，同时在HMD显示器上提供虚拟世界。
然而，当用户通过HMD中的显示器观察真实世界或虚拟世界时可存在问题，因为有时候HMD的计算能力不足以刷新显示器上的图像。这可使得HMD的用户患上运动病。
需要一种HMD，其提供快速响应于用户的运动的图像且传递足以使用户具有感觉仿佛用户正在观看真实世界一样的沉浸式体验的显示质量。
实施方案产生在上下文中。
发明内容
本发明提出了用于在头戴式显示器(HMD)上渲染图像的方法、装置、系统和计算机程序。应明白，本实施方案可以数种方式(诸如方法、设备、系统、装置或计算机可读介质上的计算机程序)实施。下文描述了若干实施方案。
在一个实施方案中，一种方法包括用于利用所述HMD内部的一个或多个第一摄像头追踪用户的目光且用于追踪所述HMD的运动的操作。所述HMD的所述运动是通过分析利用不在所述HMD中的第二摄像头拍摄的所述HMD的图像来追踪。此外，所述方法包括用于基于所述目光并基于所述HMD的所述运动来预测所述用户的所述目光的运动的操作。基于所述目光的预测运动或轨迹确定用于被界定在由所述HMD渲染的视图上的多个区域的渲染策略。所述图像是基于所述渲染策略由所述HMD渲染。
在另一实施方案中，提出了一种嵌入在非暂时性计算机可读存储介质中的计算机程序，所述计算机程序在由一个或多个处理器执行时用于在头戴式显示器(HMD)上渲染图像。所述计算机程序包括用于利用所述HMD内部的一个或多个第一摄像头追踪用户的目光的程序指令。此外，所述计算机程序包括用于追踪所述HMD的运动的程序指令。追踪所述运动包括分析利用不在所述HMD中的第二摄像头拍摄的所述HMD的图像。此外，所述计算机程序包括用于基于所述目光并基于所述HMD的所述运动来预测所述用户的所述目光的运动的程序指令，和用于基于所述目光的预测运动确定用于被界定在由所述HMD渲染的视图上的多个区域的渲染策略的程序指令。所述计算机程序还包括用于通过所述HMD基于所述渲染策略渲染图像的程序指令。
在又另一实施方案中，一种用于在头戴式显示器(HMD)上渲染图像的方法包括用于追踪穿戴所述HMD的用户的目光的操作。此外，所述方法包括用于基于所述用户的所述目光为通过所述HMD渲染的多个游戏对象分配渲染优先级值的操作。每一个游戏对象的所述渲染优先级值界定下列各项中的至少一个：渲染的频率、渲染游戏对象的复杂度、游戏对象的图像质量或渲染分辨率。此外，所述方法包括用于基于所述游戏中的每一个游戏对象的重要性值改变所述渲染优先级值的操作。通过所述HMD根据所述渲染优先级值渲染所述多个游戏对象。
将根据结合附图的以下详述明白其他方面。
附图说明
可以通过参考结合附图的以下详述最佳地理解实施方案。
图1说明根据一个实施方案的用户与包括头戴式装置(HMD)的多个装置进行互动。
图2说明根据一个实施方案的经由图像分析对HMD的追踪。
图3示出了说明根据一个实施方案的具有用于追踪用户的目光的内部摄像头的HMD。
图4示出了具有用于视觉追踪的照明点的HMD的实施方案。
图5说明根据一个实施方案的显示器的刷新。
图6说明根据一个实施方案的示出在HMD的显示器上的游戏场景。
图7说明根据一个实施方案的显示器中用于优先级渲染的区域的创建。
图8说明可以用于实施本发明的实施方案的装置的架构。
图9是说明根据一个实施方案的用于在HMD上渲染图像的流程图。
图10说明可以用于实施本发明的实施方案的硬件和用户接口。
图11是根据本发明的各个实施方案的游戏系统的方框图。
具体实施方式
以下实施方案描述了用于在头戴式显示器(HMD)上渲染场景的方法、设备、系统和计算机程序。将明白，可以在没有一些或所有这些具体细节的情况下实践本实施方案。在其他实例中，没有详细描述熟悉的程序操作以免不必要地混淆本实施方案。
图1说明根据一个实施方案的用户与包括头戴式装置(HMD)的多个装置进行互动。用户114正在穿戴HMD102，所述HMD102包括在用户的眼睛附近渲染图像的显示器110。在一个实施方案中，图像是以3D渲染。
此外，虽然已参考HMD102上的显示器描述了本文中提出的实施方案，但是其他实施方案可以使用其他视图渲染方法，诸如在用户的视网膜上投影图像。
在一个实施方案中，计算装置106执行被显示在HMD102上的游戏。因此，计算装置106与HMD102协作以显示玩游戏的图像。游戏操作的处理可以在计算装置106上、HMD102上或计算装置106与HMD102两者中进行。在另一实施方案中，游戏操作的处理是由联网游戏服务器124或与计算装置106和/或HMD102协作以显示玩游戏的图像的远程游戏服务器的群集(没有示出)来执行。在又另一实施方案中，HMD102与游戏服务器124协作来玩游戏。
在图1的实施方案中，HMD102与计算装置106无线地通信(例如，WiFi、蓝牙等等)。在其他实施方案中(没有示出)，HMD102可以直接有线连接到计算装置106，或经由网络(例如，互联网)与计算装置106通信。例如，计算装置106可以是网络上提供游戏服务的服务器。在一些实施方案中，HMD是自主游戏装置且游戏直接在HMD上执行，而无需外部装置来运行游戏。
在一个实施方案中，摄像头(或多个摄像头)耦合到计算装置106。如果计算装置106是网络上的服务器，那么摄像头104可以是经由网络(例如，经由互联网)将图像发送到计算装置的联网摄像头。摄像头104可以是下列各项中的一个或多个：常规的图像摄像头、立体摄像头(即，具有从游戏区采集图像的两个或两个以上透镜)、红外线摄像头、深度摄像头、3D摄像头等等。
摄像头104拍摄的图像可以被处理来追踪HMD102的位置和移动。此外，图像还可以用于追踪控制器(例如，单手控制器116、双手控制器118)或游戏区中的任何其他元件的用户的位置和运动或用户的特征(例如，用户的头部、用户的嘴巴、用户的手、用户的躯干等等)。
在一个实施方案中，用户可以经由语音识别提供命令，所述语音识别可以由计算装置106经由通过一个或多个麦克风120进行的声音采集来执行或可以由在一个实施方案中也包括一个或多个麦克风的HMD102来执行。在另一实施方案中，用户114还可以经由通过计算装置106分析和识别的手势来键入多个输入。
在一个实施方案中，计算装置106还连接到可以执行一些游戏操作的显示器108。例如，显示器108可以在HMD102上的用户推送之前将指令提供给用户。在另一实施方案中，显示器108提供HMD上示出的相同或类似显示，因此附近的其他用户可以感知用户114在HMD102上显示的游戏上的进度。
在一个实施方案中，用户持有一个或多个控制器116。计算装置106追踪控制器的位置和移动，且关于控制器的运动的操作或利用控制器键入的输入可以用作游戏的输入。例如，控制器可以表示剑柄，且剑被显示在游戏场景中。随着用户移动控制器，剑在虚拟世界中与控制器同步移动。以此方式，用户能够执行其中剑是武器的格斗游戏操作。
在一个实施方案中，计算装置106计算HMD102与游戏控制器116之间的相对位置。相对位置然后由游戏使用来与HMD102同步移动游戏对象。
计算装置还可以追踪第二控制器116，其还可以链接到被渲染在HMD的显示器上的游戏对象。例如，第二控制器可以是盾牌，且用户能够用剑和盾牌在虚拟世界中格斗。在其他实施方案中，控制器可以在游戏中用于其他目的，诸如武器(例如，枪、步枪或任何其他类型的火力武器、斧头、激光枪、控制装置-控制盘或摩托车车把-闪光灯、铁锤、盾牌等等。
在另一实施方案中，用户还可以与双手控制器互动，所述双手控制器可以类似于单手控制器的方式使用。例如，双手控制器可以用作控制盘。
在另一实施方案中，控制器诸如通过按下控制器上的按钮键入的输入可以用于执行游戏中的命令。例如，用户可以使用控制器上的按钮来移动游戏中的头像、开火、抓取物体等等。
注意，图1中说明的实施方案是示例性的。其他实施方案可以利用不同装置、不同数量的装置，具有不同装置之间的更多或更少互动，使用其他通信方式(例如，超声波)，促进多玩家游戏(穿戴相应HMD的两个用户玩相同游戏)等等。图1中说明的实施方案因此不应被解释为排它性或限制性，反而是示范性或说明性的。
图2说明根据一个实施方案的经由图像分析对HMD的追踪。在一个实施方案中，HMD208包括辅助HMD的视觉追踪的元件。例如，HMD可以包括红外线灯214、发光二极管(LED)210和具有容易经由图像分析识别的特殊形状的物体。例如，一个或多个球形物体212可以被添加到HMD以便容易追踪。此外，球形物体212还可以利用LED灯、红外线灯或任何其他类型的照明来照明。
此外，HMD208还可以包括特殊视觉标记(未示出)，诸如后反射区域、具有特定颜色的区域(例如，蓝色矩形区等等)或标记(例如，HMD的表面上的三行平行线)等等。
在一些实施方案中，HMD包括HMD后面的灯或标记(即，HMD的部分触及头部后面)。以此方式，如果用户转身且将其背部朝向摄像头，那么仍然可通过检测HMD后面的灯或标记来在视觉上追踪HMD的位置。
HMD的视觉追踪可以利用不同类型的摄像头来执行。在一个实施方案中，HMD是利用立体摄像头202追踪，立体摄像头202是包括两个或两个以上透镜的摄像头。比较来自不同透镜的图像以执行HMD中的特征的三角测量分析以辅助HMD的定位以及HMD的游戏场内的深度(例如，从HMD到拍摄HMD的图片的摄像头的距离)的计算。
在另一实施方案中，红外线摄像头204分析红外线灯(例如，红外线灯214)。红外线灯对人眼不可见，但是红外线灯对红外线摄像头可见。以此方式，HMD可以包括不会由于HMD的外观而有损的红外线灯。此外，在一些环境中(例如，低光或亮光)，追踪红外线灯比追踪其他类型的灯可能更容易。
在又另一实施方案中，常规摄像头206(由于其只具有一个透镜而在本文中也称作单色摄像头)用于追踪HMD中的灯或特征。为了利用常规摄像头确定游戏场内的HMD的深度，分析HMD上的一些特征的大小以检测深度。特征越小，HMD就越远离摄像头。此外，追踪还可结合其他类型的追踪，诸如惯性运动追踪、航位推测法、计算装置中的HMD之间的超声波通信等等。
注意，图2中说明的实施方案是示例性的。其他实施方案可以不同地在游戏场内只利用一种类型的摄像头、利用若干摄像头等等。图2中说明的实施方案因此不应被解释为排它性或限制性，反而是示范性或说明性的。
图3示出了根据一个实施方案的具有用于追踪用户的目光的内部摄像头302、304的HMD208。在一个实施方案中，当用户观看HMD208中的显示器306时，HMD208具有一个或多个摄像头(例如，302、304)以追踪用户的目光。在一个实施方案中，两个摄像头302、304追踪用户的视景，每一摄像头追踪不同的眼睛。在另一实施方案中，大约位于HMD中心的单个摄像头对两只眼睛拍摄图像，且分析图像来确定目光。
注意，图3的实施方案包括位于眼睛前面的摄像头，但是摄像头也可以位于HMD的不同部分中。通过使用镜子和滤光片，可在多个位置中定位用于目光追踪的摄像头。例如，在一个实施方案中，摄像头可以位于显示器后面，这使得光在一个方向上(例如，从眼睛到摄像头)通过所述摄像头。在另一实施方案中，摄像头可以位于一侧上且对准HMD中心的镜子，这将摄像头的视景重新引导朝向眼睛。
图4示出了具有用于视觉追踪的照明点的HMD的实施方案。图4示出了具有多个特征的HMD，所述多个特征促进游戏场内的HMD的运动的追踪。HMD402包括位于HMD前面、侧面和后面的红外线灯404。
HMD前面的四个红外线灯位于HMD的相同正平面上。在图4的实施方案中，顶部的红外线灯之间的距离小于底部处的红外线灯之间的距离。以此方式，由前面的红外线灯形成的梯形图案促进HMD的追踪。例如，如果用户将她的头部倾斜到一侧，那么由前面的红外线灯形成的梯形将倾斜成与用户的头部相同的角度。
此外，每一侧上的三个红外线灯也辅助追踪。侧面红外线灯中的两个以一定角度定位在HMD前面与HMD的侧面之间。因此，当摄像头在HMD前面或HMD的侧面时，摄像头可以看见这样的两个红外线灯。HMD的侧面上的另一红外线灯对准头部侧面，或换句话来说，红外线灯相对于位于HMD前面的红外线灯成大约90°。最后，当用户正背离摄像头时，HMD后面的红外线灯允许HMD的追踪。
随着用户转动她的头部，基于相距摄像头的视角，红外线灯将形成不同图案且将感知具有不同亮度的红外线灯。红外线灯的这些距离、大小和亮度辅助计算装置追踪HMD的位置。
此外，HMD包括三个LED灯406。两个LED灯406位于HMD前面，其具有形成两个相交平面的盖。平面之一是在HMD的侧面上，且另一平面相对于HMD前面成一定角度(例如，45°)。类似于红外线灯的追踪，计算装置分析由摄像头采集的LED灯的形状和强度。以此方式，计算装置能够确定HMD的位置。再者，当用户正背离摄像头时，位于HMD后面的LED灯允许摄像头检测HMD。
注意，图4中说明的实施方案是示例性的。其他实施方案可以不同地只利用一种类型的灯、一种类型以上的灯、不同布局的灯、不同数量的灯等等。图4中说明的实施方案因此不应被解释为排它性或限制性，反而是示范性或说明性的。
图5说明根据一个实施方案的显示器的刷新。在许多显示器中，渲染显示器的内容，也称作逐行扫描或刷新或更新。每次按从顶部到底部的顺序渲染一行。在每一行内，与所述行相关的像素从左到右刷新。此类型的渲染使得对于显示器上的所有像素的刷新频率相同。
本文中提出的实施方案界定显示器内的不同区域，且区域中的每一个中的像素被赋予不同渲染优先级。渲染优先级确定如何显示像素。在一个实施方案中，像素的渲染优先级越高，像素将被刷新的频率就越大。
如本文中使用，用于显示器上的识别区域的渲染策略确定如何扫描识别区域。渲染策略包括识别如何显示区域的一个或多个值。在一个实施方案中，渲染策略包括下列各项中的一个或多个：区域的屏幕更新的频率(例如，一秒钟30次，但是其他值也是可能的)、渲染分辨率、区域中的渲染图像的复杂度或渲染顺序值。
渲染分辨率确定区域中的所有像素是否将被个别地刷新。在最大分辨率下(例如，100％)，区域中的所有像素将以颜色和亮度的个别值进行刷新。然而，有时候区域的分辨率将被降低(例如，64％)，这意指每次只刷新区域中的一些像素。例如，在50％的渲染分辨率下，一次循环中将刷新区域中的一半像素，且下一次循环中将刷新另一半。
区域中的渲染图像的复杂度是基于为区域中的像素产生像素值所需要的处理量。例如，具有均匀颜色的背景区域或填充有来自背景图像的像素值的区域渲染的复杂度将小于包括移动头像的区域。取决于头像的一些属性，诸如当头像包括自由漂浮的长发、头像是具有皮毛的动物时等等，复杂度可以大幅增加。此外，包括镜子的区域也可以具有复杂处理以确定像素值，因为镜子上的图像将取决于用户的目光，且可能需要计算来确定镜子所对准之处。
在另一实施方案中，通过降低用于存储像素信息的存储器单元的数量来改变区域的清晰度。在此情况中，如果区域的清晰度低于最大值，那么用于存储像素数据的存储器因此减少。例如，具有25％的清晰度的区域只使用与100％清晰度相关的存储器的25％。这意指相同像素数据用于扫描区域中的四个像素的群组。
此外，显示技术可增大与区域相关的源存储器来填充像素区域。在其他实施方案中，可以使用增大或缩减的不同方法，诸如最近邻插值法、最近邻贴图分级细化、双线性滤波、三线性滤波或各向异性滤波。
例如，双线性滤波是用于当使用第二多个像素在显示器的区域上显示第一多个像素时将纹理平滑化的纹理滤波方法，其中第二多个像素的像素数量不同于第一多个像素中的像素数量。换句话来说，第二多个像素需要对第一多个像素的进行缩放(增大或缩减)。
很多时候在屏幕上绘制纹理化形状时，纹理不会如同其存储时没有任何失真一样确切地显示。因此，大部分像素将结束在纹理上使用介于纹素(纹理空间的单位)之间的点的需要，假设纹素是位于其相应单元中的某个位置的点。双线性滤波使用这些点来执行最接近像素所表示的点(通常在像素中间或左上侧)的四个纹素之间的双线性差值。
通过降低一个区域中的分辨率或清晰度，可以将计算资源分配到屏幕上的其他区域，所述其他区域对于给用户提供更好体验来说更加至关重要。
渲染顺序值是由计算装置分配来定义渲染区域的顺序的值。在一个实施方案中，计算装置将渲染顺序值提供到区域中的每一个，且然后按照由渲染顺序值定义的顺序扫描所有区域。换句话来说，计算装置创建用于渲染的所有区域的排序列表。
在一个实施方案中，一种或多种渲染规则定义渲染策略。例如，渲染策略可以包括一种规则(例如，从左到右和从上到下显示像素)或可以包括两种或两种以上规则。例如，第一规则可以定义显示器中心的区域将具有高于显示器外围的区域的优先级，且第二规则可以定义具有游戏人物的区域具有高于不具有游戏人物的区域的渲染优先级。
图6说明根据一个实施方案的示出在HMD的显示器上的游戏场景。在一些实施方案中，目光追踪和HMD运动追踪用于对HMD显示器602上的不同区域的扫描排定优先级。
在一个实施方案中，屏幕被划分成多个区域或区段，且区域按照不同优先级和不同等级的分辨率来更新。这意指一些区域可比其他区域更频繁地或以更高分辨率刷新。
HMD追踪辅助确定其中用户正要将其目光投影到何处，因为当用户正要改变其目光时，存在以相同方向移动头部的天性，即使当与眼睛的移动相比头部的移动可能不大也是如此。例如，如果用户向前平视且头部(连同HMD一起)开始朝左侧移动，那么计算装置推测用户正要将其目光移向左侧。响应于此检测，屏幕左侧上的区域以高于屏幕右侧上的区域的优先级进行渲染。实际上，随着场景偏向左侧，朝屏幕的右边界的区域将极有可能从视野中消失。
通过排定不同区域的扫描的优先级，可通过集中关注用户正观看何处或用户接下来要观看何处且更有效地施加计算机资源使得能够更快且以更好质量渲染用户的视图来给用户赋予更好的体验。
HMD运动追踪是重要的，因为有时候检测HMD运动比检测目光运动更快。在一些情况中，计算装置在视觉上追踪HMD具有多于HMD的计算资源，因此计算装置能够检测HMD运动且基于HMD运动预测HMD的轨迹。此外，HMD将关于目光的当前位置的信息提供到计算装置，且计算装置能够结合两个信息源以更好地预测目光的轨迹。
图6示出了虚拟现实游戏的屏幕。参考虚拟现实显示器描述本文中提出的实施方案，其中屏幕示出了由计算装置创建的独特场景。然而，本文中提出的原理也可以应用于增强现实游戏，其中屏幕上的视图是真实世界图像与计算装置产生图像的组合。在一个实施方案中，在广泛的虚拟世界中玩游戏。用户在任何时候只看见虚拟世界的一部分，且用户能够在虚拟世界中四处移动。随着用户在虚拟世界中四处移动，暴露虚拟世界的其他部分。
在一些实施方案中，当前用户的视角604被赋予高于用户的视角604外部的区域的优先级。用户的视角被定义为显示器上用户正集中观看的区域。因此，大部分游戏互动发生在用户的视角604内。当然，用户的目光是以视角604为中心。
许多人能够在其视野内看见相距左侧大约90°到相距右侧大约90°的区域。然而，用户的视景外围的区域没有被清楚地感知，但是某个人可以感觉所述外围区域内的一定运动或变化。
在图6中示出的实施方案中，视角被定义为屏幕上的矩形区段，其中用户的目光居中于此矩形区段内。然而，可以定义其他类型的视角区域。例如，在一个实施方案中，视角区域被定义为屏幕上的用户的目光点周围的圆圈。观察角是参考从眼睛之间的中点到屏幕上的目光点的线来定义。然后由观察角确定视角圆圈的半径。在一些实施方案中，观察角可以具有5°到45°的范围中的值，但是其他值也是可能的。
在一些实施方案中，渲染策略要求具有游戏人物的区域被赋予高于不具有游戏人物的区域的渲染优先级。在其他实施方案中，另一渲染策略按照游戏赋予游戏人物和被视为重要游戏对象的特殊游戏对象更高的扫描优先级。例如，重要游戏对象可以是汽车或飞机的安全门、导航控制台、催眠游戏上的目标、敌机等等。一般来说，重要游戏对象是可由用户扮演的对象，而非重要游戏对象在背景中渲染以填满场景。
在图6中，区域606(包括游戏人物610和612)和区域608(包括游戏人物614)是具有游戏人物的区域，且被赋予高于显示器的剩余部分的渲染优先级。当然，在一些实施方案中，这只是计算最终渲染优先级的因素，因为诸如当用户正移动其目光或其头部时渲染优先级可以被一些其他规则更改。
在一个实施方案中，当用户快速移动其头部时屏幕上可以发生模糊，因为快速移动需要快速更新显示器，且HMD不具有足够多计算资源来赶上用户的运动。为了在HMD的快速运动中避免模糊，渲染策略开始更快地刷新与用户的运动相关的区域，且一些其他区域可能以更低频率或更低分辨率来刷新。一旦HMD停止移动，修复扫描的图像的更高质量。
此外，注意为了预测用户的目光的轨迹，计算装置追踪用户的目光在预定时段内的轨迹，且还追踪HMD在预定时段内(或某个其他时段)的轨迹。历史数据用于通过分析目光运动和HMD运动中的趋势来预测用户的目光的轨迹。
注意，图6中说明的实施方案是示例性的。其他实施方案可以利用不同类型的视角区域、不同类型的显示器、不同的渲染策略等等。图6中说明的实施方案因此不应被解释为排它性或限制性，反而是示范性或说明性的。
图7说明根据一个实施方案的显示器中用于优先级渲染的区域的创建。在图7的实施方案中，屏幕702上界定相等大小的多个区域。在示例性实施方案中，屏幕上界定创建30个区域(6x5)的格子。在其他实施方案中，屏幕上界定的区域不具有相等大小。例如，显示器中心的区域小于显示器外部的区域，因为中心的区域对于提供更好的用户体验来说通常更重要。结果，这些中心区域被赋予更高渲染优先级。
在一些实施方案中，基于游戏活动或基于用户正在做的事情给一些区域赋予更高的渲染优先级。例如，如上文参考图6讨论，检测用户头部的运动且使用所述运动来增加其中用户的目光被预测所处位置的优先级。
在一个实施方案中，具有游戏人物的区域被赋予高于不具有游戏人物的区域的优先级。在图7的示例性实施方案中，区域704和706内部的区域包括游戏人物的部分。在一个实施方案中，渲染策略包括增加区域704和706的渲染优先级的规则。另一渲染策略对屏幕中心的区域赋予高渲染优先级且对显示器外围的区域赋予低渲染优先级。
在一个实施方案中，通过考虑确定优先级的多种因素或规则计算每一区域的渲染优先级。以下等式用于确定区域ri:的渲染优先级rp值：
rp(ri)＝f(rule1(ri),rule2(ri),…,rulen(ri))
其中rp(ri)是区域ri的渲染策略，且rule1-rulen是被定义用于确定渲染策略的策略规则。例如，一种规则可以规定显示器中心的区域被赋予更高渲染优先级，第二规则可以确定具有游戏人物的区域被赋予更高渲染优先级，第三规则可以对目光点周围的区域赋予更高优先级，第四规则可以确定当用户正移动其头部时，其中头部被预测转向的区域被赋予更高渲染优先级，等等。
在一个实施方案中，渲染策略包括下列各项中的一个或多个：区域的屏幕更新的频率、渲染分辨率和渲染顺序值。在一个实施方案中，每一规则被赋予权重以计算区域的渲染策略。在一些实施方案中，可以基于之前体验动态地调整权重。
图8说明可以用于实施本发明的实施方案的装置的架构。头戴式显示器是计算装置且包括通常发现在计算装置上的模块，诸如处理器804、存储器816(RAM、ROM等等)、一个或多个电池806或其他电源和永久存储装置848(诸如硬盘)。
通信模块允许HMD与其他便携式装置、其他计算机、其他HMD、服务器等等交换信息。通信模块包括通用串行总线(USB)连接器846、通信链路852(诸如以太网)、超声波通信856、蓝牙858和WiFi854。
用户接口包括用于输入和输出的模块。输入模块包括输入按钮、传感器和开关810、麦克风832、触敏屏幕(未示出，其可以用于配置或初始化HMD)、前置摄像头840、后置摄像头842、目光追踪摄像头844。其他输入/输出装置(诸如键盘或鼠标)也可经由通信链路(诸如USB或蓝牙)连接到便携式装置。
输出模块包括用于渲染用户的眼睛前面的图像的显示器814。一些实施方案可以包括一个显示器、两个显示器(一只眼睛使用一个显示器)、微投影仪或其他显示技术。其他输出模块包括发光二极管(LED)834(其还可以用于HMD的视觉追踪)、触觉震动反馈850、扬声器830和声音定位模块812，其执行被传递到扬声器或耳机的声音的声音定位。诸如耳机的其他输出装置也可经由通信模块连接到HMD。
可以包括来促进运动追踪的元件包括LED834、用于视觉识别的一个或多个物体836和红外线灯838。
来自不同装置的信息可由位置模块828使用来计算HMD的位置。这些模块包括磁力计818、加速度计820、陀螺仪822、全球定位系统(GPS)模块824和指南针826。此外，位置模块可分析利用摄像头和麦克风采集的声音或图像数据以计算位置。此外，位置模块可执行测试以确定便携式装置的位置或附近其他装置的位置，诸如WiFi因特网包探索器(ping)测试或超声波测试。
虚拟现实产生器808如先前描述般使用由位置模块计算的位置创建虚拟或增强现实。虚拟现实产生器808可以与其他计算装置(例如，游戏机、互联网服务器等等)协作来产生用于显示模块814的图像。远程装置可以发送用于在屏幕上创建游戏对象的屏幕更新或指令。
应明白，图8中说明的实施方案是便携式装置的示例性实施方式。其他实施方案可以利用不同模块、模块的子组或将相关任务分配到不同模块。图8中说明的实施方案因此不应被解释为排它性或限制性，反而是示范性或说明性的。
图9是说明根据一个实施方案的用于在HMD上渲染图像的流程图。虽然此流程图中的各个操作是循序提出和描述，但是一般技术者将明白，可以不同顺序执行、可以组合或省略或并行执行一些或所有操作。
在操作902中，所述方法利用HMD内部的一个或多个第一摄像头追踪用户的目光。所述方法从操作902流到操作904，其中所述方法追踪HMD的运动。追踪运动包括分析利用不在HMD中的第二摄像头(例如，图1中的摄像头104)拍摄的HMD的图像。
所述方法从操作904流到操作906，其中基于目光和HMD的运动预测用户的目光的运动(例如，所预测的目光轨迹)。此外，所述方法从操作906流到操作908，其中确定界定在HMD的显示器上的多个区域的渲染策略。基于目光的预测运动确定渲染策略。
所述方法从操作908流到操作910以基于先前计算的渲染策略来渲染显示器上的图像。此外，在一个实施方案中，当HMD正在移动时降低区域的渲染分辨率，且当HMD变为静止时增加区域的渲染分辨率。
在一些实施方式中，接收关于HMD的运动的惯性信息，所述惯性信息是由HMD中的惯性传感器采集。在另一实施方案中，通过分析利用不在HMD中的第二摄像头拍摄的HMD的图像来追踪HMD的运动。在又另一实施方案中，通过组合惯性信息与来自第二摄像头拍摄的图像的图像分析的结果来追踪HMD的运动。
在又另一实施方案中，提出一种用于在HMD上渲染图像的方法。所述方法包括用于追踪观看由HMD内部的显示器创建的视图的用户的目光的操作。此外，所述方法包括用于基于用户的目光给显示器上渲染的多个游戏对象分配渲染优先级值的操作。每一个游戏对象的渲染优先级值定义渲染的频率和渲染分辨率。此外，所述方法包括用于基于游戏中的每一个游戏对象的重要性值改变渲染优先级值的操作。在另一操作中，所述方法包括根据渲染优先级值在显示器上渲染所述多个游戏对象。
在另一实施方案中，基于源图像和其中渲染源图像区域来更改实际源图像。例如，直视游戏人物(例如，游戏人物靠近用户的视野中心)比不直视游戏人物(例如，游戏人物没有靠近用户的视野中心)更详细渲染游戏人物。
图10说明可以用于实施本发明的实施方案的硬件和用户接口。图10示意地说明3娱乐装置的整体系统架构。提供系统单元1400，其中各个外围装置可连接到系统单元1400。系统单元1400包括：单元处理器1428；动态随机访问存储器(XDRAM)单元1426；具有专用视频随机访问存储器(VRAM)单元1432的现实同步器图形单元1430；和I/O桥1434。系统单元1400还包括用于从光盘1440a中进行读数的蓝光光盘光盘读取器1440和可通过I/O桥1434访问的可抽换式吸入式硬盘驱动器(HDD)1436。选用地，系统单元1400还包括用于读取类似地可通过I/O桥1434访问的快闪记忆卡、记忆棒存储卡等等的存储器读卡器1438。
I/O桥1434还连接到6个通用串行总线(USB)2.0端口1424；千兆以太网端口1422；IEEE802.11b/g无线网(Wi-Fi)端口1420；和能够支持多达7个蓝牙连接的蓝牙无线链路端口1418。
无线、USB和以太网端口除了游戏控制器1402到1403和HMD1417之外还提供用于其他外围装置的连接，诸如：远程控制1404；键盘1406；鼠标1408；便携式娱乐装置1410，诸如Sony娱乐装置；摄像机，诸如Play眼球摄像头1412；耳机1414；和麦克风1415。这些外围装置可以因此原则上无线地连接到系统单元1400；例如，便携式娱乐装置1410可以经由Wi-Fi无线自组织连接进行通信，而耳机1414可以经由蓝牙链路进行通信。
游戏控制器1402到1403可操作以经由蓝牙链路与系统单元1400无线地通信，或连接到USB端口，借此还提供通过其对游戏控制器1402到1403的电池充电的电力。游戏控制器1402是被设计来用两只手使用的控制器，且游戏控制器1403是具有球形附接件的单手控制器。除了一个或多个模拟控制杆和常规控制按钮之外，游戏控制器易受三维位置确定影响。结果，除了常规按钮或控制杆命令之外或代替常规按钮或控制杆命令，由游戏控制器的用户作出的手势和移动可以被转译为游戏的输入。
在一个实施方案中，利用语音和目光输入来根据用户的目光点(POG)朝具体音频扬声器播放声音。音频连接器1450可以包括常规的模拟和数字输出，而视频连接器1452可以不同地包括分量视频、S-视频、合成视频和一个或多个高清晰度多媒体接口(HDMI)输出。结果，视频输出可以呈诸如PAL或NTSC或720p、1080i或1080p高清晰度的格式。
图11是根据本发明的各个实施方案的游戏系统1100的方框图。游戏系统1100被配置来经由网络1115将视频流提供到一个或多个客户端1110。游戏系统1100通常包括视频服务器系统1120和选用游戏服务器1125。视频服务器系统1120被配置来以最小服务质量将视频流提供到所述一个或多个客户端1110。例如，视频服务器系统1120可以接收改变视频游戏的状态或视频游戏内的视角的游戏命令，且以最小滞后时间给客户端1110提供反映此状态变化的更新视频流。视频服务器系统1120可以被配置来提供呈各种替代视频格式的视频流。
本文中个别地称作1110A.、1110B.等等的客户端1110可以包括头戴式显示器、终端、个人计算机、游戏机、平板计算机、电话、机顶盒、一体机、无线装置、数码pad、独立装置、手持式游戏装置等等。通常，客户端1110被配置来接收已编码的视频流、解码视频流且将所得视频呈现给用户，例如游戏玩家。接收已编码的视频流及/或解码视频流的程序通常包括将个别视频帧存储在客户端的接收缓冲区中。视频流可以在与客户端1110成一体的显示器上或诸如监视器或电视机上向用户呈现。客户端1110选用地被配置来支持一个以上游戏玩家。例如，游戏机可以被配置来支持两个、三个、四个或更多个同时玩家。这些玩家中的每一个可以接收单独视频流，或单个视频流可以包括针对每一玩家具体产生(例如，基于每一玩家的视角产生)的帧的区域。客户端1110选用地在地理位置上分散。包括在游戏系统1100中的客户端的数量可以从一个或两个到上千个、数千个或更多大幅地变化。如本文中使用，术语“游戏玩家”是用来指代玩游戏的人，且术语“游戏装置”是用来指代用于玩游戏的装置。在一些实施方案中，游戏装置可以指代协作传递游戏体验到用户的多个计算装置。例如，游戏机和HMD可以与视频服务器系统1120协作来传递通过HMD观察的游戏。在一个实施方案中，游戏机从视频服务器系统1120接收视频流，且游戏机将视频流或对视频流的更新转发到HMD用于渲染。
客户端1110被配置来经由网络1115接收视频流。网络1115可以是任何类型的通信网络，其包括电话网络、互联网、无线网络、电力线网络、局域网、广域网、专用网络等等。在典型的实施方案中，视频流是经由标准协议(诸如TCP/IP或UDP/IP)传送。替代地，视频流是经由专有标准传送。
客户端1110的典型实例是个人计算机，其包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力和输入装置。解码逻辑可以包括硬件、固件和/或存储在计算机可读介质上的软件。用于解码(和编码)视频流的系统在所属领域中是众所周知的且取决于所使用的特定编码方案而改变。
客户端1110还可以但不一定需要包括被配置用于修改所接收视频的系统。例如，客户端可以被配置来执行其他渲染、将一个视频图像覆盖在另一视频图像上、裁剪视频图像等等。例如，客户端1110可以被配置来接收各种类型的视频帧，诸如I帧、P帧和B帧，且将这些帧处理为图像以显示于用户。在一些实施方案中，客户端1110的成员被配置来执行其他渲染、遮蔽、转换为3-D、HMD光学器件的光学失真处理或对视频流的相似操作。客户端1110的成员选用地被配置来接收一个以上音频或视频流。客户端1110的输入装置可以包括例如单手游戏控制器、双手游戏控制器、手势识别系统、目光识别系统、语音识别系统、键盘、控制杆、定点装置、力反馈装置、运动和/或位置感测装置、鼠标、触屏、神经接口、摄像头、尚待开发的输入装置等等。
由客户端1110接收的视频流(和选用地音频流)是由视频服务器系统1120产生和提供。如本文中别处进一步描述，此视频流包括视频帧(且音频流包括音频帧)。视频帧被配置来(例如，其包括适当数据结构中的像素信息)有意义地促成显示于用户的图像。如本文中使用，术语“视频帧”是用来指代包括被配置来促成(例如生效)向用户示出的图像的主动信息的帧。本文中关于“视频帧”的大部分教学也可应用于“音频帧”。
客户端1110通常被配置来从用户接收输入。这些输入可以包括被配置来改变视频游戏的状态或影响游戏的游戏命令。游戏命令可使用输入装置接收和/或可以由在客户端1110上执行的计算指令来自动产生。所接收的游戏命令经由网络1115从客户端1110传送到视频服务器系统1120和/或游戏服务器1125。例如，在一些实施方案中，游戏命令经由视频服务器系统1120传送到游戏服务器1125。在一些实施方案中，游戏命令的单独副本从客户端1110传送到游戏服务器1125和视频服务器系统1120。游戏命令的传送选用地取决于命令的身份。游戏命令选用地通过用于将音频或视频流提供到客户端1110A的不同路线或通信频道从客户端1110A传送。
游戏服务器1125选用地由不同于视频服务器系统1120的实体来操作。例如，游戏服务器1125可以由多玩家游戏的出版商来操作。在此实例中，视频服务器系统1120选用地被游戏服务器1125视为客户端且选用地被配置来从游戏服务器1125的视角来表现为执行现有技术游戏引擎的现有技术客户端。视频服务器系统1120与游戏服务器1125之间的通信选用地经由网络1115发生。因而，游戏服务器1125可为将游戏状态信息发送到多个客户端的现有技术多玩家游戏服务器，所述客户端之一是游戏服务器系统1120。视频服务器系统1120可以被配置来同时与游戏服务器1125的多个实例通信。例如，视频服务器系统1120可被配置来将多个不同视频游戏提供到不同用户。这些不同视频游戏中的每一个可以由不同游戏服务器1125提供和/或由不同实体公开。在一些实施方案中，视频服务器系统1120的若干地理位置分布实例被配置来将游戏视频提供到多个不同用户。视频服务器系统1120的这些实例中的每一个可以与游戏服务器1125的相同实例通信。视频服务器系统1120与一个或多个游戏服务器1125之间的通信选用地经由专用通信频道发生。例如，视频服务器系统1120可以经由这样的两个系统之间的通信所专用的高带宽频道连接到游戏服务器1125。
视频服务器系统1120包括至少视频源1130、I/O装置1145、处理器1150和非暂时性存储装置1155。视频服务器系统1120可以包括一个计算装置或分布在多个计算装置中。这些计算装置选用地经由诸如局域网的通信系统连接。
视频源1130被配置来提供视频流，例如串流视频或形成电影的一系列视频帧。在一些实施方案中，视频源1130包括视频游戏引擎和渲染逻辑。视频游戏引擎被配置来从玩家接收游戏命令且基于所接收命令维持视频游戏的状态的副本。此游戏状态包括游戏环境中的物体位置以及通常视角。游戏状态还可以包括物体的性质、图像、颜色和/或纹理。游戏状态通常是基于游戏规则以及游戏命令(诸如移动、转动、攻击、设置焦点、互动、使用等等)而维持。游戏引擎的部分选用地被安置在游戏服务器1125内。游戏服务器1125可以基于使用地理位置分散的客户端接收自多个玩家的游戏命令维持游戏的状态的副本。在这些情况中，游戏状态是由游戏服务器1125提供到视频源1130，其中存储游戏状态的副本且执行渲染。游戏服务器1125可以经由网络1115直接从客户端1110接收游戏命令，和/或可以经由视频服务器系统1120接收游戏命令。
视频源1130通常包括渲染逻辑，例如硬件、固件和/或存储在诸如存储装置1155的计算机可读介质上的软件。此渲染逻辑被配置来基于游戏状态创建视频流的视频帧。所有或部分渲染逻辑选用地被安置在图形处理单元(GPU)内。渲染逻辑通常包括处理级，其被配置用于基于游戏状态和视角确定物体之间的三维空间关系和/或施加适当纹理等等。渲染逻辑产生随后通常在传送到客户端1110之前进行编码的原始视频。例如，原始视频可以根据Adobe标准、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.Xvid.FFmpeg、x264、VP6-8、realvideo、mp3等等进行编码。编码程序产生选用地被封装以传递到远程装置上的解码器的视频流。视频流是以帧大小和帧速为特征。典型的帧大小包括800x600、1280x720(例如，720p)、1024x768，但是也可以使用任何其他帧大小。帧速是每秒钟的视频帧的数量。视频流可以包括不同类型的视频帧。例如，H.264标准包括“P”帧和“I”帧。I帧包括用于刷新显示装置上的所有宏块/像素的信息，而P帧包括用于刷新其子集的信息。P帧的数据大小通常小于I帧。如本文中使用，术语“帧大小”旨在指代帧内的像素数量。术语“帧数据大小”是用来指代存储帧所需要的字节数量。
在替代实施方案中，视频源1130包括视频记录装置，诸如摄像头。此摄像头可以用于产生可被包括在计算机游戏的视频流中的延迟或实时视频。所得视频流选用地包括渲染图像和使用静态摄像头或摄影机记录的图像两者。视频源1130还可以包括被配置来存储被包括在视频流中的先前记录的视频的存储装置。视频源1130还可以包括被配置来检测物体(例如，人)的运动或位置的运动或定位感测装置，和被配置来基于已检测的运动和/或位置确定游戏状态或产生视频的逻辑。
视频源1130选用地被配置来提供被配置成放置在另一视频上的覆盖。例如，这样的覆盖可以包括命令接口、登录指令、游戏玩家的消息、其他游戏玩家的图像、其他游戏玩家的视频转播(例如，网络摄像头)。在包括触屏接口或目光检测接口的客户端1110A的实施方案中，覆盖可以包括虚拟键盘、控制杆、触控板等等。在覆盖的一个实例中，玩家的声音覆盖在音频流上。视频源1130选用地还包括一个或多个音频源。
在其中视频服务器系统1120被配置来基于来自一个以上玩家的输入维持游戏状态的实施方案中，每一玩家可以具有包括观察位置和方向的不同视角。视频源1130选用地被配置来基于每一玩家的视角为其提供单独视频流。此外，视频源1130可以被配置来给客户端1110中的每一个提供不同的帧大小、帧数据大小和/或编码。视频源1130选用地被配置来提供3-D视频。
I/O装置1145被配置使得视频服务器系统1120发送和/或接收信息，诸如视频、命令、对信息的请求、游戏状态、目光信息、装置运动、装置位置、用户运动、客户端身份、玩家身份、游戏命令、安全信息、音频等等。I/O装置1145通常包括诸如网卡或调制解调器的通信硬件。I/O装置1145被配置来与游戏服务器1125、网络1115和/或客户端1110通信。
处理器1150被配置来执行包括在本文中讨论的视频服务器系统1120的各个组件内的逻辑，例如软件。例如，处理器1150可以用软件指令编程以执行视频源1130、游戏服务器1125和/或客户端限定器1160的功能。视频服务器系统1120选用地包括处理器1150的一个以上实例。处理器1150还可以用软件指令编程以执行由视频服务器系统1120接收的命令，或协调本文中讨论的游戏系统1100的各个元件的操作。处理器1150可以包括一个或多个硬件装置。处理器1150是电子处理器。
存储装置1155包括非暂时性模拟和/或数字存储装置。例如，存储装置1155可以包括被配置来存储视频帧的模拟存储装置。存储装置1155可以包括计算机可读数字存储装置，例如硬盘、光盘或固态存储装置。存储装置1115被配置来(例如，借助于适当数据结构或文件系统)存储视频帧、仿真帧、包括视频帧和仿真帧两者的视频流、音频帧、音频流等等。存储装置1155选用地分布在多个装置中。在一些实施方案中，存储装置1155被配置来存储本文中别处讨论的视频源1130的软件组件。这些组件可以在需要时随时准备供应的格式存储。
视频服务器系统1120还选用地包括客户端限定器1160。客户端限定器1160被配置用于远程地确定客户端(诸如客户端1110A或1110B)的能力。这些能力可包括客户端1110A本身的能力以及客户端1110A与视频服务器系统1120之间的一个或多个通信频道的能力。例如，客户端限定器1160可以被配置来通过网络1115测试通信频道。
客户端限定器1160可手动或自动确定(例如，发现)客户端1110A的能力。手动确定包括与客户端1110A的用户通信和要求用户提供能力。例如，在一些实施方案中，客户端限定器1160被配置来在客户端1110A的浏览器内显示图像、文字等等。在一个实施方案中，客户端1110A是包括浏览器的HMD。在另一实施方案中，客户端1110A是具有浏览器的游戏机，其可以被显示在HMD上。所显示物体要求用户键入客户端1110A的信息，诸如操作系统、处理器、视频解码器类型、网络连接的类型、显示分辨率等等。由用户键入的信息被返回传送到客户端限定器1160。
自动确定可以例如通过在客户端1110A上执行代理程序和/或通过将测试视频发送到客户端1110A而发生。代理程序可以包括嵌入在网页中或被安装为扩展组件的计算指令，诸如java脚本。代理程序选用地由客户端限定器1160提供。在各个实施方案中，代理程序可发现客户端1110A的处理能力、客户端1110A的解码和显示能力、客户端1110A与视频服务器系统1120之间的通信频道的滞后时间可靠性和带宽、客户端1110A的显示类型、客户端1110A上存在的防火墙、客户端1110A的硬件、在客户端1110A上执行的软件、客户端1110A内的注册表项等等。
客户端限定器1160包括硬件、固件和/或存储在计算机可读介质上的软件。客户端限定器1160选用地被安置在与视频服务器系统1120的一个或多个其他元件分离的计算装置上。例如，在一些实施方案中，客户端限定器1160被配置来确定客户端1110与视频服务器系统1120的一个以上实例之间的通信频道的特性。在这些实施方案中，由客户端限定器发现的信息可用来确定视频服务器系统1120中的哪个实例最适用于串流视频到客户端1110之一的传递。
本发明的实施方案可以利用各种计算机系统配置来实践，所述计算机系统配置包括手持式装置、微处理器系统、基于微处理器或可编程消费者电子器件、微型计算机、大型计算机等等。所述实施方案还可在分布式计算环境中实践，在分布式计算环境中，由通过网络链接的远程护理装置执行任务。
牢记上述实施方案，应了解，实施方案可采用涉及存储在计算机系统中的数据的各种计算机实施操作。这些操作是需要对物理量进行物理操控的操作。本文中描述的形成实施方案的部分的任何操作是有用的机器操作。实施方案还涉及一种用于执行这些操作的装置或设备。所述设备可以具体针对所需目的(诸如专用计算机)而构造。当被界定为专用计算机时，计算机还可执行其他处理、程序执行或并非专用计算机的部分的常式，同时仍然能够针对特殊目的进行操作。替代地，操作可以由被存储在计算机存储器、缓存中或通过网络获得的一个或多个计算机程序选择性地启动或配置的通用计算机来处理。当数据是通过网络获得时，数据可以由网络上的其他计算机(例如，计算资源的云端)处理。
本发明的一个或多个实施方案还可被制造为计算机可读介质上的计算机可读代码。计算机可读介质是可存储数据的任何数据存储装置，所述数据此后可由计算机系统读取。计算机可读介质的实例包括硬盘、网络附加存储装置(NAS)、只读存储器、随机访问存储器、CD-ROM、CD-R、CD-RW、磁带和其他光学和非光学数据存储装置。计算机可读介质可包括通过网络耦接计算机系统分布的计算机可读有形介质使得以分布式方式存储和执行计算机可读代码。
虽然以具体顺序描述了方法操作，但是应了解可以在操作之间执行其他内务操作，或可以调整操作使得可以在稍微不同时间发生所述操作，或所述操作可以被分布在系统中，所述系统允许以与处理相关的各个时间间隔发生处理操作，前提是覆盖操作的处理是以所需方式执行。
虽然为了明确理解而以一定细节描述了前述实施方案，但是将明白在随附权利要求书的范围内可实践某些改变和修改。因此，本实施方案被视为说明性且非限制性，且本发明不限于本文中赋予的细节，但是可以在随附权利要求书的范围和等效物内进行修改。

Claims (20)

1.一种用于在头戴式显示器(HMD)上渲染图像的方法，所述方法包括：
利用所述HMD内部的一个或多个第一摄像头追踪用户的目光；
追踪所述HMD的运动，其中追踪所述运动包括分析利用不在所述HMD中的第二摄像头拍摄的所述HMD的图像；
基于所述目光和所述HMD的所述运动来预测所述用户的所述目光的运动；
基于所述目光的预测运动确定用于被界定在由所述HMD渲染的视图上的多个区域的渲染策略；和
通过所述HMD基于所述渲染策略渲染图像。
2.根据权利要求1所述的方法，其中预测所述目光的所述运动还包括：
追踪所述用户的所述目光在预定时段内的轨迹；和
追踪所述HMD在所述预定时段内的轨迹。
3.根据权利要求1所述的方法，其中用于每一区域的所述渲染策略包括下列各项中的一个或多个：屏幕更新的频率、渲染分辨率、所述区域中的渲染图像的复杂度或确定用于渲染所述多个区域的顺序的渲染顺序值。
4.根据权利要求3所述的方法，其还包括：
基于所述渲染顺序值创建用于渲染所述多个区域的有序列表。
5.根据权利要求3所述的方法，其中所述视图中心中的区域比所述视图外围中的区域具有更高的渲染顺序值。
6.根据权利要求1所述的方法，其中确定所述渲染策略还包括：
向通过所述目光界定的用户视图区域中的区域分配比所述用户视图区域外部的区域更高的渲染顺序值。
7.根据权利要求1所述的方法，其中追踪所述HMD的所述运动还包括：
追踪所述HMD中的红外线灯或追踪所述HMD中的LED灯中的一个或多个。
8.根据权利要求1所述的方法，其中所述第二摄像头是立体摄像头。
9.根据权利要求1所述的方法，其中确定渲染策略还包括：
当所述HMD移动时降低所述渲染分辨率；和
当所述HMD静止时增加所述渲染分辨率。
10.根据权利要求1所述的方法，其还包括：
利用所述第二摄像头追踪控制器的运动；和
创建与所述控制器同步移动的游戏对象，所述游戏对象被渲染在所述视图上。
11.根据权利要求10所述的方法，其中所述游戏对象是与所述控制器同步移动的游戏中的头像。
12.根据权利要求10所述的方法，其中所述游戏对象是武器、控制装置、闪光灯、铁锤或盾牌中的一个。
13.一种嵌入在非暂时性计算机可读存储介质中的计算机程序，所述计算机程序在由一个或多个处理器执行时用于在头戴式显示器(HMD)上渲染图像，所述计算机程序包括：
用于利用所述HMD内部的一个或多个第一摄像头追踪用户的目光的程序指令；
用于追踪所述HMD的运动的程序指令，其中追踪所述运动包括分析利用不在所述HMD中的第二摄像头拍摄的所述HMD的图像；
用于基于所述目光和所述HMD的所述运动来预测所述用户的所述目光的运动的程序指令；
用于基于所述目光的预测运动确定用于被界定在由所述HMD渲染的视图上的多个区域的渲染策略的程序指令；和
用于通过所述HMD基于所述渲染策略渲染图像的程序指令。
14.根据权利要求13所述的计算机程序，其中追踪所述HMD的所述运动还包括：
接收关于所述HMD的运动的惯性信息，所述惯性信息是通过所述HMD中的惯性传感器采集。
15.根据权利要求13所述的计算机程序，其中对于所有区域来说，所述多个区域不具有相同大小。
16.一种用于在头戴式显示器(HMD)上渲染图像的方法，所述方法包括：
追踪穿戴所述HMD的用户的目光；
基于所述用户的所述目光为通过所述HMD渲染的多个游戏对象分配渲染优先级值，每一个游戏对象的所述渲染优先级值界定下列各项中的至少一个：渲染的频率、渲染游戏对象的复杂度、游戏对象的图像质量或渲染分辨率；
基于所述游戏中的每一个游戏对象的重要性值改变所述渲染优先级值；和
通过所述HMD根据所述渲染优先级值渲染所述多个游戏对象。
17.根据权利要求16所述的方法，其中所述渲染优先级值还包括用于对所述多个游戏对象的渲染进行定序的排序值。
18.根据权利要求16所述的方法，其还包括：
追踪所述HMD的运动，其中追踪所述运动包括分析利用不在所述HMD中的第二摄像头拍摄的所述HMD的图像。
19.根据权利要求18所述的方法，其还包括：
利用所述第二摄像头追踪控制器的运动；和
创建与所述控制器同步移动的游戏对象，所述游戏对象被渲染在所述视图上。
20.根据权利要求16所述的方法，其中计算机程序在由一个或多个处理器执行时执行所述方法的操作，所述计算机程序被嵌入在非暂时性计算机可读存储介质中。
CN201480032498.8A 2013-06-07 2014-05-23 响应于头戴式显示器中的用户动作的图像渲染 Active CN105392538B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910203465.XA CN109999491B (zh) 2013-06-07 2014-05-23 在头戴式显示器上渲染图像的方法和计算机可读存储介质

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361832755P 2013-06-07 2013-06-07
US61/832,755 2013-06-07
US14/206,849 US9897805B2 (en) 2013-06-07 2014-03-12 Image rendering responsive to user actions in head mounted display
US14/206,849 2014-03-12
PCT/US2014/039344 WO2014197226A1 (en) 2013-06-07 2014-05-23 Image rendering responsive to user actions in head mounted display

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910203465.XA Division CN109999491B (zh) 2013-06-07 2014-05-23 在头戴式显示器上渲染图像的方法和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN105392538A true CN105392538A (zh) 2016-03-09
CN105392538B CN105392538B (zh) 2019-04-12

Family

ID=52005035

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480032498.8A Active CN105392538B (zh) 2013-06-07 2014-05-23 响应于头戴式显示器中的用户动作的图像渲染
CN201910203465.XA Active CN109999491B (zh) 2013-06-07 2014-05-23 在头戴式显示器上渲染图像的方法和计算机可读存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910203465.XA Active CN109999491B (zh) 2013-06-07 2014-05-23 在头戴式显示器上渲染图像的方法和计算机可读存储介质

Country Status (5)

Country Link
US (3) US9897805B2 (zh)
EP (2) EP3524328B1 (zh)
JP (2) JP6114472B2 (zh)
CN (2) CN105392538B (zh)
WO (1) WO2014197226A1 (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869215A (zh) * 2016-03-28 2016-08-17 上海米影信息科技有限公司 一种虚拟现实成像系统
CN105931272A (zh) * 2016-05-06 2016-09-07 上海乐相科技有限公司 一种运动对象追踪方法及系统
CN106792133A (zh) * 2016-12-30 2017-05-31 北京华为数字技术有限公司 虚拟现实服务器、视频数据传输方法及系统
CN107194891A (zh) * 2017-05-18 2017-09-22 上海兆芯集成电路有限公司 改善图像质量的方法及虚拟实境装置
CN107194890A (zh) * 2017-05-18 2017-09-22 上海兆芯集成电路有限公司 使用多分辨率改善图像质量的方法及装置
WO2018086399A1 (zh) * 2016-11-14 2018-05-17 华为技术有限公司 一种图像渲染的方法、装置及vr设备
CN108540517A (zh) * 2017-03-06 2018-09-14 中国移动通信有限公司研究院 一种信息获取方法、用户设备及系统
CN109416931A (zh) * 2016-06-30 2019-03-01 索尼互动娱乐股份有限公司 用于视线跟踪的装置和方法
CN109453523A (zh) * 2018-09-26 2019-03-12 努比亚技术有限公司 一种游戏画面显示处理方法、终端及计算机可读存储介质
CN109473082A (zh) * 2019-01-08 2019-03-15 京东方科技集团股份有限公司 一种显示屏刷新率的调整方法、装置及虚拟现实设备
CN109478097A (zh) * 2016-06-16 2019-03-15 Smi创新传感技术有限公司 用于提供关于用户行为的基于眼睛追踪的信息的方法和系统、客户端设备、服务器和计算机程序产品
CN109791433A (zh) * 2016-09-22 2019-05-21 苹果公司 预测式中心凹虚拟现实系统
CN109814413A (zh) * 2017-11-21 2019-05-28 宏碁股份有限公司 头戴式显示设备、电子系统以及相关控制方法
CN109952135A (zh) * 2016-09-30 2019-06-28 索尼互动娱乐股份有限公司 具有差分渲染和声音定位的无线头戴式显示器
CN110235447A (zh) * 2017-01-19 2019-09-13 索尼互动娱乐股份有限公司 图像传送装置
WO2019205782A1 (zh) * 2018-04-27 2019-10-31 腾讯科技（深圳）有限公司 图像的分辨率处理方法、系统、装置、存储介质及设备
CN110574375A (zh) * 2017-04-28 2019-12-13 苹果公司 视频流水线
CN111047676A (zh) * 2018-10-12 2020-04-21 中国移动通信集团广西有限公司 一种图像渲染方法、装置及存储介质
CN111201069A (zh) * 2017-09-29 2020-05-26 索尼互动娱乐美国有限责任公司 对在现实世界场地中举行的现场事件中所展示的交互式游戏世界的旁观者视图
CN111523295A (zh) * 2019-01-17 2020-08-11 北京沃东天骏信息技术有限公司 数据渲染方法、装置、介质及电子设备
CN111836116A (zh) * 2020-08-06 2020-10-27 武汉大势智慧科技有限公司 一种网络自适应渲染的视频展示方法及系统
CN112639577A (zh) * 2018-08-06 2021-04-09 威尔乌集团 基于应用程序渲染性能的预测和限流调整
CN113439395A (zh) * 2019-02-21 2021-09-24 高通股份有限公司 用于在高频无线网络中使用旋转向量来进行波束管理的技术
US11138784B2 (en) 2016-07-29 2021-10-05 Sony Corporation Image processing apparatus and image processing method
CN113613066A (zh) * 2021-08-03 2021-11-05 天翼爱音乐文化科技有限公司 一种实时视频特效的渲染方法、系统、装置及存储介质
CN115131483A (zh) * 2018-05-17 2022-09-30 索尼互动娱乐股份有限公司 渲染视频帧的方法、计算机可读存储介质和计算机系统
US11816820B2 (en) 2017-07-21 2023-11-14 Apple Inc. Gaze direction-based adaptive pre-filtering of video data
CN117994181A (zh) * 2024-04-03 2024-05-07 成都力比科技有限公司 一种基于全屏幕的2d光照渲染方法及系统
US12058392B2 (en) 2020-09-21 2024-08-06 Samsung Electronics Co., Ltd. Method and device for transmitting video content by using edge computing service

Families Citing this family (198)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US10585472B2 (en) 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US10209771B2 (en) 2016-09-30 2019-02-19 Sony Interactive Entertainment Inc. Predictive RF beamforming for head mounted display
CN105359063B (zh) * 2013-06-09 2018-08-17 索尼电脑娱乐公司 利用追踪的头戴式显示器
US9256987B2 (en) * 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
US9524580B2 (en) * 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
KR102246553B1 (ko) * 2014-04-24 2021-04-30 엘지전자 주식회사 Hmd 및 그 제어 방법
US9459454B1 (en) 2014-05-23 2016-10-04 Google Inc. Interactive social games on head-mountable devices
JP6355978B2 (ja) * 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
KR102244620B1 (ko) * 2014-09-05 2021-04-26 삼성전자 주식회사 렌더링 수준 제어 방법 및 장치
US9977495B2 (en) * 2014-09-19 2018-05-22 Utherverse Digital Inc. Immersive displays
WO2016092698A1 (ja) * 2014-12-12 2016-06-16 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9978341B2 (en) * 2014-12-23 2018-05-22 Mediatek Inc. Visual data processing method and visual data processing system which can perform a process operation according to a gazing point
KR102311326B1 (ko) * 2015-01-02 2021-10-13 에스케이플래닛 주식회사 웹 컨텐츠 출력 장치 및 방법
KR102144515B1 (ko) * 2015-01-07 2020-08-14 삼성전자주식회사 마스터 기기, 슬레이브 기기 및 그 제어 방법
US9659411B2 (en) 2015-01-14 2017-05-23 Oculus Vr, Llc Passive locators for a virtual reality headset
US20160210780A1 (en) * 2015-01-20 2016-07-21 Jonathan Paulovich Applying real world scale to virtual content
US9911232B2 (en) 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
US9779554B2 (en) 2015-04-10 2017-10-03 Sony Interactive Entertainment Inc. Filtering and parental control methods for restricting visual activity on a head mounted display
JP2016207042A (ja) * 2015-04-24 2016-12-08 株式会社コーエーテクモゲームス プログラム及び記録媒体
CN106293561B (zh) * 2015-05-28 2020-02-28 北京智谷睿拓技术服务有限公司 显示控制方法和装置、显示设备
US9836117B2 (en) 2015-05-28 2017-12-05 Microsoft Technology Licensing, Llc Autonomous drones for tactile feedback in immersive virtual reality
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
CN106303498B (zh) 2015-05-30 2018-10-16 北京智谷睿拓技术服务有限公司 视频显示控制方法和装置、显示设备
CN106303315B (zh) 2015-05-30 2019-08-16 北京智谷睿拓技术服务有限公司 视频显示控制方法和装置、显示设备
CN106303499B (zh) 2015-05-30 2018-10-16 北京智谷睿拓技术服务有限公司 视频显示控制方法和装置、显示设备
US9898091B2 (en) 2015-06-03 2018-02-20 Oculus Vr, Llc Virtual reality system with head-mounted display, camera and hand-held controllers
DE102015007245B4 (de) * 2015-06-05 2024-09-19 Audi Ag Verfahren zum Betreiben einer Datenbrilleneinrichtung und Datenbrilleneinrichtung
USD772986S1 (en) 2015-06-11 2016-11-29 Oculus Vr, Llc Wireless game controller
CN107735152B (zh) * 2015-06-14 2021-02-02 索尼互动娱乐股份有限公司 用于虚拟现实(vr)观看的扩展视野重新渲染
US9776084B2 (en) * 2015-06-15 2017-10-03 Oculus Vr, Llc Virtual reality system with camera shock-mounted to head-mounted display
EP3113159A1 (en) 2015-06-30 2017-01-04 Thomson Licensing Method and device for processing a part of an immersive video content according to the position of reference parts
US10083544B2 (en) 2015-07-07 2018-09-25 Google Llc System for tracking a handheld device in virtual reality
NZ739054A (en) * 2015-07-17 2020-05-29 Magic Leap Inc Virtual/augmented reality system having dynamic region resolution
US10464482B2 (en) * 2015-07-21 2019-11-05 Utherverse Digital Inc. Immersive displays
TWI694604B (zh) 2015-07-23 2020-05-21 光澄科技股份有限公司 光偵測器
US10707260B2 (en) 2015-08-04 2020-07-07 Artilux, Inc. Circuit for operating a multi-gate VIS/IR photodiode
CN108028258B (zh) 2015-08-04 2022-06-21 光程研创股份有限公司 锗硅感光设备
US10761599B2 (en) 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
US10861888B2 (en) 2015-08-04 2020-12-08 Artilux, Inc. Silicon germanium imager with photodiode in trench
WO2017025483A1 (de) * 2015-08-07 2017-02-16 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Verfahren und vorrichtung zur datenerfassung und auswertung von umgebungsdaten
CN116366906A (zh) * 2015-08-07 2023-06-30 苹果公司 用于显示图像流的系统和方法
EP3783656B1 (en) 2015-08-27 2023-08-23 Artilux Inc. Wide spectrum optical sensor
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
US9906704B2 (en) * 2015-09-17 2018-02-27 Qualcomm Incorporated Managing crowd sourced photography in a wireless network
US11194398B2 (en) * 2015-09-26 2021-12-07 Intel Corporation Technologies for adaptive rendering using 3D sensors
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
CN106652004A (zh) * 2015-10-30 2017-05-10 北京锤子数码科技有限公司 基于头戴式可视设备对虚拟现实进行渲染的方法及装置
US10007339B2 (en) 2015-11-05 2018-06-26 Oculus Vr, Llc Controllers with asymmetric tracking patterns
US9839840B2 (en) 2015-11-05 2017-12-12 Oculus Vr, Llc Interconnectable handheld controllers
US10418407B2 (en) 2015-11-06 2019-09-17 Artilux, Inc. High-speed light sensing apparatus III
US10741598B2 (en) 2015-11-06 2020-08-11 Atrilux, Inc. High-speed light sensing apparatus II
US10254389B2 (en) 2015-11-06 2019-04-09 Artilux Corporation High-speed light sensing apparatus
US10886309B2 (en) 2015-11-06 2021-01-05 Artilux, Inc. High-speed light sensing apparatus II
US10739443B2 (en) 2015-11-06 2020-08-11 Artilux, Inc. High-speed light sensing apparatus II
US20170132845A1 (en) * 2015-11-10 2017-05-11 Dirty Sky Games, LLC System and Method for Reducing Virtual Reality Simulation Sickness
US9990045B2 (en) 2015-11-12 2018-06-05 Oculus Vr, Llc Method and apparatus for detecting hand gestures with a handheld controller
US10130875B2 (en) 2015-11-12 2018-11-20 Oculus Vr, Llc Handheld controller with finger grip detection
US9805512B1 (en) 2015-11-13 2017-10-31 Oculus Vr, Llc Stereo-based calibration apparatus
CN105487655B (zh) * 2015-11-23 2023-01-17 联想(北京)有限公司 信息处理方法及相关电子设备
JP2017130190A (ja) * 2015-12-04 2017-07-27 株式会社半導体エネルギー研究所 電子機器、表示システム
US9804693B2 (en) 2015-12-18 2017-10-31 Oculus Vr, Llc Handheld controller with activation sensors
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
CN114371785A (zh) * 2015-12-28 2022-04-19 光程研创股份有限公司 眼动追踪系统
JP6832061B2 (ja) * 2015-12-29 2021-02-24 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム
US9977494B2 (en) * 2015-12-30 2018-05-22 Oculus Vr, Llc Tracking constellation assembly for use in a virtual reality system
US10343059B2 (en) 2015-12-30 2019-07-09 Facebook Technologies, Llc Handheld controller with thumbstick guard
US10441880B2 (en) 2015-12-30 2019-10-15 Facebook Technologies, Llc Handheld controller with spring-biased third finger button assembly
US10386922B2 (en) 2015-12-30 2019-08-20 Facebook Technologies, Llc Handheld controller with trigger button and sensor retainer assembly
US11857869B2 (en) 2015-12-31 2024-01-02 Meta Platforms Technologies, Llc Handheld controller with hand detection sensors
US10078218B2 (en) * 2016-01-01 2018-09-18 Oculus Vr, Llc Non-overlapped stereo imaging for virtual reality headset tracking
US10643296B2 (en) 2016-01-12 2020-05-05 Qualcomm Incorporated Systems and methods for rendering multiple levels of detail
US10643381B2 (en) * 2016-01-12 2020-05-05 Qualcomm Incorporated Systems and methods for rendering multiple levels of detail
JP2017130201A (ja) 2016-01-20 2017-07-27 株式会社半導体エネルギー研究所 入力システム、および電子機器
US10110935B2 (en) 2016-01-29 2018-10-23 Cable Television Laboratories, Inc Systems and methods for video delivery based upon saccadic eye motion
JP6092437B1 (ja) * 2016-02-02 2017-03-08 株式会社コロプラ 仮想空間画像提供方法、及びそのプログラム
GB2548151B (en) * 2016-03-11 2020-02-19 Sony Interactive Entertainment Europe Ltd Head-mountable display
JP6632443B2 (ja) * 2016-03-23 2020-01-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10372205B2 (en) 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10169846B2 (en) * 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
CN108463765A (zh) * 2016-04-08 2018-08-28 谷歌有限责任公司 基于姿势信息在头戴式显示装置处编码图像数据
US10979843B2 (en) * 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
US9851792B2 (en) * 2016-04-27 2017-12-26 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
US10025376B2 (en) * 2016-04-27 2018-07-17 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
US10652572B2 (en) * 2016-04-29 2020-05-12 Ati Technologies Ulc Motion-adaptive intra-refresh for high-efficiency, low-delay video coding
JP6689679B2 (ja) * 2016-06-01 2020-04-28 京セラ株式会社 表示装置、情報表示システム、及びプログラム
US10430988B2 (en) 2016-06-03 2019-10-01 Facebook Technologies, Llc Facial animation using facial sensors within a head-mounted display
US9959678B2 (en) * 2016-06-03 2018-05-01 Oculus Vr, Llc Face and eye tracking using facial sensors within a head-mounted display
GB2553086B (en) 2016-07-20 2022-03-02 V Nova Int Ltd Decoder devices, methods and computer programs
US11570454B2 (en) 2016-07-20 2023-01-31 V-Nova International Limited Use of hierarchical video and image coding for telepresence
TWI610059B (zh) * 2016-08-04 2018-01-01 緯創資通股份有限公司 三維量測方法及應用其之三維量測裝置
US20180061103A1 (en) * 2016-08-29 2018-03-01 Analogix Semiconductor, Inc. Systems and Methods for Generating Display Views Tracking User Head Movement for Head-Mounted Display Devices
JP6620079B2 (ja) 2016-09-08 2019-12-11 株式会社ソニー・インタラクティブエンタテインメント 画像処理システム、画像処理方法およびコンピュータプログラム
EP3293723A3 (en) * 2016-09-09 2018-08-15 Samsung Electronics Co., Ltd. Method, storage medium, and electronic device for displaying images
US10068553B2 (en) * 2016-09-12 2018-09-04 Intel Corporation Enhanced rendering by a wearable display attached to a tethered computer
US10671159B2 (en) 2016-09-22 2020-06-02 Apple Inc. Postponing the state change of an information affecting the graphical user interface until during the condition of inattentiveness
USD835104S1 (en) 2016-09-27 2018-12-04 Oculus Vr, Llc Wireless game controller
US10565777B2 (en) * 2016-09-30 2020-02-18 Sony Interactive Entertainment Inc. Field of view (FOV) throttling of virtual reality (VR) content in a head mounted display
KR20180041984A (ko) 2016-10-17 2018-04-25 삼성전자주식회사 이미지를 렌더링 하는 장치 및 방법
GB2555378B (en) * 2016-10-18 2021-06-09 Virtually Live Switzerland Gmbh HMD delivery system and method
US10438389B2 (en) * 2016-11-07 2019-10-08 Htc Corporation Method, device, and non-transitory computer readable storage medium for displaying virtual reality or augmented reality environment according to a viewing angle
US10339853B2 (en) * 2016-11-09 2019-07-02 Samsung Display Co., Ltd. Mobile terminal and method for controlling the same
DE202017006742U1 (de) * 2016-11-15 2019-02-19 Google Llc Eingabegerät-Stabilisierungstechniken für virtuelle Realitätssysteme
WO2018109988A1 (ja) * 2016-12-16 2018-06-21 シャープ株式会社 表示装置、表示制御方法及びプログラム
JP6212667B1 (ja) * 2016-12-26 2017-10-11 株式会社コロプラ 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
TWI632395B (zh) * 2016-12-27 2018-08-11 廣達電腦股份有限公司 虛擬實境裝置以及其畫面產生方法
JP2018106520A (ja) * 2016-12-27 2018-07-05 株式会社コロプラ 仮想空間にコンテンツを提示するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、コンテンツ提示装置
JP6266814B1 (ja) * 2017-01-27 2018-01-24 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
US11187909B2 (en) 2017-01-31 2021-11-30 Microsoft Technology Licensing, Llc Text rendering by microshifting the display in a head mounted display
US10504397B2 (en) 2017-01-31 2019-12-10 Microsoft Technology Licensing, Llc Curved narrowband illuminant display for head mounted display
US10298840B2 (en) 2017-01-31 2019-05-21 Microsoft Technology Licensing, Llc Foveated camera for video augmented reality and head mounted display
US10354140B2 (en) 2017-01-31 2019-07-16 Microsoft Technology Licensing, Llc Video noise reduction for video augmented reality system
KR102606976B1 (ko) 2017-02-15 2023-11-29 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 데이터 송수신 방법
EP3367158A1 (en) * 2017-02-23 2018-08-29 Nokia Technologies Oy Rendering content
WO2018155026A1 (ja) * 2017-02-27 2018-08-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10317670B2 (en) * 2017-03-03 2019-06-11 Microsoft Technology Licensing, Llc MEMS scanning display device
US10365709B2 (en) 2017-03-03 2019-07-30 Microsoft Technology Licensing, Llc MEMS scanning display device
US10405374B2 (en) * 2017-03-17 2019-09-03 Google Llc Antenna system for head mounted display device
WO2018173383A1 (ja) * 2017-03-21 2018-09-27 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CA3057180C (en) * 2017-03-22 2022-06-28 Huawei Technologies Co., Ltd. Method and apparatus for sending virtual reality image
JP7175281B2 (ja) * 2017-03-28 2022-11-18 マジック リープ， インコーポレイテッド ユーザ走査仮想オブジェクトに関係している空間化されたオーディオを用いる拡張現実システム
WO2018190826A1 (en) * 2017-04-12 2018-10-18 Hewlett-Packard Development Company, L.P. Transfer to head mounted display
US10979685B1 (en) 2017-04-28 2021-04-13 Apple Inc. Focusing for virtual and augmented reality systems
WO2018213812A2 (en) 2017-05-18 2018-11-22 Synaptics Incorporated Display interface with foveal compression
JP6909286B2 (ja) * 2017-05-18 2021-07-28 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像表示システム、および画像生成方法
KR101888364B1 (ko) * 2017-06-02 2018-08-14 주식회사 비주얼캠프 콘텐츠 표시 방법 및 이를 수행하기 위한 장치
US11861255B1 (en) 2017-06-16 2024-01-02 Apple Inc. Wearable device for facilitating enhanced interaction
US11164606B2 (en) 2017-06-30 2021-11-02 Qualcomm Incorporated Audio-driven viewport selection
US10366691B2 (en) 2017-07-11 2019-07-30 Samsung Electronics Co., Ltd. System and method for voice command context
GB2564866B (en) 2017-07-24 2021-07-28 Advanced Risc Mach Ltd Method of and data processing system for providing an output surface
US10356401B1 (en) 2017-08-16 2019-07-16 Facebook, Inc. Noise cancellation in a wireless head mounted display
US10395418B2 (en) * 2017-08-18 2019-08-27 Microsoft Technology Licensing, Llc Techniques for predictive prioritization of image portions in processing graphics
US10803642B2 (en) * 2017-08-18 2020-10-13 Adobe Inc. Collaborative virtual reality anti-nausea and video streaming techniques
US10754496B2 (en) * 2017-08-24 2020-08-25 Microsoft Technology Licensing, Llc Virtual reality input
JP6755843B2 (ja) * 2017-09-14 2020-09-16 株式会社東芝 音響処理装置、音声認識装置、音響処理方法、音声認識方法、音響処理プログラム及び音声認識プログラム
US10366522B2 (en) * 2017-09-27 2019-07-30 Microsoft Technology Licensing, Llc Augmented and virtual reality bot infrastructure
US10867368B1 (en) 2017-09-29 2020-12-15 Apple Inc. Foveated image capture for power efficient video see-through
CN107831831B (zh) * 2017-11-13 2020-11-27 重庆市科源能源技术发展有限公司 一种电力企业员工业务内容培训系统
US10169843B1 (en) * 2017-11-20 2019-01-01 Advanced Micro Devices, Inc. Temporal foveated rendering using motion estimation
KR102028997B1 (ko) * 2017-11-29 2019-10-07 엘지디스플레이 주식회사 헤드 마운트 디스플레이 장치
US10613323B1 (en) * 2017-12-13 2020-04-07 Facebook Technologies, Llc Transition feature for framing multizone optics
US10922992B2 (en) * 2018-01-09 2021-02-16 V-Armed Inc. Firearm simulation and training system and method
US11204215B2 (en) 2018-01-09 2021-12-21 V-Armed Inc. Wireless independent tracking system for use in firearm simulation training
US10706300B2 (en) * 2018-01-23 2020-07-07 Toyota Research Institute, Inc. Vehicle systems and methods for determining a target based on a virtual eye position and a pointing direction
US10817068B2 (en) * 2018-01-23 2020-10-27 Toyota Research Institute, Inc. Vehicle systems and methods for determining target based on selecting a virtual eye position or a pointing direction
US10853674B2 (en) 2018-01-23 2020-12-01 Toyota Research Institute, Inc. Vehicle systems and methods for determining a gaze target based on a virtual eye position
US10546425B2 (en) 2018-01-30 2020-01-28 Disney Enterprises, Inc. Real physical objects interacting with augmented reality features
KR102535918B1 (ko) * 2018-02-07 2023-05-25 삼성전자 주식회사 사용자의 움직임 정보에 기반하여 디스플레이의 오버 드라이빙 정보를 조정하기 위한 방법 및 웨어러블 장치
KR101943424B1 (ko) * 2018-02-20 2019-01-30 (주)라인크리에이티브 영상 제작 장치 및 방법
US11105928B2 (en) 2018-02-23 2021-08-31 Artilux, Inc. Light-sensing apparatus and light-sensing method thereof
TWI788246B (zh) 2018-02-23 2022-12-21 美商光程研創股份有限公司 光偵測裝置
US10694170B2 (en) * 2018-03-05 2020-06-23 Valve Corporation Controlling image display via real-time compression in peripheral image regions
WO2019172678A1 (en) * 2018-03-07 2019-09-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
EP4212222A1 (en) 2018-03-07 2023-07-19 Magic Leap, Inc. Visual tracking of peripheral devices
US11145096B2 (en) 2018-03-07 2021-10-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
US10445940B2 (en) 2018-03-15 2019-10-15 Disney Enterprises, Inc. Modeling interactions between simulated characters and real-world objects for more realistic augmented reality
CN112236686B (zh) 2018-04-08 2022-01-07 奥特逻科公司 光探测装置
US10854770B2 (en) 2018-05-07 2020-12-01 Artilux, Inc. Avalanche photo-transistor
US10969877B2 (en) 2018-05-08 2021-04-06 Artilux, Inc. Display apparatus
US10942564B2 (en) 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
JP2021144258A (ja) * 2018-06-06 2021-09-24 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019235946A1 (en) * 2018-06-07 2019-12-12 Motorola Solutions, Inc System and method for sending and rendering an image by a device based on receiver's context
US11726320B2 (en) 2018-08-29 2023-08-15 Sony Corporation Information processing apparatus, information processing method, and program
WO2020045141A1 (ja) * 2018-08-31 2020-03-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11982809B2 (en) 2018-09-17 2024-05-14 Apple Inc. Electronic device with inner display and externally accessible input-output device
US11327561B1 (en) * 2018-09-27 2022-05-10 Apple Inc. Display system
EP3871143A4 (en) 2018-10-25 2022-08-31 Beyeonics Surgical Ltd. USER INTERFACE FOR HEAD MOUNTED DISPLAY SYSTEM
CN111309142A (zh) 2018-12-11 2020-06-19 托比股份公司 用于切换显示设备的输入模态的方法和设备
KR102204212B1 (ko) * 2018-12-21 2021-01-19 주식회사 딥엑스 실감형 콘텐츠 제공 장치 및 방법
US11226677B2 (en) 2019-01-08 2022-01-18 V-Armed Inc. Full-body inverse kinematic (FBIK) module for use in firearm simulation training
WO2020153946A1 (en) 2019-01-22 2020-07-30 Hewlett-Packard Development Company, L.P. Mixed reality presentation
DE112019007085T5 (de) 2019-03-27 2022-01-20 Intel Corporation Intelligente Anzeigetafeleinrichtung und verwandte Verfahren
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
CN110166758B (zh) * 2019-06-24 2021-08-13 京东方科技集团股份有限公司 图像处理方法、装置、终端设备及存储介质
US11106929B2 (en) 2019-08-29 2021-08-31 Sony Interactive Entertainment Inc. Foveated optimization of TV streaming and rendering content assisted by personal devices
US11543873B2 (en) 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
JP7498553B2 (ja) * 2019-09-30 2024-06-12 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像表示システム、画像データ転送装置、および画像処理方法
KR20210044506A (ko) 2019-10-15 2021-04-23 삼성전자주식회사 증강 현실 객체를 표시하는 장치 및 그 동작 방법
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
US11150470B2 (en) 2020-01-07 2021-10-19 Microsoft Technology Licensing, Llc Inertial measurement unit signal based image reprojection
JPWO2022049908A1 (zh) * 2020-09-07 2022-03-10
FR3114428B1 (fr) * 2020-09-23 2024-04-12 Squaremind Systeme pour generer un modele de corps humain et un avatar numerique dans un afficheur d’un casque de realite virtuelle, procede associe
US11488345B2 (en) 2020-10-22 2022-11-01 Varjo Technologies Oy Display apparatuses and rendering servers incorporating prioritized re-rendering
CN112416125A (zh) * 2020-11-17 2021-02-26 青岛小鸟看看科技有限公司 Vr头戴式一体机
CN112419366B (zh) * 2020-11-30 2024-07-26 深圳力维智联技术有限公司 车辆的追踪方法、系统及计算机可读存储介质
KR102556863B1 (ko) * 2020-12-31 2023-07-20 동국대학교 산학협력단 사용자 맞춤형 운동 훈련 방법 및 시스템
US11403820B1 (en) 2021-03-11 2022-08-02 International Business Machines Corporation Predictive rendering of an image
US20240257434A1 (en) * 2021-05-19 2024-08-01 Telefonaktiebolaget Lm Ericsson (Publ) Prioritizing rendering by extended reality rendering device responsive to rendering prioritization rules
FR3123132A1 (fr) * 2021-05-19 2022-11-25 Lexip Procédé d'émission d'un signal numérique par un moyen de contrôle
GB2609013A (en) * 2021-07-16 2023-01-25 Sony Interactive Entertainment Inc Video recording and playback systems and methods
US11756248B2 (en) * 2021-08-23 2023-09-12 International Business Machines Corporation Computer graphics object rendering based on priority
KR102670891B1 (ko) * 2022-09-29 2024-05-31 한국기계연구원 비균일 화소밀도를 갖는 디스플레이 및 이를 포함하는 헤드 마운트 디스플레이 장치
CN117959721B (zh) * 2024-04-02 2024-05-31 深圳市乐易网络股份有限公司 一种基于三维建模的游戏引擎设计系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4348186A (en) * 1979-12-17 1982-09-07 The United States Of America As Represented By The Secretary Of The Navy Pilot helmet mounted CIG display with eye coupled area of interest
CN1367983A (zh) * 1998-12-02 2002-09-04 瑞士电信流动电话公司 传输图像数据的方法
US20120106632A1 (en) * 2010-10-28 2012-05-03 Apple Inc. Method and apparatus for error resilient long term referencing block refresh
US20120105473A1 (en) * 2010-10-27 2012-05-03 Avi Bar-Zeev Low-latency fusing of virtual and real content
CN102918492A (zh) * 2010-06-11 2013-02-06 微软公司 自适应图像渲染以及假象的使用
CN102959957A (zh) * 2010-07-06 2013-03-06 皇家飞利浦电子股份有限公司 在多视图视频编码中从低动态范围图像生成高动态范围图像

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2671619B2 (ja) 1991-03-06 1997-10-29 富士通株式会社 映像生成処理装置
JPH04288122A (ja) * 1991-03-18 1992-10-13 A T R Shichiyoukaku Kiko Kenkyusho:Kk 視線表示装置
JP2550832B2 (ja) * 1992-07-21 1996-11-06 株式会社セガ・エンタープライゼス 仮想現実感生成装置
JP3001348B2 (ja) * 1993-06-08 2000-01-24 九州日本電気ソフトウェア株式会社 動画像表示方式
JP3058004B2 (ja) * 1994-03-23 2000-07-04 キヤノン株式会社 目視制御画像表示装置
JP2000132152A (ja) * 1998-10-27 2000-05-12 Sharp Corp 表示装置
EP1247401B1 (de) 1999-12-30 2003-07-02 Swisscom Mobile AG Verfahren für die übermittlung von bilddaten
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7925391B2 (en) * 2005-06-02 2011-04-12 The Boeing Company Systems and methods for remote display of an enhanced image
JP4907128B2 (ja) * 2005-08-30 2012-03-28 任天堂株式会社 ゲームシステムおよびゲームプログラム
US8308563B2 (en) * 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
US20070113242A1 (en) * 2005-11-16 2007-05-17 Fetkovich John E Selective post-processing of compressed digital video
US20090305207A1 (en) 2005-12-12 2009-12-10 Hiromu Ueshima Training method, training device, and coordination training method
TWI357987B (en) * 2007-10-24 2012-02-11 Hannstar Display Corp A three-dimension image display device and a displ
US20090225001A1 (en) * 2007-11-06 2009-09-10 University Of Central Florida Research Foundation, Inc. Hybrid Display Systems and Methods
JP5047090B2 (ja) 2008-07-31 2012-10-10 キヤノン株式会社 システム
JP5761522B2 (ja) * 2009-12-04 2015-08-12 Ｎｌｔテクノロジー株式会社 立体表示装置、立体表示用画像データ生成方法、及びそのプログラム
US10178290B2 (en) * 2010-02-17 2019-01-08 Sri International Method and apparatus for automatically acquiring facial, ocular, and iris images from moving subjects at long-range
JP2011258159A (ja) * 2010-06-11 2011-12-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP5499985B2 (ja) * 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
JP2012095229A (ja) * 2010-10-28 2012-05-17 Sharp Corp 画像表示装置及び画像表示装置用のコンピュータプログラム
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
CN102223489B (zh) * 2011-06-09 2012-11-21 福州瑞芯微电子有限公司 一种基于触控技术的视频切换方法
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
EP2853299B1 (en) * 2011-09-29 2020-07-22 Sony Interactive Entertainment Europe Limited Game assistance system and method
JP2013083731A (ja) * 2011-10-06 2013-05-09 Murata Mach Ltd 画像表示システム
US20130335405A1 (en) * 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment
JP5891131B2 (ja) * 2012-07-11 2016-03-22 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US9665171B1 (en) * 2013-03-04 2017-05-30 Tobii Ab Gaze and saccade based graphical manipulation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4348186A (en) * 1979-12-17 1982-09-07 The United States Of America As Represented By The Secretary Of The Navy Pilot helmet mounted CIG display with eye coupled area of interest
CN1367983A (zh) * 1998-12-02 2002-09-04 瑞士电信流动电话公司 传输图像数据的方法
CN102918492A (zh) * 2010-06-11 2013-02-06 微软公司 自适应图像渲染以及假象的使用
CN102959957A (zh) * 2010-07-06 2013-03-06 皇家飞利浦电子股份有限公司 在多视图视频编码中从低动态范围图像生成高动态范围图像
US20120105473A1 (en) * 2010-10-27 2012-05-03 Avi Bar-Zeev Low-latency fusing of virtual and real content
US20120106632A1 (en) * 2010-10-28 2012-05-03 Apple Inc. Method and apparatus for error resilient long term referencing block refresh

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869215A (zh) * 2016-03-28 2016-08-17 上海米影信息科技有限公司 一种虚拟现实成像系统
CN105931272A (zh) * 2016-05-06 2016-09-07 上海乐相科技有限公司 一种运动对象追踪方法及系统
CN105931272B (zh) * 2016-05-06 2019-04-05 上海乐相科技有限公司 一种运动对象追踪方法及系统
CN109478097A (zh) * 2016-06-16 2019-03-15 Smi创新传感技术有限公司 用于提供关于用户行为的基于眼睛追踪的信息的方法和系统、客户端设备、服务器和计算机程序产品
CN109416931A (zh) * 2016-06-30 2019-03-01 索尼互动娱乐股份有限公司 用于视线跟踪的装置和方法
US11138784B2 (en) 2016-07-29 2021-10-05 Sony Corporation Image processing apparatus and image processing method
CN109791433A (zh) * 2016-09-22 2019-05-21 苹果公司 预测式中心凹虚拟现实系统
CN109952135A (zh) * 2016-09-30 2019-06-28 索尼互动娱乐股份有限公司 具有差分渲染和声音定位的无线头戴式显示器
CN109952135B (zh) * 2016-09-30 2023-05-26 索尼互动娱乐股份有限公司 具有差分渲染和声音定位的无线头戴式显示器
US11011140B2 (en) 2016-11-14 2021-05-18 Huawei Technologies Co., Ltd. Image rendering method and apparatus, and VR device
WO2018086399A1 (zh) * 2016-11-14 2018-05-17 华为技术有限公司 一种图像渲染的方法、装置及vr设备
CN109890472A (zh) * 2016-11-14 2019-06-14 华为技术有限公司 一种图像渲染的方法、装置及vr设备
CN106792133A (zh) * 2016-12-30 2017-05-31 北京华为数字技术有限公司 虚拟现实服务器、视频数据传输方法及系统
CN110235447A (zh) * 2017-01-19 2019-09-13 索尼互动娱乐股份有限公司 图像传送装置
CN108540517A (zh) * 2017-03-06 2018-09-14 中国移动通信有限公司研究院 一种信息获取方法、用户设备及系统
US11727619B2 (en) 2017-04-28 2023-08-15 Apple Inc. Video pipeline
CN110574375A (zh) * 2017-04-28 2019-12-13 苹果公司 视频流水线
US12086919B2 (en) 2017-04-28 2024-09-10 Apple Inc. Video pipeline
CN107194891B (zh) * 2017-05-18 2020-11-10 上海兆芯集成电路有限公司 改善图像质量的方法及虚拟实境装置
CN107194890B (zh) * 2017-05-18 2020-07-28 上海兆芯集成电路有限公司 使用多分辨率改善图像质量的方法及装置
CN107194890A (zh) * 2017-05-18 2017-09-22 上海兆芯集成电路有限公司 使用多分辨率改善图像质量的方法及装置
CN107194891A (zh) * 2017-05-18 2017-09-22 上海兆芯集成电路有限公司 改善图像质量的方法及虚拟实境装置
US11816820B2 (en) 2017-07-21 2023-11-14 Apple Inc. Gaze direction-based adaptive pre-filtering of video data
US11900578B2 (en) 2017-07-21 2024-02-13 Apple Inc. Gaze direction-based adaptive pre-filtering of video data
CN111201069A (zh) * 2017-09-29 2020-05-26 索尼互动娱乐美国有限责任公司 对在现实世界场地中举行的现场事件中所展示的交互式游戏世界的旁观者视图
CN111201069B (zh) * 2017-09-29 2023-09-05 索尼互动娱乐美国有限责任公司 对在现实世界场地中举行的现场事件中所展示的交互式游戏世界的旁观者视图
CN109814413A (zh) * 2017-11-21 2019-05-28 宏碁股份有限公司 头戴式显示设备、电子系统以及相关控制方法
WO2019205782A1 (zh) * 2018-04-27 2019-10-31 腾讯科技（深圳）有限公司 图像的分辨率处理方法、系统、装置、存储介质及设备
US11244427B2 (en) 2018-04-27 2022-02-08 Tencent Technology (Shenzhen) Company Ltd Image resolution processing method, system, and apparatus, storage medium, and device
CN115131483A (zh) * 2018-05-17 2022-09-30 索尼互动娱乐股份有限公司 渲染视频帧的方法、计算机可读存储介质和计算机系统
CN112639577A (zh) * 2018-08-06 2021-04-09 威尔乌集团 基于应用程序渲染性能的预测和限流调整
CN112639577B (zh) * 2018-08-06 2023-06-06 威尔乌集团 基于应用程序渲染性能的预测和限流调整
CN109453523A (zh) * 2018-09-26 2019-03-12 努比亚技术有限公司 一种游戏画面显示处理方法、终端及计算机可读存储介质
CN111047676A (zh) * 2018-10-12 2020-04-21 中国移动通信集团广西有限公司 一种图像渲染方法、装置及存储介质
CN111047676B (zh) * 2018-10-12 2023-04-25 中国移动通信集团广西有限公司 一种图像渲染方法、装置及存储介质
CN109473082A (zh) * 2019-01-08 2019-03-15 京东方科技集团股份有限公司 一种显示屏刷新率的调整方法、装置及虚拟现实设备
CN111523295A (zh) * 2019-01-17 2020-08-11 北京沃东天骏信息技术有限公司 数据渲染方法、装置、介质及电子设备
CN113439395A (zh) * 2019-02-21 2021-09-24 高通股份有限公司 用于在高频无线网络中使用旋转向量来进行波束管理的技术
CN111836116A (zh) * 2020-08-06 2020-10-27 武汉大势智慧科技有限公司 一种网络自适应渲染的视频展示方法及系统
US12058392B2 (en) 2020-09-21 2024-08-06 Samsung Electronics Co., Ltd. Method and device for transmitting video content by using edge computing service
CN113613066A (zh) * 2021-08-03 2021-11-05 天翼爱音乐文化科技有限公司 一种实时视频特效的渲染方法、系统、装置及存储介质
CN117994181A (zh) * 2024-04-03 2024-05-07 成都力比科技有限公司 一种基于全屏幕的2d光照渲染方法及系统
CN117994181B (zh) * 2024-04-03 2024-06-11 成都力比科技有限公司 一种基于全屏幕的2d光照渲染方法及系统

Also Published As

Publication number Publication date
JP2016527536A (ja) 2016-09-08
JP2017146607A (ja) 2017-08-24
EP3524328A1 (en) 2019-08-14
WO2014197226A1 (en) 2014-12-11
EP3003517A1 (en) 2016-04-13
US20200159018A1 (en) 2020-05-21
CN109999491B (zh) 2023-06-30
US20140361977A1 (en) 2014-12-11
JP6408629B2 (ja) 2018-10-17
US20180188534A1 (en) 2018-07-05
EP3524328B1 (en) 2020-09-09
CN109999491A (zh) 2019-07-12
US10545338B2 (en) 2020-01-28
US9897805B2 (en) 2018-02-20
EP3003517B1 (en) 2019-05-15
CN105392538B (zh) 2019-04-12
US11199705B2 (en) 2021-12-14
JP6114472B2 (ja) 2017-04-12

Similar Documents

Publication Publication Date Title
CN105392538A (zh) 响应于头戴式显示器中的用户动作的图像渲染
US12118676B2 (en) Sensory stimulus management in head mounted display
TWI732194B (zh) 用於在hmd環境中利用傳至gpu之預測及後期更新的眼睛追蹤進行快速注視點渲染的方法及系統以及非暫時性電腦可讀媒體
CN109475774B (zh) 虚拟现实环境中的视图位置处的观众管理
CN105324738B (zh) 在头戴式显示器中切换操作模式
CN107735152B (zh) 用于虚拟现实(vr)观看的扩展视野重新渲染
JP6495896B2 (ja) ヘッドマウントディスプレイによって与えられる表示の光学表現をユーザの光学的処方に基づいてカスタマイズするシステム及び方法
US10515466B2 (en) Optimized deferred lighting in a foveated rendering system
CN105378596A (zh) 用于头戴式显示器中在透明模式与非透明模式之间转变的系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant