CN107003512A - 用于虚拟现实的头戴式显示器中的扫描显示系统 - Google Patents

用于虚拟现实的头戴式显示器中的扫描显示系统 Download PDF

Info

Publication number
CN107003512A
CN107003512A CN201580064204.4A CN201580064204A CN107003512A CN 107003512 A CN107003512 A CN 107003512A CN 201580064204 A CN201580064204 A CN 201580064204A CN 107003512 A CN107003512 A CN 107003512A
Authority
CN
China
Prior art keywords
hmd
pixel
display
motion
display data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580064204.4A
Other languages
English (en)
Other versions
CN107003512B (zh
Inventor
D.S.马林森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN107003512A publication Critical patent/CN107003512A/zh
Application granted granted Critical
Publication of CN107003512B publication Critical patent/CN107003512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7475—Constructional details of television projection apparatus
    • H04N5/7491—Constructional details of television projection apparatus of head mounted projectors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/63—Motion, e.g. physical activity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G02B2027/012—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility comprising devices for attenuating parasitic image effects
    • G02B2027/0121—Parasitic image effect attenuation by suitable positioning of the parasitic images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0145—Head-up displays characterised by optical features creating an intermediate image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/16—Determination of a pixel data signal depending on the signal applied in the previous frame
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

提出了用于在头戴式显示器(HMD)中呈现图像的方法、系统和计算机程序。一种HMD包括屏幕、处理器、惯性传感器、运动跟踪器模块和显示调整器模块。所述运动跟踪器基于来自所述惯性传感器的惯性数据跟踪所述HMD的运动，并且如果所述HMD的所述运动大于阈值运动量，所述显示调整器产生要扫描到所述屏幕的图像帧的已修改显示数据。所述显示数据包括要按顺序扫描到行的像素值，并且所述已修改显示数据包括所述图像帧的当前像素行中的像素的已调整像素值，以便补偿在扫描所述图像帧的第一像素行与扫描所述图像帧的所述当前像素行之间经过的时间期间所述HMD行进的距离。

Description

用于虚拟现实的头戴式显示器中的扫描显示系统
1.发明领域
本实施方案涉及用于改善在头戴式装置(HMD)中虚拟现实呈现的方法，并且更具体地，涉及用于在佩戴HMD的用户的头部运动时操纵显示数据的方法、系统和计算机程序。
背景
2.相关技术描述
通常，HMD是围绕头部佩戴的便携式装置，以使得与眼睛相距短距离的显示器提供用于用户交互的图像。有时，HMD提供混合的现实生活环境和虚拟生活环境，在其中用户可以看到由计算装置创建的图像以及一些实况图像。其他时候，HMD向用户提供阻挡外部世界的沉浸式体验，同时在HMD显示器上提供虚拟世界。
然而，因为HMD的计算能力可能不足以刷新显示器上的图像，所以当用户通过HMD中的显示器来查看现实世界或虚拟世界时，可能会出现问题。这可能会导致HMD用户发生晕动病或眩晕。当用户移动头部以及期望虚拟现实中的静态对象保持静止并且不受用户运动影响时，这种现象尤其重要。
所需要的是管理显示数据在头戴式装置中的呈现的HMD，以避免用户运动对虚拟世界的感知产生不期望的影响。
实施方案正是在这样的背景下产生。
概述
本发明提出了用于管理显示数据在头戴式显示器(HMD)中的呈现、并且更具体地基于HMD的运动来调整显示器呈现的方法、装置、系统和计算机程序。应理解的是，本实施方案可以多种方式来实现，诸如方法、设备、系统、装置或在计算机可读介质上的计算机程序。以下描述若干实施方案。
在一个实施方案中，头戴式显示器(HMD)包括：屏幕、处理器、可操作以便生成惯性数据的惯性传感器、运动跟踪器模块和显示调整器模块。运动跟踪器模块可操作以便由处理器执行，并且运动跟踪器模块可操作以便基于惯性数据跟踪头戴式显示器(HMD)的运动。此外，显示调整器模块可操作以便由处理器执行，并且如果HMD的运动大于阈值运动量，则显示调整器模块可操作以便产生要扫描到屏幕的图像帧的已修改显示数据。显示数据包括要按顺序扫描到多个像素行的像素值(在另一个实施方案中，像素值被扫描到多个像素列)。已修改显示数据包括图像帧的当前像素行中的像素的已调整像素值，以便补偿在扫描图像帧的第一像素行与扫描图像帧的当前像素行之间经过的时间期间HMD行进的距离，并且已调整像素值是位于当前像素行中的像素的偏置距离处的像素的像素值。偏置距离基于HMD在经过的时间期间的转动，并且图像帧的已修改显示数据被扫描到屏幕以便减少由于HMD的运动而引起的失真。在一个实施方案中，以像素级进行像素值的调整，即像素的调整和重新采样的粒度可能以像素级而不是以扫描线级。
在另一个实施方案中，提供一种方法。方法包括用于在头戴显示器(HMD)处跟踪HMD的运动的操作、以及用于在HMD处接收来自计算装置的显示数据以用于在HMD的显示器上呈现虚拟现实的操作。方法还包括以下操作：如果HMD的运动大于阈值运动量，则修改显示数据以便产生要扫描到HMD的屏幕的图像帧的已修改显示数据。显示数据包括要按顺序扫描到多个像素行的像素值，其中已修改显示数据包括图像帧的当前像素行中的像素的已调整像素值，以便补偿在扫描图像帧的第一像素行与扫描图像帧的当前像素行之间经过的时间期间HMD行进的距离。已调整像素值是位于当前像素行中的像素的偏置距离处的像素的像素值，偏置距离基于HMD在经过的时间期间行进的距离。方法还包括用于在HMD的显示器上呈现已修改显示数据的操作。
在又一个实施方案中，存储计算机程序的非暂时性计算机可读存储介质包括用于在头戴显示器(HMD)处跟踪HMD的运动的程序指令、以及用于在HMD处接收来自计算装置的显示数据以用于在HMD的显示器上呈现虚拟现实的程序指令。存储介质还包括用于以下的程序指令：如果HMD的运动大于阈值运动量，则修改显示数据以便产生要扫描到屏幕的图像帧的已修改显示数据，显示数据包括要按顺序扫描到多个像素行的像素值。已修改显示数据包括图像帧的当前像素行中的像素的已调整像素值，以便补偿在扫描图像帧的第一像素行与扫描图像帧的当前像素行之间经过的时间期间HMD行进的距离，其中已调整像素值是位于当前像素行中的像素的偏置距离处的像素的像素值，偏置距离基于HMD在经过的时间期间行进的距离。存储介质还包括用于在HMD的显示器上呈现已修改显示数据的程序指令。
当结合附图考虑时，从以下详细描述中，其他方面将变得显而易见。
附图简述
结合附图来参阅以下描述可以最好地理解实施方案。
图1示出根据本发明的实施方案的用于视频游戏的交互性游戏玩法的系统。
图2A-2B示出了根据一个实施方案的佩戴头戴显示器(HMD)的玩家的视图。
图3A示出了根据一个实施方案的HMD中的显示器扫描。
图3B示出了根据一个实施方案的呈现在显示器上的线的像素表示。
图3C示出了根据一个实施方案的当用户转动头部时使静态对象保持静止的问题。
图3D示出了根据一个实施方案的用户在转动头部时对竖直线的感知。
图4A示出了根据一个实施方案的多个像素的值和HMD的显示器上的表示。
图4B示出了根据一个实施方案的用户在转动头部时的感知问题。
图5描绘根据一个实施方案的用于在头部运动期间计算像素值的方法。
图6示出了用于实现本文提出的实施方案的架构。
图7是根据一个实施方案的用于调整显示数据以便补偿HMD运动的流程图。
图8示出了可以用于实现实施方案的装置的架构。
图9是根据一个实施方案的用于利用来自HMD中的传感器的惯性数据在HMD处修改显示数据的流程图。
图10是根据各种实施方案的游戏系统的框图。
详细描述
以下实施方案描述了用于管理显示数据在头戴式显示器(HMD)中的呈现、并且更具体地基于HMD的运动来调整显示器呈现的方法、装置、系统和计算机程序。
将显而易见的是，可在没有这些具体细节中的一些或全部的情况下实践本实施方案。在其他情况下，为了避免不必要地模糊本发明的实施方案，未详细描述熟知的过程操作。
本文提出的实施方案涉及具有惯性传感器并且从计算机系统(例如，游戏控制台、个人计算机、智能电话、云游戏服务等)接收显示数据的头戴式显示器(HMD)。在一些实施方案中，计算机系统通过网络与HMD通信，这引入用于将显示数据从计算机系统传送到HMD的传输时间。在其他实施方案中，HMD可以耦合到计算机系统(诸如附接到HMD本身的智能电话)，这也需要用于将显示数据发送到HMD的传送时间。HMD调整在HMD的显示器上正在扫描的显示数据以补偿用户头部的运动，以便解决由于HMD的运动而使虚拟现实中的元素看起来失真的问题。
在一个实施方案中，以像素级(或基于像素组)和实时地进行校正，并且每个像素校正基于用户的运动和用于显示像素的定时。在感测系统(例如，惯性传感器)与在HMD的显示器上呈现数据的显示系统之间存在紧密环路。
代替必须将运动数据从HMD发送到在HMD上生成虚拟现实的远程系统，HMD修改像素数据而不必依赖来自远程系统的协作。HMD在显示数据与惯性数据之间具有闭环，其允许在HMD处进行精细像素数据校正。
图1示出根据本发明的实施方案的用于视频游戏的交互性游戏玩法的系统。示出用户114正佩戴着头戴式显示器(HMD)102。以类似于眼镜、护目镜或头盔的方式佩戴HMD102，并且所述HMD 102被配置来向用户114显示视频游戏或其他内容。借助于提供紧密接近用户眼睛的显示机构(例如，光学器件和显示屏)和被输送到HMD的内容的格式，HMD 102被配置来向用户提供沉浸式体验。在一个实例中，HMD 102可向用户眼睛中的每一只提供显示区，所述显示区占据用户视场110的大部分或甚至全部。
在一个实施方案中，HMD 102可连接到计算机106。到计算机106的连接可以是有线或无线的。计算机106可以是任何通用或专用计算机，包括但不限于：游戏控制台、个人计算机、膝上型计算机、平板计算机、移动装置、蜂窝电话、平板电脑、瘦客户端、机顶盒、媒体流式传输装置等。在一些实施方案中，HMD 102可以直接连接到互联网，这可以允许云游戏而不需要单独的本地计算机。在一个实施方案中，计算机106可被配置来执行视频游戏(和其它数字内容)，并且输出来自所述视频游戏的视频和音频，以供HMD 102呈现。计算机106在本文中还可被称为客户端系统106，所述客户端系统106在一个实例中是视频游戏控制台。游戏操作的处理可以在计算装置106上、在HMD 102上、或者在计算装置106和HMD 102两者中进行。
在一些实施方案中，计算机可以是本地或远程计算机，并且计算机可运行仿真软件。在云游戏实施方案中，计算机是远程的，并且可由多种计算服务表示，所述计算服务可在数据中心中虚拟化，其中游戏系统/逻辑可虚拟化并通过网络分配给用户。
用户114可操作控制器118来提供视频游戏的输入。在一个实例中，摄像头104可被配置来捕获用户114位于其中的交互式环境的图像。可分析这些所捕获的图像来确定用户114、HMD 102和控制器118的位置和移动。在一个实施方案中，控制器118包括一个灯(或多个灯)，所述灯可被跟踪来确定它的位置和定向。另外，如下文更详细地描述，HMD 102可包括一个或多个灯，在玩游戏期间所述灯可作为标记被大体上实时地跟踪以确定HMD 102的位置和定向。在一个实施方案中，计算装置106计算HMD 102与游戏控制器116之间的相对位置。然后游戏使用相对位置以便与HMD 102同步地移动游戏对象。
摄像机104可包括用于捕获来自交互式环境的声音的一个或多个麦克风。可处理麦克风阵列所捕获的声音来识别声源的位置。可选择性地利用或处理来自所识别位置的声音，以便排除不是来自所识别位置的其他声音。此外，摄像机104可被定义成包括多个图像捕获设备(例如，立体摄像机对)、IR摄像机、深度摄像机及其组合。
在一些实施方案中，计算机106可在计算机106的处理硬件上以本地方式执行游戏。可以任何形式获得游戏或内容，如物理媒体形式(例如，数字光盘、磁带、卡、拇指驱动器、固态芯片或卡等)，或借助于经由网络122从互联网下载。在另一个实施方案中，计算机106充当通过网络与云游戏提供商124通信的客户端。云游戏提供商124可维护并且执行用户114正玩的视频游戏。计算机106将来自HMD102、控制器118和摄像机104的输入传输给云游戏提供商，云游戏提供商处理所述输入以影响正执行的视频游戏的游戏状态。来自正执行的视频游戏的输出(如视频数据、音频数据和触觉反馈数据)被传输到计算机106。计算机106在传输之前还可处理所述数据，或可将数据直接传输到相关设备。例如，将视频流和音频流提供到HMD 102，而将振动反馈命令提供到控制器118。
在一个实施方案中，HMD 102、控制器118和摄像机104本身可以是连接到网络122的联网设备，以便与云游戏提供商124通信。例如，计算机106可以是不另外执行视频游戏处理但促进通路网络流量的本地网络设备(如路由器)。HMD 102、控制器118和摄像机104到网络的连接可以是有线或无线的。在一些实施方案中，可从任何内容源120获得HMD 102上所执行的内容或显示器108上可显示的内容。示例性内容源可包括例如，提供可下载内容和/或流式内容的互联网网站。在一些实例中，内容可包括任何类型的多媒体内容，如电影、游戏、静态/动态内容、图片、社交媒体内容、社交媒体网站等。
在此类内容是沉浸式3D交互式内容的情况下，玩家114可在HMD102上玩游戏。当玩家正在玩游戏时，可将HMD 102上的内容共享到显示器108。在一个实施方案中，被共享到显示器108的内容可允许接近玩家114或远程的其他用户在用户玩游戏时观看。在其它实施方案中，在显示器108上观看玩家114玩游戏的另一个玩家可与玩家114交互地参与。举例来说，观看显示器108上的游戏玩法的用户可控制游戏场景中的角色、提供反馈、提供社交互动和/或提供评论(经由文本、经由语音、经由动作、经由手势等)，这使得没有佩戴HMD 102的用户能够与玩家114、游戏玩法或HMD 102中正呈现的内容以社交方式交互。
应注意，图1所示的实施方案是示例性的。其他实施方案可以利用不同的装置、不同数量的装置，在不同装置之间具有更多或更少的交互，使用其他通信方式(例如，超声波)，有助于多人游戏，其中两个用户佩戴相应的HMD玩相同的游戏等。因此，图1所示的实施方案不应被解释为排他或限制的，而是示例性或说明性的。
图2A-2B示出了根据一个实施方案的佩戴头戴显示器(HMD)的玩家的视图。在图2A的实施方案中，玩家114正在通过HMD 102观看虚拟现实202。虚拟现实延伸到用户的视场204a之外，并且当用户移动头部时，虚拟现实的视图改变，就像在HMD中摄像机指向虚拟现实一样。因为当用户移动其视线时，虚拟现实世界的视图也相应变化，所以这向虚拟现实202中的用户提供了沉浸感。
图2B示出了当用户移动HMD时用户114的视场204b的改变。投射在HMD 102上的虚拟现实202现在对应于与图2A所示的不同的虚拟现实部分。
用户可以转动头部从而产生虚拟现实的水平改变，或上下移动头部以便产生虚拟现实的竖直改变或其任何组合。例如，在图2B中，用户将HMD向右移动并稍微向下移动，从而导致虚拟现实视图中的对应变化。
在一个实施方案中，虚拟现实包括具有静态元素和可在游戏内移动的元素的虚拟世界。静态元素包括风景中的静态对象，诸如房屋、树木、永久性结构、太阳、山等。可在虚拟现实内移动的元素包括虚拟对象，其表示将在现实世界中自然移动的来自真实世界的物体或人，诸如游戏角色、人物、动物、汽车等。
良好的虚拟现实投射系统给用户以下印象：随着用户在虚拟现实中移动，虚拟现实中的静态对象总保持静态。有时，由于缺乏处理资源，或者如果用户快速移动HMD，虚拟现实的投射可能失真，这可能会导致用户不舒适并且降低对虚拟现实投射的满意度。
图3A示出了HMD中的显示器扫描。在一个实施方案中，HMD的显示是包括多个彩色像素的有机发光二极管显示器(OLED)，其中显示数据的每个像素与三色LED相关联。可以在具有包括像素的光栅数据的任何类型的显示器上使用本文提出的原理，所述显示器诸如虚拟视网膜显示器、阴极射线管显示器(CRT)、发光二极管显示器(LED)、电致发光显示器(ELD)、等离子体显示面板(PDP)、薄膜晶体管显示器(TFT)、或液晶显示器(LCD)。
虚拟视网膜显示器(VRD)(也被称为视网膜扫描显示器(RSD)或视网膜投射器(RP)))是将光栅显示直接绘制到眼睛的视网膜上的显示装置。为了用VRD创建图像，使用光子源(或在彩色显示器的情况下使用三个源)来生成相干光束。使用相干源(诸如激光二极管)允许系统在视网膜上绘制衍射限光斑。对光束进行强度调制以便匹配呈现的图像的强度。可以在生成光束之后完成调制。
然后扫描所得的调制光束，以将每个图像点或像素放置在视网膜上的适当位置。各种扫描模式是可能的。可能以直接绘制形成图像的线的书写(向量)模式使用扫描器，或以非常像标准计算机显示器或电视机的光栅模式使用扫描器。使用图像扫描的光栅方法允许VRD由标准视频源驱动。
如图3A所示，每个圆圈表示一个像素，并且为了绘制光栅，水平扫描器移动光束以便一次画一行像素。然后扫描器将光束移动到下一行，在下一行中绘制另一行像素。通常，在一行内从左到右进行扫描。
对于虚拟现实(VR)，期望像素显示的时间量是非常短的。例如，像素应该被照亮持续1ms或2ms，但是典型的电视可以照亮像素持续约16ms，尽管其他时间段也是可能的。
图3B示出了根据一个实施方案的呈现在显示器上的线的像素表示。如果在显示器上呈现黑线，其中黑线是一个像素宽，则光栅内与线相关联的列中将存在多个黑色像素。
由于行被一次一个地扫描到显示器，所以在显示像素与在下一行中显示下方像素之间将存在一个时间段。在一些实施方案中，HMD从远程计算装置接收显示数据，并且甚至在HMD中一个完整光栅的完整像素集合可用之前，HMD将开始把像素扫描到显示器。换言之，在接收到右下方像素的数据之前，可以在显示器中照亮显示器的左上方像素。
在一些实施方案中，远程计算装置在某些情况下及时计算图像，并且然后将图像(例如，显示器的一个扫描)发送到HMD。显然，因为传输和接收数据需要时间，并且因为数据可能被划分以用于进行传输，所以像素在不同的时间点到达HMD。最重要的是，因为显示器可能正在使用串行接口，所以像素可以在许多不同的时间点到达。在最后一个像素到达时，自第一个像素到达以来已经过了一个时间段。
图3C示出了根据一个实施方案的当用户转动头部时使静态对象保持静止的问题。只要HMD保持基本静止，线在虚拟现实中似乎是静止的。
然而，如果用户快速向右转动头部，则由于因头部转动而引起的虚拟现实的相关变化，线可能失真。这是由于并非同时显示所有像素，并且线顶部处的像素在其下方的像素之前显示。
不受理论的束缚，申请人认为图像失真的原因是因为并非在扫描中同时显示所有像素。例如，当用户的头部处于第一位置时，在初始时间显示光栅上的第一像素，并且当头部处于不同位置时，在稍后时间显示下一行上的像素。当然，显示屏上可能存在其他失真原因，但是本文提出的实施方案提供了用于基于显示器中的像素呈现之间经过的时间、以及在经过的时间期间的头部运动来校正像素数据的方法。
图3D示出了根据一个实施方案的用户在转动头部时对竖直线的感知。在一种情况下，显示器以60Hz操作，并且显示完整光栅需要约17ms。在具有720行的显示器中，这意味着显示每行显示需要约0.02ms。当用户移动头部时，HMD随着头部移动，并且如果没有校正，则显示器的像素随头部移动。然而，当头部移动时，静止对象应保持静止。假设线在虚拟现实背景中是静止的，当HMD正在移动时，线应当参考显示器的视场移动。
因此，在时间t显示行322中的第一像素，在时间(t+0.02)显示行324中的像素，在时间(t+0.04)显示行326中的像素等。如果用户正在向右转动头部，则当头部处于第一位置时，将显示322中的第一像素；并且当头部处于第二位置时，将显示324中的第二像素。如果在第一像素的正下方呈现第二像素，则用户的感知是第二像素已经向右移动，因为头部的运动意味着当前时间内必须在第一像素的下方呈现第二像素，但是第一像素“已经移动”，所以第二像素已经似乎向右移动。对于扫描中的所有行重复所述过程，并且结果是竖直线看起来从竖直方向稍微偏离。
图4A示出了根据一个实施方案的多个像素的值和HMD的显示器上的表示。如上所述，每个圆圈表示一个像素，并且黑线周围的像素已经被给予字母值。黑线的像素为黑色。
一些实现在整个显示基础上利用所谓的重投射。在给定整个图像的情况下，当用户移动头部时，整个图像被移动以补偿头部运动。然而，整个显示器重投射未解决上述问题。本文提出的实施方案校正显示器的扫描数据以便补偿HMD的运动。
图4B示出了根据一个实施方案的用户在转动头部时的感知问题。HMD包括用于识别HMD运动的惯性传感器。HMD不必等待远程计算装置跟踪HMD的运动以便计算补偿调整。这允许HMD随着数据的传入而实时地执行校正。
为了便于描述，在这种情景下，假设头部以下面的方式进行转动：当将来自第一行的第一像素与下方行中的第二像素进行比较时，头部的运动使得视图的位移恰好是行之间的一个像素。这意味着如果第二像素被放置在第二像素的原始位置的左侧的一个位置处，则因为头部转动，第二像素将看起来正好在第一像素的下方。
在图4B的图示中，底线上的像素因此向左移动一个位置。当然，对于右边的最后一个像素402没有像素值，因此来自相邻像素的值被给予像素402。在其他情况下，将黑色值给予像素404，这使得显示器边缘变暗，并且在宽视场显示中不应对用户造成干扰。
从计算观点来看，当到达显示像素的时间时，系统确定应该使用什么像素值来消除失真。在此示例中，系统采用来自右侧像素的像素值，并且使用该像素值以用于当前像素。
结果是，在实际显示器406中，线将从竖直线倾斜(对于不移动头部的用户)，但是对于正在转动头部的HMD显示器的观看者，由于像素显示数据的调整，所述线看起来是竖直的。
图5描绘根据一个实施方案的用于在头部运动期间计算像素值的方法。在一个实施方案中，HMD中的显示系统在显示像素之前改变像素值以便补偿HMD运动。
在另一个实施方案中，改变扫描顺序以便适应运动。例如，如果头部从左到右转动，则可以按列而不是按行来进行显示器的扫描。这意味着第一列像素将被从上到下或从下到上扫描，并且然后接下来向左(或另一个实施方案中向右)显示下一列。由于相同列中的像素的呈现几乎同时发生，因此不会发生图3D中针对竖直线描述的失真效应。然而，这可能导致图像不偏移以便补偿头部的运动的问题。线将看起来是竖直的，但是背景可能看起来正在偏移，而不是补偿头部的转动。在这种情况下，取决于头部的转动，通过使像素值向左或向右偏移，在按列扫描的显示器中可以应用以下描述的标准扫描显示器的相同原理。
返回到标准扫描显示器，本文描述的实施方案在显示像素值之前改变所述像素值，因此可以利用按行扫描的现有显示器。
在一个实施方案中，显示数据流到达HMD，并且显示数据存储在本地光栅扫描存储器中。然后，显示器基于光栅扫描存储器中的显示数据发射那些像素。
在呈现像素之前，系统将参考当前扫描的开始、或参考显示器中的其他像素(例如，位于正上方的像素)来计算头部已经移动了多少。基于所计算的运动，调整像素值。在某种程度上，它与使光束转向相反。因为不可能使光束转向，所以系统使光栅扫描存储器转向。
在图5的示例性实施方案中，系统计算照亮像素504将利用的像素值。由于头部自扫描开始以来的运动，系统确定补偿运动的像素数据将是位于区域502中的四个像素之间的虚拟像素506。
注意，图5中的像素被表示为圆形，但是在其他实施方案中，可以利用其他形状(诸如正方形、矩形、六边形等)来确定对应于像素的区域。
由于虚拟像素506不是真实存在的，归因于像素504的实际像素值是区域502中的相邻像素的函数。当然，如果虚拟像素基本上位于现有像素的顶部上，则将利用该现有像素的值。如果不是，则像素504的值被计算为区域502中的像素的加权平均值。例如，平均值可以向所有像素提供相等的权重，或者权重可以基于虚拟像素506与区域502中的每个像素之间的重叠。在其他实施方案中，也可以基于其他标准来计算像素值，诸如从最接近的实际像素取得像素值，或取得包含超过四个像素(例如，16个像素)的区域的平均值，或使用区域502中最左上的像素等。在选择光栅中另一个像素值的实施方案中，通过不必计算加权平均值来节省处理资源。
可能是以下情况：作出调整和像素值所需数据尚未到达HMD。当然，如果数据可用，则使用该数据。但是如果那里还没有数据，则HMD可以利用来自先前帧的像素数据或基于来自两个或更多个先前帧的像素数据。HMD缓存来自一个或多个先前帧的数据以便在需要时辅助像素值的计算。
当查看来自先前帧的数据时，在一个实施方案中，数据取自来自先前帧中的虚拟像素506的对应值的值。然而，在另一个实施方案中，像素调整的计算包括计算HMD从先前帧到当前帧的运动以及从扫描开始起的定时。这样，利用更好的像素值，所述像素值基于在将被照亮或呈现在显示器中的像素的位置上所利用的数据的年龄来考虑HMD的运动。
在另一个实施方案中，用于在数据不可用时分配像素值的缓解计划是指可能接近屏幕边缘的像素，并且数据在此帧或先前帧中不可用。例如，参见图4B的底线中的像素。在一个实施方案中，边缘上的像素值被给予黑色值，并且在其他实施方案中，像素被给予基于最接近显示器边缘的可用像素值的值。
在另一个实施方案中，以比显示器的刷新速率更快的速率从计算装置发送显示数据。例如，如果显示器和HMD具有120Hz的刷新速率，则计算机装置可能以该速率的两倍(以240Hz)发送显示数据。在这种情况下，更多的数据可用于生成像素值预测。HMD可能等待更多的数据到达，因为如果引入了等待期，则有机会提供更好的本地化。
图6示出了用于实现本文提出的实施方案的架构。在一个实施方案中，计算机装置106包括：虚拟现实生成器602、和图像呈现模块604、HMD运动跟踪器606、以及用于通过网络与HMD 102或任何其他装置交换信息的通信模块608。
在一个实施方案中，HMD运动跟踪器606利用耦合到计算装置106的摄像机104的输入、和/或通过从HMD 102中的惯性传感器接收的数据，跟踪HMD的运动。
虚拟现实生成器602是以下模块：其维持虚拟现实世界的视图，并且计算虚拟世界的哪一部分在给定时间对于佩戴HMD的观看者是可见的。虚拟现实可能是游戏或某种其他交互体验的一部分，诸如虚拟旅行、虚拟商业、虚拟通信等。在一个实施方案中，虚拟现实包括虚拟元素与真实世界元素的混合，即所谓的增强现实。此外，虚拟现实可以包括从远程计算机装置接收的视频图像(例如，电话会议、虚拟存在)。
图像呈现模块604与虚拟现实生成器602协作，以便计算在给定时间点时将在HMD的显示器中显示的显示数据。一旦图像呈现模块604计算显示数据，通过通信模块608将显示数据传输到HMD。在一个实施方案中，图像呈现模块604可以基于HMD的运动的预测、或基于HMD的当前轨迹来执行虚拟现实的图像调整。当图像呈现模块604执行运动预测时，信息被传输到HMD 102，因此上述调整像素值考虑了由图像呈现模块604执行的预测。
在一个实施方案中，HMD 102包括：位置模块614、HMD运动跟踪器模块612、显示器632、实时显示调整器模块630、显示缓冲器626和通信模块610。
位置模块614基于HMD中的惯性传感器所获得的数据来计算HMD的位置和运动。在一个实施方案中，惯性传感器包括：一个或多个磁力计616、一个或多个加速度计618、一个或多个陀螺仪620、GPS模块622、或罗盘624。
HMD运动跟踪器模块612收集来自惯性传感器的所有数据以及计算HMD的当前运动，并且基于历史运动数据对HMD的期望运动进行预测。如果HMD的运动大于阈值运动量，则由HMD运动跟踪器模块612计算的运动数据被实时显示调整器利用，所述实时显示调整器计算要呈现到显示器602的显示数据的新像素值。
显示缓冲器626保持从计算机装置106接收的显示数据(通过通信模块610接收)。此外，显示缓冲器626包括先前呈现的帧的一个或多个历史帧628。在一个实施方案中，显示缓冲器626是循环缓冲器，其在循环缓冲器中包括足够的空间量以便容纳两个或更多个数据帧，但其他实施方案可以利用其他类型的存储器存储以用于保持多个显示帧的数据。
实时显示调整器模块630利用显示缓冲器626中的数据，并且在必要时，利用历史数据628以及从HMD运动跟踪器接收的运动数据，以便在将像素呈现到显示器602之前调整像素值。
具有实时显示调整器模块630的优点是：在HMD中存在闭环以便基于HMD处计算的运动数据来调整显示数据。无需等待计算机装置计算HMD的运动并且然后将运动传输到HMD，所述等待和传输对于实时或基本上接近实时地对显示数据进行操作可能花费太多时间。
以下参考图8提供有关HMD 102的部件的更多细节。
图7是根据一个实施方案的用于调整显示数据以便补偿HMD运动的流程图。尽管顺序地呈现和描述了此流程图中的各种操作，但本领域的普通技术人员将理解，某些或全部操作可能以不同的顺序执行、被组合或省略、或并行地执行。
参考计算装置，在操作702中，在计算机装置处创建虚拟现实显示数据，并且然后在操作704中将显示数据从计算机装置传输到HMD。方法从操作704返回到操作702。
参考HMD的显示调整器模块中的操作，在操作706中，从计算机装置接收显示数据。方法从操作706行进到操作708，其中进行检查以便确定是否在HMD处通过附加显示数据来修改显示数据。例如，HMD可以在显示器中施加电池电量指示器，或由HMD生成并呈现给用户的某种其他信息。
如果要添加显示数据，则方法行进到操作710，其中将HMD所生成的对应HMD显示数据添加到从计算机装置接收的显示数据。如果不添加显示数据，则方法行进到操作712，其中进行检查以便确定HMD是否已经移动超过阈值移动量。在一个实施方案中，阈值运动量是将导致显示器上呈现的图像上的失真(如佩戴HMD的用户所感知的)的运动量。在另一个实施方案中，阈值运动量是将使得像素506(如参照图5所描述的)更接近与像素504不同的另一个像素的运动量，即像素504的已调整像素值更接近与像素504不同的像素的值。在一个实施方案中，当头部转动一定量而导致物理HMD在两个连续扫描的像素之间的时间内所穿过的角度是显示系统中像素之间的角距离的显著比例时，调整像素值。在一些实施方案中，显著比例值可以在10％至100％的范围内，尽管其他值也是可能的。
如果运动大于阈值运动，则方法行进到操作714，其中基于运动修改显示数据。在一个实施方案中，如上参考图5所描述的，执行数据的修改。
方法从操作714行进到操作716，其中将显示数据发送到显示器以用于呈现。方法从操作716返回到操作706。
参考HMD中的运动跟踪器，在操作718中，运动跟踪器收集来自HMD中的一个或多个传感器的运动数据。在一个实施方案中，还从跟踪HMD的运动(图7中未示出)的计算机装置接收运动数据。在一些实施方案中，惯性数据的采样显著地比显示帧速率更快，这允许在显示帧时间期间存在校正像素数据的许多机会。例如，可能以1,000Hz或甚至更快地对一个惯性传感器进行采样。
方法从操作718行进到操作720，其中运动追踪器确定HMD的运动轨迹。运动轨迹是指HMD从预定时间量到执行计算的当前时间点所经历的运动。例如，运动轨迹可以考虑HMD在最后几毫秒内的运动。在一些实施方案中，考虑HMD在从0.1ms到约一秒的范围内的最近时间段内的运动。
方法从操作720行进到操作722，其中计算HMD的运动并预测将来的运动。在一个实施方案中，运动预测包括大约对应于HMD的扫描速率的几毫秒(例如，约1ms)，但是也可以计算其他预测期。
在一个实施方案中，当历史数据可用时，在计算HMD在接下来几毫秒内的预测运动时，HMD的最新运动被给予更高的权重。在一个实施方案中，使用卡尔曼滤波器来组合传感器数据。方法从操作722返回到操作718。
图8示出了可以用于实现实施方案的装置的架构。头戴式显示器是计算装置，并且包括通常在计算装置上发现的模块，诸如处理器804、存储器816(RAM、ROM等)、一个或多个电池806或其他电源、以及永久性存储装置848(诸如硬盘)。
通信模块允许HMD与其他便携式装置、其他计算机、其他HMD、服务器等交换信息。通信模块包括通用串行总线(USB)连接器846、通信链路852(诸如以太网)、超声波通信856、蓝牙858和WiFi 854。
用户界面包括用于输入和输出的模块。输入模块包括输入按钮、传感器和开关810、麦克风832、触摸屏(未示出，其可用于配置或初始化HMD)、前置摄像机840、后置摄像机842、视线跟踪摄像机844。诸如键盘或鼠标的其他输入/输出装置也可以通过诸如USB或蓝牙的通信链路来连接到便携式装置。
输出模块包括用于在用户的眼睛前面呈现图像的显示器814。一些实施方案可以包括一个显示器、两个显示器(每个眼睛各一个)、微型投射器、或其他显示技术。其他输出模块包括发光二极管(LED)834(也可用于HMD的视觉跟踪)、振动触觉反馈850、扬声器830和声音定位模块812，其对于要递送到扬声器或头戴受话器的声音执行声音定位，从而为HMD中呈现或显示的对象提供3D声音模拟以便提供实时3D效果声音。诸如头戴受话器的其他输出装置也可以通过通信模块连接到HMD。
可以被包括以便有助于运动跟踪的元件包括LED 834、用于视觉识别的一个或多个对象836、以及红外光838。
位置模块828可以使用来自不同装置的信息以便计算HMD的位置。这些模块包括磁力计818、加速度计820、陀螺仪822、全球定位系统(GPS)模块824、以及罗盘826。此外，位置模块可以分析用摄像机和麦克风捕获的声音或图像数据以便计算位置。更进一步地，位置模块可以执行测试(诸如WiFi ping测试或超声测试)以便确定便携式装置的位置或附近的其他装置的位置。
如先前所描述的，虚拟现实生成器808使用位置模块计算的位置来创建虚拟现实或增强现实。虚拟现实生成器808可以与其他计算装置(例如，游戏控制台、互联网服务器等)协作以便生成用于显示模块814的图像。远程装置可以发送用于在屏幕上创建游戏对象的屏幕更新或指令。
如上所述的，HMD 802可以用于玩游戏，或用于任何其他沉浸式体验。在一个实施方案中，HMD用于显示世界位置的虚拟检查，诸如酒店。这样，考虑是否到某个酒店的用户可能通过HMD进行虚拟参观以便查看酒店的设施和住宿。在一个实施方案中，如果用户喜欢酒店，则用户还可以通过访问提供价格、选择和可用日期的菜单在虚拟参观期间取得对酒店的预订。
在另一个实施方案中，HMD可以用于购物，诸如利用HMD来旅行通过真实商店或虚拟商店。当用户围绕商店移动时，用户能够检查不同的项目(例如，待售物品)。如果用户想要购买一个或多个项目，则提供用于对所需商品进行结账的菜单(例如，虚拟结帐)。
在另一个实施方案中，虚拟参观可以用于虚拟旅行，从而允许佩戴HMD的用户在世界各地的不同位置进行旅游(例如，中国的长城、金门大桥、艾菲尔铁塔等)。可以提供允许用户进行旅游预约以访问期望位置的选项。
在一个实施方案中，HMD用于教育。学生可以访问沉浸在虚拟现实中的虚拟课程，或学生可以在课堂设置中使用HMD来访问课堂资料。例如，我们的学生可以与老师一起旅游通过虚拟博物馆，其提供了有关不同艺术品的描述。在一个实施方案中，HMD的视图由老师设置，学生在虚拟世界中的旅游共享与老师相同的图像。这样，当老师在授课时，学生可能不会好奇和访问博物馆的其他区域。
在一个实施方案中，虚拟现实生成器的呈现引擎利用针对用户运动的前向预测，从而预测用户将访问虚拟世界的哪些部分。例如，如果用户开始向右转头，则呈现引擎将开始生成当前视图右侧的数据，从而假设用户将继续向右转。此外，因为用户正将其注意力转向右侧，所以呈现引擎可以向右侧图像提供比左侧图像更高的分辨率。
在一个实施方案中，为开发者提供了用于访问HMD的功能的应用编程接口(API)。可以为要在HMD上执行的程序以及用于访问HMD内的功能的远程调用提供API。此外，API可以提供用于访问与HMD相关联的另一个装置的接口，所述装置诸如与HMD通信的游戏控制台、或与HMD接口连接的任何其他装置(例如，连接到游戏控制台的跟踪佩戴HMD的用户的移动的摄像机)。在一个实施方案中，提供软件开发套件(SDK)以便辅助开发者创建利用API的功能的应用。
应当理解，图8所示的实施方案是便携式装置的示例性实现。其他实施方案可以利用不同的模块、模块的子集、或将相关任务分配到不同的模块。此外，HMD的元件可以具有不同的尺寸，其中一些HMD具有小型化部件以便减小HMD的尺寸。在一个实施方案中，HMD可以看起来像一副眼镜，其中虚拟世界或增强世界被呈现在眼镜的玻璃上或投射到佩戴HMD的用户的视网膜上。因此，图8所示的实施方案不应被解释为排他或限制的，而是示例性或说明性的。
图9是根据一个实施方案的用于利用来自HMD中的传感器的惯性数据在HMD处修改显示数据的流程图。尽管顺序地呈现和描述了此流程图中的各种操作，但本领域的普通技术人员将理解，某些或全部操作可能以不同的顺序执行、被组合或省略、或并行地执行。
在操作902中，在头戴式显示器(HMD)处跟踪HMD的运动。方法从操作904行进到操作906，其中从计算装置接收显示数据以用于在HMD的显示器上呈现虚拟现实。
方法从操作906行进到操作908，其中如果HMD的运动大于阈值运动量，则修改显示数据以便产生要扫描到HMD的屏幕的图像帧的已修改显示数据。显示数据包括要按顺序扫描到多个像素行的像素值，并且已修改显示数据包括图像帧的当前像素行中的像素的已调整像素值，以便补偿在扫描图像帧的第一像素行与扫描图像帧的当前像素行之间经过的时间期间HMD行进的距离。
已调整像素值是位于当前像素行中的像素的偏置距离处的像素的像素值，偏置距离基于HMD在经过的时间期间行进的距离。方法从操作906行进到操作908，其中在HMD的显示器上呈现已修改显示数据。
图10是根据各种实施方案的游戏系统1100的框图。游戏系统1100被配置来通过网络1115将视频流提供到一个或多个客户端1110。游戏系统1100通常包括视频服务器系统1120和任选的游戏服务器1125。视频服务器系统1120被配置来以最低的服务质量向一个或多个客户端1110提供视频流。例如，视频服务器系统1120可接收改变视频游戏的状态或所述视频游戏内的视角的游戏命令，并且以最小的滞后时间给客户端1110提供反映这种状态变化的更新后的视频流。视频服务器系统1120可以被配置来以多种替代视频格式提供视频流。
在本文中被单独提及为1110A、1110B等的客户端1110可包括头戴式显示器、终端、个人计算机、游戏控制台、平板计算机、电话、机顶盒、一体机、无线设备、数字pad、独立设备、手持式玩游戏设备和/或类似设备。通常，客户端1110被配置来接收经编码的视频流，对视频流进行解码，并且将所得的视频展示给用户，例如游戏玩家。接收经编码的视频流和/或对视频流进行解码的过程通常包括将个别视频帧存储在客户端的接收缓冲器中。可以在与客户端1110成一体的显示器上或在如监视器或电视机等单独设备上将视频流展示给用户。客户端1110任选地被配置来支持一个以上游戏玩家。例如，游戏控制台可被配置来支持两个、三个、四个或更多个同时玩家。这些玩家中的每一个可接收单独的视频串流，或单个视频串流可包括特别针对每个玩家所产生(例如，基于每个玩家的视角所产生)的帧的多个区。客户端1110任选地在地理上分散。游戏系统1100中所包括的客户端的数目可从一个或两个广泛变化到几千个、几万个或更多个。如本文所使用，术语“游戏玩家”用于指玩游戏的人，并且术语“玩游戏设备”用于指用于玩游戏的设备。在一些实施方案中，玩游戏设备可以指多个计算装置，其进行合作来向用户传达游戏体验。例如，游戏控制台或HMD可与视频服务器系统1120合作来传达通过HMD观察的游戏。在一个实施方案中，游戏控制台从视频服务器系统1120接收视频流，并且游戏控制台将视频流或对视频流的更新转发给HMD以便进行呈现。
客户端1110被配置来通过网络1115接收视频流。网络1115可以是任何类型的通信网络，其包括电话网络、互联网、无线网络、电力线网络、局域网、广域网、私有网络和/或类似网络。在典型的实施方案中，通过如TCP/IP或UDP/IP的标准协议来传达视频流。或者，通过专有标准来传达视频流。
客户端1110的典型实例是个人计算机，所述个人计算机包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力以及输入设备。解码逻辑可包括硬件、固件和/或存储在计算机可读介质上的软件。用于解码(和编码)视频流的系统在本领域中是熟知的，并且根据所使用的具体编码方案而变化。
客户端1110可(但不需要)还包括被配置来用于修改接收到的视频的系统。例如，客户端可被配置来：执行进一步呈现，将一个视频图像叠加在另一个视频图像上，修剪视频图像，和/或类似操作。例如，客户端1110可被配置来接收各种类型的视频帧，如I帧、P帧和B帧，并且被配置来将这些帧处理成图像以向用户显示。在一些实施方案中，客户端1110的构件被配置来对视频流执行进一步呈现、阴影处理、转换成3-D、HMD光学器件的光学失真处理或类似操作。客户端1110的构件任选地被配置来接收一个以上的音频或视频流。客户端1110的输入装置可包括：例如，单手游戏控制器、双手游戏控制器、手势识别系统、注视识别系统、语音识别系统、键盘、操纵杆、指向装置、力反馈装置、运动和/或位置传感装置、鼠标、触摸屏、神经接口、相机、还未开发出的输入装置，和/或类似装置。
客户端1110所接收的视频流(和任选的音频流)是由视频服务器系统1120产生并提供的。如在本文其他地方进一步描述的，这个视频流包括视频帧(并且音频流包括音频帧)。视频帧(例如，它们包括在适当数据结构中的像素信息)被配置来有意义地构成向用户显示的图像。如本文所使用，术语“视频帧”用于指主要包括被配置来构成(例如实现)展示给用户的图像的信息的帧。本文中关于“视频帧”的大部分教示也可适用于“音频帧”。
客户端1110通常被配置来从用户接收输入。这些输入可包括游戏命令，所述游戏命令被配置来改变视频游戏的状态或以其他方式影响游戏玩法。可以使用输入设备接收游戏命令，且/或可由在客户端1110上执行的计算指令自动产生游戏命令。将接收到的游戏命令通过网络1115从客户端1110传达到视频服务器系统1120和/或游戏服务器1125。例如，在一些实施方案中，将游戏命令通过视频服务器系统1120传达到游戏服务器1125。在一些实施方案中，将游戏命令的单独副本从客户端1110传达到游戏服务器1125和视频服务器系统1120。游戏命令的传达任选地取决于命令的身份。通过用来向客户端1110A提供音频或视频流的不同路线或通信信道，从客户端1110A任选地传达游戏命令。
游戏服务器1125任选地由不同于视频服务器系统1120的实体来操作。例如，游戏服务器1125可由多玩家游戏发行商来操作。在这个实例中，视频服务器系统1120任选地被游戏服务器1125视为客户端，并且任选地被配置来(从游戏服务器1125的角度看)表现为执行现有技术游戏引擎的现有技术客户端。视频服务器系统1120与游戏服务器1125之间的通信任选地通过网络1115发生。因此，游戏服务器1125可以是向多个客户端发送游戏状态信息的现有技术多玩家游戏服务器，所述客户端中的一个是视频服务器系统1120。视频服务器系统1120可被配置来同时与游戏服务器1125的多个实例通信。例如，视频服务器系统1120可被配置来向不同用户提供多个不同视频游戏。这些不同视频游戏中的每一个可由不同游戏服务器1125支持和/或由不同实体发行。在一些实施方案中，视频服务器系统1120的一些地理上分布式实例被配置来向多个不同用户提供游戏视频。视频服务器系统1120的这些实例中的每一个可与游戏服务器1125的相同实例通信。视频服务器系统1120与一个或多个游戏服务器1125之间的通信任选地通过专用通信信道发生。例如，视频服务器系统1120可通过高带宽信道连接到游戏服务器1125，所述高带宽信道专门用于这两个系统之间的通信。
视频服务器系统1120至少包括：视频源1130、I/O设备1145、处理器1150，以及非暂时性存储装置1155。视频服务器系统1120可包括一个计算装置或分布在多个计算装置当中。这些计算装置任选地通过如局域网的通信系统连接。
视频源1130被配置来提供视频流，例如，流式视频或形成运动图片的一系列视频帧。在一些实施方案中，视频源1130包括视频游戏引擎和呈现逻辑。视频游戏引擎被配置来：从玩家接收游戏命令，并且基于接收到的命令维持视频游戏的状态的副本。这个游戏状态包括游戏环境中的对象的位置，以及典型地视角。游戏状态还可以包括对象的性质、图像、颜色和/或纹理。通常基于游戏规则以及游戏命令(如，移动、转动、攻击、设置焦点、互动、使用和/或类似命令)来维持游戏状态。游戏引擎的部分任选地安置在游戏服务器1125内。游戏服务器1125可基于使用地理上分散的客户端从多个玩家接收到的游戏命令来维持游戏状态的副本。在这些情况下，游戏服务器1125将游戏状态提供给视频源1130，其中存储游戏状态的副本并且执行呈现。游戏服务器1125可通过网络1115直接从客户端1110接收游戏命令，和/或可通过视频服务器系统1120接收游戏命令。
视频源1130通常包括呈现逻辑，例如被存储在计算机可读介质如存储装置1155上的硬件、固件和/或软件。这个呈现逻辑被配置来基于游戏状态创建视频流的视频帧。所述呈现逻辑的全部或部分任选地安置在图形处理单元(GPU)内。呈现逻辑通常包括被配置来用于确定对象之间的三维空间关系且/或用于基于游戏状态和视角来应用适当的纹理等的处理级。呈现逻辑产生原始视频，然后常常对原始视频进行编码，然后传达给客户端1110。例如，可根据Adobe标准、wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.Xvid.FFmpeg、x264、VP6-8、realvideo、mp3或类似标准对原始视频进行编码。编码过程产生视频流，任选地将所述视频流打包以便传达到远程设备上的解码器。视频流是由帧大小和帧速率来表征。典型的帧大小包括800x600、1280x720(例如720p)、1024x768，但是可使用任何其他帧大小。帧速率是每秒的视频帧数。视频流可包括不同类型的视频帧。例如，H.264标准包括“P”帧和“I”帧。I帧包括用来刷新显示设备上的全部宏块/像素的信息，而P帧包括用来刷新所述宏块/像素的子集的信息。P帧的数据大小通常小于I帧。如本文中所使用，术语“帧大小”意在指帧内的像素数。术语“帧数据大小”用来指存储所述帧所需的字节数。
在替代实施方案中，视频源1130包括如摄像机的视频录制设备。此摄像机可用来产生可以包括在计算机游戏的视频流中的延迟视频或实况视频。所得的视频流任选地包括所呈现的图像与使用静态摄像机或视频摄像机录制的图像。视频源1130还可以包括被配置来存储将要包括在视频流中的先前录制视频的存储设备。视频源1130还可以包括：被配置来检测对象(例如，人)的运动或定位的运动或定位传感设备；以及被配置来基于所检测运动和/或定位来确定游戏状态或产生视频的逻辑。
视频源1130任选地被配置来提供被配置来放在其他视频上的叠加。例如，这些叠加可包括命令界面、登入指令、发给游戏玩家的消息、其它游戏玩家的图像、其它游戏玩家的视频馈送(例如网络摄像头视频)。在客户端1110A包括触摸屏界面或注视检测界面的实施方案中，所述叠加可包括虚拟的键盘、操纵杆、触摸板和/或类似物。在叠加的一个实例中，将玩家的语音叠加在音频流上。视频源1130任选地还包括一个或多个音频源。
在视频服务器系统1120被配置来基于来自一个以上的玩家的输入来维持游戏状态的实施方案中，每个玩家可以有不同视角，视角包括观察的位置和方向。视频源1130任选地被配置来基于玩家的视角给每个玩家提供单独的视频流。此外，视频源1130可被配置来向客户端1110中的每一个提供不同的帧大小、帧数据大小和/或编码。视频源1130任选地被配置来提供3-D视频。
I/O设备1145被配置用于视频服务器系统1120，用来发送和/或接收信息，所述信息如：视频、命令、对信息的请求、游戏状态、注视信息、设备运动、设备位置、用户运动、客户端身份、玩家身份、游戏命令、安全信息、音频和/或类似信息。I/O设备1145通常包括如网卡或调制解调器的通信硬件。I/O设备1145被配置来与游戏服务器1125、网络1115和/或客户端1110通信。
处理器1150被配置来执行本文中讨论的视频服务器系统1120的各种部件内所包括的逻辑，例如软件。例如，处理器1150可编程有软件指令，以便执行视频源1130、游戏服务器1125和/或客户端限定器1160的功能。视频服务器系统1120任选地包括处理器1150的一个以上的实例。处理器1150还可以编程有软件指令，以便执行视频服务器系统1120所接收的命令或协调本文中讨论的游戏系统1100的各种元件的操作。处理器1150可包括一个或多个硬件设备。处理器1150是电子处理器。
存储装置1155包括非暂时性模拟和/或数字存储设备。例如，存储装置1155可包括被配置来存储视频帧的模拟存储设备。存储装置1155可包括计算机可读数字存储装置，例如，硬盘驱动器、光盘驱动器或固态存储装置。存储装置1115(例如由适当的数据结构或文件系统)被配置来存储视频帧、人工帧、包括视频帧与人工帧的视频流、音频帧、音频流和/或类似物。存储装置1155任选地分布在多个设备当中。在一些实施方案中，存储装置1155被配置来存储本文中其他地方所讨论的视频源1130的软件部件。这些部件可以按需要时随时可以供应的格式来存储。
视频服务器系统1120任选地还包括客户端限定器1160。客户端限定器1160被配置用于远程确定如客户端1110A或1110B的客户端的能力。这些能力可包括客户端1110A本身的能力与介于客户端1110A与视频服务器系统1120之间的一个或多个通信信道的能力。例如，客户端限定器1160可被配置来测试通过网络1115的通信信道。
客户端限定器1160可手动或自动地确定(例如，发现)客户端1110A的能力。手动确定包括：与客户端1110A的用户通信，以及要求用户提供能力。例如，在一些实施方案中，客户端限定器1160被配置来在客户端1110A的浏览器上显示图像、文字和/或类似物。在一个实施方案中，客户端1110A是包括浏览器的HMD。在另一个实施方案中，客户端1110A是具有浏览器的游戏控制台，所述浏览器可显示在HMD上。所显示的对象请求用户输入客户端1110A的信息，如操作系统、处理器、视频解码器类型、网络连接类型、显示器分辨率等。向客户端限定器1160传达回用户所输入的信息。
自动确定可例如通过在客户端1110A上执行代理程序和/或通过向客户端1110A发送测试视频来进行。代理程序可包括嵌入网页中或安装为加载项的计算指令，如java脚本。代理程序任选地由客户端限定器1160提供。在各种实施方案中，代理程序可发现：客户端1110A的处理能力、客户端1110A的解码和显示能力、客户端1110A与视频服务器系统1120之间的通信信道的滞后时间可靠性和带宽、客户端1110A的显示器类型、客户端1110A上存在的防火墙、客户端1110A的硬件、在客户端1110A上执行的软件、客户端1110A内的注册表项和/或类似物。
客户端限定器1160包括硬件、固件和/或存储在计算机可读介质上的软件。客户端限定器1160任选地放置在与视频服务器系统1120的一个或多个其他元件分开的计算装置上。例如，在一些实施方案中，客户端限定器1160被配置来确定客户端1110与视频服务器系统1120的一个以上的实例之间的通信信道的特性。在这些实施方案中，客户端限定器所发现的信息可以用来确定视频服务器系统1120的哪个实例最适合于向客户端1110中的一个传达流式视频。
实施方案可以通过各种计算机系统配置来实践，包括手持式装置、微处理器系统、基于微处理器的或可编程的消费型电子产品、小型计算机、大型计算机等。实施方案也可在分布式计算环境下实践，其中由通过网络链接的远程处理装置执行任务。
考虑到以上实施方案，应理解，实施方案可以采用涉及存储于计算机系统中的数据的各种计算机实施的操作。这些操作是需要对物理量进行物理操作的操作。本文所述的形成实施方案的一部分的任何操作都是有用的机器操作。实施方案还涉及用于执行这些操作的装置或设备。设备可以被特殊构造用于所需目的，诸如专用计算机。当被限定为专用计算机时，计算机还可以执行不属于专用目的的其他处理、程序执行或例程，同时仍然能够为专用目的而操作。可替代地，操作可以由通用计算机处理，其由存储在计算机存储器、高速缓存中或通过网络获得的一个或多个计算机程序选择性地激活或配置。当通过网络获得数据时，数据可以由网络上的其他计算机处理，例如计算资源云。
一个或多个实施方案也可以被制造为计算机可读介质上的计算机可读代码。所述计算机可读介质是可以存储数据的任何数据存储设备，所述数据随后可由计算机系统读取。计算机可读介质的实例包括硬盘驱动器、网络附加存储器(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其它光学和非光学数据存储设备。所述计算机可读介质可以包括分布在网络耦合计算机系统上的计算机可读有形介质，使得计算机可读代码以分布式方式存储和执行。
尽管以特定顺序描述了所述方法操作，但应理解，其他内务处理操作可以在操作之间执行，或者可以调整操作以使得它们在略微不同的时间发生，或者可以分布在系统中，所述系统允许处理操作以与所述处理相关的各种时间间隔发生，只要重叠操作的处理以所需方式执行即可。
虽然为了清楚理解的目的而略微详细地描述了前述实施方案，但很显然，可以在所附权利要求的范围内做出某些变化和修改。因此，本发明的实施方案被认为是说明性的而非限制性的，并且实施方案不限于本文给出的细节，而可以在所附权利要求的范围和等效范围内进行修改。

Claims (20)

1.一种头戴式显示器(HMD)，其包括：
屏幕；
处理器；
惯性传感器，其可操作以便生成惯性数据；
运动跟踪器模块，其可操作以便由所述处理器执行，所述运动跟踪器模块可操作以便基于所述惯性数据跟踪所述头戴式显示器(HMD)的运动；以及
显示调整器模块，其可操作以便由所述处理器执行，如果所述HMD的所述运动大于阈值运动量，所述显示调整器模块可操作以便产生要扫描到所述屏幕的图像帧的已修改显示数据，所述显示数据包括要按顺序扫描到多个像素行的像素值，
其中所述已修改显示数据包括所述图像帧的当前像素行中的像素的已调整像素值，以便补偿在扫描所述图像帧的第一像素行与扫描所述图像帧的所述当前像素行之间经过的时间期间所述HMD行进的距离，
其中所述已调整像素值是位于所述当前像素行中的所述像素的偏置距离处的像素的像素值，所述偏置距离基于所述HMD在所述经过的时间期间行进的所述距离，
其中所述图像帧的所述已修改显示数据被扫描到所述屏幕以便减少由于所述HMD的所述运动而引起的失真。
2.根据权利要求1所述的HMD，其中所述偏置距离基于所述像素在不存在运动时的投射与所述像素补偿所述运动的投射之间的差异。
3.根据权利要求1所述的HMD，其还包括：
通信模块，其可操作以便从计算装置接收所述显示数据。
4.根据权利要求3所述的HMD，其中如果可用，所述显示调整器模块从所述显示数据的当前帧获得新像素值，或如果在所述当前帧中不可用，所述显示调整器模块从所述显示数据的先前帧获得所述新像素值。
5.根据权利要求3所述的HMD，其中所述显示调整器模块通过从基于所述偏置距离选择的多个像素获得像素数据的加权平均值来获得新像素值。
6.根据权利要求1所述的HMD，其还包括：
存储器，其用于存储先前在所述显示器上呈现的一个或多个视频帧。
7.根据权利要求1所述的HMD，其中所述阈值运动量是所述偏置距离大于像素之间的最小距离的运动量。
8.根据权利要求1所述的HMD，其中所述显示数据包括像素光栅数据，其中在所述显示器上呈现所述数据，一次呈现一行所述像素光栅数据。
9.一种方法，其包括：
在头戴式显示器(HMD)处跟踪所述HMD的运动；
在所述HMD处从计算装置接收显示数据，以用于在所述HMD的显示器上呈现虚拟现实；
如果所述HMD的所述运动大于阈值运动量，修改所述显示数据以便产生要扫描到所述HMD的屏幕的图像帧的已修改显示数据，所述显示数据包括要按顺序扫描到多个像素行的像素值，其中所述已修改显示数据包括所述图像帧的当前像素行中的像素的已调整像素值，以便补偿在扫描所述图像帧的第一像素行与扫描所述图像帧的所述当前像素行之间经过的时间期间所述HMD行进的距离，其中所述已调整像素值是位于所述当前像素行中的所述像素的偏置距离处的像素的像素值，所述偏置距离基于所述HMD在所述经过的时间期间行进的所述距离；以及
在所述HMD的所述显示器上呈现所述已修改显示数据。
10.根据权利要求9所述的方法，其中所述偏置距离与所述像素在不存在运动时的投射与所述像素补偿所述运动的投射之间的差异相关联。
11.根据权利要求9所述的方法，其中使用惯性传感器来执行跟踪所述HMD的运动，所述惯性传感器包括加速度计、或磁力计、或陀螺仪中的一个或多个。
12.根据权利要求9所述的方法，其中所述显示器是以下中的一个：虚拟视网膜显示器(VRD)、或发光二极管显示器(LED)、或电致发光显示器(ELD)、或电子纸、或等离子体显示面板(PDP)、或液晶显示器(LCD)、或有机发光二极管显示器(OLED)、或阴极射线管显示器(CRT)。
13.根据权利要求9所述的方法，其中当所述HMD的所述运动是水平的时，所述已修改显示数据的像素随着对应于所述显示数据的相同行中的另一像素的数据而改变。
14.根据权利要求9所述的方法，其中当所述HMD的所述运动是竖直的时，所述已修改显示数据的像素随着对应于所述显示数据的不同行中的另一像素的数据而改变。
15.根据权利要求9所述的方法，其中呈现所述已修改显示数据包括在所述HMD完全接收显示帧之前开始呈现所述显示帧的光栅像素数据。
16.根据权利要求9所述的方法，其中所述阈值运动量是将静态像素的位置改变为所述显示器中更靠近另一个像素的位置的运动量，所述静态像素与在所述虚拟现实中保持静态的对象相关联。
17.一种存储计算机程序的非暂时性计算机可读存储介质，所述计算机可读存储介质包括：
用于在头戴式显示器(HMD)处跟踪所述HMD的运动的程序指令；
在所述HMD处从计算装置接收显示数据，以用于在所述HMD的显示器上呈现虚拟现实的程序指令；
用于以下的程序指令：如果所述HMD的所述运动大于阈值运动量，修改所述显示数据以便产生要扫描到所述屏幕的图像帧的已修改显示数据，所述显示数据包括要按顺序扫描到多个像素行的像素值，其中所述已修改显示数据包括所述图像帧的当前像素行中的像素的已调整像素值，以便补偿在扫描所述图像帧的第一像素行与扫描所述图像帧的所述当前像素行之间经过的时间期间所述HMD行进的距离，其中所述已调整像素值是位于所述当前像素行中的所述像素的偏置距离处的像素的像素值，所述偏置距离基于所述HMD在所述经过的时间期间行进的所述距离；以及
用于在所述HMD的所述显示器上呈现所述已修改显示数据的程序指令。
18.根据权利要求17所述的存储介质，其中修改所述显示数据还包括：
用于确定所述显示数据的像素的所述偏置距离的程序指令，所述偏置距离与所述像素在不存在运动时的投射与所述像素补偿所述运动的投射之间的差异相关联。
19.根据权利要求17所述的存储介质，其中修改所述显示数据还包括：
基于所述偏置距离获得所述像素的新像素值。
20.根据权利要求19所述的存储介质，其中修改所述显示数据还包括：
用于以下的程序指令：如果可用，从所述显示数据的当前帧获得所述新像素值，或如果在所述当前帧中不可用，从所述显示数据的先前帧获得所述新像素值。
CN201580064204.4A 2014-12-30 2015-12-09 用于虚拟现实的头戴式显示器中的扫描显示系统 Active CN107003512B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462098228P 2014-12-30 2014-12-30
US62/098,228 2014-12-30
US14/627,406 US9824498B2 (en) 2014-12-30 2015-02-20 Scanning display system in head-mounted display for virtual reality
US14/627,406 2015-02-20
PCT/US2015/064691 WO2016109139A2 (en) 2014-12-30 2015-12-09 Scanning display system in head-mounted display for virtual reality

Publications (2)

Publication Number Publication Date
CN107003512A true CN107003512A (zh) 2017-08-01
CN107003512B CN107003512B (zh) 2021-01-15

Family

ID=56164847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580064204.4A Active CN107003512B (zh) 2014-12-30 2015-12-09 用于虚拟现实的头戴式显示器中的扫描显示系统

Country Status (5)

Country Link
US (2) US9824498B2 (zh)
EP (1) EP3241207A2 (zh)
JP (1) JP6431198B2 (zh)
CN (1) CN107003512B (zh)
WO (1) WO2016109139A2 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108196258A (zh) * 2017-12-26 2018-06-22 青岛小鸟看看科技有限公司 外接设备的位置的确定方法及装置、虚拟现实设备及系统
CN108596834A (zh) * 2018-04-27 2018-09-28 腾讯科技（深圳）有限公司 图像的分辨率处理方法、图像处理装置及系统、存储介质
CN109427283A (zh) * 2017-08-25 2019-03-05 乐金显示有限公司 图像产生方法和使用该方法的显示装置
CN109599068A (zh) * 2019-01-31 2019-04-09 京东方科技集团股份有限公司 一种vr设备及其控制方法
WO2019095090A1 (zh) * 2017-11-14 2019-05-23 深圳市柔宇科技有限公司 数据处理方法及装置
CN109841185A (zh) * 2017-11-28 2019-06-04 薄淑英 微位移高清vr显示屏
WO2019140593A1 (zh) * 2018-01-18 2019-07-25 深圳市柔宇科技有限公司 头戴式显示设备及其显示控制方法
CN110554502A (zh) * 2018-05-30 2019-12-10 乐金显示有限公司 显示面板、显示装置和虚拟现实/增强现实装置
CN111066081A (zh) * 2017-09-08 2020-04-24 微软技术许可有限责任公司 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术
CN111164544A (zh) * 2017-10-02 2020-05-15 Arm有限公司 运动感测
CN113170136A (zh) * 2018-10-09 2021-07-23 威尔乌集团 重投影帧的运动平滑
US11837145B2 (en) 2018-11-28 2023-12-05 Sony Semiconductor Solutions Corporation Display apparatus and display control apparatus

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102262086B1 (ko) * 2014-05-28 2021-06-09 삼성전자 주식회사 이미지 처리 방법 및 장치
US10495726B2 (en) 2014-11-13 2019-12-03 WorldViz, Inc. Methods and systems for an immersive virtual reality system using multiple active markers
US9846968B2 (en) * 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
US9756375B2 (en) * 2015-01-22 2017-09-05 Microsoft Technology Licensing, Llc Predictive server-side rendering of scenes
WO2016201423A1 (en) * 2015-06-12 2016-12-15 Google Inc. Electronic display stabilization for head mounted display
US10554713B2 (en) 2015-06-19 2020-02-04 Microsoft Technology Licensing, Llc Low latency application streaming using temporal frame transformation
KR101716326B1 (ko) * 2015-09-08 2017-03-14 클릭트 주식회사 가상현실영상 전송방법, 재생방법 및 이를 이용한 프로그램
US10139902B2 (en) * 2015-09-16 2018-11-27 Colopl, Inc. Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US10026212B2 (en) 2015-11-20 2018-07-17 Google Llc Electronic display stabilization using pixel velocities
JP6097377B1 (ja) * 2015-11-27 2017-03-15 株式会社コロプラ 画像表示方法及びプログラム
US9990689B2 (en) 2015-12-16 2018-06-05 WorldViz, Inc. Multi-user virtual reality processing
US10095928B2 (en) 2015-12-22 2018-10-09 WorldViz, Inc. Methods and systems for marker identification
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
KR20170096468A (ko) * 2016-02-16 2017-08-24 한국전자통신연구원 자동 음장 제어 방법 및 자동 음장 제어 장치 및 상기 자동 음장 제어 장치가 제어하는 출력 장치
US10334076B2 (en) * 2016-02-22 2019-06-25 Google Llc Device pairing in augmented/virtual reality environment
US10579162B2 (en) * 2016-03-24 2020-03-03 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
KR101687174B1 (ko) * 2016-04-29 2016-12-16 주식회사 조이펀 Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치
US10242501B1 (en) 2016-05-03 2019-03-26 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
US10365712B2 (en) 2016-05-17 2019-07-30 Google Llc Object tracking in a head mounted reference frame in an augmented and/or virtual reality environment
US10242643B2 (en) * 2016-07-18 2019-03-26 Microsoft Technology Licensing, Llc Constrained head-mounted display communication
KR102317683B1 (ko) 2016-07-28 2021-10-26 삼성전자주식회사 영상을 처리하는 방법, 디바이스 및 기록매체
US20180061103A1 (en) * 2016-08-29 2018-03-01 Analogix Semiconductor, Inc. Systems and Methods for Generating Display Views Tracking User Head Movement for Head-Mounted Display Devices
US20180063205A1 (en) * 2016-08-30 2018-03-01 Augre Mixed Reality Technologies, Llc Mixed reality collaboration
KR20180028211A (ko) * 2016-09-08 2018-03-16 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
GB2555378B (en) * 2016-10-18 2021-06-09 Virtually Live Switzerland Gmbh HMD delivery system and method
JP6723895B2 (ja) * 2016-10-25 2020-07-15 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
WO2018086399A1 (zh) * 2016-11-14 2018-05-17 华为技术有限公司 一种图像渲染的方法、装置及vr设备
KR20180075732A (ko) 2016-12-26 2018-07-05 엘지디스플레이 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US10242654B2 (en) * 2017-01-25 2019-03-26 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations
US10627910B2 (en) * 2017-02-21 2020-04-21 Adobe Inc. Stroke operation prediction for three-dimensional digital content
US10317670B2 (en) * 2017-03-03 2019-06-11 Microsoft Technology Licensing, Llc MEMS scanning display device
US10365709B2 (en) 2017-03-03 2019-07-30 Microsoft Technology Licensing, Llc MEMS scanning display device
US10410349B2 (en) 2017-03-27 2019-09-10 Microsoft Technology Licensing, Llc Selective application of reprojection processing on layer sub-regions for optimizing late stage reprojection power
US10514753B2 (en) 2017-03-27 2019-12-24 Microsoft Technology Licensing, Llc Selectively applying reprojection processing to multi-layer scenes for optimizing late stage reprojection power
US10403050B1 (en) * 2017-04-10 2019-09-03 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
WO2018190826A1 (en) 2017-04-12 2018-10-18 Hewlett-Packard Development Company, L.P. Transfer to head mounted display
US10657682B2 (en) 2017-04-12 2020-05-19 Adobe Inc. Drawing curves in space guided by 3-D objects
US11474354B2 (en) * 2017-04-25 2022-10-18 Ati Technologies Ulc Display pacing in multi-head mounted display virtual reality configurations
CN107220925B (zh) * 2017-05-05 2018-10-30 珠海全志科技股份有限公司 一种实时虚拟现实加速方法及装置
WO2019012522A1 (en) * 2017-07-11 2019-01-17 Elbit Systems Ltd. SYSTEM AND METHOD FOR CORRECTING A RUNNING DISPLAY EFFECT
IL253432A0 (en) 2017-07-11 2017-09-28 Elbit Systems Ltd System and method for correcting a rolling display effect
JP2019049579A (ja) * 2017-09-07 2019-03-28 株式会社ジャパンディスプレイ 表示装置およびヘッドマウントディスプレイ
GB2566745A (en) * 2017-09-26 2019-03-27 Sony Interactive Entertainment Inc Motion signal generation
US10817983B1 (en) * 2017-09-28 2020-10-27 Apple Inc. Method and device for combining real and virtual images
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
WO2019122950A1 (ru) * 2017-12-18 2019-06-27 Общество С Ограниченной Ответственностью "Альт" Способ и система для оптико-инерциального трекинга подвижного объекта
KR102519355B1 (ko) * 2018-02-02 2023-04-10 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 이의 구동 방법
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10129984B1 (en) 2018-02-07 2018-11-13 Lockheed Martin Corporation Three-dimensional electronics distribution by geodesic faceting
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
CN108600726A (zh) * 2018-03-10 2018-09-28 滁州云拓互联科技有限公司 一种vr开发平台的数据处理方法及其系统
WO2019239852A1 (ja) * 2018-06-13 2019-12-19 ソニー株式会社 情報処理装置、情報処理方法、プログラム及びヘッドマウントディスプレイ
CN110662099B (zh) * 2018-06-28 2023-05-02 北京京东尚科信息技术有限公司 用于显示弹幕的方法和装置
US10600236B2 (en) 2018-08-06 2020-03-24 Valve Corporation Prediction and throttling adjustments based on application rendering performance
US10719127B1 (en) * 2018-08-29 2020-07-21 Rockwell Collins, Inc. Extended life display by utilizing eye tracking
US10810747B2 (en) * 2018-09-06 2020-10-20 Disney Enterprises, Inc. Dead reckoning positional prediction for augmented reality and virtual reality applications
US10924525B2 (en) 2018-10-01 2021-02-16 Microsoft Technology Licensing, Llc Inducing higher input latency in multiplayer programs
US11032532B2 (en) 2018-10-04 2021-06-08 Samsung Electronics Co., Ltd. Electronic device and method for providing virtual device via at least portion of content
WO2020071029A1 (ja) * 2018-10-04 2020-04-09 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
US10997884B2 (en) * 2018-10-30 2021-05-04 Nvidia Corporation Reducing video image defects by adjusting frame buffer processes
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
GB2586627B (en) * 2019-08-29 2022-07-13 Vrtuoso Ltd Virtual and augmented reality units, systems and methods
US11526212B1 (en) * 2019-09-25 2022-12-13 Amazon Technologies, Inc. System to determine don/doff of wearable device
US11153488B2 (en) * 2019-09-26 2021-10-19 United States Of America, As Represented By The Secretary Of The Army Variable latency and frame rate camera
US11468627B1 (en) * 2019-11-08 2022-10-11 Apple Inc. View dependent content updated rates
US20220417568A1 (en) 2019-11-26 2022-12-29 Sony Group Corporation Image transmission apparatus and display apparatus
US11468605B2 (en) * 2019-12-12 2022-10-11 Sony Interactive Entertainment Inc. VR real player capture for in-game interaction view
KR20210081939A (ko) 2019-12-24 2021-07-02 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
US11363247B2 (en) * 2020-02-14 2022-06-14 Valve Corporation Motion smoothing in a distributed system
JP2021131490A (ja) * 2020-02-20 2021-09-09 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US11099396B2 (en) 2020-04-10 2021-08-24 Samsung Electronics Company, Ltd. Depth map re-projection based on image and pose changes
CN111667560B (zh) * 2020-06-04 2022-03-29 成都飞机工业（集团）有限责任公司 一种基于vr虚拟现实角色的交互结构及交互方法
KR20230028532A (ko) * 2020-06-30 2023-02-28 스냅 인코포레이티드 가상 현실 경험들을 위한 지상 실측값 데이터세트들의 생성
KR102423869B1 (ko) * 2020-10-14 2022-07-21 주식회사 엔씨소프트 가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템
CN112954299A (zh) * 2021-01-08 2021-06-11 西安梦幻世界信息科技有限公司 基于对抗生成网络的vr全景图像生成系统
KR20220120304A (ko) * 2021-02-23 2022-08-30 삼성전자주식회사 3차원 홀로그래픽 디스플레이 장치 및 그 동작 방법
CN113281983B (zh) * 2021-04-21 2022-06-17 广东瑞芯智能科技有限公司 智能手表画面显示的控制方法、系统、智能手表及介质
KR20220156331A (ko) 2021-05-18 2022-11-25 삼성전자주식회사 이미지 지연을 보정하기 위한 전자 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120050142A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display with eye state detection
CN103499880A (zh) * 2013-10-23 2014-01-08 卫荣杰 头戴透视显示装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5684498A (en) * 1995-06-26 1997-11-04 Cae Electronics Ltd. Field sequential color head mounted display with suppressed color break-up
US7312766B1 (en) * 2000-09-22 2007-12-25 Canadian Space Agency Method and system for time/motion compensation for head mounted displays
JP4033226B1 (ja) * 2006-09-27 2008-01-16 富士ゼロックス株式会社 画像処理装置、画像形成装置及びプログラム
JP4424414B2 (ja) * 2007-12-05 2010-03-03 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
CN104115491A (zh) * 2012-02-22 2014-10-22 索尼公司 显示装置、图像处理装置和图像处理方法、以及计算机程序
WO2014160342A1 (en) * 2013-03-13 2014-10-02 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
KR102318391B1 (ko) * 2013-03-15 2021-10-26 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US9063330B2 (en) * 2013-05-30 2015-06-23 Oculus Vr, Llc Perception based predictive tracking for head mounted displays
US9443355B2 (en) * 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
JP6353214B2 (ja) * 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120050142A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display with eye state detection
CN103499880A (zh) * 2013-10-23 2014-01-08 卫荣杰 头戴透视显示装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109427283A (zh) * 2017-08-25 2019-03-05 乐金显示有限公司 图像产生方法和使用该方法的显示装置
CN109427283B (zh) * 2017-08-25 2022-01-07 乐金显示有限公司 图像产生方法和使用该方法的显示装置
CN111066081A (zh) * 2017-09-08 2020-04-24 微软技术许可有限责任公司 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术
CN111164544B (zh) * 2017-10-02 2024-04-19 Arm有限公司 运动感测
CN111164544A (zh) * 2017-10-02 2020-05-15 Arm有限公司 运动感测
WO2019095090A1 (zh) * 2017-11-14 2019-05-23 深圳市柔宇科技有限公司 数据处理方法及装置
CN109841185A (zh) * 2017-11-28 2019-06-04 薄淑英 微位移高清vr显示屏
CN108196258B (zh) * 2017-12-26 2020-07-07 青岛小鸟看看科技有限公司 外接设备的位置的确定方法及装置、虚拟现实设备及系统
CN108196258A (zh) * 2017-12-26 2018-06-22 青岛小鸟看看科技有限公司 外接设备的位置的确定方法及装置、虚拟现实设备及系统
WO2019140593A1 (zh) * 2018-01-18 2019-07-25 深圳市柔宇科技有限公司 头戴式显示设备及其显示控制方法
CN108596834B (zh) * 2018-04-27 2023-11-17 腾讯科技（深圳）有限公司 图像的分辨率处理方法、图像处理装置及系统、存储介质
CN108596834A (zh) * 2018-04-27 2018-09-28 腾讯科技（深圳）有限公司 图像的分辨率处理方法、图像处理装置及系统、存储介质
US11069140B2 (en) 2018-05-30 2021-07-20 Lg Display Co., Ltd Display panel, display device, and virtual reality/augmented reality device
CN110554502B (zh) * 2018-05-30 2022-04-08 乐金显示有限公司 显示面板、显示装置和虚拟现实/增强现实装置
CN110554502A (zh) * 2018-05-30 2019-12-10 乐金显示有限公司 显示面板、显示装置和虚拟现实/增强现实装置
CN113170136A (zh) * 2018-10-09 2021-07-23 威尔乌集团 重投影帧的运动平滑
CN113170136B (zh) * 2018-10-09 2024-04-23 威尔乌集团 重投影帧的运动平滑
US11837145B2 (en) 2018-11-28 2023-12-05 Sony Semiconductor Solutions Corporation Display apparatus and display control apparatus
CN109599068A (zh) * 2019-01-31 2019-04-09 京东方科技集团股份有限公司 一种vr设备及其控制方法

Also Published As

Publication number Publication date
WO2016109139A3 (en) 2016-08-25
US20160189429A1 (en) 2016-06-30
US20180082484A1 (en) 2018-03-22
US10515485B2 (en) 2019-12-24
WO2016109139A2 (en) 2016-07-07
EP3241207A2 (en) 2017-11-08
US9824498B2 (en) 2017-11-21
JP6431198B2 (ja) 2018-11-28
JP2018503114A (ja) 2018-02-01
CN107003512B (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN107003512A (zh) 用于虚拟现实的头戴式显示器中的扫描显示系统
US11037371B2 (en) Sensory stimulus management in head mounted display
JP6548821B2 (ja) ヘッドマウントディスプレイの画面上でコンテンツの配置を最適化する方法
CN105359063B (zh) 利用追踪的头戴式显示器
TWI594174B (zh) 頭戴顯示器之追蹤系統、方法及裝置
CN105377117B (zh) 基于用户的光学处方的头戴式显示器
CN105392538B (zh) 响应于头戴式显示器中的用户动作的图像渲染
CN105573486B (zh) 具有与移动计算设备介接的接口的头戴式设备(hmd)系统
CN109475774A (zh) 虚拟现实环境中的视图位置处的观众管理
CN105324738B (zh) 在头戴式显示器中切换操作模式
CN107735152A (zh) 用于虚拟现实(vr)观看的扩展视野重新渲染
US20170053447A1 (en) Augmented Reality
US20170053445A1 (en) Augmented Reality
CN107548470A (zh) 头戴式显示器上的夹捏和保持手势导航
CN106716306A (zh) 将多个头戴式显示器同步到统一空间并且使统一空间中的对象移动关联
CN105358227A (zh) 分享三维游戏过程
US10049496B2 (en) Multiple perspective video system and method
CN103561293A (zh) 用于增强视频的系统和方法
CN113557068A (zh) 用于确定控制器相对于hmd的移动的系统和方法
CN109314800A (zh) 用于将用户注意力引导到基于位置的游戏进行伴随应用的方法和系统
WO2016040582A1 (en) Real-time object capturing and 3d display systems and methods
Chernenko et al. Cloud Supported Augmented Reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant