CN108885851B - 图形处理单元处的电子显示稳定 - Google Patents

图形处理单元处的电子显示稳定 Download PDF

Info

Publication number
CN108885851B
CN108885851B CN201680066662.6A CN201680066662A CN108885851B CN 108885851 B CN108885851 B CN 108885851B CN 201680066662 A CN201680066662 A CN 201680066662A CN 108885851 B CN108885851 B CN 108885851B
Authority
CN
China
Prior art keywords
frame
pose
eds
hmd system
gpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680066662.6A
Other languages
English (en)
Other versions
CN108885851A (zh
Inventor
约翰·保罗·巴泰斯
埃万盖洛斯·科克维斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN108885851A publication Critical patent/CN108885851A/zh
Application granted granted Critical
Publication of CN108885851B publication Critical patent/CN108885851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Geometry (AREA)

Abstract

一种在头戴式显示器(HMD)系统(100)的中央处理单元(CPU)(102)处执行的应用(104)生成用于图形处理单元(GPU)(106)的帧绘制命令(125)集，并且针对每个帧绘制命令集，GPU将对应的帧(130、131)渲染到多个帧缓冲区(120、122)中的一个。在周期性抢占点处，GPU选择存储在多个帧缓冲区处的具有最近帧号的帧，并且基于当前姿态(124)与同所选择的帧存储的姿态信息之间的差异，对该帧应用电子显示稳定扭曲(238)。

Description

图形处理单元处的电子显示稳定
技术领域
本公开一般地涉及一种头戴式显示器系统，并且更具体地涉及头戴式显示器系统中的电子显示稳定。
背景技术
虚拟现实(VR)系统和增强现实(AR)系统使用计算机生成的三维(3D)图像来创建人工或部分人工的环境。VR和AR系统的主要目标是在创建的环境中给予用户“存在”感。通过使用与用户的移动融合的显示设备来促进这种存在感。例如，一些VR和AR系统采用提供分立的左眼显示器和右眼显示器的头戴式显示器(HMD)。这两个显示器共同呈现所表现的世界中场景的立体或3D表示，其中所呈现的场景基于用户的当前姿态(即，用户头部相对于所描绘的场景的参考坐标系的位置和取向)反映用户对场景的相对透视角。
基于HMD的VR和AR系统将3D图像显示为显示帧序列，每个显示帧基于对应检测到的头部姿态来渲染并且持续特定的时间段。然而，由于处理显示帧时的延迟，用户头部可能在开始渲染帧与显示所得的渲染帧之间的时间内已明显转动或以其他方式改变位置。这样，在特定时间点在HMD处显示的图像可能滞后于用户头动移动。这种用户在场景内感知的取向与HMD上呈现的场景透视角的取向之间的不协调可能导致用户迷失方向，或者通常被称为“虚拟现实病症”。为了减少或消除用户的不适感并由此提供改善的存在感，基于HMD的VR和AR系统寻求尽量减小运动-光子延迟；也就是说，用户头部/眼睛移动与从所得的新姿态表示场景的光子到达(hit)用户眼睛之间的延迟。
发明内容
根据一个方面，提供了一种在头戴式显示器HMD系统处实现的方法，所述方法包括：在所述HMD系统的中央处理单元CPU处生成命令集以用于生成第一帧；通过第一守护进程基于所述HMD系统的第一姿态以及来自所述CPU的所述命令集生成用于显示的多个帧中的所述第一帧；基于指示所述第一帧在所述多个帧的序列中的位置的第一帧号，在所述HMD系统的图形处理单元GPU处异步地选择所述第一帧；以及通过第一守护进程基于所述第一姿态和所述HMD系统的第二姿态，在所述GPU处对所选择的第一帧应用第一电子显示稳定EDS扭曲，所述第二姿态发生在所述第一姿态之后。
根据另一方面，提供了一种在头戴式显示器HMD系统处实现的方法，包括：在所述头戴式显示器HMD系统的图形处理单元GPU处，基于由所述HMD系统的中央处理单元CPU异步地生成并且从所述HMD系统的中央处理单元CPU异步地接收的命令，渲染用于显示的多个帧；以及通过第一守护进程与渲染所述多个帧异步地，选择所述多个帧中的第一帧，以通过第二守护进程应用电子显示稳定EDS扭曲，其中，选择所述第一帧包括基于存储在帧处的帧号来选择所述第一帧，所述帧号指示所述第一帧在帧序列中的顺序。
根据又一方面，提供了一种头戴式显示器HMD系统，包括：中央处理单元CPU，用以基于所述HMD系统的第一姿态生成命令集，以生成用于显示的多个帧中的第一帧；以及图形处理单元GPU，用以：利用第一守护进程与所述CPU生成所述命令集异步地将所述帧生成到帧缓冲区；基于指示所述第一帧在所述多个帧的序列中的位置的第一帧号，选择所述第一帧；以及基于所述第一姿态和所述HMD系统的第二姿态，利用第二守护进程与所述CPU生成所述命令集异步地对所选择的第一帧应用第一电子显示稳定EDS扭曲，所述第二姿态发生在所述第一姿态之后。
附图说明
通过参照附图，可以更好地理解本公开，并且其诸多特征和优点对于本领域技术人员而言将显而易见。在不同的附图中使用相同的附图标记指示相似或相同的项目。
图1是根据本公开的至少一个实施例的头戴式显示器(HMD)系统的框图。
图2是图示出根据本公开的至少一个实施例的由图1的HMD系统的图形处理单元(GPU)选择电子显示稳定(EDS)的帧的框图。
图3是图示根据本公开的至少一个实施例的基于完成在GPU处渲染帧来选择用于在图1的HMD系统处进行EDS的帧的框图。
图4是根据本公开的至少一个实施例的通过从存储在GPU处的帧序列中选择帧来在HMD系统的GPU处执行EDS的方法的流程图。
图5是图示根据本公开的至少一个实施例的由图1的HMD系统使用的EDS抢占点的位置的框图。
具体实施方式
图1至图5图示用于在EDS过程中由中央处理单元(CPU)以低参与水平在头戴式显示器(HMD)系统处执行电子显示稳定(EDS)的技术。一种在CPU处执行的应用生成用于HMD系统的图形处理单元(GPU)的帧绘制命令集，并且针对每个帧绘制命令集，GPU将对应的帧渲染到多个帧缓冲区中的一个。每个帧被生成为包括帧号或关联于帧号，该帧号指示该帧在随时间生成的帧序列中的位置。此外，每个帧被生成为包括或关联于姿态信息，该姿态信息指示HMD系统在生成帧时的姿态。在周期性EDS抢占点处，GPU选择存储在多个帧缓冲区处的具有最近帧号的帧，识别HMD系统的当前姿态，并且基于当前姿态与同所选择的帧存储的姿态信息之间的差异，对该帧应用修正，在此称为EDS扭曲。由于帧号和姿态信息与帧本身一起被存储，EDS抢占点能够与GPU处生成帧命令集异步。这减少了CPU和GPU处的开销，并且允许EDS抢占点置于接近将帧扫描输出以显示的时间的点，从而提高EDS过程的效率。
图1示出根据本公开的至少一个实施例的用于在现实世界或假想世界中提供VR或AR存在的HMD系统100。出于描述目的，假设该HMD系统包括与用户头部的移动耦合的HMD设备或者并入所述HMD设备中。例如，HMD设备可以具有护目镜或眼镜形状因素，其中该设备被安装到用户头部并且定位于接近用户眼睛的相对固定的位置。然而，在一些情况下，用户可能将平板型计算机或者其他手持设备持于用户面前，并且约束手持设备的移动，使得即使用户头部移动，手持设备相对于用户头部的取向也相对固定。在这样的实例中，以这种方式操作的手持设备也可以被认为HMD设备的实现，即使其未经由物理附接被“安装”到用户头部。
在图1所示的示例中，HMD系统100包括CPU 102、数字信号处理器(DSP)103、惯性测量单元(IMU)105、GPU 106以及显示面板110和112。CPU 102是大体上被配置成执行组织为计算机程序的指令集的处理单元，所述计算机程序包括VR或AR应用，诸如VR应用104。如在此进一步所述，VR应用104是大体上被配置成通过随时间识别HMD系统100的姿态并且基于那些姿态生成显示给用户的帧来为HMD系统100的用户提供虚拟现实体验的程序。因此，给予用户他们在真实世界中的移动是由VR应用104生成的虚拟现实中的移动的印象。
HMD系统100包括IMU 105和DSP 103，以支持姿态识别。IMU105包括一个或多个加速计、陀螺仪、磁强计或者生成指示HMD系统100的移动的电信号的其他传感器。DSP103是处理单元，其被配置成对IMU 105产生的电信号进行采样、滤波和处理，以生成指示HMD系统100的姿态的信息，在图1中被指定为姿态124。姿态124能够以各种格式中的任一种来表达，诸如经由HMD系统100的参考系中的一组坐标。在至少一个实施例中，DSP 103周期性更新姿态124，使得姿态124始终表示HMD系统100的相对近期的姿态。另外，DSP 103能够与CPU 102的操作(包括VR应用104的操作)和GPU 106的操作异步地更新姿态124。姿态124能够被存储在共享存储器(未示出)中，使得其能够供CPU 102和GPU 106根据需要访问，而不与DSP 103同步，从而减少了HMD系统100处的开销。
基于姿态124以及诸如所存储的虚拟现实环境文件、用户输入信息等(未示出)的其他输入信息，VR应用104周期性生成诸如帧绘制命令125的命令集，其中每个命令集用于生成用于在显示面板110和112处显示的对应帧。随时间生成的帧组成帧序列，并且每个命令集指示对应帧在序列中的序号。因此，例如，VR应用104能够针对五个帧的序列生成帧绘制命令，序列中的第一帧具有帧号0，序列中的第二帧具有帧号1，依此类推。除了包括每个帧绘制命令集的帧号之外，VR应用104还包括用于在命令集中生成绘制命令集的姿态124。
举例说明，在给定时间T，VR应用104识别待生成的另一个帧。作为响应，VR应用104读取姿态124，以识别最近捕获的HMD系统100的姿态信息。基于姿态124以及诸如VR环境文件(未示出)的其他输入信息，VR应用104生成帧绘制命令125以绘制对应的帧。VR应用104生成帧绘制命令，以在命令中的至少一个内包括待生成的帧的帧号和姿态124。如下进一步所述，该信息能够供GPU 106用来与生成帧绘制命令125异步地对帧应用EDS扭曲，从而减少GPU 106的操作与CPU 102的操作之间同步的开销。在至少一个实施例中，EDS守护进程109使用于2015年6月12日提交的、题为“Electronic Display Stabilization for HeadMounted Display(用于头戴式显示器的电子显示器稳定)”的美国专利申请序列号62/174,602(代理人案号：No.G15012-PR)中所述的技术，其全部内容通过引用并入本文，来生成并应用EDS扭曲。
例如，在一个实施例中，EDS守护进程109采用的扭曲过程包括：基于姿态信息中的差异所指示的头部转动，确定如帧处存储的姿态信息所指示的从原始头部姿态开始的单应性转动以及如EDS守护进程109所确定的经更新的头部姿态，以及将该单应性转动(以线性变换的形式)应用于帧，以生成经扭曲或修正的帧。另外，HMD系统100(未示出)的目镜透镜能够因折射穿过目镜透镜时分离的不同波长的光而产生光学失真以及色差或分色，因此EDS守护进程109所采用的扭曲过程可以补偿光学失真、色差、朝透镜边缘变暗、来自其他源的复合纹理等等中的一个或多个。通过将单应性转动应用于失真/色差校正过程所利用的查找表(LUT)值，以引入补偿失真(或“预失真”)，然后将所得的经修正的LUT值应用于帧，使得同时实现单应性转动和其他校正/补偿过程，可以实现通过单应性转动提供的临时扭曲。
GPU 106包括处理模块107以及帧缓冲区121和122。处理模块包括一个或多个指令流水线、计算单元或者执行命令集的其他处理电路。在图1所示的示例中，GPU 106执行两个不同的过程，在此称为守护进程。具体地，GPU 106执行帧绘制守护进程108以及EDS守护进程109。帧绘制守护程序108被配置成从CPU 102接收帧绘制命令集，并且基于每个集将对应帧渲染到帧缓冲区121和122中的一个。
在至少一个实施例中，帧绘制守护进程108随其生成帧在两个帧缓冲区121和122之间交替。因此，帧绘制守护程序108采用帧缓冲区121和122作为双帧缓冲区，渲染到一个帧缓冲区，而将另一个帧缓冲区扫描到显示面板110和112中的一个或两个。举例说明，帧绘制守护进程108能够将序列中的第一帧(指定的帧130)渲染到帧缓冲区121。基于下一个帧绘制命令集，帧绘制守护程序108将序列中的下一帧(指定的帧131)渲染到帧缓冲区122。在帧131被渲染到帧缓冲区122的同时，帧130能够被扫描输出，以在显示面板110和112中的一个或两个处显示。在帧130已被扫描输出之后，帧绘制守护进程108能够将序列中的下一帧(未示出)渲染到帧缓冲区121，而帧缓冲区122处的帧131被扫描输出以供显示。
应理解，虽然在图1所示的实施例中，HMD系统100采用一对帧缓冲区，但在其他实施例中，HMD系统100能够包括三个或更多个帧缓冲区，同时仍采用在此所述的技术。另外，在一些实施例中，HMD系统100能够针对显示面板110和112中的每一个采用多个独立的帧缓冲区，或者能够采用分成段来支持凹陷成像的帧缓冲区，同时采用在此所述的技术。
帧绘制守护程序108将每个帧渲染为包括或关联于至少三种类型的信息，如由帧131的示例所指示：指示帧在由VR应用104生成的帧序列中的顺序的帧号(例如，帧号132)，指示用于生成帧所基于的绘制命令的姿态信息的姿态信息(例如，姿态133)以及表示待显示的帧的像素值的显示数据(例如，显示数据134)。帧号可以是序列号、时间戳或者指示帧在帧序列中的顺序的其他标识符。在至少一个实施例中，帧绘制守护程序108生成每个帧，使得帧号和姿态信息被存储在帧的“不可见”部分—即存储在帧缓冲区中没有被显示面板110和112扫描输出并因此对HMD系统100的用户不可见的存储器位置。在其他实施例中，帧号和姿态信息中的一个或多个能够被存储在帧的可见但相对不明显的部分中，诸如帧边缘的附近。在还一些实施例中，帧号和姿态信息中的一个或两个替代地可以被存储在帧的外部，但以适当方式(例如，经由表格、链表等)与帧相关联。
显示面板110和112被配置成以交替方式周期性选择帧缓冲区121和122中的一个，并且扫描输出存储在所选择的缓冲区处的帧的可见部分，从而在显示面板处显示该帧。在至少一个实施例中，显示面板110和112各自对应于用于用户的不同眼睛的显示器—例如，显示面板110是左眼显示面板，以及显示面板112是右眼显示面板。在至少一个实施例中，HMD系统100能够包括用于显示面板110和112中的每一个的多个不同专用帧缓冲区。
EDS守护进程109被配置成周期性将EDS扭曲应用于所选择的存储在帧缓冲区121和122中的一个处的帧。EDS守护进程开始生成并应用EDS扭曲的时间在此被称为EDS抢占点。在至少一个实施例中，EDS抢占点根据如由时钟信号所指示的固定调度来管理，但如本文进一步所述，该固定调度与CPU 102生成绘制命令以及帧绘制守护进程108渲染帧异步。
响应于识别EDS抢占点，EDS守护进程109基于帧的对应显示号来选择存储在帧缓冲区121和122中的帧中的一个。在至少一个实施例中，EDS守护进程109选择已被完全渲染到对应的帧缓冲区的具有最高帧号的帧(即，帧序列中最近的帧)。EDS守护进程109读取存储在所选择的帧处的姿态信息，并且还读取姿态124，以确定最近识别的HMD系统100的姿态。帧姿态信息与姿态124之间的差异指示生成帧的帧绘制命令时HMD系统100的姿态与最近识别的HMD系统100的姿态之间的差异。基于该差异，EDS守护进程109识别EDS扭曲。该扭曲表示对所选择的帧的显示数据的调整，使得该帧更密切地反映HMD系统100的当前姿态，因而能够表示像素位置的平移、像素强度或颜色的调整等。EDS守护进程109将EDS扭曲应用于所选择的帧，从而减少可能因用户运动所致的抖动或其他不协调效应。
如上所指示的，EDS守护进程109的EDS抢占点能够与CPU 102生成帧绘制命令异步。这减少了CPU 102与GPU 106同步操作的开销，提高处理速度和效率，并且进一步允许EDS扭曲更加密切地应用于扫描输出帧以供显示的时间点，从而提高EDS过程的有效性。举例说明，在常规系统中，响应于来自CPU的已经完成帧绘制命令集的信号，由GPU生成EDS扭曲并将其应用于所存储的帧。然而，由于待生成的帧中的视觉复杂度变化(反映用户改变姿态时虚拟环境的复杂度变化)，完成帧绘制命令集的时间会显著变化。这进而会导致用于生成EDS扭曲的姿态信息的相对差异量变化，进而导致EDS过程中出现不期望的变化。通过在每个帧中放置帧号和姿态信息，使得该帧能够被EDS守护进程109异步地读取，HMD系统100减少了这些变化并由此提高了EDS过程的有效性。
图2示出根据至少一个实施例的HMD系统100的示例操作。在所示的示例中，VR应用104(在不同时间)生成帧绘制命令集，以生成两个不同的帧—帧130和帧131。每个帧被生成为包括帧号、姿态信息和绘制数据。因此，帧130包括帧号5以及在指定为T1的时间识别的姿态信息。帧131包括帧号6(指示在帧130之后生成该帧)以及在指定为T2(在时间T1之后)的时间识别的姿态信息。
响应于识别EDS抢占点，EDS守护进程109检查存储在帧缓冲区121和122处的帧130和131，并且首先识别这两者已被完全渲染到它们相应的帧缓冲区。因而，EDS守护进程109将这两个帧130和131都识别为适合选择用于EDS。然后，EDS守护进程109识别帧131具有最高帧号，因而是最近的帧。作为响应，EDS守护进程109选择帧131来应用EDS扭曲。
在一些实施例中，EDS守护进程109可以选择除具有最高帧号的帧以外的帧。例如，在至少一个实施例中，EDS守护进程109能够基于设定模式来选择帧，诸如选择每第二帧或每第四帧，即使后一帧被完全渲染在帧缓冲区中的一个处。这会有益于防止EDS过程通过帧序列对动画显示产生不利影响。
响应于选择帧131或与之同时，EDS守护进程109读取姿态124。由于生成了帧130和131的帧绘制命令，所以姿态信息被更新，使得姿态124反映在被指定为T3(在时间T2和时间T1之后)的时间识别的姿态信息。基于如在帧131处所记录的时间T3的姿态与时间T2的姿态之间的差异，EDS守护进程109生成EDS扭曲238，表示对帧131的显示数据的调整，使得数据反映时间T3的姿态。EDS守护进程将EDS扭曲应用于帧131，从而使待显示的数据稳定并且减少虚拟现实病症或者对用户体验的其他影响的可能性。
如上所指示的，为了防止EDS处理在所显示的数据中引入错误，EDS守护进程109仅选择已被完成渲染在帧缓冲区120和121中的一个处的帧。在图3中示出根据本公开的至少一个实施例的示例。具体地，在图3的示例中，帧131的帧号(8)高于帧130的帧号(7)。然而，帧131的显示数据不完整—即，帧131的所有显示数据尚未被帧绘制守护程序108完全渲染到帧缓冲区。当帧131尚未被完全渲染时对其应用EDS扭曲能够导致扫描输出帧以供显示时引入不期望的视觉赝像。因此，EDS守护进程选择帧130来生成并应用EDS扭曲238。
图4图示根据本公开的至少一个实施例的通过从存储在GPU处的帧序列中选择帧来在HMD系统的GPU处执行EDS的方法400的流程图。出于描述目的，关于图1的HMD系统100处的示例实现来描述方法400。在框402处，CPU 102读取姿态124以识别HMD系统100的近期姿态。在框404处，基于在框402处读取的姿态以及其他输入信息，VR应用104生成用来绘制帧的帧绘制命令125。GPU 106接收帧绘制命令125，并且基于这些命令，帧绘制守护进程108生成对应的帧。在框406处，帧绘制守护程序108在帧处存储如由帧绘制命令125所指示的帧的帧号。此外，在框408处，帧绘制守护进程108在帧处存储在框402处识别并且如由帧绘制命令125所指示的姿态。帧绘制守护程序108将包括帧号和姿态的帧渲染到帧缓冲区120和121中的一个。
在框410处，EDS守护进程109识别EDS抢占点。在至少一个实施例中，EDS抢占点的时刻与生成帧绘制命令125以及由帧绘制守护程序108对应渲染帧异步。在框412处，响应于识别EDS抢占点，EDS守护进程109检查存储在帧缓冲区120和121处的帧，并且选择如由帧所指示的具有最高帧号的完成帧(即，已被完全渲染到帧缓冲区的帧)。在框414处，EDS守护进程109读取存储在所选择的帧处的姿态信息，并且还读取姿态124，以识别最近识别的HMD系统100的姿态。在框416处，基于在框414处识别的两个姿态之间的差异，EDS守护进程109根据一个或多个已知的EDS扭曲技术来生成EDS扭曲。在框418处，EDS守护进程109将所生成的EDS扭曲应用于所选择的帧，从而使在HMD系统100处对帧的显示稳定。
在一些实施例中，图1的HMD系统100针对每个显示面板110和112采用专用的显示缓冲区，并且针对每个显示面板交替对帧执行EDS。然而，这可能需要仔细地调度每个显示面板的EDS抢占点，以免EDS抢占点发生在渲染每个显示面板的最后一帧之后过长，从而导致抖动或其他不期望的显示错误。这一问题可能因在CPU 102处生成绘制命令集时的相称变化引起的渲染时间变化而加剧。因此，在至少一个实施例中，GPU 106放置显示面板的EDS抢占点，使得显示面板的EDS抢占点发生在远离该显示面板的渲染时段的时间点。在图5中示出根据本公开的至少一个实施例的示例。
图5图示GPU 106处EDS抢占的两个实例，被指定为实例515和实例516。针对实例515，在时段502期间，GPU将帧渲染到用于左眼显示面板(显示面板110)的帧缓冲区。另外，在与时段502重叠的时段503期间，GPU 106放置用于右眼显示面板(显示面板112)的EDS抢占点。类似地，在时段504期间(紧接在时段502之后)，GPU 106将帧渲染到用于右眼显示面板112的帧缓冲区，并且在与时段504重叠的时段505期间，放置用于左眼显示面板110的抢占点。时段504之后是时段506，在此期间，GPU 106将帧渲染到用于左眼显示面板110的帧缓冲区。此外，在与时段506重叠的时段507期间，GPU 106放置用于右眼显示面板112的抢占点。在EDS抢占点中的每一个期间，如上参照图1所述，GPU 106使用该显示面板的最近完全渲染的帧来进行EDS。因此，例如，在右眼EDS抢占时段507期间，GPU 106使用时段504期间渲染的右眼帧来执行EDS。
通过调度显示面板的EDS抢占点，使得它们在一定程度上远离该面板的对应帧渲染时段，GPU 106能够考虑因CPU 102所生成的帧绘制命令集的时刻和复杂度变化而引起的帧渲染时段变化。实例516示出一个示例，其中与图1的帧渲染时段502相比，用于左眼显示面板110的帧渲染时段508相对较早完成。这进而促使随后的用于右眼显示面板112的帧渲染时段509较早开始，使得右眼EDS抢占时段510与帧渲染时段509重叠，而非与帧渲染时段508重合。另外，用于左眼显示面板110的EDS抢占点511发生在帧渲染时段509之后，并且不与帧渲染时段重合。然而，EDS抢占点使用先前渲染的完成帧，因此EDS抢占点在发生时间上足够接近渲染时间，使得大幅降低抖动的可能性。
在至少一个实施例中，GPU 106能够识别EDS抢占点何时在时间上过于远离用于EDS的帧。作为响应，GPU 106能够结合CPU 102或独立地减慢帧速率—即其渲染和显示帧的速率。这能够降低EDS在时间上过于远离每帧的显示时间的可能性，从而提高EDS过程的有效性并且相称地改善用户体验。
在一些实施例中，上述技术的某些方面可以由执行软件的处理系统的一个或多个处理器来实现。软件包括存储或以其他方式有形地体现在非暂时性计算机可读存储介质上的一个或多个可执行指令集。软件能够包括指令和某些数据，这些指令和数据在被一个或多个处理器执行时操纵一个或多个处理器执行上述技术的一个或多个方面。非暂时性计算机可读存储介质能够包括例如磁盘或光盘存储设备、诸如闪存、高速缓存、随机存取存储器(RAM)或一个或多个其他非易失性存储器设备的固态存储设备等。存储在非暂时性计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码或者由一个或多个处理器解释或以其他方式执行的其他指令格式。
非暂时性计算机可读存储介质可以包括使用期间可供计算机系统访问以向计算机系统提供指令和/或数据的任何存储介质或者存储介质的组合。这样的存储介质能够包括但不限于光介质(例如，致密盘(CD)、数字多功能盘(DVD)、蓝光盘)、磁介质(例如，软盘、磁带或磁性硬盘驱动器)、易失性存储器(例如，随机存取存储器(RAM)或高速缓存)、非易失性存储器(例如，只读存储器(ROM)或闪存)或者基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以嵌入计算系统(例如，系统RAM或ROM)、固定地附接到计算系统(例如，磁性硬盘驱动器)、可拆地附接到计算系统(例如，光盘或基于通用串行总线(USB)的闪存)或者经由有线或无线网络耦合到计算机系统(例如，网络访问存储(NAS))。
应当指出，并非上文概述中的所有活动或元素皆为必需，特定活动或设备的一部分可能并不必需，并且可以执行一个或多个另外的活动或者包括除所述那些之外的元素。更进一步，列出活动的顺序并非必然是执行它们的顺序。而且，已参照特定实施例对概念进行了描述。然而，本领域技术人员应理解，在不背离如所附权利要求中阐述的本公开的范围的情况下，能够作出各种修改和更变。因此，说明书和附图被认为是说明性而不是限制性意义，并且所有这样的修改旨在包括在本公开的范围内。
上文已关于特定实施例对益处、其他优势和问题解决方案进行了描述。然而，这些益处、优势、问题解决方案以及可能引发任何益处、优点或解决方案或使其变得更加显著的任何特征皆不应被解释为任何或全部权利要求的关键、必需或必要特征。而且，上面公开的特定实施例仅为说明性，因为受益于在此的教导，本领域技术人员应当清楚，所公开主题可以通过不同但等价的方式来修改和实践。除所附权利要求中的描述以外，并非旨在对在此所示的构造或设计的细节加以任何限制。因此，显而易见，可以对上文公开的特定实施例作出更改或修改，并且所有这样的变化皆被视为落入所公开主题的范围内。因此，本文寻求的保护如所附权利要求中所述。

Claims (17)

1.一种在头戴式显示器HMD系统处实现的方法，所述方法包括：
在所述HMD系统的中央处理单元CPU处生成命令集以用于生成第一帧，其中，所述第一帧是已被完全渲染到对应的缓冲区的最近的帧；
通过第一守护进程基于所述HMD系统的第一姿态以及来自所述CPU的所述命令集生成用于显示的多个帧中的所述第一帧；
基于指示所述第一帧在所述多个帧的序列中的位置的第一帧号，在所述HMD系统的图形处理单元GPU处异步地选择所述第一帧；以及
通过第一守护进程基于所述第一姿态和所述HMD系统的第二姿态，在所述GPU处对所选择的第一帧应用第一电子显示稳定EDS扭曲，所述第二姿态发生在所述第一姿态之后。
2.根据权利要求1所述的方法，其中，选择所述第一帧包括：
基于存储在所述第一帧处的帧号信息来识别所述第一帧号。
3.根据权利要求1所述的方法，其中，选择所述第一帧包括：
进一步基于已将所述第一帧完全渲染到帧缓冲区的指示来选择所述第一帧。
4.根据权利要求1所述的方法，其中，应用所述第一电子显示稳定EDS扭曲包括：
基于存储在所述第一帧处的信息来识别所述第一姿态。
5.根据权利要求1所述的方法，进一步包括：
基于所述HMD系统的第三姿态，生成所述多个帧中的第二帧；
基于指示所述第二帧在所述多个帧的所述序列中的位置的第二帧号，在所述GPU处选择所述第二帧；以及
基于所述第三姿态和所述HMD系统的第四姿态，在所述GPU处对所选择的第二帧应用第二EDS扭曲，所述第四姿态发生在所述第三姿态之后。
6.根据权利要求5所述的方法，其中，所述第一帧包括用于在所述HMD系统的左眼显示面板处显示的帧，并且所述第二帧包括用于在所述HMD系统的右眼显示面板处显示的帧。
7.一种在头戴式显示器HMD系统处实现的方法，包括：
在所述头戴式显示器HMD系统的图形处理单元GPU处，基于由所述HMD系统的中央处理单元CPU异步地生成并且从所述HMD系统的中央处理单元CPU异步地接收的命令，渲染用于显示的多个帧；以及
通过第一守护进程与渲染所述多个帧异步地，选择所述多个帧中的第一帧，以通过第二守护进程应用电子显示稳定EDS扭曲，其中，选择所述第一帧包括基于存储在帧处的帧号来选择所述第一帧，所述帧号指示所述第一帧在帧序列中的顺序，其中，所述第一帧是已被完全渲染到对应的缓冲区的最近的帧。
8.根据权利要求7所述的方法，其中，选择所述第一帧进一步包括：基于已将所述第一帧完全渲染到所述HMD系统的帧缓冲区的指示来选择帧。
9.根据权利要求7所述的方法，进一步包括：
基于存储在所述第一帧处的姿态信息，识别与所述第一帧相关联的所述HMD系统的第一姿态；以及
基于所述第一姿态，应用所述EDS扭曲。
10.根据权利要求9所述的方法，进一步包括：
在所述GPU处，识别所述HMD系统的第二姿态；以及
其中，应用所述EDS扭曲包括基于所述第一姿态与所述第二姿态之间的差异来应用所述EDS扭曲。
11.根据权利要求10所述的方法，其中，识别所述第二姿态包括：
在识别所述第一姿态之后识别所述第二姿态。
12.一种头戴式显示器HMD系统，包括：
中央处理单元CPU，用以基于所述HMD系统的第一姿态生成命令集，以生成用于显示的多个帧中的第一帧，其中，所述第一帧是已被完全渲染到对应的缓冲区的最近的帧；以及
图形处理单元GPU，用以：
利用第一守护进程与所述CPU生成所述命令集异步地将所述帧生成到帧缓冲区；
基于指示所述第一帧在所述多个帧的序列中的位置的第一帧号，选择所述第一帧；以及
基于所述第一姿态和所述HMD系统的第二姿态，利用第二守护进程与所述CPU生成所述命令集异步地对所选择的第一帧应用第一电子显示稳定EDS扭曲，所述第二姿态发生在所述第一姿态之后。
13.根据权利要求12所述的HMD系统，其中：
所述GPU用于基于存储在所述第一帧处的帧号信息来识别所述第一帧号。
14.根据权利要求12所述的HMD系统，其中：
所述GPU用于基于所述第一帧号并且基于已将所述第一帧完全渲染到所述帧缓冲区的指示来选择所述第一帧。
15.根据权利要求12所述的HMD系统，其中：
所述GPU用于基于存储在所述第一帧处的信息来识别所述第一姿态。
16.根据权利要求12所述的HMD系统，其中，所述GPU用于：
基于所述HMD系统的第三姿态，生成所述多个帧中的第二帧；
基于指示所述第二帧在所述多个帧的所述序列中的位置的第二帧号，选择所述第二帧；以及
基于所述第三姿态和所述HMD系统的第四姿态，对所选择的第二帧应用第二EDS扭曲，所述第四姿态发生在所述第三姿态之后。
17.根据权利要求16所述的HMD系统，进一步包括：
左眼显示面板；
右眼显示面板；以及
其中，所述第一帧包括用于在所述HMD系统的左眼显示面板处显示的帧，并且所述第二帧包括用于在所述HMD系统的右眼显示面板处显示的帧。
CN201680066662.6A 2016-02-09 2016-12-19 图形处理单元处的电子显示稳定 Active CN108885851B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/018,941 2016-02-09
US15/018,941 US10089725B2 (en) 2016-02-09 2016-02-09 Electronic display stabilization at a graphics processing unit
PCT/US2016/067517 WO2017139026A1 (en) 2016-02-09 2016-12-19 Electronic display stabilization at a graphics processing unit

Publications (2)

Publication Number Publication Date
CN108885851A CN108885851A (zh) 2018-11-23
CN108885851B true CN108885851B (zh) 2022-04-29

Family

ID=57796994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680066662.6A Active CN108885851B (zh) 2016-02-09 2016-12-19 图形处理单元处的电子显示稳定

Country Status (6)

Country Link
US (1) US10089725B2 (zh)
EP (1) EP3414754A1 (zh)
JP (1) JP6648385B2 (zh)
KR (1) KR102093619B1 (zh)
CN (1) CN108885851B (zh)
WO (1) WO2017139026A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10580200B2 (en) * 2017-04-07 2020-03-03 Intel Corporation Virtual reality apparatus and method including prioritized pixel shader operations, alternate eye rendering, and/or augmented timewarp
US10204394B2 (en) 2017-04-10 2019-02-12 Intel Corporation Multi-frame renderer
CA3010471C (en) 2017-07-06 2024-04-23 Aidan Fabius Display buffering methods and systems
KR102604738B1 (ko) 2017-12-22 2023-11-22 삼성전자주식회사 와핑 처리를 수행하는 그래픽 프로세서, 이를 포함하는 렌더링 시스템 및 그래픽 프로세서 동작방법
US10650791B2 (en) 2017-12-28 2020-05-12 Texas Instruments Incorporated Display system
CA3044477A1 (en) * 2018-06-01 2019-12-01 Gregory Szober Display buffering methods and systems
US10520739B1 (en) 2018-07-11 2019-12-31 Valve Corporation Dynamic panel masking
US11164496B2 (en) 2019-01-04 2021-11-02 Channel One Holdings Inc. Interrupt-free multiple buffering methods and systems
US10802287B2 (en) * 2019-01-14 2020-10-13 Valve Corporation Dynamic render time targeting based on eye tracking
JP6655751B1 (ja) * 2019-07-25 2020-02-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
US20210192681A1 (en) * 2019-12-18 2021-06-24 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009126264A2 (en) * 2008-04-06 2009-10-15 David Chaum Proximal image projection system
CN104238738A (zh) * 2013-06-07 2014-12-24 索尼电脑娱乐美国公司 在头戴式系统内产生增强虚拟现实场景的系统和方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004109994A (ja) * 2002-08-30 2004-04-08 Olympus Corp 頭部装着型画像表示システム装置及びその画像処理方法
JP4241709B2 (ja) * 2005-10-11 2009-03-18 ソニー株式会社 画像処理装置
JP4734640B2 (ja) * 2006-02-10 2011-07-27 国立大学法人岐阜大学 仮想現実画像表示装置
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
JP5047090B2 (ja) * 2008-07-31 2012-10-10 キヤノン株式会社 システム
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
WO2011106798A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8692845B2 (en) 2010-10-28 2014-04-08 Eastman Kodak Company Head-mounted display control with image-content analysis
US8594381B2 (en) 2010-11-17 2013-11-26 Eastman Kodak Company Method of identifying motion sickness
US8976086B2 (en) 2010-12-03 2015-03-10 Esight Corp. Apparatus and method for a bioptic real time video system
JP2013026952A (ja) * 2011-07-25 2013-02-04 Sony Corp 画像処理方法、エンコード装置、デコード装置および画像処理装置
US9443355B2 (en) * 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
JP6353214B2 (ja) 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US9652893B2 (en) 2014-04-29 2017-05-16 Microsoft Technology Licensing, Llc Stabilization plane determination based on gaze location
JP6384856B2 (ja) 2014-07-10 2018-09-05 Kddi株式会社 予測カメラ姿勢に基づくａｒオブジェクトを実時間に合わせて描画する情報装置、プログラム及び方法
US10102666B2 (en) 2015-06-12 2018-10-16 Google Llc Electronic display stabilization for head mounted display
US9832451B2 (en) * 2015-11-17 2017-11-28 Survios, Inc. Methods for reduced-bandwidth wireless 3D video transmission

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009126264A2 (en) * 2008-04-06 2009-10-15 David Chaum Proximal image projection system
CN104238738A (zh) * 2013-06-07 2014-12-24 索尼电脑娱乐美国公司 在头戴式系统内产生增强虚拟现实场景的系统和方法

Also Published As

Publication number Publication date
JP6648385B2 (ja) 2020-02-14
US10089725B2 (en) 2018-10-02
CN108885851A (zh) 2018-11-23
EP3414754A1 (en) 2018-12-19
US20170228855A1 (en) 2017-08-10
KR20180072806A (ko) 2018-06-29
KR102093619B1 (ko) 2020-03-26
WO2017139026A1 (en) 2017-08-17
JP2019503615A (ja) 2019-02-07

Similar Documents

Publication Publication Date Title
CN108885851B (zh) 图形处理单元处的电子显示稳定
CN110402425B (zh) 具有彩色虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
KR102292031B1 (ko) 헤드 장착 디스플레이를 위한 전자 디스플레이 안정화
JP6898430B2 (ja) 仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法
KR102298378B1 (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
CN108604385A (zh) 一种应用界面显示方法及装置
CN112805755B (zh) 信息处理装置、信息处理方法和记录介质
WO2020003860A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US12010288B2 (en) Information processing device, information processing method, and program
US20210185293A1 (en) Depth data adjustment based on non-visual pose data
CN108241211B (zh) 一种头戴显示设备及图像渲染方法
JP2008090818A (ja) 効率的にモーションブラー効果を提供する３次元グラフィックスレンダリング方法及び装置
JP2021105749A (ja) 情報処理装置、情報処理方法およびプログラム
CN112470464B (zh) 场顺序显示器中的场内子码时序
Zheng Spatio-temporal registration in augmented reality
JP6949475B2 (ja) 画像処理装置、画像処理方法およびプログラム
US10317991B2 (en) Pixel adjusting at display controller for electronic display stabilization
WO2021040010A1 (ja) 情報処理装置、制御方法
WO2021070692A1 (ja) 表示制御装置、表示制御方法および表示制御プログラム
US20210390928A1 (en) Information processing apparatus, information processing method, and recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant