CN112150601B - 中央凹渲染的方法、计算系统和非暂时性机器可读介质 - Google Patents

中央凹渲染的方法、计算系统和非暂时性机器可读介质 Download PDF

Info

Publication number
CN112150601B
CN112150601B CN202010554227.6A CN202010554227A CN112150601B CN 112150601 B CN112150601 B CN 112150601B CN 202010554227 A CN202010554227 A CN 202010554227A CN 112150601 B CN112150601 B CN 112150601B
Authority
CN
China
Prior art keywords
image
estimate
gaze point
predicted
predicted gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010554227.6A
Other languages
English (en)
Other versions
CN112150601A (zh
Inventor
丹尼·罗格里恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Priority to CN202210625801.1A priority Critical patent/CN115187719A/zh
Publication of CN112150601A publication Critical patent/CN112150601A/zh
Application granted granted Critical
Publication of CN112150601B publication Critical patent/CN112150601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0252—Improving the response speed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Generation (AREA)
  • Overhead Projectors And Projection Screens (AREA)

Abstract

公开用于通过图像重新投影来改进将要显示的图像的位置来改善图像的中央凹渲染的技术。例如，一种方法可包含接收用户在显示装置上的所预测的注视点的第一估计，该第一估计是在开始渲染图像的高质量部分之前确定的。所述方法可还包含基于所预测的注视点的第一估计来渲染图像。所述方法可还包含接收所预测的注视点的第二估计。所预测的注视点的第二估计是在已开始渲染图像的高质量部分之后确定的。响应于确定所预测的注视点的第二估计不同于第一估计，所述方法可包含基于所预测的注视点的第二估计来调整所渲染的图像，并将经调整的图像传输到显示装置以进行显示。

Description

中央凹渲染的方法、计算系统和非暂时性机器可读介质
技术领域
本发明涉及在显示器上渲染并显示计算机生成场景，更具体而言涉及中央凹渲染。
背景技术
在显示器上渲染并显示计算机生成场景在诸如游戏、建模和电影等领域中的重要性已提高。渲染是计算量巨大的过程，其中整个场景的空间、纹理和照明信息被组合在一起以确定所渲染的图像中的每一像素的色彩值。然而，执行渲染的图形处理装置具有有限的处理能力和存储器容量。这些限制因素使场景的渲染(特别是实时渲染)成为有难度的任务。
为了加速渲染过程，有时使用中央凹渲染。中央凹渲染使用眼睛追踪器以基于以下观察而减小渲染工作负荷：人的视觉范围通常集中在接近注视点的屏幕的部分上，而视敏度在四周的视觉范围中(即，中央凹所注视的区块外的区域)急剧下降。在中央凹渲染中，接近用户的注视点的区域中的内容(本文中也称为“中央凹区”)按高质量来渲染，而中央凹区外的内容(也称为“非中央凹区”)按较低质量来渲染。随着用户注视点移动，图像被相应地重新渲染以匹配注视点的新位置。
然而，向用户显示的所渲染的图像的高质量区域并不始终匹配用户的中央凹区。这种不匹配的原因包含由渲染过程引入的延迟以及注视点估计的延迟和不准确性，特别是在出现扫视或眨眼的情形下。结果，渲染并向用户显示的图像是基于几十毫秒前为用户估计的注视点而生成的。因此，在显示时投影到用户的中央凹区的内容可能按低质量来渲染，从而给用户带来不愉快的体验。
发明内容
在一些实施例中，提供一种用于改善将被显示的图像的位置的方法。所述方法可包含在将要显示图像时接收用户在显示装置上的所预测的注视点的第一估计。所预测的注视点的第一估计是在开始渲染与所预测的注视点的第一估计相关的图像的一部分之前确定的。所述方法可还包含使得图像(包含图像的该部分)基于所预测的注视点的第一估计而被渲染。所述方法可还包含在将要显示图像时接收所预测的注视点的第二估计。所预测的注视点的第二估计是在已开始渲染图像的该部分之后确定的。所述方法可还包含响应于确定所预测的注视点的第二估计不同于所预测的注视点的第一估计，基于所预测的注视点的第二估计来调整所渲染的图像，并将经调整的所渲染的图像传输到显示装置以进行显示。
在另一实施例中，提供一种用于改进将要显示的图像的位置的计算系统。计算系统可包含：非暂时性计算机可读介质，存储图像处理应用程序的程序代码；以及处理装置，通信联接到非暂时性计算机可读介质。处理装置可被配置成执行程序代码并执行操作，所述操作包含在将要显示图像时接收用户在显示装置上的所预测的注视点的第一估计。所预测的注视点的第一估计是在开始渲染与所预测的注视点的第一估计相关的图像的一部分之前确定的。所述操作可还包含使得图像(包含图像的该部分)基于所预测的注视点的第一估计而被渲染。所述操作可还包含在将显示图像时接收所预测的注视点的第二估计。所预测的注视点的第二估计是在已开始渲染图像的该部分之后确定的。所述操作可还包含响应于确定所预测的注视点的第二估计不同于所预测的注视点的第一估计，基于所预测的注视点的第二估计来调整所渲染的图像，并将经调整的所渲染的图像传输到显示装置以进行显示。
在另一实施例中，提供一种非暂时性机器可读介质，所述非暂时性机器可读介质上具有用于改善将要显示的图像的位置的指令。所述指令可由一个或多个处理器执行以执行操作，所述操作可包含在将要显示图像时接收用户在显示装置上的所预测的注视点的第一估计。所预测的注视点的第一估计是在开始渲染与所预测的注视点的第一估计相关的图像的一部分之前确定的。所述操作可还包含使得图像(包含图像的该部分)基于所预测的注视点的第一估计而被渲染。所述操作可还包含在将要显示图像时接收所预测的注视点的第二估计。所预测的注视点的第二估计是在已开始渲染图像的该部分之后确定的。所述操作可还包含响应于确定所预测的注视点的第二估计不同于所预测的注视点的第一估计，基于所预测的注视点的第二估计来调整所渲染的图像，并将经调整的所渲染的图像传输到显示装置以进行显示。
附图说明
结合附图来描述本公开的主题：
图1是根据本文所给出的实施例的用于通过图像重新投影来改善中央凹渲染的一种可能系统的框图；
图2A描绘显示使用中央凹渲染而生成的图像的显示装置的视图的实例；
图2B是图示根据本文所给出的实施例的中央凹渲染的实例的简图；
图3是图示根据本文所给出的实施例的用于改善中央凹渲染的图像重新投影的实例的简图；
图4A到图4C图示根据本文所给出的实施例的在中央凹渲染期间生成的图像的实例；
图5是根据本文所给出的实施例的用于通过图像预投影来改善中央凹渲染的一种实例方法的流程图；以及
图6是能够用于本公开的装置或系统的至少某一部分中或实施本公开的方法的至少某一部分的示范性计算机系统的框图。
在附图中，类似部件和/或特征可具有相同附图标记。此外，相同类型的各种部件可通过在附图标记之后加上在类似部件和/或特征之间进行区分的字母来区分。如果在本说明书中仅使用第一数值附图标记，那么不管其字母后缀如何，对它的描述适用于具有相同的第一数值附图标记的类似部件和/或特征中的任一个。
具体实施方式
公开了用于通过图像重新投影来改善中央凹渲染的实施例。在一个实例中，图形处理装置接收用户在显示装置上的所预测的注视点的第一估计。基于所预测的注视点的第一估计，图形处理装置通过如下方式来实施中央凹渲染或使得中央凹渲染被实施：生成与包含用户的所预测的注视点的第一估计的中央凹区对应的图像的高质量部分和非中央凹区的图像的其余部分。用户的所预测的注视点的估计是在开始渲染图像的高质量部分之前确定的。在已开始渲染图像的高质量部分之后，图形处理装置接收用户的所预测的注视点的第二估计。图形处理装置确定用户的所预测的注视点的第二估计是否与第一估计相同。如果不相同，那么图形处理装置通过基于所预测的注视点的第二估计重新投影所渲染的图像来调整所渲染的图像。结果，经调整的所渲染的图像的图像的高质量部分可含有所预测的注视点的第二估计。此外，经调整的所渲染的图像不会对用户造成明显的伪影，这是因为当用户改变注视点时，人眼通常不会注意到所渲染的图像的改变。因此，可在用户的扫视或眨眼之后应用本文所给出的经由图像重新投影而进行的中央凹渲染。接着，将经调整的所渲染的图像传输到显示装置以进行显示。
本文所给出的技术通过以下方式来提高图形处理装置的性能：减少中央凹区与经由中央凹渲染而生成的所渲染的图像的高质量部分之间的不匹配。因此，这提高向用户显示的图像的质量。这进一步允许图形处理装置通过利用中央凹渲染来减少计算资源消耗。换句话说，如果不使用本文所给出的技术，图形处理装置可能由于所渲染的图像的高质量部分与用户的实际注视点之间的不匹配而不使用中央凹渲染。结果，本文所给出的技术能够通过使用中央凹渲染来减少系统的整体计算资源消耗，而不导致明显的伪影。
下文描述仅提供示范性实施例，并且不希望限制本公开的范围、适用性或配置。实际上，示范性实施例的下文描述将向本领域的技术人员提供用于实施一个或更多个示范性实施例的可行描述。应理解，可对各要素的功能和布置进行各种改变而不偏离如随附权利要求书所阐述的本公开的精神和范围。
在下文描述中给出了具体细节以便全面理解实施例。然而，本领域的一般技术人员应理解，可在不存在这些具体细节的情况下实践实施例。例如，本公开中的电路、系统、网络、过程和其它元件可被展示为框图形式的组成部分，以免以不必要的细节使实施例变得晦涩难懂。在其它情形下，可在没有不必要的细节的情况下示出熟知的电路、过程、算法、结构和技术，以便避免使实施例变得晦涩难懂。
并且，应注意各个实施例可被描述为一种过程，所述过程被描绘为流程图、数据流程图、结构图或框图。虽然流程图可将操作描述为依序过程，但许多所述操作可并行地或同时地执行。此外，操作的次序可被重新布置。过程可在其操作完成时终止，但可具有图中未论述或未包含的额外步骤。此外，并非任何具体描述的过程中的所有操作在所有实施例中都要发生。过程可对应于方法、函数、进程、子例程、子程序等。当过程对应于函数时，其终止对应于函数返回到调用函数或主函数。出现在一个所论述的实施例中的任何细节在此实施例的其它版本或本文所论述的其它实施例中可以出现或者可以不出现。
术语“机器可读介质”包含(但不限于)便携或固定的存储装置、光学存储装置、无线信道以及能够存储、含有或携载指令和/或数据的各种其它介质。代码段或机器可执行指令可代表进程、函数、子程序、程序、例程、子例程、模块、软件包、类，或指令、数据结构或程序语句的任何组合。代码段可通过传递和/或接收信息、数据、变元、参数或存储器内容而结合到另一代码段或硬件电路。信息、变元、参数、数据等可经由包含存储器共享、消息传递、令牌传递、网络传输等任何适当手段来传递、转发或传输。
此外，可至少部分手动地或自动地实施本文所给出的实施例。可通过使用机器、硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合执行或至少辅助执行手动或自动实施方案。当以软件、固件、中间件或微码实施时，用于执行必要任务的程序代码或代码段可存储在机器可读介质中。处理器可执行必要的任务。
在一些实施例中，并且参照图1，提供用于在显示装置110上呈现图形或图像的系统100。系统100可包含眼睛追踪装置120和图形处理装置130。在一些实施例中，系统可还包含计算装置140，其中计算装置140与图形处理装置130通信并控制图形处理装置130。在一些实施例中，图形处理装置130的任何功能可完全或部分由计算装置140执行。图形处理装置130的功能的一部分也可由另一计算装置执行或在云上执行。仅举例来说，眼睛追踪装置120可与个人计算机140一体地提供，或作为个人计算机140的附加装置提供，其中个人计算机140具有图形处理装置130和中央处理单元(在一些配置中，图形处理装置130和中央处理单元被集成在一起)。
在其它实施例中，眼睛追踪装置120可与游戏控制台140或另一装置一体地提供，或作为游戏控制台140或另一装置的附加装置提供，其中游戏控制台140或另一装置具有图形处理装置130和中央处理单元。在其它实施例中，眼睛追踪装置120可与诸如虚拟现实(VR)或增强现实(AR)等可穿戴头戴设备一体地提供，或作为所述可穿戴头戴设备的附加装置提供。同样，显示装置110也可以是与可穿戴头戴设备一体形成的显示装置，并且处理器140也可与可穿戴头戴设备一体形成。因此，系统100可以是具有头戴式显示器(HMD)的可穿戴头戴设备。因此，本文所给出的实施例可应用于在任何数量的可能的装置和应用中进行图形呈现，包含视频显示、视频游戏、视频制作和编辑、视频通信、计算机辅助制图和设计等。
眼睛追踪装置120可用于确定用户在显示装置110上的注视点或用户在显示装置110上的注视点的改变中的至少一个。眼睛追踪装置和方法(有时也称为注视检测系统和方法)例如包含由瑞典拓比电子技术公司(Tobii AB)生产并从该公司购得的产品，并且这些产品通过使用红外线照射和图像传感器以从用户的眼睛检测反射来操作。此注视检测系统的实例描述在第7,572,008号美国专利中，其中所述美国专利出于全部目的以引用方式并入本文中，如同完全阐述在本文中一样。也可使用其它替代注视检测系统，而不管注视检测系统所依赖的技术为何。眼睛追踪装置120可使用其自身的处理器或另一装置(即，计算装置140)的处理器以解译并处理所接收的数据。当在本文中牵涉到眼睛追踪装置时，也就牵涉到处理数据的两种可能方法。
在一些实施例中，图形处理装置130将计算机生成的场景(诸如，三维(3D)场景)渲染为图像，并将所渲染的图像发送到显示装置110以进行显示。图形处理装置130可至少部分基于如眼睛追踪装置120所确定的用户在显示装置110上的注视点或用户在显示装置110上的注视点的改变而使用中央凹渲染。图形处理装置130可还包含图形处理模块150，其中图形处理模块150用于处理所渲染的图像，诸如，在中央凹渲染中组合高质量部分和低质量背景图像或对所渲染的图像执行其它后处理操作。在一些实施例中，图形处理模块150在所渲染的图像被发送到显示装置110之前另外执行图像重新投影机制。图像渲染也可由另一计算装置在本地执行或在云上执行，并且接着，所渲染的图像通过有线或无线连接而发送到显示装置110。虽然在一些实施例中，将通过图形处理装置130控制独立的非包含式或非集成式显示装置，但其它实施例可包含或集成有显示装置110。
图形处理装置130实施中央凹渲染的方式可取决于实施例而变化。图2A图示中央凹渲染的一个实施例，其示出显示装置110、显示装置110上的用户注视点210以及围绕用户注视点210的中央凹区220，其中在中央凹区220中，图形处理装置130可显示的图像的质量高于显示装置110的其余区230(也称为“非中央凹区230”)的图像的质量。在一个实施例中，图形处理装置130按高采样速率渲染中央凹区220的图像，而按低采样速率渲染非中央凹区230的图像。结果，非中央凹区230的图像可按低分辨率生成，并且中央凹区220的图像可按高分辨率生成。以此方式，可高效地利用图形处理装置130的可用资源和/或其它系统资源，而不会牺牲所显示的图像的总体视觉质量。
应了解，虽然图2A所图示的中央凹区220具有圆形形状，但中央凹区220可具有任何规则或不规则形状，诸如，椭圆形、正方形、长方形或多边形等。此外，除了将不同采样速率或分辨率用于中央凹区220和非中央凹区230之外，这两个区的质量可在其它方面不同，诸如，对比度、遮光度、纹理贴图、凹凸贴图、阴影、反射、帧率、后处理效果质量、折射质量、三维对象质量等。
图2B图示根据本公开的实施例将不同质量(诸如，采样速率)用于中央凹区220和非中央凹区230的中央凹渲染的实例。在此实例中，中央凹渲染包括生成具有低质量的背景图像208以及高质量的前景图像204(本文中也称为高质量图像、高质量区域或高质量部分)。以采样速率为例，背景图像208可使用一定采样速率而生成，其中所述采样速率是针对不具有中央凹渲染的显示装置而生成的图像(本文中称为“完整图像”)的采样速率的一半。因此，背景图像208在水平方向与垂直方向两者上具有完整图像的一半的尺寸。高质量前景图像204可具有与完整图像相同或相似的采样速率，但具有小于显示装置110的完整图像或显示区的尺寸。
在一实例中，背景图像208对应于完整图像或整个显示区的全部内容。相比之下，高质量前景图像204对应于中央凹区220。中央凹渲染还包含组合背景图像208和高质量前景图像204以生成合成图像206。组合包含取决于注视点210的位置以及中央凹区220而将高质量前景图像204叠加在背景图像208的顶部上。合成图像206呈现在显示器的图像显示区中。因此，并不是呈现完整图像，而是呈现合成图像206，其中仅按高质量呈现前景图像204并按低质量呈现合成图像的剩余部分。可在组合过程期间执行额外操作，例如，将高质量前景图像204的边界附近的图像内容混同以使低质量与高质量部分之间的过渡变得顺畅。
图3是图示用于改善中央凹渲染的图像重新投影的实例的简图。在图3所示的实例中，眼睛追踪装置120不时地执行注视点估计。例如，眼睛追踪装置120可在将要显示图像时每1到50ms、优选地每1到10ms地生成所预测的注视点的估计，也称为“注视点估计”。所预测的注视点的估计可基于先前注视点估计的信息，诸如，最新注视点估计和注视移动的预测。注视移动的预测可基于先前注视点估计、关于注视移动的信息(诸如，扫视速度)、预期感兴趣点等。
在时间T1，图形处理装置130开始例如针对游戏或VR环境中的3D场景而使用中央凹渲染来渲染图像。在渲染过程期间的某个时间，图形处理装置130开始渲染图像的高质量部分。图形处理装置130可将最新注视点估计302A用作所预测的注视点的最佳估计以生成所渲染的图像304。应注意，在T1之后，即，在已开始图像的渲染之后，但在已开始图像的高质量部分的渲染之前，可确定最新注视点估计302。图4A示出所渲染的图像的实例，其中白色圆圈指示基于注视点估计302A针对中央凹区生成的高质量部分。在图4A所示的实例中，对应于中央凹区的图像的部分按高分辨率渲染，而图像的其余部分按低分辨率生成。
如上文所论述，图像渲染过程可能是复杂的，并且可能花费大量的时间。在渲染过程期间，用户的注视点的估计可能已移动到与注视点估计302A中所指示的位置不同的位置。结果，当显示所渲染的图像304时，所渲染的图像304的高质量部分不对应于用户的实际中央凹区。图4B示出所渲染的图像304的高质量部分与实际中央凹区之间不匹配的实例。在图4B中，黑色圆圈示出基于中央凹渲染中所使用的注视点估计302A的中央凹区，并且白色圆圈示出基于用户的注视点的近期估计的实际中央凹区。如从图4B可见，由于不匹配，所渲染的图像的高质量部分在错误位置处被渲染，并且投影到用户的中央凹上的图像的部分可能具有低质量。
为了解决这个问题，图形处理模块150可利用眼睛追踪装置120的最新输出以修改所渲染的图像304。在图像渲染过程期间或者在图像渲染过程之后但在所渲染的图像的显示之前，诸如，在图3所示的时间T2，眼睛追踪装置120也可能已生成新的注视点估计302B。与先前的(第一)注视点估计302A相比，当向用户显示所渲染的图像时，此新的(第二)注视点估计302B可能较接近用户的实际注视点。明确地说，图形处理模块150可基于最新注视点估计302B来重新投影所渲染的图像304，以生成经更新的图像306。
可执行重新投影，以使得经更新的图像306的高质量部分对应于由最新注视点估计302B指示的中央凹区。因此，重新投影由最新注视点估计302B和先前注视点估计302A确定。重新投影可通过本领域中已知的任何扭曲技术(诸如，异步时间扭曲(ATW)或图像平移)来执行。图4C示出通过根据最新注视点估计302B重新投影所渲染的图像304而获得的经更新的图像306的实例。在此实例中，重新投影将整个图像向右平移，以使得所渲染的图像304的高质量部分(即，示出门的部分)与基于最新注视点估计302B的中央凹区匹配。接着，经更新的图像306被传输到显示装置110以进行显示。因为经更新的图像306是通过考虑最新注视点估计302B而生成的，所以当显示图像时，经更新的图像306的高质量部分将可能匹配用户的中央凹区。
然而，在一些情形下，用于渲染图像的最新(第二)注视点估计302B与第一注视点估计302A之间的差异过大以致于无法在不将明显的伪影引入到经更新的图像306的情况下执行重新投影。例如，用户的扫视或眨眼可导致注视点估计302A与302B之间的大差异。在另一实例中，在注视点估计302A和302B中的任一个中出现的估计误差也可能导致注视点估计302A与302B之间的大差异。为了避免在经更新的图像306中引入明显的伪影，图形处理模块150将注视点估计302A与302B之间的差异与阈值进行比较。所述差异可作为两个注视点估计302A与302B之间的距离来计算。如果所述差异高于或等于阈值，那么所渲染的图像304被传输到显示装置110以进行显示，而无需重新投影。
如果所述差异低于阈值，那么图形处理模块150可通过基于最新注视点估计302B重新投影所渲染的图像304来更新所渲染的图像304。在一些实例中，可执行重新投影以最小化或减小图像的高质量部分的中心点与最新注视点估计302B之间的距离。例如，可执行最小化或减小步骤以将图像的高质量部分的中心点与最新注视点估计302B之间的距离减小到0或减小50％到90％。最小化或减小步骤可能受到某些约束条件的影响。可基于各种因素来设置约束条件，诸如，用户偏好、所允许的重新投影距离等。同样，也可基于这些因素来确定阈值。
在其它实施例中，在重新投影图像之后，图形处理模块150可进一步基于注视点估计302A(第一注视点估计)与注视点估计302B(第二注视点估计)而生成第三注视点估计。生成第三注视点估计是基于以下事实：重新投影将图像平移，并且用户没有看到用户在当前注视点处应该看到的内容。结果，用户倾向于在图像的重新投影之后，将注视点移向展示对应于图像的重新投影之前的第二注视点估计的内容的显示器的位置。在图4B所示的实例中，第一注视点估计是注视点402，并且第二注视点估计是注视点404。在没有重新投影的情况下，用户应该通过看着注视点404而看到窗口区域。在存在重新投影的情况下，用户通过看着注视点404而看到门区域，而不是窗口区域。
当用户意识到其通过看着注视点404而没有看到窗口区域时，用户可能将其眼睛移向图4C中作为第三注视点406示出的窗口区域。基于此观察，在一个实例中，图形处理模块150可将第三估计计算为G3＝G2+(G2-G1)，其中G1、G2、G3分别是第一注视点估计402、第二注视点估计404和第三注视点估计406。在另一实例中，图形处理模块150可将第三注视点估计计算为处于第二注视点估计G2与如上所述计算的G3之间的某个点。计算第三注视点估计的方式的选择可基于诸如图像更新频率、注视点的第一估计与注视点的第二估计之间的距离、当意识到用户正看着门区域而不是预期的窗口区域时用户的估计反应时间和扫视速度等因素。
在图形处理模块150处执行所预测的注视点的第三估计时，图形处理模块150也可能已从眼睛追踪装置120接收到关于注视点的经更新的信息。在这种情况下，图形处理模块150可组合来自眼睛追踪装置120的注视点估计和如上所述而获得的第三估计。例如，通过将所预测的注视点的第三估计发送到图形处理装置130以执行下一图像的中央凹渲染，可利用所获得的所预测的注视点的第三估计来生成下一所渲染的图像。
虽然在上文中，图像重新投影被描述为独立的过程，但其可与现有的重新投影或扭曲过程组合。例如，系统100可包含基于头部姿态的最新读取而对所渲染的图像实施图像扭曲的可穿戴头戴设备，诸如，VR头戴设备或AR头戴设备。在这些实例中，重新投影可与图像扭曲组合，以将头部姿态与注视点估计两者作为扭曲过程的输入。在一些实例中，头部姿态和注视点估计可被分派不同权重，以调整这两个输入之间的相对重要性。在其它实例中，基于头部姿态估计来确定扭曲的一个方向，诸如，垂直方向，并且基于注视点估计来确定另一方向，诸如，水平方向。也可利用将重新投影过程的不同输入组合在一起的其它方式。
应理解，虽然图3示出一个注视点估计是在图像渲染过程开始之后生成的，但是有可能从图像渲染过程的开始以来已生成多个注视点估计。在这种情况下，图形处理模块150利用来自多个注视点估计的最新注视点估计以执行重新投影。也有可能在生成所渲染的图像304之后没有生成新的注视点估计，在这种情况下，所渲染的图像304被传输到显示装置110，而无需图像重新投影。
图5是根据本文所给出的实施例的用于通过图像预投影来改善中央凹渲染的一种实例方法500的流程图。一个或更多个计算装置(例如，计算装置140或更具体来说图形处理装置130)通过执行适当程序代码(例如，图形处理模块150)而实施图5所描绘的操作。出于说明的目的，参照图中所描绘的某些实例来描述方法500。然而，其它实施方案是可能的。
在框502中，方法500包含将要显示所渲染的图像时接收在用户在显示装置110上的所预测的注视点的第一估计。如上文所论述，注视数据可由眼睛追踪装置120生成，其中眼睛追踪装置120可与计算装置140分开或集成到计算装置140中。在框504中，方法500包含基于所预测的注视点的第一估计来执行图像304的中央凹渲染或使得图像304的中央凹渲染被执行。渲染可由图形处理装置130或通信连接到图形处理装置130的另一计算装置执行。
在框506中，方法500包含从眼睛追踪装置120接收所预测的注视点的第二估计。在框508中，方法500包含将所预测的注视点的第二估计与第一估计进行比较，以确定这两个估计之间是否存在任何差异。如果存在差异，那么在一些实施例中，方法500进行到框510(它是可选用的框)，在框510中，图形处理装置130将前述差异与阈值进行比较。如果两个估计之间的差异低于阈值，那么方法500进一步进行到框512。在框512中，图形处理装置130基于所预测的注视点的第二估计来重新投影所渲染的图像304，以生成经更新的图像306。在框514中，图形处理装置130将经更新的图像306传输到显示装置110以进行显示。
如果在框508中，确定所预测的注视点的第二估计和第一估计相同，或者如果在框510中，确定两个估计之间的差异高于或等于阈值，那么方法500进行到框514。在框514中，图形处理装置130将所渲染的图像304传输到显示装置110以进行显示。
在框516中，方法500包含确定是否应停止渲染。例如，用户已被指示停止图像渲染。如果不应停止，那么方法500返回到框502，在框502中，图形处理装置130接收用于中央凹渲染的所预测的注视点的新估计。如果在框516中确定应停止渲染过程，那么方法500结束。
图6是图示可实施本文所给出的实施例的示范性计算机系统600的框图。此实例图示计算机系统600，其中计算机系统600例如可整体地、部分地或经过各种修改而用于提供眼睛追踪装置120、图形处理装置130、游戏控制台、计算装置140和/或上文所述的其它部件的功能。例如，眼睛追踪装置120和相关联的处理器的各种功能可由计算机系统600控制，这些功能仅举例来说包含追踪用户的注视点、确定预期注视点、控制图形处理装置130等。
计算机系统600被示出为包括可经由总线690而电联接的硬件元件。硬件元件可包含一个或更多个中央处理单元610、一个或更多个输入装置620(例如，鼠标、键盘等)和一个或更多个输出装置630(例如，显示装置、打印机等)。计算机系统600可还包含一个或更多个存储装置640。举例来说，存储装置640可以是盘驱动器、光学存储装置、固态存储装置，诸如，随机存取存储器(RAM)和/或只读存储器(ROM)，它们可以是可编程的、可闪速更新的，等等。
计算机系统600可另外包含计算机可读存储介质读取器650、通信系统660(例如，调制解调器、网卡(无线或有线)、红外通信装置、BluetoothTM装置、蜂窝式通信装置等)以及工作存储器680，其中工作存储器680可包含如上所述的RAM和ROM装置。在一些实施例中，计算机系统600可还包含处理加速单元670，其中处理加速单元670可包含数字信号处理器、专用处理器等。
计算机可读存储介质读取器650可还连接到计算机可读存储介质，它们一起(并且，视情况与存储装置640结合地)全面表示远程、本地、固定和/或可移除的存储装置加上存储介质，其用于暂时地和/或较永久地包含计算机可读信息。通信系统660可允许与网络、系统、计算机和/或上文所述的其它部件交换数据。
计算机系统600可还包括被示出为当前位于工作存储器680内的软件元件，包含操作系统684和/或其它代码688。应了解，计算机系统600的替代实施例可具有相对于上文所述的内容的各种变化。例如，也可使用定制硬件，和/或可将特定元件实施在硬件、软件(包含便携式软件，例如，小程序等)或硬件和软件两者中。此外，也可发生与例如网络输入/输出和数据获取装置等其它计算装置的连接。
计算机系统600的软件可包含用于实施如本文所述的架构的各种元件的任一或全部功能的代码688。例如，存储在计算机系统(例如系统600等)上和/或由计算机系统执行的软件可提供眼睛追踪装置120、图形处理装置130、游戏控制台、处理器/计算机和/或如上文所论述的其它部件的功能。上文已更详细地论述可由软件在这些部件中的一些上实施的方法。
已为了清楚起见和便于理解而详细描述本文所呈现的技术。然而，应了解，可在随附权利要求书的范围内实践某些改变和修改。

Claims (15)

1.一种用于改善将要显示的图像的位置的方法，所述方法包括：
在将要显示所述图像时通过处理装置接收用户在显示装置上的所预测的注视点的第一估计，所述所预测的注视点的所述第一估计是在开始渲染与所述所预测的注视点的所述第一估计相关的、所述图像的一部分之前确定的，其中所述图像的所述一部分对应于所述显示装置上包含所述用户的所述所预测的注视点的所述第一估计的中央凹区，其中所述中央凹区的质量比所述显示装置的非中央凹区的质量更高；
通过所述处理装置使得包含所述图像的所述一部分的所述图像基于所述所预测的注视点的所述第一估计而被渲染；
在将要显示所述图像时通过所述处理装置接收所述所预测的注视点的第二估计，所述所预测的注视点的所述第二估计是在已开始渲染所述图像的所述一部分之后确定的；以及
响应于确定所述所预测的注视点的所述第二估计不同于所述所预测的注视点的所述第一估计，
基于所述所预测的注视点的所述第二估计来调整所渲染的图像，其中调整所述所渲染的图像包括调整所述所渲染的图像，以使得所述所预测的注视点的所述第二估计与所述图像的所述一部分的中心点之间的距离减小，并且
将经调整的所渲染的图像传输到所述显示装置以进行显示。
2.根据权利要求1所述的方法，其中调整所述所渲染的图像包括调整所述所渲染的图像，以使得所述图像的所述一部分被重新投影以对应于所述显示装置上包括所述所预测的注视点的所述第二估计的所述中央凹区，其中，所述重新投影基于注视点的所述第一估计和注视点的所述第二估计之间的距离。
3.根据权利要求1所述的方法，其中确定所述所预测的注视点的所述第二估计不同于所述所预测的注视点的所述第一估计包括：
确定所述所预测的注视点的所述第二估计与所述所预测的注视点的所述第一估计之间的差异；以及
确定所述差异低于阈值。
4.根据权利要求3所述的方法，还包括：
响应于确定所述差异高于所述阈值，将所述所渲染的图像传输到所述显示装置以进行显示，而无需调整所述所渲染的图像的步骤。
5.根据权利要求1所述的方法，其中所述处理装置是虚拟现实装置的一部分，并且其中重新投影所述所渲染的图像还基于穿戴所述虚拟现实装置的所述用户的运动。
6.一种计算系统，包括：
非暂时性计算机可读介质，其存储图像处理应用程序的程序代码；以及
处理装置，其通信联接到所述非暂时性计算机可读介质，其中所述处理装置被配置成执行所述程序代码并因此执行包括以下各者的操作：
在将要显示图像时接收用户在显示装置上的所预测的注视点的第一估计，所述所预测的注视点的所述第一估计是在开始渲染与所述所预测的注视点的所述第一估计相关的、所述图像的一部分之前确定的，其中所述图像的所述一部分对应于所述显示装置上包含所述用户的所述所预测的注视点的所述第一估计的中央凹区，其中所述中央凹区的质量比所述显示装置的非中央凹区的质量更高；
使包含所述图像的所述一部分的所述图像基于所述所预测的注视点的所述第一估计而被渲染；
在将要显示所述图像时接收所述所预测的注视点的第二估计，所述所预测的注视点的所述第二估计是在已开始渲染所述图像的所述一部分之后确定的；以及
响应于确定所述所预测的注视点的所述第二估计不同于所述所预测的注视点的所述第一估计，
基于所述所预测的注视点的所述第二估计来调整所渲染的图像，其中调整所述所渲染的图像包括调整所述所渲染的图像，以使得所述所预测的注视点的所述第二估计与所述图像的所述一部分的中心点之间的距离减小，并且
将经调整的所渲染的图像传输到所述显示装置以进行显示。
7.根据权利要求6所述的计算系统，还包括所述显示装置，其中所述显示装置是头戴式显示器。
8.根据权利要求6所述的计算系统，其中调整所述所渲染的图像包含调整所述所渲染的图像，以使得所述图像的所述一部分被重新投影以对应于所述显示装置上包括所述所预测的注视点的所述第二估计的所述中央凹区，其中，所述重新投影基于注视点的所述第一估计和注视点的所述第二估计之间的距离。
9.根据权利要求6所述的计算系统，其中所述图像的所述一部分相比所述图像的所述一部分之外的图像部分以较高的分辨率来渲染。
10.根据权利要求6所述的计算系统，其中所述图像的所述一部分相比所述图像的所述一部分之外的图像部分以较高的对比度来渲染。
11.一种非暂时性机器可读介质，所述非暂时性机器可读介质上具有用于改善将要显示的图像的位置的指令，所述指令可由一个或多个处理器执行以执行包括以下各者的操作：
在将要显示所述图像时接收用户在显示装置上的所预测的注视点的第一估计，所述所预测的注视点的所述第一估计是在开始渲染与所述所预测的注视点的所述第一估计相关的、所述图像的一部分之前确定的，其中所述图像的所述一部分对应于所述显示装置上包含所述用户的所述所预测的注视点的所述第一估计的中央凹区，其中所述中央凹区的质量比所述显示装置的非中央凹区的质量更高；
使得包含所述图像的所述一部分的所述图像基于所述所预测的注视点的所述第一估计而被渲染；
在将要显示所述图像时接收所述所预测的注视点的第二估计，所述所预测的注视点的所述第二估计是在已开始渲染所述图像的所述一部分之后确定的；以及
响应于确定所述所预测的注视点的所述第二估计不同于所述所预测的注视点的所述第一估计，
基于所述所预测的注视点的所述第二估计来调整所渲染的图像，其中调整所述所渲染的图像包括调整所述所渲染的图像，以使得所述所预测的注视点的所述第二估计与所述图像的所述一部分的中心点之间的距离减小，并且
将经调整的所渲染的图像传输到所述显示装置以进行显示。
12.根据权利要求11所述的非暂时性机器可读介质，其中所述操作还包括基于所述所预测的注视点的所述第二估计和所述所预测的注视点的所述第一估计来生成所述所预测的注视点的第三估计。
13.根据权利要求12所述的非暂时性机器可读介质，其中所述操作还包括：
基于所述所预测的注视点的所述第三估计而生成第二所渲染的图像，所述第二所渲染的图像包括一个部分，所述一个部分对应于所述显示装置上包含所述所预测的注视点的所述第三估计的所述中央凹区。
14.根据权利要求11所述的非暂时性机器可读介质，其中所述显示装置是虚拟现实头戴设备的头戴式显示器。
15.根据权利要求11所述的非暂时性机器可读介质，其中调整所述所渲染的图像包括调整所述所渲染的图像，以使得所述图像的所述一部分被重新投影以对应于所述显示装置上包括所述所预测的注视点的所述第二估计的所述中央凹区。
CN202010554227.6A 2019-06-27 2020-06-17 中央凹渲染的方法、计算系统和非暂时性机器可读介质 Active CN112150601B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210625801.1A CN115187719A (zh) 2019-06-27 2020-06-17 中央凹渲染的方法、计算系统和非暂时性机器可读介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/455,225 US10712817B1 (en) 2019-06-27 2019-06-27 Image re-projection for foveated rendering
US16/455,225 2019-06-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210625801.1A Division CN115187719A (zh) 2019-06-27 2020-06-17 中央凹渲染的方法、计算系统和非暂时性机器可读介质

Publications (2)

Publication Number Publication Date
CN112150601A CN112150601A (zh) 2020-12-29
CN112150601B true CN112150601B (zh) 2022-06-03

Family

ID=71143542

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210625801.1A Pending CN115187719A (zh) 2019-06-27 2020-06-17 中央凹渲染的方法、计算系统和非暂时性机器可读介质
CN202010554227.6A Active CN112150601B (zh) 2019-06-27 2020-06-17 中央凹渲染的方法、计算系统和非暂时性机器可读介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210625801.1A Pending CN115187719A (zh) 2019-06-27 2020-06-17 中央凹渲染的方法、计算系统和非暂时性机器可读介质

Country Status (4)

Country Link
US (1) US10712817B1 (zh)
EP (1) EP3757727B1 (zh)
CN (2) CN115187719A (zh)
ES (1) ES2930598T3 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
ES2938535T3 (es) * 2018-07-20 2023-04-12 Tobii Ab Representación foveada distribuida basada en la mirada del usuario
US11681415B2 (en) * 2018-10-31 2023-06-20 Apple Inc. Near-viewing notification techniques
SE542556C2 (en) * 2018-12-12 2020-06-02 Tobii Ab Method Computer Program and Driver Unit for Streaming Gaze Data Packets
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
US20230409111A1 (en) * 2020-11-18 2023-12-21 Magic Leap, Inc. Eye tracking based video transmission and compression
US12069230B2 (en) * 2020-12-23 2024-08-20 Meta Platforms Technologies, Llc Temporal foveated rendering
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
CN113655638B (zh) * 2021-07-21 2024-04-30 青岛海尔空调器有限总公司 用于控制智能家电的方法及装置、智能眼镜
US11972047B1 (en) * 2023-03-20 2024-04-30 Tencent America LLC Control method and device for near eye display system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019026765A1 (ja) * 2017-08-02 2019-02-07 株式会社ソニー・インタラクティブエンタテインメント レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE524003C2 (sv) 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
CN107852521B (zh) * 2015-08-07 2023-04-11 苹果公司 用于显示图像流的系统和方法
US10460527B2 (en) 2017-06-30 2019-10-29 Tobii Ab Systems and methods for displaying images in a virtual world environment
US10890968B2 (en) * 2018-05-07 2021-01-12 Apple Inc. Electronic device with foveated display and gaze prediction

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019026765A1 (ja) * 2017-08-02 2019-02-07 株式会社ソニー・インタラクティブエンタテインメント レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法

Also Published As

Publication number Publication date
EP3757727A1 (en) 2020-12-30
CN115187719A (zh) 2022-10-14
ES2930598T3 (es) 2022-12-19
US10712817B1 (en) 2020-07-14
EP3757727B1 (en) 2022-10-05
CN112150601A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN112150601B (zh) 中央凹渲染的方法、计算系统和非暂时性机器可读介质
EP3824371B1 (en) Distributed foveated rendering based on user gaze
US11836289B2 (en) Use of eye tracking to adjust region-of-interest (ROI) for compressing images for transmission
US10739849B2 (en) Selective peripheral vision filtering in a foveated rendering system
US10720128B2 (en) Real-time user adaptive foveated rendering
US10372205B2 (en) Reducing rendering computation and power consumption by detecting saccades and blinks
US9928655B1 (en) Predictive rendering of augmented reality content to overlay physical structures
CN107533640B (zh) 用于视线校正的方法、用户设备和存储介质
US20160238852A1 (en) Head mounted display performing post render processing
EP3664018B1 (en) Reducing aliasing artifacts in foveated rendering using cross-resolution modulation
US10969861B2 (en) Image processing device, image processing method, and image system
KR20220137770A (ko) 시선 기반 내비게이션을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
WO2020003860A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN107534755B (zh) 用于视线校正的设备和方法
US20190295280A1 (en) Dynamically modifying virtual and augmented reality content to reduce depth conflict between user interface elements and video content
US11615767B2 (en) Information processing apparatus, information processing method, and recording medium
US20240112303A1 (en) Context-Based Selection of Perspective Correction Operations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant