CN115668101A - 使用眼睛跟踪对空间光调制显示器进行扭曲 - Google Patents

使用眼睛跟踪对空间光调制显示器进行扭曲 Download PDF

Info

Publication number
CN115668101A
CN115668101A CN202180036369.6A CN202180036369A CN115668101A CN 115668101 A CN115668101 A CN 115668101A CN 202180036369 A CN202180036369 A CN 202180036369A CN 115668101 A CN115668101 A CN 115668101A
Authority
CN
China
Prior art keywords
pupil
viewer
image frame
eye
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180036369.6A
Other languages
English (en)
Inventor
A·I·拉塞尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN115668101A publication Critical patent/CN115668101A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2018—Display of intermediate tones by time modulation using two or more time intervals
    • G09G3/2022—Display of intermediate tones by time modulation using two or more time intervals using sub-frames
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0235—Field-sequential colour display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003—Display of colours

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Processing Or Creating Images (AREA)

Abstract

实施例基于眼睛跟踪数据(例如，用户的瞳孔的位置)使渲染图像帧的色域偏移。MR设备获得具有一组色域的第一图像帧。第一图像帧对应于观看者的瞳孔的第一位置。MR设备然后基于例如从耦合到MR设备的眼睛跟踪设备接收的数据来确定观看者的瞳孔的第二位置。MR设备基于第一图像帧生成与瞳孔的第二位置对应的第二图像帧。第二图像帧是基于观看者的瞳孔的第二位置通过使色域偏移偏移值来生成的。MR设备将第二图像帧发送到MR设备的显示设备以在其上被显示。

Description

使用眼睛跟踪对空间光调制显示器进行扭曲
本申请要求2020年5月21日提交的题为“使用眼睛跟踪对空间光调制显示器进行扭曲(WARPING FOR SPATIAL LIGHT MODULATING DISPLAYS USING EYE TRACKING)”的第63/028,418号美国临时专利申请的优先权，其全部内容通过引用并入本文用于所有目的。
以下常规美国专利申请被同时提交，其全部公开内容通过引用并入本申请以用于所有目的：
2021年5月20日提交的题为“使用眼睛跟踪对激光束扫描显示器进行扭曲(WARPING FOR LASER BEAM SCANNING DISPLAYS USING EYE TRACKING)”的第17/326,034号美国专利申请；以及
2021年5月20日提交的题为“使用眼睛跟踪对空间光调制显示器进行扭曲(WARPING FOR SPATIAL LIGHT MODULATING DISPLAYS USING EYE TRACKING)”的第17/326,036号美国专利申请。
背景技术
现代计算和显示技术促进了“混合现实”(MR)系统的开发，用于所谓的“虚拟现实”(VR)或“增强现实”(AR)体验，其中数字再现的图像或其部分以它们看起来是真实的或者可能感觉是真实的方式呈现给用户。VR场景通常涉及数字或虚拟图像信息的呈现，而对实际的现实世界视觉输入不透明。AR场景通常涉及数字或虚拟图像信息的呈现，作为对用户周围现实世界可视化的增强(即，对现实世界视觉输入透明)。因此，AR场景涉及对现实世界视觉输入透明的数字或虚拟图像信息的呈现。
MR系统通常采用至少松散耦合到用户头部的可穿戴显示设备(例如，头戴式显示器、头盔式显示器、或智能眼镜)。MR系统通常会生成和显示颜色数据，这增加了MR场景的真实感。各种光学系统在各种深度处生成图像，包括彩色图像，用于显示MR(VR和AR)场景。
根据各种场景，用户可以改变他们头部的位置或仅仅改变他们眼睛的位置(即，他们的注视)。观看者的头部和/或瞳孔位置的变化对空间光调制显示技术提出了挑战，并在所显示的图像上引入了伪影，例如色分离(color breakup)。
发明内容
本文描述了在用户移动他们的眼睛的情况下提高空间光调制显示器的图像质量，从而修改他们的注视方向(例如视线)的技术和技术。
作为示例，如果佩戴头戴式显示设备的用户观看虚拟对象并移动他们的眼睛以观看不同的方向(例如，当虚拟对象移动时跟随虚拟对象，或选择观看不同的对象)，虚拟对象可以基于用户的视场来渲染，该视场由他们的瞳孔的位置来确定。用户瞳孔位置的变化需要调整图像帧的色域(color field)将在空间光调制显示器上的显示方式。
实施例可以基于与用户瞳孔的位置相关联的眼睛跟踪数据来使渲染图像帧的一个或多个色域偏移(shift)。耦合到MR设备的一个或多个处理器可以获得具有一组色域的第一图像帧，其中第一图像帧对应于与观看者的瞳孔的第一位置相关联的第一视角。一个或多个处理器然后可以基于例如从耦合到MR设备的眼睛跟踪设备接收的数据来确定观看者的瞳孔的第二位置。然后，一个或多个处理器可以基于第一图像帧生成第二图像帧，该第二图像帧对应于与观看者的瞳孔的第二位置相关联的第二视角。例如，一个或多个处理器可以基于观看者的瞳孔的第二位置使该组色域中的一个或多个色域以偏移值进行偏移。一个或多个处理器然后可以将第二图像帧发送到MR设备的近眼显示设备以被显示在该近眼显示设备上。第二图像帧的所有六个色域相对于观看者的瞳孔的第二位置被显示在同一点上。根据各种实施例，第一图像帧的该组色域中的第一色域可以以第一偏移值进行偏移，并且第二色域可以以第二偏移值进行偏移。第一值和第二值是基于观看者的瞳孔的第一位置和第二位置来确定的。
一些实施例提供了一种用于基于观看者的瞳孔的位置来变换图像帧的方法。该方法可以包括由计算设备获得具有一组色域的第一图像帧。第一图像帧对应于与观看者的瞳孔的第一位置相关联的第一视角。该方法还可以包括由计算设备确定观看者的瞳孔的第二位置。计算设备可以基于第一图像帧生成第二图像帧，该第二图像帧对应于与观看者的瞳孔的第二位置相关联的第二视角。该生成可以包括基于观看者的瞳孔的第二位置将该组色域中的一个或多个色域偏移偏移值。该方法还可以包括由计算设备将第二图像帧发送到近眼显示设备以被显示在该近眼显示设备上。第二图像帧的所有六个色域相对于观看者的瞳孔的第二位置被显示在同一点上。在一些实施例中，第一视角还与观看者的第一头部位置相关联，该方法还包括：由计算设备估计观看者的第二头部位置。可以使用观看者的第二头部位置从第一图像帧生成中间扭曲图像帧。使用中间扭曲图像帧生成第二图像帧。
在一些实施例中，该方法还可以包括由计算设备从眼睛跟踪设备接收与观看者的瞳孔的位置相关联的数据，其中，瞳孔的第二位置是基于从眼睛跟踪设备接收到的数据确定的。
在一些实施例中，该方法还可以包括根据瞳孔的第一位置、瞳孔的第二位置和观看者的瞳孔从第一位置到第二个位置所经过的时间来计算眼速。眼速是相对于近眼显示设备计算的。该方法还可以包括由计算设备基于眼速来计算偏移值。
各种实施例提供了一种系统，该系统包括一个或多个处理器，用于执行一种如上所述的用于基于观看者的瞳孔的位置变换图像帧的方法。
实施例提供了一种在其上存储有指令序列的非暂时性计算机可读介质，当由一个或多个处理器执行指令序列时，使得处理器执行一种如上所述的用于基于观看者的瞳孔的位置变换图像帧的方法。
在详细描述、附图和权利要求中描述了本公开的附加和其他目的、特征和优点。
附图说明
附图说明了本公开的各种实施例的设计和实用性。应当注意，附图不是按比例绘制的，并且相似结构或功能的要素在所有附图中由相似的附图标记表示。为了更好地理解如何获得本公开的各个实施例的上述和其他优点和目的，将参考本公开的具体实施例对以上简要描述的本公开进行更详细的描述，这些实施例在附图中示出。理解这些附图仅描绘了本公开的典型实施例并且因此不应被视为对其范围的限制，将通过使用附图以附加的特异性和细节来描述和解释本公开，其中：
图1示意性地描绘了根据一些实施例的在用户视场中具有现实世界对象和虚拟对象的示例性混合现实(例如，VR或AR)系统。
图2示意性地描绘了根据一些实施例的示例性混合现实系统，其图示了用户的眼球与用户视线中的现实世界或虚拟对象。
图3图示了根据一些实施例的用于基于用户(例如，观看者)的瞳孔的位置来变换图像帧的示例性方法。
图4图示了与第一示例性VR场景相关联的一系列图，其中没有对渲染图像应用任何视觉校正。
图5图示了与第一示例性VR场景相关联的一系列图，其中传统的基于头部姿势的校正被应用于渲染图像。
图6图示了根据一些实施例的与第一示例性VR场景相关联的一系列图，其中基于眼睛跟踪的偏移被应用于渲染图像。
图7图示了与第二示例性VR场景相关联的一系列图，其中没有对渲染图像应用任何视觉校正。
图8图示了根据一些实施例的与第二示例性VR场景相关联的一系列图，其中基于眼睛跟踪的偏移被应用于渲染图像。
图9图示了与第三示例性VR场景相关联的一系列图，其中没有对渲染图像应用任何视觉校正。
图10图示了根据一些实施例的与第三示例性VR场景相关联的一系列图，其中基于眼睛跟踪的偏移被应用于渲染图像。
图11图示了与第四示例性VR场景相关联的一系列图，其中没有对渲染图像应用任何视觉校正。
图12图示了与第四示例性VR场景相关联的一系列图，其中传统的基于头部姿势的校正被应用于渲染图像。
图13图示了根据一些实施例的与第四示例性VR场景相关联的一系列图，其中基于眼睛跟踪的偏移被应用于渲染图像。
图14图示了与第五示例性VR场景相关联的一系列图，其中没有对渲染图像应用任何视觉校正。
图15图示了根据一些实施例的与第五示例性VR场景相关联的一系列图，其中基于眼睛跟踪的偏移被应用于渲染图像。
图16是根据一些实施例示意性地描绘说明性计算系统的框图。
具体实施方式
本公开涉及投影图像帧的空间光调制显示系统，该图像帧包括使用基于眼睛跟踪数据所计算的偏移值所偏移的一组色域，以消除视觉伪影，诸如色分离，以及使用该系统生成混合现实体验内容的方法。
本公开的各种实施例涉及用于使用来自用于空间光调制显示设备的眼睛跟踪设备的数据来增强扭曲虚拟内容的系统、方法和制品。在详细描述、附图和权利要求中描述了本公开的其他目的、特征和优点。
现在将参照附图详细描述各种实施例，这些实施例被提供作为本公开的说明性示例以使本领域技术人员能够实践本公开。值得注意的是，下面的附图和示例并不意味着限制本公开的范围。在本公开的某些要素可以使用已知组件(或方法或过程)部分或全部实施的情况下，将仅描述这些已知组件(或方法或过程)中对于理解本公开所必需的那些部分，并且这些已知组件(或方法或过程)的其他部分的详细描述将被省略以免混淆本公开。此外，各种实施例涵盖本文通过说明方式提及的组件的当前和未来已知的等效物。
说明性混合现实场景和系统
下面的描述与示例性增强现实系统有关，通过该增强现实系统可以实践眼睛跟踪增强扭曲系统。然而，应当理解，实施例也适用于其他类型的显示系统(包括其他类型的混合现实系统)中的应用，因此实施例不限于仅在此公开的说明性系统。
混合现实(MR)场景通常包括与现实世界对象相关联的虚拟对象对应的虚拟内容(例如，彩色图像和声音)的呈现。例如，参考图1，包括头戴式装置(例如可穿戴组件)的MR设备102的用户100看到现实世界的物理对象104。根据各种实施例，虚拟对象114可以相对于现实世界对象104被渲染在MR设备102的近眼显示设备上。例如，现实世界对象104可以是桌子的形式，并且虚拟仙子(作为示例性虚拟对象114)可以在显示设备上渲染为被放在桌子上。MR设备102还必须考虑用于生成/渲染现实世界对象104以及虚拟对象114的用户注视(例如视线)。例如，用户100可以将他们的眼睛从提供第一视场105的第一位置移动到提供第二视场106的第二位置。虽然现实世界对象104的位置相对于现实世界坐标保持相同，但现实世界对象104的位置在用户的视场内移动(例如，现实世界对象104更靠近第一视场105的边缘并且在第二视场106的中间)。除非经过适当处理，否则用户瞳孔位置的变化可能会导致虚拟对象114在MR设备102的近眼显示设备上显得模糊或具有色分离(如下文更详细讨论)。
根据各种实施例，来自耦合到MR设备102的眼睛跟踪设备108的数据可以用于在近眼显示设备上适当地渲染虚拟对象114。例如，可以通过在最终用户的眼睛上投射光并检测至少一些该投射光的返回或反射来辨别这种眼睛跟踪数据。眼睛跟踪设备108可以输出用户注视所指向的显示设备的像素索引(index)。例如，眼睛跟踪设备108可以在时间t1将用户瞳孔的第一位置确定为显示设备的中心像素，并且在时间t2将用户瞳孔的第二位置确定为中心像素右侧的10个像素。根据一些实施例，MR设备102可能能够根据第一位置、第二位置以及时间t1与时间t2之间的差Δt来计算用户的眼速。
例如，当用户的瞳孔处于与第一视场105相关联的第一位置时(由用户瞳孔的法线向量115示出)，MR设备102可以获得具有一组色域(例如，红、绿、蓝)的第一图像帧。MR设备102可以从眼睛跟踪设备108接收数据，并且使用来自眼睛跟踪设备108的数据确定与第二视场106相关联的用户瞳孔的第二位置(由用户瞳孔的法线向量116示出)。然后，MR设备102可以通过至少基于用户瞳孔的第一位置和第二位置执行第一图像帧的一个或多个色域的偏移以及其他步骤，来生成对应于第二视场106的第二图像帧。下面将更详细地描述偏移的细节以及可以执行的附加步骤。
以下描述提供了五个示例性场景，其中眼睛跟踪数据可用于校正由MR设备的用户使他们的注视(例如，他们的瞳孔的位置)偏移而导致的视觉伪影/异常/故障。注视偏移可能是头部姿势变化的补充，也可能是单独变化(例如，用户在不移动头部的情况下改变注视)。根据各种实施例，可以作为独立校正执行基于眼睛跟踪的偏移，或者可以除了基于头部姿势的扭曲之外执行基于眼睛跟踪的偏移(例如，可以对基于头部姿势的扭曲图像执行基于眼睛跟踪的偏移)。
图2是示例性AR/VR头戴式装置200相对于头戴式装置200的用户的眼球的示意图。头戴式装置200包括位于用户的眼球204前面的显示设备202(例如，空间光调制显示器)。耦合到头戴式装置200的眼睛跟踪设备可以跟踪用户眼球204(例如用户的瞳孔)的位置。用户的视线208可以指向现实或虚拟对象206。
根据各种实施例，来自眼睛跟踪设备的数据可用于基于用户的视线或用户视线的任何变化在显示设备202上正确地渲染真实或虚拟对象206。图3图示了用于基于用户(例如，观看者)的瞳孔的位置来变换图像帧的示例性方法。
在步骤302，计算设备获得具有一组色域的第一图像帧。第一图像帧可以具有六个色域并且可以对应于与观看者的瞳孔的第一位置相关联的第一视角。根据各种实施例，计算设备可以耦合到包括空间光调制显示器的近眼显示设备。
在步骤304，计算设备可以从耦合到观看者佩戴的头戴式装置的眼睛跟踪设备接收与观看者的瞳孔位置相关联的数据。
在步骤306，计算设备可以基于从眼睛跟踪设备接收到的数据来确定观看者的瞳孔的第二位置。观看者的瞳孔的第二位置与第二视角相关联。在一些实施例中，观看者的瞳孔的位置可以相对于观看者的头部位置来确定。在其他实施例中，观看者的瞳孔的位置可以相对于头戴式装置(例如，相对于头戴式装置的显示设备的像素)来确定。
在步骤308，计算设备可以估计也与第二视角相关联的第二头部位置。
在步骤310，计算设备可以使用观看者的第二头部位置从第一图像帧生成中间扭曲图像帧。因此，中间扭曲图像是使用基于头部姿势的扭曲生成的。
在步骤312，计算设备基于第一图像帧(例如，使用从第一图像帧生成的中间扭曲图像帧)生成对应于与观看者的瞳孔的第二位置相关联的第二视角的第二图像帧。第二图像帧可以基于观看者的瞳孔的第二位置通过使该组色域中的一个或多个色域偏移偏移值来生成。
根据各种实施例，计算设备可以根据瞳孔的第一位置、瞳孔的第二位置和观看者的瞳孔从第一位置到第二位置所经过的时间来计算观看者的眼速。在一些实施例中，相对于头戴式装置(例如，相对于头戴式装置的显示设备的像素)计算眼速。计算设备然后可以基于眼速计算偏移值。在一些实施例中，可以将第一图像帧的所有六个色域偏移相同的偏移值。在其他实施例中，可以将第一色域偏移第一偏移值，并且可以将第二色域偏移第二偏移值。可以基于观看者的各种瞳孔位置计算六个不同的偏移值(例如，六个色域中的每一个的不同偏移值)。
在步骤314，计算设备可以将第二图像帧发送到近眼显示设备以显示在近眼显示设备上。第二图像帧的所有六个色域相对于观看者的瞳孔的第二位置被显示在显示设备上的相同点上。因此，虽然第一图像帧可能包括色分离伪影，但在显示设备上显示的第二图像帧上消除了色分离。
示例场景一
在第一示例性VR场景中，虚拟对象(例如，虚拟仙子)出现在用户的周边视场中。用户看着虚拟对象，并在用户转动他们的头部/脖子以面对虚拟对象时将他们的注视固定在虚拟对象上。当用户转动头部时，虚拟对象保持静止，用户的注视被固定在虚拟对象上。
图4图示了说明相对于虚拟对象的顺时针头部运动以及以60fps的示例性速率被显示在显示设备上的色域的一系列图(第1至9幅图)。在图4所示的图中没有应用视觉校正(例如基于头部姿势的扭曲或基于眼睛跟踪的校正)。
随着头戴式装置200以及显示设备202相对于用户的瞳孔顺时针移动，用户的视线208保持固定在虚拟对象206上。在第三幅图中，第一色域400形成在显示设备202上的预定位置(例如像素)。当用户继续移动他们的头部而不偏移他们的注视时，第二(例如绿色)色域402、第三(例如蓝色)色域404、第四(例如红色)色域406、第五(例如绿色)色域408和第六(例如蓝色)色域410分别显示在显示设备上，如第4至8幅图所示。如这些图中所示，色域402到410形成在用户的视线之外。确切地说，色域402到410被形成在显示设备202的法线上，而不是用户的视线208。结果，色域402到410被映射到显示设备上的相同位置，显示设备202上显示的图像呈现出色分离。最后一幅图(即第9幅图)图示了用户感知的显示设备上的色域412的最终渲染。如所示，在第9幅图所示的显示色域412上存在过多的模糊和色分离。
对该问题的常规修复可以基于估计的用户头部姿势来扭曲图像帧。MR系统可以检测和/或预测(例如，使用惯性测量单元)头部姿势。然后，MR系统可以将渲染的虚拟内容从源参考帧扭曲或转换成输出参考帧中的扭曲虚拟内容。
第一种情况的基于头部姿势的解决方案在图5中示出。MR系统可以知道第一幅图中的头部姿势，然后外推头部姿势以估计头部在不同时间点的位置(如后续第2至8幅图所示)。不同的时间点可以对应于分别如第3至8幅图所示色域500、502、504、506、508、510将会显示在显示设备上的时间点。一旦外推出头部姿势，系统就可以使一个或多个色域(例如，红色、绿色、蓝色)偏移，以使它们的色域500到510在显示设备上排列(line up)。基于头部姿势的扭曲能够将色域500到510置于用户的视线上(例如，所有色域出现在用瞳孔的法线图示的用户的视线208上)，从而消除色分离。然而，图5的第9幅图示出了虽然基于头部姿势的扭曲提供了没有色分离的虚拟对象的图像512，但由于显示器被更新的速率，虚拟对象在显示设备上仍可能显得模糊。在本文讨论的示例性场景中，假设显示器以360Hz的频率更新。因此，图像可以每2.8毫秒进行改变，这将导致图像具有2.8毫秒的模糊值，即使颜色确实排列。如果显示器被配置为更新得更快，例如100,000Hz(例如，在micro-LED显示器、数字光处理(DLP)显示器、或铁电液晶显示器的情况下)，则生成的图像将只有0.01毫秒的模糊值，这将是难以察觉的。
图6图示了根据各种实施例的针对第一场景的基于眼睛跟踪的解决方案的一系列图(例如，第1至8幅图)。可以使用耦合到MR系统的高采样率、稳健、高精度的眼睛跟踪设备来跟踪用户的瞳孔的位置。眼睛跟踪设备可以确定将要在显示设备上显示色域的不同时间点的用户的瞳孔的位置。因此，基于眼睛跟踪的解决方案将色域“锁定”或“粘”到用户的瞳孔或视网膜，而不是让它们粘到现实世界(如在传统扭曲技术和/或系统中所做的那样)。然后，系统可以计算x和y像素中的眼速(例如，用户的瞳孔相对于用户佩戴的头戴式装置或显示设备的速度)，以相对于渲染帧使色域偏移。例如，如果用户的注视以每毫秒10个像素进行移动，并且色域之间的时间偏移为3毫秒，那么渲染的色域将各自偏移30个像素。结果，不是色域在显示器上排列在同一位置，而是使一个或多个色域在显示器上偏移，导致它们排列在用户视网膜上的同一位置。
例如，无需任何校正，所有六个色域都可以映射到显示设备上的一些示例性像素坐标(例如，10，20)。基于眼睛跟踪，系统可以考虑用户眼睛的两个后续位置。例如，用户的眼睛可能以每时间单位10个像素向左移动，其中一个时间单位是显示设备上显示不同色域的时间差。如果色域映射到像素坐标(10,20)，六个色域的质心应该被映射到(10,20)。因此，每个色域可能必须被偏移值位移，因此第一色域可以被映射到(35,20)，第二色域可以被映射到(25,20)，第三色域可以被映射到(15,20)，第四色域可以被映射到(5,20)，第五色域可以被映射到(-5,20)，以及第六色域可以被映射到(-15,20)。相应地，每个色域将以正确的间距精确地进行偏移(例如位移)以对应于眼速。色域的质心在(10,20)，而每个色域都偏移了基于眼速(或不同时间点的用户的瞳孔的位置)确定的偏移值。例如，红色色域偏移到(10,20)坐标的右侧，并最终落在与用户正在观看的位置一致(right in line)的位置。下一个色域(例如绿色色域、蓝色色域和重复图案)在显示器上被偏移，而不是与红色色域位于同一位置，从而导致色域排列在用户视网膜的同一位置上。
如图6的系列图所示，色域610全部出现在用户的视线上，示出了色域610排列在用户的视网膜上的相同位置。因此，消除了色分离。渲染图像帧612上的色域的偏移与空间光调制显示器一起运作得很好，因为整个渲染帧不是一次被显示，而是在六个不同时间被显示。实施例将色域610偏移偏移值(以像素进行测量)，该偏移值被计算为眼速(以每毫秒像素进行测量)与每个色域将在显示设备上被显示的时间(以毫秒进行测量)的乘积。
根据各种实施例，可以根据用户的瞳孔的第一位置、用户的瞳孔的第二位置、以及用户的瞳孔从第一位置到第二位置所经过的时间来计算眼速。眼速是相对于头戴式装置来计算的。可能希望尽可能晚地计算眼速以提高准确性。例如，眼速可以紧接在第一色域被偏移偏移值之前被计算，从而为系统留出足够的时间来使用眼速计算偏移值。
在一些实施例中，可以使用相同的眼速来计算所有六个色域的偏移值。然而在其他实施例中，可以针对第一色域计算第一眼速，并且可以针对第二色域计算第二眼速。在一些实施例中，可以计算不同的眼速以确定六个色域中的每一个的不同偏移值。对于以60Hz渲染的MR设备，可以以360Hz执行基于眼睛跟踪的偏移。
在一些实施例中，眼速可以是零。例如，用户可能不会改变他们的注视，而只是改变他们的聚焦(例如，从远处的对象看向更近的对象，其中两个对象都在同一视线上)。在这样的实施例中，渲染图像仍可能被扭曲或偏移，但是由于眼速将为零，因此偏移值将被计算为零(例如，未将偏移应用于渲染图像或色域)。
示例场景二
在第二示例性VR场景中，虚拟对象(例如，虚拟土地神(gnome))出现在用户面前的现实世界对象(例如，桌子)上。用户尝试通过左右摆动身体来环顾土地神，以便用户可以看到土地神后面的内容。在这种场景中，用户的头部在没有旋转的情况下进行平移。当用户的身体和头部左右移动时，用户的注视仍停留在土地神上。
图7图示了一系列图(例如，第1至9幅图)，图示了头部运动以及使用基于头部姿势的扭曲来使所渲染的图像偏移而在显示设备上渲染的色域700、702、704、706、708、710，其中仅使用头部的取向而不使用平移(例如，头部正在移动但不旋转)。随着头戴式装置200以及显示设备202相对于虚拟对象206从左到右移动，用户的视线208保持固定在虚拟对象206上。在第三幅图中，第一色域700是形成在显示设备202上的预定位置(例如像素)上。当用户继续移动他们的头部而不使他们的注视偏移时，第二(例如绿色)色域702、第三(例如蓝色)色域704、第四(例如红色)色域706、第五(例如绿色)色域708、以及第六(例如蓝色)色域710分别显示在显示设备上，如第4至8幅图所示。
MR系统可以知道第一幅图中的头部姿势，然后外推头部姿势以估计头部在不同时间点将在哪里(如第2至8幅图所示)。如第3至8幅图所示，不同的时间点可以对应于将在显示设备上显示色域700到710的时间点。一旦外推出头部姿势，系统就可以使一个或多个色域(例如，红色、绿色、蓝色)偏移，以使它们的色域在显示设备上排列。如这些图所示，色域形成在用户的视线之外。确切地说，色域形成在显示设备202的法线上，而不是用户的视线208。结果，色域被映射到显示设备上的相同位置，并且显示在显示设备202上的图像712表现出色分离。第9幅图示了用户感知的显示设备上的色域的最终渲染。如图所示，在显示的图像712上存在过多的模糊和色分离。如果系统尝试使用跟踪取向而不是平移的基于头部姿势的扭曲来校正伪影，那么校正将是不够的。该系统需要6个自由度的头部姿势(跟踪取向和平移两者)，以及对象深度平面(或聚散(vergence)深度)。
图8图示了说明根据各种实施例的对第二场景的基于眼睛跟踪的解决方案的一系列图(例如第1至8幅图)。可以使用耦合到MR系统的高采样率、稳健、高精度的眼睛跟踪设备来跟踪用户的瞳孔的位置。眼睛跟踪设备可以确定将要在显示设备上显示色域的不同时间点的用户的瞳孔的位置。因此，基于眼睛跟踪的解决方案将色域“锁定”或“粘”到用户的瞳孔或视网膜，而不是让它们粘到现实世界(如在传统扭曲技术和/或系统中所做的那样)。然后，系统可以计算x像素和y像素中的眼速(例如，用户的瞳孔相对于用户佩戴的头戴式装置或显示设备的速度)，以相对于渲染帧使色域偏移。结果，色域不是在显示器上排列在同一位置，而是在显示器上使一个或多个色域偏移，导致它们排列在用户视网膜上的同一位置。
如图8的系列图所示，色域810全部出现在用户的视线上，说明色域810排列在用户视网膜上的同一位置。因此，如图8的第8幅图所示，在渲染图像812上消除了色分离和模糊。
示例场景三
在第三示例性VR场景中，虚拟对象(例如，虚拟老鼠)出现在用户面前的现实世界对象(例如，咖啡杯)后面。例如，老鼠从咖啡杯后面探出头来。老鼠从咖啡杯跑到场景中的另一个对象处。用户用他们的注视跟随老鼠而不移动。在这种场景中，虚拟对象移动，但用户的头部是静止的。用户的注视停留在移动的虚拟对象上。
图9图示了说明虚拟对象的移动以及渲染在显示设备上的色域的一系列图(例如第1至9幅图)。随着虚拟对象206相对于头戴式装置200以及显示设备202从右到左移动，用户的视线208保持固定在虚拟对象206上。在第三幅图中，第一色域900形成在显示设备202上的预定位置(例如像素)上。当虚拟对象继续相对于头戴式装置移动而用户没有将他们的注视从虚拟对象上移开时，第二(例如绿色)色域902、第三(例如蓝色)色域904、第四(例如红色)色域906、第五(例如绿色)色域908、和第六(例如蓝色)色域910被显示在显示设备上，分别如图第4至8幅图所示。由于用户的头部没有移动，因此传统的基于头部姿势的扭曲将无法校正显示图像912上的模糊和色分离，如图9的第9幅图所示。也就是说，由于头部姿势相同，应用基于头部姿势的扭曲将导致每个色域的像素偏移为零。对此进行校正的传统方法是使用虚拟对象的运动向量以及头部姿势来执行扭曲。
图10示出了说明根据各种实施例的对第三场景的基于眼睛跟踪的解决方案的一系列图。可以使用耦合到MR系统的高采样率、稳健、高精度的眼睛跟踪设备来跟踪用户的瞳孔的位置。眼睛跟踪设备可以确定将要在显示设备上显示色域的不同时间点的用户的瞳孔的位置。因此，基于眼睛跟踪的解决方案将色域“锁定”或“粘”到用户的瞳孔或视网膜，而不是让它们粘到现实世界(如在传统扭曲技术和/或系统中所做的那样)。然后，系统可以计算x像素和y像素中的眼速(例如，用户的瞳孔相对于用户佩戴的头戴式装置或显示设备的速度)，以相对于渲染帧使色域偏移。结果，不是色域在显示器上排列在同一位置，而是使一个或多个色域在显示器上偏移，导致它们排列在用户的视网膜上的同一位置。
如图10的系列图所示，色域1010全部出现在用户的视线上，示出了色域1010排列在用户视网膜上的同一位置。因此，如图10的第8幅图所示，在渲染图像1012上消除了色分离和模糊。
示例场景四
第三场景举例说明了当虚拟对象处于运动中时渲染和图像显示如何变得复杂。基于头部姿势的扭曲不足以校正显示图像上的模糊和色分离。下一个场景说明，在某些情况下，基于头部姿势的扭曲不仅不足以校正伪影，而且还会使显示图像的质量变差。
在第四示例性VR场景中，虚拟对象(例如，虚拟鱼)在用户周围移动。用户转动他们的整个身体来跟随虚拟对象。头戴式装置和用户的瞳孔都相对于现实世界旋转，但相对于彼此是固定的。
图11示出了说明头戴式装置和瞳孔运动同时保持相对于彼此固定，以及渲染在显示设备上的色域的一系列图(第1至8幅图)。头部姿势扭曲未应用在图11所示的图中。随着头戴式装置200(包括显示设备202)以及用户的注视随着虚拟对象206逆时针移动，用户的视线208以及显示设备202的法线向量保持固定在虚拟对象206上。在第三幅图中，第一色域1100形成在显示设备202上的预定位置(例如像素)上。当用户继续移动他们的头部而不使他们的注视偏移时，第二(例如绿色)色域1102、第三(例如蓝色)色域1104、第四(例如红色)色域1106、第五(例如绿色)色域1108、和第六(例如蓝色)色域1110被显示在显示设备上，分别如第4至8幅图所示。由于用户正在用他们的眼睛和他们的头部跟随移动的对象，所以得到的图像1112是清晰的，没有任何模糊或色分离。
另一方面，对于为每个渲染图像帧应用基于头部姿势的扭曲的MR系统，示例性场景四导致低质量图像。即，基于头部姿势的扭曲通过插入模糊和/或色分离来降低显示图像的质量，如图12所示。
MR系统可以知道第一幅图中的头部姿势，然后外推头部姿势以估计头部在不同时间点将在哪里(如随后的图中所示)。如第3至8幅图所示，不同的时间点可以对应于将在显示设备上显示色域的时间点。一旦外推出头部姿势，系统就可以使一个或多个色域(例如，红色、绿色、蓝色)偏移，以使它们的色域在显示设备上排列。基于头部姿势的扭曲旨在将色域置于用户的视线上，但不考虑虚拟对象的移动。因此，基于头部姿势的扭曲试图将虚拟对象锁定到世界并且将模糊和色分离引入渲染图像1212，如图12的最后一幅图所示。事实上，基于头部姿势的扭曲引入的色分离比之前所示的伪影更糟糕，因为颜色甚至没有混合在一起。
图13图示了根据各种实施例的对第四场景的基于眼睛跟踪的解决方案。由于系统相对于头戴式装置计算眼速，因此当头戴式装置和瞳孔同时移动时，眼速为零。因此，基于眼速的偏移值为零。如图13的图所示，色域1310全部出现在用户的视线上，示出了色域1310排列在用户视网膜上的相同位置。因此，显示图像1312上的色分离和模糊均被消除。因此，即使默认应用基于眼睛跟踪的解决方案，结果也与图11中的相同。
示例场景五
在第五示例性VR场景中，虚拟对象(例如虚拟机器人)位于用户视场的中心。然而，用户并未注视虚拟对象。相反，用户可能正在比较两个其他虚拟对象或虚拟对象旁边的区域。例如，用户可能正在观看放置在虚拟对象右侧的区域216和放置在虚拟对象左侧的区域226。也就是说，用户可能在两个区域之间来回掠过(dart)，并穿过虚拟对象。这种眼球运动可以称为“扫视”。这个场景除了眼睛以更快的速度移动以外，类似于第三示例性VR场景。
图14示出了说明扫视眼睛运动以及使用基于头部姿势的对渲染图像的扭曲而在显示设备上渲染的色域的一系列图。由于头戴式装置200以及显示设备202保持静止，用户相对于区域216和226从左向右移动他们的眼睛，用户的视线208在两个区域之间移动。在第三幅图中，第一色域1400形成在显示设备202上的预定位置(例如像素)上。当用户继续移动他们的眼睛时，第二(例如绿色)色域1402、第三(例如蓝色)色域1404、第四(例如红色)色域1406、第五(例如绿色)色域1408、和第六(例如蓝色)色域1410被显示在显示设备上，分别如第4至8幅图所示。如图14的最后一幅图所示，所显示的图像1412表现出色分离。由于用户的头部没有移动，传统的基于头部姿势的扭曲将无法校正显示图像1412上的伪影(例如，头部姿势相同，因此基于头部姿势应用的扭曲将是零扭曲)。此外，基于运动向量的扭曲(可以改善场景三)可能不会在这里应用，因为没有真实对象，也没有用户眼睛正在跟随的虚拟对象。
图15图示了根据各种实施例的对第五场景的基于眼睛跟踪的解决方案。可以使用耦合到MR系统的高采样率、稳健、高精度的眼睛跟踪设备来跟踪用户的瞳孔的位置。眼睛跟踪设备可以确定将要在显示设备上显示色域的不同时间点的用户的瞳孔的位置。因此，基于眼睛跟踪的解决方案将色域“锁定”或“粘”到用户的瞳孔或视网膜，而不是让它们粘到现实世界(如在传统扭曲技术和/或系统中所做的那样)。然后，系统可以计算x像素和y像素中的眼速(例如，用户的瞳孔相对于用户佩戴的头戴式装置或显示设备的速度)，以相对于渲染帧使色域偏移。结果，色域不是在显示器上排列在同一位置，而是使一个或多个色域在显示器上偏移，导致它们排列在用户的视网膜上的同一位置。如图15所示，色域1510全部出现在用户的视线上，示出了色域1510排列在用户的视网膜上的相同位置。因此，在显示图像1512上消除了色分离。
图15的第9幅图中所示的显示图像1512可以包括可归因于色域期间的显示持久性的模糊。当用户四处扫视时，用户看到的不是不同的颜色，而是一些频闪。在一些实施例中，除了色域偏移之外，可以将人工模糊添加到渲染图像以校正频闪伪影。
在一些实施例中，基于眼睛跟踪的偏移可以适用于两个独立的单片眼镜显示器。每只眼睛的跟踪可用于扭曲相应的显示。在一些实施例中，一只眼睛的眼睛跟踪可以用于两只眼睛(例如，当设备失去一只眼睛的跟踪时)。
根据各种实施例，可以使用预测到6个色域的质心的头部姿势来渲染图像帧。可以执行单个后期帧时间扭曲来修复渲染。随后，可以将基于眼睛跟踪的偏移应用于扭曲的渲染图像，以使六个色域中的一个或多个偏移偏移值(可以是所有色域的偏移值相同，或者六个色域中的一个或多个色域的偏移值不同)。基于眼睛跟踪的色域偏移可以应用于MR设备的头戴式装置部分。
系统架构概述
图16是根据一些实施例的说明性计算系统1600(例如，MR设备)的框图。计算机系统1600包括总线1606或用于传递信息的其他通信机制，其互连子系统和设备，例如处理器1607、系统存储器1608(例如，RAM)、静态存储设备1609(例如，ROM)、磁盘驱动器1610(例如，磁性或光学)、通信接口1614(例如调制解调器或以太网卡)、显示器1611(例如CRT或LCD)、输入设备1612(例如键盘)、和光标控制。
根据一些实施例，计算机系统1600通过处理器1607执行包含在系统存储器1608中的一个或多个指令的一个或多个序列来执行特定操作。这样的指令可以从另一计算机可读/可用介质读入系统存储器1608，例如静态存储设备1609或磁盘驱动器1610。在替代实施例中，可以使用硬连线电路代替软件指令或与软件指令结合来实现本公开。因此，实施例不限于硬件电路和/或软件的任何特定组合。术语“逻辑”应指用于实现全部或部分公开的软件或硬件的任何组合。
本文使用的术语“非暂时性计算机可读介质”或“计算机可用介质”是指参与向处理器1607提供指令以供执行的任何介质。这种介质可以采取多种形式，包括但不限于非易失性介质和易失性介质。非易失性介质包括例如光盘或磁盘，例如磁盘驱动器1610。易失性介质包括动态存储器，例如系统存储器1608。
计算机可读介质的常见形式包括例如软盘、软磁盘、硬盘、磁带、任何其他磁性介质、CD-ROM、任何其他光学介质、穿孔卡片、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EPROM(例如NAND闪存、NOR闪存)、任何其他存储芯片或盒式磁带、或计算机可以读取的任何其他介质。
在一些实施例中，实施本公开的指令序列的执行由单个计算机系统1600执行。根据一些实施例，通过通信链路1615(例如，LAN、PTSN或无线网络)耦合的两个或更多个计算机系统1600可以相互协调地执行实践本公开所需的指令序列。
计算机系统1600可以通过通信链路1615和通信接口1614发送和接收消息、数据和指令，包括程序，即应用代码。接收到的程序代码可以在接收到时由处理器1607执行，和/或存储在磁盘驱动器1610、或其他非易失性存储器中以供以后执行。存储介质1631中的数据库1632可用于存储可由计算机系统1600通过数据接口1633访问的数据。
本公开包括可以使用主题设备执行的方法。该方法可以包括提供这种适当设备的动作。这种提供可以由用户执行。换言之，“提供”动作仅要求用户获得、访问、接近、定位、设置、激活、通电、或以其他方式动作以提供主题方法中的必要设备。在此列举的方法可以以逻辑上可能的所列举事件的任何顺序以及以所列举的事件顺序来执行。
本公开的示例性方面，连同关于材料选择和制造的细节已经在上面阐述。至于本公开的其他细节，这些可以结合以上引用的专利和出版物以及本领域技术人员通常已知或理解的来理解。对于本公开的基于方法的方面，就如通常或逻辑上采用的附加动作而言，这同样适用。
此外，虽然本公开已经参考可选地结合各种特征的几个示例进行了描述，但是本公开不限于关于本公开的每个变体所描述或指示的内容。在不背离本公开的真实精神和范围的情况下，可以对所描述的公开进行各种改变并且可以替换等同物(无论是在此列举的还是为了简洁起见未包括在内)。此外，在提供数值范围的情况下，应当理解，在该范围的上限和下限与该规定范围内的任何其他规定或中间值之间的每个中间值都包含在本公开内容内。
此外，预期所描述的本发明变体的任何可选特征可以独立地阐述和要求保护，或与本文描述的任何一个或多个特征组合。对单数项目的引用包括存在多个相同项目的可能性。更具体地，如本文和与本文相关的权利要求中使用的，单数形式“一”、“一个”、“所述”和“该”包括复数指示物，除非另有明确说明。换言之，文章的使用允许上述描述中的“至少一个”主题项目以及与本公开相关的权利要求。还应注意，可以起草此类权利要求以排除任何可选元素。因此，本声明旨在作为在引用权利要求要素或使用“否定”限制时使用“仅”、“只有”等排他性术语的先行基础。
在不使用此类排他性术语的情况下，与本公开相关的权利要求中的术语“包括”应允许包含任何额外的元素——无论在此类权利要求中是否列举了给定数量的元素，还是添加一个特征可以被认为是改变了这些权利要求中提出的元素的性质。除本文特别定义外，本文使用的所有技术和科学术语都应尽可能广泛地赋予普遍理解的含义，同时保持权利要求的有效性。
本公开的广度不限于所提供的示例和/或主题说明书，而是仅受限于与本公开相关联的权利要求语言的范围。
在前述说明书中，已经参考其特定实施例描述了本公开。然而，显然可以对其进行各种修改和改变而不背离本公开的更广泛的精神和范围。例如，上述过程流程是参考过程动作的特定顺序来描述的。然而，许多所描述的过程动作的顺序可以改变而不影响本公开的范围或操作。因此，说明书和附图被认为是说明性的而不是限制性的。

Claims (20)

1.一种用于基于观看者的瞳孔的位置变换图像帧的方法，所述方法包括：
由计算设备获得具有一组色域的第一图像帧，其中，所述第一图像帧对应于与所述观看者的所述瞳孔的第一位置相关联的第一视角；
由所述计算设备确定所述观看者的所述瞳孔的第二位置；
由所述计算设备基于所述第一图像帧来生成第二图像帧，所述第二图像帧对应于与所述观看者的所述瞳孔的所述第二位置相关联的第二视角，所述生成包括：
基于所述观看者的所述瞳孔的所述第二位置，将所述一组色域中的一个或多个色域偏移偏移值；以及
由所述计算设备将所述第二图像帧发送到近眼显示设备以在所述近眼显示设备上被显示，其中，所述第二图像帧的所有六个色域相对于所述观看者的所述瞳孔的所述第二位置被显示在同一点上。
2.根据权利要求1所述的方法，还包括：
由所述计算设备从眼睛跟踪设备接收与所述观看者的所述瞳孔的所述位置相关联的数据，其中，基于从所述眼睛跟踪设备接收到的数据确定所述瞳孔的所述第二位置。
3.根据权利要求1所述的方法，其中，所述第一视角还与所述观看者的第一头部位置相关联，所述方法还包括：
由所述计算设备估计所述观看者的第二头部位置；以及
由所述计算设备使用所述观看者的所述第二头部位置从所述第一图像帧生成中间扭曲图像帧，其中，使用所述中间扭曲图像帧生成所述第二图像帧。
4.根据权利要求1所述的方法，其中，所述近眼显示设备是空间光调制显示器。
5.根据权利要求1所述的方法，其中，相对于所述观看者的头部位置确定所述瞳孔的所述位置。
6.根据权利要求1所述的方法，其中，相对于所述近眼显示设备的像素确定所述瞳孔的所述位置。
7.根据权利要求1所述的方法，还包括：
根据所述瞳孔的所述第一位置、所述瞳孔的所述第二位置、以及所述观看者的所述瞳孔从所述第一位置到所述第二位置所经过的时间来计算眼速，其中，相对于所述近眼显示设备计算所述眼速；以及
由所述计算设备基于所述眼速来计算所述偏移值。
8.根据权利要求1所述的方法，其中，所述第一图像帧包括六个色域，并且其中，基于所述观看者的所述瞳孔的所述第一位置和所述第二位置来偏移所有六个色域。
9.根据权利要求8所述的方法，其中，每个色域以基于所述观看者的所述瞳孔的位置而确定的不同偏移值来被偏移。
10.根据权利要求1所述的方法，其中，所述第一图像帧的所述一组色域中的第一色域以第一偏移值来偏移，并且第二色域以第二偏移值来偏移，其中，基于所述观看者的所述瞳孔的所述第一位置和所述第二位置来确定所述第一偏移值和所述第二偏移值。
11.一种系统，包括：
一个或多个处理器，其被配置为执行以下指令：
获得具有一组色域的第一图像帧，其中，所述第一图像帧对应于与观看者的瞳孔的第一位置相关联的第一视角；
确定所述观看者的所述瞳孔的第二位置；
基于所述第一图像帧生成第二图像帧，所述第二图像帧对应于与所述观看者的所述瞳孔的所述第二位置相关联的第二视角，所述生成包括：
基于所述观看者的所述瞳孔的所述第二位置，将所述一组色域中的一个或多个色域偏移偏移值；以及
发送所述第二图像帧以用于显示；以及
显示设备，其被配置为：
显示所述第二图像帧，其中，所述第二图像帧的所有六个色域相对于所述观看者的所述瞳孔的所述第二位置被显示在同一点上。
12.根据权利要求11所述的系统，还包括：
眼睛跟踪设备，其被配置为：
跟踪所述观看者的所述瞳孔；以及
将与所述观看者的所述瞳孔的所述位置相关联的数据发送到所述一个或多个处理器，其中，基于从所述眼睛跟踪设备接收的数据来确定所述瞳孔的所述第二位置。
13.根据权利要求11所述的系统，其中，所述第一视角还与所述观看者的第一头部位置相关联，其中，所述一个或多个处理器还被配置为执行以下指令：
估计所述观看者的第二头部位置；以及
使用所述观看者的所述第二头部位置从所述第一图像帧生成中间扭曲图像帧，其中，使用所述中间扭曲图像帧生成所述第二图像帧。
14.根据权利要求11所述的系统，其中，所述显示设备是空间光调制显示器。
15.根据权利要求11所述的系统，其中，相对于所述观看者的头部位置确定所述瞳孔的所述位置。
16.根据权利要求11所述的系统，其中，相对于所述显示设备的像素确定所述瞳孔的所述位置。
17.根据权利要求11所述的系统，其中，所述一个或多个处理器还被配置为执行以下指令：
根据所述瞳孔的所述第一位置、所述瞳孔的所述第二位置、以及所述观看者的所述瞳孔从所述第一位置到所述第二位置所经过的时间来计算眼速，其中，相对于所述显示设备来计算所述眼速；以及
基于所述眼速来计算所述偏移值。
18.根据权利要求11所述的系统，其中，所述第一图像帧包括六个色域，并且其中，所有六个色域基于所述观看者的所述瞳孔的所述第一位置和所述第二位置而偏移；并且其中，每个色域以基于所述观看者的所述瞳孔的位置而确定的不同偏移值来偏移。
19.根据权利要求11所述的系统，其中，所述第一图像帧的所述一组色域中的第一色域以第一偏移值来偏移，并且第二色域以第二偏移值来偏移，其中，基于所述观看者的所述瞳孔的所述第一位置和所述第二位置来确定所述第一偏移值和所述第二偏移值。
20.一种在其上存储有指令序列的非暂时性计算机可读介质，所述指令序列在由一个或多个处理器执行时，使得所述处理器执行一种用于基于观看者的瞳孔的位置变换图像帧的方法，所述方法包括：
获得具有一组色域的第一图像帧，其中，所述第一图像帧对应于与所述观看者的所述瞳孔的第一位置相关联的第一视角；
确定所述观看者的所述瞳孔的第二位置；
基于所述第一图像帧生成第二图像帧，所述第二图像帧对应于与所述观看者的所述瞳孔的所述第二位置相关联的第二视角，所述生成包括：
基于所述观看者的所述瞳孔的所述第二位置，将所述一组色域中的一个或多个色域偏移偏移值；以及
将所述第二图像帧发送到近眼显示设备以在所述近眼显示设备上被显示，其中，所述第二图像帧的所有六个色域相对于所述观看者的所述瞳孔的所述第二位置被显示在同一点上。
CN202180036369.6A 2020-05-21 2021-05-20 使用眼睛跟踪对空间光调制显示器进行扭曲 Pending CN115668101A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063028418P 2020-05-21 2020-05-21
US63/028,418 2020-05-21
PCT/US2021/033504 WO2021236990A1 (en) 2020-05-21 2021-05-20 Warping for spatial light modulating displays using eye tracking

Publications (1)

Publication Number Publication Date
CN115668101A true CN115668101A (zh) 2023-01-31

Family

ID=78608245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180036369.6A Pending CN115668101A (zh) 2020-05-21 2021-05-20 使用眼睛跟踪对空间光调制显示器进行扭曲

Country Status (5)

Country Link
US (2) US11481870B2 (zh)
EP (1) EP4154513A4 (zh)
JP (1) JP2023528263A (zh)
CN (1) CN115668101A (zh)
WO (1) WO2021236990A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023528264A (ja) 2020-05-21 2023-07-04 マジック リープ， インコーポレイテッド 眼追跡を使用したレーザビーム走査ディスプレイのためのワーピング
CN115668101A (zh) 2020-05-21 2023-01-31 奇跃公司 使用眼睛跟踪对空间光调制显示器进行扭曲
CN115002444A (zh) * 2022-05-26 2022-09-02 京东方科技集团股份有限公司 显示模组及其显示方法、显示装置、虚拟显示设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5953311B2 (ja) * 2010-11-08 2016-07-20 シーリアル テクノロジーズ ソシエテ アノニムＳｅｅｒｅａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｓ．Ａ． 表示装置
US8970495B1 (en) * 2012-03-09 2015-03-03 Google Inc. Image stabilization for color-sequential displays
US8947783B2 (en) * 2013-01-02 2015-02-03 Google Inc. Optical combiner for near-eye display
US9523856B2 (en) 2014-01-21 2016-12-20 Osterhout Group, Inc. See-through computer display systems
CN109690553A (zh) 2016-06-29 2019-04-26 醒眸行有限公司 执行眼睛注视跟踪的系统和方法
KR20230149347A (ko) * 2017-03-17 2023-10-26 매직 립, 인코포레이티드 컬러 가상 콘텐츠 워핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data
EP3765943A4 (en) 2018-03-16 2021-12-22 Magic Leap, Inc. DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS
JP2023528264A (ja) 2020-05-21 2023-07-04 マジック リープ， インコーポレイテッド 眼追跡を使用したレーザビーム走査ディスプレイのためのワーピング
CN115668101A (zh) 2020-05-21 2023-01-31 奇跃公司 使用眼睛跟踪对空间光调制显示器进行扭曲

Also Published As

Publication number Publication date
US11694300B2 (en) 2023-07-04
JP2023528263A (ja) 2023-07-04
US20230005099A1 (en) 2023-01-05
US20210366077A1 (en) 2021-11-25
US11481870B2 (en) 2022-10-25
WO2021236990A1 (en) 2021-11-25
EP4154513A4 (en) 2023-10-18
EP4154513A1 (en) 2023-03-29

Similar Documents

Publication Publication Date Title
EP3368170B1 (en) Adjusting image frames based on tracking motion of eyes
CN115668101A (zh) 使用眼睛跟踪对空间光调制显示器进行扭曲
AU2021290369B2 (en) Mixed reality system with color virtual content warping and method of generating virtual content using same
EP3281406B1 (en) Retina location in late-stage re-projection
CN115668100B (zh) 使用眼睛跟踪对激光束扫描显示器进行扭曲
US11567568B2 (en) Display apparatuses and methods incorporating foveated rendering
US11501680B2 (en) Intra-field sub code timing in field sequential displays
US20200065941A1 (en) Computational blur for varifocal displays
US20220300120A1 (en) Information processing apparatus, and control method
Tong et al. Optical distortions in VR bias the perceived slant of moving surfaces
CN112805755B (zh) 信息处理装置、信息处理方法和记录介质
US11675430B1 (en) Display apparatus and method incorporating adaptive gaze locking
CN115137293A (zh) 用于确定参考注视数据的系统和方法
JPH11272728A (ja) 眼鏡レンズ画像生成方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination