CN113759556B - 使用瞳孔位置校正光学透镜畸变 - Google Patents

使用瞳孔位置校正光学透镜畸变 Download PDF

Info

Publication number
CN113759556B
CN113759556B CN202111103915.1A CN202111103915A CN113759556B CN 113759556 B CN113759556 B CN 113759556B CN 202111103915 A CN202111103915 A CN 202111103915A CN 113759556 B CN113759556 B CN 113759556B
Authority
CN
China
Prior art keywords
pupil
image
optical lens
optical
optical distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111103915.1A
Other languages
English (en)
Other versions
CN113759556A (zh
Inventor
亚西尔·马莱卡
丹·纽厄尔
戈登·韦恩·斯托尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valve Corp
Original Assignee
Valve Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valve Corp filed Critical Valve Corp
Priority to CN202111103915.1A priority Critical patent/CN113759556B/zh
Publication of CN113759556A publication Critical patent/CN113759556A/zh
Application granted granted Critical
Publication of CN113759556B publication Critical patent/CN113759556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本公开总体涉及使用与用户的实际或预测的瞳孔位置有关的信息来校正供用户观看一个或多个图像的光学透镜和显示组件所特有的光学畸变的技术。所描述的技术可包括识别和映射光学透镜和显示组件所特有的光学畸变，以及诸如至少部分地基于佩戴者或其他用户的瞳孔位置，使用这种映射的光学畸变来对显示给经由组件接收图像的佩戴者或其他用户的图像进行校正。作为一个示例，一个或多个光学透镜可安装在头戴式显示器(HMD)内，该头戴式显示器还包括用于佩戴者眼睛的显示面板或其他图像源，并且如果是这样的话，一个或多个瞳孔跟踪机构可集成到HMD中。

Description

使用瞳孔位置校正光学透镜畸变
技术领域
以下公开内容总体上涉及使用用户的瞳孔位置来校正来自用于观看诸如在头戴式显示器和/或在一个或多个用户通过一个或多个光学透镜接收图像的其他设备中使用的显示面板或其他图像源的一个或多个光学透镜的光学畸变的技术。
背景技术
随着智能电话、高清电视以及其他消费电子设备的发展，对性能提高的显示器的需求已经增加。虚拟现实系统和增强现实系统，特别是那些使用头戴式显示器(“HMD”)的系统的日益普及，进一步增加了这种需求。虚拟现实系统通常完全包围佩戴者的眼睛并将“虚拟”现实替换为佩戴者面前的物理现实，而增强现实系统通常在佩戴者眼前提供一个或多个屏幕的半透明或透明覆盖，使得附加信息增强了物理视图，并且介导的现实系统可以类似地向观看者呈现结合了现实世界元素与虚拟元素的信息。在许多虚拟现实系统和增强现实系统中，可以以各种方式跟踪这种头戴式显示器的佩戴者的运动，诸如经由头戴式显示器中和/或其外部的传感器，以使得所显示的图像能够反映用户的运动。
然而，这种在观察者的眼睛和显示器之间具有减少的距离并且通常具有完全模糊的视野的头戴式显示器通常对于光学透镜具有难以满足的复杂的性能要求，更不用说在节省成本的水平上实施，以及使用带有光学透镜的显示器的其他设备可具有类似的问题。此外，诸如由于包括精确的制造公差要求和现有批量生产能力的限制的挑战，这种头戴式显示器的制造可能是困难且昂贵的。因此，需要使用光学透镜的改进技术以及制造头戴式显示器和具有附加部件的一个或多个光学透镜的其它组件的改进技术，包括需要校正来自光学透镜的畸变并补偿这种组件中的缺陷。
附图说明
图1示出了根据本公开示例性实施方式的包括双目式显示面板的头戴式显示系统的俯视平面图。
图2A至图2G示出了根据所描述的技术在特定实施方式中以特定方式使用诸如用于头戴式显示器的光学透镜的示例。
图3示出了用于执行所描述的技术中的至少一些的示例性计算设备和系统。
图4示出了透镜畸变映射例程的示例性实施方式。
图5示出了瞳孔位置光学畸变校正例程的示例性实施方式。
具体实施方式
本公开总体涉及使用与用户的眼睛位置和/或运动有关的信息作为对由供用户观看一个或多个图像的一个或多个特定光学透镜所引起或以其他方式所特有的光学畸变的校正的一部分的技术。在至少一些实施方式中，瞳孔跟踪技术用于以这种方式确定使用一个或多个光学透镜的用户的瞳孔位置(例如，三维)和/或瞳孔运动。作为一个示例，在一些实施方式中，一个或多个光学透镜可安装在头戴式显示器(HMD)内，该头戴式显示器还包括用于佩戴者眼睛的显示面板或其他图像源，并且如果是这样，则瞳孔跟踪机构可集成到HMD中，而在其他实施方式中，所描述的技术可与其他类型的显示设备一起使用，如下面更详细地讨论的那样。如果HMD正在使用并且包括分别由一只眼睛使用的两个单独的光学透镜，则可分别跟踪每个瞳孔，以便能够实现供眼睛接收图像的光学透镜所特有的光学畸变校正—在至少一些实施方式中，光学透镜所特有的光学畸变校正也为头戴式显示器或包括光学透镜和一个或多个其他元件(例如，显示面板、用户眼睛视界之间的半镜像反射元件等)的其他组件所特有，诸如用于反映光学透镜和其他元件的物理布局和/或反映其他元件的操作，并且应理解，光学畸变校正的进一步讨论包括这些实施方式中的这类组件和其他元件。另外，在本文中，术语“透镜”的使用是指调整光的路径(包括反射、折射和其他技术)的任何光学元件，以及进入用户眼睛的光的路径可包括处于各种顺序和布置下的各种元件(例如，显示面板、透镜、用户眼睛视界之间的半镜像反射元件等)。
在至少一些实施方式中，所描述的技术包括诸如在光学透镜安装在HMD或能够显示将由一个或多个用户经由光学透镜观看的图像的其他组件/设备中之后识别和映射光学透镜所特有的光学畸变。这种光学畸变可以是各种类型的，如下面进一步所讨论的。另外，光学透镜的光学畸变的映射可包括将图像传感器定位在用户瞳孔的多个可能位置中的每个处，以及识别图像传感器内的、当显示设备内的一个或多个相应像素被激活时接收光的特定光敏位置—这种像素在一些情况下可提供特定颜色(例如，红色、绿色或蓝色)的光，并且有时被称为“子像素”，“子像素”可组合在一起成为聚合像素，当成分子像素全部被激活时，聚合像素提供白光。在生成针对特定瞳孔位置的这种像素到瞳孔位置映射信息(有时也称为“静态畸变网格”或“体积校准场”)之后，可以以各种方式将其存储在诸如一个或更多数据结构中，以供稍后用于调整要在该瞳孔位置处显示给人眼瞳孔的图像。用于识别和映射光学透镜所特有的光学畸变的这种技术还可在各种实施方式中在不同时间执行，包括在制造其中安装有或以其他方式附接(例如，通过由制造商操作的一个或多个计算系统)有光学透镜的设备时，和/或在佩戴者或其他用户(例如，通过作为设备的一部分或与设备通信的一个或多个硬件处理器，诸如一个或多个GPU，或图形处理单元，和/或一个或多个CPU，或中央处理单元)初次使用设备时。在其他实施方式中，可在不使用这类显示面板和/或图像传感器的情况下部分地或整体地执行这种映射信息的生成，诸如如上所述通过对光学透镜进行建模并模拟不同瞳孔位置处的光学效应。还在其他实施方式中，使用显示面板和图像传感器以上面讨论的方式生成初始映射信息中的一些或所有，但是建模和模拟可用于以一种或多种方式修改这种初始映射信息(例如，以用户特定的方式，诸如基于提供相应信息的指示或其他信息来解决用户眼睛和/或用户佩戴的眼镜或隐形眼镜所特有的畸变)。下面包括与用于识别和映射光学透镜所特有的光学畸变的这种技术相关的附加细节，并且如下面更详细地讨论的，这些技术可经由至少一些实施方式中的透镜畸变映射系统的自动操作来执行。
在至少一些实施方式中，所描述的技术包括诸如至少部分地基于经由光学透镜接收图像的佩戴者或其他用户的瞳孔位置，使用光学透镜所特有的映射光学畸变来对显示给佩戴者或其他用户的图像进行校正瞳孔位置。这种使用光学透镜所特有的映射光学畸变对经由光学透镜显示的图像进行校正的技术可包括确定在显示图像中使用的佩戴者或其他用户的瞳孔位置(例如，经由集成到包括光学透镜的设备中或者位于相关外部设备中的瞳孔跟踪能力)，诸如实际当前瞳孔位置和/或在将要显示图像的未来时刻(例如，在定义数量的未来毫秒)的瞳孔位置预测的未来瞳孔位置。然后可确定映射信息可用的预定义瞳孔位置中的一个或多个，诸如以选择一个或多个最近的预定义瞳孔位置(例如，围绕所确定的瞳孔位置的四个预定义瞳孔位置)，并且然后可使用用于所选预定义瞳孔位置的映射信息来调整待显示的图像，诸如以改变显示设备上的哪些像素被照亮，使得所确定的瞳孔位置内的位置接收与调整前的图像相对应的光，从而校正光学透镜的光学畸变。这种使用光学透镜所特有的映射光学畸变来校正经由光学透镜显示的图像的技术可以为使用这种光学透镜的各种类型的装置执行，诸如HMD、相机、望远镜、双筒望远镜等，无论是通过集成在这种设备中还是位于有助于这些设备的显示能力的一个或多个外部计算系统中的的一个或多个处理器来执行。下面包括与使用光学透镜所特有的映射光学畸变来校正经由光学透镜显示的图像的技术相关的附加细节，并且如下面更详细讨论的，在至少一些实施方式中，这些技术可经由瞳孔位置光学畸变校正系统的自动操作来执行。
出于说明的目的，下面描述了一些实施方式，其中，出于说明的目的而包括了各种具体细节，以及在一些情况下，为了简洁起见，简化了一些实施方式，以便不示出公知的部件。例如，在下面讨论的一些实施方式中，特定类型的显示面板以特定方式与特定类型的光学透镜一起使用(例如，作为用于虚拟现实和/或增强现实的头戴式显示器的一部分)，包括以诸如至少部分地基于以特定方式跟踪用户的瞳孔位置和瞳孔运动，使用特定类型的技术作为控制显示面板的显示操作的一部分以减少或消除来自透镜的光学畸变瞳孔位置。然而，应当理解，本发明的技术可用于各种其他情况，包括其他类型的显示设备和/或用户的瞳孔位置或其他凝视方向的其他类型的确定，下文中讨论了这些中的一些。
图1是HMD系统100的简化俯视平面图，该系统包括一对近眼显示系统102和104。近眼显示系统102和104分别包括显示器106和108(例如，OLED微显示器)、以及各自的光学透镜系统110和112，光学透镜系统110和112各自包括一个或多个光学透镜。显示系统102和104可安装到框架114，框架114包括前部116、左镜腿118和右镜腿120。两个显示系统102和104可以以可佩戴在佩戴者用户124的头部122上的眼镜的方式固定至框架114。左镜腿118和右镜腿120可分别搁置在使用者的耳朵126和128上，而鼻组件(未示出)可搁置在使用者的鼻子130上。框架114可确定形状和尺寸以将两个光学系统110和112中的每个分别定位在用户的眼睛132和134之一的前面。尽管为了说明的目的而将框架114以类似于眼镜的简化方式示出，但是应当理解，实际上可使用更复杂的结构(例如，护目镜、集成头带、头盔、带子等)来将显示系统102和104支撑和定位在用户124的头部122上。
图1的HMD系统100能够向用户124呈现虚拟现实显示，诸如经由以诸如每秒30帧(或图像)或每秒90帧的显示速率呈现的对应视频，同时类似系统的其他实施方式可向用户124呈现增强现实显示。显示器106和108中的每个都可产生光，该光分别通过相应的光学系统110和112传输并聚焦到用户124的眼睛132和134上。虽然这里未示出，但是每只眼睛通常将包括瞳孔，光线穿过瞳孔进入眼睛，典型的瞳孔尺寸直径为在非常明亮的条件下的2mm(毫米)至多达黑暗条件下的8mm的范围内，而包含瞳孔的较大虹膜可具有大约12毫米的尺寸—瞳孔(和包围虹膜)通常可在眼睛的开放眼睑下的可见部分内在水平和/或竖直方向上移动几毫米，当眼球围绕其中心旋转时，这也将瞳孔从光学透镜或显示器的其他物理元件移动到不同的深度，以获得不同的水平和竖直位置(产生瞳孔可移动的三维体积)。进入用户瞳孔的光被用户124看作图像和/或视频。在一些实施例中，光学系统110和112中的每个与用户的眼睛132和134之间的距离可相对较短(例如，小于30mm、小于20mm)，这有利地使HMD系统100对用户来说显得更轻，因为光学系统和显示系统的重量相对靠近用户的脸部，并且还可以为用户提供更大的视野。虽然这里未示出，但是这种HMD的一些实施方式可包括各种附加的内部和/或外部传感器，诸如，用于分别针对每只眼睛132和134执行瞳孔跟踪，用于跟踪头部位置和定向(例如，作为头部跟踪的一部分)，用于跟踪用户身体的各种其他类型的运动和位置，用于记录外部图像(例如，环境)的相机等。
虽然所描述的技术在一些实施方式中可与图1中所示的显示系统类似的显示系统一起使用，但是在其他实施方式中，也可使用其他类型的显示系统，包括具有单个光学透镜和显示设备或者多个这种光学透镜和显示设备的显示系统。其他这类设备的非排他性示例包括相机、望远镜、显微镜、双筒望远镜、观察望远镜、测量望远镜等。此外，所描述的技术可与各种显示面板或发光以形成一个或多个用户通过一个或多个光学透镜观看的图像的其他显示设备一起使用。可与所描述技术的一些实施方式一起使用的显示面板的一个非限制性示例在2016年3月2日提交的题为“Display With Stacked Emission And ControlLogic Layers(具有堆叠的发光和控制逻辑层的显示器)”的第15/059171号美国申请中进行了进一步详细讨论，该申请以其整体并入本文。在其他实施方式中，用户可通过一个或多个光学透镜观看一个或多个图像，该图像以不同于经由显示面板的方式产生，例如产生在部分或整体地反射来自另一光源的光的表面上。
如上所述，各种类型的光学畸变可由不同类型的透镜和不同类型的光学效应引起，并且可经由使用所描述的技术来校正。例如，图2A至图2G示出了根据所描述的技术在特定实施方式中以特定方式使用诸如用于头戴式显示器的光学透镜的示例。关于图2A，示出了人类用户的眼睛205，该眼睛205具有包括瞳孔215的虹膜部分210。此外，图2A包括示例性显示面板230(从侧视图示出)，其中光学透镜220(也从侧面示出)位于眼睛205与显示面板230之间。由于显示面板230示出了来自显示面板230的像素(未示出)的各种光线225，因此光向外传播并进入透镜220中。在理想情况下，透镜220使来自显示面板230的不同部分的光线225弯曲，使得从光学透镜220出射的各个光线在相应的位置进入瞳孔215，从而将显示面板230上所显示的图像形成在眼睛的瞳孔和内部。关于进入光学透镜220的中心轴217的光(相对于水平轴和竖直轴两者，尽管在该侧视图中仅可看到竖直轴)，并且如果瞳孔215与该中心轴近似对准，则透镜220可对从显示面板230出射的光线进行很少的弯曲或不进行弯曲。应理解，光学透镜220和显示面板230从侧面示出，以及光线可从显示面板发出，不仅以如图所示的竖直方式而且以在该示例中未示出的水平方式(或相对于该侧视图的深度)发出。此外，虽然为了该示例的目的而将光线225示出为完全以直线方式离开显示面板230，但是应理解，即使由每像素透镜(未示出)聚焦，但是显示面板的一些或所有像素在多个方向上发光(或者也可具有与显示面板的表面完全正交的至少一些变型)。
图2B示出了可显示在显示面板230上的信息的另一示例，其在所示示例中是分别具有直的水平线232和竖直线233的测试图像。示出了对应于中心轴217的点231a、以及对应于偏离中心轴的其他点的其他示例点232a和233a。除了针对显示面板230示出的图像之外，还示出了两个可选的其他所得图像235b和235c，这两个图像示出了可由穿过一个或多个光学透镜的光在观察者的瞳孔上引起的两种类型的可能的光学畸变。关于所得图像235b，它示出了被称为枕形畸变的光学畸变现象的示例，在枕形畸变中，图像放大随着距中心光轴217的距离而增大，从而引起线向内弯曲的可见效果，距中心轴越远越明显。相反，视觉表示235c示出了被称为桶形畸变的不同类型的光学畸变，在桶形畸变中，图像放大随着距中心光轴的距离而减小，使得当线越远离中心光轴时线越来越向外弯曲。应理解，这种光学畸变效应可发生在光学透镜中，即使它不包括该透镜所特有的误差或其他畸变，诸如基于透镜相对于图像被聚焦的距离的曲率量。另外，在一些情况下，特定透镜可包括枕形畸变和桶形畸变的组合，有时也称为胡子畸变，在胡子畸变中，其始于中心光轴附近的桶形畸变并朝着图像周边逐渐变成枕形畸变。
图2C示出了被称为色差的另一类型的光学畸变现象的示例，其部分地由不同颜色光线在穿过弯曲光学透镜时的不同程度的折射引起。特别地，应理解，诸如图2A至图2C中所示的显示面板230可包括不同颜色的像素，诸如红色、绿色和蓝色像素以各种组合在RGB显示器中的共同使用。在一组红色、绿色和蓝色像素沿着中心光轴217定位的情况下，从它们发出的光(诸如在该示例中针对红色、绿色和蓝色像素分别被示为226r、226g和226b)可沿着该中心轴穿过光学透镜，而存在很少或不存在不同光线的弯曲，如分别在所产生的光线236r、236g和236b中所反映的。这种光线平行的光有时被称为准直光。相反，当光线穿过光学透镜220时，光线距中心光轴越远，以及光学透镜在这些位置处的曲率度越大，不同光线之间的折射量变化就越大。因此，对于在从中心光轴到显示面板230的顶部的距离的大约三分之一的区域处从相应的红色、绿色和蓝色像素发出的示例性光线227r、227g和227b，所产生的光线237r、237g和237b随着它们离开光学透镜220并接近眼睛205而逐渐分离。类似地，对于在显示面板230的顶部附近发出的光线228r、228g和228b，从光学透镜220发出的相应的光线238r、238g 238b具有甚至更大的发散，导致在该示例中使得这三个光线238中的两个甚至不被瞳孔215接收。应理解，即使光学透镜不包括透镜所特有的任何误差或畸变，诸如基于曲率度和不同颜色的光的相应特性，也可能发生这种色差效应。另外，图2C还示出了可选的瞳孔位置215'，如图所示，当瞳孔在眼框内移动时，来自单个像素的光(例如，光线237g)将以不同的角度进入瞳孔。此外，这种效果可能在视野范围内变化，使得所显示的某些物体或其他元件在瞳孔移动时看起来偏移、拉伸和/或压缩，因此看起来摇摆不定或“眩晕”并且如果不校正则会导致晕动病。此外，虽然图2B和图2C提供了一些类型的光学畸变现象的示例，但是在特定情况下可能出现各种其他类型的光学畸变，以及由制造缺陷、未对准(例如，光学透镜与相关联的显示面板之间)等所引起的问题，并且这些中的一些或全部可通过本文描述的发明技术进行全部或部分地校正。
图2D继续说明关于图2A至图2C的示例，并且示出了示例性光学透镜220(出于说明的目的而示出为没有宽度的单线)如何使由显示面板230发出的图像发生畸变的具体示例，在该示例中，再次示出了分别具有直的水平线232和竖直线233的相同示例性测试图案，如先前在图2B中所示。在该示例中，示出了在开放眼睑(未示出)下可见的眼睛的部分240，其具有示例性虹膜245和瞳孔250。在理想情况下，来自显示面板230的图像的视觉表示将经由透镜220投射到瞳孔上，包括使显示面板230的水平线232和竖直线233以相同的方式在瞳孔250内的相同相对位置中示出，如图所示。
然而，由于特定透镜220所特有的误差，以及如前面和本文其他地方所讨论的其他光学畸变效应(例如，不完美的对准和其他制造缺陷)，显示面板上的被投射到瞳孔的各个部分的实际位置可能不会以所示的方式完美地对准。例如，在该示例中，显示面板230的中心点231a可对应于具有多个子像素(例如，每个子像素发出红色、绿色和蓝色的光中的一个)的聚合或组合像素。然而，即使瞳孔沿中心轴217导向并且直视中心点231a(使得瞳孔的中心与中心轴对准)，光学透镜220中的畸变仍可至少导致光的轻微偏移，使得出现在瞳孔内的中心点231d中的光实际上对应于在实际中心点231a右侧的组合像素241并且是从组合像素241发出的。在该示例中，组合像素241仅在水平方向上偏离中心位置231a，但是应理解，这种偏移可在水平和/或竖直方向上发生。以类似的方式，显示面板的右上方的显示点232a可偏离显示面板中的实际像素，其中该实际像素的光到达瞳孔内的对应点232d，诸如在该示例中，以具有在水平和竖直方向上都偏离实际点232a的组合像素242。类似地，关于显示面板的左上部分中的点233a，在该示例中，透镜220的光学畸变可使得不同位置处的不同子像素对应于瞳孔中的视觉表示中的单个点233d，诸如在一个位置具有红色子像素243r，在不同位置具有蓝色子像素243b，并在第三位置具有绿色子像素243g，这三个不同的子像素实际上相对于瞳孔内的视觉表示中的实际点233d充当聚合式组合像素243。应理解，虽然在该示例中示出了对应于视点231a、232a和233a中的每个的单个红色、绿色和蓝色子像素，但是在特定情况下各种位置中的像素的各种组合可一起提供会聚在瞳孔内的视觉表示中的特定点上的光线。另外，虽然光学透镜实际上可使穿过瞳孔到达视网膜的视觉表示相对于显示在显示面板230上的图像相对于水平和/或竖直轴翻转，但是在这些示例中，为了简单起见，示出了没有这些改变的瞳孔的视觉表示。
为了解决特定光学透镜220所特有的光学畸变，所描述的技术包括在至少一些实施方式中执行操作，以通过光学透镜220将显示面板230的各种像素相对于它们的实际效果映射到位于真实人眼瞳孔将从这类显示面板接收光的位置处的代表性瞳孔上。具体地，在该示例中，显示面板包括大量的像素行252和列253，在该示例中，每个这类组合像素包括红色、绿色和蓝色子像素。因此，例如，关于示例性像素254，它包括子像素254b(蓝色子像素)、254g(绿色子像素)和254r(红色子像素)。在一些这类实施方式中，映射操作包括选择一个或多个子像素的组合并连续地照射每个这样的组，并确定瞳孔250内的从该一个或多个像素的组接收光的一个或多个相应位置。例如，图像传感器(未示出)可替代地放置在瞳孔将另外沿着中心轴217定位的位置处，并且可在接收来自该组像素的入射光线时确定图像传感器内的特定光敏位置(例如，来自图像传感器内的这种光敏位置阵列中的位置)。通过逐渐移动显示面板中的一些或所有像素，诸如在一些这类实施方式中通过分别照射(或激活)每个单独的子像素或组合像素，可针对被照射的像素和中心轴瞳孔位置确定瞳孔的视觉表示内相应的位置点(如由图像传感器表示)。然后可使用所得到的信息针对该中心轴瞳孔位置和该光学透镜将特定像素映射到瞳孔内的特定位置，诸如，提供上面关于像素241、242和243的实际效果以及关于显示面板内的相应位置231a、232a和233a所讨论的信息。
在为显示面板和将与其一起使用的特定光学透镜创建这类像素到瞳孔位置映射之后，所得到的映射信息可用于调整实际显示在显示面板上的图像，以便控制如何在瞳孔250上产生视觉表示。例如，如果图像在显示面板的位置233a处具有白色像素，则被激活以使相应图像出现在瞳孔250的位置233d处的实际像素可能需要变为如所讨论的聚合式组合像素243，因此，自动处理例程可改变显示面板缓冲器(或图像本身)的信息，使得可关闭位置233a处的实际的一个或多个像素，同时可照亮所示的用于聚合式组合像素243的子像素，以使得白点显示在瞳孔内的视觉表示的位置233d处。应理解，可对显示面板上的每个像素进行这类确定，以便确定要照亮的零个或多个可选实际像素，以使原始像素显示在瞳孔内的视觉表示中的正确位置处。以这种方式，即使在显示面板230上照亮的实际像素在没有光学透镜的情况下不显示这种表示时，正在使用该光学透镜220和显示面板230的人类用户也可在瞳孔中的视觉表示上接收所显示的直的水平线232和竖直线233的视觉表示。
应理解，如果可生成指定类型的多个光学透镜，使得它们基本相同并且没有任何透镜特有的误差或其他畸变，则一个或多个瞳孔位置到特定显示面板像素的这种预定义映射可仅针对该种类型的透镜执行一次，如果可相对于眼睛位置和显示面板位置以足够的精度指定不同的这种光学透镜的相对位置的话。
图2E继续讨论图2A至图2D讨论的示例，并且具体地将关于图2D讨论的技术扩展到瞳孔在眼睛的视觉部分240内远离透镜的中心光轴移动的情况。具体地，在该示例中，常规用户的瞳孔可位于被示为255、并且有时被称为“瞳孔框”(尽管区域255可具有除矩形之外的形状，如图所示)的区域内。如果瞳孔远离中心光轴移动并且未调整显示在显示面板230上的所得图像，则可能发生各种光学畸变的变化，包括先前讨论的那些，以及在瞳孔位置移动伴随着用户(例如，用户的头部)的其他物理运动且所得图像不能足够快地适应瞳孔移动和其他用户运动的情况下可能发生的额外光学畸变。
在该示例中，未示出虹膜，再次示出了在眼部240的中心(对应于中心轴217)的图2D的示例性瞳孔250，但是还示出了可选的瞳孔位置250a和250b。例如，如果用户将其瞳孔横向向左移动(这里，从观察用户眼睛的观察者的角度，被示出为向右移动)，则位置250a处的瞳孔现在将对应于光学透镜220中的位置218，位置218在水平方向上明显偏离透镜的中心轴217(图2B中未示出)。因此，如果再次照亮图2D的示例性像素241、242和聚合像素243以对应于视点231a、232a和233a，则由透镜220在位置218处引起的光学畸变将在位置250a的瞳孔中产生所得图像，该所得图像与处于中心轴位置的瞳孔250的图像明显不同。如本文其他地方更详细讨论的，可以以各种方式执行瞳孔跟踪。作为一个示例，如果透镜220和显示面板230是头戴式显示器的一部分，诸如对于佩戴HMD的用户的双眼之一，HMD可包括内部相机或其他传感器以对每只眼睛执行瞳孔位置跟踪。
相反，作为如何处理这种瞳孔运动的一个示例，所描述的技术可在一些实施方式中以与瞳孔位置相对于其中心轴线位置250的运动相对应的方式改变在显示面板中显示的实际像素。关于位置250a处的瞳孔的示例，在该所示示例中，所描述的技术可包括执行在显示面板中实际照亮的像素的横向水平平移，以便提供(如果可能的话)来自显示面板的图像的横向平移，使得现在将在具有平移像素的瞳孔位置250a处显示与将出现在图2D中的中心轴位置处的图像相同的图像，如关于横向平移箭头262a、263a和261a所示，横向平移箭头262a、263a和261a对应于显示面板上的视图位置233a、232a和231a以及瞳孔中的对应位置231d、232d和233d(未示出)。因此，所描述的技术可执行计算以确定要显示的新像素，从而示出用于新瞳孔位置250a的那些点233a、232a和231a，诸如在该示例中，以执行用于新位置的子像素中的每个的横向平移。例如，关于先前用于显示视图位置231a处的点的像素241，可使用限定量的横向平移来选择新像素271，替代地，将显示新像素271以使视图位置231a处的点出现在瞳孔位置250a处的瞳孔的中心，以及新像素272可类似地用于表示先前像素242以照亮新瞳孔位置250a处的视点232a。应理解，不同的位置可具有不同的水平平移量，诸如在该示例中，以使像素242在显示器的右边缘附近仅作少量平移，而靠近显示器中心的像素241平移更大的量，并且图像显示器的左边缘附近的组合式聚合像素243平移甚至更大的量，其中用于聚合像素以替换像素243的新像素由子像素273g、273b和273r示出。另外，应理解，即使瞳孔仅沿着水平轴以横向方式移动，如从位置250到250a所示，在显示面板中使用的像素的所产生的平移可以以除如本例所示的纯粹水平之外的方式发生。
此外，可选瞳孔位置250b表示不同示例，其中瞳孔位置移动较小的量，但同时在水平和竖直方向上移动到光学透镜中的轴线219，诸如通过对应于移动到新瞳孔位置250b的中央点231a的示例性平移261b所反映的。虽然在该示例中没有为瞳孔位置250b示出显示面板中的对应像素，但可理解的是，可执行类似的平移以选择新的像素以用于在新的瞳孔位置250b提供相同的视觉表示，诸如通过基于像素相对于可能的运动总量的运动量对每个像素的新位置进行内插和/或外插(例如，如果瞳孔位置250a对应于瞳孔位置区域255的向左侧的可能运动的75％，则显示面板中的每个像素可在该水平方向上从该像素向显示面板的边缘移动75％的可能量)。此外，虽然仅使用单个像素来继续表示在显示面板中的相应点，但将理解的是，在一些实施方式和情形中，可使用一个或多个位置的多个像素来表示显示面板中的单个视点，取决于瞳孔位置和特定透镜220在使用中所特有的光学畸变(例如，结合其与特定显示器230的组装对准)。
图2F继续讨论图2A至图2E的示例，并且示出了所描述的技术的进一步使用，以管理用户的瞳孔位置被映射以及然后用于与光学透镜的中心轴不同的位置的情况。具体地，在图2F的示例中，再次示出了相同的光学透镜220，以及眼部240和瞳孔可在其中移动的瞳孔框移动区域255。如以下关于图2D更详细地讨论，在一些实施方式中，所描述的技术包括：当瞳孔沿光学透镜220的中心光轴定位时，通过光学透镜220产生从显示面板的像素位置到瞳孔内的对应点的映射。图2F示出了该技术的针对三维瞳孔框移动区域255内的多个限定位置270中的每个执行显示面板像素位置到瞳孔位置内的相应视觉表示点的这类相应映射的扩展。具体地，在本示例中，网格270示出多个单独的位置，每个位置都代表该位置的瞳孔的中心，诸如位置270c对应于瞳孔位置250c和光轴位置216。对于网格270中的每个这类位置，进行显示面板像素位置到位于该网格位置270中心的瞳孔内的对应位置的映射，诸如通过针对每个这类对应的三维瞳孔位置在三维空间中移动图像传感器，以及解决包括光学透镜的头戴式显示器或其他组件的具体结构。应理解，在其他实施方式中，瞳孔框移动区域内的多个位置可以以不同于网格的方式布置，并且在一些实施方式中，可同时评估和映射多个瞳孔位置，诸如，通过具有同时对应于不同瞳孔位置的不同图像传感器，每个图像传感器以给定来自显示面板像素的输出以关于图2D所讨论的方式为它们各自的瞳孔位置创建单独的映射。
在针对该特定光学透镜220并针对瞳孔位置270中的每个进行这类像素到瞳孔位置映射之后，稍后可在使用具有相同光学透镜220和显示面板的设备期间跟踪用户的瞳孔位置，以便确定如何改变正在显示面板230上显示的图像以对应于用户眼睛所在的特定瞳孔位置。如其他地方所述，在不同的实施方式中，可使用各种可能的瞳孔跟踪和眼睛跟踪技术。例如，如果在这类使用期间确定用户的瞳孔位置在位置250c处，则以定义的瞳孔位置270c为中心，可使用先前生成的针对该定义的瞳孔位置的映射来确定如何改变正在显示面板上显示的图像。在该示例中，为了在显示面板上生成直的水平线和竖直线的测试图像，可以为显示面板上的每个点选择一个或多个像素的特定组，以便在瞳孔居中于所定义的瞳孔位置270c处的情况下在瞳孔的视觉表示内的正确的位置生成图像。此外，为显示器上的每个点选择特定的像素组，使得任何单个点(例如，这些线之一上的任何点)保持与瞳孔的稳定角度关系，而不管眼睛在眼眶内的位置如何，使得基于光与眼睛的虚拟距离，光在其进入瞳孔时的角度对于视线中的任何特定点来说都是正确的(例如，如果某些东西很远，则视差最小，因此角距离不会显着地改变，而在至少一些实施方式中，所描述的技术用于调整由于眼睛在眼眶中的运动而导致的对于更近物体的视差，在其他实施方式中，相同的技术用于校正除视差之外的问题，如文中其他地方所讨论的)。另外，在至少一些实施方式中，针对不同颜色(例如，针对红色、绿色和蓝色中的每个)进行不同的映射和/或调整，诸如，执行颜色和波长特定的校正。例如，关于显示面板230的中心的点231a，可确定像素281以在该位置提供相应的显示。以类似的方式，可确定组合式聚合像素282，以提供点232a在其在瞳孔中的相应位置处的视觉表示，在该示例中，组合式聚合像素282包括位于显示面板内的不同位置处的不同子像素282b、282g和282r。类似地，在该示例中，确定聚合像素283以在瞳孔中为显示点233a提供相应的视觉表示。应理解，虽然瞳孔位置水平地和竖直地向上和向右(从观察者的角度，在图像中示出为向左)移动，但是显示面板中的相应像素的平移可以以不同方式变化，诸如基于该特定光学透镜220中的特定光学畸变(包括缺陷)，使得组合式聚合像素283通常位于实际点233a的左侧，而新像素281通常位于其实际点231a的右侧，以及组合式聚合像素282通常位于其对应的视图位置232a下方。更一般地，在确定分配给显示器上的任何单个物理像素的值时，一旦确定了适当的映射，就可在用于该像素的源图像中使用采样以包括来自一个或多个相邻像素的适当量。此外，虽然上面讨论了针对不同三维瞳孔位置的映射信息的生成和使用，但是在一些实施方式中，可进一步针对其他类型的畸变执行这种校准，诸如来自动态调整透镜(例如，Alvarez透镜或电子可调透镜)的畸变，所述透镜可在不同的设置下在眼眶体积上具有不同的畸变特性。
如前所述，在一些实施方式中，所描述的技术不仅可包括执行三维瞳孔位置确定，还可包括执行活动以使用关于瞳孔的一个或多个位置的信息来预测瞳孔的未来位置，诸如通过使用两个或更多个先前瞳孔位置并且内插或外推可能的未来位置(如果运动以类似的方式继续的话)。例如，如果正在确定如何在当前时间来调整显示面板230，但实际显示将不会在未来某个时间段(例如，指定毫秒数或秒数)发生，可执行这类技术以预测在该指定的未来时间的瞳孔位置，并将该预测的未来瞳孔位置用于调整显示面板的图像，使得实际在该未来时间显示的图像对应于实际的未来瞳孔位置(如果预测是正确的话)。在一些实施方式和情况下，这种瞳孔位置预测包括基于最近移动的简单线性平移，而其它实施方式可使用更详细的技术，诸如使用关于特定用户和/或关于特定的一系列被显示图像的信息预测该特定用户的眼睛位置可在下一时间段内以特定方式改变直到指定的未来时间，和/或预测任何给定用户的眼睛位置将基于正在显示的特定图像以特定方式移动。此外，在一些实施方式中，可在显示和调整与多个时间下的实际和/或预测的瞳孔位置有关的图像时获取和使用信息，包括以各种方式组合该信息(例如，取多个位置的平均值)，如本文其他地方所讨论的。在一些实施方式中可用于这种瞳孔位置预测的技术的示例在2016年9月7日提交的题为“Sensor Fusion Systems And Methods For Eye-Tracking Applications(用于眼部跟踪应用的传感器融合系统和方法)”的第15/258551号美国专利申请中进行了描述，该申请通过引用整体并入本文。
图2G继续讨论图2A至图2F的示例，并且具体地示出了针对特定光学透镜220可执行显示面板像素到特定瞳孔位置的预定义映射的其他方式。
在图2G的所示示例中，示出了针对眼睛位置240的视觉表示中的中心轴位置270d，以及关于图2F所讨论的位置270c。如前所述，如果瞳孔位置(无论是实际的还是预测的)对应于诸如270c的特定位置，则该特定视图瞳孔位置270c的预定映射可用于确定对显示面板上的图像进行的调整，以便在该瞳孔位置处的虹膜上产生所需的视觉表示。
相反，如果确定或预测诸如270e的瞳孔的位置且该位置位于多个预定义瞳孔位置270f至270i之间但是不完全对应于单个瞳孔位置，则可使用各种附加技术来使显示面板的相应图像适应该中间瞳孔位置270e。例如，在一些实施方式和情况中，可选择瞳孔位置270中最近的那个并用来调整图像，诸如在该示例中使用瞳孔位置270f的映射以对应于270e的实际或预测瞳孔位置。在其他实施方式中，可选择瞳孔位置270f至270i中的两个或更多个并一起使用以表示270e的实际或预测瞳孔位置。例如，可将四个预定义位置270f至270i中的每个的映射的信息组合在一起并聚合(例如，平均)，以创建与这四个预定义位置内的位置相对应的新映射，诸如通过基于周围的预定义位置与实际或预测瞳孔位置270e的距离对来自周围预定义位置的映射信息进行加权，或替代的通过将它们全部均等地组合而不加权。此外，当在三维中跟踪预定义的瞳孔位置270时，可类似地在三维中测量靠近实际或预测瞳孔位置的一个或多个瞳孔位置，包括在一些实施方式和情况中选择部分地或完全地围绕实际或预测的瞳孔位置的多个预定义的瞳孔位置。因此，在一些实施方式中，可使用用于从一个或多个这类预定义的瞳孔位置内插或外推以表示包括三维的实际或预测瞳孔位置的各种技术。
因此，以这种方式，可跟踪并且可选地预测特定用户的瞳孔位置，并且可使用这些瞳孔位置来对正在显示的图像执行光学透镜特定的调整，以便校正存在于光学透镜中的光学畸变并在该瞳孔位置处提供相应的视觉表示，该视觉表示减少或消除了与图像预期的差异。另外，这类技术可用于所显示的每个图像，诸如，对于每秒30帧，通过在少于下一帧将被显示之前所需的时间内调整每个图像，以便提供当用户观看来自视频的相应图像并移动他或她的瞳孔时适合于用户的改变的瞳孔位置的连续视频。
所描述的技术的使用可提供各种益处，包括减少或消除本文所讨论的一些或所有类型的光学畸变的影响。具体地，无论瞳孔位置如何，所描述技术的使用都可向用户提供图像的相同或基本相同的视觉表示，诸如即使瞳孔位置明显偏离中心光轴，也用基本准直的光向用户的瞳孔提供视觉表示瞳孔位置。除了这些益处之外，至少一些这类实施方式中的其他益处还可以是以下中的一个或多个：增加用户可用的有效视野，减少或消除对专用光学透镜(例如，菲涅耳透镜)的需要，提供用户专用的光学畸变校正，提供HMD适配校正，提供眼睛缓解校正，允许使用高度畸变或非准直光学器件等。
图3是示出用于执行所描述技术中的至少一些的示例性计算设备和系统的框图。具体地，图3包括适于执行所描述技术中的至少一些的一个或多个服务器计算设备300，其用于识别和映射光学透镜所特有的光学畸变，诸如通过执行代表一个或多个客户(例如，包括光学透镜的设备的制造商，向终端用户销售具有光学透镜的设备的零售商等)操作的透镜畸变映射系统342的实施方式。另外，图3还包括适于执行所描述技术中的至少一些的一个或多个终端用户设备350，其用于使用光学透镜所特有的映射光学畸变来校正显示给经由光学透镜接收图像的佩戴者或其他用户的图像，诸如通过执行代表一个或多个客户(例如，向终端用户销售设备350的零售商，操作设备350的终端用户等)操作的瞳孔位置光学畸变校正系统365的实施方式。还示出了一个或多个可选的其他计算系统390，其中各种设备经由一个或多个计算机网络385(例如，因特网、一个或多个蜂窝电话网络等)互连，包括实现计算系统、设备、以及在其上实施的任何其他系统或部件之间的通信。
每个示例性服务器计算设备300均包括一个或多个硬件处理器305(例如，一个或多个CPU处理器、一个或多个GPU处理器等)、各种输入/输出(“I/O”)部件310、存储器320以及内存330。在该示例实施方式中，图示的I/O部件包括显示器311、网络连接312、计算机可读介质驱动器313和其他I/O设备315(例如，键盘、鼠标或者其他指向设备、麦克风、扬声器等)，这类I/O部件可实现各种类型的交互类型，包括例如语音控制、手势控制等。示例性终端用户设备3350类似地示出为每个都具有一个或多个硬件处理器351(例如，一个或多个CPU处理器、一个或多个GPU处理器等)、一个或多个I/O部件352、内存357和存储器354。虽然关于服务器计算设备300示出的细节中的一些没有关于设备350和其他计算系统390而被示出，但设备350和系统390可类似地包括与服务器计算设备300相同类型的部件中的一些或全部。终端用户设备350还可包括未关于设备300而示出的附加部件，诸如一个或多个光学透镜367和一个或多个其他I/O设备354(例如，一个或多个内部和/或外部相机、向佩戴者或其他用户的耳朵提供声音的一个或多个扬声器、一个或多个瞳孔跟踪系统、其他类型的运动传感器或其他传感器等)。类似地，如果其他计算系统390中的一个或多个结合终端用户设备350中的一个或多个进行操作，诸如提供运动跟踪和/或图像显示能力，则那些其他计算系统可类似地包括未关于设备300而示出的其他部件。
在该示例中，透镜畸变映射系统342连同一个或多个可选的其他程序349正在服务器计算设备300的内存330中执行。如本文其他地方更详细讨论的，透镜畸变映射系统342可执行所描述的用于识别和映射光学透镜所特有的光学畸变的技术中的至少一些，例如关于终端用户设备350中的一个或多个(例如，在设备350提供给相应终端用户之前作为设备350的制造的一部分)。作为其操作的一部分，系统342可生成和/或使用各种存储的数据，诸如存储在存储器320上的数据，包括关于为其生成映射数据的所定义瞳孔位置视点的数据321、关于透镜和/或安装有或以其他方式附着有透镜的设备的数据323、以及由执行映射操作而产生的数据327。生成的映射数据327还可以以各种方式使用或提供给接收者，诸如将为特定终端用户设备350的一个或多个光学透镜生成的特定映射数据存储在该设备上以供稍后使用，诸如在终端用户设备350的存储器356上存储为数据357。虽然透镜畸变映射系统342在该示例中至少部分地实施为软件系统，诸如具有在执行时编程或以其他方式配置处理器305和服务器计算设备300以执行实施所描述技术中的至少一些的自动操作的相应软件指令，在其他实施方式中系统342可以以其他方式实现。
另外，瞳孔位置光学畸变校正系统365在终端用户设备300上执行，诸如部分或整体作为内存362中的软件程序(未示出)，并且部分或整体作为设备350上的专用硬件部件(未示出)。内存362还可可选地存储一个或多个图像显示程序363以及一个或多个可选的其他程序364，图像显示程序363生成或以其他方式提供将在终端用户设备上(例如，在一个或多个显示面板352上)显示的图像。尽管在其他实施方式中，外部系统(例如，其他计算系统390中的一个或多个)可替代地向设备350提供要显示的这些图像中的一些或全部。如本文其他地方更详细讨论的，瞳孔位置光学畸变校正系统365可执行所描述的用于使用光学透镜所特有的映射光学畸变来校正显示给经由光学透镜接收图像的佩戴者或其他用户的图像的技术中的至少一些，诸如，用于一个或多个光学透镜367(例如，作为向一个或多个终端用户显示图像的一部分)。作为其操作的一部分，系统365可生成和/或使用各种存储的数据，诸如存储在存储器356上的数据，包括针对一个或多个所定义瞳孔位置将特定显示面板像素映射到特定瞳孔位置的数据357、关于瞳孔位置跟踪的数据359(例如，如由一个或多个瞳孔跟踪设备353生成或以其他方式从一个或多个外部系统接收的数据)、以及可选地在终端用户设备350上显示的一个或多个图像358。映射数据357可以以各种方式诸如从服务器计算设备300上的透镜畸变映射系统342接收，尽管在其他实施方式中，单个设备或系统(例如，终端用户设备350、服务器计算设备300、其他计算系统390等)可执行透镜畸变映射系统和瞳孔位置光学畸变校正系统两者的实施方式。
应理解，所示出的计算系统和设备仅仅是说明性的，并不意图限制本发明的范围。例如，计算设备300和/或终端用户设备350可连接至未示出的其他设备，包括通过诸如因特网的一个或多个网络或经由网(Web)。更一般地，这类计算系统或设备可包括可交互并执行所描述类型功能的硬件的任何组合，诸如当编程或以其他方式配置有合适软件时，包括但不限于，台式计算机、膝上型计算机、平板计算机、平板电脑或其他计算机、智能电话计算设备和其他手机、互联网设备、PDA和其他电子组织器、数据库服务器、网络存储设备和其他网络设备、无线电话、寻呼机、基于电视的系统(例如，使用机顶盒和/或个人/数字视频记录器和/或游戏控制台和/或媒体服务器)、以及包括适当内部通信能力的各种其他消费者产品。例如，在至少一些实施方式中，所示系统342和/或365可包括可执行软件指令和/或数据结构，当被特定计算系统或设备加载和/或执行时，可执行软件指令和/或数据结构可用于编程或以其他方式配置那些系统或设备，诸如配置那些系统或设备的处理器。可替代地，在其他实施方式中，软件系统中的一些或全部可在另一设备上的内存中执行，并且经由计算机间通信与所示计算系统/设备通信。另外，虽然各种项示出为在不同时间(例如，在使用时)存储在内存中或存储器上，但是，为了内存管理和/或数据完整性，这些项或它们的一部分可在内存与存储器之间和/或在存储设备(例如，处于不同位置)之间传输。
因此，在至少一些实施方式中，所示系统是包括软件指令的基于软件的系统，当由处理器305和/或355和/或其他处理器装置执行时，软件指令对处理器进行编程以自动执行用于该系统的所描述操作。此外，在一些实施方式中，系统中的一些或全部可以以其他方式实施或提供，诸如至少部分地以固件和/或硬件装置实施或提供，固件和/或硬件装置包括但不限于，一个或多个专用集成电路(ASIC)、标准集成电路、控制器(例如，通过执行适当的指令，并且包括微控制器和/或嵌入式控制器)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)等。系统或数据结构中的一些或全部也可存储在非暂时性计算机可读存储介质上(例如，作为软件指令内容或结构化数据内容)，诸如硬盘或闪存驱动器或其他非易失性存储设备、易失性或非易失性内存(例如，RAM)、网络存储设备或由适当的驱动器或经由适当的连接读取的便携式媒体物品(例如，DVD盘、CD盘、光盘，闪存设备等)。在一些实施方式中，系统、模块和数据结构也可作为所生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)在各种计算机可读传输介质上传输，计算机可读传输介质包括基于无线的和基于有线/电缆的介质，并且所生成的数据信号可采用各种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字数据包或帧)。在其他实施方式中，这种计算机程序产品也可采用其他形式。因此，本发明可用其他计算机系统配置来实践。
图4是透镜畸变映射例程400的示例性实施方式的流程图。例程可由例如图3的透镜畸变映射系统342和/或执行关于图2D至图2G和本文其他地方讨论的透镜畸变映射操作的系统执行，诸如，生成信息以在使用光学透镜(例如，在头戴式显示器或其他类型的组件中)之前从多个可能的瞳孔位置校正特定光学透镜(例如，在头戴式显示器或其他类型的组件中)的光学畸变。虽然所示例程的示例是在单个时间下针对单个透镜执行并且一次针对单个瞳孔位置(在例程中称为瞳孔的“视点”)执行，但是应理解，这类例程可以以其他方式使用，包括同时执行针对多个光学透镜和/或针对多个这类视点的确定。另外，应理解，所示例程的实施方式可根据情况在软件和/或硬件中实施，并且可由例如与安装有光学透镜的HMD或其他设备分开的系统来执行，诸如在用户开始使用该设备之前，尽管在其他实施方式中，实际的HMD或其他设备可改为执行映射技术中的一些或全部，诸如在任何用户或特定用户开始使用时。
所示例程的实施方式开始于框405，其中接收光学透镜进行映射的指示，其中光学透镜可选地安装在头戴式显示器或具有与光学透镜一起使用的显示面板的其他壳体中(或其他显示装置)。例程然后继续到框415以接收与要映射的一个或多个瞳孔位置视点的组有关的信息，诸如单个中心光轴瞳孔位置视点，或替代的瞳孔移动框区域内的多个不同的可能瞳孔位置视点(中心光轴瞳孔位置视点可选地是这些视点之一)。
然后，例程继续以针对每个这类瞳孔位置视点执行框425至465，以便生成用于光学透镜和该瞳孔位置视点的映射数据结构，该映射数据结构包括用于将显示面板像素映射到在该瞳孔位置视点处的示例性瞳孔(在该示例中由图像传感器表示)内的相应位置的信息。具体地，例程在框415之后继续至框425，以从第一个视点开始选择要映射的下一个视点。在框435中，例程然后将图像传感器(如果还没有如此定位的话)定位在所选择的视点位置处，其中图像传感器表示人类瞳孔并且具有光敏点阵列。在框435之后，例程继续到框445，以连续地激活相对于图像传感器位于透镜对面的显示面板上的一个或多个显示面板像素的组，并且将从激活的一个或多个像素接收光的一个或多个相应的光敏点位置映射在图像传感器上。框445中的过程继续直到显示面板上的所有像素都被激活，但是在其他实施方式和情况下，可仅激活显示面板像素的子集(例如，不同位置处的代表性像素，仅用于显示面板的子集，等等)。在框445之后，例程继续到框455，以针对图像传感器上的每个光敏点位置，确定在该图像传感器点处从其接收光的一个或多个显示面板像素，使得激活那些像素将导致图像传感器(或稍后，瞳孔)上的该位置接收相应的光。在确定之后，例程在块455中为所选择的视点生成对应的像素到瞳孔位置的位置映射数据结构，并且在框465中存储所生成的用于视点和光学透镜的映射数据结构。
在框465之后，例程继续到框475以确定是否存在要映射的更多视点，如果是，则返回到框425以选择下一个视点。否则，例程继续到框485，以可选地将用于映射的多个视点的数据聚合到总体信息数据结构以用于光学透镜，存储用于光学透镜的数据，以及如果合适的话，将其提供给一个或多个请求者(例如，提供关于框405的指令的请求者)。
在框485之后，例程继续到框495以确定是否继续，诸如直到接收到终止的明确指示。如果确定继续，则例程返回到框405并等待关于要映射的下一个光学透镜的信息，否则，继续到框499并结束。
图5是瞳孔位置光学畸变校正例程500的示例性实施方式的流程图。例程可由例如图3的瞳孔位置光学畸变校正系统365和/或关于图2E至图2G描述的相应系统来执行，诸如以特定于光学透镜和瞳孔位置的方式调整要在显示面板(或其他显示设备)上显示的一个或多个图像，并且可选地进一步调整这类针对特定用户的信息。虽然所示例程的实施方式显示为针对某时刻的特定图像，例如对于单个图像(无论是图像本身还是作为一系列相关图像的一部分)，应理解，可以以其他方式执行该例程的其他实施方式，诸如同时调整多个图像(例如，如果不期望用户的瞳孔位置在这些多个图像的显示之间显著不同，则以快速连续的方式执行对待显示的多个图像的调整；经由两个或更多个显示面板和相关的光学透镜，诸如对于HMD中的两个光学透镜，执行对要同时显示的两个或更多个图像的调整；等等)。另外，应理解，所示例程的实施方式可由例如包括光学透镜的特定HMD或其他设备来执行，诸如在接收和呈现图像时动态地执行，并且可根据情况以软件和/或硬件来实施。
例程的示例性实施方式开始于框505，其中接收光学透镜的指示，以及其中例程获取用于透镜的一个或多个瞳孔位置视点的像素到瞳孔位置的位置映射信息，诸如，图4中先前为该光学透镜生成的信息。在框505之后，例程继续到框515，其中例程可选地获取与特定用户以及要应用的任何用户特定的畸变校正或向该用户显示的图像有关的信息(例如，基于对由HMD或其他设备执行的用户特定的畸变校正的分析；基于从外部源接收的信息，诸如光学检查；等等)，尽管在一些实施方式中，可不使用这种用户特定的光学畸变校正。在所示例程的示例中，例程然后继续到框525以启动对光学透镜和用户的瞳孔跟踪，但是在其他实施方式中，可使用一个或多个单独的系统来执行这种瞳孔跟踪，并且作为替代，例程可从其他系统接收瞳孔跟踪信息。
然后，例程继续对要通过光学透镜向用户显示的一个或多个图像(诸如视频中的一系列图像帧)中的每个或者替代地对单个独立图像执行框545至585。具体地，在框545中，例程跟踪用户的瞳孔位置，诸如周期性地或连续地，诸如以用于要显示的下一图像。如先前所讨论的，在一些实施方式中，可不仅使用实际当前位置而且可使用在指定的未来时间(诸如对应于在将调整的图像实际显示给用户之前的时间量)的预测的未来位置来确定瞳孔位置。在框555中，例程然后确定最近的所定义瞳孔位置视点中的一个或多个，其中，生成了对应于所确定的瞳孔位置的映射信息，并且检索供该一个或多个最近的瞳孔视点使用的相应映射信息。可以以各种方式执行对一个或多个最近的所定义瞳孔位置视点的这种确定，诸如通过使用预定义或动态定义的距离阈值(例如，到最近的瞳孔位置视点的距离、到最近的四个瞳孔位置视点的距离等)。另外，虽然在该示例性例程中未示出，但是在一些实施方式中，例程还可在多个时间下获取和使用与实际和/或预测的瞳孔位置有关的信息，并且组合该信息以确定要使用的瞳孔位置(例如，采取多个位置的平均值)。例如，可在将相应的调整图像显示给用户之前的一些时间确定实际和/或预测的瞳孔位置，并且该信息可与关于其他时间(诸如在显示一个或多个先前图像的一个或多个先前时间，在实际开始调整当前图像的稍后时间等)的实际和/或预测的瞳孔位置的信息组合。
然后，例程在框560中获取要显示的下一图像。在框565中，例程然后确定是使用单个所定义视点还是多个所定义视点来调整图像，尽管例程的其他实施方式可以总是只使用单个视点或总是使用多个视点。在所示例程的示例中，如果确定使用单个所定义视点，诸如如果所确定的瞳孔位置与特定的所定义视点相关联(例如，在最小阈值距离内)，则例程继续到框575，以使用该视点的映射信息来确定如何改变要为图像显示的像素信息，以及进一步可选地基于任何用户特定的信息来改变图像像素信息，使得确定改变或修改的待照亮像素的集合，使得在给定光学透镜畸变和任何用户特定的光学畸变的情况下，在确定的瞳孔位置处显示期望的图像。
如果在框565中确定使用多个所定义视点，则替代地例程继续到框575，其中选择要使用的两个或更多个这类所定义视点，并且其中组合用于这些多个所选视点的映射信息，可选地，对不同视点的映射信息进行加权(例如，基于所确定的瞳孔位置与这些视点在位置上的差异，以一种或多种其他定义的方式等)。例如，如果两个所选视点指示用于特定的瞳孔定位位置的两个不同的待照亮像素，则可照亮这两个像素，或者替代地可确定一个或多个其他像素(例如，通过选择那两个像素之间的一个或多个其他这类像素)。在框575之后，例程继续到框580，以与关于框570所讨论的方式类似的方式，基于组合的映射信息和可选的任何用户特定的信息来改变要显示的图像的像素信息。
在框570或580之后，例程继续到框585以输出改变的图像像素信息以用于显示，无论是直接显示到显示面板，还是输出到执行实际图像显示的另一系统或例程。例程然后继续到框587以确定是否有更多图像要以所描述的方式进行改变，并且如果是，则返回到框535以等待将显示的下一图像。否则，例程继续到框595以确定是否继续，诸如直到接收到明确的终止指示。如果确定继续，则程序返回到框505并等待要执行这种图像修改的另一透镜的指示，否则继续到框599并结束。
在以下条款中进一步描述了本文描述的非排他性示例性实施方式。
A.一种方法，包括：
将光学透镜附接至包括显示面板的头戴式显示设备，该光学透镜位于该显示面板与眼睛位置区域之间，眼睛位置区域设计成供人眼接收由该显示面板生成的图像；
针对该眼睛位置区域处的多个瞳孔位置中的每个，通过一个或多个计算系统生成瞳孔位置处的来自附接至该头戴式显示设备的光学透镜的光学畸变映射信息，其中，可从该多个瞳孔位置通过光学透镜接收来自显示面板的图像，其中，对于该多个瞳孔位置中的每个，所述生成包括：
将具有多个光敏位置的阵列的图像传感器定位在该瞳孔位置处；
连续地激活该显示面板上的像素，并确定该图像传感器的所得光敏位置，该所得光敏位置通过光学透镜接收来自激活的像素的光；以及
存储用于该光学透镜和该瞳孔位置的光学畸变映射数据结构，该光学畸变映射数据结构将瞳孔位置处的光敏位置映射到该显示面板上的相应像素；以及
通过与该头戴式显示器关联的至少一个硬件处理器使用所生成的光学畸变映射信息，以通过该光学透镜在该眼睛位置区域处向人眼显示图像，对于该图像中的每个，包括：
使用该头戴式显示器的瞳孔跟踪能力确定人眼的瞳孔的实际瞳孔位置；
选择该多个瞳孔位置中的、位于所确定的实际瞳孔位置的限定距离内的瞳孔位置中的一个或多个；
针对所选择的一个或多个瞳孔位置，使用一个或多个存储的光学畸变映射数据结构中的所生成的光学畸变映射信息作为调整该图像以减少由该光学透镜引起的光学畸变的一部分，包括针对调整后的图像改变将要激活的像素的位置，以使在所确定的瞳孔位置处接收到的光对应于调整前的图像；以及
在该显示面板上显示调整后的图像。
B.如条款A所述的方法，其中，该头戴式显示设备还包括位于第二显示面板与第二眼睛位置之间的第二光学透镜，该第二眼睛位置设计成供第二人眼接收由第二显示面板生成的图像，以及其中，该方法还包括：
针对该第二眼睛位置区域处的多个第二瞳孔位置中的每个，通过一个或多个计算设备生成用于该第二瞳孔位置处的第二光学透镜的第二光学畸变映射信息，其中，可从该多个第二瞳孔位置通过第二光学透镜接收来自第二显示面板的图像，其中，该第二光学畸变映射信息为该第二光学透镜所特有并且与用于该光学透镜的光学畸变映射信息分开；以及
通过与该头戴式显示器关联的至少一个硬件处理器使用所生成的第二光学畸变映射信息，以通过该第二光学透镜在该第二眼睛位置区域处向第二人眼显示第二图像，对于该第二图像中的每个，包括：
使用该头戴式显示器的瞳孔跟踪能力确定该第二人眼的第二瞳孔的第二实际瞳孔位置；
选择该第二瞳孔位置中的、位于所确定的第二实际瞳孔位置的限定距离内的一个或多个；
针对所选择的一个或多个第二瞳孔位置，使用所生成的第二光学畸变映射信息作为调整该第二图像以减少由该第二光学透镜在所确定的第二实际瞳孔位置处引起的光学畸变的一部分；以及
在该第二显示面板上显示调整后的第二图像。
C.如条款B所述的方法，其中，所显示的图像和所显示的第二图像是所记录或所生成的视频信息的帧，以及其中，使用所生成的光学畸变映射信息来显示图像以及使用所生成的第二光学畸变映射信息来显示第二图像以实时方式执行，从而以每秒包括多帧的限定速率显示视频信息。
D.一种计算机实施的方法，包括：
针对位于显示设备与具有多个瞳孔位置的眼睛位置区域之间的光学透镜，通过一个或多个硬件处理器生成用于该多个瞳孔位置中的每个的光学畸变映射信息，其中，可在该多个瞳孔位置处通过光学透镜接收来自显示设备的图像，其中，对于该多个瞳孔位置中的每个，所述生成包括激活该显示设备上的像素并确定在该瞳孔位置处通过光学透镜接收来自激活的像素的光的所得位置；以及
通过至少一个硬件处理器使用所生成的光学畸变映射信息，以通过该光学透镜向人眼显示一个或多个图像，对于一个或多个图像中的每个，包括：
确定该人眼的瞳孔的瞳孔位置；
选择该多个瞳孔位置中的、位于距所确定的瞳孔位置的限定距离内的一个或多个瞳孔位置；
针对所选择的瞳孔位置，使用所生成的光学畸变映射信息作为调整该图像以减少由该光学透镜引起的光学畸变的一部分，包括针对调整后的图像改变将要在该显示设备上激活的像素的位置，以使在所确定的瞳孔位置处接收到的光对应于调整前的图像；以及
开始在该显示设备上显示调整后的图像。
E.如条款D所述的计算机实施的方法，其中，针对该一个或多个图像中的一个使用所生成的光学畸变映射信息包括：通过识别该多个瞳孔位置中的、最接近针对该一个图像所确定的瞳孔位置的一个瞳孔位置，来执行对用于该一个图像的一个或多个瞳孔位置的选择，通过使用所确定的瞳孔位置与所识别的一个位置之间的距离来近似用于该一个图像的所确定的瞳孔位置的光学畸变映射信息，以修改用于所识别的一个瞳孔位置的光学畸变映射信息，以及使用所近似的光学畸变映射信息来调整该一个图像。
F.如条款E所述的计算机实施的方法，其中，该一个或多个图像包括多个图像，其中，针对该多个图像的第二图像使用所生成的光学畸变映射信息包括：通过识别该多个瞳孔位置中的、位于距针对该第二图像所确定的瞳孔位置的限定距离内的多个瞳孔位置，来执行对用于该第二图像的一个或多个瞳孔位置的选择，通过组合用于所识别的多个瞳孔位置的光学畸变映射信息来近似用于该第二图像的所确定的瞳孔位置的光学畸变映射信息，以及使用所近似的光学畸变映射信息来调整该第二图像。
G.如条款E所述的计算机实施的方法，其中，调整一个图像包括：针对用于该一个图像的多个待激活像素中的至少一些像素中的每个，确定该多个待激活像素中的一个或多个其它像素，以使光显示在所确定的瞳孔位置中的与该像素相对应的位置处。
H.如条款D所述的计算机实施的方法，其中，针对该一个或多个图像中的该一个使用所生成的光学畸变的映射信息包括：通过识别该多个瞳孔位置中的、位于针对该一个图像所确定的瞳孔位置的限定距离内并至少部分围绕所确定的瞳孔位置的多个瞳孔位置，来执行用于该一个图像的一个或多个瞳孔位置的选择，通过使用组合用于所识别的多个瞳孔位置的光学畸变映射信息来近似用于该一个图像的所确定的瞳孔位置的光学畸变映射信息，以及使用所近似的光学畸变映射信息来调整该一个图像。
I.如条款H所述的计算机实施的方法，其中，调整一个图像包括：针对用于该一个图像的多个待激活像素中的至少一些像素中的每个，确定该多个待激活像素中的一个或多个其它像素，以使光显示在所确定的瞳孔位置中的与该像素相对应的位置处。
J.如条款D所述的计算机实施的方法，其中，调整图像以减少由该光学透镜所引起的光学畸变还包括：获取与将对其显示该图像的人眼所特有的附加光学畸变有关的信息，并进一步调整该图像以校正附加光学畸变。
K.如条款D所述的计算机实施的方法，其中，所激活的像素分别为子像素，在操作中，该子像素配置成通过使用不同的发光材料或使用不同的滤色器来发出红色、绿色或蓝色中的一种的光。
L.如条款D所述的计算机实施的方法，其中，确定瞳孔的瞳孔位置包括：使用瞳孔跟踪能力来确定当前实际瞳孔位置，以及调整所确定的当前实际瞳孔位置，以反映该瞳孔在未来时间的预测的未来位置，其中，在所述未来时间，调整后的图像将显示在该显示设备上。
M.如条款D所述的计算机实施的方法，其中，该光学透镜和该显示设备是头戴式显示器的一部分，其中，人眼是佩戴该头戴式显示器的人的眼睛，以及其中，该至少一个硬件处理器包括头戴式显示器的图形处理单元。
N.如条款M所述的计算机实施的方法，其中，该一个或多个处理器是制造该头戴式显示器所涉及的一个或多个计算系统的一部分。
O.如条款D所述的计算机实施的方法，其中，该光学透镜和该显示设备是照相机、望远镜、显微镜、测量镜或双目镜中的一个或多个的一部分。
P.如条款D所述的计算机实施的方法，其中，该显示设备包括多个像素，以及其中，生产用于该光学透镜并用于该多个瞳孔位置中的每个的光学畸变映射信息包括：将具有多个光敏位置的图像传感器定位在瞳孔位置处；连续地激活该显示设备上的一个或多个像素的组，并确定该图像传感器的所得光敏位置，该所得光敏位置通过光学透镜接收来自激活的像素组的光；以及存储用于该光学透镜和该瞳孔位置的光学畸变映射数据结构，该光学畸变映射数据结构将该瞳孔位置处的光敏位置映射到该显示设备上的相应像素。
Q.如条款P所述的计算机实施的方法，其中，该多个瞳孔位置中的每个包括该瞳孔位置内的多个位置，以及其中，生成用于该光学透镜并用于该多个瞳孔位置中的每个的该光学畸变映射信息还包括：对于该瞳孔位置内的多个位置中的每个，确定该多个像素中的、向该瞳孔位置的该位置提供光的一个或多个像素。
R.一种系统，包括：
一个或多个计算系统的一个或多个硬件处理器；以及
具有用于一个或多个部件的存储的指令的一个或多个内存，存储的指令在由一个或多个硬件处理器中的至少一个执行时，使得系统执行条款A至Q中的任一项所述的方法。
S.一种具有存储的指令的非暂时性计算机可读介质，存储的指令在执行时，配置一个或多个计算系统以执行条款A至Q中任一项所述的方法。
T.一种具有存储的内容的非暂时性计算机可读介质，该存储的内容使至少一个硬件处理器执行活动，该活动至少包括：
针对位于显示设备与具有多个瞳孔位置的眼睛位置区域之间的光学透镜，获取用于该多个瞳孔位置中的一个或多个瞳孔位置中的每个的光学畸变映射信息，其中，可在该多个瞳孔位置处通过该光学透镜接收来自该显示设备的图像，其中，针对该一个或多个瞳孔位置中的每个，该光学畸变映射信息识别在该瞳孔位置处的、通过光学透镜从该显示设备上的相应激活像素接收光的位置；以及
通过至少一个硬件处理器使用光学畸变映射信息，以通过该光学透镜向人眼显示一个或多个图像，对于一个或多个图像中的每个，包括：
确定该人眼的瞳孔的瞳孔位置；
确定从所确定的瞳孔位置到该一个或多个瞳孔位置中的至少一个瞳孔位置的距离；
针对该至少一个瞳孔位置和所确定的距离，使用该光学畸变映射信息作为调整图像以减少由该光学透镜引起的光学畸变的一部分，包括针对调整后的图像改变将要在该显示设备上激活的像素的位置，以使在所确定的瞳孔位置处接收到的光对应于调整前的图像；以及
开始在该显示设备上显示调整后的图像。
U.如条款T所述的非暂时性计算机可读介质，其中，该多个瞳孔位置中的一个或多个瞳孔位置包括多个瞳孔位置，其中，获取光学畸变映射信息包括：针对该多个瞳孔位置中的每个，通过激活该显示设备上的像素和确定在该瞳孔位置处的、通过光学透镜从所激活的像素接收光的所得位置，来生成用于该瞳孔位置的光学畸变映射信息，并存储用于该光学透镜和该瞳孔位置的所得光学畸变映射数据结构，以及其中，该活动的执行还包括：至少部分地基于所确定的距离，选择该多个位置中的至少一个瞳孔位置以使用该调整。
V.如条款T所述的非暂时性计算机可读介质，其中，该多个瞳孔位置中的一个或多个瞳孔位置包括多个瞳孔位置，其中，获取光学畸变映射信息包括：对该光学透镜的光学特性进行建模，并且针对该多个瞳孔位置中的每个并至少部分地基于所建模的光学特性，通过模拟该显示设备上的像素的激活并确定在该瞳孔位置处的、通过光学透镜从所模拟的激活的像素接收光的所得位置，生成用于该瞳孔位置的光学畸变映射信息，并存储用于光学透镜和该瞳孔位置的所得光学畸变映射数据结构，以及其中，该活动的执行还包括：至少部分地基于所确定的距离，选择该多个位置中的至少一个瞳孔位置以使用该调整。
W.如条款T所述的非暂时性计算机可读介质，其中，确定瞳孔的瞳孔位置包括：使用瞳孔跟踪能力来确定当前实际瞳孔位置，以及调整所确定的当前实际瞳孔位置，以反映该瞳孔在未来时间的预测的未来位置，其中，在所述未来时间，调整后的图像将显示在该显示设备上。
X.如条款W所述的非暂时性计算机可读介质，其中，该瞳孔位置的确定在第一时间发生，其中，该光学畸变映射信息的使用在第二时间发生并包括在该第二时间预测该瞳孔在未来时间的第二未来位置，其中，在所述未来时间，调整后的图像将显示在该显示设备上，以及其中，调整图像以减少由该光学透镜引起的光学畸变包括组合与第一预测未来位置和第二预测的未来位置有关的信息。
Y.如条款T所述的非暂时性计算机可读介质，其中，该至少一个硬件处理器包括头戴式显示器中的至少一个图形处理单元，该头戴式显示器包括显示设备和光学透镜以及眼睛位置区域和瞳孔跟踪系统，以及其中，确定瞳孔位置包括：使用该瞳孔跟踪系统作为该确定的一部分。
Z.如条款T所述的非暂时性计算机可读介质，其中，该计算机可读介质是包括该至少一个硬件处理器的计算机系统的内存，以及其中，所存储的内容是在执行时对该计算机系统进行编程以执行活动的指令。
AA.一种系统，包括：一个或多个硬件处理器；以及瞳孔位置光学畸变校正系统，该瞳孔位置光学畸变校正系统配置成使得该一个或多个硬件处理器中的至少一个执行活动，活动包括：
针对位于显示设备与具有多个瞳孔位置的眼睛位置区域之间的光学透镜，获取用于该多个瞳孔位置中的多个瞳孔位置中的每个的光学畸变映射信息，其中，可在该多个瞳孔位置处通过光学透镜接收来自该显示设备的图像，其中，针对该多个瞳孔位置中的每个，该光学畸变映射信息识别在该瞳孔位置处的、通过光学透镜从该显示设备上的相应激活像素接收光的位置；以及
使用光学畸变映射信息，以通过该光学透镜向人眼显示一个或多个图像，对于一个或多个图像中的每个，包括：
获取与人眼的瞳孔的瞳孔位置有关的信息；
至少部分地基于所选择的一个或多个瞳孔位置与所确定的瞳孔位置之间的相应距离来选择该多个瞳孔位置中的一个或多个瞳孔位置；
针对所选择的瞳孔位置，使用该光学畸变映射信息作为调整图像以减少由该光学透镜引起的光学畸变一部分，包括针对调整后的图像改变将要在该显示设备上激活的像素的位置，以使在所确定的瞳孔位置处接收到的光对应于调整前的图像；以及
开始在该显示设备上显示调整后的图像。
AB.如条款AA所述的系统还包括：透镜畸变映射系统，该透镜畸变映射系统配置成：对于该多个瞳孔位置中的每个，通过激活显示设备上的像素并确定在该瞳孔位置处的、通过光学透镜从激活的像素接收光的所得位置，并且存储用于光学透镜和该瞳孔位置的所得光学畸变映射数据结构，使得一个或多个硬件处理器中的至少一个生成所获取的、用于多个瞳孔位置中的每个的光学畸变映射信息。
AC.如条款AA所述的系统还包括：瞳孔跟踪系统，以及其中，获取与该瞳孔位置有关的信息包括使用瞳孔跟踪系统来确定该瞳孔位置。
AD.如条款AA所述的系统还包括头戴式显示器，该头戴式显示器包括显示设备和光学透镜以及眼睛位置区域，以及其中，该一个或多个硬件处理器包括头戴式显示器中的至少一个图形处理单元。
AE.如条款AA所述的系统，其中，瞳孔位置光学畸变校正系统包括用于由一个或多个硬件处理器中的至少一个执行的软件指令。
AF.如条款AA所述的系统，其中，瞳孔位置光学畸变校正系统包括用于实施活动的执行的一个或多个装置。
应理解，在一些实施方式中，由上面讨论的例程提供的功能可以以替代方式提供，诸如在更多的例程之间分割或合并到更少的例程中。类似地，在一些实施方式中，所示例程可提供比所描述的功能更多或更少的功能，诸如当其他示出的例程分别缺少或包括这类功能时，或者当提供的功能量被改变时。另外，虽然可将各种操作示出为以特定方式(例如，以串行或并行方式)和/或以特定顺序执行，但是本领域技术人员将理解，在其他实施方式中，可以以其他顺序和以其他方式执行这些操作。同样可理解，上面讨论的数据结构可以以不同的方式构造，包括用于数据库或用户界面屏幕/页面或其他类型的数据结构，诸如通过将单个数据结构分成多个数据结构或通过将多个数据结构合并为单个数据结构。类似地，在一些实施方式中，所示数据结构可存储比所描述的更多或更少的信息，诸如当其他所示数据结构分别缺少或包括这类信息时，或者当存储的信息的数量或类型被改变时。
从前述内容可理解，尽管为了说明的目的在本文中描述了具体实施方式，但是在不脱离本发明的精神和范围的情况下可进行各种修改。另外，虽然本发明的某些方面有时以某些权利要求的形式呈现，或者有时可能未在任何权利要求中体现，但发明人以任何可用的权利要求形式设想了本发明的各个方面。例如，虽然本发明的仅一些方面可在特定时间叙述为体现在计算机可读介质中，但是其他方面同样可以如此体现。

Claims (31)

1.一种校正头戴式显示设备的光学畸变的方法，所述头戴式显示设备包括显示面板和光学透镜，所述光学透镜位于所述显示面板与设计成用于人眼以接收由所述显示面板生成的图像的眼睛位置区域之间，所述方法包括：
通过一个或多个计算系统，针对位于所述眼睛位置区域处的多个瞳孔位置中的每个，生成该瞳孔位置处的来自附接至所述头戴式显示设备的所述光学透镜的光学畸变映射信息，其中，从所述多个瞳孔位置中的每个处能够通过所述光学透镜接收来自所述显示面板的图像，其中对于所述多个瞳孔位置中的每个，所述生成包括：
将图像传感器定位在所述瞳孔位置处；
对于多个不同的像素组中的每个，连续地激活所述显示面板上的像素组，并确定所述图像传感器的所得光敏位置，所述所得光敏位置通过所述光学透镜接收来自所激活的像素组的光；以及
存储用于所述光学透镜和所述瞳孔位置的光学畸变映射数据，所述光学畸变映射数据将所述瞳孔位置处的光敏位置映射到所述显示面板上的相应像素。
2.如权利要求1所述的方法，还包括：
通过与所述头戴式显示设备相关联的至少一个硬件处理器，使用所生成的光学畸变映射信息，通过所述光学透镜将图像显示到所述眼睛位置区域处的人眼。
3.如权利要求2所述的方法，其中，对于所述图像中的每个，使用所生成的光学畸变映射信息，通过所述光学透镜将图像显示到所述眼睛位置区域处的人眼包括：
使用所述头戴式显示设备的瞳孔跟踪能力来确定所述人眼的瞳孔的实际瞳孔位置；
选择所述多个瞳孔位置中的、在所确定的实际瞳孔位置的限定距离内的一个或多个；
使用所生成的用于所选择的一个或多个瞳孔位置的光学畸变映射信息作为调整图像的部分，以减小由所述光学透镜在所确定的实际瞳孔位置处引起的光学畸变，包括改变要被激活的用于所调整的图像的像素的位置，以使在所确定的瞳孔位置处接收的光与调整之前的图像相对应；以及
在所述显示面板上显示调整后的图像。
4.如权利要求1所述的方法，其中，所述头戴式显示设备还包括第二光学透镜，所述第二光学透镜位于第二显示面板与第二眼睛位置区域之间，所述第二眼睛位置区域设计成用于第二人眼接收由所述第二显示面板生成的图像，以及其中，所述方法还包括：
通过一个或多个计算系统，针对所述第二眼睛位置区域处的多个第二瞳孔位置中的每个，生成用于所述第二瞳孔位置处的所述第二光学透镜的第二光学畸变映射信息，其中，从所述多个第二瞳孔位置中的每个处能够通过所述第二光学透镜接收来自所述第二显示面板的图像，其中，所述第二光学畸变映射信息为所述第二光学透镜所特有，并且与用于所述光学透镜的所述光学畸变映射信息分开。
5.如权利要求4所述的方法，还包括：
通过与所述头戴式显示设备相关联的至少一个硬件处理器，使用所生成的第二光学畸变映射信息，通过所述第二光学透镜将第二图像显示到所述第二眼睛位置区域处的第二人眼。
6. 一种使用瞳孔位置来校正光学透镜畸变的方法，包括：
通过一个或多个硬件处理器并且针对位于显示设备与具有多个瞳孔位置的眼睛位置区域之间的光学透镜，生成用于所述多个瞳孔位置中的每个的光学畸变映射信息，其中，能够在所述多个瞳孔位置处通过所述光学透镜接收来自所述显示设备的图像，其中，对于所述多个瞳孔位置中的每个，所述生成包括：连续地激活所述显示设备上的不同的像素组并确定在所述瞳孔位置处通过所述光学透镜接收来自所激活的像素组的光的所得位置；以及
通过至少一个硬件处理器，使用所生成的光学畸变映射信息通过所述光学透镜将一个或多个图像显示给人眼。
7.如权利要求6所述的方法，其中，对于所述一个或多个图像中的每个，使用所生成的光学畸变映射信息，通过所述光学透镜将一个或多个图像显示给人眼包括：
确定所述人眼的瞳孔的瞳孔位置；
选择所述多个瞳孔位置中的、位于所确定的瞳孔位置的限定距离内的一个或多个瞳孔位置；
针对所选择的瞳孔位置，使用所生成的光学畸变映射信息作为调整图像以减少由所述光学透镜引起的光学畸变的一部分，包括针对调整后的图像改变将要在所述显示设备上激活的像素的位置，以使在所确定的瞳孔位置处接收到的光对应于调整前的图像；以及
开始在所述显示设备上显示调整后的图像。
8.如权利要求7所述的方法，其中，使用所生成的光学畸变映射信息以显示所述一个或多个图像中的一个包括：通过识别所述多个瞳孔位置中的、最接近针对所述一个图像所确定的瞳孔位置的一个瞳孔位置，来执行对用于所述一个图像的一个或多个瞳孔位置的选择，通过使用所确定的瞳孔位置与所识别的一个位置之间的距离来近似用于所述一个图像的所确定的瞳孔位置的光学畸变映射信息，以修改用于所识别的一个瞳孔位置的光学畸变映射信息，以及使用所近似的光学畸变映射信息来调整所述一个图像。
9.如权利要求8所述的方法，其中，所述一个或多个图像包括多个图像，其中，针对所述多个图像的第二图像使用所生成的光学畸变映射信息包括：通过识别所述多个瞳孔位置中的、位于距针对所述第二图像所确定的瞳孔位置的限定距离内的多个瞳孔位置，来执行对用于所述第二图像的一个或多个瞳孔位置的选择，通过组合用于所识别的多个瞳孔位置的光学畸变映射信息来近似用于所述第二图像的所确定的瞳孔位置的光学畸变映射信息，以及使用所近似的光学畸变映射信息来调整所述第二图像。
10.如权利要求8所述的方法，其中，调整所述一个图像包括：针对用于所述一个图像的多个待激活像素中的至少一些像素中的每个，确定所述多个待激活像素中的一个或多个其它像素，以使光显示在所确定的瞳孔位置中的与所述像素相对应的位置处。
11.如权利要求7所述的方法，其中，针对所述一个或多个图像中的一个使用所生成的光学畸变映射信息包括：通过识别所述多个瞳孔位置中的、位于针对所述一个图像所确定的瞳孔位置的限定距离内并至少部分围绕所确定的瞳孔位置的多个瞳孔位置，来执行对用于所述一个图像的一个或多个瞳孔位置的选择，通过使用组合用于所识别的多个瞳孔位置的光学畸变映射信息来近似用于所述一个图像的所确定的瞳孔位置的光学畸变映射信息，以及使用所近似的光学畸变映射信息来调整所述一个图像。
12.如权利要求11所述的方法，其中，调整所述一个图像包括：针对用于所述一个图像的多个待激活像素中的至少一些像素中的每个，确定所述多个待激活像素中的一个或多个其它像素，以使光显示在所确定的瞳孔位置中的与所述像素相对应的位置处。
13.如权利要求7所述的方法，其中，调整图像以减少由所述光学透镜引起的光学畸变还包括：获取与将对其显示所述图像的所述人眼所特有的附加光学畸变有关的信息，并进一步调整所述图像以校正所述附加光学畸变。
14.如权利要求7所述的方法，其中，确定瞳孔的瞳孔位置包括：使用瞳孔跟踪能力来确定当前实际瞳孔位置，以及调整所确定的当前实际瞳孔位置，以反映所述瞳孔在未来时间的预测的未来位置，其中，在所述未来时间，调整后的图像将显示在所述显示设备上。
15.如权利要求6所述的方法，其中，所激活的像素分别为子像素，在操作中，所述子像素配置成通过使用不同的发光材料或使用不同的滤色器来发出红色、绿色或蓝色中的一种的光。
16.如权利要求6所述的方法，其中，所述光学透镜和所述显示设备是头戴式显示器的一部分，其中，所述人眼是佩戴所述头戴式显示器的人的眼睛，以及其中，所述至少一个硬件处理器包括所述头戴式显示器的图形处理单元。
17.如权利要求6所述的方法，其中，所述一个或多个硬件处理器是制造所述显示设备所涉及的一个或多个计算系统的一部分。
18.如权利要求6所述的方法，其中，所述光学透镜和所述显示设备是相机、望远镜、显微镜、测量镜或双目镜中的一个或多个的一部分。
19.如权利要求6所述的方法，其中，所述显示设备包括多个像素，以及其中，生成用于所述光学透镜并用于所述多个瞳孔位置中的每个的光学畸变映射信息包括：
将图像传感器定位在瞳孔位置处；
连续地激活所述显示设备上的不同的一个或多个像素的组，并确定所述图像传感器的所得光敏位置，所述所得光敏位置通过所述光学透镜接收来自激活的像素组的光，其中，第一组中的一个或多个像素包括仅发射第一颜色的像素，以及第二组中的一个或多个像素包括仅发射不同于所述第一颜色的第二颜色的像素；以及
存储用于所述光学透镜和所述瞳孔位置的光学畸变映射数据，所述光学畸变映射数据将所述瞳孔位置处的光敏位置映射到所述显示设备上的相应像素。
20.如权利要求19所述的方法，其中，所述多个瞳孔位置中的每个包括所述瞳孔位置内的多个位置，以及其中，生成用于所述光学透镜并用于所述多个瞳孔位置中的每个的光学畸变映射信息还包括：对于所述瞳孔位置内的多个位置中的每个，确定所述多个像素中的、向所述瞳孔位置的所述位置提供光的一个或多个像素。
21. 一种具有用于使用瞳孔位置来校正光学透镜畸变的存储内容的非暂时性计算机可读介质，所述存储内容使得至少一个硬件处理器执行动作，所述动作包括：
针对位于显示设备与具有多个瞳孔位置的眼睛位置区域之间的光学透镜，获取用于所述多个瞳孔位置中的每个的光学畸变映射信息，其中，能够在所述多个瞳孔位置处通过所述光学透镜接收来自所述显示设备的图像，其中，获取所述光学畸变映射信息包括：针对所述多个瞳孔位置中的每个，通过连续地激活所述显示设备上的不同的像素组并确定在所述瞳孔位置处的、通过所述光学透镜接收来自所激活的像素的光的所得位置，来生成用于所述瞳孔位置的所述光学畸变映射信息，以及
使用所述光学畸变映射信息通过所述光学透镜向人眼显示一个或多个图像。
22.如权利要求21所述的非暂时性计算机可读介质，其中，对于所述一个或多个图像中的每个，使用所述光学畸变映射信息，通过所述光学透镜向人眼显示一个或多个图像包括：
确定所述人眼的瞳孔的瞳孔位置；
确定从所确定的瞳孔位置到所述多个瞳孔位置中的至少一个瞳孔位置的距离；
使用所述光学畸变映射信息和所确定的距离作为调整图像以减少由所述光学透镜引起的光学畸变的一部分，包括针对调整后的图像改变将要在所述显示设备上激活的像素的位置，以使在所确定的瞳孔位置处接收到的光对应于调整前的图像；以及
开始在所述显示设备上显示调整后的图像。
23.如权利要求22所述的非暂时性计算机可读介质，其中，确定瞳孔的瞳孔位置包括：使用瞳孔跟踪能力来确定当前实际瞳孔位置，以及调整所确定的当前实际瞳孔位置，以反映所述瞳孔在未来时间的预测的未来位置，其中，在所述未来时间，调整后的图像将显示在所述显示设备上。
24.如权利要求22所述的非暂时性计算机可读介质，其中，所述瞳孔位置的确定在第一时间发生，其中，所述光学畸变映射信息的使用在第二时间发生并包括在所述第二时间预测所述瞳孔在未来时间的第二未来位置，其中，在所述未来时间，调整后的图像将显示在所述显示设备上，以及其中，调整图像以减少由所述光学透镜引起的光学畸变包括组合与第一预测未来位置和第二预测的未来位置有关的信息。
25.如权利要求22所述的非暂时性计算机可读介质，其中，所述至少一个硬件处理器包括头戴式显示设备中的至少一个图形处理单元，所述头戴式显示设备包括所述显示设备和所述光学透镜以及所述眼睛位置区域和瞳孔跟踪系统，以及其中，确定所述瞳孔位置包括使用所述瞳孔跟踪系统作为所述确定的一部分。
26.如权利要求21所述的非暂时性计算机可读介质，其中，所述计算机可读介质是包括所述至少一个硬件处理器的计算机系统的存储器，并且所述存储内容是在被执行时对所述计算机系统编程以执行所述动作的指令。
27. 一种使用瞳孔位置来校正光学透镜畸变的系统，包括：
一个或多个硬件处理器；以及
瞳孔位置光学畸变校正系统，配置成使得所述一个或多个硬件处理器执行动作，所述动作包括：
针对位于显示设备与具有多个瞳孔位置的眼睛位置区域之间的光学透镜，获取用于所述多个瞳孔位置中的每个的光学畸变映射信息，其中，能够在所述多个瞳孔位置处通过所述光学透镜接收来自所述显示设备的图像，其中，获取所述光学畸变映射信息包括：针对所述多个瞳孔位置中的每个，通过连续地激活所述显示设备上的不同的像素组并确定在所述瞳孔位置处的、通过所述光学透镜接收来自所激活的像素组的光的所得位置，来生成用于所述瞳孔位置的所述光学畸变映射信息；以及
使用所述光学畸变映射信息通过所述光学透镜向人眼显示一个或多个图像。
28.如权利要求27所述的系统，其中，为了使用所述光学畸变映射信息通过所述光学透镜向人眼显示一个或多个图像，所述瞳孔位置光学畸变校正系统使所述一个或多个硬件处理器对所述一个或多个图像中的每个执行包括以下各项的动作：
获取与所述人眼的瞳孔的瞳孔位置有关的信息；
至少部分地基于所选择的一个或多个瞳孔位置与所确定的瞳孔位置之间的相应距离来选择所述多个瞳孔位置中的一个或多个瞳孔位置；
针对所选择的瞳孔位置，使用所述光学畸变映射信息作为调整图像以减少由所述光学透镜引起的光学畸变一部分，包括针对调整后的图像改变将要在所述显示设备上激活的像素的位置，以使在所确定的瞳孔位置处接收到的光对应于调整前的图像；以及
开始在所述显示设备上显示调整后的图像。
29.如权利要求28所述的系统，还包括瞳孔跟踪系统，其中，获取关于所述瞳孔位置的信息包括：使用所述瞳孔跟踪系统来确定所述瞳孔位置。
30.如权利要求27所述的系统，还包括透镜畸变映射系统，所述透镜畸变映射系统配置成：对于所述多个瞳孔位置中的每个，通过激活所述显示设备上的像素并确定在所述瞳孔位置处的、通过所述光学透镜从激活的像素接收光的所得位置，使得所述一个或多个硬件处理器生成所获取的、用于所述多个瞳孔位置中的每个的光学畸变映射信息。
31.如权利要求27所述的系统，还包括头戴式显示器，所述头戴式显示器包括所述显示设备和所述光学透镜以及所述眼睛位置区域，以及其中，所述一个或多个硬件处理器包括所述头戴式显示器中的至少一个图形处理单元。
CN202111103915.1A 2016-10-26 2017-10-24 使用瞳孔位置校正光学透镜畸变 Active CN113759556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111103915.1A CN113759556B (zh) 2016-10-26 2017-10-24 使用瞳孔位置校正光学透镜畸变

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US15/335,194 2016-10-26
US15/335,194 US10373297B2 (en) 2016-10-26 2016-10-26 Using pupil location to correct optical lens distortion
CN201780066536.5A CN109891296B (zh) 2016-10-26 2017-10-24 使用瞳孔位置校正光学透镜畸变
CN202111103915.1A CN113759556B (zh) 2016-10-26 2017-10-24 使用瞳孔位置校正光学透镜畸变
PCT/US2017/058170 WO2018081187A1 (en) 2016-10-26 2017-10-24 Using pupil location to correct optical lens distortion

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780066536.5A Division CN109891296B (zh) 2016-10-26 2017-10-24 使用瞳孔位置校正光学透镜畸变

Publications (2)

Publication Number Publication Date
CN113759556A CN113759556A (zh) 2021-12-07
CN113759556B true CN113759556B (zh) 2024-07-26

Family

ID=61971026

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111103915.1A Active CN113759556B (zh) 2016-10-26 2017-10-24 使用瞳孔位置校正光学透镜畸变
CN201780066536.5A Active CN109891296B (zh) 2016-10-26 2017-10-24 使用瞳孔位置校正光学透镜畸变

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780066536.5A Active CN109891296B (zh) 2016-10-26 2017-10-24 使用瞳孔位置校正光学透镜畸变

Country Status (6)

Country Link
US (2) US10373297B2 (zh)
EP (2) EP3955044B1 (zh)
JP (1) JP7006962B2 (zh)
KR (1) KR102478370B1 (zh)
CN (2) CN113759556B (zh)
WO (1) WO2018081187A1 (zh)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104363986B (zh) * 2014-10-31 2017-06-13 华为技术有限公司 一种图像处理方法和设备
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
US10445860B2 (en) 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
US11106276B2 (en) 2016-03-11 2021-08-31 Facebook Technologies, Llc Focus adjusting headset
US10379356B2 (en) 2016-04-07 2019-08-13 Facebook Technologies, Llc Accommodation based optical correction
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10241545B1 (en) 2017-06-01 2019-03-26 Facebook Technologies, Llc Dynamic distortion correction for optical compensation
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
JP6611768B2 (ja) * 2017-08-31 2019-11-27 キヤノン株式会社 画像表示装置
US11567318B1 (en) * 2017-09-25 2023-01-31 Meta Platforms Technologies, Llc Determining features of a user's eye from depth mapping of the user's eye via indirect time of flight
CN107608079A (zh) * 2017-10-24 2018-01-19 歌尔科技有限公司 头戴显示设备
US10317680B1 (en) * 2017-11-09 2019-06-11 Facebook Technologies, Llc Optical aberration correction based on user eye position in head mounted displays
JP7282090B2 (ja) 2017-12-10 2023-05-26 マジック リープ， インコーポレイテッド 光学導波管上の反射防止性コーティング
KR20200100720A (ko) 2017-12-20 2020-08-26 매직 립, 인코포레이티드 증강 현실 뷰잉 디바이스용 인서트
US10521662B2 (en) * 2018-01-12 2019-12-31 Microsoft Technology Licensing, Llc Unguided passive biometric enrollment
US10755676B2 (en) * 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
KR20210005555A (ko) * 2018-04-28 2021-01-14 알마렌스, 인코포레이티드 디지털 가능하게 보정된 수차가 있는 혼합 현실 광학 시스템
CN110544209B (zh) * 2018-05-29 2022-10-25 京东方科技集团股份有限公司 图像处理方法、设备以及虚拟现实显示装置
US11885871B2 (en) 2018-05-31 2024-01-30 Magic Leap, Inc. Radar head pose localization
EP3804306B1 (en) 2018-06-05 2023-12-27 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
EP4270016A3 (en) 2018-07-24 2024-02-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
KR102631731B1 (ko) * 2018-07-31 2024-01-30 엘지디스플레이 주식회사 표시장치 및 이의 제조방법
US11112862B2 (en) 2018-08-02 2021-09-07 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
JP7487176B2 (ja) 2018-08-22 2024-05-20 マジック リープ， インコーポレイテッド 患者視認システム
US11301969B1 (en) * 2018-09-28 2022-04-12 Apple Inc. Context aware dynamic distortion correction
US20200125169A1 (en) * 2018-10-18 2020-04-23 Eyetech Digital Systems, Inc. Systems and Methods for Correcting Lens Distortion in Head Mounted Displays
US11087701B1 (en) 2018-10-26 2021-08-10 Facebook Technologies, Llc Head mounted display with angle compensation
US11354787B2 (en) 2018-11-05 2022-06-07 Ultrahaptics IP Two Limited Method and apparatus for correcting geometric and optical aberrations in augmented reality
JP7207954B2 (ja) * 2018-11-05 2023-01-18 京セラ株式会社 ３次元表示装置、ヘッドアップディスプレイシステム、移動体、およびプログラム
JP7472127B2 (ja) 2018-11-16 2024-04-22 マジック リープ， インコーポレイテッド 画像鮮明度を維持するための画像サイズによってトリガされる明確化
US10838214B2 (en) * 2018-12-14 2020-11-17 Facebook Technologies, Llc Angle compensating lens and display
CN113454507B (zh) 2018-12-21 2024-05-07 奇跃公司 用于促进波导内的全内反射的气穴结构
US20200211512A1 (en) * 2018-12-27 2020-07-02 Facebook Technologies, Llc Headset adjustment for optimal viewing
US10783819B1 (en) 2019-01-22 2020-09-22 Facebook Technologies, Llc Digital color dispersion correction
EP3930318A4 (en) 2019-02-22 2022-10-12 Sony Interactive Entertainment Inc. DISPLAY DEVICE AND IMAGE DISPLAY METHOD
EP3929900A4 (en) * 2019-02-22 2022-09-07 Sony Interactive Entertainment Inc. IMAGING DEVICE, HEAD MOUNT DISPLAY AND IMAGING METHOD
EP3939030A4 (en) 2019-03-12 2022-11-30 Magic Leap, Inc. REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY
JP2022539603A (ja) * 2019-07-12 2022-09-12 マジック リープ， インコーポレイテッド ディスプレイシステム較正のための眼球カメラシステムおよび方法
US11514673B2 (en) 2019-07-26 2022-11-29 Magic Leap, Inc. Systems and methods for augmented reality
US10788893B1 (en) 2019-08-06 2020-09-29 Eyetech Digital Systems, Inc. Computer tablet augmented with internally integrated eye-tracking camera assembly
US11391906B2 (en) * 2019-11-06 2022-07-19 Valve Corporation Optical system for head-mounted display device
US12033081B2 (en) 2019-11-14 2024-07-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
EP4058979A4 (en) 2019-11-15 2023-01-11 Magic Leap, Inc. VIEWING SYSTEM FOR USE IN A SURGICAL ENVIRONMENT
CN111010560B (zh) * 2019-11-28 2022-03-01 青岛小鸟看看科技有限公司 一种头戴显示设备的反畸变调节方法、装置和虚拟现实系统
IL271129B (en) * 2019-12-02 2021-12-01 Elbit Systems Ltd Method and system for optical vision through a head-mounted display of virtual objects precisely aligned with external objects
WO2021146035A1 (en) * 2020-01-15 2021-07-22 Magic Leap, Inc. Compensation for deformation in head mounted display systems
KR20210130485A (ko) * 2020-04-22 2021-11-01 삼성전자주식회사 머리 착용형 디스플레이 장치 및 동작 방법
CN112348751B (zh) * 2020-10-27 2024-06-18 京东方科技集团股份有限公司 一种近眼显示设备的反畸变方法及装置
CN114446262B (zh) * 2020-10-30 2023-09-08 华为技术有限公司 色偏矫正方法和头戴显示装置
CN114449237B (zh) * 2020-10-31 2023-09-29 华为技术有限公司 一种反畸变反色散的方法以及相关设备
CN114624875B (zh) * 2020-12-14 2023-07-28 华为技术有限公司 图像校准方法和设备
SE2051559A1 (en) * 2020-12-23 2022-06-24 Tobii Ab Head-mounted display and method of optimisation
US11854170B2 (en) 2020-12-24 2023-12-26 Beijing Boe Optoelectronics Technology Co., Ltd. Method and apparatus of processing image distortion
US11442278B1 (en) * 2021-02-24 2022-09-13 International Business Machines Corporation Contextual peripheral segmentation
WO2022229943A1 (en) * 2021-04-27 2022-11-03 Elbit Systems Ltd Optical see through (ost) head mounted display (hmd) system and method for precise alignment of virtual objects with outwardly viewed objects
US20220392109A1 (en) * 2021-06-07 2022-12-08 Qualcomm Incorporated Methods and apparatus for dynamic distortion correction
GB2608705B (en) * 2021-06-30 2023-11-01 Apple Inc Eye tracking data filtering
EP4321923A1 (en) 2021-08-05 2024-02-14 Samsung Electronics Co., Ltd. Augmented reality device and method for detecting gaze of user
WO2023014185A1 (ko) * 2021-08-05 2023-02-09 삼성전자 주식회사 사용자의 시선을 검출하는 증강 현실 장치 및 방법
US11900725B2 (en) 2021-12-02 2024-02-13 Optum, Inc. Authentication and facial recognition through analysis of optometric prescription data
WO2023130431A1 (zh) * 2022-01-10 2023-07-13 京东方科技集团股份有限公司 眼动追踪装置和眼动追踪方法
US12092448B2 (en) * 2022-04-19 2024-09-17 Verizon Patent And Licensing Inc. Depth estimation for augmented reality

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456339B1 (en) 1998-07-31 2002-09-24 Massachusetts Institute Of Technology Super-resolution display
US20060145945A1 (en) 2002-01-07 2006-07-06 Lewis John R Scanned beam system with distortion compensation
US7404645B2 (en) 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
AU2008232319B2 (en) * 2007-03-28 2012-08-09 Brien Holden Vision Institute Characterising eye-related optical systems
US8126246B2 (en) * 2008-01-08 2012-02-28 Amo Wavefront Sciences, Llc Systems and methods for measuring surface shape
CN102053367B (zh) * 2010-09-28 2012-07-04 中航华东光电有限公司 双目头盔显示器图像校准方法
US8817379B2 (en) * 2011-07-12 2014-08-26 Google Inc. Whole image scanning mirror display system
US8520045B2 (en) * 2011-08-24 2013-08-27 Palo Alto Research Center Incorporated Single-pass imaging system with spatial light modulator and catadioptric anamorphic optical system
KR20140059213A (ko) * 2011-08-30 2014-05-15 마이크로소프트 코포레이션 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
EP2786196A4 (en) * 2011-12-02 2015-11-11 Jerry G Aguren 3D STEREO VISION PLATFORM WITH OUTSTANDING VIEW AND DYNAMIC CONTROL OF THE OPERATION OF A DISPLAY UNDER OR ABOUT WATER
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
US9740007B2 (en) * 2012-03-22 2017-08-22 Sony Corporation Display device, image processing device and image processing method, and computer program
CN105209953B (zh) * 2013-03-15 2020-01-03 依米有限公司 通过结构框架保持对准的头戴式显示器
US10228562B2 (en) * 2014-02-21 2019-03-12 Sony Interactive Entertainment Inc. Realtime lens aberration correction from eye tracking
CN104200454B (zh) * 2014-05-26 2017-02-01 深圳市中瀛鑫科技股份有限公司 鱼眼图像畸变校正方法及装置
US10931938B2 (en) * 2014-11-05 2021-02-23 The Boeing Company Method and system for stereoscopic simulation of a performance of a head-up display (HUD)
US9759919B2 (en) * 2015-01-05 2017-09-12 Microsoft Technology Licensing, Llc Virtual image display with curved light path
GB201505067D0 (en) * 2015-03-25 2015-05-06 Advanced Risc Mach Ltd Rendering systems
CN104902139B (zh) * 2015-04-30 2018-10-26 北京小鸟看看科技有限公司 一种头戴显示器和头戴显示器的视频数据处理方法
US10271042B2 (en) * 2015-05-29 2019-04-23 Seeing Machines Limited Calibration of a head mounted eye tracking system
US9721350B2 (en) * 2015-06-26 2017-08-01 Getalert Ltd. Methods circuits devices systems and associated computer executable code for video feed processing

Also Published As

Publication number Publication date
EP3955044A1 (en) 2022-02-16
EP3532887B1 (en) 2021-08-04
CN109891296A (zh) 2019-06-14
JP2020513580A (ja) 2020-05-14
WO2018081187A1 (en) 2018-05-03
US10621708B2 (en) 2020-04-14
US20180114298A1 (en) 2018-04-26
EP3532887A1 (en) 2019-09-04
EP3955044B1 (en) 2024-01-03
US10373297B2 (en) 2019-08-06
EP3532887A4 (en) 2020-06-17
CN109891296B (zh) 2021-10-12
JP7006962B2 (ja) 2022-01-24
KR102478370B1 (ko) 2022-12-16
CN113759556A (zh) 2021-12-07
US20190339529A1 (en) 2019-11-07
KR20190069563A (ko) 2019-06-19

Similar Documents

Publication Publication Date Title
CN113759556B (zh) 使用瞳孔位置校正光学透镜畸变
CN111512213B (zh) 具有针孔镜的增强现实光学系统
US10948740B2 (en) Head-mounted displays having curved lens arrays and generating elemental images for displaying
CA2815461C (en) Head-mounted display apparatus employing one or more fresnel lenses
US9632315B2 (en) Head-mounted display apparatus employing one or more fresnel lenses
KR101928764B1 (ko) 하나 이상의 반사 광학 표면이 수반된 헤드 장착 디스플레이 장치
TWI553344B (zh) 使用一或多個菲涅耳透鏡（ｆｒｅｓｎｅｌ ｌｅｎｓｅｓ）之頭戴式顯示裝置
US20230213772A1 (en) Display systems with collection optics for disparity sensing detectors
JP2023512868A (ja) ディスプレイシステム用の補正偏光補償光学系
WO2023158742A1 (en) Display systems with waveguide configuration to mitigate rainbow effect
US20230084541A1 (en) Compact imaging optics using spatially located, free form optical components for distortion compensation and image clarity enhancement
US20230209032A1 (en) Detection, analysis and correction of disparities in a display system utilizing disparity sensing port
US12085717B2 (en) Hybrid waveguide to maximize coverage in field of view (FOV)
US11927758B1 (en) Multi-laser illuminated mixed waveguide display with volume Bragg grating (VBG) and mirror
CN117724240A (zh) 具有面内照明的眼睛追踪系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant