CN112055827A - 具有数字校正像差的光学混合现实系统 - Google Patents

Abstract

本发明描述了一种用于虚拟和增强现实的头戴式显示器系统和校正光学像差的方法。该系统包括头戴式显示器系统的初始分析和眼睛跟踪装置。

Description

具有数字校正像差的光学混合现实系统

发明领域

本发明大体涉及光学系统领域，具体来说涉及用于虚拟现实(VR)和/或增强现实(AR)系统的光学成像设备。

更精确地，本发明实现了通过数字部件(即计算软件)校正VR/AR光学系统的像差。本发明在不引入额外的光学元件或设计修改的情况下通过提高VR/AR光学系统的质量来扩展其光学设计的局限性和/或适用性的范围。

发明背景

虚拟现实(VR)被定义为允许用户使其自身沉浸在其中的人工模拟的三维(3D)环境。VR的两个关键优点是沉浸感和交互性。沉浸感发生在所有五种感官都参与VR的时候，而交互性是在用户可以通过身体运动与他/她的环境交互的时候实现的。

因此，感官反馈和虚拟世界是创建虚拟环境的两个必要组成部分。虚拟世界包括虚拟物体及其在环境中的关系，这使得最终的虚拟环境有意义。感官反馈是以特定时间间隔对用户感官状态的反映。

当VR用模拟环境代替现实环境时，增强现实(AR)改变了人们对现实世界的当前感知(实时)，提供了一个现实世界环境的实时视图，其元素被计算机生成的感知信息“增强”(或减去)，理想地跨越与物理世界空间配准的多种感官形式(例如视觉、听觉、触觉、体感和嗅觉)，以实现沉浸感。“混合现实”在本文中被定义为将VR和/或AR成像技术结合的术语。

头戴式(或头盔式)显示器(HMD)是与VR/AR相关的最容易识别的设备(有时称为“VR眼镜”)。从复原到数据可视化，已发现基于HMD的混合现实技术有许多应用，如游戏、军事、航空、医学和工程环境。

通常，HMD是基于佩戴在头上的显示设备(或作为头盔的一部分)，在一只或两只眼睛前面有一个小显示器。广义而言，HMD可以被定义为一种附着在用户头部的设备，直接向眼睛呈现视觉信息，包括用户的周边视觉。

HMD在其操作技术和视觉信息方面有所不同，特别是在只显示计算机生成的图像(CGI)、来自物理世界的实时图像或两者的组合方面有所不同。

HMD还根据其目镜类型进行分类：单眼(单眼观看)和双眼(双眼观看)，可选地为每只眼睛提供略微不同的立体视觉图像视角。

HMD可进一步分类为：视频透视式、光学透视式和基于投影式。在透视式方法中，虚拟环境被(现实的)视频反馈所取代，并且AR被集成到数字化图像中。在光学透视式方法中，通过使用透视光学组合器(例如半透明反射镜、棱镜或全息光学元件)，AR信息被直接添加(叠加)到现实世界中。在投影HMD中，AR图像被投影到真实物体上，并被反射回到用户的眼睛中。

视网膜投影(也称为视网膜扫描显示器[RSD]或视网膜投影仪[RP])技术也适用于HMD。它使用将图像直接投影(光栅)到用户眼睛的视网膜上。用户看到的似乎是一个漂浮在他们面前空间的常规显示器。视网膜投影技术消除了对外部屏幕和复杂光学元件的需求。当前一代的视网膜投影VR头戴设备利用特殊的镜头来调整放置在眼睛附近的小屏幕的视距。

当设计HMD时，挑战在于获得高成像质量和紧凑性。这种规格具有挑战性，因为几何约束(适合用户的头部)会导致显著的几何像差。

大多数VR/AR系统利用某种形式的(位置)跟踪，这通常是通过HMD外部的传感器和相机来执行的。这些外设可以跟踪在设备范围内的任何位置中的用户头部、身体和手的位置。

特定的HMD配置包括一些眼睛跟踪装置，以测量用户注视的点，并允许计算机感测用户的视线(用户正在看的地方)。该信息对于使用用户界面导航的各种VR/AR应用程序非常重要。通过感测用户的注视(视线)，系统可以通过引起用户注意特定(例如添加的)细节来改变(由HMD显示的)信息。

眼睛跟踪实时测量结果(及其推断)被用于修改HMD的视觉数据。例如，HMD可以潜在地改变显示区域的深度，以更好地模拟自然视觉(即，更好的沉浸感)。VR物体还可以对用户的注视做出反应，或者使用户能够选择虚拟世界中的VR/AR项。事实证明，在HMD中使用眼睛跟踪技术对于真正逼真的VR/AR体验是至关重要的，它允许用户界面以自然且简单得多的方式进行交互。

在过去的几十年里，成像光学已经变得越来越复杂，以支持高质量的光学部件和系统(如单镜头反光[SLR]相机)。光学元件的高度复杂性通常是有效利用可用孔径比并且更重要的是对补偿简单镜头元件固有的不期望的伪像所必需的。

一般来说，任何光学系统也会遭遇光学伪像，这样的伪像如几何失真、色像差(波长相关的焦平面)、球面像差(光轴距离相关的焦距)、和彗差(角度与焦点的关系)。这样的伪像(即，偏离理想“薄镜头”模型的非线性偏差)的最小化是整体成像系统效率的优化的重要部分。

因为每个单个光学元件都遭遇这样的伪像，所以常常不同镜头元件的组合通常被使用，尤其是在需要高质量成像时(例如在摄影时)。然而，具有更好的几何成像特性的复杂像差补偿光学系统遭遇更高的制造成本、重量、镜头眩光、降低的可靠性等。

具体来说，由于其可佩戴的性质，因此典型的HMD-VR系统采用相对薄且轻量的VR/AR镜头，以保持系统对用户尽可能不显眼。显然，与例如通常由几十个单独的光学元件组成的高质量镜头相比，使用小的、轻量的(并且为了大规模生产而相对便宜的)光学元件会导致光学系统的质量降低。这样的图像质量折衷事实上是由于HMD显示器中使用的较薄/较小的(通常由塑料和/或菲涅耳镜头部件制成的)镜头容易出现像差，这最终会破坏用户的VR体验。

当现代VR HMD制造商转向更高分辨率的显示器时，图像质量已经接近光学系统能力的极限。替代方法包括旨在提高图像分辨率的繁琐的多部件配置，例如，在Massof的美国专利6,529,331中所描述的，其中提出了一种用于高分辨率HMD-VR体验的显示器阵列(例如，每只眼睛13个显示器，以及相对应的光学元件)。

Anton的专利WO2017/108211描述了一种HMD实施例，其中目镜和图像平面相对倾斜特定角度(优选在1°和5°之间)，以在视场中平均同轴和离轴光学像差(散光等)。此外，在该发明中，光学部件的非菲涅耳光学表面可以构成特定的衍射表面，以减少色像差。

显然，常规的光学设计无法解决现代VR/AR系统的相互矛盾的要求，诸如低重量/低占用空间/低成本与较高分辨率和较低光学像差光学器件的组合。

除了物理HMD修正(受限于HMD的可佩戴性质)，HMD光学系统(用于产生输入图像)的详细知识也可以在校正不期望的伪像方面发挥重要作用。这种知识(基于镜头简档(profile))可用于计算(即数字)像差校正。

基于镜头简档的图像校正方法通常利用光学镜头/系统的已知特征来(自动)校正各种类型的镜头失真(例如在高对比度边缘处的彩色条纹、渐晕等)。例如，在Enomoto的美国专利6,862,373中报道了一种方法，其描述了对来自通过光学元件(镜头)拍摄的图像的输入数据和关于用于记录该图像的该镜头的信息的获取。该方法还描述了使用关于在记录时的焦距和孔径(即镜头光圈开口)的信息以及镜头特性进行图像处理以校正图像中的像差和渐晕。

例如，Beuret等人描述了使用空间光调制器(SLM)衍射元件将实验像差补偿应用于穿透式HMD，以对HMD像差进行动态补偿。然而，由于所需部件的性质(诸如SLM、全息组合器和密集的实时图像处理)，这种系统可能被认为是不切实际的。

据我们所知，数字像差校正尚未有效地被应用于基于HMD的混合现实系统(除了标准畸变校正和横向色像差的径向对称部分)。

本公开提出了通过应用数字算法对从混合数据(即，仿真的和/或捕获的VR/AR场景)获得的输入图像进行实时图像处理，该数字算法包含关于该HMD光学系统的预先信息，诸如该HMD光学系统的预先计算的简档和用户眼睛的位置。

所公开的技术还利用眼睛跟踪系统来测量用户眼睛的瞳孔位置(例如，计算用户的眼睛注视)。一般的眼睛跟踪原理是众所周知的，并在其他地方进行了描述，例如参见Bouvin的美国专利8,120,577，其中记录眼睛运动的相机可以被定位在用户佩戴的眼镜框中。

在本发明的优选实施例中，“数字镜头”基于用于电子光学像差校正的非盲去卷积方法，该方法特别针对(轻量的)HMD VR系统进行了优化。最初在Shmunk的国际专利申请WO2012018282中公开了类似的方法，其中描述了基于现有光学成像系统的知识(即，其简档)的类似非盲去卷积技术。在该公开WO2012018282中，以类似的方式应用了人工神经网络(NN)，然而，重点是(相对于当前公开的单个输入图像中像差的减少)使用多个输入图像来提高光学分辨率。

一般来说，点扩散函数(PSF)是在光传播和成像系统性能的预测方面的重要特性。因此，在本发明的优选实施例中，“数字镜头”基于对图像的各种尺度(即仿真的和/或捕获的图像细节)的PSF提取和随后的NN训练。

本公开描述了在使用(例如，常规的)低成本光学部件的同时改进了质量的(基于HMD的)VR/AR系统。所提出的设计消除了对复杂(大、重和昂贵)光学系统的需求，同时提供了更好的图像质量，并最终提供了更好的用户VR/AR体验。

具体来说，代替使用复杂的光学器件，通过添加预处理或后处理计算部件来校正HMD光学系统的像差，实现VR性能改善。这样的部件(即基于所公开算法的计算处理)在下文中被称为光学系统的“数字镜头”。一般来说，这样的数字镜头包括预定义光学系统的光学分析(profiling)、以及用户瞳孔位置的知识，这将在下面详细描述。

所公开的方法扩展了基于VR/AR HMD的系统的适用性。它既可以应用于现有的镜头/显示器设计，也可以用于新的HMD设计，不受典型的硬件约束的限制。此外，所公开的发明适用于任何HMD配置和技术(棱镜、半透明反射镜、投影仪、菲涅耳镜头等)。

参考附图，从下面对优选和可选的实施例的描述中，本发明的另外的特征和方面将变得明显。

发明概述

本发明描述了一种基于光学系统的头戴式显示器(HMD)，该光学系统被设计成接收混合现实数据，所述混合现实数据诸如计算机生成的图像、以输入图像形式的现实世界图像(或其可能的组合)。该光学系统被设计成处理这样的输入图像，也无意中将光学像差引入其中。此外，本发明包括用于校正前述光学像差的数字镜头(即数字算法)。

本发明还描述了跟踪用户眼睛的位置或用户注视方向的眼睛跟踪装置。

数字镜头本身基于两个后续过程。第一过程包括产生适眼区(eye box)数据和光学系统简档(例如，神经网络[NN]加权系数)，而随后的第二过程产生眼睛跟踪数据并应用光学系统简档来形成没有所述光学像差的校正图像。然后，校正后的图像被显示给HMD用户。

另外，第一过程可以包括点扩展函数(PSF)提取、NN训练/加权系数提取、将PSF分成近场部分和远场部分、计算远场核和产生远场校正图像。第二过程可以依次包括NN启动、(重新调节的)输出计算、以及将重新调节的NN输出值与低频(LF)部分相加。

本公开可以被应用于各种HMD配置，诸如基于半反射镜的、基于棱镜的、基于波导的或基于视网膜扫描的系统，所述各种HMD配置可选地被设计用于用户的左眼和右眼。

眼睛跟踪数据包括瞳孔/眼球的三维坐标或注视方向。另外，可以结合眼睛跟踪数据执行小凹成像。

此外，本公开描述了基于所描述的HMD系统的用于去除光学像差的光学成像方法。这种方法可能涉及用于NN训练的Levenberg-Marquardt算法。

附图简述

图1中的a.、b.：现有技术。HMD系统的示例。

图2：现有技术。现有适用HMD系统的总体概览。

图3：数字镜头在HMD VR/AR系统中的应用的全视图。

图4：光学像差校正方法的全视图。

图5：图表和图像的几何和辐射对准(过程1)。

图6：光学系统分析(过程1)。

图7：远场图像校正和点扩散函数(PSF)提取(过程1)。

图8：色像差与眼睛的位置的关系。

图9：完整的图像处理(过程1和2)。

优选实施例的详细描述

对于本公开，术语“HMD”在此被定义为适于佩戴在用户头部的壳体，其中该壳体适于容纳HMD光学系统以处理混合数据并以显示的图像的形式将其处理后的内容呈现到用户的视野。

对于本公开，术语“显示的图像”在此指的是观看者观察到的图像。

对于本公开，术语“混合数据”在此被定义为根据计算机生成的图像(CGI)(即，仿真的)创建的图像信息，该计算机生成的图像可选地由现实世界信息(即，AR应用程序)增强，而现实世界信息又由相机捕获，或者由HMD光学系统直接传送到用户的眼睛。

输入图像是根据上述混合数据(即，仅有CGI，或者是具有物理世界图像的CGI)形成的视觉信息。具体地，对于本公开，术语“输入图像”在此被定义为包括CGI、来自物理世界的图像或它们的任意组合。

(HMD)光学系统适于接收输入图像并将它的内容转换成显示的图像。术语“光学系统”在此被定义为用于创建显示的图像的HMD光学系统的所有部件，而不包括DL(即具有眼睛跟踪系统的数字镜头，该眼睛跟踪系统向数字镜头提供数据)。

术语“捕获的图像”在这里指的是由数字相机捕获的图像。捕获的图像可以是(例如，对于HMD的AR实施方式)输入图像的一部分，或者(例如，对于VR HMD应用)完全从输入图像中被排除。

CGI数字内容可以由计算机处理装置(例如GPU-图形处理单元)创建，或者被集成在HMD壳体内，或者被独立放置，即(通过线缆或无线)与所述光学系统关联。

(HMD)光学系统可以被适配为透射式(穿透式)的，使得用户可以通过光学系统观察周围环境(现实世界)。可替代的光学系统实施例可以包括基于投影的和基于视网膜投影的HMD。

对于本发明的优选实施例，由眼睛跟踪系统执行眼睛跟踪测量，该眼睛跟踪系统可以被集成到HMD中或者独立被使用。“眼睛跟踪系统”在此处被定义为用于测量(即实时跟踪)用户眼睛的瞳孔位置以及可能地测量(即实时跟踪)用户注视方向的系统。这样的眼睛跟踪测量结果在下文中被称为“眼睛跟踪数据”。

眼睛跟踪数据被用于预先校正显示的视觉信息。在本发明的优选实施例中，提供了通过使用穿透式(视频或光学)、近眼、混合现实显示设备的共享光学器件来集成眼睛跟踪(基于相机或无相机)和显示功能的技术。

对用户眼睛跟踪数据(例如，眼睛瞳孔位置)的知识允许实现“小凹成像”技术。众所周知，“小凹成像”是一种数字图像处理技术，在这种技术中，图像分辨率(或细节量)在图像中根据单个或多个“注视点”而变化。关于本发明，注视点指示输入图像的最高分辨率区域，并且对应于眼睛视网膜的中心，即中央凹。

在本发明的优选实施例中，眼睛跟踪实现的小凹成像允许数字镜头算法选择性地应用于输入图像。具体来说，最强的像差校正(输入图像的最高分辨率区域)被应用于用户的注视区域，即在对应于用户中央凹的注视点(输入图像内)周围。这种最强的像差校正包括校正由散光和/或球面像差引起的拖影。输入图像的其余部分可以用更简单的技术(例如，仅通过校正横向色像差)来处理。

在图1中的a.图和图1的b.图中分别根据Heinrich的美国专利9,429,772和Kress的美国专利9,658,453示出了常规HMD系统的现有技术示例。后一种(Kress的)技术描述了校正由(通常用于HMD的)显示单元或衍射组合器引起的各种光学缺陷的光学元件。Kress承认衍射光学组合器(平坦的平面设计)对显示光的反射并不理想，导致(在反射的显示光中的)诸如失真、颜色模糊、球面像差、彗差和散光等光学像差。

虽然在一些设计中衍射光学组合器可以是弯曲的，但是它导致更高的复杂性，还需要额外的制造步骤。此外，可以通过使用单一颜色或单色显示源来解决颜色模糊，但是在剩余的光学像差中，散光仍然是最为有损于图像质量的主要像差。Kress还描述了可以采取的步骤(即，校正由衍射光学组合器在反射到眼睛中时引入的光学像差)，其包括被设计为预先补偿由衍射组合器引起的散光中的至少一部分以及上述其他光学像差的附加光学元件。这种光学元件可以通过夹子、铰接扣或夹子、透明胶水、摩擦配合或以其他方式插入、滑动、附接。

在图2中示出了光学穿透式头戴式显示器(OST-HMD)的各种设计。具体来说，图2示意性地示出了半反射镜型(即半透明平面镜或立方棱镜)(a.)、基于棱镜的类型(b.)、基于波导的类型(c.)、和基于视网膜扫描的类型(d.)的OST-HMD。

如参考图3进一步解释的，为了在HMD操作期间获得校正图像，图像(31)最初穿过数字镜头校正元件(32)，且然后被输出到具有常规光学元件(34)(例如薄塑料镜头)的HMD设备(33)。然后，用户的眼睛(37)观察到校正的图像(36)。如图3中示意性示出的，与没有应用数字镜头(32)的常规处理图像(35)相比，该校正的图像(36)没有像差并且具有更高的分辨率。本公开的目的是使用校正的图像(36)，来获得相比于常规图像(35)更好、更真实的VR/AR体验。

本公开提出使用数字镜头(以下称为DL)作为显示成像运作中的预校正步骤。这种DL充当虚拟的“校正镜头元件”，消除了对像差校正所需的附加(例如，重的并且复杂的)光学元件的需要。为了形成这种DL元件，在本发明优选的实施例中，高质量/高分辨率相机被精确地放置在HMD的正常操作期间观察者的眼睛所在的位置处；并且用这个相机捕获搜集图像。然后，创建光学系统简档，如下文详细描述的。

此外，如前所述，HMD包括(通过眼睛跟踪系统)眼睛瞳孔位置跟踪。知道眼睛相对于光学系统的其余部分的位置允许对在这种系统中出现的像差的准确DL校正。

由于使用了DL，有像差的原始图像的对比度和细微细节变得可见，并去除了彩色条纹。DL可以潜在地补偿所有上述类型的像差，包括纵向色差和像差和导致HMD光学元件中MTF(调制传递函数)退化的像差。

结合图4示意性地示出了在输入图像的一般情况下(如上所述)，将DL(作为光学系统的虚拟元件)应用于基于HMD的VR系统，其中HMD(410)构成HMD光学系统的部件(40)-(47)。

在此，混合数据(40)(即，(VR/AR场景))或者(例如对于VR应用)仅由CGI(41)提供，或者作为CGI(41)和由相机(42)观察到的捕获的图像(43)(即现实世界图像)的组合来提供。

所得出的产物(44)是输入图像(如上定义)，其本质上是提供给HMD(410)的输入信息。

然后，且在HMD常规镜头(49)应用之前，由被应用于校正被结合到输入图像(44)中的像差的计算部件(45)(即，DL)执行数字像差校正。

在应用常规的物镜/光学镜头(46)之后获得所得出的显示的图像(47)。所得出的显示的图像(47)在某种意义上是校正的图像，它代表了显著改善的输入图像(44)，且没有前述固有地被结合到输入图像(44)中的像差。

重要的是，为DL(45)的数字算法提供了特定的“外部”数据，特别是“光学简档”信息(48)和眼睛跟踪数据(49)(例如，眼睛瞳孔的位置)。

眼睛跟踪数据(47)由眼睛跟踪系统提供，而光学简档数据(46)根据对HMD(410)的分析来获得。

具体来说，光学简档数据(46)是通过对没有应用DL(45)(即，在HMD的实际操作之前)的HMD(410)光学系统的分析而创建的。这种对HMD的光学分析将被进一步详细描述(作为过程I)。

该公开的发明用于校正光学像差的任务，其优选地在适于HMD的光学系统中并且优选地使用将进一步详细描述的非盲去卷积技术。本文使用的术语“非盲”是在本发明通过对所关注的光学系统“分析”来利用已知的(例如，提前估计的)点扩散函数(PSF)的意义上而被使用的。一般来说，PSF描述了成像系统对点状物体或点光源的(三维)响应。从功能方面来说，PSF是成像系统在空间域中的传递函数。

具体来说，所公开的方法基于将对光学系统的像差的计算像差校正分成两个独立的过程，如下所述：

过程I——对光学系统的分析，特别是获得包含关于(例如基于HMD的)光学系统的信息的“光学简档”。在这一过程中，获得了如何最佳地校正由该光学系统引起的像差的信息。然后，该信息以该特定光学系统的“光学简档”的形式被存储。通常，对光学系统的这种分析是耗时的迭代过程。幸运的是，它对于选择的光学系统只需要被执行一次(例如，当其被设计和制造的时候)。

过程II：校正光学系统的像差。此处DL被直接应用于由光学系统获得的数据(图像)。DL包括(来自过程I)光学简档的信息以及(由眼睛跟踪系统获得的)眼睛跟踪数据。通过图像信号处理和显示装置(以与没有DL校正的情况相同的方式)，可以进一步处理和显示所得出的、即“校正的”图像。该步骤是非迭代的，相对快，能够例如以视频信号帧速率在现有图像处理器上和/或在功率受限的移动设备中执行图像的光学像差校正。

这两个独立的过程I和II可以针对各种成像应用(包括本公开所描述的VR/AR HMD系统)进行优化。在本发明的优选实施例中，可通过用高质量图像捕获设备代替人眼的位置来有效地对所选择的光学系统进行分析，在选择的HMD光学系统中执行过程I。因此，后来由该光学系统产生的任何图像可以在过程II中被例行地校正，基本上抵消了这种(例如，不完美的HMD)光学系统固有的像差。

本发明优选实施例的过程I包括两个主要步骤，具体来说是：步骤1：搜集图像捕获和几何/辐射对准；步骤2：创建光学系统的光学简档。以下详细描述这两个步骤。

步骤1(过程I)：搜集图像捕获和几何/辐射对准。在以下参考图5详细描述的这个步骤中，一组计算机生成的图表被创建。这些图表被显示在HMD上。然后，这些计算机生成的图表被光学系统记录以进行分析(也在图4中显示为(44))，产生通常是N个图像的序列(51)。

图像序列(51)包括光学系统的参数(即在捕获期间使用的相机的元数据)(诸如焦点距离、孔径大小(镜头光圈值)、焦距等)的知识。

这种计算机生成的图表的多个序列(即集合)应该用被放置在各种不同位置处的独立的外部光学系统/相机来记录，在正常的HMD操作期间正好是在观察者的眼睛可以被发现的地方。这样的位置(即空间中的体积，其中眼睛瞳孔可以相对于HMD被定位)被称为适眼区。这些计算机生成的图表代表了用于对光学系统进行分析的适眼区数据。

这种适眼区数据提供了关于观察者眼睛位置的像差特征的信息，本质上仿真了在没有观察者在场的情况下的眼睛跟踪数据。它可以依赖于以下至少一个适眼区测量结果：眼球位置；眼睛瞳孔位置；或者注视方向(都是相对于HMD的光学系统(即适眼区)记录的)。

进一步参考图5，对来自所捕获的图像序列的图表(51)执行几何和辐射对准(53)。为了这个目的，来自序列(51)中的搜集图像的子集及它们的所捕获的版本((52)的输出)用于便于几何对准(即场景/特征对准)和辐射对准(即，估计在每个图像中的颜色值的非线性函数并应用它来使图像辐射地对准，使得颜色值对于序列中的所有图像都是一致的)。

注意，在这种对准过程期间，计算机生成的图表(51)与所记录的图像(即被正在进行分析的系统捕获的图表图像的版本)对准。所有这种图像都是以相同的相机设置和在相同的照明条件下进行捕获的，因此它们不需要彼此对准。

在现有技术中已经报道了用于几何和辐射对准的各种已知的图像处理技术，且这些图像处理技术可以被所公开的方法利用，目的是从图表的匹配颜色和几何特征方面提供(尽可能)准确的图像对准。

该对准过程(53)的输出是一对对准的图像(54)。在本发明的优选实施例中，与其计算机生成的版本几何地和辐射地对准的图形图表的子集被提供作为对准过程的输出(54)的一部分。如图5所示，这一对包括所谓的“图表”和相对应的“对准的”图像。

这些图像(54)(即，图表和它们对准的版本一起)还在光学系统简档的创建中被使用，具体来说是用于提取关于特定光学系统的像差将被校正的方式的知识。

步骤2(过程I)：创建光学系统的光学简档。参考图6，详细解释了光学系统的简档创建的完整过程(过程I)。该过程开始于一对输入图像——图表和对准的(61)(也参见图5中的(54))，它们(可选地)被分成瓦片(62)。该数据被传递到远场校正(64)，该远场校正包括远场图像校正和点扩散函数(PSF)提取。远场校正(64)又提供两个输出：被存储到光学系统简档(63)中的远场核系数和只有剩余的近场像差的像素数据。

这些像素数据坚持完成低频(LF)/高频(HF)分割(66)。(66)的输出如下被提供作为NN(69)的输入。包含LF空间频率(LF部分)的像素数据被直接传递，而包含HF空间频率(HF部分)的像素数据经历数据调节(68)并且被传递到NN(69)。直接从(62)(或者如果不使用瓦片分割步骤则直接从(61))提供的像素数据的坐标(在图像平面内或者在瓦片内)形成NN(69)的另一个输入。

NN(69)还需要将被训练成的目标像素数据。这种像素数据是从对准的图像经过HF滤波器(65)和数据调节(67)而被提供的。在训练之后获得的NN权重和偏差(691)也被存储在光学系统简档(63)中。

参考图6，图表和对准的图像(61)(或它们对准的瓦片(62))的数据根据数据空间频率如下被分成两个部分：

一个部分(65)将仅包括具有高空间频率的内容(在下文中的从数据中提取的HF部分)，而另一个部分(66)将同时具有HF部分和LF部分(在下文中的从数据中提取的具有低空间频率的内容)。这个分割可以通过应用分别基于低通核和高通核的任何公知线性滤波器来实现。重要的是，LF部分(66)通常不受像差影响，且因此可以照原样通过而无需处理。然而，HF部分(65)需要被适当地校正，以便获得合乎需要的改善的图像。如上面所提到的，如果使用前面提到的选项来将图像分割成瓦片，则LF部分(66)和HF(65)部分二者都是独立地针对图表和对准的图像或相应的瓦片进行提取的。

参考图6，在该步骤中，先前从HF部分获得的像素数据由调节过程(37)准备(即“调节”)，以起到用于NN训练(69)的输入数据(参考)的作用。通常，NN(69)在机器学习过程中用于估计(或近似)依赖于大量通常未知的输入的函数系数(691)。在图像处理中，NN可以将参考(输入)图像用于自我预训练过程，该自我预训练过程在别处的文献中已经被详细描述。

在NN训练开始之前，可以例行地使用各种已知的数据预调节技术。重新调节(67)(在NN训练后的数据操纵)也可用于提高NN训练效率，例如以减少NN训练误差。重新调节(67)类似于(然而不必相等)预调节步骤(68)的逆过程。例如，当NN数据的动态范围以某种方式减小时，应该以相对应的动态范围扩展来重新调节NN的输出。

在本发明的优选实施例中，(68)的预调节和(67))的后调节包括下面的任何组合：

a.数据的动态范围的减小。通常，当NN被提供有具有有限动态范围的数据时，NN最佳地操作。存在减小数据的动态范围的许多众所周知的方式。一种可能的方式是通过输入像素的值的总和或通过最大输入像素值来归一化输入数据。

b.像素的值的非线性的应用。这种非线性用来强调具有小值的像素的贡献，因此指示NN产生针对小振幅输入的更准确的结果。这又导致在输出图像中的更好的信噪比(SNR)。例如，引入的非线性可以具有A^(1-α)形式，其中：A-是像素值，而α-是小常数(通常在0.02-0.2的范围内)。

一旦被训练，NN算法(包括数据预调节和后调节)就将获得关于如何将有像差的(例如模糊的)图像转换成尽可能接近输入图像(无像差)的信息(63)(即光学简档)。

NN(69)以逐像素方式操作。因此，为了校正特定像素的像差，处理该像素的特定邻域(在(62)内)。在本发明的优选实施例中，如参考图6详细所述，为NN输入和输出准备数据。

NN(69)被提供已处理像素的位置的知识，有效地允许NN(69)适应于在给定瓦片上的PSF的可变性。为此目的，输入图像的像素坐标从所捕获的图像(61)进行的瓦片分割步骤(62)传递到NN(63)的输入端。

来自图像瓦片(62)的HF部分(66)在受到前面提到的“数据调节”(68)之后被传递到NN(69)的输入端。使用在输入图像的特定邻域内(例如，距正在被处理的像素小于9个像素距离)的像素来提取该HF部分(66)。

从瓦片(62)处理的像素的HF部分(65)在受到前面提到的“数据调节”(67)之后也被传递到NN(69)的输出端，并用作NN输出数据。

此外，来自输入图像瓦片(62)的LF部分(66)被传递到NN(69)的输入端。如所提到的，使用在输入图像的较大邻域内(例如，距正在被处理的像素大于八个像素距离)的像素来提取该LF部分(66)。

一旦所有的输入和输出数据被准备好，NN训练就开始。

在本发明的优选实施例中，使用众所周知的训练算法(例如Levenberg-Marquardt)来执行训练。训练的NN(在图6中被标记为(691))的权重被提取，并以“光学系统简档”的形式连同从远场校正步骤(64)获得的核一起被存储。每个瓦片的权重和核是唯一的，因此每个瓦片都有它自己的一组这样的参数。

以下参考图7更详细地描述远场图像校正(64)和点扩散函数(PSF)提取的过程。因此，图像(由相机的视场提供(最初在图5中被显示为(54)))可以可选地使用瓦片分割过程(70)分成更小的部分，其在下文中分别被称为图表(72)和对准的图像(71)的“瓦片”。

PSF由于它对在光学系统视场内的各种特征(重要的是，包括用户眼睛的位置)的大小、浓度和分布的依赖性，按其性质是高度可变的。因此，参考图7，可选的步骤(71)和(72)通常被执行以减少在给定光学系统的视场内的PSF形状的可变性。在每个单个瓦片中，与原始(图表和/或对准的)图像相比，PSF可变性(即像差)较低(但仍然存在)且因此可以更有效地被补偿。

然后执行所谓的远程校正，其将在下面结合图7进行解释。PSF近似被提取(73)且然后被分成两个部分：在已处理的像素的特定邻域内计算的近场部分(74)(例如具有小于六个像素的半径)；和远场部分(76)，其中PSF(和像差)在近场部分半径之外被提取。

所提到的从输入数据对PSF近似(73)的提取可以基于在现有技术中已知的许多方法之一，例如见Felix等。虽然这个所报告的方法提供了非常好的PSF估计，但是它是非常耗时的。为了减少计算量起见，更简单的方法将是相当优选的。

参考图7，在所公开的发明的优选实施例中，针对(73)实现下面的方法：i)输入图像的瓦片的二维(2D)傅立叶变换除以对准的图像的相对应的瓦片的2D傅立叶变换。ii)结果是以2D傅立叶逆变换被变换回的。

这种方法是本领域中的技术人员公知的。值得提到的是，为了避免潜在的噪声分量的过量放大(即，对准的图像频率分量是低振幅的)，应该将保护偏置值添加到对准的图像的频率分量的值。

可选地，具有远场核的远场图像校正可以在DL应用期间被使用。远场核计算(75)和卷积(77)导致其中所有像差和模糊均由远场部分引起的图像被校正。如下所述，记录所选择的远场校正的参数(即从远场校正(76)获得的核系数(75))连同光学系统简档，以用于以后使用。

在图像处理中，核是的卷积矩阵(比图像本身小得多)，用于图像的修改(例如锐化、模糊、边缘检测等)。这通过在特定内核和选择的图像之间应用矩阵卷积运算来实现。

PSF(74)的近场部分被丢弃，因为在输出图像中没有显著噪声放大的情况下近场PSF的简单反转是不可能的。

前面提到的将所述处理的分割成近场和远场的(74)和(76)的原因是双重的。首先，远场校正不放大噪声，消除了不希望有的伪像，且因此可以由需要较少的计算资源的相对更简单的方法来执行。其次，这种近场校正需要有限数量的输入数据被处理，因此进一步降低了处理要求。这种分离用算术方法执行。以最简单的方式，在特定半径内的所有PSF值都形成近部分，而在该半径外的所有PSF值都形成远部分。但是实际上，在这两个部分之间有某个平滑的过渡区域。

远场部分(76)通过将频率分量乘以具有在高频处的零振幅同时接近在低频处的单位值的窗口而被获得。高斯2D分布将是这种窗口的一个方便的示例。采用2D逆变换来获得在空间域中的远场部分(76)。因为远场校正没有任何高频空间分量，所以它的应用不导致任何高频噪声分量的放大。因此，远场核构造过程(75)是直接的，并且可以通过一些公知的方法实现。

在优选实施例中使用的方法利用输入图像与所获得的远部分PSF的卷积，接着从输入图像中减去结果。这种(相对简单的)方法将有效地校正由光学系统引起的一阶模糊和像差。

应当注意的是，由于(用于处理的)输入图像已经是有像差的事实，所谓的二次像差可能仍然被引起，然而，因为在通常的光学系统中远场效应在振幅上很低，所以这样的前面提到的校正的二次效应是可忽略的。

当构造远场核(75)时，它的系数被传递给光学系统简档。然后，核与输入图像瓦片像素数据卷积(77)，导致远场校正的另一输出(在前面的图6中被显示为(64)-(66)连接)。该输出是仅包含近场剩余像差(78)的瓦片。

图8图示了事实上在HMD中使用的单个常规(塑料)元件(82)(无论是普通镜头还是菲涅耳镜头)导致光学系统中的高色散，并因此导致高水平的色像差。当不同的颜色通道照射视网膜不同的位置时，横向色像差就显现出来了。图8图示了这种横向色像差与用户眼睛位置的关系，具体是，在用户的眼睛(81)直接位于光轴上时(图8的a.)相比于适眼区内的离轴眼睛位置(图8的b.)。如放大的镶嵌物(83)所示，对于这两种情况，光学像差的量(显示为照射视网膜的光线的扩散)是不同的。

为了解决相差与眼睛位置的关系，眼睛跟踪数据被用于预校正所显示的视觉信息。本发明的优选实施例的过程II基于获得实时眼睛跟踪数据，以及将前述描述的DL应用于输入图像，如在此参考图9详细解释的。

眼睛跟踪数据是眼睛跟踪系统对用户眼睛的瞳孔位置的测量结果。在本发明的优选实施例中，提供了通过使用穿透式(视频或光学)、近眼、混合现实显示设备的共享光学器件来集成眼睛跟踪(基于相机或无相机)和显示功能的技术，例如在Bohn的美国专利US 8,998,414中所描述的。参考图9，眼睛瞳孔位置/注视数据(993)被提供(也参见图4中的(47))给NN(990)，并且可选地，被提供给远场校正(95)。

下面将详细解释DL应用。根据图9，图像处理的输入是输入图像(92)和光学系统简档(96)。原始图像的像素数据(可选地)被分割成瓦片(94)。它可选地使用来自光学系统简档(96)的核系数经历远场校正(95)。

之后，像素数据经过LF/HF分割(97)，并且该(97)的输出被提供作为神经网络(990)的输入，包含LF空间频率的像素数据被直接传递，而包含HF空间频率的像素数据经历数据调节(991)，且在此之后被传递到NN(990)。NN(990)的又一个输入是像素数据的坐标(在图像平面内或在瓦片内)，其由(94)直接提供，或者如果不使用瓦片封过程，则由(92)直接提供。对于给定瓦片，从光学系统简档(96)获得NN(990)的权重和偏差。

如上所述，眼睛瞳孔位置/注视数据(993)被实时提供给NN(990)，并且可选地)提供给远场校正(95)。

NN(990)的输出经历数据再调节(993)，并与来自LF/HF分割滤波器(97)的LF输出相加(88)。相加的结果根据各个瓦片被重新组合(93)成单个图像(如果使用瓦片分割步骤)，并且这种重新组合形成校正的输出图像(91)。

使用类似于过程I(光学系统分析)的处理来执行任意输入场景的处理(然而在过程I中已经为该系统准备了简档(96))，仅在数据流中有少量变化。

输入(92)是将要被处理的输入场景，其以与在过程I中描述的方式类似的方式(见图6和图7)被传递经过瓦片分割过程(94)。

然后，远场校正(95)可选地以与在过程I中描述的方式类似的方式(还参见图7中的(76))来执行，不同之处在于远场校正核已经被认为从光学系统简档中获得(过程I)。

然后，图像数据被分割成LF部分和HF部分(97)，类似于在过程I中解释的LF/HF分割过程(参见图6的(66))。HF部分还被传递经过像素数据的调节过程(991)，这也类似于在过程I中解释的调节。

所描述的过程(92)、(94)和(95)连同(在过程I中获得的)光学系统简档(96)形成NN(990)的输入数据。就像素坐标而言，该数据类似于在系统分析步骤中的过程I期间形成的数据，其中LF部分的像素被处理，而HF部分的像素在特定邻域内。

NN(990)的输出的后续处理最终形成图像(91)(经过瓦片合并(93))，该图像是“完美的”，当通过HMD光学系统显示时，像差被预先补偿，并且不会出现在观察者看到的显示的图像中。具体来说，NN(990)输出值被传递通过“数据重新调节”过程(992)，该过程在本发明的优选实施例中是数据调节过程(990)的算术逆。该结果通过过程(98)与被处理的像素的LF部分(97)相加。

最后，输入图像的所有经处理的瓦片(93)被重新组合以形成单个输出图像(91)。在本发明的优选实施例中，在(93)中组合的瓦片应具有一些重叠区域。在这些区域中，处理(93)的结果从一个瓦片到另一个瓦片平滑地衰减，以在组合成最终图像(91)期间消除任何可见接缝。这种可见接缝是由于一个瓦片到另一个瓦片偏离经校正的输出的偏差引起的。

尽管在本文示出和描述了几个示例性实施例，但是本领域的技术人员将认识到，在不偏离本发明的精神和范围的情况下许多修改和变化是可能的，并且意图是仅通过所附权利要求来衡量本发明。

Claims (20)

1.一种头戴式显示器(HMD)，包括：

光学系统；

混合数据，所述混合数据是计算机生成的图像、现实世界的图像或计算机生成的图像与现实世界的图像的任意组合；

输入图像，所述输入图像被所述光学系统获得，所述输入图像通过所述混合数据形成；

光学像差，所述光学像差是由所述光学系统引入到所述输入图像中的；

眼睛跟踪系统；

数字镜头，所述数字镜头用于校正所述光学像差，所述数字镜头还包括：

第一过程和第二过程，所述第一过程和所述第二过程用于最优地校正所述光学系统的光学像差，其中，所述第一过程在所述第二过程之前被执行，所述第一过程包括：

收集适眼区数据；

创建光学系统简档，所述光学系统简档包含所述适眼区数据；以及

所述第二过程包括：

形成眼睛跟踪数据，所述眼睛跟踪数据是由所述眼睛跟踪系统获得的；

通过应用所述光学系统简档和所述眼睛跟踪数据形成校正的图像，所述校正的图像是在所述光学像差被校正的情况下的输入图像；

通过向用户显示所述校正的图像来形成显示的图像。

2.根据权利要求1所述的系统，其中，所述第一过程还包括：

提取点扩散函数(PSF)；

启动神经网络(NN)训练；

提取所述NN的NN加权系数。

3.根据权利要求1所述的系统，其中，所述第二过程还包括：

启动所述NN；

计算NN输出值；

根据所述NN输出值，计算重新调节的NN输出；

将所重新调节的NN输出值与原始低频(LF)部分相加。

4.根据权利要求1所述的系统，其中，所述光学系统简档是包含所述NN加权系数的数据。

5.根据权利要求1所述的系统，其中，所述光学系统是基于半反射镜的系统。

6.根据权利要求1所述的系统，其中，所述光学系统是基于棱镜的系统。

7.根据权利要求1所述的系统，其中，所述光学系统是基于波导的系统。

8.根据权利要求1所述的系统，其中，所述光学系统是基于视网膜扫描的系统。

9.根据权利要求1所述的系统，其中，所述显示的图像是针对用户的左眼和右眼分别形成的。

10.根据权利要求1所述的系统，其中，所述眼睛跟踪数据是所述用户的眼睛的瞳孔的三维坐标。

11.根据权利要求1所述的系统，其中，所述眼睛跟踪数据包括小凹成像。

12.根据权利要求1所述的系统，其中，所述眼睛跟踪数据是所述用户的注视方向。

13.根据权利要求1所述的系统，其中，所述眼睛跟踪数据是所述用户的眼球的三维坐标。

14.根据权利要求1所述的系统，其中，所述第一过程还包括：

将所述PSF分割成两部分，所述部分是近场部分和远场部分；

根据所述远场部分计算远场核；

产生远场校正的图像。

15.一种用于去除头戴式显示器(HMD)的光学像差的光学成像方法，所述HMD包括：

光学系统；

混合数据，所述混合数据是计算机生成的图像、现实世界的图像或计算机生成的图像与现实世界的图像的任意组合；

输入图像，所述输入图像由所述光学系统获得，所述输入图像由所述混合数据形成；

光学像差，所述光学相差是由所述光学系统引入所述输入图像中的；

眼睛跟踪系统；

数字镜头，所述数字镜头用于校正所述光学像差，所述数字镜头还包括：

第一过程和第二过程，所述第一过程和所述第二过程用于最优地校正所述光学系统的光学像差，其中，所述第一过程在所述第二过程之前被执行，所述第一过程包括：

收集适眼区数据；

创建光学系统简档，所述光学系统简档包含所述适眼区数据；以及

所述第二过程包括：

形成眼睛跟踪数据，所述眼睛跟踪数据是由所述眼睛跟踪系统获得的；

通过应用所述光学系统简档和所述眼睛跟踪数据形成校正的图像，所述校正的图像是在所述光学像差被校正的情况下的输入图像；

通过向用户显示所述校正的图像来形成显示的图像。

16.根据权利要求15所述的方法，其中，所述第一过程还包括：

提取PSF；

启动NN训练；

提取所述NN的NN加权系数。

17.根据权利要求15所述的方法，其中，所述第二过程还包括：

启动所述NN；

计算NN输出值；

根据所述NN输出值，计算重新调节的NN输出；

将所重新调节的NN输出值与原始LF部分相加。

18.根据权利要求15所述的方法，其中，所述光学系统简档是包含所述NN加权系数的数据。

19.根据权利要求15所述的方法，其中，所述显示的图像是针对用户的左眼和右眼分别形成的。

20.根据权利要求15所述的方法，其中，所述NN训练是使用Levenberg-Marquardt训练算法来执行的。

Images