CN112189161B - 适应人视觉的光场显示器 - Google Patents

Abstract

提供被布置为产生光场以照亮人眼的显示设备。光场包括实际上与第一基准表面和第二基准表面相交的多个光束，所述第一基准表面为穿过眼球球体中心并垂直于头骨前方方向的面，并且，所述第二基准表面位于与使用者头骨相距一距离的位置处且是以眼球球体中心为中心的球体的一部分，所述第二基准表面的中心被定义为穿过眼球球体中心并指向头骨前方方向的线的交点。各光束是直线的集合，所述线的线段与在任何时候具有近似相等的亮度和颜色的照亮眼睛的光线轨迹一致。

Description

适应人视觉的光场显示器

技术领域

本申请涉及视觉显示，尤其涉及头戴式和平视显示技术。

背景技术

1.引用文献

WO 2015/077718，公开于2015年5月28日，为PCT/US 2014/067149，用于“Immersive compact display glasses”，以下简称“PCT1”。

WO 2016/118640，公开于2016年7月28日，为PCT/US 2016/014151，用于“Visualdisplay with time multiplexing”，以下简称为“PCT2”。

WO 2016/118643，公开于2016年7月28日，为PCT/US 2016/014155，用于“Displaydevice with total internal reflection”，以下简称为“PCT3”。

WO 2016/118648，公开于2016年7月28日，是PCT/US 2016/014163，用于“Imagingoptics adapted to the human eye resolution”，以下简称为“PCT6”。

E.Peli,"Visual and optometric issues with head-mounted displays,"inIS&T/OSA:Optics&Imaging in the Information Age,(The Society for ImagingScience and Technology,1996).pp.364-369.(“Peli 1996”).

F.C.Huang,K.Chen,G.Wetzstein"The Light Field Stereoscope:ImmersiveComputer Graphics via Factored Near-Eye Light Field Display with Focus Cues",ACM Transactions on Graphics(SIGGRAPH),2015(“Huang 2015”).

F.C.Huang,G.Wetzstein,B.A.Barsky,R.Raskar,“Eyeglasses-free Display:Towards Correcting Visual Aberrations with Computational Light FieldDisplays”,ACM Transactions on Graphics(SIGGRAPH),2014(“Huang 2014”).

Douglas Lanman and David Luebke.2013.Near-eye light field displays.InACM SIGGRAPH 2013 Emerging Technologies(SIGGRAPH'13).ACM,New York,NY,USA,Article11,1 page.DOI:https://doi.org/10.1145/2503368.2503379(“Lanman2013”).

G.Kramida,"Resolving the vergence-accommodation conflict in head-mounted displays",IEEE Transactions on Visualization and Computer Graphics,vol.22,no.7,pp.1912-1931,2016.(“Kramida 2016”).

M.Lambooij and W.IJsselsteijn,“Visual discomfort and visual fatigueof stereoscopic displays:A review,”J.Imaging Sci.Tech.,vol.53,no.3,pp.1–14,May 2009.(“Lambooij 2009”).

Mali Liu,Chihao Lu,Haifeng Li,Xu Liu,“Near eye light field displaybased on human visual features”,Optical Express,Vol.25,No.9,2017(“Mali2017”).

C.A.Curcio,K.R.Sloan,R.E.Kalina,and A.E.Hendrickson,“Humanphotoreceptor topography”,J.Comp.Neurol.292,pp.497–523,1990(“Curcio 1990”).

http://pabloartal.blogspot.com.es/2013/09/more-on-kappa-angle-o f-human-eye.html(“Artal”).

J.L.Kerr,Visual resolution in the periphery,Perception&Psychophysics,1971,Vol.9(3B)(“Kerr”).

Douglas Lanman,David Luebke,Near-Eye Light Field Displays,ACMSIGGRAPH 2013 Emerging Technologies,July 2013.

J.E.Melzer,Overcoming the Field of View:Resolution Invariant in HeadMounted Displays,SPIE Vol.3362,1998.

T.Tsujimura,OLED displays:Fundamentals and Applications,Wiley,2012

在这里通过引用并入以上所有文献的公开的全部内容。

2.定义

3.现有技术状态

彩色数字显示器是能够跨着其显示表面控制亮度(以流明/平方米即lm/m²测量)的时间和空间光调制器。通常，该表面包含许多称为像素的小区域，在这些小区域内，存在有时称为子像素的更小的区域，它们中的每一个发射窄带光谱(通常为红色R、绿色G或蓝色B)。子像素的不同点的亮度大致相等。对于数字显示器，能够控制各子像素的亮度并使其随时间变化。时间变化通常以称为帧时间的固定间隔进行。如果像素的尺寸和帧时间小，我们可以近似地说，对于跨着显示表面的任何点(x,y)以及对于任何时刻t，我们可以控制子像素的任何颜色的亮度函数I(x,y,t)。此后，除非另有规定，我们不考虑数字显示器的颜色和时间依赖性。

理想情况下，(单色)光场显示器(LFD)是控制亮度(通常测量单位为nit＝cd m^-2＝lm m^-2sr^-1)的器件，亮度也称为在其表面处发射的光的亮度或全光函数。LFD可以通过精确再现所有深度线索并因此解决大多数立体显示器固有的辐辏调节冲突(vergence-accommodation conflict)，潜在地提高三维视觉体验(例如虚拟现实VR)中的视觉舒适性。如需了解更多关于这种辐辏调节冲突的详细信息，请参阅例如“Peli 1996”、“Kramida2016”和“Lambooij 2009”。全光或亮度函数是光线原点(x,y)的空间位置及其在该原点的角方向(p,q)的函数L(x,y,p,q)(p、q分别是光线相对于两个笛卡尔轴x,y的方向余弦)。光线的方向有时通过光线与另一个z＝恒定的平面(其中z垂直于显示表面)的交点(x′,y′)而不是变量p、q确定。

图1通过表示示例性3D对象100、基准平面101(x,y)和另一平面102(x′,y′)示出这一点。示例性光线104从基准平面101上的点103开始，并在位置105处碰到平面102。在这种情况下，L可以表示为L(x,y,x′,y′)，它是这两个平面101和102处的光线位置(x,y,x′,y′)的函数。一般来说，两个平面是平行的，并且，由于矢量(p,q,r)和(x′-x,y′-y,D)是平行的(r是第三方向余弦p²+q²+r²＝1，D是平面之间的距离)并且因此(x′-x)/p＝(y′-y)/q＝D/r，因此(p,q)和(x′,y′)之间的关系容易被推导。

没有实际的LFD可以精确地产生规定的四变量函数L(x,y,x′,y′)，而只是其近似值。图2示出这种近似：例如，Huang的立体镜(“Huang 2015”)基于由背光207照明的两个堆叠液晶显示器(LCD)204和205。图2还示出虚拟3D对象200、背光207上的发射点208、第一显示器204上的像素/点201、第二显示器205上的像素/点202以及瞳孔平面206处的点203。显示器204与显示器205的距离为d并且与瞳孔平面206的距离为D。还示出从LFD接收照明的人眼的眼瞳207。眼瞳207位于瞳孔平面206处。

由于两个LCD都被像素离散化(意味着相同像素的所有点的透射率是相同的)，因此得到的LFD也被离散成光线的细光束的多个集合，它们中的每一个包含连接第一显示器204的像素与第二显示器205上的像素的所有光线。光束在4维空间x-y-x′-y′中由该空间的包含光线(x,y,x′,y′)的小区域表示，使得点(x,y)属于第一显示器204的给定像素并且(x′,y′)属于第二显示器205的像素。在一般情况下，我们将光束或光线光束束称为始终共享相同的亮度和颜色(大约)的光线(直线)的集合。由于子像素是常规显示器的图像单元，因此这些光束类似地构成LFD单元。然后，LFD发射由光束而不是常规显示器的子像素组成。光束定义是通过使用在到达作为介质的眼睛体积空气之前与空气中的光线轨迹一致的直线完成的，并且这些直线最终将在VR镜头之前或眼睛之后延伸。

在Huang 2015的例子中，LCD中的一个的平面是平面(x,y)，因此其透射率可以写为A(x,y)。以深度间隙d在第一个前面堆叠的另一个LCD具有透射率B(x″,y″)。即，A和B是必须显示在这些LCD中以产生光场L(x,y,x′,y′)的图像。注意，由于矢量(x″-x,y″-y,d)和(x′-x,y′-y,D)是平行的，因此坐标x″和y″可以写为x、y、x′、y′、d和D的函数。然后，两个LCD加上背光的亮度可以写为两个透射率的积A(x,y)·B[x″(x、y、x′、y′),y″(x、y、x′、y′)]，这里，我们假设背光207具有单位亮度的朗伯发射。因此，Huang 2015的方案包括尽可能精确地将4变量函数L(x,y,x′,y′)分解为两个2变量A和B的积。注意到乘积AB是(x,y,x′,y′)的函数并且A和B均必须在0和1之间。Huang 2015等提出的计算函数A和B的方式是最小化作为变量x、y、x′、y′的积分的优值函数(merit function)M，这将目标亮度L(x,y,x′,y′)(归一化为1)与乘积AB:M＝∫_R(L-AB)²dxdydx′dy′相比较。注意，在Huang 2015中，对于光场中的每个光线(因此对于每个光束)的函数A和B的计算同样重要，前提是它在积分R的域内，或者更精确地说，每个光线在前面的积分中被面积dxdydx′dy′的乘积加权。

在另一类型的LFD(“Lanman 2013”)中，相同的微透镜的阵列被放置在约以微透镜的焦距f分开的高分辨率显示器前面。

图3示出表示虚拟3D对象300、显示器301、微透镜阵列302、瞳孔面303和详细视图304的现有技术实施例。

微透镜阵列的投影面积与显示活动区域大致相同。微透镜的数量m远小于像素的数量，因此在显示平面上的每个微透镜的法线投影下有k个像素(k>>1)。我们把微透镜的簇称为这组像素。如果d是微透镜间距，则微透镜的平面处的LFD离散为d的倍数，并且每个微透镜簇的k个像素用于在每个微透镜位置的k个离散方向上创建规定的亮度。Lanman的LFD中的光束由以由单个像素照亮的方向从微透镜孔径发出的光线形成。因此最后我们得到m乘以k个其亮度将由显示器控制的光束。设I(x,y)为显示器的归一化亮度函数。然后，用L(x,y,p,q)≈I(d·(int(x/d)+1/2)+f·p,d·(int(y/d)+1/2)+f·q)近似归一化的四变量亮度函数L(x,y,p,q)，这里，int(x)意指x的整数部分。该近似假设方形微透镜阵列，并且限于满足|f·p|<d/2；|f·q|<d/2的p和q值。

对于HMD应用，光场将照亮一个或两个用户的眼睛(他们的瞳孔范围更精确)，并且眼球中心相对于显示器位于固定位置。现有技术的LFD没有考虑到人视觉的重要方面。例如，人眼只能对于聚焦在中心凹(位于视网膜－眼球后部－与瞳孔和眼睛中心对齐的区域)的光线感知高分辨率：聚焦在该区域之外的光线会被感知为模糊的。随着入射光的外周角增大，即随着视网膜上的图像点离开中心凹，眼睛的分辨率变差。这是由于视网膜中光感受器的密度的变化(“Curcio 1990”)。

发明内容

用于大规模生产的HMD设备必须使用相对便宜的光学器件，这意味着几个光学部件通常由塑料注塑制成。因此，光学设计中的自由度是稀缺的，应该明智地加以利用。尤其是这些自由度不应该浪费在改善永远不会到达中心凹的光线的图像质量上。应根据它们可着落(land)的视网膜点的最佳预期眼睛分辨率使用设计自由度。

当没有关于中心凹位置的信息时(例如，在没有凝视跟踪的HMD中)，我们可以对给定凝视位置的光线进行加权，其权重与视网膜的被发送的点的平均人分辨率成比例，乘以找到眼睛在该凝视位置的概率，并求出所有可能凝视位置的平均值。入射到眼球的光线可以由交点r_eα(α是单位矢量，r_e是眼球的半径)及其方向θ(也是单位矢量)表征。使γ为(单位)凝视矢量、p(γ)为凝视方向γ的概率密度函数且使dΩ_γ为立体角的微分，因此∫p(γ)dΩ_γ＝1。这种概率密度函数已在例如“A.Terry Bahill,Michael R.Clark,LawrenceStark,“Dynamic overshoot in saccadic eye movements is caused by neurologicalcontrol signal reversals,”Experimental Neurology 48-1(1975)”中研究过。为了实践目的，如果γ在围绕前方向的半角30度的圆锥外、即可凝视区域是30度的圆锥并且在该锥体内的各方向之间均匀地共享概率，则通常假设p(γ)＝0。注意，这不意味着FOV是30度角的圆锥。如果V_e是作为由入射方向和凝视矢量形成的角度的函数(我们在这里隐含地假设可忽略的kappa角，这并不总是正确的，见“Artal”)的人眼视觉敏锐度并且P是瞳孔的透过函数(如果光线照射在瞳孔内则P＝1，否则为0)，则加权函数应为w(α,θ)＝∫P(α·γ)V_e(θ·γ)p(γ)dΩ_γ。设计过程中的自由度的消耗应与该加权函数近似成比例，因此光学设计对于可能聚焦在中心凹的光线比对于剩余光线具有更好的图像质量。由于可能进入中心凹的光线形成到达瞳孔范围的光线的一小子集，因此这对设计过程是重要的。人眼响应的这方面在使用非LFD的HMD中被考虑，诸如在PCT1和PCT6中公开的那些。当光学系统分辨率是α和θ的函数使得它与w(α,θ)类似地改善或劣化时，我们称光学分辨率与平均眼睛分辨率相匹配。

当存在关于中心凹位置的信息时，到达中心凹的光线集合(其是可能到达视网膜的光线集合的子集)是已知的，并且，例如，通过改进发送到中心凹的发光像素的数字显示信息，该信息可用于进一步改善由中心凹接收的图像质量。一般情况下，由于光学器件不具有足够快地随时间改变其光学特性以跟随中心凹的移动的可移动零件或部件，因此在给定时刻关于实际中心凹位置的信息不能用于光学零件设计。

正如我们所说，在Huang 2015和Lanman的方案中，所有光束在优化过程和计算中具有相同的重要性，即所有光线的加权函数都是相同的。因此，LFD系统对图像中的所有光束显示出相同的性能，与它们是否会到达中心凹或其外部无关。

Mali 2017年最近与Huang 2015类似地引入了因子分解LFD，但考虑到眼睛在固定位置并根据人眼分辨率非均匀地离散(x,y)坐标。由于这种离散化固定于眼睛而不是使用者的头骨，因此Mali的方案需要实现眼睛跟踪。

相比之下，在本申请所描述的实施例中，LFD根据之前定义的光线加权函数进行优化，因此最终击中中心凹的光束是在设计中消耗更多自由度的光束，这通常导致获得最佳性能。通过这样做，由光场产生的图像质量对实际观察者来说好得多。我们假设LFD相对于使用者的头骨是静止(rigid)的，眼睛的中心(大约)也是如此，但是，由于眼球可能在头骨的眼腔内旋转，因此眼瞳不是如此，中央凹也不是如此。最终可能在中央凹中成像的光线是那些以指向这个眼球的中心部分的方式进入眼睛的光线，因此如果那儿没有眼睛，它们会经过靠近眼球中心的地方。更准确地，我们可以说，对于聚焦到中心凹中的这些光线，它们必须穿过眼瞳并且它们应照射(impinge)眼睛，这样，如果那儿没有眼睛，它们会以到眼球中心的不明显大于眼瞳半径的距离通过。眼瞳直径从2mm到7mm不等(参见例如AndrewB.Watson,John I.Yellott；A unified formula for light-adapted pupilsize.Journal of Vision 2012；12(10):12,doi:10.1167/12.10.12)。为了实践目的，我们可以把它设为4mm。注意，当晶体透镜被调节以在视网膜中将无穷远成像时，中心凹区域覆盖约5度全角的角锥，因此，如果眼腔是空的，则在中心凹中成像的光线会以小的角发散度(±2.5度)形成直径约4毫米的锥形管。当晶体被调节到其它距离时，在中心凹中成像的光线的角发散度是不同的束，但如果眼腔是空的，则它们在眼腔内的轨迹仍然会以小的角发散度形成锥形管(几乎是直径为4毫米的圆筒管)。

视网膜不同部位的相对敏锐度有很大的不同，但是不存在关于该敏锐度的中央凹的清晰定义。出于这种原因，我们使用的名称中心凹不是临床定义，而是仅作为敏锐度高于某个水平的区域，因此其尺寸将不总是为5度，而是根据特定的应用为1～7度。

考虑光场(具有全光或亮度函数L(x,y,p,q))，这里，x和y是2个笛卡尔坐标，p、q是它们各自的光学方向余弦)，例如，该光场要么被采样以便稍后显示，要么在头戴式显示器中显示给人眼。以与用称为子像素的恒定亮度和颜色的小表面区域(真实或虚拟)的集合恢复亮度分布I(x,y)相同的方式，可以用我们简称为光束的微小光线束(具有近似恒定的亮度和颜色)的集合恢复光场。由于在采样和显示两者过程中完成的离散化，因此这两种情况下的恢复过程都是不完善的。在常规的显示器中，与可以显示与观察者不同距离的像素并随时间改变这些距离的LFD的情况不同，在距离观察者给定的距离处恢复图像。这些图像像素称为3D像素。考虑到所有这些光线都是在LFD和眼睛之间的自由空间中从光线轨迹的直线部分延伸出来的直线，3D像素的虚拟位置由形成它的光束的光线的束的束腰给出。一般来说，3D像素每3D像素使用多于一个的光束(否则它的位置是不可选择的)。对于给定的凝视方向，光束可以分成进入瞳孔的光线和不进入瞳孔的光线。进入瞳孔的光线(光束的一部分)可能到达中心凹，也可能不到达中心凹。只有到达中心凹(并因此穿过眼瞳)的光束部分通过眼睛的调节作用对3D像素的位置有贡献。常规的显示器也可以被视为LFD的这样一种特殊情况，即，每个光束由从位置与3D像素的位置一致的被称为ipixel的真实或虚拟表面区域发出的光线形成。在这种特殊情况下，每个3D像素存在单个光束，当然，从该3D像素到观察者的距离是不可选择的，并且通常对于所有3D像素都是相同的。

我们假设，全光函数是根据固定在使用者头骨上的参考系(x，y，z)定义的，因此人眼相对于这个参考系移动，但眼球中心(近似地)固定到它。我们的发明包括光场离散化策略，该策略可成功地用于(1)采样、记录、传输和/或存储要在HMD中显示的光场，或者(2)用于显示光场。

(1)对于计算、采样、记录、传输和/或存储光场，该策略包括用可变采样步长对(真实场景或呈现场景的)光场进行采样，因此，对于可能进入中心凹和/或来自曾经在被采样的场景的中心部分处的虚拟屏幕的可凝视区域的光束，采样更为密集。对于击中中央凹的可能性降低的光束、即更经常击中中央凹外的视网膜的光束，光束的密度会逐渐降低。对于来自虚拟屏幕的不可凝视区域(通常是场景的周边区域)的光束，由于其ipixel更离开可凝视区域，因此光束密度也会逐渐降低。这种策略的好处是更有效地利用传输、存储或恢复光场所需要的有限的信息量。

(2)对于显示光场，该策略包括设计LFD的光学、显示和/或亮度计算，因此潜在地聚焦于中心凹上和/或来自虚拟屏幕的可凝视区域的光束与图像的其余部分相比达到最大分辨率(测量为在正常人眼视网膜上检测到的每度像素数)(因此，使其余光线对光学和显示设计以及亮度计算具有一定程度的轻微影响)。只有潜在地聚焦在中心凹上和/或来自虚拟屏幕的可凝视区域的光束被用于产生每3D像素使用多于1个光束的3D像素。剩下的3D像素只使用一个光束作为非光场立体镜(stereoscope)中的ipixel。这种策略的好处有两个：首先，可以更有效地利用光学系统的设计自由度，从而使光学系统的光学分辨率与典型的人眼分辨率相匹配。其次，由于只有可能到达中心凹的光线能够被用于调节，因此光束的数量被最小化。最小化光束的数量也可以最小化供给LFD(Lanman架构)的数字显示器的像素数或者优化Huang 2015架构中的传输率的计算。

根据上述该光场离散化策略，我们将人视觉适应光场(HVALF)称为LF。

附图说明

从下面结合以下附图给出的对某些实施例的更具体的描述，以上和其它方面、特征和优点将清晰。图中：

图1表示当穿过两个基准平面x,y和x′,y′时由3D对象的集合产生的一般光场显示的示意图。

图2示意性地表示基于Huang 2015方案的LFD，其利用堆叠式LCD。

图3示意性地表示基于Lanman方案的LFD，其利用显示器和微透镜阵列。

图4示出人眼是如何工作的。当眼睛放松时(聚焦在无穷远处)，穿过瞳孔使得与前方方向的角404约在±2.5度内的光线是到达中心凹(较高分辨率区域)的光线。剩余的光线到达中央凹外的视网膜(较低分辨率区域)。

图5表示穿过眼睛中心的平面x′,y′和距眼睛远距离(不按比例)的表面x,y。这两组坐标可以用于定义穿过它们的光线。

图6表示用于测量光束密度的装置。

图7示出直径702的瞳孔通过角705(瞳孔范围的一半)和允许的眼球中心位置704的集合的移动。这些移动一起定义眼盒703。

图8表示可能到达中央凹的光线束。如果那儿没有眼睛，这些光线将在眼睛的中心与球体802相交。

图9表示在该例子中覆盖整个眼盒的光束。

图10表示调节光束的例子，该调节光束在瞳孔上的束印迹比瞳孔小。

图11表示其微透镜围绕指向眼睛中心的轴(1102)具有旋转对称的光场显示器。

图12表示在各通道中具有可变焦距的光场显示器。

图13表示图12所示的实施例的一些光学特性。

图14表示用于定义到达眼睛的光线的参数。

图15表示β＝常数如何近似等于x′＝常数。

图16表示当轴x离开眼睛时x＝常量如何近似等于θ＝常量。

图17表示来自远点(虚拟图像)的光线束1702，并且随着眼睛旋转，一些光线(例如1705)可能到达中央凹，而其它光线(诸如1708)可能不到达中央凹。

图18表示与图17相似的情况，但是是对于来自另一个远点(虚拟图像)的不同光线束1802。

图19表示可能到达中央凹的光线束。

图20表示可能到达中央凹的光线如何通过眼睛的中心穿过x′轴上的区域(2001至2003)。

图21表示在中心凹2102处产生高分辨率需要角θ上高密度的光束。

图22表示向眼睛发射光线的光学器件的孔径。

图23示出其点对应于2D相空间中的光线的示图。

图24表示在调节过程(2403、2405、2406)中涉及的光线。

图25示出在调节中涉及的光线的相空间(θ,α)示图表示。

图26表示光场的离散化，(θ,α)示图中的点表示当眼睛旋转时可能到达中心凹的光线。

图27表示光场的优选离散化的实践实现的示例。

图28表示由图27中的示例性实现产生的光束的边缘光线。

图29表示光束在(θ,α)示图中所占的有限区域。它还突出了在调节中涉及的光束2902。

图30表示本发明的实施例的表示高分辨率的(θ,α)示图。

图31表示现有技术的实施例的表示低分辨率的(θ,α)示图。

图32示出沿线β＝0或α＝θ划分的调节光束以及这些光束如何可以用于显示调节信息。

图33关于光线的示意图表示图32的调节光束划分。

图34表示图32中的配置的可能的实践实现的示意图。

图36表示类似于图32的配置，但是增加了可以到达中心凹的光束数量，从而改善调节。

图37表示图36中的配置的可能的实践实现的示意图。

图38关于光线的示意图表示图36的调节光束划分。

图39表示不同瞳孔位置的调节光束的一致划分在角β的恒定值下是如何发生的。

图40表示x'轴上的光束印迹具有不同区域的光束。

图41表示图40中的光束的(θ,α)表现。

图42表示定义光束的平面x,y和x′,y′的离散化。

图43表示在绿色信道中比蓝色或红色信道具有更高分辨率的实施例。

图44表示眼睛的色差，其中，可见光谱的蓝色和红色端聚焦在离开视网膜的地方。

图45表示多焦透镜。

具体实施方式

通过参考以下对本发明实施例的详细描述和附图，可以更好地理解本发明的各种特征和优点，这些附图阐述了利用本公开的特定原理的说明性实施例。尽管这些附图描绘了所设想的方法和设备的实施例，但是它们不应被解释为排除对于本领域普通技术人员来说显而易见的替代性或等效实施例。

所描述的实施例是在虚拟现实投影设备的领域中，在该虚拟现实投影设备中，通常将两个固定或移动的光场投影到用户的眼睛上。两个光场优选不同，以提供深度的立体可视化。所述实施例旨在同时提供超宽视场、高分辨率、低重量和小体积。宽视场结合来自头部跟踪传感器的反馈以补偿头部移动，使得能够呈现相对于地面固定的三维虚拟现实，这将提供更完整的沉浸式体验。

为了获得有效的沉浸式体验，要独立于相对于头部的眼瞳方向提供超宽视场。该方案将瞳孔范围视为设计参数，优选地将其定义为由在眼睛旋转时产生的所有眼瞳区域的并集形成的眼球区域(更确切地说是滚动瞳孔球体的区域)。它是很好近似的球壳。如果考虑普通人的所有物理可及瞳孔位置，则最大瞳孔范围的边界近似为相对于向前方向以及相对于眼睛的旋转中心的水平半轴角为60度且竖直半轴角为45度的椭圆。然而，对于一个实际的沉浸式设计，在15到30度范围内的半轴椭圆圆锥可以被认为是足够的。

我们已经隐含地假设眼睛的旋转对称轴应优选与凝视矢量一致，即与连接眼瞳中心和凝视点的直线一致。这些直线通过眼睛旋转中心附近，但不完全通过它。在凝视矢量和瞳孔轴(垂直于角膜的线，与入射眼瞳的中心相交)之间形成的角度称为kappa角。“平均来说，kappa角在时间方向上水平约为4度。然而，有些眼睛近乎在轴上，甚至kappa角为负值(朝向鼻腔方向)，而另一些人的眼睛在时间方向上可以达到8度。同样的变异性在竖直方向上出现，从上到下4度不等，尽管平均来说眼睛是竖直居中的(kappa角竖直为零)”(“Artal”)。除此之外，没有真正的眼球旋转中心，因为竖直运动和水平运动有不同的旋转中心，分别位于角膜后12mm和15mm处。在相对于乳头轴(papillary axis)的kappa角倾斜的方向上，这可以近似于角膜后约13mm处的一点。我们称该点为眼球中心。作为读者的本领域技术人员将从本文的描述理解如何改进设计以考虑这些直线不完全在一点上相交。

瞳孔范围为光线进入眼睛的点提供空间边界。该边界加上瞳孔范围内任何一点的凝视矢量周围±50度(约)的角度限制，给出了可能到达视网膜的光线的完整相空间边界。对于实际聚焦在视网膜上的光线，还需要它照射眼瞳所在圆内的瞳孔范围。可能到达视网膜的全套光线限定全光函数L的域。

用于HMD的LFD的主要目的是避免由于在会聚功能和调节功能之间出现差异而导致的视觉疲劳。会聚涉及发送到双眼的图像之间的差异。调节是单独地涉及眼睛的功能。当观察距离小于1～2m时，调节功能是有效的，人眼调节功能作为“闭环”负反馈控制机制起作用，这里，落在视网膜上的感觉信息在大脑中被处理，以改变眼睛的光功率，直到图像的希望的部分被聚焦(Shrikant R.Bharadwaj,“Accomodation Mechanisms”in Handbook ofVisual Optics,P.Artal ed.,CRC Press,2017)。为了在LFD中实现足够的调节，在中央凹中成像的几个光束光线必须实际上来自某点。所有这些光束几乎将是平行的。它们之间的散度取决于眼瞳直径和与眼睛的虚点距离。例如，当眼瞳直径为4mm时，位于750mm处的虚拟点将由散度不大于tan^-1(4/750)≈0.3度的光束显示。重要的问题是需要多少这样的光束以实现足够的空间。Huang 2014认为，一组3x3个光束足以实现视网膜模糊的近似值，这允许大脑找到足够的调节。

如前所述，并非所有射入眼球的光线对人视觉同样重要。最重要的光线是聚焦在中央凹的光线，其次是穿过眼瞳的剩余光线。其余的光线，即那些射入眼瞳外的瞳孔范围的光线是无用的，因为它们没有到达视网膜。光线的相对重要性可以被量化为与它们击中的视网膜位置的视觉敏锐度成比例。人的视觉敏锐度相对于视网膜上的位置是众所周知的函数(例如见https://en.wikipedia.org/wiki/Visual_acuity或Grüsser,Grüsser-Cornehls:Physiology of vision,in:Fundamentals of Sensory Physiology,3rdedition,1986中的图5～14或者Linda

and Robert Rosén,“Peripheralaberrations”in Handbook of Visual Optics,P.Artal ed,CRC Press,2017)。该函数在中心凹的中心具有强的最大峰值，并且在所谓的盲点处具有达到0的明显的缺口。该函数的峰值在约1.5度的非常窄的范围内达到1(弧分)^-1。当眼睛聚焦在无穷远时，视觉敏锐度Ve仅约为周边角β＝cos^-1(θ·γ)的函数。

当不知道眼瞳孔位置时(只知道它必在瞳孔范围内)，那么对于人视觉而言，光线的重要性w(可以用诸如x、y、x′、y′的4个坐标表征，或者，可以用2个单位矢量α、θ表征)与眼睛凝视方向γ时的该光线的视觉敏锐度V_e的平均值乘以在该位置处找到眼瞳的的概率密度函数p(γ)并乘以瞳孔透射成比例。我们假设视觉敏锐度V_e仅取决于由入射光线和凝视矢量形成的角度，即，仅取决于β＝cos^-1(θ·γ)。平均值应取自瞳孔范围内所有可能的瞳孔位置w(α,θ)＝∫P(α·γ)V_e(θ·γ)p(γ)dΩ_γ，其中，如前所述，dΩ_γ是立体角的差分，并且是瞳孔的P(α·γ)透射函数。积分在瞳孔范围内展开。

尽管45°或更大的扫视眼运动是可能的，但在自然观察中，这种眼运动是极其罕见的：除了极微小的眼运动(<1°)，近90％的扫视眼运动振幅为15°或更小，在水平、竖直和斜向观察到的模式类似(Andrew J.Anderson,“Eye Movements”in Handbook of VisualOptics:Fundamentals and Eye Optics,Volume One,P.Artal ed.,CRC Press 2017)。此外，如PCT6中所解释的，由于离眼睛最近的透镜表面的出射表面的清晰孔径所产生的渐晕，常规HMD中的数字显示器的周边区域是不可凝视的(只能用周边视觉看到)。该结果定义了我们通常设置为±20～±35度的瞳孔范围以更安全。

出于光学设计的目的，我们可以假设在某个位置找到眼瞳的概率p(γ)是恒定的，或者在瞳孔范围内有小的变化。在这种情况下，最重要的光线有共同点，即当它们击中眼球时，它们指向眼睛的中心部分，或者换句话说，如果没有眼睛在眼腔内，那么所有这些光线都将通过眼睛中心附近，从而最接近以最重要的那些为中心(大约)。

图4示出以上针对人眼描述的特性中的一些。元件400是发射跨越小角度404的光线束的光场显示器(LFD)，这些光线束通过瞳孔402进入眼睛并且聚焦在眼球401后面的中心凹403上。聚焦在中央凹403上的光线束404需要高分辨率。还表示聚焦在中央凹外的位置405处并因此不需要高分辨率的光线406。

人视觉适应光场HVALF

我们将人视觉适应光场HVALF称为光场光束离散化，其光束密度对于可能被成像到中心凹的光束集合是最大的并且随着光束的最接近中央凹视网膜的图像点更远离中央凹而逐渐减小。更精确地说，考虑空间x-y-x′-y′，使得x、y是以眼球中心为中心的大半径球体上的称为虚拟屏幕的2个表面坐标，并且使得x′、y′是包含眼睛中心并垂直于定义眼睛向前方向的直线的平面上的另两个表面坐标。这些坐标系相对于头骨是固定的。

全光函数的定义域是该空间x-y-x′-y′的区域。该域最大限度地代表当眼睛旋转时可能到达视网膜的光线的全集。实际上，该域是可能穿过瞳孔的光线(对于瞳孔范围内的任何瞳孔位置)的集合，这些光线来自x、y区域，所述x、y区域相对于眼睛中心成FOV角。当光场被离散化时，该域被划分为称为光束的区域，它们中的每一个包含4参数的光线集合(每个光线由x-y-x′-y′空间的点表示)。以与2D图像以子像素离散并且从同一子像素发出的光线具有基本上相同的亮度L和颜色的常规显示器的情况相同的方式，在LFD的情况下，全光函数离散为光束，并且属于同一光束的光线具有基本上相同的亮度L和颜色。

图5示出该配置，其示出穿过眼球506中心且垂直于向前方向的平面x′,y′以及距离眼睛大距离△501(在本图中不成比例)的表面x,y。设502或p为普通光束。它的光线表示在点x_P,y_P,x′_P,y′_P周围形成x-y-x′-y′空间的区域。只有进入眼瞳503的那些光束才是可见的，因此502不可见。在图5的例子中，眼睛向前凝视，因此瞳孔是正常的直线508。每个光束是在区域504处与平面x′,y′相交并在区域505处与表面x,y相交的4参数直线的集合。区域504和505不一定是矩形的。光束与平面x′,y′的交点称为ipixel，与表面x,y的交点称为光束印迹P_p。这些交点是通过光线自由空间轨迹的直线延伸计算的，也就是说，就像眼腔是空的一样。

坐标x′,y′的原点在眼睛506的中心，坐标x,y的原点位于垂直于平面x′,y′和表面x,y的线508上的位置507。注意，瞳孔503可以相对于眼睛506的中心旋转。

HVALF是光场离散化，其光束在x,y虚拟屏幕和在x′,y′平面上的分布使得x′,y′平面或x,y虚拟屏幕(优选在两个表面)上的光束密度随着到原点的距离的增加而减小。光束密度不仅从x′,y′平面中的原点减少而且从x,y虚拟屏幕中的原点也减少的HVALF可以更好地利用可用的光束。与光束密度在虚拟屏幕和在瞳孔范围上均近似恒定的常规策略相比，这种策略允许提高相同数量光束的感知分辨率。

我们将相空间中点x_a,y_a,x′_a,y′_a处的光束密度定义为在相空间区域(x-x_a)²+(y-y_a)²≤R²,(x′-x′_a)²+(y′-y′_a)²≤R′²的光线中发现的不同光束的数量除以由与这两个圆相交的光线所定义的相空间体积。R和R′是常数，例如R′＝2mm和tan^-1(R/△)＝1.5度，这里，△是从眼睛中心到虚拟屏幕的距离。如果要比较几种光束密度，R和R′应保持其值。

一种可能的测量x_a,y_a,x′_a,y′_a处的光束密度的方式是，逐个点亮每个光束，并收集由圆形非成像探测器截获的光束的辐射，该探测器的半径为R′，中心位于x′_a,y′_a，并放置在平面x′,y′处。为了还模拟在虚拟屏幕的点x_a,y_a处放置的半径R的孔径光阑，可以使用图6的光学布置。元件601是用向左发射的光束创建光场并且我们想测量其密度的光学器件。所述光学器件601创建虚拟图像606。该光学布置由具有半径R′的圆形孔径609的薄透镜604以及屏蔽603和具有半径R′的圆形有源区域的光电二极管传感器602，该光电二极管传感器602放置在距薄透镜604的某距离处，使得光电二极管仅接收来自圆608内的虚拟屏幕点的辐射，即圆(x-x_a)²+(y-y_a)²≤R²。透镜孔径609位于包含眼睛605的中心607的平面x′,y′处。例如，如果R′＝2mm、tan^-1(R/△)＝1.5度且△＝2m，则孔径直径为4mm且有效焦距为f＝19.3mm且圆形光电二极管为1mm直径(有效面积)的透镜将实现所需的性能，前提是光电二极管位于适当的平面处。该光电二极管应能够跨垂直于透镜轴的该平面移动，以能够扫描x_a,y_a的不同值，并且整个光学布置应是可移动的，因此透镜孔径609跨x′,y′平面移动，以扫描不同的x′_a,y′_a值。通过用不同斩波频率的斩波光点亮每个光束，可以同时检测几个光束。通过例如用频谱分析仪分析光电二极管的光电流，能够检测收集到的辐射的不同斩波频率，并因此以与音调解码器类似的方式检测不同的收集的光束。

眼盒公差

观察光学器件的眼盒被定义为眼瞳可以被定位以具有所显示图像的令人满意的视觉的区域。由于眼睛可以旋转，因此通过确定眼睛中心的允许位置加上立体角(包括允许的方向范围)给出相对于显示器的允许眼睛位置的更好表征。

图7显示了眼位置公差表征的示例，该示例可以是这种：允许的眼中心位置的集合是中心位于标称眼中心位置的半径为2.5mm的球体704，并且允许凝视方向705的范围是围绕前向的30度半角锥体。注意，由于视场(FOV)还包括周边视场，因此允许凝视方向的范围不是FOV。对于可忽略不计的瞳孔尺寸，允许凝视方向的范围与瞳孔范围一致。因此，表征允许凝视方向范围的另一方式是瞳孔范围(包括所有允许的眼瞳位置的滚动眼瞳球体的区域)。

再次参考图7，考虑13mm的眼睛半径701和2mm的眼瞳半径702。然后，先前的眼位置公差表征大致对应于具有2×(13×sin(30)+2.5+2×cos(30))≈21.5mm基部直径706和2×2.5＝5mm高度707的圆柱形状的眼盒703。

一般情况下，眼盒只是被规定为在向前方向708上没有特定公差的表面。在这样的规定下，示例的眼盒是对应于图7的圆柱的中心横截面的直径为21.5mm的圆。

图8示出眼睛的可能运动，这些可能运动定义了哪些光线可能到达中心凹。这里，光线束800要求高分辨率。当眼睛旋转以凝视不同方向时，眼瞳可以位于不同位置801。位于眼腔中心的球形元件802由与需要高分辨率的光线束相交的直径为4mm的瞳孔定义。由于以下几个原因，该球形元件的尺寸相对于瞳孔尺寸而增大：1)发送到中心凹的光线的角发散度(±2.5度)；2)眼睛中心公差；以及3)上述的kappa角。所有这些因素都可能使该球体的直径增加8～12毫米。该球体与第一基准平面(穿过眼腔中心的平面x′,y′)的交点被称为中心凹基准圆。

调节和周边光束

图9示出常规(非LF)显示器。该显示器可以被认为是其光束901中的任一个拦截整个眼盒902的特殊的LFD。在该示例中，透镜903形成opixel 904的虚拟图像905(ipixel)。从ipixel 905发出并通过透镜孔径903的轮廓内部的光线形成光束。所述ipixel 905可从整个眼盒902可见。我们将虚拟屏幕来自眼盒上的点的视图称为针孔照相机在该点看到的虚拟屏幕906的图像，即光束穿过该点的ipixel的集合。在这种情况下，由于虚拟屏幕远离眼睛并且任何光束照亮整个眼盒，因此从眼盒的各点的虚拟屏幕的视图基本上是相同的。

常规(非LF)显示器的几乎所有光束完全覆盖瞳孔范围，并且具有完全覆盖中心凹基准圆的光束印迹。几个这种类型的光束的并集不创建有用的3D像素，因此这些类型的光束对于得到可变深度的调节是无用的。

我们称周边光束为光束印迹完全在中心凹基准圆之外并且截获瞳孔范围的有效区域(不考虑未截获瞳孔范围的光线)的光束。一些非LF显示器偶尔使用这种类型的光束。例如，“PCT6”中的ipixel在虚拟屏幕的外部区域中的光束。由于透镜边缘阻挡了直接观察，因此这些ipixel是不可凝视的。

在常规的LFD设计中，光束不会拦截整个眼盒，因此，对于眼盒的不同点，虚拟屏幕的视图不再相同。眼瞳上的光束斑必须小于瞳孔尺寸，以能够干预调节过程，即能够与其它类似光束一起形成3D像素。对于常规的LFD，由于眼瞳可以位于眼盒的任何位置，因此眼盒前表面(或与其平行的任何横截面)上的光束交点的密度是恒定的。这是在“Lanman 2013”中描述的LFD的情况。

对于那些光束印迹仅部分覆盖中心凹基准圆(一般只覆盖该圆的小部分)的光束，我们称之为调节光束。在公差内，对于眼球中心的任何位置，应发生这种部分覆盖。然后，调节光束覆盖瞳孔范围的小部分。在常规的LFD中，由于调节要求来自虚拟3D像素的几个光束穿过眼瞳并聚焦在中心凹上，因此其所有的光束都是调节型的。这只有在只覆盖部分瞳孔的调节光束的情况下才能实现。出于调节目的，覆盖所有瞳孔的光束可能会“弄瞎(blind)”其它光束。

图10示出落在眼瞳1002内并且因此能够参与调节过程的调节光束1001。为了清晰起见，在本图中，眼瞳和眼球没有按比例绘制。从opixel 1003发射并经透镜1004重定向的光进入瞳孔1002。光束印迹1005比瞳孔小并且在中心凹基准圆内。

只有到达中心凹的部分光束才参与调节过程。因此，如果以周边角度到达眼睛的光线(因此，从未到达中心凹的光线)属于周边光束，则可以节省信息量和总opixel计数。当然，这包括覆盖虚拟屏幕外部区域(其是不可凝视区域，因此其光线永远不会到达中心凹)的所有光线，但也可能包括以周边角度到达眼睛的来自可凝视区域的光线。

在LFD的正常使用中，为了尽可能减少不同光束的数量并仍具有调节过程，当光束的光线永远不会到达中心凹时，当且仅当部分(或全部)其光线可能到达中心凹和周边光束时，HVALF使用调节光束。

为了令人满意的调节过程，建议每个3D像素使用几种不同的光束(或光束的一部分)。Huang 2014建议最少有9个视图，在这里转换为每个3D像素9个不同的光束，但实际上4个可能就足够了。

这两种类型的光束(调节光束和周边光束)在它们应设计的眼睛感受器的类型上也不同。调节光束应设计成锥形，比作为外周光束基本受体的棒具有更高的分辨率和更高的色敏锐度。然后，为了进一步减少光束的数量，颜色可以只分配给调节光束，而所有(或大部分)周边光束是单色的(白色或绿色)。在这种情况下，周边光束的色域比剩余光束的色域小。

应用的实例

通过在M的积分内引入加权函数w(x,y,x′,y′)以计算A和B函数，即，M＝∫_R(L-AB)²wdxdydx′dy′，我们可以在Huang 2015的LFD中应用我们的策略(参见图2)，而不是在g增加时增加光束数量。如前所述，该函数w必须与光线(x,y,x′,y′)的重要性近似成正比。该函数对于可能到达中央凹的光线更大，并且随着中央凹和视网膜上光线截获点之间的距离的增加而减少。以这种方式，在含有可以到达中央凹的光束的域R的区域中，得到乘积AB对函数L的最佳近似，因此，对于这些光束，在用AB近似L时出现的分辨率损失最小。由于权重函数w(x,y,x′,y′)在远离点对(x,y)＝(0,0)、(x′,y′)＝(0,0)的区域中取非常低的值，并且为了避免噪声计算，考虑将积分中的变量更改为新变量u-v-u′-v′是有用的，因此在该新变量中，权重函数变得单一(即，w是所述变量变化的雅可比矩阵(Jacobian)的逆矩阵)。如果该变量的变化被解耦，那么x,y只是u、v的函数，而x′、y′是u′、v′的函数，变量的变化将对应于平面重新参数化为曲线坐标。对于其数值分辨率的u-v-u′-v′积分的统一离散化将隐含x-y-x′-y′非常不均匀的离散化，这意味着，光束的体积与ΔuΔvΔu′Δv′＝常数(或，相反，其密度)将与它们击中眼睛中央凹的概率相关。下面将公开非均匀离散化的示例和产生它们的实施例。

通过优化各微透镜，我们的策略也可以适用于Lanman的LFD(见图3)，因此，可感知的分辨率(测量为每度检测到的像素)可变并且对于可能聚焦在中央凹(在PCT1中所谓的优先opixel或popixel周围)的显示像素它是最大的，对于该中心凹，透镜的焦距比其余的更长。在PCT6中公开了具有可变倍率的透镜的光学设计。通过在虚拟屏幕的可凝视(gazeabel)区域的微透镜成像部分的簇中分配更多的opixel，而牺牲剩余簇中的opixel的数量，我们的策略也可以应用于虚拟屏幕中的光束的密度。

图11表示具有由单个表面形成的透镜的LFD微透镜阵列的特定情况。由于设计自由度减小到该单个折射面，因此其轮廓应为笛卡尔椭圆(或接近它)。在图11的情况下，微透镜阵列1101粘到显示器1105，而没有任何附加的折射面。这使LFD具有机械稳定性，从而避免微透镜阵列1101和显示器1105之间的失调。在这种情况下，微透镜具有旋转对称性，但该对称性的轴(1102)不相同，甚至不平行。这些轴大致是将簇的中心像素与眼球(1104)的中心(1103)连接的直线。随着外周角的增加，可感知的分辨率也在下降，但其原因不是因为有效地利用了可用的opixel，而是因为笛卡尔椭圆对于非焦点的光学性能较差。为了提高微透镜的图像质量，可以在眼睛和微透镜阵列之间放置普通的单透镜，以避免外部微透镜相对于显示平面非常倾斜。尽管如此，这种结构没有足够的自由度以具有允许可变倍率的可变焦距。

例如，通过制作在微透镜的光轴附近具有较小像素且当我们离开所述光轴时具有较大像素的显示器1105，也可以获得与人眼视力近似匹配的可变分辨率。这减少每个信道周边的像素数量，从而相应地减少了要计算和显示的信息。

实现与人眼视力近似匹配的可变分辨率的另一例子是在显示器1105中所有opixel具有相同尺寸，但仅当它们靠近每个信道的光轴时才对它们进行单独寻址，并且当我们离开光轴时，以比方说2为组对像素寻址，并且随着进一步离开，以3个像素为组，以此类推。这种策略减少要处理的信息量。

在这种情况下需要硬件修改的另一个例子是，对于显示器1105中的所有像素具有相同的尺寸，但是仅在每个信道的光轴附近对它们进行单独布线或寻址，然后当我们离开光轴时，将像素以比方说2为组进行布线，然后在进一步离开时以3个像素为组，以此类推。

图12示出可变焦距设计(如在PCT6中公开的)，其中，每个信道由两个透镜1204和1203以及放置在显示器1201上的附加折射元件1202组成。显示器的所有像素(opixel)具有相同的尺寸。这些光学器件一起产生在中心发射方向投射高清晰度图像(由于小的倍率)并且在更宽的角度上投射较低分辨率图像(由于更大的倍率)的可变倍率信道，从而与人眼的可变视觉敏锐度匹配。一般来说，这些光学器件是自由形式的，并且其高清晰度发射方向将指向眼睛的中心。这些微透镜孔径中的每一个比眼瞳小，并且其设计使得几个光束可以进入瞳孔，从而允许调节。

图13表示图12中的实施例的一些说明性特性。曲线1301表示光学器件随在右侧垂直轴上测量的角度θ(参见图12)的焦距变化：焦距(mm)。焦距被定义为f＝dy/dθ，这里，dy是沿显示器1201的位移，dθ是角度θ的相应变化。

曲线1303表示显示器1201处的均方根(RMS)斑点尺寸随在左侧垂直轴上测量的角度θ的变化：RMS(μm)，这里，μm代表微米(10^-6m)。曲线1302表示“投影”到显示器1201上的人眼的分辨率。假设在角度θ处，人眼可以解析角度Δθ，这里，Δθ是线对的角宽度(一条黑线和一条白线)。曲线1302代表f(θ)tan(Δθ)，这里，f(θ)是光学器件在角度θ处的焦距。

凝视跟踪

在HMD中，硬件通常相对于头骨被固定。这包括光学系统。有了该参照系，眼睛唯一可能的运动就是围绕其中心的旋转。眼瞳在任何时刻的角度位置(凝视跟踪)的知识可以被用于提高HMD的性能，尽管其一些组件不能从该信息受益。特别是，光学系统一般由具有很少或者几乎没有运动的固体材料制成，因此它不能利用眼睛的即时位置，尽管正如我们之前所见它可以利用这种运动的统计数据(可凝视区域，平均囊状运动)。然而，HMD的其它方面可以利用凝视跟踪。例如图像呈现计算机处理。在这种情况下，能够仅以高清晰度呈现到达中心凹的那些3D像素(或者，如果图像到观看者的距离没有被呈现，即，如果不包括调节，则为ipixel)。可以用较低的分辨率呈现其它到达中央凹外视网膜的3D像素。可以以与更宽角度(周边角度)的眼睛锐度的降低相匹配的分辨率呈现所述3D像素。这意味着中心凹需要高密度的光束信息，但是低密度的光束可以被用于到达中央凹外视网膜的光线。瞳孔(或中心凹)位置的知识允许在帧和帧之间可用的有限时间内优化图像呈现的资源，但对光学系统没有帮助，除非该系统具有可以以帧速率或更快速率进行调整的部件。这种适应性光学系统的一个小例子是完美地跟踪瞳孔并持续影响指向中央凹的光线的隐形眼镜(contactlenses)。

当光学系统没有凝视跟踪时，瞳孔在瞳孔范围内的位置是未知的。瞳孔可以朝任何方向看，并且所有可凝视的ipixel都必须以高清晰度呈现。当眼睛朝一个方向看时，它看到的是那个方向的高清晰度图像。高清晰度图像的其余部分变为周边视觉的一部分，以更宽的角度进入瞳孔，并且不能完全被眼睛分辨。

本发明的相空间描述

如前所述，各光线在系统中的位置和方向由四个参数(x,y,x′,y′)描述。因此，不能容易地表示空间。然而，通过仅考虑通过例如平面(x,x′)(即穿过眼球中心并垂直于左右轴的平面)的所述空间的切割，也可以获得对本发明的实质性理解。在这种情况下，包含在该平面上的各光线可以由两个参数描述。这些参数可以是(x,x′)或其它两个参数。下面的描述使用2个角度参数以描述光线。原因是眼瞳围绕眼睛中心旋转(并且这种旋转可以由角度描述)，并且眼睛分辨率相对于凝视的方向成角度变化。

图14表示在描述光线1401时使用的坐标。眼睛的半径为1402，角度α定义光线1401击中的眼球表面上的点1403的位置。角度β定义光线1401的方向。角度α和β然后完全定义击中眼睛的光线1401。瞳孔1405在从眼睛的中心1404观看时跨越角度φ。瞳孔的中心相对于水平面倾斜γ角。角度γ和φ定义眼瞳的位置和尺寸。光线1401与水平面形成角θ＝α+β。

图15表示两束光线。这些束中的一个具有β＝β_A＝常数，使得α值具有有限范围(对应于瞳孔范围)。其光线与圆1501相切，并且由于α值的有限范围，所有光线在位置x′_A附近与x′轴相交。因此，具有β＝β_A的光线大致验证x′＝x′_A。另一束具有β＝β_B＝常数，并且也使得α值也在瞳孔范围内。其光线与圆1502相切，并在位置x′_B附近与轴x′相交。因此，具有β＝β_B的光线大致验证x′＝x′_B。使用此近似，可以使用β或x′作为识别光线所需的参数中的一个。

图16表示从x轴上x＝x_A的位置发射的光线束。如果x轴与眼睛1601具有大的距离(相对于眼睛直径)，则x＝x_A＝常数的光线大致验证θ＝θ_A＝常数。使用这个近似值，可以使用θ或x作为识别光线所需的参数中的一个。

图17表示发射至少填充整个瞳孔范围的光线束1702的光学器件的孔径1701。在本示例中，这些光线是平行的，并且似乎来自无限远处的3D点。当瞳孔在面向入射光的1703位置时，中心凹完全相反地地在位置1704处。在这种情况下，子束1705进入瞳孔并聚焦在中央凹1704处。当眼睛旋转且瞳孔位于1706位置时，中心凹完全相反地在位置1707处。在这种情况下，子束1708进入瞳孔并且聚焦在离开中心凹1707的位置1709处的视网膜上。

图18表示发射至少填充整个瞳孔范围的光线束1802的光学器件的孔径1701。在本示例中，这些光线是平行的，并且似乎来自无限远处的3D点。当瞳孔位于面向入射光的位置1803时，中心凹完全相反地在位置1804处。在这种情况下，子束1805进入瞳孔并聚焦在中央凹1804处。当眼睛旋转且瞳孔位于1806位置时，中心凹完全相反地在位置1807处。在这种情况下，子束1808进入瞳孔并且聚焦在离开中心凹1807的位置1809处的视网膜上。

图19表示包含光学器件的孔径1701的配置，并且只考虑可能到达中心凹的光线，诸如图17中的光线1705或图18中的1805。几束光线就足以让眼睛调节，并且，出于这种原因，在束1901、1902和1903中只需要几个光线。这些光线在位置1904、1905(眼睛中心)和1906附近穿过x′轴。因此，为了允许调节，具有可以在点的小的集合(在本示例中为1904、1905和1906)处穿过x′轴到达中央凹的光线就足够了。

图20表示与图19相同的光线束1901、1902和1903，但现在如果眼睛不在那里则表示它们的轨迹。这些光线在位置2001、2002和2003附近穿过眼睛中心与x′轴相交。为了适应可能到达中心凹的光线，则记录穿过x′轴上几个位置的光线就足够了。然后，可以通过放置在位置2001、2002和2003的一小组摄像机记录光场。这些记录也可以用于周边视觉，虽然这是近似，原因是周边视觉不会通过眼腔中心附近。

图21表示进入瞳孔2101并在中央凹2102上形成远处物体的图像的光线束。为了在中心凹2102上具有高密度的聚焦点(高分辨率)，需要对入射光线具有高密度的方向θ。

通过组合图20和图21中的配置，可以得出结论，为了允许中心凹上的调节和高分辨率图像，能够通过在x′(或β)中具有低密度且在x(或θ)中具有高密度的参数x′(或β－参见图15)和x(或θ－参见图16)描述光线。在图21中，x′(或β)中的低密度由点2002、2002和2003示出，并且，θ(或x)中的高密度由角θ的高角密度示出。

图22表示利用孔径2211观察光学器件的眼睛。眼瞳可在瞳孔范围2210内移动，这意味着角度γ在瞳孔范围2210内(大约是因为瞳孔尺寸使瞳孔范围略大于γ跨度)。到达眼睛的光线相对于穿过眼睛中心的虚线具有最大角度为β_M。还显示了光线2201～2208。

在虚拟现实(VR)应用中，光线2201、2202、2203和2207优选地来自孔径2211的上边缘，类似地，光线2204、2205、2206和2208来自该孔径2211的下边缘，即，VR的出射表面的所述边缘产生渐晕。相反，在FOV通常较小的增强和混合现实(AR/MR)应用程序中，通常不产生这种渐晕，并且光线2201、2202、2203和2207大致平行(更准确地说，它们实际上来自虚拟屏幕上的图像的上边缘的ipixel)，实际上来自下边缘的ipixel的2204、2205、2206、2208也是如此。

图23示出图22中的光线被表示为(θ,α)图中的点的视图。图23和图22中的匹配编号对应于相同的光线。如图14所示，瞳孔相对于水平面旋转角γ，并跨越角φ。进入瞳孔的光线必须然后包含在由式α＝γ±φ/2给出的水平线2301之间。来自同一个3D点的不同光线必须到达瞳孔以允许调节。因此，对于各3D点，不同的光线必须包含于线2301之间。

当眼睛被聚焦在无穷远处时，到达中心凹的光线的角发散度为2θ_F。这些光线包含于由式θ＝γ±θ_F给出的竖直线2302之间。通过将由2301和2302限定的区域相交，我们得到进入瞳孔并到达中心凹的光线的矩形2303。该矩形的中心始终位于具有式α＝θ的直线2305上。在该视图中，当角γ变化(眼睛旋转)时，线2301上下移动，并且区域2303跨着视图对角移动，从而沿着线α＝θ保持其中心。限定2303运动的线2304由α＝θ±(θ_F+φ/2)给出。观察到共享相同β值的光线形成线θ-α＝β＝常数，因此，线2304和2305是常数β的线，当α＝0时，常数β的值等于θ的值。因此，对于线2304，β₂＝-β₁＝θ_F+φ/2。

在该图上用竖直线表示的光线束是共享相同值θ的光线。然后，这种类型的束包含由无穷远处的点发射的光线。无穷远处的3D像素由无穷远处的小组发射点形成。然后，无穷远处的3D像素的光线由该(θ,α)图中的“粗”竖直线表示。无穷远处的分辨率被测量为每单位θ的线2302之间的这些粗竖直线的密度。

3D像素的相空间描述

图24表示在3D点2401上调节并在视网膜上产生图像2402的眼睛。在(θ,α)图中，光线2403由位置(γ-δ,α₂)定义。注意，由于眼睛的半径已知，因此角度α₂定义光线2403进入眼睛的点2404的位置。因此，光线2405由坐标(γ+δ,α₁)定义。中心光线2406由坐标(γ,γ)定义。

当眼睛在2401点处调节时，到达中心凹的光线并不完全是|θ|＝≤θ_F的光线，而是，如我们稍后将看到的，竖直线稍微倾斜。这不影响由线2304限定的中心凹区域带的定义。

图25表示图23的区域2303中的图24的光线2403、2405和2406的坐标。这些光线被表示为倾斜线2501上的点。注意，距离眼睛较近的3D点2401具有更高的角度δ值，而竖直线2501将使与竖直的角度更大。此外，无限远处的三维点2401的δ＝0，线2501是竖直的。在距眼睛有限距离处从3D点2401发出的光线束在(θ,α)面中不形成直线，但是我们可以近似为它在矩形2303内是这样。对于可能到达中心凹的光线，到眼睛的距离为D且在角度α_D处的3D像素发射在(θ,α)平面上表示的可以由直线(α-α_D)/(θ-α_D)≈-D/r_e近似的光线(r_e是眼球的半径)。

完美的LFD能够调节任何可能到达眼睛的光线的亮度和颜色。当然，这即使不是不可能也是极端复杂的。为了简化问题，通过只选择小的子集，减少亮度和颜色受控的光线的数量，并且，该小的集合被分组在我们称之为光束的束中。该过程称为离散光线集合。图26示出图23中的线2304之间的区域的离散化。这些是对于一些可允许的瞳孔位置即改变角度γ可能到达中心凹的光线。各光束由位于表示光束所包含光线的区域上的小圆表示。该离散化在具有θ＝常数且β＝常数线的菱形矩阵中完成，并且，这里，θ中的步幅Δθ实质上小于β中的步幅Δβ。

使用该离散化，可以通过对在(θ,α)平面上的表示垂直对齐的光束分配相同的亮度和颜色，再现无穷远处的3D像素。然后，θ不同的光束的高密度对应于具有不同亮度的大量可能的θ值，即，对应于无限距离处的图像的高分辨率。为了减少系统需要控制、取样或储存的独立光束的数量，希望减少β不同的光束的数量。当在显示动画图像的同时产生各帧时，更少的光束意味着更简单的实现和更少的计算。尽管如此，对于同一θ至少需要多于一个的不同的光束，以允许有限距离处的调节。为了尽量减少独立光束的数量，希望使用较少的β值，但是光束太少可能会导致不舒服的调节(Huang 2014)。

x-x′光场离散化

x-x′离散化是指，对于它来说，不同的光束可以被分组在线x＝x₀+Δx和线x′＝x′₀+Δx′中，这里，x₀、x′₀是常数，并且，Δx和Δx′分别仅是x、x′的函数(一般是常量)。由于x大约仅是θ的函数(因为它远离眼睛)并且x′大约仅是β的函数，因此这种离散化也被称为θ、β离散化。

考虑瞳孔旋转γ和方向θ上的3D点。通过将相同的亮度和颜色分配给在(θ,α)平面中的表现在连接不同的点(光线)的倾斜线(与竖直方向具有不同的角度)2601中对齐的光束，可以再现距眼睛有限距离的3D像素。竖直线对应于D→∞。通过选择如图26所示的其它直线布置，我们可以再现3D像素在距离D_i＝r_e(L/i-1)处的发射，这里，L＝Δβ/Δθ，r_e是眼球的半径(≈13mm)。例如，假设β₂＝-β₁＝12度；Δβ＝3度且Δθ＝0.05度。从而L＝Δβ/Δθ＝60。这种离散化允许在虚拟屏幕(D₀→∞)处的图像的分辨率为每度1/Δθ＝20个ipixel。3D像素也可以在D₁＝767mm、D₂＝377mm、D₃＝247mm和较小距离处形成。这组距离D₀～D₃(或者甚至是它的子集)足以具有令人满意的调节(Huang 2014)。以3D像素的中心光线(θ＝α＝γ的光线)作为角度参考，任何距离的分辨率为20ipixel/度。

用θ、β离散化采样或呈现LF

如果我们将β近似为与x′成比例，则使用θ、β离散化(如图26所示)采样或呈现LF令人惊讶地简单。如果是这样，常数β的一组光束只是常数x′的一组光束。然后，我们要做的就是在平面x′处放置几个针孔相机，并然后从那里采样。例如，位于x′＝x′₁处的针孔照相机将为我们提供对应于θ和β≈tan^-1(x′₁/r_e)的不同值的光束的亮度和颜色，这里，r_e是眼睛球体的半径。θ的离散化值仅取决于针孔照相机，并且通常情况下使得Δ(tanθ)恒定，这对于我们的目的是完全可以接受的。这不会精确地产光束2602，但将近似它们。参考图15，参数x′可以被用作β的近似，并且，参考图16，参数x可以被被用作θ的近似。

用θ、β离散化显示LF

从概念上讲，例如如图27所示，可以完成用θ、β离散化(如图26所示)显示LF。设备2701包含背光2702和两个液晶显示器(LCD)2703和2704。第一个2703和背光2702一起可以由诸如OLED显示器的发光显示器取代。第二显示器2704是LCD透过类型的。光学器件2705(可能具有折射或反射表面，或两种类型)在通过眼睛中心的面x′处形成显示器2703的真实图像2711(当眼睛不存在时)，并且在离开眼睛的平面x处形成显示器2704的虚拟图像2712。从背光2702和LCD 2703和2704中的交叉点2707和2706发出的真实光线将表现为光线2708，该光线穿过2706的虚拟图像2710和2707的真实图像2709。实际上，2706和2707将不是点，而是具有物理维度。这意味着2708将不是光线，而是由有限尺寸图像2709和2710限制的光束。作为代表光线的点2602的替代，我们从而在代表相应的光束的图(θ,α)中具有围绕这些点的区域。在这种配置中，具有常数θ的光束通过穿过2704的相同像素的光线近似地点亮，并且，具有常数β的光束近似通过穿过2703的相同像素的光线点亮。图27仅表示精确实现θ、β离散化的示意性系统。可以通过使用非负张量分解计算产生LF的2703和2704处图像，但是当视图数量小(如此处所公开)时，分解的质量可能不够好，并且可能需要时间复用方案以改进它。

这些光束的不可忽略的尺寸在设备工作方式中是重要的。当眼睛旋转不同角度γ时，区域2303沿线2304移动。在它的运动中，区域2303在一些光束的一部分之上移动(从而变得部分可见)，并留下其它光束的一部分(变得部分看不见)。

图28表示与图27中的2709类似的由真实图像2801(光束印迹)定义的光束2804和与图27中的2710类似的虚拟图像2802(ipixel)。光束的边缘光线2803可由参数(θ,α)定义。所示的光束的其它边缘光线穿过2801和2802的边缘。为了图形清晰，真实和虚拟图像2801和2802的尺寸和位置相对于现实主义设计不是按比例的。

图29表示诸如图28所示的光束2804的光束的(θ,α)表现。诸如2804的各光束由四边形2901表示。四边形的倾斜和尺寸不是按比例显示的。

图29还表示线2304(参见图23)，该线限制了可能到达中央凹的光线和进入瞳孔并到达中央凹的光线的区域2303。区域2303分别全部或部分地覆盖全部或部分可见的一组光束。当眼睛旋转时，角度α变化，并且区域2303沿线2304移动。在该运动中，区域2303在变得完全或部分可见的一些光束之上移动，并且在后面留下变得完全或部分不可见的其它光束。

为了在给定距离处(诸如图24中的位置2401)显示3D像素，例如，可以点亮光束2902，从而定义倾斜线(类似于图26中2611的1个元件)。倾斜线2902必须具有几个光束以允许调节。沿θ轴的线(诸如2902)的密度定义系统的分辨率。

人们有向前看(即小的|γ|角)的倾向，这意味着在一般情况下，小|α|角度的光线更重要。因此，随着|α|的增加，可以减少各线2902中的光束数量，从而降低光学系统提供调节信息的能力。

图30表示图29所示的相空间的另一表现。光束3001的中心位于线3002(常数θ)与线3003(常数β)的交点处。如前所述，系统的分辨率由线3002的密度给出。

图31表示现有技术的(θ,α)表现(Mali 2017)。这里，光束3101的中心位于常数θ的线3102与常数α的线3103的交点处。如线3102的低密度所示，系统的分辨率低于图30中的分辨率。

在图30的实施例和图31的现有技术中，区域2303内的点(光束)的数量大致相同。然而，图30中的分辨率清楚地高于图31的现有技术。

在图30的配置中，可用于调节的光束的数量(参见元件2601)较少，但是分辨率更高。由于不需要大量的光束来保证调节，因此这是有利的。

图30的配置具有另一优点：可以容易地用几个针孔照相机(与不同的β＝常数线一样多)完成LF的采样(或呈现)，而在图31的现有技术中，取样需要更多的针孔照相机(与不同的常数α线3103一样多)。

使用调节光束进行光场离散化

图32表示竖直光束中的空间的离散化(θ,α)。各竖直线代表在α上非常延伸且在θ上非常窄的光束。这些光束中的一些(诸如3201)的光线从不与由可能到达中心凹的光线限定的带3202相交，并因此不会影响调节。对于这些光束，不需要添加关于到3D像素的距离的信息。这些是周边光束。

如果要显示到中心凹的图像具有M 3D像素的分辨率，则至少需要M个光束以表示它们。如果对于各3D像素也要包括调节信息(到3D像素的距离)，则每个3D像素一个单一的光束不再足够，并且至少需要另一光束，这样总共至少有2M个光束(4M或9M可能被认为是更保守的数字，以产生更自然的视网膜模糊)。对于各可凝视的3D像素(其光束在区域3202中具有光线并因此可能到达中心凹)，我们考虑由通过中心凹中心的线3208分开的两个光束(例如3203和3204)，对于这两个光束，α＝θ。这些光束3203和3204基本上是竖直的，并且覆盖小的范围的角θ。所述光束是调节光束，因为它们的光束印迹部分位于区域3202内。所述光束甚至可能超出瞳孔范围3205，但是由于眼瞳将不旋转到这些区域，因此瞳孔范围之外的那些光线将永远不可见。

当需要包括调节信息时，可以点亮中心凹区域3202中的相同或不同θ值的光束，以表示与眼睛不同距离处的3D像素。这由示例性光束3206和3207表示。在该特殊配置中，只有2个光束可用于产生3D像素。在真实的3D几何中，即，不仅考虑到在平面x-x′中包含的光线，而且还考虑到剩余的光线，该配置可以由多于两个的调节光束形成，使得x′y′平面上的光束印迹进入中心凹区域，并且围绕眼睛的中心和几乎与之相切。

对于永远不被凝视的周边视觉方向θ(诸如位于中心凹区域3202之外的周边光束3201)，分辨率(光束在θ轴上的密度)会如图32中所做的那样降低。

图33表示对应于图32中的元件3203和3204的光束3303和3304。图33还表示瞳孔范围3305、中心凹3301、眼瞳3302和眼中心3307。光束3303和3304从光学器件的孔径3306发射。光束3303和3304可能会超出瞳孔范围3305，但这些光线将不可见，原因是眼瞳3302不会到达这些极端位置。

对于可能到达中心凹的诸如3308或3310光线，光学器件必须产生良好的图像质量。然而，对于永远不会到达中心凹的诸如3309或3311的光线，由光学器件产生的图像质量可能会松懈。如图32中的光束3206和3207所示，如果选择具有不同角度θ₃和θ₄的光束，则在光场中对调节信息进行编码。只有光束3304和3303的中心光线(诸如3308和3310)进入眼瞳3302从而到达中心凹3301，并且只有那些光线用于调节该特定瞳孔位置。

图34表示图32所示的光束分离的可能实现的示意图。考虑从眼睛内部反向传播到外部世界的光线。光学器件3401(可能具有折射或反射表面，或两种类型)在V形镜3402的顶点上形成眼睛中心的图像。所述镜子将光线3403和3404通过光学器件3405和3406(也可能有折射或反射表面，或两种类型)分割到显示器3407和3408上。在真实的3D几何结构中，这种镜子不会是一般的V形，而是金字塔形。例如，使用方形底座金字塔和4个显示器，能够实现每3D像素有4个调节光束的LFD。

图35表示具有4个调节光束/3D像素的3D几何结构的另一种可能的配置。该配置结合常规的HMD，该HMD的“非光场”显示器被特殊的显示器取代，以在具有调节能力的HMD中转换整个单元。

图35所示的实施例包括光学器件3501、透镜阵列3502和特殊显示器3503。与常规HMD的唯一区别是后者没有透镜阵列，并且显示器位于3502的孔径平面上。

光学器件3501以与常规的HMD光学器件形成其显示器的虚拟图像相同的方式形成远至右侧的透镜阵列3502的孔径的虚拟图像(未示出)。

插入件3504表示透镜阵列和特殊显示器的细节。微透镜3505具有与其相关联的两个红色像素3506的簇。微透镜3507具有两个绿色像素3508的簇。微透镜3509具有两个蓝色像素3510的簇。这形成沿着透镜阵列3502和特殊显示器3503重复的集合。

从绿色簇的中心3511发射的光线由微透镜3507准直，由光学器件3501收集并聚焦在眼睛3512的中心处。然后在眼睛3512中心下方的轴x′上成像簇3508的顶部绿色像素。因此，在眼睛3512的中心上方的轴x′上成像簇3508的底部绿色像素。这产生照亮眼睛中心3512上方的x′轴的绿色边缘光束和照亮眼睛中心3512下方的x′轴的另一光束。这些光束是图32所示的类型3203和3204。相同的推理可以应用于红色簇3506和蓝色簇3510。图35描绘了二维配置。在三维空间中，簇3506在微透镜3505下将具有四个红色像素。因此，在各相应的簇中，将存在四个绿色和四个蓝色像素。

用于在具有4个可调节光束/3D像素的LF系统中转换“非光场”VR系统的设计步骤如下：

1.取得使用常规的电子显示器(例如，具有RBG条纹设计)的任何现有VR透镜设计。

2.用如下制造的新显示器替换显示器：

2.1所述显示器使用具有与原始像素相同的子像素几何结构的2倍高的ppi电子显示器，但使得各子像素被现在具有与它们所替代的子像素相同的颜色的4个相邻像素取代。

2.2在各簇的前面放置孔径具有与所述簇相同的尺寸和轮廓的微透镜。注意，这些微透镜中的每一个具有自身的颜色(其子像素的颜色)，并且其孔径占据与步骤1的常规电子显示器的子像素相同的面积。然后，微透镜的阵列具有与步骤1的常规电子显示器的分辨率相同的分辨率(ppi)。

2.3应以以下最低条件设计微透镜轮廓：通过VR透镜，在眼腔中心上(即在平面x′＝y′＝0的原点上)成像簇中心。优选地，微透镜也在平面x′,y′上成像簇中心(在发射平面处)的邻域上的点，因此每个簇的像素图案被再现为面x′,y′上的光束印迹。

微透镜设计应使得簇必须通过微透镜照亮整个瞳孔范围。在焦距约为40mm的常规VR透镜中，这意味着微透镜应以约15至20度的半角发射光，并且具有2.5～3.5范围内的f数。例如，对于f/3和45微米微透镜侧，微透镜焦距将为约135微米。另一方面，簇的平面和通过眼睛中心的平面(平面x′,y′)之间的微透镜的倍率比约为焦距的比率(40/0.0135)，因此在本例中约为300。这意味着平面(x′,y′)上4mm盘将应于簇平面上的13微米盘。如果本示例的f/3微透镜(如果衍射受限)将在可见光谱中分辨约3.5微米，则3～5微米的簇之间的间隙应为良好的设计值。

根据本说明书，对于4的情况，具有其它数量的调节光束/3D像素的配置是微不足道的。

仅仅通过用传感器代替显示器，类似的策略也可以用于捕获光场，因此各微透镜具有其自身的滤色镜。

图36表示类似于图32所示的配置的配置，但是其中，如三条粗体竖直线所示，我们现在具有用于给定的θ值(或窄范围的θ值)的三个调节光束3601。相空间中心凹区域3602现在包括3601的顶部和底部光束的一部分和3601的中心处的完整光束，总共三个光束可能有助于调节。

离开中心凹区域3602的分辨率可能较低，并且，如短光束3603所例示，并非所有光束需要延伸到图(θ,α)的边缘，从而降低这些区域中的分辨率。

图37表示图36所示的光束离散化的可能实现的示意图。考虑从眼睛内部反向传播到外部世界的光线。光学器件3701(可能具有折射或反射表面，或两种类型)形成眼睛中心的图像，该眼睛的中心部分被光学器件3702(其也可能具有折射或反射表面，或两种类型)捕获到显示器3703上。来自眼睛中心的剩余光线被镜子3704和3705分开。所述镜子将光线3709和3710通过光学器件3711和3712(其也可能具有折射或反射表面，或两种类型)分割到显示器3706和3707上。

图38表示如图36中的三个光束3601所示的三个光束3801、3802和3803。同样，在这种情况下，如图33所示的配置中的情况那样，为了在有限距离处产生3D像素，三个光束3801、3802和3803可以被选择以具有不同的θ值。

图39表示三个调节光束3601在图36的给定值θ下的光线轨迹。这三个光束3902、3903和3904一起形成束3901。此外，聚集在一起的光束3906、3907和3908形成束3905。为了始终在瞳孔内对不同瞳孔位置3909一致地分割束，沿着恒定角度β的光线发生分割。在(θ,α)图中，光束然后沿着恒定β的线(诸如图23中的线2304)被限制。

图40表示与图28的配置类似的配置，但其中光束在x′轴上有不同尺寸的光束印迹。在眼睛中心附近与轴x′相交的诸如4001的光束具有小光束印迹4002。然而，进一步离开眼睛中心地与轴x′相交的诸如4003的光束具有大的光束印迹4004。光束4001和4003也由相应的ipixel 4005和4006界定。

记住，由于有限的瞳孔范围，图39所示的角β的离散化大致相当于图40所示的坐标x′中的离散化(参见图15)。

图41表示图40所示的诸如4001或4003的光束的(θ,α)表现。在轴x′上具有小光束印迹的光束(诸如4001)在(θ,α)图中表示为短(竖直)区域，诸如4101。在轴x′上具有大光束印迹的光束(诸如4003)在(θ,α))图中表示为高(竖直)区域，诸如4102。线4103界定由可能到达中心凹的光线定义的区域。

3D几何

正如我们之前所见，在3D几何中，即当我们考虑所有光线而不仅仅是在x,x′平面中包含的光线时，需要4个参数以表征光线。前面解释的概念可以容易地扩展到3D几何。例如，图42表示定义其光束印迹及其ipixel的区域中的x′,y′和x,y平面的可能的离散化。穿过平面x,y上的区域4201中的一个和平面x′,y′上的区域4202或4205中的一个的光线的集合构成一个光束(类似于由平面x,y上的区域505和平面x′,y′上的504定义的光束502，参见图5)。该离散化中的每个光束是调节光束，尽管它们的光束印迹大不相同。在平面x′,y′上由4202区域定义的光束比在平面x′,y′上由区域4205定义的光束宽得多。光束的进入区域4204的部分干预调节，而落在区域4204之外的光束或光束部分不干预调节。在一个实施例中，消除了4205，并且仅定义了四个相邻的正方形区域而不是4202。区域4204的边界来自眼睛中心处的球体802(参见图8)与平面x′,y′的交点。在图42中还表示眼瞳4203。该表示假定没有光束的渐晕。

这种光束离散化在某种程度上是理想的，并且有助于理解光束的概念。注意，一般来说，光束不是连接其光束印迹及其ipixel的所有光线的集合，而仅是其子集。并且，一般来说，对应于共享相同光束印迹的光束的ipixel分布不需要与共享另一光束印迹的光束的ipixel分布相同。因此，一般来说，在平面x,y上具有5个不同的ipixel分布4201，它们中的每一个对应于x′,y′上的光束印迹中的一个。

图43表示小透镜4301及其簇在由许多红、绿和蓝子像素组成的显示器上的实施例。所述显示器具有比蓝色(B)或红色(R)子像素更高的绿色子像素(G)密度。人眼感知到的分辨率大多由绿色定义，因此该配置导致更高的感知分辨率。该配置可与上述实施例组合。

图44表示人眼在多色光下的行为。从点4401发射的多色光根据其波长被眼睛分割。蓝光聚焦在眼睛内的4402位置处，而红光被重定向到眼睛外的4403点。这两种颜色都不完全聚焦在眼睛后面。然而，该散焦提供使眼睛在正确的距离处调节的线索。这使中间的绿色变成清晰的焦点，从而提供分辨率的感觉。蓝色和红色的该散焦可以用于引起希望的距离处的调节。免于调节的绿色可能具有更高的分辨率，从而导致系统具有更高的感知分辨率。

图45表示在概念上与在眼科应用中使用的多焦小透镜类似的多焦小透镜(例如，参见Salerno LC,Tiveron MC,AlióJL.,“Multifocal intraocular lenses:Types,outcomes,complications and how to solve them”Taiwan J Ophthalmol 2017；7:179-84)。该小透镜分为分别具有不同焦距的部分4501和4502。它们利用从显示器上点4503发射的光，并产生虚拟图像点4504和4505。一般来说，透镜可以分成不同的部分。这些透镜中的几个可以组合成阵列。因此，由这些小透镜产生的光束将具有2个或更多的腰部。这些透镜将为眼睛提供不同深度的调节线索。

记录和存储HVALF

由于HVALF使用较少的光束以得到与常规LF相同的感知分辨率和FOV，因此这种离散化方案还可以有利地用于记录和存储LF场景。

让我们假设通过使用几个针孔照相机(即入射瞳孔尺寸可以忽略不计的照相机)记录LF场景。光束又分为两组：在显示LF(调节光束)时可能聚焦在中心凹上的那些和其余的那些(周边光束)。用针孔位于圆4204内的几个针孔照相机记录第一组。如果照相机是相同的并且面向前方，则与图42的配置类似，其像素中的每一个将记录对应于LF的亮度。像素在其传感器中的相对位置将给出光束的x,y坐标，并且，照相机的位置将给出x′,y′坐标。

也可以通过选择照相机位置的光束印迹的中心点或凝视前方方向时的瞳孔的中心，用类似的方法记录周边光束。

以上描述提供了优选实施例的详细描述。然而，本发明的范围针对一种包括光学器件的显示设备，该显示设备被布置为产生光场以照亮人眼，该显示设备具有固定到用户头骨的坐标系。光场包括实际上与第一基准表面和第二基准表面相交的多个光束，所述第一基准表面为穿过眼球球体中心并垂直于头骨前方方向的平面，所述第二基准表面位于与使用者头骨相距一距离的位置处且是以眼球球体中心为中心的球体的一部分。所述第二基准表面的中心被定义为穿过眼球球体中心并指向头骨的前方方向的线的交点。各光束是直线的集合，所述线的线段与在任何时候具有近似相等的亮度和颜色的照亮眼睛的光线轨迹一致。各光线由光线与第一和第二基准表面的虚拟交点所形成的点对确定。由眼球球体的中心和第二基准表面的中心形成的点对处的光束密度高于至少离开所述点对的区域中的点对(该对的第一点包含在第一基准表面中且该对的第二点包含在第二基准表面中)处的光束密度。光束密度定义为包含穿过以所述两点为中心且与其各自的基准表面相切的两个小盘的光线的光束的数量除以由与那两个盘相交的光线定义的相空间体积。

任选地，在显示设备的实施例中的每一个中，光束密度在由眼球球体和第二基准表面中心形成的点对处最大。

任选地，在显示设备的实施例中的每一个中，关于第一点对处的像素密度，所述对的第一点是眼球球体的中心并且所述点对的第二点被定位使得所述点与所述眼球球体中心的连线与所述头骨的前方形成小于10度的角，所述像素密度比在第二点对处更高，第二点对的第二点与第一点对的第二点一致，并且第二点对的第一点位于离开眼球球体中心的区域中。

任选地，在显示设备的实施例中的每一个中，光束密度在第一点对处高于在任何其它所述第二点对处。

任选地，在显示设备的实施例中的每一个中，位于眼球球体中心的针孔照相机所看到的图像的分辨率比位于离开眼球球体中心的区域时更高。

任选地，在显示设备的实施例中的每一个中，包含于第一基准表面中的小盘具有不大于3mm的半径。

任选地，在显示设备的实施例中的每一个中，包含于第二基准表面中的小盘相对于眼球球体中心的角半径不大于3度。

任选地，在显示设备的实施例中的每一个中，与调节体积中的点相交的调节光束的数量至少为两个，其中，所述调节光束具有仅部分覆盖包含在所述第一基准表面中的盘的光束印迹，所述盘的直径为2mm到7mm之间的直径且所述盘的中心为眼球球体中心，其中，所述光束印迹是光束与所述第一基准表面相交的区域，以及其中，所述调节体积的每一点位于头骨的前面，与眼球球体中心的距离大于10cm，所述每个点和第二基准表面的中心相对于眼球球体中心的角度小于30度。

任选地，在显示设备的实施例中的每一个中，其中，所述光束的数量小于16。

任选地，在显示设备的实施例中的每一个中，光场中的大多数光束是调节光束。

任选地，在显示设备的实施例中的每一个中，所述光束的数量小于16，并且光场中的大多数光束是调节光束。

任选地，在显示设备的实施例中的每一个中，所述调节光束相交的点的集合形成3D像素，并且，3D像素的集合分布在调节体积中。

任选地，在显示设备的实施例中的每一个中，光学器件至少包含小透镜阵列。

任选地，在显示设备的实施例中的每一个中，阵列的至少一个小透镜是多焦的。

任选地，在显示设备的实施例中的每一个中，所述阵列的至少两个小透镜包括对称轴穿过眼球球体的中心的旋转对称光学表面。

任选地，在显示设备的实施例中的每一个中，显示设备包括显示器，其像素仅在各信道的光轴附近单独布线或寻址。

任选地，在显示设备的实施例中的每一个中，显示设备包括显示器及光学器件，所述光学器件被布置为照亮眼睛，从而在第二基准表面上产生小透镜阵列孔径表面的表面的虚拟图像，并且，其中，至少一个小透镜被布置为通过所述光学器件在第一基准表面上产生显示表面的真实图像，所述小透镜的簇包括多个opixel。

任选地，在实施例中的每一个中，显示设备包括显示器及光学器件，所述光学器件被布置为照亮眼睛，从而在第二基准表面上产生小透镜阵列孔径表面的表面的虚拟图像，并且，其中，至少一个小透镜被布置为通过所述光学器件在第一基准表面上产生显示表面的真实图像，所述小透镜的簇包括多个opixel。

任选地，在显示设备的实施例中的每一个中，所述阵列的至少一个小透镜被布置为产生至少一个光束，该光束的光束印迹与包含在第一基准表面中、直径为2mm到7mm之间的直径并且以眼球球体中心为中心的的盘相交，并且所述光束的ipixel的尺寸小于由所述小透镜产生的其光束印迹不与所述中心凹基准圆相交的至少另一个光束的ipixel的尺寸。

任选地，在显示设备的实施例中的每一个中，显示设备包括至少两个堆叠的显示器，其中，第一显示器的光在到达眼球之前穿过第二显示器，所述第二显示器是透射式液晶类型的。

任选地，在显示设备的实施例中的每一个中，光学器件被布置为在第一基准表面上产生所述第一显示器的表面的真实图像，并且在所述第二基准表面上产生所述第二显示器表面的虚拟图像。

任选地，在显示设备的实施例中的每一个中，光束以时间复用方式产生，使得并非所有光束同时被点亮。

任选地，在显示设备的实施例中的每一个中，通过根据支撑光线轨迹的直线到眼球球体中心的距离对光线进行加权的优值函数的最小化计算光场，对于所述加权，所述光线的轨迹的延长直线的所述距离越大，其权重越小。

任选地，在显示设备的实施例中的每一个中，所述加权函数与位于所述眼球球体位置的正常人眼的视觉敏锐度值近似成比例，所述眼睛的瞳孔的中心位于所述光线与眼球球体的交点处。

任选地，在显示设备的实施例中的每一个中，所述加权函数与位于所述眼球球体位置的正常人眼的视觉敏锐度平均值近似成比例，所述平均值是用根据正常人眼的扫视的统计值定位的所述眼睛的瞳孔计算的。

任选地，在显示设备的实施例中的每一个中，光场光束由变量u、v、u′、v′的统一离散化定义，所述变量对应于其逆Jacobian近似等于加权函数的变换。

任选地，在显示设备的实施例中的每一个中，光场值被采样、记录、传输或存储以供显示。

任选地，在显示设备的实施例中的每一个中，光场值是通过使用放置在包含于第一基准表面内的盘内的一小组照相机记录或呈现的，所述盘的直径为2mm到7mm之间的直径并以眼球球体中心为中心。

任选地，在显示设备的实施例中的每一个中，绿色光束多于红色和蓝色光束，以提高感知分辨率。

任选地，在显示设备的实施例中的每一个中，周边光束的色域小于其余光束的色域。

还公开了产生光场以照亮眼球球体的方法，该方法包括对光线进行加权的优值函数的最小化的步骤，因此，所述光线到眼球球体中心的距离越大，其权重越大。

任选地，在方法的实施例中的每一个中，加权函数与位于所述眼球球体位置的正常人眼的视觉敏锐度值近似成比例，所述眼睛的瞳孔的中心位于所述光线与眼球球体的交点处。

任选地，在方法的实施例中的每一个中，加权函数与位于所述眼球球体位置的正常人眼的视觉敏锐度平均值近似成比例，所述平均值是用根据正常人眼的扫视的统计值定位的所述眼睛的瞳孔计算的。

本文引用的所有参考文献，包括出版物、专利申请和专利，均以引用方式并入本文，其程度与各文献均单独明确表示为通过引用并入并在本文中完整阐述一样。

除非本文另有说明或上下文明确矛盾，否则在描述本发明的上下文中(尤其在所附权利要求的上下文中)使用术语“一个”和“一种”和“该”以及类似的指代，应被解释为包括单个和多个。除非另有说明，否则术语“包含”、“具有”、“包括”和“含有”应被解释为开放式术语(即，意指“包括但不限于”)。术语“连接”应被解释为部分或全部包含在内、固定或接合在一起，即使有什么东西介入也是如此。

除非本文另有说明，否则本文中对数值范围的叙述仅仅旨在用作单独提及落在范围内的各单独的值的速记方法，并且各单独的值并入说明书中，如同在本文中单独叙述一样。

除非本文另有说明或上下文另有明确矛盾，否则本文所述的所有方法均可按任何合适的顺序执行。除非另有要求，本文中提供的任何和所有示例或示例性语言(例如，“诸如”)的使用仅旨在更好地阐明本发明的实施例并且不对本发明的范围施加限制。各种实施例和元件可以根据需要以任何合适的方式互换或组合。

说明书中的任何语言不应被解释为表示任何非权利要求的要素为对本发明的实施至关重要。

对于本领域的技术人员来说，显而易见的是，可以在不脱离本发明的精神和范围的情况下对本发明进行各种修改和变化。本发明无意将本发明限定于所公开的特定的一种形式或多种形式，相反，本发明是要涵盖在所附权利要求中定义的、落在本发明精神和范围内的所有修改、替代结构和等效物。因此，本发明旨在涵盖本发明的修改和变更例，前提是它们在所附权利要求及其等效物的范围内。

虽然已经描述了具体的实施例，但是前面对当前设想的本发明的实施方式的描述不是在限制意义上，而是仅仅为了描述本发明的某些一般原理。从所描述的具体实施例可以进行变化。例如，上述交叉引用的专利和申请描述了可以有利地与本申请的教导相结合的系统和方法。虽然已经描述了具体的实施例，但是技术人员将理解如何组合不同实施例的特征。

本发明的全部范围应当参照权利要求被确定，并且，权利要求中的任意两项或更多项的特征可以被组合。

Claims (30)

1.一种包括光学器件的显示设备，该显示设备被布置为产生光场以照亮人眼，该显示设备具有固定到用户头骨的坐标系，光场包括实际上与第一基准表面和第二基准表面相交的多个光束，所述第一基准表面为穿过眼球球体中心并垂直于头骨前方方向的平面，并且所述第二基准表面位于距使用者头骨一距离处且是以眼球球体中心为中心的球体的一部分，所述第二基准表面的中心被定义为穿过眼球球体中心并指向头骨的前方方向的线的交点，

其中，各所述光束是直线的集合，所述线的线段与在任何时候具有近似相等的亮度和颜色的照亮眼睛的光线轨迹一致，

其中，各所述光线由光线与第一和第二基准表面的虚拟交点所形成的点对确定，并且

其中，由眼球球体的中心和第二基准表面的中心形成的第一点对处的光束密度高于至少离开第一点对的区域中的第二点对处的光束密度，

其中，点对的第一点包含在第一基准表面中且点对的第二点包含在第二基准表面中，所述光束密度定义为包含穿过分别以点对的所述两点中的每一个为中心且与其各自的基准表面相切的两个小盘的光线的光束的数量除以由与那两个盘相交的光线定义的相空间体积。

2.根据权利要求1所述的显示设备，其中，光束密度在由眼球球体中心和第二基准表面中心形成的点对处最大。

3.根据权利要求1所述的显示设备，其中，关于第一点对处的像素密度，第一点对的第一点是眼球球体的中心并且第一点对的第二点被定位为使得所述点和所述眼球球体中心的连线与所述头骨的前方形成小于10度的角，所述像素密度比在第二点对处高，第二点对的第二点与第一点对的第二点一致，并且第二点对的第一点位于离开眼球球体中心的区域中。

4.根据权利要求3所述的显示设备，其中，光束密度在第一点对处高于在任何其它所述第二点对处。

5.根据权利要求1所述的显示设备，其中，位于眼球球体中心的针孔照相机所看到的图像的分辨率比位于离开眼球球体中心的区域时更高。

6.根据权利要求1所述的显示设备，其中，包含于第一基准表面中的小盘具有不大于3mm的半径。

7.根据权利要求1所述的显示设备，其中，包含于第二基准表面中的小盘相对于眼球球体中心的角半径不大于3度。

8.根据权利要求1所述的显示设备，其中，与调节体积中的点相交的调节光束的数量至少为两个，

其中，所述调节光束具有仅部分覆盖包含在所述第一基准表面中的盘的光束印迹，所述盘的直径为2mm到7mm之间的直径且所述盘的中心为眼球球体中心，

其中，所述光束印迹是光束与所述第一基准表面相交的区域，以及

其中，所述调节体积的每一点位于头骨的前面，与眼球球体中心的距离大于10cm，所述每一点和第二基准表面的中心相对于眼球球体中心的角度小于30度。

9.根据权利要求8所述的显示设备，其中，所述光束的数量小于16。

10.根据权利要求8所述的显示设备，其中，光场中的大多数光束是调节光束。

11.根据权利要求8所述的显示设备，其中，所述光束的数量小于16，并且光场中的大多数光束是调节光束。

12.根据权利要求8所述的显示设备，其中，所述调节光束相交的点的集合形成3D像素，并且，3D像素的集合分布在调节体积中。

13.根据权利要求1所述的显示设备，其中，光学器件至少包含小透镜阵列。

14.根据权利要求13所述的显示设备，其中，阵列的至少一个小透镜是多焦的。

15.根据权利要求13所述的显示设备，其中，所述阵列的至少两个小透镜包括对称轴穿过眼球球体的中心的旋转对称光学表面。

16.根据权利要求14所述的显示设备，还包括显示器，其像素仅在各信道的光轴附近单独布线或寻址。

17.根据权利要求13所述的显示设备，还包括显示器及光学器件，所述光学器件被布置为照亮眼睛，从而在第二基准表面上产生小透镜阵列孔径的虚拟图像，并且，其中，至少一个小透镜被布置为通过所述光学器件在第一基准表面上产生显示表面的真实图像，所述小透镜的簇包括多个opixel。

18.根据权利要求14所述的显示设备，还包括显示器及光学器件，所述光学器件被布置为照亮眼睛，从而在第二基准表面上产生小透镜阵列孔径的虚拟图像，并且，其中，至少一个小透镜被布置为通过所述光学器件在第一基准表面上产生显示表面的真实图像，所述小透镜的簇包括多个opixel。

19.根据权利要求13所述的显示设备，其中，所述阵列的至少一个小透镜被布置为产生至少一个光束，该光束的光束印迹与包含在第一基准表面中、直径为2mm到7mm之间的直径并且以眼球球体中心为中心的盘相交，并且所述光束的ipixel的尺寸小于由所述小透镜产生的其光束印迹不与所述中心凹基准圆相交的至少另一个光束的ipixel的尺寸。

20.根据权利要求1所述的显示设备，还包括至少两个堆叠的显示器，其中，第一显示器的光在到达眼球之前穿过第二显示器，所述第二显示器是透射式液晶类型的。

21.根据权利要求20所述的显示设备，其中，所述光学器件被布置为在第一基准表面上产生所述第一显示器的表面的真实图像，并且在所述第二基准表面上产生所述第二显示器表面的虚拟图像。

22.根据权利要求1所述的显示设备，光束以时间复用方式产生，使得并非所有光束同时被点亮。

23.根据权利要求1所述的显示设备，通过根据支撑光线轨迹的直线到眼球球体中心的距离对光线进行加权的优值函数的最小化计算光场，对于所述加权，所述光线的轨迹的延长直线的所述距离越大，其权重越小。

24.根据权利要求23所述的显示设备，其中，所述加权函数与位于所述眼球球体位置的正常人眼的视觉敏锐度值近似成比例，所述眼睛的瞳孔的中心位于所述光线与眼球球体的交点处。

25.根据权利要求23所述的显示设备，其中，所述加权函数与位于所述眼球球体位置的正常人眼的视觉敏锐度的平均值近似成比例，所述平均值是用根据正常人眼的扫视的统计值定位的所述眼睛的瞳孔计算的。

26.根据权利要求25所述的显示设备，光场光束由变量u、v、u′、v′的统一离散化定义，所述变量对应于其逆Jacobian近似等于加权函数的变换。

27.根据权利要求23所述的显示设备，其中，光场值被采样、记录、传输或存储以供显示。

28.根据权利要求1所述的显示设备，其中，光场值是通过使用放置在包含于第一基准表面内的盘内的一小组照相机记录或呈现的，所述盘的直径为2mm到7mm之间的直径并以眼球球体中心为中心。

29.根据权利要求1所述的显示设备，其中，绿色光束多于红色和蓝色光束，以提高感知分辨率。

30.根据权利要求1所述的显示设备，其中，周边光束的色域小于其余光束的色域。

Images