CN115052139A - 具有变化位置的多焦平面 - Google Patents

具有变化位置的多焦平面 Download PDF

Info

Publication number
CN115052139A
CN115052139A CN202210568934.XA CN202210568934A CN115052139A CN 115052139 A CN115052139 A CN 115052139A CN 202210568934 A CN202210568934 A CN 202210568934A CN 115052139 A CN115052139 A CN 115052139A
Authority
CN
China
Prior art keywords
planes
image
depth
focal
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210568934.XA
Other languages
English (en)
Other versions
CN115052139B (zh
Inventor
塞波·T·瓦利
佩卡·K·西尔塔宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
PCMS Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PCMS Holdings Inc filed Critical PCMS Holdings Inc
Priority to CN202210568934.XA priority Critical patent/CN115052139B/zh
Publication of CN115052139A publication Critical patent/CN115052139A/zh
Application granted granted Critical
Publication of CN115052139B publication Critical patent/CN115052139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

描述了用于使用多个焦平面来显示深度图像(深度加纹理)的系统和方法。在一个实施例中，深度图像(其可以是深度视频的帧，由视频加深度序列组成)被映射到图像平面的第一集合。深度图像(或深度视频的后续帧)被映射到图像平面的第二集合。第一集合和第二集合中的每个图像平面具有指定深度，并且第一集合和第二集合在至少一个深度上不同。第一集合中的每个图像平面在其相应深度处显示，并且随后第二集合中的每个图像平面在其相应深度处显示。第一集合和第二集合的显示可以以足够高的速率循环交替以避免可感知的闪烁。

Description

具有变化位置的多焦平面
本申请为2019年1月16日递交的题为“具有变化位置的多焦平面”的中国专利申请No.201980018130.9的分案申请，该申请通过引用整体结合在此。
相关申请的交叉引用
本申请是以下专利申请的非临时提交并且基于35 U.S.C.§119(e)要求以下专利申请的权益：2018年01月19日提交、名称为“具有变化位置的多焦平面”的美国临时专利申请序列号62/619,401，该美国临时专利申请通过引用整体结合在此。
背景技术
多焦平面(MFP)显示器创建离散焦平面的堆叠(stack)，从而沿着观看者的视轴根据层组成3D场景。通过以不同深度和空间角度从焦平面向用户投影那些像素来形成3D场景的视图，用户的眼点可以看到这些像素。
多焦平面可以通过空间复用2D显示器的堆叠来实现，或者通过在空间渲染相应多焦图像帧的可见部分的同时由高速变焦元件(VFE)以时间复用方式顺序切换单个2D显示器的焦距来实现。图2中示出了MFP近眼显示器的实例。图2示出了由用户的左眼202和右眼204观看的显示器。为每只眼睛提供相应的目镜206、208。目镜聚焦由相应的图像堆叠210、212形成的图像。图像堆叠在距目镜的不同距离处形成不同的图像。对于用户的眼睛，图像看起来源于不同的虚像平面，例如图像平面214、216、218。
多焦平面(MFP)显示器是支持3D渲染场景中的自然适应的有吸引力的方式。由于各种技术原因，近眼显示器(NED)通常仅能够支持相对少量的MFP，从而限制了图像质量。在许多现有方法中，焦平面的位置是固定的，从而创建永久平均误差分布，相比于在焦平面之间的信息，更支持在焦平面处或附近的信息。
相对于从眼点的观察方向，多个焦平面主要是互补的，而不是相加的。然而，当观察从离散焦平面编译的视图时，加性效应可以平滑可见的量化步长和轮廓。
注意，在(虚拟)焦平面的堆叠中的每个图像在不同深度处被渲染，并且眼睛使那些没有被观察到的焦平面图像模糊。这意味着MFP显示器不需要基于眼睛跟踪(用于捕获调节深度)来模拟模糊，这是该方法的相当大的益处。
盒式滤波器。
可以通过将对应于每个图像的深度图切片成窄深度区域(切片)并将对应的像素投影到每个深度区域中间的(平坦)焦平面中来形成焦平面图像的近似。
当观察焦平面的堆叠时，合成视图由从观察者的眼点可见的不同焦平面上的信息形成。切片成深度区域导致MFP在空间(x-y)方向上彼此完成，而不是沿着深度维度(z维度)相加。
结果，如图3所示，平滑的3D表面在深度维度上被量化。
盒式滤波器以严格的方式在空间(x-y)和深度(z)维度上分离图像信息。由于仅使用离散数量的焦平面，深度维度被大量量化，导致呈现3D形状的低精度。
较大数量的焦平面意味着更好的深度精度，但是也更难以实现。由于技术原因，焦平面的数量实际上被限制为仅少数。
焦平面的精度通常对于与焦平面处于相同深度的像素是最佳的。在焦平面之间，精度较低，导致显示的图像内容的模糊，即使当基于深度的混合被用于内插深度值并且减少所渲染的视图中的深度量化效应时。
帐篷式滤波器。
所谓的基于深度的混合可用于减少深度维度中的量化误差，否则其可能对于人眼是可见的。深度混合涉及使用基于深度的函数来对用于构建每个焦平面的像素进行加权。
一种已知的深度混合函数是所谓的帐篷式滤波器，它是分段线性的锯齿形混合函数(图4B)。对于盒式滤波器，图4A中示出了相应的函数。除了上述混合滤波器之外，还建议了其它变化，包括在“Xinda Hu，“Development of the Depth-Fused Multi-Focal-PlaneDisplay Technology”，PhD论文，亚利桑那大学(2014)”中描述的那些。
焦平面的数量。
对于任何人，最多二十八个焦平面被认为足以覆盖从无穷远到4屈光度(25cm)的深度范围，对应于焦平面的1/7屈光度间隔。对于具有平均视力的人，十四个焦平面可能就足够了。
因此，对于高质量的深度感知，焦平面的理想数量是相当高的。另一方面，显示大量焦平面受到各种技术原因的限制。然而，焦平面的智能产生和定位允许更少的焦平面来重建高保真视图。
当仅使用几个焦平面时，考虑到人眼特性，它们被良好地定位是有益的。因为深度感知的精度与距观看者的距离成反比地降低，所以通常通过放置作为屈光深度的函数的几个深度平面来获得更高的精度。另外，焦平面的表观数量可以通过深度混合来增加。
由于各种技术原因，在实际应用中的焦平面的数量受到限制。在基于堆叠物理显示器的MFP显示器中，增加显示器的数量会引起透明度方面的问题(由于显示器材料特性)并且增加显示器结构的厚度。在基于(物理或虚拟显示器的)时间复用的实现中，增加复用显示器的数量降低了每个MFP的亮度(通过降低它们的开关比)，再次限制了MFP的最大数量。
无论实施方式如何，焦平面的数量实际上被限制为相对较少(例如，4至6)。本文描述的示例性实施例允许即使在相对少量的焦平面可用时也实现良好质量的深度成像。
发明内容
在示例性实施例中，提供了一种多焦平面(MFP)显示器，其中焦平面的位置随时间变化。深度混合函数和焦平面位置以时间相关但内容无关的方式变化。作为示例，可以使用一类正弦深度混合函数，其提供良好的空间分离，并且支持在变化的位置中容易地形成焦平面。
一些实施例提供了一种用于使用时变焦平面位置将焦平面图像的视频序列渲染到多焦平面显示器的方法。在一个这样的方法中，选择焦平面集合以用于经由多焦平面显示器显示视频序列，其中焦平面集合中的每个焦平面与焦距相关联。焦平面的集合被划分成多个子集，其中在一个周期中单独选择子集以渲染视频序列的连续帧。使用所述多焦平面显示器来渲染具有相关联的深度信息的视频帧的时间序列。为了渲染视频帧的时间序列，可以执行包括以下步骤的方法。对于每个视频帧，基于子集的循环排序来选择子集中的一个。基于所选择的子集选择或生成混合函数集合。基于视频帧、视频帧的相关联的深度信息和混合函数的集合，为所选择的子集中的焦平面中的每一个焦平面生成焦平面图像。使用所生成的焦平面图像在多焦平面显示器上显示视频帧。可以以时间复用的方式显示所生成的焦平面图像。
在一些这样的实施例中，视频帧的显示包括向多焦平面显示器提供所生成的焦平面图像和相关联的焦距。
在一些实施例中，显示视频帧的步骤包括调整可变焦透镜以允许显示所生成的焦平面图像中的每一个焦平面图像，其中调整基于与所选择的焦平面子集的相应焦平面相关联的焦距。
在一些实施例中，提供了一种显示具有相应深度信息的图像的方法。图像被映射到至少两个图像平面的第一集合和至少两个图像平面的第二集合。第一集合和第二集合中的每个图像平面具有指定深度，并且第一集合和第二集合在至少一个深度上不同。第一集合中的每个图像平面在其各自的深度显示。在显示第一集合中的所有图像平面之后，在其各自的深度显示第二集合中的每个图像平面。在一些实施例中，第二集合中的图像平面的所有深度都不同于第一集合中的图像平面的所有深度。第二集合中的图像平面的深度可以与第一集合中的图像平面的深度至少部分地交错。在一些实施例中，同时显示第一集合中的所有图像平面，并且随后同时显示第二集合中的所有图像平面。
在一些实施例中，提供了一种显示包括具有相应深度信息的图像帧序列的视频的方法。将所述帧中的第一个帧映射到至少两个图像平面的第一集合。所述帧中的后续第二个帧被映射到至少两个图像平面的第二集合，其中所述第一集合和所述第二集合中的每个图像平面具有指定深度，并且其中所述第一集合和所述第二集合在至少一个深度上不同。第一集合中的每个图像平面以其各自的深度显示。在显示第一集合中的所有图像平面之后，在其各自的深度显示第二集合中的每个图像平面。在一些实施例中，奇数编号的帧被映射到第一集合图像平面，偶数编号的帧被映射到第二集合图像平面。在一些实施例中，第二集合中的图像平面的所有深度都不同于第一集合中的图像平面的所有深度。在一些实施例中，第二集合中的图像平面的深度与第一集合中的图像平面的深度至少部分地交错。
附图说明
图1是示出了根据实施例的可被用作显示驱动器的示例无线发射/接收单元(WTRU)的系统图。
图2是多焦近眼显示器的示意图。
图3示出了当描述由五个焦平面的视图时深度的量化的示意性示例。箭头示出了观察方向。
图4A-4B是用于四个MFP的基本深度混合函数的示意图：称为盒式滤波器(图4A)的无混合深度切片，以及称为帐篷式滤波器(图4B)的线性滤波器。
图5示出了在移位位置中对MPF进行时间复用的过程中执行的步骤。
图6示意性地示出了产生五个焦平面的权重的两个正弦函数的示例。
图7示出了两个正弦函数，它们被分割以产生三个焦平面的权重(由不同的线条图案示出)。
图8示出了产生五个MFP(由不同的线图案示出)的权重的正弦函数。
图9A-9B示出了五个焦平面(图9A)和四个焦平面(图9B)之间的交替，使得后四个MFP位于前五个之间。
图10示出了作为时间的函数在五个和四个MFP的堆叠之间交替的示例。
图11A-11B示出了在移位位置中的MFP的交替集合。
图12示出了作为时间的函数的交错两个堆叠的四个MFP的示例。
图13示出了操作以与每只眼睛相反的相位显示交错的MFP两个集合的双目显示器的示例。
图14示出了在一些实施例中用作混合函数的B样条基函数的集合。
图15A-15C是示出了在移位位置中MPF的复用的示意性框图。
图16为产生两个虚拟MFP平面的光学结构的示意图。
图17是示出在示例性实施例中执行的方法的消息流程图。
图18A是能够显示单个焦平面的光学透视(OST)显示器的示意性截面图。
图18B是能够显示多个焦平面的光学透视(OST)显示器的示意性截面图。
图19A-19C是根据一些实施例的用于在三个不同焦平面处显示图像的三种不同配置的光学透视显示器的示意性横截面视图。
图20是根据一些实施例的光学透视显示器的光学器件的示意性横截面视图，其示出感知到的眼点偏移。
图21是根据一些实施例的光学透视显示器的光学器件的示意性横截面视图，其示出了减小的或零眼点偏移。
图22是根据一些实施例的光学透视显示器的光学器件的示意性横截面视图。
图23是根据一些实施例的光学透视显示器的光学器件的示意性横截面视图。
用于实施例的实现的示例装置
图1是示出了可以用于使用这里描述的技术来驱动显示器的示例无线发射接收单元(WTRU)102的系统图。如图1所示，WTRU 102可以包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、数字键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136和/或其他外围设备138等等。应该了解的是，在保持符合实施例的同时，WTRU 102还可以包括前述元件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号译码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU102在无线环境中操作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收元件122。虽然图1将处理器118和收发信机120描述成单独组件，然而应该了解，处理器118和收发信机120也可以一起集成在一个电子封装或芯片中。
发射/接收元件122可被配置成经由空中接口116来发射或接收去往或来自基站的信号。举个例子，在一个实施例中，发射/接收元件122可以是被配置成发射和/或接收RF信号的天线。作为示例，在实施例中，发射/接收元件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在再一个实施例中，发射/接收元件122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收元件122可以被配置成发射和/或接收无线信号的任何组合。
虽然在图1中将发射/接收元件122描述成是单个元件，但是WTRU 102可以包括任何数量的发射/接收元件122。更具体地说，WTRU 102可以使用MIMO技术。由此，在一个实施例中，WTRU 102可以包括两个或更多个通过空中接口116来传送和接收无线信号的发射/接收元件122(例如多个天线)。
收发信机120可被配置成对发射/接收元件122所要传送的信号进行调制，以及对发射/接收元件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。
WTRU 102的处理器118可以耦合到扬声器/麦克风124、数字键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些元件的用户输入数据。处理器118还可以向扬声器/麦克风124、数字键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息，以及将数据存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订阅身份模块(SIM)卡、记忆棒、和安全数字(SD)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于WTRU 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
处理器118可以接收来自电源134的电力，并且可被配置成分发和/或控制用于WTRU 102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器118还可以耦合到GPS芯片组136，该芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口116接收来自基站的位置信息，和/或根据从两个或多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 102可以借助任何适当的定位方法来获取位置信息。
处理器118可以进一步耦合到其他外围设备138，其中所述外围设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、
Figure BDA0003659414910000101
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。外围设备138可以包括一个或多个传感器，所述传感器可以是以下的一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁强计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、姿势传感器、生物测定传感器、和湿度传感器等。
WTRU 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧相关联)的接收或传输可以是并发或同时的等。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 102可以包括传送或接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联)的半双工无线电设备。
具体实施方式
表征多焦平面(MFP)显示器的参数通常包括焦平面的数量(其可以在屈光尺度上线性分配)和深度混合函数的属性。两者都影响由MFP近似的3D形状(深度)中的量化误差的量和性质。下面描述一些优化原理。
通过多焦捕获来优化MFP。
在MFP渲染中，可以使用由一些选定的孔径和焦距捕获的纹理来形成焦平面。例如，由于相机光学器件引起的模糊，在那些未聚焦的图像区域中可抑制高空间频率。分别地，在相应深度/调节距离处MFP可能缺乏精确度。可以利用若干焦距来捕获视图的纹理。
在“Rahul Narain等人的“Optimal Presentation of Imagery with Focus Cueson Multi-Plane Displays”，ACM图形上事务处理(TOG)，第34卷第4期，文章59，2015年8月”中，描述了一种用于形成屈光放置的MFP的方法，其使用具有变化焦距的多个场景捕获作为输入。使用多焦捕获，MFP可以根据人类视觉系统(HVS)更精确地优化。这例如适用于折射、反射和所捕获的视图中的其它非朗伯现象的影响。除了具有不同焦距的相机之外，可以从例如利用诸如Lytro Illum的相机从场景捕获的光场导出输入图像的集合。
基于显示的内容优化MFP。
优化MPF渲染的一种方法是使用诸如“W.Wu等人，“Content-adaptive focusconfiguration for near-eye multi-focal displays”，IEEE多媒体国际会议(ICME)，2016年07月，第1-6页”的方法来根据所显示的内容导出和定位焦平面。例如，如果输入图像的像素围绕某些深度级或区域聚类，则围绕这些聚类定位焦平面对质量可能是有益的。
在示例性实施例中解决了问题。
形成多焦平面的一种方式是量化(离散化)深度维度中的每个视图，并且将每个像素映射到其最接近的焦点/深度水平。无论多焦平面是由物理显示器的堆叠表示还是通过以时间复用方式渲染它们来表示，结果都往往遭受两种显著类型的失真，即平坦化(或纸板(cardboard))和轮廓(或条带)。
这些失真是由深度值的量化引起的，其将深度范围内的像素投影到平面上。重建视图具有具有明显深度分离的平面的堆叠。在许多时候，不同距离处的对象被映射到深度平面之一，并且可能在重建视图中像纸件切口那样显现和移动。
当观察穿过相邻焦平面的物体时，深度的突然变化也会导致轮廓和台阶。这些突然的变化是由凝视穿过两个焦平面时的非连续视网膜模糊引起的。尽管观察者可以看到正确且未失真的纹理，但是这种现象是可见的。
在现有系统中，焦平面的数量和放置通常是固定的，并且不随时间改变。焦平面的固定数量和位置导致固定误差分布，其在焦平面之间平均较高。这往往干扰焦平面之间的调节质量感知。注意，深度精度还影响在深度上移动的对象的质量，因为模糊量随时间而变化。
MFP显示器的常见优化标准是焦平面的数量(在屈光尺度上线性分配)和用于减少量化效应的深度混合函数(一个或多个)的特性。MFP优化的两种方法包括基于多焦捕获的优化(Narain等人)和根据所渲染的内容的优化(Wu等人)。这些方法要求复杂的场景捕获(例如，用于光场)或复杂的建模和主观质量的计算(例如，用于感知的空间频率和视网膜模糊)以及MFP放置。
示例性实施例的概述。
当仅使用很少的焦平面来重建3D视图时，合理地最佳定位焦平面是有益的。基本优化标准包括例如遵循人眼属性的焦平面的屈光间距，以及通过优化深度混合函数来减少(客观和/或主观)深度量化失真。
示例性实施例操作以用时间相关的方式选择有益的深度混合函数和焦平面位置。示例性实施例还提供深度混合函数，其提供良好的空间分离并支持在不同位置形成焦平面。
在移位位置中对MPF进行时间复用。
焦平面的精度通常对于与焦平面处于相同深度的像素是最佳的。在焦平面之间，精度较低，即使当基于深度的混合被用于内插像素值和减少所渲染的视图中的深度量化效应时。在许多当前的方法中，焦平面的位置是固定的，从而产生永久的平均误差分布，相比于在焦平面之间的信息，更支持在焦平面处或附近的信息。
考虑到质量感知，使焦平面的位置随时间变化是有利的，使得平均误差分布不太结构化且是永久的(并且因此随时间变化)。这些改变，在此称为焦平面的多路复用，优选地以足够高的速率执行，以便不引起可察觉的闪烁伪像。
该方法的示例性实施例的一个特征是显示系统允许以变化的深度渲染MFP。另外，在变化的位置处完成形成焦平面，使得深度混合函数必须沿着深度(z)轴移位。
在示例性实施例中，采用正弦混合函数。这种函数易于形成，并且它们的位置易于通过由控制变量改变它们的相位而改变。
当位置在每个渲染的输入图像之间变化时，所选择的定位用于所有用于合成所讨论的图像的MFP。以此方式，对于每个渲染的MFP堆栈，亮度分布保持基本不变。
值得注意的是，对于时间复用MFP，时变MFP方法不一定需要改变刷新速率。
图5示出了在移位位置中MPF的时间复用中执行的步骤。在步骤502中，捕获场景的图像，并且在步骤504中，生成场景的深度图。在步骤506中，形成移位的焦平面堆叠，并且在步骤508中，渲染移位的焦平面堆叠以供显示。形成移位MFP和渲染焦点堆叠的过程将在下面更详细地描述。
一些实施例的潜在益处。
MFP近眼显示器的一般优点在于，它支持自然调节和聚散度。在焦平面的堆叠中的每个图像在不同的深度被渲染，并且眼睛使得对于那些焦平面的模糊不被观察到。这使得能够将焦平面渲染到体积中而无需跟踪用户的眼睛调节。因此，MFP显示器不需要视网膜模糊的模拟。相反，使用眼睛跟踪来进行模糊往往是不准确且计算要求高的过程。
MFP显示器的质量通常随着用于渲染的焦平面的数量而增加。然而，由于各种技术原因，显示大量焦平面是受限的。实际上，焦平面的最大数目被限制为仅少数，典型地从四到六。高质量的渲染将需要大约加倍数量。
在一些实施例中，可以用相对少量的焦平面(例如，五个)来重建高保真视图。这是通过交错较少数目的焦平面以便增加它们的表观(apparent)数量来实现的。在示例性实施例中，可以利用选定数量的MFP(选定的复杂性)来提高渲染质量，或者通过减少所需MFP的数量，可以在不降低渲染质量的情况下降低系统复杂性。
在使用物理显示器堆叠的实施例中，减少的焦平面数量导致更好的透明度。如果物理或虚拟显示器是时间复用的，则较少的显示器导致每个焦平面的较高的开关比和较高的亮度。
减少的焦平面数量可以实现更薄的显示器结构。这对于光学透视(OST)显示器是特别有益的，其支持通过显示器结构无失真地观看真实世界的选择。光学透视显示器的示例在下文更详细地描述。
示例性正弦深度混合函数可以具有优于现有的正弦深度混合函数的各种益处。使用盒式滤波器对图像信息进行切片的基本方式产生了平坦化或纸板失真以及在几个深度切片上延伸的表面的台阶或轮廓失真。通常用于减少这些失真的帐篷式滤波器也可能导致亮度分布的不连续性，其在焦平面中表现为褶皱和轮廓。
在一些实施例中使用的正弦混合函数提供焦平面之间的良好空间分离，使得眼睛可以注视并适应不同深度。正弦函数在整个深度范围内是连续的，并且可以使用闭合形式和相反相位的两个函数来获得任何集合(数量)的混合函数所需的所有权重值。闭合形式也可以用于根据线性深度信息形成笔直的屈光定位的MFP，使得不需要线性和屈光尺度之间的中间映射。
本文公开的操作用于增加焦平面的表观数量的技术，诸如修补或加倍，也可以应用于盒式滤波器、帐篷式滤波器或形成焦平面和/或其他混合函数的其他已知方式。
一些示例性实施例在计算上比已知的优化方法要求低得多。使用诸如修补或加倍的技术来增加焦平面的表观数量可以利用更成本有效的系统来给出相当的益处。
在示例性实施例中，还可以使用多焦捕获(例如，焦点堆栈或光场)或MFP集合的基于内容的放置来优化所公开的系统。
示例性混合函数。
为了不引起3D视图的亮度变化，焦平面亮度的权重优选地总计达到值1。在这方面，正弦混合函数(sin(x)和/或cos(x))是特别有利的。通过对纵坐标值(乘以0.5)、尺度(乘以0.5)和相位(乘以π)进行适当的移位，正弦函数的总和达到值1，并且可以在期望的深度范围之间定义。
图6示出了两个相位相反的正弦函数的示例，其可以用于产生用于五个焦平面的混合函数。在该示例中，使用从0到255的典型深度范围。实线(“系列1”)可以使用表达式来生成
0.5+0.5cos(4πx/255)
其中x表示深度。虚线(“系列2”)可以使用表达式来生成
0.5-0.5cos(4πx/255)
对于A和B的适当值，这种函数通常具有0.5+0.5sin(Ax+B)的形式。对于不同MFP的权重函数可以通过选择曲线图的合适部分来获得。在图6中，水平尺度在0与255之间，其为用于模拟中的深度图值的范围。相应地，x是在所使用的深度尺度上产生期望数量的正弦波(MFP)的深度的函数。
图7示出了正弦函数的示例，该正弦函数被分割以相应地产生用于三个焦平面的三个混合函数。
图8相应地示出了如何使用图6所示的两个正弦曲线形成五个图像平面。应当注意，在图8的曲线图中(以及随后在图9A-9B和11A-11B中)，为了使不同的函数在它们的值重叠的地方(特别是沿着x轴)可见，在垂直方向上引入了小的偏移。在图8的示例中，不同的系列可以由以下表达式表示：
系列2：对于x＜1/4 255，w2＝0.5+0.5cos(4πx/255)，否则W2＝0
系列3：对于x＜1/2·255，w3＝0.5-0.5cos(4πx/255)，否则w3＝0
系列4：对于1/4·255＜x＜3/4 255，w4＝0.5+0.5cos(4πx/255)，否则W4＝0
系列5：对于x＞1/2 255，w5＝0.5-0.5cos(4πx/255)，否则w5＝0
系列6：对于x＞3/4 255，w6＝0.5+0.5cos(4πx/255)，否则w6＝0
使用这些系列中的权重值，可以使用以下技术来显示在深度x处具有感知亮度L0的像素。使用以下公式将总感知亮度L0映射到五个图像平面的每一个图像平面处的相应像素的感知亮度。
L2＝w2(x)·L0
L3＝w3(x)·L0
L4＝w4(x)·L0
L5＝w5(x)·L0
L6＝w6(x)·L0
在每个图像平面处，用相应的计算的感知亮度照亮适当的像素。从观察者的角度来看，每个图像平面中的相应像素彼此重叠，从而给出在深度x处具有感知亮度L0的单个像素的感知。
在一些实施例中，使用深度的线性尺度来计算MFP，深度的线性尺度对应于大多数深度捕获设备的输出度量。为了应用MFP的屈光间距，在形成MFP之前，可以将线性深度映射到屈光尺度。为了精确地映射尺度，确定最小和最远深度(距眼睛的距离)，如下面更详细描述的。
具有正弦混合函数的MFP在空间上很好地分离。它们的共混性质具有线性帐篷式滤波器的一些优点。
与帐篷式滤波器不同，正弦混合不显示MFP亮度分布中的折叠或其它突然的可见变化。此外，不同形式的帐篷式滤波器、正弦深度函数是平滑的，使得它们的一阶导数在整个深度范围上是连续的。
使用中间焦平面(“拼接MFP”)的实施例
焦平面的固定组成通常不是最佳的。MFP焦平面的固定放置导致固定量化步长和沿深度尺度的固定平均误差分布。为了解决这个问题，一些实施例通过在交替的位置对MPF进行时间复用来提高MFP渲染质量，作为减少量化效应的一种方式。在一些这样的实施例中，在针对每两个输入图像的两个不同焦平面分配之间执行交替。
例如，如果MFP的最大支持和/或选择数量是五，则五个焦平面用于组成在第一时间间隔中显示的第一图像。随后，对于第二图像，以在先前渲染的五个MFP之间的交错深度处渲染四个MFP。总共，使用用于MFP的九个位置来进行渲染，这减小了平均量化误差并且提高了感知的图像质量。图9A-9B示出了该原理。
通过将基本正弦加权函数相移四分之一波长，可以获得中间焦平面的权重。在一些实施例中，对于不在深度尺度的任一端的最外焦平面位置，通过用值0或1重复(外推)来完成权重值。
使用这种“修补”方法的示例性实施例操作以分别增加焦平面的表观数量和感知质量，而不超过焦平面的选定最大数量(在该示例中为五个MFP)。
图10示出了作为时间的函数，通过四个中间MFP的集合修补五个MFP的集合。图像被映射到五个图像平面1002(最接近用户的眼睛)，1004、1006、1008和1010的集合。这五个图像平面在第一时间t1向用户显示。图像还被映射到四个图像平面1003、1005、1007和1009的集合。四个图像平面的集合在距离上与五个图像平面的集合交错。具体地，平面1003的距离在平面1002和1004的距离之间，平面1005的距离在平面1004和1006的距离之间，平面1007的距离在平面1006和1008的距离之间，以及平面1009的距离在平面1008和1010的距离之间。在时间t1之后的第二时间t2向用户显示四个图像平面的集合。五个图像平面的集合和四个图像平面的集合的显示可以交替，其中五个图像平面的集合在时间t3再次显示，并且四个图像平面的集合在时间t4再次显示。五个图像平面的集合和四个图像平面的集合的显示可以以足够高的速率交替，使得该变化对于用户而言不是显著的，例如每秒至少二十四次。在不同的实施例中可以使用不同数量的平面。
为了避免闪烁，可以在每个渲染帧之间/为每个渲染帧进行MFP堆栈的移位。人类视觉系统的时间特性对于感知空间(或角度)变化上的适应(深度)是较慢的，因此在一些实施例中，尽管改变了MFP位置，但是显示帧速率不变。
使用焦平面的交错(例如，加倍)的实施例。
在一些实施例中，可以通过保持焦平面的选定最大数量但在两个交错位置之间交替，使得MFP的表观数量加倍，来提高MFP渲染的质量。图11A-11B示出了当使用四个MFP时的示例性权重函数。用于交错焦平面的权重可以再次通过将基本正弦权重函数相移四分之一波长来获得。对于不在深度尺度的末端的最外焦平面位置，可以通过用值0或1重复(外推)来完成权重值。
图12中示出了当在中间位置中时间复用五个MFP时的交错MFP的示例。图像平面1201、1203、1205、1207、1209的第一集合的显示与交错的图像平面1202、1204、1206、1208、1210的第二集合的显示交替。焦平面的表观数量加倍(在该示例中为十)，并且感知的精度增加而不增加焦平面的所选最大数量(在该示例中为五)。
双目观察：对于每个眼睛交替的MFP堆栈。
在一些实施例中，深度维度中的量化效应可通过针对每一眼睛以相反相位交替MFP的两个集合来进一步减小。图13示出了在五个交错MFP的情况下的一个这样的方法。在时间t1，图像平面1302a、1304a、1306a、1308a和1310a被显示给用户的左眼1300a，并且图像平面1301b、1303b、1305b、1307b和1309b被显示给用户的右眼1300b。在时间t2，图像平面1301a、1303a、1305a、1307a和1309a被显示给用户的左眼，并且图像平面1302b、1304b、1306b、1308b和1310b被显示给用户的右眼。显示器可以在时间t1的配置和时间t2的配置之间快速交替。
在两个堆叠位置之间交替的一个好处是，以与所谓的双目融合或单视技术类似的方式利用了人眼的平均特性。通过使用这个属性，可以通过以不同的焦距(近和远)捕获图像对来扩展立体图像的感知景深。相同的现象也可以通过开具有不同光焦度的眼镜(镜片)来改善老花眼人群的视力。
选择多个MFP
在“K.J.MacKenzie等人的“Accommodation to multiple-focal-planedisplays:Implications for improving stereoscopic displays and foraccommodation control”，视觉杂志(2010)10(8):22，第1-20页”中，使用线性深度混合(帐篷式滤波器)，焦距的变化导致对于高达10/9D的图像平面分离的连续近线性调节响应，这表明在屈光尺度(对应于0.25m和14m之间的度量距离)上在4和1/14之间平均分布的五个MFP可能足以用于实际的3D显示器。
在图8中，示出了五个MFP的混合函数，其在深度尺度上均匀分布。如果相应的深度尺度映射在例如屈光尺度上的4和1/14之间(相应的度量距离在0.25m和14m之间)，焦平面之间的间隔是0.98D。现有的研究表明，足够数量的焦平面是五个MFP的量级。本文公开的实施例将准确度很好地带到安全方面，而不需要使用更复杂的方法。
替代的混合函数。
已知的混合函数包括所谓的盒式滤波器和帐篷滤波器。除此之外，混合滤波器可以使用几种其它的变化，包括在“Xinda Hu，“Development of the Depth-Fused Multi-Focal-Plane Display Technology”，PhD论文，亚利桑那大学(2014)”中和在“Hu,X.和Hua,H.(2014)，“Design and assessment of a depth-fused multi-focal-plane displayprototype”，IEEE/OSA显示技术杂志，10(4),308-316”中描述的那些。
混合函数集合的有益特征是它们合计为一，以便不引起所渲染的MFP堆栈的总亮度级的变化。这是一个被称为“统一划分”的属性，其可以用任意数量的函数来实现。
作为可以在实施例中采用的作为所述正弦函数的替代的混合函数的示例，可以例如从一系列所谓的冲击函数Ψ:R(R由下式给出)以及合计达一的一个或多个互补函数中构建：
Figure BDA0003659414910000201
此外，根据下面的公式，混合函数可以由0和1之间、或1和0之间的各种平滑过渡函数组成：
Figure BDA0003659414910000211
此外，所谓的Friedrich软化器(也称为恒等式的近似)可以用于创建用于深度加权混合的平滑函数的序列。
以上仅是示例，并且示例性实施例可以采用混合函数的替代集合。
直线刻度和屈光度刻度的对位。
人类视觉系统有利于将焦平面放置在屈光尺度上的规律距离处。然而，深度信息通常最容易以线性尺度来捕获。理想地，线性深度范围的位置和尺度是已知的。然而，线性尺度通常是相关的，在场景的某一最小和最大距离之间变化，而没有关于实际度量跨度的信息。
另一方面，从观看者的眼睛位置开始并且继续到无穷远，人眼的深度感知更绝对。当在MFP近眼显示器中使用线性捕获的深度信息时，识别离眼睛最近和最远的渲染距离(以屈光尺度)并将线性捕获的深度映射/对准到该范围是有帮助的。
在没有关于线性深度的绝对尺度和跨度的信息的情况下，深度感知通常不能是真实和准确的。当从不同源接收内容(例如，视频加深度)时尤其如此。尽管如此，可以根据假设来执行线性深度尺度与屈光深度尺度之间的上述绑定和映射，以便优化离散焦平面的放置。
屈光深度D(x)和线性归一化深度x之间的关系可以表示如下：
D(x)＝(x·zmin+(1-x)·zmax)-1，其中x＝[0,1]，并且Dmin＝1/zmax，并且Dmax＝1/zmin。
这里，x＝0是场景中的最大深度，x＝1是场景中的最小深度。对于具有8位分辨率的深度图，可以容易地将深度从0缩放到255。
注意，为了简单起见，图10、12和13中的MFP的示例使用线性深度尺度形成，尽管可以替换地使用其它深度尺度。
在内容相关位置形成和渲染MFP。
在利用时变焦平面的一些实施例中，根据显示的内容来定位MFP。焦平面的定位则取决于要显示的每个输入图像的特性。
例如，如果输入图像在某些深度级或区域周围聚类，则与渲染精度相关地，将焦平面定位在这些聚类周围是有益的。当使用例如正弦混合函数集合时，它们的屈光间距主要是某个常数。相应地，可以一次对整个MFP集合进行基于内容的优化。
焦平面的数量和位置都可以根据内容而变化。应用上述过程，例如，可以提取一段正弦混合函数(每个基本上包含一个半波长内的权重)并将其移动到深度尺度上的任何位置。相应地，波的相邻部分可以被拉伸(通过重复权重值)，以实现统一划分属性。
作为在上述大多数示例中使用的正弦混合函数的替代，示例性实施例也可以与其他混合函数一起应用(例如，当使用帐篷式、非线性、冲击式、多项式或其他滤波器时)。图14示出了满足统一划分条件并在一些实施例中可用作混合函数的一组B样条基函数。从图14中可以明显看出，混合函数不需要对称或者达到最大权重值1。
在不同的实施例中可以使用用于形成内容自适应MFP的不同技术。在一些实施例中，可以执行直方图分析以导出内容属性。各种技术可用于指定用于优化焦平面位置的度量和规则。规则还可以利用用于视觉感知的不同模型，诸如“W.Wu等人，“Content-adaptivefocus configuration for near-eye multi-focal displays”，IEEE多媒体国际会议(ICME)，2016年07月”中描述的那些。然而，在其他实施例中，图像平面距离的选择独立于所显示的内容。
在移位的位置中对MPF进行时间复用。
图15A示出了在移位位置对MPF进行时间复用的方法。在步骤1502中，用相机(例如，深度相机)捕获图像内容。在步骤1504中，创建图像内容的深度图。在步骤1506中，基于深度图将图像内容映射到图像平面的不同堆叠。图像平面的不同堆叠被时间复用(步骤1508)并被渲染(步骤1510)以显示给用户。
图15B示出了在移位位置对MPF进行时间复用的另一种方法。3D内容被捕获(步骤1512)并被重建(步骤1514)。在步骤1516中，基于深度图将图像内容映射到图像平面的不同堆叠。图像平面的不同堆叠被时间复用(步骤1518)并被渲染(步骤1520)以显示给用户。图15C示出了当3D建模内容1522(例如，完整的VR场景或AR对象)用作形成MFP的输入时的情况(步骤1524)。当形成虚拟建模内容的MFP时，相应的3D内容可用，而无需捕获和重建步骤(参见图15B)。图像平面的不同堆叠被时间复用(步骤1526)并被渲染(步骤1528)以显示给用户。
在一些实施例中，代替纹理和深度视频，图像信息可以被捕获并作为实时3D数据被传输。这可能影响在接收位置处MFP的形成。
如上文更详细地描述，可通过“修补”或“交错”来完成MFP堆叠的形成。
用于形成可在不同实施例中使用的混合函数的一种技术包括以下步骤。
·选择反相的连续正弦函数作为基本函数。
·将基本函数调节到期望的深度范围。
·调整基本函数的波长以产生选定数量的焦平面，以及
·计算两个互补基本函数的权重表，产生每个深度值的权重。
·根据MFP的选定数量来分割权重表中的值。
·通过外推最外焦平面处的值来补充深度尺度末端处的值。
在“修补”的情况下，该技术导致n个MFP的集合，在中间位置用(n-1)个MFP的另一集合修补，总共2n-1个MFP。在“交错”的情况下，该技术导致n个MFP的两个集合，彼此交错(在深度尺度上移动四分之一波长)。在任一情况下，在一些实施例中，(分割和完成的)混合函数的权重在整个深度范围上合计达一，即，它们形成“统一划分”。
用于变焦时间复用实施例的示例性光学结构。
在其上实现示例性实施例的显示设备在不同的实施例中可采取各种形式。在“S.Liu等人的“A Novel Prototype for an Optical See-Through Head-MountedDisplay with Addressable Focus Cues”，IEEE可视化与计算机图形学汇刊，第16卷第3期，2010年5月/6月，第381-393页”中描述了一种这样的显示设备。Liu等人描述了一种用于光学透视AR眼镜的解决方案。这种解决方案通过将物理显示器放置在观看者的光路旁边来避免透明度的问题。使用这种结构，所显示的图像是虚拟图像，其不像物理显示器那样彼此阻挡。在Liu等人的设备中，调节可控(液体)透镜的焦距以提供不同的虚焦平面。图16示出了可以用于显示不同图像平面的光学结构，在图16的光学结构中，微显示器1602显示图像。来自显示器的光在被反射镜1608(其可以是凹面镜)反射之前穿过可调透镜1604并穿过半镀银反射镜1606。由反射镜1608反射的光再次由半镀银反射镜1606反射到用户的眼睛1610中。用户能够通过半镀银反射镜1606观察外部环境。透镜1604和反射镜1608在由可调透镜1604和反射镜1608的光焦度确定的位置处形成微显示器1602的图像(例如图像1612)。
使用诸如图16的显示设备，可以以时间复用的方式利用显示器和透镜的适当速度和亮度执行任何数量(例如五个)的焦平面的渲染。可变焦透镜1604具有连续的焦距范围，并且在变化的距离处(利用透镜的变化的光焦度)渲染多个焦平面。在替代实施例中，可以使用例如自由形式的透镜/波导来实现多个焦平面，以便实现足够紧凑的显示器结构，例如使用“D.Cheng等人的“Design of an optical see-through head-mounted display witha low f-number and large field of view using a free-form prism”，应用光学48，2009，第2655-2668页”中描述的技术来。
在一些实施例中，一对变焦透镜串联放置，使得一个透镜渲染MFP的基本集合(例如五个)，而另一个(例如双折射的)透镜将堆叠交替到中间位置。
示例性方法。
图17中示出了示例性方法，在图17的方法中，渲染器控制模块1702选择N个焦平面(步骤1704)。该数量可以是时变的。渲染器控制模块还选择每个焦平面的位置(深度)(步骤1706)。这些选择可以基于用于要渲染的图像的深度图的内容，或者所述选择可以是内容无关的(例如，基于相应显示设备的物理能力)。焦平面的数量和位置被提供给渲染器1708。渲染器还接收深度图和要渲染的图像。在步骤1710中，渲染器使用深度图(和适当的混合函数)来形成用于形成每个单独的图像平面(焦平面)的权重。渲染器形成(步骤1712)并渲染(步骤1714)各个图像平面，并将它们提供给MFP显示器。MFP显示器在显示平面上循环，调整每个显示平面的透镜(或其它可调整的显示光学器件)(步骤1716)并在相应的各自深度显示图像平面(步骤1718)。注意，在该示例性方法中，在不同的时刻显示每个图像平面(步骤1718)，也使用了顺序的焦平面集合(修补的或加倍的)，而不是如前所述的同时的。为了最佳精度，也可以顺序地进行用于形成相应的顺序焦平面集合的纹理和深度捕获。
光学透视显示设备。
本文还公开了使用变焦方法和时间复用来呈现多个焦平面的多焦平面(MFP)显示器。在一些实施例中，通过使用电子可控的可变焦透镜来改变焦距。使用电子透镜避免了对机械致动器的需要，并且使得能够实现若干透镜系统的结构复用。
术语结构复用在这里用于指使用占据光学管道的相同物理部分的多个可变焦透镜配置或布局。每次，通过根据需要激活和去激活电子透镜来配置所选透镜系统。
在一些实施例中，渲染系统的大多数组件可以被共享并保持在固定位置，从而潜在地简化了实现。
一些实施例提供眼点的覆盖(即，没有偏移)。还描述了变型，其中这些变型进行特定的权衡以实现用于实现的更好的形状因子(例如，通过允许一些眼睛偏移、省略背景遮挡或使用直接遮挡)。
立体3D。
立体显示器是显示3D信息的常见方式(通常称为立体3D或S3D)。立体观看基于由两个相机捕获平行视图—立体对，被分开一小段距离，称为立体基线。捕获设置模仿由两个人眼感知的双眼图像。该技术通过在3D影院、3DTV以及增强和虚拟现实应用(AR和VR)中的使用而得到普及。在AR/VR中，通常使用可佩戴的近眼显示器(有时称为眼镜)。
在真实世界空间中，人眼能够通过聚焦和适应不同的距离/深度来自由地扫描和拾取信息。当观看时，眼睛的聚散度在看到平行方向(对于远处的物体)和看到非常交叉的方向(对于靠近眼睛的物体)之间变化。会聚和调节非常强地耦合，使得在大多数时间，自然地，调节/焦点和两只眼睛的会聚点在相同的3D点相遇。
在传统的立体观看中，眼睛总是聚焦在相同的图像/显示平面上，而人类视觉系统(HVS)和大脑通过检测图像的视差(即，两个2D投影中的相应图像的小距离)来形成3D感知。在立体观看中，聚散度和调节点可以是不同的，这导致聚散度-调节冲突(VAC)。尽管已知VAC引起视觉疲劳和其它类型的不适，但是由于其便利性和成本效益，常规立体视觉仍然是近眼显示器中最常使用的方法。
多焦平面显示器。
在多焦平面(MFP)显示器中，观看者能够聚焦在不同的对象和深度，这避免了典型的用于立体显示器的VAC。在不同深度处渲染(自然或虚拟)焦平面图像的堆叠；观察到的一个是焦点对准的，而其他的则是由人类视觉系统自然模糊的。MFP显示器示出了离散焦平面的堆叠，其从沿着观察者视轴的层组成3D场景。
多个焦平面在从观察轴的横向方向上主要是互补的，而不是相加的。然而，加性效应可以平滑量化步长和轮廓，否则当查看从离散焦平面编译的视图时可能感知到所述量化步长和轮廓。
通过空间复用2-D显示器的堆叠，或者通过以时间复用的方式由高速变焦元件(VFE)顺序地切换单个2-D显示器的焦距，同时空间渲染相应多焦图像帧的可见部分，可以显示多个焦平面。在(虚拟)焦平面的堆叠中的每个图像被渲染在不同的深度，并且眼睛使那些没有被观察到的焦平面模糊。
使用两个MFP堆叠的近眼双目观察。
如同显示并排立体图像的传统立体近眼显示器一样，两个MFP堆栈用于支持在近眼MFP眼镜中的立体复制。这两个堆叠可以从立体输入信号形成或者从用于纹理和深度(视频加深度)的单视场输入合成。
使用单视场输入信号，首先产生一个MFP堆叠，然后从两个稍微不同(立体)的视点分离成两个MFP堆叠。通过将单视场MFP堆叠从其标称渲染方向转换到两个新的视点来进行分割，每个视点用于一只眼睛。这与在基于深度图像的渲染(DIBR)系统中通过3D扭曲来合成立体视点相当。
一些MFP显示器堆叠的问题。
MFP显示器原则上可以通过堆叠如图2所示的焦平面显示器来实现。将该方法用于光学透视显示器可能具有以下问题中的一个或多个。第一，目镜光学器件可以改变真实世界视图的几何形状，并且应当被光学地补偿以提供光学透视效果。这增加了实现的复杂性和大小。第二，理想地，每个焦平面将与相应的用于遮挡背景视图的遮挡物相关联。否则，可能在增强元素和真实元素之间发生遮蔽泄漏。当省略光学部件(为了更好的形状因子)使得遮挡罩距离更远时，遮挡器的位置通常太近，会导致遮蔽泄漏。遮挡器的非理想放置使遮蔽区域的边缘模糊。第三，每个遮挡器或显示元件增加了复杂性，降低了亮度和对比度，并且可能例如由于相互干扰而导致失真。
焦平面的时间复用消除了显示元件之间的交叉失真，但其可能导致闪烁和亮度损失。时间复用可以由于用较少数量的组件进行管理而降低复杂性。
变焦近眼显示器。
一种变焦显示方法，其通过动态补偿单平面显示器的焦距以使其与眼睛的会聚深度相匹配，从而避免VAC问题。可以通过机械致动器缩放显示器的目镜或者调整微显示器与目镜之间的距离来实现聚焦补偿。代替通过机械可调节部件使目镜焦点变焦，可以使用一系列电子控制的有源光学元件，包括液体透镜、可变形反射镜和/或液晶透镜。
眼睛跟踪已经用于确定适当的焦距并相应地调整焦平面的位置。然而，眼睛跟踪通常需要额外的硬件，计算密集、精度要求高，并且实现起来具有挑战性的操作。
在一些设备中，变焦实现以时间复用的方式在不同距离处渲染焦平面。在这样的设备中，焦距被顺序地调整，并且在每个距离处渲染相应的焦平面。时间复用使实现方式变得容易，但是可能遭受亮度损失。与许多其它MFP方法相比，时间复用变焦方法的好处是显示器结构的简单性。
电子可控变焦透镜。
变焦光学器件可以使用光学系统内部的可移动透镜来实现。对于时间复用几个焦平面，机械地移动部件可能不够快。然而，电子可控光学元件可以避免机械地移动光学系统内部的部件的需要。
有几种技术可用于实现具有电子可控光学特性的可变焦透镜。一种是液体透镜，其中透明的液体状物质被置于两个机械可变形膜之间。机械致动器用于控制张力，调节透镜的光焦度。尽管这种类型的透镜已经成功地用于近眼显示器的原型实现中，但是它们的使用受到用于控制限定光焦度的张力的典型地大的机械尺寸和高的焦度的限制。可变形反射镜可以以与液体透镜类似的方式构造和使用。
其它技术利用液晶材料的特性并施加控制电压以定向多个基本液晶透镜。虚拟现实类型的视频透视透镜在实践中要求更高，因为通常需要更大的透镜来支持足够宽的视场(FoV)。在增强现实眼镜中，通常仅支持视图的一部分来显示增强对象或内容，且可使用较小透镜来实施。
透镜的结构决定其速度和总的光焦度范围。例如，液晶透镜可以排列成菲涅耳型透镜以增加改变焦点的速度，并且液晶透镜可以堆叠以增加可用的调节范围。
视频透视显示器与光学透视显示器。
视频透视近眼显示器(NED)用于在应用中观看虚拟或捕获的内容或其组合(AR内容)，其中内容被认为填充用户的大部分视野并替换用户的现实世界视图。虚拟游戏和存储或流式传输的360°全景是这个类别的示例。通常，内容被显示在一个焦平面上，这可能引起VAC。支持多个焦平面允许减少或避免VAC，这是相当大的益处。
支持透视显示器是相当大的挑战。在实现这个目标时有两个显著不同的水平。许多当前方法在真实世界背景上添加虚拟信息而不遮挡(替换)前者，从而导致呈现中的幻影状透明度和色彩失真。更希望通过阻挡来自真实视图的期望部分的光并增加这些被遮挡区域上的虚拟信息来支持遮蔽。在大多数现有系统中，仅对一个焦平面实现遮挡。
注意，其中虚拟信息阻挡现实世界对象的背景遮蔽可能不足以将虚拟组件无缝地合并到现实世界视图中。此外，前景遮蔽可能是有用的。在前景遮蔽中，在指定深度渲染的虚拟信息被其前方的那些现实世界对象遮蔽。背景和前景遮蔽一起可以被称为相互遮蔽。
通过由相机检测标记或特征集合，可以渲染增强。此外，通过使用诸如空间光调制器(SLM)的遮挡元件来遮挡真实世界的视图，可以形成背景遮蔽。注意，支持背景遮蔽不需要深度传感器对视图的深度感测。然而，如果虚拟信息进而被期望被现实世界对象遮蔽，则从视图中捕获比仅用于增强的姿态更多的3D属性是有益的。因此，为了支持前景遮蔽，使用深度传感器是有益的。
示例光学透视(OST)显示器实现方式。
图18A中示出了光学透视近眼显示器的示例。图18A的示例是针对仅渲染一个焦平面的解决方案而给出的。该实现方式包括物镜1802、反转透镜1804和1806、以及目镜透镜1808。遮挡层1810(例如，空间光调制器)位于反转透镜和目镜透镜之间。提供诸如LCD显示器或OLED显示器之类的显示组件1812用于显示虚拟内容，并且提供光学组合器1814(例如，部分镀银的反射镜)以将来自真实世界的图像(如通过透镜1802、1804和1806接收的)与由显示组件1812生成的图像组合。
目镜透镜被提供用于折叠(压缩)遮蔽(对照遮挡器)和增强(对照焦平面显示器)的真实视图。
可以是液晶(LC)元件的遮挡器被提供用于焦平面上要被替换(遮蔽)的区域。
增强显示组件1812被提供用于显示增强对象的焦平面。
提供光学组合器1814(例如，分色镜)以反射增强的信息。
透镜1802、1804、1806和1808保持真实世界的视图的自然方位。在图18A中，用户的眼睛1816处于在此被称为真实眼点的位置。实际上，用户体验(感知)虚拟视点比真实视点在光路中更靠前，如以下更详细讨论的。真实和虚拟视点之间的间隔在这里被称为视点偏移或眼睛偏移。尤其对于近距离观看，小的偏移是优选的。
优选地，在光学透视解决方案中，实景不被缩放的，即系统的放大率是1:1。在图18A的示例中，示出使用具有相同光焦度的镜片，然而在一些实施例中，两个反转/直立镜片与靠近眼睛的两个镜片相比可以具有不同的光焦度(和距离)，或者两个反转镜片可以用单个反转透镜代替。
具有平行光线的准直段，例如在反转透镜1804和1806之间的段，为用于遮蔽和增强的段的定位以及为整个光学系统选择物理长度提供了灵活性。
图18A的显示设备操作以仅形成一个能够遮蔽的焦平面。除了缺少对多MFP渲染的支持之外，简化的实现方式使用相对长的光学流水线。这导致大的视点/眼睛偏移，这对于附近对象的观看和与附近对象的交互尤其是破坏性的。
一些显示器实现方式的问题。
用于光学透视近眼显示器的一些当前MFP解决方案不支持与多个焦平面的自然遮蔽。
当前的用于能够遮蔽的光学透视NED的解决方案，即使仅支持一个焦平面，通常也会遭受真实眼睛位置和感知眼睛位置(由NED光学器件确定的虚拟眼睛位置)之间的偏移。
系统架构的不灵活性通常阻碍获得系统实现方式的令人满意的形状因子。组合用于渲染多个焦平面的平行光学结构原则上起作用，但它例证了达到紧凑结果的挑战。
支持遮蔽的OST显示器。
通过阐述用于单只眼睛的结构来描述本文所公开的显示器的实施例，但是应当理解，在许多实施例中，为一只眼睛提供的光学结构被复制用于用户的另一只眼睛以生成完全立体显示。对于包括两个并行流水线和结构的实现方式，可以针对每只眼睛单独地捕获、处理和显示信息。
注意，虚拟视点生成也可被选择为支持立体影像(而不是捕获真实立体影像)，或者在增强的3D对象/信息不是本地的而是通过网络接收的情况下节省比特率。所接收的3D信息还可以是远程人、自然视图或其部分的3D重建。这可以是例如在将参与者虚拟地带入相同会议空间中的沉浸式远程呈现系统中的情况。
本文公开的系统和方法使用用于多个焦平面的渲染的变焦方法，使得焦平面被时间复用以形成完整的场景。尽管时间复用往往牺牲场景渲染中的一些亮度，但是它简化了光学和机械结构，并且在一个部分上帮助获得用于实现方式的更令人满意的形状因子。
透镜的机械调整对于焦平面的高频渲染可能太慢。例如，可以使用电子可控变焦液晶(LC)透镜来实现用于改变焦距的足够速度。
一些实施例的一个特征是通过在同一物理管道内复用若干光学布置来支持多焦平面渲染的能力，一种在此被称为结构复用的方法。特别地，由于针对每个渲染的焦平面激活单独的电子可控LC透镜集合，因此不需要机械致动器或改变。结构复用减少了组合并行光学结构的需要，并且因此可以减少实现的尺寸。
此外，光学结构的变化不影响主要系统部件(显示器、SLM、反射镜元件、光组合器等)的定位，这减少了对部件的需要，简化了解决方案，并且保持实现的物理尺寸合理，尽管支持多个能够遮蔽的焦平面。
遮蔽能力在本文所述的许多显示实施例中实现。这避免了否则可能由没有遮蔽支持的增强过程产生的透明度和色彩失真。
光学结构往往会引起真实和有效眼点之间的偏移。小的偏移是可以接受的，但是在使用期间的任何变化都是不期望的。为了保持有效的眼点固定，在焦平面的变焦渲染期间，优选地保持实现方式的光学长度恒定。
本文公开的一些实施例提供了真实和虚拟视点之间的无偏移。其它实施例为了实现的更好的形状因子而权衡一些眼点准确度。其它变化通过权衡遮蔽能力来放松形状因子的要求。
图18B示出了根据一些实施例的能够在多个焦平面处显示图像的显示结构。
在图18B的系统中，增强现实(AR)跟踪相机1851和深度传感器1852向AR姿势跟踪模块1853提供输入。相机1851可以检测与AR内容制作阶段中的增强相关联的AR标记或其他特征。在一些实施例中，深度传感器1852和相机1851可被组合到单个传感器中，诸如RGBD相机。深度传感器可以是例如结构光传感器或飞行时间传感器。图像平面形成模块1854生成要在不同焦平面显示的图像。图像可基于所接收的内容1849及如由姿势跟踪模块1853确定的用户的姿势。图像平面形成模块1854进一步操作以确定图像平面内的哪些区域(例如，哪些像素)应当被完全或部分地遮蔽。在一些实施例中，可能需要操纵要增强的3D数据，例如用于前景遮蔽、颜色校正和透明效果，例如阴影。由图像平面形成模块生成的不同图像平面被提供给复用器1863，其在适当的时间以与光学器件的控制同步的方式将不同的图像平面提供给增强显示组件1812和遮蔽掩模1810。
在该示例中，反转透镜1806a、1806b、1806c和目镜透镜1808a、1808b、1808c是由从变焦控制模块1862接收的相应控制电压控制的可调透镜(例如，液晶透镜)。在该示例中，控制电压在透镜用作具有预定正光焦度的会聚透镜的状态与透镜具有零光焦度(用作透明薄片)的状态之间切换相应的透镜。应当理解，在其他实施例中，光焦度可以在不同的非零光焦度或者甚至负光焦度之间是可控的，其中透镜布置被相应地调节。
变焦控制模块1862操作，使得在任一时刻，由一个反转透镜和一个目镜透镜组成的一对透镜是活动的。在该示例中使用三对。第一对是透镜1806a和1808a。第二对是透镜1806b和1808b。第三对是透镜1806c和1808c。在图18B所示的状态中，透镜1806b和1808b是活动的。用户可见的焦平面由哪个透镜对是活动的来确定。变焦控制模块1862向多路复用器1863报告指示哪个焦平面可见的信息(诸如索引)。作为响应，复用器1863向显示组件1812提供适当的图像，并且向遮蔽掩模1810提供适当的遮蔽信息。框1865内的光学组件在本文中被称为结构复用器。结构复用器1865复用(覆盖)若干光学管线并且产生被遮蔽的焦平面的渲染，如以下更详细地描述的。
在示例实施例中，除了时间复用的正常限制(例如，降低的亮度)之外，焦平面的数量可以由LC透镜的总衰减限制。因此，典型的3-5个焦平面是能够遮蔽的近眼显示器的良好目标。
在一些实施例中，头戴式显示系统(例如，眼镜)利用安装到头戴式显示器的相机来捕获特征数据(例如，标记)。系统从用户的视点检测并跟踪特征数据(例如，标记)的姿态。系统通过网络接收要被增强的虚拟内容的3D数据(例如，视频加深度)。对于每只眼睛，形成与要增强的虚拟对象相对应的焦平面。使用姿势数据，对于每只眼睛和每个焦平面，系统形成用于遮挡光学透视背景视图的遮蔽掩模。对于每个焦平面，系统(1)选择适当的将要活动的透镜对，并且系统相应地控制所选择的和取消选择的透镜的光焦度，(2)通过控制遮挡元件的像素透明度，利用相应的遮蔽掩模遮挡光学透视视图，(3)在增强显示器上显示相应的焦平面数据，根据需要补偿亮度损失，以及(4)通过将显示的增强与遮蔽的光学透视视图组合来形成增强视图。
在捕获标记(一个或多个)或特征的环境的步骤中，嵌入到眼镜结构的相机从用户的周围捕获视频。在随后的步骤中，在视频数据中搜索作为所捕获视图的一部分的区别特征集合、标记或点云。当产生AR内容时，所选择的标记或特征集合(其起源和姿势)与期望的增强相关联。
在检测和跟踪特征的步骤中，在所捕获的视频中搜索不同方位和尺度的区别特征，例如标记或点云。先前的跟踪结果通常用于减少搜索的计算负荷(避免进行穷举搜索的需要)。特征(例如标记)的检测和跟踪使用已知的技术来增强现实。标记跟踪是AR中的传统方法，并且被现有技术很好地支持。跟踪自然特征可能由于比可见标记更少干扰而受到青睐。在两种方法中，使用所捕获的特征的集合来定义视点和真实世界坐标，以便定位虚拟信息或对象。检测和跟踪可以由眼镜中的电子装置(IMU传感器等)和/或由在外部跟踪模块和眼镜之间通信的数据来辅助。被跟踪标记或其它特征集合的坐标和尺度被用于虚拟对象的定位和缩放、被分解成焦平面、以及用于生成遮蔽掩模以用于遮挡进入(OST)视图并用相应的焦平面代替它。
在接收待增强的数据的步骤中，可通过眼镜的本地和/或外部网络获得待增强的3D数据。数据可以是例如深度加纹理格式，具有相对于潜在地在用户环境中某处的特征集合(标记或点云)的预先选择的位置、尺度和方位。执行增强可以以环境中特征集合的存在/检测为条件。
在形成用于要被增强的对象的焦平面的步骤中，使用3D对象的距离和形状的知识将3D对象分解成焦平面。基于关于用户相对于已知特征集合(标记或点云)的位置的信息，以及因此基于关于待增强的对象的位置(距离)、方位和尺度的信息，执行该步骤。这种分解可以使用多种MFP形成技术中的任何一种，例如上述那些。可以选择虚拟视点生成以生成立体影像，并且因此当通过网络接收增强的3D对象/信息时节省比特率。
在形成遮蔽掩模的步骤中，在添加增强对象(分解成相应的焦平面)之前，为每个焦平面生成遮蔽掩模以遮挡现实世界视图的所选像素/区域。遮蔽掩模的形成可以基于关于用户相对于已知特征集合(标记或点云)的位置以及增强对象的姿势和尺度的信息来执行。遮蔽掩模可以是增强3D对象在相应距离/深度处的平面(二进制)轮廓，指示像素是否被增强对象的相应像素替换。更一般地，遮蔽掩模是用于指定更一般的图像处理操作的空间掩模。相应地，遮蔽掩模值可以具有0和1之间的任意权重，使得能够以任意比率汇总真实世界视图和增强信息，而不是仅替换真实世界视图。这对于例如在实际不支持遮蔽时进行遮蔽泄漏补偿或颜色校正是有益的。连续权重值也可用于添加虚拟阴影。
结构复用是通过根据需要激活和去激活透镜对来执行的。使用变焦方法来实现结构复用，该方法顺序地对共享结构内的光学组件进行时间复用，使得在选定距离处渲染期望数量的焦平面。在示例实施例中，进行这种渲染的光学组件是在光学组合的(例如，使用半镀银反射镜)遮挡器和增强元件的两侧上的电子可控透镜对。
对于每个焦平面(例如，每个焦平面FPi，针对i＝1到N)，可以执行遮蔽现实世界视图的步骤。在该步骤，在步骤5中生成的遮蔽掩模用于遮蔽现实世界视图的部分。例如，可以通过使用透射(LC)遮挡器或反射(SLM)遮挡器来实现遮蔽。当与偏振光组合器一起使用时，反射选项可以产生更清晰和高对比度的结果，尽管使用反射遮挡器将需要显示器的机械和/或光学结构的适当重新布置。所述遮挡器和所述增强显示器优选地在距观看者的视点基本上相同的虚拟距离处。
对于每个焦平面，执行显示增强的数据的步骤。在该步骤中，与相应遮蔽图案同步地显示分解成焦平面的虚拟3D信息。2D显示元件用于一次一个焦平面地顺序地显示增强的对象/信息。当形成焦平面时，用户位置和(在AR内容制作中)所选对象姿势和大小被用于从期望距离获得焦平面。在任何时刻，所显示的焦平面数据与相应距离的遮蔽掩模数据同步。使用不同数量的反射元件(反射镜和/或棱镜)来获得光学管道的形式。取决于反射的次数，可能需要翻转/竖立所显示的图像和遮蔽掩模的方位，以便在正确的方位上看到增强。类似地，可以采用内容的某种缩放以便得到以正确大小呈现的遮挡和增强。
对于每个焦平面，执行用增强的数据组合和显示被遮蔽背景的步骤。光学组合器用于组合与相应的增强焦平面对准的被遮蔽实时视图。光学组合器可以是半镀银反射镜。组合器可以相对于遮蔽和增强显示元件定向成45°角。组合器可具有偏振效应，以通过增加透射和反射图像分量之间的分离来提高图像质量。系统的其它光学部件(反射镜和透镜)可以用于将组合结果传递到用户的眼睛。在说明书中示出了基于薄透镜近似的示例选择，尽管可以选择其他部件来优化质量，例如，以减少色差和其他像差以及适应形状因子。其它部件包括用于目镜/近眼反射镜和透镜的更紧凑替换的自由形状/楔形波导。
在所有焦平面(例如，所有N个焦平面)都已经被处理和显示之后，重复该过程，循环焦平面。可以以足够高的速率执行循环焦平面，使得该循环对于用户不可见，以避免闪烁效应。为了具有对增强信息(可能是动画)的流畅感知而没有闪烁，用于增强的帧速率优选地在至少30Hz的量级。对于N个时间复用焦平面，渲染频率优选地在至少N·30Hz的量级上，以避免单独焦平面的闪烁，其中每个焦平面仅被点亮1/N次。
显示系统可以在使用前被校准。一种机械校准是调节瞳孔间距(IPD)以满足每个用户的个人需要。与机械和电子实现方式相关的附加校准步骤包括：跟踪相机校准以补偿几何失真；用于正确深度感测结果的深度传感器校准(如果在使用)；遮蔽掩模(遮挡物)、增强对象和现实世界视图之间的空间对准；LC透镜的控制电压(光焦度)；校准(最小化)虚拟和现实世界视图之间的滞后。可以使用手动和自动的各种技术来辅助校准。
内容相关校准方法在系统操作期间可能是相关的。这种方法可以包括没有遮蔽能力的OST实现中的颜色校准和(非理想)直接遮蔽控制方法中的遮蔽泄漏校准/补偿。
所公开的实施例支持多个焦平面的渲染，从而减少聚散度-调节冲突(VAC)，防止对3D内容的自然聚焦。结构复用使得能够使用相同的光学管线来渲染若干焦平面。这避免了实施(复制)和组合平行光学结构的需要。示例实施例通过在同一物理管道内复用若干光学布置(结构复用)来支持多焦平面渲染。特别地，由于通过LC透镜以时间复用方式配置光学系统，所以不需要机械致动器和改变。
在示例实施例中，光学管线基本上是对称的以保持尺度不变(即，提供1:1的放大率)。然而，与非遮蔽形式相比，对称性可以使光学管线长度加倍，并且可以增加所产生的视点/眼睛偏移。
在一些实施例中，在任何一个时刻，所有LC透镜对中的一个LC透镜对(焦距)被设置为活动的，并且其他透镜被停用，即，被设置为没有光焦度或光学效应的透明模式。在这些实施例中不需要机械致动器或改变来选择或改变透镜位置。
结构复用。
本文公开的示例显示系统通过在同一物理管道内复用若干光学布置来支持多焦平面渲染，这种技术在此被称为结构复用。通过依次禁用和启用透镜对以选择每个焦平面的期望焦距，电子地执行每个光学结构之间的切换。没有机械致动器和改变被用于改变透镜位置。
使用图18B中的基本结构，当选择用于改变渲染距离的一对透镜时，遮挡器元件(SLM)、增强显示器和光学组合器的位置可以保持固定。这可以通过调节这两个透镜周围的准直段的长度来实现。
图19A-19C提供了通过三对变焦LC透镜支撑三个焦平面的示意图。示出了用于焦平面渲染(焦距)的三个选项，保持光学装置的长度恒定。在图19A-19C中，三个光管线被示为分离的，但是实际上，通过使用结构复用，所有光学结构被重叠在相同的物理截面中。在图19A-19C中，用实线示出活动透镜，而用虚线示出停用透镜。图19A示出了一种配置，其中活动反转透镜和目镜透镜离使用者的眼睛最远。图19A的配置对于生成看起来相对靠近用户的焦平面是有用的。图19B示出了一种配置，其中活动反转透镜和目镜透镜位于距使用者眼睛的中间距离处。图19B的配置对于在距用户的中间距离处生成焦平面是有用的。图19C示出了一种配置，其中活动反转透镜和目镜透镜与使用者眼睛的距离最小。图19C的配置对于在离用户更远的距离处生成焦平面是有用的。注意，在图19A-19C的示例中，遮挡器(1810)、组合器(1814)和显示组件(1812)的位置保持不变。
通过电子控制(活动和停用)每个焦平面的变焦LC透镜来执行结构复用。光学结构在物理空间中是重叠的，使得多路复用不一定增加显示设备的尺寸。
注意，上述透镜光焦度(以及相应的三个焦平面距离)仅仅是示例，而不是被选择来相对于人类视觉系统优化结果。通过使用这些示例，可以为任何可行数量的焦平面选择值。
焦平面距离和视点偏移。
如图19A-19C所示，遮挡器元件(用于背景遮蔽)和增强显示器的位置保持固定，同时将一对镜片电子地切换到不同的物理位置。由于透镜在其预设位置活动或停用，因此不需要机械运动。改变活动透镜对的位置，使得在期望的距离处渲染实景和增强信息的遮挡。注意，还可以调整遮蔽掩模和AR对象尺寸以获得用于增强的期望尺寸。
图20示出了在具有相等透镜光焦度和所选的反转透镜对距离(左侧)的系统中显示器和遮挡器位置的呈现距离。注意，改变反转透镜对的距离(在一定限度内)不会影响MFP平面(物体图像)的感知距离。
为了简化说明，图20的光学配置被示出为没有遮挡层、组合器或显示组件；相反，显示组件被示出在位置2012处，即显示器的反射图像在组合器中的位置。2012处，所显示的对象由竖直箭头指示。目镜2008在位置2012处形成显示对象的虚像2013。用户的眼睛2016与所显示的对象的虚拟图像2013之间的距离2001是活动的焦平面的距离(“MFP距离”)。然而，虚拟图像2013具有也对应于真实空间中的位置2015的位置，因为位置2015处的真实对象将对用户的眼睛而言看起来与虚拟图像2013处于相同的位置。因此，用户被给予不是从他的眼睛的真实位置2016、而是从感知的眼点2017观看真实世界的错觉。真实眼睛位置和感知的眼点之间的视差被称为眼睛偏移距离2003。注意，在位置2012处显示的图像在位置2013和2015处形成相等大小的图像，指示系统的1:1放大率。此外，如果来自位置2015处的真实对象的光被遮挡器(复用到与显示器2012相同的位置)遮挡，则显示器2012上的反射图像以正确的方式遮挡真实对象。因此，以上描述了该系统如何用于实现光学透视AR眼镜。
眼睛偏移距离的减小。
反射元件，例如反射镜和/或棱镜，可以用于通过折叠AR/VR眼镜的光学管线来减少眼睛偏移。棱镜可用作物镜元件，以将入射光从观察线侧向反射到光学器件。
除了减小眼睛偏移之外，通过使用反射镜可以实现眼镜的更好的形状因子。高质量的光反射镜也易于制造。
在一些实施例中，使用若干个反射镜元件来减小眼睛偏移和/或改进设置形状因子。此外，半镀银反射镜元件可以用作用于背景遮挡的真实世界视图的光学组合器，以及要增强的(分解的)虚拟对象的焦平面。该反射镜元件也可以是偏振的，这可以产生更清晰的组合图像。在一些实施例中，代替透射式遮挡器，反射SLM可以通过光路的适当重新布置来用于遮挡。
图21示出具有近零眼点偏移的显示设备的实施例。来自现实世界场景2100的光被双面反射镜2101反射到物镜2102。光从物镜依次穿过反射镜2103、第一反相透镜2104和反射镜2105，然后进入结构复用器2165。结构复用器包括可控透镜。在图21所示的配置中，停用透镜以虚线示出，而活动透镜以实线示出。在结构复用器2165内，光穿过第二反相透镜2106、遮挡层2110、以及组合器2114。在组合器2114处，来自现实世界场景的光与来自显示组件2112的光组合。组合光被反射镜2115反射，并在被双面反射镜2101反射进入用户眼睛2116之前穿过活动目镜透镜2108。
光学上，图21的结构类似于图18B的结构，除了为了避免真实和虚拟/有效眼点之间的任何眼睛偏移，虚拟眼点被循环回到真实眼点。这是使用用户眼睛前方的四个单面反射镜和一个双面反射镜以及用于将增强与相应被遮挡的真实视图组合的组合器来执行的。准直段用于获得由电子透镜对实现的焦距选项的空间。此外，四个反射器被用于获得系统的环回(零偏移)形状。入射的视图被反射镜反射若干次，使得净效果是视图是直立的并且光学管道等效于图18B中的简化的展开版本。
省略了背景遮蔽的实现方式。
诸如图22中所示的实施例之类的其他实施例不包括用于遮蔽现实世界视图的组件。这些实施例可以用更少的组件来实现。减少的组件数量提高了系统的透明度，潜在地允许更多的焦平面。
在图22的实施例中，来自外部场景2300的光直接穿过组合器2314到达用户的眼睛。来自显示组件2312的光被反射镜2315反射通过活动目镜2308。组合器2314将来自外部场景的光与来自显示器的光组合以呈现给用户的眼睛。在一些实施例中，不使用结构复用单元2365内部的反射器2315，其中光从显示组件2312直接提供到目镜透镜。
使用没有遮蔽的实施例，诸如图22的实施例的显示方法可如上所述地实现，其中涉及遮蔽的步骤被适当地省略。
图22的实施例提供了具有省略背景遮蔽的折衷的零眼睛偏移。
使用直接遮蔽的实现方式。
在一些实施例中，通过目镜前方的SLM元件对真实世界视图执行非最佳直接遮挡。图23中示出了一个这样的实施例，在图23的实施例中，来自外部场景2400的光在穿过组合器2414到达用户的眼睛之前穿过遮挡层2410(例如，空间光调制器)。来自显示组件2412的光被反射镜2415反射通过活动目镜透镜2408。组合器2414将来自外部场景的光与来自显示器的光组合以呈现给用户的眼睛。在一些实施例中，不使用结构复用单元2465内部的反射器2415，光从显示组件2412直接提供到目镜透镜。
系统的AR跟踪相机(或专用于该目的的单独相机)用于捕获真实世界视图，其然后可以针对(非最优地)使用的遮蔽掩模周围的遮蔽泄漏进行补偿。在增强显示器上显示增强之前，将补偿信息添加到增强。在补偿之后，增强因此包含虚拟信息或对象以及真实世界视图的修改部分，以补偿由使用直接遮蔽掩模(可能在非最佳距离处)引起的遮蔽泄漏。
在使用直接遮蔽的实施例中，可以通过增加焦平面图像中与泄露区域相对应的部分的亮度来补偿遮蔽泄露。由于遮挡层的位置，遮挡器使掩模外部的区域扩散的量，取决于其到要被遮挡的焦平面的距离。扩散的量和程度取决于人类视觉系统和眼睛参数(理想地从观看者的眼睛测量)，并且可以被建模以便修改/补偿视图。修改是对要被添加至光学透视视图的要被增强的信息最可行的。使用用于遮蔽泄漏(遮蔽区域外的亮度变化)的基于人类视觉系统的模型，计算补偿以添加到真实视图。实际上，补偿可以被添加到要被增强的信息(例如，被添加到光学组合器中的透视视图)。
另外的讨论。
本文描述的显示系统和方法允许显示多个焦平面，并且允许在不同焦平面中的遮挡，即使在仅具有单个显示器和单个遮挡器(每只眼睛)的实施例中。因为光不必穿过多个显示器和多个阻挡器，所以可以提高透明度，并且可以避免堆叠的组件之间的干扰和其他可能的杂散效应。
注意，所描述的一个或多个实施例的各种硬件元件被称为“模块”，其实施(即，执行、施行等)在此结合相应模块描述的各种功能。如本文所使用的，模块包括相关领域的技术人员认为适合于给定实现的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。每个所描述的模块还可以包括可执行用于实施被描述为由相应模块执行的一个或多个功能的指令，并且注意，这些指令可以采取硬件(即，硬连线的)指令、固件指令、和/或软件指令等的形式或包括它们，并且可以存储在任何适当的非暂时性计算机可读介质或媒介中，诸如通常被称为RAM、ROM等。
尽管以上以特定的组合描述了特征和元素，但是本领域的普通技术人员将理解，每个特征或元素可以单独使用或与其它特征和元素任意组合使用。另外，本文描述的方法可以在计算机程序、软件或固件中实现，所述计算机程序、软件或固件并入计算机可读介质中以由计算机或处理器执行。计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓冲存储器、半导体存储器设备、诸如内部硬盘和可移动盘等磁介质、磁光介质、以及诸如CD-ROM盘和数字多功能盘(DVD)等的光介质。与软件相关联的处理器可以用于实现在WTRU、UE、终端、基站、RNC或任何主机计算机中使用的射频收发信机。

Claims (20)

1.一种用于显示具有对应深度信息的视频的方法，包括：
获得指示焦平面的时变数量的信息，焦平面的数量对于所述视频中的至少两个不同帧是不同的；
对于所述视频中的每个帧，将所述图像帧映射到具有不同的相关联的深度的图像平面的集合，所述集合中的图像平面的数量基于针对相应帧的焦平面的时变数量；以及
在多焦平面显示设备中的对应焦平面处，渲染所述集合中的所述图像平面中的每个图像平面。
2.根据权利要求1所述的方法，其中，指示焦平面的所述时变数量的所述信息是从服务器获得的。
3.根据权利要求1所述的方法，其中，指示焦平面的所述时变数量的所述信息是基于所述视频的内容来确定的。
4.根据权利要求1所述的方法，还包括从服务器获得指示所述焦平面的所述深度的信息。
5.根据权利要求1所述的方法，还包括基于所述视频的内容来确定所述焦平面的所述深度。
6.根据权利要求1所述的方法，其中将所述图像帧映射到所述图像平面是通过使用一组混合函数来执行的。
7.根据权利要求6所述的方法，其中，所述混合函数中的至少一个是正弦混合函数。
8.根据权利要求1所述的方法，其中，所述图像平面以交错的顺序在所述对应的焦平面处被渲染，使得在至少两个图像平面在对应的两个焦平面处被渲染之后，至少第三图像平面在所述两个焦平面之间的深度处被渲染。
9.一种用于显示具有对应深度信息的视频的显示设备，所述设备包括至少一个处理器，所述至少一个处理器被配置为执行一种方法，所述方法包括：
获得指示焦平面的时变数量的信息，焦平面的数量对于所述视频中的至少两个不同帧是不同的；
对于视频中的每个帧，将所述图像帧映射到具有不同的相关联的深度的数个图像平面，针对相应帧的图像平面的数量基于焦平面的所述时变数量；以及
在多焦平面显示设备中的对应的焦平面处，渲染所述图像平面中的每一个。
10.根据权利要求9所述的显示设备，其中，指示焦平面的所述时变数量的所述信息是从服务器获得的。
11.根据权利要求9所述的显示设备，其中，指示焦平面的所述时变数量的所述信息是基于所述视频的内容来确定的。
12.根据权利要求9所述的显示设备，还被配置为从服务器获得指示所述焦平面的所述深度的信息。
13.根据权利要求9所述的显示设备，还被配置为基于所述视频的内容来确定所述焦平面的所述深度。
14.根据权利要求9所述的显示设备，其中将所述图像帧映射到所述图像平面是使用一组混合函数来执行的。
15.根据权利要求14所述的显示设备，其中所述混合函数中的至少一者为正弦混合函数。
16.根据权利要求9所述的显示设备，其中，所述图像平面以交错的顺序在所述对应的焦平面处被渲染，使得在至少两个图像平面在对应的两个焦平面处被渲染之后，至少第三图像平面在所述两个焦平面之间的深度处被渲染。
17.一种显示具有对应深度信息的视频帧的方法，所述方法包括：
将图像帧映射到包括图像平面第一子集和平面的图像平面第二子集的图像平面集合，其中所述第一和第二子集中的每个图像平面具有指定深度，其中所述第一和第二子集在至少一个深度上不同，并且其中所述第二子集中的图像平面的至少一个深度在所述第一子集中的图像平面的两个连续深度之间；
在所述第一子集中的所述图像平面中的每个图像平面的相应深度处，显示所述第一子集中的所述图像平面中的每个图像平面；
在显示所述第一子集中的所有所述图像平面之后，在所述第二子集中的所述图像平面中的每个图像平面的相应深度处，显示所述第二子集中的所述图像平面中的每个图像平面。
18.根据权利要求17所述的方法，其中，所述第一集合中的所有所述图像平面被同时显示，并且随后，所述第二集合中的所有所述图像平面被同时显示。
19.一种用于显示具有对应深度信息的视频帧的显示设备，所述设备包括：
图像平面形成模块，其可操作以将第一图像帧映射到图像平面集合，该图像平面集合包括图像平面第一子集和具有至少两个图像平面的第二子集的，其中所述第一和第二子集中的每个图像平面具有指定深度，其中所述第一和第二子集在至少一个深度上不同，并且其中所述第二子集中的图像平面的至少一个深度在所述第一子集中的图像平面的两个连续深度之间；
显示光学器件，其操作以在相应的相关联深度处显示图像平面；以及
复用器，其操作以使所述显示光学器件：(i)在所述第一子集中的所述图像平面中的每一个图像平面的相应深度处，显示所述第一子集中的所述图像平面中的每一个图像平面，以及(ii)在所述第一子集中的所有所述图像平面显示之后，在所述第二子集中的所述图像平面中的每一个图像平面的相应深度处，显示所述第二子集中的所述图像平面中的每一个图像平面。
20.根据权利要求19所述的显示设备，其中所述复用器被配置以使得所述第一集合中的所有所述图像平面被同时显示，且随后，所述第二集合中的所有所述图像平面被同时显示。
CN202210568934.XA 2018-01-19 2019-01-16 一种用于显示视频的方法和显示设备 Active CN115052139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210568934.XA CN115052139B (zh) 2018-01-19 2019-01-16 一种用于显示视频的方法和显示设备

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862619401P 2018-01-19 2018-01-19
US62/619,401 2018-01-19
PCT/US2019/013803 WO2019143688A1 (en) 2018-01-19 2019-01-16 Multi-focal planes with varying positions
CN201980018130.9A CN111869205B (zh) 2018-01-19 2019-01-16 具有变化位置的多焦平面
CN202210568934.XA CN115052139B (zh) 2018-01-19 2019-01-16 一种用于显示视频的方法和显示设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980018130.9A Division CN111869205B (zh) 2018-01-19 2019-01-16 具有变化位置的多焦平面

Publications (2)

Publication Number Publication Date
CN115052139A true CN115052139A (zh) 2022-09-13
CN115052139B CN115052139B (zh) 2023-09-08

Family

ID=65352128

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210568934.XA Active CN115052139B (zh) 2018-01-19 2019-01-16 一种用于显示视频的方法和显示设备
CN201980018130.9A Active CN111869205B (zh) 2018-01-19 2019-01-16 具有变化位置的多焦平面

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980018130.9A Active CN111869205B (zh) 2018-01-19 2019-01-16 具有变化位置的多焦平面

Country Status (4)

Country Link
US (2) US11893755B2 (zh)
EP (1) EP3741113B1 (zh)
CN (2) CN115052139B (zh)
WO (1) WO2019143688A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10578869B2 (en) * 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US11973929B2 (en) * 2019-10-31 2024-04-30 Sony Group Corporation Image display apparatus
FI20196130A1 (fi) * 2019-12-23 2021-06-24 Teknologian Tutkimuskeskus Vtt Oy Menetelmä etäläsnäolojärjestelmää varten
US11503266B2 (en) * 2020-03-06 2022-11-15 Samsung Electronics Co., Ltd. Super-resolution depth map generation for multi-camera or other environments
US11971542B2 (en) * 2020-05-26 2024-04-30 Magic Leap, Inc. Monovision display for wearable device
US20220310037A1 (en) * 2021-03-26 2022-09-29 Lightspace Technologies, SIA Method and system for reducing motion-to-photon latency in head-mounted display system
US20220311984A1 (en) * 2021-03-26 2022-09-29 Lightspace Technologies, SIA System and method for rendering three-dimensional image content
WO2022256497A1 (en) * 2021-06-02 2022-12-08 Dolby Laboratories Licensing Corporation Method, encoder, and display device for representing a three-dimensional scene and depth-plane data thereof

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001035154A1 (de) * 1999-11-11 2001-05-17 4D-Vision Gmbh Verfahren und anordnung zur dreidimensionalen darstellung
US20100128145A1 (en) * 2008-11-25 2010-05-27 Colvin Pitts System of and Method for Video Refocusing
CN103076156A (zh) * 2013-01-08 2013-05-01 江苏涛源电子科技有限公司 红外焦平面阵列的多判据盲元检测方法
US20140267852A1 (en) * 2013-03-15 2014-09-18 Northrop Grumman Systems Corporation Staring focal plane sensor systems and methods for imaging large dynamic range scenes
CN104639930A (zh) * 2013-11-13 2015-05-20 三星电子株式会社 多视点图像显示设备及其多视点图像显示方法
CN106125246A (zh) * 2016-07-19 2016-11-16 湖北三江航天红峰控制有限公司 一种自寻激光焦平面的方法
CN106537219A (zh) * 2014-05-30 2017-03-22 奇跃公司 用于在虚拟和增强现实中产生焦平面的方法和系统

Family Cites Families (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5793985A (en) 1996-06-17 1998-08-11 Hewlett-Packard Company Method and apparatus for block-based motion estimation
US7116324B2 (en) 1998-05-27 2006-10-03 In-Three, Inc. Method for minimizing visual artifacts converting two-dimensional motion pictures into three-dimensional motion pictures
JP3452244B2 (ja) 1998-09-17 2003-09-29 日本電信電話株式会社 ３次元表示方法及び装置
NZ511444A (en) 2001-05-01 2004-01-30 Deep Video Imaging Ltd Information display
JP4130780B2 (ja) 2002-04-15 2008-08-06 松下電器産業株式会社 画像符号化方法および画像復号化方法
US7483488B1 (en) 2002-05-30 2009-01-27 Intervideo, Inc. Systems and methods for improving bit rate control of video encoding by correcting for the effects of scene changes and bit stuffing in a video buffer verifier (VBV) buffer model
JP3862620B2 (ja) 2002-06-28 2006-12-27 キヤノン株式会社 画像処理装置、及び画像処理方法
JP4527720B2 (ja) 2004-02-23 2010-08-18 ティーオーエー株式会社 画像圧縮法、画像圧縮装置、画像伝送システム、データ圧縮前処理装置及びコンピュータプログラム
US8094927B2 (en) 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
US8717423B2 (en) 2005-05-09 2014-05-06 Zspace, Inc. Modifying perspective of stereoscopic images based on changes in user viewpoint
US8107540B2 (en) 2005-07-11 2012-01-31 Cheetah Technologies, L.P. Image complexity computation in packet based video broadcast systems
WO2008038205A2 (en) 2006-09-28 2008-04-03 Koninklijke Philips Electronics N.V. 3 menu display
US8100539B2 (en) 2007-04-10 2012-01-24 Tunable Optix Corporation 3D imaging system employing electronically tunable liquid crystal lens
US8331663B2 (en) 2007-06-28 2012-12-11 Qualcomm Incorporated Efficient image compression scheme to minimize storage and bus bandwidth requirements
US9866826B2 (en) 2014-11-25 2018-01-09 Ricoh Company, Ltd. Content-adaptive multi-focal display
US8897595B2 (en) 2008-03-26 2014-11-25 Ricoh Co., Ltd. Adaptive image acquisition for multiframe reconstruction
WO2009155688A1 (en) 2008-06-23 2009-12-30 Craig Summers Method for seeing ordinary video in 3d on handheld media players without 3d glasses or lenticular optics
US8184196B2 (en) 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
US8666189B2 (en) 2008-08-05 2014-03-04 Aptina Imaging Corporation Methods and apparatus for flat region image filtering
JP2012501465A (ja) 2008-08-27 2012-01-19 ピュアデプス リミテッド 電子的視覚ディスプレイにおける、及びそれに関する改良
TW201035966A (en) 2009-03-17 2010-10-01 Chunghwa Picture Tubes Ltd Method of observing a depth fused display
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US8788197B2 (en) 2010-04-30 2014-07-22 Ryan Fink Visual training devices, systems, and methods
US20110273466A1 (en) 2010-05-10 2011-11-10 Canon Kabushiki Kaisha View-dependent rendering system with intuitive mixed reality
US8730354B2 (en) 2010-07-13 2014-05-20 Sony Computer Entertainment Inc Overlay video content on a mobile device
US9143699B2 (en) 2010-07-13 2015-09-22 Sony Computer Entertainment Inc. Overlay non-video content on a mobile device
US9832441B2 (en) 2010-07-13 2017-11-28 Sony Interactive Entertainment Inc. Supplemental content on a mobile device
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US20120128244A1 (en) 2010-11-19 2012-05-24 Raka Singh Divide-and-conquer filter for low-light noise reduction
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US20120200676A1 (en) 2011-02-08 2012-08-09 Microsoft Corporation Three-Dimensional Display with Motion Parallax
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
WO2012140899A1 (ja) 2011-04-15 2012-10-18 パナソニック株式会社 撮像装置、半導体集積回路および撮像方法
JP6073307B2 (ja) 2011-06-22 2017-02-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ディスプレイ用信号の生成方法及び装置
GB201110661D0 (en) * 2011-06-23 2011-08-10 Univ Durham Apparatus and method for displaying images
US8432434B2 (en) 2011-07-08 2013-04-30 Mitsubishi Electric Research Laboratories, Inc. Camera and method for focus based depth reconstruction of dynamic scenes
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9223138B2 (en) 2011-12-23 2015-12-29 Microsoft Technology Licensing, Llc Pixel opacity for augmented reality
KR102223290B1 (ko) 2012-04-05 2021-03-04 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
KR20130127347A (ko) 2012-05-10 2013-11-22 삼성전자주식회사 아날로그 및 디지털 하이브리드 빔포밍을 통한 통신 방법 및 장치
US9030749B2 (en) 2012-08-01 2015-05-12 Microvision, Inc. Bifocal head-up display system
CN103634588A (zh) 2012-08-27 2014-03-12 联想(北京)有限公司 一种影像构成方法及电子设备
JP2014071207A (ja) 2012-09-28 2014-04-21 Canon Inc 画像処理装置、撮像システム、画像処理システム
KR101984701B1 (ko) * 2012-11-13 2019-05-31 삼성전자주식회사 전기습윤 렌즈 어레이를 포함하는 3차원 영상 디스플레이 장치 및 3차원 영상 획득 장치
US8976323B2 (en) 2013-01-04 2015-03-10 Disney Enterprises, Inc. Switching dual layer display with independent layer content and a dynamic mask
WO2014119555A1 (ja) 2013-01-31 2014-08-07 株式会社ニコン 画像処理装置、表示装置及びプログラム
US9191643B2 (en) * 2013-04-15 2015-11-17 Microsoft Technology Licensing, Llc Mixing infrared and color component data point clouds
KR102079629B1 (ko) 2013-05-02 2020-02-21 삼성전자주식회사 무선 통신 시스템에서 하이브리드 빔포밍의 복잡도 개선을 위한 방법 및 장치
US9344619B2 (en) 2013-08-30 2016-05-17 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image
US9437038B1 (en) 2013-09-26 2016-09-06 Amazon Technologies, Inc. Simulating three-dimensional views using depth relationships among planes of content
US10539772B2 (en) * 2013-10-09 2020-01-21 Howard Hughes Medical Institute Multiview light-sheet microscopy
CN108107571B (zh) 2013-10-30 2021-06-01 株式会社摩如富 图像处理装置及方法及非暂时性计算机可读记录介质
US20150145977A1 (en) 2013-11-22 2015-05-28 Samsung Display Co., Ltd. Compensation technique for viewer position in autostereoscopic displays
KR102651578B1 (ko) 2013-11-27 2024-03-25 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
US9857591B2 (en) * 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US9405122B2 (en) 2014-01-29 2016-08-02 Ricoh Co., Ltd Depth-disparity calibration of a binocular optical augmented reality system
CN106233189B (zh) 2014-01-31 2020-06-26 奇跃公司 多焦点显示系统和方法
WO2015117043A1 (en) * 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
NZ724518A (en) 2014-03-05 2021-12-24 Univ Arizona Wearable 3d augmented reality display
US9971153B2 (en) 2014-03-29 2018-05-15 Frimory Technologies Ltd. Method and apparatus for displaying video data
US9606359B2 (en) 2014-05-15 2017-03-28 Atheer, Inc. Method and apparatus for controlling focal vergence of optical content
KR102258289B1 (ko) 2014-05-22 2021-05-31 삼성전자 주식회사 이차원 배열 안테나를 사용하는 이동통신 시스템에서의 채널 피드백의 생성 및 전송 방법 및 장치
NZ727361A (en) 2014-05-30 2020-05-29 Magic Leap Inc Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CN112651288B (zh) 2014-06-14 2022-09-20 奇跃公司 用于产生虚拟和增强现实的方法和系统
KR102300532B1 (ko) 2014-09-05 2021-09-13 삼성전자주식회사 빔 포밍 시스템에서 채널 정보 피드백을 위한 방법 및 장치
US10334221B2 (en) 2014-09-15 2019-06-25 Mantisvision Ltd. Methods circuits devices systems and associated computer executable code for rendering a hybrid image frame
US9997199B2 (en) 2014-12-05 2018-06-12 Warner Bros. Entertainment Inc. Immersive virtual reality production and playback for storytelling content
WO2016138313A1 (en) 2015-02-26 2016-09-01 Puredepth Inc. A display interposing a physical object within a three-dimensional volumetric space
WO2016154026A2 (en) 2015-03-20 2016-09-29 Castar, Inc. Retroreflective light field display
US20160307368A1 (en) 2015-04-17 2016-10-20 Lytro, Inc. Compression and interactive playback of light field pictures
CN104899870B (zh) 2015-05-15 2017-08-25 清华大学深圳研究生院 基于光场数据分布的深度估计方法
JP6489932B2 (ja) 2015-05-19 2019-03-27 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US9426450B1 (en) 2015-08-18 2016-08-23 Intel Corporation Depth sensing auto focus multiple camera system
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
WO2017055894A1 (en) * 2015-09-30 2017-04-06 Lightspace Technologies Sia Multi-planar volumetric real time three-dimensional display and method of operation
US10554956B2 (en) 2015-10-29 2020-02-04 Dell Products, Lp Depth masks for image segmentation for depth-based computational photography
US10187880B2 (en) 2015-12-18 2019-01-22 Futurewei Technologies, Inc. System and method for transmission and reception of control and data channels with group reference signal
US10056057B2 (en) 2016-04-13 2018-08-21 Google Llc Resonant modulation of varifocal liquid membrane lens to provide multiple concurrent focal planes in VR display for realistic focus cues
KR102643105B1 (ko) * 2016-05-09 2024-03-04 매직 립, 인코포레이티드 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들
JP6577421B2 (ja) 2016-06-24 2019-09-18 日本電信電話株式会社 表示装置
US10516879B2 (en) 2016-08-12 2019-12-24 Avegant Corp. Binocular display with digital light path length modulation
KR102257181B1 (ko) 2016-09-13 2021-05-27 매직 립, 인코포레이티드 감각 안경류
FR3057095B1 (fr) 2016-10-03 2019-08-16 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede de construction d'une carte de profondeur d'une scene et/ou d'une image entierement focalisee
US10484599B2 (en) 2016-10-25 2019-11-19 Microsoft Technology Licensing, Llc Simulating depth of field
CN106875436B (zh) 2016-12-14 2019-10-22 北京信息科技大学 一种基于特征点密度由聚焦堆栈估计深度的方法和装置
WO2018163843A1 (ja) 2017-03-08 2018-09-13 ソニー株式会社 撮像装置、および撮像方法、並びに画像処理装置、および画像処理方法
EP3723580B1 (en) * 2017-12-15 2024-01-24 Magic Leap, Inc. Eyepieces for augmented reality display system
US10901291B1 (en) * 2017-12-20 2021-01-26 Facebook Technologies, Llc Bifocal optical assembly for a head-mounted display

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001035154A1 (de) * 1999-11-11 2001-05-17 4D-Vision Gmbh Verfahren und anordnung zur dreidimensionalen darstellung
US20100128145A1 (en) * 2008-11-25 2010-05-27 Colvin Pitts System of and Method for Video Refocusing
CN103076156A (zh) * 2013-01-08 2013-05-01 江苏涛源电子科技有限公司 红外焦平面阵列的多判据盲元检测方法
US20140267852A1 (en) * 2013-03-15 2014-09-18 Northrop Grumman Systems Corporation Staring focal plane sensor systems and methods for imaging large dynamic range scenes
CN104639930A (zh) * 2013-11-13 2015-05-20 三星电子株式会社 多视点图像显示设备及其多视点图像显示方法
CN106537219A (zh) * 2014-05-30 2017-03-22 奇跃公司 用于在虚拟和增强现实中产生焦平面的方法和系统
CN106125246A (zh) * 2016-07-19 2016-11-16 湖北三江航天红峰控制有限公司 一种自寻激光焦平面的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LOUISE RYANA等: ""Multiple-focal-planes 3D display:A practical solution to the vergence-accommodation conflict"", 2012 INTERNATIONAL CONFERENCE ON 3D IMAGING *
WU WANMIN等: ""Content-adaptive configuration for near-eye multi-focal displays"", 2016 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO *
王梓: ""集成成像3D显示技术研究"", 中国优秀硕士学位论文全文数据库 *

Also Published As

Publication number Publication date
EP3741113A1 (en) 2020-11-25
EP3741113B1 (en) 2022-03-16
US20210133994A1 (en) 2021-05-06
CN111869205A (zh) 2020-10-30
US11893755B2 (en) 2024-02-06
CN115052139B (zh) 2023-09-08
WO2019143688A1 (en) 2019-07-25
CN111869205B (zh) 2022-06-10
US20240087150A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
CN111869205B (zh) 具有变化位置的多焦平面
JP7329105B2 (ja) ディスプレイシステムのための深度ベース中心窩化レンダリング
CN111869204B (zh) 为基于积分成像的光场显示来渲染光场图像的方法
WO2019178566A1 (en) Depth based foveated rendering for display systems
US20230027251A1 (en) Multifocal plane based method to produce stereoscopic viewpoints in a dibr system (mfp-dibr)
US10554960B2 (en) Unassisted stereoscopic display device using directional backlight structure
CN112585963B (zh) 用于2d显示器上的内容的3d感知的近眼焦平面覆盖层的方法和系统
WO2011017485A2 (en) 3d autostereoscopic display with true depth perception
CN104704821A (zh) 扫描双向光场相机和显示器
JP2013106355A (ja) コリメートされたステレオディスプレイシステム
CN114746903B (zh) 虚拟、增强和混合现实系统和方法
CN113875230B (zh) 混合模式三维显示方法
WO2021076424A1 (en) Method for projecting an expanded virtual image with a small light field display
Ebner et al. Off-Axis Layered Displays: Hybrid Direct-View/Near-Eye Mixed Reality with Focus Cues
van der Linde Multiresolution image compression using image foveation and simulated depth of field for stereoscopic displays
Hua et al. Depth-fused multi-focal plane displays enable accurate depth perception
Jin et al. Distance adaptive three-dimensional display based on mobile portable devices
CN109425992A (zh) 基于lcd的裸眼全息显示系统及显示方法
Yu et al. Modern Display Technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230505

Address after: Delaware

Applicant after: Interactive Digital VC Holdings

Address before: Delaware

Applicant before: PCMS HOLDINGS, Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant