CN118158376A

CN118158376A - 用于近眼焦平面覆盖层的方法和系统

Info

Publication number: CN118158376A
Application number: CN202410334748.9A
Authority: CN
Inventors: 塞波·T·瓦利; 佩卡·K·西尔塔宁; 路易斯·克伦斯基; 拉鲁夫·奈夫
Original assignee: PCMS Holdings Inc
Current assignee: InterDigital VC Holdings Inc
Priority date: 2018-07-05
Filing date: 2019-07-01
Publication date: 2024-06-07
Also published as: CN112585963A; US12047552B2; EP4440104A2; US20210185303A1; EP3818694B1; US20230283762A1; WO2020010018A1; US11689709B2; US20240333907A1; EP3818694A1; CN112585963B; EP4440104A3

Abstract

方法的一些实施例可以包括：识别存在于真实世界场景的图像中的二维(2D)内容；检索包括与所述2D内容相关联的深度信息的元数据；使用所述元数据来生成多个焦平面图像，所述多个焦平面图像包括用于所述2D内容的深度线索；以及将所述多个焦平面图像显示为与所述2D内容同步的透视覆盖层。

Description

用于近眼焦平面覆盖层的方法和系统

本发明是申请号为201980054708.6，申请日为2019年07月01日，发明名称为“用于2D显示器上的内容的3D感知的近眼焦平面覆盖层的方法和系统”的分案申请。

相关申请的交叉引用

本申请是以下申请的非临时申请并根据35U.S.C.§119(e)而要求其权益：2018年7月5日提交的题为“用于2D显示器上的内容的3D感知的近眼焦平面覆盖层的方法和系统(Method and System for Near-Eye Focal Plane Overlays for 3D Perception ofContent on 2D Displays)”的美国临时专利申请序列号62/694,343，该申请通过引用而被整体结合于此。

背景技术

许多外部显示器、计算机屏幕、电视机和近眼显示器有助于观看者的聚焦和调节(accommodation)响应的解耦，从而引起聚散调节冲突(VAC)。VAC通过通常放大显示尺寸和更高的分辨率而变得更加突出，使得观看者平均起来从相对和绝对的更近的距离看到内容。

发明内容

根据一些实施例的由头戴式显示器(HMD)执行的示例方法可以包括：使用耦合到所述HMD的相机来识别在所述HMD外部的屏幕上显示的二维(2D)内容；获得与所述2D内容相关联的深度信息；使用所述深度信息来生成多个焦平面图像，所述多个焦平面图像包括用于所述2D内容的深度线索(cue)；以及将所述多个焦平面图像显示为与所述2D内容同步的透视覆盖层(overlay)。

对于所述示例方法的一些实施例，所述屏幕是真实世界场景的一部分。

对于所述示例方法的一些实施例，用于所述2D内容的所述深度线索可以包括关于距离和纹理中的至少一者的信息。

对于所述示例方法的一些实施例，所述多个焦平面图像中的每一个可以包括针对相关联的图像深度的高空间频率图像信息。

对于所述示例方法的一些实施例，所述高空间频率图像信息可以包括用于在变化的距离处聚焦的调节线索。

在一些实施例中，所述示例方法还可以包括：对所述2D内容进行低通滤波；以及显示所述低通滤波的2D内容，其中显示所述多个焦平面图像将所述多个焦平面图像显示为所述低通滤波的2D内容上的覆盖层。

在一些实施例中，所述示例方法还可以包括利用所述相机捕获所述2D内容。

在一些实施例中，所述示例方法还可包括识别所述屏幕的空间位置，其中显示所述多个焦平面图像可包括将所述多个焦平面图像与所述屏幕的空间位置对准。

对于所述示例方法的一些实施例，获得所述深度信息可包括：检索可包括所述深度信息的元数据，其中所述元数据可包括定时信息以使得能够同步地将所显示的多个焦平面图像与所述2D内容对准，并且其中显示所述多个焦平面图像可包括：使用所述定时信息来同步地将所述多个焦平面图像与所述2D内容对准。

对于所述示例方法的一些实施例，获得所述深度信息可以包括：检索包括所述深度信息的元数据，其中所述元数据可以包括用于所述2D内容的三维(3D)深度信息，并且其中用于所述2D内容的所述3D深度信息可以包括与所述2D内容同步的深度图的时间序列。

在一些实施例中，所述示例方法还可以包括转换所述深度图的分辨率以匹配所述2D内容的分辨率，其中所述深度图的所述分辨率可以不同于所述2D内容的所述分辨率。

在一些实施例中，所述示例方法还可包括检测所述屏幕上显示的所述2D内容的不对称，其中显示所述多个焦平面图像可包括：基于所述2D内容的所述不对称来调整所述多个焦平面图像。

对于所述示例方法的一些实施例，显示所述透视覆盖层可使得用户能够经由直接光路观看所述屏幕。

根据一些实施例的示例装置可以包括：相机；多焦平面显示器；处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上文列出的方法中的任何方法。

在一些实施例中，所述示例装置还可以包括：光学透镜结构，其被配置成调整所述屏幕的直接光学观看；以及光学低通滤波器。

根据一些实施例的由头戴式显示器(HMD)执行的另一示例方法可以包括：使用耦合到所述HMD的相机来检测与在所述HMD外部的2D显示器上显示的2D视频内容有关的存在、空间位置和取向信息；接收与所述2D视频内容对应的3D视频信息；在时间上同步所述3D视频信息与所述2D视频内容；跟踪与所述2D视频内容有关的所述空间位置信息和取向信息；将所述3D视频信息分解成多个焦平面图像；对所述多个焦平面图像中的一者或多者进行滤波，以从所述多个焦平面图像中去除一个或多个相应的低频表示；显示所述滤波后的焦平面图像。

对于另一示例方法的一些实施例，对所述多个焦平面图像中的一者或多者进行滤波可以包括：对所述多个焦平面图像中的至少一者进行高通滤波。

对于另一示例方法的一些实施例，将所述3D视频信息分解成所述多个焦平面图像可以包括：确定所述3D视频信息的深度；通过用一个或多个深度混合函数处理所述3D视频信息的深度来形成多个2D加权平面；以及通过利用所述多个2D加权平面对所述2D视频内容进行加权来形成所述多个焦平面图像。

对于另一示例方法的一些实施例，所述3D视频信息可包含深度信息。

对于另一示例方法的一些实施例，所述3D视频信息可包含2D纹理信息。

对于另一所述示例方法的一些实施例，所述3D信息可包括多个高频焦平面图像和所述多个高频焦平面图像在公共轴坐标系中的位置。

对于另一所述示例方法的一些实施例，检测与2D视频内容有关的存在、空间位置和取向信息可以包括：检测与所述2D显示器有关的存在、空间位置和取向信息，并且跟踪与所述2D视频内容有关的所述空间位置信息和取向信息可以包括：跟踪与所述2D显示器有关的空间位置信息和取向信息。

根据一些实施例的另一示例装置可以包括：相机；多焦平面显示器；处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上文列出的方法中的任何方法。

根据一些实施例的由头戴式显示器(HMD)执行的进一步的示例方法可以包括：利用耦合到所述HMD的多焦平面(MFP)显示器的相机来捕获视频数据；检测所述HMD与存在于所述所捕获视频数据内的二维(2D)显示器之间的视角，所述2D显示器在所述HMD外部且在所述相机的视场中；接收与所捕获的视频数据相对应的深度数据；使用所述深度数据来形成与所述2D显示器上示出的2D内容对应的多个高频焦平面图像；形成与所述2D显示器上示出的所述2D内容相对应的一个或多个低频焦平面图像；以及经由所述MFP显示器来渲染所述多个经调整的高频焦平面图像和所述一个或多个低频焦平面图像。

在一些实施例中，所述进一步的所述示例方法可以进一步包括：将所述深度数据与所述2D显示器上示出的所述2D内容同步。

对于进一步的所述示例方法的一些实施例，接收对应于所捕获的视频数据的深度数据进一步可以包括：接收对应于在所述2D显示器上示出的所述2D内容的所述深度数据和所捕获的视频数据。

对于所述进一步的所述示例方法的一些实施例，相对于所述视角调整所述多个高频焦平面图像可包括：实时应用坐标变换。

对于所述进一步的示例方法的一些实施例，接收对应于所述所捕获的视频数据的深度数据可进一步包含：接收包括对应于所述2D内容的纹理信息的额外3D视频信息。

对于所述进一步的示例方法的一些实施例，接收对应于所述所捕获的视频数据的深度数据可进一步包含：接收包括所述多个高频焦平面图像的额外3D视频信息。

在一些实施例中，所述进一步的示例方法还可包括：如果所述多个高频焦平面图像是单视场堆叠，则通过以下来形成关于两组多个高频焦平面图像的立体堆叠：将所述多个高频焦平面图像移位到所述两组多个高频焦平面图像中以由此形成所述立体堆叠。

根据一些实施例的进一步的示例装置可以包括：相机；多焦平面显示器；处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上文列出的方法中的任何方法。

对于所述进一步的示例方法的一些实施例，所述多焦平面显示器是近眼多焦平面显示器。

根据一些实施例的由头戴式显示器(HMD)执行的再一示例方法可以包括：利用耦合到所述HMD的相机来捕获在所述HMD外部的屏幕上显示的二维(2D)内容的图像；识别存在于所述图像中的所述2D内容；检索包括与所述2D内容相关联的深度信息的元数据；使用所述元数据来生成多个焦平面图像，所述多个焦平面图像包括用于所述2D内容的深度线索；以及显示所述2D内容和包括与所述2D内容同步的所述多个焦平面图像的覆盖层。

根据一些实施例的再一示例装置可以包括：相机；多焦平面显示器；处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上文列出的方法中的任何方法。

根据一些实施例的由头戴式显示器(HMD)执行的附加示例方法可以包括：利用耦合到所述HMD的相机来捕获真实世界场景的视频图像；识别存在于所捕获的视频图像中的图像图案；确定与所识别的图像图案相关联的深度调整；生成包括用于所识别的图像图案的深度线索的多个焦平面图像，所述深度线索基于所确定的深度调整来反映所识别的图像图案的修改的深度；以及显示包括所述多个焦平面图像的所识别的图像图案的3D表示。

根据一些实施例的附加示例装置可以包括：相机；多焦平面显示器；处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上文列出的方法中的任何方法。

根据一些实施例的由移动设备执行的另一所述示例方法可以包括：使用耦合到所述移动设备的相机来识别存在于真实世界场景的图像中的内容；检索包括与所述内容相关联的深度信息的元数据；使用所述元数据生成多个焦平面图像，所述多个焦平面图像包括用于所述内容的深度线索；以及显示包括与所述内容同步的所述多个焦平面图像的覆盖层。

对于所述另一示例方法的一些实施例，所述真实世界场景的所述图像可包含显示在所述移动设备外部的屏幕上的内容的图像，且所述覆盖层可包含透视覆盖层。

在一些实施例中，所述另一示例方法还可以包括：利用所述相机捕获所述内容。

对于所述另一示例方法的一些实施例，显示所述覆盖层使得用户能够经由直接光路观看所述屏幕。

在一些实施例中，所述另一示例方法还可以包括：利用耦合到所述移动设备的所述相机来捕获所述真实世界场景的所述图像；以及显示所述内容，其中所述真实世界场景的所述图像可包含显示在所述移动设备外部的屏幕上的内容的图像。

在一些实施例中，所述另一示例方法还可以包括：识别所述屏幕的空间位置，其中显示所述覆盖层可以包括对准所述多个焦平面图像以与所述屏幕的所述空间位置对准。

在一些实施例中，所述另一示例方法还可以包括：检测在所述屏幕上显示的所述内容的不对称，其中显示所述覆盖层可以包括基于所述内容的所述不对称来调整所述多个焦平面图像。

在一些实施例中，所述另一示例方法还可以包括：确定所述真实世界场景的原始深度场；以及基于所述元数据，调整所述原始深度场的与所识别的内容相对应的一部分以产生经调整的深度场，所识别的内容与在所述图像中识别的图像图案相对应，其中使用所述经调整的深度场来生成所述多个焦平面图像。

对于所述另一示例方法的一些实施例，生成所述多个焦平面图像创建三维深度效果。

对于所述另一示例方法的一些实施例，所述多个焦平面图像中的每一个可以包括针对相关联的图像深度的高空间频率图像信息。

对于所述另一示例方法的一些实施例，所述高空间频率图像信息可以包括用于在变化的距离处聚焦的调节线索。

在一些实施例中，所述另一示例方法还可以包括：对所述内容进行低通滤波；以及显示所述经低通滤波的内容，其中显示所述多个焦平面图像将所述多个焦平面图像显示为所述经低通滤波的内容上的覆盖层。

对于所述另一示例方法的一些实施例，所述元数据可包括定时信息以使得能够同步地将所显示的多个焦平面图像与所述内容对准，并且显示所述覆盖层可包括：使用所述定时信息同步地将所述多个焦平面图像与所述内容对准。

对于所述另一示例方法的一些实施例，所述元数据可以包括用于所述内容的三维(3D)深度信息，并且用于所述内容的所述3D深度信息可以包括与所述内容同步的2D深度图的时间序列。

对于所述另一示例方法的一些实施例，所述深度图具有与所述内容不同的分辨率。

对于所述另一示例方法的一些实施方式，所述移动设备可以包括支持多焦平面的手持移动电话。

对于所述另一示例方法的一些实施例，所述移动设备可以包括头戴式显示器。

根据一些实施例的另一附加示例装置可以包括：相机；多焦平面显示器；处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上文列出的方法中的任何方法。

在一些实施例中，所述另一附加示例装置还可以包括：一个或多个光学透镜，其被配置为调整所述装置外部的屏幕的直接光学观看；以及光学低通滤波器。

对于所述另一附加示例装置的一些实施例，所述装置可以是支持多焦平面的手持移动设备。

对于所述另一附加示例装置的一些实施例，所述装置可以是头戴式显示器，所述头戴式显示器可以包括所述多焦平面显示器。

附图说明

图1A是示出了根据一些实施例的示例性通信系统的系统示意图。

图1B是示出了根据一些实施例的可以在图1A所示的通信系统内部使用的示例性无线发射/接收单元(WTRU)的系统示意图。

图2是示出了用于基于深度图像的渲染(DIBR)的一组示例界面的系统图。

图3A-3C是示出了立体观看中的聚散-调节冲突(VAC)的示例的示意性平面图。

图4是示出了根据一些实施例的示例性多焦近眼显示器的示意性平面图。

图5是示出了根据一些实施例的示例MFP生成过程的过程图。

图6A-6C是示出了根据一些实施例的在重新分发之前的线性混合MFP的一组示例图像的图示。

图6D-6F是示出了根据一些实施例的重新分发的MFP的一组示例图像的图示。

图7是示出了根据一些实施例的示例MFP生成、对准和渲染过程的过程图。

图8是示出了根据一些实施例的示例MFP观看场景的示意性透视图。

图9是示出了根据一些实施例的每只眼睛的焦平面的示例观看的示意性平面图。

图10是示出了根据一些实施例的用于MFP生成、对准和渲染的示例性过程的流程图。

图11是示出了根据一些实施例的示例性光学透视MFP生成、对准和渲染过程的示意性过程图。

图12是示出了根据一些实施例的示例滤波过程的过程图。

图13是示出了根据一些实施例的示例性MFP形成过程的过程图。

图14是示出了根据一些实施例的示例图像坐标变换过程的过程图。

图15A是示出了示例测试图像的图示。

图15B是示出了根据一些实施例将图15A的示例测试图像分解成低频焦平面的示例的图示。

图15C-15E是示出了根据一些实施例的将图15A的示例测试图像分解成三个高频焦平面的示例的图示。

图16是示出了根据一些实施例的示例视频透视MFP生成、对准和渲染过程的过程图。

图17是示出了根据一些实施例的示例视频透视MFP生成、对准和渲染过程的过程图。

图18是示出了根据一些实施例的示例光学透视MFP生成、对准和渲染过程的过程图。

图19是示出了根据一些实施例的焦平面的示例性移位以形成用于左眼和右眼的不同视点的过程图。

图20A是示出了示例测试图像的图示。

图20B是示出了根据一些实施例将图20A的示例测试图像分解成低频焦平面的示例的图示。

图20C-20E是示出了根据一些实施例将图20A的示例测试图像分解成三个高频焦平面的示例的图示。

图20F-20G是示出了根据一些实施例的使用图20B-20E的分解的焦平面而合成的示例立体图像对的图示。

图21是示出了根据一些实施例的示例MFP生成和显示过程的消息序列图。

图22是示出了根据一些实施例的示例MFP生成和渲染过程的流程图。

图23是示出了根据一些实施例的另一示例MFP生成和渲染过程的流程图。

图24是示出了根据一些实施例的另一示例MFP生成和渲染过程的流程图。

在各个附图中描绘并结合各个附图描述的实体、连接、布置等是作为示例而非作为限制来呈现的。因此，关于特定附图“描绘了什么”、特定附图中的特定元素或实体“是”什么或“具有”什么的任何和所有陈述或其他指示，以及任何和所有类似陈述(其可能是孤立的且在上下文之外被解读为绝对的且因此是限制性的)可以仅在其之前被建设性地冠以诸如“在至少一个实施例中，…”这样的短语的情况下被适当地解读。为了简洁和清楚地呈现，在详细描述中并不重复这个隐含的引导短语。

用于实施例的实现的示例网络

在本文所述的一些实施方式中，无线发射/接收单元(WTRU)可以被用作例如头戴式显示器(HMD)设备。

图1A是示出了可以实施所公开的一个或多个实施例的示例性通信系统100的示意图。该通信系统100可以是为多个无线用户提供诸如语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够访问此类内容。举例来说，通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT-扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM以及滤波器组多载波(FBMC)等等。

如图1A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网络(PSTN)108、因特网110以及其他网络112，然而应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。WTRU 102a、102b、102c、102d每一者可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，WTRU 102a、102b、102c、102d任何一者都可以被称为“站”和/或“STA”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、运载工具、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 102a、102b、102c、102d中的任何一者可被可交换地称为UE。

所述通信系统100还可以包括基站114a和/或基站114b。基站114a、114b的每一者可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一者无线对接来促使其接入一个或多个通信网络(例如，CN 106/115、因特网110、和/或其他网络112)的任何类型的设备。例如，基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、新无线电(NR)节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然基站114a、114b的每一者都被描述成了单个部件，然而应该了解，基站114a、114b可以包括任何数量的互连基站和/或网络部件。

基站114a可以是RAN 104/113的一部分，并且该RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、未授权频谱或是授权与未授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站114a相关联的小区可被分为三个扇区。由此，在一个实施例中，基站114a可以包括三个收发信机，即，每一个收发信机都对应于小区的一个扇区。在实施例中，基站114a可以使用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区使用多个收发信机。例如，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。

基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一者或多者进行通信，其中所述空中接口可以是任何适当的无线通信链路(例如，射频(RF)、微波、厘米波、毫米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(RAT)来建立。

更具体地说，如上所述，通信系统100可以是多址接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术，例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接115/116/117。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。

在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTE Pro(LTE-A Pro)来建立空中接口116。

在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种可以使用新无线电(NR)建立空中接口116的无线电技术，例如NR无线电接入。

在实施例中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。例如，基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如，使用双连接(DC)原理)。由此，WTRU102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如，eNB和gNB)发送的传输来表征。

在其他实施例中，基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术，例如IEEE 802.11(即，无线高保真(WiFi))、IEEE 802.16(即，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)、以及GSM EDGE(GERAN)等等。

图1A中的基站114b可以例如是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、运载工具、校园、工业设施、空中走廊(例如，供无人机使用)以及道路等等。在一个实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一个实施例中，基站114b和WTRU 102c、102d可通过使用基于蜂窝的RAT(例如，WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)来建立微微小区或毫微微小区。如图1A所示，基站114b可以直连到因特网110。由此，基站114b不需要经由CN 106/115来接入因特网110。

RAN 104/113可以与CN 106/115进行通信，所述CN可以是被配置成向WTRU 102a、102b、102c、102d的一者或多者提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求，例如不同的吞吐量需求、延时需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN 106/115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户认证之类的高级安全功能。虽然在图1A中没有显示，然而应该了解，RAN104/113和/或CN 106/115可以直接或间接地和其他那些与RAN 104/113使用相同RAT或不同RAT的RAN进行通信。例如，除了与使用NR无线电技术的RAN 104/113相连之外，CN 106/115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。

CN 106/115还可以充当供WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如，传输控制协议/网际协议(TCP/IP)网际协议族中的TCP、用户数据报协议(UDP)和/或IP)的全球性互联计算机网络设备系统。所述网络112可以包括由其他服务提供方拥有和/或运营的有线或无线通信网络。例如，所述网络112可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN104/113使用相同RAT或不同RAT。

通信系统100中的一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如，WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图1A所示的WTRU 102c可被配置成与使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。

图1B是示出了示例性WTRU 102的系统示意图。如图1B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、数字键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136和/或周边设备138。应该了解的是，在保持符合实施例的同时，WTRU 102还可以包括前述部件的任何子组合。

处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU102在无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收部件122。虽然图1B将处理器118和收发信机120描述成单独分量，然而应该了解，处理器118和收发信机120也可以一起集成在一电子分量或芯片中。

发射/接收部件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如，基站114a)的信号。举个例子，在一个实施例中，发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。作为示例，在另一实施例中，发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在再一个实施例中，发射/接收部件122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。

虽然在图1B中将发射/接收部件122描述成是单个部件，但是WTRU 102可以包括任何数量的发射/接收部件122。更具体地说，WTRU 102可以使用MIMO技术。由此，在一个实施例中，WTRU 102可以包括两个或更多个通过空中接口116来发射和接收无线信号的发射/接收部件122(例如，多个天线)。

收发信机120可被配置成对发射/接收部件122所要传送的信号进行调制，以及对发射/接收部件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助多种RAT(例如，NR和IEEE 802.11)来进行通信的多个收发信机。

WTRU 102的处理器118可以耦合到扬声器/麦克风124、数字键盘126和/或显示器/触摸板128(例如，液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于WTRU 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。

处理器118可以接收来自电源134的电力，并且可被配置分发和/或控制用于WTRU102中的其他分量的电力。电源134可以是为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。

处理器118还可以耦合到GPS芯片组136，该GPS芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如，经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口116接收来自基站(例如，基站114a、114b)的位置信息，和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 102可以借助任何适当的定位方法来获取位置信息。

处理器118还可以耦合到其他周边设备138，其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，所述周边设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。所述周边设备138可以包括一个或多个传感器，所述传感器可以是以下的一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁强计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器等。

WTRU 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如，与用于UL(例如，对传输而言)和下行链路(例如，对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如，扼流线圈)或是凭借处理器(例如，单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 102可以包括传送和接收一些或所有信号(例如，与用于UL(例如，对传输而言)或下行链路(例如，对接收而言)的特定子帧相关联)的半双工无线电设备。

有鉴于图1A-1B以及关于图1A-1B的相应描述，在这里对照以下的一项或多项描述的一个或多个或所有功能可以由一个或多个仿真设备(未显示)来执行：WTRU 102a-d、基站114a-b、和/或这里描述的一个或多个其他任何设备。这些仿真设备可以是被配置成模拟这里描述的一个或多个或所有功能的一个或多个设备。举例来说，这些仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。

所述仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如，所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能，以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施或部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试，和/或可以使用空中无线通信来执行测试。

所述一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施或部署的同时执行包括所有功能在内的一个或多个功能。例如，该仿真设备可以在测试实验室和/或未被部署(例如，测试)的有线和/或无线通信网络的测试场景中使用，以便实施关于一个或多个分量的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的RF耦合和/或借助RF电路(例如，该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。

具体实施方式

现在将参考各个附图来提供对说明性实施例的详细描述。尽管本说明书提供了可能实施方式的详细示例，但是应当注意，所提供的细节旨在作为示例，而绝不限制本申请的范围。

所描述的系统和方法涉及通过焦平面覆盖层增强的外部显示器，其支持利用近眼镜显示器的3D调节。对于一些显示器，裸眼不会由于单视图而遭受VAC；立体显示器或观看眼镜会由于在3D中没有添加焦平面而引起VAC。本文的实施例使得能够用裸眼和用观看眼镜这两者观看同一显示器。这两种选择都没有聚散-调节冲突。具体地，一些实施例包括一扩展，其支持三维观看调节。用于支持3D调节的所述扩展可以作为3D内容分发(广播)的一部分或者作为使用单独的传输信道的附加服务来提供。

图2是示出了用于基于深度图像的渲染(DIBR)的一组示例界面的系统图。用于立体3D的常用系统使用基于深度图像的渲染(DIBR)方法。示意性框图200示出了基于DIBR的3D传输系统。如图所示，图2示出了2D加深度生成框202、视频编码框204以及在传输之后的视频解码框206和耦合到3D显示器的虚拟视点生成(例如，DIBR)框208。

在所述2D加深度生成框202内，存在多视图彩色视频框212和深度估计框214。在视频编码框204内，存在深度视频编码框218和彩色视频编码框216。视频编码框204和视频解码框206被耦合以进行发送和接收。视频解码框206包含深度视频解码框220及彩色视频解码框222。虚拟视点生成(DIBR)框208包括3D图像扭曲框224，其耦合到深度视频解码框220和彩色视频解码框222。虚拟视点生成(DIBR)框208还包括耦接到3D图像扭曲框224的孔洞填充框226。虚拟视点生成(DIBR)框208的输出耦合到3D显示器210。

在DIBR系统的一个示例中，在接收侧，立体3D(S3D)的虚拟视点生成由3D扭曲224阶段和孔洞填充226阶段组成，如虚拟视点生成(DIBR)框208中所示。3D扭曲用于形成3D视图(纹理深度图)的两个虚拟视图，如从观看者的两个视点所看到的。

3D扭曲可通过计算机图形算法来进行。关于相关3D操作的描述可在网站3D投影WIKIPEDIA(最后访问时间为2019年5月3日)处获得，网址为：en.wikipedia<dot>org/wiki/3D_projection。

人眼能够在真实世界空间中自由地扫描，并且通过聚焦和调节到3D空间中的不同深度来拾取信息。当观看时，眼睛的(会聚)聚散在沿平行方向观看(例如“无穷远处”的物体)和沿非常交叉的方向观看(例如靠近眼睛的物体)之间变化。在正常观看时，会聚和调节非常强地耦合，使得在大多数时间，两只眼睛的调节/焦点和会聚点在相同的3D点自然地相遇。然而，在立体观看中，眼睛总是聚焦在相同的图像/显示平面上，而人类视觉系统(HVS)和大脑通过检测所述图像的视差(诸如两个2D图像平面中的对应像素的小距离)来形成3D感知。

图3A-3C是示出了立体观看中的聚散-调节冲突(VAC)的示例的示意性平面图。三个不同的示例300、330、360示出了自然感知和立体观看的差异。图3A中的第一示例300示出了在焦距306和聚散距离308是相同距离的情况下在真实世界中的自然观看，使得左眼302和右眼304的视图的交叉点310与每只眼睛302、304的焦点302相同。图3B中的第二示例330示出了S3D显示器上的立体观看，其为具有在不同距离处的焦距336和聚散距离338的交叉观看，使得左眼332和右眼334的视图的交叉点340比每只眼332、334的焦点342、344更靠近眼332、334。图3C中的第三示例360示出了在S3D显示器上的立体观看，其为具有在不同距离处的焦距366和聚散距离368的非交叉观看，使得左眼362和右眼364的视图的交叉点370比每只眼362、364的焦点372、374更远离眼362、364。在立体观看中，如图3A-3C所示，聚散和调节点是不同的，这是聚散-调节冲突(VAC)的原因。这些差异导致视觉疲劳、恶心和其它类型的不适，通常称为晕动症。

多焦点平面(MFP)显示器创建关于离散焦平面的堆叠，从而从沿着观看者的视轴的多个层组成3D场景。通过投影所有那些像素(更精确地：体素)来形成3D场景的视图，这些像素在不同深度和空间角度对用户可见。

每个焦平面基本上在以其为中心的深度范围内对所述3D视图(例如，其投影)进行采样。深度混合是一种用于在观看从离散焦平面编译的视图时平滑原本多次感知的量化步长和轮廓的方法。多焦点平面可以通过以下来实现：空间复用2D显示的堆叠，或者由高速双折射(或者更一般地，例如变焦元件)通过例如以时间复用的方式顺序切换单个2D显示的焦距，同时空间渲染对应多焦点图像帧的可见部分。在没有深度混合的情况下，焦平面的所需数量很高的，例如14或更多。利用深度混合，该数量可以减少到大约五而不会使质量降低太多。

图4是示出根据一些实施例的示例性多焦近眼显示器的示意性平面图。示意图400示出了多焦点近眼显示器。多焦平面(MFP)近眼显示器创建所显示场景的光场的近似。由于近眼显示器随着用户的头部移动而移动，所以仅需要支持一个视点。相应地，由于不需要捕获大量视点的光场，因此光场的近似更容易。如图4所示，左眼416和右眼418被示为具有相关联的目镜412、414和显示堆叠(display stacks)408、410。虚拟焦平面406与左眼图像402和右眼图像404一起示出，两者之间具有重叠区域。

图像的高频分量是图像数据在短距离内快速变化的图像部分。高频分量在从焦点属性感知深度方面起主导作用。低频分量(例如缓慢变化的亮度或颜色)产生很少的深度感知线索。形成MFP会将图像信息分发到选定数量的焦平面中，这例如在Rahul Narain等人的文章Optimal Presentation of Imagery with Focus Cues on Multi-Plane Displays(在多平面显示器上具有焦点线索的图像的最优呈现),34:4ACM TRANSACTIONSONGRAPHICS(关于图形学的ACM事务处理),59:1-59-12(2015年8月)中有所描述，并且以及关于低频内容的重新分发可以改善到焦平面和焦平面之间的适应性。如所描述的，用于立体MFP堆叠(例如，表示平面)的复杂的重新分发过程可以基于人类视觉系统(HVS)。

图5是示出根据一些实施例的示例MFP生成过程的过程图。根据一些实施例的过程图500示出了重新分发过程可以产生修改的MFP，使得每个焦平面是整个场景的低频内容的指定分数与例如在对应的调节距离处的所述焦平面特定的高频分量的总和。该过程用场景中的低频分量的总和的指定部分替换MFP(距离)特定的低频分量。

如图所示，图5示出了到MFP分解模块的图片和图片深度输入。从源接收可包括2D像素数据502和深度数据504的图像数据。对于一些实施例，图片和图片深度输入分别对应于纹理和深度输入(或者分别对应于图像序列的视频加深度)。在MFP步骤506处，在一些实施例中，该过程提供形成N个焦平面，如pic1…picN所示，其可以被分组为MFP堆叠508。形成N个焦平面可使用适当的深度混合方法，如受益于本公开的本领域技术人员将理解的，诸如在例如Kurt Akeley等人的A Stereo Display Prototype with MultipleFocalDistances(具有多个焦距的立体显示原型),23:3ACM TRANSACTIONS ON GRAPHICS(TOG)804-813(2004年8月)(“Akeley”)中所描述的。

接下来，该过程继续提供滤波的焦平面510，用于通过用图5中示出为框LF和框HF(其表示MFP的HF版本)的低通滤波器和N个高通滤波器进行滤波来移除每个焦平面的低频分量。输出512被示为pic1.hf、pic2.hf到picN.hf。

图5还示出了低通滤波器输出被提供给1/N框(除以N)514并在N个不同加法器处接收pic1.hf,pic2.hf,…picN.hf以及1/N框的输出。注意，除以N也可以是乘以1/N，更特别地，在一些实施例中，形成输入图像的低通滤波版本可以可选地包括在一个或多个实施例中通过对LP滤波的MFP分量LF求和来编译所述低通(LP)滤波版本。因此，在一些实施例中，通过将LF分量的总和乘以1/N并将所得分数加到N个HF层中的每一者，可将低频分量均等地重新分发到每一高通(HF)分量层。

图5还示出了对于一些实施例，产生N个重新分发的MFP 516(pic1.rd,pic2.rd…picN.rd)的输出，用于(大差异)虚拟视点生成，和/或在一些实施例中，渲染重新分发的MFP以支持调节。

图6A-6C是示出了根据一些实施例的在重新分发之前的线性混合MFP的一组示例图像的图示。图6A-6C示出了重新分发之前的三个线性混合MFP 600、610、620。该图像示出了重新分发保留了每个焦平面的高频分量(细节)，而将低频分量带到最初没有信息的区域(表现为实心白色“填充”图案)。

图6D-6F是示出根据一些实施例的重新分发的MFP的一组示例图像的图示。图6D-6F示出了图6A-6C所示的相同MFP的重新分发的版本630、640、650。在两个示例中的图像分辨率都是436×157个像素。具体地，对于图6D-6F，在具有作为补数获得的高频的低通滤波中使用具有水平和垂直的20个像素的半径的高斯滤波器。根据一个或多个实施例，可以使用重新分发来减少虚拟视点改变中的去遮挡(孔洞)。在一些实施例中，重新分发的目的可以不同，并且低频可以被不同地分发。

立体3D(S3D)显示器或TV系统由于若干原因没有得到普及。例如，当观看S3D内容时，观看者倾向于VAC，这降低了观看体验并限制了由视差引起的深度感知。而且，VAC随着通常放大显示器尺寸和减小相对观看距离而变得更加突出。此外，基于眼镜的观看和无眼镜观看的不兼容性减少了S3D观看作为共享或社交体验，尤其是在观看电视时。为了看到S3D内容，所有观众需要佩戴(通常是快门)眼镜，易于出现VAC。主要由于上述原因，单视场显示器仍然比S3D替代方案更优选。被理解为试图解决一些问题的专利和申请包括美国专利No.8,730,354、美国专利申请No.2013/0183021和美国专利申请No.2014/0192281。

图7是示出根据一些实施例的示例MFP生成、对准和渲染过程的过程图。一些实施例可以针对增强具有立体焦平面的正常单视场显示图像，以使得用户感知3D效果并且能够自然地调节到该3D内容。图7示出了根据一个或多个实施例的系统的框图700。

更具体地，示出了视频显示器714，其具有在观看附近的可佩戴眼镜716。该可佩戴眼镜包括耦合到焦平面对准和渲染框710的显示器跟踪设备712，该焦平面对准和渲染框从显示器跟踪设备712接收信息并且向可佩戴眼镜的每个眼镜提供焦平面对准和渲染710。视频源702可将视频信息提供到同步框704，且从框704接收回的时序信息。在示例性布置700中，所述同步框704还可以从框706接收视频和深度信息，并且相应地将定时信息发送回框706。在示例性布置中，同步框704比较视频源702和视频和深度源706的定时，并且向该两个框提供用于同步它们的输出的信息(为此目的，它们具有可调节长度的信号延迟)。框706将同步的视频和深度信息输出到焦平面生成框708，其也可以耦合到焦平面对准和渲染框710。视频显示器714相应地从视频源702接收同步的视频信息。在700的替代布置中，代替框704确定来自框702和706的输出的定时，例如框702可以确定该定时，即，充当同步的主设备。

在一些实施例中，通过使用可佩戴眼镜(近眼显示器)来实现内容的增强，该可佩戴眼镜检测并跟踪屏幕上正被观看的内容，并且用产生深度和视差的焦平面来覆盖所述内容。因为相同的内容以2D方式同时显示在外部显示器上，所以可以使用眼镜或不使用眼镜来观看所述内容。

对于一些实施例，所述3D视频信息706可包括纹理和/或深度信息。对于一些实施例，2D显示器714上所示的内容可以与所接收的3D视频信息同步(例如，经由同步模块704)(或者反之亦然，使得任一个可以充当主设备)。对于一些实施例，接收对应于所捕获的视频数据的深度数据的过程可包括：接收对应于2D显示器上所示的内容的视频数据和深度数据。对于一些实施例，视频源702可被从网络(例如，广播网络)检索。对于一些实施例，可以从诸如附加服务网络之类的网络来检索所述3D视频信息706。对于一些实施例，所述视频源702可以相对于3D视频信息而被同步，其中任一个是主控制器。

对于一些实施例，过程(诸如图7中所示的过程700)可以由包括支持多焦平面的手持移动电话的移动设备执行。对于一些实施例，过程(诸如图7中所示的过程700)可由包括头戴式显示器的移动设备执行。

图8是示出根据一些实施例的示例MFP观看方案的示意性透视图。示出三个人812、814、816佩戴根据一些实施例的MFP眼镜，并且以3D观看显示内容。一个观众818看到810显示器802上的常规单视场2D视频内容。向佩戴所述MFP眼镜的三个人812、814、816示出的焦平面804、806、808的几何形状沿着显示器802的相应视角而被对准(偏斜)。对于一些实施例，显示2D视频内容的屏幕802可以是真实世界场景800的一部分。

图9是示出了根据一些实施例的每只眼睛的焦平面的示例观看的示意性平面图。一些实施例可以通过提供针对每只眼睛类似地形成和渲染的焦平面的单独集合来支持立体视觉。如图所示，图9示出了两只眼睛902、904和分离的焦平面906、908、910、912、914、916，其在外部显示器918(例如，电视机)上的单像2D图像(视频)上添加3D线索。尽管可以对两只眼睛分别进行处理，但是仅对一只眼睛给出了用于形成和渲染高频焦平面的一些实施例。实际上，这些过程可以具有共同的阶段。

图10是示出根据一些实施例的用于MFP生成、对准和渲染的示例性过程的流程图。该流程图示出了适用于一些实施例的一个或多个方法1000。根据一些实施例，可以利用嵌入到眼镜的相机来捕获1002视频数据。在一些实施例中，方法1000继续从用户的观看角度检测和跟踪1004视频数据的姿势。方法1000继续接收1006与外部显示的内容相对应的视频数据和附加深度数据到眼镜。对于一些实施例，可以在眼镜处基本上光学地从外部显示器接收所述视频数据。在一些实施例中，在眼镜处接收的视频数据可完全经由光学路径接收，使得用户直接看到通过用户设备中的光学器件传递到用户的眼睛的来自外部显示器的光。对于一些实施例，可以通过网络接收与外部显示的内容相对应的附加深度数据。对于一些实施例，可以经由诸如内置于用户设备中的相机之类的捕获设备在眼镜处接收视频数据，使得捕获设备从外部显示器的视图捕获2D图像，并且经由内置于用户设备中的显示设备向用户显示所述2D图像。对于一些实施例，附加视频数据可以通过网络而被接收，并且该附加视频数据补充或替换从外部2D显示器看到(或捕获)的图像。在一些实施例中，方法1000继续接收和/或确定1008所述外部显示器与接收到眼镜的内容(例如，通过网络接收到的内容)之间的同步。在一些实施例中，可以形成1010或通过网络接收针对每只眼睛的与外部显示内容和时刻/时间戳相对应的高频焦平面(HF)。

在一些实施例中，所述方法1000继续对准1012与外部显示内容和时刻/时间戳相对应的HF平面。在一些实施例中，方法1000根据观看者的位置来调整1014焦平面距离。在一些实施例中，可以使用MFP显示器为每只眼睛渲染1016低频(LF)和高频(HF)平面。方法1000可以确定1018观看者是否停止观看内容。如果观看者仍然在观看内容，则方法1000返回到捕获1002视频数据。否则，该方法结束。

在一些实施例中，近眼显示眼镜可以具有嵌入的相机，其捕获在屏幕上显示的内容。在一些实施例中，可以基于所捕获的内容来计算屏幕相对于屏幕的姿势、含义位置、取向和大小。在一些实施例中，跟踪所述屏幕使得能够从变化的观看距离和角度显示所述3D内容。一些实施例的特征在于，可以通过近眼显示器结构光学地或者作为一些实施例中的变型通过由嵌入到眼镜的相机捕获内容来从外部显示器接收所观看的内容的主要部分。

一些实施例提供了在时间、几何形状和亮度上(后者例如由亮度和对比度值来表示)将光学地接收到眼镜的外部内容与通过网络接收的或者从通过网络接收的深度数据或焦平面信息生成的附加焦平面同步。在一些实施例中，基于显示器姿势跟踪，可计算观看者距显示器的距离。此外，在一些实施例中，可以调整焦平面距离以提供正确的调节线索。

在一些实施例中，通过为用户显示从视角和对应于他/她的视点的距离投影到焦平面集合的3D场景来创建三维(3D)效果。在一些实施例中，要在MFP眼镜上显示的3D信息通过网络传输，并且在渲染到焦平面之前被电子地处理或形成。在一些实施例中，每只眼睛具有其自己的焦平面堆叠。在一些实施例中，一种方法提供了空间复用2D显示堆叠，同时(空间)渲染对应的多焦点图像帧的可见部分。

对于一些实施例，过程1000(如同根据一些实施例的本文公开的任何过程)可以例如由包括处理器和存储指令的非暂时性计算机可读介质的装置执行，所述指令在由处理器执行时可操作以执行过程1000。对于一些实施例，该装置可以被配置成执行本文描述的方法中的一者或多者。

对于一些实施例，修改的过程(其可以由HMD执行)可以包括：利用耦合到多焦平面(MFP)显示器的相机来捕获视频数据；检测关于存在于所述所捕获视频数据内的相对于二维(2D)显示器的观看角度；接收与所捕获的视频数据相对应的深度数据；使用所述深度数据形成与所述2D显示器上显示的内容对应的多个高频焦平面；以及经由MFP显示器渲染所述多个经调整的高频焦平面以及一个或多个低频焦平面。

对于一些实施例，示例装置可以包括相机、多焦平面显示器；处理器和存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时可操作以执行本文公开的方法。

对于一些实施例，示例过程可包括检测在屏幕上显示的内容的不对称，其中显示所述覆盖层可包括基于所述内容的所述不对称来调整所述多个焦平面图像。

对于一些实施例，另一示例过程可以包括：确定所述真实世界场景的原始深度场；以及基于元数据，调整该原始深度场的与所识别的内容对应的部分，以产生经调整的深度场，所识别的内容对应于在图像中识别的对象或图像图案，使得可使用所述经调整的深度场来生成所述多个焦平面图像。

通常，在屏幕上看到单视场内容的一个挑战是用户可能缺少许多用于3D感知的重要线索。当观看S3D内容时，用户易于出现聚散-调节冲突(VAC)，这降低了观看体验并限制了由视差引起的深度感知。在一些实施例中，方法包括分解视图并将视图渲染为MFP显示器上的焦平面以支持自然调节。一些实施例包括使用户能够在没有VAC的情况下感知3D。VAC随着通常放大显示器尺寸和减小相对观看距离而变得更加突出。在一些实施例中，通过减轻VAC，可使得不同的显示器大小(包括较大的显示器大小)成为可能。

通常，为了观看S3D内容，观众需要佩戴(通常是快门)眼镜。使用快门眼镜和时分复用显示器减少了作为共享或社交体验的S3D观看，因为例如裸眼不能正确地观看S3D TV。根据一些实施例，用户可以用裸眼正常地观看单视场视频(诸如TV上的节目)，并且其他用户可以有效地看到相同的显示和3D内容。

在一些实施例中，观看体验不会因为不愿意/不能佩戴眼镜的用户(暂时地或出于其他原因)而降级，并且避免了对于利用3D眼镜观看的那些用户的VAC。在一些实施例中，改善了对观看情况的兼容性和质量。在这样做时，一些实施例可减轻当前S3D显示和服务(诸如TV、虚拟现实、以及360度视频和服务)的普及性的缺乏。

一些实施例包括：通过网络在眼镜处接收增强的高频焦平面信息，而无需单视场基础层。在一些实施例中，通过眼镜中的嵌入式相机进行关于基础显示的检测和跟踪，并且通过眼镜显示器光学地看到基础层信息(OST)。对于一些实施例，参考图11，例如，可以从网络接收所述基础层1102，或者通过光学地捕获或者通过相机1116从屏幕1114或者例如这些的任何组合接收所述基础层1102。

在一些实施例中，仅焦平面的高频内容需要在眼镜中被接收和渲染。在一些实施例中，覆盖的焦平面信息不对基础层的平均亮度或颜色做出任何改变，因此眼镜是透明的。在一些实施例中，覆盖焦平面信息包括提供分层近眼显示器结构，从而能够衰减和(主动地)照亮视图的某些部分。在一些实施例中，例如通过OLED显示技术来执行关于视图的某些部分的衰减和照亮。在一些实施例中，通过允许总亮度的一些衰减并且通过由更常规的LCD结构调制它们的衰减来生成焦平面来执行MFP显示器制造。

图11是示出根据一些实施例的示例性光学透视MFP生成、对准和渲染过程的示意性过程图。示出了根据一些实施例的过程1100，其包括处理所述低频(LF)和高频(HF)分量。在图11中，示出了用于接收输入图像(“PIC”)1102的两个选项。对于一些实施例，输入图像1102(以及对于一些实施例，图像深度数据1104)经由网络连接1138(例如，通过元数据信道)获得。对于一些实施例，通过由跟踪相机1116从外部显示器1114捕获内容来获得1136输入图像1102(以及对于一些实施例的图像深度数据1104)。

根据一些实施例，输入图像(“PIC”)1102由过程1100接收，并被滤波以形成要分解成焦平面的HF分量1106。在一些实施例中，过程1100包括形成低频版本(LF)并从原始图像1102减去该低频版本(LF)(未示出)以获得高频分量1106。在一些实施例中，过程1100包括要求图像分量互补以使得能够求和到原始图像1102(也称为统一划分)。

在一些实施例中，高通滤波(HF)图像作为输入被接收，并且高频分量可在框MFP1108中被分解成在与观看者和场景相关的不同距离处的多个焦平面(MFP)，其对应于由所接收的深度图1104指示的场景中的高频分量的距离。在一些实施例中，可接收从原始视图捕获的深度图1104。在一些实施例中，如果例如高频焦平面已经在发射机中形成，并且与关于它们在场景中的位置(深度距离)的数据一起被带到接收机，则不需要深度图。在一些实施例中，诸如通过内插方法的深度混合可以用于支持离散焦平面之间的适应性调节。例如内插法的深度混合方法在Akeley和Hu,X.,&Hua,H.,Design and Assessment of aDepth-Fused Multi-Focal-Plane Display Prototype(深度融合的多焦平面显示器原型的设计和评估),10(4)IEEE/OSAJ.DISPLAY TECH(显示技术).308-316(2014)中有所讨论。

在一些实施例中，生成MFP 1108可以包括要求统一的划分，这导致在与输入图像相同的四边形几何结构中在选定距离处的选定数量的焦平面。MFP形成步骤1108的输出1110包括N个高频图像pic1.hf,pic2.hf,…picN.hf。在一些实施例中，产生高频(HF)分量1106和产生MFP 1108可被视为单个框。

在一些实施例中，图像组pic1.hf,pic2.hf…picN.hf 1110由捕获、跟踪和对准模块框1112接收，其可以包括由计算低通滤波器(诸如光学低通滤波器(OLPF)1130)接收。在一些实施例中，高频焦平面1124的几何形状可根据用户1140对外部HW(或投影的)显示器1114的视点而改变。在一些实施例中，过程1100使用图11中所示的跟踪相机1116作为捕获、跟踪和对准模块框1112和计算低通滤波器(例如，实际上实现光学低通滤波器(OLPF)1130的功能)的输入。计算滤波器可用于生成一个或多个低频焦平面1122。在一些实施例中，辅助传感器(例如，惯性测量单元(IMU)等)捕获包含环境和相对于观看者1140处于每个位置和取消的外部显示器1114的视图。在一些实施例中，从所捕获的视图检测显示区域及其几何形状，并且将焦平面1124的几何形状对准以与所述显示区域1120重叠。对于一些实施例，所生成的高频焦平面1110被示出为具有布置的几何结构1124。在一些实施例中，连续地并且实时地进行显示区域的检测和跟踪以及对应的几何变换。如受益于本公开的本领域技术人员将理解的，所述变换通常需要数学运算，如本文所述。

一些实施例提供假设外部显示器1114上示出的相同的单视场内容(诸如图11中示出的“PIC”)也可通过网络1138用于附加调节眼镜1132。另外，在一些实施例中，对应于单视场(纹理)图像的深度图(图11中的“PIC.DEPTH(PIC.深度)”)1104可用于眼镜1132，但是例如对于外部显示器1114不是必需的。

在一些实施例中，光学上可见的外部显示器的低通版本的第一形成被示为pic.lf1122。在一些实施例中，pic.lf 1122近似低频分量(LF)，其可以与高频分量(HF)1106互补，并被示为pic1.hf,pic2.hf…picN.hf 1110、1124。在一些实施例中，低通分量1122可以是使用合适的光学漫射器或低通滤波器元件(OLPF)1130形成的低频版本，该合适的光学漫射器或低通滤波器元件用于形成光学上可见的内容1114的低通滤波版本1122。在一些实施例中，入射光不被吸收，而是被低通滤波器元件散射或漫射(参见例如网站PhotographicFilter(摄影滤波器),WIKIPEDIA(最近访问时间为2019年5月3日),可从以下网址获得：en.wikipedia<dot>org/wiki/Photographic_filter#Diffusion)。

在一些实施例中，为了用户无失真地(未滤波地)看到外部显示区域之外的视图，仅需要在检测到的显示区域内使用所述滤波，这可以由有源光学元件来实现。在一些实施例中，如果整个视图的滤波是可接受的，则无源漫射器是适用的。注意，在后一种情况下，在覆盖所述高频内容之后，仅显示器内部的所述区域被清晰地看到。

在一些实施例中，焦平面的渲染可以与外部显示器1114上的对应内容同步1134。在一些实施例中，同步1134使用来自两个源的时间戳、嵌入在外部视频中的同步(标记)图案和/或内容识别方法，如例如在美国专利申请No.2013/0183021中描述的。

如所描述的，图11提供了光学透视(OST)变型，在一些实施例中，该变型包括光学组件，诸如眼睛附近的目镜和朝向外部显示器的物镜(一个或多个)。图11示出了沿着如右侧的眼睛所示的观看轴的直接光路以及不同深度处的多焦点平面图像。图11是光线通过主系统组件传播的示意图，并且不意味着关于光学结构的详细或精确。对于一些实施例，对于每只眼睛，附加调节眼镜1132可以包括用于示出焦平面图像1124的MFP显示器1128和光学透镜1118、1126。在一些实施例中，实施方式可以使用紧凑的离轴反射器来将焦平面渲染显示器定位得更靠近侧面，以便实现更平坦的实施方式。比较美国专利9,547,174中描述的基于自由形式棱镜的实现。对于一些实施例，直接光路可以包括使用反射器，用于使光路侧向和/或横向偏移，以便制作更浅的显示器结构。

对于一些实施例，多个焦平面图像(例如PIC1.HF、PIC2.HF、…、PICN.HF 1110)中的每一个可以包括用于相关联的图像深度的高空间频率图像信息。对于一些实施例，所述高空间频率图像信息可以包括用于在变化的距离处聚焦的调节线索。对于一些实施例，对应于所捕获或接收到的图像的元数据可包括用于将所显示的多个焦平面与所述2D内容同步对准的定时信息。对于一些实施例，显示多个焦平面图像可包括：使用所述定时信息，同步地将多个焦平面图像与2D内容对准。对于一些实施例，与捕获或接收的2D图像内容相对应的元数据可以包括所述2D内容的三维(3D)深度信息，并且2D内容的所述3D深度信息可以包括与2D内容同步的2D深度图的时间序列。对于一些实施例，对应于所捕获或接收到的图像的元数据可包括定时信息以使得能够将所显示的多个焦平面与所述内容同步地对准，并且显示覆盖层可包括：使用所述定时信息，将所述多个焦平面图像与所述内容同步地对准。对于一些实施例，对应于所捕获或接收的图像的元数据可以包括用于所述内容的三维(3D)深度信息，并且用于所述内容的所述3D深度信息可以包括与所述内容同步的2D深度图的时间序列。

对于一些实施例，将多个焦平面图像显示为透视覆盖层可使得用户能够经由直接光路观看所述屏幕。对于一些实施例，一种装置可以包括光学透镜(诸如图11的光学透镜1118、1126)，其被配置成调节所述设备或HMD外部的屏幕的直接光学观看；以及光学低通滤波器(例如图11的OLPF 1130)，产生低通滤波图像1122。

对于一些实施例，示例过程可以包括：检测2D显示器的存在、空间位置和取向信息；检测在所述2D显示器上显示的2D视频的存在、空间位置和取向信息；接收与所述2D视频内容对应的3D视频信息；在时间上同步所述3D视频信息与所述2D视频内容；跟踪所述2D显示器的空间位置和取向；将所述3D视频信息分解成多个焦平面图像；对所述多个焦平面图像中的一者或多者进行滤波，以从所述多个焦平面图像中去除一个或多个低频表示；以及在滤波所述多个焦平面图像中的一者或多者之后，显示所述多个焦平面图像。

对于一些实施例，所述多焦平面显示器可以是近眼多焦平面显示器。对于一些实施例，真实世界场景的图像可包括显示在移动设备外部的屏幕上的内容的图像，并且所述覆盖层可包括透视覆盖层。对于一些实施例，方法可包含用附接到可佩戴显示设备1132的相机1116捕获内容。对于一些实施例，显示所述覆盖层可以使得用户能够经由直接光路观看所述屏幕。对于一些实施例，一种装置可以包括：一个或多个光学透镜，其被配置为调整屏幕的直接光学观看；以及光学低通滤波器。

返回参考图10，描述了根据实施例的过程1000的细节。在一些实施例中，通过眼镜中的跟踪相机从正被捕获1002的视频检测并跟踪1004外部显示器。在一些实施例中，当从变化的视点观看时，可以通过视频中屏幕的亮度以及关于显示区域的大小和几何形状的知识来检测所述显示区域。在一些实施例中，视频数据捕获的结果是在视图中是否存在显示器。在一些实施例中，当以足够高的概率检测到外部显示器时，将所捕获的视频传递到下一处理步骤。

在一些实施例中，对所捕获的视频内的显示区域的检测和跟踪1004可以基于所述屏幕的几何形状和亮度，并且可以由视觉手段(例如，显示器上或与显示器相关的标记)来辅助。在一些实施例中，检测和跟踪还可以通过眼镜中的电子装置(IMU传感器等)和/或通过在显示器和眼镜之间传输的数据来辅助。根据一些实施例，跟踪所述显示器实际上使用与检测和跟踪增强现实中的可见标记(基准点)类似的技术。标记跟踪是AR中的传统方法，并且被现有技术很好地支持。类似于AR应用，跟踪的准确性和稳定性对于根据一些实施例的所公开的系统通常可能是重要的。

在一些实施例中，可以通过近眼显示器结构光学地接收1006构成观看内容的主要部分的低频内容，或者作为变型，通过由嵌入到眼镜的相机捕获所述内容，同时通过网络接收附加视频和深度信息。对于一些实施例，可以接收HF视频和深度。在一些实施例中，可以接收全视频(LF和HF)加深度，并且可以使用滤波来去除与光学接收的低频内容相对应的LF部分。在一些实施例中，附加内容可以由内容提供商作为TV广播流的一部分或经由因特网来广播。在一些实施例中，可以使用诸如WIFI或蓝牙的无线技术将内容递送到眼镜。

在一些实施例中，传送附加视频和深度信息(其可以是纹理加深度图像的序列)可以经由作为源格式的深度加纹理来进行。在一些实施例中，作为源格式的深度加纹理使得能够提供单像(纹理)视频并形成所需的焦平面(诸如低通滤波所述纹理图像并分解深度上的对应高频分量/平面)。一些实施例提供了经由专用信道和服务来接收已经形成的焦平面。除了检测和跟踪基础显示之外，一些实施例包括提供接收终端(眼镜)以知道正在观看的频道/节目/内容(并且同步所述两个源)。对于一些实施例，所述基础显示可以是可从服务器检索的图像数据，例如图11的图片数据1102，对于一些实施例，所述基础显示可以是由相机捕获的图像数据，例如由图11的相机1116捕获的外部显示数据1114。

在一些实施例中，所述渲染的一部分包括：将所述焦平面与外部显示器上的对应内容同步1008。在一些实施例中，同步可以使用来自两个源的时间戳、嵌入在外部视频中的同步(标记)模式、或者甚至例如一些内容识别方法，如在例如美国专利申请2013/0183021中描述的。

通常通过调整可变延迟(FIFO存储器)来进行同步，以便在渲染时，到外部显示器和眼镜的信号处于相同相位。实际上，可以将向外部显示器的内容渲染延迟某个固定量，并且可以在眼镜中(或者如果在实现中使用，则在单独的接收机终端中)实现和控制用于同步所述渲染的可变延迟。为了本公开的目的，同步两个源的适用方式被认为是本领域专家所熟悉的。

在一些实施例中，方法1000包括使用包括深度混合的用于MFP形成的已知方法等形成1010高频焦平面的过程。然而，与例如一些常规方法不同，在一些实施例中，针对所捕获场景的一部分的高频内容，形成焦平面。下面，提供根据一个或多个实施例的所需滤波操作的更详细描述。

如受益于本公开的本领域技术人员将理解的，高频和低频分量是互补的，使得通过导出任一者也可通过减法而定义另一个分量。实际上，在一些实施例中，可以通过执行低通滤波(例如，具有可调半径或窗口的高斯滤波)并从原始图像中减去结果来产生用于形成焦平面(HF MFP)的高频图像。在一些实施例中，所述低通滤波的结果可以使用MFP显示器的透视属性而被从外部显示器光学地耦合到系统。在一些实施例中，所述高通滤波结果可以从由相机从外部显示器捕获的内容来产生。

图12是示出根据一些实施例的示例滤波过程的过程图。示出了高通滤波的示例性实际实现1200。图像1202由滤波过程1204接收，该滤波过程用低频低通滤波器和加法器处理图像1202，所述加法器从图像1202中减去低通滤波结果，并提供高频图像(pic.hf)1206。

更一般地，在一些实施例中，互补滤波方法可以基于高频或低频滤波。两个分量也可以用两个分离的滤波器直接获得，这两个滤波器在频域中具有互补的传递函数。注意，由于在渲染时用户的调节距离未被捕获和已知，所以有效的假设是对所有焦平面使用相同的滤波器函数。相应地，如果用户的调节距离被捕获和存储(对于一些实施例未描述)，则针对每个焦平面使用不同的滤波器函数可能是更优的。

如果在滤波之前形成MFP，则在一些实施例中，对于最终结果有益的是，所述滤波操作仅应用于不属于非零值(有色)区域和零值(透明或空白)区域之间的陡峭过渡的那些像素。在单个焦平面图像上，由于没有增加任何亮度，空区域可能显示为黑色。在一些实施例中，实际上工作良好的滤波器类型是所谓的选择性或引导滤波器，其不对具有比设定阈值更大的色差的图像区域进行滤波。由于彩色区域和黑色区域之间的典型的高对比度，它们的边界被可靠地检测，并且该检测对所述阈值不敏感。

图13是示出了根据一些实施例的示例性MFP形成过程的过程图。过程图1300示出了根据一些实施例的焦平面的形成。如图所示，图像(“PIC”)1302被提供给低通滤波器和高通滤波器(LF和HF)1306。图像深度图(“PIC.DEPTH”)1304和高频输出被提供给MFP框1308。低通滤波器和MFP框1308的输出被示出为一系列1+N焦平面PIC1.LF,PIC1.HF,PIC2.HF,…,PICN.HF 1310。

在步骤1308，如果将输入图像1302滤波为其LF和HF分量1306，并且如果将HF分量分解为相应的焦平面组，则应用统一的划分，这意味着低频和高频图像可以被求和为(或接近于)原始图像。仅对一只眼睛给出了用于形成和渲染低频和高频焦平面1310的描述，但可以对每只眼睛执行类似的过程。对于一些实施例，过程可以接收立体深度和纹理数据作为输入，或者开始于使用相互输入的虚拟视点生成，例如使用已知的DIBR方法来生成。在实践中，本领域技术人员将理解，执行具有对应步骤的两个并行过程以对准和渲染用于每只眼睛的焦平面的单独(立体)集合。

对于一些实施例，一种方法可包括：对内容(其可以是例如显示器的2D图像、3D真实世界场景的2D图像或3D对象的2D图像)进行低通滤波；以及显示经低通滤波的内容，使得显示所述多个焦平面图像将所述多个焦平面图像显示为所述经低通滤波的内容上的覆盖层。对于一些实施例，对所述多个焦平面图像中的一者或多者进行滤波可以包括：对所述多个焦平面图像中的至少一者进行高通滤波。对于一些实施例，所述3D视频信息可包含2D纹理信息。对于一些实施例，接收对应于所捕获视频数据的深度数据可包含：接收包含2D纹理信息的额外3D视频信息。

返回参考图10，方法1000的一些实施例提供焦平面的对准1012。具体地，一些实施例提供了，单独的低频层可以相当自由地定位在所支持的深度场(DoF)内。在一些实施例中，定位对于低频内容/层是(相对)不变的，其实际上不提供任何深度线索。

出于相同的原因，当从侧面视角观看所述显示器时，在一些实施例中，在2D中使低频焦平面偏斜或对准就足够了，从而丢弃了第三深度维度中的像素位置改变。在一些实施例中，低频平面可以被认为垂直于观看轴。相应地，可以在不改变高频焦平面相对于观看轴(从原始垂线)的取向的情况下进行高频焦平面的对准。

注意，在一些实施例中，距低频内容(和外部显示器)的观看距离可以不独立于渲染所述附加焦平面而变化。因此，在一些实施例中，用于在眼镜中渲染高频焦平面的MFP显示器的实现可能受到影响。注意，固定显示器和光学结构涉及焦平面的固定位置。在一些实施例中，可以使用各种策略来相对于观看距离调整高频焦平面的位置。在一些实施例中，可以实现MFP显示器以支持焦平面的可变渲染距离。例如，在一些实施例中，使用可变焦目镜和物镜可以支持可变的渲染距离。HF焦平面与外部显示器的对准可以涉及实时求解世界坐标与观察坐标之间的变换。

图14是示出根据一些实施例的示例图像坐标变换过程的过程图。在流程图中示出了变换的实时求解。如图所示，图14示出了跟踪和变换过程1400，其确定相对于显示器1402的真实世界坐标1404的相机姿势。关于变换的进一步一般信息，参见Sanni Siltanen,Theory and Applications of Marker-Based Augmented Reality(基于标记的增强现实的理论和应用),VTT SCIENCE 3(VTT科学3)(2012)。

在一些实施例中，真实世界坐标1404和观察到的图像坐标1414之间的关系可以由例如投影变换或单应性来提供，如公式1中所示：

其中，对于一些实施例，T是外部相机矩阵(也称为变换或姿势矩阵)，K是(内部)相机校准矩阵，并且D是相机失真函数。D可以通过单独的相机校准台(其通常使用特定的校准模板)来求解。对于一些实施例，相机1408可执行变换1406以将真实世界坐标1404转换成姿势矩阵坐标/>1410，可执行校准变换以将姿势矩阵坐标/>1410转换成相机坐标/>1412，且可执行失真过程以将相机坐标/>1412转换成所观察到的图像坐标/>1414。

在一些实施例中，关于显示姿势的信息可以用于以正确的比例和视角渲染HF焦平面(附加的3D信息)。在一些实施例中，可通过(由眼镜中的跟踪相机)捕获屏幕上的四个(通常为角落)点(x_i，i＝1，2，3，4)作为最小值且通过使用例如迭代方法来求解公式1(单应性)，以导出显示姿势。关于迭代程序的更多细节，参见例如Sanni Siltanen,Theory andApplications of Marker-Based Augmented Reality(基于标记的增强现实的理论和应用),VTT SCIENCE 3(VTT科学3)(2012)。

注意，为了简单起见，以上描述省略了由于跟踪相机在物理上在(一个或两个)近眼显示堆叠旁边而需要的映射以及对应的光学路径。受益于本公开，本领域技术人员将理解得到包括该步骤的整个变换过程。

除了几何调整之外，根据一些实施例的可以在该处理步骤执行的另一调整是亮度(这里是亮度和对比度)调整。亮度调整可以用于补偿：外部显示内容的光学透视耦合(诸如光学低通滤波器)中的亮度损失；MFP显示堆叠/元件中的亮度损失；和/或外部显示器的亮度设置的改变(个人偏好、对环境照明的响应)。

对于一些实施例，示例过程可包括识别屏幕的空间位置，使得显示所述多个焦平面图像包括将所述多个焦平面与所述屏幕的空间位置对准。对于一些实施例，所述深度图(例如，其可以由相机捕获或从服务器接收)可以具有与所述内容(例如，其可以是由相机捕获的2D屏幕的2D图像、从服务器检索的2D图像、或由相机捕获的3D对象的2D图像)不同的分辨率。

对于一些实施例，示例方法可包括检测所述屏幕上显示的2D内容的不对称，使得显示所述多个焦平面图像包括：基于2D内容的不对称来调整所述多个焦平面。对于一些实施例，相对于视角调整所述多个高频聚焦平面包括：实时应用变换，诸如公式1。对于一些实施例，一种方法可以包括识别所述屏幕的空间位置，使得显示所述覆盖层包括：对准所述多个焦平面以与所述屏幕的空间位置对准。

在一些实施例中，以上对准可基于通过计算方式导出所跟踪/捕获的显示图像性质且将所跟踪/捕获的显示图像性质与经由网络接收到眼镜的图像进行比较而可行。除了自动调整之外，在一些实施例中，亮度控制也可以是手动的。未适配或部分适配于外部显示器亮度可以在感知的3D视图中表现为高频的相对衰减或提升。然而，在一些实施例中，观看者可能对这些偏差具有一定的容忍度。

返回参考图10，在一些实施例中，方法1000可以包括根据观看距离来调整1014焦平面位置。更具体地，在一些实施例中，3D场景的深度场不同，并且S3D表示通常位于显示器的后面和前面(例如，立体对或与深度信息相关联的纹理)。在立体内容产生中，在一些实施例中，视差(以及相应地，深度)被限制在一些通常使用的相对小的正值和负值之间。

注意，在附图中，为了简单起见，例如在外部显示器的前面示出了焦平面。然而，在一些实施例中，尤其是如果使用现有的立体或DIBR内容，则焦平面可以覆盖外部显示器前面和后面的深度范围(深度图值)。因此，实际上，根据一些实施例的MFP位置可以相对于外部基础显示器而被锁定，而与观看距离无关。对于一些实施例，可以相对于外部基础显示器，将MFP位置调整为与观看距离成比例。

因此，一些实施例包括对系统的光学解决方案的要求。在一些实施例中，由于用户可能想要从不同的距离看到内容，所以眼镜的光学组件的特性(例如，如图11中的目镜和物镜中所示)可以是可变的或可选择的。在一些实施例中，用户可以搜索相对于显示器的舒适的观看位置。

在一些实施例中，光学部件也可以用可变焦元件(例如液体透镜)和用于观看距离的电子或基于图像的测量系统(例如，当知道显示器尺寸时，从跟踪相机的视频导出显示距离)来代替，以控制所述光学器件，使得焦平面被渲染在期望的距离处。注意，在一些实施例中，调整目镜和物镜光学器件不一定需要改变物理MFP显示堆叠。相应地，一些实施例可以提供或可以不提供使用时分复用、变焦MFP方法。一些实施例可以不使用时间复用变焦MFP方法，其通常具有引起闪烁和亮度降低的缺点。这样的实施例尽管使用固定结构的焦平面显示堆叠，但可能能够在变化的距离处显示焦平面(具有某些限制)。

如果所述焦平面位于它们的实际位置的旁边，则在一些实施例中，尽管使用了多个焦平面和MFP显示器，但是也会发生聚散-调节冲突(VAC)。

在一些实施例中，人类视觉系统(HVS)倾向于在屈光标度上以规则距离放置焦平面。另一方面，在一些实施例中，使用线性标度通常最容易捕获深度信息。如果在形成焦平面并调整它们的距离以便渲染时对这两种选择适当地考虑，则这两种选择都可以用在系统的一些实施例中。本领域技术人员将理解这些标度中的任一个的使用以及它们之间的转换。

在一些实施例中，图15A-15E中将图10中渲染1016焦平面图像的方法1000示为一系列示例性渲染的焦平面图像1500、1520、1540、1560、1580。

图15A是示出示例测试图像的图示。图15B是示出根据一些实施例将图15A的示例测试图像分解成低频焦平面的示例的图示。图15C-15E是示出根据一些实施例的将图15A的示例测试图像分解成三个高频焦平面的示例的图示。

图15A中的图像1500是在外部显示器上看到的图像。图15B中的图像1520可以光学地形成在眼镜中，诸如经由光学低通(漫射)滤波器(OLPF)。图15C-15E的三个图像1540、1560、1580可以是在眼镜中形成的高频焦平面。对于一些实施例，低频焦平面1520和高频焦平面1540、1560、1580可由眼镜外部的处理器形成。该渲染将低通滤波版本和三个几何对准的高频覆盖层汇总到观看者的每只眼睛。

参考图11和15A-15E，对于某些实施例，使用深度数据(例如，图11的深度数据1104)的原始图像(例如，图11的图像1102或图15A的图像1500)可被分解成低频焦平面图像(例如，图11的低频焦平面图像1122或图15B的低频焦平面图像1520)和一系列N个高频焦平面图像(例如，图11的一系列N个高频焦平面图像Pic1.hf、Pic2.hf、…、PicN.hf 1124或图15C-15E的一系列N个高频焦平面图像1540、1560、1580)。所述分解过程可以包括生成一组N个深度权重图，使得通过利用每个深度权重图对所述高频图像进行加权，将所述图像分解成一系列N+1个焦平面(例如，低频焦平面加上N个高频焦平面)。深度加权也可以通过每像素的像素加权过程来实现。基于图像的方法或基于像素的方法都可以使用算术运算和/或查找表(一个或多个)来加速计算)。

在一些实施例中，当用户移动或旋转他/她的头部很大量时，眼镜和/或MFP显示区的视场可能没有宽到足以显示整个覆盖层。根据一些实施例的方法提供了当覆盖层仅部分地覆盖外部显示器时，裁剪和/或丢弃所述覆盖层。

在一些实施例中，裁剪所述覆盖层组合了来自基础(标记)显示器的检测和跟踪的知识和附加眼镜的属性(尤其是视场)。用于掩模或剪裁的计算是基本的几何形状，如受益于本公开的本领域技术人员将理解的。

参考图16和17，根据一些实施例示出了视频透视(VST)变型的两个选项。如图所示，在一些实施例中，增强的焦平面信息1622、1624、1722可以在眼镜1630、1728中以电子形式获得。然而，注意，在一些实施例中，基础层1602、1702可以例如经由通信信道、经由例如本地接收机或直接从广播服务接收，或者例如可以由相机1612、1636、1712、1734通过相机1616、1716从外部显示器1614、1714捕获。在图16和17中，用于后一种选择的信号路径由虚线箭头1636、1734示出。对于一些实施例，焦平面1622、1624、1722可被显示为与显示器1614、1714上的2D内容同步且对准的透视覆盖层。例如，这样的透视覆盖层可以是一个或多个平面图像，其在深度上被渲染并被显示给用户的眼睛1640、1738。透视覆盖层可以是一系列一个或多个焦平面图像，其被光学渲染(定位和显示)以在用户的眼睛内创建距离的印象。对于一些实施例，几何对准1620、1720可以用于将焦平面(LF和HF)中的每一个与外部显示器1614、1714对准。例如，几何对准1620可以是用于对准LF焦平面1622和HF焦平面1624的模块1612的输出。

在一些实施例中，眼镜1630、1728中的嵌入式相机1616、1716执行外部显示器1614、1714的检测和跟踪。如果没有通过通信信道接收到基础层1602、1702，则在一些实施例中，可以从外部显示器1614、1714捕获1612、1636、1712、1734所述基础层1602、1702作为跟踪过程的一部分。在图16和17中，虚线箭头1636、1734示出了用于捕获的基础层选项的信号路径。在VST变型中，低频焦平面/分量1622可以通过计算而被形成，并且在一些实施例中可以不使用光学滤波器。在一些实施例中，视频透射选项通常可给予技术实施方案更多灵活性。

图16是示出根据一些实施例的示例视频透视MFP生成、对准和渲染过程的过程图。在图16中，通过由跟踪相机1616捕获外部显示器1614来计算地形成低频(LF)分量1622。注意，在一些实施例中，代替渲染一个单独的LF平面1622和N个高频焦平面1624，存在进一步的紧密变化，其中，例如，如图17所示，所捕获的低频分量被分发和求和到N个重新分发的焦平面1722。在一些实施例中，焦平面1622、1624、1722的对准1620、1720可以根据用户对外部显示器的视点而进行。

对于一些实施例，过程1600可接收基础层图像1602和深度数据1604。在一些实施例中，过程1600可对图像1602进行高通滤波1606，并可使用高通滤波输出和深度数据1604来在MFP框1608中生成一组高频多焦平面1610。捕获、跟踪和对准模块1612可接收1632用于通过计算形成低频焦平面1622的图片1602，并且可接收一组多焦平面1610，以将焦平面1622、1624渲染给MFP显示器1628。对于一些实施例，可以利用相机1616进行内容1614的捕获，以形成低频焦平面1622。对于一些实施例，光学透镜1626可以嵌入眼镜1630中，以使得用户1640能够看到聚焦的一组MFP。对于一些实施例，背板1618可以是眼镜1630的一部分，防止位于比背板1618相对于用户1640的位置更远离用户1640的距离处的图像的光学透视。对于一些实施例，图片数据1602可以与外部显示器1614上显示的图像同步1634。

对于一些实施例，一种方法可以包括利用附接到可佩戴显示设备(诸如头戴式显示器)的相机来捕获2D内容。对于一些实施例，一种方法可包含用附接到所述可佩戴显示设备的相机捕获所述真实世界场景的所述图像；以及显示所述内容，使得所述真实世界场景的所述图像包括在移动设备外部和/或位于真实世界场景内的屏幕上显示的内容的图像。

对于一些实施例，生成多个焦平面图像创建三维深度效果。对于一些实施例，多个焦平面图像中的每一个可以包括相关联的图像深度的高空间频率图像信息。对于一些实施例，所述高空间频率图像信息包括焦点和距离线索。

图17是示出了根据一些实施例的示例视频透视MFP生成、对准和渲染过程的过程图。用于形成和渲染重新分发的MFP的过程1700的一些实施例可以包括：通过网络1736获得图像信息(诸如图片数据1702和深度数据1704)。这样的实施例可以比需要外部透视信息的那些实施例更独立。在一些实施例中，基本图像1702可以与显示信息1714同步1732。通常，如果系统1600的处理时间不稳定，则可能需要同步。用于同步的时间延迟在图16或17中未示出，但是可以被理解为图像源(用于该图像源的存储器电路)的一部分，例如图16中的1614和/或1602(以及1604，作为深度图，通常可能也需要被同步，尽管未在图中示出)，在一些实施例中，通过网络1736接收信息使得能够观看与外部显示器1714上的内容不同的内容。在一些实施例中，通过网络1736接收信息使得能够切换到独立模式，并且避免跟踪和对准外部显示器。例如，如果用户1738走出电视房间并想继续使用默认的几何形状和大小观看节目，则切换模式使得能够进行连续的内容递送。

对于一些实施例，过程1700可接收图像1702和深度数据1704。在一些实施例中，过程1700可对图像1702进行高通滤波1706，并且可使用高通滤波输出和深度数据1704以在MFP框1708中生成一组高频多焦平面1710。捕获、跟踪和对准模块1712可接收1730图片1702以便通过计算而形成要被分发到所接收的一组多焦平面1710的低频焦平面，并将如此获得的重新分发的焦平面1722渲染给MFP显示器1726。对于一些实施例，光学透镜1724可以嵌入眼镜1728中，以使得用户1738能够看到聚焦的一组MFP。对于一些实施例，背板1718可以是眼镜1728的一部分，从而防止位于比背板1718相对于用户1738的位置更远离用户1738的距离处的图像的光学透视。

图18是示出了根据一些实施例的示例光学透视MFP生成、对准和渲染过程的过程图。在一些实施例中，存在用于系统架构的数据接口和分发的若干选项。这些选项中的一些在图18所示的方法1800中示出，用于光学透视(OST)方法。

在选项1中(1824)，眼镜接收常用的深度加纹理格式的用于形成附加焦平面的信息(例如，图像数据1802和深度数据1804)。选项1(1824)可包含图像数据1802的低通滤波1808和高通滤波1806。

在选项2中(1826)，眼镜接收已经高通滤波的内容版本以及深度图。对于选项2(1826)，高通滤波器输出和深度数据1804可由MFP框1810接收，其可输出一组N个高频图像pic1.hf,pic2.hf,…,picN.hf 1812。

在选项3中(1828)，眼镜预先接收所形成的高频焦平面1812。在该选项1828中，例如在本地接收机中或在网络服务器上进行焦平面形成。对于选项3(1828)，低频焦平面1816可通过光学低通滤波器(OLPF)1818产生。对于一些实施例，焦平面1820可以在眼镜中被对准并且可以从输入1812修改。注意，与图16和17不同，仅通过连接焦平面的角与外部显示器1814的角的水平虚线来示出所述对准。

图18中示出了用于光学透视(OST)实施例的接口选项1824、1826、1828。更具体地说，一些实施例涉及从一个MFP堆叠形成立体视点的变型。对于每个选项1824、1826、1828，可以使用完整立体视觉信息(针对每只眼睛的一组图像信息)或具有虚拟视点生成的单组信息(例如DIBR)。对于一些实施例，可以在例如质量、比特率、处理能力和其它相关参数之间进行折衷。对于一些实施例，图像数据1802可以与外部显示器1814上显示的图像同步1822。对于一些实施例，3D图像信息可以包括多个高频焦平面图像。对于一些实施例，接收多个高频焦平面图像可包括：接收针对距离基础层图像1802或相应的外部显示器1814(其上内容)的多个焦平面距离的附加数据。

图19是示出根据一些实施例的焦平面的示例性移位以形成用于左眼和右眼的不同视点的过程图。从一个MFP堆叠形成立体视点避免了具有单独纹理和深度的两个(立体)视点的捕获、传输和处理。在一些实施例中，一种方法包括仅捕获和发送一个MFP堆叠的深度和纹理，并通过移位从该单像堆叠形成立体(两个)MFP堆叠。

取代图9所示的立体观看情况，观看情况1900如图19所示。在该变化中，形成了具有MFP 1902、1904、1906的一个堆叠(从平均眼点1908)，并且移动相同的焦平面以形成用于左眼1910和右眼1912的稍微不同的视点。对于右眼1912(在底部示出)，焦平面1902、1904、1906看起来向左移位了一取决于距离的量。相应地，对于左眼1910(示出在右眼1912上方)，焦平面1902、1904、1906似乎被向右移位。因此，移位MFP的单像堆叠可以用于形成两组焦平面，具有综合的但现实的差异。在一些实施例中，通过与基于深度图像的渲染(DIBR)相当的3D扭曲来产生虚拟立体视点。根据一些实施例，将形成的立体MFP堆叠渲染给MFP显示器。根据一些实施例，例如如果MFP显示器不可用，则投影所形成的立体MFP堆叠以形成立体图像对，并且将其渲染给立体显示器。该方法的有效性可以通过从移位的MFP形成立体图像对来说明。在一些实施例中，焦点堆叠可以包括一个低频平面和N个高频平面。对于一些实施例，一种方法可包括：如果多个高频焦平面图像是单像堆叠，则通过移位该多个高频焦平面图像来形成具有两组多个高频焦平面图像的立体堆叠。对于一些实施例，移位一具有多个MFP的单像堆叠可包括：与深度轴相比沿着横向和/或横向方向移位。如果合成运动视差，则可以进行沿着深度轴的焦平面移位以及对应于轴向移位的方向和量的焦平面缩放。

图20A是示出了示例测试图像的图示。图20B是示出根据一些实施例将图20A的示例测试图像分解成低频焦平面的示例的图示。图20C-20E是示出了根据一些实施例将图20A的示例测试图像分解成三个高频焦平面的示例的图示。图20F-20G是示出了根据一些实施例的使用图20B-20E的分解的焦平面而合成的示例立体图像对的图示。图20A示出了原始测试图像2000。图20B示出了原始测试图像2000的低频平面2010。图20C-20E示出了原始测试图像2000的高频平面2020、2030、2040。图20F-20G示出了用于交叉眼睛的立体对，其中图20F中的图像2050用于右眼，图20G中的图像2060用于左眼。

图20F和20G示出了对应于图像宽度的2.76％的合成视差而移位了多达6个像素的MFP。为了可印刷性，图20C-20E中的高频平面值乘以三个像素，并且零水平被移位到128。根据一些实施例，将所述结果图示为立体对将不允许自然(无VAC)调节，这与将相同的MFP渲染给MFP显示器不同。

然而，通常，在一些实施例中，上述可视化焦平面的方式也有效地揭示了它们的深度相关属性和质量。在一些实施例中，当移位时，深度差即被变换成人类视觉(HVS)对其非常敏感的立体视差。再次，这些差异从立体对被准确地转换回3D感知。

返回参考图8的示例，其示出了人们用裸眼(以2D)或用新眼镜(以3D)观看相同的电视机，根据一些实施例，该显示器结构支持3D感知。一些实施例提供了一些方法和系统，其使得3D图像内容和服务的生产者和用户以及可佩戴或桌面显示器的制造者能够提供3D内容。实施例包括向现有显示器和服务(例如，TV广播)提供3D内容。更具体地，一些实施例实现了无VAC感知，其可以以与现有设备和内容服务兼容的方式被支持。

如上所述，一些实施例可以基于识别2D内容、检索元数据以提供与该2D内容相关联的深度信息、以及处理所述2D内容和元数据以生成所述内容的多焦平面(MFP)表示并在HMD中显示该内容的MFP表示，向头戴式显示器(HMD)设备的佩戴者提供(例如，如在外部2D显示器上呈现的)所述2D内容的增强视图。对于一些实施例，深度信息可例如经由网络从数据库(诸如本地或外部存储库)或外部服务器或设备获得。对于一些实施例，可计算深度信息(其可在设备本地被执行)。对于一些实施例，可以全部或部分地生成深度信息。对于一些实施例，可以确定对象或图像图案的深度信息。对于某些实施例，从2D内容导出3D可由例如某些当前S3D电视机来进行，并且该3D信息(具有合成深度数据)可用于显示内容。

在一些实施例中，相同或类似的过程可用于添加或修改真实世界对象和图像的深度信息，这些真实世界对象和图像在HMD用户探索世界时更普遍地遇到。即，一些实施例可提供不源自或不涉及外部2D显示器的真实世界内容的深度增强视图。下面描述体现这些实施例的若干用例。

如前所述，用户可能正佩戴具有多焦平面显示能力的HMD。该HMD还可具有能够捕获用户前方的场景的图像的前置相机。例如，该前置相机可以是深度相机。所述HMD可使用所述前置相机来捕获真实世界图像，并且可分析此图像(例如，使用存储的(例如，“已知的”)对象或图案识别算法)以检测可对其使用深度增强的图像图案或对象。所述对象或图案识别步骤可以例如在HMD设备本身上、在系连到所述HMD设备的计算设备上、或在远程计算设备上(例如，“在云中”)执行。

如果检测到深度增强可用的对象或图像图案，则可以确定该对象或图像图案的附加深度或修改深度。例如，HMD可以具有用于向某些对象添加深度偏移以使该对象看起来更靠近用户的规则。可以使这样的对象在用户的视图中“弹出”。作为另一示例，HMD可以具有用于向检测到的对象添加不同深度偏移以使它们看起来更远离用户的规则。这些对象可以退入用户的视图的背景中，使得没有接收到深度偏移调整的其他对象可以更显著地出现在用户面前。

用于检测对象以及用于确定某些对象或对象类别的添加或修改的深度的规则可以存在并且可以在例如HMD设备上、在系留到HMD设备的计算设备上、或者在远程计算设备(例如“在云中”)上执行。例如，用于检测到的对象的深度增强信息可以由HMD确定，或者该深度增强信息可以使用识别所述对象或对象类别的查询而被从服务器检索。

所述深度调整可以用于生成一场景的修改的深度场，其调整用户的视图内的一个或多个检测到的对象或图像图案的深度。所述经修改的深度场可以从由所述HMD确定的原始深度场修改。例如，可以使用HMD的深度相机来确定所述原始深度场，或者如果HMD具有双相机，则可以使用来自双捕获图像的立体分析的深度来确定所述原始深度场。

经修改的深度场可用于生成可向用户显示的真实世界场景的多焦点平面(MFP)表示。可以以类似的方式使用先前描述的用于从2D外部显示器生成深度增强内容的MFP表示的各种技术中的任何一种，以产生真实世界图像的深度增强或深度修改视图。对于一些实施例，可使用HMD相机来跟踪所检测到的要增强的对象或图像图案的位置和范围(视觉足迹)，类似于以上对于一些实施例所描述的跟踪所述2D外部显示器。对于一些实施例，如果HMD具有光学直通路径，则可以使用该能力来呈现所述真实世界场景，其中生成附加高频覆盖MFP以表示所述场景的深度信息，该深度信息包括与针对其确定了深度增强的对象或图像图案相对应的添加或修改的深度。在另一情况下，来自HMD相机的所捕获的图像可与经修改的深度场一起被处理以生成所述MFP表示。该MFP表示可以具有明确的低频焦平面(例如，如图13所示)，或者该低频场景信息可以如前所述地分发在各个焦平面中(例如，如图17所示)。对于一些实施例，可以针对在所捕获的视频中识别的图像图案或对象来确定或检测深度线索。对于一些实施例，深度线索可以包括关于距离、焦点和/或纹理的信息。对于一些实施例，所述深度线索可以包括所述图像图案的高频分量。对于一些实施例，所述深度线索可以反映和/或指示所述图像图案或对象的修改的深度场。

可以连续地(诸如在循环中)执行以上过程，使得可以随着用户在使用HMD设备探索真实世界时遇到某些对象而利用深度增强来连续地更新该对象。关于哪些对象可以被深度增强以及这样的对象的深度可以如何被调整的规则例如可以由用户偏好设置或者可以是程序逻辑的一部分(例如，在HMD上或在连接的计算机上运行的应用可以提供该规则或者可以使用该规则作为程序执行的一部分)。在一些实施例中，所述规则可以包括要增强的对象或图像图案的列表、用于使用对象识别或图案识别算法来识别所述对象或图像图案的信息、以及关于如何增强每个对象的深度的规范(例如，要添加到对象的深度偏移、或用于修改或调整对象的深度的一些其他函数)。

在第一示例场景中，HMD用户正在探索艺术博物馆。该博物馆提供一应用，其能够识别和分类该博物馆的绘画并且与用户的HMD对接以便基于用户的偏好提供深度增强功能。用户指定对Edouard Manet和Pierre Auguste-Renoir的印象派的绘画的兴趣。当用户在博物馆各处走动时，HMD的前置相机捕获博物馆的图像，并且图像识别算法被用来识别和分类所捕获的图像中的绘画。对于每个所识别的被确定为由Manet或Renoir创作的绘画，修改深度域以在该绘画的范围内沿用户的方向将深度改变三英寸。经修改的深度场与真实世界图像一起使用来生成场景的多焦平面表示，该多焦平面表示然后经由HMD向用户显示。从用户的视点来看，用户感兴趣的绘画看起来在墙外“弹出”3英寸，而其他艺术家的绘画可能看起来平靠着墙。这样，用户可以快速地识别与用户的指定偏好相匹配的绘画。此外，与使用人工图形轮廓或突出显示来标识感兴趣的绘画相比，增强的深度效果对用户而言可能显得更自然。

在第二示例场景中，HMD用户正在构建具有数百个塑料块的模型。代替书面指导手册，该模型的制造商提供了指导app，其与用户的HMD对接以提供交互式指导。用户将模型块展开在桌子上并运行所述指导app。面向前的相机捕获关于所述桌子和所述塑料块的图像，并且对象识别被应用于所捕获的图像以识别用户将用于构建所述模型的接下来的数个塑料块。这些下一个需要的塑料块的深度可以被修改，例如，使得它们看起来将稍微浮在桌子上方。尚未需要的其它塑料块的深度可以被修改，例如在相反方向上被修改，使得该尚未需要的塑料块看起来略微退入到桌子中。生成经修改的深度场，并且该经修改的深度场与真实世界图像一起使用以生成场景的多焦点平面表示，该多焦点平面表示经由HMD向用户显示。这样，用户能够容易地从桌子上的许多模型块中识别出在所述指导app中接下来需要的模型块。

在第三示例场景中，HMD用户正在阅读物理书籍，并且HMD提供用于标识和深度增强由用户输入的单词或文本短语的功能。用户正在寻找一段落，其中名为Harold的角色找到藏宝图。用户将搜索项“Harold”和“藏宝图”输入到HMD的用户界面中，并且用户继续在他认为段落所在的页面范围中翻动书籍的页面。HMD使用HMD相机来捕获书页的图像，并且分析该图像(例如，使用文本识别算法)以识别文本“Harold”和“藏宝图”的实例。如果在所述图像中识别出这两个搜索项中的任一个，则修改与这些识别项的区域相对应的深度域，使得这些单词稍微从书页中“弹出”。经修改的深度图与所捕获的书页的图像一起使用，以生成场景的多焦平面表示，其经由HMD显示给用户。这样，用户可以快速地识别搜索项出现在物理书页中的何处，并且用户更容易地找到用户正在寻找的段落。

在第四示例场景中，HMD用户正在阅读物理书籍，诸如在大多数页面上具有二维图像的图形小说。HMD使用附接到该HMD的相机来捕获书中的图像。可以分析该图像，并且可以生成深度信息。具有该深度信息的图像可以在HMD中被向用户显示，使得所述图像呈现为三维的。所生成的深度图与所捕获的书的图像一起使用，以生成场景的多焦平面表示，其被显示给用户。

一般而言，一些实施例可以用于增强或修改任何真实世界对象或图像图案的深度，该对象或图像图案可以从HMD的相机所捕获的图像来识别。

图21是示出了根据一些实施例的示例MFP生成和显示过程的消息序列图。对于示例过程2100的一些实施例，2D视频2110从图像源2102发送到电视2104和MFP头戴式装置(headset)2106。对于方法2100的一些实施例，电视2104显示211所述2D视频。对于方法2100的一些实施例，可以从电视2104向MFP头戴式装置2106发送2114光学透视(OST)数据。对于方法2100的一些实施例，MFP观看者2108可以看到2116光学透视(OST)数据。对于方法2100的一些实施例，例如，MFP头戴式装置2106可相对于MFP头戴式装置2106定位和跟踪2118TV2104。对于方法2100的一些实施例，图像源2102(或与2102分离的另一图像源)可将深度图2120发送到MFP头戴式装置2106。对于方法2100的一些实施例，MFP头戴式装置2106可执行2124所述图像数据的高通滤波。对于方法2100的一些实施例，MFP头戴式装置2106可通过使用深度图2120分解高频图像2124来形成2126高频MFP。对于方法2100的一些实施例，例如，MFP头戴式装置2106可计算2128低频图像平面作为高频结果2124的补数。对于方法2100的一些实施例，MFP头戴式装置2106可在以下平面的所被指派的焦距处显示2130一个低频图像平面和N个高频MFP覆盖平面。对于方法2100的一些实施例，MFP观看者2108可以看到2132所述MFP覆盖平面。对于方法2100的一些实施例，MFP观看者2108可以看到光信号的总和2134。对于一些实施例，将3D视频信息分解成多个焦平面图像可以包括：确定所述3D视频信息的深度；通过用一个或多个深度混合函数处理所述3D视频信息的深度来形成多个2D加权平面；以及通过利用所述多个2D加权平面对所述2D视频内容进行加权来形成所述多个焦平面图像。对于一些实施例，可在MFP头戴式装置2106的内部和/或外部执行对所述2D视频内容的高通滤波以产生高通滤波信号。对于一些实施例，加权平面或深度权重图可以是一2D加权平面。

图22是示出了根据一些实施例的示例MFP生成和渲染过程的流程图。示例方法2200的一些实施例可以包括：使用耦合到HMD的相机来识别2202在HMD外部的屏幕上显示的二维(2D)内容。示例方法2200的一些实施例还可以包括：获得2204与所述2D内容相关联的深度信息。示例方法2200的一些实施例还可以包括：使用所述深度信息，生成2206多个焦平面图像，该多个焦平面图像包括用于所述2D内容的深度线索。示例方法2200的一些实施例还可包括：将多个焦平面图像显示2208为与所述2D内容同步的透视覆盖层。对于一些实施例，透视覆盖层例如可以是用户可透过其看见并且在基础层图像与用户之间显示的一系列一个或多个图像。所述透视覆盖层例如可以是与远离用户的视点的特定深度相关联的像素数据。例如，如果所捕获的图像示出了直接指向用户的视点的锥体的图片，则与从用户到所述锥体顶部的距离相关联的焦平面图像可以示出一指示所述锥体顶部的点。与离用户逐渐增大的距离相关联的焦平面图像可以示出例如逐渐增加的一系列相应圆。所述基础层图像可以显示例如最大的圆圈。用户可以看到一系列堆叠的焦平面图像，并且可以感知到具有直接投影在用户的视点处的深度的锥体。对于一些实施例，相机可以捕获2D内容的图像。对于一些实施例，可以用高通滤波器对所述图像进行滤波以提取该图像的高频分量。生成多个焦平面图像例如可以包括：生成用于上述示例锥体的一系列焦平面图像。生成多个焦平面图像例如可包括：与用于生成分别关于图11和17示出和描述的高频焦平面图像PIC1.HF,PIC2.HF,…,PICN.HF 1110、1710的过程类似的过程。对于一些实施例，生成多个焦平面图像例如可以包括：生成低频和高频焦平面图像，诸如关于图13、16和18示出和描述的焦平面图像。对于一些实施例，显示多个焦平面图像可以包括：例如与显示关于图16、17和/或18示出和描述的焦平面图像类似的过程。对于一些实施例，一设备可以包括相机、多焦平面显示器、处理器和存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时可操作以执行所述方法2200。

对于一些实施例，一种方法可以包括：识别存在于真实世界场景的图像中的内容；检索包括与所述内容相关联的深度信息的元数据；使用所述元数据，生成多个焦平面图像，所述多个焦平面图像包括用于所述内容的深度线索；以及显示包括与所述内容同步的多个焦平面图像的覆盖层。对于一些实施例，识别所述内容可以包括：利用相机(其可以附接到HMD)捕获所述内容的图像并且识别在所捕获的图像中存在的所述内容。

图23是示出了根据一些实施例的另一示例MFP生成和渲染过程的流程图。示例方法2300的一些实施例可以由HMD执行，并且可以包括：利用耦合到HMD的相机来捕获2302显示在HMD外部的屏幕上的二维(2D)内容的图像。示例方法2300的一些实施方式还可以包括：识别2304图像中存在的所述2D内容。示例方法2300的一些实施例还可以包括：检索2306包括与所述2D内容相关联的深度信息的元数据。示例方法2300的一些实施例还可以包括：使用所述元数据，生成2308多个焦平面图像，该多个焦平面图像包括用于所述2D内容的深度线索。示例方法2300的一些实施例还可以包括：显示2310所述2D内容和包括与所述2D内容同步的多个焦平面图像的覆盖层。对于一些实施例，一设备可以包括相机、多焦平面显示器、处理器和存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行方法2300。对于一些实施例，所述设备可以是HMD。

图24是示出了根据一些实施例的另一示例MFP生成和渲染过程的流程图。示例方法2400的一些实施例可以由HMD执行，并且可以包括：利用耦合到HMD的相机来捕获2402真实世界场景的视频图像。示例方法2400的一些实施例还可以包括：识别2404存在于所捕获的视频图像中的图像图案。示例方法2400的一些实施例可以进一步包括：确定2406与所识别的图像图案相关联的深度调整。示例方法2400的一些实施例还可以包括：生成2408多个焦平面图像，其包括用于所识别的图像图案的深度线索，该深度线索基于所确定的深度调整来反映所识别的图像图案的修改的深度。示例性方法2400的一些实施例还可以包括：显示2410包括所述多个焦平面图像的所识别图像图案的3D表示。对于一些实施例，设备可包括相机、多焦平面显示器、处理器、以及存储指令的非瞬态计算机可读介质，这些指令在由处理器执行时能操作以执行方法2400。对于一些实施例，所述设备可以是HMD。

虽然在增强现实(AR)的上下文中讨论了根据一些实施例的方法和系统，但是一些实施例也可以应用于混合现实(MR)/虚拟现实(VR)上下文。此外，尽管根据一些实施例在本文中使用术语“头戴式显示器(HMD)”，但是对于一些实施例，一些实施例可以应用于能够例如VR、AR和/或MR的可佩戴设备(其可以附接到头部或者可以不附接到头部)。

根据一些实施例的由头戴式显示器(HMD)执行的示例方法可以包括：使用耦合到所述HMD的相机来识别在所述HMD外部的屏幕上显示的二维(2D)内容；获得与所述2D内容相关联的深度信息；使用所述深度信息，生成多个焦平面图像，所述多个焦平面图像包括用于所述2D内容的深度线索；以及将所述多个焦平面图像显示为与所述2D内容同步的透视覆盖层。

对于示例方法的一些实施例，所述屏幕是真实世界场景的一部分。

对于示例方法的一些实施例，用于所述2D内容的所述深度线索可以包括关于距离和纹理中的至少一者的信息。

对于示例方法的一些实施例，所述多个焦平面图像中的每一个可以包括针对相关联的图像深度的高空间频率图像信息。

对于示例方法的一些实施例，所述高空间频率图像信息可以包括用于在变化的距离处聚焦的调节线索。

在一些实施例中，示例方法还可以包括：对所述2D内容进行低通滤波；以及显示所述低通滤波的2D内容，其中显示所述多个焦平面图像将所述多个焦平面图像显示为所述低通滤波的2D内容上的覆盖层。

在一些实施例中，示例方法还可以包括：利用相机捕获所述2D内容。

在一些实施例中，示例方法还可包括：识别所述屏幕的空间位置，其中显示所述多个焦平面图像可包括将所述多个焦平面图像与所述屏幕的空间位置对准。

对于示例方法的一些实施例，获得所述深度信息可包括：检索可包括所述深度信息的元数据，其中所述元数据可包括定时信息以使得能够同步地将所显示的多个焦平面图像与所述2D内容对准，并且其中显示所述多个焦平面图像可包括使用所述定时信息同步地将所述多个焦平面图像与所述2D内容对准。

对于示例方法的一些实施例，获得所述深度信息可以包括：检索包括所述深度信息的元数据，其中所述元数据可以包括用于所述2D内容的三维(3D)深度信息，并且其中用于所述2D内容的所述3D深度信息可以包括与所述2D内容同步的深度图的时间序列。

在一些实施例中，示例方法还可以包括：转换所述深度图的分辨率以匹配所述2D内容的分辨率，其中所述深度图的所述分辨率可以不同于所述2D内容的所述分辨率。

在一些实施例中，示例方法还可包括：检测所述屏幕上显示的所述2D内容的不对称，其中显示所述多个焦平面图像可包括基于所述2D内容的所述不对称来调整所述多个焦平面图像。

对于该示例方法的一些实施例，显示所述透视覆盖层可使得用户能够经由直接光路来观看所述屏幕。

在一些实施例中，示例装置还可以包括：光学透镜结构，其被配置成调整所述屏幕的直接光学观看；以及光学低通滤波器。

根据一些实施例的由头戴式显示器(HMD)执行的另一示例方法可以包括：使用耦合到所述HMD的相机来检测与在所述HMD外部的2D显示器上显示的2D视频内容有关的存在、空间位置和取向信息；接收与所述2D视频内容对应的3D视频信息；在时间上同步所述3D视频信息与所述2D视频内容；跟踪与所述2D视频内容有关的所述空间位置信息和取向信息；将所述3D视频信息分解成多个焦平面图像；对所述多个焦平面图像中的一者或多者进行滤波，以从所述多个焦平面图像中去除一个或多个相应的低频表示；显示滤波后的焦平面图像。

对于另一示例方法的一些实施例，将所述3D视频信息分解成所述多个焦平面图像可以包括：确定所述3D视频信息的深度；通过用一个或多个深度混合函数处理所述3D视频信息的深度来形成多个2D加权平面；以及通过利用多个2D加权平面对所述2D视频内容进行加权来形成所述多个焦平面图像。

对于另一示例方法的一些实施例，所述3D信息可包括多个高频焦平面图像和所述多个高频焦平面图像在公共轴坐标系中的位置。

对于另一示例方法的一些实施例，检测与2D视频内容有关的存在、空间位置和取向信息可以包括：检测与所述2D显示器有关的存在、空间位置和取向信息，并且跟踪与所述2D视频内容有关的空间位置信息和取向信息可以包括：跟踪与所述2D显示器有关的空间位置信息和取向信息。

根据一些实施例的由头戴式显示器(HMD)执行的进一步的示例方法可以包括：利用耦合到所述HMD的多焦平面(MFP)显示器的相机来捕获视频数据；检测所述HMD与存在于所述所捕获视频数据内的二维(2D)显示器之间的视角，所述2D显示器在所述HMD外部且在所述相机的视场中；接收与所捕获的视频数据相对应的深度数据；使用所述深度数据，形成与所述2D显示器上示出的2D内容对应的多个高频焦平面图像；形成与所述2D显示器上示出的所述2D内容相对应的一个或多个低频焦平面图像；以及经由MFP显示器，渲染所述多个经调整的高频焦平面图像和所述一个或多个低频焦平面图像。

在一些实施例中，该进一步的示例方法可以进一步包括：将所述深度数据与所述2D显示器上示出的所述2D内容同步。

对于进一步的示例方法的一些实施例，接收对应于所捕获的视频数据的深度数据进一步可以包括：接收对应于在所述2D显示器上示出的所述2D内容的所述深度数据和所捕获的视频数据。

对于所述进一步的的示例方法的一些实施例，相对于所述视角调整所述多个高频焦平面图像可包括：实时应用坐标变换。

对于所述进一步示例方法的一些实施例，接收对应于所述所捕获视频数据的深度数据可进一步包含：接收包括对应于所述2D内容的纹理信息的额外3D视频信息。

对于所述进一步的示例方法的一些实施例，接收对应于所述所捕获视频数据的深度数据可进一步包含：接收包括所述多个高频焦平面图像的额外3D视频信息。

在一些实施例中，所述进一步的示例方法还可包括：如果所述多个高频焦平面图像是单视场堆叠，则通过以下来形成两组多个高频焦平面图像的立体堆叠：将所述多个高频焦平面图像移位到所述两组多个高频焦平面图像中，以由此形成所述立体堆叠。

对于所述进一步的的示例方法的一些实施例，所述多焦平面显示器是近眼多焦平面显示器。

根据一些实施例的由头戴式显示器(HMD)执行的另一示例方法可以包括：利用耦合到所述HMD的相机来捕获在所述HMD外部的屏幕上显示的二维(2D)内容的图像；识别存在于所述图像中的所述2D内容；检索包括与所述2D内容相关联的深度信息的元数据；使用所述元数据，生成多个焦平面图像，所述多个焦平面图像包括用于所述2D内容的深度线索；以及显示所述2D内容和包括与所述2D内容同步的所述多个焦平面图像的覆盖层。

根据一些实施例的由移动设备执行的另一示例方法可以包括：使用耦合到所述移动设备的相机识别存在于真实世界场景的图像中的内容；检索包括与所述内容相关联的深度信息的元数据；使用所述元数据，生成多个焦平面图像，所述多个焦平面图像包括用于所述内容的深度线索；以及显示包括与所述内容同步的所述多个焦平面图像的覆盖层。

对于所述另外的另一示例方法的一些实施例，所述真实世界场景的所述图像可包含显示在所述移动设备外部的屏幕上的内容的图像，且所述覆盖层可包含透视覆盖层。

在一些实施例中，该另一示例方法还可以包括：利用所述相机捕获所述内容。

对于所述另一示例方法的一些实施例，显示所述覆盖层使得用户能够经由直接光路来观看所述屏幕。

在一些实施例中，所述另一示例方法还可以包括：利用耦合到所述移动设备的所述相机，捕获所述真实世界场景的所述图像；以及显示所述内容，其中所述真实世界场景的所述图像可包含显示在所述移动设备外部的屏幕上的内容的图像。

在一些实施例中，所述另一示例方法还可以包括：识别所述屏幕的空间位置，其中显示所述覆盖层可以包括：对准所述多个焦平面图像以与所述屏幕的所述空间位置对准。

在一些实施例中，所述另一示例方法还可以包括：检测在屏幕上显示的所述内容的不对称，其中显示所述覆盖层可以包括基于所述内容的所述不对称来调整所述多个焦平面图像。

在一些实施例中，所述另一示例方法还可以包括：确定所述真实世界场景的原始深度场；以及基于所述元数据，调整所述原始深度场的与所识别的内容相对应的部分以产生经调整的深度场，所识别的内容与在所述图像中识别的图像图案相对应，其中使用所述经调整的深度场来生成所述多个焦平面图像。

对于所述另一附加示例方法的一些实施例，所述高空间频率图像信息可以包括用于在变化的距离处聚焦的调节线索。

在一些实施例中，所述另一示例方法还可以包括：对所述内容进行低通滤波；以及显示经低通滤波的内容，其中显示所述多个焦平面图像将所述多个焦平面图像显示为所述经低通滤波的内容上的覆盖层。

对于所述另一示例方法的一些实施例，所述元数据可包括定时信息以使得能够同步地将所显示的多个焦平面图像与所述内容对准，并且显示所述覆盖层可包括使用所述定时信息同步地将所述多个焦平面图像与所述内容对准。

根据一些实施例的用于通过多焦平面(MFP)表示来增强2D显示器上的二维(2D)内容的示例方法可以包括：用可佩戴显示设备上的相机从所述2D显示器捕获所述2D内容；识别所述2D内容；经由网络连接，接收基于所述识别的元数据，所述元数据与所识别的2D内容相关联并且包括用于所述2D内容的三维(3D)深度信息；通过应用所述元数据来处理所述2D内容，基于所述2D内容的一个或多个帧产生多个焦平面；以及在所述可佩戴显示设备上将所述多个焦平面渲染为所述MFP表示。

对于一些实施例，示例方法可以包括识别所述2D显示器的位置；以及对准所渲染的多个焦平面以与所述位置重合。

对于一些实施例，所述元数据可包括定时信息以实现所渲染的多个焦平面的时间同步。

对于一些实施例，可以响应于对远程服务器的请求而接收所述元数据，该请求包括与所述2D内容相关联的标识符。

对于一些实施例，所述2D内容的三维(3D)深度信息可包括与所述2D内容同步的深度图的时间序列。

对于一些实施例，所述深度图的时间序列的深度图可以具有与所述2D内容不同的分辨率。

对于一些实施例，所述可佩戴显示设备上的所述相机可包含高速相机，其被配置以捕获MFP显示信息以检测所述多个焦平面中的不对称。

根据一些实施例的用于避免聚散调节冲突(VAC)并增强二维(2D)显示器的视图以在通过光学透视(OST)多焦平面(MFP)显示器观看时提供增强的三维(3D)图像的另一示例方法可以包括：经由耦合到所述OST MFP显示器的相机检测所述2D显示器和2D视频内容的存在、位置和取向信息；在所述OST MFP显示器处，接收3D视频信息，所述3D视频信息对应于所述2D视频内容；相对于时间，同步所述3D视频信息与所述2D视频内容；跟踪所述2D显示器的所述位置和取向信息，所述跟踪使得能够对准一个或多个图像覆盖层；经由一个或多个深度混合函数将所述3D视频信号分解成多个图像平面；对所述多个图像平面中的一者或多者进行滤波以去除所述多个图像的一个或多个低频表示；以及通过所述MFP显示器显示所述滤波后的多个图像平面。

对于一些实施例，对所述多个图像平面中的所述一者或多者进行滤波可以包括：对所述多个图像平面中的每个图像平面应用高通滤波器。

对于一些实施例，所述方法可包含捕获2D视频信息和3D视图(例如，真实世界视图)的对应深度图，此处一起表示为3D视频信息；使用所述3D视图的所述深度，形成多个加权平面；以及使用所述加权平面来形成表示(近似)所述3D视图的多个深度混合焦平面。

对于一些实施例，所述3D视频信息可包含深度信息。

对于一些实施例，所述3D视频信息可包含深度信息和2D纹理信息。

对于一些实施例，所述3D信息可以包括高频MFP图像的堆叠。

根据一些实施例的进一步的示例方法可以包括：利用耦合到所述MFP显示器的相机捕获视频数据；检测所捕获视频数据内相对于二维(2D)显示器的观看角度；接收与所捕获的视频数据相对应的深度数据；形成与所述2D显示器上显示的内容相对应的多个高频焦平面；相对于所述视角，调整所述高频焦平面；以及通过所述MFP显示器，渲染一个或多个低频焦平面和所述调整后的高频焦平面。

对于一些实施例，所述进一步的示例方法可包含：使所捕获的视频数据与所述2D显示器上展示的所述内容同步。

对于一些实施例，接收对应于所捕获的视频数据的深度数据还可包括：通过网络接收所述深度数据和对应于在所述2D显示器上示出并由所述相机捕获的所述内容的视频数据，所述2D显示器是电视。

对于一些实施例，相对于所述视角调整所述高频焦平面可以包括：实时应用变换。

对于一些实施例，接收对应于所捕获视频数据的深度数据可进一步包含：经由网络接收包含2D纹理信息的额外3D视频信息。

对于一些实施例，接收对应于所捕获视频数据的深度数据可进一步包含：经由网络接收包含高频MFP图像堆叠的额外3D视频信息。

对于一些实施例，所述进一步的示例方法可以包括：通过移位高频MFP图像的单像堆叠来处理该高频MFP图像的单像堆叠，以形成立体MFP堆叠(即，两个MFP堆叠)。

对于一些实施例，所述MFP显示器可以是近眼MFP显示器。

根据一些实施例的示例装置可以包括用于实现根据一些实施例的以上列出的方法中的一者或多者的处理器和存储器。

注意，所描述的一个或多个实施例的各种硬件元件被称为“模块”，其执行(即，实施、运行等)在此结合相应模块描述的各种功能。如本文所使用的，模块包括相关领域的技术人员认为适合于给定实现的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。每个所描述的模块还可以包括可执行用于执行被描述为由相应模块执行的一个或多个功能的指令，并且注意，这些指令可以采取硬件(即，硬连线的)指令、固件指令、和/或软件指令等的形式或包括它们，并且可以存储在任何适当的非暂时性计算机可读介质或媒体中，诸如通常被称为RAM、ROM等。

虽然在上文中描述了采用特定组合的特征和要素，但是本领域普通技术人员将会认识到，每一个特征或要素既可以单独使用，也可以与其他特征和要素进行任何组合。此外，这里描述的方法可以在引入到计算机可读介质中以供计算机或处理器运行的计算机程序、软件或固件中实施。关于计算机可读存储媒体的示例包括但不局限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、磁媒体(例如内部硬盘和可移除磁盘)、磁光媒体以及光媒体(例如CD-ROM碟片和数字多用途碟片(DVD))。与软件相关联的处理器可以用于实施在WTRU、UE、终端、基站、RNC或任何计算机主机中使用的射频收发信机。

Claims

1.一种由头戴式显示器(HMD)执行的方法，包括：

用耦合到所述HMD的相机捕获真实世界场景的视频图像；

识别在所捕获的视频图像中存在的内容；

确定与所述内容相关联的深度调整；

生成包括用于所述内容的深度线索的多个焦平面图像，所述深度线索基于所确定的深度调整反映所述内容的修改的深度；以及

显示包括多个焦平面图像的内容的3D表示。

2.根据权利要求1所述的方法，其中所述内容包括图像图案。

3.根据权利要求1-2中任一项所述的方法，其中所述内容包括在所捕获的视频图像中描绘的真实世界场景中存在的对象。

4.根据权利要求1-3中任一项所述的方法，其中所述内容包括在所述真实世界场景中存在的2D屏幕上显示的视频内容的一部分。

5.一种装置，包括：

相机；

多焦平面显示器；

处理器；以及

一种存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时操作以使得所述装置：

用相机捕获真实世界场景的视频图像；

识别在所捕获的视频图像中存在的内容；

确定与所述内容相关联的深度调整；

显示包括多个焦平面图像的内容的3D表示。

6.一种由移动设备执行的方法，包括：

使用耦合到所述移动设备的相机识别真实世界场景的图像中存在的内容；

检索包括与所述内容相关联的深度信息的元数据；

使用所述元数据来生成多个焦平面图像，所述多个焦平面图像包括用于所述内容的深度线索；以及

显示包括与所述内容同步的所述多个焦平面图像的覆盖层。

7.根据权利要求6所述的方法，

其中所述真实世界场景的所述图像包括在所述移动设备外部的屏幕上显示的内容的图像，以及

其中所述覆盖层包括透视覆盖层。

8.根据权利要求7所述的方法，还包括：

识别所述屏幕的空间位置，

其中显示所述覆盖层包括：对准所述多个焦平面图像以与所述屏幕的所述空间位置对准。

9.根据权利要求7所述的方法，还包括：

检测在所述屏幕上显示的所述内容的不对称，

其中显示所述覆盖层包括：基于所述内容的所述不对称来调整所述多个焦平面图像。

10.根据权利要求6-9中任一项所述的方法，还包括用所述相机捕获所述内容。

11.根据权利要求6-10中任一项所述的方法，其中显示所述覆盖层使得用户能够经由直接光路观看所述屏幕。

12.根据权利要求6-11中任一项所述的方法，进一步包括：

用耦合到移动设备的相机捕获真实世界场景的图像；以及

显示所述内容，

其中所述真实世界场景的所述图像包括在所述移动设备外部的屏幕上显示的内容的图像。

13.根据权利要求6-12中任一项所述的方法，还包括：

确定所述真实世界场景的原始深度场；以及

基于所述元数据，调整所述原始深度场的对应于所识别的内容的一部分以产生经调整的深度场，所述所识别内容对应于所述图像中被辨识的图像图案，

其中所述多个焦平面图像是使用所述经调整的深度场而被生成的。

14.根据权利要求6-13中任一项所述的方法，其中生成所述多个焦平面图像创建三维深度效果。

15.根据权利要求6-14中任一项所述的方法，其中所述多个焦平面图像中的每一个包括针对相关联的图像深度的高空间频率图像信息。

16.根据权利要求15所述的方法，其中所述高空间频率图像信息包括用于在变化的距离处聚焦的调节线索。

17.根据权利要求6-16中任一项所述的方法，还包括：

对所述内容进行低通滤波；以及

显示经低通滤波的内容，

其中显示所述多个焦平面图像将所述多个焦平面图像显示为在所述经低通滤波的内容上的覆盖层。

18.根据权利要求6-17中任一项所述的方法，

其中所述元数据包括定时信息，以使得能够同步地将所显示的多个焦平面图像与所述内容对准，以及

其中显示所述覆盖层包括：使用所述定时信息来同步地将所述多个焦平面图像与所述内容对准。

19.根据权利要求6-18中任一项的方法，

其中所述元数据包括用于所述内容的三维3D深度信息，以及

其中用于所述内容的所述3D深度信息包括与所述内容同步的2D深度图的时间序列。

20.根据权利要求19所述的方法，其中所述深度图具有与所述内容不同的分辨率。

21.根据权利要求6-20中任一项所述的方法，其中所述移动设备包括支持多焦平面的手持移动电话。

22.根据权利要求6-21中任一权利要求所述的方法，其中所述移动设备包括头戴式显示器。

23.一种装置，包括：

相机；

多焦平面显示器；

处理器；以及

使用相机识别真实世界场景的图像中存在的内容；

检索包括与所述内容相关联的深度信息的元数据；

使用所述元数据生成多个焦平面图像，所述多个焦平面图像包括用于所述内容的深度线索；以及

显示包括与所述内容同步的所述多个焦平面图像的覆盖层。

24.根据权利要求23所述的装置，还包括：

一个或多个光学透镜，其被配置为调整所述装置外部的屏幕的直接光学观看；以及

一种光学低通滤波器。