CN105049831A

CN105049831A - 使用级联面板的超分辨率显示器

Info

Publication number: CN105049831A
Application number: CN201510120000.XA
Authority: CN
Inventors: 菲力克斯·海德; 道格拉斯·兰曼; 纳吉拉·迪克帕尔·雷迪; 简·考茨; 卡利·普利; 大卫·吕布克
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2014-03-18
Filing date: 2015-03-18
Publication date: 2015-11-11
Anticipated expiration: 2035-03-18
Also published as: TWI656520B; US9892669B2; DE102015003526B4; US20150310789A1; DE102015003526A1; CN105049830A; DE102015003525A1; TW201602984A; DE102015003525B4; DE102015003526A8; TW201602985A; US20150310798A1; CN105049831B; TWI592919B; US9934714B2

Abstract

本发明公开了使用级联面板的超分辨率显示器。通过集成在显示设备中的级联显示层的乘性叠加以空间/时间超分辨率显示图像的系统和方法。使用具有目标空间/时间分辨率的原始图像作为先验，实施分解过程以导出用于在每个显示层上呈现的各自的图像数据。级联显示层可以是渐进的并且彼此之间可侧向移位，这就产生超过显示层的原生显示分辨率的有效空间分辨率。经分解的图像可以在各自的显示层上以同步或非同步方式被刷新。

Description

使用级联面板的超分辨率显示器

交叉引用

本申请要求于2014年3月18日提交的、题为“CASCADEDDISPLAYS:SPATIOTEMPORALSUPERRESOLUTIONUSINGOFFSETPIXELLAYERS”的61/955,057号美国临时专利申请的权益和优先权，其全部内容通过援引并入本文用于所有目的。

技术领域

本公开总体上涉及数字图像处理和显示器领域，更具体地，涉及超分辨率显示器领域。

背景技术

更高分辨率显示器的发展对于显示器行业至关重要。最近，领先的移动显示器的像素密度从小于50像素/厘米(ppcm)过渡到现在接近150ppcm。同样地，消费电子行业开始提供“4K超高清(UHD)”显示器，其具有接近4,000像素的水平分辨率，作为高清电视(HDTV)的后继者。此外，已经存在8KUHD标准用于增强型数字影院。目前这类高分辨率显示器的实现取决于使得具有增加的像素数的空间光调制器成为可能的进步。

除这些较大的市场趋势之外，数种新兴的显示技术使得将有必要提供甚至大于4K/8KUHD标准的更高分辨率。例如，诸如OculusRift的宽视野头戴式显示器(HMD)包含高像素密度的移动显示器。当以电话或者平板电脑的距离观看时，这样的显示器接近或者超过人眼的分辨率。然而，当通过显著扩大视野的放大HMD光学系统观看时，其显现像素化。同样地，包括视差屏障和积分成像的裸眼3D显示器要求比如今的显示器更高量级的分辨率。目前，HMD和裸眼3D显示器保持为利基技术，并且不太可能推动比现有应用更高分辨率显示器的发展，这就阻碍了它们的进步和商业应用。

下面简要回顾与高分辨率显示技术有关的技术发展水平。

超分辨率成像算法已经用于从具有不同视角的低分辨率图像(或者视频)恢复高分辨率图像(或者视频)。超分辨率成像要求解决不适定反问题：高分辨率源是未知的。方法基于关于成像过程所做出的先前假设而各不相同。例如，在一种方法中，摄像机运动的不确定性通过使用压电制动器控制传感器的位移来消除。

在一个已经开发出的超分辨率显示系统中，使用“wobulation”方法来使得包含单个高速数字微镜器件(DMD)的正面投影显示器的寻址分辨率(addressedresolution)翻倍。压电制动反射镜将所投影的图像在水平和垂直方向均位移半个像素。由于DMD可以以比临界闪光融合阈值更快的速度被寻址，因此两个经移位(shifted)的图像可以被快速地投影，使得观看者感知到它们的附加的叠加。就抖动的摄像机而言，超分辨率因数随着像素孔径比减小而增大。性能进一步受到在光学扫描过程期间所引入的运动模糊的限制。最近，wobulation已经扩展到平板显示器，其使用应用于LCD的偏心旋转质量(ERM)振动电机。

类似的超分辨率显示概念已经发展用于数字投影仪。投影仪阵列可以用于同时显示经位移的图像集，而不是呈现经移位的低分辨率图像的时分复用序列。多个研究小组已经证实了这样的“叠加投影”系统。就所有的投影的阵列而言，叠加投影要求精确的辐射和几何校准以及时间同步性。这些问题可以通过使用单一投影仪超分辨率方法来缓解，该方法中通过投影仪光学系统内的透镜阵列来创建多个偏移图像。和叠加投影仪不同，这些图像必须是相同的，导致了有限的图像质量。

wobulation以及其他时间复用方法当用于超分辨视频时由于未知的注视运动而引入伪影。眼睛的移动改变了当后续帧被投影到视网膜上时在其之间的所期望的对齐。如果注视可以被估计，那么可以沿着眼睛的运动轨迹获得超分辨率，如报道证实的。

到目前为止所讨论的所有超分辨率显示器实现了相同的核心概念：经移位的低分辨率图像的附加的(时间的)叠加。就图像超分辨率而言，这样的设计得益于低像素孔径比—与增加孔径比的行业趋势背道而驰。

所谓的“光学像素共享(OPS)”方法是首先被报道的利用双重调制投影仪实现超分辨率的方法，其通过使用两帧分解来描绘边缘增强的图像：第一帧呈现高分辨率、稀疏边缘图像，而第二帧呈现低分辨率非边缘图像。OPS要求元件被放置于显示层之间(例如，透镜阵列或者随机化折射表面)；相应地，现有的OPS实现方案不允许薄的外形。OPS重现具有减小的亮度和减小的峰值信噪比(PSNR)的影像。

常规上应用双重调制显示器来获得高动态范围(HDR)显示。通过对使用大的平板液晶显示器(LCD)的数字投影仪的输出进行调制来实现HDR投影仪。据报道已经开发出高动态范围和高分辨率的投影仪系统，其中三芯片硅基液晶(LCoS)投影仪发射低分辨率的色度图像，其随后被投影到另一个较高分辨率的LCoS芯片上以获得亮度调制。

具有两个或多于两个空间光调制器(SLM)的显示器也已经包含在裸眼3D显示器中用于多视点影像。据报道证实，内容自适应视差屏障可以与双层LCD一起使用以创造出更亮、更高分辨率的3D显示器。

发明内容

因此，提供供应超过原生(native)分辨率和/或现代显示面板的帧刷新率的高空间和/或时间显示分辨率的显示机制将是有益的。

本文提供的是用于具有增加的空间分辨率的图像和视频显示器的方法和系统，所述图像和视频显示器使用现代光衰减空间光调制器(SLM)显示器，包括液晶显示器(LCD)、数字微镜设备(DMD)以及硅基液晶(LCoS)显示器。为达到该目的，没有增加可寻址像素计数，而采用级联显示器结合相关数据处理过程。

更具体地，在一些实施例中，两个或多于两个SLM布置为一个在另一个之上(或以级联方式)，受到沿每个轴的半个像素或更小的侧向偏移。侧向偏移使在一层上的每个像素调制在另一层上的多个像素。以该方式，由一个显示层上的像素与另一层上的像素的几何交叉所定义的每个子像素片段的密度可以被控制，从而增加有效显示分辨率。高分辨率目标图像被分解(factorize)为多层衰减模式，证明级联显示器可以操作为“压缩显示器”，其利用比出现在所显示图像中更少的可独立寻址的像素。

可以采用类似的方法来增加以交错间隔刷新的两个或多于两个SLM的堆叠的时间分辨率。然而，在一些其他实施例中，可能不涉及经分解的影像的时间复用。结果，视频可被呈现，而没有出现现有方法中特有的伪影或无需高刷新率显示器。

与现有技术中采用的附加方法相比，根据本公开的级联显示器通过合成较高空间频率创建乘性(multiplicative)叠加，合成较高空间频率通过具有大孔径比的经移位的光衰减显示器的(同时)干涉。

级联显示器相对于现有超分辨率显示器提供若干不同的优势：获得薄的外形、不要求活动部件、以及使用计算高效的分解过程来使能交互式内容。

根据本公开的一个实施例，显示图像的方法包括：(1)访问表示图像的原始图像数据；将所述原始图像数据分解为第一图像数据和第二图像数据；以及以有效显示分辨率在显示设备上显示所述图像的表示。所述显示设备包括具有第一原生分辨率的第一显示层和具有第二原生分辨率的第二显示层。所述第一显示层覆盖所述第二显示层。所述第一图像数据被渲染用于在所述第一显示层上显示，所述第二图像数据被渲染用于在所述第二显示层上显示。所述有效显示分辨率大于所述第一原生分辨率和所述第二原生分辨率。

在一个实施例中，所述显示设备包括L个显示层，其中各显示层相对于紧邻显示层在两个正交方向上侧向偏移1/L个像素。使用所述L个显示层中的基底(underlying)显示层的多个像素来调制所述各显示层中的像素。所述第一和第二图像数据可以每个对应于所述图像的各自的单个帧。

原始图像数据可以表示图像的像素的单个帧，其中第一图像数据表示图像的第一多个帧，并且第二图像数据表示图像的第二多个帧。第一多个帧在第一显示层上顺序渲染，第二多个帧在第二显示层上顺序渲染。第一多个帧和第二多个帧可以以同步或非同步方式渲染。

根据本公开的另一个实施例，显示图像的方法包括：(1)以第一空间分辨率访问表示图像的一帧的第一帧；(2)以第二空间分辨率访问表示所述图像的所述一帧的第二帧；(3)顺序渲染所述第一帧用于在显示设备的第一显示层上显示；以及(4)顺序渲染所述第二帧用于在所述显示设备的第二显示层上显示。所述第一显示层利用在两个垂直方向上的侧向移位以所述第一显示层的像素的一部分覆盖所述第二显示层。通过所述顺序渲染所得到的有效显示分辨率大于所述第一空间分辨率和所述第二空间分辨率。

根据本公开的另一个实施例，显示系统包括：处理器、存储器、以及耦连到处理器和存储器的多个显示层，所述多个显示层以级联方式布置并且包括第一显示层和第二显示层。所述第一显示层相对于所述第二显示层在两个正交侧向方向上偏移像素的一部分。所述存储器存储实现方法的指令，方法包括：(1)访问表示所述图像的第一图像数据和表示所述图像的第二图像数据；(2)以第一空间分辨率渲染所述第一图像数据用于在所述第一显示层上显示；以及(3)以第二空间分辨率渲染所述第二图像数据用于在所述第二显示层上显示。所述图像的所述表示的有效显示分辨率大于所述第一原生空间分辨率和所述第二原生空间分辨率。

前述是一个概括并且因此不可避免地包含简单化、一般化和细节的省略；因此，本领域技术人员将理解该概括仅是例示性的而非意在以任何方式进行限制。本发明的其他方面、发明特征和优势，如权利要求所唯一限定的，将在以下阐述的非限制详细说明中变得显而易见。

附图说明

通过结合附图阅读以下详细描述将更好地理解本发明的实施例，在附图中相似的参考标号指代相似的元件，其中：

图1A-1C示出了根据本公开的实施例的、在例示性级联显示设备中并在两个显示层之间的相对的侧向位置；

图2为根据本公开的实施例的、描绘在具有超分辨率的级联显示设备上显示图像的例示性过程的流程图；

图3示出了根据本公开的实施例的、用于级联显示器的采用时分复用的例示性分解过程；

图4示出了根据本公开的实施例的、在配置用于空间超分辨率的例示性启发式分解过程中所导出的图像帧；

图5示出了根据本公开的实施例的、由根据表1中呈现的WRRI过程的、用于空间超分辨率的空间优化分解产生的图像帧；

图6A是根据本公开的实施例的、示出同步化的帧刷新周期的时序图，所述同步化的帧刷新周期用于包括在配置为获得空间超分辨率的例示性级联显示设备中的两个显示层；

图6B是根据本公开的实施例的、示出非同步化的帧刷新周期的时序图，所述非同步化的帧刷新周期用于包括在配置为获得空间超分辨率的例示性级联显示设备中的两个显示层；

图7是根据本公开的实施例的、示出用于配置为获得时间超分辨率的例示性级联显示设备的两个显示层的帧刷新周期的时序图；

图8示出了根据本公开的实施例的、使用级联双层显示器的时间超分辨率结果；

图9示出了根据本公开的实施例的、利用级联显示层以获得空间/时间超分辨率的例示性显示系统；

图10A示出了根据本公开的实施例的、通过使用实时的秩-1分解的例示性HMD的放大光学系统所捕获的样本图像；

图10B示出了根据本公开的实施例的、显示在例示性级联LCoS投影仪上的图像帧的经捕获的样本照片；

图11是根据本公开的实施例的、对用于级联显示器中的超分辨率的采用双精度分解的例示性WNMF方法的性能进行比较的数据图；

图12是根据本公开的实施例的、对用于级联显示器中的超分辨率的采用单精度分解的例示性WNMF方法的性能进行比较的数据图；

图13示出根据本公开的实施例的、在使用两帧分解的级联四层显示设备上所显示的经捕获的图像；

图14示出针对图13中的例示性级联四层显示器的针对单独层的经分解的帧；

图15示出由具有青-黄-洋红颜色滤波器阵列(CFA)的双层级联显示器创建子像素片段的例示性方法；

图16示出在不同参数(对目标图像集求平均的)下的作为调光因数β的函数所获得的峰值信噪比(PSNR)的数据图；

图17示出了通过利用三种不同的超分辨率显示器的模拟所再现的图像块对超分辨率显示器的视觉比较；

图18A示出了针对根据现有技术的显示器替代物和根据本公开的级联显示器的MTF的模拟比较；

图18B示出针对例示性级联LCD显示设备的经测量的调制传递函数；

图19是针对在根据现有技术的各超分辨率技术中所获得的和在根据本公开的级联显示器中所获得的自然图像集的、对以dB为单位的峰值信噪比(PSNR)进行比较的图表；

图20是示出针对根据现有技术的各超分辨率技术中所获得的和根据本公开的级联显示器所获得的自然图像集的、作为对所有颜色通道的求和的结构相似性指标(SSIM)的图表；

图21A示出目标图像、常规显示器、采用2帧和4帧的附加显示器、OPS以及级联显示器的倾斜边缘(秩-2)；

图21B示出用于图21A中所呈现的不同方法的倾斜边缘MTF测量；

图22呈现根据本公开的实施例的、使用一对例示性8比特级联显示器来展示例示级联显示器的HDR应用的线性斜坡的外观；

图23A示出关于自然电影(naturalmovie)在PSNR方面比较时间超分辨率对较低帧速率的数据图；

图23B示出在SSIM方面比较时间超分辨率对较低帧速率的数据图。

具体实施方式

现在将详细参考本发明的优选实施例，其示例在附图中示出。虽然本发明将结合优选实施例进行描述，但是应该理解它们并非旨在将本发明限定于这些实施例。相反，本发明旨在覆盖可以包括在如随附权利要求所限定的本发明的精神和范围内的替换、修改和等同物。此外，在本发明的实施例的以下详细描述中，阐述了许多具体细节以提供对本发明的透彻理解。然而本领域普通技术人员将认识到本发明可以没有这些具体细节而实施。在其他实例中，没有详细描述公知的方法、步骤、部件和电路以免对本发明的实施例的各方面造成不必要的混淆。虽然为了清楚，方法可被描绘为经编号的步骤序列，但编号并不一定指示步骤的顺序。应该理解，某些步骤可以跳过、并行实施或者在无需维持严格的序列顺序的情况下实施。示出本发明的实施例的图是半图解的并且不成比例，特别地某些尺寸是用于清楚呈现并且在图中被夸大示出。同样，虽然图中的视图为了易于描述总体上示出为类似的方向，但在很大程度上图中这样的描绘是任意的。通常，本发明可以以任意方向操作。

符号和术语：

然而，应该牢记所有这些和类似的术语将与合适的物理量相关联，并且仅仅是应用于这些量的方便的标签。除非另有特别声明，如从下面的讨论中显而易见的，否则应该理解的是，贯穿本发明，利用诸如“处理”或者“访问”或者“执行”或者“存储”或者“渲染”或者类似物的术语的讨论是指计算机系统或者类似的电子计算设备的动作和过程，所述计算机系统或者类似的电子计算设备将表示为计算机系统的寄存器、存储器和其他计算机可读介质内的物理(电子)量的数据操纵并转换为类似地表示为计算机系统存储器或者寄存器或者其他这类信息存储、传输或显示设备内的物理量的其他数据。当部件出现在数个实施例中时，相同参考标号的使用意味着该部件是与原始实施例中所示的部件相同的部件。

使用级联面板的超分辨率显示器：

如本文所使用的，术语“超分辨率”(SR)是指，设计为增强图像或者成像系统的有效空间分辨率，以优于原始的图像或者图像传感器的像素大小所对应的空间分辨率的信号处理技术。

总体而言，本公开的实施例通过由具有大孔径比的经移位的光衰减显示器的同时干扰，来合成较高的空间和/或时间频率而创建乘性叠加。将两个或多于两个乘性显示层(或者空间光调制器(SLM)层)的堆叠集成到显示设备中以合成空间超分辨图像。基于具有目标空间/时间分辨率的原始图像或者视频帧集，实施分解过程以导出各自的图像数据用于呈现在每个显示层。

在一个方面，堆叠中的显示层彼此侧向地移位，导致超出显示层原生(native)显示分辨率的有效空间分辨率。高分辨率原始图像的高保真度可以采用或者不采用时分复用衰减模式来有利地获得，虽然后者在减少伪影的显现方面提供较好的性能。提出了实时的图像处理单元(GPU)加速级联显示算法并且消除对时间复用的需要，同时保留超分辨率图像保真度。

在另一个方面，以交错间隔来刷新两个或多于两个显示层(或者SLM)以合成其有效刷新率例如以等于层数的因数超过每个单独显示层的有效刷新率的视频。进一步地，对相邻像素进行光学平均可以使伪影最小化。

本文还提供基于非负矩阵和张量分解的全面优化框架。具体地，加权秩-1残差迭代方法可以胜过现有的乘性更新规则。

对级联双层显示器建模

通常，级联显示设备的构建可以利用空间或者时间复用以增加有效数目的可寻址的像素。因此，需要解决分解问题以确定显示部件的最优控制，以最大化感知的分辨率，服从物理约束(例如，有限的动态范围、受制约的色域、以及禁止负发射度(emittance))。

在一个实施例中，双层显示器包括一对在均匀背光前面直接接触放置的空间光调制器(SLM)，并且包含均匀的像素阵列，其具有在固定刷新率上的可单独寻址的透射率。层被布置为彼此侧向偏移。例如，层可以在两个正交方向上彼此偏移像素的一部分。然而，本公开并不受限于侧向偏移的量、尺寸或者方向。

图1A-1C示出了根据本公开的实施例的、例示性级联显示设备中的两个显示层110和120之间的相对的侧向位置。图1A示出了底层110的样本像素，a₁-a₆；图1B示出了覆盖底层110的顶层120的样本像素，b₁-b₆；以及图1C示出了由两个层的级联且移位的排列所产生的子像素片段(S_2,1-S_6,6)。顶层110上的每个像素都相对于底层120在水平和垂直两个方向上侧向地移位半个像素。因此，顶层110的像素中心与底层120的像素中心一致。

结果，该配置创建了由底层上的像素与顶层上的像素的重叠所定义的均匀的子像素片段阵列。例如，子像素片段S_2,1由底层110的像素a₂和顶层的像素b₁定义。因此，在各像素上存在四倍于其的子像素片段，建立了使空间分辨率翻至四倍的能力。

假设总计底层110有N个像素并且顶层110有M个像素。在显示设备的操作期间，K个时分复用帧被以高于临界闪烁融合阈值的速度呈现给观看者，使得它们的时间平均被感知。使用时间复用可以有利地增加可用于减少图像伪影的自由度。

在下文中，对于帧k，底层110中的像素i的发射率(emissivity)标记为a_i ^(k)，使得同样，对于帧k，顶层的像素j的透射率标记为b_j ^(k)，使得0≤b^(k)≤1。每个子像素片段的发射率由s_i,j表示，其可以表达为

s_{i, j} = w_{i, j} (Σ_{k = 1}^{K} a_{i}^{(k)} b_{j}^{(k)}), - - - (1)

其中w_i,j是用于标记像素i和像素j的重叠的因数。

该表达式(1)隐含了双层图像形成可以使用矩阵乘法来简洁表达：

S＝Wο(AB^T)，(2)

其中ο标记哈达玛(Hadamard)(元素级)矩阵积；A是N×K矩阵，其列包含帧k期间的底层像素发射率；B是M×K矩阵，其列包含帧k期间的顶层像素透射率；W是N×M稀疏权重矩阵，包含成对的重叠；以及S是稀疏N×M矩阵，包含子像素片段发射率。S只有在像素i和像素j重叠处可以是非零的。

由等式(1)和(2)给出的图像形成模型可以应用到各种类型的空间光调制器，其包括具有不同像素间距的面板。此外，两个层的相对的侧向平移和面内的旋转可以以权重矩阵W的合适选择来编码。

该模型可以实际应用到现有的平板显示器(例如包含颜色滤波器阵列和有限的像素孔径比的LCD面板)和数字投影仪(例如，包含LCD、LCoS、或者DMD空间光调制器的数字投影仪)等。

空间超分辨率

根据本公开的级联显示器可以通过将空间偏移、时间平均的显示面板分层堆集来提供增强的空间分辨率。

图2是根据本公开的实施例的、描绘在具有超分辨率的级联显示设备上显示图像的例示性过程200的流程图。假设显示设备包括L个显示层，其中L是大于2的整数值。在201，访问具有原始空间分辨率(或者目标分辨率)的原始图像帧。原始图像帧可以是静态图像或者视频的一个帧。原始空间分辨率可以大于显示设备中的L个显示层的任何一个的原生空间分辨率。

在一些实施例中，假设所有的层都具有同样的方形像素，每个层相对先前的层偏移1/L像素。那么作为结果的级联显示器具有为在任何单独的层中的像素的L²倍的子像素片段。

在202，通过分解过程将原始的图像帧分解为多个帧集，每个帧集用于各自的显示层。可以以各种适合的方式来实施分解过程，包括下面更详细地描述的例示性计算过程。每个各自的帧集可以包含具有与对应的显示层兼容的空间分辨率的一个或多个帧(本文也称为“模式”)。

在203，在各自的显示层上渲染从202导出的帧集用于显示。更具体地，针对每个显示层，顺序地渲染对应的帧集用于显示。总的结果是，用户可以感知超过每个单独的层的原生分辨率的显示设备的有效空间分辨率。因此而有利地获得空间超分辨率。

为了将目标高分辨率图像分解，在一些实施例中，图像可以被采样并且重新排列为稀疏矩阵WοT，包含类似于S的子像素片段值。因此，图像由一系列时分复用衰减模式对(例如要跨两个层显示的A和B的列)表示。

例如，为了以超分辨率在级联双层显示器上显示或者重建图像，原始的图像数据可以被分解为两个单一模式，一个模式用于一层。在一些其他实施例中，可以将时间复用结合到分解过程中以导出多个帧，用于在用户眼睛的整合期期间显示。因此，每个帧集中的多个帧被连续渲染用于在对应层上显示。

图3示出了根据本公开的实施例的、用于级联显示器的采用时分复用的例示性分解过程。它示出了由向量表示用于特定层的每个帧数据。更具体地，a_t1,a_t2和a_t3分别表示在帧刷新时间t₁,t₂,和t₃时在第一层(层A)上显示的帧；并且b_t1,b_t2和b_t3分别表示在帧刷新时间t₁,t₂,和t₃时在第一层(层B)上显示的帧。以紧凑形式表达，每一层的时分复用帧由矩阵(A或B)表示。矩阵T以高分辨率表示原始图像帧。分解过程的目标在于发现合适的A和B以使得它们的积等于或者近似于先验，该先验是目标图像T。

在一个实施例中，简单的启发式分解被利用并且能够使用四个时分复用衰减层对(K＝4)来无损地重建空间超分辨目标图像，假设两个层都具有相同的像素结构并且沿着两个轴都侧向移位半个像素。图4示出了根据本公开的实施例的、在配置用于空间超分辨率的例示性启发式分解过程中所导出的图像帧。

如图所示，经移位的针孔网格的时分复用序列显示在底层(第一行，表示用于层1的帧)，连同顶层上的混叠模式(第二行，表示用于层2的帧)。如行3中所示，每个底层像素为四个顶层像素的角点(corner)照明。当以超过闪光融合阈值的速率呈现四个帧时，观看者感知到具有四倍于任何一个层的像素数的图像。注意到，如果背光亮度保持相同，那么级联显示器可能显现为比常规显示器更暗。

如图4中所示，在第一帧期间，底层(层1)描绘了针孔网格，其中只有在每个2×2像素块中的第一像素被照亮。为每个顶层(层2)像素指派对应的目标子像素片段的透射率。当给定的针孔网格在顶层显示时，只有四分之一的目标子像素片段会被重建。结果，要求四个时分复用层对，包括四个经移位的针孔网格。

虽然在经重建的图像中不存在伪影，但启发式分解显现为具有常规单层显示器的亮度的四分之一，因为每个子像素片段仅在四个帧中的一个帧期间可见。

在另一个实施例中，采用经优化的压缩分解过程以导出用于各个层的帧数据。经由应用等式(2)，通过求解以下的约束最小二乘问题来提供最优的双层分解：

其中≤一是元素级的矩阵不等式运算符。注意，对于亮度比例因数，要求0<β≤1以允许相对于目标图像减小感知到的图像的照度的解决方案(例如，如采用启发式四帧分解所观察到的)。如果忽略A和B的上界，那么等式(3)对应于加权非负矩阵分解(WNMF)。结果，可以应用任何加权NMF算法以获得空间超分辨率，具有在每次迭代后强制到可行的范围的像素值。例如，可以使用以下乘性更新规则：

双线运算符标记Hadamard(元素级)矩阵除法。

类似的乘性更新规则可以应用到多层3D显示器。在计算性能方面，加权秩-1残差迭代(WeightedRank-1ResidueIterations,WRRI)由于稳健而高效可以是优选的。表1呈现伪代码，其示出导出矩阵A和B的例示性分解过程，该矩阵A和B分别表示用于两个显示层的帧数据集。根据加权秩-I残差(WRRI)迭代过程迭代地计算出A和B。WRRI在表1中被指定，其中x_j标记矩阵X的列j并且[x_j]₊标记到正象限上的投影，使得[x_j]₊的元素i由max(0,x_i,j)给定。

表1

图5示出了根据本公开的实施例的、由根据表1中呈现的WRRI过程的、用于空间超分辨率的空间优化分解产生的图像帧。表1中呈现的算法1(Algorithm1)提供目标图像510的最优三帧双层分解。例如，采用用于所有帧的均匀分布的随机值对层初始化。与启发式分解相比，两个层都包含与内容有关的特征。

如上所述，等式(2)和(3)将双层级联显示器的图像形成投射为矩阵分解问题，使得分解秩等于时分复用帧的数目。因此，基于WNMF的分解允许对重建精度、时分复用帧的数目和经重建的图像的亮度的配置。

在帧531、532、和533中呈现局部重建，并且级联图像540呈现为最终结果，其与使用常规方法的经重建的图像550和目标图像510进行比较。当用于单独层的三个帧(例如，层1的511-513)以大于临界闪光融合阈值的速率呈现时，观看者感知到具有四倍像素数的超分辨图像540。如果背光亮度保持相同，那么级联显示器可显现为比使用单个显示层的常规显示器更暗。增加亮度比例因数β可以补偿吸收损失。

如参考图6A和6B所讨论的，在级联显示器上的图像呈现中，时分复用帧可以在多个层上以同步或者非同步方式渲染，例如，以交错方式。应该理解，关于特定的目标图像，针对同步化帧刷新所导出的帧集与针对非同步化刷新所导出的帧集不同。

图6A是根据本公开的实施例的、示出同步化帧刷新周期610和620的时序图，其中610和620用于包括在配置为获得空间超分辨率的例示性级联显示设备中的两个显示层。例如，原始图像数据已经被分解为分别用于层A和层B的两个帧集，并且每个帧集包括四个时分复用帧。在该示例中，帧刷新时间与时序图610和620上的刷新周期的上升沿(示出为t₁,t₂,t₃和t₄)相一致，图6A示出层A的帧(a_t1,a_t2,a_t3和a_t4)与层B(b_t1,b_t2,b_t3和b_t4)同步刷新。例如，在时间t₁处，帧a_t1和帧b_t1分别在层A和层B上同时被渲染。

图6B是根据本公开的实施例的、示出非同步化帧刷新周期630和640的时序图，其中630和640用于包括在配置为获得空间超分辨率的例示性级联显示设备中的两个显示层。例如，原始图像数据已经被分解为分别用于层A和层B的两个帧集。每个帧集包括四个时分复用帧。在该示例中，每一层都有相同的帧刷新周期，并且帧刷新时间与时序图630和640上的刷新周期的上升沿相一致。图6B示出层A的帧(a_t1,a_t2,a_t3和a_t4)以相对层B的帧(b_t1,b_t2,b_t3和b_t4)的时间偏移被刷新。例如，帧a_t1在时间t_a1处在层A上被渲染，而帧b_t1在时间t_b1处在层B上被渲染。在该示例中，t_b1落后t_a1半个周期。

在一些实施例中，考虑到具有以交错方式刷新的L(L>1)个层的级联显示器，特定层的帧刷新时间可以比先前层的帧刷新时间落后帧刷新周期的一部分(例如＝1/L)。

通常，级联显示器可以在空间和时间分辨率方面有利地获得高质量结果，甚至无需时域复用。如以上所讨论，消除时间复用等同于显示秩-1分解。WRRI是用于求解该秩-1分解的优选的高效方法，其获得用于高清(HD)目标帧的实时帧速率(如以下详细讨论的用于求解NMF的交替最小二乘法的变体)。该观察对于使能实时应用非常重要。例如，快速秩-1分解的基于GPU的实现方案可以用于级联头戴式显示器的交互式操作。

时空超分辨率

根据本公开的级联显示器还可以通过将多个时间偏移、空间平均的显示器分层堆集来增强时间分辨率。将级联显示器的多个显示面板进行时间偏移合成了时间超分辨率显示器。更具体地，用于每一层的帧刷新时间相对先前层的帧刷新时间偏移帧刷新周期的一部分。结果，级联显示器的观看者感知到以相比单独层原生刷新率的高刷新率显示的视频内容。

在一些实施例中，级联显示器中的多个层关于像素机械地对齐，并且以交错方式刷新。图7是根据本公开的实施例的、示出帧刷新周期710和720的时序图，其中710和720用于配置为获得时间超分辨率的例示性级联显示设备的两个显示层。在该示例中，包括四个帧(F₁-F₄)的视频被分解为分别用于两个层的两个帧集，帧F_a1-F_a4用于层A，并且帧F_b1-F_b4用于层B。每个帧集在显示层上以原生刷新率被渲染，例如50Hz。两层的帧刷新时间交错半个帧刷新周期。例如，帧F_a1在层A上(在t_a1处)被渲染，相比F_b1在层B上(在t_b1处)呈现提前半个周期。结果，合成了100Hz的显示。

根据本公开，对于空间超分辨率，可选的时间复用通常增强了重建保真度。同样，对于时间超分辨率，空间平均通过增加由采用交错刷新的双层显示器所提供的自由度来减少重建伪影。在一些实施例中，通过在平板级联显示器(例如，双层LCD)的顶上引入漫射光学元件或者通过使采用级联显示器的投影仪去焦来获得空间平均。

等式(5)是确定用于时间超分辨率的最优分解的例示性目标函数：

这里，A是长度为FN的列向量，包含底层像素发射率，其在F个视频帧上被串接；同样，B是长度为FM的列向量，包含顶层像素透射率，其在F个视频帧上被串接。置换矩阵{P₁,P₂}为经重建的子像素片段S＝AB^T重新排序，使得积P₁AB^TP₂的第一F列包含长度为NM的子像素片段，对应于在对应的帧期间所显示的超分辨图像。空间平均表示为FN×FN卷积矩阵C，其对P₁AB^TP₂的列进行低通滤波。

再次，W是稀疏权重矩阵，包含跨空间和时间的成对重叠。最后，WοT标记用于目标时间超分辨视频的子像素片段。在一些实施例中，如果目标是增加帧速率而非空间保真度，那么不需要在K个分解帧上对每个目标帧实施时分复用。

联合的空间和时间超分辨率由等式(5)中呈现的目标函数直接支持。权重矩阵W包含时间以及空间重叠。因此，相应地设置权重矩阵元素就足够。为了求解等式(5)，在一些实施例中，以下更新规则(6)和(7)被用于实现使用级联双层显示器的时间超分辨率，如以下在后面章节中所详细描述的。

为简洁起见，这些乘性更新规则被指定用于时空超分辨率。然而，WRRI算法可以是同样适合的。更具体地，给定用于等式(4)的更新规则的实现方案，而不是构建矩阵{C,P1,P2}，空间模糊应用于迭代之间的当前估计AB^T。

图8示出了根据本公开实施例的、使用级联双层显示器的时间超分辨率结果820。在该示例中，显示层以交错方式刷新并且被假设为机械地对齐。图810示出来自目标视频的单个帧(其具有两倍于显示层的刷新率)。图820通过使用等式(6)和(7)以将目标视频分解以及在每一层上渲染经分解的帧821和822用于以目标视频的一半速率显示来获得。在由均匀的2×2像素空间模糊内核模糊之后，目标帧的重建显示了最小的伪影。图830示出了以目标视频的一半速率刷新的常规显示器。在该帧期间，对于所描绘的帧来说，常规显示器落后于目标视频和级联显示器。如在图821和822中所示，高频细节在被观看者感知之前被空间平均，例如通过漫射器或者通过使投影光学系统去焦。

在一个实施例中，将所有层和帧初始化为均匀分布的随机值。整个视频被同时地分解。对于较长的视频，可以将帧的滑动窗口分解，其约束每个窗口中的第一帧等于先前窗口中的最后帧。如图8中所展示，均匀2×2模糊内核证明是足够的。然而，就秩-I空间超分辨率而言，等式(6)和(7)支持时空超分辨率而无需任何光学模糊，尽管引入重建伪影。

例示性软件实现方案

乘性更新规则(等式(4))和WWRI方法(表1中的算法1)可以在软件程序中以Matlab或者任何其他适合的编程语言实现，所述软件程序配置用于采用双层显示器的空间超分辨率。在一个实施例中，程序配置为支持任意数目的帧(即分解秩)。快速秩-1求解程序可以使用CUDA来实现以利用GPU加速(源代码在表6中提供)。所有分解在具有8GB的RAM和NVIDIAQuadroK5000的英特尔3.2GHz英特尔核i7工作站上实施。快速秩-1求解程序维持原生的60Hz的刷新率，包括用于渲染场景和应用后处理片段着色器的开销(例如，在HMD展示中)。

级联显示器的数据处理和操作需要显示层的物理配置和它们的辐射特性，例如以计算在等式2中以W编码的像素重叠。显示层之间的未对齐可以在校准过程中校正，例如通过扭曲在第二层上显示的图像以与在第一层上显示的图像对齐。

例如，使用两幅照片估计该扭曲。在每幅照片中，在一层上显示棋盘格，同时剩余层设置为完全透明的或者完全反光的。离散数据插值对扭曲函数进行估计，所述扭曲函数将拍摄的第一层棋盘格角点投影到在第二层上显示的图像的坐标系中。第二层棋盘格(或者任何其他图像)被扭曲以与第一层棋盘格对齐。此外，辐射特性通过拍摄平视野图像来测量；这些曲线被反转使得每个显示器以线性辐射方式操作。因此，使用几何和辐射校准以纠正所捕获的图像并且校正渐晕—允许与所预测的结果直接比较。

例示性硬件实现方案

根据本公开的级联显示设备可以实现为双层LCD屏幕，支持直观式和头戴式显示(HMD)设备、双层LCoS投影仪等。操作级联显示器以获得超分辨率有利地设置较少的实际制约：在层之间无需物理间隙、使能较薄的外形、以及消除图像伪影所必需的时分复用帧显著更少。

图9示出了根据本公开的实施例的、利用级联显示层961和962以获得空间/时间超分辨率的例示性显示系统900。系统900包括处理器910(例如，图形处理单元(GPU)、总线920、存储器930、帧缓冲器940、显示控制器950和包括显示面板961和962的显示组件960。应该理解，系统900还可以包括其他部件，诸如外壳、接口电路、IMU、放大光学系统等。

存储器930存储级联显示程序931，其可以是用于显示组件960的驱动程序的组成部分。存储器930还存储原始图形数据934和经分解的图形数据935。级联显示程序931包括用于时间分解计算的模块932和用于空间分解计算的模块933。提供有用户配置和原始图形数据934，级联显示程序931导出经分解的图像数据935用于在每个显示层961和962上显示，如本文更详细描述。例如，时间分解模块932配置为实施根据等式(5)-(7)的过程；并且空间分解模块933配置为实施根据等式(3)和(4)的过程。

根据本公开的级联显示设备可以实现为在直观式或者头戴式显示器(HMD)应用中使用的LCD。显示设备可以包括LCD面板的堆叠、接口板、透镜附件(用于HMD使用)等等。例如，每个面板以其原生的1280×800像素的分辨率以及60Hz的刷新率操作。然而，本公开不受利用级联显示器的目的或者应用的限制。本公开不受级联显示器中的多个层的配置或者布置或显示面板的类型的限制。

在一些实施例中，级联显示设备包括LCD面板和有机发光二极管(OLED)面板、场致发光显示面板或者任何其他适合类型的显示层或其组合。

根据本公开的级联LCD显示器就使用适合的透镜附件的移动电话或者平板电脑以及HMD而言支持一定距离的直观。图10A示出了根据本公开的实施例的、通过使用实时的秩-1分解的例示性HMD的放大光学系统所捕获的样本图像。与常规(低分辨率)显示器(由图1010示出)相比，使用级联LCD(由图1020示出)的文本的可识别性明显较好。

本文中所呈现的所有空间超分辨率结果均为使用采用50mmf/1.8镜头的佳能EOS7D摄像机捕获。包括在补充视频中的时间超分辨率结果使用采用富士2.8–8mm变焦镜头的PointGreyFlea3摄像机。由于LCD调制层之间的间隙，侧向偏移将出现移位，其取决于观看者的位置。使用以上所描述的校准过程来补偿视差。显示层模式以相比原生的面板分辨率的更低分辨率显示，允许直接与“基准(groundtruth)”超分辨图像比较。

在一个实施例中，根据本公开的头戴式显示器(HMD)附加地包括布置为远离顶部LCD略小于其5.1cm的焦距的透镜组件(例如，一对非球面放大透镜)，以便合成显现在接近“光学无限远”的经放大的、直立的虚像。通过使用惯性测量单元(IMU)来支持头部跟踪。GPU加速快速WRRI求解程序可以用于处理数据以在HMD中显示。该实现方案能够维持原生的60Hz刷新，包括渲染OpenGL场景、应用GLSL片段着色器以扭曲影像来补偿球差和色差，以及将结果目标图像分解所需的时间。与直观不同，HMD允许有限范围的视角—减少观看者视差的影响并且促进了级联LCD的实际应用。

级联显示器的超分辨率还可以应用于级联液晶(LCoS)投影仪中，例如符合8KUHD电影放映标准。例示性LCoS投影仪包括多个LCoS微显示器、接口电路、中继透镜、PBS、孔径、投影透镜和照明引擎等。这些显示器被操作在其原生的1024×600像素的分辨率、60Hz的刷新率、95.8％的孔径比和70％的反射率。中继透镜用于通过将第一LCoS的图像投影到具有单元放大的第二LCoS来获得双调制。PBS棱镜可以定位于中继透镜和第二LCoS之间，取代原始的PBS板。使用投影光学器件将经双调制的图像投影到屏幕表面。

图10B示出了根据本公开的实施例的、显示在例示性级联LCoS投影仪上的图像帧的经捕获的样本照片1040。相比使用常规(低分辨率)LCoS投影仪所投影的图像1030，在级联LCoS投影仪上所显示的图像1040示出经提高的可识别性。

根据本公开的LCoS面板可以定位为偏离轴的，以阻止多个反射。如果两个LCoS面板垂直于中继透镜的光轴并且沿中继透镜的光轴居中，那么光可以从PBS棱镜反射回到第一LCoS，导致实验上观察到的像差。将LCoS面板远离光轴侧向移位可以减少或者消除这些伪影。孔径放置于第一LCoS前面以阻止任何经反射的光-目前从光轴偏移-继续传播。

本文所公开的级联显示技术还可以应用于级联印刷用胶片。印刷用半透明彩色胶片可以使用具备补充材料的模式来再现。仅单帧(即，秩-1)分解需要与静态胶片一起呈现。

加权非负矩阵分解(WNMF)

本章节呈现根据本公开的用于阐述用于各种空间超分辨率应用的WNMF问题的例示性实施例。

给定非负矩阵，其表示为：

以及目标秩r<min(m,n)，下面的将被求解：

在本公开中对用于求解方程(S.1)的例示性WNMF算法进行了比较，包括加权乘性更新规则(本文称之为“Blondel”)，加权秩-1残差迭代(WRRI)方法，以及交替最小二乘牛顿(ALS-Newton)方法。

图11是根据本公开的实施例的、对用于级联显示器中的超分辨率的采用双精度分解的例示性WNMF方法的性能进行比较的数据图。图1110中呈现的数据示出目标函数对迭代，图1120中呈现的数据示出PSNR对迭代。

在图11呈现的示例中，三种WNMF方法中的每一种均用来将目标HD图像(1576×1050像素)分解为秩-1双层表示。每种方法均使用双精度浮点数实现。所有这三种方法在数次迭代后均获得类似的结果，并且当应用较少次迭代时WRRI获得较好质量。

图12是根据本公开的实施例的、对用于级联显示器中的超分辨率的采用单精度分解的例示性WNMF方法的性能比较的数据图。很明显，Blondel更新规则在数字上不如WRRI和ALS-Newton稳定。所有这三种方法均在GPU上实现以比较实际运行时间。结果显示与另外两种方法相比，WRRI在更少的时间内产生更好的分解。因为它要求更少的存储器访问(比其他两种方法少二分之一)所以它是最快的。在该示例中，当适用在针对秩-1分解的具体问题时，ALS-Newton针对秩-1是快速的。

表2列出当采用每种方法针对1576×1050帧运行三次迭代时我们获得的性能(计时在10帧上求平均)：

方法	Newton	WRRI	Blondel
				时间[ms]	15.554	12.256	18.053
FPS	64.3	81.6	55.4

表2

下面呈现对用于联合的时空超分辨率优化的例示性WNMF过程的阐述。

如果每个像素值在每次交错刷新时间被堆叠到用于每层的大向量中，则时空层重建被建模为加权秩-1NMF问题。假设给定非负矩阵为：

那么问题被阐述为下面的等式(S.2)

向量a和b包含在所有时间步长上的所有层像素。矩阵P₁、P₂是置换矩阵，其中P₁将置换ab^T的行，ab^T包含所有可能的空间和时间层交互(按照时间向前和向后)。矩阵P₂将置换该矩阵的列。它们一起置换ab^T，这样结果矩阵包含与一列中的特定时间步长相对应的堆叠图像。权重矩阵W向该矩阵的大部分指派0，其对应于无层交互。矩阵C是应用到超分辨图像的潜在模糊(例如漫射器)。小模糊允许邻近像素的附加空间耦合。

在描述时空优化问题(等式(S.2))之后，下一步是推导矩阵分解更新规则。为简单起见，可以使用乘性NMF规则(S.3)，包括权重适配。将理解该推导可以直接应用到其他NMF算法。如前面所呈现的，用于等式(S.1)的NMF规则为：

其中双线表示元素级除法。NMF问题的一般化可以利用如下更简单的推导，通过如下代入：

A：＝CP₁a

B : = {(b^{T} P_{2})}^{T} = P_{2}^{T} b - - - (S .4)

这样，等式(S.3)变为：

第三行成立是因为置换矩阵具有如下属性：

P^-1＝P^T

最后一行示出可以高效并行计算经更新的等式。针对a的更新根据如下的对称性成立：

使用等式(S.4)的推导可以类似地应用到WRRI更新规则。

下面的实施例采用使用ALS-Newton方法的例示性实时秩-1分解过程。根据本公开，例示性ALS-Newton方法被优化用于具体的超分辨率问题，尤其用于秩-1分解。

对于秩r＝1，来自等式(S.1)的一般非负矩阵分解问题简化为：

在交替最小二乘方案中，通过交替地求解两个变量a、b中的一个、同时固定另一个以及迭代来解决来自上述的双凸(biconvex)问题，如表3中所表示的。

表3

对于r＝1，非负性约束可以在步骤3和4中去除。在表1中的不受约束(并因此凸)的子问题之后，可以采用同一目标函数值或通过翻转负元素的符号(假设先前解也不损害约束)将解投影到非负解。因此可以推导出用于不受约束秩-1ALSWNMF过程的算法，如表4中所呈现的。

表4

迄今为止，非凸问题已被阐述为凸序列优化问题。表4中的“b-step”可以使用具有二次收敛的Newton的方法来求解。结果，f(b)的海森(Hessian)和梯度采用如下进行推导：

其中引入矩阵D_(·)，其从下标将矩阵放置在对角线上；还引入矩阵O_(·)，其对应于采用带下标的向量和向量化后的rhs(右侧操作数)的外向量积操作。第二行允许去除弗罗宾尼斯(Frobenius)范数，所以f的Hessian和梯度可以容易地导出。对于梯度，其表示为：

运算符O^T等于外向量积操作加上随后对结果矩阵的行的求和。因此仅需进行点级操作进行与a的外积，对相应矩阵的行求和，其随后产生关于b的梯度。

对于Hessian，采用下式得到对角矩阵

因为Hessian是对角矩阵所以Newton的方法中的逆(inverse)为简单的点除。表5示出了用于秩-1的完整的Newton的例示性过程，其可以用来实现表4中所示的过程。

表5

表6示出了用于秩-1分解的例示性实时CUDA代码，其支持三种不同的更新规则，Blondel、WRRI和ALS-Newton。代码包括两个内核。一个计算提名(nominator)(或梯度)和分母(denominator)(或Hessian)用于所考虑的层的更新，另一个实施给定那些分量的更新。

表6

表6(续)

下面的实施例采用例示性非负张量分解过程，其用于配置为用于超分辨率的多层级联显示器。

如上所述，多层级联显示器可以使用加权非负张量分解(WNTF)结合乘性更新规则。一般化的两层更新规则通过等式(4)来给出。

三层图像形成模型可以表示为：

s_{i_{1}, i_{2}, i_{3}} = Σ_{k = 1}^{K} w_{i_{1}, i_{2}, i_{3}} (a_{i_{1}}^{(k)} b_{i_{2}}^{(k)} c_{i_{3}}^{(k)}), - - - (S .11)

其中假设底层具有I₁个像素，中层具有I₂个像素，并且顶层具有I₃个像素。如上所述，在显示设备上以超过临界闪烁融合阈值的速率渲染K个时分复用帧，这样观看者可以感知到超分辨率的呈现的图像。对于帧k，顶层中的像素i₃的透射率标记为c_i3 ^(k)并且0≤c_i3 ^(k)≤1，w_i1,i2,i3标记像素i₁、i₂、i₃的累积重叠。

张量表示可以适用于图像形成模型。3阶、秩-K张量的规范分解可以定义为：

其中开始运算符表示向量外积并且{x_k,y_k,z_k}表示它们各自矩阵的第k列。等式(S.11)可以用来简明表达通过三层级联显示器的图像形成：

其中是包含子像素片段的有效发射率的稀疏张量，W也是对累积像素重叠制表的稀疏I₁×I₂×I₃张量，并且表示哈达玛(元素级)积。注意到{a_k,b_k,c_k}表示在帧k期间(例如按照字典顺序)显示在它们各自的层上的像素值。所以，矩阵A等于显示在第一层上的帧的串接，使得A＝[a₁,a₂,...,a_K](对于其他层也是类似的)

给定该图像形成模型，目标函数可以用于最优三层分解：

其中β是应用于目标子像素片段发射率的调光因数。该目标可以通过应用如下乘性更新规则来最小化。

在上述表达式中，⊙表达Khatri-Rao积：

X⊙Y＝[x₁＊y₁，x₂＊y₂，…，x_K*y_K].(S.18）

X_(n)是张量X的展开，其将X的节点n纤维排列到连续的矩阵列。对较高分解阶的泛化可以类似地导出。

图13示出根据本公开的实施例的、在使用两帧分解的级联四层显示设备上所显示的经捕获的图像。图14示出针对图13中的示例性级联四层显示器的针对单独层的经分解的帧。

在该模拟示例中，通过使用四个光衰减层的堆叠、每层沿每个轴移位1/4个像素的因数16来对“漂移”图像实施空间超分辨。从左到右示出目标图像、采用单(低分辨率)显示层的描绘和使用级联四层显示器的重建。可以看出，重要的上采样通过级联四层显示器来获得。

在该示例中，侧向偏移被一般化以使超分辨率能力最大化：通过将每层逐步移动1/4个像素并且因此创建是单层上的像素的16倍的子像素片段。如图13中的插图区域的保真度所展示的，使用两帧(即4阶、秩-2)分解获得高的超分辨率因数。

总之，为包含任意数目的偏移像素层和时分复用帧的级联显示器提供一般化的框架。例如，级联双层显示器提供装置，其采用由实时分解方法所支持的实用显示器架构(例如级联LCD屏幕和LCoS投影仪原型)使空间分辨率翻至四倍。

用于级联显示器的颜色滤波器阵列

LCD面板主要通过添加包括频谱带通滤波器的周期阵列的颜色滤波器阵列(CFA)来获得颜色显示。典型地，由白色背光所照明的可单独寻址子像素的三个相邻的列被分别滤波到红色、绿色和蓝色波长范围，一起表示单个完整颜色像素列。在足够视距处，颜色通道的空间复用变得察觉不到。在一些实施例中，已发现，当垂直对齐的CFA出现在每层上时，级联双层LCD仍可以使垂直分辨率加倍。然而，在不修改CFA结构的情况下增加水平分辨率可能是成问题的。

本文呈现两种修改以解决问题：(在最顶层上)使用单像素多颜色滤波器以及使用青-黄-洋红CFA。这两者的使用可以得到级联双层LCD，该级联双层LCD表现为沿每个轴具有两倍数目颜色子像素的单个LCD。

因为如果每个子像素片段具有独立的颜色滤波器则其可以描绘不同的颜色，所以可以使用单色面板(例如没有任何颜色滤波器阵列的那些面板)来构建级联双层LCD。在水平方向上和垂直方向上将这类显示器偏移半个像素创建是单层上的像素的四倍的子像素片段。为了创建空间复用的颜色显示器，可以使用具有每子像素一个颜色滤波器的CFA。这可以通过制造一个具有CFA的、间距为常规面板一半的面板来达成，使得在最外面的显示面板中的每个像素处出现两个垂直对齐的颜色滤波器。以该方式，每个子像素而不是较大层像素单独由单个定制CFA进行滤波。

作为替代，可以使用具有相同颜色滤波器阵列的两个LCD面板。图15示出通过具有青-黄-洋红颜色滤波器阵列(CFA)的双层级联显示器来创建子像素片段的例示性方法。在该示例中，针对每层，采用青-黄-洋红三色代替传统的红-绿-蓝滤波器(在1510和1520中示出)。这样，不同于具有红、绿、蓝滤波器的常规LCD，那些材质能够发出青色、黄色和洋红色波长范围。如所描绘的，两个不同滤波器的叠加合成红色(即洋红色和黄色的组合)、绿色(即青色和黄色的组合)和蓝色(即青色和洋红色的组合)，如图1530中所示。

给定固定的CFA，单个滤波器可以对每列像素起作用。考虑具有青、黄和洋红滤波器的周期阵列的一对LCD，以左手边的青色列开始。第二面板可以以向右一个半像素以及向上或向下半个像素的偏移被定位(参见图15)。这样的配置出现两倍的沿每个维度的子像素片段，覆盖其的表现为是常规红-绿-蓝CFA，具有两倍的每层中CFA的间距。

例如，在示出具有CFA的第一层的图1510中，第一列中的像素(a₁-a₃)为青色；第二列中的像素(a₄-a₆)为黄色，第三列中的像素(a₇-a₉)为洋红色，并且第四列中的像素(a₁₀-a₁₂)为青色。在示出与具有相同CFA的后方显示层直接接触放置的第二吸光显示器的图1520中，第一列中的像素(b₁-b₃)为洋红色；第二列中的像素(b₄-b₆)为青色，第三列中的像素(b₇-b₉)为黄色，并且第四列中的像素(b₁₀-b₁₂)为洋红色。

图1530示出偏移像素层的几何重叠创建子像素片段的阵列。颜色滤波器的频谱重叠创建有效的CFA，其表现为具有基底CFA的两倍间距的传统红-绿-蓝滤波器模式。更具体地，在列1531、1534和1537中的子像素为蓝色，在列1532和1535中的子像素为红色，并且在列1533和1536中的子像素为绿色。

该理念可以延伸至其他子像素布局和颜色滤波器，诸如2×2网格的青色、黄色、洋红色和白色。当在每个维度上偏移四分之一像素时，分辨率提升四倍，然而现在具有明显的青色、黄色、洋红色、红色、绿色、蓝色和白色子像素。将理解本文描述的多层青-黄-洋红CFA不是无所不包的，其作为示范性的示例而提供。

当采用2×2网格时，可以使用更一般的CFA模式和滤波器带通频谱本着如下基本原则：重叠的CFA可以合成调制单独子像素片段的任意目标CFA，同时利用创建每显示层每像素的单个颜色滤波器的现存的显示器制造过程。

在一些其他实施例中，利用高速LCD可以消除对CAF的需求。作为代替，使用场序制颜色(FSC)，在其中单色面板顺序显示每个颜色通道，同时背光颜色被改变。

在另一些其他实施例中，还可以通过使用具有两倍普通间距的红-绿-蓝CFA制造层之一、其他层不放置CFA来简单地获得有效的CFA。

例示性级联显示器性能

关于空间超分辨率，等式(3)的解分别为显示器设计者提供明显的图像亮度、空间分辨率和刷新率之间的灵活的权衡，如由调光因数β、目标图像的分辨率和分解秩K所捕获的。图16示出根据在不同参数(对目标图像集求平均的)下的作为调光因数β的函数所获得的峰值信噪比(PSNR)的数据图。图1061、1062、1063和1064分别对应于秩-1、秩-2、秩-3和秩-4。如所示的，采用调光因数0.25和四个帧获得高PSNR重建(如1064所示)。在该情况下，(如上述参考图4呈现的)启发式分解准确地重建了目标图像。(如1063所示的)的三帧分解紧密地接近采用四帧所获得的性能。最重要的，图16揭示了关键问题：空间超分辨率(具有超过30dB的PSNR)可以以原生显示器刷新率获得，而不降低明显的亮度。

关于时间超分辨率，等式(5)的解也提供亮度、分辨率和刷新率之间的灵活控制。意在用于时空超分辨率的架构可以包括(由嵌入在卷积矩阵C中的点扩散函数所表征的)光模糊元件。在一些实施例中，采用2×2像素均匀模糊内核的分解足以渲染针对各种目标视频的高PSNR重建，如下文将更详细描述的。然而，在一些其他实施例中，可以不添加模糊而获得有效的超分辨率，并且因此不需要包含其他漫射元件。

若干根据现有技术的超分辨率技术被利用以生成显示结果，并被与从根据本公开的级联显示系统所生成的那些显示结果进行比较。

根据现有技术中的附加超分辨率显示模型，通过振动显示器和叠加投影仪呈现叠加的、经移位的低分辨率图像集。已假设不引入运动模糊，其对振动显示器来说将进一步降低图像质量。

根据现有技术的光学像素共享(OPS)方法还用在所生成的图像上用于比较目的。OPS实现方案要求指定两个调整参数：边缘阈值和平滑系数。使用二维网格搜索来独立针对每个目标图像优化这些参数，以最大化PSNR或SSIM指标。实际上，总体平均调整参数被使用，其增加重建伪影。相比之下，根据本公开的级联显示器不要求优化任何这类调整参数，进一步有利地促进实时应用。

在每个这些显示器替代物中使用的空间光调制器可以具有可变的像素孔径比。如所注意到的，有限的孔径比转化为改进的图像质量用于附加的超分辨率显示器。然而，由于与限制孔径比相关联的工程挑战，来自附加叠加的空间超分辨率实际上受到了阻碍，特别是对于叠加的投影来说。进一步地，行业趋势正推进更高的孔径比(例如LCoS微显示器和节能LCD)。因此，在本文所呈现的所有比较中假设100％的孔径比。

从视觉比较和PSNR表可以做出若干观察结果。首先，对于这些示例，单帧级联显示器分解紧密接近或胜过利用两个时分复用帧的所有其他方法。这些PSNR优势转化为视觉上伪影的减少。

图17示出通过采用三个不同的超分辨率显示器的模拟所再现的图像块对超分辨率显示器的视觉比较。三个超分辨率显示器包括根据现有技术的使用两帧的附加超分辨率、根据现有技术的使用两帧的具有每图像PSNR和SSIM优化的边缘阈值以及平滑系数的OPS、以及根据本公开的使用一帧或两帧的级联显示器。

注意相对于常规(低分辨率)显示器(列1702)的增强。级联显示器(列1706和1707)显著胜过光学像素共享(OPS)(列1704和1705)，该OPS依赖于包含中继光学系统的类似的双调制架构。假设在附加模拟中没有使用运动模糊，附加超分辨率的模拟(列1703和1704)也表现得胜过OPS。

两帧级联显示器分解(列1707)以明显的优势乃至四帧附加超分辨率胜过所有其他两帧分解(例如列1703)。这凸显了由我们的基于矩阵分解的方法所使能的压缩能力的益处。

下面通过比较表征每个超分辨率显示器替代物的调制传递函数(MTF)来详述PSNR分析：指定空间超分辨图像的对比度，作为空间频率的函数。可以使用各种测试模式测量显示器的MTF，所述测试模式包括自然图像集、空间频率啁啾(chirps)以及倾斜边缘。这里采用啁啾波带片模式，并且其形式为(1+cos(cr²))/2,其中r＝sqrt(x²+y²),{x,y}∈[-π,π]，并且c控制最大空间频率。

图18A示出针对根据现有技术的显示器替代物和根据本公开的级联显示器的MTF的模拟比较。单帧级联显示器有效地使空间分辨率翻至四倍并且以与两帧附加显示器同等的水平实施。

MTF分析确认了早先关于每种方法的相对性能所做的观察结果。此外，它揭示了单帧级联显示器有效地使空间分辨率翻至四倍(沿每个图像维度加倍)，虽然通过压缩引入伪影，但维持了大于70％的对比度用于最高超分辨频率。图18A还示出用于两帧和三帧分解的MTF几乎相同，这表明级联显示器的实际应用可以无需多于一对的时分复用帧。

图18B示出针对例示性级联LCD显示设备的经测量的调制传递函数。当与常规显示器相比时，级联显示设备获得清晰的超分辨率。图18B示出用于1帧和2帧分解的来自级联LCD显示设备的经测量的MTF。虽然MTF低于模拟中所预测的，但它提供了对常规显示器的清晰改进。

图19是针对在根据现有技术的各超分辨率技术中所获得的和在根据本公开的级联显示器中所获得的自然图像集的、对以dB为单位的峰值信噪比(PSNR)进行比较的图表。图20是示出针对在根据现有技术的各超分辨率技术中所获得的和根据本公开的级联显示器所获得的自然图像集的、作为对所有颜色通道的求和的结构相似性指标(SSIM)的图表。

比较三种替代物：使用两帧或四帧的附加超分辨率显示器，使用两帧的光学像素共享(OPS)，以及使用一帧、两帧、三帧和四帧的级联显示器。附加超分辨率使用单个显示层，而OPS和级联显示器采用两个显示层。OPS包括两种版本。在一个OPS版本中，其边缘阈值被优化并且1/ε＝8用于平滑。在第二OPS版本中，边缘阈值和平滑参数1/ε均被优化。对于针对该图像集的光学参数的优化，在该表的最后一行中的平均PSNR被用作目标函数。对于表的右侧(灰色)，OPS参数被每图像优化用于最佳可实现质量。

数据证明，单帧级联显示器在PSNR和SSIM两方面均获得比两帧附加超分辨率显示器更好的质量。级联显示器大致获得两帧OPS显示器的质量：单帧级联显示器的平均PSNR略小于联合优化的OPS(我们对原始OPS论文的改进)，但我们的平均单帧SSIM略好于联合优化的OPS。具有两帧或多于两帧的级联显示器以明显优势胜过所有其他方法。

图21A示出目标图像、常规显示器、采用2帧和4帧的附加显示器、OPS以及级联显示器的倾斜边缘(秩-2)。图21B示出用于图21A中所呈现的不同方法的倾斜边缘MTF测量。

使用倾斜边缘方法计算MTF。在该情况下，从倾斜边缘的轮廓估计MTF。注意级联显示器的倾斜边缘MTF与目标图像的MTF相匹配。OPS很好地再现倾斜边缘，因为在明亮区域存在可以重新分配到边缘的足够的像素强度。

图22呈现根据本公开的实施例的、使用一对例示性8比特级联显示器来展示级联显示器的HDR应用的线性斜坡的外观。采用单个8比特显示器(2220)和使用两个8比特层的级联显示器(2230)来呈现目标斜坡(2210)。结果展示级联显示器还可以增加动态范围。如通过以上呈现的结果所观察到的，由于压缩导致的重建伪影通过采用两帧分解几乎被消除。

图23A示出关于自然电影在峰值信噪比(PSNR)方面比较时间超分辨率(图2311)对较低帧速率(图2312)的质量的数据图。图23B示出在结构相似性(SSIM)方面比较时间超分辨率(图2322)对较低分辨率(图2322)的质量的数据图。在以超分辨帧速率的目标视频和正常帧速率(即低帧速率)视频之间计算PSNR和SSIM。

虽然本文已经公开一些优选实施例和方法，但从前述公开中对本领域技术人员显而易见的是可以对这类实施例和方法做出各种变型和修改而不脱离本发明的精神和范围。意图是本发明所受的限制应当仅到由附随的权利要求和适用法律的规定和原则所要求的程度。

Claims

1.显示图像的方法，所述方法包括：

访问表示图像的原始图像数据；

将所述原始图像数据分解为第一图像数据和第二图像数据；以及

以有效显示分辨率在显示设备上显示所述图像的表示，其中所述显示设备包括具有第一原生分辨率的第一显示层和具有第二原生分辨率的第二显示层，

其中所述第一显示层覆盖所述第二显示层，以及

其中所述显示包括：

渲染所述第一图像数据用于在所述第一显示层上显示；以及

渲染所述第二图像数据用于在所述第二显示层上显示，以及

其中进一步地所述有效显示分辨率大于所述第一原生分辨率和所述第二原生分辨率。

2.根据权利要求1所述的方法，其中所述显示设备包括L个显示层，所述L个显示层包括所述第一显示层和所述第二显示层，其中L是大于1的整数值，并且其中进一步地所述L个显示层中的各显示层相对于紧邻显示层在两个方向上侧向偏移1/L个像素。

3.根据权利要求2所述的方法，其中所述显示包括使用所述L个显示层中的基底显示层的多个像素来调制所述各显示层中的像素。

4.根据权利要求2所述的方法，其中所述第一图像数据对应于所述图像的单个帧，并且其中所述第二图像数据对应于所述图像的单个帧。

5.根据权利要求1所述的方法，其中所述原始图像数据表示所述图像的像素的单个帧，其中所述第一图像数据表示所述图像的像素的第一多个帧，其中所述第二图像数据表示所述图像的像素的第二多个帧，其中所述渲染所述第一图像数据包括连续渲染所述第一多个帧，并且其中进一步地所述渲染所述第二图像数据包括连续渲染所述第二多个帧。

6.根据权利要求5所述的方法，其中所述第一多个帧在所述第一显示层上渲染，其与所述第二多个帧在所述第二显示层上渲染同步进行。

7.根据权利要求5所述的方法，其中在渲染所述第一多个帧期间的帧刷新时间与在渲染所述第二多个帧期间的帧刷新时间相比偏移所述第一显示层的帧刷新周期的一部分。

8.根据权利要求1所述的方法，其中所述分解包括根据迭代过程导出所述第一图像数据和所述第二图像数据。

9.根据权利要求8所述的方法，其中所述分解进一步包括访问权重矩阵，所述权重矩阵基于所述第一显示层和所述第二显示层之间的相对侧向和垂直位置和面内旋转、以及亮度衰减而生成。

10.显示图像的方法，包括：

以第一空间分辨率访问表示图像的一帧的第一帧；

以第二空间分辨率访问表示所述图像的所述一帧的第二帧；

顺序渲染所述第一帧用于在显示设备的第一显示层上显示；

顺序渲染所述第二帧用于在所述显示设备的第二显示层上显示，

其中所述第一显示层利用在两个方向上的侧向移位以所述第一显示层的像素的一部分覆盖所述第二显示层，以及

进一步地所述顺序渲染在所述显示设备上产生所述图像的所述一帧的有效显示分辨率，其中所述有效显示分辨率大于所述第一空间分辨率和所述第二空间分辨率。

11.根据权利要求10所述的方法，进一步包括：

以原始空间分辨率访问表示所述图像的一帧的原始图像数据，其中所述原始空间分辨率大于所述第一空间分辨率和所述第二空间分辨率；以及

将所述原始图像数据分解以导出所述第一帧和所述第二帧，其中所述第一帧包括四帧并且所述第二帧包括四帧，并且其中所述分解根据迭代方法实施。

12.根据权利要求10所述的方法，其中所述第一帧和所述第二帧均包括相同数目的帧，并且其中进一步地所述第一帧和所述第二帧在所述第一显示层和所述第二显示层上关于帧刷新时间同步渲染。

13.根据权利要求10所述的方法，其中用于渲染所述第一帧的帧刷新时间与用于渲染所述第二帧的帧刷新时间相比在时间上偏移一半帧刷新周期。

14.根据权利要求10所述的方法，其中所述显示设备包括L个显示层，其中L是大于1的整数，并且其中所述像素的一部分等于1/L个像素。

15.显示系统，包括：

多个显示层，所述多个显示层以级联方式布置并且包括第一显示层和第二显示层，其中所述第一显示层相对于所述第二显示层在两个正交侧向方向上偏移像素的一部分；

处理器，所述处理器耦连到所述多个显示层；

存储器，所述存储器耦连到所述处理器并且包括指令，所述指令当由所述处理器执行时实现显示图像的表示的方法，所述方法包括：

访问表示所述图像的第一图像数据和表示所述图像的第二图像数据；

以第一空间分辨率渲染所述第一图像数据用于在所述第一显示层上显示；以及

以第二空间分辨率渲染所述第二图像数据用于在所述第二显示层上显示，

其中进一步地所述图像的所述表示的有效显示分辨率大于所述第一原生空间分辨率和所述第二原生空间分辨率。

16.根据权利要求15所述的显示系统，其中所述第一图像数据表示所述图像的第一多个帧，其中所述第二图像数据表示所述图像的第二多个帧，其中所述渲染所述第一图像数据包括与顺序渲染所述第二多个帧同步地顺序渲染所述第一多个帧。

17.根据权利要求15所述的显示系统，其中所述第一图像数据表示所述图像的第一多个帧，其中所述第二图像数据表示所述图像的第二多个帧，其中所述第一多个帧和所述第二多个帧分别以具有相同刷新率的交错间隔刷新。

18.根据权利要求16所述的显示系统，其中所述像素的一部分等于半个像素。

19.根据权利要求15所述的显示系统，其中所述方法进一步包括：

以大于所述第一空间分辨率和所述第二空间分辨率的原始分辨率访问单个帧中的表示所述图像的原始数据；以及

使用乘性更新过程将所述原始数据分解为所述第一图像数据和所述第二图像数据。

20.根据权利要求15所述的显示系统，进一步包括耦连到所述多个显示层的颜色滤波器阵列，其中所述多个显示层包括平板显示器的液晶面板(LCD)、多类型显示面板的混合或数字投影仪的硅基液晶(LCoS)面板。