CN107431797A - 用于全视差光场显示系统的方法和装置 - Google Patents

Abstract

描述了具有集成显示器的3D视频处理系统，其中通过利用在源处的创新性3D光场视频数据压缩以及在显示器处根据高度压缩的3D视频数据对3D光场视频内容的创新性重构来降低对源到显示器传输介质的海量数据带宽要求。所述显示器结合了与量子光子成像器®集成的并行处理流水线以用于高效数据处置和光成像。

Description

用于全视差光场显示系统的方法和装置

相关申请的交叉引用

本申请要求2015年4月23日提交的编号为62/151,656的美国临时专利申请的权益。

技术领域

本发明一般涉及光场3D成像系统及其方法，诸如对用作输入的光场图像数据的图像和视频压缩、解压缩和调制。术语“光场”描述了光的传输和调制，其包括方向、幅度、频率和相位，因此对利用了诸如全息摄影、积分成像、体视法、多视图成像、自由视点TV（FTV）等技术的成像系统进行了概述。

背景技术

在本发明中，全息元件或“全息像素（hogel）”被定义为所采样光场图像的最小单元并且其包含可以由3D显示器在方向上调制到所有可用方向的信息。光场图像可以被表示为全息像素的2D图像矩阵。输入图像通常展示了全息像素之间充足的内在关联，其在现有技术中已经被利用（参见 M. Lucente，Diffraction-Specific Fringe Computation forElectro-Holography, Doctoral Thesis Dissertation, MIT Depart. of ElectricalEngineering and Computer Science, 1994年9月, Ohm, J.-R., “Overview of 3Dvideo coding standardization”， International Conference on 3D Systems andApplications, Osaka, 2013，Heun-Yeung Shum 等人, “Survey of image-basedrepresentations and compression techniques”，Circuits and Systems for VideoTechnology，IEEE Transactions on, vol. 13, no. 11, 第1020-1037页, 2003年11月，以及 Kundu, S. “Light field compression using homography and 2D warping”，2012IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP), 第1349-1352页, 2012年3月25日-30日），利用压缩算法来减少图像数据大小。

为了改善光场的压缩，新的3D视频编码标准正在考虑采纳来自计算机视觉领域的技术（ISO/IEC JTC1/SC29/WG11, Call for Proposals on 3D Video CodingTechnology, Geneva, Switzerland, 2011年3月）。通过使用每像素的深度，参考图像可以被投影到新的视图，并且可以使用经合成的图像代替对新图像的高代价传输。该技术要求在解码器侧的增加数量的计算资源和本地存储器，从而对它的实时实现方式提出了挑战。3D视频压缩工具也正以它们在水平布置的序列中的使用为目标，并且不利用光场的2D几何布置。为光场图像压缩专门研发的方法包括由Levoy等人描述的向量量化方法（“LightField Rendering”，Proceedings of the 23rd annual conference on ComputerGraphics and Iteractive Techniques, SIGGRAPH 96），以及由Magnor等人描述的基于视频压缩的方法（Data Compression for Light-Field Rendering, IEEE Transaction onCircuits and Systems for Video Technology, v. 10, n. 3, 2000年4月, 第338-343页）。向量量化的使用受到限制并且不能实现高度压缩性能，诸如由Magnor等人介绍的那些。他们提出的方法与多视图压缩算法相似，其中利用图像的几何规整度以用于差异估计。然而，所提出的压缩算法要求增加数量的本地存储器，并且不适合于实时实现方式。此外，标准3D视频压缩算法（Ohm, J.-R.，“Overview of 3D video coding standardization”，International Conference on 3D Systems and Applications，Osaka，2013年）或者甚至具体的光场压缩方法（Heun-Yeung Shum 等人，“Survey of image-basedrepresentations and compression techniques”，Circuits and Systems for VideoTechnology，IEEE Transactions on，vol. 13，no. 11，第1020-1037页，2003年11月以及Kundu, S. “Light field compression using homography and 2D warping”，2012 IEEEInternational Conference on Acoustics，Speech and Signal Processing (ICASSP)，第1349-1352页，2012年3月25日-30日）不能处理由高分辨率光场生成的极大的数据量。如可以由本领域的技术人员理解的是，只有现有技术中描述的有限数量的压缩方法可以被实时地实现，并且这些方法都不能渲染和/或压缩实时驱动全视差无VAC显示器所需要的数据量。此外，通常将压缩算法设计用于储存或者网络传输（Bhaskaran, V. “65.1: invitedPaper: Image/Video Compression – A Display Centric Viewpoint”，SID SymposiumDigest of Technical Papers, vol. 39, no. 1, 2008年），并且在光场显示系统的情况下，显示器具有不能被常规压缩算法满足的具体时序和存储器要求。

3D系统在传统上受限于显示器处置光场的海量数据要求的能力。甚至当采用了压缩时，显示器也必须处理经解码的数据，其大小可能容易将显示系统压垮（overwhelm）。代替应用压缩，许多光场显示实现方式诉诸于在源处的光场的维度上进行降低，作为对数据上的增加的妥协。然而，限制光场显示器的分辨率可能对感知质量具有显著影响并且甚至引起视觉疲劳。例如，超级多视图显示器（诸如在以下文献中所介绍的显示器：Takaki, Y.,“High-density directional display for generating natural three-dimensionalimages”，Proc. IEEE, vol. 94, no. 3, 第654-663页，2006年3月Balogh, T.，“TheHoloVizio system”，Proc. SPIE 6055，Stereoscopic Displays and Virtual realitySystems XIII，60550U (2006年1月27日)以及 Iwasawa, S. 等人，“REI: anautomultiscopic projection display”，Proc. 3DSA 2013，Selected paper 1）消除了光场的竖直视差，将运动视差限制到仅水平移动。积分成像显示器（参见Arai, J.，“Three-dimensional television system based on integral photography”，Picture CodingSymposium (PCS)，2012, vol., no., 第17-20页，2012年5月7日-9日，Javidi, B.，Seung-Hyun Hong，“Three-dimensional holographic image sensing and Integral Imagingdisplay”，Display technology, Journal of, vol. 1, no. 2, 第341-346页，2005年12月以及 Park, J. H., Hong, K. 和 Lee, B. “Recent progress in three-dimensionalinformation processing based on integral imaging”，Applied optics 48, no. 34(2009)）再现全视差光场，但是受限于显示器分辨率，以及通常降低了角分辨率（以及因此降低景深）以增加空间分辨率。用于全息显示器的方法（参见M. Lucente, Diffraction-Specific Fringe Computation for Electro-Holography, Doctoral ThesisDissertation, MIT Depart. of Electrical Engineering and Computer Science,1994年9月）诉诸于降低显示器刷新频率以便减小传输介质带宽。在Holliman, N. 等人的“Three-Dimensional Displays: A Review and Application Analysis”（Broadcasting,IEEE Transactions on, vol. 57, no. 2, 第362-371页，2011年6月）、Urey, H. 等人的“State of the Art in Stereoscopic and Autostereoscopic Displays”（Proceedingsof the IEEE, 第540-555页，Volume: 99, Issue: 2011年4月4日）、以及 Masia, B. 等人的“A survey on computational displays: Pushing the boundaries of optics,computation and perception”（Computers & Graphics 37.8 (2013)）中的工作提供了光场显示器的更多示例。然而，本领域技术人员将立即认识到的是，这样的技术限制了光场显示器如实地再现真实3D对象的能力。现有技术未能解决由高分辨率光场显示器所提出的挑战（诸如高压缩率、高质量、低计算负载以及实时响应）。因此，需要用于高分辨率光场的新的方法和装置。

附图说明

为了理解本发明以及为了明白如何可以在实践中实现本发明，仅作为非限制性示例参考附图描述本发明的具体实施例。因此，提供了详细的实现要素来辅助理解示例性实施例，同时可以以不同实现方式来实践本发明。并未详细描述公知的功能或构造以免使本发明因必要的细节而晦涩难懂。

图1图示了现有技术的架构。

图2图示了现有技术的限制。

图3图示了本发明的架构。

图4图示了本发明的显示匹配的编码过程的细节。

图5图示了在本发明的显示匹配的编码过程的一个实施例中使用的用于种子全息像素纹理编码过程的细节。

图6图示了在本发明的显示匹配的编码过程的一个实施例中使用的种子全息像素差异编码过程的细节。

图7图示了在本发明的显示匹配的编码过程的一个实施例中使用的残余全息像素差异编码过程的细节。

图8图示了在本发明的显示匹配的编码过程的一个实施例中使用的残余全息像素纹理编码过程的细节。

图9 描绘了用以增大光场分辨率的组件平移。

图10描绘了用以增大光场分辨率的组件旋转。

图11示出了使用旋转和平移来增加光场分辨率的本发明的实施例的时序。

图12示出了具有本发明的可能实施例的报头信息的表格。

图13描绘了用于即时（just-in-time）解码的数据包交织器（packetinterleaver）的可能策略。

图14图示了在本发明的一个实施例中使用的用于针对种子全息像素的比特率分配的方法。

图15图示了在本发明一个实施例中使用的用于针对残余全息像素的比特率分配的方法。

图16图示了在本发明的3D成像系统的显示器侧对所接收到的比特流的解码。

图17示出了针对管理硬件单元的固件软件的概念而利用的状态机流程图。

图18图示了处理节点之间的互连。

图19示出了处理节点的内部结构（具有所有它的硬件单元和存储器块）。

具体实施方式

三维（3D）显示器对于医学应用、科学应用、军事应用以及娱乐可视化应用、虚拟原型应用以及更多应用来说是极其有价值的。不幸的是，因为计算机显示器在一个表面上呈现图像，3D显示器经常在感知的3D结构中产生失真并且对观察者引起不舒适和疲劳。3D显示器的最大难题之一是辐辏（vergence）和调节（accommodation）的不耦合，其被表示为视觉辐辏调节冲突（VAC）（Hoffman, D. M. 等人，“Vergence-accommodation conflictshinder visual performance and cause visual fatigue”，Journal of Vision 8, no.3, 2008），其降低了人们融合双眼刺激的能力。

然而，光场显示器（Alpaslan, Z. Y. 等人，“Small form factor full parallaxtiled light field display”，SPIE Conference on Stereoscopic Displays andApplications XXVI，2015）对从场景的对象发出或反射的光射线的强度和方向进行调制，并且因此允许观察者直接聚焦在3D对象上而不是聚焦在显示器的屏幕上，从而消除VAC。捕获光场的方式之一是在两个平行平面中对光射线的进入点和离开点进行参数化（Levoy,M. 等人，“Light Field Rendering”，Proceedings of the 23rd annual conference onComputer Graphics and Iteractive Techniques，SIGGRAPH 96）。为了如实地再现光场，经参数化的平面需要被密集地采样。这导致海量数量的数据，并且对显示系统上强加了极高的处理要求和存储器要求。

例如，具有XGA空间分辨率（1024×768）、100°视场和0.4°角分辨率的显示器需要调制大约500亿像素，其合计总共1.17 T比特的数据。考虑到24比特每像素，最先进的视频压缩格式（H.264/AVC）可以管理以大约12Gb/秒的数据比特率（ISO/IEC 14496–10:2003,“Coding of Audiovisual Objects—Part 10: Advanced Video Coding”，2003, 另见ITU-T Recommendation H.264 “Advanced video coding for generic audiovisualservices”）压缩超高分辨率视频帧（4096×2304 @ 56.3 帧/秒，或者 5 亿像素/秒）。为了以60 Hz视频速率实时压缩光场，相同的H264/AVC将需要能够实现高至20T比特/秒的数据速率，比当前允许的最高数据速率高得多。

本发明公开了用于光场3D成像的方法和装置，其能够借助于具有非常高像素间距的显示装置来再现紧密采样的光场。本发明利用本文所公开的光场压缩方法来减小光场生成器与光场显示设备之间的传输介质带宽。此外，所公开的装置能够接收经压缩的输入并且直接在显示器处重构光场。

量子光子成像器（QPI成像器）是一种显示技术，其能够在不对运动视差或景深进行妥协的情况下产生具有极高分辨率的全视差光场显示（参见编号为7,623,560、7,767,479、7,829,902、8,049,231、8,243,770、8,567,960的美国专利以及El-Ghoroury, H. S.等人的 “Quantum Photonic Imager (QPI): A New Display Technology and ItsApplications”，（邀请）Proceedings of The International Display Workshops Volume21，2014年12月3日）。所述QPI成像器可以实现具有高亮度和延伸色域的5 μm像素大小。其能够构造拼接显示，并且其小像素间距提供了可伸缩性以实现具有延伸景深的高分辨率全视差光场显示。拼接显示允许对光场进行并行处理，这对于实时光场显示是必要的。尽管如此，所有元件的连接和管理也需要被仔细设计。所述QPI成像器提供一种数字接口，所述数字接口能够将若干其他相似的QPI成像器互连以实现拼接显示。数字接口接收经压缩的数据以降低传输介质带宽要求，并且在显示器处直接执行数据扩展。此外，压缩算法被设计为利用硬件结构。经压缩的颜色和附加信息被发送到显示拼块，使得它们可以共享并且重复使用数据以及同时实现更高压缩和实时解码。

本发明提供了一种手段来实时显示3D全息信息。本专利中呈现的方法和装置基于下述文献中所描述的系统：Graziosi等人的“Depth assisted compression of fullparallax light fields”，IS&T/SPIE Electronic Imaging. International Societyfor Optics and Photonics（2015年3月17日），所述文献的公开内容通过引用整体地结合于本文。本发明的实施例包括用于计算的数字计算部件和方法，其特别适合于处理图像和视频数据。所述视频数据是表示3维对象的高度压缩的数据。此外，显示和处理元件被集成到同一设备中。所采用的架构允许并行执行利用指令的处理部件或处理元件，所述处理部件或处理元件特别适合于借助于但不限于熵解码、数据扩展、错误校正、逆图像变换以及颜色校正来对视频数据解压缩。此外，所述处理元件特别适合于准备用于在其自己的表面上显示的数据，显示器是量子光子成像器。主输入接口被连接到许多处理节点中的一个节点，该节点然后基于对该数据包的识别来判定数据是用于该特定节点还是用于其他节点中的任意。在数据包属于不同节点的情况下，数据被适当地转发到正确的目的地。如果所接收的数据指向处理节点，则该节点根据数据的类型来处理数据。数据具有多种不同风格，其全部都被解码并且被用在随后的步骤中以用于全息像素纹理生成。最终步骤是准备用于显示的全息像素纹理。所公开的发明使用低功率元件实时地再现光场，并且能够提供沉浸式、无VAC的 3D感知。

本发明利用了计算机图形领域中的一些公知技术，其为了完整性而在本文定义。

在基于微透镜的成像系统中，每个微透镜对由微透镜下方的全息像素所生成的像素的方向进行调制。在基于折射的成像系统中，全息像素是全息图的最小单元，其包含所有经调制的频率。

在计算机图形学中，创建场景或场景视图的动作被称为视图渲染。通常，3D模型与照明、表面属性以及相机视点一起使用。该视图渲染通常要求若干复杂操作并且还要求对场景几何结构的详细了解。一种渲染新颖视图的替换技术是使用多重环境视点。称为基于图像的渲染（IBR），这种技术直接根据对光场进行过采样的输入图像来渲染新颖视图。IBR生成具有更现实的质量的视图，然而其要求光场中的更密集的数据采集过程、数据存储和冗余性。复杂几何模型与数据密集IBR之间的折衷（tradeoff）是深度信息的使用以及所选择的视图数量。每个视图具有与每个像素位置相关联的深度，也被称为深度图。所述深度图然后被用来合成新视图，即，被称为基于深度图像的渲染（DIBR）的过程（参见编号8,284,237的美国专利，“View Synthesis Reference Software (VSRS) 3.5”，wg11.sc29.org，2010年3月，以及 C. Fehn的“3D-TV Using Depth-Image-Based Rendering (DIBR)”，Proceedings of Picture Coding Symposium，San Francisco，CA，USA，2004年12月）。DIBR利用虚拟相机的外在和内在参数以及深度信息来将2D屏幕的点投影到它们各自的3D位置中，并且然后在目标2D屏幕上重投影3D点（被称为前向扭曲的操作）。在已知目标视图的深度值的情况下，反向操作也是有效的，并且从参考视图取得纹理值。在该情况下，所述操作被称为后向扭曲。DIBR合成的最大问题是由于深度值、舍入错误以及对象去阻塞（objectdisocclusion）中的不精确性所导致的孔洞生成。

本发明应对光场的压缩和显示，包括但不限于空中地形纹理图像、雷达或者LIDAR（光检测和测距）数据，它们具有地形标高或城市地图、景观、计算机生成的3D影像、医学图像、利用光场相机或多个相机同时地或在不同时间所拍摄的图像。光场可以由与两个平行平面相交的光射线来表示。在等同于2D相机阵列设置的过程中，在两个平面中一致地采样光射线交叉以形成所采集的光场。每个相机视图被视为“基本图像”或等价地视为全息像素。本发明利用正捕获的相机视图的相关联的几何信息和纹理来在将光场传输到光场显示设备之前对光场进行压缩。所使用的几何信息是每像素差异或视差，其表示在两个相邻相机视图之间的对象的位移。所述每像素差异可以从深度得到，反之亦然。由于在解码器侧对实现方式的简化，优选的实施例使用了差异，在代替划分的情况下，仅简单的像素移位被用于扭曲；然而，可以使用深度值来实现相同的发明。压缩被设计成考虑到光场显示的要求（诸如较低的延迟和受约束的存储器）；即，压缩算法匹配显示能力。因此，该压缩方法被称为显示匹配压缩（Display-Matched Compression）。与现有技术相比，本发明的方法能够通过利用其计算能力基本上降低光场生成器与光场显示设备之间的传输介质带宽要求。

在图1中描绘的现有技术中，3D光场数据101通过渲染操作102被采样并且被数字化。所述渲染操作生成了负责调制3D数据视图115的海量数量的数据105，其对于与常规显示器110的连接强加了高传输介质带宽要求。为了减少处理负载，观看质量通常在现有技术中通过将3D效果限制到水平轴而被妥协。因此，如在图2中所描绘的，来自常规显示器110上任意给出点的光射线211将水平视差图像215投影到观看者。

如在图3中所描绘的，由本发明公开的光场显示器310具有显著的计算能力并且能够接收高度压缩的数据来在调制3D数据视图315的同时显著地降低数据305传输介质带宽要求。通常在两个功能阶段中实现对3D数据101的压缩；即，由显示匹配的编码器303跟随的压缩渲染302生成针对光场显示设备修整的压缩比特流。如在Graziosi等人的“Depthassisted compression of full parallax light fields”，IS&T/SPIE ElectronicImaging. International Society for Optics and Photonics（2015年3月17日）中所公开的，本发明采用的渲染方法同时将3D数据渲染和压缩成压缩光场格式。

本发明的一个可能实施例使用并行编码/解码架构，其目的在于在显示系统的严格处理和存储器约束内实现高压缩。为了实现对于处理光场数据所需要的吞吐量和存储器，并行工作的多个处理节点（PN）对它们各自的全息像素子集进行解码以共同地重构整个光场。应注意到的是，显示匹配压缩可以被设计成将在显示器侧对硬件的选择与其处理吞吐量和存储器能力进行匹配。这是显示匹配压缩的一个重要特征，因为其允许本发明的3D压缩成像系统充分利用半导体技术中的持续进步以及其逐步提供的处理吞吐量和存储器方面得到的增加。在以下段落中描述的实施例中讨论了显示匹配压缩的一些变体。

被用来实现显示匹配压缩的光场的光场全息像素划分的一个示例是将全息像素阵列划分成包括N×N个全息像素的独立组中。N的值是取决于显示器处理能力而选择的参数中的一个并且N的范围可以是从1（当所有全息像素由独立PN解码时）到整个光场（当所有全息像素由一个PN联合处理时）。

在图4中图示了显示匹配压缩。所述光场通常结合相当数量的关联并且需要被压缩。这在本发明中通过利用显示匹配编码器303来完成，所述显示匹配编码器303压缩光场数据（纹理411和差异412）并且生成比特流413。在该实施例中，PN全息像素区域内的一个或多个全息像素（在本文称作“种子全息像素”）将被独立编码并且剩余的全息像素（在本文称作“残余全息像素”）将相对于所选择的种子全息像素而被编码。参照图4，来自种子全息像素的像素的种子全息像素差异401和种子全息像素纹理402被编码406、407（如在以下段落中所解释的），并且被添加到比特流413。为了使用种子全息像素对残余全息像素进行编码，编码器和解码器两者都使用相同的参考是重要的。因此，图4中图示的编码器结构包括解码回路405，其重构与要由解码器使用的种子全息像素纹理和差异的值完全相同的种子全息像素纹理和差异的值。在图4中图示的下一个编码过程中，使用经解码的种子全息像素405及其对应差异作为参考来对残余全息像素纹理403进行差异补偿，并且仅残余信息被编码408并且被添加到比特流413。在残余全息像素的差异404对纹理编码是有益的情况下，由于其有可能可以改善差异补偿预测，所以还可以使用种子全息像素差异401对残余全息像素差异404进行编码并且将其插入比特流中413。光场显示器然后在本地解码所接收的数据413并且重构（调制）组成光场411的全息像素阵列。注意到在本发明中，可以通过使用差异信息412来避免光场的全重构，得到仅应对压缩数据的光场成像系统。本发明的一个可能实施例可以使用压缩显示器，诸如编号2010/0007804和2010/0225679的美国专利申请公布，其描述了使用离散沃尔什变换（DWT）或离散余弦变换（DCT）系数作为对显示器的输入并且使用人类视觉系统（HVS）的综合方面执行解压缩的方法。

图5图示了针对种子全息像素纹理编码407的细节。种子全息像素纹理402被分段成k×k个像素的块501。对于像素的每个块，种子全息像素纹理值由固定值502进行层级移位，即，像素值被减去像素值的可能范围的中心值，以便获得正值和负值（在8比特范围的情况下，使用恒定值128）。种子全息像素颜色空间然后被转换到将颜色通道503去关联的颜色空间。针对本实施例的颜色空间转换的一个示例是RGB到YCoCg颜色转换（参见Malvar, H.S. 等人的“Lifting-Based Reversible Color Transformations for ImageCompression”，Proceeding SPIE Applications of Digital Image Processing，2008）；然而也可以在没有限制的情况下使用其他颜色空间，包括但不限于YUV或YCbCr。接下来，诸如DCT变换或整数变换（参见G. J. Sullivan等人的“The H.264/AVC Advanced VideoCoding Standard : Overview and Introduction to the Fidelity RangeExtensions”，SPIE Conference on Applications of Digital Image ProcessingXXVII，2004）等等的图像块变换504被应用到每个颜色通道。所述变换将种子全息像素纹理块的能量集中在仅几个系数中。然后使用根据块变换系数的能量分布和统计信息而调整的缩放参数来对这些系数进行量化505。因为种子全息像素稍后被用作参考，块变换系数的质量需要被尽可能多地保留。然后使用DPCM（差分脉冲编码调制）方案506来对通常包含大多数块信息的DC系数分别进行编码，同时使用例如Z字形扫描和游程编码来对AC系数进行扫描和编码507。最终，优选地使用霍夫曼熵编码器、上下文自适应二进制算数编码器（CABAC）或上下文自适应变长编码器（CAVLC）等等来对比特流进行熵编码208。应当注意的是，本发明的范围不限于如图5中图示的在本段中所描述的编码步骤和方法，并且替换的编码方法、算法和实施方式在本发明的情境内也是可能的。

图6图示了种子全息像素差异编码401的细节。由于种子全息像素的纹理编码和差异编码之间不存在相依性，可以取决于可用处理能力而同时地或者按顺序独立执行纹理和差异编码。对于差异值的编码而言，首先完成对值的行扫描601，然后执行游程编码602。最后，对值进行熵编码508并且将其添加到比特流，籍此优选地使用霍夫曼熵编码器、上下文自适应二进制算数编码器（CABAC）或上下文自适应变长编码器（CAVLC）等等来执行熵编码。在本实施例中，在没有任何损失的情况下完成差异信息的压缩，但是也可以使用用以压缩差异的其他方案。应当注意的是，本发明的范围不限于如图6中所图示的在本段中所描述的编码步骤和方法，并且替换的编码方法、算法和实施方式在本发明的情境内也是可能的。

图7图示了在图4的残余编码过程409中执行的对残余全息像素差异404的处理的细节。如在图7中描绘的，残余差异404与扭曲种子差异之间的差值（即，应用DIBR 701之后的经移位的种子差异）被分段成k×k个像素的块501，并且由于大多数块将很可能是零，仅进一步处理非零值。然后，在被进一步处理之前，这些非零值被扫描（例如，Z字形扫描）并且被游程编码507，然后也被熵编码508。类似于种子差异，所公开的过程是无损的。然而，本领域技术人员将立即认识到包括无损压缩和有损压缩的这种方案的变化也被包括在本发明中。

图8图示了在图4的残余编码过程408中执行的对残余全息像素纹理403的处理的细节。参考图8，通过DIBR 701获得重构的种子全息像素405（其是图4的种子解码步骤407的输出）、其解码的差异（其由于所述差异被无损编码而是与种子差异401完全相同的值）以及残余差异405、残余全息像素纹理的合适的差异补偿重构。对残余全息像素纹理的这种差异补偿的预测是通过将种子全息像素移位到残余全息像素位置而形成的。在仅使用一个参考种子全息像素的情况下，在该扭曲操作期间可能出现孔洞。基于块的变换编码被用来对孔洞以及来自该扭曲操作的任何得到的不精确性进行编码。类似于图5的种子全息像素纹理编码的过程，残余全息像素纹理403与其差异补偿的预测701之间的差别被划分成k×k个像素的块501，它们的颜色空间被转换503、被变换504、被量化505、被扫描以及被游程编码507。对结果进行熵编码508并且将其添加到比特流。应当注意的是，本发明的范围不限于如图8中图示的在本段落中所描述的编码步骤和方法，并且替换的编码方法、算法以及实施方式在本发明的情境内也是可能的。

比特流时序-

QPI成像显示器还可以被用在独特的空间光学（编号2013/0141895的美国专利申请公布）和空间时间（编号2013/0258451的美国专利申请公布）光场调制器配置中以改善系统性能。通过结合整个组件的铰接移动，光场显示器的视场以及空间分辨率可以被增加。对压缩算法的影响是用于压缩的增加的数据量。例如，在图9中，我们可以看到通过竖直地和水平地平移图像903来增加空间分辨率的示例，其从四分之一HD图像（960×540）的原生分辨率901增加到全HD（1920×1080）的显示分辨率902。注意到，高分辨率图像的像素需要被按组发送到显示器，由显示图像902的像素位置来指示。这种像素分组也影响压缩算法。例如，在位置0中的所有像素需要在位置1中的像素之前准备好用于显示，因此当执行压缩时，压缩需要考虑到像素呈现时间。注意到，图9中呈现的顺序仅是示例性的，以及其他顺序也是可能的。在图10中我们看到了对显示组件的旋转1002的效果。在本示例中，图像沿着x轴和y轴旋转±30°来增加其视场。利用这样的移动，新图像1001具有是先前9倍的像素计数。类似于平移，旋转也呈现在单独的时间帧中，并且所有数据需要在显示器到达该特定位置之前准备好用于调制。在图11中，图示了使用旋转和平移的时间划分的分级结构。对于60帧每秒的情况，每个帧1101具有用于显示的16.666 ms。该时间在旋转1102之间被划分。对于每个旋转时隙，时间被划分成组件移动的持续时间1103和组件在特定位置中静止的时间1104。该时隙然后被划分成4个平移1105，其中每个平移时隙被划分成组件移动到该特定位置所花费的时间1106和组件静止的时间1107。组件的平移位置和旋转位置借助于如在图12中描绘的表格中所图示的具体报头而被传递到解码器。比特流被分段成由它们的报头所区分的数据包，其然后被分布在处理节点当中以用于适当显示。注意到，在并行架构中，许多数据包是同时生成的。由于显示器的时间约束，一些数据包需要在其他数据包之前到达显示器。因此，也以对应的顺序来布置数据包。图13示出了将数据包重新排序1301以允许即时解码的方法的实施例。因为种子全息像素可以被用于显示但也可以被残余全息像素用作参考，因此它们需要被首先发送。为了在旋转时段期间所有处理节点开始解码过程，它们需要至少接收种子信息和第一平移。因此，所有处理节点的数据包是交错的以使得每个节点可以在数据包到达时开始处理部分信息。本地存储器可以储存经处理的信息（经解码的种子全息像素），并且仅利用种子信息，处理节点能够开始生成针对残余全息像素的预测。一旦针对残余全息像素的纹理到达，预测可以被校正并且内容准备好用于显示。

自适应全息像素编码速率优化-

本发明的显示匹配压缩方面的一个重要特性是光场显示系统的各种部件之间的接口传输比特率的自适应分配。考虑到3D显示系统所需要的过分的接口比特率，可用的接口数据速率（或比特率）被视为几乎所有3D显示系统中的主要瓶颈。由于在本发明的3D压缩成像系统中，种子全息像素被用作参考，这些全息像素被编码具有更多比特以尽可能多地保留它们的质量，并且在接口数据速率（或比特率）的分配中被给予优先级，以及用于对残余全息像素进行编码的参数是经受可用接口数据速率的约束而被自适应选择的。图14和图15图示了应用本发明来分别针对种子全息像素以及针对残余全息像素自适应分配比特率的方法。参考图14，计算可用于对种子全息像素纹理和差异进行编码的总数比特1401。本发明的一个可能实施例考虑了图11中示出的时序。用于种子编码的可用比特数量可以由以下公式确定：

，

其中时钟指示了时钟的频率，因子是取决于被利用存储器的倍增因子（如果存储器准许并行读取/写入，则该并行被反应在该因子中），fps是每秒的帧数量，#旋转是旋转的数量，以及%时间是用于数据传输的特定时隙的百分比（例如，在图11中给出的时序指示旋转组件所花费的50%时间，其可以被用于数据处理）。选择需要最多数量的比特来对其差异进行编码的种子全息像素的纹理以优化编码量化步长1402。在图5的量化块505中使用的编码量化步长控制在纹理系数中呈现的信息的级别，并且可以以引入可能失真为代价减少对全息像素进行编码所必要的比特数量。由总可用比特率减去对差异信息和报头信息进行编码所需要的比特率来确定可用于对该种子全息像素纹理进行编码的比特率1403。选择导致在对种子全息像素纹理进行编码时可能的最小失真的编码量化步骤参数1404并且使用对应的编码量化步长来计算对种子全息像素纹理进行编码所需要的比特率1405。当所计算的比特率比可用比特率少时，选择用于对种子全息像素纹理进行编码的量化步长1406，否则增加量化步长1407以及重新计算种子全息像素纹理比特率直到种子全息像素纹理比特率低于可用比特率。参考图15，存在可以用来将经编码的残余全息像素比特率与可用的剩余比特率进行匹配的若干可能的编码模式1501，诸如发送校正纹理、差异、或者甚至略过全息像素以及仅使用可用预测。评估在使用这样的模式中的任意一个时相应于对残余全息像素进行编码所需要的比特率的可行性以及所得到的质量，以及作为选择而消除不可行的编码模式1502。也消除导致比可用比特率更大的比特率的编码模式1503。类似于用于针对种子全息像素所使用的比特数量的公式，用于残余全息像素编码的可用比特数量可以由以下公式来确定：

，

其中时钟指示时钟的频率，因子是取决于被利用的存储器的倍增因子（如果存储器准许并行读取/写入，则该并行被反应在该因子中），fps是每秒的帧数量，#旋转是旋转的数量，#平移是平移的数量，以及%时间是用于数据传输的平移时隙的百分比。使用拉格朗日成本优化来完成在剩余的编码模式当中的选择1504，其中成本函数由经选择的质量度量（metric）（例如，最小失真）加上λ乘以比特率来定义，其中λ是根据量化步骤得到的参数。残余全息像素编码比特率的优化考虑到可用比特率以及选择具有最小成本函数的编码模式并且从可用于残余全息像素编码的总比特减去所使用的比特数1505，并且为了保留所选择的质量度量，仅在缺少足够比特率的情况下诉诸于使用更少比特的编码模式1502。

压缩光场的解码-

图16图示了在光场显示器处接收的比特流的解码流。本发明的显示匹配压缩方面的主要优点之一是它使得光场显示器接收经压缩的比特流以及对比特流直接解码以重构光场是可行的，这是因为本发明的全息像素压缩被制成将在显示器侧可用的计算能力与时间要求进行匹配。参照图16，在显示器侧的解码器接收比特流并且仅在压缩域中执行处理以重构光场，同时避免使用在常规解压缩技术中所使用的扩展数据方法。如由图16图示的，光场显示器接收了经编码的比特流并且首先执行熵编码1601。通常使用在显示器表面上标识数据包的类型和相关全息像素的坐标的报头来使比特流数据包化，在图12中呈现所述方法的一个实施例。若干数据包类型被用于信号发送多样的光场信息，以及这种数据包的四种类型包含需要被显示器进一步解码的实际的全息像素有效负荷信息：种子全息像素纹理、种子全息像素差异、残余全息像素纹理以及残余全息像素差异。对于种子全息像素纹理，在光场显示器侧执行编码侧的反向操作，其中在DPCM解码1602之后获得DC系数，同时在游程解码和扫描1603之后获得其他系数。对所接收的种子全息像素纹理数据进行进一步反向量化509、反向变换510、颜色空间转化以及层级移位512以生成重构的种子全息像素纹理405的精确复制品。所接收的种子差异数据被游程编码1604以生成种子全息像素差异401的精确复制品，并且然后将经重构的种子全息像素纹理405和经解码的差异401两者都保持在显示器本地存储器中以由DIBR块701用来生成用于残余全息像素纹理403的解码值。如在图16中图示的，对所接收的残余全息像素差异数据进行游程解码和扫描1603，然后使用DBIR过程将其与储存在存储器中的经解码的种子全息像素差异401进行组合以生成经解码的残余全息像素差异404。如在图16中图示的，对所接收的残余全息像素纹理数据进行游程解码和扫描1603、反向量化509、反向变换510以及颜色空间转换511，从而产生经重构的残余全息像素纹理1605。该经重构的残余全息像素纹理1605通过DBIR过程与种子全息像素差异401、经重构的种子全息像素纹理405以及残余全息像素差异404的所存储的值相结合地使用以生成经调制的光场1606。应当注意的是，对残余全息像素差异404和纹理1605进行解码的在先流可以使用单参考DIBR以便最小程度使用显示器处的存储器；或者替换地，还可以将多重种子全息像素参考与多重参考DIBR（MR-DIBR）相结合地使用，如在编号2015/0201176的美国专利申请公布中所描述的。还应当注意的是，图16中图示的光场解码流的并行实施方式也是可能的。

本发明的装置由数字电路、驱动三叠LED层（红、绿和蓝）的模拟电路组成。进入QPI成像器中的接口是传输压缩数据的高速接口。第二接口将数据从QPI成像器的数字部分发送到QPI成像器的模拟部分。该接口被实现为贯穿硅通孔（TSV）接口并且传输部分解压缩的数据流。部分解压缩发生在数字ASIC中，而最终解压缩步骤在模拟ASIC显示像素信息之前发生在模拟ASIC中。第三接口是像素接触部。例如，考虑到具有1000×1000个像素（其中每个像素具有RGB接触部）的成像器，这转化为3百万像素接触部。提供了由三个二极管共享的公共阳极电压。仅以非常有限的方式来控制所述阳极电压。然而，阴极被用来控制构成一个像素的三种颜色。它们提供了通过每个像素的恒定的、良好稳定化的电流，而可以通过脉冲调制将亮度控制到较高程度。像素被组织在N×N个物理像素实现方式的全息像素结构中，该全息像素结构是时间复用的并且被应用到根据组件的旋转和平移所获得的M个不同图像位置。全息像素以L×L的集合而被分组在一起，并且单个像素驱动器负责向整个组提供数据。像素组的一个示例利用了每全息像素50×50个像素、每处理节点（PN）4×4个全息像素以及针对每个QPI成像器的5×5 个PN。

处理节点经由高速接口（HSI）进行互连，并且能够处理作用于大数据集合的指令并且直接根据经压缩的比特流重构光场。处理节点包括一组特定硬件单元，其功能在以下被解释。硬件单元需要以同步方式工作，这是因为通常一个单元的输出是另一个单元的输入。经由可以是可编程的专用集成电路或固件来管理处理块，该专用集成电路或固件检查处理特定任务所需要的资源以及所述单元的状态，并且相应地对所述单元进行配置。图17示出了硬件管理过程的一般流程图。首先，硬件处于空闲状态中，等待输入到达1701。例如，一个硬件单元可以一直等待用于解码的数据包的到达，同时另一个硬件单元可以处于等待存储器内容来实现期望状态的状态中。一旦输入被呈现，硬件需要检查执行其任务所必要的资源1702。例如，单元可能需要检查是否有足够的存储器可用于写入其输出。硬件停留在该状态中直到必要的资源变得可用，在那时其然后可以处理输入1703。一旦硬件完成执行其任务，它就释放将由连线（in line）的下一个单元所消耗的资源1704。然后硬件通过检查新输入的到达而重新开始执行流。下文描述的大多数硬件单元具有相似的流程图，具有根据硬件特性的一些具体变化。

接口-

通过将所有处理节点进行互连的IO高速接口来接收数据包。图18示出了经由HIS 1802互连的PN 1801的示例。数据具有ID来在不同PN之间进行区分。所接收的数据在接收器部件中被分析，所述接收器部件在所接收的数据包中提供标识符和元件的状态。具体地，数据包的一部分提供类型信息。软件读取类型信息并且基于该类型信息形成针对第一数据包的状态。所述状态包含关于在该数据包上执行的计算的进展的信息。HIS接口将数据包传递到下一个处理硬件（在本发明的一个实施例中是熵解码器）。两个硬件单元共享公共存储器库以将内容从一个单元传输到另一个单元。固件管理所述传输，从而遵循图17中详述的过程流程图。数据包进入FIFO存储器中，在那里首先分析该数据包。如果数据包报头指示数据包包含需要被解码的数据，则单元需要检查资源，即，从共享存储器库中寻找可用存储器。一旦存储器变得可用，将数据从HIS接口传输到存储器，以被熵解码器所消耗。当完成传输时，固件寻找可用解码器单元来接收数据包。当找到解码器时，将该解码器编程为对该特定数据包类型进行解码，存储器所有权被释放，并且硬件返回以验证新数据包的内容。

在图19中可以看到处理节点的内部架构的可能的实施例。包括PN的硬件单元负责对所接收的比特流进行解压缩以及重构光场。该PN负责全息像素区域，并且其首先接收种子全息像素，根据所述种子全息像素得到其他全息像素。种子全息像素可能是属于PN区域或者不属于PN区域的全息像素。在若干PN共享相同全息像素的情况下，指示种子全息像素属于哪个PN的比特图案被用在种子全息像素报头中，如在图12的表格中示出的。PN利用互连来将种子全息像素信息从一个PN发送到另一个PN。在内部，使用允许硬件单元之间的连续数据流的乒乓缓冲器，以便实现实时解码性能。PN硬件提供了用于经定制的固件的开发的特定指令。所述指令包括I/O、解压缩（熵解码、游程解码、Z字形解码、去量化、反向图像变换）、拷贝和移位、错误校正、颜色校正、伽马函数、比特平面生成、负载和像素调制控制。注意到，PN包含足够的存储器以保持一个或多个种子全息像素，从而还支持时间压缩。接下来，解释每个单个硬件单元以及由固件所使用的逻辑以控制硬件并且使解码流同步。

熵解码器-

与HSI模块共享的输入存储器1961库具有若干独立存储器模块以允许在存储器库中同时读取和写入。HSI接收并读取数据包的状态和类型并且确定接下来做什么。在将数据包读取到第一存储器中之后的下一步骤是正确地对它进行解码。熵解码器通过读取如填充其内部FIFO缓冲器所必要的那样多的字来开始。基于类型信息，熵解码器1910被重新编程以使得数据被正确地解码。硬件单元1910生成经解码的结果以及增量值。两段信息与类型和状态信息一起被储存在两个单独的存储器中，即，储存经变换的图像的DC和AC系数的一个存储器1963，以及储存从一个经解码的块到另一个块的存储器增量（Minc）的另一个存储器1962。熵解码器可以被自由地编程以接受按任何顺序的AC、DC和Minc值。通过序列控制器1901来执行控制，所述序列控制器1901还通常响应于来自相应模块的状态信息来控制图19的其他模块的操作。状态信息现在示出数据被解码以及因此可以由下一个模块所消耗。取决于经解码数据的类型，即，经解码数据是属于种子全息像素还是残余全息像素，或者信息是差异信息还是纹理信息，软件选择下一个模块来继续进行解码过程。传入数据的解码基于可以被自由编程的查找表。所述查找表包含字的实际长度、游程信息（其是要略过的字的数量）以及实际值。相同的引擎还包含用于Z字形解码器的查找表。定义许多参数来支持灵活的熵解码器。例如，输入和输出存储器的开始寻址是可由软件编程的，而无论是否使用Z字形解码、无论块大小如何等等。此外，熵解码器可以被编程以在特定状况下停止其执行，诸如例如当输出缓冲器被完全填充时。熵解码器还具有扭曲周围存储器读取特征，以利用有限的存储器大小对传入数据连续地操作，并且提供用于硬件池化（pooling）的状态接口。

为了对数据包的传入通量、这样的数据包的解码以及因此将经解码数据向后处理模块的转发进行同步化，使用了状态机器。首先，解码器处于空闲状态，等待数据包的到达。由HSI所触发，解码器消耗由先前硬件单元指定的输入存储器块中的一个。熵解码器必须在开始执行之前首先检查可用资源，即，它需要检查输出存储器是否是可用的。在输出存储器可用的情况下，硬件单元开始执行数据包解码。在消耗所有输入或者满足预定义状况（例如，输出存储器满了）的情况下，单元可以停止。一旦完成了解码过程，熵解码器必须将经解码的数据分配到后续硬件。例如，如果种子的纹理被解码，则要承担经解码的数据包的下一个模块将是反向图像变换模块，其将执行解码处理链的去量化和反向图像变换步骤。因此，熵解码器需要查询HW模块的状态，并且在他们不忙并且可以接收解码器数据包的情况下，模块将被配置并且解码器可以释放所分配的资源，即，将存储模块的所有权从熵解码器转移到连线的下一个硬件模块。熵解码器然后返回到空闲状态并且等待来自HSI接口的另一个数据包。

全息像素内容重复-

取决于由熵解码器阶段解码的数据的类型，执行随后的操作。例如，如果种子全息像素的差异被发送，则熵解码器对一系列游程值解码，所述一系列游程值仍需要被扩展以获得原始图像。用于种子差异的全息像素内容重复模块读取一个增量条目以及来自系数存储器的一个数据条目。然后它生成数倍于数据条目的增量并且将其流送输出到另一个存储器模块。这意味着模块将它读取的数据重复了如其通过增量值所指定的那样多的次数。如先前解释的种子差异由全息像素内容重复模块1920来处理，所述全息像素内容重复模块1920从系数存储器1963读出差异值以及从Minc存储器1962读出增量值。结果被储存在差异存储器中1964中。对于残余差异，使用另一个全息像素内容重复模块1920。在该情况下，增量指示块被拷贝所处的存储器位置中的跳过，以及类似于种子差异，系数存储器模块和Minc存储器模块两者都被读取，并且差异存储器被写入。注意到，由于种子差异被前向DIBR 1925模块重复使用若干次，而残余差异仅被使用一次，所以针对种子差异和残余差异的位置应当处于不同的模块中，以使得它们可以被同时访问。还可以使用略过图像变换的附加的RGB模式，并且所述附加的RGB模式由剩余的全息像素内容重复模块1920来处理。在该情况下，RGB值被解码并且所述增量指示该值需要在输出存储器（纹理存储器1966）中重复多少次。全息像素内容重复模块是用于在没有乘法缩放的情况下在具有不同大小（不同长度和不同数据宽度）的内部缓冲器之间拷贝数据的通用存储器转移设施。

所有三个模块的状态机是相似的。首先硬件单元是空闲的，等待要处理的新数据包。它们然后被熵解码器触发，所述熵解码器根据要被处置的数据的类型来决定要激活的硬件。所述硬件然后移动到其需要等待资源的状态，所述资源诸如是它需要从其中读取要由熵解码器移开（hand off）的数据包的存储器，或者要变为可用的输出存储器。在具有所有需要的资源的情况下，硬件移动到执行状态。所述硬件停留在该状态中，直到结束消耗所有输入，在那时其然后去往最终状态，其中该单元需要清空输入存储器。这一点由于熵解码器不一定在所有存储器位置中写入（特别是当解码残余信息时，其中存储器跳过是必需的）而是必需的。然而，空位置在被再次使用之前仍需要归零，因此消耗该存储器的硬件也负责将其清空。在清空命令结束执行之后，存储器被释放回到熵解码器，并且硬件回到空闲状态，在其中它等待另一个数据包。

反向图像变换-

在熵解码器之后使用反向图像变换模块1915以用于种子纹理和残余纹理解码，其中图像变换和去量化被逐块应用到图像。在本发明的一个可能实施例中，图像变换可以是反向DCT变换，或者是反向整数变换。图像变换矩阵由软件预定义并且被储存在寄存器阵列中。这允许使反向图像变换指令作为流水线化的SIMD（单指令多数据）指令而非常快速地工作。将反向图像变换操作的结果以线性顺序而不是以矩阵顺序储存到纹理存储器1966中。对从系数存储器1963读出的N×N个像素执行矩阵计算，其中像素被连续储存在存储器中。期望的输出必须被储存在存储器中的正确位置处。例如，在N=4以及全息像素宽度=100的情况下，全息像素的左上角的第一块必须被储存在以下输出存储器地址位置中：（0,1,2,3；100,101,102,103；201,202,203；300,301,302,303）。如果在x或y方向上的所得到的全息像素大小不是N的倍数（例如，假设当N=4时全息像素大小是50×50），则地址生成器抑制写使能并且不在所定义区域的边缘上写入。此外，在残余纹理解码的情况下，当在输出存储器中写入块时，Minc指示存储器中的跳过。除了矩阵乘法之外，具有N×N个去量化参数的逐点乘法被结合到矩阵乘法器模块中。每个输入系数首先乘以对应的去量化参数，所述去量化参数还作为固定的N×N矩阵被储存在特定寄存器集合中。两个附加的值将所有输入和所有输出缩放。这允许最高级别的灵活性。因此该模块的完整函数也可以被描述为：

其中矩阵S是输入矩阵，矩阵D是去量化矩阵，矩阵M实现图像变换（诸如但不限于DCT矩阵），符号*表示以逐元素基础所应用的标量乘法（逐项），符号×表示矩阵内积，符号•×表示矩阵标量积，以及c0和c1分别是用于输入和输出的比例因子。

反向图像变换模块的状态机以与重复解码器模块相似的方式工作。首先硬件单元是空闲的，等待要处理的新数据包。当纹理数据需要被进一步处理（去量化和反向变换）时，其被熵解码器触发。所述硬件然后移动到其需要等待资源的状态，所述资源诸如是它需要从其中读取要由熵解码器移开的数据包的存储器，或者要变为可用的输出存储器。当所有资源变为可用时，硬件移动到执行状态。所述硬件停留在该状态中，直到其结束消耗所有输入，在那时其然后去往最终状态时，其中单元需要像在重复解码器单元的情况下那样清空输入存储器。在清空命令结束执行之后，存储器被释放回到熵解码器，并且硬件回到空闲状态，在其中它等待另一个数据包。

前向和后向DIBR模块-

只要种子差异是可用的，前向DIBR 1925块就能够开始处理扭曲操作并且产生扭曲差异，如由本发明的解码算法所要求的。扭曲处理导致参考像素位置的移位和拷贝操作。所述DIBR算法被拆分成前向DIBR 1925部分和后向DIBR 1930部分。前向DIBR 1925硬件从种子差异存储器1964读取差异信息并且在时间差异存储器1965中生成全息像素差异。前向DIBR1965也能够执行N->1的下采样，即，取N个像素作为输入并且产生一个单像素输出。然而，为了那样做，需要对所有N个像素进行读取和分析，从而导致按照每个全息像素的N个读取循环。为了在系统中实现相同的吞吐量，以可以并行生成N个全息像素的差异的方式来实现前向DIBR 1925。输入dx和dy指示了残余全息像素距种子全息像素的距离并且被用作算法的输入以估计移位量。基于种子全息像素到残余全息像素的距离以及差异信息，计算拷贝和移位信息。接下来，需要检查数据是否应当被写入到目的地地址。由于移位可能导致两个像素移动到相同位置，根据像素差异值来决定出哪个像素应当占优的决定。这也被称为z测试。输入和输出存储器位置也是可编程的，以便使用具有多个存储器库的乒乓方案，以及允许后向DIBR 1930与前向DIBR 1925同时工作。

前向DIBR 1925模块维持空闲状态，同时系统中不存在全息像素或者所有全息像素都被处理。在本发明的一个实施例中，包含元数据信息的表在数据包之前被发送。一旦该表被接收，就在固件存储器中构建本地元数据表，以使得每个全息像素的状态可以被全局监视。只要元数据表被创建（通常被HIS接口触发，该HIS接口接收包含该信息的报头数据包），硬件就移动到下述状态：在该状态中所述硬件检查列表的顶部全息像素的标志。所述标志指示全息像素正经过的状态（例如，在反向图像变换块处对纹理进行去量化或者在重复解码器模块处对差异进行扩展）。前向DIBR 1925模块检查种子全息像素差异。一旦整个数据是可用的，模块取得包含种子的差异的存储器模块的所有权并且开始执行前向DIBR1925。注意到，元数据表包含对于扭曲操作而言必要的信息（诸如种子全息像素和目标全息像素的坐标）。此外，同时生成多重结果来保留装置的实时特征。一旦硬件结束执行，就更新元数据标志，以及所述单元继续生成下一个全息像素集合的扭曲差异，或者仅返回到空闲状态并且等待新的全息像素集合。

后向DIBR 1930读取来自前向DIBR 1925并且被储存在时间差异存储器库1965中的生成的时间差异并且计算种子全息像素纹理中的当前全息像素地址参考位置，其被储存在种子全息像素纹理存储器1966中。在从种子全息像素纹理存储器1966读取参考纹理之后，后向DIBR 1930模块在适当的输出存储器位置1967中储存RGB值。后向DIBR 1930生成的全息像素可能并不完美地表示它们本应表示的视图。这意味着可能生成了潜在错误。在后向DIBR 1930算法方面存在两个错误原因。第一个原因是通过前向DIBR 1925生成的差异对于特定像素而言可能不是最好的选择。除此之外，对于全息像素中的一些结果而言可能不存在定义的纹理或者纹理是损坏的，即，扭曲的全息像素具有孔洞或者纹理是视图相关的并且所使用的参考纹理不适合于该特定的全息像素。为了修正差异错误，后向DIBR 1930利用残余差异。残余差异储存在差异存储器1964中，并且被读取以及与由前向DIBR 1925生成的差异相组合。后向DIBR 1930的可编程操作模式允许替换差异或者一起添加两个差异。新差异值能够参考不同的种子全息像素纹理值，并且改善最终的渲染质量。后向DIBR 1930算法还能够利用固定的RGB值来填充并未被扭曲操作所参考的像素位置。那些位置也被称为孔洞，并且本发明的一个实施例的所提出的模块能够在比特流中接收固定的RGB值并且利用该固定的值填充所有的孔洞。

类似于前向DIBR 1925模块，由系统的全息像素的元数据表来指定后向DIBR 1930模块的行为。当不存在全息像素或者模块刚结束处理元数据列表的所有全息像素时，模块仅停留在其中所述模块等待传入全息像素的状态中。一旦在存储器中形成了新元数据表，则由HSI触发状态的改变。然后硬件单元负责监视表中每个全息像素的状态。一旦全息像素实现了在其中后向DIBR 1930处理所述全息像素的状况，则硬件单元去往执行状态，其中根据种子差异、残余差异以及种子纹理来创建全息像素纹理。当硬件完成时，其改变到下一个状态，其中所述硬件清空输入存储器并且释放用于下一个模块的输出资源。释放所述资源并且更新其刚刚作用于的全息像素的元数据状态。硬件监视元数据表中下一个全息像素的状态，并且在所有N个全息像素被处理的情况下，后向DIBR 1930返回到空闲状态并且等待新的传入数据。

错误校正-

如先前提到的，由后向DIBR 1930产生的纹理可能仍包含错误或丢失的值。由于不是所有像素位置都可以被扭曲操作所覆盖（通常以孔洞的形式表示），它们可能没有纹理值（也称为孔洞）或者可能在后向DIBR 1930孔洞填充期间被分配错误的RGB值。此外，视图相关的特征在不同视图之间具有不同RGB值，所以在扭曲操作中使用的参考可能与真实RGB值不同。为了校正这些伪像（artifacts），残余纹理信息被发送并且添加到后向DIBR 1930，导致错误校正模块。图19描绘了错误校正1935模块，以及针对残余纹理1966和DIBR纹理1967（被添加到残余纹理的扭曲种子纹理）的输入存储器。结果是最终全息像素值被储存在全息像素存储器块1968中。在本发明的一个可能实施例中，错误校正模块利用实际上包含三个8比特字的24比特字。错误校正硬件模块需要将那一点考虑在内，并且在单独地添加三个值之前将它们分离并且然后将它们放在一起作为一个24比特字。差别信息作为有符号的数字而给出，而结果和原始全息像素信息作为无符号的8比特值而给出。例如，无符号的8比特字是根据被添加到有符号8比特字的无符号8比特字生成的。然而，加法函数不应当在周围扭曲而是固定（clip）在最大值或最小值处（例如0或255）。除了错误校正功能以外，该硬件模块允许颜色转换以及也允许颜色参数调整（诸如伽马校正和亮度调整）。对错误校正模块的输出直接执行颜色校正和颜色空间变换。颜色转换矩阵被集成到错误校正模块中，并且其可以被自由地编程以及也可以按需要被关闭。由附加的标量来对输出进行缩放，所述附加的标量对于所有三个颜色通道而言是相同的。

类似于前向1925模块和后向DIBR 1930模块，错误校正1935模块首先在空闲状态中开始并且监视元数据表，等待全息像素到达合适的状态。当不存在全息像素或者模块刚完成处理元数据列表的所有全息像素时，它仅停留于在其中它等待传入全息像素的状态中。一旦在存储器中形成了新的元数据表，由HSI触发状态的改变。一旦全息像素实现在其中错误校正模块处理所述全息像素的状况，硬件单元去往执行状态，其中全息像素纹理被添加到残余纹理。当硬件完成时，其改变到下一个状态，其中所述硬件清空输入存储器并且释放用于下一个模块的输出资源。一旦资源被释放，在元数据表中更新全息像素元数据信息以标识该处理阶段完成。硬件监视元数据表中下一个全息像素的状态，并且在所有N个全息像素被处理的情况下，错误校正1935模块返回到空闲状态并且等待新的传入数据。

交织器-

经错误校正的全息像素然后通过交织器功能来调换（transpose）以按照每个全息像素分离出各个比特。在本发明的一个可能实施例中，交织器允许将具有24比特的50×50像素阵列转化成每个具有50比特的24×50个的字。每个50比特字现在表示针对50个像素的24比特中的一个比特。图19 示出了交织器1940模块，具有相关联的输入存储器模块1968（其是由错误校正模块产生的最终全息像素纹理），以及输出存储器模块1969（其保持RGB比特平面）。数据来自于24比特宽的全息像素存储器结构。交织器1940指令执行以下的操作：将24比特分离到由独立存储器表示的R、G和B比特平面中。交织器1940的输出是150比特宽的总线，其允许并行读取R、G和B部分。因此，保持输出的存储器是3×50比特×（全息像素的总数量）个字存储器。

交织器1940还依赖元数据表来对传入全息像素进行操作。当不存在元数据或者模块刚结束处理元数据列表的所有全息像素时，该模块仅停留于在其中它等待传入全息像素的状态中。一旦在存储器中形成新的元数据表，由HSI触发状态的改变。然后硬件单元负责监视表中每个全息像素的状态。一旦全息像素实现在其中交织器模块处理所述全息像素的状况，硬件单元去往执行状态，其中对最终全息像素纹理进行交织以用于调制。当硬件完成时，所述硬件改变到在其中它释放用于下一个模块的输出资源的下一个状态。一旦资源被释放，在元数据表中更新全息像素元数据信息以标识该处理阶段完成。硬件监视元数据表中的下一个全息像素的状态，并且在所有N个全息像素被处理的情况下，错误校正模块返回到空闲状态并且等待新的传入数据。

像素调制器-

最终步骤是使用针对像素调制器所生成的比特，这提供了与正被使用的光场显示器所具有的无论任何像素输入要求相兼容的像素调制器输出。如果在优选的实施例中使用脉冲宽度调制，则所生成的比特被用作PWM调制掩码。只要PWM计数器正在运行，掩码就接通各个像素。将多个比特平面与适当的接通时间（on-times）进行组合转化为像素的亮度。图19中提供的架构示出了像素调制器1945和相关联的存储器模块。对于输出存储器，使用以下方案。拷贝功能从比特平面存储器选择接下来要被显示的比特平面并且将其储存到比特平面1锁存器中。控制器然后将比特平面1锁存器转移到比特平面2锁存器（其是瞬间事件）。在数据处于比特平面2锁存器中之后，所述数据可以与实际PWM信号进行和门控操作（ANDgate），所述实际PWM信号表示接通时间。使两个比特平面锁存器与每个像素相关联允许在第一比特平面仍被显示的同时加载第二比特平面。

在元数据表被用于监视全息像素数据何时准备好以用于其处理阶段的意义上，数字电路的最终硬件模块（像素调制器1945）也类似于先前的硬件来操作。像素调制器1945模块首先在空闲状态中开始。当不存在全息像素或者所述模块刚结束处理元数据列表的所有全息像素时，所述模块仅停留在其中它等待传入全息像素的状态中。一旦在存储器中形成了新元数据表，则由HSI触发状态的改变。然后硬件单元负责监视表中每个全息像素的状态。一旦全息像素实现在其中像素调制器1945模块处理所述全息像素的状况，所述硬件单元去往执行状态，其中比特平面由像素调制器1945调制。当硬件完成时，其释放资源并且在元数据表中更新全息像素元数据信息以标识该处理阶段完成。硬件监视元数据表中下一个全息像素的状态，并且在所有N个全息像素被处理的情况下，错误校正模块返回到空闲状态并且等待新的传入数据。像素调制器可以是（仅作为示例）脉冲宽度调制器，但是其他调试器可以在适当时替代地用于所使用的特定光场显示器。

本领域的技术人员将容易理解的是，在不偏离在所附权利要求中限定的以及由所附权利要求限定的本发明的范围的情况下，可以向本发明的实施例应用各种修改和改变。应当理解的是，本发明的前述示例仅是说明性的，并且在不偏离本发明的精神或本质特性的情况下，可以以其他具体形式来体现本发明。因此，所公开的实施例不应当被视为在任何意义上是限制性的。本发明的范围由所附权利要求而不是前述描述来指示，并且落入权利要求的等同方式的含义和范围内的所有变化意图被涵盖于所附权利要求中。

Claims (16)

1.一种用于从压缩光场再现用于显示的光场的系统，所述系统包括：

具有多个硬件模块的至少一个处理节点，其被配置用于对压缩光场进行解压缩并且再现用于显示的光场；

每个处理节点具有：

接口模块

熵解码器模块

图像反向变换模块

全息像素内容重复模块

前向DIBR模块

后向DIBR模块

错误校正模块

交织器模块，以及

像素调制器模块

每个处理节点具有用于将所述模块进行互连的总线互连；以及多个存储器

序列控制器，所述序列控制器控制所述模块的操作序列来对压缩光场数据进行解压缩，以再现用于显示的光场。

2.根据权利要求1所述的系统，其中所述模块中的至少一个是专用集成电路。

3.根据权利要求2所述的系统，其中所述模块中的至少一个是可编程的。

4.根据权利要求1所述的系统，其中所述接口模块被配置成接收数据包并且向所述熵编码器传递所述数据包。

5.根据权利要求1所述的系统，其中所述熵解码器模块被配置成从所述熵解码器接收数据包并且如果数据包报头指示所述数据包需要被解码，则根据数据包类型对所述数据包进行解码。

6.根据权利要求1所述的系统，其中所述图像反向变换模块被配置成从所述熵解码器模块进行接收以用于逐块的种子和残余纹理解码和去量化。

7.根据权利要求6所述的系统，其中所述图像反向变换模块使用预定义的图像变换矩阵，由此允许反向变换指令用作流水线化的单指令多数据指令。

8.根据权利要求1所述的系统，其中所述全息像素内容重复模块被配置用于在没有乘法缩放的情况下在具有不同长度和不同数据宽度的内部缓冲器之间拷贝数据。

9.根据权利要求1所述的系统，其中所述前向DIBR模块被配置成接收种子全息像素差异并且产生扭曲差异。

10.根据权利要求9所述的系统，其中所述后向DIBR模块被配置成从所述前向DIBR模块读取所生成的时间差异，以及计算所述种子全息像素纹理中的当前全息像素地址参考位置并且生成全息像素。

11.根据权利要求10所述的系统，其中所述后向DIBR模块被配置成也使用残余差异来与所述种子差异进行组合以修正差异错误。

12.根据权利要求1所述的系统，其中所述后向DIBR模块还被配置成填充未通过扭曲所参考的像素位置。

13.根据权利要求1所述的系统，其中所述错误校正模块被配置成校正伪像。

14.根据权利要求13所述的系统，其中所述错误校正模块还被配置成对所述错误校正模块的输出执行颜色校正和颜色空间变换。

15.根据权利要求1所述的系统，其中所述交织器模块被配置成调换经错误校正的全息像素以按照每个全息像素分离出各个比特。

16.根据权利要求1所述的系统，其中所述像素调制器被配置成提供与正被用来显示再现光场的光场显示器所具有的无论任何像素输入要求相兼容的像素调制器输出。