CN106068645A - 用于全视差压缩光场3d成像系统的方法 - Google Patents

Abstract

描述一种压缩光场成像系统。分析光场3D数据以确定待渲染（获得）的光场采样的最优子集，同时使用基于多个参考深度图像的渲染生成剩余采样。编码光场并发送到显示器。3D显示器直接重建光场，并且避免通常发生在常规成像系统中的数据扩展。本发明使得能够实现全视差3D压缩成像系统，全视差3D压缩成像系统实现高压缩性能，同时最小化存储器和计算需求。

Description

用于全视差压缩光场3D成像系统的方法

相关申请的交叉引用

本申请要求2014年1月10日提交的编号61/926069的美国临时专利申请的权益。

技术领域

本发明一般涉及图像和视频压缩，更具体地涉及用作用于光场3D成像系统的输入的光场图像数据的压缩。术语“光场”描述包括方向、幅度和频率的光的传输和调制，因此封装利用诸如全息、积分成像、立体视法、多视图成像、自由视点TV（FTV）等等之类的技术的成像系统。

现有技术

引用的参考文献

[1] 2009年4月2日、Quantum Photonic Imagers and Methods of FabricationThereof、公开号US2009/0086170A1的美国专利申请

[2] 2010年9月9日、Multi-Pixel Addressing Method for Video Display Drivers、公开号US2010/0225679A1的美国专利申请

[3] Method and apparatus for block-based compression of light-fieldimages、编号8401316B2的美国专利

[4] Systems and methods for encoding light field image files、公开号US2013/0077880的美国专利申请

[5] Systems and methods for decoding light field image files、公开号US2013/0077882的美国专利申请

[6] Methods and apparatuses for encoding，decoding，and displaying astereoscopic 3D image、公开号US2011/0134227A1的美国专利申请

[7] Three-dimensional image synthesis using view interpolation、编号US5613048的美国专利

[8] Method and system for acquiring，encoding，decoding and displaying 3Dlight fields、公开号US2008/0043095的美国专利申请

[9] Method and system for digital plenoptic imaging、编号US6009188的美国专利

[10] Minimum sampling rate and minimum sampling curve for image-basedrendering、编号US6738533B1的美国专利

[11] Rendering multiview content in a 3D video system、编号US8284237B2的美国专利

[12] Method and Apparatus for Compressive Imaging Device、公开号US2012/0213270A1的美国专利申请

[13] Method and system for light field rendering、编号US6097394的美国专利

[14] 3d disparity maps、公开号US2013/0010057的美国专利申请

[15] Rendering 3D Data to Hogel Data、公开号US2010/0156894的美国专利申请

[16] Systems and Methods for Processing Graphics Primitives、公开号US2010/0231585的美国专利申请

[17] Rendering methods for full parallax autostereoscopic displays、编号US6963431的美国专利

[18] A. Vetro，T. Wiegand，G. Sullivan，“Overview of the stereo andmultiview video coding extensions of the H.264/MPEG-4 AVC standard”，Proceedings of the IEEE，第99卷，第4期，2011年4月

[19] ISO/IEC JTC1/SC29/WG11，Call for Proposals on 3D Video CodingTechnology，瑞士日内瓦，2011年3月

[20] Levoy和Hanrahan，Light Field Rendering，Computer Graphics，SIGGRAPH 96Proceedings，第31-42页，1996年

[21] Magnor和Girod，Data Compression for Light-Field Rendering，IEEETransaction on Circuits and Systems for Video Technology，第10卷，第3期，2000年4月，第338-343页

[22] Candès，E.，Romberg，J.，Tao，T.，“Robust uncertainty principles: Exactsignal reconstruction from highly incomplete frequency information”，IEEETrans. Inform. Theory 52 (2006) 489-509

[23] David Donoho，“Compressed sensing”，IEEE Transactions on InformationTheory，第52卷，第4期，2006年4月，第1289-1306页

[24] Candès，E.，Tao，T.，“Near optimal signal recovery from randomprojections and universal encoding strategies”，(2004)

[25] Gordon Wetzstein，G.，Lanman，D.，Hirsch，M.，Heidrich，W.，和 Raskar，R.，“Compressive Light Field Displays”，第32卷，第5期，第6-11页，2012年

[26] Heide，F.，Wetzstein，G.，Raskar，R. 和 Heidrich，W.，“Adaptive ImageSynthesis for Compressive Displays”，Proc. of SIGGRAPH 2013 (ACM Transactionson Graphics 32，4)，2013年

[27] Hoffman，D.; Girshick，A.; Akeley，K. & Banks，M. (2008)，“Vergence-accommodation conflicts hinder visual performance and cause visual fatigue”，Journal of Vision 8 (3)，33

[28] ISO/IEC 14496–10:2003，“Coding of Audiovisual Objects—Part 10:Advanced Video Coding，”2003年，还有ITU-T Recommendation H.264“Advanced videocoding for generic audiovisual services”

[29] C. Fehn，“3D-TV Using Depth-Image-Based Rendering (DIBR)”，Proceedingsof Picture Coding Symposium，美国加州旧金山，2004年12月

[30] Malvar，H. S.，Sullivan，G. J.，和Srinivasan，S.，“Lifting-BasedReversible Color Transformations for Image Compression”，Proceeding SPIEApplications of Digital Image Processing，2008年

[31] M. Lucente，Diffraction-Specific Fringe Computation for Electro-Holography，Doctoral Thesis Dissertation，MIT电气工程与计算机科学系，1994年9月

[32] Z. Alpaslan等人，2011年12月16日、Spatio-Optical Directional LightModulator、公开号US2013/0141895的美国专利申请

[33] H.S. El-Ghoroury等人、2012年7月11日、Spatio-temporal Directional LightModulator、公开号US2013/0258451的美国专利申请

[34] S.Guncer、2010年1月14日、Image Construction Method Based Video DisplaySystem、公开号US2010/0007804的美国专利申请

[35] S.Guncer、2010年9月9日、Multi-Pixel Addressing Method for VideoDisplay System、公开号US2010/0225679的美国专利申请

[36] H.S. El-Ghoroury等人、2012年10月24日、Spatio-Temporal Light FieldCameras、公开号US2013/0321581的美国专利申请。

概述

人类视觉系统中的深度感知依赖于几个深度线索。这些线索可以被分类为心理（透视、阴影、照明、相对尺寸、遮蔽和纹理梯度等）和生理深度线索（聚散度、调节作用、运动视差、双眼差异（disparity）等）。虽然心理深度线索在光场中提供深度的相对理解，但生理深度线索提供绝对深度信息。市售的3D显示器使用生理深度线索的子集，以增强观看体验。

由于由所有主要的TV制造商引入基于眼镜的3D TV，基于眼镜的3D显示器已经越来越受欢迎。当前可用技术的最大缺点已被识别为3D眼镜的使用，其可以被归类为或者主动的或者被动的。一般地，基于眼镜的技术对于观众长时间段使用是不舒服的，并且给需要验光眼镜的人形成挑战。

自动立体显示器使用附连到显示器表面的定向调制器（诸如视差屏障或双凸透镜片）来创建3D效果，而无需眼镜。市售自动立体显示器典型地使用水平视差来向观众呈现3D信息。这种显示器技术的主要问题是有限的视角和每个视图有限的分辨率，导致较低质量的3D图像。另外，在视角内，用户必须保持他的头垂直，否则3D效果消失。

由于被称为聚散度调节作用冲突（VAC）的生理效应[27]，在基于眼镜的3D显示器和仅仅水平视差光场显示器两者中长时间观看典型地导致不适，因为眼睛聚焦于显示器表面，但需要远离它会聚以感知在不同深度描绘的对象。

更自然的3D效果用全视差3D显示技术来实现。除了水平视差，这种技术还具有垂直视差，使得观众的垂直运动示出3D场景的不同视图。全视差显示器一般具有数量级或者比仅仅水平视差显示器多的视图。通过提供正确的调节作用和聚散度线索，安排这些视图密集地创建不通过用户移动或倾斜他的头而改变的很自然的3D图像，并且还消除VAC。消除聚散度调节作用冲突的3D显示器被典型地称为无VAC 3D显示器。

与这样的全视差3D显示器相关联的主要挑战是：在用宽视角渲染全视差3D图像所需的调制的图像分辨率的增加为显示系统造成新的减损；即显著增加的图像数据量。为无VAC全视差光场显示器生成、采集、传输和调制（或显示）图像数据需要每秒几十兆兆比特（Tbps）的数据速率。输入图像的快速检验示出光场数据元素之间的充足的固有相关性，称为全息元素（holographic element）或“微元（hogel）”，并且已经在现有技术[31]中提出压缩算法来处理这种类型的数据。然而，如可以由本领域技术人员理解的，只有现有技术中所述的有限数量的压缩方法可以被实时实现，并且这些方法中没有一个可以渲染和/或压缩实时驱动全视差无VAC显示器所需的数据量。例如，最先进的视频压缩格式H.264/AVC可以管理来以大约3G比特/秒的数据比特率压缩超高分辨率视频帧（4096×2304@56.3，或者0.5G像素/秒）[28]。H264/AVC将无法实现光场图像数据的传输所需的足够的压缩量，并且如果以60Hz的视频速率实时刷新光场则少得多，其中数据速率可以达到86Tbps。

当前的压缩标准不利用存在于全视差光场图像中的水平和垂直方向两者中的高相关性。正在开发以3D显示器为目标的新压缩标准。然而它们仅仅以水平视差、有限数量的视图为目标，并且通常需要增加数量的存储器和计算资源。压缩算法必须平衡质量、压缩比和计算负荷。作为一般规则，编码器中的较高压缩比增加计算负荷，使得实时实现方式非常困难。如果需要高压缩和减少的计算负荷两者，则牺牲质量。高度期望能够同时提供高质量、高压缩比和相对低的计算​​负荷的压缩解决方案。

因此本发明的目的是引入克服现有技术的缺点的光场压缩方法，从而使得创建无VAC全视差3D显示器可行，无VAC全视差3D显示器为各种压缩的光场成像系统利用本发明的压缩方法，以降低数据速率、在编码和解码两者中的处理需求以及还为整个成像系统降低功率消耗。本发明的附加的目的和优点将从继续进行参照附图的其优选实施例的以下详细描述中变得显而易见。

现有技术

大数据的传输可以用压缩数据格式的使用来缓解。在常规的光场系统中，首先捕获整个光场，并且然后使用常规的图像/视频压缩算法或光场特定的编码器中的任一个来压缩。可以为显示器发送、存储或修复压缩数据，在显示器中该压缩数据被解压缩和调制（光场压缩系统的示例在编号8401316B2的美国专利[3]或编号US2013/0077880的美国专利申请[4]中给出）。

光场可以使用多视图压缩（MVC）标准[18]来压缩。微元可以被解释为多视图序列的帧，并且图像之间的差异被估计和编码。基于块的差异估计生成由基于块的编码器编码的不准确度，并且压缩性能随着图像数量的增长而线性增长。

为了改善多视图编码，新编码标准正考虑采用来自计算机视觉的场的技术[19]。使用了每像素深度，参考图像可以被投影到新视图，而且可以使用合成图像来代替新图像的昂贵传输。这种技术在解码器侧需要增加数量的计算资源和本地存储器，对它的实时实现方式行成挑战。压缩工具还以它们在仅仅水平的多视图序列中使用为目标，并且不利用积分图像的几何排列。

专门为光场图像压缩开发的方法包括由Levoy等人描述的矢量量化方法[20]以及由Magnor等人描述的基于视频压缩的方法[21]。矢量量化的使用是有限的，并且不可以实现高压缩性能，诸如由Girod提出的那些。Girod的方法类似于多视图压缩算法，其中图像的几何规律性用于差异估计。然而，该方法需要增加量的本地存储器，并且不适合于实时实现方式。

连同数据压缩的问题一起，还存在数据采集的难题。用于编码的整个光场的生成需要大量的处理吞吐量和存储器，并且许多采样可在压缩级被丢弃。命名为压缩感测（CS）的最近开发的技术处理这个问题。在压缩感测后面的基本主体的是：在一些变换域中高度可压缩（或等价稀疏）的信号可以使用非相干基础来最小地采样并仍然用可接受的质量来重建[22]，[23]。这个新范例将复杂性从采集移位到重建过程，这导致更复杂的解码器。这种趋向与在显示设备中直接呈现计算能力的计算显示器的趋势一致。具有计算能力并且能够直接处理压缩数据的显示器也被称为压缩显示器[25，26]和[34，35]。

清楚的是：现有技术未能充分解决对高压缩比、高质量、低计算负荷光场数据压缩的需求，这是无VAC全视差、宽视角3D显示技术的实际实现方式所需的。

附图说明

在以下描述中，相同的附图标记用于相同的元件，即使在不同的图中。平行四边形块用于描述数据，而矩形块用于描述过程。提供在描述中定义的诸如详细的结构和元件之类的事项，以协助全面理解示范性实施例。然而，可以实施本发明而没有那些特别定义的事项。此外，未详细描述公知的功能或结构，由于它们将用不必要的细节模糊该发明。为了理解该发明并且看到可如何在实践中执行它，现在将仅仅通过非限制性示例的方式、参照附图描述它的几个实施例，在附图中：

图1a示出现有技术的光场成像系统。

图1b图示本发明的基本主体，由此以压缩格式捕获并向显示器发送场景/3D数据，并且显示器直接显示压缩数据。

图2a是本发明的压缩渲染方法的框图。

图2b是直接连接到显示器的压缩渲染方法的框图，其中光场使用基于多个参考深度图像的渲染来重建。

图3图示本发明的压缩渲染方法的待合成的目标微元与参考微元之间的关系。

图4是用于为本发明的压缩渲染方法选择参考微元的可见度测试的一个实施例的流程图。

图5是用于为本发明的压缩渲染方法选择参考微元的可见度测试的可替代实施例的流程图。

图6图示用于为本发明的压缩渲染方法选择参考微元的可见度测试的图5的可替代实施例的参考微元选择标准。

图7图示使用参考微元合成光场微元的本发明的过程。

图8图示用于使用参考微元深度信息合成光场微元差异的本发明的一个实施例。

图9图示在本发明的基于多个参考深度图像的渲染（MR-DIBR）中使用的向后翘曲的细节。

图10是本发明的显示匹配的编码和解码过程的概述。

图11图示本发明的显示匹配的编码过程的细节。

图12图示用于在本发明的显示匹配的编码过程的一个实施例中使用的种子微元纹理编码过程的细节。

图13图示在本发明的显示匹配的编码过程的一个实施例中使用的种子微元差异编码过程的细节。

图14图示在本发明的显示匹配的编码过程的一个实施例中使用的残留微元差异编码过程的细节。

图15图示在本发明的显示匹配的编码过程的一个实施例中使用的残留微元纹理编码过程的细节。

图16图示用于在本发明的一个实施例中使用的种子微元的比特率分配的方法。

图17图示用于在本发明的一个实施例中使用的残留微元的比特率分配的方法。

图18图示在本发明的3D成像系统的显示侧接收的比特流的解码。

图19图示为本发明的3D成像系统的动态光场实现方式执行的运动补偿的细节。

具体实施方式

一般概念

本发明利用在本文中为完整性定义的在计算机图形学领域中的一些公知技术。

在计算机图形学中，创建场景或场景的视图的行为被称为视图渲染。通常，3D模型连同照明、表面性能和相机视点一起使用。这种视图渲染一般需要几个复杂操作，并且还需要场景几何的详细知识。渲染新颖的视图的可替代技术是使用多个周围的视点。被称为基于图像的渲染（IBR），这种技术直接从过采样光场的输入图像渲染新颖的视图。IBR生成具有更现实的质量的视图，然而它在光场中需要更密集的数据采集过程、数据存储和冗余。

在复杂的几何模型与数据密集的IBR之间的折衷是使用深度信息和选定数量的视图。每个视图具有与每个像素位置相关联的深度，也被称为深度图。深度图然后用于合成新的视图，称为基于深度图像的渲染（DIBR）的过程[11]和[29]。DIBR利用深度信息以及虚拟相机的外在和内在的参数来将2D屏幕的点投射到它们各自的3D位置中，并且然后在目标2D屏幕上重新投射3D点，也被称为向前翘曲的操作。逆操作也是有效的，其中目标视图的深度值是已知的，并且纹理值被从参考视图“取出”。在这种情况下，该操作被称为向后翘曲。由于深度值的不准确度、舍入误差和对象去除遮蔽，DIBR合成的最大难题是孔的生成。

在本发明中，术语“微元”用作包含信息的光场图像的最小单位，该信息可以由3D显示器定向调制到所有可用的方向。在基于透镜的成像系统中，微元由在定向调制基本图像的小透镜或微透镜下方的基本图像组成。在基于折射的成像系统中，微元由包含所有调制的频率的全息图的最小段组成。

光场显示的当前方法以全分辨率捕获或渲染光场，并且于是后来压缩它以去除全分辨率光场中的冗余。另一方面，本发明在单一步骤中执行两个操作，同时捕获或渲染并压缩光场。我们将捕获/渲染和压缩两者的融合称为压缩捕获系统。压缩捕获被定义为一种方法，该方法将光场成像系统的采集和压缩阶段联合成单一步骤，并以压缩格式生成光场，也被称为压缩光场。压缩光场包含重建具有可接受的质量的整个光场必需的最小或接近最小的信息。对比压缩感测，其中信号利用非相干基础来获得而没有特定的场景知识（除了已知信号在确定的域中是稀疏的事实之外），压缩的捕获方法优选地利用高级场景信息来做出更明智的决定：何时选择用于生成压缩光场的信息。该发明利用显示器的计算能力来重建在采集阶段期间直接在显示器处最小地采样的光场。在一个可能的实施例中，本发明使用两级压缩框架来创建有效的数据处理流程。由此被称为压缩渲染的第一级更适合朝向减少待渲染的视图的数量的目标，并因此减少所需的处理吞吐量以及因此减少成像系统功率消耗。压缩渲染被定义为子采样光场的任何渲染或生成，最优选地包含用于表示对具有可接受的质量的光场的重建必需的最小或接近最小的光场信息的微元数据的子集，其中微元数据由预处理最优选地通过执行场景的高级分析来选择。光场子采样到微元数据中的过程生成微元，以下称为参考微元。参考微元数据可以从现实世界捕获的光场（诸如从一个或多个光场相机）物理获得，使用计算机图形学合成渲染或者甚至两种方法的组合（例如，在但不限于增强现实应用中）。由此被称为显示匹配的编码器的第二级考虑显示系统的硬件特性，并应用适合于并行和实时实现方式的编码算法。显示匹配的编码器被定义为匹配显示器的计算能力的3D数据的任何压缩，虽然更优选地，显示匹配的编码器适于使用显示器的多处理能力来解压缩，并且最优选地，使用显示匹配的编码器，其中3D图像被细分成许多微元区域，其中每个这样的微元区域的显示匹配的编码器基本上独立于其它微元区域的显示匹配的编码器，以促进使用显示器中或与显示器相关联的多个基本上相同的处理节点的解压缩。在每个微元区域内，独立地发送和接收一个或多个微元。那些微元此后称为种子微元。相对于一个或多个种子微元发送和接收剩余微元。渲染过程使用种子微元来生成用作对一个或多个剩余微元的预测的一个或多个合成视图。显示匹配的编码器然后编码原始微元和预测的合成微元之间的差。合成微元在本文中还被称为残留微元。通过利用两个独立的过程，可以为两个级完成局部和全局优化，以实现降低的功率消耗、增加的数据压缩、降低的传输带宽、降低的系统复杂性、降低的成本、降低的处理需求以及降低的存储器需求的整体期望的性能，同时允许实时操作和高质量光场再现。

本文参照附图所述的本发明的实施例之一演示增加压缩比同时降低计算负荷以实时创建高质量光场图像的方式。在本发明的压缩渲染方法中，关于光场内的3D场景的先验知识用于例如使用帧抓取器来捕获足以重建场景而没有感知的质量降级的微元纹理的最小子集和深度图信息。基于多个参考深度图像的渲染（MR-DIBR）用于合成剩余微元。场景的先验知识可以通过预处理输入数据的方式来提取，并将通过本公开中的实施例来进一步解释。本文所述的实施例决不是限制性的，并且本发明可以通过不同实施例来实现，诸如例如直接在光场相机处执行压缩捕获。在显示匹配的编码器中，在压缩渲染级中捕获的数据以匹配显示器（在本文中也被称为光场调制器）的能力的方式来进一步压缩，该显示器调制该光场数据。本发明的压缩渲染和显示匹配的编码器方法的组合降低3D光场捕获和显示系统中的总计算负荷，并且允许实时操作，同时不引入任何新感知的图像降级。本文所述的实施例决不是限制性的，并且本发明可以通过不同实施例来实现。例如，本发明的另一个实施例可以将前述两个级组合成一个，其中压缩渲染级利用显示参数并执行压缩捕获（而没有明确的显示匹配的编码器级），向显示器发送可能已经根据显示参数选择的参考微元，其中显示器利用仅用接收的最小的微元信息的基于深度图像的重建来重建整个光场。类似地，本发明的又一个实施例可仅利用上述的显示匹配的编码器级，并抑制压缩渲染。本发明的一个可能的可替代实施例可使用描述方法以将离散Walsh变换（DWT）或离散余弦变换（DCT）系数用作显示器的输入的压缩显示，诸如[34，35]，并使用人类视觉系统（HVS）的综合方面执行解压缩，而没有在显示侧进一步处理。这个可替代实施例仅仅执行显示匹配的编码，并直接向显示器发送压缩信息。这些可能的实施例的介绍用于图示该发明的实际实现方式，但是该发明可以被修改或优化而不脱离本发明的预期精神和范围。

图1b图示本发明的基本主体，由此以压缩格式捕获并向显示器发送场景/3D数据101，并且显示器直接显示（或调制）压缩数据。本发明的一个实施例涉及3D场景的捕获或者场景/3D数据101的渲染和压缩，该场景/3D数据101包括但不限于天线地形纹理图像、具有地形高程或城市地图的雷达或LIDAR数据、风景、计算机生成的3D图像、医疗图像、同时或在不同时间用光场相机或多个相机拍摄的图像。图1a中图示的现有技术的光场成像系统，首先渲染或捕获全光场渲染过程102中的场景/3D数据101。由于大数据量，光场压缩步骤103用于降低数据大小。然后压缩数据被发送到显示系统，其中它首先被解压缩104然后被显示105。与此相反，一起通过使用压缩渲染106来首先渲染场景/3D数据101、由显示匹配的编码器107将它压缩、然后以压缩格式将它发送到显示器，由图1b图示的本发明完全避免整个光场的昂贵捕获或渲染。参考图1b，压缩渲染106和显示匹配的编码器107一起形成本发明的压缩捕获系统109，该压缩捕获系统109利用光场数据中固有的冗余来有效地生成适合于直接显示的压缩表示。光场图像内的冗余存在于时间、角度（或方向）和空间（或x-y）域中，由包括微元并且在微元之间的相似的像素值表示。在本发明的一个实施例中，被表示为比特流的压缩光场被直接发送到显示器108，显示器108解码比特流，并重建用其纹理和深度的细节描绘3D场景的光场，而无需眼镜或任何特殊设备。还可能在存储介质中的任何级存储比特流，用于以后的使用或显示。

压缩渲染106

本发明的压缩渲染106是足以由显示匹配的编码器107使用、同时实现最小可接受的感知图像降级的最小数量的微元的渲染。压缩渲染避免参与常规微元渲染的常规昂贵的操作（投影矩阵乘法、照明计算、纹理映射等）。压缩渲染还避免由以全感测器分辨率捕获光场的光场相机所需的昂贵存储需求。参考图2a，本发明的压缩渲染106后面的基本概念是使用可见度测试201选择并仅仅渲染202光场微元的子集，此后被称为参考微元。参考微元的选择基于使用分析3D数据来优选地最佳选择待渲染的参考微元位置的可见度测试201。例如，在一个实施例中，可见度测试可指示来自相机阵列的哪些相机应当用于捕获光场或者甚至哪些相机应当具有由帧抓取器数字化的它们的内容。在又一个实施例中，可视化测试将指示哪些虚拟相机应当由计算机图形学渲染应用来渲染。渲染过程生成参考微元纹理203和每像素深度图204。计算时间和功率通过渲染较少数量的微元代替渲染光场的所有微元来节省。选择的参考微元纹理可能在由自适应纹理滤波器205渲染之后被后处理。如下面的一个实施例中所述，自适应纹理滤波器的示例是去除未由光场显示器成像的高频内容的滤波器。在本发明的另一个实施例中，可能应用从深度到差异的转换206，以便处理像素位移的简单且直接的单元。作为滤波的参考微元纹理207及其相关联的参考微元深度、可能被转换成参考微元差异208的压缩渲染级的输出可以由存在于显示器108处的重建级来进一步使用，避免如先前提及的并且在图2b中图示的显示匹配的编码器步骤。在本实施例中，显示系统利用基于多个参考深度图像的渲染（MR-DIBR）209算法来合成剩余或残留微元并重建光场纹理210和差异211。光场调制器212利用重建的数据，以然后生成调制的光场213。注意：由于以后将解释的优点，本实施例利用深度信息作为转换成的差异，但相同的发明还适用于直接使用深度而无需任何转换。

该发明的一个方面是使用预定义的渲染算法渲染选择的参考微元。存在可适用于渲染参考微元的许多不同的渲染算法；本领域技术人员将认识到一些可能性是：双立体角渲染、多视图渲染、并行分组渲染等等。更加优化的渲染算法仍然是计算复杂的，而且可能需要过多的资源。基于光场中元素的深度的渲染算法的使用可以将视图投影的复杂操作转换成简单的像素移位。这样的方法的限制是其中不可以发现任何参考纹理像素的目标移除的（disoccluded）区域的合成。为了填充这样的区域，常见的解决方案是使用修补方法。这样的修补方法将通过使用限制到背景纹理（通过比较周围纹理的深度值识别）的信息来合成缺失的纹理。这种方法需要更复杂的计算，并且仍然容易出错。本发明的一个实施例基于使用描绘目标移除的纹理的其它参考，即使用包含缺失的纹理的视图。这需要使用更大数量的参考微元；然而质量可以远远比常规的修补方法优越。为了维持图像质量和低计算要求，本实施例基于使用更大数量的参考微元，并且仅仅在所有参考微元纹理不能够再现目标移除的区域时求助于合成孔填充操作。图3中图示在由参考微元覆盖的视场与非参考微元（此后称为目标微元）的视场之间的关系。在图3中，针孔虚拟相机表示参考和目标微元。参考微元 301的立体角303能够从离显示表面某一距离捕获（或覆盖）整个观看区域。具有由参考微元 301的组合的立体角303覆盖的其观看区域304的所有剩余微元，诸如例如微元302，可以使用参考微元 301来适当地合成。通过使用多个参考，本发明的压缩渲染方法能够覆盖来自不同方向的孔，并最小化使用孔填充作为后处理操作。图3示出作为参考的四个角落微元的使用，然而本发明还设想其它参考微元布置的使用。

使用可见度测试201选择参考微元

在本发明的一个实施例中，可使用在其中使用粗略网格并且以后精制的自上而下的方法来导出选择待渲染的参考微元的过程。在本发明的另一个实施例中，自下而上的方法用于选择始于精细网格的参考微元，精细网格以后被剪除以去除不必要的微元。图4图示一种方法，用于基于前述的选择参考微元的方法中的前一个来选择参考微元（图2中的可见度测试201）。如图4中所描绘，通过分析相对于其中捕获或渲染光场的表面平面（即，其中定位捕获/渲染场景的针孔虚拟相机的表面，或者在捕获相机与显示微元、显示表面相同的情况下；此后称为捕获表面）的场景的对象的位置，可以实现自上而下的方法。然后参考微元的选择将取决于在如下解释的对象的列表401中指定的对象的位置。在本发明的优选实施例中，微元选择过程通过选择四个角落微元作为参考微元 402来启动。由于有了作为参考的四个角落微元的这种选择，被定位在离捕获表面某一深度Z或远离捕获表面的对象由这些角落微元覆盖，在等于或大于Z的距离处的对象被从对象的列表中去除403。根据它们离捕获表面的距离来分类剩余的对象，并且根据需要，更多微元被添加到参考微元的列表以覆盖最远的对象404。为每个对象选择参考微元的过程404基于在捕获表面上的对象的投影区域的2维采样。对象的投影区域确定哪些微元将包含对象的纹理，并且可以用作参考。这些微元的2维采样程序选择微元以用作参考。注意：具有多个对象的场景可能具有重叠的参考微元选择，并且仅仅先前未被选择的参考微元被添加到参考微元的列表。对象z的深度为用于选择覆盖该对象的参考微元所使用的每个对象确定微元采样周期Δ，

其中，θ 是视场的微元角，并且P是微元间距（或节距）。由于基于该过程选择的微元的视场覆盖整个对象，选择的微元之间缺失的微元可以使用选择的微元的纹理和深度来生成。为了合并在当前对象后面但是远离显示表面的对象的目标移除的纹理，通过在所有方向上延伸由至少一个半采样周期Δ分析的对象的投影区域，附加的“边缘”微元位置被添加到该组选择的微元。重复该过程405，直到列表401中的所有对象由所得的该组选择的参考微元 406覆盖。

图5图示本发明的可见度测试201的可替代实施例，该发明始于由系统允许的最大数量的微元，并且在自下而上的方法中执行参考微元选择。在用于选择参考微元的这种方法中，首先计算用于每个微元的度量标准501。这样的标准的一个示例可能是相邻微元之间的相关性，可能为相邻微元使用存在于微元中的差异值的中值差异值作为度量，但本领域技术人员将认识到：其它标准也适用。差异值是两个视图之间的像素移位，并且反比于点到捕获的视图的距离。在具有常规的2D相机布置的光场的情况下，两个邻近相机之间的差异以及任何两个相邻视图之间的差异可以用于传送正描绘的对象的深度。为了使用具有非邻近相机的差异，人们需要根据那些相机之间的距离来缩放差异值。在本发明的一个实施例中，光场内微元的总数被划分成N×M 微元的区域502，将从所述微元中选择一个代表性的微元并添加到微元参考列表503。可以根据场景的元素自适应地选择N×M 微元区域的大小。例如，对于描绘远离捕获表面的对象的场景，所有微元高度相关，并且N×M 微元区域可能是整组微元。另一方面，对于靠近捕获表面的对象，微元之间的相关性可能小，并且N×M可能仅仅是单一的微元。此外，其它因素可能影响N×M 微元区域的大小，诸如例如在接受将并行处理的最大数量的微元或者等同地对于N的最大值的显示系统中的约束。N×M 微元区域内最有代表性的微元将基于获得的中值差异值来选择。图6中图示该选择标准的一个可能的实现方式。假设在由该微元的中值差异值指示的深度层中描绘由选择的参考微元508覆盖的所有对象，当选择的参考微元 508的像素被移位以合成目标微元时，目标微元507的一些像素可能不存在于参考微元中。那些像素位置被称为孔，并由图6中的灰色区域509指示。给定参考微元 508的中值差异值以及其离待合成的目标微元 507的位移δx和δy，可以计算孔的总数。最小化离微元的N×M区域内的其相邻微元的孔的数量的参考微元因此被选择成那个区域的最有代表性的微元，并且被添加到参考微元列表503。为了避免在图像的边界处的伪影，还添加角落微元 504（假使在先前步骤中不添加这些微元）。此外，为了避免遗漏与N×M 微元区域内选择的参考微元不相关的微元，所有微元的中值差异值被再检查一次。万一非参考微元具有大于预定义阈值的中值差异值，微元被添加到参考微元列表505并变成参考微元。因为其中值差异值指示微元与已经选择的参考微元不相关并且包含新的纹理，微元不可以从先前选择的微元参考重建，并且需要被添加到参考微元的列表，用于正常的渲染。

前述段落提供用于选择参考微元的两种方法的描述，然而本发明不限于具体描述的任一种方法，并且类似的方法可用于确定可以用于恢复光场的剩余微元的参考微元的子集的目的。为了确定哪些基本图像（或微元）与重建场景的信息最相关，需要预处理步骤或某种类型的先验信息。该先验信息通常以但不限于在场景中的对象位置、边界框、相机感测器信息、目标显示信息和运动矢量信息的形式。

在计算机生成的（CG）捕获环境中，其中计算机生成的3D模型用于捕获全视差光场图像，在开始渲染过程之前所有的信息已经由系统已知。该信息包括模型的位置、模型的大小、模型的边界框、模型和目标显示信息的捕获相机信息（CG相机）运动矢量。

为了由2D相机的阵列、由3D相机的阵列（包括激光测距、IR深度捕获或构造的光深度感测）或由光场相机的阵列显示动态光场，如在显示正由光场相机捕获的现场场景的情况下，预处理方法和数据包括但不限于精确的或近似的对象大小、在场景及其边界框中的对象的位置和取向、用于每个目标显示的目标显示信息、相对于3D场景全局坐标的所有相机的位置和取向等等。

自适应纹理滤波205

光场显示系统不可以再现小于微元大小的光场细节。因此微元大小可以被表征为用于光场显示系统可以再现的细节的奈奎斯特频率。此外，由于在任何光场显示系统中的光学发散，随着再现的对象移动得离显示表面更远，可以再现的最高频率细节变得小于显示系统奈奎斯特频率。因此，由光场显示系统再现的光场具有显示更靠近显示表面并且低于远离显示表面的正比于1/（离显示表面的距离）的奈奎斯特频率细节的奈奎斯特频率细节的能力。考虑该事实，深度自适应低通滤波器可以用于基于参考微元深度图信息调整参考微元纹理内容以过滤掉光场显示系统不可以再现的细节。通过消除对象的不可再现的细节，深度自适应低通滤波器具有还增加压缩比而不会降级感知的图像质量的益处。

差异转换的深度206

在计算机图形学工作流中，像素的深度典型地存储在缓冲器中，也被称为深度缓冲器或Z缓冲器。在本发明的一个实施例中，用于合成（渲染）微元的深度信息可以从3D模型中导出，并且可以从计算机图形学工作流中典型的Z缓冲器获得。本发明的其它实施例可以从不同方法获得深度，诸如飞行时间相机，以及还从信号处理程序获得的深度，诸如立体匹配。例如，立体对相机可以用于捕获。在相机校准和图像校正之后，立体匹配算法可以用于从立体提取深度。结果被称为深度图，并且可以以类​​似于来自计算机图形学的Z缓冲器的方式用在本发明中。差异代替深度的使用是优选的，因为它可以被高度压缩，它避免除法操作并且可以简化解码器的实现方式。由于微元的均匀几何布置和光学特性相似性，参考微元的深度值可以基于两个邻近微元之间的距离而被转换成归一化的差异值。然后该值可以用于通过用参考和目标微元之间的距离缩放参考微元的差异值而翘曲任何两个微元之间的像素。

在将深度转换到差异的典型方式（现有技术）中，当深度值是到大的负（-∞）或大的正值（+∞）时，差异是在这两种情况下等于零，这导致失去深度的标记。另外，量化差异值对于压缩是高度期待的；这需要现有技术中单独的一组操作。解决现有技术的这两个缺点，该发明的优选实施例保留深度的原始标记，同时还以下列方式利用为定点算术合并量化缩放的转换方法：

其中，δ是比特中差异值量化精度，pp是微元像素节距，P是微元间距（或节距），而f是表示微元的虚拟相机的焦距。最终值夹在值-2^(n-1)+1和2^(n-1)-1之间，以将差异值的范围限制在n比特字长内。在本发明的一个实施例中，差异精度δ范围可能从1至16比特，具有经选择以允许保留准确度的优选值，同时仍然允许简单像素移位；诸如δ=4。用于表示量化的差异值的比特数n取决于系统硬件的架构。范围从8至64比特的差异值字长n将是典型的，但优选地，诸如n=10之类的优选比特数可以用于为彼此远离的微元保留整数移位。在必要的情况下，较高的比特数可以用于表示差异值，以及它的精度。有了该转换，+1的所得的差异值表示正无穷深度值（即，在捕获表面前面的对象），-1表示具有负无穷深度值的对象（即在捕获表面后面的对象），并且0表示不定差异值，并且应当被视为例外。注意：由于深度层的定点算术和量化的使用，差异的使用在硬件简单性和数据压缩方面是有利的。然而，本发明还设想深度的使用而没有任何转换或者将促进渲染级处的像素移位的类似转换。

多个参考DIBR（MR-DIBR）207

如先前所述，选择参考微元，其中它们包括整个光场的一部分。非参考微元被称为目标微元。目标微元使用参考微元的纹理和深度图来合成。这个过程也被称为基于深度图像的渲染（DIBR）。在本发明的提出的实施例中，采用的DIBR的两个独特的方面是：它优选地使用归一化的差异来代替深度，并且参考的数量不被限制到一个或两个水平对准的参考，如通常在DIBR算法的技术发展水平中所发现的。我们的方法利用捕获表面平面的2D结构，并且使用多个参考微元来覆盖目标微元，并且最小化目标纹理中的孔。该算法被称为多个参考DIBR（MR-DIBR），并且图7图示采用的合成算法的组件。首先参考差异701被向前翘曲703，即将差异值从参考微元投射到目标微元的位置。所述的实施例使用从参考值的原始深度图转换的差异。该差异使用邻近微元之间的距离来计算。为了使用用于以不同距离投影到微元的差异值，需要使用被定义为微元之间的归一化距离的缩放因子。图8图示在目标微元805-807和用于缩放多个参考微元的差异值的一组参考微元 801-804之间的距离的示例。图8中图示的距离提供从参考微元到目标微元的水平和/或垂直像素移位的幅度。注意：差异的使用不是强制性的，并且本发明还包括使用深度值代替转换的差异值的实施例。由于量化值的使用以及由于定点算术的使用的舍入操作，翘曲差异可能呈现伪影。例如，差异值的量化可在翘曲差异中创建一至两个像素宽的孔，被称为裂缝。因此，为了减轻这样的伪影，使用差异滤波器704。然后一起将所有参考的结果合并705成表示合成的光场差异图211的最终差异图。这个结果与向后翘曲块706中的参考微元的纹理一起使用，以渲染合成的光场纹理210。注意：这个程序可以涉及分数像素位移，并且仍然导致来自合并操作的一些孔。剩余的孔可以用修补算法来合成地填充。例如，修补算法的一个可能的实施例将背景的纹理水平地延伸到孔中。另一个可能性是使用Navier-Stokes修补算法来将孔的边界的纹理延伸到空区域中。本发明不限于孔填充算法的一个特定实施例，而是可以使用任何可能的方法。

图9图示在本发明的MR-DIBR中使用的向后翘曲的可能的实施例的细节。即使每个参考微元纹理具有整数数量的像素位置901-903，潜在的目标微元像素905差异值D可以是非整数值。处理这种情况的两种可能的方式是或者将值四舍五入到整数，或者在使用MR-DIBR计算微元纹理时使用非整数（或分数）位移值。分数位移值Δu和Δv可以在向后翘曲操作中使用，以内插将为合成使用的更适当的纹理值。增量值可以连同差异值一起使用，作为用于内插将为向后翘曲使用的更适当的纹理值的加权因子。可能在本发明的MR-DIBR中使用的向后翘曲709的实施例的另一个示例是具有不同分辨率的微元的使用。在这种情况下，将由向后翘曲709使用的参考微元纹理可能具有比目标微元高的分辨率。如早先通过像素移位实现的向后翘曲操作用较高分辨率的参考微元纹理来完成，并且然后结果被下采样到目标微元的分辨率。下采样操作可能合并可以用于避免裂缝和孔的滤波，通常由舍入和量化误差引起，并且可以潜在地改善合成的目标微元的最终质量。本文提到的方法是本发明的可能的实施例，其经合并以便改善合成的光场的最终质量。此后这个和其它类似的技术是本发明的一部分。

显示匹配的编码器107

参考图10，本发明的一个可能的实施例利用渲染的参考微元连同合成的参考微元，以形成合成的光场1001，即来自图2的合成的光场差异211和合成的光场纹理210的联合。合成的光场1001将典型地合并相当数量的相关性，并且将需要被进一步压缩。这在本发明中通过使用显示匹配的编码器107（在随后的段落中描述的）压缩合成的光场数据来实现，如图10中所图示，显示匹配的编码器107压缩合成的光场数据并生成比特流1003。显示匹配的编码器107基本上降低数据带宽，以使得传输到显示器108可行。显示匹配的编码器以降低微元内部的局部角度信息（由微元的像素表示）为目标，这在压缩渲染方法中未被利用。两种方法的组合导致数据速率的整体降低，使得压缩捕获系统更加有效。显示匹配的编码器的另一个益处是：显示器的需求可以被合并到该级中，将压缩渲染级与实际硬件的影响隔离。在这个意义上，显示匹配的编码器可以作为用压缩的渲染级实现的结果和显示器中的解码硬件之间的代理。例如，如果显示器由于存储器限制而不具有使用其局部重建算法（DIBR）中的多个参考的能力，（在下面的段落中解释的）残留微元可以被发送以弥补参考的缺乏。光场显示器然后用捕获匹配的解码器1004本地解码数据，（如随后的段落中所述），并且重建（调制）212构成光场213的微元的阵列。注意：在本发明中，在传输到显示器之前光场的完全重建可以通过使用差异信息来避免，这导致仅仅处理压缩数据的光场成像系统。一般地，虽然压缩渲染利用关于场景的知识来以减少捕获的数据，但显示匹配的编码利用关于显示器硬件、软件和光学能力的知识来进一步压缩数据，并且还以将对于显示器最有用的方式来格式化它。可以在显示匹配的编码期间考虑的显示器的能力包括但不限于：显示器的处理能力、显示器的接口需求、显示器中微元的数量、用于微元透镜的小透镜psf（点扩散功能）、显示器的观看距离、显示器的估计的深度范围、显示器中可用的存储器的量、显示器刷新速率、显示器视角、显示器像素节距、像素的显示数量、显示器调制能力、显示器调制速度、显示器调制模式等。

本发明的显示匹配的编码器的一个可能的实施例使用瞄准实现高压缩的并行编码/解码架构，而同时参加显示系统的严格处理和存储器约束。本发明的显示匹配的压缩通过编码微元的子集而使能在显示侧的并行解码，微元的子集中的每一个在本文中被称为处理节点（PN）。有了由本发明的显示匹配的编码器使能的并行解码，在显示侧的处理可以是高度可并行化的，以便通过使每个PN并行工作来实现处理光场数据所需的吞吐量和存储器，以解码它们各自的微元的子集并全体并行重建整个光场。应当注意：本发明的显示匹配的编码器可以被设计成匹配在显示侧的硬件的选择以及其处理吞吐量和存储器能力。这是本发明的显示匹配的编码器的重要特征，因为它允许本发明的3D压缩成像系统充分利用半导体技术的不断进步以及它逐步提供的处理吞吐量和存储器的所得的增加。在本发明的不同实施例中，显示匹配的编码器还可同时处理不同数量的微元，并且还可以考虑不同的像素调制类型，诸如空间和/或时分多路复用的像素。在下面的段落中描述的实施例中论述本发明的显示匹配的编码器的一些变型。

用于实现本发明的显示匹配的编码器的光场的光场微元分割的一个示例是将微元阵列划分成包括N×N 微元的独立的区域。本发明的其它实施例可能不将光场划分成独立的微元区域，或者可能使用不同大小的微元区域，并且被包括在本描述中。当使用N=4的值时，意味着包括16个微元的4×4的子阵列一起由一个PN处理。N的值是本发明的显示匹配的编码器的配置参数，该配置参数是根据显示处理能力来确定的，并且不被限制到给定示例的N=4的值，并且范围可以在独立处理（编码或解码）所有微元时从1到在共同处理所有微元时的整个光场。对于PN 微元区域中的每一个，执行微元的行扫描，并创建微元的序列。图11图示用于一个这样的微元区域的PN编码过程的细节。在本实施例中，在本文中每个都被称为“种子微元”的在PN 微元区域内的一个或多个微元将被独立编码，并且在本文中被称为“剩余微元”的在各自的PN 微元区域内的剩余微元将相对于选择的种子微元而被编码。种子微元可能是或可能不是参考微元之一，因为种子微元优选地基于某个度量来选择，某个度量将趋向于最小化各自的PN区域内的残留微元所需的比特数，而参考微元被选择以为用于整体3D图像的重建的整体3D图像提供足够的光场数据，优选没有任何或至少有可与系统的带宽相一致地覆盖的可忍受的或最小的孔和裂缝。

参考图11，种子微元纹理1102和差异1101分别由种子微元纹理编码器1107和种子微元差异编码器1106编码。在下面的段落中解释处理的编码的细节。为了使用种子微元来编码残留微元，重要的是编码器和解码器两者使用相同的参考。由于用于种子微元的纹理的编码方法是无损的，图11中图示的种子纹理编码器1107包括重建的种子微元纹理1105的内部解码循环，种子纹理编码器1105与将由解码器使用的纹理相同。对于图11中图示的残留编码过程，残留微元差异1104使用作为参考的种子微元差异1101来编码1109。残留微元纹理1103使用种子微元的差异1101、残留微元的差异1104和重建的种子微元纹理1105来编码1108。所有编码器的结果聚集在比特流1003中。

图12图示用于种子微元纹理编码1107的细节。种子微元纹理1102被分割成k×k像素的块1201。对于每个像素的块，种子微元纹理值由固定值水平移位1202，即纹理像素值减去像素值的可能范围的中心值，以便获得正和负值（在8比特范围的情况下，使用128的恒定值）。然后将种子微元像素颜色空间转换到解相关颜色通道的颜色空间1203。对于本实施例的颜色空间转换的一个示例是RGB到YCoCg的颜色转换[30]；然而，也可使用包括但不限于YUV或YCbCr的其它颜色空间而没有限制。接下来，诸如DCT变换或整数变换等等之类的块变换1204被应用到每个颜色通道。变换仅仅以几个系数集中种子微元块的能量。然后使用根据块变换系数的能量的统计和分布调整的缩放参数来量化这些系数1205。由于种子微元以后用作参考，需要尽可能多地保留块变换系数的质量。通常包含大多数块的信息的DC系数然后使用DPCM方案1206来单独编码，而AC系数例如使用锯齿形扫描和运行长度编码1207来扫描和编码，最后比特流优选地使用霍夫曼熵编码器、上下文自适应二进制算术编码器（CABAC）或上下文自适应可变长度编码器（CAVLC）等等来熵编码1208。种子微元用作参考以编码残留微元，这意味着编码器和解码器两者必须使用相同的种子微元值。由于量化块给纹理值带来损失，由解码器重建的种子微元不同于在编码器侧的原始种子微元。因此，为了在编码器和解码器两者中使用相同的参考，解码循环被添加到编码器，以生成在解码器侧利用的重建的种子微元纹理1105。解码循环由编码操作的逆构成：逆量化块1209、逆变换1210、逆颜色空间转换1211和逆水平移位1212。​​应当注意：本发明的范围不限定于如图12中图示的在本段中所述的编码步骤和方法，并且可替代的编码方法、算法和实现方式也可能在本发明的上下文内。

图13图示种子微元差异编码1106的细节。由于种子微元的纹理编码和差异编码之间不存在任何依赖性，纹理和差异编码可以或者同时或者顺序地独立执行，这取决于可用的处理能力。对于差异值的编码，首先完成值的行扫描1301，然后执行运行长度编码1302。最后，值被熵编码1208，并且被添加到比特流，由此使用霍夫曼熵编码器、上下文自适应二进制算术编码器（CABAC）或上下文自适应可变长度编码器（CAVLC）等等来优选地执行熵编码。在本实施例中，完成差异信息的压缩而没有任何损失，但是也可使用其它方案来压缩差异，包括有损压缩方案。然而注意：类似于纹理，如果采用有损方法，编码器必须呈现解码循环来重建压缩差异图并维持与解码器的同步。应当注意：本发明的范围不限于如图13中图示的在本段中描述的编码步骤和方法，并且可替代的编码方法、算法和实现方式也可能在本发明的上下文内。

图14图示残留微元差异编码1109的细节。如图14中所图示，残留微元差异1105和翘曲的种子差异（即，在应用基于深度图像的渲染DIBR 1401之后移位的种子差异，DIBR1401使用为图2b的MR-DIBR 209程序解释的相同方法）之间的差值被分割成k×k像素的块1201，并且由于大部分块可能是零，仅仅非零值被进一步处理。然后扫描（例如，锯齿形扫描）这些非零值，并且然后在被进一步处理之前还霍夫曼编码1208运行长度编码1207。图15图示残留微元纹理编码1108的细节。参考图15，DIBR块1401使用重建的种子微元纹理1105、种子微元差异1103和残留微元差异1104来生成残留微元纹理的差异补偿重建。这个差异补偿重建用作对残留微元纹理的预测，并且通过将种子微元像素移位到残留微元位置来形成。孔可能在该翘曲操作期间出现。基于块的变换编码用于从该翘曲操作编码孔和任何所得的不准确度。类似于种子微元纹理编码的过程，残留微元纹理1103及其差异补偿预测之间的差被划分为k×k像素的块1201，其颜色空间被转换1203、变换1204、量化1205、扫描和运行长度编码1207。结果被熵编码1208，并且被添加到比特流。应当注意：本发明的范围不限于如图14中图示的在本段中描述的编码步骤和方法，并且可替代的编码方法、算法和实现方式也可能在本发明的上下文内。

自适应微元编码率优化

本发明的显示匹配的编码器的一个重要特征是在光场显示系统的各种组件之间可用的接口带宽的自适应分配，或者等同地，压缩算法的比特率分配。给定由3D显示系统所需的过多接口带宽，可用的接口数据速率（或比特率）被认为是大多数所有3D显示系统中的主要瓶颈。由于在本发明的3D压缩成像系统中，种子微元用作参考，这些微元用更多比特来编码，以尽可能多地保留它们的质量，并且在接口数据速率（或比特率）的分配中被给予优先级，并且用于编码残留微元的参数被自适应地选择以受可用的接口数据速率的限制。图16和图17图示：本发明适用于的方法分别为种子微元并为残留微元自适应地分配比特率。参考图16，计算对于编码种子微元纹理和差异可用的总比特数1601。选择需要最多数量的比特来编码其差异的种子微元的纹理，以优化编码量化步长1602。在图12的量化块1205中使用的编码量化步长控制存在于纹理的系数中的信息的水平，并且因此控制用于编码纹理的比特数。以引入可能的失真为代价，较大的量化步骤可以减少编码微元必需的比特数。用于编码该种子微元纹理可用的比特率由总的可用的比特率减去编码差异信息和报头信息所需的率来确定1603。选择可能在编码种子微元纹理时导致最小失真的编码量化步骤参数1604，并且然后对应的编码量化步长用于计算用于编码种子微元纹理所需的比特率1605。如果计算的比特率小于可用的比特率1607，则选择的量化步骤用于微元编码，否则增加量化步骤1607，并且比特率计算被再一次重新评估。这继续，直到发现允许在可用的比特预算内编码种子参考微元的量化步骤。参考图17，存在几个可能的编码模式1701，可以采用该编码模式以匹配编码的残留微元带宽和可用的比特率，诸如发送校正纹理、差异或者甚至跳过微元并且仅仅使用可用的预测。在分别对编码残留微元所需的比特率使用这样的模式中的任一个中的可行性和所得的质量被评估，并且不可行的编码模式作为选择被消除1702。导致大于可用的比特率的带宽的编码模式也被消除1703。使用拉格朗日成本优化来完成在剩余编码模式之中的选择1704，其中成本函数由选择的质量度量（例如，最小失真）加上λ倍的比特率来定义，其中λ是从量化步骤导出的参数。残留微元编码带宽的优化考虑可用的比特率，并且选择具有最小成本函数的编码模式，并且从对于残留微元编码可用的总比特减去使用的比特量1705，并且为了保留选择的质量度量，求助于仅在缺乏足够带宽的情况下使用较少比特的编码模式1702。

压缩光场的解码

图18图示在光场显示器处接收的比特流的解码流，并且提供关于捕获匹配的编码器1004的更多细节。本发明的捕获匹配的编码器的主要优点之一是：光场显示器接收压缩比特流，并将比特流解码以直接重建光场。直接解码是可行的，因为进行本发明的微元压缩以为微元压缩匹配在显示侧可用的计算能力。在显示侧的多个解码器1004接收比特流，并且仅仅在压缩域中执行处理以重建光场，同时避免使用在常规解压缩技术中使用的扩展数据方法。有了并行运行的多个解码器1004，每个解码器负责总体光场的仅仅一部分的重建，以确保用于整个光场的重建的足够的处理能力。光场显示器接收编码的比特流，并且首先执行熵解码1801。使用识别分组类型的报头以及显示表面上相关微元的坐标来典型地分组化比特流。解码器1004分析接收的报头并且仅仅解压缩其所负责的光场的那些微元。几个分组类型用于发不同光场信息的信号，并且四种类型的这样的分组包含需要由显示器进一步解码的实际微元有效载荷信息；它们是种子微元纹理、种子微元差异、残留微元纹理和残留微元差异。对于种子微元纹理，在光场显示器侧执行编码侧的逆操作，其中DC系数在DPCM解码1802之后获得，而其它系数在运行长度解码和扫描1803之后获得。接收的种子微元纹理数据被进一步逆量化1209、逆变换1210、逆颜色空间转换1211和逆水平移位1212，以生成重建的种子微元纹理1105。接收的种子微元差异数据被运行长度解码1804，以生成种子微元差异1103。然后重建的种子微元纹理1105和种子微元差异1103两者被保持在显示器本地存储器中。接收的残留微元差异数据被运行长度解码和扫描1809，以生成残留微元差异1104。接收的残留微元纹理数据被运行长度解码1803、扫描1803、逆量化1209、逆变换1210和逆颜色空间转换1211，生成残留微元纹理1805。DIBR块1401采用种子微元差异1103并将它向前投射到残留微元位置。接收的残留微元差异1104可以纠正该操作中的错误。所得的微元差异用于将保存的重建的种子微元纹理1105向后投射到残留微元位置。该纹理由重建的残留纹理1805称赞。组合的纹理是显示器的调制像素105的子集。应当注意：在前述的解码流中，DIBR块仅仅使用单一的种子微元，用于在显示器处的存储器的最小使用；可替代地，多个种子微元也可以结合MR-DIBR过程一起使用，如早先所述的。

动态压缩的光场显示器

当光场随时间的过去变化再现光场内对象的运动时，则它被称为光场电影或动态光场。在动态光场中，将典型地假设：由于存在一个或多个下列特征，光场能经得起压缩的检验：空间相关性（对象是平滑的）、时间相关性（对象的运动相对光场刷新率是慢的）、角度（当从不同角度观看时，对象有些相似）。压缩技术的技术发展水平利用图像数据中的冗余来使用较少的比特表示它。空间和时间相关性是图像视频压缩中两个常用的特性。通过预测（帧内预测和运动估计）的方式，减少了由于空间和时间相关性存在于数据中的冗余，因而可以用较少的比特编码残留信息（即，原始和预测的信号之间的差），并且实现压缩。有损残留编码的常见方法是应用变换量化编码的范例，这减少通过量化而在熵编码级处实现更高压缩的信号的熵，然而招致信号质量的损失。大多数压缩算法利用人类视觉系统（HVS）的特性来带来不被观众感知的质量损失。在动态3D数据的情况下，考虑视图之间的相似性。视图间相关性允许从先前编码的视图预测当前视图，被称为差异估计的过程。最近，3D视频压缩技术使用计算机图形学渲染的概念来从邻近纹理和深度值生成相邻视图的预测（视图合成预测），并实现多视图图像的更高压缩[31]。为了使用预测并降低信号冗余，需要存储器来存储参考数据。

复杂预测方案可能使编码器/解码器架构复杂化，增加对存储器的需求，并且可能创建可能妨碍并行处理实现方式的编码/编码块之间的依赖性，除非某些设计规定被合并到压缩渲染和显示匹配的过程中。在本发明的一个可能的实施例中，本发明的压缩渲染和显示匹配的编码器的并行处理节点（PN）以多层而不是如早先所述的单层的分层来实现，还被称为分层压缩。本发明的压缩渲染和显示匹配的编码器的这样的概括将允许与PN的每个簇内的节点间连接性类似的PN的簇之间的数据连接性。这样的PN簇数据连接性可以在压缩域中更高的并行处理层处实现，以避免对存储器的过多需求。在实施例的一个方面，动态光场刷新周期之间的时间变化可能使用索引移位的显示匹配的编码微元来编码，索引移位的显示匹配的编码微元在连续的动态光场刷新周期中被从更高的处理层发送到光场显示层。在该实施例的另一个方面，本发明的压缩渲染过程的参考微元选择过程在动态光场刷新周期的每一个中被重新审查，并且参考微元被删除或添加以在连续刷新周期之间反映光场中的时间变化。当超过某一度量时，重复影响光场区域的合成以考虑连续刷新周期之间的时间变化。可以在解码器侧复制分层结构，类似于编码器分层架构。有了高并行处理层，处理节点可能共享数据，诸如种子微元，这将允许数据的分层解压缩以及甚至数据速率的进一步减少。

本发明还包括使用时间相关性工具压缩动态光场的编码方法。例如但不限于，本发明可使用诸如运动估计和对微元数据的运动补偿之类的技术。减少该发明的动态光场实现方式中的硬件足迹的一种方式是重新使用硬件元件来实现类似的功能。例如，基于运动补偿（MC）和深度图像的渲染（DIBR）可以使用相同的硬件来实现，对信号流有一些修改。DIBR硬件组件负责根据由每个像素差异值和给定的缩放因子确定的提供的位移值来将微元纹理数据移动到新的位置。如早先所解释的，差异值乘以种子和目标微元之间的距离，并且该值用作用于读取种子的纹理的寻址方案，并且将它用作对目标微元的预测。该操作露出与运动补偿技术的许多相似性，运动补偿技术使用运动矢量作为时间参考纹理的寻址指针（通常是过去编码的帧），寻址指针然后用作对当前信号的预测。因此，在本发明的一个实施例中，动态光场中运动补偿的实现方式将利用早先所述的可用的DIBR处理块作为本发明的部分，其中被解释为从一个光场刷新周期到下一个的变化的光场对象的运动首先被分割成垂直和水平分量，如图19中所图示。为了在光场刷新时间t+1处时在光场数据块1906上执行光场运动补偿，在光场刷新时间t时获得的光场数据块1901用作种子微元（参见早先关于定义的论述以及在本发明的上下文内种子微元的使用）。由于在这种情况下，目标微元是在相同位置处的微元，仅仅在不同的光场刷新时间时，种子和目标微元之间的距离被人为地从（0，0）变为（1，0），以便执行种子微元的水平运动补偿。注意：该块的前一个位置可需要接收可以通过发送残留纹理块1903实现的新的纹理。接下来，重复相同的程序1904，这次接收运动矢量的垂直分量，并在DIBR处理块中从（0，0）到（0，1）人为地修改种子和目标微元之间的距离。最后，处理剩余的残留纹理1905，并且所得的块是运动补偿的种子参考。动态光场运动补偿的所述实现方式可导致发送比常规运动补偿多的残留信息，由于块位移需要在两个步骤中完成。然而，硬件实现方式的节省可证明压缩性能的损失。在本发明的可替代实施例中，假如显示器处理适当的帧缓冲器，通过利用用于种子和目标微元编码和解码的相同DIBR硬件块来并行地同时执行水平和垂直运动补偿，设想的更复杂的硬件实现方式将能够执行所述的动态光场运动补偿。

随着高速处理的改善，处理庞大数据量的另一种方式是暂时多路复用传入的数据流，并且顺序地处理数据的较小子集。为了表示角度信息，将需要应用空间多路复用。也可以根据角度信息排序这些像素的处理，并且可以划分显示器的视场，使得一次处理一组较小的角度信息。参考文献[32，33]描述了光场调制器，该光场调制器通过在时间上调制光的角度段来构建光场。在这样的光场调制器中，光场的分割用于使用最小的调制​​表面空间足迹来使能最大的光场角度程度或视场（FOV）以及角度分辨率。使用最小的调制​表​面空间足迹实现最大的FOV和角度分辨率对于实现高清晰度无VAC全视差3D观看体验是关键的。

本发明的一个实施例使得使用参考文献[32，33]中描述的光场调制器的光场分割来实现本发明的光场压缩渲染和显示匹配的压缩。参考文献[32，33，36]描述通过光场成像系统的旋转（铰接）和转换（光场发射器和/或光电二极管阵列的移动）时分多路复用光场数据的方法。在使用参考文献[32，33，36]中所述的方法的光场显示系统中，从捕获到显示可能以时分多路复用方式完成本发明的所有压缩方法。这允许通过重新使用显示像素、存储器和压缩光场数据等来更有效地使用捕获和显示系统资源，并且除了参考文献[32，33，36]中所述的其它益处外还可以实现增加的FOV和/或增加的分辨率。在参考文献[32，33]中所述的光场调制器的上下文内应用本发明的光场压缩方法的益处是：（1）参考文献[32，33]的光场的光场分割将光场划分成“多路复用的段”，由此每个这样的段将包含可以在本发明的压缩渲染和显示匹配的压缩中利用的相当数量的段内相关性；（2）参考文献[32，33]的光场分割自然地将全光场划分成可能直接用作光场划分的微元调制分组，光场划分被应用在本发明的上下文内以选择压缩渲染参考微元区域和显示匹配的压缩解码种子微元分组；（3）参考文献[32，33]的光场的时间多路复用允许高效地连续使用本发明的显示匹配的压缩的编码器资源；以及（4）参考文献[32，33]的光场分割自然地将全光场划分成微元调制分组，微元调制分组可能直接用作用于本发明的压缩渲染和显示匹配的压缩的所述并行实现方式的基础。

本领域技术人员将容易理解：各种修改和改变可以适用于该发明的实施例而不脱离在所附权利要求中并且由所附权利要求限定的其范围。应当理解：该发明的前述实施例仅仅是说明性的，并且该发明可以以其它特定形式来体现而不脱离其精神或基本特性。例如，虽然已经如解释的实施例的图9中图示的为向后翘曲描述了线性内插的使用，但诸如二次或三次之类的其它类型的内插也可以用于在内插的图像中提供改进的准确度。因此公开的实施例不应当在任何意义上被认为是限制性的。该发明的范围由所附权利要求而不是前述的描述指示，并且落入其等同物的含义和范围内的所有变化旨在被包含在其中。

Claims (72)

1.一种用于光场成像系统的方法，包括：

来自光场的光场数据的压缩捕获以提供压缩光场数据；以及

在光场显示系统处从压缩光场数据重建和显示光场。

2.根据权利要求1所述的方法，其中：

光场数据的压缩捕获包括光场数据的压缩渲染，以及匹配光场显示系统的能力的压缩渲染光场数据的显示匹配的编码；以及

直接在光场显示系统处光场的重建，而无需在向光场显示系统发送光场之前首先解压缩压缩光场数据。

3.根据权利要求1所述的方法，进一步包括：渲染计算机生成的图像，以获得选择的场景视图的纹理和/或深度。

4.根据权利要求1所述的方法，其中光场数据使用多个捕获方法或相机来捕获，以获得选择的场景视图的纹理和/或深度。

5.根据权利要求1所述的方法，其中计算机生成的图像连同一个或多个真实世界捕获的光场一起用在增强现实应用中。

6.根据权利要求1所述的方法，进一步包括：以比特流格式向显示器发送压缩光场数据，该显示器能够显示用于观察3D图像的光场。

7.根据权利要求1所述的方法，进一步包括：以比特流格式向显示器发送压缩光场数据，该显示器能够显示光场以呈现3D图像，该3D图像可在不使用眼镜的情况下观看。

8.根据权利要求1所述的方法，进一步包括：以比特流格式向显示器发送压缩光场数据，该显示器能够显示光场而无需进一步处理。

9.根据权利要求1所述的方法，进一步包括：在重建和显示光场之前，以比特流格式在存储介质中存储压缩光场数据。

10.根据权利要求1所述的方法，其中压缩捕获进一步包括3D场景数据的分析，以选择表示3D场景的参考微元。

11.根据权利要求10所述的方法，其中压缩捕获进一步包括：从参考微元纹理和差异图创建用于参考微元的差异图和目标微元的合成。

12.根据权利要求11所述的方法，其中目标微元使用基于多个参考深度图像的渲染来合成。

13.根据权利要求12所述的方法，进一步包括：选择多个参考微元。

14.根据权利要求13所述的方法，进一步包括选择的参考微元的差异图的向前翘曲。

15.根据权利要求14所述的方法，进一步包括向前翘曲的差异图的滤波。

16.根据权利要求15所述的方法，进一步包括：将向前翘曲的差异图合并到单个差异图中。

17.根据权利要求16所述的方法，进一步包括：根据合并的差异图的纹理的向后翘曲。

18.根据权利要求17所述的方法，其中分数像素移位用在纹理的向后翘曲中。

19.根据权利要求17所述的方法，进一步包括：在压缩捕获中使用比光场显示系统的分辨率高的分辨率来捕获和使用参考微元。

20.根据权利要求17所述的方法，进一步包括：在向后翘曲之后孔填充。

21.根据权利要求10所述的方法，其中压缩捕获包括压缩渲染和显示匹配的压缩以形成压缩光场数据，并且其中3D场景数据的分析以选择表示3D场景的参考微元包括可见度测试以选择将在压缩渲染中渲染的参考微元。

22.根据权利要求21所述的方法，进一步包括：从较大的一组参考微元选择参考微元的子集。

23.根据权利要求21所述的方法，进一步包括：选择初始的一组参考微元，并且添加更多参考微元以由初始的该组参考微元的立体角更佳地表示3D场景的对象。

24.根据权利要求21所述的方法，进一步包括：在可见度测试之前预处理3D场景数据，以从3D场景数据为可见度测试提取信息。

25.根据权利要求24所述的方法，其中预处理利用由计算机图形学方法捕获的计算机生成的场景。

26.根据权利要求24所述的方法，进一步包括：利用由一个或多个相机或相机类型捕获的真实世界或现场场景来预处理。

27.根据权利要求10所述的方法，包括参考微元的渲染。

28.根据权利要求27所述的方法，进一步包括渲染参考微元的低通滤波，以避免非可分辨的特征。

29.根据权利要求27所述的方法，进一步包括获得参考微元的每像素深度。

30.根据权利要求29所述的方法，进一步包括：将每像素深度转换成差异，并且在参考微元渲染之后、在深度到差异转换期间量化差异信息。

31.根据权利要求1所述的方法，进一步包括：由编码器格式化压缩光场数据以生成用于向用于解码的光场显示系统传输的比特流，以及光场的显示。

32.根据权利要求31所述的方法，其中将比特流匹配到光场显示系统。

33.根据权利要求32所述的方法，进一步包括：将光场划分成N×N块微元，每个用于在压缩捕获期间的独立编码并用于在光场显示系统处的独立解码。

34.根据权利要求33所述的方法，进一步包括：为编码选择用于N×N块微元的每一个的一个或多个种子微元，并且相对于种子微元编码残留微元。

35.根据权利要求34所述的方法，其中编码包括种子和残留微元的纹理编码。

36.根据权利要求35所述的方法，进一步包括：使用多个种子微元的纹理和差异图，为残留微元合成预测。

37.根据权利要求34所述的方法，其中编码包括种子和残留微元的差异编码。

38.根据权利要求34所述的方法，进一步包括：用比特分配算法编码种子和残留微元。

39.根据权利要求38所述的方法，进一步包括：在光场显示系统处使用解码算法来解码种子和残留微元，解码算法与比特分配算法互补。

40.根据权利要求39所述的方法，进一步包括：在光场显示系统处用使用多个解码单元的多处理技术来并行解码所有种子和残留微元。

41.根据权利要求40所述的方法，进一步包括：分组化比特分配，用于分布在多个解码单元之中。

42.根据权利要求1所述的方法，进一步包括：执行光场数据的分层压缩捕获，并在光场显示系统处执行分层解压缩。

43.根据权利要求1所述的方法，进一步包括：用时间相关性的动态光场的压缩捕获。

44.根据权利要求43所述的方法，进一步包括：在光场数据的压缩捕获中使用运动估计。

45.根据权利要求44所述的方法，其中压缩捕获使用基于深度或差异图像的渲染，并且进一步包括重新使用用于基于深度或差异图像的渲染的硬件和/或软件以执行运动估计和运动补偿两者。

46.根据权利要求1所述的方法，进一步包括：通过光场显示系统的光场发射器的旋转和转换来时分多路复用压缩光场数据。

47.根据权利要求46所述的方法，进一步包括：将压缩光场数据暂时多路复用成空间或角度组织的较小子集。

48.根据权利要求47所述的方法，进一步包括：创建具有预定量的相关性的子集。

49.根据权利要求46所述的方法，进一步包括：通过压缩光场数据的时分多路复用的重建来重新使用显示像素、存储器和压缩光场数据，由此增加光场显示系统的视场。

50.根据权利要求46所述的方法，其中时分多路复用进一步包括：创建自然地将压缩光场数据划分成微元调制分组的多路复用的段。

51.根据权利要求50所述的方法，进一步包括接口带宽的自适应分配，以及其中显示匹配的编码器的压缩算法与接口带宽的自适应分配一起的时分多路复用。

52.根据权利要求46所述的方法，进一步包括：将压缩光场数据划分成微元分组，微元分组用于压缩渲染和显示匹配的编码的并行实现方式。

53.一种用于光场成像系统的方法，包括：

压缩捕获来自光场的光场数据以提供压缩光场数据；光场数据的压缩捕获包括：光场数据的压缩渲染以及匹配光场显示系统的能力的渲染光场数据的显示匹配的编码，压缩捕获包括3D场景数据的分析以选择表示3D场景的参考微元；以及

在光场显示系统处重建和显示渲染光场数据的显示匹配的编码。

54.根据权利要求53所述的方法，其中压缩捕获进一步包括来自参考微元的目标微元的合成。

55.根据权利要求54所述的方法，其中目标微元使用基于多个参考深度图像的渲染来合成。

56.根据权利要求53所述的方法，包括参考微元的渲染。

57.根据权利要求56所述的方法，进一步包括：获得参考微元的每像素深度。

58.根据权利要求57所述的方法，进一步包括：将每像素深度转换到差异，并且在参考微元渲染之后、在深度到差异转换期间量化差异。

59.根据权利要求53所述的方法，其中用比光场显示系统的分辨率高的分辨率捕获选择的参考微元。

60.根据权利要求53所述的方法，进一步包括：将光场数据划分成N×N块微元，每个用于在压缩捕获期间的独立编码并用于在光场显示系统处的独立解码。

61.根据权利要求60所述的方法，进一步包括：为编码选择用于N×N块微元的每一个的一个或多个种子微元，并且相对于种子微元编码残留微元。

62.根据权利要求61所述的方法，其中编码包括种子和残留微元的纹理编码。

63.根据权利要求61所述的方法，其中编码包括种子和残留微元的差异编码。

64.根据权利要求63所述的方法，进一步包括：在光场显示系统处使用使用多个解码单元的多处理技术来并行解码所有种子和残留微元。

65.根据权利要求53所述的方法，进一步包括：执行光场数据的分层压缩捕获，并在光场显示系统处执行压缩光场数据的分层解压缩。

66.根据权利要求53所述的方法，进一步包括：通过利用时间相关性的动态光场的压缩捕获。

67.根据权利要求66所述的方法，进一步包括：在光场数据的压缩捕获中的运动估计。

68.根据权利要求67所述的方法，其中压缩捕获使用基于深度或差异图像的渲染，并且进一步包括重新使用用于基于深度或差异图像的渲染的硬件和/或软件以执行运动估计和运动补偿两者。

69.根据权利要求53所述的方法，进一步包括：通过光场显示系统中光场发射器的旋转和/或转换来时分多路复用压缩光场数据。

70.根据权利要求53所述的方法，进一步包括：将压缩光场数据划分成微元调制分组，微元调制分组用于压缩渲染以及压缩捕获的显示匹配的编码的并行实现方式。

71.一种用于光场成像系统的方法，包括：

压缩渲染来自光场的光场数据以提供压缩渲染光场数据；以及

在光场显示系统处从压缩渲染光场数据重建和显示光场。

72.一种用于光场成像系统的方法，包括：

使用显示匹配的编码捕获来自光场的光场数据，以提供显示匹配的压缩光场数据；以及

在光场显示系统处从显示匹配的压缩光场数据重建和显示光场。