CN102306291A - 一种光场采样及重构方法与装置 - Google Patents

Abstract

本发明公开了一种光场采样及重构方法与装置。该光场采样方法包括：步骤1，制作由随机码字构成的编码光圈；步骤2，通过更换编码光圈在CCD上得到光场采样数据。本发明利用光场数据固有的冗余特性，并结合压缩感知理论和编码光圈方法，能够实现光场数据的高效采集和重建。

Description

一种光场采样及重构方法与装置

技术领域

本发明涉及光场采集领域，尤其涉及一种光场采样方法及重构与装置。

背景技术

针对光场采集的问题，从1992年阿德尔森(Adelson)搭建出采集光场的原型系统开始，国际上在此方面的研究和开发有大约二十年的发展历史，广大研究者进行了大量的努力并提出了多种方法，包括相机阵列采集、单相机时序采集和单相机同时采集等。相机阵列采集有斯坦福大学(StanfordUniversity)、麻省理工学院(MIT)等研究机构为代表的平面相机阵列以及南加州大学(USC)等为代表的穹形阵列，通过多传感器采集角度信息，需要标定、校准、同步等工作，并且系统可移动性差；单相机时序采集则主要通过机械控制台架移动相机或者巧妙的采集策略对相机进行精确的位置和姿态控制，斯坦福大学、微软研究院等在此方面做过一些研究工作；单相机同时拍摄则主要通过在成像光路上加入附加的光学器件来改变光路，将不同角度的光线复用在电荷耦合元件(CCD)上，比如李普曼(Lippman)等提出的遮挡蒙版方法、Ren Ng发明的微透镜方法、梁(Liang)发明的编码光圈相机等。总体而言，已有的方法对于光场数据本身的属性未做充分分析，主要通过牺牲等量的空间分辨率或者时间分辨率来获取角度信息，计算代价较高。

近年来，随着压缩感知理论的发展，少数研究者开始运用压缩感知理论进行光场信息采集，比如西北大学(Northwestern University)和亚利桑那大学(University of Arizona)提出的编码光圈方法，但是其只是用传统计算机科学(CS)理论做了仿真实验，且对于光场统计属性缺乏深入研究；MIT的弗格斯(Fergus)等提出了随机镜面成像方法，由于随机镜面的实现工艺等原因，效果很不理想。

发明内容

针对现有技术中存在的上述问题，本发明提供了一种光场采集及重构方法与装置。

本发明提供了一种光场采样方法，包括：

步骤1，制作由随机码字构成的编码光圈；

步骤2，通过更换编码光圈在CCD上得到光场采样数据。

在一个示例中，编码光圈为编码胶片。

本发明提供了一种光场重构方法，包括：

步骤10，对具有时域和空域冗余性的光场数据进行学习，得到一组过完备基；

步骤20，利用公式 $\left\{\begin{array}{c}x=\arg \min (\mathrm{\α}\·|\left|x\right||+\mathrm{\β}\·\mathrm{rank}(\mathrm{\ψ}\·x))\\ s.t.Y=\mathrm{\φ}\·\mathrm{\ψ}\·x\end{array}\right.,$ 其中Y为光场采样数据，Φ为编码光圈的码字，Ψ为过完备基，x为投影系数，α、β为常数；

步骤30，利用Ψ与x的乘积重构出光场。

在一个示例中，步骤10中，采用K奇异值分解对具有时域和空域冗余性的光场数据进行学习。

本发明提供了一种光场采样装置，包括定焦单反镜头，在定焦单反镜头的光圈平面开槽，用于放置编码光圈；编码光圈垂直于光轴；编码光圈的码字为随机码字。

在一个示例中，编码光圈为编码胶片。

本发明提供了一种光场重构装置，包括：

过完备基获取单元，用于对具有时域和空域冗余性的光场数据进行学习，得到一组过完备基；

投影系数计算模块，用于利用公式 $\left\{\begin{array}{c}x=\arg \min (\mathrm{\α}\·|\left|x\right||+\mathrm{\β}\·\mathrm{rank}(\mathrm{\ψ}\·x))\\ s.t.Y=\mathrm{\φ}\·\mathrm{\ψ}\·x\end{array}\right.,$ 其中Y为光场采样数据，Φ为编码光圈的码字，Ψ为过完备基，x为投影系数，α、β为常数；

光场重构模块，用于利用Ψ与x的乘积重构出光场。

本发明利用光场数据固有的冗余特性，并结合压缩感知理论和编码光圈方法，能够实现光场数据的高效采集和重建。

附图说明

下面结合附图来对本发明作进一步详细说明，其中：

图1是光场压缩采样及重构方法框架图；

图2是光场压缩采样及重构方法流程图；

图3是光场数据采样排列示意图；

图4是随机采样码字实例(5×5角度分辨率)；

图5是编码光圈设置下的成像光路图；

图6是产生光圈编码的胶片制作样品图。

具体实施方式

本发明提供的光场采集的压缩感知采样方法中，需要利用光场数据在时域和空域上的冗余性，采用K奇异值分解(KSVD)学习具有稀疏投影系数的过完备的词典；在压缩感知理论指导下进行高效的光场采集和重构，光场重构的方法主要利用压缩感知理论实现从低维测量值实现高维光场数据的重建；结合几何光学下的成像原理与压缩感知的采样矩阵，通过编码光圈的策略实现光场数据的压缩采样，并搭建原型系统进行原理验证和为产品研发奠定基础。

本发明的基于光场数据过完备基学习的压缩采样和重构方法，包括以下实现步骤：

利用光场数据的冗余特性分析，主要包括同一空间坐标不同视角之间的冗余性、同一视角相邻空间坐标之间的冗余性，将光场数据进行重新采样和排列。

过完备基学习，通过对上一步骤中重采样后的光场数据学习过完备的基，使得光场数据在此基上能够高精度重建，同时其投影系数只有极小比例的非零元素，即具有稀疏特性。此过完备基的学习要从不同类型的光场数据学习，从而使其对于自然场景光场数据采集具有普适性。

光场稀疏采样和重构算法，主要在完备基上投影稀疏的属性与光场数据本身的结构信息作为先验约束，从而可以从较少的采样数据中重构高质量的高维光场数据。

在进行光场重构的过程中，令Y＝Φ·Ψ·x，其中Y是CCD信号，Φ是编码光圈上的码字，Ψ和x分别是学习得到的过完备基以及光场数据(Ψ·x)在这组基下的投影系数。根据CCD信号实现光场数据重构过程如下：

鉴于光场数据具有较大的冗余性，可以在压缩感知理论知道下通过较少的测量数据恢复高维光场数据。由于待求系数x的维度比CCD测量数据Y的维度高，重构x需要增加额外的先验知识，本发明根据光场数据的结构特性采用两项先验约束：(1)光场数据在过完备基下具有稀疏的系数，这里最小化x的L₀范数(即非零元素的个数)，但是为了考虑求解的可行性，采用x的L₁范数代替；(2)不同角度的光场数据之间具有一定视差，局部类似于图像的错切变换，因为光场数据具有低秩特性，这里最小化光场数据的秩来。重构过程的形式化表示如下：

x＝argmin(α·||x||₁+β·rank(Ψ·x))

s.t.Y＝Φ·Ψ·x

在恢复光场数据的投影系数x之后，通过Ψ与x相乘计算光场数据，α、β为常数。

下面参照附图对本发明进行详细的说明。

如图1所示，自然场景不同位置发出的各方向的光线(即光场数据)经过编码光圈的采集，在CCD上得到编码图像。这里光场数据采用一组过完备基下的稀疏投影系数来描述，而编码光圈则通过在光圈平面加入随机码胶片实现。经过多次以上采集过程，CCD上得到的一系列信号，在压缩感知理论的指导下，通过对投影系数的稀疏性约束以及光场数据的结构约束，可以重构出光场数据。图2显示了光场压缩采样及重构方法流程，先通过镜头对场景进行编码采集并透视投影到CCD上，最后进行光场重构。

如图3所示，光场数据可以从空间(x-y坐标)和角度(u-v坐标)来表示，本发明首先根据自然图像在空域固有的冗余性，将空间邻域的图像片作为单元；然后根据同一场景点在不同角度下的冗余属性，将同一空间邻域不同角度的图像片依次排列。以上两种排列之后的数据同时考虑了空域和角度域上的冗余特性，用于学习光场数据的先验属性。

如图4所示，通过对光圈平面进行随机编码，可以得到光照复用的光场采集。为了保证采集信号的信噪比，需要保证一定的通光亮。本发明的通光量在全光圈1/2，角度分辨率为5×5时的一组随机码。

如图5所示，在编码光圈设置下，场景发出的各个方向的光线具有不同的透光度，进而在CCD上产生不同的贡献。这里光线和编码区的亮度体现了通光亮的大小。

如图6所示，在物理实现上，光圈的编码通过在透明胶片的菲林涂层面喷墨打印实现，其透光度直接反比于打印模式的灰度值。

本发明采用单反定焦镜头，在光圈平面对称位置开1mm宽度的细槽，用于放置垂直于光轴的编码胶片，实现光场数据的压缩感知采样。同时在缝隙外添加不透光材料，避免侧面光线对成像的影响，同时减少灰尘的进入，保障系统的稳定和寿命。

本发明的光场采集装置的设计与搭建运用了几何光学下的图像生成原理，用多值透光度下的胶片进行光圈编码，并采用步进机械控制或人工控制方法来实时更换码字，即实现压缩感知理论中的测量矩阵。

以上所述仅为本发明的优选实施方式，但本发明保护范围并不局限于此。任何本领域的技术人员在本发明公开的技术范围内，均可对其进行适当的改变或变化，而这种改变或变化都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种光场采样方法，其特征在于，包括：

步骤1，制作由随机码字构成的编码光圈；

步骤2，通过更换编码光圈在CCD上得到光场采样数据。

2.如权利要求1所述的光场采样方法，其特征在于，编码光圈为编码胶片。

3.一种光场重构方法，其特征在于，包括：

步骤10，对具有时域和空域冗余性的光场数据进行学习，得到一组过完备基；

步骤20，利用公式 $\left\{\begin{array}{c}x=\arg \min (\mathrm{\α}\·|\left|x\right||+\mathrm{\β}\·\mathrm{rank}(\mathrm{\ψ}\·x))\\ s.t.Y=\mathrm{\φ}\·\mathrm{\ψ}\·x\end{array}\right.,$ 其中Y为光场采样数据，Φ为编码光圈的码字，Ψ为过完备基，x为投影系数，α、β为常数；

步骤30，利用Ψ与x的乘积重构出光场。

4.如权利要求4所述的光场重构方法，其特征在于，步骤10中，采用K奇异值分解对具有时域和空域冗余性的光场数据进行学习。

5.一种光场采样装置，包括定焦单反镜头，其特征在于，在定焦单反镜头的光圈平面开槽，用于放置编码光圈；编码光圈垂直于光轴；编码光圈的码字为随机码字。

6.如权利要求5所述的光场采样装置，其特征在于，编码光圈为编码胶片。

7.一种光场重构装置，其特征在于，包括：

过完备基获取单元，用于对具有时域和空域冗余性的光场数据进行学习，得到一组过完备基；

投影系数计算模块，用于利用公式 $\left\{\begin{array}{c}x=\arg \min (\mathrm{\α}\·|\left|x\right||+\mathrm{\β}\·\mathrm{rank}(\mathrm{\ψ}\·x))\\ s.t.Y=\mathrm{\φ}\·\mathrm{\ψ}\·x\end{array}\right.,$ 其中Y为光场采样数据，Φ为编码光圈的码字，Ψ为过完备基，x为投影系数，α、β为常数；

光场重构模块，用于利用Ψ与x的乘积重构出光场。

Images