CN104036489A - 一种光场获取方法 - Google Patents

Abstract

公开了一种光场获取方法，其能够实现对光场角度维度与空间维度的双观测、在相同压缩比的前提下提高了图像质量。包括步骤：(1)将光场相机K次采集到的图像按列扫描得到一个列向量；(2)将观测矩阵、先验约束与步骤(1)的列向量作为所设计优化模型的已知量，利用凸规划cvx工具包获得最优解；(3)将步骤(2)所得的最优解作为重建光场，与原始光场进行对比，计算峰值信噪比PSNR值作为重建质量的度量。

Description

一种光场获取方法

技术领域

本发明属于计算摄影学的技术领域，具体地涉及一种光场获取方法。

背景技术

随着计算摄影学的发展，利用光学器件以及后处理技术能够捕获到更多的光线信息。光线信息的一种常用的表达方式为光场，所谓光场是指一个4维函数L(u,v,s,t)，其中(u,v)和(s,t)分别是光线与双平面的两个交点坐标，L描述的是该光线的辐射度。由于传统的相机仅仅能够捕获到4维光场的2维投影，因此近年来出现了很多关于收集场景4维信息的新颖的相机设计，一般称之为光场相机。目前已有光场相机的形式主要分为单相机多路复用和多相机阵列两类。为了本文的需要，此处仅介绍单相机多路复用技术。

对于单相机多路复用技术，一般通过在光路中放置面罩的方式实现。2008年，Liang等人设计了一种多路复用的光场获取方法，其利用可编码的光圈进行多次采样，之后进行光场的重建。光场数据多数以图像集的形式存在，占用大量的存储空间，因而对其进行压缩是亟待解决的问题。2012年，Babacan等人利用压缩感知(CS)的理论对Liang的工作进行了改进，其对原始光场进行压缩的采样并通过CS方法重建原始光场。CS主要分为观测和重建两个环节，不同的观测模型或者重建模型都对方法的性能有着至关重要的影响。但是Babacan等人的采集方式只是对角度维度(u,v)进行了混叠观测，而没有考虑整个四维空间(u,v,s,t)之间的信息相关性。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种光场获取方法，其能够实现对光场角度维度与空间维度的双观测、在相同压缩比的前提下提高了图像质量。

本发明的技术解决方案是：这种光场获取方法，包括以下步骤：

(1)将光场相机K次采集到的图像按列扫描得到一个列向量；

(2)将观测矩阵、先验约束与步骤(1)的列向量作为所设计优化模型的已知量，利用凸规划cvx工具包获得最优解；

(3)将步骤(2)所得的最优解作为重建光场，与原始光场进行对比，计算峰值信噪比PSNR值作为重建质量的度量。

本方法将随机卷积CMOS光学传感器件与可编码光圈结合，实现对光场角度维度与空间维度的双观测，与之前仅对角度维度的单观测相比，在相同压缩比的前提下提高了图像质量,或者说在保证同一图像质量的要求下提高了压缩比。

附图说明

图1示出了4D光场的双平面表示；

图2示出了光场相机模型示意图；

图3示出了根据公式(6)的实验结果(压缩比是25％，PSNR＝29.5558)，其中图3a为原始角度图像的第15幅，图3b是该幅角度图像对应的重建结果；

图4示出了根据公式(7)的实验结果(压缩比是25％，PSNR＝29.5558)，其中图4a为原始角度图像的第15幅，图4b是该幅角度图像对应的重建结果；

图5为根据本发明的光场获取方法的示意图。

具体实施方式

这种光场获取方法，包括以下步骤：

(1)将光场相机K次采集到的图像按列扫描得到一个列向量；

(2)将观测矩阵、先验约束与步骤(1)的列向量作为所设计优化模型的已知量，利用凸规划cvx工具包获得最优解；

(3)将步骤(2)所得的最优解作为重建光场，与原始光场进行对比，计算峰值信噪比PSNR值作为重建质量的度量。

本方法将随机卷积CMOS光学传感器件与可编码光圈结合，实现对光场角度维度与空间维度的双观测，与之前仅对角度维度的单观测相比，在相同压缩比的前提下提高了图像质量,或者说在保证同一图像质量的要求下提高了压缩比。

具体地如图1所示，这种超分辨率稀疏重建方法，包括以下步骤：

(1)对给定的低分辨率彩色图像进行空间转化，得到其YCbCr空间图像(Y为颜色的亮度成分、而Cb和Cr则为蓝色和红色的浓度偏移量成份)，对Cb、Cr分量利用插值方法进行重建；

(2)构造用于训练的数据库，即高分辨率图像块X_h和低分辨率图像块X_l，并组合成数据库X；

(3)对数据库X利用Sparse Coding(稀疏编码)方法生成字典D，并分解为高分辨率图像的字典D_h和低分辨率图像的字典D_l；

(4)利用D_l和低分辨率图像2倍上采样的图像对应的特征图像来求解稀疏系数；

(5)通过稀疏系数和D_h，求解原始低分辨率图像3倍上采样的图像，即Y分量；

(6)将Y、Cb、Cr组合得到YCbCr图像，并转化为RGB图像，进行存储，就得到了最终超分辨率重建图像。

本方法在没有外界的高分辨率图像库的前提下，直接通过自身的低分辨率图像，构造近似高分辨率图像，然后建立采样块，并得到相应的训练字典，然后借助此时训练的低分辨率图像的字典D_l，通过稀疏表示理论求出相应的稀疏系数，最后将该稀疏系数复用于高分辨率图像的字典D_h，重建得到高分辨率图像。

优选地，步骤(1)的列向量为公式(3)

$\mathrm{vec}\left(I_{\mathrm{observe}}\right)=(A^T\⊗I)\mathrm{vec}\left(L\right)+n---\left(3\right)$

其中vec(I_observe)表示将在该模型下采集的图像展成的一维列向量，A表示K次可编码光圈的样式，I为单位矩阵，vec(L)表示将光场矩阵L按列扫描展成一维列向量，n表示噪音。

优选地，所述步骤(2)的优化模型为公式(6)：

$\mathrm{vec}{\left(L\right)}^{*}=\underset{\mathrm{vec}\left(L\right)}{\arg \min }\{\frac{1}{2}{\left|\right|(A^T\⊗I)\mathrm{vec}\left(L\right)-\mathrm{vec}\left(I_{\mathrm{observe}}\right)\left|\right|}_2^2+\mathrm{\α}\underset{\stackrel{\→}{u}}{\mathrm{\Σ}}{\left|\right|L_{\stackrel{\→}{u}}\left|\right|}_{\mathrm{TV}}+\mathrm{\β}\underset{\stackrel{\→}{s}}{\mathrm{\Σ}}{\left|\right|L_{\stackrel{\→}{s}}\left|\right|}_{\mathrm{TV}}\}---\left(6\right)$

其中表示固定坐标之后的空间图像，表示固定坐标之后的角度图像，vec(I_observe)表示将采集图像展成的一维列向量，A表示K次可编码光圈的样式，I为单位矩阵，vec(L)表示将光场矩阵L按列扫描展成一维列向量，α,β分别是权重系数，vec(L)^*是求得的最优解。

优选地，步骤(1)的列向量为公式(5)

$\mathrm{vec}\left(I_{\mathrm{final}}\right)=(A^T\⊗B)\mathrm{vec}\left(L\right)+n---\left(5\right)$

其中A,B均满足RIP(Restricted Isometry Property,严格等距条件)条件，A表示K次可编码光圈的样式，B表示随机卷机CMOS的系数，vec(L)表示将光场矩阵L按列扫描展成一维列向量，n表示噪音，vec(I_final)表示将在该模型下采集的图像展成的一维列向量。

优选地，所述步骤(2)的优化模型为公式(7)

$\mathrm{vec}{\left(L\right)}^{*}=\underset{\mathrm{vec}\left(L\right)}{\arg \min }\{\frac{1}{2}{\left|\right|(A^T\⊗B)\mathrm{vec}\left(L\right)-\mathrm{vec}\left(I_{\mathrm{final}}\right)\left|\right|}_2^2+\mathrm{\α}\underset{\stackrel{\→}{u}}{\mathrm{\Σ}}{\left|\right|L_{\stackrel{\→}{u}}\left|\right|}_{\mathrm{TV}}+\mathrm{\β}\underset{\stackrel{\→}{s}}{\mathrm{\Σ}}{\left|\right|L_{\stackrel{\→}{s}}\left|\right|}_{\mathrm{TV}}\}---\left(7\right)$

其中A表示K次可编码光圈的样式，B表示随机卷机CMOS的系数，vec(L)表示将光场矩阵L按列扫描展成一维列向量，vec(I_final)表示将在该模型下采集的图像展成的一维列向量，α,β分别是权重系数，vec(L)^*是求得的最优解。

以下更详细地说明本发明的具体实施方式。

从背景技术得知：压缩感知解码方法分为观测和重建两个重要步骤。对于光场数据来说，即为光场相机的成像原理和数据重构过程。

首先来分析成像原理。对于几何光学，我们通常以光线的形式来描述光，将空间中的光线的集合称之为光场。一个比较常用的光场表达方式为L(u,v,s,t)，其中(u,v)和(s,t)分别表示空间光线与双平面的交点坐标(如图1)，L描述光线的辐射度。采用该双平面表示法，图2显示了一个简单的相机原型，将透镜平面记为成像平面记为传统的理想相机成像原理可以通过下式描述：

I(s,t)＝∫_u∫_vL(u,v,s,t)dvdu (1)下面分析带有可编码光圈的光场相机的成像原理。由于实际相机只能采集到离散形式的数据，故设(u,v)平面的分辨率为N＝N_u×N_v，(s,t)平面的分辨率为M＝M_s×M_t，其中N_u,N_v,N_s,N_t分别表示u,v,s,t维度的分辨率。为后续描述方便，称N为角度分辨率，M为空间分辨率。在透镜前放置一个可编码光圈，光圈的每一个小孔可赋有不同的透射比，因此每一次的光圈样式可以产生一幅原始光场沿角度维度的混叠采样。将每一次的光圈样式记为a∈R^N×1，将K(K<N)次光圈样式记为A∈R^N×K。将离散的4维光场(即4维矩阵)按角度、空间维度展成2维矩阵的形式：

其中，L的每一列是将L(:,:,s,t)(即固定s,t)按列扫描得到的向量，同样的我们可以理解为L的每一行是将L(u,v,:,:)(即固定u,v)按列扫描得到的向量。此时的成像模型记为

I_observe＝LA (2)其中I_observe∈R^M×K的每一列为将每一次光圈样式采集到的混叠图像按列扫描得到向量。压缩感知方法要求被测信号应该是一维的离散信号，故按照矩阵分析中定理可将(2)式展成一维列向量的形式，并加入高斯噪音n～N(0,σ²)，即为

$\mathrm{vec}\left(I_{\mathrm{observe}}\right)=(A^T\&CircleTimes;I)\mathrm{vec}\left(L\right)+n---\left(3\right)$

其中vec(·)为矩阵按列展开成的列向量，为克罗内克积(Kroneckerproduct)，I∈R^M×M为单位阵。该模型是文献中已有的模型，可以将视为观测矩阵且满足观测矩阵必须具备的严格等距条件(Restricted Isometry Property,RIP)。决定CS重建性能高低的一个重要因素是观测矩阵的设计，而我们通过模型(3)可知，该观测只是混叠了角度维度的信息，而没有考虑角度维度和空间维度之间的相关性，因此我们欲对此进行改进。我们知道，CMOS光学传感器阵列可以通过随机卷积的观测实现压缩感知的功能。将随机卷积的系数矩阵存储在矩阵B∈R^P×N中，其中P为随机卷积压缩后的维度。因此，将可编码光圈和随机卷积CMOS光学传感器阵列结合在一起，实现角度空间方向的混叠采样，此时的成像模型记为：

I_final＝BLA (4)其中I_final∈R^P×K为最终的观测数据。(4)式与(2)式相比，2次的观测能够获得光场不同维度间的相关信息，从而能够提高CS的重建质量。按照上面同样的原理将(4)式变形并加入高斯噪音n～N(0,σ²)，即为

$\mathrm{vec}\left(I_{\mathrm{final}}\right)=(A^T\&CircleTimes;B)\mathrm{vec}\left(L\right)+n---\left(5\right)$

运用克罗内克积的性质很容易验证也满足RIP条件，前提是只要A,B均满足RIP条件。

下面一个关键的过程是CS重建算法的设计。首要的是分析光场数据的先验知识。众所周知，绝大多数图像的值都是非零的，只有极少部分图像可以被定义为在空域稀疏的信号。然而，有文献指出如果信号是一个二维图像，那么它的全变分(Total Variation,TV)是稀疏的。各向异性全变分的定义如下：

${\left|\right|x\left|\right|}_{\mathrm{TV}}:=\underset{\mathrm{ij}}{\mathrm{\&Sigma;}}\left(\right|D_{h;\mathrm{ij}}x|+|D_{v;\mathrm{ij}}x\left|\right)$

其中x为2维矩阵， $D_{h;\mathrm{ij}}=\left\{\begin{array}{cc}{x}_{i+1,j}-x_{i,j}& i<n\\ 0& i=n\end{array}\right.;$ $D_{v;\mathrm{ij}}=\left\{\begin{array}{cc}{x}_{i,j+1}-x_{i,j}& j<n\\ 0& j=n\end{array}\right..$ 且文献指出，全变分稀疏算子可以用于压缩感知重建。四维光场沿平面的切片是空间图像，平面的切片是角度图像。空间图像和角度图像相邻像素间均有极大的相似性，因此针对模型(3)设计重建模型：

$\mathrm{vec}{\left(L\right)}^{*}=\underset{\mathrm{vec}\left(L\right)}{\arg \min }\{\frac{1}{2}{\left|\right|(A^T\&CircleTimes;I)\mathrm{vec}\left(L\right)-\mathrm{vec}\left(I_{\mathrm{observe}}\right)\left|\right|}_2^2+\mathrm{\&alpha;}\underset{\stackrel{\&RightArrow;}{u}}{\mathrm{\&Sigma;}}{\left|\right|L_{\stackrel{\&RightArrow;}{u}}\left|\right|}_{\mathrm{TV}}+\mathrm{\&beta;}\underset{\stackrel{\&RightArrow;}{s}}{\mathrm{\&Sigma;}}{\left|\right|L_{\stackrel{\&RightArrow;}{s}}\left|\right|}_{\mathrm{TV}}\}---\left(6\right)$

其中表示固定坐标之后的空间图像，表示固定坐标之后的角度图像。针对模型(5)设计重建模型：

$\mathrm{vec}{\left(L\right)}^{*}=\underset{\mathrm{vec}\left(L\right)}{\arg \min }\{\frac{1}{2}{\left|\right|(A^T\&CircleTimes;B)\mathrm{vec}\left(L\right)-\mathrm{vec}\left(I_{\mathrm{final}}\right)\left|\right|}_2^2+\mathrm{\&alpha;}\underset{\stackrel{\&RightArrow;}{u}}{\mathrm{\&Sigma;}}{\left|\right|L_{\stackrel{\&RightArrow;}{u}}\left|\right|}_{\mathrm{TV}}+\mathrm{\&beta;}\underset{\stackrel{\&RightArrow;}{s}}{\mathrm{\&Sigma;}}{\left|\right|L_{\stackrel{\&RightArrow;}{s}}\left|\right|}_{\mathrm{TV}}\}---\left(7\right)$

模型(6)和(7)的区别仅在于观测的不同。通过结果比较求解模型(6)和(7)的优劣，以说明加入随机卷积CMOS进行二次观测的效果。上述优化问题为凸优化，可以通过cvx工具包进行求解。

我们对上述模型进行了实验验证，并取得了明显的效果。在实验中，选用斯坦福的光场数据

Jellybeans(http://lightfield.stanford.edu/lfs.html)，角度分辨率为6×6，空间分辨率下采样并截断置90×240。

上文提到的α,β采用的是0.001。高斯噪音的方差σ²取的0.001。观测矩阵A选用的是来自[0,1]均匀分布的随机矩阵，观测矩阵B选用的是随机高斯矩阵。我们针对不同的压缩采样比例(取决于A，B的维度)，对模型(6),(7)进行了结果的比较，从实验结果可以得到这样的结论：当压缩比率相同时，模型(7)的求解质量明显高于模型(6)的求解结果(如表1所示，该对比结果用的是分辨率为6×6×30×30的光场数据)。图3展示了模型(6)求解效果的整体图及局部细节，以及图4展示了模型(7)求解效果图。从局部细节来看，模型(7)更能保持光场的边缘特征。

表1模型(6)和(7)重建结果的PNSR对比结果

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (5)

1.一种光场获取方法，包括以下步骤：

(1)将光场相机K次采集到的图像按列扫描得到一个列向量；

(2)将观测矩阵、先验约束与步骤(1)的列向量作为所设计优化模型的已知量，利用凸规划cvx工具包获得最优解；

(3)将步骤(2)所得的最优解作为重建光场，与原始光场进行对比，计算峰值信噪比PSNR值作为重建质量的度量。

2.根据权利要求1所述的光场获取方法，其特征在于：步骤(1)的列向量为公式(3)

$\mathrm{vec}\left(I_{\mathrm{observe}}\right)=(A^T\&CircleTimes;I)\mathrm{vec}\left(L\right)+n---\left(3\right)$

其中vec(I_observe)表示将在该模型下采集的图像展成的一维列向量，A表示K次可编码光圈的样式，I为单位矩阵，vec(L)表示将光场矩阵L按列扫描展成一维列向量，n表示噪音。

3.根据权利要求2所述的光场获取方法，其特征在于：所述步骤(2)的优化模型为公式(6)：

$\mathrm{vec}{\left(L\right)}^{*}=\underset{\mathrm{vec}\left(L\right)}{\arg \min }\{\frac{1}{2}{\left|\right|(A^T\&CircleTimes;I)\mathrm{vec}\left(L\right)-\mathrm{vec}\left(I_{\mathrm{observe}}\right)\left|\right|}_2^2+\mathrm{\&alpha;}\underset{\stackrel{\&RightArrow;}{u}}{\mathrm{\&Sigma;}}{\left|\right|L_{\stackrel{\&RightArrow;}{u}}\left|\right|}_{\mathrm{TV}}+\mathrm{\&beta;}\underset{\stackrel{\&RightArrow;}{s}}{\mathrm{\&Sigma;}}{\left|\right|L_{\stackrel{\&RightArrow;}{s}}\left|\right|}_{\mathrm{TV}}\}---\left(6\right)$

其中表示固定坐标之后的空间图像，表示固定坐标之后的角度图像，vec(I_observe)表示将采集图像展成的一维列向量，A表示K次可编码光圈的样式，I为单位矩阵，vec(L)表示将光场矩阵L按列扫描展成一维列向量，α,β分别是权重系数，vec(L)^*是求得的最优解。

4.根据权利要求1所述的光场获取方法，其特征在于：步骤(1)的列向量为公式(5)

$\mathrm{vec}\left(I_{\mathrm{final}}\right)=(A^T\&CircleTimes;B)\mathrm{vec}\left(L\right)+n---\left(5\right)$

其中A,B均满足严格等距条件RIP，A表示K次可编码光圈的样式，B表示随机卷机CMOS的系数，vec(L)表示将光场矩阵L按列扫描展成一维列向量，n表示噪音，vec(I_final)表示将在该模型下采集的图像展成的一维列向量。

5.根据权利要求4所述的光场获取方法，其特征在于：所述步骤(2)的优化模型为公式(7)

$\mathrm{vec}{\left(L\right)}^{*}=\underset{\mathrm{vec}\left(L\right)}{\arg \min }\{\frac{1}{2}{\left|\right|(A^T\&CircleTimes;B)\mathrm{vec}\left(L\right)-\mathrm{vec}\left(I_{\mathrm{final}}\right)\left|\right|}_2^2+\mathrm{\&alpha;}\underset{\stackrel{\&RightArrow;}{u}}{\mathrm{\&Sigma;}}{\left|\right|L_{\stackrel{\&RightArrow;}{u}}\left|\right|}_{\mathrm{TV}}+\mathrm{\&beta;}\underset{\stackrel{\&RightArrow;}{s}}{\mathrm{\&Sigma;}}{\left|\right|L_{\stackrel{\&RightArrow;}{s}}\left|\right|}_{\mathrm{TV}}\}---\left(7\right)$

其中A表示K次可编码光圈的样式，B表示随机卷机CMOS的系数，vec(L)表示将光场矩阵L按列扫描展成一维列向量，vec(I_final)表示将在该模型下采集的图像展成的一维列向量，α,β分别是权重系数，vec(L)^*是求得的最优解。