CN107622515B - 压缩光场的物理重建方法 - Google Patents

Abstract

本发明提供的压缩光场的物理重建方法，包括(1)通过计算机生成多个随机矩阵，将随机矩阵组成大矩阵，将大矩阵打印到胶片上，生成物理掩膜；(2)将物理掩膜作为采集对象，通过移动设置在相机前的光阑获取掩膜图像，每个掩膜图像为一个投影矩阵p_i；通过对获取的投影矩阵p_i获取测量矩阵Φ；(3)将物理掩膜放置在相机的成像透镜之前形成掩膜相机，使用该掩膜相机拍摄一张编码图像，作为测量值y；(4)获取稀疏基Ψ和稀疏向量α；(5)通过压缩感知进行原始信号f的重建。本发明将掩膜放置在普通工业相机镜头前，通过一次拍摄，也可以实现多视角光场的重建。相比于掩膜放在相机镜头和CCD之间，该方法便利性更好，可以更容易实现掩膜相机。

Description

压缩光场的物理重建方法

技术领域

本发明涉及一种光场的重建方法，尤其涉及一种压缩光场的物理重建方法。

背景技术

空间中每一个点和每一个方向的辐射函数总和就是光场，然而光场数据很大，为光场的存储，传输带来了诸多不便。1936年Gershun提出光场的概念，1992年Adelson将提出了计算机视觉下的全光场理论，1996年Levory将光场进行参数化。

表示目前采集光场的方法主要有Ng发明的微透镜阵列式手持式光场相机、斯坦福大学相机阵列以及掩膜光场相机。相机阵列采用多个相机对同一个目标同时拍摄，但是其结构庞大，照价昂贵。微透镜方法是在传统相机的传感器前放置微透镜对光线再次分割成像以记录入射光线的强度和方向信息，但它是以牺牲图像的空间分辨率换取角度分辨率，即CCD分辨率在一定的情况下，虽然能获取更多的视角图像，却降低了图像的空间分辨率。这两种光场获取的方法都面临着庞大的光场数据的存储、传输以及计算带来的诸多不便。

光场记录所有信息，但是光场海量庞大的数据量为解决光场数据量大，用来计算带来的麻烦，2013年麻省理工大学的Kshitij Marwah将掩膜放置在成像透镜和CCD之间构造出一个掩膜相机。通过光场样本的过完备字典训练学习，利用压缩感知理论，实现了采集一次图像通过计算恢复出多视角光场。该方法是在普通相机内部加一个掩膜来对入射光线进行调制，它是一种高分辨率、高信噪比光场成像技术，它利用掩膜采集压缩光场结合压缩感知理论实现光场重建，可以利用重建出的光场实现重聚焦、深度估计以及三维重建等技术。在一定程度上解决了光场数据量大带来的问题。

发明内容

本发明提供一种掩膜相机制作简单、光场重建效果好的压缩光场重建方法，以解决现有技术存在的问题。

本发明采用以下技术方案：

压缩光场的物理重建方法，包括：

(1)通过计算机生成多个随机矩阵，将随机矩阵组成大矩阵，将大矩阵打印到胶片上，生成物理掩膜；

(2)将物理掩膜作为采集对象，通过移动设置在相机前的光阑获取掩膜图像，每个掩膜图像为一个投影矩阵p_i；通过对获取的投影矩阵p_i获取测量矩阵Φ；

其中，i∈(1，N)，N为正整数；

(3)将物理掩膜放置在相机的成像透镜之前形成掩膜相机，使用该掩膜相机拍摄一张编码图像，作为测量值y；

(4)获取稀疏基Ψ和稀疏向量α；

(5)通过压缩感知进行原始信号f的重建：

f＝Ψα

y＝ΦΨα＝Θα，

其中Θ是传感矩阵，表示测量矩阵Φ与稀疏基Ψ的乘积。

所述步骤(2)中，测量矩阵Φ＝[Φ₁Φ₂…Φ_q](Φ_i＝diag(P_i11P_i12…P_imm))；

其中，Φ_i表示移动光阑时采集的视角i的掩膜，即第i个掩膜；diag(P_i11P_i12…P_imm)表示对角元素为P_i11P_i12…P_imm的对角矩阵；m表示第i个掩膜中像素的坐标，q表示重建视角数，P表示采集的投影矩阵。

所述步骤(4)中，通过K-SVD算法训练学习得到稀疏基Ψ；

则重建的数学模型表达为：

min_α||α||₁subjecttoy＝Θα，

其中测量值y和传感矩阵Θ采用l₁范数优化得到稀疏向量α，再由稀疏基Ψ与稀疏向量α相乘最终获得原始信号f。

获取光场样本集后，训练光场过完备字典满足下式：

其中，E_k是字典稀疏基Ψ除去第k列之外与光场样本集合的残差；ψ_k代表稀疏基Ψ的第K列，

表示ψ_k所对应的稀疏系数；|| ||_F代表弗罗贝尼乌斯范数，即F范数；

为使对E_k进行SVD分解得到的

是一个稀疏向量，上式可写为：

其中，w_k是光场样本集{f_i}中使用了字典原子ψ_k的光场图像块，

Ω_k是一个大小为N×|w_k|的矩阵，在(w_k(i),i)处为1，其它处为0，N为光场样本集的个数。

本发明的有益效果：将掩膜放置在普通工业相机镜头前，通过一次拍摄，也可以实现多视角光场的重建。相比于掩膜放在相机镜头和CCD之间，该方法便利性更好，可以更容易实现掩膜相机。

附图说明

图1为掩膜相机模型。

图2中(a)是物理掩摸，(b)是投影矩阵，(c)是测量矩阵。

图3为直接生成的等同图像空间分辨率为352×536的随机矩阵。

图4为每次只生成等同分割块大小8×8的随机矩阵，之后用多次生成的8

×8大小随机矩阵组合成大小为352×536作为测量矩阵。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细说明。

本发明首先指出了物理掩膜从理论到的物理实现的过程，同时简化了掩膜相机的光路设计，方便相机结构的调节。然后使用该物理掩膜和相机获取光场的图像后，通过获取测量矩阵、稀疏基以及测量值，使用压缩感知的方法重建原始信号。

在掩膜相机中掩膜起到测量矩阵的作用，实现光场图像的压缩采样，但在物理光场采集平台中没有测量矩阵，因此需要实现物理掩膜到测量矩阵的转换，转换后，通过压缩感知理论即可进行光场数据的重建。

本发明的实现过程可表述为：

(1)通过计算机生成多个随机矩阵，将随机矩阵组成大于需要重建的图像矩阵的大矩阵，将大矩阵打印到胶片上，生成物理掩膜；

(2)将物理掩膜作为采集对象，通过移动设置在相机前的光阑获取掩膜图像，截取部分掩膜图像，截取大小为y，截取的掩膜图像的大小等于重构出的多视角光场子图像大小。每个掩膜图像为一个投影矩阵p_i；通过对获取的投影矩阵p_i的转换获取测量矩阵Φ；其中，i∈(1，N)，N为正整数；

即首先把制作好的物理掩膜放置在CCD前，物理掩膜放置镜头前，光阑放置镜头和掩膜之间；然后在相机的主镜头前放置可精确移动的光阑，每次精确移动获取不同视角下的掩膜图像。

该步中，使用白板背景，掩膜作为采集对象能够更好的获取掩膜图像。

(3)将物理掩膜放置在相机的成像透镜之前形成掩膜相机，使用该掩膜相机拍摄一张编码图像，作为测量值y；

(4)获取稀疏基Ψ和稀疏向量α；

(5)通过压缩感知进行原始信号f的重建：

f＝Ψα

y＝ΦΨα＝Θα，

其中Θ是传感矩阵，表示测量矩阵Φ与稀疏基Ψ的乘积。

上述步骤1中，可使用计算机中的matlab算法生成多个8*8随机矩阵，将多个随机矩阵组成和需要的图像大小一样的矩阵，将这个大矩阵打印到菲林胶片上，生成物理掩膜，该物理掩膜与测量矩阵对应。测量矩阵具体来说，是从物理掩膜的不同空间位置分割得到的，将物理掩膜作为采集对象的前提下，通过移动光阑获得不同视角下的掩膜图像，对对应的投影矩阵进行变换可得到测量矩阵：Φ＝[Φ₁Φ₂…Φ_q](Φ_i＝diag(P_i11P_i12…P_imm))。

Φ_i表示移动光阑时采集的视角i的掩膜，即第i个掩膜；diag(P_i11P_i12…P_imm)表示对角元素为P_i11P_i12…P_imm的对角矩阵；m表示第i个掩膜中像素的坐标，q表示重建视角数，P表示采集的投影矩阵。。

如果要重构出的是个5*5视角的图像，每个图像对应一个测量矩阵，此时，测量矩阵为：Φ＝[Φ₁Φ₂…Φ₂₅](Φ_i＝diag(P_i11P_i12…P_imm))。

如果重构出3*3视角，则Φ＝[Φ₁Φ₂…Φ₉](Φ_i＝diag(P_i11P_i12…P_imm))。

如图1所示的掩膜相机，为本发明的掩膜相机，将掩膜图像设置在相机的透镜前部，经过一次拍摄，也可以实现多视角光场的重建，相比于现有的放置在CCD与成像透镜之间，不仅能达到相同的结果，而且操作便利，更容易实现掩膜相机。

针对上述过程的具体实施例，本发明的光场重建过程详细描述如下：

(1)压缩感知的光场重建

压缩感知是一种新的采样理论，可以突破奈奎斯特采样定律以较低的频率采样，只要满足：(1)原始信号可以在稀疏基下稀疏表示；(2)稀疏基Ψ与测量矩阵Φ满足约束等距性(RIP)就能够高概率的重构原始信号。

对信号f(f∈Rⁿ)压缩感知理论采样过程可表示为：

y＝Φf， (1)

其中Φ(Φ∈R^m×n(m＜＜n))是测量矩阵，m是维数，代表通过相机捕捉的光场图像个数；n是维数，表示要恢复的光场图像个数；R表示实数集，其中m是采集的信号维数，n是恢复出信号的维数，测量矩阵是一个实数矩阵。

y是测量值，即掩膜相机获取的编码图像，f是重构出的多视角光场。f对应于与相机获取的光场图像，也就是需要重构的光场图像，若信号f是稀疏的，则可通过测量值y与测量矩阵Φ重建原始信号。

但在自然界中信号往往是不稀疏的，因此需要对信号稀疏表示，对信号f(f∈Rⁿ)若存在稀疏基Ψ(Ψ∈R^n×d)和稀疏向量α，则信号f可稀疏表示为：

f＝Ψα (2)

那么压缩感知的测量公式可表示为：

y＝ΦΨα＝Θα， (3)

对于稀疏向量α的非零元素个数小于或等于k时，即||α||₀≤k，则信号f的稀疏度为k。Θ是传感矩阵，它是稀疏基Ψ与测量矩阵Φ的乘积，对所有k稀疏向量α和任意的δ_K∈(0,1)，若

不等式成立，则传感矩阵Θ满足k阶约束等矩性。δ_K表示0-1之间的任意数。

其中，Ψ(Ψ∈R^n×d)为光场过完备字典，即稀疏基，n和d是稀疏基的行数和列数；

||||₀、||||₂分别表示0-范数和2范数；

信号重建是压缩感知理论的核心，目的是以较少的采样值(m＜＜n)重建原始信息，重建数学模型可表达为：

min_α||α||₁ subject to y＝Θα， (4)

测量值y和传感矩阵Θ采用l₁范数优化得到稀疏向量α，再由稀疏基Ψ与稀疏向量α相乘最终获得原始信号f。

(2)字典训练

稀疏基是通过采集多组光场数据训练学习得到，稀疏向量是测量值和传感矩阵通过计算得到。利用稀疏基和稀疏向量重建出信号f。

将光场样本集通过K-SVD算法训练学习得到理想的稀疏基称为光场过完备字典。

K-SVD算法是由K-Means算法扩展而来。假设稀疏基Ψ(Ψ∈R^n×d(n＜d))是光场过完备字典，f是代表光场样本，f_i表示第i个光场样本，α代表光场图像的稀疏表示系数向量。记

为N个光场样本集，

为F的稀疏系数向量的集合，则K-SVD算法可描述为：

其中T₀是稀疏系数向量中非零元素的最大值。

K-SVD算法对光场过完备字典训练学习通常有两个步骤：(1)稀疏编码：假定给定固定的字典Ψ，通过正交匹配追踪算法(OMP)，依次更新字典Ψ稀疏表示的系数向量A；(2)字典更新：由正交匹配追踪算法得到的系数向量A对字典更新，其中每次只更新字典Ψ的第k列ψ_k以及所对应的稀疏系数

(表示系数向量A中与ψ_k相对应的第k行稀疏系数)。

则公式(5)可重新描述为：

其中E_k是字典Ψ除去第k列之外与光场样本集合的残差，要使(6)最小，只需要E_k与

接近，因此只需要对E_k进行奇异值分解(SVD)就可以更新字典的第k列ψ_k与对应的稀疏系数

但在SVD分解前需要去除

中的非零元素以保证SVD分解得到的

是一个稀疏向量，故定义w_k是光场样本集{f_i}中使用了字典原子ψ_k的光场图像块，即

中非零索引值，则

定义Ω_k是一个大小为N×|w_k|的矩阵，N表示光场样本集个数，Ω_k在(w_k(i),i)处为1，其它处为0。将

乘以Ω_k相当于去除

中零元素记

相应的

则公式(6)可改写为：

对矩阵

直接SVD分解即

用矩阵U的第一列更新ψ_k，用矩阵V的第一列乘以Δ(1,1)更新

逐列更新字典Ψ，并用新的字典稀疏分解光场，重复这个过程直到满足停止迭代条件即：达到样本光场与重建光场的最大误差或设定的最大迭代次数。

上述(6)、(7)中的k表示的是字典的第k列。

作为一种实施方式，重建5×5视角的4D光场图像，如图2所示，(a)是物理掩摸，(b)是投影矩阵，(c)是测量矩阵，其中(b)是5×5的投影矩阵对应于5×5光场图像下的掩摸。

通过利用三维移动平台、相机采集4组光场样本集，每组光场样本包含5×5个视角；然后把4组光场样本集随机分为100万个8×8的小块；得到四组光场样本集。可使用该样本集进行字典训练。

此时投影矩阵变换为测量矩阵Φ＝[Φ₁Φ₂…Φ₂₅](Φ_i＝diag(P_i11P_i12…P_imm))。由压缩感知理论可知测量值y＝Φ_m*m×m*m*25.f_m*m*25×1(y是m*m×1维)是光场图像f的1/25，故在重建5×5视角的光场图像时测量率为0.04，这与宏观从一个采样图像重建5×5视角的光场图像的压缩率相同都为1/25。

而为能够更好重建5×5视角的4D光场图像，本发明对测量矩进行改进。本发明所用测量矩阵仍是随机矩阵，但不是直接生成等同图像空间分辨率为352×536的随机矩阵(如图3所示)，而是每次只生成等同分割块大小8×8的随机矩阵，之后用多次生成的8×8大小随机矩阵组合成大小为352×536作为测量矩阵(如图4所示)。这样的测量矩阵具有更高的随机性，且与冗余字典能满足约束等距性(RIP)，实验证明可以有效重建5×5视角的光场图像。

本发明中完成掩膜到测量矩阵的转换后，就可用掩膜相机采集的编码图像以及光场过完备字典重建光场图像。在重建5×5视角光场图像时，公式(4)中(m＜＜n)，因此不能采用线性求解的方法重建光场图像，压缩感知理论采用l₁范数优化方法得到光场图像在光场过完备字典Ψ下的稀疏向量α。在采集过程会有噪声影响，因此需要约束条件以更准确的描述光场重建过程，则公式(4)可转换表示为：

光场重建过程中为了能够控制对光场最优稀疏表示，需在在上式的基础上引入l₁范数正则项作为约束项，表示为：

ε表示重构是允许的误差。

在重建过程中调节约束项权重参数λ，以获取较好的重建结果。重建时如果把采集图像作为一个整体，假设采集图像大小为200×200，则测量矩阵Φ就是4*10⁴×10⁶维的矩阵，对应的光场过完备字典Ψ将是一个更加庞大的矩阵，因此需要对采集图分割以提高重建速度。重建时若采用简单的物理分割会割裂块与块之间的相关性而影响重建效果。这里我们采用滑动分块法重建光场，即每次移动一个或两个像素作为步长，以保证相邻两个分块中有大部分像素是相同，从而提高重建效果。

以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的技术人员来说，在不脱离本发明整体构思前提下，还可以作出若干改变和改进，这些也应该视为本发明的保护范围。

Claims (3)

1.压缩光场的物理重建方法，其特征在于，包括如下步骤：

(1)通过计算机生成多个随机矩阵，将随机矩阵组成大矩阵，将大矩阵打印到胶片上，生成物理掩膜；

(2)将物理掩膜作为采集对象，通过移动设置在相机前的光阑获取掩膜图像，每个掩膜图像为一个投影矩阵p_i；通过对获取的投影矩阵p_i获取测量矩阵Φ；

其中，i∈(1，N)，N为正整数；

(3)将物理掩膜放置在相机的成像透镜之前形成掩膜相机，使用该掩膜相机拍摄一张编码图像，作为测量值y；

(4)获取稀疏基Ψ和稀疏系数α，其中，通过K-SVD算法训练学习得到稀疏基Ψ，y＝ΦΨα＝Θα，

其中Θ是传感矩阵，表示测量矩阵Φ与稀疏基Ψ的乘积，重建的数学模型表达为：min_α||α||₁subject to y＝Θα，

其中测量值y和传感矩阵Θ采用l₁范数优化得到稀疏系数α；

(5)通过压缩感知进行原始信号f的重建：

f＝Ψα。

2.根据权利要求1所述的压缩光场的物理重建方法，其特征在于：

所述步骤(2)中，测量矩阵Φ＝[Φ₁Φ₂…Φ_i…Φ_q]，Φ_i＝diag(P_i11P_i12…P_imm)；

其中，Φ_i表示移动光阑时采集的视角i的掩膜，即第i个掩膜；diag(P_i11P_i12…P_imm)表示对角元素为P_i11P_i12…P_imm的对角矩阵；m表示第i个掩膜中像素的坐标，q表示重建视角数。

3.根据权利要求2所述的压缩光场的物理重建方法，其特征在于：

获取光场样本集后，训练光场过完备字典满足下式：

其中，E_k是稀疏基Ψ除去第j列之外与光场样本集的残差；字典原子ψ_k代表稀疏基Ψ的第k列，

表示ψ_k所对应的稀疏系数；||||_F代表弗罗贝尼乌斯范数，即F范数；记

为N个光场样本集，f_i表示第i个光场样本；ψ_j表示稀疏基Ψ的第j列；

表示ψ_j所对应的稀疏系数；

为F的稀疏系数向量的集合，α_i代表光场图像的稀疏系数向量；

为使对E_k进行SVD分解得到的

是一个稀疏向量，上式可写为：

其中，

Ω_k是一个大小为N×|w_k|的矩阵，w_k是光场样本集{f_i}中使用了字典原子ψ_k的光场图像块，在(w_k(i),i)处为1，其它处为0。

Images