CN105634498A - 一种观测矩阵优化方法 - Google Patents

Abstract

本发明公开了一种观测矩阵优化方法，其能够减小光场的存储空间，大大提高重建光场质量。该方法包括步骤：(1)探究基于压缩感知光场摄影技术中观测矩阵作用的过程；(2)根据相机的特殊结构推导结构化的观测矩阵P；(3)利用稀疏字典训练算法从样本库进行字典训练，得到字典D；(4)结合结构化的观测矩阵P，根据压缩感知中观测矩阵与字典的非一致性，设计优化求解算法，得到优化的观测矩阵OP。

Description

一种观测矩阵优化方法

技术领域

本发明属于图像处理的技术领域，具体地涉及一种观测矩阵优化方法。

背景技术

压缩感知(compressedsensing，CS)是近几年出现的一种新颖的理论。它与传统的奈奎斯特采样定理不同，它指出，只要信号是可压缩的或在某个变换域是稀疏的，那么就可以用一个与变换基不相关的观测矩阵将变换所得的高维信号投影到一个低维空间上，然后通过求解一个优化问题就可以从这些少量的投影中以高概率重构出原信号。压缩感知的信号重建，往往可以转化为一个优化稀疏表示问题的求解。求解此类问题的方法有数学规划算法、贪心算法、凸集投影算法等。

光场是四维光辐射场的参数化表示，同时包含了位置和方向信息。光场成为继声音、图像、视频之后的一种新型多媒体数据。光场的获取方式主要分为三种：微透镜阵列，相机阵和掩膜。随着光场摄影技术研究的不断深入，对光场采集和重建提出了新的要求：通过采集光场最有用的部分信号，从而高质量地重建整个光场。新提出的压缩感知光场相机，实现了对光场的压缩采样，即将整个光场的信息压缩记录在一幅图像或者几幅图像上，这样就大大减少了需要存储的数据量。然而以远低于Nyquist率进行采样再进行重建会有质量上的损失。如何提高光场重建质量成为最需要解决的问题。基于压缩感知理论，观测矩阵和字典的非一致性对稀疏信号的重建质量有很大影响。

2007年，Elad提出了在确定字典的情形下，优化观测矩阵的方法和计算依据，提出的互相干性的计算公式：

$\mathrm{\μ}\left\{C\right\}=\underset{1\≤i,j\≤k,i\≠j}{\max }\frac{\left|c_i^T{c}_j\right|}{\left|\right|c_i\left|\right|\·\left|\right|c_j\left|\right|}---\left(1\right)$

其中C是观测矩阵和字典的乘积C＝PD(P表示观测矩阵，D表示稀疏字典)，c_i，c_j是C的不同两列。μ{C}是互相干性的值，用来测量P和D之间的相关性。其值为C中不同列间内积的绝对值的最大值。Elad提出当μ{C}的值越小时，图像的重建质量越好。

Gram矩阵是理解互相干性的另一种方式，G＝C^TC，互相干性的值为Gram矩阵的非对角线上绝对值最大的元素。

目前的方法中，重建光场的质量都不理想。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种观测矩阵优化方法，其能够减小光场的存储空间，大大提高重建光场质量。

本发明的技术解决方案是：这种观测矩阵优化方法，该方法包括以下步骤：

(1)探究基于压缩感知光场摄影技术中观测矩阵作用的过程；

(2)根据相机的特殊结构推导结构化的观测矩阵P；

(3)利用稀疏字典训练算法从样本库进行字典训练，得到字典D；

(4)结合结构化的观测矩阵P，根据压缩感知中观测矩阵与字典的非一致性，设计优化求解算法，得到优化的观测矩阵OP。

本发明通过协同优化观测和字典训练方法来提高光场重建质量，通过在固定字典的前提下优化观测矩阵的方法，采集光场最有用的部分信号，所以能够减小光场的存储空间，大大提高重建光场质量。

附图说明

图1是根据本发明的观测矩阵优化方法的流程图。

图2是根据本发明的光场重建的流程图。

具体实施方式

如图1所示，这种观测矩阵优化方法，该方法包括以下步骤：

(1)探究基于压缩感知光场摄影技术中观测矩阵作用的过程；

(2)根据相机的特殊结构推导结构化的观测矩阵P；

(3)利用稀疏字典训练算法从样本库进行字典训练，得到字典D；

(4)结合结构化的观测矩阵P，根据压缩感知中观测矩阵与字典的非一致性，设计优化求解算法，得到优化的观测矩阵OP。

本发明通过协同优化观测和字典训练方法来提高光场重建质量，通过在固定字典的前提下优化观测矩阵的方法，采集光场最有用的部分信号，所以能够减小光场的存储空间，大大提高重建光场质量。

优选地，该方法还包括以下步骤：

(5)用优化的观测矩阵OP对光场数据X进行压缩采样得到观测值Y；

(6)通过观测值Y稀疏重建原光场X，包括稀疏求解和重建两部分。

优选地，所述步骤(1)中，稀疏信号x∈Rⁿ可以在一个合适的字典D∈R^n×k下表达为一个稀疏系数α，x＝Dα,||α||₀＜＜n，用观测矩阵P∈R^m×n(m＜＜n)和原信号x作乘积表示在以低于奈奎斯特采样率的情形下进行采样，得到压缩采样信号y，y＝Px，即y＝PDα。

优选地，所述步骤(2)中，观测矩阵P为公式(4)

P＝[P₁ ^T,P₂ ^T,…,P_M ^T]^T(4)

其中

P_i,k＝[aⁱ¹,…，a^il,…,a^iN]，k＝1,…,s×s，a^ij表示视图j到达观测i的光量，M表示观测的次数。

优选地，所述步骤(3)中，稀疏字典训练算法为KSVD算法；光场数据是四维信号，包括角度分辨率(u,v)和空间分辨率(x,y)；对光场信号的采样重建中，分块进行；每一个块是四维数据，其(u,v)维度不变，(x,y)维度变小；将训练的样本块库作为KSVD算法的输入，得到光场视图块的KSVD字典。

优选地，所述步骤(4)中，通过观测与字典的互相关性，得到公式(6)

VΛV^TP^TPVΛV^T≈VΛV^T,(6)

令Γ＝PV，最小化计算得到Γ，再结合观测矩阵的结构，通过CVX求解，通过求解得到优化的观测矩阵OP。

优选地，所述步骤(5)中，光场的四维数据经过观测矩阵OP，通过一次观测得到一幅二维图像，经过多次观测得到多幅二维图像，共同组成压缩采样后的观测值Y。

优选地，所述步骤(6)中，利用OMP算法进行稀疏求解，得到稀疏系数α： $\widehat{\mathrm{\α}}=\underset{\mathrm{\α}}{\arg \min }\left|\right|\mathrm{\α}|{|}_0,s.t.PD\mathrm{\α}=y;$ 再结合信号的稀疏表达， $X=D\mathrm{\α}\≅D\widehat{\mathrm{\α}},$ 重建出原始光场。

以下更详细地说明本发明。

在压缩感知理论的基础上，光场图像通过少量观测可以得到精确重建，且重建质量受观测矩阵和字典间的非相关性的影响。在压缩感知理论中已经有优化观测算法的提出，通过优化观测将大幅度的提高重建质量。由此，在已知训练所得字典的情形下，对光场摄影技术中的观测矩阵进行恰当的设计，让观测矩阵和字典有较大的非相关性，可以提高光场的重建质量。

本发明基于的相机结构是将一个随机编码的掩膜放置在相机的光圈前面，此时获取的每一幅图像是原光场各角度视图的随机线性组合，且各个角视图之间非相干。

一个4D光场I是N个角度视图I^j的集合，因此I＝{I^j},j＝1,…,N.观测值Zⁱ可以表示为角度视图的一个线性组合

$Z^i=\underset{j=1}{\overset{N}{\Σ}}{a}^{ij}{I}^j,i=1,...,M---\left(2\right)$

其中0≤a^ij≤1,a^ij表示视图j到达观测i的光量，M(Numberofsnapshots)表示观测的次数。

设为一个光场样本，即一个光场图像块集合，其中x^j是视图j上的图像块。是一个观测图像块集合，因此yⁱ可以表达为

$y^i=\underset{j=1}{\overset{N}{\Σ}}{a}^{ij}{x}^j,i=1,...,M,j=1,...,N.---\left(3\right)$

如果每一个图像块大小为s×s，此时 M次观测后，y＝[y¹,y²,…,y^M]^T。得到观测矩阵P，

P＝[P₁ ^T,P₂ ^T,…,P_M ^T]^T(4)

其中，P_i,k＝[aⁱ¹,…，a^il,…,a^iN]，k＝1,…,s×s.

压缩感知理论中，优化观测的目的是最小化C＝PD任意两列的相关性。2008年，在Elad提出的互相干的基础上，Duarte-CarvajalinoandSapiro提出了效果更好的优化观测矩阵的算法。其思想是从Gram矩阵出发，使C任意列的子集尽量正交，或使Gram矩阵和单位矩阵逼近，G＝C^TC≈I。当字典D已知，我们需要找到观测矩阵P使相应的Gram矩阵尽量接近单位矩阵I，D^TP^TPD≈I。其中DD^T是对称矩阵，对其特征值分解为VΛV^T。上式可以转化为

VΛV^TP^TPVΛV^T≈VΛV^T,

(6)

令Γ＝PV，需要最小化来计算Γ。然后，结合P的结构，通过CVX优化工具，依据Γ＝PV来求解P。

已知P＝[P₁ ^T,P₂ ^T,…,P_M ^T]^T，得到Γ＝[Γ₁ ^T,Γ₂ ^T,…,Γ_M ^T]^T，即Γ_i＝P_iV,i＝1,…,M。设Γ_i＝[t_i,1,…,t_i,s×s],V＝[V₁,…,V_s×s]，得到t_i,j＝P_iV_j,i＝1,…,M,j＝1,…,s×s，此时，V_j＝[v_j,1,…,v_j,s×s]^T，即

最终得到，

$t_{i,j}^k=P_{i,k}{v}_{j,k},i=1,...,M,j=1,...,s\×s,k=s\×s.---\left(8\right)$

然后通过求解最小值得到P。

为了验证所提优化方案的有效性，在MATLABR2012a下进行了基于压缩感知的光场视图的获取与重建的模拟实验。对在普通稀疏字典下采用随机观测(RP)和优化观测(OP)两种方案进行了比较。实验结果的客观评价采用峰值信噪比(PeakSignaltoNoiseRatio，PSNR)度量，单位为分贝(dB)。

采用了四个光场数据库dragon、car、humvee和dkc进行实验。结果如表1所示。

表1

实验结果表明，当字典固定为普通稀疏字典时，优化观测与随机观测相比显著提升了光场的重建效果，获得了非常明显的PSNR增益，证明了优化观测矩阵方法的有效性。

图1为本发明优化观测实施例的结构示意图,具体包括：

(1)探究基于压缩感知光场摄影技术中观测矩阵作用的过程

大部分的自然信号x∈Rⁿ都可以在一个合适的字典D∈R^n×k下表达为一个稀疏系数α，x＝Dα,||α||₀＜＜n。用观测矩阵P∈R^m×n(m＜＜n)和原信号x作乘积表示在以低于奈奎斯特采样率的情形下进行采样，得到压缩采样信号y，y＝Px，即y＝PDα。当信号足够稀疏时通过凸优化等逼近算法，算出的最稀疏的信号是非常逼近原稀疏信号的。所以只要求解：结合x＝Dα,||α||₀＜＜n即可得出初始信号。

(2)根据相机的特殊结构推导结构化的观测矩阵P

通过上述公式(2)和公式(3)推导出结构化的观测矩阵P为公式(4),具体推导细节详见本发明的详细说明部分。

(3)利用普通稀疏字典训练算法(如KSVD)从样本库进行字典训练，得到字典D

利用KSVD算法对样本库进行字典训练。光场数据是四维信号，角度分辨率(u,v)和空间分辨率(x,y)。对光场信号的采样重建中，分块进行。每一个块是四维数据，其(u,v)维度不变，(x,y)维度变小。将训练的样本块库作为KSVD算法的输入，即可得光场视图块的KSVD字典。

(4)结合结构化的观测矩阵P，根据压缩感知中观测矩阵与字典的非一致性，设计优化求解算法，得到优化的观测矩阵OP

通过观测与字典的互相关性，得到上述公式(6)，令Γ＝PV，最小化计算得到Γ，再结合观测矩阵的结构，通过CVX求解，经过一系列的推导，最终通过求解得到优化的观测矩阵OP。具体优化细节详见本发明的详细说明部分。

图2为本发明光场重建实施例的结构示意图,具体包括：

(1)利用普通稀疏字典训练算法(如KSVD)从样本库x进行字典训练，得到字典D

利用KSVD算法对样本库进行字典训练。光场数据是四维信号，角度分辨率(u,v)和空间分辨率(x,y)。对光场信号的采样重建中，分块进行。每一个块是四维数据，其(u,v)维度不变，(x,y)维度变小。将训练的样本块库作为KSVD算法的输入，即可得光场视图块的KSVD字典。

(2)利用结构化的观测矩阵P，以及压缩感知中观测矩阵与字典的非一致性，根据训练的稀疏字典D得到优化的观测矩阵OP

(3)用优化的观测矩阵OP对光场数据X进行压缩采样得到观测值Y

光场的四维数据经过观测矩阵OP，通过一次观测得到一幅二维图像，经过多次观测得到多幅二维图像，共同组成压缩采样后的观测值Y。

(4)通过观测值Y稀疏重建原光场X，包括稀疏求解和重建两部分

利用OMP算法进行稀疏求解，得到稀疏系数α：

再结合信号的稀疏表达，重建出原始光场。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (8)

1.一种观测矩阵优化方法，其特征在于，该方法包括以下步骤：

(1)探究基于压缩感知光场摄影技术中观测矩阵作用的过程；

(2)根据相机的特殊结构推导结构化的观测矩阵P；

(3)利用稀疏字典训练算法从样本库进行字典训练，得到字典D；

(4)结合结构化的观测矩阵P，根据压缩感知中观测矩阵与字典的非一致性，设计优化求解算法，得到优化的观测矩阵OP。

2.根据权利要求1所述的观测矩阵优化方法，其特征在于，该方法还包括以下步骤：

(5)用优化的观测矩阵OP对光场数据X进行压缩采样得到观测值Y；

(6)通过观测值Y稀疏重建原光场X，包括稀疏求解和重建两部分。

3.根据权利要求2所述的观测矩阵优化方法，其特征在于，所述步骤(1)中，稀疏信号x∈Rⁿ在一个字典D∈R^n×k下表达为一个稀疏系数α，x＝Dα,||α||₀＜＜n，用观测矩阵P∈R^m×n(m＜＜n)和原信号x作乘积表示在以低于奈奎斯特采样率的情形下进行采样，得到压缩采样信号y，y＝Px，y＝PDα。

4.根据权利要求3所述的观测矩阵优化方法，其特征在于，所述步骤(2)中，观测矩阵P为公式(4)

$P={\[{P_1}^T,{P_2}^T,...,{P_M}^T\]}^T---\left(4\right)$

其中

P_i,k＝[aⁱ¹,…，a^il,…,a^iN]，k＝1,…,s×s，a^ij表示视图j到达观测i的光量，M表示观测的次数。

5.根据权利要求4所述的观测矩阵优化方法，其特征在于，所述步骤(3)中，稀疏字典训练算法为KSVD算法；光场数据是四维信号，包括角度分辨率(u,v)和空间分辨率(x,y)；对光场信号的采样重建中，分块进行；每一个块是四维数据，其(u,v)维度不变，(x,y)维度变小；将训练的样本块库作为KSVD算法的输入，得到光场视图块的KSVD字典。

6.根据权利要求5所述的观测矩阵优化方法，其特征在于，所述步骤(4)中，通过观测与字典的互相关性，得到公式(6)

VΛV^TP^TPVΛV^T≈VΛV^T,(6)

令Γ＝PV，最小化计算得到Γ，再结合观测矩阵的结构，通过CVX求解，通过求解得到优化的观测矩阵OP。

7.根据权利要求6所述的观测矩阵优化方法，其特征在于，所述步骤(5)中，光场的四维数据经过观测矩阵OP，通过一次观测得到一幅二维图像，经过多次观测得到多幅二维图像，共同组成压缩采样后的观测值Y。

8.根据权利要求7所述的观测矩阵优化方法，其特征在于，所述步骤(6)中，利用OMP算法进行稀疏求解，得到稀疏系数α：

$\widehat{\mathrm{\α}}=\underset{\mathrm{\α}}{\arg min}\left|\right|\mathrm{\α}|{|}_0,s.t.PD\mathrm{\α}=y;$ 再结合信号的稀疏表达， $X=D\mathrm{\α}\≅D\widehat{\mathrm{\α}},$ 重建出原始光场。