CN101901493A - 基于压缩采样的多视点图像联合重构方法和系统 - Google Patents

Abstract

本发明提出一种基于压缩采样的多视点图像联合重构方法，包括以下步骤：通过多个压缩感知数据采集设备获得现实场景的多个视角的图像；根据获得的所述多个视角的图像计算所述多个视角图像之间的视差图；和基于所述多个视角图像之间的视差图以及所述多个视角的图像对多视角图像进行联合重构。本发明实施例能够从初步重构结果中准确估计不同视点图像之间的视差关系，并在多视点压缩成像的重构中利用所估计的视差关系充分挖掘了不同视点图像之间的相关性，增强了所重构信号的精度。

Description

基于压缩采样的多视点图像联合重构方法和系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于压缩采样的多视点图像联合重构方法和系统。

背景技术

一直以来，科学家在香农-乃奎斯特采样定理的指导下来设计和制作相应的数据采集系统。但是，香农采样定理只是给出了为准确重构原始信号所需要的充分条件，采集的数据中包含很强的相关性。因此，为了便于传输和存储采集到的数据，需要对其做进一步的压缩。鉴于在香农采样定理中只利用信号是带限的这一先验知识，最近由Donoho等人通过充分利用信号在一组基上可以稀疏表示这一先验知识提出了一种可以直接获取压缩数据的数据采集方法——压缩感知(D.L.Donoho，“Compressed sensing，”IEEE Transactions on Information Theory，vol.52，no.4，pp.1289-1306，Apr，2006.)。采样数据通过随机投影的方式来获取，而原始信号则通过非线性最优化的方法来重构。由于所采集到的数据的冗余度非常低，可以直接用来做存储和传输。此外，由于压缩感知利用了较香农采样定理更多的先验知识，它能够从在亚乃奎斯特采样频率下采集到的数据实现原始信号的重构，从而在超高分辨率数据获取和大规模数据获取方面具有广阔的应用前景。

传统的成像设备采集到的图像具有很高的冗余性，研究学者提出了JPEG，H.264等图像/视频编解码方法来实现对图像做进一步压缩。而在为获取现实场景的三维信息所采用的多视点成像中，利用传统的相机采集到的数据将会成倍的增长，给存储和传输带来诸多不便。多视点图像编码方法和分布式编码方法被提出来去除各个视点间所采集到的图像之间存在的冗余性。压缩感知方法在减少采样数据量，压缩数据的直接获取等方面提供了新的思路。目前，Rice大学已经根据压缩感知方法成功研制出了单像素相机，做出了第一个压缩成像的模型(D.Takhar，J.N.Laska，M.B.Wakinet al.，“A new Compressive Imaging camera architecture using optical-domaincompression”，Computational Imaging IV，vol.6065，pp.6509-6509，2006.)。

在压缩感知中，从压缩采样数据中重构原始信号是通过在所有可能的信号寻找一个在给定变换基上最稀疏的信号来实现。该方法只利用信号内的相关性，为了在重构中充分运用信号间的相关性，Richard Branik提出了分布式压缩感知方法(Dror Baron，Michael Wakin，Marco Duarte，ShriramSarvotham，and Richard Baraniuk，Distributed compressed sensing，http://www.dsp.ece.rice.edu/cs/DCS112005.pdf)。信号间的相关性通过联合稀疏性来描述，相关信号在一组基上的表征系数之间存在的一定关系，如具有共同的支撑域。但是，找到一组能让相关信号可以联合稀疏表示的基存在很大的困难。针对待采集图像序列存在重叠的情况，Jian Sun等人利用流形提升的方法来实现压缩成像中原始图像序列的联合重构(Jian Sun andYin Li and Kang，S.B.and Heung-Yeung Shum，A manifold lifting algorithmfor multi-view compressive imaging，Picture Coding Symposium(PCS)，Chicago，Illinois，2009，May)，但是该方法仅限于不同图像之间只存在平移的情况。

发明内容

本发明的目的旨在至少解决上述技术缺陷，特别提出了一种基于压缩采样的多视点图像联合重构方法和系统。

为达到上述目的，本发明一方面提出一种基于压缩采样的多视点图像联合重构方法，包括以下步骤：通过多个压缩感知数据采集设备获得现实场景的多个视角的图像；根据获得的所述多个视角的图像计算所述多个视角图像之间的视差图；和基于所述多个视角图像之间的视差图以及所述多个视角的图像对多视角图像进行联合重构。

根据本发明的另一方面，本发明还提出了一种基于压缩采样的多视点图像联合重构系统，包括：多个压缩感知数据采集设备，用于获得现实场景的多个视角的图像；视差图获得模块，用于根据获得的所述多个视角的图像计算所述多个视角图像之间的视差图；和联合重构模块，用于基于所述视差图获得模块获得的多个视角图像之间的视差图以及所述多个视角的图像对多视角图像进行联合重构。

本发明实施例能够从初步重构结果中准确估计不同视点图像之间的视差关系，并在多视点压缩成像的重构中利用所估计的视差关系充分挖掘了不同视点图像之间的相关性，增强了所重构信号的精度。另外，本发明实施例的方法和系统还具有较好的收敛性。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的基于压缩采样的多视点图像联合重构方法流程图；

图2为本发明实施例的多视点压缩成像模型示意图；

图3为本发明实施例的基于压缩采样的多视点图像联合重构系统结构图；

图4(a)和(b)为传统相机拍摄的图像；

图4(c)和(d)为独立重构出来的结果；

图4(e)和(f)为本发明重构出来的结果。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示，为本发明实施例的基于压缩采样的多视点图像联合重构方法流程图，该方法包括以下步骤：

步骤S101，通过多个压缩感知数据采集设备获得现实场景的多个视角的图像。在本发明中，多视点压缩成像方法是指通过在不同视点摆放多个压缩感知数据采集设备来捕获现实场景各个视角的图像，从而最终获得现实场景的三维信息。由于利用压缩采样方法得到的数据相关性低，因此采集到的数据可以直接用来存储和传输。因此，多视点压缩成像方法能够有效降低数据采样量，避免传统数据采集后繁琐的编码过程。在采集过程中，不同视点图像的采集独立进行，而不同视点间的相关性可以在重构的时候加以利用，从而实现现实场景的高效采集。

在该实施例中，设V_i和V_j是在视点i和j观测到的图像，如图2所示，为本发明实施例的多视点压缩成像模型示意图，利用压缩采样设备可以被采集到他们在一组随机波形Φ上的投影系数Y_i：

ΦV_i＝Y_i

                                    (1.1)

ΦV_j＝Y_j

具体地，先将压缩采样设备置于同一水平线的不同位置处，对现实场景进行压缩采样。为生成随机投影波形，先对离散余弦变换矩阵进行随机的列排列，然后随机抽取其M个行向量形成感知矩阵，本发明实施例通过压缩采样的数据量为图像分辨率的30％；接着，对同一场景分别在基准视点和参考视点进行独立的压缩采样。

步骤S102，根据获得的多个视角的图像计算所述多个视角图像之间的视差图。根据压缩感知的相关理论，利用非线性最优化方法能够从这些随机投影系数中重构出多视点图像V_i和V_j。进而，利用多视点图像可以生成现实场景的深度图，以达到获取现实场景的三维信息的目的。

本发明实施例为了重构估计多视点图像之间的视差关系，需要得到各个视点下的观测图像。为此，首先根据各个视点下观测图像在某个变换域Ψ下的稀疏性，利用l₁最优化(即非线性最优化)方法，给出一个初步的估计结果：

$\min \underset{i,j}{\mathrm{\Σ}}{\left|{\mathrm{\ψV}}_i\right|}_1$

s.t.ΦV_i＝Y_i                            (1.2)

ΦV_j＝Y_j

在本发明实施例中，该间题的求解可以通过贪婪算法，基追踪算法，迭代阈值等多种算法进行求解，这里我们采用FISTA算法进行求解。接着，根据初步估计到的多视点图像，利用graphcut等算法估计不同视点间的视差关系d_i，j。

具体地，首先利用8×8的块离散余弦变换，从每个视点独立地重构各个视点观测到的图像，即利用迭代阈值算法来求解：

min|ΨV|₁

                                        (1.3)

s.tΦV＝Y

其中，Y是在不同视点采集到的压缩采样数据。

接着，利用初步重构出来的多视点图像，估计多视点图像之间的视差图。

步骤S103，基于所述多个视角图像之间的视差图以及所述多个视角的图像对多视角图像进行联合重构。

在本发明实施例中，由于现实场景中的一点在不同视点观测到的值是相同的，因此根据步骤S102中所估计到的视差关系d_i，j，并结合图像本身的稀疏性，本发明给出如下的目标函数：

min|ΨV_i|₁+|ΨV_j|₁

s.tΦV_i＝Y_i

                                    (1.4)

ΦV_i＝Y

其中，Ψ为变换域，V_i和V_j是在视点i和j观测到的图像，d_i，j，p为视点i和j之间的视差图。但是由于遮挡，光照变化等因素的影响，现实场景中的某些点在不同视点之间存在一些差异。为了剔除这些奇异点，本发明利用一范数对奇异点进行约束：

s.tΦV_i＝Y_i                         (1.5)

ΦV_j＝Y_j

其中，

是能够在不同视点间找到对应点的像素集合，λ是规整化参数，当λ将左右视点对应像素差异的一范数值规整化到与图像在变换域上的一范数值相当时，可以达到最好的重构质量。为了求解式(1.5)，本发明将其转化为如下的无约束最优化问题进行求解：

当λ₂充分小的时候，最优化问题(1.6)与最优化问题(1.5)等价。此外，为了便于处理式(1.6)中的第三项

本发明引入中间变量E：

min|ΨV_i|₁+|ΨV_j|₁+λ|E|₁+λ₂(‖ΦV_i-Y_i‖₂+‖ΦV_j-Y_j‖₂

                                                            (1.7)

                          +‖V_i(p)-V_j(p+d_i，j，p)-E‖₂)

其中，Ψ为变换域，V_i和V_j是在视点i和j观测到的图像，λ和λ₂为规整化参数，d_i，j，p为视点i和j之间的视差图，E为中间变量，其中，

上述问题是一个在二范数和一范数混合约束下的凸优化问题，可以利用FISTA方法方便的进行求解到一个最优解。

具体地，在本发明实施例中联合重构具体包括：

1)、在联合重构中，先根据所述基于多个视角图像之间的视差图确定规整化参数，在优选实施例中，可取规整化参数

λ₂＝1e-5。

2)、利用迭代阈值算法FISTA求解如下的最优化问题，从而实现多视点图像的联合重构：

min|ΨV_i|₁+|ΨV_j|₁+λ|E|₁+λ₂(‖ΦV_i-Y_i‖₂+‖ΦV_j-Y_j‖₂+‖V_i(p)-V_j(p+d_i，j，p)-E‖₂)。

3)、根据联合重构的结果，利用步骤S102中的视差估计方法重新计算视差，利用步骤1)中的规整化参数计算方法重新计算规整化参数。

4)、重复上述步骤2)-3)，直至重构结果不再发生变化。

本发明实施例能够从初步重构结果中准确估计不同视点图像之间的视差关系，并在多视点压缩成像的重构中利用所估计的视差关系充分挖掘了不同视点图像之间的相关性，增强了所重构信号的精度。另外，本发明实施例的方法和系统还具有较好的收敛性。

如图3所示，为本发明实施例的基于压缩采样的多视点图像联合重构系统结构图。该系统包括多个压缩感知数据采集设备100、视差图获得模块200和视差图获得模块300。多个压缩感知数据采集设备100用于获得现实场景的多个视角的图像。视差图获得模块200用于根据获得的所述多个视角的图像计算所述多个视角图像之间的视差图。视差图获得模块300用于基于视差图获得模块200获得的多个视角图像之间的视差图以及所述多个视角的图像对多视角图像进行联合重构。

在本发明的一个实施例中，视差图获得模块200包括图像初步重构子模块210和视差图获得子模块220。图像初步重构子模块210用于根据8×8的块离散余弦变换，从每个视点独立地初步重构多个视点观测到的图像。视差图获得子模块220根据图像初步重构子模块初步重构的多个视点的图像，获得多视点图像之间的视差图。

本发明采用峰值信噪比(PSNR)来客观衡量算法的重构效果。表1为针对不同测度数下，本发明方法和独立重构方法重构结果的客观评价指标。其中Doll_b和Doll_r是对基准视点和参考视点独立恢复的结果，Doll_Jb和Doll_Jr是用本发明提出的联合重构方法重构出的结果。

表1

	20％	30％	40％	50％
					Doll_b	23.4	26.3	28.8	31.2
Doll_Jb	25.1	28.2	29.5	31.6
					Doll_r	25.3	26.3	28.6	31.1
Doll_Jr	26.3	28.1	29.2	31.7

图4(a)和(b)为传统相机拍摄的图像，图4(c)和(d)为独立重构出来的结果，图4(e)和(f)为本发明实施例重构出来的结果，从图4(e)和(f)可以看出，联合重构方法重构出来的视觉效果明显优于独立恢复的结果。

总之，无论从客观评价指标还是从视觉效果，本发明提出的联合重构方法均优于独立重构的方法，重构质量得到了较大程度的改善。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (10)

1.一种基于压缩采样的多视点图像联合重构方法，其特征在于，包括以下步骤：

通过多个压缩感知数据采集设备获得现实场景的多个视角的图像；

根据获得的所述多个视角的图像计算所述多个视角图像之间的视差图；和

基于所述多个视角图像之间的视差图以及所述多个视角的图像对多视角图像进行联合重构。

2.如权利要求1所述的基于压缩采样的多视点图像联合重构方法，其特征在于，所述根据获得的多个视角的图像计算多个视角图像之间的视差图进一步包括：

根据8×8的块离散余弦变换，从每个视点独立地初步重构所述多个视点观测到的图像；和

根据初步重构的多个视点的图像，获得多视点图像之间的视差图。

3.如权利要求2所述的基于压缩采样的多视点图像联合重构方法，其特征在于，所述基于多个视角图像之间的视差图以及多个视角的图像对多视角图像进行联合重构进一步包括：

根据所述基于多个视角图像之间的视差图确定规整化参数；

根据确定的所述规整化参数利用快速迭代阈值算法FISTA进行最优化求解以实现所述多视点图像的联合重构；

进一步根据联合重构结果重新计算视差图，并重新确定规整化参数，以及再次进行联合重构，直至重构结果不再发生变化。

4.如权利要求3所述的基于压缩采样的多视点图像联合重构方法，其特征在于，所述根据确定的规整化参数利用快速迭代阈值算法FISTA进行最优化求解以实现所述多视点图像的联合重构包括：

利用快速迭代阈值算法FISTA求解以下的最优化问题：

min|ΨV_i|₁+|ΨV_j|₁+λ|E|₁+λ₂(‖ΦV_i-Y_i‖₂+‖ΦV_j-Y_j‖₂+‖V_i(p)-V_j(p+d_i，j，p)-E‖₂)，其中，Ψ为变换域，V_i和V_j是在视点i和j观测到的图像，λ和λ₂为规整化参数，d_i，j，p为视点i和j之间的视差图，E为中间变量，其中，

5.如权利要求3所述的基于压缩采样的多视点图像联合重构方法，其特征在于，其中，规整化参数λ和λ₂为：

$\mathrm{\λ}=\frac{{\left|\mathrm{\Ψ}{V}_b\right|}_1}{\mathrm{\Σ}{|V_b\left(p\right)-V_r(p+d_p)|}_1},$ λ₂＝1e-5。

6.一种基于压缩采样的多视点图像联合重构系统，其特征在于，包括：

多个压缩感知数据采集设备，用于获得现实场景的多个视角的图像；

视差图获得模块，用于根据获得的所述多个视角的图像计算所述多个视角图像之间的视差图；和

联合重构模块，用于基于所述视差图获得模块获得的多个视角图像之间的视差图以及所述多个视角的图像对多视角图像进行联合重构。

7.如权利要求6所述的基于压缩采样的多视点图像联合重构系统，其特征在于，所述视差图获得模块包括：

图像初步重构子模块，用于根据8×8的块离散余弦变换，从每个视点独立地初步重构所述多个视点观测到的图像；和

视差图获得子模块，根据所述图像初步重构子模块初步重构的多个视点的图像，获得多视点图像之间的视差图。

8.如权利要求7所述的基于压缩采样的多视点图像联合重构系统，其特征在于，所述联合重构模块根据所述基于多个视角图像之间的视差图确定规整化参数，并根据确定的所述规整化参数利用快速迭代阈值算法FISTA进行最优化求解以实现所述多视点图像的联合重构，以及进一步根据联合重构结果重新计算视差图，并重新确定规整化参数和再次进行联合重构，直至重构结果不再发生变化。

9.如权利要求8所述的基于压缩采样的多视点图像联合重构系统，其特征在于，所述联合重构模块利用快速迭代阈值算法FISTA求解以下的最优化问题：

min|ΨV_i|₁+|ΨV_j|₁+λ|E|₁+λ₂(‖ΦV_i-Y_i‖₂+‖ΦV_j-Y_j‖₂+‖V_i(p)-V_j(p+d_i，j，p)-E‖₂)，其中，Ψ为变换域，V_i和V_j是在视点i和j观测到的图像，λ和λ₂为规整化参数，d_i，j，p为视点i和j之间的视差图，E为中间变量，其中，

10.如权利要求9所述的基于压缩采样的多视点图像联合重构系统，其特征在于，其中，规整化参数λ和λ₂为：

$\mathrm{\λ}=\frac{{\left|\mathrm{\Ψ}{V}_b\right|}_1}{\mathrm{\Σ}{|V_b\left(p\right)-V_r(p+d_p)|}_1},$ λ₂＝1e-5。

Images