CN109461122B - 一种基于多视点图像的压缩感知图像重建方法 - Google Patents

Abstract

本发明公开一种基于多视点图像的压缩感知图像重建方法，首先对于每个目标重建，通过计算图像间视差补偿大小来选择相应的动态图像集，然后基于所选择的动态图像集来实现多视点图像重建。在重建的过程中，根据基于视差补偿的自适应全变分正则约束和非局部低秩张量约束来获得高质量的重建结果。

Description

一种基于多视点图像的压缩感知图像重建方法

技术领域：

本发明涉及计算机图像处理领域，具体涉及一种基于多视点图像的压缩感知重建方法。

背景技术：

近年来，新兴起的许多应用要求相机同时记录针对同一场景不同的视角的多方位图像，例如监测系统、机器人和医疗成像等。除此之外，随着单像素成像技术的普遍应用，单像素相机将直接产生一系列多视点的压缩感知图像。然而，将压缩感知技术应用于多视点图像重建领域往往存在欠采样造成的图像重建质量过低的问题，导致这些多视点图像不能满足以上应用所需。

多视点图像的压缩感知重建算法目前已经取得了很大的进展，主要分为如下两类：基于图像内部正则约束的方法和基于图像间正则约束的方法。基于图像内部正则约束的方法，例如贪婪算法，凸优化算法和以Sparse Bayesian为代表的统计优化算法，该方法利用图像自身存在的稀疏特性实现图像重建，但由于只关注存在于图像内部的先验知识，只能完成压缩感知初始重建的工作，无法实现高质量的多视点图像重建需求。基于图像间正则约束的方法是基于图像内部先验知识，进一步引入对图像间相关性的发掘，比如Ying等提出基于视差补偿的全变分模型重建算法。该方法通过视差建立参考图像与目标图像的对应关系，实现全变分模型由单一图像内部向在图像间相关性约束的扩展(Ying Liu,ChenZhang,and Joohee Kim,“Disparity-compensated total-variation minimization forcompressed sensed multiview image reconstruction,”ICASSP,pp.1458-1462,2015.)。Chang等提出一种多视图背景下的联合全变分框架，该框架通过最小化约束原始图像内部以及图像间的全变分实现算法重建。图像间的全变分算法是基于运动估计计算预测图像，将预测图像与原始图像分差异求解全变分值，并进行最小化约束(Kan Chang,Pak LunKevin Ding,and Baoxin Li,“Compressive Sensing Reconstruction of CorrelatedImages Using Joint Regularization,”Signal Processing Letters,IEEE,vol.23,pp.449-452,2016.)。

综上，现有的多视点图像重建算法通过压缩感知技术的欠采样重建所获得的图像质量较低，具有一定的局限性。

发明内容

本发明的目的是克服上述现有技术的缺点，提供一种质量高的多视点图像重建方法，该方法的多视点图像质量得到显著增强，边缘细节区域清晰。

本发明的多视点图像重建算法，首先对于每个目标重建，通过计算图像间视差补偿大小来选择相应的动态图像集，然后基于所选择的动态图像集来实现多视点图像重建。在重建的过程中，根据基于视差补偿的自适应全变分正则约束和非局部低秩张量约束来获得高质量的重建结果。上述方法的步骤如下：

步骤一：计算目标重建图像与多视点图像间的视差补偿值，筛选动态图像集。

步骤二：基于动态图像集，进行图像预测。

步骤三：将目标重建图像分块，针对每一个图像块构建相似块张量。

步骤四：根据步骤二，三中得到的预测图和相似块张量，构建联合重建模型，重建目标图像。

每个步骤的具体操作如下：

步骤一的具体操作：计算目标图像与多视点图像集中图像的视差补偿的均值，根据均值筛选出第i幅目标图像的动态图像集S_i：

式中，

其中

是第i幅目标图像与第j幅图像的平均视差补偿，τ是用来限制平均视差补偿的常数，只有视差在适当范围内的图像j才会加入到动态图像集合。

步骤二的具体操作：首先根据步骤一中已求得的视差补偿，确定目标图像i中(x,y)位置的像素点在图像k中的对应位置：

然后，目标图像i与图像k可以建立起对应关系，再将一对一图像之间的对应关系扩展到一对多的关系，像素点对应关系表示为：

式中，p_i(x,y)表示目标图像i中(x,y)位置的像素点，n表示动态图像集中图像个数，u_k(k＝1,..,n)表示动态图像集中的图像。针对整幅图像可以表示为下式：

式中，

是图像i与图像k之间的视差补偿矩阵,

表示图像间视差补偿算子的集合。

步骤三的具体操作：首先，将目标图像进行分块，针对每一个图像块，寻找相似图像块集，并将相似图像块组成相似块张量，建立非局部低秩张量模型：

式中，R_i,jU表示第j块图像块在动态图像集和目标图像中构建的相似块张量，

是低秩近似张量。

然后，计算低秩张量近似。将(5)模式展开成三个子式：

式中，A_(m)是将张量

沿着m向展开的矩阵。针对每一个子式计算其，计算该子式对应的准确的低秩近似矩阵的秩r_m(m＝1,2,3)。

最后，利用上式求得的r_m计算截断HOSVD，得到低秩张量近似：

式中，W_m(m＝1,2,3)是张量沿模式m展开矩阵的SVD分解左式截断前r_m(m＝1,2,3)行后的矩阵，

其中，

是原始的相似块张量。

步骤四的具体操作：首先，根据步骤二与步骤三中获得的预测图像集和低秩近似张量，建立联合重建模型：

式中，α，β和λ是参数，

是采样值，L_i,j是张量沿模式3展开的矩阵，Φ＝diag(Φ₁,...,Φ_n)是采样矩阵，G＝diag(G,...,G)，G是梯度算子，

是预测图像集合。

然后，根据Split-Bregman迭代方法建立迭代方程：

式中，η是参数，

是已确定项。

最后，进行系数求解，完成图像集U的重建工作：

式中，d^k和b^k是确定值。通过下式更新d^k+1：

式中，shrink(u,ρ)＝sgn(u)e max(|u|-ρ,0)。

与现有的技术相比，本发明通过计算视差补偿来自适应地构建动态图像集，利用动态图像集完成对目标图像的预测，提出非局部低秩张量模型，并将该模型扩展至动态图像集中，最后提出联合重建算法求解方法。其有益的效果是：压缩多视点图像数据采集量，完成欠采样数据的高质量图像重建，针对边缘，细节部分更加清晰，尤其当采样率越低，本算法重建效果的优势越明显。

附图说明：

图1多视点图像联合重建框架图；

图2相似图像块构建流程图；

图3测试图片Tsukuba和对应的彩色图像；

图4本发明中张量部分效果对比线性图；

图5原图及局部放大图；

图6本发明得到的图像及局部放大图；

图7测试图片；

图8Monopoly不同算法重建结果主观质量比较；

图9Tsukuba不同算法重建结果主观质量比较。

具体实施方式：

为了能够更清楚地描述本发明的技术内容，下面结合具体实例来进一步的描述：

本发明的框架图如图1，具体实施过程分为两个阶段，约束条件准备阶段和联合模型重建阶段。

一、约束条件准备阶段

约束条件的准备阶段分为四个步骤：获取重建图像及多视点图像集，生成动态图像集、图像预测、计算低秩张量近似。

1、获取重建图像及多视点图像集

首先，获取需要重建的目标图像i，以及其对应的一系列多视点图像集。这些图像数据均为质量很低的压缩感知初步重建图像。

2、生成动态图像集

a.视差补偿的计算：

根据SIFT算法，计算图像i与多视点图像集中每一幅图像的视差补偿矩阵。

b.动态图像集生产：

首先，计算视差补偿均值，根据均值大小对多视点图像集进行筛选，在只有均值在允许范围内的图像才可以加入动态图像集合：

式中，

其中

是第i幅目标图像与第j幅图像的平均视差补偿，τ是用来限制平均视差补偿的常数。

3、图像预测

首先，建立目标重建图像i中的像素点与图像集中像素点的对应关系：

然后，将像素点的对应扩展到图像之间的一一对应：

式中，

是图像i与图像k之间的视差补偿算子，

p_i就是第i幅目标重建图像的预测图像。

4、计算低秩张量近似

a.图像分块：

将目标重建图i进行分块，在图像内部以及动态图像集中，寻找每一个图像块的相似图像块集，并组成相似图像块张量。相似图像块张量的构建过程如图2。

b.构建非局部低秩张量模型：

式中，R_i,jU表示低分辨率深度图像块，

表示低秩近似张量。

c.计算低秩近似：

首先，将(4)进行张量的模式展开，分别求解展开子式的低秩近似：

式中，(Σ-ωdiag(s))₊项中的非零值的个数即子式低秩近似的秩r_m(m＝1,2,3)。

然后，计算张量的低秩近似：

式中，W_m(m＝1,2,3)是W_m截断前r_m(m＝1,2,3)行的矩阵，

其中，

是原始的张量。

联合模型重建阶段

压缩感知重建阶段包括两个个步骤：建立联合约束和图像重建。测试图片为Tsukuba，如图3.

1、在压缩感知重建模型的约束下建立联合约束：

建立联合最小化约束项：

式中，α，β和λ是参数，

项表示基于视差补偿的自适应全变分正则约束项，

表示非局部低秩张量约束项。

2、基于Split-Bregman迭代方法计算重建图像。

a.根据Split-Bregman循环方法，建立如下循环：

式中，η是参数，

是已确定项。

b.计算系数：

式中，

d^k和b^k是确定值，β，η为参数。

c.更新参数：

式中，shrink(u,ρ)＝sgn(u)e max(|u|-ρ,0)。

最后，原图及局部放大图如图5，本发明得到的图像及局部放大图如图6。

图像质量评价：

现在分别对Tsukuba,Monopoly(MO),and Venus(如图7)采用本发明提供的算法与当前主流的几种算法进行比较评价，这些算法分别是JR-CSR(K.Chang,P.L.K.Ding,andB.Li,“Compressive sensing reconstruction of correlated images using jointregularization,”IEEE Signal Process.Lett.,vol.23,no.4,pp.449–453,Apr.2016.)、JM-RCI(K.Chang and B.Li,“Joint modeling and reconstruction of acompressively-sensed set of correlated images,”J.Visual Commun.ImageRepresent.,vol.33,pp.286–300,2015.)、NLR(W.Dong,G.Shi,X.Li,Y.Ma,and F.Huang,“Compressive sensing via nonlocal low-rank regularization,”IEEE Trans.ImageProcess.,vol.23,no.8,pp.3618–3632,2014)。

峰值信噪比PSNR是衡量图像失真或是噪声水平的客观标准：

式中，

表示均方差，即m×n单色图像I和K(原图像与处理图像)之间均方误差，MAX表示图像颜色的最大数值。2个图像之间PSNR值越大，则越相似。

表一是本发明与约束1的重建方法和当下三种主流算法的峰值信噪比PSNR的比较，可以看出本发明所得到的PSNR值最大。需要说明约束1方法通过引入动态图像集参与图像的重建，分别说明本发明两个约束项的贡献。图2进一步展示动态图像集以及张量近似这两部分的贡献程度。主观比较：如图8图9，本发明得到的结果在细节重建方面效果更加清晰，尤其是当取样率越低，细节重建效果优势更加明显。结合客观可主观比较，可以看出本发明得到的多视点重建图像的质量更高，细节重建效果更加清晰。

表1不同算法的客观质量比较

Claims (3)

1.一种基于多视点图像的压缩感知图像重建方法，其特征在于，包括以下步骤：

步骤一：计算目标重建图像与多视点图像间的视差补偿值，筛选动态图像集；

步骤二：基于动态图像集，进行图像预测；

首先根据步骤一中已求得的视差补偿，确定目标图像i中(x,y)位置的像素点在图像k中的对应位置：

然后，目标图像i与图像k可以建立起对应关系，再将一对一图像之间的对应关系扩展到一对多的关系，像素点对应关系表示为：

式中，p_i(x,y)表示目标图像i中(x,y)位置的像素点，n表示动态图像集中图像个数，u_k表示动态图像集中的图像，其中k＝1,..,i-1,i+1,..,n，针对整幅图像可以表示为下式：

式中，

是图像i与图像k之间的视差补偿矩阵,

表示图像间视差补偿算子的集合；

a_i＝0,

其中

是第i幅目标图像与第j幅图像的平均视差补偿，τ是用来限制平均视差补偿的常数，只有视差在适当范围内的图像j才会加入到动态图像集合；

步骤三：将目标重建图像分块，针对每一个图像块构建相似块张量；

首先，将目标图像进行分块，针对每一个图像块，寻找相似图像块集，并将相似图像块组成相似块张量，建立非局部低秩张量模型：

式中，R_i,jU表示第j块图像块在动态图像集和目标图像中构建的相似块张量，

是低秩近似张量；

然后，计算低秩张量近似，将(5)模式展开成三个子式：

式中，A_(m)是将张量

沿着m方向展开的矩阵，针对每一个子式计算该子式对应的准确的低秩近似矩阵的秩r_m，m＝1,2,3；

最后，利用上式求得的r_m计算截断HOSVD，得到低秩张量近似：

式中，

是张量沿模式m展开矩阵的SVD分解左式截断前r_m行后的矩阵，

其中，m＝1,2,3；

步骤四：根据步骤二，三中得到的预测图和相似块张量，构建联合重建模型，重建目标图像。

2.如权利要求1所述的基于多视点图像的压缩感知图像重建方法，其特征在于，

步骤一具体操作：计算目标图像与多视点图像集中图像的视差补偿的均值，根据均值筛选出第i幅目标图像的动态图像集S_i：

式中，

a_i＝0,

其中

是第i幅目标图像与第j幅图像的平均视差补偿，τ是用来限制平均视差补偿的常数，只有视差在适当范围内的图像j才会加入到动态图像集合。

3.如权利要求1所述的基于多视点图像的压缩感知图像重建方法，其特征在于，

步骤四的具体操作：首先，根据步骤二与步骤三中获得的预测图像集和低秩近似张量，建立联合重建模型：

式中，α，β和λ是参数，

是采样值，L_i,j是张量沿模式3展开的矩阵，Φ＝diag(Φ₁,...,Φ_n)是采样矩阵，

G是梯度算子，

是预测图像集合；

然后，根据Split-Bregman迭代方法建立迭代方程：

式中，η是参数，

是已确定项；

最后，进行系数求解，完成图像集U的重建工作：

式中，d^k和β^k是确定值，通过下式更新d^k+1：

式中，sηrink(u,ρ)＝sgn(u)⊙max(|u|-ρ,0)。

Images