CN103914818A - 一种基于全向全变分的全向图像稀疏重构方法 - Google Patents

Abstract

本发明公开了一种基于全向全变分的全向图像稀疏重构方法，为了从压缩采样数据快速有效地重构全向图像，提出了一种结合全向图像特征的全变分模型——全向全变分，并在基于TV范数进行全向图像重构时，采用全向全变分作为目标函数，进行模型的求解。本发明所述方法考虑了全向图非线性成像畸变对全变分计算的不利影响，有效提高了全向图像稀疏重构质量。

Description

一种基于全向全变分的全向图像稀疏重构方法

技术领域

本发明涉及计算机视觉领域,特别是一种基于全向全变分的全向图像稀疏重构方法。背景技术

折反射全向成像技术将曲面反射镜和常规成像透镜相结合，凭借能一次性获得360度全方位视野的独特优势，近年来在全景视频监控、移动机器人视觉导航、虚拟空间构建等领域得到广泛研究和应用。但随着研究的不断深入，折反射全向成像技术固有的空间分辨率低、分辨率分布不均匀的缺陷严重限制了其应用范围。

近年来Donoho、Candès和Tao等人提出的压缩感知(Compressed Sensing或CompressiveSampling,CS)理论为解决困扰已久的折反射全向成像系统的分辨率问题提供了一条可行的新思路。压缩感知的优点在于充分利用了目标信号的稀疏性或可压缩性，通过低维采样数据的非相关测量实现高维信号的采集，信号的测量数据量远小于传统采样方法获取的数据量，使得高分辨率的信号采集成为可能。诸多学者已经在合成孔径雷达成像、核磁共振成像、遥感成像等领域对压缩感知展开了应用研究。目前，常用的CS重构算法主要分为两类：①基于最小l₁范数的基追踪(Basic Pursuit,BP)算法；②基于贪婪搜索的匹配追踪(Matching Pursuit,MP)算法。自然图像的重构是一个大规模近似稀疏信号的优化问题，为了获得锐利的边缘，一般采用最小全变分(total variation minimization,TV)算法代替l₁范数进行图像的重构。最小全变分算法不仅能够精确重构稀疏图像，对于分段平滑图像也能取得良好的重构效果。

TV模型首先由Rudin等人提出，由于其能够很好的保护图像边缘，一经提出便在图像去噪和去模糊等领域取得广泛应用。近年来，随着单像素相机的成功研制，CS理论在成像领域取得成功应用，CS在图像和视频领域有着广泛的应用前景。为了解决图像的重构问题，国内外学者将TV模型引入到CS领域，提出适用于图像重构的最小全变分算法，并展开广泛研究。虽然这些求解算法都能够有效求解TV最小化问题，但是基于透视成像模型的梯度计算方法进行全向图像的梯度计算时，其操作具有不合理性。在折反射全向成像过程中，由于曲面镜的反射作用，导致全向图像存在严重变形，如果我们将一幅折反射全向图像看作一个圆形碟片，从图像外环到中心分辨率逐渐降低。因此由于折反射投影，真实世界中两个具有相同欧式距离的点，当它们成像在折反射全向外环或图像中心时，它们之间的像素距离却并不相同。也就是说在折反射全向图像上，具有相邻位置关系的两个点在真实世界中却并不具有相同的依赖关系，因此，传统的梯度计算方法并不适合折反射全向图像处理，需要采用新的适应全向成像特点的梯度计算方法。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于全向全变分的全向图像稀疏重构方法，使折反射全向图像符合折反射成像特性，提高重构精度。

为解决上述技术问题，本发明所采用的技术方案是：一种基于全向全变分的全向图像稀疏重构方法，该方法为：

1）将全向图像I中的像素点m经折反射全向成像系统镜面上的点P_m反投影到柱面全景图像中，得到反投影点P_c；根据透视图像梯度计算方法，确定反投影点P_c水平和垂直方向的相邻像素点P_c1、P_c2，通过正向投影，得到像素点P_c1、P_c2对应的全向图像的像素点P_I1、P_I2，设像素点m的坐标为(i,j)，反投影点P_c的坐标为(u,v)，P_c1、P_c2的坐标分别为(u+1,v)、(u,v+1)、P_I1、P_I2的坐标分别为(i+u₁,j+v₁)、(i+u₂,j+v₂)；

2）利用下式计算出像素点m处的全向梯度幅值

$\left|\right|\▿(i,j)\left|\right|=\sqrt{{(I(i+u_1,j+v_1)-I(i,j))}^2+{(I(i+u_2,j+v_2)-I(i,j))}^2};$

其中，I(i+u₁,j+v₁)、I(i+u₂,j+v₂)、m(i,j)分别为像素点P_I1、P_I2、m的像素值；

3）将所述全向图像I中的所有像素点的全向梯度幅值相加，得到所述全向图像I的全向全变分Omni_TV(I)；

4）对于任一需重构的全向图像x，利用上述步骤1）～步骤3）的方法计算全向图像x的全向全变分Omni_TV(x)，将Omni_TV(x)作为正则化约束条件，得到重构的全向图像的表达式：

其中，||||₁表示1范数；表示2范数；y为需重构的全向图像x通过压缩感知方法得到的测量值；Φ为压缩感知方法中全向图像x的测量矩阵；为需重构的全向图像x的所有像素值按照字典顺序排列成的列向量；λ为正则化参数；

5）求解上述全向图像的表达式，得到需重构的全向图像x的重构图像

NESTA算法和TVAL3算法对测量矩阵限制低且算法运行效率高，在TV最小化问题中有着广泛应用，本发明使用NESTA算法或TVAL3算法求解上述全向图像的表达式。

与现有技术相比，本发明所具有的有益效果为：本发明根据全向图像成像特点计算全向图像的梯度幅值，对传统的全变分计算模型进行改进，得到全向图像的全向全变分；将全向全变分作为正则化约束条件，并将其用于全向图像重构。本发明的方法在计算全变分过程中，考虑了折反射成像特性，克服了曲面镜反射带来的成像畸变的影响，使得在全向图像稀疏重构时，基于全向全变分模型的重构算法得到的图像质量优于传统全变分模型，提高了重构精度。

附图说明

图1是全向图像到柱面的逆向投影图；

图2是柱面到全向图像的正向投影图；

图3是全向梯度计算过程示意图；

图4是折反射全向成像仿真过程示意图；

图5是全向图中梯度效果对比图；图5(a)和图5(b)分别为传统梯度计算结果和局部放大图；图5(c)和图5(d)为本文方法梯度计算结果和局部放大图。

图6是重构效果对比图；图6(a)采样率35%时，基于传统TV模型，NESTA算法重构结果；图6(b)采样率35%时，基于Omni-TV模型，NESTA算法重构结果；图6(c)采样率35%时，基于传统TV模型，TVAL3算法重构结果；图6(d)采样率35%时，基于Omni-TV模型，TVAL3算法重构结果。

具体实施方式

自然图像的重构问题是一个大规模稀疏信号的优化问题，由于图像具有“局部平滑，边界锐利”的特性，使得其重构有着自身的特性。而基于全变分最小化的压缩感知重构算法，充分考虑了图像的特点，是一种以保存图像细节为目标的重构方法。

全变分定义为图像梯度幅值之和：

$\mathrm{TV}\left(x\right)=\underset{(i,j)}{\mathrm{\Σ}}\left|\right|\▿x(i,j)\left|\right|=\underset{(i,j)}{\mathrm{\Σ}}\sqrt{G_i^2+G_j^2}=\underset{(i,j)}{\mathrm{\Σ}}\sqrt{{\left(\frac{\∂x}{\∂i}\right)}^2+{\left(\frac{\∂x}{\∂j}\right)}^2}---\left(1\right)$

式中，x∈R^N(或x∈R^m×n,m×n=N)为原始图像信号，为原始图像在像素位置(i,j)处的梯度，为梯度幅值，遍历整幅图像所有像素点即可计算全变分。采用TV最小化方法进行图像重构的问题描述为：

$\hat{x}=\underset{x}{\arg \min }{\left|\right|\mathrm{TV}\left(x\right)\left|\right|}_1+\mathrm{\λ}{\left|\right|y-\mathrm{\Φx}\left|\right|}_2^2---\left(2\right)$

λ为NESTA算法或TVAL3算法的正则化参数。

本发明基于全向全变分的全向图像稀疏重构算法包括以下步骤：

第一步：如图1所示为全向图像到柱面全景图像的逆向投影过程。根据折反射全向成像单视点约束以及光路跟踪方法，全向图像I中的像素点m(i,j)经镜面上的点P_m，反投影到柱面全景图像中的点P_c(u,v)，其中(i,j)、(u,v)分别为全向图像和柱面全景图像中像素点的坐标。如图2所示为柱面全景图像到全向图像的正向投影过程。根据逆投影得到的柱面全景图像的像素点P_c(u,v)，根据透视图像中梯度计算方法（见：（美）冈萨雷斯，（美）伍兹著.数字图像处理.北京市：电子工业出版社,2011.05.），确定其水平和垂直方向的相邻像素P_c1(u+1,v)、P_c2(u,v+1)，通过正向投影（见：陈立栋,王炜,贺琳,等.基于双向映射的非网格型全向图展开插值方法[J].国防科技大学学报,2010,32(4):105-109.），分别得到其对应的全向图像中的像素P_I1(i+u₁,j+v₁)、P_I2(i+u₂,j+v₂)，从而计算出m(i,j)处的梯度幅值，如图3所示为全向图像梯度计算过程示意图。

$\left|\right|\▿(i,j)\left|\right|=\sqrt{{(I(i+u_1,j+v_1)-I(i,j))}^2+{(I(i+u_2,j+v_2)-I(i,j))}^2}---\left(3\right)$

第二步：结合全变分的定义，根据公式(3)计算得到的全向梯度，得到全向图像I的全向全变分（Omni-TV）为：

$\mathrm{Omni}\_\mathrm{TV}\left(I\right)=\underset{(i,j)}{\mathrm{\Σ}}\left|\right|\▿I(i,j)\left|\right|=\underset{(i,j)}{\mathrm{\Σ}}\sqrt{{(I(i+u_1,j+v_1)-I(i,j))}^2+{(I(i+u_2,j+v_2)-I(i,j))}^2}---\left(4\right)$

第三步：将全向全变分作为正则化约束条件，并用于全向图像稀疏重构：CS中TV最小化问题的实现方法主要包括l₁-magic算法、TwIST算法、NESTA算法、RecPF算法和TVAL3算法。其中NESTA算法和TVAL3算法对测量矩阵限制低且算法运行效率高，在TV最小化问题中有着广泛应用。但是基于现有的TV模型进行全向图像稀疏重构时，由于全向图像存在扭曲变形，使得算法得到的不是最优解，因此我们在NESTA算法和TVAL3算法的基础上，为了使算法在进行全向图像稀疏重构时能够尽可能的得到最优解，我们将全向全变分作为正则化约束条件进行全向图像的重构，即通过NESTA算法或TVAL3算法（见：Becker S,Bobin J,Candès E J.NESTA:a fast and accurate first-order method for sparserecovery[J].SIAM Journal on Imaging Sciences,2011,4(1):1-39.Zhang Y,Jiang H,Yin W,et al.An Efficient Augmented Lagrangian Method with Applications toTotal Variation Minimization[J].2012.）思想求解公式(4)进行全向图像的重构：

$\hat{x}=\underset{x}{\arg \min }{\left|\right|\mathrm{Omni}\_\mathrm{TV}\left(x\right)\left|\right|}_1+\mathrm{\λ}{\left|\right|y-\mathrm{\Φx}\left|\right|}_2^2---\left(4\right)$

本发明的效果可以通过以下仿真实验进一步说明：

实验仿真环境：3ds Max9和Matlab7.8.0，Intel i3-2100，3.10GHz CPU，2GB内存。

仿真场景搭建：在3ds Max9仿真环境中，设计了基于双曲面的折反射全向成像系统，如图4所示为折反射全向成像仿真过程示意图，其中双曲面方程表示为

$\frac{{(z-c)}^2}{c^2\left(\frac{k-2}{k}\right)}-\frac{(x^2+y^2)}{c^2\left(\frac{2}{k}\right)}=1---\left(5\right)$

其中，双曲面参数c=402.10mm，k=2.8748，相机焦距f=20.50mm，且相机位于双曲面另一焦点处。（x，y，z）为双曲面镜上点的空间坐标。在成像系统外设置一个以相机光轴为中心轴的圆柱面，将一幅清晰的柱面全景图像贴图到圆柱面内壁，构成虚拟仿真场景空间，对相机视图进行渲染即可得到一幅相应的全向图像。本发明采用压缩感知领域和图像处理领域通常使用的Cameraman图像、视力表的局部、Lena图像以及纹理丰富的Barbara图像的裤腿部分作为贴图构建仿真场景。

实验对比算法：基于本发明全向全变分和传统全变分的NESTA算法和TVAL3算法。

实验结果评价：用峰值信噪比PSNR和运算时间t，峰值信噪比PSNR值越大，则说明图像重建的效果越好，运算时间t越小，则说明算法效率越高。

实验内容与结果：

图5(a)和图5(b)分别为基于传统梯度计算方法得到的梯度计算结果和局部放大结果，从图中可以看出，其内环效果较差，同时径向梯度有严重锯齿现象；图5(c)和图5(d)分别为基于本发明提出的全向梯度计算方法得到的梯度计算结果和局部放大结果，其内环部分边缘更加清晰，而且在图像的径向方向更加规则和均匀。

图6(a)和图6(c)是在采样率(sample ratio,SR)为35%时(即采样数目M为图像大小的35%)，基于传统的全变分模型，分别采用NESTA算法和TVAL3算法进行重构得到的结果图像。图6(b)和图6(d)是在采样率为35%时，基于本发明的全向全变分模型，分别采用NESTA算法和TVAL3算法进行重构得到的结果图像。从图中可以看出本发明提出的模型重构结果的边缘锐利，并且锯齿现象有明显减少。

为了更详尽地说明本方法的优势，对不同采样率下的图像重构进行了仿真，并对峰值信噪比PSNR和运算时间t两个数字指标进行了比较，比较结果如表1。由于本发明得到的全向全变分结果只与成像系统参数有关，与场景无关，因此，成像系统确定后，通过预处理可以得到基于该成像系统计算全变分的稀疏矩阵，该矩阵和计算传统全变分的稀疏矩阵维数相同，差别之处在于用于计算梯度的像素点位置不同，因此，本发明不会增加系统的时间消耗。

表1不同采样率下重构结果

Claims (2)

1.一种基于全向全变分的全向图像稀疏重构方法，其特征在于，该方法为：

1）将全向图像I中的像素点m经折反射全向成像系统镜面上的点P_m反投影到柱面全景图像中，得到反投影点P_c；根据透视图像梯度计算方法，确定反投影点P_c水平和垂直方向的相邻像素点P_c1、P_c2，通过正向投影，得到像素点P_c1、P_c2对应的全向图像的像素点P_I1、P_I2，设像素点m的坐标为(i,j)，反投影点P_c的坐标为(u,v)，P_c1、P_c2的坐标分别为(u+1,v)、(u,v+1)、P_I1、P_I2的坐标分别为(i+u₁,j+v₁)、(i+u₂,j+v₂)；

2）利用下式计算出像素点m处的全向梯度幅值

$\left|\right|\▿(i,j)\left|\right|=\sqrt{{(I(i+u_1,j+v_1)-I(i,j))}^2+{(I(i+u_2,j+v_2)-I(i,j))}^2};$

其中，I(i+u₁,j+v₁)、I(i+u₂,j+v₂)、m(i,j)分别为像素点P_I1、P_I2、m的像素值；

3）将所述全向图像I中的所有像素点的全向梯度幅值相加，得到所述全向图像I的全向全变分Omni_TV(I)；

4）对于任一需重构的全向图像x，利用上述步骤1）～步骤3）的方法计算全向图像x的全向全变分Omni_TV(x)，将Omni_TV(x)作为正则化约束条件，得到重构的全向图像的表达式：

其中，||||₁表示1范数；表示2范数；y为需重构的全向图像x通过压缩感知方法得到的测量值；Φ为压缩感知方法中全向图像x的测量矩阵；为需重构的全向图像x的所有像素值按照字典顺序排列成的列向量；λ为正则化参数；

5）求解上述全向图像的表达式，得到需重构的全向图像x的重构图像

2.根据权利要求1所述的基于全向全变分的全向图像稀疏重构方法，其特征在于，采用NESTA算法或TVAL3算法求解上述全向图像的表达式。