CN103871038B - 一种基于非均匀测量矩阵的超分辨率全向图像重建方法 - Google Patents

Abstract

本发明公开了一种基于非均匀测量矩阵的超分辨率全向图像重建方法，其实现过程是：首先基于单位球面模型分析折反射全向成像系统的空间分辨率分布规律，设计基于全向图像分辨率的非均匀测量矩阵，通过设计的测量矩阵，将较多的传感资源分配给全向图像内环，而将较少的传感资源分配给外环，从而对经过镜面反射的场景进行采集，得到观测场景的非均匀压缩采样，最后通过最小全变分算法重构出分辨率均匀的高分辨率图像。本发明提高了折反射全向图像的分辨率，且保证了折反射全向图像分辨率分布均匀，并且本发明对折反射成像系统的加工要求和安装精度没有特殊要求，保证了折反射成像系统的垂直视域，应用范围广。

Description

一种基于非均匀测量矩阵的超分辨率全向图像重建方法

技术领域

本发明涉及计算机视觉领域,特别是一种基于非均匀测量矩阵的超分辨率全向图像重建方法。

背景技术

折反射全向成像技术将曲面反射镜和常规成像透镜相结合，凭借能一次性获得360°全方位视野的独特优势，近年来在全景军事侦察、机器人视觉导航、虚拟空间构建等领域得到广泛研究和应用。但随着研究的不断深入，折反射全向成像技术固有的空间分辨率低、分辨率分布不均匀的缺陷严重限制了应用的深入。

部分学者尝试从全向图像后处理的角度对分辨率问题进行改善。彭启民等提出了一种基于小波变换的全向图像分辨率增强方法，根据成像退化模型，利用小波系数的自相似性和极值点在各层间的传递性，对全向图像丢失的高频成分进行补偿。Nagahara等借鉴传统图像超分辨率增强的研究基础，采用旋转或平移全向相机、多聚焦成像等方法，利用多帧全向图或全向视频序列间的时空互补信息，研究全向成像的分辨率增强问题，并针对全向视频提出了相应的超分辨率建模方法。

然而，由于折反射全向成像内环的严重欠采样，单纯依靠后期的图像处理对全向图像的分辨率进行增强，改善效果必然是非常有限的。只有从图像采集装置前端入手，进行针对性设计改进，才有可能从根本上解决上述两个问题。全向成像分辨率分布不均匀主要体现在内环严重欠采样而外环采样相对浪费。为了解决该问题，Stefan.G提出了基于非均匀CCD采样点的SVAVISCA成像方式，他设计的CCD感光阵列越靠近成像中心的感光区域像素点密度越高，以此提高内环空间分辨率。这种方法简单直观，但CCD加工难度高，应用面狭窄，难以普及。陈立栋等提出一种基于多反射镜面的互补结构折反射全向成像方法，在内外环互补全向图的基础上，通过融合和超分辨率增强得到分辨率均匀的高分辨率全景图像，该方法成本较低，但是垂直视域较小，而且为了使内外环视野重叠，互补结构折反射全向成像系统安装精度要求较高。

近年来Donoho提出的压缩感知(Compressed Sensing或Compressive Sampling,CS)理论为解决困扰已久的折反射全向成像系统的分辨率问题提供了一条可行的新思路。该理论的核心思想是，只要信号在某个变换域是稀疏的或可压缩的，就可以用一个与变换基不相关的观测矩阵对信号进行测量，通过求解一个优化问题高概率地重构出原始信号。压缩感知的优点在于充分利用了目标信号结构的稀疏特性，通过低维采样数据的非相关测量实现高维稀疏信号的采集，信号的测量数据量远小于传统采样方法获取的数据量，使得高分辨率的信号采集成为可能。目前，学者们已经在雷达成像、遥感成像、光场成像等领域对压缩感知展开了应用研究，但是还没有针对折反射全向图像的应用研究。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于非均匀测量矩阵的超分辨率全向图像重建方法，在对成像系统没有特殊的加工要求及安装精度要求的前提下，提高折反射全向图像分辨率，保证折反射全向图像分辨率均匀。

为解决上述技术问题，本发明所采用的技术方案是：一种基于非均匀测量矩阵的超分辨率全向图像重建方法，该方法为：

1）采集折反射全向图像x，计算所述折反射全向图像x中不同像素点的位置分辨率；

2）将上述折反射全向图像x分成互不重叠的图像块；

3）根据第i个图像块x_i中不同像素点的位置分辨率计算第i个图像块x_i的平均分辨率ζ_i，利用ζ_i、最大测量次数阈值M_max、最小测量次数阈值M_min计算第i个图像块x_i的测量次数M_i：

$M_i=\mathrm{round}(\frac{1}{{\mathrm{\ζ}}_i}.(M_{\max }-M_{\min })+M_{\min });$

其中，round()表示四舍五入算子；i=1,2...n，其中n为图像块的总数；M_min取值范围为[0.08*N,0.15*N]，M_max取值范围为[0.5*N，N]，N为第i个图像块中的像素点个数；

4）确定第i个图像块x_i的测量矩阵Φ_i，计算第i个图像块x_i的测量值其中所述测量矩阵Φ_i的大小为M_i×N，测量矩阵Φ_i为随机矩阵；为第i个图像块x_i中的所有像素点的像素值按照字典顺序排列成的列向量；

5）利用第i个图像块x_i的测量值重构第i个图像块x_i，得到第i个图像块的重构图像块

6）重复上述步骤3）～5），得到其余所有图像块的重构图像块；

7）将所有重构图像块组合，得到重构后的折反射全向图像。

所述步骤1）中，折反射全向图像x中任一像素点A的位置分辨率计算公式如下：

$\frac{\mathrm{dA}}{\mathrm{dv}}=\left[\frac{1-{\mathrm{\ξ}}^2}{{(\mathrm{\ξz}-1)}^2}\right]\frac{\mathrm{dA}}{d{\mathrm{\ω}}^{\′}};$

其中，z为所述像素点A投影到单位球面上的反投影点的纵坐标，z∈(-1,0)；ξ为折反射成像系统反射镜的镜面参数；为透视摄像机的分辨率。通过单位球面模型分析折反射成像系统的分辨率，只需要标定出折反射摄像机的内参数矩阵和镜面参数即可，而不需要得到构成反射镜面的曲线参数，实现方便，实用性更强。

与现有技术相比，本发明所具有的有益效果为：本发明将压缩感知技术应用到折反射全向成像过程中，使得图像采用速率低于奈奎斯特采样速率，可以用较少的采样点数表示原始图像信号，便于存储和传输；通过单位球面模型分析折反射成像系统的分辨率，只需要标定出折反射摄像机的内参数矩阵和镜面参数即可，而不需要得到构成反射镜面的曲线参数，实用性更强；根据折反射系统的分辨率设计非均匀的测量矩阵，可以将较多的传感资源分配给全向图像内环，而将较少的传感资源分配给外环，从而对经过镜面反射的场景进行采集，得到观测场景的非均匀压缩采样，提高了折反射全向图像的分辨率，且保证了折反射全向图像分辨率分布均匀，并且本发明对折反射成像系统的加工要求和安装精度没有特殊要求，保证了折反射成像系统的垂直视域，应用范围广；本发明中折反射成像系统得到的图像是原始场景的线性叠加叠加后的压缩图像在传输过程中如果被他人截获，在对方不知道观测矩阵（即Φ_i）具体形式的情况下，无法解析出原始图像信号，因此增加了图像信号传输过程中的安全性。

附图说明

图1为本发明一实施例方法流程图；

图2为折反射摄像机的空间分辨率；

图3为重构信号的MSE与稀疏度K、测量次数M关系图；

图4为全向图像分辨率不均匀示意图。

具体实施方式

参照图1所示的流程框图，本发明具体实施步骤如下：

第一步：基于单位球面模型分析折反射全向成像系统的空间分辨率分布规律，得到折反射图像中不同像素点位置分辨率与普通透视摄像机的分辨率的关系；

如图2所示，设P是全向图像上一块无限小的像素区域dA的中心点，是系统的光轴OO_c和虚拟摄像机光心O_c与P点连线之间的夹角，虚拟摄像机焦距为u，无限小区域dA在O_c处对应的立体角为dω，则虚拟摄像机在无限小区域dA中心的分辨率是

设dS为dA在球面上对应的成像区域的面积，球面点P_S为dS的中心点，其坐标为(r,z)，可以得到

其中θ代表∠OP_SO_c。而dS对应有效视点O在空间成像的立体角dv=dS，因此，折反射摄像机的分辨率（即折反射图像中不同像素点位置分辨率）为

设是普通透视摄像机光轴和光心与P点连线之间的夹角，无限小区域dA在光心处对应的立体角为dω'，则普通透视摄像机的分辨率为：

而：

因此可以得到折反射图像中不同像素点位置分辨率与普通透视摄像机的分辨率的关系是：

$\frac{\mathrm{dA}}{\mathrm{dv}}=\left[\frac{1-{\mathrm{\ξ}}^2}{{(\mathrm{\ξz}-1)}^2}\right]\frac{\mathrm{dA}}{d{\mathrm{\ω}}^{\′}}---\left(6\right)$

其中（r，z）为像素点在单位球面上的反投影点的坐标，ξ为镜面参数，普通透视摄像机的分辨率为dA/dω'。通过图2可以发现，z∈(-1,0)，取值越小，全向图像中的像素点越靠近内环，而通过公式(6)，在(-1,0)范围内，z值越小，全向图像分辨率越低，因此为了提高全向成像的应用范围，迫切需要提高全向图像的内环分辨率。

第二步：将原始图像信号x分成互不重叠的图像块（大小一般为64*64像素），每一图像块分别记作x_i，i=1,2...n，其中n为图像块的总数；

第三步：根据重构信号的均方误差MSE与稀疏度K、测量次数M的关系，基于第一步中成像系统的空间分辨率分布规律，计算每个图像块的测量次数M_i；

如图3所示，当稀疏度K固定时，测量次数M越大，则精确重建的均方误差越小，重建信号与原始信号越接近。当测量次数M达到一定的数值时，信号能实现100％的精确重建。对于不同稀疏度K，K越大，表示信号越不稀疏，从图中可以看出精确重建需要的测量次数M越大。

如图4所示，均匀网格的柱面仿真场景通过折反射成像系统得到的全向图像。在全向图中相同大小的邻域内(虚线框所示)，内环所含的窗格数量远高于外环，也就是说，外环的稀疏度K小于内环，精确重构外环所需的测量次数M较小。基于均匀测量矩阵的压缩成像方式，在精确重构内环的情况下，外环测量次数远超其所需测量次数，造成了存储空间的极大浪费，同时降低了重构效率；而在精确重构外环的情况下，由于内环稀疏度远大于外环，导致该测量矩阵无法精确重构内环。因此，需要针对全向图像的特性，设计特殊的测量矩阵，在有效利用存储空间的前提下，同时对内外环进行精确重构。

结合上面的分析，根据第一步中成像系统的空间分辨率分布规律，计算第二步中每个图像块精确重构所需要的测量次数M_i

$M_i=\mathrm{round}(\frac{1}{{\mathrm{\ζ}}_i}.(M_{\max }-M_{\min })+M_{\min })---\left(7\right)$

其中，M_max、M_min分别为最大测量次数阈值和最小测量次数阈值，M_min取值范围为[0.08*N,0.15*N]，M_max取值范围为[0.5*N，N]，round()表示四舍五入算子，为图像块Bi的平均分辨率，其中j=1,2,…,N，表示图像块B_i中的像素位置，

第四步：根据测量次数M_i设计每个图像块的测量矩阵Φ_i，计算每个图像块的测量值i=1,2...n；

第五步：通过最小化全变分算法重构出对应的图像块即通过如下公式进行求解

${\hat{x}}_i=\underset{x_i}{\arg \min }{\left|\right|\mathrm{TV}\left(x_i\right)\left|\right|}_1+\mathrm{\λ}{\left|\right|y_i-{\mathrm{\Φ}}_i{x}_i\left|\right|}_2^2,$

其中Φ_i为图像块i对应的测量矩阵，y_i，i=1,2...n为测量值，TV(*)表示求图像的全变分，λ为正则化参数。

第六步：将所有重构图像块组合得到重构图像

Claims (2)

1.一种基于非均匀测量矩阵的超分辨率全向图像重建方法，其特征在于，该方法为：

1）采集折反射全向图像x，计算所述折反射全向图像x中不同像素点的位置分辨率；

2）将上述折反射全向图像x分成互不重叠的图像块；

3）根据第i个图像块x_i中不同像素点的位置分辨率计算第i个图像块x_i的平均分辨率ζ_i，利用ζ_i、最大测量次数阈值M_max、最小测量次数阈值M_min计算第i个图像块x_i的测量次数M_i：

$M_i=\mathrm{round}(\frac{1}{{\mathrm{\ζ}}_i}.(M_{\max }-M_{\min })+M_{\min });$

其中，round()表示四舍五入算子；i=1,2...n，其中n为图像块的总数；M_min取值范围为[0.08*N,0.15*N]，M_max取值范围为[0.5*N，N]，N为第i个图像块中的像素点个数；

4）确定第i个图像块x_i的测量矩阵Φ_i，计算第i个图像块x_i的测量值其中所述测量矩阵Φ_i的大小为M_i×N，测量矩阵Φ_i为随机矩阵；为第i个图像块x_i中的所有像素点的像素值按照字典顺序排列成的列向量；

5）利用第i个图像块x_i的测量值重构第i个图像块x_i，得到第i个图像块的重构图像块

6）重复上述步骤3）～5），得到其余所有图像块的重构图像块；

7）将所有重构图像块组合，得到重构后的折反射全向图像。

2.根据权利要求1所述的基于非均匀测量矩阵的超分辨率全向图像重建方法，其特征在于，所述步骤1）中，折反射全向图像x中任一像素点A的位置分辨率计算公式如下：

$\frac{\mathrm{dA}}{\mathrm{dv}}=\left[\frac{1-{\mathrm{\ξ}}^2}{{(\mathrm{\ξz}-1)}^2}\right]\frac{\mathrm{dA}}{d{\mathrm{\ω}}^{\′}};$

其中，z为所述像素点A投影到单位球面上的反投影点的纵坐标，z∈(-1,0)；ξ为折反射成像系统反射镜的镜面参数；为透视摄像机的分辨率。