CN104376550A - 基于含积分的平差模型的超分辨率图像重建方法 - Google Patents

Abstract

本发明公开了一种基于含积分的平差模型的超分辨率图像重建方法，包括以下步骤：步骤1：对多幅低分辨率图像进行亚像素级配准，获得图像之间的空间位置关系；步骤2：将低分辨率图像像素值作为观测值，建立含观测方程，对观测方程进行线性化处理并依据最小二乘原理解算出未知参数，利用获得的未知参数解算高分辨率像素值；步骤3：对高分辨率象元重叠区域加权平均，获得超分辨率图像。该基于含积分的平差模型的超分辨率图像重建算法原理直观，易于编程实现和扩展，是一种稳健、可行性高的重建算法，可以广泛应用于各种图像实现超分辨率重建。不但可以提高图像信噪比，而且能够保持较好的图像结构信息，获得了更优的图像质量。

Description

基于含积分的平差模型的超分辨率图像重建方法

技术领域

本发明涉及平差理论在超分辨率图像重建中的应用，具体涉及一种基于含积分的平差模型的超分辨率图像重建算法。

背景技术

在数字图像处理中，理想的高分辨率图像有着重要的应用。高分辨率图像意味着在一定区域内获得的图像的像素密度较大，因此其能够提供更为精细、丰富的图像信息。在遥感领域，影像空间分辨率是影像质量评价的一项关键性指标，也是衡量一个国家航天遥感水平的重要标志。目前，米级甚至亚米级空间分辨率的遥感影像已取得了广泛的应用，然而其时间分辨率较低；对于低空间分辨率影像拥有较高的时间分辨率，这种时间和空间的矛盾阻碍了遥感影像的发展与应用。超分辨率重建(Super resulotion reconstruction,SRR)技术是解决这一问题的有效途径，图像超分辨率重建能够突破硬件的限制来提高图像的分辨率，其对多幅具有互补信息的低分辨率图像进行处理，重建出一幅或多幅高质量的图像，因而得到广泛的关注和推崇，其在遥感领域、医学图像领域、数码相片处理有着广泛的应用背景。

虽然超分辨率重建主要关注如何从一系列欠采样的低分辨率图像中重建出高分辨的图像，但在实际中所获得低分辨率图像往往受噪声、光学模糊、运动模糊以及混叠因素的影响，所以超分辨率技术涵盖了从有噪声、模糊的图像产生高质量的图像复原技术，所不同的是，传统的图像复原技术所关注的是恢复一幅降质的图像，并不改变图像的尺寸，因此将超分辨率重建认为是第二代图像复原问题。

目前图像超分辨率重建的算法大致可以分为两类：一是频率域算法，即利用傅里叶变换将图像变换到频率域进行有关的重建计算；二是空域算法，即直接在空间域对图像灰度进行操作。频率域方法由于局限于全局平移运动和线性空间不变降质模型，且包含空域先验知识的能力有限，导致其适用范围非常有限，因此不能有效地应用于多数场合；而空域算法，如非均匀空间内插法、迭代反投影方法等，其结合先验信息的能力很弱，在改善超分辨率复原效果方面受到极大的限制。传统对重建图像进行定量评价时，需有高分辨率图像进行比对，而利用平差模型时，在计算高分辨率像素值过程中就可以依据残差进行定量评价。

实际上，图像超分辨率重建过程就是对同一目标进行多次观测，获取多幅低分辨率影像，利用低分辨率影像求取目标的真实影像，即求取高分辨率影像的过程。这一过程与测绘领域中对同一对象进行观测，用测量平差求取对象最佳值的过程类似，但这一过程不能简单的用线性或非线性平差模型来描述。

因此，急需提出一种新的超分辨率图像重建方法。

发明内容

本发明提出了一种基于含积分的平差模型的超分辨率图像重建方法，利用含积分的平差模型应用到超分辨率图像重建中，提高了图像的质量。

以一种积分关系建立起来的平差模型可称为“含积分的平差模型”。尽管“含积分的平差模型”也是一种非线性模型，但观测量与待求量之间是一个积分关系，平差中的待求量是函数而不是参数，它与传统观念的非线性平差模型有本质的区别，从而弥补了传统的最小二乘平差模型、加权最小平差模型以及带有约束条件的最小平差模型等没有考虑的情形。

一种基于含积分的平差模型的超分辨率图像重建方法，包括以下几个步骤：

步骤1：获取同一场景的n张原始分辨率图像，用于重建该场景的超分辨率图像，n≥2；

令重建的超分辨率图像的分辨率为原始分辨率图像分辨率的T倍，T>1；

步骤2：对低分辨图像进行图像像素坐标配准；

从N张原始分辨率图像中选取任意一张图像作为参考图像，对其他原始分辨率图像进行坐标配准，得到参考图像到其他原始分辨率图像的配准参数，使得所有原始分辨率图像中表示同一物体的像素均在同一坐标系中，其中，参考图像的分辨率为N×M；

步骤3：利用参考图像中每个像素点u的像素集合{u_i}，基于含积分的平差模型建立所述场景的观测方程 $L_i+V_i=\underset{u_i}{\∫}f(x,y)\mathrm{ds};$

像素集合{u_i}包括参考图像中像素点u及该像素点u的8邻域像素点，以及该像素点u对应表示在其他原始分辨率图像中实际所在位置的像素点及对应像素点的8邻域像素点，个数为9n，n为原始分辨图像的张数；

其中，所述该像素点u对应表示在其他原始分辨率图像中实际所在位置的像素点可能是其他原始分辨率图像中的亚像素点，因此，寻找距离该亚像素点最近的像素点代替该亚像素点；

其中，L_i为像素点u_i原始分辨率像素，V_i为像素点u_i的观测像素值与真实像素值之间的观测误差，i为整数，取值范围为[1,9n]，f(x,y)为待求的场景的超分辨率灰度函数；

步骤4：将观测方程进行线性化处理，转换为矩阵形式，基于最小二乘准则求解场景的超分辨率灰度函数，代入像素坐标计算得到超分辨率图像中对应像素点的像素值，实现超分辨率图像的重建；

选用二元二次方程对f(x,y)进行线性化处理，f(x,y)＝(a₀+a₁x+a₂y+a₃x²+a₄y²+a₅xy)，将转换为误差方程矩阵形式V_i＝B_iX-L_i，则待求的场景的超分辨率灰度函数的线性系数即为X＝(a₀ a₁ a₂ a₃ a₄ a₅)^T，X＝(B^TPB)^-1B^TPL；

对于求解出的X只适用于像素u及其周围8个像素所形成的范围内，因此可以按照不同的分辨率要求，积分解算出高分辨率值；

P为每个像素点u所对应的像素集合{u_i}中的像素点的观测值的权值矩阵，所述权值矩阵为对角线矩阵，权值矩阵中每个元素的取值范围为(0,1)；

B_i为误差方程系数 $B_i=\left[\begin{array}{cccccc}\underset{u_i}{\∫}\mathrm{ds}& \underset{u_i}{\∫}\mathrm{xds}& \underset{u_i}{\∫}\mathrm{yds}& \underset{u_i}{\∫}{x}^2\mathrm{ds}& \underset{u_i}{\∫}{y}^2\mathrm{ds}& \underset{u_i}{\∫}\mathrm{xyds}\end{array}\right].$

【由于在计算f(x,y)对应的线性系数的过程中，不需利用V_i的值，故即使V_i属于未知数，也不影响整个计算过程，仍能完成超分辨率图像的重建。】

所述像素点u的像素集合{u_i}中的每个像素点的观测值的权值确定方法如下：

像素集合{u_i}中的任一除像素点u以外的像素点u_i的观测值的权值其中，d_i是该像素点u_i与像素集合{u_i}中其他的9n-1像素点之间的最短距离；

像素点u的观测值的权值为xscale为参考图像中相邻像素中心位置点之间距离的一半。

所述对观测方程进行线性化处理，还包括将待求的场景的超分辨率灰度函数采用傅里叶级数、小波函数、多项式或三角函数代替。

当分辨率扩展倍数T≤3时，对相邻原始分辨率像素周围求出的超分辨率像素重叠区域，进行加权取平均值，获得对应像素的超分辨率像素值。

【当扩展倍数>3时，则不存在象元重叠区。】

所述重建的超分辨率图像的分辨率为参考图像分辨率的T倍，T的取值范围为2-4。

所述同一坐标系是指像素中心位置的坐标值代表本像素在图像中的位置，以参考图像的列为X轴，行为Y轴，X，Y坐标轴取值范围分别为0～M、0～N，N、M为原始分辨率图像的行列数。

所述同一坐标系是指像素中心位置的坐标值代表本像素在图像中的位置，以参考图像的列为X轴，行为Y轴，X轴和Y轴上的坐标间隔均为原点位于X轴的中央，X取值范围是-1～1，Y取值范围是

上述坐标的标准化处理，是为了使得在计算过程中不出现病态问题。

有益效果

本发明提供了一种基于含积分的平差模型的超分辨率图像重建方法，将平差理论应用到图像重建中，避免了图像重建过程中的病态问题，不但可以提高图像信噪比，而且能够保持较好的图像结构信息，获得了更优的图像质量。本发明不仅提出了该模型，巧妙的将像素的观测值与超分辨率图像函数相结合，利用两者之间的积分关系，运用含积分的平差模型，而且解决了其在超分辨率重建应用中存在的病态问题。

附图说明

图1为低分辨率图像之间的空间关系示意图；

图2为超分辨率像素值重叠区域示意图；

图3为基于含积分的平差模型的超分辨率图像重建方法流程图；

图4为示例中所采用的原始超分辨率图像及模拟低分辨率图像，其中，(a)为原始超分辨率图像，(b)为一幅模拟低分辨率图像；

图5为生成的超分辨率重建图像，其中(a)迭代反投影法重建结果，(b)凸集投影法重建结果，(c)MRK-最大验后估计，(d)总变分正则化算法，(e)本文算法重建结果。

具体实施方式

为了使本发明的目的、技术方案级优点更加清楚明白，利用一幅超分辨率图像图画模拟出4张低分辨图像，利用这4张低分辨率图像作为重建超分辨率图像的原始图像，模拟参数设置见表1，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

表1模拟参数设置

本发明提供了一种基于含积分的平差模型的超分辨率图像重建方法，流程图如图3所示，包括以下几个步骤：

步骤1：如图1所示，三种不同的符合分别代表了不同的图像像素点，像素点之间存在亚像素级的空间位移，表明图像空间关系可以用转换参数进行转换。利用Keren配准技术，将4张低分辨率图像配准，具体方法如下：

设f₁(x,y)和f₂(x,y)代表模拟出的低分辨图像中的两张，其中f₁(x,y)为参考图像，两者之间存在空间几何关系：

f₂(x,y)＝f₁(xcosθ-ysinθ+Δx,ycosθ+xsinθ+Δy)   (1)

式中θ，Δx，Δy为空间转换参数，对sinθ,cosθ，f₁分别用泰勒级数展开，得到误差函数，对误差函数中的θ，Δx，Δy分别求偏导，并令偏导为零，从而解散出空间转换参数作为配准参数；

步骤2：对参考图像重新定义坐标系，设定像素中心的坐标值代表本像素在参考图像中的位置，X、Y坐标轴的取值范围分别为：-1～1、其中，坐标间隔为2/N，N，M分别为参考图像的行列数；

步骤3：利用参考图像中每个像素点u的像素集合{u_i}，基于含积分的平差模型建立所述场景的观测方程 $L_i+V_i=\underset{u_i}{\∫}f(x,y)\mathrm{ds};$

像素集合{u_i}包括参考图像中像素点u及该像素点u的8邻域像素点，以及该像素点u对应表示在其他原始分辨率图像中实际所在位置的像素点及对应像素点的8邻域像素点，个数为9n，n为原始分辨图像的张数；

其中，所述该像素点u对应表示在其他原始分辨率图像中实际所在位置的像素点可能是其他原始分辨率图像中的亚像素点，因此，寻找距离该亚像素点最近的像素点代替该亚像素点；

其中，L_i为像素点u_i原始分辨率像素，V_i为像素点u_i的观测像素值与真实像素值之间的观测误差，i为整数，取值范围为[1,9n]，f(x,y)为待求的场景的超分辨率灰度函数；

步骤4：将观测方程进行线性化处理，转换为矩阵形式，基于最小二乘准则求解场景的超分辨率灰度函数，代入像素坐标计算得到超分辨率图像中对应像素点的像素值，，实现超分辨率图像的重建；

选用二元二次方程对f(x,y)进行线性化处理，f(x,y)＝(a₀+a₁x+a₂y+a₃x²+a₄y²+a₅xy)，将转换为误差方程矩阵形式V_i＝B_iX-L_i，则待求的场景的超分辨率灰度函数的线性系数即为X＝(a₀ a₁ a₂ a₃ a₄ a₅)^T，X＝(B^TPB)^-1B^TPL；

对于求解出的X只适用于像素u及其周围8个像素所形成的范围内，因此可以按照不同的分辨率要求，积分解算出高分辨率值；

P为每个像素点u所对应的像素集合{u_i}中的像素点的观测值的权值矩阵，所述权值矩阵为对角线矩阵，权值矩阵中每个元素的取值范围为(0,1)；

B_i为误差方程系数 $B_i=\left[\begin{array}{cccccc}\underset{u_i}{\∫}\mathrm{ds}& \underset{u_i}{\∫}\mathrm{xds}& \underset{u_i}{\∫}\mathrm{yds}& \underset{u_i}{\∫}{x}^2\mathrm{ds}& \underset{u_i}{\∫}{y}^2\mathrm{ds}& \underset{u_i}{\∫}\mathrm{xyds}\end{array}\right].$

【由于在计算f(x,y)对应的线性系数的过程中，不需利用V_i的值，故即使V_i属于未知数，也不影响整个计算过程，仍能完成超分辨率图像的重建。】

解算X时，按最小二乘原理，X必须满足V^TPV＝min的要求，因为各个像素之间为独立量，故可按求函数自由极值的方法，得

$\frac{\∂V^T\mathrm{PV}}{\∂X}={2V}^{T}P\frac{\∂V}{\∂X}=V^T\mathrm{PB}=0$

转置后得B^TPV＝0，从而将X解算出：X＝(B^TPB)^-1B^TPL。

所述像素点u的像素集合{u_i}中的每个像素点的观测值的权值确定方法如下：

像素集合{u_i}中的任一除像素点u以外的像素点u_i的观测值的权值其中，d_i是该像素点u_i与像素集合{u_i}中其他的9n-1像素点之间的最短距离；

像素点u的观测值的权值为xscale为参考图像中相邻像素中心位置点之间距离的一半。

在本示例中，对低分辨率图像的分辨率扩大2倍，理论上本发明可以实现扩大任意倍数，像素点L1(i,j)的坐标为L1(i,j)(x,y)，则其周围超分辨率像素值的坐标为L1(i,j)(x+1/N,y+1/N)、L1(i,j)(x-1/N,y-1/N)、L1(i,j)(x+1/N,y-1/N)、L1(i,j)(x-1/N,y+1/N)、L1(i,j)(x+1/N,y)、L1(i,j)(x-1/N,y)、L1(i,j)(x,y+1/N)及L1(i,j)(x,y-1/N)，将坐标代入 $L=\underset{u}{\∫}(a_0+a_{1}x+a_{2}y+a_3{x}^2+a_4{y}^2+a_5\mathrm{xy})\mathrm{ds},$ 从而获得了9个超分辨率像素值。

由于选取超分辨率像素坐标时，如相邻两个低分辨率像素的坐标分别为L1(i,j)(x,y)和L1(i,j+1)(x,y)，由于L1(i,j)周围的超分辨率坐标其中三个为L1(i,j)(x+1/N,y±1/N)和L1(i,j)(x+1/N,y)，L1(i+1,j)周围的超分辨率坐标其中三个为L1(i,j+1)(x-1/N,y±1/N)和L1(i,j+1)(x-1/N,y)，则这六个像素的坐标重叠，如图2，同理可得每个坐标周围的8个超分辨率像素都为重叠区，对于重叠区域的超分辨率像素取加权平均值(高分辨率重叠区域示意图见附图2，图中格网为重叠区)。对于加权平均值的计算如下：假设L1(x,y)和L2(x,y)分别为相互重叠的两个超分辨率像素值，则其权值分为和则加权平均值为：

$L=\frac{L1{(x,y)}^2}{L1(x,y)+L2(x,y)}+\frac{L2{(x,y)}^2}{L1(x,y)+L2(x,y)}$

从而生成超分辨率图像。

为了验证本发明的优越性，与现有的超分辨率重建算法进行了对比，其中包括迭代反投影算法、凸集投影算法、马尔科夫-最大验后估计算法以及总变分正则化算法，对比结果如图5所示，在主观视觉上，通过体育场边界线可以看出，本发明相对于其他结果有着较好的视觉效果，迭代反投影算法、马尔科夫-最大验后估计算法以及总变分正则化算法的重建图像存在明显的波纹，影响了图像的纹理结构，凸集投影算法的重建图像相对于其他结果较模糊，因此从主观视觉上，本发明的结果最理想。通过对各个算法的重建图像计算客观评价值(包括峰值信噪比和结构相似性指数)可以从客观上证明本发明的效果最好，如表2所示。

表2PSNR及SSIM评价结果

Claims (7)

1.一种基于含积分的平差模型的超分辨率图像重建方法，其特征在于，包括以下几个步骤：

步骤1：获取同一场景的n张原始分辨率图像，用于重建该场景的超分辨率图像，n≥2；

令重建的超分辨率图像的分辨率为原始分辨率图像分辨率的T倍，T>1；

步骤2：对低分辨图像进行图像像素坐标配准；

从N张原始分辨率图像中选取任意一张图像作为参考图像，对其他原始分辨率图像进行坐标配准，得到参考图像到其他原始分辨率图像的配准参数，使得所有原始分辨率图像中表示同一物体的像素均在同一坐标系中，其中，参考图像的分辨率为N×M；

步骤3：利用参考图像中每个像素点u的像素集合{u_i}，基于含积分的平差模型建立所述场景的观测方程 $L_i+V_i=\underset{u_i}{\∫}f(x,y)\mathrm{ds};$

像素集合{u_i}包括参考图像中像素点u及该像素点u的8邻域像素点，以及该像素点u对应表示在其他原始分辨率图像中实际所在位置的像素点及对应像素点的8邻域像素点，个数为9n，n为原始分辨图像的张数；

其中，L_i为像素点u_i原始分辨率像素，V_i为像素点u_i的观测像素值与真实像素值之间的观测误差，i为整数，取值范围为[1,9n]，f(x,y)为待求的场景的超分辨率灰度函数；

步骤4：将观测方程进行线性化处理，转换为矩阵形式，基于最小二乘准则求解场景的超分辨率灰度函数，代入像素坐标计算得到超分辨率图像中对应像素点的像素值；

选用二元二次方程对f(x,y)进行线性化处理，f(x,y)＝(a₀+a₁x+a₂y+a₃x²+a₄y²+a₅xy)，将转换为误差方程矩阵形式V_i＝B_iX-L_i，则待求的场景的超分辨率灰度函数的线性系数即为X＝(a₀ a₁ a₂ a₃ a₄ a₅)^T，X＝(B^TPB)^-1B^TPL；

P为每个像素点u所对应的像素集合{u_i}中的像素点的观测值的权值矩阵，所述权值矩阵为对角线矩阵，权值矩阵中每个元素的取值范围为(0,1)；

B_i为误差方程系数 $B_i=\left[\begin{array}{cccccc}\underset{u_i}{\∫}\mathrm{ds}& \underset{u_i}{\∫}\mathrm{xds}& \underset{u_i}{\∫}\mathrm{yds}& \underset{u_i}{\∫}{x}^2\mathrm{ds}& \underset{u_i}{\∫}{y}^2\mathrm{ds}& \underset{u_i}{\∫}\mathrm{xyds}\end{array}\right].$

2.根据权利要求1所述的基于含积分的平差模型的超分辨率图像重建方法，其特征在于，所述像素点u的像素集合{u_i}中的每个像素点的观测值的权值确定方法如下：

像素集合{u_i}中的任一除像素点u以外的像素点u_i的观测值的权值其中，d_i是该像素点u_i与像素集合{u_i}中其他的9n-1像素点之间的最短距离；

像素点u的观测值的权值为xscale为参考图像中相邻像素中心位置点之间距离的一半。

3.根据权利要求2所述的基于含积分的平差模型的超分辨率图像重建方法，其特征在于，所述对观测方程进行线性化处理还包括将待求的场景的超分辨率灰度函数采用傅里叶级数、小波函数、多项式或三角函数代替。

4.根据权利要求3所述的基于含积分的平差模型的超分辨率图像重建方法，其特征在于，当分辨率扩展倍数T≤3时，对相邻原始分辨率像素周围求出的超分辨率像素重叠区域，进行加权取平均值，获得对应像素的超分辨率像素值。

5.根据权利要求1-4任一项所述的基于含积分的平差模型的超分辨率图像重建方法，其特征在于，所述重建的超分辨率图像的分辨率为参考图像分辨率的T倍，T的取值范围为2-4。

6.根据权利要求1-4任一项所述的基于含积分的平差模型的超分辨率图像重建方法，其特征在于，所述同一坐标系是指像素中心位置的坐标值代表本像素在图像中的位置，以参考图像的列为X轴，行为Y轴，X，Y坐标轴取值范围分别为0～M、0～N，N、M为原始分辨率图像的行列数。

7.根据权利要求1-4任一项所述的基于含积分的平差模型的超分辨率图像重建方法，其特征在于，所述同一坐标系是指像素中心位置的坐标值代表本像素在图像中的位置，以参考图像的列为X轴，行为Y轴，X轴和Y轴上的坐标间隔均为原点位于X轴的中央，X取值范围是-1～1，Y取值范围是