CN106952226A - 一种f‑msa超分辨率重建方法 - Google Patents

Abstract

本发明属于图像处理技术领域，涉及一种F‑MSA超分辨率重建方法，根据设定的重建倍数可推导出待求高分辨率像素在低分辨率像素坐标系下的坐标，通过多帧低分辨率影像可搜索得到最佳的低分辨率像素值贡献给待求高分辨率像素，这一过程没有近似取整和插值带来的误差，因而重建结果更加真实可靠。本发明克服了MSA方法容易出现黑色网格的现象，实现了任意倍数的重建；克服了经典SA和MSA算法的缺陷，低分辨率影像信息互补的精度更高，对于小数倍的重建结果效果更佳。

Description

一种F-MSA超分辨率重建方法

技术领域

本发明属于图像处理技术领域，涉及一种视频影像序列超分辨率重建方法，特别是涉及一种F-MSA超分辨率重建方法。

背景技术

超分辨率重建是指利用同一场景的低分辨率影像序列来重建出一幅高空间分辨率影像，该技术发展至今，其重建算法可分为频域法和空域法。频域方法主要包括解混叠重建方法、递归最小二乘法等；空域方法主要包括非均匀插值、迭代反投影、凸集投影、最大后验概率估计法等。在这些方法中非均匀插值算法凭借其直观复杂度低的优势受到众多研究学者青睐。目前，Michael Elad提出的SA算法^[1]是目前为止能够较好的解决超分辨重建问题的一种快速重建算法，而这个算法的实质衍生于非均匀插值思想。随后，在SA算法的基础上，Sina Farsiu加入了崩溃点概念，提出了MSA算法^[2]，该算法具有很强的鲁棒性。但MSA算法依然具有一定的缺陷。

上面提到的超分重建算法虽然都利用像素的近似选择操作来简化复杂的插值操作，极大的提高了运算效率；但是在处理过程中都存在近似，近似误差使得重建后影像的边缘存在明显的锯齿。除此以外，还存在下面两点较大缺陷：

(1)低分辨率影像序列必须满足一定平移关系。当低分辨率影像序列帧间平移关系不满足理想条件时(如运动方向固定)，尽管参与重建的低分辨率影像帧数满足充分条件也会出现低分辨率影像间互补信息缺失严重的情况，因而所得影像中只有少部分位置有像素值其余都是0值，出现了“黑色网格”现象，如附图1所示。

(2)无法提供重建倍数为小数的重建结果。一般情况下卫星视频序列影像间位移量很小，此时其互补信息不足以得到整数倍重建结果。此外，已有相关论文给出超分辨率重建的最优重建倍数结论，其指出在实际情况下超分辨率重建有效放大倍数的经验值是1.6，而SA和MSA算法都只给出了重建倍数为整数的重建方法，并未考虑非整数情况。

相关参考文献如下：

[1]Elad M,Hel-Or Y,A fast super-resolution reconstruction algorithmfor pure translational motion and common space-invariant blur[C]//Electricaland electronic engineers in israel,2000.the 21st ieee convention of the.IEEE,2000:402-405.

[2]Sina F,M Dirk R,Michael E,et al.Fast and robust multiframe superresolution[J].IEEE Transactions on Image Processing A Publication of the IEEESignal Processing Society,2004,13(10):1327-1344.

发明内容

本发明在经典SA方法上，引入了MSA算法鲁棒性的思想，克服了经典SA和MSA算法的缺陷，重建结果真实可靠。本发明算法在处理过程中没有取整近似，因此低分辨率影像信息互补的精度更高，并且能够提供小数倍的重建结果。

为了达到上述目的，本发明提供的技术方案是：一种F-MSA超分辨率重建方法，其特征在于，包括如下步骤，

步骤S1，根据获得的低分辨率影像序列，选择参与重建的低分辨率影像的帧数，并建立低分辨率影像坐标系；

步骤S2，确定重建倍数，建立高分辨率影像坐标系，所述高分辨率影像坐标系与低分辨率影像坐标系的原点相同；

步骤S3，针对低分辨率影像，根据运动矩阵，将所有参与重建的低分辨率序列影像按照运动估计参数归算到所述低分辨率影像坐标系，实现方式如下，

假设f₁(i,j)代表第1帧影像，i、j代表低分辨率影像像素在低分辨率影像坐标系中的坐标，f_k代表第k帧影像，则第k帧影像与第1帧影像的关系式为，

f_k＝f₁(i+D(k,1),j+D(k,2))(1≤i≤m,1≤j≤n) (1)

其中，k为参与重建的低分辨率影像的帧数，m、n是低分辨率影像的大小，D为运动矩阵；

步骤S4，根据重建倍数，将步骤3中所得的低分辨率影像转换至高分辨率影像坐标系下，实现方式如下，

若g(u,v)代表高分辨率影像，u、v代表高分辨率影像像素在高分辨率影像坐标系中的坐标，则高分辨率影像与第一帧影像之间的关系式如下：

其中，r为重建倍数，m、n是低分辨率影像的大小；

步骤S5，设定容许误差，根据待求点和容许误差选择参估点，所述参估点是以待求点为中心，容许误差为半径的圆内的低分辨率序列影像的像素点，

N_δ(u,v)＝{f_k(i,j):(u-i)²+(v-j)²≤δ²} (3)

其中，N_δ(u,v)为参估点，δ为设定的容许误差；

步骤S6，取参估点像素值的中值作为待求点像素值；

步骤S7，将步骤S6获得的像素值赋给高分影像坐标系下相应的待求点，获得高分影像的像素值；

步骤S8，完成高分辨率影像所有像素点的计算，显示高分辨率影像。

而且，所述步骤S3中的运动矩阵利用金字塔LK光流算法得到。

与现有技术相比，本发明的优点是克服了MSA方法容易出现黑色网格的现象，实现了任意倍数的重建；克服了经典SA和MSA算法的缺陷，重建结果真实可靠；低分辨率影像信息互补的精度更高，对于小数倍的重建结果效果更佳。

附图说明

图1“黑色网格”现象；

图2为本发明实施例低分辨率图像坐标系；

图3为本发明实施例高分辨率图像坐标系；

图4为本发明实施例坐标系融合图；

图5为本发明实施例计算高分辨率影像像素的示意图；

图6为本发明实施例原始低分辨率仿真影像序列；

图7为本发明实施例仿真实验结果图，其中，7(a)为原始低分辨率影像细节图，7(b)为重建1.2倍高分辨率影像细节图，7(c)为重建1.6倍高分辨率影像细节图，7(d)为重建1.8倍高分辨率影像细节图，7(e)为重建2倍高分辨率影像细节图；

图8为本发明实施例流程图。

具体实施方式

根据同一场景成像区域相同的特点可知像方的像素数量增加实质上就是物方像元尺寸的减小。如果直接从物方考虑，分别建立低分辨率影像坐标系xoy(如图2)和高分辨率影像坐标系x’o’y’(如图3)，将两坐标系原点重合，则两坐标系间存在对应关系如图4所示。

本实施例根据设定的重建倍数可推导出待求高分辨率像素在低分辨率像素坐标系(参考帧)下的坐标，通过多帧低分辨率影像可搜索得到最佳的低分辨率像素值贡献给待求高分辨率像素，这一过程没有近似取整和插值带来的误差，因而重建结果更加真实可靠。

下面结合附图和实施例对本发明的技术方案作进一步说明。

图8为本发明实施例提供的一种F-MSA(Fast Median Shift and Add))超分辨率重建方法的流程图，具体包括如下步骤：

步骤S1：根据获得的低分辨率影像序列，选择参与重建的低分辨率影像；

设k是用于重建的低分辨率影像帧数，m、n是低分影像的大小，根据选取的第一帧低分辨率影像为基准帧建立低分辨率影像的坐标系xoy，以第一帧左上角为原点，格网个数为m*n。

步骤S2：确定重建倍数r，以步骤S1中坐标系xoy的原点为原点建立高分辨率影像坐标系x’o’y’，格网个数为r*m*n*r；

步骤S3：针对低分辨率影像，根据运动矩阵D(矩阵D大小为k*2，矩阵D第一列为第一帧与第k帧间的水平平移量，第二列为第一帧与第k帧间的垂直平移量)，将所有参与重建的低分辨率序列影像按照运动估计参数归算到步骤S1中的坐标系xoy下，其中，运动矩阵D是描述低分辨率图像间运动大小的矩阵，可以用金字塔LK光流算法得到，具体计算为现有技术，本发明不予撰述。假设f₁(i,j)代表第1帧影像，i、j代表低分影像像素在xoy中的坐标，f_k代表第k帧影像，则第k帧影像与第1帧影像的关系式如下：

f_k＝f₁(i+D(k,1),j+D(k,2))(1≤i≤m,1≤j≤n) (1)

步骤S4：根据重建倍数r，将在步骤S3中xoy坐标系下的低分辨率影像转换至高分辨率影像坐标系x’o’y’下，若g(u,v)代表高分辨率影像，u、v代表高分影像像素在x’o’y’中的坐标，则其与第一帧影像之间的关系式如下：

步骤S5：根据待求点和容许误差δ，选择满足条件的参估点N_δ(u,v)时，参估点选择的是以当前待求点为中心，容许误差δ为半径的圆内的低分序列影像的像素点；

N_δ(u,v)＝{f_k(i,j):(u-i)²+(v-j)²≤δ²} (3)

其中，k取整数1,2,3…k；

步骤S6：取参估点像素值的中值作为HR影像待求点像素值。

g(u,v)＝median{N_δ(u,v)} (4)

步骤S7：将步骤S6获得的像素值赋给高分影像坐标系下相应的待求点，获得高分影像的像素值，判段高分辨率影像所有像素值是否全部计算完毕，即u、v<size(HR),是，则返回步骤S6，否，进入步骤S8；

步骤S8：完成高分辨率影像所有像素点的计算，最后显示高分辨率影像。

现假设重建倍数为r，若利用k帧LR(低分辨率)影像重建一帧HR(高分辨率)影像，那么以第一帧LR影像坐标系xoy的o点为原点按照低分辨率影像帧间亚像素位移将其他n-1帧低分辨率影像像素复制在坐标系xoy下后，建立HR影像坐标系x’o’y’并与xoy重合，将全部LR影像像素坐标换算至HR坐标系x’o’y’下，设定容许误差，若高分辨率影像待求点像素坐标为(X_i,Y_i)，那么在容许误差内的全部像素坐标所代表的低分辨率像素点都参与估计，这些点都是参估点，点(X_i,Y_i)的像素值最终取参估点的中值。附图5给出了r＝1.6，K＝4时F-MSA算法的详细示意图，其中，LR1、LR2、LR3、LR4分别表示4帧低分辨率影像，HR代表待求的高分辨率影像，圆圈则代表容许误差范围。

下面通过实验用仿真数据对本发明方法进一步说明，实验数据是卫星仿真视频序列影像，如附图6，m＝n＝210，重建倍数r＝1.2、1.6、1.8和2倍，用于重建的低分影像帧数k＝10，通过运动估计可以得到运动矩阵D，D是10*2的矩阵，设定容许误差δ＝0.5。执行步骤S1到S5，然后根据公式(3)确定参估点，然后对参估点执行后续步骤S6到S8，获得高分辨率影像。附图7中7(a)、7(b)、7(c)、7(d)、7(e)分别是原始LR影像和1.2倍、1.6倍、1.8倍、2倍重建的高分辨率影像细节。从图中可以看出，本发明方法可以实现整数倍和小数倍的重建，并且能够获得较好的高分辨率影像。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (2)

1.一种F-MSA超分辨率重建方法，其特征在于，包括如下步骤：

步骤S1，根据获得的低分辨率影像序列，选择参与重建的低分辨率影像的帧数，并建立低分辨率影像坐标系；

步骤S2，确定重建倍数，建立高分辨率影像坐标系，所述高分辨率影像坐标系与低分辨率影像坐标系的原点相同；

步骤S3，针对低分辨率影像，根据运动矩阵，将所有参与重建的低分辨率序列影像按照运动估计参数归算到所述低分辨率影像坐标系，实现方式如下，

假设f₁(i,j)代表第1帧影像，i、j代表低分辨率影像像素在低分辨率影像坐标系中的坐标，f_k代表第k帧影像，则第k帧影像与第1帧影像的关系式为，

f_k＝f₁(i+D(k,1),j+D(k,2))(1≤i≤m,1≤j≤n) (1)

其中，k为参与重建的低分辨率影像的帧数，m、n是低分辨率影像的大小，D为运动矩阵；

步骤S4，根据重建倍数，将步骤3中所得的低分辨率影像转换至高分辨率影像坐标系下，实现方式如下，

若g(u,v)代表高分辨率影像，u、v代表高分辨率影像像素在高分辨率影像坐标系中的坐标，则高分辨率影像与第一帧影像之间的关系式如下：

$g(u,v)=f_1(\frac{i}{r},\frac{j}{r}),(1\&le;i\&le;m,1\&le;j\&le;n)---\left(2\right)$

其中，r为重建倍数，m、n是低分辨率影像的大小；

步骤S5，设定容许误差，根据待求点和容许误差选择参估点，所述参估点是以待求点为中心，容许误差为半径的圆内的低分辨率序列影像的像素点，

N_δ(u,v)＝{f_k(i,j):(u-i)²+(v-j)²≤δ²} (3)

其中，N_δ(u,v)为参估点，δ为设定的容许误差，k取整数1,2,3…k；

步骤S6，取参估点像素值的中值作为待求点像素值；

步骤S7，将步骤S6获得的像素值赋给高分影像坐标系下相应的待求点，获得高分影像的像素值；

步骤S8，完成高分辨率影像所有像素点的计算，显示高分辨率影像。

2.如权利要求1所述的一种F-MSA超分辨率重建方法，其特征在于：所述步骤S3中的运动矩阵利用金字塔LK光流算法得到。