CN106373087B - 一种改进初始估计的图像超分辨率重建方法 - Google Patents

Abstract

本发明一种改进初始估计的图像超分辨率重建方法属于图像处理和计算机视觉检测领域，涉及一种改进初始估计的图像超分辨率重建方法。该方法利用相机拍摄同一场景相似但不完全相同的图像序列，并以第一幅图像为基准计算其它图像相对于基准图像的变换矩阵，保留图像间的亚像素位移，对图像序列进行逆变换，将基准图像插值放大至4倍作为高分辨率图像的初始估计。利用逆变换后的图像序列对初始估计进行修正，得到修正后高分辨率图像之后再利用凸集投影算法对其每个像素点进行迭代修正，直至满足迭代条件，最终得到一幅重建的高分辨率图像。该方法对高分辨率图像像素进行投影修正前进行了适当的改进，减小重建的均方误差，具有更高的图像重建质量。

Description

一种改进初始估计的图像超分辨率重建方法

技术领域

本发明属于图像处理和计算机视觉检测领域，涉及一种改进初始估计的图像超分辨率重建方法，具体是指基于凸集投影算法，通过改进超分辨率图像的初始估计，从而改善图像重建质量的方法。

背景技术

随着科技的发展，图像已经成为信息传递的重要载体，而对于高分辨率图像的需求更是日益广泛。在遥感测绘、医学诊断、军事侦察等领域，均需要高分辨率的图像来获取更多的细节信息，从而做出更加准确的判断。然而，由于相机CCD阵列密度在技术上已经到达瓶颈，难以进一步提高图像分辨率，因此通过软件方法来获取更高分辨率的图像是解决该问题的有效途径。图像超分辨率重建通过提取同一场景多幅图像之间的互补信息来重建一幅或多幅更高分辨率的图像，具有良好的应用前景。宦若虹等人发明的专利号为CN103870836A的“基于凸集投影超分辨率重构的合成孔径雷达图像目标识别方法”专利，发明了一种基于凸集投影法的图像超分辨率重建方法，首先选用同一场景多幅图像，将其中一幅图像通过双立方插值放大为原图像的两倍，作为超分辨率图像的初始估计，再基于凸集投影理论利用低分辨率图像序列对图像的初始估计进行迭代修正。万发平等人发明的专利号为CN 101980289A的“基于频域配准和凸集投影的多帧图像超分辨率重建方法”专利，发明了一种基于频域配准和凸集投影法相结合的重建方法，首先读入多帧图像，选取一张作为配准参考帧，对图像进行配准，然后采用双线性插值法获取高分辨率图像的初始估计，再基于配准参数利用凸集投影法进行反复修正。以上两种方法都能够有效提高图像的分辨率，但是由于凸集投影法严重依赖于初始估计的准确度，简单地采取插值方法获取，会影响最终图像的质量。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，发明一种基于凸集投影法的改进初始估计的图像超分辨率重建方法。该方法通过对传统凸集投影重建方法进行改进，减小重建时高分辨率图像初始估计的误差，进一步改善图像重建的质量，减小重建的均方误差。

本发明采用的技术方案是一种改进初始估计的图像超分辨率重建方法，该方法首先利用相机拍摄同一场景相似但不完全相同的图像序列，并以第一幅图像为基准计算其它图像相对于基准图像的变换矩阵，保留图像间的亚像素位移，对图像序列进行逆变换，将基准图像插值放大至4倍作为高分辨率图像的初始估计，利用逆变换后的图像序列对初始估计进行修正，得到修正后高分辨率图像之后再利用凸集投影算法对其每个像素点进行迭代修正，直至满足迭代条件，最终得到一幅重建的高分辨率图像。方法的具体步骤如下：

步骤1：序列图像获取与配准

首先在相机视场4个边角处分别粘贴1个靶标1，在保证靶标处于视场内的前提下边轻微移动相机边拍摄N幅图像，提取各图像中靶标特征点，以第一幅图像为基准，利用图像中特征点的坐标分别计算其它图像相对于基准图像的变换矩阵，第k幅图像的变换矩阵记作：

其中，和(u_k v_k)分别表征了各图像相对于基准图像的旋转分量和平移分量。

步骤2：获取修正的高分辨图像初始估计

将步骤1中变换矩阵中的(u_k v_k)四舍五入后得到新的变换矩阵，并求得其逆矩阵，利用逆矩阵分别对图像进行反变换。通过该方法，可以使每幅图像在x和y方向上相对于基准图像都只存在小于半个像素的偏差。以第一幅图像作为基准，对其进行双线性插值，获得放大4倍的初始高分辨率图像，为了提高初始高分辨率图像估计的准确度，减小初始估计的误差，改善最终图像的质量，将N幅反变换后的图像中所有对应像素点求平均值，获得修正的高分辨图像初始估计。计算公式为：

其中，F为初始高分辨率估计图像，G^k为第k幅低分辨率图像。

步骤3：残差计算

该步骤对修正后的高分辨率图像初始估计进行降质并与实际低分辨率图像序列相比较，求取残差。用G^k(i,j)表示第k幅低分辨率图像中坐标为(i,j)处的像素值，用F(x,y)表示当前高分辨率图像估计中坐标为(x,y)处的像素值，(m,n)和(a,b)是根据图像配准结果求取的当前高分辨率图像估计中对应于低分辨率图像中(i,j)的像素点，其中(a,b)由(m,n)四舍五入取整获得，(x,y)位于以(a,b)坐标为中心的高分辨率图像中的一块5×5像素区域。图像降质的点扩散函数选用高斯模型，表示为：

对点扩散函数进行归一化处理，其关系如下：

因此，对应于低分辨率图像G^k(i,j)的像素点的残差表示为：

步骤4：像素迭代修正

设置残差阈值σ，如果对应于G^k(i,j)的残差结果超出阈值，则对当前高分辨率图像估计对应区域的像素值进行修正，修正算子为：

对低分辨率图像序列中每幅图像中的所有像素点依次进行以上过程来修正当前高分辨率图像估计所对应位置的像素区域，多次迭代执行，直至图像质量满足要求。

本发明的有益效果是考虑凸集投影算法在图像超分辨率重建中对初始估计的严重依赖，因此在对高分辨率图像像素进行投影修正前进行了适当的改进，与直接进行简单插值的初始估计相比，减小重建的均方误差，具有更高的图像重建质量。

附图说明

图1为拍摄场景图，其中，1-靶标。图2为算法具体流程图。

具体实施方式

下面结合技术方案和附图详细说明本发明的具体实施方式。

附图1为拍摄场景图，首先在要拍摄的视场4个边角附近分别粘贴1个靶标1，在保证4个靶标1都不超出相机视场的前提下边移动相机边连续拍摄相似但不完全相同的图像序列，并以第一幅图像为基准计算其它图像相对于基准图像的变换矩阵，对变换矩阵中的平移分量进行修改，并求取逆矩阵，保留图像间的亚像素位移，对图像序列进行逆变换，之后将基准图像插值放大至4倍作为高分辨率图像的初始估计，再基于逆变换后的图像序列对初始估计进行修正，得到修正后高分辨率图像之后再利用凸集投影算法对其每个像素点进行迭代修正，直至满足迭代条件，最终得到一幅重建的高分辨率图像。具体步骤如下：

步骤1：序列图像获取与配准

首先在欲拍摄的相机视场的4个边角处分别粘贴1个靶标，如图1所示，保证靶标始终处于视场内，同时不断轻微移动相机并连续拍摄25幅图像，为方便对比结果，本实施例采用图像处理中常用的仿真实验，将一幅高分辨率图像通过平移、旋转、降采样之后得到25幅低分辨率图像序列，重建该图像序列得到高分辨率图像并与原始高分辨率图像进行对比。获取图像序列后，提取各图像中靶标特征点，以第一幅图像为基准，利用图像中特征点的坐标分别计算其它图像相对于基准图像的变换矩阵，如第2幅图像的变换矩阵记为：

其中，和(4.9883 4.2239)分别表征了第2幅图像相对于基准图像的旋转分量和平移分量。

步骤2：获取修正的高分辨图像初始估计

将步骤1中变换矩阵中的(4.9883 4.2239)四舍五入后得到新的变换矩阵，并进而利用MATLAB中inv函数其逆矩阵，通过逆矩阵分别对第2幅图像进行反变换，其他图像作相同处理。通过该方法，可以使每幅图像在x和y方向上相对于基准图像都只存在小于半个像素的偏差。以第一幅图像作为基准，对其进行双线性插值，获得放大4倍的初始高分辨率图像，传统的凸集投影法多直接采用插值后的图像作为初始估计并进行下一步的处理，此处为了提高初始高分辨率图像估计的准确度，减小初始估计的误差，改善最终图像的质量，利用反变换后的图像序列，使用公式(2)对初始高分辨率图像估计进行修正。

步骤3：残差计算

该步骤对修正后的高分辨率图像初始估计进行降质并与实际低分辨率图像序列相比较，求取残差。用G^k(i,j)表示第k幅低分辨率图像中坐标为(i,j)处的像素值，用F(x,y)表示当前高分辨率图像估计中坐标为(x,y)处的像素值，(m,n)和(a,b)是根据图像配准结果求取的当前高分辨率图像估计中对应于低分辨率图像中(i,j)的像素点，其中(a,b)由(m,n)四舍五入取整获得，(x,y)位于以(a,b)坐标为中心的高分辨率图像中的一块5×5像素区域。图像降质的点扩散函数选用高斯模型，利用公式(3)(4)(5)可以求取对应于每幅低分辨率图像每个像素位置的残差，如第2幅图像像素坐标为(5,7)处的残差计算结果为1.4631.

步骤4：像素迭代修正

设置残差阈值σ＝1，如果对应于G^k(i,j)的残差结果超出阈值，则对利用公式(6)当前高分辨率图像估计对应区域的像素值进行修正，对低分辨率图像序列中每幅图像中的所有像素点依次进行以上过程来修正当前高分辨率图像估计所对应位置的像素区域，设置迭代次数为2，对低分辨率图像序列进行2次循环。最终采用本方法获取的超分辨率重建图像的均方误差为43.87，而使用传统的未改进的凸集投影重建方法得到的图像均方误差为49.62，因此，通过本方法对初始估计进行改进后，图像重建质量具有一定的改善。

本发明提出了一种改进初始估计的图像超分辨率重建方法，通过在视场内布置靶标拍摄序列图像，并进行配准，改进超分辨率重建的初始估计，再基于凸集投影算法对改进后的初始估计进行像素修正，有效改善了图像重建的质量。

Claims (1)

1.一种改进初始估计的图像超分辨率重建方法，其特征是，该方法首先利用相机拍摄同一场景相似但不完全相同的图像序列，并以第一幅图像为基准计算其它图像相对于基准图像的变换矩阵，保留图像间的亚像素位移，对图像序列进行逆变换，将基准图像插值放大至4倍作为高分辨率图像的初始估计，利用逆变换后的图像序列对初始估计进行修正，得到修正后高分辨率图像之后再利用凸集投影算法对其每个像素点进行迭代修正，直至满足迭代条件，最终得到一幅重建的高分辨率图像；方法的具体步骤如下：

步骤1：序列图像获取与配准

首先在相机视场4个边角处分别粘贴1个靶标(1)，在保证靶标(1)处于视场内的前提下边轻微移动相机边拍摄N幅图像，提取各图像中靶标特征点，以第一幅图像为基准，利用图像中特征点的坐标分别计算其它图像相对于基准图像的变换矩阵，第k幅图像的变换矩阵记作：

其中，和(u_k v_k)分别表征了各图像相对于基准图像的旋转分量和平移分量；

步骤2：获取修正的高分辨图像初始估计

将步骤1中变换矩阵中的(u_k v_k)四舍五入后得到新的变换矩阵，并求得其逆矩阵，利用逆矩阵分别对图像进行反变换；通过该方法，可以使每幅图像在x和y方向上相对于基准图像都只存在小于半个像素的偏差；以第一幅图像作为基准，对其进行双线性插值，获得放大4倍的初始高分辨率图像，为了提高初始高分辨率图像估计的准确度，减小初始估计的误差，改善最终图像的质量，将N幅反变换后的图像中所有对应像素点求平均值，获得修正的高分辨图像初始估计；计算公式为：

其中，F为初始高分辨率估计图像，G^k为第k幅低分辨率图像；

步骤3：残差计算

该步骤对修正后的高分辨率图像初始估计进行降质并与实际低分辨率图像序列相比较，求取残差；用G^k(i,j)表示第k幅低分辨率图像中坐标为(i,j)处的像素值，用F(x,y)表示当前高分辨率图像估计中坐标为(x,y)处的像素值，(m,n)和(a,b)是根据图像配准结果求取的当前高分辨率图像估计中对应于低分辨率图像中(i,j)的像素点，其中(a,b)由(m,n)四舍五入取整获得，(x,y)位于以(a,b)坐标为中心的高分辨率图像中的一块5×5像素区域；图像降质的点扩散函数选用高斯模型，表示为：

对点扩散函数进行归一化处理，其关系如下：

因此，对应于低分辨率图像G^k(i,j)的像素点的残差表示为：

步骤4：像素迭代修正

设置残差阈值σ，如果对应于G^k(i,j)的残差结果超出阈值，则对当前高分辨率图像估计对应区域的像素值进行修正，修正算子为：

对低分辨率图像序列中每幅图像中的所有像素点依次进行以上过程来修正当前高分辨率图像估计所对应位置的像素区域，多次迭代执行，直至图像质量满足要求。