CN103839238B - 一种基于边缘信息和反卷积的sar图像超分辨率方法 - Google Patents

Abstract

本发明提供了一种基于边缘信息和反卷积的SAR图像超分辨率方法，解决由低分辨率SAR图像重构高分辨率SAR图像的问题，其实现过程为：将低分辨SAR图像生成待超分辨结果图像；使用原始SAR图像像素隔点赋值；对每个未赋值像素，使用四个像素估计灰度距离，同时计算标准差；使用得到的灰度距离和标准差对未赋值像素估计填充；结果图像逆时针旋转45°，依前述方法估计灰度距离，计算标准差，对像素估计填充；再将结果图像逆时针旋转45°，对结果图像使用高斯点扩散矩阵去卷积，经傅立叶变换，得到超分辨后的结果图像。本发明对边缘的最大后验估计，保证图像内容结构的完整性，使用快速傅里叶变换去卷积处理，降低因边缘插值引起模糊。

Description

一种基于边缘信息和反卷积的SAR图像超分辨率方法

技术领域

本发明属于图像处理领域，具体涉及一种基于边缘信息和反卷积的SAR图像超分辨率方法，可应用于目标检测和识别。

背景技术

合成孔径雷达(Synthetic Aperture Radar,SAR)由于具有全天时、全气候、穿透性强等特点，在军事和国民经济领域表现出巨大潜力和应用前景。分辨率是衡量SAR图像质量的重要指标，在很大程度上决定了图像的可读性和目标辨别能力。获取的SAR图像分辨率越高，能够提取的目标信息就会越丰富、特征越明显，更加利于针对SAR图像的后续应用。许多应用对SAR图像的分辨率提出很高的要求，例如：在军事应用中，遥感侦察监视、军事目标识别与定位、战场环境监测以及打击毁坏效果评估等都需要有高分辨率的图像资源；在民用领域中，地形测绘以及地震、火山、冰川、森林火灾等灾情探测预防工作都需要SAR图像具有尽可能高的分辨率。

一般来说，提高SAR图像分辨率有两种途径：一是改进和更新硬件设备，使SAR系统具备发射宽信号和合成大孔径的能力，同时提高测量精度，降低系统误差；二是通过建立物理模型和数学模型，利用数据处理方法提高SAR图像的分辨率。前者效果直接，但周期长、代价高且受限于相关技术发展；后者方法成本低、可行性好，具有很大的现实意义，已成为SAR图像处理领域较为活跃的、重要的研究方向。

图像超分辨方法在原理上可分为基于学习的方法和基于重建的方法。基于学习的方法往往需要大量的训练数据，SAR图像很多情况下难以获得与之有对应的高分辨率图像，同时，基于学习的方法，运算复杂度大，难以实时处理。基于重建的方法主要有传统的插值方法和基于边缘插值的方法，而传统的插值方法对SAR图像做超分辨处理，会把很多细节信息掩盖，不能把目标和感兴趣区域精确重建；基于边缘插值的方法，像Xin Li等提出的NEDI方法和Andrea Giachetti等提出的ICBI方法，虽然能保持较好的边缘信息，但是同样需要解矩阵伪逆或者解目标优化问题的复杂运算，影响到算法的运行时间，很难实现实时处理。

发明内容

本发明的目的是针对上述已有技术的不足，提出一种基于边缘信息和反卷积的SAR图像超分辨率方法，以提高SAR图像的空间分辨率。

本发明的技术方案是提出了一种基于边缘信息和反卷积的SAR图像超分辨率方法，其特征在于：包含以下步骤：

步骤1：输入低分辨SAR图像为I_l，初始化超分辨结果高分辨率SAR图像I_h＝0，其高度H_h与宽度W_h由H_h＝2×H_l－1和W_h＝2×W_l－1计算得出，其中H_l和W_l分别为I_l的高度和宽度；

步骤2：利用步骤1中得到的初始高分辨率图像I_h，将I_l的像素值通过一定的复制规则逐一隔点复制到I_h中；

步骤3：利用步骤2中得到的I_h的已填充点的像素值，对I_h中部分未填充位置I_h2i+1,2j+1的边缘方向性使用最大后验概率进行估计；I_h2i+1,2j+1到四个最接近的已填充位置的像素值分别为I_h2i,2j、I_h2i,2j+2、I_h2i+2,2j和I_h2i+2,2j+2，计算I_h2i,2j、I_h2i,2j+2、I_h2i+2,2j和I_h2i+2,2j+2对应的四个方向灰度距离估计R₀、R₁、R₂和R₃；

步骤4：计算I_h中未填充位置I_h2i+1,2j+1四个最接近已填充位置I_h2i,2j、I_h2i,2j+2、I_h2i+2,2j和I_h2i+2,2j+2灰度值的标准差σ；

步骤5：利用R₀、R₁、R₂、R₃和σ计算对应I_h2i,2j、I_h2i,2j+2、I_h2i+2,2j和I_h2i+2,2j+2的权重系数w₀、w₁、w₂和w₃，其中k＝0，1，2，3;

步骤6：利用步骤2中得到的I_h和权重系数w₀、w₁、w₂、w₃，计算在步骤二中未填充位置像素值I_h2i+1,2j+1＝w₀I_h2i,2j+w₁I_h2i,2j+2+w₂I_h2i+2,2j+w₃I_h2i+2,2j+2，并填充到对应位置；

步骤7：将步骤6中得到的I_h，逆时针旋转45°，扩展部分用零值填充，扩展后图像矩阵为I'_h；对非扩展部分重复步骤3到步骤6过程；

步骤8：将图像I'_h顺时针旋转45°，保留I'_h中的非扩展部分，得到图像I_h；

步骤9：对图像进行去卷积变换消除因边缘插值引起的模糊；定义与图像I_h同样大小的全零矩阵P，用3×3的高斯点扩散函数填充矩阵P；

步骤10：对矩阵P做快速二维傅里叶变换得到与I_h同样大小的矩阵P_f，对I_h做快速二维傅里叶变换得到与I_h同样大小的矩阵F_h，然后F_h中元素与P_f中对应位置元素做除法运算，重新赋值到矩阵F_h中，其计算公式为：F_hi，j＝F_hi，j/P_fi,j；

步骤11：对矩阵F_h做快速二维逆傅里叶变换得到与I_h同样大小的矩阵I_t，令矩阵I_h＝I_t，得到最终的超分辨结果I_h。

上述步骤2中的复制规则为I_h2i,2j＝I_li,j，其中i∈{0,1,...,H_l-1}和j∈{0,1,...,W_l-1}。

上述步骤3中R₀、R₁、R₂和R₃，由以下公式计算：

上述步骤9中的高斯点扩散函数填充规则为：矩阵P左上角位置P_0，0＝0.61935，P_0，1＝0.08382，P_1，0＝0.08382，P_0，1＝0.011344；矩阵P右上角位置 矩阵P左下角位置 矩阵P右下角位置其余部分保持不变仍未零值。

本发明的有益效果是：

第一，本发明通过对边缘的最大后验估计，可以相对准确的预测出边缘的方向性，从而保证图像内容结构的完整性。

第二，本发明使用快速傅里叶变换对图像做去卷积处理，可以有效降低因边缘插值方法所引起的图像模糊。

第三，本发明算法复杂度低，运行时间快，能够很容易地做到实时处理。

第四，仿真结果表明本发明具有更好的视觉效果，有利于人工或者机器对SAR图像的判读和检测。

以下将结合附图对本发明做进一步详细说明。

附图说明

图1是本发明的流程示意图；

图2(a)是建筑物和植被的SAR图像；

图2(b)是Bicubic插值方法对图2(a)进行超分辨重建得到的仿真结果图；

图2(c)是ICBI插值方法对图2(a)进行超分辨重建得到的仿真结果图；

图2(d)是本发明方法对图2(a)进行超分辨重建得到的仿真结果图；

图3(a)是农田和鱼塘的SAR图像；

图3(b)是Bicubic插值方法对图3(a)进行超分辨重建得到的仿真结果图；

图3(c)是ICBI插值方法对图3(a)进行超分辨重建得到的仿真结果图；

图3(d)是本发明方法对图3(a)进行超分辨重建得到的仿真结果图；

图4(a)是城镇区域的SAR图像；

图4(b)是Bicubic插值方法对图4(a)进行超分辨重建得到的仿真结果图；

图4(c)是ICBI插值方法对图4(a)进行超分辨重建得到的仿真结果图；

图4(d)是本发明方法对图4(a)进行超分辨重建得到的仿真结果图。

具体实施方式

下面结合附图对本发明进一步详细描述。

实施例1：

本发明提出了一种基于边缘信息和反卷积的SAR图像超分辨率方法，以提高SAR图像的空间分辨率，如图1所示，本发明的具体实现过程包含以下步骤：

步骤1：输入低分辨SAR图像为I_l，初始化超分辨结果高分辨率SAR图像I_h＝0，其高度H_h与宽度W_h由H_h＝2×H_l－1和W_h＝2×W_l－1计算得出，其中H_l和W_l分别为I_l的高度和宽度；

步骤2：利用步骤1中得到的初始高分辨率图像I_h，把I_l的像素值逐一隔点复制到I_h中，复制的规则为I_h2i,2j＝I_li,_j，其中i∈{0,1,...,H_l-1}和j∈{0,1,...,W_l-1}；

步骤3：利用步骤2中得到的I_h的已填充点的像素值，对I_h中部分未填充位置I_h2i+1,2j+1的边缘方向性使用最大后验概率进行估计；I_h2i+1,2j+1到四个最接近的已填充位置的像素值分别为I_h2i,2j、I_h2i,2j+2、I_h2i+2,2j和I_h2i+2,2j+2，其对应的灰度距离估计分别为R₀、R₁、R₂和R₃，由以下公式计算：

步骤4：利用步骤2中得到的I_h，计算I_h中未填充位置I_h2i+1,2j+1四个最接近已填充位置I_h2i,2j、I_h2i,2j+2、I_h2i+2,2j和I_h2i+2,2j+2灰度值的标准差σ；

步骤:5：利用步骤3和步骤4中得到的R₀、R₁、R₂、R₃和σ计算对应I_h2i,2j、I_h2i,2j+2、I_h2i+2,2j和I_h2i+2,2j+2的权重系数w₀、w₁、w₂和w₃，其中k＝0，1，2，3;

步骤6：利用步骤2中得到的I_h和步骤5中得到的w₀、w₁、w₂和w₃计算在步骤2中未填充位置像素值I_h2i+1,2j+1＝w₀I_h2i,2j+w₁I_h2i,2j+2+w₂I_h2i+2,2j+w₃I_h2i+2,2j+2，并填充到I_h的对应位置；

步骤7：利用步骤6中得到的I_h，逆时针旋转45°，扩展部分用零值填充，扩展后图像矩阵为I'_h；其中非扩展区域仍记作I_h，使用新的坐标再次对I_h在步骤2和步骤6中都未填充的位置重复步骤3到步骤6，这样就能保证所有I_h中位置都得以计算填充；

步骤8：利用步骤7中得到的图像I'_h顺时针旋转45°，保留I'_h中的非扩展部分，得到图像I_h；

步骤9：通过以下步骤对图像进行去卷积变换消除因边缘插值引起的模糊；定义与图像I_h同样大小的全零矩阵P，用3×3的高斯点扩散函数填充矩阵P，填充规则为：矩阵P左上角位置P_0，0＝0.61935，P_0，1＝0.08382，P_1，0＝0.08382，P_0，1＝0.011344；矩阵P右上角位置矩阵P左下角位置矩阵P右下角位置其余部分保持不变仍未零值；

步骤10：利用步骤9中得到的矩阵P做快速二维傅里叶变换得到与I_h同样大小的矩阵P_f；利用步骤8中得到的图像矩阵I_h做快速二维傅里叶变换得到与I_h同样大小的矩阵F_h；F_h中元素与P_f中对应位置元素做除法运算，重新赋值到矩阵F_h中，其计算公式为：F_hi，j＝F_hi，j/P_fi，j;

步骤11：利用步骤10中得到的矩阵F_h做快速二维逆傅里叶变换得到与I_h同样大小的矩阵I_t，令矩阵I_h＝I_t，得到最终的超分辨结果I_h。

实施例2：

基于边缘信息和反卷积的SAR图像超分辨率方法同实施例1，本发明的SAR图像超分辨效果可以通过以下实验进一步说明：

实验应用本发明方法和Bicubic插值方法，ICBI方法分别对三幅SAR图像进行超分辨重建实验，并从边缘方向的准确性、细节信息的完整性和感兴趣目标的显著性评价这些方法的各自性能。

用本发明方法以及Bicubic插值方法，ICBI方法对建筑物和植被SAR图像进行超分辨重建，其效果比较如图2(a)—图2(d)所示。其中图2(a)为建筑物和植被的SAR图像，该SAR图像纹理信息相对复杂，目标轮廓不明显；图2(b)为Bicubic插值方法对图2(a)进行超分辨重建得到的结果；图2(c)为ICBI插值方法对图2(a)进行超分辨重建得到的结果；图2(d)为本发明方法对图2(a)进行超分辨重建得到的结果。由图2(a)—图2(d)可知，用本发明方法进行超分辨重建得到的仿真结果图的边缘方向更加准确、植被纹理细节更加完整、建筑物轮廓明显和背景对比度更加显著；相比之下，用Bicubic插值重建后的建筑物的细节没有得到很好的保持，边缘不清晰；而ICBI方法的目标轮廓相对模糊，细节不突出。

用本发明方法以及Bicubic插值方法，ICBI方法对农田鱼塘的SAR图像进行超分辨重建，其效果比较如图3(a)—图3(d)所示。其中图3(a)为农田和鱼塘的SAR图像，该SAR图像纹理信息较为单调，目标轮廓相对不够清晰；图3(b)为Bicubic插值方法对图3(a)进行超分辨重建得到的结果；图3(c)为ICBI插值方法对图3(a)进行超分辨重建得到的结果；图3(d)为本发明方法对图3(a)进行超分辨重建得到的结果。由图3(a)—图3(d)可知，用本发明方法进行超分辨重建得到的仿真结果图的农田区域和鱼塘区域的对比更加明显、农田的内部细节更加突出、鱼塘和农田的交界处边缘非常清晰；相比之下，用Bicubic插值重建后的农田区域和鱼塘区域区别没有那么明显；而ICBI方法农田内的细节没有很好的突出出来，且边缘不够清晰。

用本发明方法以及Bicubic插值方法，ICBI方法对城镇区域的SAR图像进行超分辨重建，其效果比较如图4(a)—图4(d)所示。其中图4(a)为城镇的SAR图像，该SAR图像纹理信息较为复杂，房屋轮廓相对不够清晰；图4(b)为Bicubic插值方法对图4(a)进行超分辨重建得到的结果；图4(c)为ICBI插值方法对图4(a)进行超分辨重建得到的结果；图4(d)为本发明方法对图4(a)进行超分辨重建得到的结果。由图4(a)—图4(d)可知，用本发明方法进行超分辨重建得到的仿真结果图的房屋的结构清晰可见、城镇区域更加明显；相比之下，用Bicubic插值重建后的图像细节没有得到很好的保持，不同区域的对比度不明显；而ICBI方法的房屋廓比较模糊，且边缘不够连续。

Claims (3)

1.一种基于边缘信息和反卷积的SAR图像超分辨率方法，其特征在于：包含以下步骤：

步骤1：输入低分辨SAR图像为I_c，初始化超分辨结果得到初始高分辨率SAR图像I_h＝0，其高度H_h与宽度W_h由H_h＝2×H_c－1和W_h＝2×W_c－1计算得出，其中H_c和W_c分别为I_c的高度和宽度；

步骤2：利用步骤1中得到的初始高分辨率图像I_h，将I_c的像素值通过一定的复制规则逐一隔点复制到I_h中；

步骤3：利用步骤2中得到的I_h的已填充点的像素值，对I_h中部分未填充位置I_h2i+1,2j+1的边缘方向性使用最大后验概率进行估计；I_h2i+1,2j+1到四个最接近的已填充位置的像素值分别为I_h2i,2j、I_h2i,2j+2、I_h2i+2,2j和I_h2i+2,2j+2，计算I_h2i,2j、I_h2i,2j+2、I_h2i+2,2j和I_h2i+2,2j+2对应的四个方向灰度距离估计R₀、R₁、R₂和R₃；

步骤4：计算I_h中未填充位置I_h2i+1,2j+1四个最接近已填充位置I_h2i,2j、I_h2i,2j+2、I_h2i+2,2j和I_h2i+2,2j+2灰度值的标准差σ；

步骤5：利用R₀、R₁、R₂、R₃和σ计算对应I_h2i,2j、I_h2i,2j+2、I_h2i+2,2j和I_h2i+2,2j+2的权重系数w₀、w₁、w₂和w₃，其中k＝0，1，2，3；

步骤6：利用步骤2中得到的I_h和步骤5中的权重系数w₀、w₁、w₂、w₃，计算在步骤2中未填充位置像素值I_h2i+1,2j+1＝w₀I_h2i,2j+w₁I_h2i,2j+2+w₂I_h2i+2,2j+w₃I_h2i+2,2j+2，并填充到对应位置；

步骤7：将步骤6中得到的I_h，逆时针旋转45°，扩展部分用零值填充，得到扩展后高分辨率SAR图像为I'_h；对非扩展部分重复步骤3到步骤6过程；

步骤8：将扩展后高分辨率SAR图像I'_h顺时针旋转45°，保留I'_h中的非扩展部分，得到顺时针后的高分辨率SAR图像I_h1；

步骤9：对顺时针后的高分辨率SAR图像I_h1进行去卷积变换消除因边缘插值引起的模糊；定义与顺时针后的高分辨率SAR图像I_h1同样大小的全零矩阵P，用3×3的高斯点扩散函数填充矩阵P；

步骤10：对填充后的矩阵P做快速二维傅里叶变换得到与顺时针后的高分辨率SAR图像I_h1同样大小的矩阵P_f，对I_h1做快速二维傅里叶变换得到与顺时针后的高分辨率SAR图像I_h1同样大小的矩阵F_h，然后F_h中元素与P_f中对应位置元素做除法运算，重新赋值到矩阵F_h中，其计算公式为：F_hi，j＝F_hi，j/P_fi，j；

步骤11：对矩阵F_h做快速二维逆傅里叶变换得到与顺时针后的高分辨率SAR图像I_h1同样大小的矩阵I_t，得到最终的超分辨结果I_t；

所述步骤2中的复制规则为I_h2i,2j＝I_ci,j，其中i∈{0,1,...,H_c-1}和j∈{0,1,...,W_c-1}。

2.如权利要求1所述的基于边缘信息和反卷积的SAR图像超分辨率方法，其特征在于：所述步骤3中R₀、R₁、R₂和R₃，由以下公式计算：

$\left\{\begin{array}{c}{R}_0={\Σ}_{m=-1}^1{\Σ}_{m=-1,m+n\≠2}^1|I_{h2i+2m,2j+2n}-I_{h2i+2(m+1),2j+2(n+1)}|\\ R_1={\Σ}_{m=-1}^1{\Σ}_{n=0,m+3n\≠1}^2|I_{h2i+2m,2j+2n}-I_{h2i+2(m+1),2j+2(n-1)}|\\ R_2={\Σ}_{m=0}^2{\Σ}_{n=-1,3m+n\≠1}^2|I_{h2i+2m,2j+2n}-I_{h2i+2(m-1),2j+2(n-1)}|\\ R_3={\Σ}_{m=0}^2{\Σ}_{n=0,m+n\≠0}^2|I_{h2i+2m,2j+2n}-I_{h2i+2(m-1),2j+2(n-1)}|\end{array}\right..$

3.如权利要求1所述的基于边缘信息和反卷积的SAR图像超分辨率方法，其特征在于：所述步骤9中的高斯点扩散函数填充规则为：矩阵P左上角位置P_0，0＝0.61935，P_0，1＝0.08382，P_1，0＝0.08382，P_1,1＝0.011344；矩阵P右上角位置 矩阵P左下角位置矩阵P右下角位置其余部分保持不变仍为零值。