CN105931184A - 基于联合优化的sar图像超分辨率方法 - Google Patents

Abstract

本发明提出了一种基于联合优化的SAR图像超分辨方法，用于解决现有SAR图像超分辨方法存在的图像恢复效果差的技术问题，包括如下步骤：输入同一场景下的高低分辨率SAR图像各一张；对高低分辨率SAR图像进行分割；对训练数据集进行切块；对高‑低分辨率的图像块集进行特征提取；将训练图像块集进行聚类得到K类图像块；将K类图像块迭代优化得到K个映射矩阵；将测试低分辨SAR图像切块；对测试图像块进行特征提取；为每块测试图像选择最合适的映射矩阵并对其进行重构；对重构图像块进行聚合得到高分辨SAR图像。本发明具有重构准确和人工噪声低的特点，可用于为SAR图像的后续解译判读、目标识别和目标检测提供更准确的信息。

Description

基于联合优化的SAR图像超分辨率方法

技术领域

本发明属于图像处理技术领域，涉及一种SAR图像超分辨率方法，具体涉及一种基于联合优化的SAR图像超分辨率方法，可用于为SAR图像的后续解译判读、目标识别和目标检测提供更准确的信息。

背景技术

合成孔径雷达SAR(Synthetic Aperture Radar)是一种全天时、全天候的微波遥感成像雷达。SAR能够得到丰富的目标信息，在农业、林业、军事、地质学、水文学和海洋等方面具有广泛的研究和应用价值，如地物种类的识别、农作物成长监视、产量评估、地物分类、海冰监测、地面沉降监测，目标检测和海洋污染检测等。在SAR成像技术中，空间分辨率作为衡量图像质量的重要指标一直都备受关注。然而，SAR所处工作环境复杂、恶略，受到诸如硬件系统限制、平台非理想工作、成像条件不理想及系统相干斑噪声等因素影响，所获SAR图像的空间分辨率难以满足科研和应用需求。

提高SAR图像空间分辨率的方法分为两类：第一类是改进或更新硬件设备，使SAR系统具备发射宽信号和合成大孔径的能力，但这种方法受限于硬件技术瓶颈和开发周期，且代价高；第二类是通过建立物理模型或数学模型，利用数据处理的图像超分辨方法，此方法受限条件少，成本低，可行性好，具有很大的现实意义，已成为SAR图像处理领域重要的研究方向。

图像超分辨方法原理上分为基于重建的方法和基于学习的方法。基于重建的方法中典型的是插值方法，这种方法基于图像局部连续性，容易引起边缘模糊。用于SAR图像超分辨重建虽然运算简单，但是会把图像中很多细节信息掩盖，不能把目标和感兴趣区域精确地重建。基于学习的方法一般通过训练集学习得到高低分辨率图像之间的映射关系，从而的到高分辨率的图像。例如Yang,Wright等人发表的论文“Image Super-Resolution Via Sparse Representation”(IEEE Tran.onImage Processing vol.19no.11pp.2861-2873.2010)中提出一种基于稀疏表示的方法。该方法将压缩感知的思想引入超分辨重构中，通过稀疏表示的方法来获得低分辨和高分辨的字典对。当低分辨图像的稀疏表示通过压缩感知的方法得到时，则高分辨图像的稀疏表示也相应的得到，从而可以有效地对低分辨图像进行重建。该方法是学习出一对冗余的高分辨和低分辨的字典用于对低分辨图像块进行重建，该方法用于SAR图像超分辨重建时，由于SAR图像结构复杂，只依靠一对字典无法准确的对所有SAR图像块进行重建，从而影响图像的整体恢复效果，并且该方法是通过对低分辨图像进行完全重构式地编码，造成在编码过程中引入噪声和不必要的信息，使得低分辨-高分辨图像块之间映射不准确，严重影响了图像整体的恢复效果。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于联合优化的SAR图像超分辨率方法，用于解决现有SAR图像超分辨率方法中存在的由于重构误差和人工噪声导致的图像恢复效果差的技术问题。

为实现上述目的，本发明采取的技术方案包括如下步骤：

步骤1，输入同一场景下的一幅高分辨率SAR图像和一幅低分辨SAR图像。

步骤2，对高分辨率SAR图像和低分辨SAR图像均进行网格分割，得到网格位置相互对应的高-低分辨率的数据集，并从该数据集中随机选取d对高-低分辨率的图像组成训练数据集，从数据集中随机选取e对高-低分辨率的图像组成测试数据集。

步骤3，对训练数据集中的高-低分辨率图像进行切块处理，得到相互对应的高分辨训练图像块集和低分辨训练图像块集，具体实现步骤如下：

步骤3a，对训练数据集中的低分辨率的图像进行插值，得到和高分辨率图像大小相同的低分辨图像。

步骤3b，对插值得到的低分辨图像进行切块，得到N个大小为c×c的低分辨训练图像块，相邻的图像块至少重叠1个像素。

步骤3c，对训练数据集中的高分辨图像进行切块，得到N个大小为c×c的高分辨训练图像块，相邻的图像块至少重叠1个像素。

步骤3d，从得到的N个大小为c×c的高分辨训练图像块和低分辨训练图像块中，选取L个高分辨训练图像块，同时选取与高分辨训练图像块相对应的低分辨训练图像块。

步骤4，对得到的相互对应的高分辨训练图像块集和低分辨训练图像块集分别进行特征提取，得到高分辨特征集和低分辨特征集，具体实现步骤如下：

步骤4a，利用高分辨训练图像块集中的L个图像块减去与其对应的低分辨训练图像块集中的图像块，得到L个高分辨图像块的特征向量D₁＝{y₁,...,y_L}。

步骤4b，利用低分辨训练图像块集中的L个图像块分别与四个导数滤波器进行卷积，并将每个图像块卷积得到的四个特征向量串联，得到L个低分辨图像块的特征向量。

步骤4c，对得到的L个低分辨图像块的特征向量分别进行降维，得到L个低分辨图像块的特征向量D₂＝{x₁,...,x_L}。

步骤5，对高分辨训练图像块集进行聚类，得到K类高分辨图像块，根据K类高分辨图像块，把低分辨训练图像块集中的图像块划分到与之对应的高分辨图像块的类中，得到K类图像块。

步骤6，利用EM算法对得到的K类图像块进行迭代优化，得到K个映射矩阵，具体实现步骤如下：

步骤6a，E步：利用岭回归的方法，求解得到的K类图像块中每类的映射矩阵P_k，表示为

其中，P_k表示第k类的映射矩阵，Y_k表示第k类高分辨训练图像块的特征矩阵，Y_k是由每个图像块的特征向量按列排列组成，X_k表示第k类低分辨训练图像块的特征矩阵，X_k是由每个图像块的特征向量按列排列组成，λ是调整参数，T表示转置操作，I是单位矩阵，(·)^-1表示矩阵的逆。

步骤6b，M步：根据公式(1)分别求出低分辨训练图像块集中每个图像块在K个映射矩阵下的重构误差，这些误差记录在误差矩阵Z＝[z₁,...,z_l,...,z_L]中，并从该误差矩阵中的列向量z_l中选择使该块图像误差最小的类作为它的新类，得到新K类图像块。

$z_{k,l}=\left|\right|{\tilde{y}}_{k,l}-y_l|{|}^2---\left(1\right)$

其中列向量z_l记录低分辨块x_l在K个映射矩阵下的重构误差，z_k,l表示低分辨块x_l在第k类映射矩阵下的重构误差，误差z_k,l为误差向量z_l中的一个元素，表示低分辨块x_l在第k类映射矩阵下的重构结果，y_l表示原始的高分辨图像块，记录误差的矩阵Z是由L个列向量组成，每个列向量记录一个图像块在K个回归函数下的重构误差，即Z为大小为K×L的矩阵。

步骤6c，迭代E步和M步，直到设定的迭代次数。

步骤7，输入测试数据集中的待处理的低分辨图像，执行步骤3a和步骤3b，得到测试图像块。

步骤8，对得到的测试图像块，执行步骤4b和步骤4c，得到所有图像块的特征向量。

步骤9，从步骤6中得到的K个映射矩阵中，选择最合适的映射矩阵对所述测试图像块中的每块测试图像进行重构，得到多个重构图像块，具体实现步骤如下：

步骤9a，对测试图像块中的每块测试图像分别估计其在K个映射矩阵下的重构误差。

步骤9b，选择重构误差最小的映射矩阵，对测试图像块中的每块测试图像进行重构。

步骤10，将得到的多个重构图像块进行聚合，得到一幅高分辨率的SAR图像。

本发明与现有的技术相比，具有以下优点：

第一，本发明由于在获取多个映射矩阵时，采用了聚类的方法将训练图像块聚为K类，然后采用了迭代优化的方式，得到多个映射矩阵，不同结构的图像块对应不同的映射矩阵，不同类的映射矩阵迭代优化，使训练误差达到最小，与现有技术采用的学习一个冗余字典的方法相比，本发明可以使得不同结构图像块的恢复更加准确，从而得到重构更精确，整体效果恢复更好的高分辨图像。

第二，本发明由于在图像块重建时采用直接映射的方式，将低分辨图像映射为高分辨图像，精确的重构出高分辨图像块，并且没有产生多余的人工噪声和不必要的信息，与现有技术中采用的基于编码的方法相比，避免产生振铃效应和块效应这些人工痕迹，进一步提高了图像的分辨率。

附图说明

图1是本发明的流程图；

图2是测试SAR图像；

图3分别是测试SAR图像局部放大图及现有技术和本发明对测试SAR图像图像超分辨重建的仿真结果的局部放大图。

具体实施方式

以下结合附图和实施例，对本发明作进一步描述。

参照图1，本发明的实施步骤如下。

步骤1，输入同一场景下的一幅高分辨率SAR图像和一幅低分辨SAR图像，其中低分辨为1米分辨率，高分辨为0.5米分辨率，则超分辨的放大倍数为2。

步骤2，对所述两幅SAR图像分别进行网格分割，得到高-低分辨率的训练数据集和测试数据集，1米分辨率的SAR图像的大小为1920×5376，对应的0.5米分辨率的图像大小为3840×10752，然后分别将两幅大的SAR图像分割为多对相互对应的小图像，其中0.5米分辨率的SAR图像分割为500×500的小图像，对应的1米分辨率的SAR图像大小为250×250。然后选取其中的60对小图像作为训练数据集，20对小图像作为测试数据集。

步骤3，对所述训练数据集中的高-低分辨率图像进行切块处理，得到相互对应的高分辨训练图像块集和低分辨训练图像块集，具体实现步骤如下：

步骤3a，将所述训练数据集中大小为250×250的低分辨SAR图像用matlab软件中的imresize函数插值到和高分辨率的SAR图像大小相同，得到大小为500×500的低分辨图像。

步骤3b，对插值得到的低分辨图像进行切块，得到N个大小为6×6的低分辨训练图像块，相邻的图像块重叠2个像素，其中N≥100000。

步骤3c，对训练数据集中的高分辨图像进行切块，得到N个大小为6×6的高分辨训练图像块，相邻块之间重叠2个像素，其中N≥100000。

步骤3d，从得到的N个大小为6×6的高分辨训练图像块和低分辨训练图像块中，选取10万个高分辨训练图像块，同时选取与高分辨训练图像块相对应的低分辨训练图像块。

步骤4，对得到的相互对应的高分辨训练图像块集和低分辨训练图像块集分别进行特征提取，得到高分辨特征集和低分辨特征集，具体实现步骤如下：

步骤4a，利用高分辨训练图像块集中的10万个图像块减去与其对应的低分辨训练图像块集中的图像块，得到10万个高分辨图像块的特征向量，表示为D₁＝{y₁,...,y_i,...,y_L}，其中L＝100000。

步骤4b，利用低分辨训练图像块集中的10万个图像块分别与四个导数滤波器进行卷积，并将每个图像块卷积得到的四个特征向量串联，得到10万个低分辨图像块的特征向量，其中四个导数滤波器分别是f₁＝[-1,0,1]，f₂＝f₁ ^T,f₃＝[1,0,-2,0,1]和f₄＝f₃ ^T。

其中f₁为一阶导数滤波器，f₂为f₁的转置同样是一阶导数滤波器，f₃为二阶导数滤波器，f₄为f₃的转置同样是二阶导数滤波器。

步骤4c，用PCA算法对得到的10万个低分辨图像块的特征向量分别进行降维，得到10万个低分辨图像块的特征向量，表示为D₂＝{x₁,...,x_i,...,x_L}，其中L＝100000，x_i从144维降到30维。

步骤5，用K-means算法把所述10万块高分辨训练图像块集进行聚类，得到K类高分辨图像块，K取32，根据32类高分辨图像块，把低分辨训练图像块集中的图像块划分到与之对应的高分辨图像块的类中，得到32类图像块。

步骤6，利用EM算法对得到的32类图像块进行迭代优化，得到32个映射矩阵，具体实现步骤如下：

步骤6a，E步：利用岭回归的方法，根据公式(2)求解得到的32类图像块中每类的映射矩阵P_k，表示为

$\underset{P_k}{min}\left|\right|Y_k-X_k{P}_K|{|}_2^2+\mathrm{\λ}|\left|P_k\right|{|}_2---\left(2\right)$

其中，表示求使上式最小化的矩阵P_k的值，Y_k表示第k类高分辨训练图像块的特征矩阵，Y_k是由每个图像块的特征向量按列排列组成，X_k表示第k类低分辨训练图像块的特征矩阵，X_k是由每个图像块的特征向量按列排列组成，λ是调整参数，λ＝0.1，||·||₂表示矩阵的2范数，T表示转置操作，I是单位矩阵，(·)^-1表示矩阵的逆。

步骤6b，M步：根据公式(3)分别求出低分辨训练图像块集中每个图像块在32个映射矩阵下的重构误差，这些误差记录在误差矩阵Z＝[z₁,...,z_l,...,z_L]中，并从该误差矩阵中的列向量z_l中选择使该块图像误差最小的类作为它的新类，得到新的32类图像块。

$z_{k,l}=\left|\right|{\tilde{y}}_{k,l}-y_l|{|}^2---\left(3\right)$

其中列向量z_l记录低分辨块x_l在32个映射矩阵下的重构误差，z_k,l表示低分辨块x_l在第k类映射矩阵下的重构误差，误差z_k,l为误差向量z_l中的一个元素，表示低分辨块x_l在第k类映射矩阵下的重构结果，y_l表示原始的高分辨图像块，记录误差的矩阵Z是由10万个列向量组成，每个列向量记录一个图像块在32个回归函数下的重构误差，即Z为大小为32×10万的矩阵。

步骤6c，迭代所述E步和M步，直到设定的迭代次数，迭代次数设定为10次。

步骤7，输入测试数据集中的待处理的低分辨图像，执行步骤3a和步骤3b，得到测试图像块。

步骤8，对得到的测试图像块，执行步骤4b和步骤4c，得到所有图像块的特征向量。

步骤9，从步骤6中得到的32个映射矩阵中，选择最合适的映射矩阵对所述测试图像块中的每块测试图像进行重构，得到多个重构图像块，具体实现步骤如下：

步骤9a，对测试图像块中的每块测试图像分别估计其在32个映射矩阵下的重构误差，使用KNN算法给每块测试图像在每类的训练图像块中找到最近邻的16个图像块χ＝{x₁,...,x_S}，其中S＝16，然后用这16个图像块的重构误差根据下式估计出每块测试图像在每类下的重构误差。

$z_k=\underset{s=1}{\overset{S}{\mathrm{\Σ}}}\frac{1}{S}{z}_{k,s}$

其中z_k表示第k类下估计的重构误差，z_k,s表示图像块x_s第k类的重构误差。

步骤9b，选择重构误差最小的映射矩阵，对测试图像块中的每块测试图像进行重构。

步骤10，将得到的多个重构图像块进行聚合，得到一幅高分辨率的SAR图像。

以下结合仿真实验，对本发明的技术效果作进一步说明。

1.仿真实验条件：

本发明的实验在MATLAB R2012a软件上进行，所用计算机的处理器型号是Intel(R)Core(TM)i5-2410M CPU@2.30GHz，内存为4GB RAM。

2.仿真实验内容：

本发明的仿真实验具体分为两个仿真实验。

1)利用现有的基于稀疏表示的方法对低分辨SAR图像进行超分辨重建，其结果如图3(b)所示。

2)利用本发明对低分辨SAR图像进行重建，结果如图3(c)所示。

3.仿真实验结果分析

从图3(b)可以看出，现有的基于稀疏表示的方法得到的结果图像轮廓比较清楚，但是人工噪声严重，有大量的振铃效应和块效应，严重地影响了图像恢复质量。

Claims (4)

1.一种基于联合优化的SAR图像超分辨率方法，包括如下步骤：

(1)输入同一场景下的一幅高分辨率SAR图像和一幅低分辨SAR图像；

(2)对所述高分辨率SAR图像和低分辨SAR图像均进行网格分割，得到网格位置相互对应的高-低分辨率的数据集，并从该数据集中随机选取d对高-低分辨率的图像组成训练数据集，从数据集中随机选取e对高-低分辨率的图像组成测试数据集；

(3)对所述训练数据集中的高-低分辨率图像进行切块处理，得到相互对应的高分辨训练图像块集和低分辨训练图像块集，具体实现步骤如下：

(3a)对所述训练数据集中的低分辨率的图像进行插值，得到和高分辨率图像大小相同的低分辨图像；

(3b)对插值得到的低分辨图像进行切块，得到N个大小为c×c的低分辨训练图像块，相邻的图像块至少重叠1个像素；

(3c)对训练数据集中的高分辨图像进行切块，得到N个大小为c×c的高分辨训练图像块，相邻块之间至少重叠1个像素；

(3d)从得到的N个大小为c×c的高分辨训练图像块和低分辨训练图像块中，选取L个高分辨训练图像块，同时选取与高分辨训练图像块相对应的低分辨训练图像块；

(4)对得到的相互对应的高分辨训练图像块集和低分辨训练图像块集分别进行特征提取，得到高分辨特征集和低分辨特征集，具体实现步骤如下：

(4a)利用高分辨训练图像块集中的L个图像块减去与其对应的低分辨训练图像块集中的图像块，得到L个高分辨图像块的特征向量D₁＝{y₁,...,y_L}；

(4b)利用低分辨训练图像块集中的L个图像块分别与四个导数滤波器进行卷积，并将每个图像块卷积得到的四个特征向量串联，得到L个低分辨图像块的特征向量；

(4c)对得到的L个低分辨图像块的特征向量分别进行降维，得到L个低分辨图像块的特征向量D₂＝{x₁,...,x_L}；

(5)对所述高分辨训练图像块集进行聚类，得到K类高分辨图像块，根据K类高分辨图像块，把低分辨训练图像块集中的图像块划分到与之对应的高分辨图像块的类中，得到K类图像块；

(6)利用EM算法对得到的K类图像块进行迭代优化，得到K个映射矩阵，具体实现步骤如下：

(6a)E步：利用岭回归的方法，求解得到的K类图像块中每类的映射矩阵P_k，表示为

其中，P_k表示第k类的映射矩阵，Y_k表示第k类高分辨训练图像块的特征矩阵，Y_k是由每个图像块的特征向量按列排列组成，X_k表示第k类低分辨训练图像块的特征矩阵，X_k是由每个图像块的特征向量按列排列组成，λ是调整参数，T表示转置操作，I是单位矩阵，(·)^-1表示矩阵的逆；

(6b)M步：根据公式(1)分别求出低分辨训练图像块集中每个图像块在K个映射矩阵下的重构误差，这些误差记录在误差矩阵Z＝[z₁,...,z_l,...,z_L]中，并从该误差矩阵中的列向量z_l中选择使该块图像误差最小的类作为它的新类，得到新K类图像块；

$z_{k,l}=\left|\right|{\tilde{y}}_{k,l}-y_l|{|}^2---\left(1\right)$

其中列向量z_l记录低分辨块x_l在K个映射矩阵下的重构误差，z_k,l表示低分辨块x_l在第k类映射矩阵下的重构误差，误差z_k,l为误差向量z_l中的一个元素，表示低分辨块x_l在第k类映射矩阵下的重构结果，y_l表示原始的高分辨图像块，记录误差的矩阵Z是由L个列向量组成，每个列向量记录一个图像块在K个回归函数下的重构误差，即Z为大小为K×L的矩阵；

(6c)迭代所述E步和M步，直到设定的迭代次数；

(7)输入测试数据集中的待处理的低分辨图像，执行步骤(3a)和步骤(3b)，得到测试图像块；

(8)对得到的测试图像块，执行步骤(4b)和步骤(4c)，得到所有图像块的特征向量；

(9)从步骤(6)中得到的K个映射矩阵中，选择最合适的映射矩阵对所述测试图像块中的每块测试图像进行重构，得到多个重构图像块，具体实现步骤如下：

(9a)对测试图像块中的每块测试图像分别估计其在K个映射矩阵下的重构误差；

(9b)选择重构误差最小的映射矩阵，对测试图像块中的每块测试图像进行重构；

(10)将得到的多个重构图像块进行聚合，得到一幅高分辨率的SAR图像。

2.根据权利要求1所述的基于联合优化的SAR图像超分辨方法，其特征在于：步骤(4b)所述的四个梯度滤波器，是指：f₁＝[-1,0,1]，f₂＝f₁ ^T,f₃＝[1,0,-2,0,1]和f₄＝f₃ ^T；其中f₁为一阶导数滤波器，f₂为f₁的转置同样是一阶导数滤波器，f₃为二阶导数滤波器，f₄为f₃的转置同样是二阶导数滤波器。

3.根据权利要求1所述的基于联合优化的SAR图像超分辨方法，其特征在于：步骤(6a)所述的岭回归的方法，表达公式为：

$\underset{P_k}{min}\left|\right|Y_k-X_k{P}_K|{|}_2^2+\mathrm{\λ}|\left|P_k\right|{|}_2$

其中，表示求使上式最小化的矩阵P_k的值，Y_k表示第k类高分辨训练图像块的特征矩阵，Y_k是由每个图像块的特征向量按列排列组成，X_k表示第k类低分辨训练图像块的特征矩阵，X_k是由每个图像块的特征向量按列排列组成，λ是调整参数，||·||₂表示矩阵的2范数。

4.根据权利要求1所述的基于联合优化的SAR图像超分辨方法，其特征在于：步骤(9a)所述的估计，按如下方法实现：

使用KNN算法给输入的图像块在每类的训练图像块中找到最近邻的S个图像块χ＝{x₁,...,x_S}，并用找到的最近邻的S个图像块的重构误差，根据下式对图像块在每类映射矩阵下的重构误差进行估计：

$z_k=\underset{s=1}{\overset{S}{\Σ}}\frac{1}{S}{z}_{k,s}$

其中z_k表示对第k类估计的重构误差，z_k,s表示图像块x_s第k类的重构误差。