CN104732480B - 一种基于非局部正则化模型的遥感图像超分辨方法 - Google Patents

Abstract

一种基于非局部正则化模型的遥感图像超分辨方法，包括：提取图像片；对图像片分类；放大图像片；构造各组对应的正则化滤波器；利用高频成分生成含有非冗余高频信息的图像片；根据非局部正则化超分辨模型，对各图像片实施超分辨率处理；构建整幅遥感图像。本发明在非局部正则化模型中耦合了梯度保真项，提高了非局部正则化模型的性能，另一方面将梯度保真项与数据保真项同时定义在图像片组正则化滤波器的支撑域上，减少了退化因素对模型求解的干扰。与现有的重建以及学习方法相比，本发明针对退化的光学卫星遥感图像，经过超分辨处理，最终将其分辨率提高至至N_opt/N_sys倍,结果图像视觉清晰、自然，未见明显的虚假信息。

Description

一种基于非局部正则化模型的遥感图像超分辨方法

技术领域

本发明属于遥感信息处理领域，涉及一种基于非局部正则化模型的遥感图像超分辨方法。

背景技术

光学遥感卫星领域的分辨率主要指地面像元分辨率(名义分辨率)。众所周知，提高名义分辨率可通过减少探测元尺寸、增长焦距、降低卫星轨道高度3条路径实现。然而，减小探测元尺寸会降低图像信噪比，增长焦距会增加卫星发射成本，降低卫星轨道会导致卫星寿命减少。相形之下，超分辨率或超分辨(super-resolution,SR)被实践证明是一种行之有效的技术，其中以单幅遥感图像超分辨最具挑战性。

当前，较为流行的SR方法大致可分为基于重建的方法与基于学习的方法。

(1)基于重建的超分辨方法

图像SR重建方法可大致分为局部与非局部两类。局部正则化SR方法可细分为贝叶斯方法与变分正则化方法。对于前者，最大后验估计(MAP)方法研究较多，图像先验概率模型选取对该类方法的效果影响较大，已提出的先验模型有MRF及其改进模型，多层高斯非稳态模型,以及总变差先验模型等。最近，在单幅遥感图像SR重建方法研究方面，Tai等通过图像边缘先验知识与图像细节拟合，实现了单幅图像SR,Sun等通过对大量自然图像的学习，建立了一种梯度形状先验模型，Jung等针对彩色图像，提出了一种非局部Mumford-Shahzh正则化模型。虽然通过耦合更多图像边缘先验知识，上述方法取得了较好的重建结果，但对于退化(混叠，模糊，噪声)的遥感图像，很难准确估计与提取边缘信息。

(2)基于学习的超分辨方法

基于学习的超分辨率方法研究中，以在基于稀疏表示的方法最受关注。在基于稀疏表述的图像超分辨方法研究中，为建立高、低分辨率图像间的关系,Yang等为高、低分辨率图像设置了对应的双字典，通过联合学习对高、低分辨率图像统一进行稀疏表示。Yang提出的模型假定求解后的稀疏表示同时可重建高、低分辨率图像，这一约束“偏硬”，未能保证低分辨率图像的稀疏表示较好地重建高分辨率图像，缺乏正则性与有效性。后续提出了改进策略与方法，如Rubinstein等提出一种参数字典模型来平衡效率和自适应性,李等利用形态学分量分析法选取样本集，练等基于图像分类思想的提出了改进模型。最近，Yang等提出了耦合的双字典学习模型，首先假定高、低分辨率图像特征空间存在映射关系，形成耦合特征空间，进而建立耦合的双字典对，通过模型求解得到了较好的SR结果。基于类似思想，Wang等直接假定双字典间存在一定关系，提出了一种基于半耦合的高、低分辨率字典学习模型，提高了图像SR效果。需要指出的是，上述方法在处理退化图像时，需要高，低分辨率图像块训练样本集。对于高分遥感图像，较难获得适宜的样本集。

尽管目前超分辨方法考虑了采样、模糊、噪声3元图像降质因素，但较少分析三者间的关系。实际中，光学成像领域中3元降质因素间存在难以调和的矛盾。特别在遥感领域中，系统调制传递函数与混叠间的矛盾较难调和。直接基于退化图像的学习方法，目前难得到满意的SR结果。理论上设计反混叠器可有效解决混叠问题，如此一则容易产生振铃效应，引入虚假信息；二则因过滤了更多的高频信息，导致所成图像更为模糊。单幅图像SR研究，除了方法本身研究外，还需进一步探索降质因素分析方法，特别是分析图像混叠的理论与方法。

综上所述，在单幅图像超分辨研究中，降质因素往往会严重影响模型求解的稳定性，继而影响问题的求解。目前诸多超分辨研工作偏重于模型的构造，特别是图像先验知识研究，因此虽然已有大量的图像噪声、模糊的估计与检测工作以及最近开展的模糊因素对图像超分辨率的影响研究，但关于综合分析降质因素对高分遥感图像超分辨影响的研究尚显不足，因此现有的卫星遥感图像超分辨重建方法重建后的图片效果均不够理想。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供了一种基于非局部正则化模型的遥感图像超分辨方法，有效地提高光学遥感图像分辨率。

本发明的技术解决方案是：

一种基于非局部正则化模型的遥感图像超分辨方法，步骤如下：

(1)针对遥感卫星获取的退化图像，提取图像中以每个像素为中心的大小一致的图像片；

(2)利用K均值聚类算法对所述步骤(1)中得到的图像片进行分类，形成各个图像片相似类，每个相似类称为图像片组；

(3)放大步骤(2)中图像片组中的图像片至原图像片的N_opt/N_sys倍；其中，N_opt为遥感卫星光学系统的截止频率，N_sys为遥感卫星成像系统的截止频率；

(4)针对各图像片组，分别分析组内放大后的图像片频谱分布，构造各图像片组对应的正则化滤波器，包括如下步骤：

(4.1)针对各图像片组利用多维信号傅里叶变换，推导出高分遥感图像退化模型的傅里叶变换形式，具体为：

其中，与分别表示退化图像I与原始图像f的傅里叶频谱；MTF为调制传递函数；F为frobenius范数；D^*为在傅里叶域对偶网格上的延拓周期；Δ^Γ表示基于规则采样网格Γ的采样算子；∑(.)表示求和；k为傅里叶坐标；n是均值为0、方差为σ²的高斯噪声；表示高斯噪声n的傅里叶频谱；

(4.2)建立噪声相对误差与混叠相对误差的综合评价函数，具体为：

其中R与R_alias分别为原始图像频谱与混叠频谱，分别为噪声相对误差与混叠相对误差，其中函数E是关于噪声相对误差与混叠相对误差的综合评价函数；

(4.3)根据步骤(4.2)得到的综合评价函数，设计得到正则化滤波器。

(5)利用正则化滤波器提取各组图像片潜在的高频成分，生成含有非冗余高频信息的图像片：

(5.1)将待处理图像片作傅立叶变换，得到对应的频谱；

(5.2)将频谱图像沿傅立叶空间坐标延拓；

(5.3)将延拓后的图像频谱投影到图像片组正则化滤波器支撑域上，提取潜在的高频成分；

(5.4)对步骤(5.3)中提取的高频成分，采取频域补零措施；

(5.5)作傅里叶逆变换，得到含有非冗余高频信息的放大N_opt/N_sys倍的图像片；

(6)根据非局部正则化超分辨模型，对各图像片实施超分辨率处理，得到分辨率提高的图像片；

(7)得到分辨率提高的图像片后，平均各个图像片对应位置像素，构建整幅遥感图像。

步骤(4.2)综合评价函数中噪声相对误差与混叠相对误差具体计算公式为：

其中为傅里叶空间坐标。

所述步骤(4.3)正则化滤波器具体为：

其中，exp(.)表示指数函数；α与β为常数。

步骤(6)所述非局部正则化超分辨模型如下：

其中，u表示重建的图像；H＝MTF表示传递函数；D表示采样函数，表示图像梯度；Pr(.)表示投影操作；λ与α表示正则化参数；表示最小化操作；表示F范数；J_NLTV(u)表示非局部总变差正则项。

本发明与现有技术相比的有益效果是：

(1)本发明在非局部正则化模型中耦合了梯度保真项，提高了非局部正则化模型的性能，另一方面将梯度保真项与数据保真项同时定义在图像片组正则化滤波器的支撑域上，减少了退化因素对模型求解的干扰。与现有的重建以及学习方法相比，本发明针对退化的光学卫星遥感图像，经过超分辨处理，最终将其分辨率提高至N_opt/N_sys倍，其中N_opt为光学系统截止频率，N_sys为成像系统截止频率，且结果图像视觉清晰，自然，未见明显的虚假信息。

(2)目前超分辨技术虽然考虑了采样、模糊、噪声三元图像退化因素，但较少分析三者间的关系。实际中，光学成像领域中三元退化因素间存在难以调和的矛盾。本发明通过建立噪声相对误差与混叠相对误差函数，可综合评价退化因素对图像质量的影响，以形成正则化算子，引入图像超分辨率模型，提高结果图像质量；另一方面，由于引入退化因素对图像质量影响的评估策略，可减少退化因素对模型算法的稳定性影响。

附图说明

图1为本发明方法流程图；

图2为本发明方法与各超分辨模型的性能比较示意图，其中图2(a)为严重退化的遥感图像；图2(b)为非局部总变差模型的超分辨结果；图2(c)为基于字典学习的稀疏表示模型的超分辨结果；图2(d)为本发明模型的超分辨结果。

具体实施方式

如图1所示，本发明提供了一种基于非局部正则化模型的遥感图像超分辨方法，步骤如下：

(1)针对遥感卫星获取的退化图像，提取图像中以每个像素为中心的大小一致的图像片；

(2)利用K均值聚类算法对所述步骤(1)中得到的图像片进行分类，形成各个图像片相似类，每个相似类称为图像片组；

(3)放大步骤(2)中图像片组中的图像片至原图像片的N_opt/N_sys倍；其中，N_opt为遥感卫星光学系统的截止频率，N_sys为遥感卫星成像系统的截止频率；

(4)针对各图像片组，分别分析组内放大后的图像片频谱分布，构造各图像片组对应的正则化滤波器：

(4.1)针对各图像片组利用多维信号傅里叶变换，推导出高分遥感图像退化模型的傅里叶变换形式：

针对图像退化过程公式：

I＝Δ^Γ(H(f))+n

其中I代表退化图像；f表示原始图像；Δ^Γ表示基于规则采样网格Γ的采样算子；H是图像傅里叶变换为调制传递函数的点扩散函数；n是均值为0，方差为σ²的高斯噪声。采样会造成图像混叠，点扩展函数引起图像模糊；遥感图像在成像过程中，受到了噪声影响，其傅里叶变换形式为：

其中，与分别表示退化图像I与原始图像f的傅里叶频谱；MTF为调制传递函数；F为数学上的frobenius范数；D^*为在傅里叶域对偶网格上的延拓周期；Δ^Γ表示基于规则采样网格Γ的采样算子；∑(.)表示求和；k为傅里叶坐标；n是均值为0，方差为σ²的高斯噪声；表示高斯噪声n的傅里叶频谱。

(4.2)建立噪声相对误差与混叠相对误差的综合评价函数，具体为：

其中R与R_alias分别为原始图像频谱与混叠频谱，分别为噪声相对误差与混叠相对误差，其中函数E(N,A)是关于噪声相对误差与混叠相对误差的综合评价函数。综合评价函数中噪声相对误差与混叠相对误差具体计算公式为：

其中为傅里叶空间坐标；理想图像在计算时采取如下图像统计模型：

其中，C与p为常数，通常计算取C＝1.5，p＝1.2。

(4.3)根据步骤(4.2)综合评价函数，评价的结果构成滤波器的支撑域，设计正则化滤波器具体为：

其中，exp(.)表示指数函数；α与β为常数。

(5)利用正则化滤波器提取各组图像片潜在的高频成分，生成含有非冗余高频信息的图像片：

(5.1)将待处理图像片作傅立叶变化，得到对应的频谱；

(5.2)将频谱图像沿傅立叶空间坐标延拓；

(5.3)将延拓后的图像频谱投影到图像片组正则化滤波器支撑域上，提取潜在的高频成分；

(5.4)对步骤(5.3)中提取的高频成分，采取频域补零措施；

(5.5)作傅里叶逆变换，得到含有非冗余高频信息的放大N_opt/N_sys倍的图像片；

(6)根据非局部正则化超分辨模型，对各图像片实施超分辨率处理，得到分辨率提高的图像片；所述非局部正则化超分辨模型如下：

其中，u表示重建的图像；H＝MTF表示传递函数；D表示采样函数，表示图像梯度；Pr(.)表示投影操作；λ与α表示正则化参数；表示最小化操作；表示F范数；J_NLTV(u)表示非局部总变差正则项。

(7)得到分辨率提高的图像片后，平均各个图像片对应位置像素，构建整幅遥感图像。

图2为本发明方法与各超分辨模型的性能比较示意图，其中图2(a)为严重退化的遥感图像；图2(b)为非局部总变差模型的超分辨结果；图2(c)为基于字典学习的稀疏表示模型的超分辨结果；图2(d)为本发明模型的超分辨结果。由图可见基于字典学习的稀疏表示模型与本发明模型可得到较好的结果，本发明模型其结果图像边缘更为清晰与自然。这表明了本发明模型的具备较为优良的超分辨性能。

Claims (4)

1.一种基于非局部正则化模型的遥感图像超分辨方法，其特征在于步骤如下：

(1)针对遥感卫星获取的退化图像，提取图像中以每个像素为中心的大小一致的图像片；

(2)利用K均值聚类算法对所述步骤(1)中得到的图像片进行分类，形成各个图像片相似类，每个相似类称为图像片组；

(3)放大步骤(2)中图像片组中的图像片至原图像片的N_opt/N_sys倍；其中，N_opt为遥感卫星光学系统的截止频率，N_sys为遥感卫星成像系统的截止频率；

(4)针对各图像片组，分别分析组内放大后的图像片频谱分布，构造各图像片组对应的正则化滤波器，包括如下步骤：

(4.1)针对各图像片组利用多维信号傅里叶变换，推导出高分遥感图像退化模型的傅里叶变换形式，具体为：

其中，与分别表示退化图像I与原始图像f的傅里叶频谱；MTF为调制传递函数；F为frobenius范数；D^*为在傅里叶域对偶网格上的延拓周期；Δ^Γ表示基于规则采样网格Γ的采样算子；∑(.)表示求和；k为傅里叶坐标；n是均值为0、方差为σ²的高斯噪声；表示高斯噪声n的傅里叶频谱；

(4.2)建立噪声相对误差与混叠相对误差的综合评价函数，具体为：

其中R与R_alias分别为原始图像频谱与混叠频谱，与分别为噪声相对误差与混叠相对误差，其中函数E是关于噪声相对误差与混叠相对误差的综合评价函数；

(4.3)根据步骤(4.2)得到的综合评价函数，设计得到正则化滤波器；

(5)利用正则化滤波器提取各组图像片潜在的高频成分，生成含有非冗余高频信息的图像片：

(5.1)将待处理图像片作傅立叶变换，得到对应的频谱；

(5.2)将频谱图像沿傅立叶空间坐标延拓；

(5.3)将延拓后的图像频谱投影到图像片组正则化滤波器支撑域上，提取潜在的高频成分；

(5.4)对步骤(5.3)中提取的高频成分，采取频域补零措施；

(5.5)作傅里叶逆变换，得到含有非冗余高频信息的放大N_opt/N_sys倍的图像片；

(6)根据非局部正则化超分辨模型，对各图像片实施超分辨率处理，得到分辨率提高的图像片；

(7)得到分辨率提高的图像片后，平均各个图像片对应位置像素，构建整幅遥感图像。

2.根据权利要求1所述的一种基于非局部正则化模型的遥感图像超分辨方法，其特征在于：步骤(4.2)综合评价函数中噪声相对误差与混叠相对误差具体计算公式为：

其中为傅里叶空间坐标。

3.根据权利要求1所述的一种基于非局部正则化模型的遥感图像超分辨方法，其特征在于：所述步骤(4.3)正则化滤波器具体为：

其中，exp(.)表示指数函数；α与β为常数。

4.根据权利要求1所述的一种基于非局部正则化模型的遥感图像超分辨方法，其特征在于：步骤(6)所述非局部正则化超分辨模型如下：

其中，u表示重建的图像；H＝MTF表示传递函数；D表示采样函数，表示图像梯度；Pr(.)表示投影操作；λ与α表示正则化参数；表示最小化操作；表示F范数；J_NLTV(u)表示非局部总变差正则项。