CN105678698A

CN105678698A - 一种非局部正则化遥感图像超分辨重建方法

Info

Publication number: CN105678698A
Application number: CN201511025749.2A
Authority: CN
Inventors: 张建伟; 贺妍斐; 王顺凤; 郑钰辉; 陈允杰; 朱节中
Original assignee: Nanjing University of Information Science and Technology
Current assignee: Nanjing University of Information Science and Technology
Priority date: 2015-12-30
Filing date: 2015-12-30
Publication date: 2016-06-15

Abstract

本发明公开了一种基于正则化滤波器的非局部正则化遥感图像超分辨重建方法，包括：降质因素对遥感图像质量的影响评价步骤；设计正则化滤波器步骤；超分辨重建模型构建与数值算法设计步骤。本发明在非局部正则化模型中耦合了梯度保真项，提高了非局部正则化模型的性能，另一方面将梯度保真项与数据保真项同时定义在图像片组正则化滤波器的支撑域上，减少了退化因素对模型求解的干扰。与现有的重建以及学习方法相比，本发明针对退化的光学卫星遥感图像，经过超分辨处理，最终将其分辨率提高至至N_opt/N_sys倍,结果图像视觉清晰，自然，未见明显的虚假信息。

Description

一种非局部正则化遥感图像超分辨重建方法

技术领域

本发明属于遥感信息处理领域，涉及一种光学遥感卫星图像的超分辨率技术，尤其涉及一种联合正则化滤波器的非局部正则化遥感图像超分辨重建方法。

背景技术

光学遥感卫星领域的分辨率主要指地面像元分辨率(名义分辨率)。众所周知，提高名义分辨率可通过减少探测元尺寸、增长焦距、降低卫星轨道高度3条路径实现。然而，减小探测元尺寸会降低图像信噪比，增长焦距会增加卫星发射成本，降低卫星轨道会导致卫星寿命减少。相形之下，超分辨率或超分辨(super-resolution,SR)被实践证明是一种行之有效的技术，其中以单幅遥感图像超分辨最具挑战性。

当前，较为流行的SR方法大致可分为基于重建的方法与基于学习的方法。

(1)基于重建的超分辨方法

图像SR重建方法可大致分为局部与非局部两类。局部正则化SR方法可细分为贝叶斯方法与变分正则化方法。对于前者，最大后验估计(MAP)方法研究较多，图像先验概率模型选取对该类方法的效果影响较大，已提出的先验模型有MRF及其改进模型，多层高斯非稳态模型,以及总变差先验模型等。最近，在单幅遥感图像SR重建方法研究方面，Tai等通过图像边缘先验知识与图像细节拟合，实现了单幅图像SR,Sun等通过对大量自然图像的学习，建立了一种梯度形状先验模型，Jung等针对彩色图像，提出了一种非局部Mumford-Shahzh正则化模型。虽然通过耦合更多图像边缘先验知识，上述方法取得了较好的重建结果，但对于退化(混叠，模糊，噪声)的遥感图像，很难准确估计与提取边缘信息。

(2)基于学习的超分辨方法

基于学习的超分辨率方法研究中，以在基于稀疏表示的方法最受关注。在基于稀疏表述的图像超分辨方法研究中，为建立高、低分辨率图像间的关系,Yang等为高、低分辨率图像设置了对应的双字典，通过联合学习对高、低分辨率图像统一进行稀疏表示。Yang提出的模型假定求解后的稀疏表示同时可重建高、低分辨率图像，这一约束“偏硬”，未能保证低分辨率图像的稀疏表示较好地重建高分辨率图像，缺乏正则性与有效性。后续提出了改进策略与方法，如Rubinstein等提出一种参数字典模型来平衡效率和自适应性,李等利用形态学分量分析法选取样本集，练等基于图像分类思想的提出了改进模型。最近，Yang等提出了耦合的双字典学习模型，首先假定高、低分辨率图像特征空间存在映射关系，形成耦合特征空间，进而建立耦合的双字典对，通过模型求解得到了较好的SR结果。基于类似思想，Wang等直接假定双字典间存在一定关系，提出了一种基于半耦合的高、低分辨率字典学习模型，提高了图像SR效果。需要指出的是，上述方法在处理退化图像时，需要高，低分辨率图像块训练样本集。对于高分遥感图像，较难获得适宜的样本集。

尽管目前超分辨方法考虑了采样、模糊、噪声3元图像降质因素，但较少分析三者间的关系。实际中，光学成像领域中3元降质因素间存在难以调和的矛盾。特别在遥感领域中，系统调制传递函数与混叠间的矛盾较难调和。直接基于退化图像的学习方法，目前难得到满意的SR结果。理论上设计反混叠器可有效解决混叠问题，如此一则容易产生振铃效应，引入虚假信息；二则因过滤了更多的高频信息，导致所成图像更为模糊。单幅图像SR研究，除了方法本身研究外，还需进一步探索降质因素分析方法，特别是分析图像混叠的理论与方法。

综上所述，在单幅图像超分辨研究中，降质因素往往会严重影响模型求解的稳定性，继而影响问题的求解。目前诸多超分辨研工作偏重于模型的构造，特别是图像先验知识研究，因此虽然已有大量的图像噪声、模糊的估计与检测工作以及最近开展的模糊因素对图像超分辨率的影响研究，但关于综合分析降质因素对高分遥感图像超分辨影响的研究尚显不足，因此现有的卫星遥感图像超分辨重建方法重建后的图片效果均不够理想。

发明内容

为解决上述问题，本发明公开了一种基于正则化滤波器的非局部正则化遥感图像超分辨重建方法，一方面设计了正则化滤波器，以抑制降质因素对图像超分辨过程的影响；另一方面构建了一种耦合了梯度保真项的非局部正则化超分辨模型；通过联合上述2者，最终有效地提高光学遥感图像分辨率。

为了达到上述目的，本发明假定已知采样方式(混叠)，系统MTF模型(模糊核)以及噪声模型，并采用以下步骤进行遥感：

步骤A，降质因素对遥感图像质量的影响评价

该步骤主要由2个环节组成：高分遥感图像频谱分布建模；退化图像频谱分析。该阶段首先分析遥感图像退化模型的傅立叶变换形式以及建立理想的高分遥感图像一般频谱分布模型，在此基础上，结合降质因素知识，分析退化图像频谱中各点受影响程度。各主要环节具体实现过程如下：

步骤A-1，高分遥感图像频谱分布建模。

该模型基于高分图像数据库(清晰图像)构建，具体构建步骤为：

a)将高分图像数据库中的图像作傅立叶变换；

b)计算各图像的频谱能量，利用回归分析统计建立图像频谱分布的通用先验模型；

c)对退化图像作傅立叶变换，考虑到减少混叠频谱的影响，拟通过一定宽度的盒形空间滤波器提取低频图像频谱，这里的宽度值可以根据需要设定；

d)在步骤c)基础上利用变换检测方法得到各方向能量分布信息，据此赋予各方向相应的权重系数；

e)将其与通用图像频谱先验模型相耦合，建立与退化遥感图像对应的高分遥感图像频谱分布模型。

步骤A-2，退化图像频谱分析。

本环节除依靠上述步骤A-1中建立的高分遥感图像频谱分布模型外，还需要借助傅立叶变换形式下的遥感图像退化模型。基于此，本环节采取的主要步骤为：

a)利用已知的降质因素知识，构建噪声，模糊，混叠对应的相对误差函数；

b)评估退化图像频谱各处受噪声，模糊，混叠“污染”的程度(函数值越高受污染越严重)，实现退化图像频谱分析；

c)通过打分策略，赋予图像频谱点各处不同的分值，而后将、通过累加各点分数值，并与退化图像支撑域面积相比，以评价退化图像质量。

步骤B，设计正则化滤波器

该阶段主要由2个环节组成：图像片组自适应滤波器；潜在的高频成分提取。设计图像片组自适应滤波器，目的在于对图像片超分辨施加正则化约束。(因为后续的非局部正则化超分辨重建模型针对图像片，因此实施正则化约束自然基于图像片)。更重要地，利用图片组自适应滤波器可挖掘图像片中潜在的高频成分。主要环节具体实现如下：

步骤B-1，图像片组自适应滤波器。

主要步骤如下：

a)针对各图像片组利用多维信号傅立叶变换理论，推导高分遥感图像退化模型的傅立叶变换形式；

b)利用降质因素对应的误差函数，在光学系统截止频率内综合评估各点评估因素对应的误差函数；在光学系统截止频率内综合评估各点；

c)为各误差函数设置阈值，置重污染的频率点值为0，置轻度以及未受污染的频率点值1，如此，值为1的频率点组成滤波器。因为这一滤波器自适应于图像片组频谱，其对应的图像片组频谱受降质因素影响较小，因此具有正则化约束的作用。图像片组自适应滤波器也称为图像片组正则化滤波器。

步骤B-2，潜在的高频成分提取

利用图像片组正则化滤波器，提取图像片中位于光学系统与探测元截至频率间潜在的非冗余高频信息，采取如下步骤：

a)将待处理图像片作傅立叶变化，得到对应的频谱；

b)将频谱图像沿傅立叶空间坐标延拓；

c)将延拓后的图像频谱投影到图像片组正则化滤波器支撑域上，以提取潜在的高频成分；

d)考虑到潜在的高频成分其频谱支撑域可能不规则，拟采取频域补零措施；

e)作傅立叶逆变化，得到含有非冗余高频信息的放大N_opt/N_sys倍(2倍)的图像片。

步骤C，超分辨重建模型构建与数值算法设计

该阶段主要由2个环节组成：超分辨模型构建和数值算法设计。

步骤C-1，首先构建耦合了梯度保真项的非局部正则化图像超分辨重建模型，并将最优倒易晶胞组引入上述模型，建立联合最优倒易晶胞组的非局部正则化图像超分辨重建模型。本发明提出的非局部正则化重建模型为：

\underset{u}{M i n} J_{N L T V} (u) + \frac{λ}{2} | | \Pr (f - D H u) | |_{F}^{2} + \frac{α}{2} | | \Pr (&dtri; f - &dtri; (D H u)) | |_{F}^{2} - - - (1)

其中，u表示理想的图像片，f表示退化的遥感图像片，D表示采样操作，H为模糊核，表示梯度操作，Pr(·)表示投影操作，将图像片频谱投影于图像片组正则化滤波器的支撑域。式(1)依次由非局部总变差正则化项J_NLTV(u)，数据保真项及梯度保真项。

步骤C-2，利用梯度下降法求解上述模型，并以步骤B-2中获得的放大N_opt/N_sys倍(2倍)的退化遥感图像为初始图像。

与现有技术相比，本发明具有如下有益效果：

本发明在非局部正则化模型中耦合了梯度保真项，提高了非局部正则化模型的性能，另一方面将梯度保真项与数据保真项同时定义在图像片组正则化滤波器的支撑域上，减少了退化因素对模型求解的干扰。与现有的重建以及学习方法相比，本发明针对退化的光学卫星遥感图像，经过超分辨处理，最终将其分辨率提高至至N_opt/N_sys倍(对于现代光学卫星成像系统你，该比值通常为2)，其中N_opt为光学系统截止频率，N_sys为成像系统截止频率，且结果图像视觉清晰，自然，未见明显的虚假信息。

附图说明

图1为本发明整体步骤流程示意图；

图2为实施方式中一次循环过程示意图；

图3为本发明方法与各超分辨模型的性能比较示意图，其中(a)为严重退化的遥感图像；图3(b)为非局部总变差模型的超分辨结果；图3(c)为基于字典学习的稀疏表示模型的超分辨结果；图3(d)为本发明模型的超分辨结果。

具体实施方式

以下将结合具体实施过程详细说明本发明提供的技术方案，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本实施例通过以下实施方式验证本发明的图像超分辨重建效果，针对同一图像分别采用本发明方法与现有几种超分辨率方法处理从而进行比较，以证明本发明的优越性，如图2所示，具体实施过程如下：

1)针对遥感卫星退化图像，提取图像中以每个像素为中心大小为7×7图像片(图像片个数等同于像素个数)；

2)利用K均值聚类算法，对上述图像片分类，形成各个图像片相似类，每类称为图像片组；

3)通过三次插值方法放大各图像片至N_opt/N_sys倍(2倍)；

4)分析各组图像片的频谱分布，构造各组对应的正则化滤波器；

5)依据发明内容中步骤B-2过程利用正则化滤波器提取各组图像片潜在的高频成分，生成含有非冗余高频信息的图像片；

6)依据发明内容中步骤C提出的非局部正则化超分辨模型，对各图像片实施超分辨率处理；7)得到分辨率提高的图像片后，平均各个图像片对应位置像素，构建整幅遥感图像；

8)若超分辨结果未达到要求，则基于7)产生的结果图像，回至1)继续执行，直至得到满意的超分辨结果。

图3为通过上述过程得到的本发明结果与流行的超分辨率方法的比较(放大2倍)。其中，图3(a)为严重退化的遥感图像，视觉上有明显的模糊与混叠现象；图3(b)为非局部总变差模型的超分辨结果，由图可见该模型超分辨效果不理想；图3(c)为基于字典学习的稀疏表示模型的超分辨结果；图3(d)为本发明模型；由图可见基于字典学习的稀疏表示模型与本发明模型可得到较好的结果，2者相比，本发明模型其结果图像边缘更为清晰与自然。这表明了本发明模型的具备较为优良的超分辨性能。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims

1.一种非局部正则化遥感图像超分辨重建方法，其特征在于，包括如下步骤：

步骤A，降质因素对遥感图像质量的影响评价：

步骤A-1，高分遥感图像频谱分布建模：

a)将高分图像数据库中的图像作傅立叶变换；

c)对退化图像作傅立叶变换，通过一定宽度的盒形空间滤波器提取低频图像频谱；

步骤A-2，退化图像频谱分析：

b)评估退化图像频谱各处受噪声，模糊，混叠“污染”的程度，实现退化图像频谱分析；

c)通过打分策略，赋予图像频谱点各处不同的分值，而后将、通过累加各点分数值，并与退化图像支撑域面积相比，以评价退化图像质量；

步骤B，构建正则化滤波器：

步骤B-1，构建图像片组自适应滤波器：

a)针对各图像片组利用多维信号傅立叶变换，推导高分遥感图像退化模型的傅立叶变换形式；

b)利用降质因素对应的误差函数，在光学系统截止频率内综合评估各点评估因素对应的误差函数，在光学系统截止频率内综合评估各点；

c)利用轻度以及未受污染的频率点组成滤波器；

步骤B-2，潜在的高频成分提取：

a)将待处理图像片作傅立叶变化，得到对应的频谱；

b)将频谱图像沿傅立叶空间坐标延拓；

c)将延拓后的图像频谱投影到图像片组正则化滤波器支撑域上，提取潜在的高频成分；

d)考虑到潜在的高频成分其频谱支撑域可能不规则，采取频域补零措施；

e)作傅立叶逆变化，得到含有非冗余高频信息的放大N_opt/N_sys倍(2倍)的图像片；

步骤C，超分辨重建模型构建与求解模型：

步骤C-1，构建耦合了梯度保真项的非局部正则化图像超分辨重建模型，并将最优倒易晶胞组引入上述模型，建立联合最优倒易晶胞组的非局部正则化图像超分辨重建模型：

\underset{u}{M i n} J_{N L T V} (u) + \frac{λ}{2} | | \Pr (f - D H u) | |_{F}^{2} + \frac{α}{2} | | \Pr (&dtri; f - &dtri; (D H u)) | |_{F}^{2}

上述公知依次包括非局部总变差正则化项J_NLTV(u)，数据保真项及梯度保真项，其中，u表示理想的图像片，f表示退化的遥感图像片，D表示采样操作，H为模糊核，▽表示梯度操作，Pr(·)表示投影操作，将图像片频谱投影于图像片组正则化滤波器的支撑域；

2.根据权利要求1所述非局部正则化遥感图像超分辨重建方法，其特征在于，所述步骤B-1的c)步骤中，还包括：为各误差函数设置阈值，置重污染的频率点值为0，置轻度以及未受污染的频率点值1。