CN103279935A - 基于map算法的热红外遥感图像超分辨率重建方法及系统 - Google Patents

Abstract

本发明公开了一种基于MAP算法的热红外遥感图像超分辨率重建方法及其系统，包括：获取一段序列热红外波段遥感图像，序列图像包括至少两帧图像；基于角点特征的高精度自动配准方法，利用角点的自动提取、匹配从而完成配准；利用MAP算法实现序列图像的超分辨率重建，针对Gibbs模型的势函数参数的选取，提出了一种边缘惩罚函数阈值的自适应选取方法；对经过重建后的目标分辨率图像进行面向应用的质量评价。采用本发明，可以实现图像间高精度地自动配准，可自适应地选择参数阈值，减少人为因素干扰，也可实时超分辨率重建，从而解决了现有技术中热红外遥感图像分辨率低、重建方法不能自动化，受人为因素影响大、速度不够快，重建质量无法客观、真实评价等问题。

Description

基于MAP算法的热红外遥感图像超分辨率重建方法及系统

技术领域

本发明涉及图像应用领域，尤其涉及一种MAP算法的热红外遥感图像超分辨率重建方法及系统。

背景技术

超分辨率图像重建是利用信号处理和软件方法消除外界环境和成像系统所导致的图像退化，根据单幅影像的先验信息及多时相的序列影像之间的互补信息，超分辨率重建把一幅或多幅低分辨率观测图像重建为一幅高分辨率图像，它可以改善图像的质量，从本质上提升图像的分辨率，使重建后的图像比原图像更清晰。目前超分辨率技术都存在计算量大，或者效果不太理想等缺陷。

超分辨率重建算法主要分为频率域和空间域两大类算法。频率域算法由于其具有全局平移和线性空间不变模型的应用局限，该类算法已不再是研究主流。空间域算法研究较多，主要有插值法、凸集投影法、小波方法、基于学习的方法、正则化方法以及最大后验概率估计（MAP）方法等。其中MAP方法由于在解决病态问题中显现出良好的态势，以及能获得较好的超分辨率重建结果已经受到越来越多的重视。

基于Bayesian理论的MAP超分辨率重建算法是目前最常用的空域算法之一。MAP算法最初由Schultz等提出，Segall等用高斯自回归模型做约束，提出了一种压缩视频的超分辨率重构算法。Nguyen等人引入Tikhonov-Arsenin正则化用以解决MAP重建问题的病态性。张新明等人提出了一种边缘保持的MAP估计算法。

超分辨率重建技术到目前仍然没有形成具有广泛代表性的理论和系统，重复研究的工作较多，在很多问题方面也没有统一的解决方法。现有的超分辨率重建方法速度不够快，重建的质量不够好。

发明内容

发明目的：针对现有超分辨率重建方法速度不够快，重建的质量不够好的技术问题，本发明提供了一种基于MAP算法的图像超分辨率重建方法及其系统。

技术方案：基于MAP算法的热红外遥感图像超分辨率重建方法，包括如下步骤：

获取同一场景的低分辨率序列图像，所述序列图像包括至少两帧图像；

基于角点特征的高精度自动配准方法，利用角点的自动提取、匹配对所述序列图像进行配准；

构建MAP超分辨率图像重建的目标函数；根据所述图像重建的目标函数，对其进行参数优化选取以及最优化求解得到目标分辨率图像；

对所述目标分辨率图像进行去噪处理以及去模糊处理，并输出处理后的目标分辨率图像；

对经过重建后的目标分辨率图像进行面向应用的质量评价。

所述图像为欠采样混叠且相互之间存在亚像素级位移的低分辨率图像；所述基于角点特征的高精度自动配准方法的步骤具体包括：

首先分别在参考图像和目标图像上自动提取少量的特征角点进行粗配准；

然后对目标图像和粗配准图像进行合理分块，通过匹配获得均匀的同名点对，再利用最小二乘法求取仿射变换的参数，进行重采样进行精配准。

所述粗配准实现方法是，利用改进的自适应Harris算子分别提取两幅图像的特征角点，然后分别进行归一化相关系数匹配和马氏距离仿射变换不变性筛选出正确的同名点对，进行粗配准；

所述精配准实现方法是，确定两幅图像精配准的范围，根据配准范围的大小进行分块，对每个子块进行匹配，再根据归一化相关系数匹配初步剔除错误点对，记录剩余的同名点对；根据同名点对建立的三角网进行等角变换和距离变换进一步剔除错误点对，获得最终用于精配准的正确点对；再利用最小二乘法求取仿射变换的参数，进行重采样，获得精确配准图像。

面向应用的质量评价方法包括：阈值分割法和边缘提取法两种面向应用的主观评价方法，以及模糊聚类法、监督分类法和温度反演法三种面向应用的客观评价方法。

基于MAP算法的热红外遥感图像超分辨率重建系统，包括：

图像输入模块，用于真实序列图像以及模拟序列图像的输入；包括模拟图像生成模块，用于在给定初始高分辨率图像的基础上，模拟图像的成像过程，通过图像的平移、模糊和下采样操作得到超分辨率重建所需的序列低分辨率图像；

图像预处理模块，用于对输入的图像进行图像的选取、图像裁剪、图像直方图匹配以及图像的运动估计；

图像超分辨率重建模块，用于对图像预处理模块输出的图像进行选择图像重建范围、图像重建方法，设定重建参数估计值，得到目标分辨率图像；

图像复原后处理模块，用于对所述目标分辨率图像进行去噪和去模糊处理操作；

图像质量评价模块，用于选择评价方法，实现超分辨率重建图像质量的客观评价；

图像输出模块，用于输出超分辨率重建后的目标分辨率图像。

所述图像预处理模块包括：通过目视等方法筛除序列图像中质量较差的图像；对序列图像进行裁剪，使序列图像包含同一场景的不同成像，并且具有相同的图像大小；用直方图匹配方法将序列图像的灰度直方图匹配到参考帧图像上，从而减小图像之间的灰度差异；结合高斯金字塔分层的光流法实现序列图像的运动参数估计。

所述图像超分辨率重建模块包括：构建MAP超分辨率图像重建的目标函数；根据所述图像重建的目标函数，对其进行参数优化选取以及最优化求解得到目标分辨率图像。

所述图像复原后处理模块包括：根据超分辨率重建结果进行相应的去噪、去模糊等后处理操作；图像的后处理方法有反锐化掩膜法、维纳滤波法、L-R迭代算法，最小二乘滤波以及盲去滤波法。

所述图像质量评价模块包括：超分辨率重建后的客观质量评价采用方差、平均梯度、峰值信噪比以及Q相关系数等方法实现重建后的目标分辨率图像的质量评价。

本发明采用上述技术方案，具有以下有益效果：本发明提出的利用角点特征进行自动配准的方法能获得亚像素级的配准精度，符合超分辨率重建对于图像配准精度的要求，而且该方法对角点的提取及图像的配准完全自动化，操作简便快捷，是一种良好的图像配准方法；Gibbs模型势函数，边缘惩罚函数中阈值α的自适应估计方法实现了MAP超分辨率重建目标方程参数的优化，获得了较好的重建结果；提出了超分辨率重建质量评价方法的一种分类，重点研究了面向应用的质量评价方法，显示出了有效性和可行性。

附图说明

图1为本发明实施例的方法流程图；

图2为本发明实施例的基于角点特征的高精度自动匹配的方法流程图；

图3为本发明实施例的超分辨率重建的图像处理系统的结构示意图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

图1为本发明实施例的一种基于MAP算法的热红外遥感图像超分辨率重建方法流程图，包括：

S101：获取同一场景的低分辨率序列图像，序列图像包括至少两帧图像；其中，图像中多幅影像为欠采样混叠且相互之间存在亚像素级位移的低分辨率图像。

S102：基于角点特征的高精度自动配准方法，利用角点的自动提取、匹配从而完成配准。

图2为基于角点特征的高精度自动配准方法流程图，步骤具体包括：

首先分别在参考图像和目标图像上自动提取少量的特征角点进行粗配准；然后对目标图像和粗配准图像进行合理分块进行角点提取，通过匹配获得均匀的同名点对，再用最小二乘法进行精配准，获得高精度配准结果。

对参考图像和目标图像首先进行粗配准，然后对目标图像和粗配准图像进行合理分块进行角点提取，通过匹配获得均匀的同名点对，再用最小二乘法进行精配准，获得高精度配准结果的步骤具体包括：

用改进的自适应Harris算子分别提取两幅影像的特征角点，然后分别进行归一化相关系数匹配和马氏距离仿射变换不变性筛选出正确的同名点对，进行粗配准；

接着确定两幅图像精配准的范围，根据配准范围的大小进行分块，对每个子块进行匹配，再根据归一化相关系数匹配初步剔除错误点对，记录剩余的同名点对；

根据同名点对建立的三角网进行等角变换和距离变换进一步剔除错误点对，获得最终用于精配准的正确点对；

利用最小二乘法求取仿射变换的参数，进行重采样，获得精确配准图像。

S103：构建MAP超分辨率影像重建的目标函数；根据图像重建的目标函数，对其进行参数优化选取以及最优化求解得到目标分辨率图像。步骤具体包括：

已知序列低分辨率图像及观测模型的基础上，引入图像的先验信息，根据随机正则化方法（即MAP方法）、多变量Gauss随机场模型、Markov随机场先验模型以及Gibbs先验模型构建MAP超分辨率影像重建的目标函数；

根据图像重建的目标函数，对其进行参数优化选取以及最优化求解得到目标分辨率图像，具体包括：

选取低分辨率图像，利用影像重建目标函数：

$\hat{X}=\mathrm{atg}\min [\underset{k=1}{\overset{l}{\mathrm{\Σ}}}{\left|\right|Y_k-H_k\hat{X}\left|\right|}^2+\mathrm{\β}\underset{c\∈C}{\mathrm{\Σ}}{\mathrm{\ρ}}_{\mathrm{\α}}\left(d_c^{t}X\right)]$

其中Y_k表示序列低分辨率图像，X表示高分辨率图像，

表示高分辨率图像的估计值，β为正则化参数，H_k是几何运动矩阵T_k、模糊矩阵C_k及下采样矩阵D_k的综合矩阵，H_k＝T_kC_kD_k；

给定序列低分辨率图像Y_k、几何运动矩阵T_k、模糊矩阵C_k及重建因子τ；

根据序列低分辨率图像计算获得图像超分辨率重建的初始值X₀；

确定Gibbs随机场邻域形式以及势函数中的阈值参数α；

对目标函数进行最优化求解，并确定正则化参数β；

进行迭代求解得到目标分辨率图像。

S104：根据超分辨率重建结果进行相应的去噪、去模糊等后处理操作，并输出处理后的目标分辨率图像；图像的后处理方法有反锐化掩膜法、维纳滤波法、L-R迭代算法，最小二乘滤波以及盲去滤波法。

S105：在传统重建图像质量评价方法的基础上，创新性的提出了面向应用的重建质量评价方法，分析了它们与传统评价方法的效果。对经过重建后的具有目标分辨率的图像进行面向应用的质量评价方法包括：阈值分割法和边缘提取法两种面向应用的主观评价方法，以及模糊聚类法、监督分类法和温度反演法三种面向应用的客观评价方法。

相应地，本发明实施例还公开了一种基于MAP算法的热红外遥感超分辨率重建的图像处理系统，如图3所示，包括：

图像输入模块1，用于真实序列图像以及模拟序列图像的输入；包括模拟图像生成模块，用于在给定初始高分辨率图像的基础上，模拟图像的成像过程，通过图像的平移、模糊和下采样操作得到超分辨率重建所需的序列低分辨率图像；

图像预处理模块2，用于图像的选取、图像裁剪、图像直方图匹配以及图像的运动估计。具体包括：

通过目视等方法筛除序列图像中质量较差的图像；

对序列图像进行裁剪，使序列图像包含同一场景的不同成像，并且具有相同的图像大小；

用直方图匹配方法将序列图像的灰度直方图匹配到参考帧图像上，从而减小图像之间的灰度差异；

结合高斯金字塔分层的光流法实现序列图像的运动参数估计。

图像超分辨率重建模块3，用于选择图像重建范围、图像重建方法，设定重建参数估计值，实现图像超分辨率重建具体包括：超分辨率重建方法选择，求解方法选择以及参数设置，超分辨率重建后的客观质评价；所述图像超分辨率重建方法基于插值重建算法和正则化重建算法。重建目标函数为：

$\hat{X}=\mathrm{atg}\min [\underset{k=1}{\overset{l}{\mathrm{\Σ}}}{\left|\right|Y_k-H_k\hat{X}\left|\right|}^2+\mathrm{\β}\underset{c\∈C}{\mathrm{\Σ}}{\mathrm{\ρ}}_{\mathrm{\α}}\left(d_c^{t}X\right)]$

其中Y_k表示序列低分辨率图像，X表示高分辨率图像，表示高分辨率图像的估计值β为正则化参数，H_k是几何运动矩阵T_k、模糊矩阵C_k及下采样矩阵D_k的综合矩阵，H_k＝T_kC_kD_k；

给定序列低分辨率图像Y_k、几何运动矩阵T_k、模糊矩阵C_k及重建因子τ；根据序列低分辨率图像计算获得图像超分辨率重建的初始值X₀；确定Gibbs随机场邻域形式以及势函数中的阈值参数α；对目标函数进行最优化求解，并确定正则化参数β；进行迭代求解得到目标分辨率图像。

该模块也可以运用其他算法实现图像超分辨率重建。

图像复原后处理模块4，用于超分辨率重建结果进行相应的去噪、去模糊等后处理操作；具体包括：根据超分辨率重建结果进行相应的去噪、去模糊等后处理操作；图像的后处理方法有反锐化掩膜法、维纳滤波法、L-R迭代算法，最小二乘滤波以及盲去滤波法。

图像质量评价模块5，用于选择相应的评价方法，实现超分辨率重建图像质量的客观评价。具体包括：超分辨率重建后的客观质量评价主要采用方差、平均梯度、峰值信噪比以及Q相关系数等方法实现重建图像的质量评价。

图像输出模块6，用于输出超分辨率重建后的目标分辨率图像。

Claims (10)

1.基于MAP算法的热红外遥感图像超分辨率重建方法，其特征在于，包括如下步骤：

获取同一场景的低分辨率序列图像，所述序列图像包括至少两帧图像；

基于角点特征的高精度自动配准方法，利用角点的自动提取、匹配对所述序列图像进行配准；

构建MAP超分辨率图像重建的目标函数；根据所述图像重建的目标函数，对其进行参数优化选取以及最优化求解得到目标分辨率图像；

对所述目标分辨率图像进行去噪处理和去模糊处理，并输出处理后的目标分辨率图像；

对经过重建后的目标分辨率图像进行面向应用的质量评价。

2.根据利要求1所述的基于MAP算法的热红外遥感图像超分辨率重建方法，其特征在于，所述图像为欠采样混叠且相互之间存在亚像素级位移的低分辨率图像；所述基于角点特征的高精度自动配准方法的步骤具体包括：

首先分别在参考图像和目标图像上自动提取少量的特征角点进行粗配准；

然后对目标图像和粗配准图像进行合理分块，通过匹配获得均匀的同名点对，再利用最小二乘法求取仿射变换的参数，进行重采样完成精配准。

3.根据权利要求2所述的基于MAP算法的热红外遥感图像超分辨率重建方法，其特征在于，所述粗配准实现方法是，利用改进的自适应Harris算子分别提取两幅图像的特征角点，然后分别进行归一化相关系数匹配和马氏距离仿射变换不变性筛选出正确的同名点对，进行粗配准；

所述精配准实现方法是，确定两幅图像精配准的范围，根据配准范围的大小进行分块，对每个子块进行匹配，再根据归一化相关系数匹配初步剔除错误点对，记录剩余的同名点对；根据同名点对建立的三角网进行等角变换和距离变换进一步剔除错误点对，获得最终用于精配准的正确点对；再利用最小二乘法求取仿射变换的参数，进行重采样，获得精确配准图像。

4.根据权利要求1所述的基于MAP算法的热红外遥感图像超分辨率重建方法，其特征在于，所述重建目标函数为：

$\hat{X}=\mathrm{atg}\min [\underset{k=1}{\overset{l}{\mathrm{\Σ}}}{\left|\right|Y_k-H_k\hat{X}\left|\right|}^2+\mathrm{\β}\underset{c\∈C}{\mathrm{\Σ}}{\mathrm{\ρ}}_{\mathrm{\α}}\left(d_c^{t}X\right)]$

其中Y_k表示序列低分辨率图像，X表示高分辨率图像，

表示高分辨率图像的估计值β为正则化参数，H_k是几何运动矩阵T_k、模糊矩阵C_k及下采样矩阵D_k的综合矩阵，H_k＝T_kC_kD_k；

给定序列低分辨率图像Y_k、几何运动矩阵T_k、模糊矩阵C_k及重建因子τ；根据序列低分辨率图像计算获得图像超分辨率重建的初始值X₀；确定Gibbs随机场邻域形式以及势函数中的阈值参数α；对目标函数进行最优化求解，并确定正则化参数β；进行迭代求解得到目标分辨率图像。

5.根据权利要求1所述的基于MAP算法的热红外遥感图像超分辨率重建方法，其特征在于，面向应用的质量评价方法包括：阈值分割法和边缘提取法两种面向应用的主观评价方法，以及模糊聚类法、监督分类法和温度反演法三种面向应用的客观评价方法。

6.基于MAP算法的热红外遥感图像超分辨率重建系统，其特征在于，包括：

图像输入模块，用于真实序列图像以及模拟序列图像的输入；包括模拟图像生成模块，用于在给定初始高分辨率图像的基础上，模拟图像的成像过程，通过图像的平移、模糊和下采样操作得到超分辨率重建所需的序列低分辨率图像；

图像预处理模块，用于对输入的图像进行图像的选取、图像裁剪、图像直方图匹配以及图像的运动估计；

图像超分辨率重建模块，用于对图像预处理模块输出的图像进行选择图像重建范围、图像重建方法，设定重建参数估计值，得到目标分辨率图像；

图像复原后处理模块，用于对所述目标分辨率图像进行去噪和去模糊处理操作；

图像质量评价模块，用于选择评价方法，实现超分辨率重建图像质量的客观评价；

图像输出模块，用于输出超分辨率重建后的目标分辨率图像。

7.根据权利要求6所述的基于MAP算法的热红外遥感图像超分辨率重建系统，其特征在于，所述图像预处理模块包括：通过目视等方法筛除序列图像中质量较差的图像；对序列图像进行裁剪，使序列图像包含同一场景的不同成像，并且具有相同的图像大小；用直方图匹配方法将序列图像的灰度直方图匹配到参考帧图像上，从而减小图像之间的灰度差异；结合高斯金字塔分层的光流法实现序列图像的运动参数估计。

8.根据权利要求6所述的基于MAP算法的热红外遥感图像超分辨率重建系统，其特征在于，所述图像超分辨率重建模块包括：构建MAP超分辨率图像重建的目标函数；根据所述图像重建的目标函数，对其进行参数优化选取以及最优化求解得到目标分辨率图像；所述重建目标函数为：

$\hat{X}=\mathrm{atg}\min [\underset{k=1}{\overset{l}{\mathrm{\Σ}}}{\left|\right|Y_k-H_k\hat{X}\left|\right|}^2+\mathrm{\β}\underset{c\∈C}{\mathrm{\Σ}}{\mathrm{\ρ}}_{\mathrm{\α}}\left(d_c^{t}X\right)]$

其中Y_k表示序列低分辨率图像，X表示高分辨率图像，表示高分辨率图像的估计值β为正则化参数，H_k是几何运动矩阵T_k、模糊矩阵C_k及下采样矩阵D_k的综合矩阵，H_k＝T_kC_kD_k；

给定序列低分辨率图像Y_k、几何运动矩阵T_k、模糊矩阵C_k及重建因子τ；根据序列低分辨率图像计算获得图像超分辨率重建的初始值X₀；确定Gibbs随机场邻域形式以及势函数中的阈值参数α；对目标函数进行最优化求解，并确定正则化参数β；进行迭代求解得到目标分辨率图像。

9.根据权利要求6所述的基于MAP算法的热红外遥感图像超分辨率重建系统，其特征在于，所述图像复原后处理模块包括：根据超分辨率重建结果进行相应的去噪、去模糊等后处理操作；图像的后处理方法有反锐化掩膜法、维纳滤波法、L-R迭代算法，最小二乘滤波以及盲去滤波法。

10.根据权利要求6所述的基于MAP算法的热红外遥感图像超分辨率重建系统，其特征在于，所述图像质量评价模块包括：超分辨率重建后的客观质量评价采用方差、平均梯度、峰值信噪比以及Q相关系数等方法实现重建后的目标分辨率图像的质量评价。

Images