CN104680502B - 基于稀疏字典和非下采样Contourlet变换的红外图像超分辨重建方法 - Google Patents

Abstract

本发明公开了一种基于稀疏字典和非下采样Contourlet变换的红外图像超分辨重建方法，属于超分辨重建方法技术领域，解决了字典学习方法获取的冗余字典自由度较高、结构化较差、缺乏正则性、计算量也较大以及非下采样Contourlet变换的红外图像重建算法得到的高频信息不完善等问题。本发明产物获取多幅高、低分辨率红外图像作为图像训练对，即一幅高分辨率红外图像和一幅低分辨率红外图像为一个图像训练对；再将图像训练对采用稀疏字典表示模型和非下采样Contourlet变换，训练得到两对稀疏字典对，即高、低分辨率初始稀疏字典对和高、低分辨率残余稀疏字典对；最后利用训练得到的两对稀疏字典对，对低分辨率测试红外图像进行重建，获得最终的高分辨率红外图像。本发明用于图像处理。

Description

基于稀疏字典和非下采样Contourlet变换的红外图像超分辨 重建方法

技术领域

一种基于稀疏字典和非下采样Contourlet变换的红外图像超分辨重建方法，用于图像处理，属于超分辨重建方法技术领域。

背景技术

红外图像反应场景的辐射特性，这种特性能为医学成像、安全监控，夜间导航等应用提供有价值的信息。但由于红外图像成像过程中受采集设备自身及周围环境的影响，造成红外图像分辨率低。这将导致对红外图像的进一步自动或者人工分析存在一定的困难，因此提高红外图像的分辨率十分必要。

红外图像超分辨技术是提高红外图像分辨率的一种主要技术。该技术通过对一幅或者多幅低分辨率红外图像重建同一场景的高分辨率红外图像。目前超分辨技术主要分为三类：基于插值的超分辨技术，基于重构的超分辨技术和基于学习的超分辨技术。基于学习的超分辨技术是目前的研究热点，基于学习的方法充分利用了图像本身的先验知识，在不增加输入图像样本数量的情况下，仍能产生新的高频细节，取得比较好的效果。而在基于学习的超分辨方法中基于稀疏表示的超分辨方法是目前的研究重点。

目前针对红外图像的超分辨方法较少，文献“Single infrared image super-resolution combining non-local means with kernel regression”提出通过非局部均值法重建红外图像的高频信息，通过核回归抑制噪声和保护边界信息。文献“A Study onNSCT based Super-Resolution Reconstruction for Infrared Image”提出基于非下采样Contourlet变换的红外图像重建算法，此方法能够很好的保护图像边界信息，提高图像对比度。虽然以上方法能够重建红外图像的高频信息，但是得到的高频信息并不完善，使得复原的红外图像显得较为模糊。

文献“基于局部约束群稀疏的红外图像超分辨重建”提出了基于字典学习的红外图像重建算法，文中利用局部约束的群稀疏表示模型构造冗余字典，字典原子更加适应于信号特征，这使得该算法能够取得较好的重建效果。然而该方法使用的字典学习方法获取的冗余字典自由度较高，结构化较差，缺乏正则性，另外计算量也较大。

发明内容

本发明针对现有技术的不足之处提供了一种基于稀疏字典和非下采样Contourlet变换的红外图像超分辨重建方法，解决了现有技术中字典学习方法获取的冗余字典自由度较高、结构化较差、缺乏正则性、计算量也较大以及非下采样Contourlet变换的红外图像重建算法得到的高频信息不完善，使得复原的红外图像较为模糊的问题。

为了实现上述目的，本发明的优点在于：

一种基于稀疏字典和非下采样Contourlet变换的红外图像超分辨重建方法，其

特征在于：

(1)获取多幅高、低分辨率红外图像作为图像训练对，即一幅高分辨率红外图像和一幅低分辨率红外图像为一个图像训练对；

(2)将图像训练对采用稀疏字典表示模型和非下采样Contourlet变换，训练得到两对稀疏字典对，即高、低分辨率初始稀疏字典对和高、低分辨率残余稀疏字典对；

(3)利用训练得到的两对稀疏字典对，对低分辨率红外测试图像进行重建，获得最终的高分辨率红外图像。

进一步，所述步骤(2)的具体步骤如下：

(21)将图像训练对分为两个图像训练库，即训练库1和训练库2，然后分别对训练库1和训练库2中的低分辨率红外图像进行插值放大，得到训练库1和训练库2的红外图像插值放大图；

(22)将训练库1和训练库2中的高分辨率红外图像与相对应的训练库1和训练库2中训练对的低分辨率红外图像进行插值放大得到的红外图像插值放大图进行差分得到相对应的训练库1和训练库2的红外图像高频细节图；

(23)对训练库1和训练库2中的红外图像插值放大图进行非下采样Contourlet变换，获得多个子图像，即非下采样Contourlet变换系数图像；

(24)对训练库1和训练库2中的各个非下采样Contourlet变换系数图像进行分块，得到训练库1和训练库2的红外图像插值放大图的系数块；

(25)对训练库1和训练库2中的红外图像高频细节图进行分块操作，得到训练库1和训练库2中的红外图像高频细节图系数块；

(26)对训练库1中的红外图像插值放大图的系数块进行稀疏字典训练，获得训练库1低分辨率初始稀疏字典以及稀疏表示系数，利用稀疏表示系数和训练库1中的红外图像高频细节图系数块，通过公式得到训练库1高分辨率初始稀疏字典；

(27)通过得到的训练库1中的低分辨率初始稀疏字典和高分辨率初始稀疏字典对训练库2中的红外图像插值放大图的系数块重建，获得初始重建高分辨率红外图像；

(28)将训练库2中的高分辨率红外图像和初始重建高分辨率红外图像差分得到残余红外图像；

(29)将初始重建高分辨率红外图像作为红外图像插值放大图，残余红外图像作为红外图像高频细节图进行如步骤(26)的稀疏字典训练，得到高、低分辨率残余稀疏字典对。

进一步，所述步骤(3)的具体步骤如下：

(31)输入低分辨率红外测试图像；

(32)对低分辨率红外测试图像进行插值放大，得到红外图像插值放大测试图；

(33)对红外图像插值放大测试图进行非下采样Contourlet变换，得到非下采样Contourlet变换测试系数图像；

(34)对各个非下采样Contourlet变换测试系数图像进行分块，得到红外测试图像插值放大图的系数块；

(35)通过高、低分辨率初始稀疏字典对对红外测试图像插值放大图的系数块进行重建，得到初始重建高分辨率红外测试图像；

(36)由高、低分辨率残余稀疏字典对和初始重建高分辨率红外测试图像重建残余红外图像，即低分辨率残余稀疏字典作为低分辨率初始稀疏字典，高分辨率残余稀疏字典作为高分辨率初始稀疏字典，初始重建高分辨率红外测试图像作为红外图像插值放大图重建残余红外图像，重建过程如步骤(35)；

(37)将残余红外图像和初始重建高分辨率红外测试图像逐像素点相加得到最终的高分辨率红外图像。

进一步，所述步骤(26)中获得低分辨率初始稀疏字典以及稀疏表示系数的约束公式为：

其中ψ为DCT字典，为红外图像插值放大图的第k个系数块，φ为的稀疏表示，φ_k为的稀疏表示矩阵的第k列，A_l为低分辨率初始稀疏字典，a_lq为求得的低分辨率稀疏字典表示A_l的第q列，t表示φ中向量的稀疏性，p是原子稀疏性最大值，为任意第k列，||φ_k||₀为φ_k的l⁰范数，||a_lq||₂为a_lq的l²范数，||ψa_lq||₂为ψa_lq的l²范数，为求解的l²范数；

高分辨率初始稀疏字典的约束公式为：

s.t在已得φ的情况下,可得到高分辨率初始稀疏字典其中ψ为DCT字典，为红外图像高频细节图的第k个系数块，φ为的稀疏表示，φ_k为的稀疏表示矩阵的第k列，A_h为高分辨率初始稀疏字典，a_hq为求得的高分辨率稀疏字典表示A_h的第q列，t表示φ中向量的稀疏性，p是原子稀疏性最大值，为任意第k列，||φ_k||₀为φ_k的l⁰范数，a_hq为||a_hq||₂的l²范数，ψa_hq为||ψa_hq||₂的l²范数，为求解的l²范数。

进一步，字典的训练过程为：

求得最优解，其中,X为红外图像，φ为X的稀疏表示，φ_i为X的稀疏表示矩阵的第i列，A为稀疏字典，a_j为求得的稀疏字典表示A的第j列，t表示φ中向量的稀疏性，p是原子稀疏性最大值，为任意第i列，为任意第j列，为φ_i的l⁰范数，为a_j的l⁰范数，||ψa_j||₂为ψa_j的l²范数，为求解X-ψAφ的l²范数。

进一步，用稀疏KSVD方法对上式进行求解，具体步骤为：

1)输入：图像X，稀疏字典基础字典ψ,原子稀疏性最大值p,训练样本稀疏性最大值t,迭代次数k；

2)初始化：稀疏字典表示初始化值A；

3)固定A，用OMP算法求解X中每一块x_i的稀疏表示：

s.tφ_i为x_i的稀疏表示矩阵的第i列，A为稀疏字典，a_i为稀疏字典A的第i列，t表示φ中向量的稀疏性，为φ_i的l⁰范数；

4)逐个对A中原子a(A中每列)和稀疏表示φ_i进行修正；

5)判定终止条件，否则返回3)继续迭代；

6)输出：稀疏字典A,稀疏表示系数φa_j。

进一步，所述步骤(27)或(35)中，所述的重建过程为：对每一个红外图像插值放大图像的系数块K为单个系数图像中系数块的总数，或每一个红外测试图像插值放大图的系数块K为单个系数图像中系数块的总数，用OMP算法求解下式得到稀疏系数α_k，s.t其中，ε>0表示容许误差，||α_k||₁为α_k的l⁰范数，为求解ψA_lα_k-B的l²范数，ψ为DCT字典，A_l为低分辨率初始稀疏字典，利用稀疏系数α_k和高分辨率稀疏字典A_h可以得到红外图像高频细节图像的系数块或红外图像高频细节测试图像的系数块即B'＝ψA_hα_k，其中B'为或再将每一个红外图像高频细节图像的系数块或红外图像高频细节测试图像的系数块按它们在系数图像相对应的位置进行串联，得到红外图像高频细节图或红外图像高频细节测试图I_hf ^*，将红外图像插值放大图和红外图像高频细节图逐像素点相加得到初始重建高分辨率红外图像或将红外图像插值放大测试图和红外图像高频细节测试图I_hf ^*逐像素点相加得到初始重建高分辨率红外测试图像I_ho ^*。

与现有技术相比，本实用发明新型的优点在于：

一、与传统的冗余字典不同，稀疏字典D可以表示为D＝ψ*A，其中ψ是基础字典，具有良好正则性；A是一个稀疏矩阵，具有较好灵活性，稀疏字典将正则性与灵活性相结合，可获得有效的表示能力，稀疏字典比传统冗余字典更有效；

二、非下采样Contourlet变换是冗余Contourlet变换，相对于Contourlet变换去掉了抽样环节，具有更高的冗余，它具有多尺度特性、平移不变性、良好的空域和频域局部特性和方向特性，能更好捕获图像信息。因为非下采样Contourlet变换具有平移不变、多分辨率、多方向性，可以得到不同方向不同尺度和不同分辨率的图像，丰富了图像特征，而且避免了频谱混叠；

三、基于稀疏字典和非下采样Contourlet变换的红外图像超分辨重建，稀疏字典代替传统的冗余字典，另外考虑到非下采样Contourlet变换能够有效地提取图像各个尺度、各个方向上的特征，因此将非下采样Contourlet变换引入，最后为了使得重建的效果更好，本发明引入残余稀疏字典重建残余红外图像。

附图说明

图1是本发明的稀疏字典学习的流程框图；

图2是本发明图像超分辨重建的流程框图；

图3是本发明图像分块的流程图；

图4是本发明非下采样Contourlet变换流程图；

图5(a)是本发明原始测试图像；

图5(b)是本发明采用最临近插值法处理后的图像；

图5(c)是本发明采用双三次插值法处理后的图像；

图5(d)是本发明采用Yang的方法处理后的图像；

图5(e)是本发明采用KSVD的方法处理后的图像；

图5(f)是本发明采用Zhang的方法处理后的图像；

图5(g)是本发明采用本发明处理后的图像；

图6(a)是本发明原始测试图像局部放大图；

图6(b)是本发明采用最临近插值法处理后的图像局部放大图，

图6(c)是本发明采用双三次插值法处理后的图像局部放大图；

图6(d)是本发明采用Yang的方法处理后的图像局部放大图；

图6(e)是本发明采用KSVD的方法处理后的图像局部放大图；

图6(f)是本发明采用Zhang的方法处理后的图像局部放大图；

图6(g)是本发明采用本发明处理后的图像局部放大图。

具体实施例方式

下面结合附图和实施例对本发明作进一步说明。

一种基于稀疏字典和非下采样Contourlet变换的红外图像超分辨重建方法，首先是获取多幅高、低分辨率红外图像作为图像训练对，即一高分辨率红外图像和一低分辨率红外图像为一图像训练对；本实施例所使用的图像分为两部分，一部分是人脸图像来自于USTC-NVIE，另一部分建筑物图像通过FLIR红外摄像仪采集得到。先对人脸图像进行红外图像超分辨重建，再对建筑物图像进行红外图像超分辨重建。对从USTC-NVIE库随机选择50幅图像，其中16幅图像为测试图像，34幅图像为训练图像，图像大小为228×300，从FLIR红外摄像仪采集的图像库中随机选择75幅图像，其中13幅图像为测试库，62幅图像为训练图像，图像大小为240×348。

然后将图像训练对采用稀疏字典表示模型和非下采样Contourlet变换，训练得到两对稀疏字典对，即高、低分辨率初始稀疏字典对和高、低分辨率残余稀疏字典对。具体步骤如下：

(21)将图像训练对中的图像分为两个训练库，即训练库1和训练库2，然后分别对训练库1和训练库2中的低分辨率红外图像进行插值放大，得到训练库1和训练库2的红外图像插值放大图；本实施例对训练库1和训练库2中的低分辨率红外图像进行双三次插值得到红外图像插值放大图。

(22)将训练库1和训练库2中的高分辨率红外图像与相对应的训练库1和训练库2中训练对的低分辨率红外图像进行插值放大得到的红外图像插值放大图进行差分得到相对应的训练库1和训练库2的红外图像高频细节图；本实施例对训练库1和训练库2高分辨率红外图像和红外图像插值放大图逐像素点相减得到红外图像高频细节图。

(23)对训练库1和训练库2中的红外图像插值放大图进行非下采样Contourlet变换，获得多个子图像，即非下采样Contourlet变换系数图像；本实施例对红外图像插值放大图进行1层4个方向的非下采样Contourlet变换，获得5个子图像，即系数图像，其中包括1个低频图像和4个高频图像，即非下采样Contourlet变换系数图像其中表示对红外图像插值放大图进行非下采样Contourlet变换后，在第i个层，第j个方向上的系数图像。

(24)对训练库1和训练库2中的各个非下采样Contourlet变换系数图像进行分块，得到训练库1和训练库2的红外图像插值放大图的系数块；非下采样Contourlet变换是由一个非下采样的金字塔滤波器组(NSP)和一个非下采样的方向滤波器组(NSDFB)组成，首先将图像通过NSP分解为低通子带和高通子带，得到图像的多尺度分解，然后用NSDFB对各尺度子带图像进行方向分解，从而得到不同尺度、不同方向的子带图像。本实施例对各个系数图像进行分块，将每一个系数块展开为一个特征向量，然后将在不同层、不同方向，而同一位置的块(特征向量)，串联为一个特征向量，其中分块大小为9×9，并保留与周围图像块3个像素的重叠，即块与块之间的重叠列或行数为3，得到红外图像插值放大图的系数块 表示取自于低频图像，表示取自于高频图像，它们表示系数图像中的第k个系数块，K为单个系数图像中系数块的总数，然后将所有的块变换成81×1的列向量，最后将所有层和所有方向的系数图像上的81×1大小的列向量按它们在红外图像插值放大图的非下采样Contourlet变换系数图像中相对应的位置依次串联，构成大小为405×1大小的列向量，对于每一个图像块的非下采样Contourlet变换系数，用Dog滤波器处理后得到低频系数，保留不同尺度、不同方向的高频系数。

(25)对训练库1和训练库2中的红外图像高频细节图进行分块操作，得到训练库1和训练库2中的红外图像高频细节图系数块；本实施例对于红外图像高频细节图按9×9大小的块，与周围图像块有3个像素的重叠，即块与块之间的重叠列或行数为3，进行分块操作。

(26)对训练库1中的红外图像插值放大图的系数块进行稀疏字典训练，获得低分辨率初始稀疏字典以及稀疏表示系数，利用稀疏表示系数和训练库1中的红外图像高频细节图系数块，通过公式得到高分辨率初始稀疏字典；本实施例所用字典大小为1024，获得低分辨率初始稀疏字典A_l以及稀疏表示系数φ的约束方程为：s.t其中ψ为基础字典，可以为小波字典、DCT字典等，本实施例选择DCT字典为基础字典，为红外图像插值放大图的第k个系数块，φ为的稀疏表示，φ_k为的稀疏表示矩阵的第k列，A_l为低分辨率初始稀疏字典，a_lq为求得的低分辨率稀疏字典表示A_l的第q列，t表示φ中向量的稀疏性，p是原子稀疏性最大值，为任意第k列，||φ_k||₀为φ_k的l⁰范数，||a_lq||₂为a_lq的l²范数，||ψa_lq||₂为ψa_lq的l²范数，为求解的l²范数。

高分辨率初始稀疏字典的约束公式为：

s.t在已得φ的情况下,可得到高分辨率初始稀疏字典其中ψ为DCT字典，为红外图像高频细节图的第k个系数块，φ为的稀疏表示，φ_k为的稀疏表示矩阵的第k列，A_h为高分辨率初始稀疏字典，a_hq为求得的高分辨率稀疏字典表示A_h的第q列，t表示φ中向量的稀疏性，p是原子稀疏性最大值，||φ_k||₀为φ_k的l⁰范数，||a_hq||₂为a_hq的l²范数，||ψa_hq||₂为ψa_hq的l²范数，为求解的l²范数。

字典的训练过程求最优解如下：

X为红外图像，φ为X的稀疏表示，φ_i为X的稀疏表示矩阵的第i列，A为稀疏字典，a_j为求得的稀疏字典表示A的第j列，t表示φ中向量的稀疏性，p是原子稀疏性最大值，为任意第i列，为任意第j列，为φ_i的l⁰范数，为a_j的l⁰范数，||ψa_j||₂为ψa_j的l²范数，为求解X-ψAφ的l²范数。字典求解迭代包括两步：一、求X的稀疏表示；二、字典原子更新。在求解稀疏表示阶段可以用任意信号稀疏分解方法，本实施例用OMP算法，在字典原子更新阶段每次只更新一个原子，即保持其他原子固定，对目标方程求最优解。本发明用稀疏KSVD方法对上式进行求解。具体算法如下：

1)输入：图像X，稀疏字典基础字典ψ,原子稀疏性最大值p,训练样本稀疏性最大值t,迭代次数k；

2)初始化：稀疏字典表示初始化值A；

3)固定A，用OMP算法求解X中每一块x_i的稀疏表示:s.tφ_i为x_i的稀疏表示矩阵的第i列，A为稀疏字典，a_i为稀疏字典A的第i列，t表示φ中向量的稀疏性，为φ_i的l⁰范数；

4)逐个对A中原子a(A中每列)和稀疏表示φ_i进行修正；

5)判定终止条件，否则返回3)继续迭代；

6)输出：稀疏字典A,稀疏表示系数φa_j。

通过以上字典训练方式可以得到高、低分辨率初始稀疏字典对A_h,A_l。

(27)通过得到的低分辨率初始稀疏字典和高分辨率初始稀疏字典对训练库2中的红外图像插值放大图的系数块重建，获得初始重建高分辨率红外图像；本实施例用得到的低分辨率初始稀疏字典A_l和高分辨率初始稀疏字典A_h，对图像训练库2中的低分辨率红外图像进行重建。重建过程为：对每一个红外图像插值放大图像的系数块K为单个系数图像中系数块的总数，用OMP算法求解下式得到稀疏系数α_k，s.t其中，ε>0表示容许误差，||α_k||₁为α_k的l⁰范数，为求解ψA_lα_k-B的l²范数，ψ为DCT字典，A_l为低分辨率初始稀疏字典，利用稀疏系数α_k和高分辨率稀疏字典A_h可以得到红外图像高频细节图像的系数块即B'＝ψA_hα_k，其中B'为再将每一个红外图像高频细节图像的系数块按它们在系数图像相对应的位置进行串联，得到红外图像高频细节图将红外图像插值放大图和红外图像高频细节图逐像素点相加得到初始重建高分辨率红外图像

(28)将训练库2中的高分辨率红外图像和初始重建高分辨率红外图像差分得到残余红外图像；本实施例对训练库2中的高分辨率红外图像和初始重建高分辨率红外图像逐像素点相减得到残余红外图像。

(29)将初始重建高分辨率红外图像作为红外图像插值放大图，残余红外图像作为红外图像高频细节图进行稀疏字典训练，得到高、低分辨率残余稀疏字典对；本实施例将初始重建高分辨率红外图像作为红外图像插值放大图残余红外图像作为红外图像高频细节图代入步骤(26)的稀疏字典训练，得到高、低分辨率残余稀疏字典对A_rh，A_rl。

最后利用训练得到的两对稀疏字典对，对低分辨率测试红外图像进行重建，获得最终的高分辨率红外图像；利用训练得到的两对稀疏字典对，对低分辨率测试红外图像进行重建，获得最终的高分辨率红外图像的具体步骤如下：

(31)输入低分辨率红外测试图像；本实施例输入的低分辨率红外测试图像为

(32)对低分辨率红外测试图像进行插值放大，得到红外图像插值放大测试图；本实施例对低分辨率红外测试图像进行双三次插值放大得到红外图像插值放大测试图

(33)对红外图像插值放大测试图进行非下采样Contourlet变换，得到非下采样Contourlet变换测试系数图像；本实施例先进行1层4个方向的非下采样Contourlet变换得到5个子图像即系数图，其中包括1个低频图像和4个高频图像。

(34)对各个非下采样Contourlet变换测试系数图像进行分块，得到红外图像插值放大测试图的系数块；本实施例对红外图像插值放大测试图的非下采样Contourlet变换的系数块，按9×9大小的块进行分块操作，并保留与周围图像块3个像素的重叠，即块与块之间的重叠列或行数为3，得到红外图像插值放大测试图的系数块

(35)通过高、低分辨率初始稀疏字典对对红外测试图像插值放大图的系数块进行重建，得到初始重建高分辨率红外测试图像；本实施例先得到红外图像插值放大测试图的系数块再对红外图像插值放大测试图的系数块进行重建，得到红外图像的高频细节测试图像的系数块即重建过程为：对每一个红外图像插值放大测试图的系数块K为单个系数图像中系数块的总数，用OMP算法求解下式得到稀疏系数α_k，s.t其中，ε>0表示容许误差，||α_k||₁为α_k的l⁰范数，为求解ψA_lα_k-B的l²范数，ψ为DCT字典，A_l为低分辨率初始稀疏字典，利用稀疏系数α_k和高分辨率稀疏字典A_h可以得到红外图像高频细节测试图像的系数块，即B'＝ψA_hα_k，其中B'为再将每一个红外图像高频细节测试图像的系数块按它们在系数图像相对应的位置进行串联，得到红外图像高频细节测试图I_hf ^*，将红外图像插值放大测试图和红外图像高频细节测试图I_hf ^*逐像素点相加得到初始重建高分辨率红外测试图像I_ho ^*。

(36)由高、低分辨率残余稀疏字典对和初始重建高分辨率红外测试图像重建残余红外图像，即低分辨率残余稀疏字典作为低分辨率初始稀疏字典，高分辨率残余稀疏字典作为高分辨率初始稀疏字典，初始重建高分辨率红外测试图像作为红外图像插值放大图重建残余红外图像；本实施例由高、低分辨率残余稀疏字典A_rh，A_rl和初始重建高分辨率红外图像I_ho ^*重建残余红外图像I_r，低分辨率残余稀疏字典A_rl作为低分辨率初始稀疏字典A_l，高分辨率残余稀疏字典A_rh作为高分辨率初始稀疏字典A_h，初始重建高分辨率红外测试图像I_ho ^*作为红外图像插值放大图I_l'进行重建，重建过程和步骤(35)相同。

(37)将残余红外图像和初始重建高分辨率红外测试图像逐像素点相加得到最终的高分辨率红外图像；本实施例最后将残余红外图像I_r和初始重建高分辨率红外测试图像I_ho ^*逐像素点相加得到最终的高分辨率红外图像I_h ^*。

观察图5(a)-(g)、图6(a)-(g),本发明重建的超分辨图像效果优于其他与之相比较的方法，获得更好的视觉效果。

表1给出了本发明方法和其他常用超分辨方法的客观评价指标的比较结果。通过观察表1，可以发现，无论是PSNR还是MSSIM，本发明的方法均优于其他方法。因此，不论是视觉效果还是客观评价指标，本发明的方法都是最好的，可以获得较好的重建图像。

表1

Claims (6)

1.一种基于稀疏字典和非下采样Contourlet变换的红外图像超分辨重建方法，其特征在于：

(1)获取多幅高、低分辨率红外图像作为图像训练对，即一幅高分辨率红外图像和一幅低分辨率红外图像为一个图像训练对；

(2)将图像训练对采用稀疏字典表示模型和非下采样Contourlet变换，训练得到两对稀疏字典对，即高、低分辨率初始稀疏字典对和高、低分辨率残余稀疏字典对；具体步骤如下：

(21)将图像训练对分为两个图像训练库，即训练库1和训练库2，然后分别对训练库1和训练库2中的低分辨率红外图像进行插值放大，得到训练库1和训练库2的红外图像插值放大图；

(22)将训练库1和训练库2中的高分辨率红外图像与相对应的训练库1和训练库2中训练对的低分辨率红外图像进行插值放大得到的红外图像插值放大图进行差分得到相对应的训练库1和训练库2的红外图像高频细节图；

(23)对训练库1和训练库2中的红外图像插值放大图进行非下采样Contourlet变换，获得多个子图像，即非下采样Contourlet变换系数图像；

(24)对训练库1和训练库2中的各个非下采样Contourlet变换系数图像进行分块，得到训练库1和训练库2的红外图像插值放大图的系数块；

(25)对训练库1和训练库2中的红外图像高频细节图进行分块操作，得到训练库1和训练库2中的红外图像高频细节图系数块；

(26)对训练库1中的红外图像插值放大图的系数块进行稀疏字典训练，获得训练库1低分辨率初始稀疏字典以及稀疏表示系数，利用稀疏表示系数和训练库1中的红外图像高频细节图系数块，通过公式得到训练库1高分辨率初始稀疏字典；

(27)通过得到的训练库1中的低分辨率初始稀疏字典和高分辨率初始稀疏字典对训练库2中的红外图像插值放大图的系数块重建，获得初始重建高分辨率红外图像；

(28)将训练库2中的高分辨率红外图像和初始重建高分辨率红外图像差分得到残余红外图像；

(29)将初始重建高分辨率红外图像作为红外图像插值放大图，残余红外图像作为红外图像高频细节图进行如步骤(26)的稀疏字典训练，得到高、低分辨率残余稀疏字典对；

(3)利用训练得到的两对稀疏字典对，对低分辨率红外测试图像进行重建，获得最终的高分辨率红外图像。

2.根据权利要求1所述的一种基于稀疏字典和非下采样Contourlet变换的红外图像超分辨重建方法，其特征在于，所述步骤(3)的具体步骤如下：

(31)输入低分辨率红外测试图像；

(32)对低分辨率红外测试图像进行插值放大，得到红外图像插值放大测试图；

(33)对红外图像插值放大测试图进行非下采样Contourlet变换，得到非下采样Contourlet变换测试系数图像；

(34)对各个非下采样Contourlet变换测试系数图像进行分块，得到红外测试图像插值放大图的系数块；

(35)通过高、低分辨率初始稀疏字典对对红外测试图像插值放大图的系数块进行重建，得到初始重建高分辨率红外测试图像；

(36)由高、低分辨率残余稀疏字典对和初始重建高分辨率红外测试图像重建残余红外图像，即低分辨率残余稀疏字典作为低分辨率初始稀疏字典，高分辨率残余稀疏字典作为高分辨率初始稀疏字典，初始重建高分辨率红外测试图像作为红外图像插值放大图重建残余红外图像，重建过程如步骤(35)；

(37)将残余红外图像和初始重建高分辨率红外测试图像逐像素点相加得到最终的高分辨率红外图像。

3.根据权利要求1所述的一种基于稀疏字典和非下采样Contourlet变换的红外图像超分辨重建方法，其特征在于，所述步骤(26)中获得低分辨率初始稀疏字典以及稀疏表示系数的约束公式为：||a_lq||₂≤p,||ψa_lq||₂＝1；

其中ψ为DCT字典，为红外图像插值放大图的第k个系数块，φ为的稀疏表示，φ_k为的稀疏表示矩阵的第k列，A_l为低分辨率初始稀疏字典，a_lq为求得的低分辨率稀疏字典表示A_l的第q列，t表示φ中向量的稀疏性，p是原子稀疏性最大值，为任意第k列，||φ_k||₀为φ_k的l⁰范数，||a_lq||₂为a_lq的l²范数，||ψa_lq||₂为ψa_lq的l²范数，为求解的l²范数；

高分辨率初始稀疏字典的约束公式为：

||a_hq||₂≤p,||ψa_hq||₂＝1，在已得φ的情况下,得到高分辨率初始稀疏字典其中ψ为DCT字典，为红外图像高频细节图的第k个系数块，φ为的稀疏表示，φ_k为的稀疏表示矩阵的第k列，A_h为高分辨率初始稀疏字典，a_hq为求得的高分辨率稀疏字典表示A_h的第q列，t表示φ中向量的稀疏性，p是原子稀疏性最大值，为任意第k列，||φ_k||₀为φ_k的l⁰范数，||a_hq||₂为a_hq的l²范数，||ψa_hq||₂为ψa_hq的l2范数，为求解的l²范数。

4.根据权利要求3所述的一种基于稀疏字典和非下采样Contourlet变换的红外图像超分辨重建方法，其特征在于，字典的训练过程为：

求得最优解，其中,X为红外图像，φ为X的稀疏表示，φ_i为X的稀疏表示矩阵的第i列，A为稀疏字典，a_j为求得的稀疏字典表示A的第j列，t表示φ中向量的稀疏性，p是原子稀疏性最大值，为任意第i列，为任意第j列，为φ_i的l⁰范数，为a_j的l⁰范数，||ψa_j||₂为ψa_j的l²范数，为求解X-ψAφ的l²范数。

5.根据权利要求4所述的一种基于稀疏字典和非下采样Contourlet变换的红外图像超分辨重建方法，其特征在于，用稀疏KSVD方法对上式进行求解，具体步骤为：

1)输入：图像X，稀疏字典基础字典ψ,原子稀疏性最大值p,训练样本稀疏性最大值t,迭代次数k；

2)初始化：稀疏字典表示初始化值A；

3)固定A，用OMP算法求解X中每一块x_i的稀疏表示：

φ_i为x_i的稀疏表示矩阵的第i列，A为稀疏字典，a_i为稀疏字典A的第i列，t表示φ中向量的稀疏性，为φ_i的l⁰范数；

4)逐个对A中原子a和稀疏表示φ_i进行修正；

5)判定终止条件，否则返回3)继续迭代；

6)输出：稀疏字典A,稀疏表示系数φa_j。

6.根据权利要求1或2所述的一种基于稀疏字典和非下采样Contourlet变换的红外图像超分辨重建方法，其特征在于，所述步骤(27)或(35)中，所述的重建过程为：对每一个红外图像插值放大图像的系数块K为单个系数图像中系数块的总数，或每一个红外测试图像插值放大图的系数块K为单个系数图像中系数块的总数，用OMP算法求解下式得到稀疏系数α_k，其中，ε>0表示容许误差，||α_k||₁为α_k的l1范数，为求解ψA_lα_k-B的l2范数，ψ为DCT字典，A_l为低分辨率初始稀疏字典，利用稀疏系数α_k和高分辨率稀疏字典A_h可以得到红外图像高频细节图像的系数块或红外图像高频细节测试图像的系数块即B'＝ψA_hα_k，其中B'为或再将每一个红外图像高频细节图像的系数块或红外图像高频细节测试图像的系数块按它们在系数图像相对应的位置进行串联，得到红外图像高频细节图或红外图像高频细节测试图I_hf ^*，将红外图像插值放大图和红外图像高频细节图逐像素点相加得到初始重建高分辨率红外图像或将红外图像插值放大测试图和红外图像高频细节测试图I_hf ^*逐像素点相加得到初始重建高分辨率红外测试图像I_ho ^*，其中表示第m个红外图像在第0个层，第0个方向上的红外图像插值放大图像的系数块，分别表示第m个红外图像在第1个层，第1个方向；第1个层，第2个方向；第1个层，第3个方向；第1个层，第4个方向上的红外图像插值放大图像的系数块；表示在第0个层，第0个方向上的红外测试图像插值放大图的系数块，分别表示在第1个层，第1个方向；第1个层，第2个方向；第1个层，第3个方向；第1个层，第4个方向上的红外测试图像插值放大图的系数块。