CN103971354A - 低分辨率红外图像重建高分辨率红外图像的方法 - Google Patents

Abstract

本发明公开了一种低分辨率红外图像重建高分辨率红外图像的方法，主要包括：采用双线性插值法对低分辨率红外图像进行上采样，得到高频细节模糊的高分辨率红外图像；分别提取同场景的高频细节模糊的高分辨率红外图像和可见光图像的边缘；将提取的红外图像和可见光图像的边缘分类为相关边缘和非相关边缘；建立红外图像和可见光图像的二次仿射变换关系模型，对红外图像进行高频估计，得到红外图像的高频细节；将红外图像高频细节与边缘模糊的高分辨率红外图像相加作为重建高分辨率红外图像的初始估计值，以此进行多次反向投影迭代，得到重建的高分辨率红外图像。本发明的方法通过实验表明，重建的图像视觉效果更好，接近于原始高分辨率红外图像。

Description

低分辨率红外图像重建高分辨率红外图像的方法

技术领域

本发明涉及红外图像处理技术领域，具体涉及一种将低分辨率红外图像转变成高分辨率红外图像的方法。

背景技术

红外图像反映场景的辐射特性，这种特性能为多个应用领域提供有价值的信息，如监视和远程控制等，但与可见光图像相比，红外图像的质量不令人满意，主要表现在边缘模糊和缺少纹理，空间分辨率有限，所以从红外图像中直接提取足够的信息比较困难。因此提高红外图像的空间分辨率是一个亟待解决的问题。

为了解决红外图像存在的上述问题，人们首先是从硬件方面着手进行研究，试图通过制作高密度小像元尺寸的红外焦平面器件来解决上述问题，但在现有技术条件下，制作高密度小像元尺寸的红外焦平面器件还有一定困难，且成本较高。鉴于此，科技人员改变研究方向，从算法理论方面进行探索，通过软件提高红外图像的分辨率。在软件研究方面，一种具有前景的方法是利用信号处理的方式从单帧或者多帧低分辨图像中获得高分辨图像，称这种方法为超分辨(Super-Resolution,SR)的技术。目前的超分辨技术主要分为两大类：1)基于重建的超分辨，该技术主要是通过对图像的退化过程进行建模，利用低分辨率图像和特定的图像退化模型对高分辨率图像的重建进行约束，得到高分辨率图像。该方法存在先验知识少、重建效果改进潜力不大等问题。2)基于学习的超分辨，是指在高分辨率样本图像的辅助下，对单幅低分辨率图像进行重建，恢复出高分辨率图像。这两种传统的图像重建方法多是利用同一个传感器得到的图像，然而单个传感器获取的图像信息有限，不能提供更加丰富的可利用的图像信息，因此，基于此所重建的红外图像空间分辨率仍不高。

发明内容

针对低分辨率红外图像重建高分辨率红外图像技术的现状与不足，本发明的目的旨在提供一种基于多传感器的低分辨率红外图像重建高分辨率红外图像的新方法，以清晰红外图像边缘，丰富红外图像纹理，提高红外图像的分辨率。

可见光(CCD)图像与红外(IR)图像之间存在很强的相关性和互补性，可见光图像边缘清晰，并且可见光成像系统所成图像分辨率较高，这些正是红外图像很难具备重要特征。本发明的基本思想是借助高分辨率可见光图像来提高红外图像分辨率，基于本发明的基本思想，提出一种利用高分辨率的可见光图像边缘信息提高红外图像分辨率的方法，即基于多传感器的红外图像超分辨方法。

本发明利用高分辨率可见光图像提高红外图像分辨率的主要技术路线为，首先根据纹理掩蔽的自适应边缘提取算法分别提取红外图像和可见光图像的边缘，并根据相似性将提取的边缘分类为相关边缘和非相关边缘，其次利用红外图像与可见光图像在边缘上的二次仿射变换关系对红外图像高频细节进行估计，最后利用迭代反向投影法(IBP)优化得到重建的高分辨率红外图像。

本发明提供的基于多传感器的低分辨率红外图像重建高分辨率红外图像的方法，具体内容主要包括以下步骤：

(1)采用双线性插值法对由红外传感器得到的低分辨率红外图像进行上采样，得到高频细节模糊的高分辨率红外图像；

(2)根据自适应边缘提取算法，分别提取同场景由步骤(1)得到的高频细节模糊的高分辨率红外图像和由可见光传感器得到的可见光图像的边缘；

(3)将步骤(2)提取的同场景红外图像和可见光图像的边缘，根据相关系数分类为相关边缘和非相关边缘；

(4)在步骤(3)得到的相关边缘基础上建立红外图像和可见光图像的二次仿射变换关系模型，根据所建模型结合可见光图像和红外图像的相关边缘对红外图像进行高频估计，得到红外图像的高频细节；

(5)将步骤(4)得到的红外图像高频细节与步骤(1)得到的边缘模糊的高分辨率红外图像相加作为重建高分辨率红外图像的初始估计值，以此为基础进行多次反向投影迭代，得到重建的高分辨率红外图像。

在本发明的上述技术方案中，步骤(1)采用双线性插值法对由红外传感器得到的低分辨率红外图像进行不少于2倍的上采样。上采样的倍数越多越好，但计算的工作量会增大。

在本发明的上述技术方案中，步骤(2)采取下述自适应边缘提取算法提取图像的边缘：

1)分别计算可见光图像和红外图像像素的梯度加权平均值的最大值；

2)由得到的梯度加权平均值的最大值分别计算可见光图像和红外图像边缘强度。

在本发明的上述技术方案中，步骤(3)中用于对图像边缘进行相关性分类的所述相关系数可采用归一化互相关算法来测定。归一化互相关算法具体可采取下述公式进行计算：

$S(i,j)=\left|\frac{\stackrel{\‾}{S_{\mathrm{VIS}}(i,j)S_{\mathrm{IR}}(i,j)}-\stackrel{\‾}{S_{\mathrm{VIS}}(i,j)S_{\mathrm{IR}}(i,j)}}{\sqrt{(\stackrel{\‾}{S_{\mathrm{VIS}}^2(i,j)}-\stackrel{\‾}{S_{\mathrm{VIS}}{(i,j)}^2})(\stackrel{\‾}{S_{\mathrm{IR}}^2(i,j)}-\stackrel{\‾}{S_{\mathrm{IR}}{(i,j)}^2})}}\right|$

式中和分别指以图像边缘像素(i,j)为中心的大小为5×5的可见光和红外图像的加权平均图像块，S(i,j)为相关系数。

在本发明的上述技术方案中，同场景红外图像和可见光图像的边缘相关性可根据下述条件进行判断：当对应的红外图像和可见光图像以边缘像素点为中心的图像块相关系数S大于T_s，且提取的对应图像块的边缘强度T大于T_e，两个条件同时满足，则认为两幅图像对应的边缘图像块相关，否则不相关，其中T_s为相关度常数，T_e为强度常数。

在本发明的上述技术方案中，红外图像和可见光图像二次仿射变换关系模型可根据下述条件建立：对应的红外图像和可见光图像以边缘像素点为中心的图像块相关系数大于0.05，且提取的图像块的边缘强度大于0.05，则对应的红外图像和可见光图像的边缘图像块之间进行二次仿射变换。

在本发明的上述技术方案中，步骤(4)可具体采取下述方法确定红外图像的高频细节：

1)确定估算平方误差函数；

2)根据平方误差函数的近似形式来计算相关边缘二次仿射变换的参数；

3)由相关边缘二次仿射变换的参数计算红外图像的高频细节。

所述估算平方误差的函数可由下述公式来确定：

$\begin{array}{c}E(a,b,c,\mathrm{\σ})=\left|\right|K_{k,l}{x}_{\mathrm{IR}}-({\mathrm{aH}}_{\mathrm{\σ}}{K}_{k,l}^2{x}_{\mathrm{VIS}}+{\mathrm{bH}}_{\mathrm{\σ}}{K}_{k,l}{x}_{\mathrm{VIS}}+\mathrm{ce}){\left|\right|}_2^2+{\mathrm{\λ}}_1\·{\left|a\right|}^2+{\mathrm{\λ}}_2{\left|b\right|}^2\\ =\underset{(i,j)}{\mathrm{\Σ}}{\{{\mathrm{ap}}_{\mathrm{VIS},\mathrm{\σ}}^2(i,j)+{\mathrm{bp}}_{\mathrm{VIS},\mathrm{\σ}}(i,j)+c-p_{\mathrm{IR}}(i,j)\}}^2+{\mathrm{\λ}}_1\·{\left|a\right|}^2+{\mathrm{\λ}}_2{\left|b\right|}^2\end{array}$

公式中K_k,l是指对图像以相关边缘像素(k,l)为中心取块操作，H_σ代表高斯模糊核的卷积矩阵，标准差为σ，e代表单位矩阵，a，b，c分别代表相关边缘二次仿射变换中的参数，x_VIS和x_IR分别为可见光图像和红外图像相关边缘的图像块，p_IR代表一个红外图像块，p_VIS,σ代表被标准差为σ的高斯核模糊的可见光图像块，(i,j)代表两类图像块中的像素点。λ₁|a|²和λ₂|b|²为正则化项。

在本发明的上述技术方案中，步骤(5)中所述的多次反向投影迭代具体可采取以下方法进行：

1)将估计值的高频h_k,l累加到边缘模糊的高分辨率红外图像作为高分辨图像初始估计值

2)模拟低分辨率图像产生过程：

$l_k^{\left(n\right)}=(D_k\left(h^{\left(n\right)}\right)*q)\↓$

式中h⁽ⁿ⁾为第n次迭代后的高分辨图像；为通过h⁽ⁿ⁾产生的第K幅模拟低分辨率图像；D_k表示第K幅图像的运动矩阵；↓是下采样过程；q是前向投影算子，将带入上式进行第一次迭代；

3)迭代生成高分辨率图像：

$h^{(n+1)}=h^{\left(n\right)}+\mathrm{\λ}\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{D}_k^{-1}((l_k-l_k^{\left(n\right)})\↑)*p$

式中↑是上采样过程；λ是松弛因子，控制迭代步长；p是反投影算子；

4)判断误差是否满足要求：

$e^{\left(n\right)}=\sqrt{\underset{k}{\mathrm{\Σ}}\underset{(x,y)}{\mathrm{\Σ}}{(l_k(x,y)-l_k^{\left(n\right)}(x,y))}^2}\≤\mathrm{\μ}$

式中μ为误差阈值；

5)重复以上2～4计算过程进行多次反向投影迭代，得到满足误差要求的重建高分辨率红外图像。

发明人在由低分辨率红外图像重建高分辨率红外图像时发现，图像超分辨重建很大程度上依赖于边缘细节信息，边缘信息丰富则超分辨重建图像会有更加理想的分辨率。为了更好地提取边缘细节，使超分辨重建结果更加理想，本发明采用自适应边缘提取方法提取边缘，该方法考虑边缘的方向信息，对最大的梯度方向边缘加权，获取的边缘更加清晰且噪声相对较小，且能够自适应地调节阈值。

同一场景的红外图像和可见光图像之间存在互补性和相关性，发明人基于这样的认识，为了利用相关区域信息提高红外图像分辨率，避免非相关图像块对红外超分辨重建结果造成影响，将存在相关性的图像边缘提取出来，本发明在图像边缘提取算法中，为了对边缘像素进行分类，特别采取了以边缘像素为中心的图像块为处理单元。

不同传感器获取的图像在局部邻域内存在仿射变换关系，红外图像边缘区域十分复杂，局部领域仿射变换不只是一次线性关系，还存在二次仿射关系。发明人基于这样的认识，提出了采用二次仿射变换模型建立红外图像与可见光图像之间关系，并由此获得红外图像的高频细节，最后用迭代反投影法优化得到重建的高分辨率红外图像。

图像边缘对于人类视觉至关重要，而且边缘区域的重建是图像超分辨重建效果好坏的关键。图像超分辨重建算法主要重建图像的高频信息，而高频信息对应于图像的边缘区域，因此提取边缘细节区域对算法至关重要。发明人基于这样的认识，为了提取边缘，本发明采用一种自适应边缘提取算法，该算法能够有效克服光照不均对边缘提取的影响。

高频图像通常利用估计的高频图像块的简单拼接的方法得到，但是由于估计的高频块可能包含异常块，所以这种简单的平均拼接会导致高频图像的变形失真。估计的高频图像块的异常主要原因是可见光图像中的细微的纹理和细节信息会与边缘信息一起通过二次仿射变换到红外图像。发明人基于这样的认识，为了减少异常图像块对高频图像的影响，本发明采取迭代反投影法进行优化而不是简单的拼接。

本发明在对相关边缘进行高频估计后，将估计的红外图像高频细节与边缘模糊的红外图像相加作为高分辨图像初始估计，以此为基础进行多次反向投影迭代，最后得到重建的高分辨率红外图像。

本发明可以带来以下效果：

本发明提出一种利用高分辨可见光图像提高红外图像分辨率的方法,该方法首先根据纹理掩蔽的自适应边缘提取算法分别提取红外图像和可见光图像边缘，然后根据边缘的相似性将边缘分类为相关边缘和非相关边缘，其次建立红外图像与可见光图像相关边缘二次仿射变换关系模型，并利用该模型对红外图像高频细节进行估计，最后利用迭代反向投影法(IBP)优化得到重建红外图像。实验表明该算法具有较好的性能，重建出的高分辨红外图像取得较好的结果。

本发明提出的基于多传感器的低分辨率红外图像重建高分辨率红外图像的方法，一是利用了可见光图像信息提高红外图像分辨率，二是利用了超分辨重建技术改善红外图像的分辨率，以实现突破现有的红外成像系统固有的分辨率。实验结果证明，本发明的方法提高了红外图像的分辨率，且重建图像质量较高。

本发明提出了一种新的多传感器超分辨重建红外图像方法，该方法首先针对传统方法中边缘提取的细节不完善的缺点，提出采用自适应边缘提取方法，该方法考虑边缘的方向信息，对最大的梯度方向边缘加权，获取的边缘更加清晰且噪声相对较小，有效消除了光照不均对边缘提取的影响，使超分辨重建结果更加理想。另外，本发明提出了二次仿射变换关系模型建立红外图像和可见光图像的关系。实验结果表明，重建的图像具有更好的视觉效果，接近于原始高分辨率红外图像。

附图说明

图1为本发明方法的流程示意框图。

图2为本发明实验所用图像，其中(a)为可见光图像，(b)为红外图像。

图3为实验所用的低分辨率红外图像输入图。

图4为实验重建的超分辨率红外图像效果图。

具体实施方式

下面结合具体实验对本发明进行详细说明，但不应理解为是对本发明保护范围的任何限定。

本发明进行了具体实验来验证所提算法的有效性。图2实验用图为白天居民区的红外图像，高分辨率可见光图像和高分辨率红外图像为已配准的同场景图像。

第一步，将高分辨率的红外图像进行降质处理，即2倍下采样，如图3所示，然后采用双线性插值法进行2倍上采样，得到高频细节模糊的红外图像参与下一步运算。

第二步，分别提取高分辨率可见光图像和高频细节模糊的红外图像边缘。

1)计算像素(x,y)的梯度加权平均值grad_k(x,y)，计算公式如下：

${\mathrm{grad}}_k(x,y)=\frac{1}{16}\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}I(x-3+i,y-3+j)\×g_k(i,j)---\left(1\right)$

公式中g_k(i,j)为自适应边缘提取的四个方向的高通滤波器，其大小为5×5，I(x,y)为图像中大小5×5的图像块；

2)求出像素(x,y)的梯度加权平均的最大值G(x,y)，计算方式如下：

$G(x,y)=\underset{k=\mathrm{1,2,3,4}}{\max }\left\{{\mathrm{gard}}_k(x,y)\right\}---\left(2\right)$

3)采用自适应边缘提取算法计算边缘强度：

T(x,y)＝wL(x,y)G(x,y)-ηL(x,y) (3)

公式中，T(x,y)为边缘强度，L(x,y)为图像背景亮度，w和η为权重系数，实验中ω取0.01，η取0.01。

第三步，将第二步提取的两幅图像边缘分类为相关边缘和非相关边缘。

1)采用归一化互相关方法来测定二者边缘像素的相似度：

$S(i,j)=\left|\frac{\stackrel{\‾}{S_{\mathrm{VIS}}(i,j)S_{\mathrm{IR}}(i,j)}-\stackrel{\‾}{S_{\mathrm{VIS}}(i,j)S_{\mathrm{IR}}(i,j)}}{\sqrt{(\stackrel{\‾}{S_{\mathrm{VIS}}^2(i,j)}-\stackrel{\‾}{S_{\mathrm{VIS}}{(i,j)}^2})(\stackrel{\‾}{S_{\mathrm{IR}}^2(i,j)}-\stackrel{\‾}{S_{\mathrm{IR}}{(i,j)}^2})}}\right|---\left(4\right)$

公式中和分别指以图像边缘像素(i,j)为中心的大小为5×5的可见光和红外图像的加权平均图像块，S(i,j)为相关系数；

2)判断相关性。当对应边缘像素点为中心的图像块的相关系数S大于T_s，且第二步中提取的图像块的边缘强度T大于T_e，两个条件同时满足，则认为两幅图像对应的边缘图像块相关，得到相关边缘。实验中T_s取0.05，T_e取0.05。

第四步，将相关边缘进行高频估计获得红外图像高频细节。

1)估算平方误差函数：

$\begin{array}{c}E(a,b,c,\mathrm{\σ})=\left|\right|K_{k,l}{x}_{\mathrm{IR}}-({\mathrm{aH}}_{\mathrm{\σ}}{K}_{k,l}^2{x}_{\mathrm{VIS}}+{\mathrm{bH}}_{\mathrm{\σ}}{K}_{k,l}{x}_{\mathrm{VIS}}+\mathrm{ce}){\left|\right|}_2^2+{\mathrm{\λ}}_1\·{\left|a\right|}^2+{\mathrm{\λ}}_2{\left|b\right|}^2\\ =\underset{(i,j)}{\mathrm{\Σ}}{\{{\mathrm{ap}}_{\mathrm{VIS},\mathrm{\σ}}^2(i,j)+{\mathrm{bp}}_{\mathrm{VIS},\mathrm{\σ}}(i,j)+c-p_{\mathrm{IR}}(i,j)\}}^2+{\mathrm{\λ}}_1\·{\left|a\right|}^2+{\mathrm{\λ}}_2{\left|b\right|}^2\end{array}---\left(5\right)$

公式中K_k,l是指对图像以相关边缘像素(k,l)为中心取块操作，H_σ代表高斯模糊核的卷积矩阵，标准差为σ，e代表单位矩阵，a，b，c分别代表相关边缘二次仿射变换中的参数，x_VIS和x_IR分别为可见光图像和红外图像相关边缘的图像块，其大小为5×5。p_IR代表一个红外图像块，p_VIS,σ代表被标准差为σ的高斯核模糊的可见光图像块，(i,j)代表两类图像块中的像素点。λ₁|a|²和λ₂|b|²为正则化项，实验中取图像块的大小为5×5，σ为2，λ₁和λ₂取0.5；

2)取σ_c＝0.8，通过下面近似形式来计算a，b，c：

$\begin{array}{c}{\∂E/\∂a|}_{\mathrm{\σ}={\mathrm{\σ}}_c}=0,{\∂E/\∂b|}_{\mathrm{\σ}={\mathrm{\σ}}_c}=0,{\∂E/\∂c|}_{\mathrm{\σ}={\mathrm{\σ}}_c}=0\⇒\\ \left(\begin{array}{c}a\\ b\\ c\end{array}\right)={\left(\begin{array}{c}\underset{(i,j)}{\mathrm{\Σ}}{P}_{\mathrm{VIS},{\mathrm{\σ}}_c}^4+{\mathrm{\λ}}_1,\underset{(i,j)}{\mathrm{\Σ}}{P}_{\mathrm{VIS},{\mathrm{\σ}}_c}^3,\underset{(i,j)}{\mathrm{\Σ}}{P}_{\mathrm{VIS},{\mathrm{\σ}}_c}^2\\ \underset{(i,j)}{\mathrm{\Σ}}{P}_{\mathrm{VIS},{\mathrm{\σ}}_c}^3,\underset{(i,j)}{\mathrm{\Σ}}{P}_{\mathrm{VIS},{\mathrm{\σ}}_c}^2+{\mathrm{\λ}}_2,\underset{(i,j)}{\mathrm{\Σ}}{P}_{\mathrm{VIS},{\mathrm{\σ}}_c}\\ \underset{(i,j)}{\mathrm{\Σ}}{P}_{\mathrm{VIS},{\mathrm{\σ}}_c}^2,\underset{(i,j)}{\mathrm{\Σ}}{P}_{\mathrm{VIS},{\mathrm{\σ}}_c},\underset{(i,j)}{\mathrm{\Σ}}1\end{array}\right)}^{-1}\end{array}\×\left(\begin{array}{c}\underset{(i,j)}{\mathrm{\Σ}}{P}_{\mathrm{VIS},{\mathrm{\σ}}_c}^2{P}_{\mathrm{IR}}\\ \underset{(i,j)}{\mathrm{\Σ}}{P}_{\mathrm{VIS},{\mathrm{\σ}}_c}{P}_{\mathrm{IR}}\\ \underset{(i,j)}{\mathrm{\Σ}}{P}_{\mathrm{IR}}\end{array}\right)---\left(6\right)$

3)取σ_l＝0.3，计算红外图像的高频细节：

$h_{k,l}={\mathrm{aH}}_{{\mathrm{\σ}}_1}{K}_{k,l}^2{x}_{\mathrm{VIS}}+{\mathrm{bH}}_{{\mathrm{\σ}}_l}{K}_{k,l}{x}_{\mathrm{VIS}}+c-K_{k,l}{x}_{\mathrm{IR}}---\left(7\right)$

公式中h_k,l即为待求解的高分辨率红外图像的高频细节。

第五步，迭代反投影法得到重建的高分辨率红外图像。

1)将估计的高频h_k,l累加到边缘模糊的高分辨率红外图像作为高分辨图像初始估计

2)模拟低分辨率图像产生过程(前向投影)：

$l_k^{\left(n\right)}=(D_k\left(h^{\left(n\right)}\right)*q)\↓---\left(\text{8}\right)$

公式中h⁽ⁿ⁾为第n次迭代后的高分辨图像；为通过h⁽ⁿ⁾产生的第K幅模拟低分辨率图像；D_k表示第K幅图像的运动矩阵；↓是下采样过程；q是前向投影算子。将带入上式进行第一次迭代；

3)迭代生成高分辨率图像的(反向投影修正)：

$h^{(n+1)}=h^{\left(n\right)}+\mathrm{\λ}\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{D}_k^{-1}((l_k-l_k^{\left(n\right)})\↑)*p---\left(9\right)$

公式中↑是上采样过程；λ是松弛因子，控制迭代步长；p是反投影算子；

4)判断误差是否满足要求：

$e^{\left(n\right)}=\sqrt{\underset{k}{\mathrm{\Σ}}\underset{(x,y)}{\mathrm{\Σ}}{(l_k(x,y)-l_k^{\left(n\right)}(x,y))}^2}\≤\mathrm{\μ}---\left(10\right)$

公式中μ为误差阈值；

5)重复以上2～4计算过程进行6次反向投影迭代，得到满足误差要求的重建高分辨率红外图像

实验表明该算法具有较好的性能，图像噪声较小，十分逼真。如图4所示，重建出的高分辨率红外图像质量较好，高频细节清晰，接近于原始高分辨率红外图像。

Claims (10)

1.一种低分辨率红外图像重建高分辨率红外图像的方法，其特征主要包括以下步骤：

(1)采用双线性插值法对由红外传感器得到的低分辨率红外图像进行上采样，得到高频细节模糊的高分辨率红外图像；

(2)根据自适应边缘提取算法，分别提取同场景由步骤(1)得到的高频细节模糊的高分辨率红外图像和由可见光传感器得到的可见光图像的边缘；

(3)将步骤(2)提取的同场景红外图像和可见光图像的边缘，根据相关系数分类为相关边缘和非相关边缘；

(4)在步骤(3)得到的相关边缘基础上建立红外图像和可见光图像的二次仿射变换关系模型，根据所建模型结合可见光图像和红外图像的相关边缘对红外图像进行高频估计，得到红外图像的高频细节；

(5)将步骤(4)得到的红外图像高频细节与步骤(1)得到的边缘模糊的高分辨率红外图像相加作为重建高分辨率红外图像的初始估计值，以此为基础进行多次反向投影迭代，得到重建的高分辨率红外图像。

2.根据权利要求1所述的低分辨率红外图像重建高分辨率红外图像的方法，其特征在于，步骤(1)采用双线性插值法对由红外传感器得到的低分辨率红外图像进行不少于2倍的上采样。

3.根据权利要求1所述的低分辨率红外图像重建高分辨率红外图像的方法，其特征在于，步骤(2)采取下述自适应边缘提取算法提取图像的边缘：

1)分别计算可见光图像和红外图像像素的梯度加权平均值的最大值；

2)由得到的梯度加权平均值的最大值分别计算可见光图像和红外图像边缘强度。

4.根据权利要求1所述的低分辨率红外图像重建高分辨率红外图像的方法，其特征在于，步骤(3)中用于对图像边缘进行相关性分类的所述相关系数采用归一化互相关算法来测定。

5.根据权利要求4所述的低分辨率红外图像重建高分辨率红外图像的方法，其特征在于，所述归一化互相关算法公式如下：

$S(i,j)=\left|\frac{\stackrel{\‾}{S_{\mathrm{VIS}}(i,j)S_{\mathrm{IR}}(i,j)}-\stackrel{\‾}{S_{\mathrm{VIS}}(i,j)S_{\mathrm{IR}}(i,j)}}{\sqrt{(\stackrel{\‾}{S_{\mathrm{VIS}}^2(i,j)}-\stackrel{\‾}{S_{\mathrm{VIS}}{(i,j)}^2})(\stackrel{\‾}{S_{\mathrm{IR}}^2(i,j)}-\stackrel{\‾}{S_{\mathrm{IR}}{(i,j)}^2})}}\right|$

式中和分别指以图像边缘像素(i,j)为中心的大小为5×5的可见光和红外图像的加权平均图像块，S(i,j)为相关系数。

6.根据权利要求5所述的低分辨率红外图像重建高分辨率红外图像的方法，其特征在于，同场景红外图像和可见光图像的边缘相关性判断条件为：当对应的红外图像和可见光图像以边缘像素点为中心的图像块相关系数S大于T_s，且提取的对应图像块的边缘强度T大于T_e，两个条件同时满足，则认为两幅图像对应的边缘图像块相关，否则不相关，其中T_s为相关度常数，T_e为强度常数。

7.根据权利要求6所述的低分辨率红外图像重建高分辨率红外图像的方法，其特征在于，建立红外图像和可见光图像二次仿射变换关系模型的条件为：对应的红外图像和可见光图像以边缘像素点为中心的图像块相关系数大于0.05，且提取的图像块的边缘强度大于0.05，则对应的红外图像和可见光图像的边缘图像块之间进行二次仿射变换。

8.根据权利要求1所述的低分辨率红外图像重建高分辨率红外图像的方法，其特征在于，步骤(4)采取下述方法确定红外图像的高频细节：

1)确定估算平方误差函数；

2)根据平方误差函数的近似形式来计算相关边缘二次仿射变换的参数；

3)由相关边缘二次仿射变换的参数计算红外图像的高频细节。

9.根据权利要求8所述的低分辨率红外图像重建高分辨率红外图像的方法，其特征在于，所述估算平方误差函数为：

$\begin{array}{c}E(a,b,c,\mathrm{\σ})=\left|\right|K_{k,l}{x}_{\mathrm{IR}}-({\mathrm{aH}}_{\mathrm{\σ}}{K}_{k,l}^2{x}_{\mathrm{VIS}}+{\mathrm{bH}}_{\mathrm{\σ}}{K}_{k,l}{x}_{\mathrm{VIS}}+\mathrm{ce}){\left|\right|}_2^2+{\mathrm{\λ}}_1\·{\left|a\right|}^2+{\mathrm{\λ}}_2{\left|b\right|}^2\\ =\underset{(i,j)}{\mathrm{\Σ}}{\{{\mathrm{ap}}_{\mathrm{VIS},\mathrm{\σ}}^2(i,j)+{\mathrm{bp}}_{\mathrm{VIS},\mathrm{\σ}}(i,j)+c-p_{\mathrm{IR}}(i,j)\}}^2+{\mathrm{\λ}}_1\·{\left|a\right|}^2+{\mathrm{\λ}}_2{\left|b\right|}^2\end{array}$

公式中K_k,l是指对图像以相关边缘像素(k,l)为中心取块操作，H_σ代表高斯模糊核的卷积矩阵，标准差为σ，e代表单位矩阵，a，b，c分别代表相关边缘二次仿射变换中的参数，x_VIS和x_IR分别为可见光图像和红外图像相关边缘的图像块，p_IR代表一个红外图像块，p_VIS,σ代表被标准差为σ的高斯核模糊的可见光图像块，(i,j)代表两类图像块中的像素点。λ₁|a|²和λ₂|b|²为正则化项。

10.根据权利要求1所述的低分辨率红外图像重建高分辨率红外图像的方法，其特征在于，步骤(5)中所述的多次反向投影迭代过程如下：

1)将估计值的高频h_k,l累加到边缘模糊的高分辨率红外图像作为高分辨图像初始估计值

2)模拟低分辨率图像产生过程：

$l_k^{\left(n\right)}=(D_k\left(h^{\left(n\right)}\right)*q)\↓$

式中h⁽ⁿ⁾为第n次迭代后的高分辨图像；为通过h⁽ⁿ⁾产生的第K幅模拟低分辨率图像；D_k表示第K幅图像的运动矩阵；↓是下采样过程；q是前向投影算子，将带入上式进行第一次迭代；

3)迭代生成高分辨率图像：

$h^{(n+1)}=h^{\left(n\right)}+\mathrm{\λ}\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{D}_k^{-1}((l_k-l_k^{\left(n\right)})\↑)*p$

式中↑是上采样过程；λ是松弛因子，控制迭代步长；p是反投影算子；

4)判断误差是否满足要求：

$e^{\left(n\right)}=\sqrt{\underset{k}{\mathrm{\Σ}}\underset{(x,y)}{\mathrm{\Σ}}{(l_k(x,y)-l_k^{\left(n\right)}(x,y))}^2}\≤\mathrm{\μ}$

式中μ为误差阈值；

5)重复以上2～4计算过程进行多次反向投影迭代，得到满足误差要求的重建高分辨率红外图像。