CN105069769A - 一种微光与红外夜视图像融合方法 - Google Patents

Abstract

本发明公开了一种微光与红外夜视图像融合方法，其步骤如下：步骤一、针对同一目标场景，分别采集原微光图像和原红外图像；步骤二、对采集到的原微光与红外图像分别进行去噪处理；步骤三、利用基于边缘特征的图像配准方法将去噪后的微光与红外图像进行有效精确的配准；步骤四、利用小波变换法对配准后的图像进行图像融合。本发明将微光夜视图像与红外夜视图像进行融合，充分发挥二者的优点，增加夜视系统的多功能优势，使观察者能够得到某一场景更准确、全面、可靠的图像信息。该方法不仅获得了具有超高质量的融合图像，同时还具有较高的融合速度。

Description

一种微光与红外夜视图像融合方法

技术领域

本发明属于图像处理技术领域，涉及一种图像配准和图像融合技术，尤其是涉及一种微光与红外夜视图像融合的方法。

背景技术

微光夜视仪的优点是视觉感受接近可见光，能很好地识别对于可见光反射率不一样的物体，层次感较强，缺点是对于温度不敏感，难以探测到隐蔽的目标，微光视距受气候、环境条件的影响较大，视距较近；红外热成像仪的优点是对于温度很敏感，能很好地探测到温差目标，且探测距离远，有穿透烟雾等能力，识别伪装能力强，缺点是图像层次感不强，对于温度很接近的场景目标难以识别。把微光与红外两种传感器的图像进行融合，使信息得到互补，能增强场景理解，突出目标，有利于在隐藏、伪装和迷惑的军用背景下更快更精确地探测目标，同时将融合图像显示成适合人眼观察的自然形式，可明显改善人眼的识别性能，减少操作者的疲劳感。

图像融合是以图像为研究对象的信息融合，它把对同一目标或场景的用不同传感器获得的不同图像，或用同种传感器以不同成像方式或在不同成像时间获得的不同图像，融合成一幅图像，在这一幅图像中能反映多重原始图像的信息，以达到对目标和场景的综合描述，使之更适合视觉感知或计算机处理。

红外/微光图像融合技术已经广泛地应用于军事领域，它将微光图像场景细节丰富、红外图像目标和背景对比度强的优点综合到一幅图像中，从而使观察者能够得到某一场景更准确、全面、可靠的图像信息。然而，融合后所得到的图像质量以及融合速度仍然具有很大的提升空间。

发明内容

本发明的目的是提供一种微光与红外夜视图像融合的方法，该方法不仅获得了具有超高质量的融合图像，同时还具有较高的融合速度。

本发明解决其技术问题所采用的技术方案如下：

一种微光与红外夜视图像融合的方法，包括以下步骤：

步骤一、针对同一目标场景，分别采集原微光图像和原红外图像。

步骤二、对采集到的原微光与红外图像分别进行去噪处理：

设含有噪声的图像为g，其大小为P×Q个像素，滤波输出图像为f。对含噪声图像进行从左到右从上到下的滤波。

(1)检测噪声类型

首先，以噪声图像g中像素(i，j)为中心选取像素为3×3窗口S_pq，求出滤波窗内像素的方差：

${\mathrm{\σ}}^2=\frac{1}{9}\underset{q=-1}{\overset{1}{\Σ}}\underset{p=-1}{\overset{1}{\Σ}}{\[I(i-q,j-p)-\mathrm{\μ}\]}^2---\left(1\right),$

式中，I(i，j)表示点(i，j)处的灰度值。

令阈值为T₁，其设置域是滤波窗平均灰度值m的一次函数，即T₁＝-k×m+b，这里取k＝0.15，b＝80。

判断σ²与T₁的大小关系：当σ²＞T₁时，则认为该滤波窗内受到椒盐噪声的污染，执行步骤(2)中的①；当σ²＜T₁时，则认为该滤波窗内受到高斯噪声的污染，执行步骤(2)中的②。

(2)滤波算法

①受椒盐噪声污染滤波算法

a、首先，求出滤波窗内灰度最大值max和最小值min，然后把滤波窗内每个像素的灰度值g(i，j)(i，j∈滤波窗口S_pq)与最大值和最小值进行比较，去除那些等于最大值或最小值的像素点。

b、如果滤波窗内剩余像素不为零，则求出剩余像素的平均值M，并计算平均像素灰度值与滤波窗中点像素灰度值的差的绝对值d＝|M-g(i，j)|。将此绝对值与设定的阈值T₁进行比较，若d＞T₁，则输出剩余像素均值M；若d＜T₁，则输出滤波窗中点像素灰度值g(i，j)。

c、若滤波窗内剩余像素为零，则扩大滤波窗口尺寸为5×5，并重复上述步骤a、b，如果剩余像素仍为零，则图像输出为：

$f(i,j)=\frac{g(i-1,j-1)+g(i-1,j)+g(i-1,j+1)+g(i,j-1)}{4}---\left(2\right).$

②受高斯噪声污染滤波算法

a、首先计算出滤波窗内像素的梯度绝对值：

td＝|g(i-1，j)+g(i，j-1)+g(i，j+1)+g(i+1，j)-4g(i，j)|(3)。

b、若梯度绝对值td大于某一给定的阈值T₂(T₂＝-k×m+b，m为滤波窗平均灰度值，这里取k＝0.3，b＝160)，则直接输出原像素；否则，输出滤波窗像素灰度值均值。

(3)重复步骤(1)和(2)，直至完成所有像素点的滤波处理，最后得到除噪后的图像。

步骤三、利用基于边缘特征的图像配准方法将去噪后的微光与红外图像进行有效精确的配准：

设参考图像为I₁(x，y)，待配准图像为I₂(x，y)，大小同为P×Q个像素，其灰度直方图分别为H₁(n)、H₂(n)，对于每个灰度等级n＝iH₁(n)和H₂(n)分别代表了灰度值为i的像素个数。

(1)利用小波变换法对源图像进行边缘提取，得到边缘图像。

(2)求取

对于I₁(x，y)的每个灰度级n，定义I₂(x，y)相对于I₁(x，y)灰度值为n的对于像素集合的灰度值和方差分别为：

$\stackrel{\‾}{E_{1,2}\left(n\right)}=\frac{1}{H_1\left(n\right)}\underset{I_1(x,y)=n}{\Σ}{I}_2(x,y)---\left(4\right);$

${\mathrm{\σ}}_{1,2}^2\left(n\right)=\frac{1}{H_1\left(n\right)}\underset{I_1(x,y)=n}{\Σ}{\[I_2(x,y)-\stackrel{\‾}{E_{1,2}\left(n\right)}\]}^2---\left(5\right).$

对于I₂(x，y)的每个灰度级n，定义I₁(x，y)相对于I₂(x，y)灰度值为n的对于像素集合的灰度值和方差分别为：

$\stackrel{\‾}{E_{2,1}\left(n\right)}=\frac{1}{H_2\left(n\right)}\underset{I_2(x,y)=n}{\Σ}{I}_1(x,y)---\left(6\right);$

${\mathrm{\σ}}_{2,1}^2\left(n\right)=\frac{1}{H_2\left(n\right)}\underset{I_2(x,y)=n}{\Σ}{\[I_1(x,y)-\stackrel{\‾}{E_{2,1}\left(n\right)}\]}^2---\left(7\right).$

(3)计算I₁(x，y)和I₂(x，y)的期望方差和

$\stackrel{\‾}{{\mathrm{\σ}}_{1,2}^2}=\underset{n}{\Σ}\frac{H_1\left(n\right)}{P\×Q}{\mathrm{\σ}}_{1,2}^2\left(n\right)---\left(8\right);$

$\stackrel{\‾}{{\mathrm{\σ}}_{2,1}^2}=\underset{n}{\Σ}\frac{H_2\left(n\right)}{P\×Q}{\mathrm{\σ}}_{2,1}^2\left(n\right)---\left(9\right).$

(4)求得两幅图像的交互方差CI及其倒数AM：

两幅图像的交互方差CI的定义为：

$CI\[I_1{I}_2\]=\stackrel{\‾}{\frac{{\mathrm{\σ}}_{1,2}^2}{{\mathrm{\σ}}_2^2}}+\stackrel{\‾}{\frac{{\mathrm{\σ}}_{2,1}^2}{{\mathrm{\σ}}_1^2}}---\left(10\right);$

$AM\[I_1{I}_2\]=\frac{1}{CI\[I_1{I}_2\]}=\frac{1}{\frac{\stackrel{\‾}{{\mathrm{\σ}}_{1,2}^2}}{{\mathrm{\σ}}_2^2}+\frac{\stackrel{\‾}{{\mathrm{\σ}}_{2,1}^2}}{{\mathrm{\σ}}_1^2}}=\frac{{\mathrm{\σ}}_1^2{\mathrm{\σ}}_2^2}{\stackrel{\‾}{{\mathrm{\σ}}_{1,2}^2}{\mathrm{\σ}}_1^2+\stackrel{\‾}{{\mathrm{\σ}}_{2,1}^2}{\mathrm{\σ}}_2^2}---\left(11\right);$

式中，CI[I₁I₂]为两幅图像的交互方差，AM[I₁I₂]为交互方差CI的倒数，分别为图像I₁(x，y)和I₂(x，y)的方差，其计算公式如下所示：

$\begin{array}{cc}{\mathrm{\σ}}_1^2=\frac{1}{PQ}\underset{(x,y)}{\Σ}{\[I_1(x,y)-{\mathrm{\μ}}_1\]}^2& {\mathrm{\μ}}_1=\frac{1}{PQ}\underset{(x,y)}{\Σ}{I}_1(x,y)\end{array}---\left(12\right);$

$\begin{array}{cc}{\mathrm{\σ}}_2^2=\frac{1}{PQ}\underset{(x,y)}{\Σ}{\[I_2(x,y)-{\mathrm{\μ}}_2\]}^2& {\mathrm{\μ}}_2=\frac{1}{PQ}\underset{(x,y)}{\Σ}{I}_2(x,y)\end{array}---\left(13\right).$

(5)使用仿射变换模型，在不同参数(平移、旋转)条件下，反复计算两幅图像的AM。

(6)搜索出AM最大时对应的参数，此参数就是要求的配准参数。

(7)按照得到的配准参数及仿射变换模型校正待配准图像，得到最终配准图像。

步骤四、利用小波变换法对配准后的图像进行图像融合：

将配准后的微光与红外图像分别设为A、B，经过融合后的图像设为F。该图像融合算法主要步骤如下：

(1)对每一幅源图像分别进行小波分解；

(2)对各分解层分别用不同的融合算子和规则进行处理：

①低频部分

采用基于区域的算子，以低频部分的每一像素点为区域中心，分别计算两幅图像中与该像素点对应的局部区域S_lq(其大小取为l×q个像素)的方差V_k，A和V_k，B，则有：

式中，C_k，A和C_k，B分别为微光图像A和红外图像B中低频部分某一像素点的灰度值，C_k，F为融合图像F中相应像素点的灰度值。

②高频部分

采用基于区域能量法对三个方向的高频部分进行处理。

a、分别计算不同分辨率下两幅图像对应局部区域S_lp(其大小为l×p个像素)的能量及φε＝1，2，3即：

$E_j^{\left(\mathrm{\ϵ}\right)}=\underset{m^{\′}\∈l}{\Σ}\underset{n^{\′}\∈p}{\Σ}W(m^{\′},n^{\′}){\[D_j^{\left(\mathrm{\ϵ}\right)}\left(\right(m+m^{\′}),(n+n^{\′}\left)\right)\]}^2---\left(15\right),$

式中，W(m′，n′)为加权系数，l×p为局部区域的大小，D(m，n)为点(m，n)处的灰度值。

b、计算两幅图像对应区域的匹配度，其定义为：

$M_{j,AB}^{\left(\mathrm{\ϵ}\right)}=\frac{2\underset{m^{\′}\∈l}{\Σ}\underset{n^{\′}\∈p}{\Σ}W(m^{\′},n^{\′})D_{j,A}^{\left(\mathrm{\ϵ}\right)}\left(\right(m+m^{\′}),(n+n^{\′}\left)\right)D_{j,B}^{\left(\mathrm{\ϵ}\right)}\left(\right(m+m^{\′}),(n+n^{\′}\left)\right)}{E_{j,A}^{\left(\mathrm{\ϵ}\right)}+E_{j,B}^{\left(\mathrm{\ϵ}\right)}}---\left(16\right),$

式中，为图像A、B对应区域的匹配度，和分别为两幅图像对应局部区域S_lp的能量，和分别为两幅图像点(m，n)处的灰度值。

c、定义一个匹配度阈值α(α通常取0.5～1.0，这里取0.6)，

若则：

$\left\{\begin{array}{cc}{D}_{j,F}^{\left(\mathrm{\&epsiv;}\right)}=D_{j,A}^{\left(\mathrm{\&epsiv;}\right)}& E_{j,A}^{\left(\mathrm{\&epsiv;}\right)}\&GreaterEqual;E_{j,B}^{\left(\mathrm{\&epsiv;}\right)}\\ D_{j,F}^{\left(\mathrm{\&epsiv;}\right)}=D_{j,B}^{\left(\mathrm{\&epsiv;}\right)}& E_{j,A}^{\left(\mathrm{\&epsiv;}\right)}<E_{j,B}^{\left(\mathrm{\&epsiv;}\right)}\end{array}\right.---\left(17\right);$

式中，和分别为微光图像A和红外图像B中高频部分某一像素点的灰度值，为融合图像F中相应像素点的灰度值。

若则：

$\left\{\begin{array}{cc}{D}_{j,F}^{\left(\mathrm{\&epsiv;}\right)}=W_{j,L}^{\left(\mathrm{\&epsiv;}\right)}{D}_{j,A}^{\left(\mathrm{\&epsiv;}\right)}+W_{j,L}^{\left(\mathrm{\&epsiv;}\right)}{D}_{j,B}^{\left(\mathrm{\&epsiv;}\right)}& E_{j,A}^{\left(\mathrm{\&epsiv;}\right)}\&GreaterEqual;E_{j,B}^{\left(\mathrm{\&epsiv;}\right)}\\ D_{j,F}^{\left(\mathrm{\&epsiv;}\right)}=W_{j,S}^{\left(\mathrm{\&epsiv;}\right)}{D}_{j,A}^{\left(\mathrm{\&epsiv;}\right)}+W_{j,S}^{\left(\mathrm{\&epsiv;}\right)}{D}_{j,B}^{\left(\mathrm{\&epsiv;}\right)}& E_{j,A}^{\left(\mathrm{\&epsiv;}\right)}<E_{j,B}^{\left(\mathrm{\&epsiv;}\right)}\end{array}\right.---\left(18\right);$

式中：

$W_{j,S}^{\left(\mathrm{\&epsiv;}\right)}=\frac{1}{2}-\frac{1}{2}\left(\frac{1-M_{j,AB}^{\left(\mathrm{\&epsiv;}\right)}}{1-\mathrm{\&alpha;}}\right)---\left(19\right);$

$W_{j,L}^{\left(\mathrm{\&epsiv;}\right)}=1-W_{j,S}^{\left(\mathrm{\&epsiv;}\right)}---\left(20\right).$

(3)对融合后的图像数据进行小波逆变换，即可得到融合图像。

本发明与现有技术相比，具有以下优点：

第一，本发明将微光夜视图像与红外夜视图像进行融合，充分发挥二者的优点，增加夜视系统的多功能优势，使观察者能够得到某一场景更准确、全面、可靠的图像信息。

第二，本发明中提出的微光与红外夜视图像融合的方法，不仅能得到具有超高质量的融合图像，还具有较高的融合速度，从而在夜视侦察、遥感、医学、安防监控等军事和民事领域有着广阔的应用前景。

第三，本发明中在对采集到的原微光与红外图像进行去噪处理时提出一种新的自适应混合噪声滤波算法。该算法将中值滤波、均值滤波与阈值选择相结合，不仅能很好地滤除噪声，而且能较好地保护图像的细节。

第四，本发明中在对微光与红外图像进行配准时采用小波变换法对源图像进行边缘提取。由于小波变换可以有效地滤除噪声，提高像素之间的相关性，使得到的边缘点及由边缘点构成的边缘具有多分辨特性，能更加真实地反映图像的特征。

第五，本发明中在对配准后的微光与红外图像进行融合时采用小波变换法对图像进行分解。由于在小波分解过程中图像的数据量不变，同时各层的融合可并行进行，所有其计算速度和所需的存储量都具有很好的优势。

附图说明

图1为微光与红外夜视图像融合方法的流程图；

图2为微光夜视系统结构图；

图3为红外热成像系统结构图；

图4为基于边缘特征的图像配准流程图；

图5为基于小波变换的图像融合流程图。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

本发明提供了一种微光与红外夜视图像融合的方法，如图1所示，包括以下步骤：

S1、针对同一目标场景，分别采集原微光图像和原红外图像。

本发明针对同一目标场景，分别利用微光夜视系统采集原微光图像和红外热成像系统采集原红外图像。其中，微光夜视系统由微光成像物镜、真空光电子成像器件、目镜及集成高压电源组成，如图2所示；红外热成像系统由光学系统、光学机械扫描红外探测器、制冷机、信号处理系输出图像信号显示器等组成，如图3所示。

S2、对采集到的原微光与红外图像分别进行去噪处理。

设含有噪声的图像为g，大小为P×Q，滤波输出为f。对含噪声图像进行从左到右从上到下的滤波。图像去噪过程的具体步骤如下：

S21、检测噪声类型

首先，以噪声图像g中像素(i，j)为中心选取像素为3×3窗口S_pq，求出滤波窗内像素的方差：

${\mathrm{\&sigma;}}^2=\frac{1}{9}\underset{q=-1}{\overset{1}{\&Sigma;}}\underset{p=-1}{\overset{1}{\&Sigma;}}{\&lsqb;I(i-q,j-p)-\mathrm{\&mu;}\&rsqb;}^2,$

式中，I(i，j)表示点(i，j)处的灰度值。

令阈值为T₁，其设置域是滤波窗平均灰度值m的一次函数，即T₁＝-k×m+b，这里取k＝0.15，b＝80。

判断σ²与T₁的大小关系：当σ²＞T₁时，则认为该滤波窗内受到椒盐噪声的污染，执行步骤S221；当σ²＜T₁时，则认为该滤波窗内受到高斯噪声的污染，执行步骤S222。

S22、滤波算法

S221受椒盐噪声污染滤波算法

a、首先，求出滤波窗内灰度最大值max和最小值min，然后把滤波窗内每个像素的灰度值g(i，j)(i，j∈滤波窗口S_pq)与最大值和最小值进行比较，去除那些等于最大值或最小值的像素点。

b、如果滤波窗内剩余像素不为零，则求出剩余像素的平均值M，并计算平均像素灰度值与滤波窗中点像素灰度值的差的绝对值d＝|M-g(i，j)|。将此绝对值与设定的阈值T₁进行比较，若d＞T₁，则输出剩余像素均值M；若d＜T₁，则输出滤波窗中点像素灰度值g(i，j)。

c、若滤波窗内剩余像素为零，则扩大滤波窗口尺寸为5×5，并重复上述步骤a、b，。如果剩余像素仍为零则图像输出为：

$f(i,j)=\frac{g(i-1,j-1)+g(i-1,j)+g(i-1,j+1)+g(i,j-1)}{4}.$

S222受高斯噪声污染滤波算法

首先计算出滤波窗内像素的梯度绝对值：

td＝|g(i-1，j)+g(i，j-1)+g(i，j+1)+g(i+1，j)-4g(i，j)|。

若梯度绝对值td大于某一给的的阈值T₂(T₂＝-k×m+b，m为滤波窗平均灰度值，这里取k＝0.3，b＝160)，则直接输出原像素；否则，输出滤波窗像素灰度值均值。

S23、重复上述步骤(1)和(2)，直至完成所有像素点的滤波处理，最后得到除噪后的图像。

S3、利用基于边缘特征的图像配准方法将去噪后的微光与红外图像进行有效精确的配准；

基于边缘特征的图像配准流程图如图4所示，具体算法主要如下：

设参考图像为I₁(x，y)，待配准图像为I₂(x，y)，大小同为P×Q个像素，其灰度直方图分别为H₁(n)、H₂(n)，对于每个灰度等级n＝iH₁(n)和H₂(n)分别代表了灰度值为i的像素个数。

S31、利用小波变换法对源图像进行边缘提取，得到边缘图像；

S32、求取

对于I₁(x，y)的每个灰度级n，定义I₂(x，y)相对于I₁(x，y)灰度值为n的对于像素集合的灰度值和方差分别为：

$\stackrel{\&OverBar;}{E_{1,2}\left(n\right)}=\frac{1}{H_1\left(n\right)}\underset{I_1(x,y)=n}{\&Sigma;}{I}_2(x,y);$

${\mathrm{\&sigma;}}_{1,2}^2\left(n\right)=\frac{1}{H_1\left(n\right)}\underset{I_1(x,y)=n}{\&Sigma;}{\&lsqb;I_2(x,y)-\stackrel{\&OverBar;}{E_{1,2}\left(n\right)}\&rsqb;}^2.$

对于I₂(x，y)的每个灰度级n，定义I₁(x，y)相对于I₂(x，y)灰度值为n的对于像素集合的灰度值和方差分别为：

$\stackrel{\&OverBar;}{E_{2,1}\left(n\right)}=\frac{1}{H_2\left(n\right)}\underset{I_2(x,y)=n}{\&Sigma;}{I}_1(x,y);$

${\mathrm{\&sigma;}}_{2,1}^2\left(n\right)=\frac{1}{H_2\left(n\right)}\underset{I_2(x,y)=n}{\&Sigma;}{\&lsqb;I_1(x,y)-\stackrel{\&OverBar;}{E_{2,1}\left(n\right)}\&rsqb;}^2.$

S33、计算I₁(x，y)和I₂(x，y)的期望方差和

$\stackrel{\&OverBar;}{{\mathrm{\&sigma;}}_{1,2}^2}=\underset{n}{\&Sigma;}\frac{H_1\left(n\right)}{P\&times;Q}{\mathrm{\&sigma;}}_{1,2}^2\left(n\right);$

$\stackrel{\&OverBar;}{{\mathrm{\&sigma;}}_{2,1}^2}=\underset{n}{\&Sigma;}\frac{H_2\left(n\right)}{P\&times;Q}{\mathrm{\&sigma;}}_{2,1}^2\left(n\right).$

S34、得两幅图像的交互方差CI、AM：

两幅图像的交互方差CI为：

$CI\&lsqb;I_1{I}_2\&rsqb;=\stackrel{\&OverBar;}{\frac{{\mathrm{\&sigma;}}_{1,2}^2}{{\mathrm{\&sigma;}}_2^2}}+\stackrel{\&OverBar;}{\frac{{\mathrm{\&sigma;}}_{2,1}^2}{{\mathrm{\&sigma;}}_1^2}};$

$AM\&lsqb;I_1{I}_2\&rsqb;=\frac{1}{CI\&lsqb;I_1{I}_2\&rsqb;}=\frac{1}{\frac{\stackrel{\&OverBar;}{{\mathrm{\&sigma;}}_{1,2}^2}}{{\mathrm{\&sigma;}}_2^2}+\frac{\stackrel{\&OverBar;}{{\mathrm{\&sigma;}}_{2,1}^2}}{{\mathrm{\&sigma;}}_1^2}}=\frac{{\mathrm{\&sigma;}}_1^2{\mathrm{\&sigma;}}_2^2}{\stackrel{\&OverBar;}{{\mathrm{\&sigma;}}_{1,2}^2}{\mathrm{\&sigma;}}_1^2+\stackrel{\&OverBar;}{{\mathrm{\&sigma;}}_{2,1}^2}{\mathrm{\&sigma;}}_2^2}.$

其中，CI[I₁I₂]为两幅图像的交互方差，AM[I₁I₂]为交互方差CI的倒数，分别为图像I₁(x，y)和I₂(x，y)的方差，其计算公式如下所示：

$\begin{array}{cc}{\mathrm{\&sigma;}}_1^2=\frac{1}{PQ}\underset{(x,y)}{\&Sigma;}{\&lsqb;I_1(x,y)-{\mathrm{\&mu;}}_1\&rsqb;}^2& {\mathrm{\&mu;}}_1=\frac{1}{PQ}\underset{(x,y)}{\&Sigma;}{I}_1(x,y)\end{array};$

$\begin{array}{cc}{\mathrm{\&sigma;}}_2^2=\frac{1}{PQ}\underset{(x,y)}{\&Sigma;}{\&lsqb;I_2(x,y)-{\mathrm{\&mu;}}_2\&rsqb;}^2& {\mathrm{\&mu;}}_2=\frac{1}{PQ}\underset{(x,y)}{\&Sigma;}{I}_2(x,y)\end{array}.$

S35、使用仿射变换模型，在不同参数(平移、旋转)条件下，反复计算两幅图像的AM。；

S36、搜索出最大时对应的参数，此参数就是要求的配准参数；

S37、按照得到的配准参数及仿射变换模型校正待配准图像，得到最终配准图像。

S4、利用小波变换法对配准后的图像进行图像融合。

将配准后的微光与红外图像分别设为A、B，经过融合后的图像设为F。该图像融合流程图如图5所示，具体算法主要步骤如下：

S41、对每一幅源图像分别进行小波分解；

S42、对各分解层分别用不同的融合算子和规则进行处理；

S421、低频部分处理

采用基于区域的算子，以低频部分的每一像素点为区域中心，分别计算两幅图像中与该像素点对应的局部区域S_lq(其大小取为l×q个像素)的方差V_k，A和V_k，B，则有：

$\left\{\begin{array}{cc}{C}_{k,F}=C_{k,A}& V_{k,A}>V_{k,B}\\ C_{k,F}=C_{k,B}& V_{k,A}<V_{k,B}\end{array}\right..$

式中，C_k，A和C_k，B分别为微光图像A和红外图像B中低频部分某一像素点的灰度值，C_k，F为融合图像F中相应像素点的灰度值。

S422、高频部分处理

采用基于区域能量法对三个方向的高频部分进行处理。

a、分别计算不同分辨率下两幅图像对应局部区域S_lp(其大小为l×p个像素)的能量受φε＝1，2，3即：

$E_j^{\left(\mathrm{\&epsiv;}\right)}=\underset{m^{\&prime;}\&Element;l}{\&Sigma;}\underset{n^{\&prime;}\&Element;p}{\&Sigma;}W(m^{\&prime;},n^{\&prime;}){\&lsqb;D_j^{\left(\mathrm{\&epsiv;}\right)}\left(m+m^{\&prime;}\right),\left(n+n^{\&prime;}\right)\&rsqb;}^2;$

式中，W(m′，n′)为加权系数，l×p为局部区域的大小，D(m，n)为点(m，n)处的灰度值。

b、计算两幅图像对应区域的匹配度，即：

$M_{j,AB}^{\left(\mathrm{\&epsiv;}\right)}=\frac{2\underset{m^{\&prime;}\&Element;l}{\&Sigma;}\underset{n^{\&prime;}\&Element;p}{\&Sigma;}W(m^{\&prime;},n^{\&prime;})D_{j,A}^{\left(\mathrm{\&epsiv;}\right)}(m+m^{\&prime;}),(n+n^{\&prime;})D_{j,B}^{\left(\mathrm{\&epsiv;}\right)}(m+m^{\&prime;}),(n+n^{\&prime;})}{E_{j,A}^{\left(\mathrm{\&epsiv;}\right)}+E_{j,B}^{\left(\mathrm{\&epsiv;}\right)}}.$

式中，为图像A、B对应区域的匹配度，和分别为两幅图像对应局部区域S_lp的能量，和分别为两幅图像点(m，n)处的灰度值。

c、定义一个匹配度阈值α(α通常取0.5～1.0，这里取0.6)，

若则：

$\left\{\begin{array}{cc}{D}_{j,F}^{\left(\mathrm{\&epsiv;}\right)}=D_{j,A}^{\left(\mathrm{\&epsiv;}\right)}& E_{j,A}^{\left(\mathrm{\&epsiv;}\right)}\&GreaterEqual;E_{j,B}^{\left(\mathrm{\&epsiv;}\right)}\\ D_{j,F}^{\left(\mathrm{\&epsiv;}\right)}=D_{j,B}^{\left(\mathrm{\&epsiv;}\right)}& E_{j,A}^{\left(\mathrm{\&epsiv;}\right)}<E_{j,B}^{\left(\mathrm{\&epsiv;}\right)}\end{array}\right.,$

式中，和分别为微光图像A和红外图像B中高频部分某一像素点的灰度值，为融合图像F中相应像素点的灰度值。

若则：

$\{\begin{array}{cc}{D}_{j,F}^{\left(\mathrm{\&epsiv;}\right)}=W_{j,L}^{\left(\mathrm{\&epsiv;}\right)}{W}_{j,A}^{\left(\mathrm{\&epsiv;}\right)}+W_{j,L}^{\left(\mathrm{\&epsiv;}\right)}{W}_{j,B}^{\left(\mathrm{\&epsiv;}\right)}& E_{j,A}^{\left(\mathrm{\&epsiv;}\right)}\&GreaterEqual;E_{j,B}^{\left(\mathrm{\&epsiv;}\right)}\\ D_{j,F}^{\left(\mathrm{\&epsiv;}\right)}=W_{j,S}^{\left(\mathrm{\&epsiv;}\right)}{W}_{j,A}^{\left(\mathrm{\&epsiv;}\right)}+W_{j,S}^{\left(\mathrm{\&epsiv;}\right)}{W}_{j,B}^{\left(\mathrm{\&epsiv;}\right)}& E_{j,A}^{\left(\mathrm{\&epsiv;}\right)}<E_{j,B}^{\left(\mathrm{\&epsiv;}\right)}\end{array}.$

式中：

$W_{j,S}^{\left(\mathrm{\&epsiv;}\right)}=\frac{1}{2}-\frac{1}{2}\left(\frac{1-M_{j,AB}^{\left(\mathrm{\&epsiv;}\right)}}{1-\mathrm{\&alpha;}}\right);$

$W_{j,L}^{\left(\mathrm{\&epsiv;}\right)}=1-W_{j,S}^{\left(\mathrm{\&epsiv;}\right)}.$

S43、对融合后的图像数据进行小波逆变换，即可得到融合图像。

Claims (8)

1.一种微光与红外夜视图像融合方法，其特征在于所述方法步骤如下：

步骤一、针对同一目标场景，分别采集原微光图像和原红外图像；

步骤二、对采集到的原微光与红外图像分别进行去噪处理；

步骤三、利用基于边缘特征的图像配准方法将去噪后的微光与红外图像进行有效精确的配准；

步骤四、利用小波变换法对配准后的图像进行图像融合。

2.根据权利要求1所述的微光与红外夜视图像融合方法，其特征在于所述步骤一中，利用微光夜视系统采集原微光图像，利用红外热成像系统采集原红外图像。

3.根据权利要求1所述的微光与红外夜视图像融合方法，其特征在于所述步骤二中，具体去噪处理步骤如下：

(1)检测噪声类型

首先，以噪声图像g中像素(i，j)为中心选取像素为3×3窗口S_pq，求出滤波窗内像素的方差：

${\mathrm{\&sigma;}}^2=\frac{1}{9}\underset{q=-1}{\overset{1}{\&Sigma;}}\underset{p=-1}{\overset{1}{\&Sigma;}}{\&lsqb;I(i-q,j-p)-\mathrm{\&mu;}\&rsqb;}^2,$

式中，I(i，j)表示点(i，j)处的灰度值；

令阈值为T₁，当σ²＞T₁时，则认为该滤波窗内受到椒盐噪声的污染，执行步骤(2)中的①；当σ²＜T₁时，则认为该滤波窗内受到高斯噪声的污染，执行步骤(2)中的②；

(2)滤波算法

①受椒盐噪声污染滤波算法

a、首先，求出滤波窗内灰度最大值max和最小值min，然后把滤波窗内每个像素的灰度值g(i，j)与最大值和最小值进行比较，去除等于最大值或最小值的像素点；

b、如果滤波窗内剩余像素不为零，则求出剩余像素的平均值M，并计算平均像素灰度值与滤波窗中点像素灰度值的差的绝对值d＝|M-g(i，j)|，将此绝对值与设定的阈值T₁进行比较，若d＞T₁，则输出剩余像素均值M；若d＜T₁，则输出滤波窗中点像素灰度值g(i，j)；

c、若滤波窗内剩余像素为零，则扩大滤波窗口尺寸为5×5，并重复上述步骤a、b，如果剩余像素仍为零，则图像输出为：

$f(i,j)=\frac{g(i-1,j-1)+g(i-1,j)+g(i-1,j+1)+g(i,j-1)}{4};$

②受高斯噪声污染滤波算法

a、首先计算出滤波窗内像素的梯度绝对值：

td＝|g(i-1，j)+g(i，j-1)+g(i，j+1)+g(i+1，j)-4g(i，j)|；

b、若梯度绝对值大于某一给定的阈值T₂，则直接输出原像素；否则，输出滤波窗像素灰度值均值；

(3)重复步骤(1)和(2)，直至完成所有像素点的滤波处理，最后得到除噪后的图像。

4.根据权利要求3所述的微光与红外夜视图像融合方法，其特征在于所述步骤(1)中，阈值T₁＝-k×m+b，m为滤波窗平均灰度值，k＝0.15，b＝80。

5.根据权利要求3所述的微光与红外夜视图像融合方法，其特征在于所述步骤②中，阈值T₂＝-k×m+b，m为滤波窗平均灰度值，k＝0.3，b＝160。

6.根据权利要求1所述的微光与红外夜视图像融合方法，其特征在于所述步骤三中，具体配准步骤如下：

设参考图像为I₁(x，y)，待配准图像为I₂(x，y)，大小同为P×Q个像素，其灰度直方图分别为H₁(n)、H₂(n)，对于每个灰度等级n＝iH₁(n)和H₂(n)分别代表了灰度值为i的像素个数；

(1)利用小波变换法对源图像进行边缘提取，得到边缘图像；

(2)求取

对于I₁(x，y)的每个灰度级n，定义I₂(x，y)相对于I₁(x，y)灰度值为n的对于像素集合的灰度值和方差分别为：

对于I₂(x，y)的每个灰度级n，定义I₁(x，y)相对于I₂(x，y)灰度值为n的对于像素集合的灰度值和方差分别为：

(3)计算I₁(x，y)和I₂(x，y)的期望方差和

$\stackrel{\&OverBar;}{{\mathrm{\&sigma;}}_{1,2}^2}=\underset{n}{\&Sigma;}\frac{H_1\left(n\right)}{P\&times;Q}{\mathrm{\&sigma;}}_{1,2}^2\left(n\right);$

$\stackrel{\&OverBar;}{{\mathrm{\&sigma;}}_{2,1}^2}=\underset{n}{\&Sigma;}\frac{H_2\left(n\right)}{P\&times;Q}{\mathrm{\&sigma;}}_{2,1}^2\left(n\right);$

(4)求得两幅图像的交互方差CI及其倒数AM：

两幅图像的交互方差CI的定义为：

$CI\&lsqb;I_1{I}_2\&rsqb;=\stackrel{\&OverBar;}{\frac{{\mathrm{\&sigma;}}_{1,2}^2}{{\mathrm{\&sigma;}}_2^2}}+\stackrel{\&OverBar;}{\frac{{\mathrm{\&sigma;}}_{2,1}^2}{{\mathrm{\&sigma;}}_1^2}};$

$AM\&lsqb;I_1{I}_2\&rsqb;=\frac{1}{CI\&lsqb;I_1{I}_2\&rsqb;}=\frac{1}{\frac{\stackrel{\&OverBar;}{{\mathrm{\&sigma;}}_{1,2}^2}}{{\mathrm{\&sigma;}}_2^2}+\frac{\stackrel{\&OverBar;}{{\mathrm{\&sigma;}}_{2,1}^2}}{{\mathrm{\&sigma;}}_1^2}}=\frac{{\mathrm{\&sigma;}}_1^2{\mathrm{\&sigma;}}_2^2}{\stackrel{\&OverBar;}{{\mathrm{\&sigma;}}_{1,2}^2}{\mathrm{\&sigma;}}_1^2+\stackrel{\&OverBar;}{{\mathrm{\&sigma;}}_{2,1}^2}{\mathrm{\&sigma;}}_2^2};$

式中，CI[I₁I₂]为两幅图像的交互方差，AM[I₁I₂]为交互方差CI的倒数，分别为图像I₁(x，y)和I₂(x，y)的方差，其计算公式如下所示：

$\begin{array}{cc}{\mathrm{\&sigma;}}_1^2=\frac{1}{PQ}\underset{(x,y)}{\&Sigma;}{\&lsqb;I_1(x,y)-{\mathrm{\&mu;}}_1\&rsqb;}^2& {\mathrm{\&mu;}}_1=\frac{1}{PQ}\underset{(x,y)}{\&Sigma;}{I}_1(x,y)\end{array};$

$\begin{array}{cc}{\mathrm{\&sigma;}}_2^2=\frac{1}{PQ}\underset{(x,y)}{\&Sigma;}{\&lsqb;I_2(x,y)-{\mathrm{\&mu;}}_2\&rsqb;}^2& {\mathrm{\&mu;}}_2=\frac{1}{PQ}\underset{(x,y)}{\&Sigma;}{I}_2(x,y)\end{array};$

(5)使用仿射变换模型，在不同参数条件下，反复计算两幅图像的AM；

(6)搜索出AM最大时对应的参数，此参数就是要求的配准参数；

(7)按照得到的配准参数及仿射变换模型校正待配准图像，得到最终配准图像。

7.根据权利要求1所述的微光与红外夜视图像融合方法，其特征在于所述步骤四中，将配准后的微光与红外图像分别设为A、B，经过融合后的图像设为F，该图像融合算法主要步骤如下：

(1)对每一幅源图像分别进行小波分解；

(2)对各分解层分别用不同的融合算子和规则进行处理：

①低频部分

采用基于区域的算子，以低频部分的每一像素点为区域中心，分别计算两幅图像中与该像素点对应的局部区域S_lq的方差V_k，A和V_k，B，局部区域S_lq大小为l×q个像素，则有：

$\{\begin{array}{cc}{C}_{k,F}=C_{k,A}& V_{k,A}>V_{k,B}\\ C_{k,F}=C_{k,B}& V_{k,A}<V_{k,B}\end{array},$ 式中，C_k，A和C_k，B分别为微光图像A和红外图像B中低频部分某一像素点的灰度值，C_k，F为融合图像F中相应像素点的灰度值；

②高频部分

采用基于区域能量法对三个方向的高频部分进行处理。

a、分别计算不同分辨率下两幅图像对应局部区域S_lp的能量及φε＝1，2，3，局部区域S_lp大小为l×p个像素，即：

$E_j^{\left(\mathrm{\&epsiv;}\right)}=\underset{m^{\&prime;}\&Element;l}{\&Sigma;}\underset{n^{\&prime;}\&Element;p}{\&Sigma;}W(m^{\&prime;},n^{\&prime;}){\&lsqb;D_j^{\left(\mathrm{\&epsiv;}\right)}\left(\right(m+m^{\&prime;}),(n+n^{\&prime;}\left)\right)\&rsqb;}^2,$ 式中，W(m′，n′)为加权系数，l×p为局部区域的大小，D(m，n)为点(m，n)处的灰度值；

b、计算两幅图像对应区域的匹配度，其定义为：

$M_{j,AB}^{\left(\mathrm{\&epsiv;}\right)}=\frac{2\underset{m^{\&prime;}\&Element;l}{\&Sigma;}\underset{n^{\&prime;}\&Element;p}{\&Sigma;}W(m^{\&prime;},n^{\&prime;})D_{j,A}^{\left(\mathrm{\&epsiv;}\right)}\left(\right(m+m^{\&prime;}),(n+n^{\&prime;}\left)\right)D_{j,B}^{\left(\mathrm{\&epsiv;}\right)}\left(\right(m+m^{\&prime;}),(n+n^{\&prime;}\left)\right)}{E_{j,A}^{\left(\mathrm{\&epsiv;}\right)}+E_{j,B}^{\left(\mathrm{\&epsiv;}\right)}},$

式中，为图像A、B对应区域的匹配度，和分别为两幅图像对应局部区域S_lp的能量，和分别为两幅图像点(m，n)处的灰度值；

c、定义一个匹配度阈值α，若则：

$\left\{\begin{array}{cc}{D}_{j,F}^{\left(\mathrm{\&epsiv;}\right)}=D_{j,A}^{\left(\mathrm{\&epsiv;}\right)}& E_{j,A}^{\left(\mathrm{\&epsiv;}\right)}\&GreaterEqual;E_{j,B}^{\left(\mathrm{\&epsiv;}\right)}\\ D_{j,F}^{\left(\mathrm{\&epsiv;}\right)}=D_{j,B}^{\left(\mathrm{\&epsiv;}\right)}& E_{j,A}^{\left(\mathrm{\&epsiv;}\right)}<E_{j,B}^{\left(\mathrm{\&epsiv;}\right)}\end{array}\right.;$ 式中，和分别为微光图像A和红外图像B中高频部分某一像素点的灰度值，为融合图像F中相应像素点的灰度值；

若则：

$\left\{\begin{array}{cc}{D}_{j,F}^{\left(\mathrm{\&epsiv;}\right)}=W_{j,L}^{\left(\mathrm{\&epsiv;}\right)}{D}_{j,A}^{\left(\mathrm{\&epsiv;}\right)}+W_{j,L}^{\left(\mathrm{\&epsiv;}\right)}{D}_{j,B}^{\left(\mathrm{\&epsiv;}\right)}& E_{j,A}^{\left(\mathrm{\&epsiv;}\right)}\&GreaterEqual;E_{j,B}^{\left(\mathrm{\&epsiv;}\right)}\\ D_{j,F}^{\left(\mathrm{\&epsiv;}\right)}=W_{j,S}^{\left(\mathrm{\&epsiv;}\right)}{D}_{j,A}^{\left(\mathrm{\&epsiv;}\right)}+W_{j,S}^{\left(\mathrm{\&epsiv;}\right)}{D}_{j,B}^{\left(\mathrm{\&epsiv;}\right)}& E_{j,A}^{\left(\mathrm{\&epsiv;}\right)}<E_{j,B}^{\left(\mathrm{\&epsiv;}\right)}\end{array}\right.;$ 式中：

$W_{j,S}^{\left(\mathrm{\&epsiv;}\right)}=\frac{1}{2}-\frac{1}{2}\left(\frac{1-M_{j,AB}^{\left(\mathrm{\&epsiv;}\right)}}{1-\mathrm{\&alpha;}}\right);$

$W_{j,L}^{\left(\mathrm{\&epsiv;}\right)}=1-W_{j,S}^{\left(\mathrm{\&epsiv;}\right)};$

(3)对融合后的图像数据进行小波逆变换，即可得到融合图像。

8.根据权利要求7所述的微光与红外夜视图像融合方法，其特征在于所述α取0.5～1.0。