CN105719263B

CN105719263B - 基于nsct域底层视觉特征的可见光和红外图像融合方法

Info

Publication number: CN105719263B
Application number: CN201610044134.2A
Authority: CN
Inventors: 李华锋; 邱红梅; 余正涛; 毛存礼; 郭剑毅
Original assignee: Kunming University of Science and Technology
Current assignee: YUNNAN UNITED VISUAL TECHNOLOGY Co.,Ltd.
Priority date: 2016-01-22
Filing date: 2016-01-22
Publication date: 2018-05-25
Anticipated expiration: 2036-01-22
Also published as: CN105719263A

Abstract

本发明提出了一种基于非下采样轮廓波变换(NSCT)域底层视觉特征的可见光和红外图像融合算法。首先将可见光和红外图像经NSCT变换得到二者的高低频子带系数，然后联合相位一致性、邻域空间频率和邻域能量等信息，综合衡量低频子带系数的像素活跃水平，分别得到可见光和红外图像低频子带系数的融合权重，从而得到融合图像的低频子带系数；结合相位一致性、清晰度和亮度等信息衡量高频子带系数的像素活跃水平，分别得到可见光和红外图像高频子带系数的融合权重，进而得到融合图像的高频子带系数，最后利用NSCT逆变换，得到最终的融合图像。本发明能够有效地保留源图像的细节信息，同时综合可见光图像和红外图像的有用信息。

Description

基于NSCT域底层视觉特征的可见光和红外图像融合方法

技术领域

本发明涉及一种基于非下采样轮廓波变换(NSCT)域底层视觉特征的可见光和红外图像融合方法，属于图像融合数据处理技术领域。

背景技术

在图像处理领域，图像融合是一项很有发展前景的研究。图像融合技术通过综合同一场景的多传感器图像或者不同场景的同一传感器图像的有用信息来合成一幅复合图像。而合成的复合图像具有前者所有的特征信息，更适合用于后期的处理和研究。一个高效的融合方法可以根据实际需求处理多通道信息。这些优势使得图像融合在很多领域里都特别受欢迎。例如，遥感成像，计算机视觉，侦查，监控等领域。尤其是可见光和红外图像的融合，在军事领域中起到了很重要的作用。

随着图像融合研究的不断深入，很多的学者提出了很多的图像融合算法。根据对输入图像的处理方式的不同，主流的红外和可见光图像融合算法主要分为五类：基于置换的技术，基于分割技术，基于神经网络技术，基于数学形态学技术和基于多尺度变换技术。基于置换的技术在融合中容易引起光谱的变形。基于分割的技术过分依赖于分割算法，而通常一个好的图像分割算法往往是不容易得到的。基于神经网络的算法需要人工设置大量的参数。基于数学形态学的算法在图像融合中也发挥着很重要的作用，但是一些原始图像中的细节可能会在最终的融合结果中被平滑。和以上四类算法相比，多尺度变换方法更符合人眼的视觉特征。

多尺度变换对图像融合来说是一项有效的方法。近年来，多尺度变换方法已经在很多图像融合的研究中得到广泛的应用，尤其是可见光和红外图像的融合。一些常见的多尺度变换有拉普拉斯金字塔(LP)变换，金字塔变换(PT)，离散小波变换(DWT)，静态小波变换(SWT)，轮廓波变换(CT)，曲波变换(CVT)和非下采样轮廓波变换(NSCT)等。然而，拉普拉斯金字塔变换，金字塔变换和静态小波变换都无法很好地保存源图像的空间细节信息并且容易导致块效应。离散小波变换由于不能捕捉源图像中的静态特征而导致在融合图像中出现“吉布斯”现象。曲波变化也不能捕捉到源图像中的空间信息。对于轮廓波变换来说，由于在分解中存在上采样和下采样操作，缺乏平移不变性，容易导致混频现象。而非下采样轮廓波变换取消了上下采样操作，从而克服了这一缺点。

在图像融合中，除了融合工具之外，有效的融合规则也至关重要。近年来，有很多的学者提出了很多有效的基于多尺度变换的融合算法。大概可以分为三类：基于单个像素的，基于窗口的和基于区域的。基于单个像素的融合最常见的规则是“绝对值最大选择”策略；基于窗口的融合规则主要是根据当前像素的活跃水平，而活跃水平由窗口内像素之间的关系来度量，常见的活跃因子包括绝对分量和(SML)、空间频率(SF)、对比度(Contrast)等等；基于区域的融合方法的基本思想就是对不同子带系数进行分割，然后选择更清晰的区域进行融合。对于多尺度融合方法来说，清晰度因子在提高融合性能方面至关重要，通常传统的清晰度因子是基于单个图像局部特征设计的。实际上，人眼视觉系统主要是靠图像的底层特征来理解一幅图像的，也就是说由清晰度这一个底层特征所反映的视觉信息是非常有限的。

发明内容

本发明的目的在于针对现有技术的缺点和不足，提出了一种基于NSCT域底层视觉特征的可见光和红外图像融合技术方案。

本发明所采用的技术方案是一种基于NSCT域底层视觉特征的可见光和红外图像融合方法，包括以下步骤：

步骤1，输入可见光和红外图像并进行NSCT变换，分别得到可见光图像和红外图像的子带系数，所述子带系数包括低频子带系数和高频子带系数；

步骤2，根据可见光和红外图像低频子带系数的相位一致性、邻域空间频率和邻域能量信息计算融合图像的低频子带系数；

计算可见光和红外图像低频子带系数的相位一致性：

分别表示可见光和红外图像在像素点(x,y)的低频子带系数的相位一致性，L表示低频，VI和IR分别表示可见光和红外图像，n＝{0,1,...,J-1}，k＝{0,1,...,K-1}，J和K分别表示可见光和红外图像在傅里叶频域分解的尺度数量和方向数量，θ_k表示滤波器的方向角，分别表示可见光和红外图像像素点(x,y)的低频子带系数在第n尺度，θ_k方向角的傅里叶频域的局部能量，分别表示可见光和红外图像像素点(x,y)的低频子带系数在第n尺度，θ_k方向角的傅里叶频域的局部振幅信息，ε为正常量；

计算可见光和红外图像低频子带系数的空间频率：

SCM_VI(x,y)、SCM_IR(x,y)分别表示可见光图像和红外图像在像素点(x,y)的低频子带系数的空间频率，I_L,VI(x,y)、I_L,IR(x,y)分别表示可见光图像、红外图像在像素点(x,y)的低频子带系数，I_L,VI(x₀,y₀)、I_L,IR(x₀,y₀)分别表示可见光图像、红外图像在像素点(x₀,y₀)的低频子带系数，Ω₀表示预设的邻域，(x₀,y₀)表示以像素点(x,y)为中心的邻域Ω₀内任意一点；

将可见光和红外图像中所有像素的低频子带系数的空间频率构成矩阵并计算可见光和红外图像低频子带系数的邻域空间频率LSCM_VI(x,y)，LSCM_IR(x,y)；

计算可见光和红外图像低频子带系数的邻域能量：

LEN_VI(x,y)、LEN_IR(x,y)分别表示可见光图像、红外图像在像素点(x,y)的低频子带系数的邻域能量，I_L,VI(x+m,y+n)、I_L,IR(x+m,y+n)分别表示可见光图像、红外图像在像素点(x+m,y+n)的低频子带系数，M×N表示预设的邻域大小，(x+m,y+n)表示以(x,y)为中心的邻域M×N内任意一点；

计算可见光和红外图像低频子带系数的像素活跃水平：

NAM_VI(x,y)＝[PC_L,VI(x,y)]^α×[LSCM_VI(x,y)]^β×[LEN_VI(x,y)]^γ

NAM_IR(x,y)＝[PC_L,IR(x,y)]^α×[LSCM_IR(x,y)]^β×[LEN_IR(x,y)]^γ

NAM_VI(x,y)、NAM_IR(x,y)分别表示可见光和红外图像在像素点(x,y)的低频子带系数的活跃水平，α、β、γ分别表示相位一致性信息、邻域空间频率和邻域能量的权重；

将可见光和红外图像中所有像素的低频子带系数的活跃水平构成矩阵，设置滑动窗口Ω₁，计算可见光和红外图像的低频子带系数的融合权重：

Lmap_VI(x,y)、Lmap_IR(x,y)表示可见光和红外图像在像素点(x,y)的低频子带系数的融合权重，X×Y表示滑动窗口Ω₁大小，Lsum_VI(x,y)、Lsum_IR(x,y)分别表示可见光和红外图像在滑动窗口Ω₁内活跃水平较大的像素数量；

表示集合的势，(x₀,y₀)表示滑动窗口Ω₁内任意一点；

计算融合图像低频子带系数I_L,F(x,y)：

I_L,F(x,y)＝I_L,VI(x,y)×Lmap_VI(x,y)+I_L,IR(x,y)×Lmap_IR(x,y)；

步骤3，根据可见光和红外图像高频子带系数的相位一致性信息、清晰度和图像亮度计算融合图像的高频子带系数；

计算可见光和红外图像高频子带系数的相位一致性：

分别表示可见光和红外图像在像素点(x,y)的第l尺度、第p方向高频子带的相位一致性信息，l和p分别表示高频子带系数的尺度和方向，分别表示可见光和红外图像像素点(x,y)的第l尺度、第p方向高频子带系数在第n尺度、θ_k方向角的傅里叶频域的局部能量，分别表示可见光和红外图像像素点(x,y)的第l尺度、第p方向高频子带系数在第n尺度、θ_k方向角的傅里叶频域的局部振幅，ε是正常量；

计算可见光和红外图像高频子带系数的清晰度：

分别表示可见光和红外图像在像素点(x₀,y₀)的第l尺度、第p方向的高频子带系数的清晰度，H表示高频子带系数，分别表示可见光和红外图像在像素点(x,y)的第l尺度，第p方向的高频子带系数，分别表示可见光和红外图像在像素点(x₀,y₀)的第l尺度，第p方向的高频子带系数，Ω₂表示预设的邻域，(x₀,y₀)表示以(x,y)为中心的预设邻域Ω₂内任意一点；

计算可见光和红外图像在像素(x,y)第l尺度，第p方向的高频子带系数的像素活跃水平：

分别表示可见光和红外图像在像素点(x,y)的第l层、第p方向的高频子带系数的活跃水平，分别表示可见光和红外图像在像素点(x,y)的第l层、第p方向的高频子带系数的亮度，α1、β1、γ1分别表示相位一致性、清晰度和图像亮度的指数权重，Ω₃表示预设的邻域，(x₀,y₀)为滑动窗口预设邻域Ω₃内任意一点；

将可见光和红外图像中高频子带系数的活跃水平构成矩阵，设置一个滑动窗口Ω₄，计算可见光和红外图像高频子带系数的融合权重：

X₁×Y₁表示滑动窗口Ω₄的大小，和分别表示可见光和红外图像在像素(x,y)第l尺度，第p方向的高频子带系数在滑动窗口Ω₄内拥有比对方活跃水平大的像素的数量：

(x₀,y₀)为滑动窗口Ω₄内任意一点；

计算融合图像第l尺度，第p方向的高频子带系数

分别表示可见光和红外图像在像素点(x,y)的第l尺度，第p方向的高频子带系数，Hmap_VI(x,y)、Hmap_IR(x,y)分别表示的融合系数；；

步骤4，根据步骤2、3得到的融合图像的低频子带系数和高频子带系数，进行NSCT反变换，得到融合图像。

可见光和红外图像低频子带系数的邻域空间频率LSCM_VI(x,y)，LSCM_IR(x,y)计算如下：

SCM_VI(x+m,y+n)、SCM_IR(x+m,y+n)分别表示可见光和红外图像在像素点(x+m,y+n)处的低频子带系数的空间频率，M'×N'表示预设的窗口大小，(x+m,y+n)表示以(x,y)为中心的滑动窗口内任意一点。

可见光和红外图像低频子带系数在傅里叶域的局部能量计算如下：

和分别表示可见光和红外图像低频子带系数与log-Gabor奇偶对称滤波器的卷积结果：

分别表示log-Gabor滤波器在尺度n下的一对奇偶对称滤波器；

可见光和红外图像的低频子带系数在傅里叶域的局部振幅信息计算如下：

可见光和红外图像第l尺度，第p方向的的高频子带系数在傅里叶域的局部能量计算如下：

和分别表示可见光和红外图像第l尺度，第p方向的高频子带系数与log-Gabor奇偶对称滤波器的卷积结果：

分别表示log-Gabor滤波器在尺度n下的一对奇偶对称滤波器；

可见光和红外图像第l尺度，第p方向的高频子带系数在傅里叶频域的局部振幅计算如下：

log-Gabor滤波器的传递函数G(ω,θ,k)定义如下，

(log(ω),θ)表示对数极坐标，(σ_r,σ_θ)表示滤波器的半径和角度带宽，ω₀表示滤波器的中心频率，θ_k表示滤波器中的方向角。

本发明有益效果为：本发明根据图像的高低频子带系数底层视觉特征的特点，设计了两个衡量源图像高低子带系数对于融合结果选择的重要性的活跃水平。在图像的低频子带系数的融合上，综合了相位一致性信息、邻域空间频率信息和邻域能量信息设计低频子带系数的活跃水平，在高频子带系数的融合上，综合了相位一致性信息，清晰度和亮度信息设计高频子带系数的活跃水平，更好地保留了图像的纹理和边缘等细节信息，有效综合了可见光和红外图像二者的优点；可以有效地综合可见光和红外图像的有用信息，在主观和客观上都取得良好的效果。

附图说明

图1为本发明流程图；

图2为可见光与红外源图像，其中(a)为可见光源图像，(b)为红外源图像；

图3为DWT方法处理后的融合图像；

图4为SWT方法处理后的融合图像；

图5为NSCT方法处理后的融合图像；

图6为NSCT-PCNN方法处理后的融合图像；

图7为NSCT-SR方法处理后的融合图像；

图8为NSCT-SF-PCNN方法处理后的融合图像；

图9为本发明方法处理后的融合图像。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。

本实施例是将图2中一对已配准的可见光和红外图像进行融合。I_VI表示可见光图像，I_IR表示红外图像，低频、高频子带系数分别为{I_L,VI,I_L,IR}，低频、高频子带系数的像素活跃水平分别为{NAM_VI(x,y),NAM_IR(x,y)}，低频、高频子带系数的融合权重分别为{Lmap_VI(x,y),Lmap_IR(x,y)}，对应的融合子带系数分别为I_L,F和融合图像为I_F。计算步骤如下:

步骤1，输入可见光和红外图像并进行NSCT变换，分别得到可见光图像和红外图像的子带系数，所述的子带系数包括低频子带系数{I_L,VI(x,y),I_L,IR(x,y)}和高频子带系数

步骤2，在传统的低频子带系数融合中，通常采用基于局部能量的方法，然而局部能量只能反映图像的亮度信息。因此，我们根据可见光和红外图像的低频子带系数，采用联合相位一致性特征，邻域空间频率和局部能量的策略来计算融合图像的低频子带系数；

计算可见光和红外图像低频子带系数的相位一致性：

分别表示可见光和红外图像像素点(x,y)的低频子带的相位一致性信息，L表示低频，J和K分别表示图像在傅里叶频域分解的尺度数量和方向的数量，本实施例中J和K均取4，n＝{0,1,...,J-1}，k＝{0,1,...,K-1}，θ_k表示滤波器的方向角，分别表示可见光和红外图像像素点(x,y)的低频子带系数在第n尺度，θ_k方向角的傅里叶频域的局部能量信息；分别表示可见光和红外图像像素点(x,y)的低频子带在第n尺度，θ_k方向角的傅里叶频域的局部振幅信息，ε是避免分母为0的一个很小的正的常量；

本发明实施例中涉及到的图像低频子带系数在傅里叶域的局部能量和局部振幅分别如下计算，

设(x,y)为图像某一像素点，则可见光和红外图像在该像素点的低频子带系数在傅里叶频域的局部能量信息计算如下，

其中，和定义如下，

和分别为可见光和红外图像在像素点(x,y)的低频子带系数与log-Gabor奇偶对称滤波器的卷积结果，计算如下，

分别表示log-Gabor滤波器在尺度n下的一对奇偶对称滤波器；

可见光和红外图像在该像素点的低频子带系数在傅里叶频域的局部振幅信息计算如下，

对可见光和红外图像的每个像素，分别按照以下原则求低频子带系数的空间频率信息，

I_L,VI(x,y)、I_L,IR(x,y)分别表示可见光图像、红外图像中像素(x,y)的低频子带系数，I_L,VI(x₀,y₀)、I_L,IR(x₀,y₀)分别表示可见光图像、红外图像在像素点(x₀,y₀)的低频子带系数，SCM_VI(x,y)、SCM_IR(x,y)分别表示可见光图像和红外图像在像素点(x,y)的低频子带系数的空间频率，Ω₀为预设的邻域，本实施例中Ω₀采用3×3，(x₀,y₀)为以像素点(x,y)为中心的邻域Ω₀内任意一点；

对可见光和红外图像，分别按照同样的方式将图像中所有像素的低频子带系数的空间频率构成矩阵并计算可见光和红外图像低频子带系数的邻域空间频率信息：LSCM_VI(x,y)，LSCM_IR(x,y)；本发明实施例中求取分别如下，

设滑动窗口遍历图像空间频率矩阵到任一位置时的窗口中心为图像某像素点(x,y)，则可见光和红外图像低频子带系数在这个窗口内的邻域空间频率定义如下，

SCM_VI(x+m,y+n)，SCM_IR(x+m,y+n)分别表示可见光和红外图像在像素点(x+m,y+n)处的低频子带系数的空间频率，LSCM_VI(x,y)，LSCM_IR(x,y)分别表示可见光和红外图像在像素点(x,y)的低频子带系数的邻域空间频率信息；M'×N'为预设的窗口大小，本实施例中M'×N'取值为3×3，(x+m,y+n)为以(x,y)为中心的窗口内任意一点。

对可见光和红外图像的每个像素，分别按照以下原则求低频子带系数的邻域能量信息，

I_L,VI(x+m,y+n)、I_L,IR(x+m,y+n)分别表示可见光图像、红外图像像素(x+m,y+n)的低频子带系数，LEN_VI(x,y)、LEN_IR(x,y)分别表示可见光图像、红外图像在像素点(x,y)的低频子带系数的邻域能量信息，M×N为预设的邻域大小，本实施例M×N取值3×3；(x+m,y+n)为以(x,y)为中心的邻域内任意一点；

设(x,y)为可见光和红外图像中的某一像素，则根据综合相位一致性信息、邻域空间频率和邻域能量的策略，可见光和红外图像在像素(x,y)的低频子带系数的活跃水平定义如下，

NAM_VI(x,y)＝[PC_L,VI(x,y)]^α×[LSCM_VI(x,y)]^β×[LEN_VI(x,y)]^γ

NAM_IR(x,y)＝[PC_L,IR(x,y)]^α×[LSCM_IR(x,y)]^β×[LEN_IR(x,y)]^γ

NAM_VI(x,y)，NAM_IR(x,y)分别表示可见光、红外图像在像素(x,y)的低频子带系数的活跃水平，α，β，γ分别表示相位一致性信息、邻域空间频率和邻域能量的指数权重，本实施例中α，β，γ分别取值0.005，1，1；

对可见光和红外图像，分别按照同样的方式将图像中所有像素的低频子带系数的活跃水平构成矩阵，设置一个滑动窗口Ω₁，设滑动窗口遍历图像到任一位置时的中心像素为(x,y)，

根据低频子带系数的活跃水平矩阵，计算可见光和红外图像在像素点(x,y)的低频子带系数的融合权重，融合权重定义如下，

X×Y表示滑动窗口Ω₁大小，Lsum_VI(x,y)和Lsum_IR(x,y)分别表示可见光和红外图像在像素(x,y)的低频子带系数在滑动窗口内占有两者中活跃水平较大像素的数量，Lsum_VI(x,y)和Lsum_IR(x,y)定义如下，

其中，为集合的势，(x₀,y₀)为该窗口内任意一点，本实施例中选取Ω₁大小为7×7。

设(x,y)为可见光和红外图像某一像素点，根据图像低频子带系数的融合权重，最终得到融合图像中该像素点的低频子带系数I_L,F(x,y)如下，

I_L,F(x,y)＝I_L,VI(x,y)×Lmap_VI(x,y)+I_L,IR(x,y)×Lmap_IR(x,y)。

步骤3，高频子带系数包含了图像中大部分的纹理信息和边缘信息，在高频子带系数中，我们引入相位一致性信息探测特征信息，引入一种新的清晰度信息衡量高频子带的质量。考虑到当前子带系数的强度和同一区域中不同子带系数之间的关系，根据可见光和红外图像的高频子带系数，最终采用基于相位一致性信息、清晰度和图像亮度的综合信息来计算融合图像的高频子带系数，实现如下：

对可见光和红外图像的每个像素，分别按照以下原则求高频子带系数的相位一致性信息，

l和p分别表示高频子带系数在第l尺度和第p方向，分别表示可见光和红外图像像素点(x,y)的第l尺度，第p方向高频子带的相位一致性信息；分别表示可见光和红外图像像素点(x,y)的第l尺度，第p方向高频子带在第n尺度，θ_k方向角的傅里叶频域的局部能量信息；分别表示可见光和红外图像像素点(x,y)的第l尺度，第p方向高频子带在第n尺度,θ_k方向角的傅里叶频域的局部振幅信息，ε是避免分母为0的一个很小的正的常量。本发明实施例中图像的高频子带系数在傅里叶频域的局部能量和局部振幅分别如下计算，

可见光和红外图像在像素点(x,y)的第l尺度，第p方向的高频子带系数在傅里叶频域的局部能量信息计算如下，

其中，和定义如下，

和分别为可见光和红外图像在像素点(x,y)第l尺度，第p方向的高频子带系数与log-Gabor奇偶对称滤波器的卷积结果，计算如下，

分别表示log-Gabor滤波器在尺度n下的一对奇偶对称滤波器；

可见光和红外图像在像素点(x,y)的第l尺度，第p方向的高频子带系数在傅里叶频域的局部振幅信息计算如下，

设置一个滑动窗口Ω₂，设在滑动窗口遍历图像到任意位置时的窗口中心为(x,y)，分别计算可见光和红外图像在窗口内的高频子带系数的清晰度信息，

分别表示可见光和红外图像在像素点(x,y)处的第l层，第p方向的高频子带系数；分别表示可见光和红外图像在像素点(x₀,y₀)处的第l层，第p方向的高频子带系数；分别表示可见光和红外图像在像素点(x₀,y₀)处的第l尺度，第p方向的高频子带系数的清晰度信息；(x₀,y₀)表示以(x,y)为中心的滑动窗口内任意一点，本实施例中Ω₂大小为11×11；

设(x,y)为可见光和红外图像中的某一像素，根据相位一致性、清晰度和图像亮度综合信息融合的策略，该像素点高频子带系数的融合规则如下，

设置一个滑动窗口Ω₃，设滑动窗口遍历图像到任一位置时的窗口中心为(x,y)，可见光和红外图像在像素(x,y)第l尺度，第p方向的高频子带系数的活跃水平定义如下，

分别表示可见光、红外图像在像素(x,y)的第l层，第p方向的高频子带系数的活跃水平；表示高频子带系数的亮度；α1，β1，γ1分别表示相位一致性信息、清晰度和图像亮度的指数权重，(x₀,y₀)为滑动窗口内任意一点，本实施例中，α1，β1，γ1分别取0.005，1，1，滑动窗口Ω₃大小取11×11。

对可见光和红外图像，分别按照同样的方式将图像中所有像素的高频子带系数的活跃水平构成活跃水平矩阵，设置一个滑动窗口Ω₄，设滑动窗口遍历图像到任一位置时的中心像素为(x,y)，

根据高频子带系数的活跃水平，计算可见光和红外图像在像素点(x,y)的高频子带系数的融合权重，融合权重定义如下，

X₁×Y₁表示滑动窗口大小，和分别表示可见光和红外图像在像素(x,y)的第l尺度，第p方向的高频子带系数在滑动窗口内分别占有两者中活跃水平较大像素的数量，和定义如下，

(x₀,y₀)为滑动窗口内任意一点，本实施例中Ω₁大小为7×7。

设(x,y)为可见光和红外图像某一像素点，根据图像高频子带系数的融合权重，最终得到融合图像中该像素点的第l层，第p方向的高频子带系数如下，

分别表示可见光和红外图像在像素点(x,y)的第l尺度，第p方向的高频子带系数，Hmap_VI(x,y)、Hmap_IR(x,y)分别表示的融合系数；

步骤4，根据步骤2,3所得到的融合图像的低频子带系数{I_L,F(x,y)}和高频子带系数进行NSCT反变换，得到融合图像{I_F(x,y)}。

本实施例中用到的log-Gabor滤波器其传递函数定义如下，

其中，(log(ω),θ)表示对数极坐标，(σ_r,σ_θ)控制滤波器的半径和角度带宽，ω₀为滤波器的中心频率，θ_k表示在尺度k下的方向角。

实验结果如下：

图2(a)-(b)分别为可见光和红外源图像(大小均为256×256像素)，图3-8分别为在经典的DWT、SWT、NSCT、NSCT-PCNN(基于非下采样轮廓波变换和脉冲耦合神经网络相结合的方法)、NSCT-SR(基于非下采样轮廓波变换和稀疏表示相结合的方法)、NSCT-SF-PCNN(非下采样轮廓波变换、空间频率和脉冲耦合神经网络相结合的方法)方法下的融合结果，图9为本发明提出方法下的融合结果。所有方法的分解尺度设置为4，所有基于NSCT的方法均采用“pkva”作为金字塔滤波器，“9-7”作为方向滤波器。DWT、SWT、NSCT方法中的高低频子带系数融合分别采用模最大选择策略和均值策略。NSCT-PCNN方法中，低频子带系数采用均值策略，高频子带系数采用PCNN最大点火时间选择策略。

为方便从主观上对比不同方法下的融合效果，对图2-9进行局部放大，并在原区域和放大区域用箭头指向细节信息。从整体上可以看出，与其他方法相比，采用DWT、SWT、NSCT和NSCT-PCNN方法的融合图像对比度较低；从局部放大区域观察可以得知，除了本发明方法的融合图像完整保留了箭头所指细节特征之外，其他方法下的融合图像都部分丢失了该细节特征。

除主观上对融合结果进行评价之外，同时采用互信息MI、边缘信息度量算子Q^AB/F和视觉信息保真度VIF三个客观评价指标对不同方法下的融合效果进行评价。其中MI可评价源图像有多少信息量保留到了融合图像，Q^AB/F衡量融合图像中包含了多少源图像的边缘信息，VIF则可通过计算源图像和融合图像之间的共享信息评价融合性能，三个评价指标的数值越大说明融合效果越好。不同融合方法的融合结果客观评价如表1所示，本发明方法客观评价的三个评价指标指均最高，说明了本发明方法的融合效果最好，从客观上证明了本发明方法的有效可行。

表1：不同融合方法的融合结果客观评价

上面结合附图对本发明的具体实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims

1.基于NSCT域底层视觉特征的可见光和红外图像融合方法，其特征在于，包括以下步骤：

计算可见光和红外图像低频子带系数的相位一致性：

<mrow> <msubsup> <mi>PC</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mi>&Sigma;</mi> <mi>k</mi> </msub> <msubsup> <mi>E</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>&epsiv;</mi> <mo>+</mo> <msub> <mi>&Sigma;</mi> <mi>n</mi> </msub> <msub> <mi>&Sigma;</mi> <mi>k</mi> </msub> <msubsup> <mi>A</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

<mrow> <msubsup> <mi>PC</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mi>&Sigma;</mi> <mi>k</mi> </msub> <msubsup> <mi>E</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>&epsiv;</mi> <mo>+</mo> <msub> <mi>&Sigma;</mi> <mi>n</mi> </msub> <msub> <mi>&Sigma;</mi> <mi>k</mi> </msub> <msubsup> <mi>A</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

计算可见光和红外图像低频子带系数的邻域空间频率：

<mrow> <msub> <mi>SCM</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&Sigma;</mo> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>)</mo> <mo>&Element;</mo> <msub> <mi>&Omega;</mi> <mn>0</mn> </msub> </mrow> </munder> <msup> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mrow> <mi>L</mi> <mo>,</mo> <mi>V</mi> <mi>I</mi> </mrow> </msub> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> <mo>)</mo> <mo>-</mo> <msub> <mi>I</mi> <mrow> <mi>L</mi> <mo>,</mo> <mi>V</mi> <mi>I</mi> </mrow> </msub> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>

<mrow> <msub> <mi>SCM</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&Sigma;</mo> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>)</mo> <mo>&Element;</mo> <msub> <mi>&Omega;</mi> <mn>0</mn> </msub> </mrow> </munder> <msup> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mrow> <mi>L</mi> <mo>,</mo> <mi>I</mi> <mi>R</mi> </mrow> </msub> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> <mo>)</mo> <mo>-</mo> <msub> <mi>I</mi> <mrow> <mi>L</mi> <mo>,</mo> <mi>I</mi> <mi>R</mi> </mrow> </msub> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>

计算可见光和红外图像低频子带系数的邻域能量：

<mrow> <msub> <mi>LEN</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mo>-</mo> <mrow> <mo>(</mo> <mi>M</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>/</mo> <mn>2</mn> </mrow> <mrow> <mo>(</mo> <mi>M</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> <mo>/</mo> <mn>2</mn> </mrow> </munderover> <munderover> <mo>&Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mo>-</mo> <mrow> <mo>(</mo> <mi>N</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>/</mo> <mn>2</mn> </mrow> <mrow> <mo>(</mo> <mi>N</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> <mo>/</mo> <mn>2</mn> </mrow> </munderover> <msub> <mi>I</mi> <mrow> <mi>L</mi> <mo>,</mo> <mi>V</mi> <mi>I</mi> </mrow> </msub> <msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <mi>m</mi> <mo>,</mo> <mi>y</mi> <mo>+</mo> <mi>n</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>

<mrow> <msub> <mi>LEN</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mo>-</mo> <mrow> <mo>(</mo> <mi>M</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>/</mo> <mn>2</mn> </mrow> <mrow> <mo>(</mo> <mi>M</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> <mo>/</mo> <mn>2</mn> </mrow> </munderover> <munderover> <mo>&Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mo>-</mo> <mrow> <mo>(</mo> <mi>N</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>/</mo> <mn>2</mn> </mrow> <mrow> <mo>(</mo> <mi>N</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> <mo>/</mo> <mn>2</mn> </mrow> </munderover> <msub> <mi>I</mi> <mrow> <mi>L</mi> <mo>,</mo> <mi>I</mi> <mi>R</mi> </mrow> </msub> <msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <mi>m</mi> <mo>,</mo> <mi>y</mi> <mo>+</mo> <mi>n</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>

计算可见光和红外图像低频子带系数的像素活跃水平：

NAM_VI(x,y)＝[PC_L,VI(x,y)]^α×[LSCM_VI(x,y)]^β×[LEN_VI(x,y)]^γ

NAM_IR(x,y)＝[PC_L,IR(x,y)]^α×[LSCM_IR(x,y)]^β×[LEN_IR(x,y)]^γ

表示集合的势，(x₀,y₀)表示滑动窗口Ω₁内任意一点；

计算融合图像低频子带系数I_L,F(x,y)：

I_L,F(x,y)＝I_L,VI(x,y)×Lmap_VI(x,y)+I_L,IR(x,y)×Lmap_IR(x,y)；

计算可见光和红外图像高频子带系数的相位一致性：

<mrow> <msubsup> <mi>PC</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mo>&Sigma;</mo> <mi>k</mi> </msub> <msubsup> <mi>E</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>&epsiv;</mi> <mo>+</mo> <msub> <mo>&Sigma;</mo> <mi>n</mi> </msub> <msub> <mo>&Sigma;</mo> <mi>k</mi> </msub> <msubsup> <mi>A</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

<mrow> <msubsup> <mi>PC</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mo>&Sigma;</mo> <mi>k</mi> </msub> <msubsup> <mi>E</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>&epsiv;</mi> <mo>+</mo> <msub> <mo>&Sigma;</mo> <mi>n</mi> </msub> <msub> <mo>&Sigma;</mo> <mi>k</mi> </msub> <msubsup> <mi>A</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

计算可见光和红外图像高频子带系数的清晰度：

<mrow> <msubsup> <mi>NSM</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>I</mi> <mrow> <mi>H</mi> <mo>,</mo> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <msubsup> <mi>I</mi> <mrow> <mi>H</mi> <mo>,</mo> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>,</mo> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mo>&Element;</mo> <msub> <mi>&Omega;</mi> <mn>2</mn> </msub> </mrow>

<mrow> <msubsup> <mi>NSM</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>I</mi> <mrow> <mi>H</mi> <mo>,</mo> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <msubsup> <mi>I</mi> <mrow> <mi>H</mi> <mo>,</mo> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>,</mo> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mo>&Element;</mo> <msub> <mi>&Omega;</mi> <mn>2</mn> </msub> </mrow>

<mrow> <msubsup> <mi>HAM</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&Sigma;</mo> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>)</mo> <mo>&Element;</mo> <msub> <mi>&Omega;</mi> <mn>3</mn> </msub> </mrow> </munder> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>PC</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mrow> <mi>&alpha;</mi> <mn>1</mn> </mrow> </msup> <mo>&times;</mo> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>NSM</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mrow> <mi>&beta;</mi> <mn>1</mn> </mrow> </msup> <mo>&times;</mo> <mo>|</mo> <msubsup> <mi>I</mi> <mrow> <mi>H</mi> <mo>,</mo> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <msup> <mo>|</mo> <mrow> <mi>&gamma;</mi> <mn>1</mn> </mrow> </msup> </mrow>

<mrow> <msubsup> <mi>HAM</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&Sigma;</mo> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>)</mo> <mo>&Element;</mo> <msub> <mi>&Omega;</mi> <mn>3</mn> </msub> </mrow> </munder> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>PC</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mrow> <mi>&alpha;</mi> <mn>1</mn> </mrow> </msup> <mo>&times;</mo> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>NSM</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mrow> <mi>&beta;</mi> <mn>1</mn> </mrow> </msup> <mo>&times;</mo> <mo>|</mo> <msubsup> <mi>I</mi> <mrow> <mi>H</mi> <mo>,</mo> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <msup> <mo>|</mo> <mrow> <mi>&gamma;</mi> <mn>1</mn> </mrow> </msup> </mrow>

X₁×Y₁表示滑动窗口Ω₄的大小，和分别表示可见光和红外图像在像素(x,y)第l尺度，第p方向的高频子带系数在滑动窗口Ω₄内占有活跃水平较大的像素的数量：

(x₀,y₀)为滑动窗口Ω₄内任意一点；

计算融合图像第l尺度，第p方向的高频子带系数

<mrow> <msubsup> <mi>I</mi> <mrow> <mi>H</mi> <mo>,</mo> <mi>F</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>I</mi> <mrow> <mi>H</mi> <mo>,</mo> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&times;</mo> <msub> <mi>Hmap</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>I</mi> <mrow> <mi>H</mi> <mo>,</mo> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&times;</mo> <msub> <mi>Hmap</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow>

2.根据权利要求1所述的基于NSCT域底层视觉特征的可见光和红外图像融合方法，其特征在于：所述可见光和红外图像低频子带系数的邻域空间频率LSCM_VI(x,y)，LSCM_IR(x,y)计算如下：

<mrow> <msub> <mi>LSCM</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mo>-</mo> <mrow> <mo>(</mo> <msup> <mi>M</mi> <mo>&prime;</mo> </msup> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>/</mo> <mn>2</mn> </mrow> <mrow> <mo>(</mo> <msup> <mi>M</mi> <mo>&prime;</mo> </msup> <mo>-</mo> <mn>1</mn> <mo>)</mo> <mo>/</mo> <mn>2</mn> </mrow> </munderover> <munderover> <mo>&Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mo>-</mo> <mrow> <mo>(</mo> <msup> <mi>N</mi> <mo>&prime;</mo> </msup> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>/</mo> <mn>2</mn> </mrow> <mrow> <mo>(</mo> <msup> <mi>N</mi> <mo>&prime;</mo> </msup> <mo>-</mo> <mn>1</mn> <mo>)</mo> <mo>/</mo> <mn>2</mn> </mrow> </munderover> <msub> <mi>SCM</mi> <mrow> <mi>V</mi> <mi>I</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <mi>m</mi> <mo>,</mo> <mi>y</mi> <mo>+</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>LSCM</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mo>-</mo> <mrow> <mo>(</mo> <msup> <mi>M</mi> <mo>&prime;</mo> </msup> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>/</mo> <mn>2</mn> </mrow> <mrow> <mo>(</mo> <msup> <mi>M</mi> <mo>&prime;</mo> </msup> <mo>-</mo> <mn>1</mn> <mo>)</mo> <mo>/</mo> <mn>2</mn> </mrow> </munderover> <munderover> <mo>&Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mo>-</mo> <mrow> <mo>(</mo> <msup> <mi>N</mi> <mo>&prime;</mo> </msup> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>/</mo> <mn>2</mn> </mrow> <mrow> <mo>(</mo> <msup> <mi>N</mi> <mo>&prime;</mo> </msup> <mo>-</mo> <mn>1</mn> <mo>)</mo> <mo>/</mo> <mn>2</mn> </mrow> </munderover> <msub> <mi>SCM</mi> <mrow> <mi>I</mi> <mi>R</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <mi>m</mi> <mo>,</mo> <mi>y</mi> <mo>+</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow>

3.根据权利要求1所述的基于NSCT域底层视觉特征的可见光和红外图像融合方法，其特征在于：所述可见光和红外图像低频子带系数在傅里叶域的局部能量计算如下：

<mrow> <msubsup> <mi>E</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>F</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>H</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>

<mrow> <msubsup> <mi>E</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>F</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>H</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>

其中，和定义如下，

<mrow> <msubsup> <mi>F</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>&Sigma;</mi> <mi>n</mi> </msub> <msubsup> <mi>e</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> <msubsup> <mi>H</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>&Sigma;</mi> <mi>n</mi> </msub> <msubsup> <mi>o</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow>

<mrow> <msubsup> <mi>F</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>&Sigma;</mi> <mi>n</mi> </msub> <msubsup> <mi>e</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> <msubsup> <mi>H</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>&Sigma;</mi> <mi>n</mi> </msub> <msubsup> <mi>o</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow>

<mrow> <mo>&lsqb;</mo> <msubsup> <mi>e</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> <msubsup> <mi>o</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> <mo>=</mo> <mo>&lsqb;</mo> <msub> <mi>I</mi> <mrow> <mi>L</mi> <mo>,</mo> <mi>V</mi> <mi>I</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>*</mo> <msubsup> <mi>M</mi> <mi>n</mi> <mi>e</mi> </msubsup> <mo>,</mo> <msub> <mi>I</mi> <mrow> <mi>L</mi> <mo>,</mo> <mi>V</mi> <mi>I</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>*</mo> <msubsup> <mi>M</mi> <mi>n</mi> <mi>o</mi> </msubsup> <mo>&rsqb;</mo> </mrow>

<mrow> <mo>&lsqb;</mo> <msubsup> <mi>e</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> <msubsup> <mi>o</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> <mo>=</mo> <mo>&lsqb;</mo> <msub> <mi>I</mi> <mrow> <mi>L</mi> <mo>,</mo> <mi>I</mi> <mi>R</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>*</mo> <msubsup> <mi>M</mi> <mi>n</mi> <mi>e</mi> </msubsup> <mo>,</mo> <msub> <mi>I</mi> <mrow> <mi>L</mi> <mo>,</mo> <mi>I</mi> <mi>R</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>*</mo> <msubsup> <mi>M</mi> <mi>n</mi> <mi>o</mi> </msubsup> <mo>&rsqb;</mo> </mrow>

分别表示log-Gabor滤波器在尺度n下的一对奇偶对称滤波器；

<mrow> <msubsup> <mi>A</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>e</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>o</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>

<mrow> <msubsup> <mi>A</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>e</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>o</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>.</mo> </mrow>

4.根据权利要求1所述的基于NSCT域底层视觉特征的可见光和红外图像融合方法，其特征在于：所述可见光和红外图像第l尺度，第p方向的的高频子带系数在傅里叶域的局部能量计算如下：

<mrow> <msubsup> <mi>E</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>F</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>H</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>

<mrow> <msubsup> <mi>E</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>F</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>H</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>

其中，和定义如下，

<mrow> <msubsup> <mi>F</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>&Sigma;</mi> <mi>n</mi> </msub> <msubsup> <mi>e</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> <msubsup> <mi>H</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>&Sigma;</mi> <mi>n</mi> </msub> <msubsup> <mi>o</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow>

<mrow> <msubsup> <mi>F</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>&Sigma;</mi> <mi>n</mi> </msub> <msubsup> <mi>e</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> <msubsup> <mi>H</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>&Sigma;</mi> <mi>n</mi> </msub> <msubsup> <mi>o</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow>

<mrow> <mo>&lsqb;</mo> <msubsup> <mi>e</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> <msubsup> <mi>o</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> <mo>=</mo> <mo>&lsqb;</mo> <msubsup> <mi>I</mi> <mrow> <mi>H</mi> <mo>,</mo> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>*</mo> <msubsup> <mi>M</mi> <mi>n</mi> <mi>e</mi> </msubsup> <mo>,</mo> <msubsup> <mi>I</mi> <mrow> <mi>H</mi> <mo>,</mo> <mi>V</mi> <mi>I</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>*</mo> <msubsup> <mi>M</mi> <mi>n</mi> <mi>o</mi> </msubsup> <mo>&rsqb;</mo> </mrow>

<mrow> <mo>&lsqb;</mo> <msubsup> <mi>e</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> <msubsup> <mi>o</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> <mo>=</mo> <mo>&lsqb;</mo> <msubsup> <mi>I</mi> <mrow> <mi>H</mi> <mo>,</mo> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>*</mo> <msubsup> <mi>M</mi> <mi>n</mi> <mi>e</mi> </msubsup> <mo>,</mo> <msubsup> <mi>I</mi> <mrow> <mi>H</mi> <mo>,</mo> <mi>I</mi> <mi>R</mi> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>*</mo> <msubsup> <mi>M</mi> <mi>n</mi> <mi>o</mi> </msubsup> <mo>&rsqb;</mo> </mrow>

分别表示log-Gabor滤波器在尺度n下的一对奇偶对称滤波器；

<mrow> <msubsup> <mi>A</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>e</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>o</mi> <mrow> <mi>V</mi> <mi>I</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>

<mrow> <msubsup> <mi>A</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>e</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>&lsqb;</mo> <msubsup> <mi>o</mi> <mrow> <mi>I</mi> <mi>R</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> </mrow> <mrow> <mi>l</mi> <mo>,</mo> <mi>p</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>.</mo> </mrow>

5.根据权利要求3或4所述的基于NSCT域底层视觉特征的可见光和红外图像融合方法，其特征在于：所述log-Gabor滤波器的传递函数G(ω,θ,k)定义如下，

<mrow> <mi>G</mi> <mrow> <mo>(</mo> <mi>&omega;</mi> <mo>,</mo> <mi>&theta;</mi> <mo>,</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>exp</mi> <mo>(</mo> <mrow> <mo>-</mo> <mfrac> <msup> <mrow> <mo>(</mo> <mi>log</mi> <mo>(</mo> <mi>&omega;</mi> <mo>)</mo> <mo>-</mo> <mi>log</mi> <mo>(</mo> <mi>&omega;</mi> <mo>)</mo> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mrow> <mn>2</mn> <msubsup> <mi>&sigma;</mi> <mi>r</mi> <mn>2</mn> </msubsup> </mrow> </mfrac> </mrow> <mo>)</mo> <mi>exp</mi> <mo>(</mo> <mrow> <mo>-</mo> <mfrac> <msup> <mrow> <mo>(</mo> <mi>&theta;</mi> <mo>-</mo> <msub> <mi>&theta;</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mrow> <mn>2</mn> <msubsup> <mi>&sigma;</mi> <mi>&theta;</mi> <mn>2</mn> </msubsup> </mrow> </mfrac> </mrow> <mo>)</mo> </mrow>