CN109215003B - 一种图像融合方法及装置 - Google Patents

Abstract

本发明公开了一种图像融合方法，包括：利用滑动窗口，计算第一图像和第二图像的滑动窗口中心像素点的结构相似度，并得到与所计算得到的结构相似度所对应的结构相似度矩阵图；采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块，并对所述预设数量个像素块进行聚类，得到第一图像区域和第二图像区域；将第一图像和第二图像分别进行多尺度和多方向的分解，得到第一图像的NSCT系数、第二图像的NSCT系数；根据所述第一图像的NSCT系数、所述第二图像的NSCT系数所述第一图像区域和所述第二图像区域，确定融合图像的NSCT系数；通过NSCT逆变换，得到融合图像。应用本发明实施例提供了图像融合方法和装置，提高图像融合效果。

Description

一种图像融合方法及装置

技术领域

本发明涉及图像融合技术领域，尤其涉及一种图像融合方法及装置。

背景技术

红外图像与可见光图像融合是目前图像融合中最为常见的一组融合图像源，由于红外图像和可见光图像信息互补、甚至相反，单一传感器获取的图像信息是有限的，往往难以满足应用需要，通过图像融合可以从不同的图像源中获得更多的有用信息，增加图像的信息量，提高图像数据的利用效率，提高对环境的适应性。将这红外图像与可见光图像进行融合既能很好保留原始场景的光谱信息又能保留红外热感图像中的显著目标特征信息。随着红外与可见光图像融合技术的发展，有许多成熟的红外与可见光图像融合算法，如IHS变换、PCA变换以及基于多分辨率分析的方法等。但是红外与可见光图像融合时，这些算法均存在缺陷：不同的图像源，不同特征区域具有不同的特性。传统的算法都是针对整个图像场景进行处理，没有考虑不同区域的不同特性，往往导致整个场景扭曲可见光光谱信息，红外图像中热敏目标会由于可见光图像的光谱信息降低特征与周边信息的差异，使得融合图像中红外图像目标信息与可见光图像的光谱信息互相制约。例如，当对红外图像中的目标信息进行融合时，尽可能保证目标特征完整的轮廓信息以及明亮的对比度信息，对于可见光中的地物信息保留可见光的地物信息，以及丰富的纹理图像特征。因此，针对传统图像融合算法的缺陷，在红外与可见光图像融合应用中引入基于区域分割的图像融合算法，按照红外与可见光图像差异区域的不同空间特征采取不同的融合策略能够得到更好的融合性能。

图像融合算法基于多尺度几何分析，随着多尺度几何工具研究的日益深入，M.N.Do和M.Vetterli提出了一种“真正的”二维图像的表示方法Contourlet变换。Contourlet基的支撑区间是随尺度而变化的“长条形”结构，因而能具有比传统的小波变换更好的多分辨率、局部性、方向性和各向异性，能更加有效的捕获图像的边缘信息。但是由于其变换过程中的下采样操作,信号频谱会产生混叠现象,融合图像中则表现为较明显的吉布斯现象。因此，现有技术中缺乏

发明内容

本发明实施例的目的在于提供一种图像融合方法及装置，由于红外图像和可见光图像灰度差异大，有些区域甚至相反，以结构相似度为度量计算红外图像和可见光图像的差异图，根据差异图分割为灰度对比度差异大区域的第一图像区域以及差异弱的第二图像区域，可以针对不同的区域确定不同的融合系数，提高图像融合效果。具体技术方案如下：

为达到上述目的，本发明实施例提供了一种图像融合方法：

利用滑动窗口，计算第一图像和第二图像的滑动窗口中心像素点的结构相似度，并得到与所计算得到的结构相似度所对应的结构相似度矩阵图，其中，所述第一图像和所述第二图像为经过几何配准的图像，且所述第一图像为红外图像、所述第二图像为可见光图像；

采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块，并对所述预设数量个像素块进行聚类，得到第一图像区域和第二图像区域；

将第一图像和第二图像分别进行多尺度和多方向的分解，得到第一图像的NSCT系数、第二图像的NSCT系数；

根据所述第一图像的NSCT系数、所述第二图像的NSCT系数，所述第一图像区域和所述第二图像区域，确定融合图像的NSCT系数；

通过NSCT逆变换，得到融合图像；

其中，所述采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块，并对所述预设数量个像素块进行聚类，得到第一图像区域和第二图像区域的步骤，包括：

采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块；

计算每个像素块的均值；

通过K-means均值聚类算法，对所述预设数量个像素块进行聚类，得到第一图像区域和第二图像区域。

根据权利要求1所述的图像融合方法，其特征在于，所述利用滑动窗口，计算第一图像和第二图像的滑动窗口中心像素点的结构相似度，并得到与所计算得到的结构相似度所对应的结构相似度矩阵图的步骤，包括：

利用预设的3*3滑动窗口或者5*5滑动窗口，以第一图像中的每一个像素点分别作为中心像素点；

计算所述第一图像中每一个中心像素点与所述第二图像中对应像素点的结构相似度；

按照结构相似度与所述第一图像中像素点的对应位置，得到与所计算得到的结构相似度所对应的结构相似度矩阵图。

本发明的优选实施方式中，计算结构相似度的具体表达式为：

其中，SSIM(m,n)为第一图像中心像素点(m，n)与第二图像对应像素点的结构相似度；μ_A为第一图像上滑动窗口的灰度均值、μ_B第二图像上滑动窗口的灰度均值,σ_A为第一图像上滑动窗口的方差、σ_B为第二图像上滑动窗口的方差，σ_AB为第一图像和第二图像的滑动窗口的协方差，c₁、c₂为两个任意小于一阈值的数，用于平衡分母。

本发明的优选实施方式中，在所述计算所述第一图像中每一个中心像素点与所述第二图像中对应像素点的结构相似度的步骤之后，所述方法还包括：

将所计算得到的每一个结构相似度的数值进行归一化处理；

所述按照结构相似度与所述第一图像中像素点的对应位置，得到与所计算得到的结构相似度所对应的结构相似度矩阵图的步骤，包括：

按照结构相似度与所述第一图像中像素点的对应位置，采用归一化处理后的结构相似度数值得到与所计算得到的结构相似度所对应的结构相似度矩阵图。

本发明的优选实施方式中，所述通过K-means均值聚类算法，对所述预设数量个像素块进行聚类，得到第一图像区域和第二图像区域的步骤，包括：

通过K-means均值聚类算法，根据均值的大小对所述预设数量个像素块进行聚类；

将所述第一图像和所述第二图像的差异大的区域作为第一图像区域；

将所述第一图像和所述第二图像的差异小的区域作为第二图像区域。

本发明的优选实施方式中，所述根据所述第一图像的NSCT系数、所述第二图像的NSCT系数，所述第一图像区域和所述第二图像区域，确定融合图像的NSCT系数的步骤，包括：

所述第一图像的NSCT系数

以及所述第二图像的NSCT系数

其中，L_A表示第一图像的分解最高层的低频信息、L_B表示第二图像的分解最高层的低频信息，

表示第一图像中第j尺度上第k方向上的高频系数，

表示第二图像中第j尺度上第k方向上的高频系数；

(1)、对于所述第一图像区域低频信息，选取滑动窗口灰度均值较大值作为融合系数L_F(m,n)：

其中，L_A(m,n)为第一图像中心像素点(m，n)的低频信息，L_B(m,n)为第二图像像素点(m，n)的低频信息；Mean_A,X为x方向上第一图像中心像素点的均值，Mean_B,X(m,n)为x方向上第二图像中心像素点的均值；

对于所述第一图像区域高频信息，选择高频信息模极大的作为融合系数

其中，

为第一图像的中心像素点(m，n)的高频信息，

为第二图像的中心像素点(m，n)的高频信息；

(2)对于所述第二图像区域低频信息，第一图像对应的权重β_A，第二图像对应的权重β_B：

其中，SSIM(m,n)为第一图像中心像素点(m，n)与第二图像对应像素点的结构相似度，SSIM_max为所述结构相似度矩阵图中的最大值，E_A为第一图像中低频系数的区域能量和E_B第二图像中低频系数的区域能量，所述第二图像区域低频系数L_F(m,n)融合规则为：

对于所述第二图像区域高频融合系数的确定，包括：

利用梯度和空间频率双重指标为度量标准，选择基于窗口的融合规则，其中，梯度gra^j,k(m,n)和空间频率SF^j,k(m,n)分别定义为：

其中，j表示第j尺度，k表示第k方向，M表示行像素点数，N表示列的像素点数，

表示x方向上相邻像素点的差分，

表示y方向上相邻像素点的差分，H^j,k(m-1,n)-H^j,k(m,n)表示同一行上相邻两个像素点的高频信息之差；

并分别计算第一图像和第二图像高频系数的梯度差异Δgra^j,k(m,n)以及空间频率差异ΔSF^j,k(m,n)：

其中，

为第一图像对应的梯度、

为第二图像对应的梯度、

为第一图像的空间频率、

为第二图像的空间频率；

当Δgra×ΔSF＞0时表示，表示特征信息来源一致，所述第二图像区域高频融合系数

为：

其中，S为第二图像区域中的所有像素点集合；

当ΔSF＞0,Δgra≤0或者ΔSF≤0,Δgra＞0表示特征信息来源不确定，计算空间频率相关系数

和梯度相关系数

其中，

代表第一图像的空间频率、

代表第二图像的空间频率、

代表第一图像对应的梯度、

代表第二图像对应的梯度；

根据空间频率和梯度的差异以及相关系数，可得到四个二值化的决策区域：

根据决策区域可得，第二图像区域中特征信息不确定部分的高频融合系数：

其中，Area1(m,n)表示第一决策区域、Area2(m,n)表示第二决策区域、Area3(m,n)表示第三决策区域、Area4(m,n)表示第四决策区域。

此外，本发明还公开了一种图像融合装置，所述图像融合装置包括：

计算模块，用于利用滑动窗口，计算第一图像和第二图像的滑动窗口中心像素点的结构相似度，并得到与所计算得到的结构相似度所对应的结构相似度矩阵图，其中，所述第一图像和所述第二图像为经过几何配准的图像，且所述第一图像为红外图像、所述第二图像为可见光图像；

聚类模块，用于采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块，并对所述预设数量个像素块进行聚类，得到第一图像区域和第二图像区域；具体的所述聚类模块包括：采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块；计算每个像素块的均值；通过K-means均值聚类算法，对所述预设数量个像素块进行聚类，得到第一图像区域和第二图像区域；

分解模块，用于将第一图像和第二图像分别进行多尺度和多方向的分解，得到第一图像的NSCT系数、第二图像的NSCT系数；

确定模块，用于根据所述第一图像的NSCT系数、所述第二图像的NSCT系数，所述第一图像区域和所述第二图像区域，确定融合图像的NSCT系数；

变换模块，用于通过NSCT逆变换，得到融合图像。

应用本发明实施例提供的一种图像融合方法及装置，由于红外图像和可见光图像灰度差异大，有些区域甚至相反，以结构相似度为度量计算红外图像和可见光图像的差异图，根据差异图分割为灰度对比度差异大区域的第一图像区域以及差异弱的第二图像区域，可以针对不同的区域确定不同的融合系数，提高图像融合效果。

附图说明

图1为本发明实施例提供的图像融合方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，本发明实施例提供了一种图像融合方法，包括如下步骤：

S101，利用滑动窗口，计算第一图像和第二图像的滑动窗口中心像素点的结构相似度，并得到与所计算得到的结构相似度所对应的结构相似度矩阵图，其中，所述第一图像和所述第二图像为经过几何配准的图像，且所述第一图像为红外图像、所述第二图像为可见光图像。

需要说明的是，红外图像中具有目标的热辐射效应较大，与可见光图像灰度差异较大甚至相反；红外图像背景灰度不具有明显的热感效应对比度低，与可见光图像相比，缺乏光谱信息，但是同样包含细节信息。因此，在对图像进行融合时只有更多的去保留原图像的信息才能进一步的提高融合效果。

另外，本发明实施例中第一图像为红外图像、第二图像为可见光图像，且为了进一步便于对图像进行处理，第一图像和第二图像为经过几何配准的图像。

需要说明的是，几何配准是指将不同时间、不同波段、不同遥感器系统所获得的同一地区的图像(数据)，经几何变换使同名像点在位置上和方位上完全叠合的操作。具体的几何配准过程为现有技术，本发明实施例在此不做赘述。

可以理解的是，滑动窗口是在图像处理中常用到的图像处理工具，具体的，滑动窗口的大小可以为3*3或者是5*5等，本发明实施例在此不做具体限定。

示例性的，以第一图像为例，3*3的滑动窗口可以从左上角的第一个像素点开始，将其作为3*3滑动窗口的第一个中心像素点，然后依次移动该3*3滑动窗口。所以第一图像中的任意一个像素点均有作为中心像素点的机会，那么依次类推，对于第二图像也是如此，所以按照这种原则，可以计算第一图像中的任意一个中心像素点，与第二图像中对应中心像素点的结构相似度。

具体的，计算结构相似度的具体表达式为：

其中，SSIM(m,n)为第一图像中心像素点(m，n)与第二图像对应像素点的结构相似度；μ_A为第一图像上滑动窗口的灰度均值、μ_B第二图像上滑动窗口的灰度均值,σ_A为第一图像上滑动窗口的方差、σ_B为第二图像上滑动窗口的方差，σ_AB为第一图像和第二图像的滑动窗口的协方差，c₁、c₂为两个任意较小数用于平衡分母，避免分母接近0时造成的不稳定。

另外，可以理解的是，以第一图像或者第二图像为参考物，结构相似度值与图像上对应的像素点是对应的，所以将结构相似度的值以像素点的对应位置为排列，可以得到对应的结构相似度矩阵图，具体的，将结构相似度的值以像素点的对应位置排列，得到像素矩阵，这个像素矩阵就是对应的结构相似度矩阵图，该部分的实现为现有技术，本发明实施例在此不对齐具体细节进行赘述，本领域技术人员可以自行实现转换。

S102，采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块，并对所述预设数量个像素块进行聚类，得到第一图像区域和第二图像区域。

可以将结构相似度矩阵图进行分割，分成多个块，可以理解的是，分成的块越多区域划分的就越精准，但是会增加计算的负担，本发明实施例中，可以将结构相似度矩阵图化分成700个像素块，那么每一个像素块之间的差异较小。

为了便于进行计算，本发明的一种具体实现方式中，将所计算得到的每一个结构相似度的数值及进行归一化处理；所述按照结构相似度与所述第一图像中像素点的对应位置，得到与所计算得到的结构相似度所对应的结构相似度矩阵图的步骤，包括：按照结构相似度与所述第一图像中像素点的对应位置，采用归一化处理后的结构相似度数值得到与所计算得到的结构相似度所对应的结构相似度矩阵图。

本发明实施例中，红外图像中具有目标的热辐射效应较大，与可见光图像灰度差异较大甚至相反；红外图像背景灰度不具有明显的热感效应对比度低，与可见光图像相比，缺乏光谱信息，但是同样包含细节信息；所以经过计算红外图像与可见光图像的结构相似度进行区域分割后，可以对不同区域做融合处理而保持其光谱特性以及目标特征。

本发明的另一种实现方式中，所述采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块，并对所述预设数量个像素块进行聚类，得到第一图像区域和第二图像区域的步骤，包括：采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块；计算每个像素块的均值；通过K-means均值聚类算法，对所述预设数量个像素块进行聚类，得到第一图像区域和第二图像区域。

具体的，所述通过K-means均值聚类算法，对所述预设数量个像素块进行聚类，得到第一图像区域和第二图像区域的步骤，包括：通过K-means均值聚类算法，根据均值的大小对所述预设数量个像素块进行聚类；将所述第一图像和所述第二图像的差异大的区域作为第一图像区域；将所述第一图像和所述第二图像的差异小的区域作为第二图像区域。

所以通过K-means均值聚类算法，根据像素块的均值分割为两个区域，聚类的结果为产生均值为较小值的区域和均值为较大值的区域，较小值的区域对应为第一图像和第二图像差异较大的第一图像区域，较大值区域对应为第一图像和第二图像差异较小的第二图像区域。具体的聚类过程为现有技术，本发明实施例在此不做具体限定。

S103，将第一图像和第二图像分别进行多尺度和多方向的分解，得到第一图像的NSCT系数、第二图像的NSCT系数。

可以理解的是，随着多尺度几何工具研究的日益深入，M.N.Do和M.Vetterli提出了一种“真正的”二维图像的表示方法Contourlet变换。Contourlet基的支撑区间是随尺度而变化的“长条形”结构，因而能具有比传统的小波变换更好的多分辨率、局部性、方向性和各向异性，能更加有效的捕获图像的边缘信息。但是由于其变换过程中的下采样操作,信号频谱会产生混叠现象,融合图像中则表现为较明显的吉布斯现象。Arthur L.da Cunha等根据构造非下采样小波的启发提出了一种非下采样Contourlet变换(nonsubsampledContourlet transform,NSCT),该变换比Contourlet变换具有更灵活的多分辨、多方向的图像表示能力，且以冗余度换取了平移不变性。基于此将非下采样Contourlet变换引入图像融合，可以更好的保留原始图像的细节信息，提取图像的轮廓特征，为融合图像提供更多更全面的特征信息。

具体的，将第一图像和第二图像分别进行多尺度和多方向的分解，得到的结果为：第一图像的NSCT系数

以及第二图像的NSCT系数

其中，L_A表示第一图像的分解最高层的低频信息、L_B表示第二图像的分解最高层的低频信息，

表示第一图像中第j尺度上第k方向上的高频系数，

表示第二图像中第j尺度上第k方向上的高频系数。具体的NSCT分解过程为现有技术，本发明实施例在此不做具体赘述。

S104，根据所述第一图像的NSCT系数、所述第二图像的NSCT系数，所述第一图像区域和所述第二图像区域，确定融合图像的NSCT系数。

差异大的第一图像区域，红外图像与可见光图像在目标区域往往呈现灰度差异大，甚至相反，因此差异大的第一图像区域多为目标区域。目标区域应尽可能多的保留目标的最原始信息，且目标区域多为高亮区域。因此对于目标区域低频信息选取滑动窗口灰度均值较大值的融合规则，选择取滑动窗口灰度均值较大值作为融合系数L_F(m,n)：

其中，L_A(m,n)为第一图像中心像素点(m，n)的低频信息，L_B(m,n)为第二图像中心像素点(m，n)的低频信息；Mean_A,X为x方向上第一图像中心像素点的均值，Mean_B,X(m,n)为x方向上第二图像中心像素点的均值；

Mean_A,X为x方向上第一图像中心像素点的均值，具体表达为：

Mean_B,X(m,n)为x方向上第二图像中心像素点的均值，具体表达为：

为了保留目标区域更多更丰富的特征及纹理信息，高频区域选择模极大的融合规则，高频信息模极大的作为融合系数

而对于差异较小的第二图像区域，表现出来的多为图像相似区域，由于相似区域多为背景区域，该区域可见光图像中包含丰富的光谱信息能提供出目标区域的地物信息，而红外图像中亮度高于可见光图像时也存在纹理细节特征。因此背景区域的低频信息应保留融合图像源的光谱信息和丰富的特征信息，因此融合图像第二图像区域的低频信息应选择区域能量的加权方法，设权重：

其中，SSIM_max为所述结构相似度矩阵图中的最大值，E_A为第一图像中低频系数的区域能量和E_B第二图像中低频系数的区域能量，区域能量定义为:

因此，相似区域S的低频系数融合规则为：

为了不丢失相似区域中红外图像和可见光图像中所能表征出的纹理及特征，使融合图像的背景信息能更为全面。利用梯度和空间频率双重指标为度量标准，选择基于窗口的融合规则。梯度gra^j,k(m,n)和空间频率SF^j,k(m,n)分别定义为：

其中，j表示第j尺度，k表示第k方向，M表示行像素点书，N表示列的像素点数，

表示x方向上相邻像素点的差分，

表示y方向上相邻像素点的差分，H^j,k(m-1,n)-H^j,k(m,n)表示同一行上相邻两个像素点的高频信息之差；表示为该图像像素点的上一点位置减去中心像素点位置，也就是一幅图像上行方向上的高频信息相减，列方向上的高频信息不变，同时计算第一图像和第二图像的空间频率SF值。

并分别计算第一图像和第二图像梯度差异Δgra^j,k(m,n)以及空间频率差异ΔSF^{j ,k}(m,n)：

当Δgra×ΔSF＞0时表示，特征信息来源一致，因此选择高频融合系数为：

其中，

为第一图像对应的梯度、

为第二图像对应的梯度、

为第一图像的空间频率、

为第二图像的空间频率

反过来当ΔSF＞0,Δgra≤0或者ΔSF≤0,Δgra＞0表示特征信息来源不确定，红外图像和可见光图像中从不同度量方法中都有较高的特征信息，因此需要计算空间频率和梯度的相关系数

和

其中，

代表第一图像的空间频率、

代表第二图像的空间频率、

代表第一图像对应的梯度、

代表第二图像对应的梯度。

根据空间频率和梯度的差异以及相关系数，可得到四个二值化的决策区域：

根据决策区域可得相似区域S中特征信息不确定部分的高频融合系数：

S105，通过NSCT逆变换，得到融合图像。

可以理解的是，由各个不同区域获得的NSCT系数组合成融合图像的NSCT系数，通过NSCT逆变换，即可得到最终的融合图像。具体过程为现有技术，本发明实施例在此不做具体赘述。

针对将图像源分割为差异以及相似区域不同属性区域的特点，在不同区域设计不同的融合规则使得融合图像能最大限度的保留图像源的信息。由于不同的频率信息表征的含义也不相同，因此不同的频率设计的融合规则也不相同：差异大的区域，对于目标区域低频信息选择取滑动窗口灰度均值较大值的融合规则，高频区域选择模极大的融合规则；对于相似区域多为背景区域的低频信息，选择区域能量的加权方法；为了不丢失相似区域中红外图像和可见光图像中所能表征出的纹理及特征，使融合图像的背景信息能更为全面，利用梯度和空间频率双重指标为度量标准，选择基于窗口的融合规则。通过区域控制不同图像源的成分对融合结果的贡献，得到不同的融合结果。

因此，针对传统图像融合算法的缺陷，在红外与可见光图像融合应用中引入基于区域分割的图像融合算法，按照红外与可见光图像差异区域的不同空间特征采取不同的融合策略能够得到更好的融合性能。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (7)

1.一种图像融合方法，其特征在于，包括：

利用滑动窗口，计算第一图像和第二图像的滑动窗口中心像素点的结构相似度，并得到与所计算得到的结构相似度所对应的结构相似度矩阵图，其中，所述第一图像和所述第二图像为经过几何配准的图像，且所述第一图像为红外图像、所述第二图像为可见光图像；

采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块，并对所述预设数量个像素块进行聚类，得到第一图像区域和第二图像区域；

将第一图像和第二图像分别进行多尺度和多方向的分解，得到第一图像的NSCT系数、第二图像的NSCT系数；

根据所述第一图像的NSCT系数、所述第二图像的NSCT系数，所述第一图像区域和所述第二图像区域，确定融合图像的NSCT系数；

通过NSCT逆变换，得到融合图像；

其中，所述采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块，并对所述预设数量个像素块进行聚类，得到第一图像区域和第二图像区域的步骤，包括：

采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块；

计算每个像素块的均值；

通过K-means均值聚类算法，对所述预设数量个像素块进行聚类，得到第一图像区域和第二图像区域。

2.根据权利要求1所述的图像融合方法，其特征在于，所述利用滑动窗口，计算第一图像和第二图像的滑动窗口中心像素点的结构相似度，并得到与所计算得到的结构相似度所对应的结构相似度矩阵图的步骤，包括：

利用预设的3*3滑动窗口或者5*5滑动窗口，以第一图像中的每一个像素点分别作为中心像素点；

计算所述第一图像中每一个中心像素点与所述第二图像中对应像素点的结构相似度；

按照结构相似度与所述第一图像中像素点的对应位置，得到与所计算得到的结构相似度所对应的结构相似度矩阵图。

3.根据权利要求2所述的图像融合方法，其特征在于，计算结构相似度的具体表达式为：

其中，SSIM(m,n)为第一图像中心像素点(m，n)与第二图像对应像素点的结构相似度；μ_A为第一图像上滑动窗口的灰度均值、μ_B第二图像上滑动窗口的灰度均值,σ_A为第一图像上滑动窗口的方差、σ_B为第二图像上滑动窗口的方差，σ_AB为第一图像和第二图像的滑动窗口的协方差，c₁、c₂为两个任意小于一阈值的数，用于平衡分母。

4.根据权利要求2所述的图像融合方法，其特征在于，在所述计算所述第一图像中每一个中心像素点与所述第二图像中对应像素点的结构相似度的步骤之后，所述方法还包括：

将所计算得到的每一个结构相似度的数值进行归一化处理；

所述按照结构相似度与所述第一图像中像素点的对应位置，得到与所计算得到的结构相似度所对应的结构相似度矩阵图的步骤，包括：

按照结构相似度与所述第一图像中像素点的对应位置，采用归一化处理后的结构相似度数值得到与所计算得到的结构相似度所对应的结构相似度矩阵图。

5.根据权利要求1所述的图像融合方法，其特征在于，所述通过K-means均值聚类算法，对所述预设数量个像素块进行聚类，得到第一图像区域和第二图像区域的步骤，包括：

通过K-means均值聚类算法，根据均值的大小对所述预设数量个像素块进行聚类；

将所述第一图像和所述第二图像的差异大的区域作为第一图像区域；

将所述第一图像和所述第二图像的差异小的区域作为第二图像区域。

6.根据权利要求3所述的图像融合方法，其特征在于，所述根据所述第一图像的NSCT系数、所述第二图像的NSCT系数，所述第一图像区域和所述第二图像区域，确定融合图像的NSCT系数的步骤，包括：

所述第一图像的NSCT系数

以及所述第二图像的NSCT系数

其中，L_A表示第一图像的分解最高层的低频信息、L_B表示第二图像的分解最高层的低频信息，

表示第一图像中第j尺度上第k方向上的高频系数，

表示第二图像中第j尺度上第k方向上的高频系数；

(1)、对于所述第一图像区域低频信息，选取滑动窗口灰度均值较大值作为融合系数L_F(m,n)：

其中，L_A(m,n)为第一图像中心像素点(m，n)的低频信息，L_B(m,n)为第二图像像素点(m，n)的低频信息；Mean_A,X为x方向上第一图像中心像素点的均值，Mean_B,X(m,n)为x方向上第二图像中心像素点的均值；

对于所述第一图像区域高频信息，选择高频信息模极大的作为融合系数

其中，

为第一图像的中心像素点(m，n)的高频信息，

为第二图像的中心像素点(m，n)的高频信息；

(2)对于所述第二图像区域低频信息，第一图像对应的权重β_A，第二图像对应的权重β_B：

其中，SSIM(m,n)为第一图像中心像素点(m，n)与第二图像对应像素点的结构相似度，SSIM_max为所述结构相似度矩阵图中的最大值，E_A为第一图像中低频系数的区域能量和E_B为第二图像中低频系数的区域能量，所述第二图像区域低频系数L_F(m,n)融合规则为：

对于所述第二图像区域高频融合系数的确定，包括：

利用梯度和空间频率双重指标为度量标准，选择基于窗口的融合规则，其中，梯度gra^{j ,k}(m,n)和空间频率SF^j,k(m,n)分别定义为：

其中，j表示第j尺度，k表示第k方向，M表示行像素点数，N表示列的像素点数，

表示x方向上相邻像素点的差分，

表示y方向上相邻像素点的差分，H^j,k(m-1,n)-H^j,k(m,n)表示同一行上相邻两个像素点的高频信息之差；

并分别计算第一图像和第二图像高频系数的梯度差异Δgra^j,k(m,n)以及空间频率差异ΔSF^j,k(m,n)：

其中，

为第一图像对应的梯度、

为第二图像对应的梯度、

为第一图像的空间频率、

为第二图像的空间频率；

当Δgra×ΔSF＞0时表示，表示特征信息来源一致，所述第二图像区域高频融合系数

为：

其中，S为第二图像区域中的所有像素点集合；

当ΔSF＞0,Δgra≤0或者ΔSF≤0,Δgra＞0表示特征信息来源不确定，计算空间频率相关系数

和梯度相关系数

其中，

代表第一图像的空间频率、

代表第二图像的空间频率、

代表第一图像对应的梯度、

代表第二图像对应的梯度；

根据空间频率和梯度的差异以及相关系数，可得到四个二值化的决策区域：

根据决策区域可得，第二图像区域中特征信息不确定部分的高频融合系数：

其中，Area1(m,n)表示第一决策区域、Area2(m,n)表示第二决策区域、Area3(m,n)表示第三决策区域、Area4(m,n)表示第四决策区域。

7.一种图像融合装置，其特征在于，所述图像融合装置包括：

计算模块，用于利用滑动窗口，计算第一图像和第二图像的滑动窗口中心像素点的结构相似度，并得到与所计算得到的结构相似度所对应的结构相似度矩阵图，其中，所述第一图像和所述第二图像为经过几何配准的图像，且所述第一图像为红外图像、所述第二图像为可见光图像；

聚类模块，用于采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块，并对所述预设数量个像素块进行聚类，得到第一图像区域和第二图像区域；具体的所述聚类模块包括：采用超像素分割法将所述结构相似度矩阵图分为预设数量个像素块；计算每个像素块的均值；通过K-means均值聚类算法，对所述预设数量个像素块进行聚类，得到第一图像区域和第二图像区域；

分解模块，用于将第一图像和第二图像分别进行多尺度和多方向的分解，得到第一图像的NSCT系数、第二图像的NSCT系数；

确定模块，用于根据所述第一图像的NSCT系数、所述第二图像的NSCT系数，所述第一图像区域和所述第二图像区域，确定融合图像的NSCT系数；

变换模块，用于通过NSCT逆变换，得到融合图像。

Images