CN111402180B - 一种nsct域的基于fbiem与iscm的图像融合方法 - Google Patents

Abstract

本发明公开了一种NSCT域的基于FBIEM与ISCM的图像融合方法，属于图像智能信息处理领域。本发明包括以下步骤：针对所有待融合源图像进行NSCT变换，每幅源图像分别得到一幅低频子带图像和多幅高频子带图像；基于生化领域的离子交换机制定义像素点交换率，完成低频子带图像的融合；基于神经网络领域构建ISCM模型，完成高频子带图像的融合；将最终融合图像的高频子带图像和低频子带图像进行NSCT逆变换，得到最终融合图像。该方法针对多传感器图像的融合问题，综合利用了生化领域与神经网络领域中的两种机制完成了低频子带图像和高频子带图像的融合过程，促成了多传感器图像融合问题的合理解决，具有很好的应用价值。

Description

一种NSCT域的基于FBIEM与ISCM的图像融合方法

技术领域

本发明涉及图像智能信息处理，具体涉及一种NSCT域的基于FBIEM与ISCM的图像融合方法。

背景技术

目前，图像传感器技术的迅速发展为人类提供了大量的、多源的图像信息。如何充分利用不同传感器的成像优势，将同一场景的多幅源图像加以有效融合已经成为图像智能信息处理领域的热点问题。

图像融合方法大致可以分为空间域方法和变换域方法两类。空间域方法直接针对源图像像素点本身进行处理，而变换域方法则首先将源图像变换到频率域，采用某种模型对子带图像加以融合后，再变换回空间域。与前者相比，变换域方法体现出较大的优势，在图像融合过程中发挥着日益重要的作用，但子带图像融合过程中采用的模型往往成为制约最终图像融合质量的关键因素。

生物学领域的模型已被广泛应用于信息领域问题的解决过程中。针对图像融合问题，一方面，基于生化领域的离子交换模型的运行机理与图像融合过程具有显著的相似性；另一方面，具有生物学背景的SCM模型已被证明能够应用于图像融合领域，然而该模型自身仍存在一定的不足。基于上述两方面，生化领域模型优势的充分利用有望为图像融合问题的解决提供新的思路和途径。

发明内容

本发明的主要目的在于提供一种NSCT域的基于FBIEM与ISCM的图像融合方法。

本发明采用的技术方案是：一种NSCT域的基于FBIEM与ISCM的图像融合方法，包括以下步骤：

步骤S1，针对所有待融合源图像进行NSCT变换，每幅源图像分别得到一幅低频子带图像和多幅高频子带图像；

步骤S2，基于生化领域的离子交换机制；具体包括：

S21，定义像素点交换率；

S22，完成低频子带图像的融合；

步骤S3，基于神经网络领域构建改进型脉冲皮层模型模型；具体包括：

S31，将所有高频子带图像导入构建的ISCM模型；

S32，完成高频子带图像的融合；

步骤S4，将最终融合图像的高频子带图像和低频子带图像进行NSCT逆变换，得到最终融合图像。

进一步地，所述步骤S1具体为：

输入所有待融合的多传感器源图像，并对它们分别进行NSCT变换，尺度分解级数为K，lk为k尺度下的方向分解级数，其中1≤k≤K，每幅待融合多传感器源图像经过NSCT变换后，分别得到一幅低频子带图像和多幅高频子带图像。

更进一步地，所述步骤S2中步骤S21具体为：

计算低频子带图像中各像素点对应的空间频率(SpatialFrequency,SF)，计算公式如式(1)-(3)所示：

其中，RF和CF分别为水平方向和垂直方向的一阶梯度，图像的大小为M×N；

利用式(4)、式(5)计算得出每个像素点的隶属度数值：

需要注意的是，这里为了方便起见，假设待融合图像有两幅，分别记为A和B；

由式(4)、式(5)计算得出每个像素点的EE数值，如式(6)所示：

更进一步地，所述步骤S2中步骤S22具体为：

根据计算结果得出低频子带融合图像中的系数；

F_K(i,j)＝A_K(i,j)*EE_A(i,j)+B_K(i,j)*EE_B(i,j)            (7)

其中，AK与BK分别表示两幅待融合源图像A与B经过NSCT变换后得到的低频子带图像，FK表示低频子带融合图像。

更进一步地，所述步骤3中步骤S31具体为：

构建改进型拉普拉斯算子，如式(8)、式(9)所示：

ID(i,j)＝|2I(i,j)-I(i-step,j)-(i+step,j)|+|2I(i,j)-I(i,j-step)-(i,j+step)|                            (8)

其中，ID(i,j)与ILO(i,j)分别表示像素点(i,j)的亮度差异和改进型拉普拉斯算子对应的运算结果；像素点的ILO数值更有利于像素点亮度等级的刻画；

将像素点的ILO数值作为ISCM模型中突触连接矩阵的元素，构建ISCM模型，如式(10)-(13)所示：

E_ij[n]＝gE_ij[n-1]+hY_ij[n-1]                              (11)

T_ij[n]＝T_ij[n-1]+Y_ij[n]                       (13)

其中，下标ij为神经元ij对应的像素点在图像中的空间位置；n为迭代次数；Uij,Sij,Yij,Eij分别是定位标号为ij的神经元的内部活动项、神经元的外部输入、神经元的二值输出和动态阈值；Tij用于记录一定迭代次数后的神经元ij的点火次数；参数f,g和h用于均为衰减系数。

更进一步地，所述步骤3中步骤S32具体为：

将所有高频子带图像导入步骤3.1构建的ISCM模型，得出高频子带融合图像中的系数；

其中，Ak,d与Bk,d分别表示两幅待融合源图像A与B经过NSCT变换后得到的高频子带图像，Fk,d表示高频子带融合图像，1≤k≤K。

本发明的优点：

本发明在低频子带图像融合过程中，采用空间频率作为每个像素点的隶属度的衡量依据，赋予具有显著特征的像素点较大的隶属度数值，并基于此计算得出像素点交换率，使得低频子带图像中具有突出特征和良好清晰度的像素点融入低频子带融合图像中；

针对传统的SCM模型进行了改进，使其更适用于高频子带图像的融合过程；

使用本发明得出的最终融合图像能够在保留源图像主体信息的基础上，尽可能地将源图像的细节信息和边缘信息加以提取并注入到最终的融合图像。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明的方法流程图；

图2为本发明的仿真实验的源图像；其中，图2(a)为CT图像；图2(b)为MRI图像；

图3为本发明的仿真实验的效果仿真图；其中，图3(a)为GFF方法的仿真结果；图3(b)为NSP方法的仿真结果；图3(c)为PCA方法的仿真结果；图3(d)为本发明方法的仿真结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参考图1，如图1所示，本发明公开了一种非下采样轮廓波变换(Non-SubsampledContourlet Transform,NSCT)域的基于模糊生化离子交换模型(Fuzzy Biochemical IonExchange Model,FBIEM)与改进型脉冲皮层模型(Improved Spiking Cortical Model,ISCM)的图像融合方法。

一种NSCT域的基于FBIEM与ISCM的图像融合方法，包括以下步骤：

步骤S1，针对所有待融合源图像进行NSCT变换，每幅源图像分别得到一幅低频子带图像和多幅高频子带图像；

步骤S2，基于生化领域的离子交换机制；具体包括：

S21，定义像素点交换率(Exchange Extent,EE)；

S22，完成低频子带图像的融合；

步骤S3，基于神经网络领域构建改进型脉冲皮层模型(Improved SpikingCortical Model,ISCM)模型；具体包括：

S31，将所有高频子带图像导入构建的ISCM模型；

S32，完成高频子带图像的融合；

步骤S4，将最终融合图像的高频子带图像和低频子带图像进行NSCT逆变换，得到最终融合图像。

所述步骤S1具体为：

输入所有待融合的多传感器源图像，并对它们分别进行NSCT变换，尺度分解级数为K，lk为k尺度下的方向分解级数，其中1≤k≤K，每幅待融合多传感器源图像经过NSCT变换后，分别得到一幅低频子带图像和多幅高频子带图像。

所述步骤S2中步骤S21具体为：

计算低频子带图像中各像素点对应的空间频率(Spatial Frequency,SF)，计算公式如式(1)-(3)所示：

其中，RF和CF分别为水平方向和垂直方向的一阶梯度，图像的大小为M×N；

利用式(4)、式(5)计算得出每个像素点的隶属度数值：

需要注意的是，这里为了方便起见，假设待融合图像有两幅，分别记为A和B；

由式(4)、式(5)计算得出每个像素点的EE数值，如式(6)所示：

所述步骤S2中步骤S22具体为：

根据计算结果得出低频子带融合图像中的系数；

F_K(i,j)＝A_K(i,j)*EE_A(i,j)+B_K(i,j)*EE_B(i,j)               (7)

其中，AK与BK分别表示两幅待融合源图像A与B经过NSCT变换后得到的低频子带图像，FK表示低频子带融合图像。

所述步骤3中步骤S31具体为：

构建改进型拉普拉斯算子(Improved Laplacian Operator,ILO)，如式(8)、式(9)所示：

ID(i,j)＝|2I(i,j)-I(i-step,j)-(i+step,j)|+|2I(i,j)-I(i,j-step)-(i,j+step)|   (8)

其中，ID(i,j)与ILO(i,j)分别表示像素点(i,j)的亮度差异(IntensityDifference,ID)和改进型拉普拉斯算子对应的运算结果；像素点的ILO数值更有利于像素点亮度等级的刻画；

将像素点的ILO数值作为ISCM模型中突触连接矩阵的元素，构建ISCM模型，如式(10)-(13)所示：

E_ij[n]＝gE_ij[n-1]+hY_ij[n-1]                                (11)

T_ij[n]＝T_ij[n-1]+Y_ij[n]                                  (13)

其中，下标ij为神经元ij对应的像素点在图像中的空间位置；n为迭代次数；Uij,Sij,Yij,Eij分别是定位标号为ij的神经元的内部活动项、神经元的外部输入、神经元的二值输出和动态阈值；Tij用于记录一定迭代次数后的神经元ij的点火次数；参数f,g和h用于均为衰减系数。

所述步骤3中步骤S32具体为：

将所有高频子带图像导入步骤3.1构建的ISCM模型，得出高频子带融合图像中的系数；

其中，Ak,d与Bk,d分别表示两幅待融合源图像A与B经过NSCT变换后得到的高频子带图像，Fk,d表示高频子带融合图像，1≤k≤K。

实施例：

本发明的方法在实际应用时，采用计算机Matlab 2014b软件技术实现自动运行。为了更好地对本发明的技术方案加以理解，本实施例选用两幅医学源图像进行融合。参见图1，图中将两幅源图像分别记为A和B，最终融合图像记为F；遵循本发明的技术方案。

仿真对比实验：

为了验证本发明的方法的有效性，以下通过一组仿真实验来验证同现行的多种常规图像融合方法相比，采用本发明方法具有更好的合理有效性：

遵循本发明的技术方案，融合一组医学源图像，该组源图像包括一幅CT图像(见图2(a))和一幅MRI图像(见图2(b))，并将融合效果与几种代表性方法进行比较。首先，对两幅待融合源图像进行NSCT变换；然后，分别采用本发明提出的FBIEM模型和ISCM模型完成低频子带图像和高频子带图像的融合过程；最后，将最终融合图像的高频子带图像和低频子带图像进行NSCT逆变换，得到最终融合图像。同时，选取几种代表性方法包括guidedfiltering fusion方法(GFF)、NSCT_SF_PCNN方法(NSP)以及principal componentanalysis方法(PCA)与本发明对应方法进行比较。

图3给出了四种方法的仿真实验结果。本发明方法对应的融合图像具有更合理的亮度水平和更丰富的图像信息；此外，还选取了方差(variance)和SF作为四种方法的客观质量评价指标。表1给出了仿真实验中四种图像融合方法对应的最终融合图像的客观评价结果。

表1四种图像融合方法的客观评价结果

粗体数据代表同类指标中的最优数据

从表1的客观评价结果可以看出，本发明在variance和SF指标上均优于其它三种方法。

综上所述，由本发明的方法与几种代表性方法比较可知，本发明无论在直观视觉效果还是客观评价指标均具有十分明显的优势，能够很好的对源图像进行融合处理，是一种可行的多传感器图像融合方法。

本发明在低频子带图像融合过程中，采用空间频率作为每个像素点的隶属度的衡量依据，赋予具有显著特征的像素点较大的隶属度数值，并基于此计算得出像素点交换率，使得低频子带图像中具有突出特征和良好清晰度的像素点融入低频子带融合图像中；

针对传统的SCM模型进行了改进，使其更适用于高频子带图像的融合过程；

使用本发明得出的最终融合图像能够在保留源图像主体信息的基础上，尽可能地将源图像的细节信息和边缘信息加以提取并注入到最终的融合图像。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种NSCT域的基于FBIEM与ISCM的图像融合方法，其特征在于，包括以下步骤：

步骤S1，针对所有待融合源图像进行NSCT变换，每幅源图像分别得到一幅低频子带图像和多幅高频子带图像；

步骤S2，基于生化领域的离子交换机制；具体包括：

S21，定义像素点交换率；

S22，完成低频子带图像的融合；

步骤S3，基于神经网络领域构建改进型脉冲皮层模型；具体包括：

S31，将所有高频子带图像导入构建的ISCM模型；

S32，完成高频子带图像的融合；

步骤S4，将最终融合图像的高频子带图像和低频子带图像进行NSCT逆变换，得到最终融合图像；

所述步骤S2中步骤S21具体为：

计算低频子带图像中各像素点对应的空间频率SF，计算公式如式(1)-(3)所示：

其中，RF和CF分别为水平方向和垂直方向的一阶梯度，图像的大小为M×N；

利用式(4)、式(5)计算得出每个像素点的隶属度数值：

假设待融合图像有两幅，分别记为A和B；

由式(4)、式(5)计算得出每个像素点的EE数值，如式(6)所示：

所述步骤S2中步骤S22具体为：

根据计算结果得出低频子带融合图像中的系数；

F_K(i,j)＝A_K(i,j)*EE_A(i,j)+B_K(i,j)*EE_B(i,j)              (7)

其中，AK与BK分别表示两幅待融合源图像A与B经过NSCT变换后得到的低频子带图像，FK表示低频子带融合图像；

所述步骤3中步骤S31具体为：

构建改进型拉普拉斯算子，如式(8)、式(9)所示：

ID(i,j)＝|2I(i,j)-I(i-step,j)-(i+step,j)|+|2I(i,j)-I(i,j-step)-(i,j+step)|(8)

其中，ID(i,j)与ILO(i,j)分别表示像素点(i,j)的亮度差异和改进型拉普拉斯算子对应的运算结果；像素点的ILO数值更有利于像素点亮度等级的刻画；

将像素点的ILO数值作为ISCM模型中突触连接矩阵的元素，构建ISCM模型，如式(10)-(13)所示：

E_ij[n]＝gE_ij[n-1]+hY_ij[n-1](11)

T_ij[n]＝T_ij[n-1]+Y_ij[n]                           (13)

其中，下标ij为神经元ij对应的像素点在图像中的空间位置；n为迭代次数；Uij,Sij,Yij,Eij分别是定位标号为ij的神经元的内部活动项、神经元的外部输入、神经元的二值输出和动态阈值；Tij用于记录一定迭代次数后的神经元ij的点火次数；参数f,g和h用于均为衰减系数；

所述步骤3中步骤S32具体为：

将所有高频子带图像导入步骤S31构建的ISCM模型，得出高频子带融合图像中的系数；

其中，Ak,d与Bk,d分别表示两幅待融合源图像A与B经过NSCT变换后得到的高频子带图像，Fk,d表示高频子带融合图像，1≤k≤K。

2.根据权利要求1所述的NSCT域的基于FBIEM与ISCM的图像融合方法，其特征在于，所述步骤S1具体为：

输入所有待融合的多传感器源图像，并对它们分别进行NSCT变换，尺度分解级数为K，lk为k尺度下的方向分解级数，其中1≤k≤K，每幅待融合多传感器源图像经过NSCT变换后，分别得到一幅低频子带图像和多幅高频子带图像。

Images