CN109102485A - 基于nsst和自适应双通道pcnn的图像融合方法及装置 - Google Patents

Abstract

本发明提供的基于NSST和自适应双通道PCNN的图像融合方法及装置，采用NSST作为多尺度变换工具对图像进行多尺度分解，NSST在分解阶段去除了采样操作，具备平移不变性，同时在方向局部化阶段，局部化小尺寸剪切滤波器能够避免频谱混叠现象，使图像分解与重建效果更好，再利用含有三种链接强度的自适应简化双通道PCNN模型，通过三个不同的链接强度相互联系，将图像的特征较为完整的表现，有效地融合红外和可见光图像，具有较高的对比度，较完整地保留了丰富的纹理信息和细节信息，并且图像过渡自然，没有出现伪影现象。

Description

基于NSST和自适应双通道PCNN的图像融合方法及装置

技术领域

本发明涉及图像融合领域，特别涉及一种基于NSST和自适应双通道 PCNN的图像融合方法及装置。

背景技术

图像融合(Multi-source Image Fusion)的概念是在二十世纪七十年代初期 提出的，其主要是对图像之间的内在联系进行研究，通过采用适当的算法， 将两幅或者多幅具有冗余、多样和互补信息的多源图像进行融合，生成的融 合图像包含有更丰富信息。红外与可见光融合是目前应用最为广泛的，两者 的有效结合可综合两种图像各自的优点，形成对比度高、背景增强、目标突 出的融合图像，更利于快速准确地探测和发现隐藏、伪装的目标。

近些年学者们提出了很多图像融合算法，然而在这些众多的方法中，多 尺度几何分析是目前应用最为广泛的一种。该方法的思想就是将图像分解成 一系列不同尺度、不同频率的子带图像，然后采用适当的融合规则处理相应 的子带图像，最终得到融合图像。目前人们提出的多尺度几何分析方法主要 有：轮廓波变换、非下采样轮廓波变换(NSCT)、双树复小波变换(DTCWT)、 剪切波变换(ST)、非下采样剪切波变换(NSST)等。值得一提的是，在这 些众多的方法当中，NSST是最为先进的一种。NSST由合成小波构造而成， 可以由此获得多方向的紧支撑结构，而且它在分解的过程中不存在下采样操 作，因此可以对图像进行最为精细地稀疏分解。NSST在方向局部化阶段，大 尺寸剪切波滤波器会引起频谱混叠现象，为此我们在NSST的基础上采用局 部化小尺寸剪切滤波器，能够避免块效应和弱化吉布斯振铃现象，提高时域 卷积计算效率。

另外，良好的图像融合算法不仅取决于多尺度几何分析工具，还取决于 相应的融合规则。一些传统的融合规则一般采取加权平均方法，该方法使红 外图像与可见光图像的亮度相互补充，最终导致图像对比度降低、重构图像 不够自然。PCNN是根据哺乳动物的大脑视觉信息系统总结而来，因此具有 仿生机制。使用模型作为融合规则时，能够保持输入图像的空间二维信息的 完整性，将图像的信息特征与PCNN模型的视觉特性完美结合，获得较好的 融合效果。在大部分研究PCNN的文献中，基本都运用传统单通道PCNN模 型，该模型只反映了一个源图像的信息，而对另一个源图像不予以考虑。同 时传统PCNN模型仍存在大量外设参数，并且都不可忽略，很多值都要靠经 验值设定，这使融合的准确性与时效性大大降低。文献《A fusion algorithm for infrared and visible images based onadaptive dual-channel unit-linking PCNN in NSCT domain[J]，Infrared Physics&Technology，2015，69：53–61》提出了 一种自适应双通道PCNN模型解决了上述问题，虽然取得了一定效果，但是 却出现了黑色伪影和目标光晕等现象。其主要因素是红外与可见光图像光谱 差异较大，导致PCNN模型中链接强度值的稳定性下降，而链接强度反映了 人眼视觉系统对图像中不同特征区域反应的强烈程度，这最终造成融合图像 的不连续和边缘模糊等缺陷。

发明内容

本发明实施例提供了一种基于NSST和自适应双通道PCNN的图像融合 方法及装置，有效地融合红外和可见光图像，具有较高的对比度，较完整地 保留了丰富的纹理信息和细节信息，并且图像过渡自然，没有出现伪影现象。

第一方面，本发明提供一种基于NSST和自适应双通道PCNN的图像融 合方法，所述方法包括：

获取来自同一场景且进行图像配准的红外图像和可见光图像；

利用非下采样剪切变换NSST对红外图像和可见光图像进行多尺度分解 分别得到低频子带系数和高频子带系数；

分别计算低频子带系数的改进拉普拉斯能量INSML和以及高频子带系数 的改进平均梯度IAVG作为自适应双通道PCNN模型的外界刺激；

分别将分解后的低频子带系数和分解后的高频子带系数输入到含有三重 链接强度的自适应双通道PCNN模型中得到低频融合系数和高频融合系数；

利用NSST逆变换重构低频融合系数和高频融合系数得到融合图像。

可选地，所述获取来自同一场景并进行图像配准的红外图像和可见光图 像，包括：

分别获取同一场景的红外图像和可见光图像；

对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度 量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数， 由坐标变换参数进行红外图像和可见光图像的图像配准。

可选地，所述利用非下采样剪切波变换NSST算法对所述红外图像和所 述可见光图像进行多尺度分解得到低频子带系数和高频子带系数，包括：

利用非采样剪切变换NSST分别对所述红外图像和所述可见光图像进行 多尺度分解分别形成低频子带系数和高频子带系数 其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素 元的位置。

可选地，所述分别计算低频子带系数的改进拉普拉斯能量INSML和以及 高频子带系数的改进平均梯度IAVG作为自适应双通道PCNN模型的外界刺 激，包括：

计算改进的拉普拉斯能量ISML作为低频子带的PCNN外界刺激，具体 表达式如下：

其中表示低频子带分解系数，l表示分解层数，k表示各层的分解的方 向数；W(a,b)代表加权模板，取3×3窗口；INSML(i,j)是改进的拉普拉斯能量和 算子，它能有效地反应低频子带图像的边缘能量特征；

采用改进的平均梯度作为高频子带的PCNN外界刺激，具体表达式如 下：

其中表示高频子带分解系数，IAVG(i,j)作为图像的梯度特征。

可选地，所述分别将分解后的低频子带系数和分解后的高频子带系数输 入到含有三重链接强度的自适应双通道PCNN模型中得到低频融合系数和高 频融合系数，包括：

将分解后的低频子带系数与分解后的高频子带系数输入到含有三重链接 强度的自适应双通道PCNN模型中，其中，自适应双通道PCNN模型的表达 式如下：

F_ij ¹(n)＝S_ij ¹(n)； (13)

F_ij ²(n)＝S_ij ²(n)； (14)

θ_ij(n)＝θ_ij(n-1)-Δ+V_θY_ij(n)； (18)

其中和分别表示红外图像和可见光图像的像素元分别在ij处归一化的灰 度值，将灰度值作为外界刺激直接输入到接收域，F_ij ¹(n)和F_ij ²(n)代表对称的 反馈输入，β_ij ¹(n)和β_ij ²(n)代表红外图像和可见光图像应的链接强度，信息融 合域通过判读红外图像和可见光图像神经元内部项U_ij的大小决定输出的U_ij，T_ij表示每个像素元ij的点火次数；

利用局部结构信息因子确定低频子带系数的链接强度β₁(i,j)，β₁(i,j)表达式 如下：

式中σ(i,j)为局部区域内的奇异值，||||_F代表矩阵的F-范数，LSI(i,j)值的大小表示图像局部区域内基本结构模式，对M×N的低频图像进行滑动窗口平移分 块，块的大小为k×k，中心点为(i,j)，共分M×N个子块，分别计算出各子块 图像的奇异值，利用公式(20)计算局部结构信息因子LSI(i,j)，形成大小为 M×N的矩阵，矩阵元素值即为对应的低频子带链接强度β₁(i,j)值；

确定高频子带的链接强度β₂(i,j)，β₂(i,j)数学表达式如下：

β₂(i,j)＝SDG(i,j)； (26)

其中，SDG代表像素元ij处的方向梯度和；

利用拉普拉斯边缘能量算子确定辅助链接强度，在β₁与β₂作为链接强度的 同时，令β₃作为低频与高频的图像的链接强度输入到各自的双通道PCNN模 型，β₃的表达式如下：

β₃(i,j)＝LEE(i,j)； (31)

其中ω₁与ω₂均为拉普拉斯算子，表示拉普拉斯边缘能量和；

基于l₂-范数的优化模型的方式对多组输出的融合系数进行合并处理，合 并处理过程如下：

其中C_l,k(i,j)表示最终的融合系数，C₁ ^l,k(i,j)和C₂ ^l,k(i,j)分别表示通过两种链接 强度而产生的融合系数，该模型约束C_l,k(i,j)接近最终的融合系数，并且参数 λ用于控制C₁ ^l,k(i,j)、C₂ ^l,k(i,j)、C₁ ^l,k(i,j)三者之间的平衡。

融合过程可以按照如下方式进行：

初始化令L_ij(0)＝U_ij(0)＝Y_ij(0)＝T_ij(0)＝0，神经元不会被点火；

根据公式(20)算出低频子带系数的链接强度，根据公式(21)-(26)算出高 频子带系数的链接强度，根据公式(27)-(31)算出辅助链接强度，其中A＝40；

把低频系数的拉普拉斯能量和和高频系数的平均梯度作为PCNN的外界 刺激，通过公式(13)至(19)计算U_ij(n)、L_ij(n)、θ_ij(n)、T_ij(n)、Y_ij(n)；

迭代执行，直到所有神经元都被点火，融合系数的规则如下：

分别代表红外图像、可见光图像与融合图像的多 尺度分解系数，与表示红外与可见光图像的神经元内部活动项，n 代表迭代次数；

低频子带系数与高频子带系数在双通道PCNN模型分别输出两组多尺度 分解的系数与通过使用公式(32)，计算基于 区域能量的系数合并，输出一组低频融合系数与一组高频融合系数

第二方面，本发明提供一种基于NSST和自适应双通道PCNN的图像融 合装置，所述装置包括：

获取单元，用于获取来自同一场景且进行图像配准的红外图像和可见光 图像；

多尺度分解单元，用于利用局部非下采样剪切变换NSST对红外图像和 可见光图像进行多尺度分解分别得到低频子带系数和高频子带系数；

计算单元，用于分别计算低频子带系数的改进拉普拉斯能量INSML和以 及高频子带系数的改进平均梯度IAVG作为自适应双通道PCNN模型的外界 刺激；

输入单元，用于分别将分解后的低频子带系数和分解后的高频子带系数 输入到含有三重链接强度的自适应双通道PCNN模型中得到低频融合系数和 高频融合系数；

融合单元，用于利用NSST逆变换重构低频融合系数和高频融合系数得 到融合图像。

可选地，所述获取单元具体用于：

分别获取同一场景的红外图像和可见光图像；

对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度 量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数， 由坐标变换参数进行红外图像和可见光图像的图像配准。

可选地，所述多尺度分解单元具体用于：

利用非采样剪切变换NSST分别对所述红外图像和所述可见光图像进行 多尺度分解分别形成低频子带系数和高频子带系数 其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素 元的位置。

可选地，所述计算单元具体用于：

计算改进的拉普拉斯能量ISML作为低频子带的PCNN外界刺激，具体 表达式如下：

其中表示低频子带分解系数，l表示分解层数，k表示各层的分解的方 向数；W(a,b)代表加权模板，取3×3窗口；INSML(i,j)是改进的拉普拉斯能量和 算子，它能有效地反应低频子带图像的边缘能量特征；

采用改进的平均梯度作为高频子带的PCNN外界刺激，具体表达式如 下：

其中表示高频子带分解系数，IAVG(i,j)作为图像的梯度特征。

可选地，所述输入单元具体用于：

将分解后的低频子带系数与分解后的高频子带系数输入到含有三重链接 强度的自适应双通道PCNN模型中，其中，自适应双通道PCNN模型的表达 式如下：

F_ij ¹(n)＝S_ij ¹(n)； (13)

F_ij ²(n)＝S_ij ²(n)； (14)

θ_ij(n)＝θ_ij(n-1)-Δ+V_θY_ij(n)； (18)

其中和分别表示红外图像和可见光图像的像素元分别在ij处归一化的灰度值，将灰度值作为外界刺激直接输入到接收域，F_ij ¹(n)和F_ij ²(n)代表对称的 反馈输入，β_ij ¹(n)和β_ij ²(n)代表红外图像和可见光图像应的链接强度，信息融 合域通过判读红外图像和可见光图像神经元内部项U_ij的大小决定输出的U_ij， T_ij表示每个像素元ij的点火次数；

利用局部结构信息因子确定低频子带系数的链接强度β₁(i,j)，β₁(i,j)表达式 如下：

式中σ(i,j)为局部区域内的奇异值，||||_F代表矩阵的F-范数，LSI(i,j)值的大小表示图像局部区域内基本结构模式，对M×N的低频图像进行滑动窗口平移分 块，块的大小为k×k，中心点为(i,j)，共分M×N个子块，分别计算出各子块 图像的奇异值，利用公式(20)计算局部结构信息因子LSI(i,j)，形成大小为 M×N的矩阵，矩阵元素值即为对应的低频子带链接强度β₁(i,j)值；

确定高频子带的链接强度β₂(i,j)，β₂(i,j)数学表达式如下：

β₂(i,j)＝SDG(i,j)； (26)

其中，SDG代表像素元ij处的方向梯度和；

利用拉普拉斯边缘能量算子确定辅助链接强度，在β₁与β₂作为链接强度的 同时，令β₃作为低频与高频的图像的链接强度输入到各自的双通道PCNN模 型，β₃的表达式如下：

β₃(i,j)＝LEE(i,j)； (31)

其中ω₁与ω₂均为拉普拉斯算子，表示拉普拉斯边缘能量和；

基于l₂-范数的优化模型的方式对多组输出的融合系数进行合并处理，合 并处理过程如下：

其中C_l,k(i,j)表示最终的融合系数，C₁ ^l,k(i,j)和C₂ ^l,k(i,j)分别表示通过两种链接 强度而产生的融合系数，该模型约束C_l,k(i,j)接近最终的融合系数，并且参数 λ用于控制C₁ ^l,k(i,j)、C₂ ^l,k(i,j)、C₁ ^l,k(i,j)三者之间的平衡。

融合过程可以按照如下方式进行：

初始化令L_ij(0)＝U_ij(0)＝Y_ij(0)＝T_ij(0)＝0，神经元不会被点火；

根据公式(20)算出低频子带系数的链接强度，根据公式(21)-(26)算出高 频子带系数的链接强度，根据公式(27)-(31)算出辅助链接强度，其中A＝40；

把低频系数的拉普拉斯能量和和高频系数的平均梯度作为PCNN的外界 刺激，通过公式(13)至(19)计算U_ij(n)、L_ij(n)、θ_ij(n)、T_ij(n)、Y_ij(n)，迭代执行直 到所有神经元都被点火，融合系数的规则如下：

分别代表红外图像、可见光图像与融合图像的多 尺度分解系数，与表示红外与可见光图像的神经元内部活动项，n 代表迭代次数；

低频子带系数与高频子带系数在双通道PCNN模型分别输出两组多尺度 分解的系数与通过使用公式(32)，计算基于 区域能量的系数合并，输出一组低频融合系数与一组高频融合系数

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明提供的基于NSST和自适应双通道PCNN的图像融合方法及装置， 采用NSST作为多尺度变换工具对图像进行多尺度分解，NSST在分解阶段去 除了采样操作，具备平移不变性，同时在方向局部化阶段，局部化小尺寸剪 切滤波器能够避免频谱混叠现象，使图像分解与重建效果更好，再利用含有 三种链接强度的自适应简化双通道PCNN模型，通过三个不同的链接强度相 互联系，将图像的特征较为完整的表现，有效地融合红外和可见光图像，具 有较高的对比度，较完整地保留了丰富的纹理信息和细节信息，并且图像过 渡自然，没有出现伪影现象。

附图说明

图1是本发明实施例中基于NSST和自适应双通道PCNN的图像融合方 法一种实施例的流程图；

图2是本发明实施例中基于NSST和自适应双通道PCNN的图像融合方 法一种实施例的原理示意图；

图3是本发明实施例中基于NSST和自适应双通道PCNN的图像融合方 法一种实施例的三种链接强度的效果图；

图4是本发明实施例中基于NSST和自适应双通道PCNN的图像融合方 法和多种方法进行图像融合的效果对比示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实 施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获 得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第 三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次 序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施 例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括” 和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一 系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那 些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品 或设备固有的其它步骤或单元。

结合图1所示，本发明实施例中提供一种基于NSST和自适应双通道 PCNN的图像融合方法，所述方法包括：

S101、获取来自同一场景且进行图像配准的红外图像和可见光图像。

S102、利用局部非下采样剪切变换NSST对红外图像和可见光图像进行 多尺度分解分别得到低频子带系数和高频子带系数。

S103、分别计算低频子带系数的改进拉普拉斯能量INSML和以及高频子 带系数的改进平均梯度IAVG作为自适应双通道PCNN模型的外界刺激。

S104、分别将分解后的低频子带系数和分解后的高频子带系数输入到含 有三重链接强度的自适应双通道PCNN模型中得到低频融合系数和高频融合 系数。

S105、利用NSST逆变换重构低频融合系数和高频融合系数得到融合图 像。

本发明提供的基于NSST和自适应双通道PCNN的图像融合方法，采用 NSST作为多尺度变换工具对图像进行多尺度分解，NSST在分解阶段去除了 采样操作，具备平移不变性，同时在方向局部化阶段，局部化小尺寸剪切滤 波器能够避免频谱混叠现象，使图像分解与重建效果更好，再利用含有三种 链接强度的自适应简化双通道PCNN模型，通过三个不同的链接强度相互联 系，将图像的特征较为完整的表现，有效地融合红外和可见光图像，具有较 高的对比度，较完整地保留了丰富的纹理信息和细节信息，并且图像过渡自 然，没有出现伪影现象。

具体地，本发明实施例中还提供了一种基于NSST和自适应双通道PCNN 的图像融合方法，该方法包括：

S1：本发明选取来自同一场景并且经过严格配准红外与可见光图像。

分别获取同一场景的红外图像和可见光图像，对红外图像和可见光图像 进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过 匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像 和可见光图像的图像配准。

S2：利用NSST对红外图像和可见光图像进行多尺度分解。

本发明分别采用分别使用‘maxflat’和[2，2，3，3]作为NSST的方向滤波 器和金字塔滤波器。经过分解后分别形成低频子带系数和高 频子带系数其中l是分解层数，k是每层分解方向的数量， (i,j)代表像素元的位置。

S3：针对低频子带系数与高频子带系数，分别将其输入到自适应双通道 PCNN模型中进行处理，结合图3所示，其中，图3(a)是原始图像；图3(b)是 经过局部结构信息因子计算的效果图；图3(c)是经过方向梯度和算子计算的 效果图；图3(d)是经过拉普拉斯边缘能量和算子计算的效果图，具体规则如 下：

1.计算改进的拉普拉斯能量ISML作为低频子带的PCNN外界刺激，其 具体表达式如下：

其中表示低频子带分解系数，l表示分解层数，k表示各层的分解的方 向数；W(a,b)代表加权模板，本文取3×3窗口；INSML(i,j)是改进的拉普拉斯能 量和算子，它能有效地反应低频子带图像的边缘能量特征。

2.采用改进的平均梯度作为高频子带的PCNN外界刺激，其具体表达 式如下：

其中表示高频子带分解系数，IAVG(i,j)作为图像的梯度特征，它代表 图像灰度值的变化，能够反映图像边缘、纹理的细节。

S3.将分解后的低频子带系数与高频子带系数输入到含有三重链接强度 的自适应双通道PCNN模型中，其中自适应双通道PCNN模型的表达式如 下：

F_ij ¹(n)＝S_ij ¹(n)； (13)

F_ij ²(n)＝S_ij ²(n)； (14)

θ_ij(n)＝θ_ij(n-1)-Δ+V_θY_ij(n)； (18)

其中和表示两幅图像的像素元分别在ij处归一化的灰度值，将其作为外 界刺激直接输入到接收域，F_ij ¹(n)和F_ij ²(n)代表对称的反馈输入，β_ij ¹(n)和 β_ij ²(n)代表两幅图像相应的链接强度。信息融合域通过判读两幅图像神经元 内部项U_ij的大小，来决定最终输出的U_ij。对于Δ，我们可以设置为0.01，以 确保动态阈值的衰减速度是平缓并且可接受的；为了限制每个神经元的点火 次数不超过一次，参数V_θ可以简单地分配一个比较大的值，例如20。T_ij表示 每个像素元ij的点火次数，它准确地表达了像素元的点火次数信息,很好地解 决迭代次数n的自适应问题。

S4.自适应链接强度的确定。

神经元链接强度是众多PCNN模型参数中最为重要的一个，由于人眼视 觉系统对图像中不同特征区域反应的强烈程度是有差异的，即视觉皮层中不 同神经元耦合具有差异性，这种差异性体现在PCNN中就是各神经元的链接 强度的不同。因此，PCNN中链接强度与图像中该点像素处的特征信息是密 切相关的，因此我们应该对它采取自适应设置。目前现有的自适应链接强度 算子不能很好地解决红外与可见光的融合问题，同时单一的链接强度无法同 时表达低频子带与高频子带的特征，为此我们提出一种含有三种链接强度的自适应简化双通道PCNN模型，其中针对低频子带与高频子带，我们分别采 用局部结构信息因子与方向梯度和算子作为其链接强度；为了将低频信息与 高频信息有机地连接，我们采用拉普拉斯能量和算子作为以上两种链接强度 的辅助链接强度，其具体理论如下文所示：

1.低频子带的链接强度

图像矩阵的奇异值是一种性质良好的代数特征，集中了图像的能量，包 含了图像的绝大部分结构信息，能够反映图像的低频特征，而且符合人眼的 视觉处理机制，为此我们提出一种局部结构信息因子作为低频链接强度，其 表达式如下：

式中σ(i,j)为局部区域内的奇异值，||||_F代表矩阵的F-范数，LSI(i,j)值的大小体现了图像局部区域内基本结构模式，体现局部区域包含细节信息的丰富程 度，能够表述图像特征的变化。本文融合算法中采用局部结构信息因子作为 PCNN中低频图像的链接强度值β，表征图像不同区域的特征信息。其具体 构造如下：

对M×N的低频图像进行滑动窗口平移分块，块的大小为k×k，中心点为 (i,j)，共分M×N个子块，分别计算出各子块图像的奇异值，利用公式(20)计 算局部结构信息因子LSI(i,j)，形成大小为M×N的矩阵，其元素值即为对应 的低频子带链接强度β₁(i,j)值。

2.高频子带的链接强度

方向梯度和算子SDG一定程度上可以反映图像的边缘细节的变化，而且 结合了像素元水平、垂直与对角线方向等信息，是反映图像清晰度的关键指 标之一，可以作为高频图像的链接强度β，其数学表达式如下：

β₂(i,j)＝SDG(i,j)； (26)

其中SDG代表了像素元ij处的方向梯度和，方向梯度和越大，局部区域的清 晰度越好，β₂(i,j)值就越大，神经元被激活的越早。链接强度可以根据方向梯 度之和自适应调整，使得PCNN模型有效地保留了图像细节，提高了图像的 融合性能。

3.辅助链接强度

为了能更充分利用图像的局部信息，有效地提取图像中的细节，本文创 新性提出一种拉普拉斯边缘能量算子作为辅助链接强度β₃，在β₁与β₂作为链 接强度的同时，令β₃同时作为低频与高频的图像的链接强度输入到各自的双 通道PCNN模型，β₃的表达式如下：

β₃(i,j)＝LEE(i,j)； (31)

其中ω₁与ω₂均为拉普拉斯算子，表示拉普拉斯边缘能量和，该算子可以同时反映图像的边缘信息能量与边缘信息变化，因此它在作为低频链接强 度时，可以辅助局部结构信息因子，使得存在反映图像主体能量算子的同时， 存在反映图像边缘能量的算子，这样低频能量信息能就能全面地输入到双通 道PCNN模型中；同理对于高频图像，由于该算子也可表示图像边缘信息变 换，因此可以辅助具有同样作用的方向梯度和算子，使得高频细节信息更全 面地输入到融合的图像中。

S5.由于双通道PCNN模型直接可以输出融合的图像系数，因此当一个 子带存在两个链接强度时就会输出两组融合系数，为此我们采用基于l₂-范数 的优化模型的方式对多组输出的融合系数进行合并处理。其处理过程如下：

其中C_l,k(i,j)表示最终的融合系数，C₁ ^l,k(i,j)和C₂ ^l,k(i,j)分别表示通过两种链接 强度而产生的融合系数，该模型约束C_l,k(i,j)接近最终的融合系数，并且参数 λ用于控制C₁ ^l,k(i,j)、C₂ ^l,k(i,j)、C₁ ^l,k(i,j)三者之间的平衡。

S6.其融合过程可以按照如下方式进行：

A.初始化令L_ij(0)＝U_ij(0)＝Y_ij(0)＝T_ij(0)＝0，这样神经元不会被点火。设置θ_ij(0)＝1，可以让神经元迅速激活，防止不必要的“void”迭代。

B.根据公式(20)算出低频的链接强度，根据公式(21)-(26)算出高频的链 接强度，根据公式(27)-(31)算出辅助链接强度，其中A＝40。

C.把低频系数的拉普拉斯能量和和高频系数的平均梯度作为PCNN的外 界刺激，通过公式(13)-(19)计算U_ij(n)、L_ij(n)、θ_ij(n)、T_ij(n)、Y_ij(n)。

D.迭代执行步骤C，直到所有神经元都被点火，即T_ij(n)中每个元素都不 为0，融合系数的规则如下：

分别代表红外图像、可见光图像与融合图像的多 尺度分解系数，与表示红外与可见光图像的神经元内部活动项，n 代表迭代次数。

E.由于每个双通道PCNN模型都存在两个链接强度，因此低频与高频子 带分别输出两组多尺度分解的系数与使用公 式(32)，计算基于区域能量的系数合并，最终输出一组低频融合系数与 一组高频融合系数

S7：利用NSST逆变换重构低频子带系数与高频子带系数形成融合图像。

一般地，图像融合结果的性能可以通过主观和客观的方式进行评价。在大 多数情况下，融合结果之间的差异不大，则难以用主观方式正确地评价融合 结果。因此，在客观质量评价的基础上对融合效果进行评价也是非常必要的， 本文选取了以下5个客观质量指标作为评判标准：1.平均梯度(AVG)2.信息 熵(IE)3.边缘信息保留量(Q^AB/F)4.空间频率(SF)5.标准差(SD)。详 细地说，AVG用来体现图像中的微小细节反差和纹理变化特征；IE可以直接 用来衡量图像信息的丰富程度；SF用来反映图像在空间域的总体活跃程度； SD用来反应像素灰度值的分布状况；Q^AB/F评价从源图像传递到融合图像的 边缘信息量，对于这5个指标，数值越大代表性能越好。

如图4所示，本仿真采用基于NSCT-DUAL-PCNN的融合算法、基于 NSST-SF-PCNN的融合算法、基于GFF的融合算法、基于VSM-WLS的融合算 法、基于CNN的融合算法、基于IFE-VIP的融合算法、基于GTF的融合算法 等作为对比，融合效果图详见图4(c)-(j)，图4(a)是本发明实施例中基于 NSST和自适应双通道PCNN的图像融合方法另一种实施例的红外图像；图4(b) 是本发明实施例中基于NSST和自适应双通道PCNN的图像融合方法另一种实 施例的可见光图像；图4(c)是基于NSCT-DUAL-PCNN的融合效果图；图4(d) 是基于NSST-SF-PCNN的融合效果图；图4(e)是基于CFF的融合效果图；图 4(f)是基于VSM-WLS的融合效果图；图4(g)是基于CNN的融合效果图；图 4(h)是基于IFE-VIP的融合效果图；图4(i)是基于GTF的融合效果图；图 4(j)是本发明实施例中基于NSST和自适应双通道PCNN的图像融合方法另一 种实施例的融合效果图。

表1表示不同算法的评价指标对比。

从图4(c)-(j)可以看出，图4(c)出现了大量的黑色伪影噪点，造成图像模 糊，观感不佳；图4(e)和图4(i)的观感比较接近红外图像，因此丢失了许多可 见光纹理信息；同理图4(d)和图4(g)的背景信息比较接近可见光图像，没有 把红外图像中山体的信息还原进去；图4(h)整体的图像亮度偏高，导致对比 度下降；图4(h)相比上述算法，观感较正常，但是与本文算法得到的融合图 像相比，对比度不如图4(j)高，同时海面水波纹的细节还原没有图4(j)好。同 时从表一也可以发现，除了SF值低于VSM-WLS算法外，剩下的评价参数值均高于其它对比算法，这一定程度与主观观感相似，说明本文算法能保证在 人眼视觉基础的可见光场景下，极大的融合了红外目标与背景信息，同时在 融合过程中没有遗失边缘细节信息，因此观感最佳。其实这一定程度上归功 于创新PCNN模型中三个链接强度的使用，它们较为全面地反映了图像低频 与高频的特征，为融合图像良好的视觉特性奠定了基础。

采用NSST作为多尺度变换工具对图像进行多尺度分解，NSST在分解 阶段去除了采样操作，具备平移不变性，同时在方向局部化阶段，局部化小 尺寸剪切滤波器能够避免频谱混叠现象，使图像分解与重建效果更好，再利 用含有三种链接强度的自适应简化双通道PCNN模型，通过三个不同的链接 强度相互联系，将图像的特征较为完整的表现，有效地融合红外和可见光图 像，具有较高的对比度，较完整地保留了丰富的纹理信息和细节信息，并且 图像过渡自然，没有出现伪影现象。

相应地，本发明提供一种基于NSST和自适应双通道PCNN的图像融合 装置，所述装置包括：

获取单元，用于获取来自同一场景且进行图像配准的红外图像和可见光 图像；

多尺度分解单元，用于利用非下采样剪切变换NSST对红外图像和可见 光图像进行多尺度分解分别得到低频子带系数和高频子带系数；

计算单元，用于分别计算低频子带系数的改进拉普拉斯能量INSML和以 及高频子带系数的改进平均梯度IAVG作为自适应双通道PCNN模型的外界 刺激；

输入单元，用于分别将分解后的低频子带系数和分解后的高频子带系数 输入到含有三重链接强度的自适应双通道PCNN模型中得到低频融合系数和 高频融合系数；

融合单元，用于利用NSST逆变换重构低频融合系数和高频融合系数得 到融合图像。

可选地，所述获取单元具体用于：

分别获取同一场景的红外图像和可见光图像；

对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度 量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数， 由坐标变换参数进行红外图像和可见光图像的图像配准。

可选地，所述多尺度分解单元具体用于：

利用非采样剪切变换NSST分别对所述红外图像和所述可见光图像进行 多尺度分解分别形成低频子带系数和高频子带系数 其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素 元的位置。

可选地，所述计算单元具体用于：

计算改进的拉普拉斯能量ISML作为低频子带的PCNN外界刺激，具体 表达式如下：

其中表示低频子带分解系数，l表示分解层数，k表示各层的分解的方 向数；W(a,b)代表加权模板，取3×3窗口；INSML(i,j)是改进的拉普拉斯能量和 算子，它能有效地反应低频子带图像的边缘能量特征；

采用改进的平均梯度作为高频子带的PCNN外界刺激，具体表达式如 下：

其中表示高频子带分解系数，IAVG(i,j)作为图像的梯度特征。

可选地，所述输入单元具体用于：

将分解后的低频子带系数与分解后的高频子带系数输入到含有三重链接 强度的自适应双通道PCNN模型中，其中，自适应双通道PCNN模型的表达 式如下：

F_ij ¹(n)＝S_ij ¹(n)； (13)

F_ij ²(n)＝S_ij ²(n)； (14)

θ_ij(n)＝θ_ij(n-1)-Δ+V_θY_ij(n)； (18)

其中和分别表示红外图像和可见光图像的像素元分别在ij处归一化的灰 度值，将灰度值作为外界刺激直接输入到接收域，F_ij ¹(n)和F_ij ²(n)代表对称的 反馈输入，β_ij ¹(n)和β_ij ²(n)代表红外图像和可见光图像应的链接强度，信息融 合域通过判读红外图像和可见光图像神经元内部项U_ij的大小决定输出的U_ij， T_ij表示每个像素元ij的点火次数；

利用局部结构信息因子确定低频子带系数的链接强度β₁(i,j)，β₁(i,j)表达式 如下：

式中σ(i,j)为局部区域内的奇异值，||||_F代表矩阵的F-范数，LSI(i,j)值的大小表示图像局部区域内基本结构模式，对M×N的低频图像进行滑动窗口平移分 块，块的大小为k×k，中心点为(i,j)，共分M×N个子块，分别计算出各子块 图像的奇异值，利用公式(20)计算局部结构信息因子LSI(i,j)，形成大小为 M×N的矩阵，矩阵元素值即为对应的低频子带链接强度β₁(i,j)值；

确定高频子带的链接强度β₂(i,j)，β₂(i,j)数学表达式如下：

β₂(i,j)＝SDG(i,j)； (26)

其中，SDG代表像素元ij处的方向梯度和；

利用拉普拉斯边缘能量算子确定辅助链接强度，在β₁与β₂作为链接强度的 同时，令β₃作为低频与高频的图像的链接强度输入到各自的双通道PCNN模 型，β₃的表达式如下：

β₃(i,j)＝LEE(i,j)； (31)

其中ω₁与ω₂均为拉普拉斯算子，表示拉普拉斯边缘能量和；

基于l₂-范数的优化模型的方式对多组输出的融合系数进行合并处理，合 并处理过程如下：

其中C_l,k(i,j)表示最终的融合系数，C₁ ^l,k(i,j)和C₂ ^l,k(i,j)分别表示通过两种链接 强度而产生的融合系数，该模型约束C_l,k(i,j)接近最终的融合系数，并且参数 λ用于控制C₁ ^l,k(i,j)、C₂ ^l,k(i,j)、C₁ ^l,k(i,j)三者之间的平衡。

融合过程可以按照如下方式进行：

初始化令L_ij(0)＝U_ij(0)＝Y_ij(0)＝T_ij(0)＝0，神经元不会被点火；

根据公式(20)算出低频子带系数的链接强度，根据公式(21)-(26)算出高 频子带系数的链接强度，根据公式(27)-(31)算出辅助链接强度，其中A＝40；

把低频系数的拉普拉斯能量和和高频系数的平均梯度作为PCNN的外界 刺激，通过公式(13)至(19)计算U_ij(n)、L_ij(n)、θ_ij(n)、T_ij(n)、Y_ij(n)，迭代执行直 到所有神经元都被点火，融合系数的规则如下：

分别代表红外图像、可见光图像与融合图像的多 尺度分解系数，与表示红外与可见光图像的神经元内部活动项，n 代表迭代次数；

低频子带系数与高频子带系数在双通道PCNN模型分别输出两组多尺度 分解的系数与通过使用公式(32)，计算基于 区域能量的系数合并，输出一组低频融合系数与一组高频融合系数

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描 述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应 过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和 方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示 意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可 以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个 系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间 的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合 或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作 为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方， 或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或 者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单 元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单 元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步 骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可 读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、 随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

以上对本发明所提供的一种基于NSST和自适应双通道PCNN的图像融 合方法及装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实 施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本 说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于NSST和自适应双通道PCNN的图像融合方法，其特征在于，所述方法包括：

获取来自同一场景且进行图像配准的红外图像和可见光图像；

利用局部非下采样剪切变换NSST对红外图像和可见光图像进行多尺度分解分别得到低频子带系数和高频子带系数；

分别计算低频子带系数的改进拉普拉斯能量INSML和以及高频子带系数的改进平均梯度IAVG作为自适应双通道PCNN模型的外界刺激；

分别将分解后的低频子带系数和分解后的高频子带系数输入到含有三重链接强度的自适应双通道PCNN模型中得到低频融合系数和高频融合系数；

利用NSST逆变换重构低频融合系数和高频融合系数得到融合图像。

2.根据权利要求1所述的基于NSST和自适应双通道PCNN的图像融合方法，其特征在于，所述获取来自同一场景并进行图像配准的红外图像和可见光图像，包括：

分别获取同一场景的红外图像和可见光图像；

对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。

3.根据权利要求2所述的基于NSST和自适应双通道PCNN的图像融合方法，其特征在于，所述利用非下采样剪切波变换NSST算法对所述红外图像和所述可见光图像进行多尺度分解得到低频子带系数和高频子带系数，包括：

利用非采样剪切变换NSST分别对所述红外图像和所述可见光图像进行多尺度分解分别形成低频子带系数和高频子带系数其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素元的位置。

4.根据权利要求1所述的基于NSST和自适应双通道PCNN的图像融合方法，其特征在于，所述分别计算低频子带系数的改进拉普拉斯能量INSML和以及高频子带系数的改进平均梯度IAVG作为自适应双通道PCNN模型的外界刺激，包括：

计算改进的拉普拉斯能量ISML作为低频子带的PCNN外界刺激，具体表达式如下：

其中表示低频子带分解系数，l表示分解层数，k表示各层的分解的方向数；W(a,b)代表加权模板，取3×3窗口；INSML(i,j)是改进的拉普拉斯能量和算子，它能有效地反应低频子带图像的边缘能量特征；

采用改进的平均梯度作为高频子带的PCNN外界刺激，具体表达式如下：

其中表示高频子带分解系数，IAVG(i,j)作为图像的梯度特征。

5.根据权利要求1所述的基于NSST和自适应双通道PCNN的图像融合方法，其特征在于，所述分别将分解后的低频子带系数和分解后的高频子带系数输入到含有三重链接强度的自适应双通道PCNN模型中得到低频融合系数和高频融合系数，包括：

将分解后的低频子带系数与分解后的高频子带系数输入到含有三重链接强度的自适应双通道PCNN模型中，其中，自适应双通道PCNN模型的表达式如下：

F_ij ¹(n)＝S_ij ¹(n)； (13)

F_ij ²(n)＝S_ij ²(n)； (14)

θ_ij(n)＝θ_ij(n-1)-Δ+V_θY_ij(n)； (18)

其中和分别表示红外图像和可见光图像的像素元分别在ij处归一化的灰度值，将灰度值作为外界刺激直接输入到接收域，F_ij ¹(n)和F_ij ²(n)代表对称的反馈输入，β_ij ¹(n)和β_ij ²(n)代表红外图像和可见光图像应的链接强度，信息融合域通过判读红外图像和可见光图像神经元内部项U_ij的大小决定输出的U_ij，T_ij表示每个像素元ij的点火次数；

利用局部结构信息因子确定低频子带系数的链接强度β₁(i,j)，β₁(i,j)表达式如下：

式中σ(i,j)为局部区域内的奇异值，||||_F代表矩阵的F-范数，LSI(i,j)值的大小表示图像局部区域内基本结构模式，对M×N的低频图像进行滑动窗口平移分块，块的大小为k×k，中心点为(i,j)，共分M×N个子块，分别计算出各子块图像的奇异值，利用公式(20)计算局部结构信息因子LSI(i,j)，形成大小为M×N的矩阵，矩阵元素值即为对应的低频子带链接强度β₁(i,j)值；

确定高频子带的链接强度β₂(i,j)，β₂(i,j)数学表达式如下：

β₂(i,j)＝SDG(i,j)； (26)

其中，SDG代表像素元ij处的方向梯度和；

利用拉普拉斯边缘能量算子确定辅助链接强度，在β₁与β₂作为链接强度的同时，令β₃作为低频与高频的图像的链接强度输入到各自的双通道PCNN模型，β₃的表达式如下：

β₃(i,j)＝LEE(i,j)； (31)

其中ω₁与ω₂均为拉普拉斯算子，表示拉普拉斯边缘能量和；

基于l₂-范数的优化模型的方式对多组输出的融合系数进行合并处理，合并处理过程如下：

其中C_l,k(i,j)表示最终的融合系数，C₁ ^l,k(i,j)和C₂ ^l,k(i,j)分别表示通过两种链接强度而产生的融合系数，该模型约束C_l,k(i,j)接近最终的融合系数，并且参数λ用于控制C₁ ^l,k(i,j)、C₂ ^l,k(i,j)、C₁ ^l,k(i,j)三者之间的平衡；

融合过程可以按照如下方式进行：

初始化令L_ij(0)＝U_ij(0)＝Y_ij(0)＝T_ij(0)＝0，神经元不会被点火；

根据公式(20)算出低频子带系数的链接强度，根据公式(21)-(26)算出高频子带系数的链接强度，根据公式(27)-(31)算出辅助链接强度，其中A＝40；

把低频系数的拉普拉斯能量和和高频系数的平均梯度作为PCNN的外界刺激，通过公式(13)至(19)计算U_ij(n)、L_ij(n)、θ_ij(n)、T_ij(n)、Y_ij(n)；

迭代执行，直到所有神经元都被点火，融合系数的规则如下：

分别代表红外图像、可见光图像与融合图像的多尺度分解系数，与表示红外与可见光图像的神经元内部活动项，n代表迭代次数；

低频子带系数与高频子带系数在双通道PCNN模型分别输出两组多尺度分解的系数与通过使用公式(32)，计算基于区域能量的系数合并，输出一组低频融合系数与一组高频融合系数

6.一种基于NSST和自适应双通道PCNN的图像融合装置，其特征在于，所述装置包括：

获取单元，用于获取来自同一场景且进行图像配准的红外图像和可见光图像；

多尺度分解单元，用于利用非下采样剪切变换NSST对红外图像和可见光图像进行多尺度分解分别得到低频子带系数和高频子带系数；

计算单元，用于分别计算低频子带系数的改进拉普拉斯能量INSML和以及高频子带系数的改进平均梯度IAVG作为自适应双通道PCNN模型的外界刺激；

输入单元，用于分别将分解后的低频子带系数和分解后的高频子带系数输入到含有三重链接强度的自适应双通道PCNN模型中得到低频融合系数和高频融合系数；

融合单元，用于利用NSST逆变换重构低频融合系数和高频融合系数得到融合图像。

7.根据权利要求6所述的基于NSST和自适应双通道PCNN的图像融合装置，其特征在于，所述获取单元具体用于：

分别获取同一场景的红外图像和可见光图像；

对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。

8.根据权利要求7所述的基于NSST和自适应双通道PCNN的图像融合装置，其特征在于，所述多尺度分解单元具体用于：

利用非采样剪切变换NSST分别对所述红外图像和所述可见光图像进行多尺度分解分别形成低频子带系数和高频子带系数其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素元的位置。

9.根据权利要求6所述的基于NSST和自适应双通道PCNN的图像融合方法，其特征在于，所述计算单元具体用于：

计算改进的拉普拉斯能量ISML作为低频子带的PCNN外界刺激，具体表达式如下：

其中表示低频子带分解系数，l表示分解层数，k表示各层的分解的方向数；W(a,b)代表加权模板，取3×3窗口；INSML(i,j)是改进的拉普拉斯能量和算子，它能有效地反应低频子带图像的边缘能量特征；

采用改进的平均梯度作为高频子带的PCNN外界刺激，具体表达式如下：

其中表示高频子带分解系数，IAVG(i,j)作为图像的梯度特征。

10.根据权利要求6所述的基于NSST和自适应双通道PCNN的图像融合装置，其特征在于，所述输入单元具体用于：

将分解后的低频子带系数与分解后的高频子带系数输入到含有三重链接强度的自适应双通道PCNN模型中，其中，自适应双通道PCNN模型的表达式如下：

F_ij ¹(n)＝S_ij ¹(n)； (13)

F_ij ²(n)＝S_ij ²(n)； (14)

θ_ij(n)＝θ_ij(n-1)-Δ+V_θY_ij(n)； (18)

其中和分别表示红外图像和可见光图像的像素元分别在ij处归一化的灰度值，将灰度值作为外界刺激直接输入到接收域，F_ij ¹(n)和F_ij ²(n)代表对称的反馈输入，β_ij ¹(n)和β_ij ²(n)代表红外图像和可见光图像应的链接强度，信息融合域通过判读红外图像和可见光图像神经元内部项U_ij的大小决定输出的U_ij，T_ij表示每个像素元ij的点火次数；

利用局部结构信息因子确定低频子带系数的链接强度β₁(i,j)，β₁(i,j)表达式如下：

式中σ(i,j)为局部区域内的奇异值，||||_F代表矩阵的F-范数，LSI(i,j)值的大小表示图像局部区域内基本结构模式，对M×N的低频图像进行滑动窗口平移分块，块的大小为k×k，中心点为(i,j)，共分M×N个子块，分别计算出各子块图像的奇异值，利用公式(20)计算局部结构信息因子LSI(i,j)，形成大小为M×N的矩阵，矩阵元素值即为对应的低频子带链接强度β₁(i,j)值；

确定高频子带的链接强度β₂(i,j)，β₂(i,j)数学表达式如下：

β₂(i,j)＝SDG(i,j)； (26)

其中，SDG代表像素元ij处的方向梯度和；

利用拉普拉斯边缘能量算子确定辅助链接强度，在β₁与β₂作为链接强度的同时，令β₃作为低频与高频的图像的链接强度输入到各自的双通道PCNN模型，β₃的表达式如下：

β₃(i,j)＝LEE(i,j)； (31)

其中ω₁与ω₂均为拉普拉斯算子，表示拉普拉斯边缘能量和；

基于l₂-范数的优化模型的方式对多组输出的融合系数进行合并处理，合并处理过程如下：

其中C_l,k(i,j)表示最终的融合系数，C₁ ^l,k(i,j)和C₂ ^l,k(i,j)分别表示通过两种链接强度而产生的融合系数，该模型约束C_l,k(i,j)接近最终的融合系数，并且参数λ用于控制C₁ ^l,k(i,j)、C₂ ^l,k(i,j)、C₁ ^l,k(i,j)三者之间的平衡；

融合过程可以按照如下方式进行：

初始化令L_ij(0)＝U_ij(0)＝Y_ij(0)＝T_ij(0)＝0，神经元不会被点火；

根据公式(20)算出低频子带系数的链接强度，根据公式(21)-(26)算出高频子带系数的链接强度，根据公式(27)-(31)算出辅助链接强度，其中A＝40；

把低频系数的拉普拉斯能量和和高频系数的平均梯度作为PCNN的外界刺激，通过公式(13)至(19)计算U_ij(n)、L_ij(n)、θ_ij(n)、T_ij(n)、Y_ij(n)，迭代执行直到所有神经元都被点火，融合系数的规则如下：

分别代表红外图像、可见光图像与融合图像的多尺度分解系数，与表示红外与可见光图像的神经元内部活动项，n代表迭代次数；

低频子带系数与高频子带系数在双通道PCNN模型分别输出两组多尺度分解的系数与通过使用公式(32)，计算基于区域能量的系数合并，输出一组低频融合系数与一组高频融合系数