CN111161203A - 一种基于忆阻脉冲耦合神经网络的多聚焦图像融合方法 - Google Patents

Abstract

本发明公开了一种基于忆阻脉冲耦合神经网络的多聚焦图像融合方法。现有脉冲耦合神经网络(Pulse coupled neural network，PCNN)中，连接系数的自适应改变方法完全基于计算机模拟仿真，可能导致PCNN模型在运行过程中时效性较低；同时，参数(连接系数)的自适应变化方程完全由人为设定，无法保证在实际的操作过程中参数自适应变化的可行性。本发明方法首先设计了一种基于忆阻交叉阵列紧密的电路结构的自适应忆阻PCNN模型；然后设计了一个灵活、通用的映射函数(Mapping function)；再将该自适应忆阻PCNN模型应用于多聚焦图像融合中，通过进一步改进其网络结构(单通道→多通道)，得到较好的多聚焦图像融合结果。该方法不仅为众多参数控制的神经网络模型中固有的参数估计问题提供了全新的解决思路，并且有利于促进神经网络硬件化实现。

Description

一种基于忆阻脉冲耦合神经网络的多聚焦图像融合方法

技术领域

本发明属于多聚焦图像融合技术领域，特别涉及一种基于全新的忆阻交叉阵列结构(包含必要的外围电路)的多图聚焦融合方法。

背景技术

脉冲耦合神经网络(Pulse coupled neural network，PCNN)是由Eckhorn于1990年基于对猫的大脑视觉皮层实验观察得到的简化神经网络模型。PCNN具备众多独特的网络特性，例如：脉冲耦合特性、同步脉冲发放特性、非线性调制特性、阈值动态变化特性等，同时PCNN本身不需要训练就能从复杂的背景下提取有效的数据和信息，且其信号的具体形式和处理机制更符合人类视觉系统(Human Vision System，HVS)的生理学基础。因此，PCNN也被誉为第三代人工神经网络，被广泛应用于数字图像处理领域，完成诸如图像去噪、目标与边缘检测、图像分割、图像增强、图像融合等特定的数字图像处理任务。

PCNN是一种典型的基于参数控制的神经网络系统，其中网络参数估计问题被认为是影响PCNN网络性能最关键的因素之一。为了解决PCNN固有的网络参数估计问题，构建网络参数可变的自适应PCNN模型是一个行之有效的方案。但是，目前的PCNN模型，连接系数的自适应改变方法完全基于计算机模拟仿真，可能导致PCNN模型在运行过程中时效性较低。同时，参数(连接系数)的自适应变化方程完全由人为设定，无法保证在实际的操作过程中参数自适应变化的可行性。

发明内容

本发明的目的在于提供一种基于忆阻脉冲耦合神经网络的多聚焦图像融合方法，通过设计一种基于忆阻的自适应PCNN通用模型，将该自适应忆阻PCNN模型应用于多聚焦图像融合中，通过进一步改进其网络结构(单通道→多通道)，并且设计合理的映射函数，得到较好的多聚焦图像融合结果。本发明通过硬件电路实现自适应PCNN模型能够有效地解决背景技术中的问题，忆阻器的提出为自适应PCNN模型的硬件实现提供了一个全新的思路。

为了实现上述目的，本发明采用如下技术方案：

一种基于忆阻脉冲耦合神经网络的多聚焦图像融合方法，包括以下步骤：

1)初始化操作：主要为参数设定，包括对自适应忆阻PCNN模型参数的设定；

2)自适应连接系数的获取：给定两幅已经配准好的待融合的多聚焦图像P^γ，γ＝[1,2]，得到其对应的图像方向信息O(P^γ)、忆阻电路的输入电流。最终忆阻电路的输出即为与图像方向信息相关的连接系数β^γ；

3)图像分解：通过N阶L₀梯度最小化平滑滤波(N-scale L₀ gradientminimization smoothing filtering)操作，将输入图像分解为两个部分，即基本层(Baselayer)和细节层(Detail layer)。其中基本层主要包含大规模的图像强度变化，细节层主要包含源图像中的细节信息，比如边缘信息、纹理信息等等；

4)基本图像的融合：使用改进的拉普拉斯能量和(Sum-Modified-Laplacian，SML)完成基本图像的融合，得到融合的基本图像F_b；

5)细节图像的融合：使用忆阻脉冲耦合神经网络，完成细节图像的融合，得到融合的细节图像F_dl；

6)图像重构：最终的融合图像由融合的基本图像F_b(步骤4中得到)和融合的细节图像F_dl(步骤5中得到)进一步组合而成。

为了更明确地表达整个算法流程，具体的多聚焦图像融合算法实现框图如图5所示。

所述的步骤1)中，设计了一个忆阻电路(采用交叉阵列结构)，用于构建连接系数β可调的自适应PCNN模型，其具体的实现框图如图1所示。具体地，该模型由三个部分组成，即接收域、调制域以及脉冲发生器。特别地，非线性调制域中包含了一个忆阻器电路(交叉阵列结构)以及一个可编程的电流源。作为忆阻器电路的输入信号，可变电流I主要取决于输入激励S_ti以及相应的映射函数f。这里，设定输入激励S_ti与反馈输入信号F有关，且映射函数f可以根据PCNN的应用需求进行合理的调整。最终忆阻电路的输出(电压形式)即为PCNN模型中的连接系数β。

对应地，自适应可调的连接系数β具体的实现电路如图2所示。其中，忆阻器交叉阵列结构(包含有m条水平纳米线以及n条垂直纳米线)，每个忆阻器安置于交叉阵列的交叉点处。Peripheral circuit外围电路的电路实现如图2(b)所示。进一步，电流序列I_j，j＝[1,n]表示电路的输入，具体的电流幅值取决于输入激励S_ti以及相应的映射函数f。

基于图2(b)，Ina_ij，Inb_ij以及Inc_ij均为电路的输入/输出端口，M(i,j)表示交叉阵列交叉点(i,j)处的忆阻器(电荷控制模型)，得到其对应的阻值表达式为：

其中R_L与R_H分别表示忆阻值的极小和极大值，ΔR＝R_H－R_L表示极大忆阻值与极小忆阻值的差值，辅助参数A和k均为固定常数，q表示流经忆阻器的电荷量。

此外，电路中R₁～R₁₄表示阻值不变的常规电阻，I(i,j)表示对应的输入电流，V₁～V₇表示电路中的节点电压，基于基尔霍夫电流定律，得到：

假设电阻R_n，n＝[3,10]均为相同的电阻，则节点电压V₁(i,j)可以计算为:

同时，假设电阻R₃的阻值远大于等式(3)中其他器件的阻值，则节点电压V₁(i,j)，V₂(i,j)以及V₃(i,j)的值可以表示为：

作为电路的输出，连接系数β可以表示为：

其中K表示幅度因子。

将等式(4)带入等式(5)中，得到：

基于等式(1)，将电阻R₁的值设置为极小忆阻值，即R₁＝R_L，等式(6)可以改写为：

其中调节因子κ＝KR₁₁R₁₄/R₁₂为一个固定常数。特别地，当辅助参数A的值趋于0时，连接系数β近似为一个常数，表示为β≈ΔR/κ。

所述的步骤2)中,具体地，对于一幅给定的图像P，P(i,j)表示点(i,j)处的像素值。以点(i,j)为中心的领域R_r(i,j)＝{(m,n)|i-r≤m≤i+r,j-r≤n≤j+r}被一根过中心点的直线lχ划分为两个区域，即阴影区AL以及空白区域AR，如图3所示。其中r表示领域半径，χ表示直线lχ和水平线之间的夹角。图像方向信息测量定义为：

其中

d_χ＝|f_AL-f_AR| (9.c)

忆阻电路的输入电流为：

I(i,j)＝f(S_ti(i,j))＝ξO(P(i,j)) (10)

其中参数ξ为一个负的常数。

所述的步骤3)中，基本层和细节层具体的数学表达为：

其中，

和

分别表示图像Pγ的第l层基本图像和细节图像。GMSF表示L0梯度最小化平滑滤波(其中

表示正则化参数)。这里假设初始的基本图像

就是输入图像Pγ。需要注意的是，初始输入图像Pγ可以通过第N阶基本图像和所有的细节图像进行无差别重构得到。

所述步骤4)中，第N阶基本层的融合规则表示如下：

其中

这里，

表示(i,j)处的改进的拉普拉斯算子，矩阵W(w_r,w_c)表示尺寸为(2Row+1)×(2Col+1)的测量窗。在后续实验过程中，测量窗设定为：

其中测量窗尺寸为Row＝Col＝2，并且满足条件

最终，得到基本图像的融合图像F_b：

所述步骤5)中，基于忆阻多通道PCNN模型(如图4所示)，本方法设计相应的细节图像融合规则，如下所示：

①所有待融合的细节图像分别输入多通道忆阻PCNN中；

②基于等式(16)和(17)，得到第n次迭代时各个变量L_ij[n]，U_ij[n]，θ_ij[n]，Y_ij[n]的值。值得注意的是，这里连接系数β由步骤2)得到。

F_ij[n]＝S_ij (16.a)

其中F_ij[n]和L_ij[n]分别表示神经元(i,j)在第n次迭代时的反馈输入信号和连接输入信号。U_ij[n]，θ_ij[n]以及Y_ij[n]则分别表示对应的内部活动项、动态阈值以及神经元输出。S_ij表示外部输入激励，β表示连接系数，内部连接矩阵w_ijkl为反馈输入信号F_ij中Y_kl的加权系数，V_L和V_θ均为固有电势，α_θ表示阈值θ_ij[n]的衰减时间常数。

③当满足n＝N_s时，迭代操作结束，得到每一阶细节图像的融合结果F_dl：

需要说明的是，这里总的迭代次数N_s由时间矩阵^[7]决定，并且所有神经元在融合过程中只允许点火一次。

相对于现有技术，本发明具有以下有益效果：

本发明方法基于纳米级忆阻器，设计了一种自适应忆阻PCNN通用模型，其中，忆阻电路(交叉阵列结构)能够模拟PCNN模型中连接系数β的自适应变化过程，从而在一定程度上解决了传统PCNN模型中固有的参数估计问题。同时，在忆阻PCNN模型中，设计了一个灵活、通用的映射函数，使得忆阻PCNN模型在实现不同的数字图像处理任务时能够根据具体的应用需求得到更适合的连接系数β，从而保证忆阻PCNN在运行过程中始终保持较高的网络性能。特别地，该方法中忆阻器与PCNN结合为众多基于参数控制的神经网络模型中固有的参数估计问题的解决提供了一种良好的方法和思路，同时也有利于促进神经网络全面硬件化的实现。

附图说明

构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为基于忆阻的PCNN神经元模型实现框图。

图2为自适应可调的连接系数β实现方案(a)具体的硬件实现框图(b)具体电路组成。

图3为图像方向信息测量示意图。

图4为多通道忆阻PCNN模型实现框图。

图5为实施例本方法采用的双线性插值原理示意图。

图6为连接系数获取过程图：(a1)～(a2)多聚焦待融合图像；(b1)～(b2)多聚焦待融合图像的图像方向信息；(c1)～(c2)Area1和Area2等比例放大图；(d1)～(d2)忆阻电路对应的输入；(e1)～(e2)获取的连接系数β。

图7为3阶图像分解操作图:(a1)～(a3)左聚焦图像的基本图像；(b1)～(b3)左聚焦图像的细节图像；(c1)～(c3)右聚焦图像的基本图像；(d1)～(d3)右聚焦图像的细节图像。

图8为最终的融合图像。

具体实施方式

下面结合附图及具体实施例(两幅多聚焦图像的融合过程)对本发明作进一步详细说明。

本发明一种基于忆阻脉冲耦合神经网络的多聚焦图像融合方法的实施例如下：

设置对应的多通道忆阻PCNN的参数，如表1所示，同时，多通道忆阻PCNN中初始条件设置为：θ_ij(0)＝0，L_ij(0)＝0，Y_ij(0)＝0以及U_ij(0)＝0。基于步骤2)，当给定两幅多聚焦待融合图像时，获取融合算法中多通道忆阻PCNN中可变的连接系数β的整个过程如图6所示。其中，图6(a)表示输入的两幅待融合多聚焦图像(尺寸：128×128)，图6(b)表示两幅输入图像的图像方向信息(通过等式(8)和等式(9)得到)。特别地，为了更清晰明确地展示获取连接系数的过程，随机选取其中两个子区域Area1和Area2(尺寸：32×32)，并用正方形框进行标记，其对应的等比例放大图如图6(c)所示。基于两个标记区域，根据等式(10)计算得到对应的忆阻电路的输入电流(如图6(d)所示)，并输入忆阻电路中，忆阻电路的输出即为与图像方向信息相关的连接系数β，如图6(e)所示。需要说明的是，图6(d)和图6(e)中柱状直方图的高度分别表示电流的幅值以及连接系数β的值。并且高度与电流的幅值以及连接系数β的值呈正相关关系。

进一步，基于3阶L₀梯度最小化平滑滤波操作(N＝3)，两幅输入图像进一步分解为12幅子图像，如图7所示。其中每一幅输入图像包含3幅基本图像和3幅细节图像。基于提出的融合算法，即通过步骤4)实现基本图像的融合，通过步骤5)实现细节图像的融合。基于步骤6)得到最终的融合图像，如图8所示。

表1多聚焦图像融合实验具体的技术参数设置

事实上，图像融合算法的主观分析基于人类视觉系统HVS，即通过人的肉眼去观测得到的融合图像，并对其图像质量进行感官上的分析。其中影响因素主要包含图像种类、观测者的个人偏好、融合图像的需求等等。特别地，当图像之间的视觉差异非常微小以至于肉眼无法进行一个准确的判断时，引入一些常用的融合图像质量评价指标进行客观的图像分析是十分必要且有效的。本发明中引入了五种常用的融合图像质量评价指标，即图像互信息(Mutual information，MI)、图像平均结构相似度(Mean structural similarity，MSSIM)、图像空间频率(Spatial frequency，SF)、信息熵(Information entropy，IE)以及标准加权性能指标(Normalized weighted performance metric，Q^GH/Fu)。最终，计算其对应的五种图像质量评价指标具体的数值，MI＝5.9825，MSSIM＝0.9089，SF＝23.1608，IE＝7.1402，Q^GH/Fu＝0.7077。

现有脉冲耦合神经网络(Pulse coupled neural network，PCNN)中，连接系数的自适应改变方法完全基于计算机模拟仿真，可能导致PCNN模型在运行过程中时效性较低；同时，参数(连接系数)的自适应变化方程完全由人为设定，无法保证在实际的操作过程中参数自适应变化的可行性。本发明方法首先设计了一种基于忆阻交叉阵列紧密的电路结构的自适应忆阻PCNN模型；然后设计了一个灵活、通用的映射函数(Mapping function)；再将该自适应忆阻PCNN模型应用于多聚焦图像融合中，通过进一步改进其网络结构(单通道→多通道)，得到较好的多聚焦图像融合结果。该方法不仅为众多参数控制的神经网络模型中固有的参数估计问题提供了全新的解决思路，并且有利于促进神经网络硬件化实现。

Claims (6)

1.一种基于忆阻脉冲耦合神经网络的多聚焦图像融合方法，其特征在于，包括以下步骤：

1)初始化操作：对自适应忆阻PCNN模型参数进行设定；

2)自适应连接系数的获取：给定两幅已经配准好的待融合的多聚焦图像P^γ，γ＝[1,2]，得到其对应的图像方向信息O(P^γ)、忆阻电路的输入电流；最终忆阻电路的输出即为与图像方向信息相关的连接系数β^γ；

3)图像分解：通过N阶L₀梯度最小化平滑滤波操作，将输入图像分解为两个部分：基本层和细节层；其中基本层包含大规模的图像强度变化，细节层包含源图像中的细节信息；

4)基本图像的融合：采用改进的拉普拉斯能量和检测图像像素的变化量，完成基本图像的融合，获得融合的基本图像F_b；

5)细节图像的融合，获得融合的细节图像F_dl；

6)图像重构：最终的融合图像由融合的基本图像F_b和融合的细节图像F_dl进一步组合而成。

2.根据权利要求1所述的一种基于忆阻脉冲耦合神经网络的多聚焦图像融合方法，其特征在于：步骤1)中设计了一个采用交叉阵列结构的忆阻电路，用于构建连接系数β可调的自适应PCNN模型：PCNN模型由三个部分组成：接收域、调制域以及脉冲发生器；

非线性调制域中增加了一个交叉阵列结构忆阻器电路以及一个可编程的电流源；作为忆阻器电路的输入信号，可变电流I取决于输入激励S_ti以及相应的映射函数f；设定输入激励S_ti与反馈输入信号F有关，且映射函数f根据PCNN的应用需求进行调整；最终忆阻电路的输出电压形式即为PCNN模型中的连接系数β；

自适应可调的连接系数β的实现中，忆阻器交叉阵列结构包含有m条水平纳米线以及n条垂直纳米线，每个忆阻器安置于交叉阵列的交叉点处；电流序列I_j，j＝[1,n]表示电路的输入，电流幅值取决于输入激励S_ti以及相应的映射函数f；

Ina_ij，Inb_ij以及Inc_ij均为电路的输入/输出端口，M(i,j)表示交叉阵列交叉点(i,j)处的忆阻器电荷控制模型，得到其对应的阻值表达式为：

其中R_L与R_H分别表示忆阻值的极小和极大值，ΔR＝R_H－R_L表示极大忆阻值与极小忆阻值的差值，辅助参数A和k均为固定常数，q表示流经忆阻器的电荷量；

此外，电路中R₁～R₁₄表示阻值不变的常规电阻，I(i,j)表示对应的输入电流，V₁～V₇表示电路中的节点电压，基于基尔霍夫电流定律，得到：

假设电阻R_n，n＝[3,10]均为相同的电阻，则节点电压V₁(i,j)计算为:

同时，假设电阻R₃的阻值远大于等式(3)中其他器件的阻值，则节点电压V₁(i,j)，V₂(i,j)以及V₃(i,j)的值表示为：

作为电路的输出，连接系数β表示为：

其中K表示幅度因子；

将等式(4)带入等式(5)中，得到：

基于等式(1)，将电阻R₁的值设置为极小忆阻值，即R₁＝R_L，等式(6)改写为：

其中调节因子κ＝KR₁₁R₁₄/R₁₂为一个固定常数；当辅助参数A的值趋于0时，连接系数β近似为一个常数，表示为β≈ΔR/κ。

3.根据权利要求1所述的一种基于忆阻脉冲耦合神经网络的多聚焦图像融合方法，其特征在于：步骤2)中，对于一幅给定的图像P，P(i,j)表示点(i,j)处的像素值；以点(i,j)为中心的领域R_r(i,j)＝{(m,n)|i-r≤m≤i+r,j-r≤n≤j+r}被一根过中心点的直线lχ划分为两个区域：AL以及AR；其中r表示领域半径，χ表示直线lχ和水平线之间的夹角；图像方向信息测量定义为：

其中

d_χ＝|f_AL-f_AR| (9.c)

忆阻电路的输入电流为：

I(i,j)＝f(S_ti(i,j))＝ξO(P(i,j)) (10)

其中参数ξ为一个负的常数。

4.根据权利要求1所述的一种基于忆阻脉冲耦合神经网络的多聚焦图像融合方法，其特征在于：步骤3)中，基本层和细节层具体的数学表达分别为：

其中，

和

分别表示图像Pγ的第l层基本图像和细节图像；GMSF表示L0梯度最小化平滑滤波，其中

表示正则化参数；假设初始的基本图像

就是输入图像Pγ；初始输入图像Pγ通过第N阶基本图像和所有的细节图像进行无差别重构得到。

5.根据权利要求1所述的一种基于忆阻脉冲耦合神经网络的多聚焦图像融合方法，其特征在于：步骤4)中，第N阶基本层的融合规则表示如下：

其中

表示(i,j)处的改进的拉普拉斯算子，矩阵W(w_r,w_c)表示尺寸为(2Row+1)×(2Col+1)的测量窗；在后续实验过程中，测量窗设定为：

其中测量窗尺寸为Row＝Col＝2，并且满足条件

最终，得到基本图像的融合图像F_b：

6.根据权利要求1所述的一种基于忆阻脉冲耦合神经网络的多聚焦图像融合方法，其特征在于：步骤5)中，基于忆阻多通道PCNN模型的细节图像融合规则，如下所示：

①所有待融合的细节图像分别输入多通道忆阻PCNN中；

②基于等式(16.a)至(17)，得到第n次迭代时各个变量L_ij[n]，U_ij[n]，θ_ij[n]，Y_ij[n]的值；连接系数β由步骤2)得到；

F_ij[n]＝S_ij (16.a)

其中F_ij[n]和L_ij[n]分别表示神经元(i,j)在第n次迭代时的反馈输入信号和连接输入信号；U_ij[n]，θ_ij[n]以及Y_ij[n]则分别表示对应的内部活动项、动态阈值以及神经元输出；S_ij表示外部输入激励，β表示连接系数，内部连接矩阵w_ijkl为反馈输入信号F_ij中Y_kl的加权系数，V_L和V_θ均为固有电势，α_θ表示阈值θ_ij[n]的衰减时间常数；

③当满足n＝N_s时，迭代操作结束，得到每一阶细节图像的融合结果F_dl：

总的迭代次数N_s由时间矩阵决定，并且所有神经元在融合过程中只允许点火一次。

Images