CN103455990A - 结合视觉注意机制和pcnn的图像融合方法 - Google Patents

Abstract

本发明适用于图像技术领域，提供了一种结合视觉注意机制和PCNN的图像融合方法，所述方法包括：将源图像A和源图像B分别进行视觉显示计算得到源图像A的显著图A、源图像B的显著图B；将源图像A和源图像B分别进行多尺度变换得到源图像A的高频系数A和低频系数A、源图像B的高频系数B和低频系数B；得到低频融合系数，依据高频系数A和高频系数B得到高频融合系数；根据低频融合系数、高频融合系数得到融合图像。本发明提供的技术方案具有融合效果好的优点。

Description

结合视觉注意机制和PCNN的图像融合方法

技术领域

本发明属于图像技术领域，尤其涉及一种结合视觉注意机制和PCNN的图像融合方法。

背景技术

图像融合是通过某种融合系统，将两个或多个互补的波段、传感器的有用信息综合成统一图像或综合图像特征以供观察或进一步处理，达到对目标或场景更为精确、全面的识别、分析和判决的图像处理方法。

目前存在三种典型的视觉注意机制计算方法：

第一种典型方法于1998年提出的一种经典的图像显著度方法，该方法首先在多种预注意特征通道（亮度、红绿对比色、蓝黄对比色、方向等）上计算中心-四周对比度，然后将将对比度线性组合得到显著图。

第二种典型方法由Harel等将图像定义为有向完全图，他们将节点定义为像素，然后通过计算任意两个像素的差异来获得边的权重，此后，通过随机游走的方法，在图上寻找被访问次数较少的节点，并赋予这些节点较高的显著度。

第三种典型方法由Hou定义的一种图像显著度（基于图像DCT变换的符号函数）方法。

视觉注意机制(Visualattentionmechanism，VAM)是模拟人类视觉过程对场景进行迅速选择少数感兴趣区域以供后续处理的机制，是人类视觉特性研究中的一个重要分支。基于视觉注意机制的模型能够将显著目标从背景分离，从而又有利于对背景和物象区别对待，降低分析难度，提高计算效率。将视觉注意机制结合到图像融合过程中将有助于保留源图像中的显著信息，因此该方面研究已受到极大关注，并已经有一些初步的研究成果。

脉冲耦合神经网络(Pulse-coupledNeuralNetwork,PCNN)是由若干个PCNN的神经元互连所构成的反馈型网络，每一个神经元都由接收域、调制部分和脉冲发生器3部分组成。脉冲耦合神经网络的方法是图像处理的研究热点。PCNN具有同步脉冲发送和全局耦合特性，与传统的加权平均、取极值以及基于区域能量的图像融合规则相比，PCNN是一种非线性处理方式，不单考虑单个像素或者局部特征，而且兼顾全局特征，与人类视觉神经系统对视觉信息的处理方式非常相似，有利于差异化显著目标特征与非显著目标特征，从而更加有效地区分信号，已被广泛地应用于图像分割、图像识别、决策优化和图像融合等方面。

在实现现有技术的过程中，发现现有技术存在如下问题：

1.现有PCNN链接强度自适应构造方法常用于多聚焦图像融合，不适用于红外与可见光等异源图像融合；

2.在大部分使用PCNN进行图像处理的文献中，所有的神经元的链接强度β都是采用相同的数值，且是根据实验或者经验选择一个合适的数值来使用；这一点对于处理的自动化和普遍适用性是一个较大的限制，事实上，真实神经元的链接强度不可能完全相同；

3.在图像融合中，低频部分的融合规则影响到融合图像的整体亮度变化，在多传感器图像融合中尤为重要。此时简单的加权平均方法并不能全面地保护来自源图像中的显著目标。

所以现有技术图像的融合效果差。

发明内容

本发明实施例的目的在于提供一种结合视觉注意机制和PCNN的图像融合方法，旨在解决现有技术中的图像的融合效果差的问题。

本发明实施例是这样实现的，一种结合视觉注意机制和PCNN的图像融合方法，所述方法包括：

将源图像A和源图像B分别进行视觉显示计算得到源图像A的显著图A、源图像B的显著图B；

将源图像A和源图像B分别进行多尺度变换得到源图像A的高频系数A和低频系数A、源图像B的高频系数B和低频系数B；

将显著图A作为PCNN模型的链接输入，将低频系数A作为PCNN模型的反馈输入，依据公式1和显著图A构造自适应链接系数βij.A；对PCNN模型点火得到点火映射图T_A(i,j)；

将显著图B作为PCNN模型的链接输入，将低频系数B作为PCNN模型的反馈输入，依据公式1和显著图B构造自适应链接系数βij.B；对PCNN模型点火得到点火映射图T_B(i,j)；

${\mathrm{\β}}_{\mathrm{ij}}=\frac{1}{1+e^{-\mathrm{\ηS}(i,j)}}+2.5$ 公式1

其中η为调节因子，S(i,j)为像素(i,j)的显著度值，βij为自适应链接系数；

根据公式2得到低频融合系数，依据高频系数A和高频系数B得到高频融合系数；

${\mathrm{\ω}}_A(i,j)=\left\{\begin{array}{cc}1,& \mathrm{if}{T}_A(i,j)\≥T_B(i,j)\\ 0,& \mathrm{else}\end{array}\right.$ 公式2

其中，ω_A(i,j)为低频融合系数，T_A(i,j)为源图像A的点火映射图T_B(i,j)为源图像B的点火映射图；

根据低频融合系数、高频融合系数得到融合图像。

可选的，所述PCNN控制域传递函数为：U=F*（L*βij+1）；其中L为PCNN控制域的链接输入，F为PCNN控制域的反馈输入；βij为自适应链接系数，U为输出结果。

可选的，所述多尺度变换为形态非抽样小波变换。

本发明实施例与现有技术相比，本发明提供的方法合理利用了视觉显著计算的结果，充分反映出人眼对像素点的感知强度，在融合图像中最大程度地保留源图像中的显著信息，因此能获得较好的融合效果。

附图说明

图1是本发明实施例提供的结合视觉注意机制和PCNN的图像融合方法的流程图；

图2是本发明提供的PCNN模型图；

图3是本发明实验一提供的红外和可见光图像实验融合结果比较图；

其中图(a)为红外线源图像，图(b)为可见光源图像，图(c)为形态非抽样小波融合结果，图(d)为显著图直接加权融合结果，图(e)本发明提供方法的融合结果；

图4是本发明实验一中的显著图及得到的低频权值图；

其中图(a)为红外线源图的显著图，图(b)为可见光源图的显著图，图(c)为本发明提供方法得到的低频权值图；

图5是本发明实验二提供的红外和可见光图像实验融合结果比较图；

其中图(a)为红外线源图像，图(b)为可见光源图像，图(c)为形态非抽样小波融合结果，图(d)为显著图直接加权融合结果，图(e)本发明提供方法的融合结果；

图6是本发明实验二中的显著图及得到的低频权值图；

其中图(a)为红外线源图的显著图，图(b)为可见光源图的显著图，图(c)为本发明提供方法得到的低频权值图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明具体实施方式提供一种结合视觉注意机制和PCNN的图像融合方法，该方法如图1所示，包括：

S101、将源图像A和源图像B分别进行视觉显示计算得到源图像A的显著图A、源图像B的显著图B；

S102、将源图像A和源图像B分别进行多尺度变换得到源图像A的高频系数A和低频系数A、源图像B的高频系数B和低频系数B；

S103、将显著图A作为PCNN模型的链接输入，将低频系数A作为PCNN模型的反馈输入，依据公式1和显著图A构造自适应链接系数βij.A；对PCNN模型点火得到点火映射图T_A(i,j)；

S104、将显著图B作为PCNN模型的链接输入，将低频系数B作为PCNN模型的反馈输入，依据公式1和显著图B构造自适应链接系数βij.B；对PCNN模型点火得到点火映射图T_B(i,j)；

${\mathrm{\β}}_{\mathrm{ij}}=\frac{1}{1+e^{-\mathrm{\ηS}(i,j)}}+2.5$ 公式1

其中η为调节因子，S(i,j)为像素(i,j)的显著度值，βij为自适应链接系数。

S105、根据公式2得到低频融合系数，依据高频系数A和高频系数B得到高频融合系数；

${\mathrm{\ω}}_A(i,j)=\left\{\begin{array}{cc}1,& \mathrm{if}{T}_A(i,j)\≥T_B(i,j)\\ 0,& \mathrm{else}\end{array}\right.$ 公式2

其中，ω_A(i,j)为低频融合系数，T_A(i,j)为源图像A的点火映射图T_B(i,j)为源图像B的点火映射图；

S106、根据低频融合系数、高频融合系数得到融合图像。

上述PCNN模型控制域示意图如图2所示，其中PCNN控制域传递函数可以为：U=F*（L*βij+1）；其中L为PCNN控制域的链接输入，F为PCNN控制域的反馈输入；βij为自适应链接系数，U为输出结果。

其中上述S106中得到融合图像的方法具体可以为：多尺度变换重够，具体的方法可以采用形态非抽样小波变换作为我们的多尺度变换的方法。

我们选取形态非抽样小波(MorphologicalUn-DecimatedWavelet，MUDW)变换来作为多尺度变换工具。这种多尺度变换具有运算效率实时、良好的多尺度分解特性、较好的图像融合效果等优点。它的一般框架，如式(3)到(5)所示：

$x_{j+1}={\mathrm{\ψ}}_j^{\↑}\left(x_j\right)=T\left(x_j\right)---\left(3\right)$

$y_{j+1}={\mathrm{\ω}}_j^{\↑}\left(x_j\right)=(\mathrm{id}-T)\left(x_j\right)---\left(4\right)$

${\mathrm{\ψ}}_j^{\↓}({\mathrm{\ψ}}_j^{\↑}\left(x_j\right),{\mathrm{\ω}}_j^{\↑}\left(x_j\right))={\mathrm{\ψ}}_j^{\↑}\left(x_j\right)+{\mathrm{\ω}}_j^{\↑}\left(x_j\right)=T\left(x_j\right)+(\mathrm{id}-T)\left(x_j\right)=\mathrm{id}\left(x_j\right)---\left(5\right)$

其中，X_j是分解后第j个尺度上的低频分量；

是低通分析算子；Y_j是分解后第j个尺度上的高频分量；

是高通分析算子；T()为数学形态算子，可以根据信号处理的不同需求,选择基本形态算子或基本算子的某种组合形式；id是等同算子(identityoperator)，即id(x_j)=x_j；

是合成算子。

本发明提供的方法合理利用了视觉显著计算的结果，充分反映出人眼对像素点的感知强度，在融合图像中最大程度地保留源图像中的显著信息，因此能获得较好的融合效果。

因本发明提供的方法是对已有的多尺度图像融合中低频融合规则的改进，对其高频融合规则并没有改动，因此主要和低频加权平均规则比较。针对红外和可见光的图像融合，并采用形态非抽样小波变换作为我们的多尺度变换方法，将本文融合方法和采用基本的平均加权规则，以及显著图直接生成加权函数（不经过PCNN）的图像融合进行比较，来验证我们的方法能有效地保护来自源图中的显著目标。在进行图像变换时，图像分解的层数为5层。采用了两组红外和可见光图像融合实验。

为对融合质量进行评价，选取的客观评价指标包括：

互信息(MI)：体现了从源图提取的信息量的多少，值越大说明提取了越多的信息量，融合效果越好。

信息熵(Entropy)：指融合图像所包含信息量的大小,在保证图像不失真和处理中没引入噪声的情况下,值越大说明图像融合效果越好。

平均梯度(AVG)：值越大说明融合图像层次越多，也就越清晰。

边缘保持度（QAB/F）：值越大说明源图有越多的边缘信息量得到了保留。

实验一

实验一的结果如图3所示。从图3(c)中可看出，如果采用简单的平均加权的低频融合规则，则红外线源图像中的显著目标在融合图像中将会变暗，起不到保护的作用。从图3(e)中可看出，本文的方法能很好地保护来自两幅源图的显著目标。图4给出了两幅源图所得到的显著计算结果，以及本文方法最终得到的低频权值图。从图4(a)和图4(b)中可看出，本文选择的视觉计算方法所得到的结果能很好地符合人眼的视觉特性。从图4(c)中可以看出本文方法得到的低频权值图合理地体现了源图中的显著特性，亮的部分表示来自红外线源图，而暗的部分表示来自可见光源图。

表1给出了评价指标的比较，可以看到，本文方法能得到比平均加权、显著图加权的方法更好的评价指标。

表1实验一客观评价指标比较

实验二

实验二的相关结果如图5、图6和表2所示。得到的结论和实验一相同，因此不再赘述。

表2实验二客观评价指标比较

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种结合视觉注意机制和PCNN的图像融合方法，其特征在于，所述方法包括：

将源图像A和源图像B分别进行视觉显示计算得到源图像A的显著图A、源图像B的显著图B；

将源图像A和源图像B分别进行多尺度变换得到源图像A的高频系数A和低频系数A、源图像B的高频系数B和低频系数B；

将显著图A作为PCNN模型的链接输入，将低频系数A作为PCNN模型的反馈输入，依据公式1和显著图A构造自适应链接系数βij.A；对PCNN模型点火得到点火映射图T_A(i,j)；

将显著图B作为PCNN模型的链接输入，将低频系数B作为PCNN模型的反馈输入，依据公式1和显著图B构造自适应链接系数βij.B；对PCNN模型点火得到点火映射图T_B(i,j)；

${\mathrm{\β}}_{\mathrm{ij}}=\frac{1}{1+e^{-\mathrm{\ηS}(i,j)}}+2.5$ 公式1

其中η为调节因子，S(i,j)为像素(i,j)的显著度值，βij为自适应链接系数；

根据公式2得到低频融合系数，依据高频系数A和高频系数B得到高频融合系数；

${\mathrm{\ω}}_A(i,j)=\left\{\begin{array}{cc}1,& \mathrm{if}{T}_A(i,j)\≥T_B(i,j)\\ 0,& \mathrm{else}\end{array}\right.$ 公式2

其中，ω_A(i,j)为低频融合系数，T_A(i,j)为源图像A的点火映射图T_B(i,j)为源图像B的点火映射图；

根据低频融合系数、高频融合系数得到融合图像。

2.根据权利要求1所述的方法，其特征在于，所述PCNN控制域传递函数为：U=F*（L*βij+1）；其中L为PCNN控制域的链接输入，F为PCNN控制域的反馈输入；βij为自适应链接系数，U为输出结果。

3.根据权利要求1所述的方法，其特征在于，所述多尺度变换为形态非抽样小波变换。

Images