CN112184646B - 基于梯度域导向滤波和改进pcnn的图像融合方法 - Google Patents
基于梯度域导向滤波和改进pcnn的图像融合方法 Download PDFInfo
- Publication number
- CN112184646B CN112184646B CN202011000403.8A CN202011000403A CN112184646B CN 112184646 B CN112184646 B CN 112184646B CN 202011000403 A CN202011000403 A CN 202011000403A CN 112184646 B CN112184646 B CN 112184646B
- Authority
- CN
- China
- Prior art keywords
- image
- pcnn
- decision
- fusion
- fused
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 32
- 238000001914 filtration Methods 0.000 title claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 50
- 238000010586 diagram Methods 0.000 claims abstract description 39
- 230000000007 visual effect Effects 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000011156 evaluation Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 57
- 230000000903 blocking effect Effects 0.000 abstract description 10
- 230000000295 complement effect Effects 0.000 abstract description 3
- 230000016776 visual perception Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 8
- 125000001475 halogen functional group Chemical group 0.000 description 5
- 230000005284 excitation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于梯度域导向滤波和改进PCNN的图像融合方法，属于图像处理领域。首先，根据图像的结构、清晰度以及对比度显著性这三个互补的图像特征对源图像进行检测，得到初始决策图，此决策图模型能够有效、准确地度量特征的显著性，大大提高方法的性能；然后，为了充分利用图像的空间一致性，同时抑制图像中的块效应，采用梯度域导向滤波对初始决策图进行优化，得到优化决策图；其次，对优化决策图和待融合图像进行加权操作，得到最优决策图；最后，为了使融合的图像更符合人眼的视觉特性，采用改进的PCNN对优化的决策图进行处理，得到最终的融合图。本发明解决了传统图像融合方法的方法复杂、效率低以及过度依赖人工设计的问题，同时图像的融合质量进一步提高。
Description
技术领域
本发明属于图像处理领域，具体涉及一种多源图像融合方法，可以应用于各种民用的图像处理系统。
背景技术
图像融合是指利用一定的技术将两幅或者多幅多源图像的重要信息进行合并的过程，目的是使所获得的融合图像能够充分利用不同源图像信息，以便更准确全面描述场景信息。作为图像融合技术中一个重要组成部分，红外与可见光图像融合后的图像清晰度更高、信息量更大、获取目标和场景的信息更全面且更适合人类视觉感知，已经在军事、工业和民用等领域得到应用。在民用领域中，将红外与可见光融合技术应用在汽车夜视系统中，可以提高汽车在浓雾、大雨等恶劣天气条件下行车的安全性。
近年来，由于深度学习在计算机视觉与图像处理领域中取得的相关成果，使得许多学者开始研究将深度学习应用到图像融合方面。文献“Li S,Kang X,Hu J.Image Fusionwith Guided Filtering[J].IEEE Transactions on Image Processing,2013, 22(7):2864-2875.”提出了一种基于引导滤波的方法，它能以高计算效率获得更好的结果。然而，该方法通过拉普拉斯算子直接生成像素显著度来构造最终的融合权重图，并不能很好地表示源图像视觉上可辨别的特征。此外，由于引导滤波器使用局部线性模型，不能在某些边缘附近很好地表示图像从而产生光晕伪影。文献“江泽涛，吴辉，周晓玲.基于改进引导滤波和(Dual Channel Spiking Cortical Model，DCSCM)DCSCM 的红外与可见光图像融合方法[J].光学学报,2018,32(2):021002.”则将改进的导向滤波与DCSCM相结合，提出了一种融合方法，但该方法中引导滤波权重因子为常数，容易导致图像在边缘处细节信息模糊。针对上述文献存在问题，本发明提出基于梯度域导向滤波和改进的脉冲耦合神经网络(Gradient Domain Guided Filter and improved Pulse Coupled Neural Network，GDGF-PCNN)的融合方法。
发明内容
要解决的技术问题
针对融合方法所获得的融合图像产生光晕伪影以及对比度低的问题，充分利用导向滤波器的边缘平滑和边缘梯度保持特性以及(pulse coupled neural network，PCNN)PCNN模型的利于视觉感知的特点，提出一种基于梯度域导向滤波和改进的脉冲耦合神经网络(Gradient domain guided filter and improved PCNN，GDGF-PCNN)的融合方法，较好的保留了图像的边缘、纹理和细节信息，避免了目标边缘的光晕伪影现象，而且更利于视觉观察，达到了很好的融合效果。
技术方案
一种基于梯度域导向滤波和改进PCNN的图像融合方法，其特征在于步骤如下：
步骤1：多视觉特征的初始决策图构造
首先，将源图像In进行高斯滤波，得到包含强度变化的近似分量
然后将源图像与近似分量相减得到包含细节信息的细节分量
表达式如下：
式中*表示卷积操作，Gr,σ表示大小为(2r+1)×(2r+1)，标准差为σ的高斯滤波器；
将输入图像的多视觉特征初始决策图分为三个关键评价特征进行构造：清晰度决策图、对比度决策图以及结构显著性决策图：
1)清晰度决策图
源图像In的清晰度的数学表达式为：
式中
表示拉普拉斯算子，其数学表达式为：
图像的清晰度决策图表示为：
式中N表示源图像数量，
表示像素为k时的清晰度值；
2)对比度决策图
源图像In的局部对比度的数学表达式为：
式中
表示以(x,y)为中心的窗口的均值，p×q表示窗口大小；然后，对局部对比度LCn进行局部加权得到对比度图：
CSn＝LCn*Gr,σ (7)
图像的对比度决策图表示为：
式中N表示源图像数量，
表示像素为k时的对比度值；
3)结构显著性决策图
基于局部窗口W的梯度协方差矩阵表示为：
式中Ix(X)和Iy(X)分别表示点X＝(x,y)沿x和y方向的梯度，为了得到图像的局部结构描述，对上式进行特征值分解：
式中
和
为矩阵C的特征值；
图像结构显著性的定义为：
式中α用于确定结构中边角的重要性，α＞-1；
图像的结构显著性决策图表示为：
式中N表示源图像数量，
表示像素为k时的结构显著性值。
步骤2：基于梯度域导向滤波的决策图优化
将GDGF应用于步骤1中每个基于视觉特征的决策图D1,n、D2,n和D3,n，将相应的源图像In的近似分量
和细节分量
作为引导图像以生成每个特征的最优决策图，即：
式中r1和r2为GDGF的参数，m＝(1,2,3)；
通过结合三个特征的决策图，得到源图像的优化决策图，即：
式中
和
表示得到的近似分量和细节分量的决策图；
对得到的近似分量和细节分量的决策图进行加权处理，得到最终的融合分量，即：
最后，将融合的近似分量和细节分量相加得到最优决策图，即：
步骤3：基于改进PCNN的融合权重图构造
首先将外部激励S送入到改进的PCNN中，改进的PCNN的具体实施步骤如下：
1.对于PCNN网络，网络中的任何神经元由N(i,j)表示，其中i和j表示N(i,j)的位置坐标，将PCNN应用于图像处理，PCNN的大小等于二维图像的输入大小，即像素点与神经元一一对应，因此，将网络的外部激励输入矩阵S归一化到[0,1]范围中。
2.分别初始化PCNN网络的内部激活状态Uij＝0，网络输出Yij＝0以及n＝1，网络的动态阈值的初值Tij由公式(20)计算得到：
上式中，Smax表示外部激励输入矩阵S中的最大值，Skl表示与Ykl对应迭代次数的输入，La表示拉普拉斯算子；
3.分别利用公式(21)-(25)计算Fij[n]反馈输入、Lij[n]链接输入，Uij[n]内部激活状态、动态阈值Tij[n]、Yij[n]输出以及Rij最终的输出：
Fij[n]＝Sij[n] (21)
Uij[n]＝Fij[n](1+βLij[n]) (22)
式中，β表示连接系数，αT表示Tij[n]的衰减时间常数，VT分别表示Tij的固有电压；
4.如果公式(24)中计算得到Y＝0，则进行下一步计算；如果Y≠0，则令n＝n+1，然后退回到上一步进行循环；
5.根据公式(25)计算改进PCNN的输出R，并将R归一化到[0,1]，即：
6.最后，将上一步得到的R与门限值进行比较，得到一个融合映射图Fm；
步骤4：图像融合
计算融合映射图Fm和源图像Iij之间的差的绝对值，表达式如下：
如果
则选择位置(i,j)处的源图像IA的像素作为融合图像对应位置的像素值；如果
则选择位置(i,j)处的源图像IB的像素作为融合图像对应位置的像素值；否则，选择位置(i,j)处的外部刺激Sij的像素作为融合图像对应位置的像素值：
所述的r＝20,σ＝5。
步骤3中第6小步中将门限值定为0.4，当R的值小于0.4，融合映射图设置为 Fm＝0.08S；当R的值大于或等于0.4，融合映射图设置为Fm＝0.08S+0.92R4，即：
有益效果
针对融合方法所获得的融合图像产生光晕伪影以及对比度低的问题，充分利用导向滤波器的边缘平滑和边缘梯度保持特性以及(pulse coupled neural network，PCNN)PCNN模型的利于视觉感知的特点，本发明提出一种基于梯度域导向滤波和改进的脉冲耦合神经网络图像融合算法 。根据图像的结构、清晰度以及对比度显著性这三个互补的图像特征对源图像进行检测，得到初始决策图，此决策图模型能够有效、准确地度量特征的显著性，大大提高方法的性能；然后，为了充分利用图像的空间一致性，同时抑制图像中的块效应，采用梯度域导向滤波对初始决策图进行优化，得到优化决策图；其次，对优化决策图和待融合图像进行加权操作，得到最优决策图；最后，为了使融合的图像更符合人眼的视觉特性，采用改进的PCNN对优化的决策图进行处理，得到最终的融合图。本发明能较好的保留了图像的边缘、纹理和细节信息，避免了目标边缘的光晕伪影现象，而且更利于视觉观察，达到了很好的融合效果。
附图说明
图1基于梯度域导向滤波和改进PCNN的图像融合方法流程图
图2源图像1的多视觉特征图及初始决策图：(a)源图像1；(b)对比度特征；(c) 清晰度特征；(d)结构显著性特征；(e)对比度初始决策图；(f)清晰度初始决策图；(g) 结构显著性初始决策图；
图3源图像2的多视觉特征图及初始决策图：(a)源图像2；(b)对比度特征； (c)清晰度特征；(d)结构显著性特征；(e)对比度初始决策图；(f)清晰度初始决策图；(g) 结构显著性初始决策图；
图4源图像的优化决策图：(a)图1近似分量决策图；(b)图1细节分量决策图； (c)图2近似分量决策图；(d)图2细节分量决策图；
图5决策图优化及融合：(a)最优决策图；(b)融合图像；
图6四组多聚焦图像的源图像
图7四组多聚焦图像在不同融合方法下的结果图：(a1)源图像1；(a2)源图像2；(a3)GF；(a4)IM；(a5)MWGF；(a6)SR；(a7)HMSD；(a8)NSCT-PCNN；(a9)MST-SR； (a10)GDGF-PCNN；(b1)源图像1；(b2)源图像2；(b3)GF；(b4)IM；(b5)MWGF；(b6) SR；(b7)HMSD；(b8)NSCT-PCNN；(b9)MST-SR；(b10)GDGF-PCNN；(c1)源图像1；(c2)源图像2；(c3)GF；(c4)IM；(c5)MWGF；(c6)SR；(c7)HMSD；(c8)NSCT-PCNN； (c9)MST-SR；(c10)GDGF-PCNN；(d1)源图像1；(d2)源图像2；(d3)GF；(d4)IM； (d5)MWGF；(d6)SR；(d7)HMSD；(d8)NSCT-PCNN；(d9)MST-SR；(d10)GDGF-PCNN。
图8四组医学图像在不同融合方法下的结果图：(e1)源图像1；(e2)源图像2；(e3)GF； (e4)IM；(e5)MWGF；(e6)SR；(e7)HMSD；(e8)NSCT-PCNN；(e9)MST-SR；(e10) GDGF-PCNN；(f1)源图像1；(f2)源图像2；(f3)GF；(f4)IM；(f5)MWGF；(f6)SR；(f7) HMSD；(f8)NSCT-PCNN；(f9)MST-SR；(f10)GDGF-PCNN；(g1)源图像1；(g2)源图像2；(g3)GF；(g4)IM；(g5)MWGF；(g6)SR；(g7)HMSD；(g8)NSCT-PCNN；(g9)MST-SR； (g10)GDGF-PCNN；(h1)源图像1；(h2)源图像2；(h3)GF；(h4)IM；(h5)MWGF；(h6)SR； (h7)HMSD；(h8)NSCT-PCNN；(h9)MST-SR；(h10)GDGF-PCNN。
图9四组红外与可见光图像在不同融合方法下的结果图：(i1)源图像1；(i2)源图像2；(i3)GF；(i4)IM；(i5)MWGF；(i6)SR；(i7)HMSD；(i8)NSCT-PCNN；(i9)MST-SR； (i10)GDGF-PCNN；(j1)源图像1；(j2)源图像2；(j3)GF；(j4)IM；(j5)MWGF；(j6)SR； (j7)HMSD；(j8)NSCT-PCNN；(j9)MST-SR；(j10)GDGF-PCNN(k1)源图像1；(k2)源图像2；(k3)GF；(k4)IM；(k5)MWGF(k6)SR；(k7)HMSD；(k8)NSCT-PCNN；(k9)MST-SR； (k10)GDGF-PCNN；(l1)源图像1；(l2)源图像2；(l3)GF；(l4)IM；(l5)MWGF；(l6)SR； (l7)HMSD；(l8)NSCT-PCNN；(l9)MST-SR；(l10)GDGF-PCNN。
具体实施方式
现结合实施例、附图对本发明作进一步描述：
用于实施的硬件环境是：实验环境为CPU Intel Core i3-8350 CPU@3.4GHz，内存为16GB，采用MATLAB R2016a编程。
本发明基于梯度域导向滤波和改进的脉冲耦合神经网络图像融合方法，具体实现过程如下：
首先，根据图像的结构、清晰度以及对比度显著性这三个互补的图像特征对源图像进行检测，得到初始决策图，此决策图模型能够有效、准确地度量特征的显著性，大大提高方法的性能；然后，为了充分利用图像的空间一致性，同时抑制图像中的块效应，采用梯度域导向滤波对初始决策图进行优化，得到优化决策图；其次，对优化决策图和待融合图像进行加权操作，得到最优决策图；最后，为了使融合的图像更符合人眼的视觉特性，采用改进的PCNN对优化的决策图进行处理，得到最终的融合图。
详细步骤如下：
步骤一：多视觉特征的初始决策图构造
首先，将源图像In进行高斯滤波，得到包含强度变化的近似分量
然后将源图像与近似分量相减得到包含细节信息的细节分量
表达式如下：
式中*表示卷积操作，Gr,σ表示大小为(2r+1)×(2r+1)，标准差为σ的高斯滤波器，所述r＝20,σ＝5。
图像的清晰度、对比度以及结构显著性是对图像质量的三个重要评价特征。因此，本发明将输入图像的多视觉特征初始决策图分为三个关键评价特征进行构造：清晰度决策图、对比度决策图以及结构显著性决策图。
1)清晰度决策图
清晰度是对图像进行评价的一个重要特征。在图像处理领域，图像的清晰度可以通过滑动窗进行局部清晰度衡量得到。对于图像中的每一个像素，图像的拉普拉斯能量通过对算子进行平方操作，然后再进行局部平均得到。因此，源图像In的清晰度的数学表达式为：
式中
表示拉普拉斯算子，其数学表达式为：
通过上述方法得到的清晰度图能够真实的反映出融合图像的高频细节信息，同时也能够表示图像的清晰度和图像边缘的变化。因此，图像的清晰度决策图可以表示为：
式中N表示源图像数量，
表示像素为k时的清晰度值。
2)对比度决策图
人眼视觉系统(Human Visual System,HVS)对单独像素的变化没有太多感受，但对某个局部范围内的像素变化十分敏感。本发明采用局部对比度的方式来构造对比度决策图，源图像In的局部对比度的数学表达式为：
式中
表示以(x,y)为中心的窗口的均值，p×q表示窗口大小。然后，对局部对比度LCn进行局部加权得到对比度图：
CSn＝LCn*Gr,σ (7)
通过上述方法得到的对比度图能够很好地表示显著性层次的细节信息，对比度显著性越高，图像融合效果越好。因此，图像的对比度决策图可以表示为：
式中N表示源图像数量，
表示像素为k时的对比度值。
3)结构显著性决策图
HVS适用于源图像中提取结构信息，本发明通过引入结构显著性模型构建结构显著性决策图。图像的局部结构与梯度协方差关系密切，因此，基于局部窗口W的梯度协方差矩阵表示为：
式中Ix(X)和Iy(X)分别表示点X＝(x,y)沿x和y方向的梯度。为了得到图像的局部结构描述，对上式进行特征值分解：
式中
和
为矩阵C的特征值。
图像的局部结构与对应矩阵的特征值有关。上述对图像的局部结构的显着性测量方法能够对图像结构进行稳定描述，对模糊和随机噪声都具有鲁棒性。同时，它适用于所有类型的结构，如脊、边和角。因此，图像结构显著性的定义为：
式中α用于确定结构中边角的重要性，α＞-1。
通过上述方法得到的结构显著图不仅可以反映图像的局部结构显著性，而且能够反映HVS对不同的结构刺激的判别响应。因此，图像的结构显著性决策图可以表示为：
式中N表示源图像数量，
表示像素为k时的结构显著性值。
输入一对多聚焦源图像1和2，源图像1得到的多视觉特征和多视觉特征初始决策图如2所示。源图像2得到的多视觉特征和多视觉特征初始决策图如3所示。步骤二：基于梯度域导向滤波的决策图优化
在图像处理过程中，空间一致性是指相邻像素如果具有相似的亮度则分享相似的权重。从图2和图3可以清楚的看出，由多视觉特征构造的初始决策图存在噪声并且不能与对象边缘对齐，这是由于没有考虑空间的一致性，因此可能会使最终的融合结果产生伪影。由于GDGF具有空间一致性、计算复杂度较低且对参数r1和r2的选择不敏感，能够增强通用性，因此本发明将GDGF应用于上一步中每个基于视觉特征的决策图D1,n、D2,n和D3,n，将相应的源图像In的近似分量
和细节分量
作为引导图像以生成每个特征的最优决策图，即：
式中r1和r2为GDGF的参数，m＝(1,2,3)。
通过结合三个特征的决策图，得到源图像的优化决策图，如图4所示。即：
式中
和
表示得到的近似分量和细节分量的决策图。
对得到的近似分量和细节分量的决策图进行加权处理，得到最终的融合分量，即：
最后，将融合的近似分量和细节分量相加得到最优决策图，如图5(a)所示。即：
步骤三：基于改进PCNN的融合权重图构造
为了得到图像的融合权重图，采用改进的PCNN方法来准确的从源图像中提取信息。首先将外部激励S送入到改进的PCNN中。改进的PCNN的具体实施步骤如下：
1.对于PCNN网络，网络中的任何神经元由N(i,j)表示，其中i和j表示N(i,j)的位置坐标，将PCNN应用于图像处理，PCNN的大小等于二维图像的输入大小，即像素点与神经元一一对应，因此，将网络的外部激励输入矩阵S归一化到[0,1]范围中。
2.分别初始化PCNN网络的内部激活状态Uij＝0，网络输出Yij＝0以及n＝1，网络的动态阈值的初值Tij由公式(20)计算得到。
上式中，Smax表示外部激励输入矩阵S中的最大值，Skl表示与Ykl对应迭代次数的输入， La表示拉普拉斯算子。
3.分别利用公式(21)-(25)计算Fij[n]反馈输入、Lij[n]链接输入，Uij[n]内部激活状态、动态阈值Tij[n]、Yij[n]输出以及Rij最终的输出。
Fij[n]＝Sij[n] (21)
Uij[n]＝Fij[n](1+βLij[n]) (22)
上式中，β表示连接系数，αT表示Tij[n]的衰减时间常数，VT分别表示Tij的固有电压。
4.如果公式(24)中计算得到Y＝0，则进行下一步计算；如果Y≠0，则令n＝n+1，然后退回到步骤(3)进行循环。
5.根据公式(25)计算改进PCNN的输出R。并将R归一化到[0,1]，即：
6.最后，将上一步得到的R与门限值进行比较，得到一个融合映射图Fm，本发明将门限值定为0.4。具体而言，当R的值小于0.4，融合映射图设置为Fm＝0.08S；当R 的值大于或等于0.4，融合映射图设置为Fm＝0.08S+0.92R4，即：
步骤四：图像融合
根据融合映射图Fm生成最终的融合图像F，如图5(b)所示。首先，计算融合映射图Fm和源图像Iij之间的差的绝对值，表达式如下：
如果
则选择位置(i,j)处的源图像IA的像素作为融合图像对应位置的像素值；如果
则选择位置(i,j)处的源图像IB的像素作为融合图像对应位置的像素值；否则，选择位置(i,j)处的外部刺激Sij的像素作为融合图像对应位置的像素值。上述过程的数学表达式如下：
1.实验参数设置
实验环境为CPU Intel Core i3-8350 CPU@3.4GHz，内存为16GB，采用MATLABR2016a编程。本发明采用多模态图像进行融合处理，如图2所示。
2.实验内容
采用多聚焦、医学和可见光与红外这三类常用的融合图像进行实验，对于每类图像，采用4组图像数据集，如下图6所示，测试图像的大小为256×256。在梯度域导向滤波中，由于导向滤波对参数的变换没有依赖性，本发明采用参数设置，即：r1＝3,r2＝7。根据上述参数设置对大多数图像具有普适性，能得到较好的融合结果。在改进的脉冲耦合神经网络中，W＝[0.5,1,0.5；1,0,1；0.5,1,0.5]，β＝0.1，αL＝1，αT＝0.2， VL＝1，VT＝2000。其中VT必须足够大，以确保允许PCNN的每个神经元进行一次计算，上述参数均通过大量实验的经验获得。其他对比方法的参数设置均采用对比文献所给出的最优参数。
为了对本发明提出的GDGF-PCNN方法的有效性进行检验，将GDGF-PCNN方法分别与导向滤波(Guided Filter,GF)、图像消光(Image Matting,IM)、多尺度加权梯度 (Multi-scale Weighted gradient-based Fusion,MWGF)、稀疏表示(Sparse Representation,SR)、混合多尺度分解(Hybrid Multi-scale Decomposition,HMSD)、非下采样轮廓波变换和脉冲耦合神经网络相结合(Non-subsampled Contourlet Transform and PulseCoupled Neural Network,NSCT-PCNN)和多尺度变换和稀疏表示相结合(Multi-scaleTransform and Sparse Representation,MST-SR)的图像融合方法相比较，并从主观和客观层面进行分析。
3.评价指标
为了更客观的评价本发明提出方法的有效性和适用性，本发明采用信息熵QEN、图像梯度QG、结构相似性QW以及视觉感知QCB对本发明所提出的方法和七种对比方法进行融合图像的客观评价，以此来评价不同图像融合方法的融合性能。表1给出了四组多聚焦图像的融合结果的客观评价值，其中加粗的数值代表最优的结果。
4.仿真测试
表1四组多聚焦图像在不同融合方法下融合结果的客观评价指标
由图7可以看出通过GF和MWGF的方法获得的融合图像整体效果较好，但仔细对比仍能发现小的瑕疵，MWGF方法在聚焦与散焦的边缘区域过度锐化(如图7(b5) 所示)，GF方法在边界区域出现轻微的模糊(如图7(d3)中钟表边缘)；通过IM的方法获得的融合图像(如图7(c4)所示)远处花盆位置；由于SR的处理对象是局部的图像块而不是整个图像，因此通过SR的方法获得的融合图像(如图7(a6)、(b6)、(c6)、 (d6)所示)产生块效应，在融合的图像中一些细节被平滑甚至丢失，也存在轻微的吉布斯现象；通过HMSD的方法获得的融合图像(如图7(d7)所示)在聚焦与非聚焦过渡的区域出现块效应；尽管基于NSCT-PCNN的方法分别保留了基于NSCT方法的多方向性信息优点和基于PCNN方法的利于视觉感知的优点，但通过NSCT-PCNN的方法得到的融合图像会产生伪影现象，不能准确的提取聚焦区域的边界信息(如图7(a8)、 (b8)、(c8)、(d8)所示)；通过MST-SR的方法获得的融合图像(如图7(a9)、(b9)、(c9)、 (d9)所示)存在振铃效应并且图像的对比度也在一定程度上被弱化；相比之下， GDGF-PCNN的方法在下列四组图像中没有明显的错误，得到的融合图像能够准确的从源图像中提取到边缘信息且聚焦信息保存完整、对比度高、聚焦与非聚焦区域过渡自然且鲁棒性高，因此更利于视觉观察。
分别采用信息熵QEN、图像梯度QG、结构相似性QW以及视觉感知QCB对本发明所提出的方法和七种对比方法进行融合图像的客观评价。其中，QEN越大，说明了经过融合处理后的图像包含的源图像的细节成分越多；QG越大，说明了融合处理后图像对比度越大且视觉效果越好；QW越大，融合后图像与源图像的相似度越高，包含源图像的细节信息越多；QCB越大，融合后的图像更利于视觉感知。通过对上述客观评价指标在多聚焦图像融合结果比较，如表1所示，采用本发明所提出的GDGF-PCNN方法进行融合在四个评价指标上都是最高的，说明本发明能够具有最优的融合效果。因此综合主观评价和客观评价结果，本发明提出的GDGF-PCNN融合方法是最优的，不仅能够保留图像的细节信息和边缘信息，并且更利于人类的视觉感知。
表2对于不同的医学图像的客观指标评价
由图8可以看出通过GF方法获得的融合图像整体效果较好，但对比度有所降低(如图8(f3)所示)；通过IM和SR方法获得的融合图像出现块效应(如图8(f4)和(f6) 的上方区域)；通过MWGF和HMSD方法获得的融合图像细节信息丢失(如图8(e5) 的中间区域以及(g5)的左边缘区域、图8(h7)左下方区域)；通过NSCT-PCNN方法得到的结果存在模糊区域，不便于视觉感知和计算机处理(如图8(e8)和(f8)所示)，且细节信息丢失(如图8(g8)和(h8)所示)；通过MST-SR方法获得的融合图像存在块效应(如图8(g9)和(h9)所示)；本发明提出的GDGF-PCNN方法在下列四组图像中从视觉效果上均优于其他七种对比方法，得到的融合图像不仅保存了图像中的细节信息，而且更利于视觉感知。
由表2可以更直观的看出：对于指标QEN，GDGF-PCNN算法在第二组、第三组以及第四组融合图像中取得最大值，基于MST-SR的融合方法在第一组融合图像中取得最大值；对于指标QG，GDGF-PCNN算法在第一组、第二组以及第四组融合图像中取得最大值，基于IM的融合方法在第三组融合图像中取得最大值；对于指标QW， GDGF-PCNN算法在第三组和第四组融合图像中取得最大值，基于SR的融合方法在第一组融合图像中取得最大值，基于MWGF的融合方法在第二组融合图像中取得最大值；对于指标QCB，GDGF-PCNN算法在第一组、第二组、第三组以及第四组融合图像中均取得最大值。虽然本方法在客观评价的个别评价指标略低于其他方法，但综合主观感受和客观评价，相比于其他七种融合方法，GDGF-PCNN的方法是最优的，其不仅能够保留图像的细节信息，而且更利于人类的视觉感知。
表3对于不同的可见光与红外图像的客观指标评价
由图9可以看出通过GF方法获得的融合图像细节信息丢失(如图9(i3)的栅栏以及(l3)中的远山区域)；通过IM方法获得的融合图像对红外图像中的信息没有完全表达(如图9(i4)中人物信息模糊)且出现块效应(如图9(l4)中背景的左上角区域)；通过MWGF方法获得的融合图像存在块效应，视觉效果不好(如图9 (l5)中矩形框正上方区域)；通过SR方法获得的融合图像存在部分失真现象(如图9(i6)中左下角区域的树枝)以及出现块效应(如图9(l6)中的左上角区域)；通过HMSD方法获得的融合图像的融合效果不佳(如图9(j7)所示)；通过NSCT-PCNN方法获得的融合图像存在模糊(如图9(i8)中人物信息模糊，图9(k8)中路灯出现模糊，图9(i8)中矩形框出现模糊)并且细节信息有所丢失(如图9(j8)的树叶)；通过MST-SR方法获得的融合图像存在边缘现象丢失以及图像模糊(如图9(k9)中左下角的汽车灯)；GDGF-PCNN方法对上述图像的融合视觉效果上均优于其他七种对比方法，得到的融合图像不仅能表示出可见光图像中的细节信息；而且能表示出红外图像中的目标信息。
由表3可以更直观的看出：对于指标QEN，GDGF-PCNN算法在第二组以及第四组融合图像中取得最大值，基于MWGF的融合方法在第一组融合图像中取得最大值，基于MST-SR的融合方法在第三组融合图像中取得最大值；对于指标QG，GDGF-PCNN 算法均取得最大值；对于指标QW，GDGF-PCNN算法在第一组、第二组和第四组融合图像中取得最大值，基于IM的融合方法在第三组融合图像中取得最大值；对于指标 QCB，GDGF-PCNN算法均取得最大值。因此综合主观感受和客观评价，GDGF-PCNN 的方法是最优的，不仅能够保留图像的细节信息，而且更利于视觉感知。
Claims (3)
1.一种基于梯度域导向滤波和改进PCNN的图像融合方法，其特征在于步骤如下：
步骤1：多视觉特征的初始决策图构造
首先，将源图像In进行高斯滤波，得到包含强度变化的近似分量
然后将源图像与近似分量相减得到包含细节信息的细节分量
表达式如下：
式中*表示卷积操作，Gr,σ表示大小为(2r+1)×(2r+1)，标准差为σ的高斯滤波器；
将输入图像的多视觉特征初始决策图分为三个关键评价特征进行构造：清晰度决策图、对比度决策图以及结构显著性决策图：
1)清晰度决策图
源图像In的清晰度的数学表达式为：
式中
表示拉普拉斯算子，其数学表达式为：
图像的清晰度决策图表示为：
式中N表示源图像数量，
表示像素为k时的清晰度值；
2)对比度决策图
源图像In的局部对比度的数学表达式为：
式中
表示以(x,y)为中心的窗口的均值，p×q表示窗口大小；然后，对局部对比度LCn进行局部加权得到对比度图：
CSn＝LCn*Gr,σ (7)
图像的对比度决策图表示为：
式中N表示源图像数量，
表示像素为k时的对比度值；
3)结构显著性决策图
基于局部窗口W的梯度协方差矩阵表示为：
式中Ix(X)和Iy(X)分别表示点X＝(x,y)沿x和y方向的梯度，为了得到图像的局部结构描述，对上式进行特征值分解：
式中
和
为矩阵C的特征值；
图像结构显著性的定义为：
式中α用于确定结构中边角的重要性，α＞-1；
图像的结构显著性决策图表示为：
式中N表示源图像数量，
表示像素为k时的结构显著性值；
步骤2：基于梯度域导向滤波的决策图优化
将GDGF应用于步骤1中每个基于视觉特征的决策图D1,n、D2,n和D3,n，将相应的源图像In的近似分量
和细节分量
作为引导图像以生成每个特征的最优决策图，即：
式中r1和r2为GDGF的参数，m＝(1,2,3)；
通过结合三个特征的决策图，得到源图像的优化决策图，即：
式中
和
表示得到的近似分量和细节分量的决策图；
对得到的近似分量和细节分量的决策图进行加权处理，得到最终的融合分量，即：
最后，将融合的近似分量和细节分量相加得到最优决策图，即：
步骤3：基于改进PCNN的融合权重图构造
将最优决策图S送入到改进的PCNN中，改进的PCNN的具体实施步骤如下：
(1)对于PCNN网络，网络中的任何神经元由N(i,j)表示，其中i和j表示N(i,j)的位置坐标，将PCNN应用于图像处理，PCNN的大小等于二维图像的输入大小，即像素点与神经元一一对应，因此，将网络的最优决策图S归一化到[0,1]范围中；
(2)分别初始化PCNN网络的内部激活状态Uij＝0，网络输出Yij＝0以及n＝1，网络的动态阈值的初值Tij由公式(20)计算得到：
上式中，Smax表示最优决策图S中的最大值，Skl表示与Ykl对应迭代次数的输入，La表示拉普拉斯算子；
(3)分别利用公式(21)-(25)计算Fij[n]反馈输入、Lij[n]链接输入，Uij[n]内部激活状态、动态阈值Tij[n]、Yij[n]输出以及Rij最终的输出：
Fij[n]＝Sij[n] (21)
Uij[n]＝Fij[n](1+βLij[n]) (22)
式中，β表示连接系数，αT表示Tij[n]的衰减时间常数，VT分别表示Tij的固有电压；
(4)如果公式(24)中计算得到Y＝0，则进行下一步计算；如果Y≠0，则令n＝n+1，然后退回到上一步进行循环；
(5)根据公式(25)计算改进PCNN的输出R，并将R归一化到[0,1]，即：
(6)最后，将上一步得到的R与门限值进行比较，得到一个融合映射图Fm；
步骤4：图像融合
计算融合映射图Fm和源图像Iij之间的差的绝对值，表达式如下：
如果
则选择位置(i,j)处的源图像IA的像素作为融合图像对应位置的像素值；如果
则选择位置(i,j)处的源图像IB的像素作为融合图像对应位置的像素值；否则，选择位置(i,j)处的最优决策图Sij的像素作为融合图像对应位置的像素值：
2.根据权利要求1所述的一种基于梯度域导向滤波和改进PCNN的图像融合方法，其特征在于所述的r＝20,σ＝5。
3.根据权利要求1所述的一种基于梯度域导向滤波和改进PCNN的图像融合方法，其特征在于步骤3中第(6)小步中将门限值定为0.4，当R的值小于0.4，融合映射图设置为Fm＝0.08S；当R的值大于或等于0.4，融合映射图设置为Fm＝0.08S+0.92R4，即：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011000403.8A CN112184646B (zh) | 2020-09-22 | 2020-09-22 | 基于梯度域导向滤波和改进pcnn的图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011000403.8A CN112184646B (zh) | 2020-09-22 | 2020-09-22 | 基于梯度域导向滤波和改进pcnn的图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112184646A CN112184646A (zh) | 2021-01-05 |
| CN112184646B true CN112184646B (zh) | 2022-07-29 |
Family
ID=73956434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011000403.8A Active CN112184646B (zh) | 2020-09-22 | 2020-09-22 | 基于梯度域导向滤波和改进pcnn的图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112184646B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781375B (zh) * | 2021-09-10 | 2023-12-08 | 厦门大学 | 一种基于多曝光融合的车载视觉增强方法 |
| CN114897751A (zh) * | 2022-04-12 | 2022-08-12 | 北京理工大学 | 基于多尺度结构分解的红外和可见光图像感知融合方法 |
| CN114757912A (zh) * | 2022-04-15 | 2022-07-15 | 电子科技大学 | 基于图像融合的材料损伤检测方法、系统、终端及介质 |
| CN117391985B (zh) * | 2023-12-11 | 2024-02-20 | 安徽数分智能科技有限公司 | 一种多源数据信息融合处理方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105551010A (zh) * | 2016-01-20 | 2016-05-04 | 中国矿业大学 | 基于nsct及深度信息激励pcnn的多聚焦图像融合方法 |
| CN106228528A (zh) * | 2016-07-29 | 2016-12-14 | 华北电力大学 | 一种基于决策图与稀疏表示的多聚焦图像融合方法 |
| CN107886488A (zh) * | 2017-12-04 | 2018-04-06 | 国网山东省电力公司电力科学研究院 | 基于改进pcnn补偿的auv图像融合方法、处理器及系统 |
| CN108764064A (zh) * | 2018-05-07 | 2018-11-06 | 西北工业大学 | 基于导向滤波器与自编码器的sar目标识别算法 |
| CN108830818A (zh) * | 2018-05-07 | 2018-11-16 | 西北工业大学 | 一种快速多聚焦图像融合方法 |
| CN109272477A (zh) * | 2018-09-11 | 2019-01-25 | 中国科学院长春光学精密机械与物理研究所 | 一种基于nsst与自适应双通道pcnn的融合方法以及融合处理器 |
| CN109509164A (zh) * | 2018-09-28 | 2019-03-22 | 洛阳师范学院 | 一种基于gdgf的多传感器图像融合方法及系统 |
| CN110415198A (zh) * | 2019-07-16 | 2019-11-05 | 南京信息工程大学 | 一种基于拉普拉斯金字塔与参数自适应脉冲耦合神经网络的医学图像融合方法 |
| CN110648302A (zh) * | 2019-10-08 | 2020-01-03 | 太原科技大学 | 基于边缘增强引导滤波的光场全聚焦图像融合方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9299130B2 (en) * | 2013-03-15 | 2016-03-29 | Trustees Of Tufts College | Methods and apparatus for image processing and analysis |
| CN108629757A (zh) * | 2018-05-08 | 2018-10-09 | 山东理工大学 | 基于复数剪切波变换与深度卷积神经网络的图像融合方法 |
| CN110555820A (zh) * | 2019-08-28 | 2019-12-10 | 西北工业大学 | 基于卷积神经网络和动态引导滤波的图像融合方法 |
-
2020
- 2020-09-22 CN CN202011000403.8A patent/CN112184646B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105551010A (zh) * | 2016-01-20 | 2016-05-04 | 中国矿业大学 | 基于nsct及深度信息激励pcnn的多聚焦图像融合方法 |
| CN106228528A (zh) * | 2016-07-29 | 2016-12-14 | 华北电力大学 | 一种基于决策图与稀疏表示的多聚焦图像融合方法 |
| CN107886488A (zh) * | 2017-12-04 | 2018-04-06 | 国网山东省电力公司电力科学研究院 | 基于改进pcnn补偿的auv图像融合方法、处理器及系统 |
| CN108764064A (zh) * | 2018-05-07 | 2018-11-06 | 西北工业大学 | 基于导向滤波器与自编码器的sar目标识别算法 |
| CN108830818A (zh) * | 2018-05-07 | 2018-11-16 | 西北工业大学 | 一种快速多聚焦图像融合方法 |
| CN109272477A (zh) * | 2018-09-11 | 2019-01-25 | 中国科学院长春光学精密机械与物理研究所 | 一种基于nsst与自适应双通道pcnn的融合方法以及融合处理器 |
| CN109509164A (zh) * | 2018-09-28 | 2019-03-22 | 洛阳师范学院 | 一种基于gdgf的多传感器图像融合方法及系统 |
| CN110415198A (zh) * | 2019-07-16 | 2019-11-05 | 南京信息工程大学 | 一种基于拉普拉斯金字塔与参数自适应脉冲耦合神经网络的医学图像融合方法 |
| CN110648302A (zh) * | 2019-10-08 | 2020-01-03 | 太原科技大学 | 基于边缘增强引导滤波的光场全聚焦图像融合方法 |
Non-Patent Citations (4)
| Title |
|---|
| Multiscale infrared and visible image fusion using gradient domain guided image filtering;Jin Zhu 等;《Infrared Physics & Technology》;20171213;第8-19页 * |
| 基于增补小波变换和PCNN的NSCT域图像融合算法;王健 等;《计算机工程与科学》;20181031;第40卷(第10期);第1822-1828页 * |
| 基于引导滤波与改进PCNN的多聚焦图像融合算法;杨艳春 等;《光学学报》;20180531;第38卷(第5期);第1-10页 * |
| 融合图像质量评价指标的相关性分析及性能评估;张小利 等;《自动化学报》;20140228;第40卷(第2期);第306-315页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112184646A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112184646B (zh) | 基于梯度域导向滤波和改进pcnn的图像融合方法 | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| CN108830818B (zh) | 一种快速多聚焦图像融合方法 | |
| CN108765336B (zh) | 基于暗亮原色先验与自适应参数优化的图像去雾方法 | |
| CN107153816A (zh) | 一种用于鲁棒人脸识别的数据增强方法 | |
| CN110807742B (zh) | 一种基于一体式网络的微光图像增强方法 | |
| CN113129236B (zh) | 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统 | |
| CN112001868A (zh) | 基于生成对抗性网络的红外和可见光图像融合方法及系统 | |
| CN112288668A (zh) | 基于深度无监督密集卷积网络的红外和可见光图像融合方法 | |
| CN111179208B (zh) | 基于显著图与卷积神经网络的红外-可见光图像融合方法 | |
| CN111539246B (zh) | 一种跨光谱人脸识别方法、装置、电子设备及其存储介质 | |
| CN113269704B (zh) | 一种红外与可见光图像融合方法 | |
| Zou et al. | Infrared and low-light visible image fusion based on hybrid multiscale decomposition and adaptive light adjustment | |
| CN107689038A (zh) | 一种基于稀疏表示和循环引导滤波的图像融合方法 | |
| Cheng et al. | Adaptive fusion framework of infrared and visual image using saliency detection and improved dual-channel PCNN in the LNSST domain | |
| CN115457249A (zh) | 红外图像与可见光图像融合匹配的方法及系统 | |
| CN115797205A (zh) | 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统 | |
| Singh et al. | Construction of fused image with improved depth-of-field based on guided co-occurrence filtering | |
| Baiju et al. | An intelligent framework for transmission map estimation in image dehazing using total variation regularized low-rank approximation | |
| Jiji et al. | Extended depth of focus imaging using optics and image processing | |
| Bhattacharya et al. | D2bgan: A dark to bright image conversion model for quality enhancement and analysis tasks without paired supervision | |
| Xu et al. | MSPIF: Multi-stage progressive visible and infrared image fusion with structures preservation | |
| Singh et al. | Multiscale reflection component based weakly illuminated nighttime image enhancement | |
| CN113362281A (zh) | 基于WSN-LatLRR的红外和可见光图像融合方法 | |
| CN107301625A (zh) | 基于亮度融合网络的图像去雾算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |