CN103037168B - 基于复合型PCNN的平稳Surfacelet域多聚焦图像融合方法 - Google Patents

基于复合型PCNN的平稳Surfacelet域多聚焦图像融合方法 Download PDF

Info

Publication number
CN103037168B
CN103037168B CN201210524965.1A CN201210524965A CN103037168B CN 103037168 B CN103037168 B CN 103037168B CN 201210524965 A CN201210524965 A CN 201210524965A CN 103037168 B CN103037168 B CN 103037168B
Authority
CN
China
Prior art keywords
pcnn
surfacelet
compound
image
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210524965.1A
Other languages
English (en)
Other versions
CN103037168A (zh
Inventor
张宝华
吕晓琪
张传亭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University of Science and Technology
Original Assignee
Inner Mongolia University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University of Science and Technology filed Critical Inner Mongolia University of Science and Technology
Priority to CN201210524965.1A priority Critical patent/CN103037168B/zh
Publication of CN103037168A publication Critical patent/CN103037168A/zh
Application granted granted Critical
Publication of CN103037168B publication Critical patent/CN103037168B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于复合型PCNN的平稳Surfacelet域多聚焦图像融合方法,首先利用Surfacelet变换对已配准的两幅多聚焦源图像进行分解,得到低频系数和高频系数,将所有系数输入复合型PCNN,通过复合型PCNN的双通道PCNN部分选择低频系数,PCNN部分选择高频系数;最后经过Surfacelet逆变换得到融合图像。本发明克服了传统多聚焦图像融合方法的缺陷,改善了融合效果。

Description

基于复合型PCNN的平稳Surfacelet域多聚焦图像融合方法
技术领域
本发明涉及一种基于复合型PCNN的平稳Surfacelet域多聚焦图像融合方法,属于图像处理技术领域。
背景技术
不同类型光学设备取景有限的特点,造成它们对于同一目标区域内的多个不同景深对象聚焦不同,这些图像表现同一场景的侧重不一样,因此存在互为补充的信息。
多聚焦图像融合可以使多个不同距离的目标物体同时清晰地呈现,这为特征提取、图像识别奠定了良好基础。
多聚焦图像融合方法包括基于空间域的图像融合和基于变换域的图像融合。目前以基于变换域的方法为主,常用的变换域融合方法包括小波变换及多尺度几何分析方法等。
通过小波变换得到的多尺度分解系数之间具有相关性和冗余度低等特点。但是由于小波变换方向选择性不强,小波分析只能有效地处理含“点奇异”的函数类,只具有有限的方向性,无法识别自然图像中固有的线奇异和面奇异,对于边缘系数提取的有效性仍待提高。
基于小波变换的图像融合方法在融合过程中小波变换也不具备平移不变性,会产生伪吉布斯效应,影响融合图像效果。另一方面利用基于离散小波变换的图像融合方法得到的融合图像边缘往往会出现部分断裂现象,边缘的连贯性不好,不利于对细节信息的表现。虽然改进方法可以将断点连接对边缘进行修补,但是不能实现对于间隔较大断点的准确连接,影响图像的轮廓完整性。
发明内容
本发明需要解决的技术问题就在于克服现有技术的缺陷,提供一种基于复合型PCNN的平稳Surfacelet域多聚焦图像融合方法,首先利用Surfacelet变换对已配准的两幅多聚焦源图像进行分解,得到低频系数和高频系数,将所有系数输入复合型PCNN,通过复合型PCNN的双通道PCNN部分选择低频系数,PCNN部分选择高频系数;最后经过Surfacelet逆变换得到融合图像。本发明克服了传统多聚焦图像融合方法的缺陷,改善了融合效果。
为解决上述问题,本发明采用如下技术方案:
本发明提供了一种基于复合型PCNN的平稳Surfacelet域多聚焦图像融合方法,所述方法首先利用Surfacelet变换对已配准的两幅多聚焦源图像进行分解,得到低频系数和高频系数,将所有系数输入复合型PCNN,通过复合型PCNN的双通道PCNN部分选择低频系数,PCNN部分选择高频系数;最后经过Surfacelet逆变换得到融合图像。
所述方法具体步骤为:
1)、图像分解:通过Surfacelet变换分别分解已配准的源图像,各自获得低频系数和高频系数;
2)、融合:分解系数通过复合型 PCNN制定融合规则选择低频融合系数和高频融合系数;融合过程可以描述如下:
(1)初始化复合型PCNN参数;
(2)将源图像分解系数输入到复合型PCNN,与反馈系数一起激励神经元;
(3)脉冲发生器根据当前的阈值决定点火事件,记录每次迭代后所有神经元点火情况;
(4)若迭代次数达到n时,停止迭代,n是指网络中设定的迭代次数;
(5)根据点火映射图决定融合系数;
3)、Surfacelet逆变换:通过Surfacelet逆变换,对根据上述步骤确定的融合低频系数和不同尺度下不同方向上的高频系数进行Surfacelet逆变换,得到最终的融合图像。
为了克服传统多聚焦图像融合方法的缺陷,改善融合效果,本发明提出了基于复合型PCNN的Surfacelet变换多聚焦图像融合方法。
Surfacelet变换(ST)具有多方向分解、各向异性和低冗余度等性质。Surfacelet变换分解后得到的方向子带数量更多,图像经小波变换分解后只有28个方向子带,而Surfacelet变换在最精细尺度的方向子带数可以达到192个。Surfacelet对于奇异性的处理实际上是采用不同尺度各向异性的基函数与图像中的边缘奇异性进行相关处理。当图像中某方向上的奇异性与基函数性质一致时,则该奇异性变换后的系数模值较大;反之,则系数模值较小。对某方向提取出来的图像边缘,往往是宽度有限方向一致的奇异性集合,沿边缘奇异性方向,呈现为上升沿与下降沿。对某一方向上的基函数来说,若该基函数的性质与上升沿奇异性一致时,其Surfacelet系数体现为正值;若该基函数对应下降沿,则系数表现为负值。通过这样的处理,保护了图像边缘的连贯性,提供了完整的细节信息。
PCNN(PCNN-Pulse Coupled Neural Network),即脉冲耦合神经网络。PCNN是一种不同于传统人工神经网络的新型神经网络,有着仿生学背景,在图像融合领域的研究中应用广泛。双通道PCNN是对PCNN的改进形式,能较好的解决PCNN处理偏暗或偏亮的图像效果不理想这个问题。
本发明针对PCNN模型应用于图像融合的缺点,结合多聚焦图像的特点,提出复合型PCNN模型,复合型PCNN是基于SF激励的PCNN和基于ISML激励的双通道PCNN的组合模型,输入分别为将源图像通过Surfacelet域分解得到的低频系数和高频系数,由于低频系数和高频系数反映图像细节有巨大的差异性,高频系数总是对应于偏暗或偏亮分解子图像,利用PCNN选择高频系数,双通道PCNN选择低频系数,能将图像细节更好地反映在融合图像中。
Surfacelet变换能够更好的处理高维的奇异性,如轮廓、纹理等信息。能够充分挖掘待融合图像的方向信息,对于高维奇异性基于更稀疏的表示,体现了多尺度、多方向性。Surfacelet变换能更好地挖掘图像奇异性,得到对比度更高,轮廓更清晰的融合结果,更好地展现多聚焦图像的方向细节。基于复合型PCNN 模型符合人类视觉特性,与其它神经网络模型相比有着更强的适应性。复合型PCNN与Surfacelet变换的结合使本发明方案具备了两者的优势,很好地弥补了传统融合方法的缺陷。
本发明方法所生成的融合图像具有较大的局部梯度,灰度级分布更加分散,图像纹理较丰富,细节突出,融合效果更好。
附图说明
图1为本发明融合流程示意图。
图2为实施例1效果示意图;
图中:(a)为左聚焦图像、(b)为右聚焦图像、(c)为实施例效果图、(d)为基于拉普拉斯金字塔变换融合效果图、(e)为基于DWT的融合效果图、(f)为基于Gradient Pyramid的融合效果图、(g)为基于PCA的融合效果图、(h)为基于Ratio Pyramid的融合效果图。
具体实施方式
实施例1
如图1所示,本实施例包括以下步骤:
第一步:对已配准的的左聚焦原始图像和右聚焦原始图像分别进行Surfacelet变换,得到Surfacelet域的方向子带系数;
所述的Surfacelet变换中,对原始图像进行两层的尺度分解得到低频系数和高频系数,即低频系数和高频系数,其中:第1层有4个方向子带,第2层有4个方向子带,其中:k为尺度分解的层数,l为方向分解的方向数。
第二步:初始化复合型神经网络PCNN参数后,分别对于低频系数采用基于双通道PCNN进行融合,高频系数采用基于PCNN进行融合,得到融合后的低频系数以及融合后的高频系数,其中分别对应分解后位于第k层尺度、l方向上的高频系数。
所述的融合是指:将待融合图像的不同尺度下的高频与低频系数中的每个像素点对应一个神经元,若干神经元连接成网络,每个待融合源图像经Surfacelet变换后的分解系数输入该网络,进行若干次迭代,使用不同尺度下的Surfacelet变换分解系数作为对应神经元的输入,经过复合型PCNN点火得到源图像在Surfacelet变换域的点火映射图,根据基于复合型PCNN的融合规则选取融合系数。
所述的初始化是指:初始时各神经元都处于熄火状态,,k表示分解尺度数,l表示分解方向数。
所述的迭代具体步骤包括:
a)初始条件:各神经元都处于熄火状态,,k表示分解尺度数,l表示分解方向数;
b)迭代操作:将分解系数输入网络,通过接收域的表达、调制域和脉冲产生域,逐点计算,并比较两者大小以决定是否产生点火事件,具体包括:
PCNN对应迭代操作过程中的神经元由接收域、调制域和脉冲产生域组成:
接受域:
(1)
(2)
调制域:
(3)
脉冲产生域:
(4)
(5)
式子中,表示图像相应子带的分解系数值。代表输入激励。代表迭代次数,表示反馈通道输入,表示连接输入项, 为突触联接权,为归一化常数,表示神经元的内部活动项。表示连接强度,表示神经元的脉冲输出,它的值为0或者1。是动态阈值, 为调节对应式子的常量,n为迭代次数。如果,则神经元产生一个脉冲,称为一次点火。事实上, 次迭代以后,经过PCNN 点火,由神经元的点火映射图作为PCNN 的输出。
双通道PCNN是对PCNN的改进形式,对应迭代操作过程中的神经元由接收域、调制域和脉冲产生域组成:
接受域:
(6)
(7)
(8)
调制域:
(9)
脉冲产生域:
(10)
(11)
其中:是两个通道第个神经元的反馈输入量,表示连接输入项,为外部激励输入,为神经元动态阈值,为时间常数,为归一化常数, 为内部活动项,分别是的权重系数, 为第个神经元的输出,n为迭代次数。
所述的接收域接收来自两个通道的外部输入,分别对应两幅不同聚焦源图,这两个量在调制部分进行调制,产生内部活动项输入到脉冲产生部分产生神经元的脉冲输出值。所述的脉冲产生域中,当时,神经元被激活,输出一个脉冲,同时,通过反馈迅速提升,继续进行下一次迭代。当时,脉冲产生器关闭,停止产生脉冲。之后,阈值开始指数下降,当时,脉冲产生器打开,进入新的迭代循环。
c)迭代终止条件:所有分解系数均计算完毕后,完成本次迭代。
3)脉冲发生器根据当前的阈值决定点火事件,记录每次迭代后所有神经元点火情况。
4)若迭代次数达到n时,停止迭代。n是指网络中设定的迭代次数。根据点火映射图,确定融合系数,P为图像总的行数,Q为图像总的列数。
基于复合型PCNN的融合规则是指:
采用改进的拉普拉斯能量和(Improved-sum-modified-laplacian, ISML)作为双通道PCNN的外部激励。改进的拉普拉斯(ML)和ISML定义如式(10-11)所示:
(10)
(11)
代表的是Surfacelet分解的处系数。是满足的一个模版,大小设置为3×3,其值为:,x,y分别代表横纵轴坐标值;
采用空间频率来更好的表达图像的边缘特征并作为PCNN的外部激励。图像的空间频率反映了一幅图像在空间域的总体活跃程度。图像的空间频率定义数学表达式如下:
(12)
(13)
(14)
其中,RF为行频率,CF为列频率。本文中,A、B图像经Surfacelet变换分解后得到高频系数,对其系数经过滑动窗口处理得到空间频率,窗口的大小设置为3×3(M=N=3)。得到的SF作为外部激励输入到PCNN并选取最优系数。
设定n为复合PCNN的迭代次数,A,B代表两幅相同内容聚焦不同的源图像,详细的融合步骤如下:
通过Surfacelet变换分解图像A和图像B,分别得到高频系数和低频系数。
对于图像的低频系数,根据公式(10)-(11),求出相应系数的拉普拉斯能量和。对于高频系数,根据公式(12)-(14),求出相应系数的空间频率。
分别通过双通道PCNN选取低频融合系数,PCNN选取高频融合系数。
初始化
根据公式(2)-(4)计算PCNN中的,根据公式(7)-(9)计算双通道PCNN中的
以步骤2)中得到的低频系数的拉普拉斯能量和作为双通道PCNN的外部激励,高频系数的空间频率作为PCNN的外部激励。
如果迭代结束,融合系数的选取规则如下:
(15)
表示融合后的第层,第方向子带的融合系数,分别表示源图像中对应的第层分解子带、第方向子带的系数。
对所有Surfacelet域的融合子图像进行Surfacelet逆变换,生成融合图像
图2为实施例1效果示意图,图中:(a)为左聚焦图像、(b)为右聚焦图像、(c)为实施例效果图、(d)为基于拉普拉斯金字塔变换融合效果图、(e)为基于DWT的融合效果图、(f)为基于Gradient Pyramid的融合效果图、(g)为基于PCA的融合效果图、(h)为基于RatioPyramid的融合效果图。
综上所述,通过图2的效果比较可以看到,本方法更好地融合多聚焦图像的各自的信息,不仅有效地丰富了图像的背景信息,而且最大限度地保护了图像中的细节,符合人眼视觉特性。所以,在融合图像忠实于源图像信息方面,本发明方法明显好于基于拉普拉斯金字塔变换、DWT、PCA、Ratio Pyramid和Grad Pyramid的融合效果。
表1中通过、互信息(MI)、均方误差(MSE)、结构相似度(SSIM)、视觉信息保真度(VIF)指标来衡量不同融合方法获得的融合图像质量, 表示融合图像中边缘信息丰富程度,MI表示融合图像与源图像相关的程度,SSIM表示融合图像与源图像的相似度,VIF说明融合后的信息保存原图像的能力,以上指标越大,说明融合效果越好,MSE值越小表示近似度越高,由表1中数据可以看到,本方法在、互信息、结构相似度(SSIM)、视觉信息保真度(VIF)等指标和其他方法相比都有明显改善,MSE明显小于其他方法,显示本方法所生成的融合图像具有较大的局部梯度,灰度级分布更加分散,图像纹理较丰富,细节突出,融合效果更好。
表 1 客观评价指标对比表
比率金字塔 真成分分析 梯度金字塔 离散小波 拉普拉斯 本文方法
互信息 5.9251 6.0269 5.3656 5.3951 5.9572 6.8731
QAB/F 0.5049 0.5340 0.6381 0.6433 0.6748 0.6758
结构相似度 0.8863 0.9239 0.9537 0.9537 0.9679 0.9734
均方差 286.01 78.215 65.740 39.807 29.034 15.3614
视觉保真度 0.3701 0.4920 0.6285 0.6773 0.7382 0.8424
最后应说明的是:显然,上述实施例仅仅是为清楚地说明本发明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (1)

1.一种基于复合型PCNN的平稳Surfacelet域多聚焦图像融合方法,其特征在于, 所述方法具体步骤为:
1)、图像分解:通过Surfacelet变换分别分解已配准的源图像,各自获得低频系数和高频系数;
2)、融合:分解系数通过复合型 PCNN制定融合规则选择低频子带的融合系数和高频子带融合系数;融合过程如下:
(1)初始化复合型PCNN参数;
(2)将源图像分解系数输入到复合型PCNN,与反馈系数一起激励神经元;
(3)脉冲发生器根据当前的阈值决定点火事件,记录每次迭代后所有神经元点火情况;
(4)若迭代次数达到n时,停止迭代,n是指网络中设定的迭代次数;
(5)根据点火映射图决定融合系数;
3)、Surfacelet逆变换:通过Surfacelet逆变换,对根据上述步骤确定的融合低频系数和不同尺度下不同方向上的高频系数进行Surfacelet逆变换,得到最终的融合图像。
CN201210524965.1A 2012-12-10 2012-12-10 基于复合型PCNN的平稳Surfacelet域多聚焦图像融合方法 Expired - Fee Related CN103037168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210524965.1A CN103037168B (zh) 2012-12-10 2012-12-10 基于复合型PCNN的平稳Surfacelet域多聚焦图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210524965.1A CN103037168B (zh) 2012-12-10 2012-12-10 基于复合型PCNN的平稳Surfacelet域多聚焦图像融合方法

Publications (2)

Publication Number Publication Date
CN103037168A CN103037168A (zh) 2013-04-10
CN103037168B true CN103037168B (zh) 2016-12-21

Family

ID=48023604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210524965.1A Expired - Fee Related CN103037168B (zh) 2012-12-10 2012-12-10 基于复合型PCNN的平稳Surfacelet域多聚焦图像融合方法

Country Status (1)

Country Link
CN (1) CN103037168B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103606138B (zh) * 2013-08-28 2016-04-27 内蒙古科技大学 一种基于纹理区域划分的医学图像的融合方法
CN104616261B (zh) * 2015-02-09 2017-10-27 内蒙古科技大学 一种基于光谱特性的Shearlet域多光谱与全色图像融合方法
CN109242812A (zh) * 2018-09-11 2019-01-18 中国科学院长春光学精密机械与物理研究所 基于显著性检测与奇异值分解的图像融合方法及装置
CN110443775B (zh) * 2019-06-20 2022-12-16 吉林大学 基于卷积神经网络的离散小波变换域多聚焦图像融合方法
CN116883803B (zh) * 2023-09-07 2023-12-05 南京诺源医疗器械有限公司 一种用于胶质瘤边缘获取的图像融合方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101873440A (zh) * 2010-05-14 2010-10-27 西安电子科技大学 基于Surfacelet变换的红外与可见光视频图像融合方法
CN102722877A (zh) * 2012-06-07 2012-10-10 内蒙古科技大学 基于双通道pcnn的多聚焦图像融合方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8447137B2 (en) * 2011-04-12 2013-05-21 Csi Ricerca & Ambiente Srl Method of image fusion

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101873440A (zh) * 2010-05-14 2010-10-27 西安电子科技大学 基于Surfacelet变换的红外与可见光视频图像融合方法
CN102722877A (zh) * 2012-06-07 2012-10-10 内蒙古科技大学 基于双通道pcnn的多聚焦图像融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Image fusion scheme using a novel dual-channel PCNN in lifting stationary wavelet domain;Y.Chai等;《Optics Communications》;20101231;P3591–3602 *

Also Published As

Publication number Publication date
CN103037168A (zh) 2013-04-10

Similar Documents

Publication Publication Date Title
CN105551010A (zh) 基于nsct及深度信息激励pcnn的多聚焦图像融合方法
CN103037168B (zh) 基于复合型PCNN的平稳Surfacelet域多聚焦图像融合方法
EP3329463B1 (en) Method and device for image synthesis
CN107609587B (zh) 一种基于深度卷积生成对抗网络的多类别多视图数据生成方法
CN102722877B (zh) 基于双通道pcnn的多聚焦图像融合方法
CN112614077B (zh) 一种基于生成对抗网络的非监督低照度图像增强方法
CN109785249A (zh) 一种基于持续性记忆密集网络的图像高效去噪方法
CN101980284A (zh) 基于两尺度稀疏表示的彩色图像降噪方法
CN103617604B (zh) 基于二维经验模态分解方法特征提取的图像的融合方法
CN111476262B (zh) 利用1xH卷积的基于CNN的对象检测方法及装置
CN109784358B (zh) 一种融合人工特征和深度特征的无参考图像质量评价方法
CN105894469A (zh) 基于外部块自编码学习和内部块聚类的去噪方法
CN110675379A (zh) 一种融合空洞卷积的u形脑肿瘤分割网络
CN112686816A (zh) 一种基于内容注意力机制和掩码先验的图像补全方法
CN107886488A (zh) 基于改进pcnn补偿的auv图像融合方法、处理器及系统
CN111553462A (zh) 一种类激活映射方法
Lepcha et al. A deep journey into image enhancement: A survey of current and emerging trends
CN106204461A (zh) 结合非局部先验的复合正则化图像去噪方法
CN103606138A (zh) 一种基于纹理区域划分的医学图像的融合方法
CN113807356A (zh) 一种端到端的低能见度图像语义分割方法
Liao et al. Multi-scale mutual feature convolutional neural network for depth image denoise and enhancement
CN106296749B (zh) 基于l1范数约束的rgb-d图像本征分解方法
Cheng et al. Face super-resolution through dual-identity constraint
CN113256657B (zh) 一种高效医学图像分割方法及系统、终端、介质
CN112686817B (zh) 一种基于不确定性估计的图像补全方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161221