CN105139371B - 一种基于pcnn与lp变换的多聚焦图像融合方法 - Google Patents
一种基于pcnn与lp变换的多聚焦图像融合方法 Download PDFInfo
- Publication number
- CN105139371B CN105139371B CN201510562546.0A CN201510562546A CN105139371B CN 105139371 B CN105139371 B CN 105139371B CN 201510562546 A CN201510562546 A CN 201510562546A CN 105139371 B CN105139371 B CN 105139371B
- Authority
- CN
- China
- Prior art keywords
- image
- lsf
- fusion
- pcnn
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了基于脉冲耦合神经网络(PCNN)与拉普拉斯金字塔变换(LP)，提出了一种有效的多聚焦图像融合算法。首先，利用LP对图像进行塔形结构的多尺度分解，并利用PCNN对每一尺度的分解图像进行处理，以获取描述特征聚类的神经元点火频率图。然后，基于点火频率图的局部空间频率(LSF)，实现了图像在每一LP分解尺度上的融合。最后通过LP分解的重构算法实现了对多聚焦图像的融合。实验结果表明，本发明方法得到的多聚焦图像融合结果在主观视觉效果和客观评价指标上均优于多种传统融合算法，体现了良好的性能。
Description
技术领域
本发明属于数字图像处理技术领域，具体涉及一种基于PCNN与LP变换的多聚焦图像融合方法。
背景技术
多聚焦图像融合是指将两幅及以上的背景相同但聚焦部位不同的源图像，按特定算法融合为一幅新图像。其广泛应用于计算机视觉、目标识别、机器人以及军事等领域。
传统的像素级多分辨图像融合方法，包括基于拉普拉斯金字塔、比率低通金字塔、梯度金字塔和小波变换等融合方法，它们在对源图像进行多尺度分解和系数选取时，由于大都孤立地处理各像素，从而割裂了像素间的联系。从图像计算的角度上分析图像中的高频分量没有得到优化，即不论用什么方法对图像进行融合高频分量都有所损失。而由于人眼视觉系统主要是对图像的高频分量比较敏感，并且高频部分也主要体现了图像的细节信息。图像的区域空间频率可以很好的反映图像的细节信息量以及高频分量。如果在图像融合过程当中可以加入局部空间频率算法，那么对于细节信息的保留必定是一大提高。
PCNN是上个世纪九十年代发展起来的一种新型神经网络。1990年Eckhorn通过对猫大脑视觉皮层中的同步脉冲发放现象研究，提出了展示这种同步脉冲发放现象的连接模型。1993年Johnson以Eckhorn的连接模型为基础，提出了PCNN。PCNN与其它的神经网络相比有其先天的优势——它是以生物大脑视觉皮层中同步脉冲发放现象为背景提出的。所以，某种意义上说，这种方法与人大脑数据处理方式更为贴近，传统的图像融合只考虑了像素点的空间特性，而利用脉冲耦合神经网络进行图像融合，由于网络自身不但与像素点的空间位置有关，而且具有融合的时间层次性。
本发明基于PCNN模型与拉普拉斯金字塔的图像多尺度分解算法，并结合图像区域空间频率提出了一种有效的融合图像方法。采用拉普拉斯金字塔变换算法对图像进行塔形结构的多尺度分解，并利用PCNN对每一分解尺度的数据进行特征聚类以生成对应的点火频率矩阵。由于区域空间频率可以反应的是图像的局部，因此本发明采用基于局部空间频率的图像融合方法有较强的抗噪能力，可以很好的反映图像中的细节信息。
发明内容
本发明要解决的技术问题是提供一种基于PCNN与LP变换的多聚焦图像融合方法，使融合的图像有效地消除多聚焦对图像局部清晰度的影响，最终体现较好的融合质量。
为了解决上述技术问题，本发明提供如下技术方案：
一种基于PCNN与LP变换的多聚焦图像融合方法，具体步骤为：
步骤一、对已经配准好的源图像A和B分别进行N级的LP分解，以获取各自的塔形分解图像RA1，RA2，…RAN和RB1，RB2，…RBN；
步骤二、让RA1，RA2，…RAN和RB1，RB2，…RBN通过PCNN模型分别计算它们的神经元点火频率矩阵FA1，FA2，…FAN和FB1，FB2，…FBN；
步骤三、分别对FA1，FA2，…FAN和FB1，FB2，…FBN，计算它们的图像区域空间频率LSFA1，LSFA2，…LSFAN和LSFB1，LSFB2，…LSFBN；
F(i，j)表示在点(i，j)的灰度值，RF表示行的频率，CF表示列的频率，LSF表示整体空间频率，M、N表示区域窗口大小；
步骤四、将得到的空间频率按照以下的融合规则，计算源图像在每一分解尺度上的融合结果R1，R2，…RN；
R(i，j)表示灰度值；
步骤五、将每一级的融合结果运用LP重构算法得到最终的融合图像。
与现有的技术相比，本发明的有益效果为：
LP是对图像特征进行多尺度分析的有效工具，它的塔形分解数据体现了图像的带通塔形滤波过程，其大小在各层分解尺度下保持一致。同时，有着哺乳动物视皮层视感知机制的PCNN模型对图像具有区域特征聚类的特性。因此，本发明利用LP变换的优点，对图像进行有效的多尺度、多分辨率分解；对图像的带通塔形分解数据采用PCNN进行特征聚类分析，得到体现源图像区域特征分布特性的神经元点火频率图；利用区域空间频率作为衡量点火频率图在局部区域上的清晰度和信息量大小的指标，实现源图像的LP分解数据在各分解尺度上的融合，进而利用LP重构算法实现多聚焦图像的融合。
附图说明
图1为融合算法的流程；
图2为clock图在各种算法下的融合结果；
图3为其它的多聚焦图在本发明算法下的融合结果。
具体实施方式
下面结合附图和实施例对本发明作进一步详细的说明。
本发明的基本思想是：将已经配准好的两幅待融合的多聚焦图像进行LP变换，获得各自的塔形结构分解数据，然后将各图像塔形分解数据的每一级送入PCNN进行迭代运算，以获得其对应的点火频率矩阵。再计算每一分解层次对应点火频率图的区域空间频率，据此按照一定的融合规则实现源图像的塔形分解数据在每一塔形层次上的融合，最后将融合的塔形分解数据运用LP重构算法得到最终的多聚焦融合图像。
请参阅图1-3，具体来讲本发明依次包括以下步骤：
步骤一：将图像进行拉普拉斯金字塔变换；
由于图像的拉普拉斯金字塔的构成是在高斯金字塔的基础上演变而来的，因此首先对图像进行高斯金字塔分解；
高斯金字塔变换的构建过程为：假设高斯金字塔的第I层为GI，G0为金字塔的底层(与原图像相同)，GN为金字塔的顶层，可见高斯金字塔的当前层图像是对其前一层图像先进行高斯低通滤波，然后作隔行隔列的降2采样而生成的。当前层图像的大小依次为前一层图像大小的1/4；
拉普拉斯金子塔的构建，将Gl内插方法，得到放大图像Gl’，使Gl’的尺寸与Gl-1的尺寸相同，表示为；
式中，N为高斯金子塔的层数，LPl是拉普拉斯金字塔分解的第l层图像；
步骤二：将待融合的图像的塔形数据结构的每一级进行PCNN迭代运算，获得点火矩阵的次数，其中PCNN模型如下；
Fij(n)＝Sij (4)
Lij(n)＝VLΣklWkjYijkl(n-1) (5)
Uij(n)＝Fij(n)[1+βLij(n)] (6)
对于神经元Nij，式(7)描述的F通道输入和式(8)描述的L通道构成了它的接受域，其中神经元的F通道接受外部激励输入Sij，即图像的像素值，而L通道接受邻域神经元Nkl的脉冲激励输入Yijkl，Wkj为邻域链接权，而VL为通道幅值。然后在调制域，神经元的F通道输出和L通道输出经过非线性的相乘调制形成了神经元的内部状态值U，β为调制域中L通道输出的链接强度。最后，当内部状态值U大于神经元的阈值时θij时，神经元发出脉冲，即Yij＝1。在迭代计算过程中，阈值θij做非线性的指数衰减变化，衰减指数为αθ，但在发出脉冲后，θij在进行指数衰减的同时还叠加了一个幅值系数
步骤三：分别对FA1，FA2，…FAN和FB1，FB2，…，FBN，计算它们的图像局部空间频率LSFA1，LSFA2，…LSFAN和LSFB1，LSFB2，…LSFBN；
F(i，j)表示在点(i，j)的灰度值，RF表示行的频率，CF表示列的频率，LSF表示整体空间频率，M、N表示区域窗口大小；
步骤四：将得到的空间频率按照以下的融合规则(取大原则)计算源图像A和B在每一分解尺度上的融合结果R1，R2，…RN；
R(i，j)表示灰度值；
步骤五：将融合的每一级运用LP重构算法融合成最终的图像。
为了验证基于LP变换及PCNN的多聚焦图像融合的方法的性能，选取了多种多聚焦图像作为融合图像如图2，图3所示，其中图2中(a)、(b)、(c)、(d)、(e)和(f)分别代表主成分分析法(PCA)、小波(WT)、金字塔(FSDP)、高斯金字塔(GP)、拉普拉斯金字塔(LP)和本发明算法融合的结果。为了更好的对融合结果进行分析和对比，采用了互信息、熵、平均梯度、标准差、空间频率、相对标准误差等客观评价标准进行了计算，得到的结果如表1所示。本发明方法的融合结果在各项客观评价指标上均增加了，这也从客观角度有效地说明了本发明方法的融合性能要优于其它各种方法。从图中可知，本发明提出的算法在清晰度和亮度方面都优于其他算法，且与源图最为接近。
表1基于LP变换及PCNN的多聚焦图像融合的方法的融合结果客观评价
虽然以上描述了本发明的具体实施方式，但是本领域熟练技术人员应当理解，这些仅是举例说明，可以对本实施方式作出多种变更或修改，而不背离本发明的原理和实质，本发明的保护范围仅由所附权利要求书限定。
Claims (1)
1.一种基于PCNN与LP变换的多聚焦图像融合的方法，其特征在于，具体步骤为:
步骤一、对已经配准好的源图像A和B分别进行N级的LP分解，以获取各自的塔形分解图像RA1，RA2，…RAN和RB1，RB2，…RBN；
步骤二、让RA1，RA2，…RAN和RB1，RB2，…RBN通过PCNN模型分别计算它们的神经元点火频率矩阵FA1，FA2，…FAN和FB1，FB2，…FBN；
步骤三、分别计算FA1，FA2，…FAN和FB1，FB2，…FBN的图像区域空间频率LSFA1，LSFA2，…LSFAN和LSFB1，LSFB2，…LSFBN；
F(i，j)表示在点(i，j)的灰度值，RF表示行的频率，CF表示列的频率，LSF表示图像空间频率，M、N表示区域窗口大小；
步骤四、将得到的空间频率按照以下的融合规则，计算源图像在每一分解尺度上的融合结果R1，R2，…RN；
R(i，j)表示灰度值；
步骤五、基于每一级的融合结果，运用LP重构算法得到最终的多聚焦融合图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510562546.0A CN105139371B (zh) | 2015-09-07 | 2015-09-07 | 一种基于pcnn与lp变换的多聚焦图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510562546.0A CN105139371B (zh) | 2015-09-07 | 2015-09-07 | 一种基于pcnn与lp变换的多聚焦图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105139371A CN105139371A (zh) | 2015-12-09 |
| CN105139371B true CN105139371B (zh) | 2019-03-15 |
Family
ID=54724704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510562546.0A Expired - Fee Related CN105139371B (zh) | 2015-09-07 | 2015-09-07 | 一种基于pcnn与lp变换的多聚焦图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105139371B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105678723B (zh) * | 2015-12-29 | 2018-06-15 | 内蒙古科技大学 | 基于稀疏分解和差分图像的多聚焦图像融合方法 |
| CN106952220A (zh) * | 2017-03-14 | 2017-07-14 | 长沙全度影像科技有限公司 | 一种基于深度学习的全景图像融合方法 |
| CN106934765A (zh) * | 2017-03-14 | 2017-07-07 | 长沙全度影像科技有限公司 | 基于深度卷积神经网络与深度信息的全景图像融合方法 |
| CN107341502B (zh) * | 2017-05-31 | 2020-09-15 | 三峡大学 | 一种基于pcnn与线性叠加技术的图像融合方法及装置 |
| KR102186448B1 (ko) * | 2019-01-17 | 2020-12-03 | (주) 텔로팜 | 디지털 현미경 및 그것의 동작 방법 |
| CN110163830B (zh) * | 2019-04-19 | 2021-02-19 | 三峡大学 | 基于Riesz-Lap变换及PCNN的图像融合方法 |
| CN110415198B (zh) * | 2019-07-16 | 2023-07-04 | 南京信息工程大学 | 一种基于拉普拉斯金字塔与参数自适应脉冲耦合神经网络的医学图像融合方法 |
| CN111161203A (zh) * | 2019-12-30 | 2020-05-15 | 国网北京市电力公司 | 一种基于忆阻脉冲耦合神经网络的多聚焦图像融合方法 |
| CN111340743B (zh) * | 2020-02-18 | 2023-06-06 | 云南大学 | 一种半监督多光谱和全色遥感图像融合方法和系统 |
| CN113421200A (zh) * | 2021-06-23 | 2021-09-21 | 中国矿业大学(北京) | 基于多尺度变换与脉冲耦合神经网络的图像融合方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976436A (zh) * | 2010-10-14 | 2011-02-16 | 西北工业大学 | 一种基于差分图修正的像素级多聚焦图像融合方法 |
| CN101980290A (zh) * | 2010-10-29 | 2011-02-23 | 西安电子科技大学 | 抗噪声环境多聚焦图像融合方法 |
| CN102521818A (zh) * | 2011-12-05 | 2012-06-27 | 西北工业大学 | 一种基于nsct的sar图像和可见光图像的融合方法 |
| CN104616274A (zh) * | 2015-02-09 | 2015-05-13 | 内蒙古科技大学 | 一种基于显著性区域提取的多聚焦图像融合算法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014183259A1 (zh) * | 2013-05-14 | 2014-11-20 | 中国科学院自动化研究所 | 一种全色−多光谱遥感图像融合方法 |
-
2015
- 2015-09-07 CN CN201510562546.0A patent/CN105139371B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976436A (zh) * | 2010-10-14 | 2011-02-16 | 西北工业大学 | 一种基于差分图修正的像素级多聚焦图像融合方法 |
| CN101980290A (zh) * | 2010-10-29 | 2011-02-23 | 西安电子科技大学 | 抗噪声环境多聚焦图像融合方法 |
| CN102521818A (zh) * | 2011-12-05 | 2012-06-27 | 西北工业大学 | 一种基于nsct的sar图像和可见光图像的融合方法 |
| CN104616274A (zh) * | 2015-02-09 | 2015-05-13 | 内蒙古科技大学 | 一种基于显著性区域提取的多聚焦图像融合算法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于小波变换和简化型PCNN的多聚焦图像融合研究";许乐;《中国优秀硕士学位论文全文数据库 信息科技辑》;20141215;正文第42页第23行-第43页第4行 |
| 基于提升小波变换的医学图像融合方法;杨艳春 等;《计算机科学》;20111231;第38卷(第12期);第267页右栏第8-29行 |
| 基于改进LP变换及自适应PCNN的多聚焦图像融合方法;严春满 等;《控制与决策》;20120531;第27卷(第5期);第705页右栏第37-44行 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105139371A (zh) | 2015-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105139371B (zh) | 一种基于pcnn与lp变换的多聚焦图像融合方法 | |
| CN107194904B (zh) | 基于增补机制和pcnn的nsct域图像融合方法 | |
| Guorong et al. | Multi‐focus image fusion based on non‐subsampled shearlet transform | |
| CN108830818B (zh) | 一种快速多聚焦图像融合方法 | |
| CN108399611B (zh) | 基于梯度正则化的多聚焦图像融合方法 | |
| CN105225213B (zh) | 一种基于s‑pcnn与拉普拉斯金字塔的彩色图像融合方法 | |
| CN109801250A (zh) | 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法 | |
| CN113379661B (zh) | 红外与可见光图像融合的双分支卷积神经网络装置 | |
| CN111161360B (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
| CN109345476A (zh) | 基于深度残差网络的高光谱图像超分辨率重建方法及装置 | |
| CN113837974B (zh) | 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法 | |
| CN109308691A (zh) | 基于图像增强与nsct的红外和可见光图像融合方法 | |
| CN106327459A (zh) | 基于udct和pcnn的可见光与红外图像融合算法 | |
| Wang et al. | Multi-focus image fusion based on the improved PCNN and guided filter | |
| CN102740114A (zh) | 一种视频主观质量的无参评估方法 | |
| Deng et al. | PCNN mechanism and its parameter settings | |
| Liu et al. | The morphological transformation and the quenching of galaxies | |
| CN104077762A (zh) | 一种基于nsst与聚焦区域检测的多聚焦图像融合方法 | |
| CN105894483A (zh) | 一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法 | |
| CN110516728A (zh) | 基于去噪卷积神经网络的极化sar地物分类方法 | |
| Rahman et al. | A smart system for low-light image enhancement with color constancy and detail manipulation in complex light environments | |
| Moin et al. | Weighted-PCA based multimodal medical image fusion in contourlet domain | |
| Liu et al. | An attention-guided and wavelet-constrained generative adversarial network for infrared and visible image fusion | |
| CN108648180B (zh) | 一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法 | |
| CN108550152B (zh) | 基于深度特征感知推理的全参考图像质量客观评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190315 Termination date: 20190907 |