CN107341502B - 一种基于pcnn与线性叠加技术的图像融合方法及装置 - Google Patents

一种基于pcnn与线性叠加技术的图像融合方法及装置 Download PDF

Info

Publication number
CN107341502B
CN107341502B CN201710399142.3A CN201710399142A CN107341502B CN 107341502 B CN107341502 B CN 107341502B CN 201710399142 A CN201710399142 A CN 201710399142A CN 107341502 B CN107341502 B CN 107341502B
Authority
CN
China
Prior art keywords
image
pulse
pcnn
saliency
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710399142.3A
Other languages
English (en)
Other versions
CN107341502A (zh
Inventor
徐光柱
宁力
雷帮军
夏平
付云侠
邹耀斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Jiugan Technology Co ltd
Original Assignee
China Three Gorges University CTGU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Three Gorges University CTGU filed Critical China Three Gorges University CTGU
Priority to CN201710399142.3A priority Critical patent/CN107341502B/zh
Publication of CN107341502A publication Critical patent/CN107341502A/zh
Application granted granted Critical
Publication of CN107341502B publication Critical patent/CN107341502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Processing (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)

Abstract

本发明提供一种基于PCNN与线性叠加技术的图像融合方法及装置，包括：S1，使用PCNN获取第一图像和第二图像对应的第一脉冲图像和第二脉冲图像；S2，对所述第一脉冲图像和所述第二脉冲图像分别进行叠加，获取所述第一图像和所述第二图像对应的第一显著性图像和第二显著性图像；S3，根据所述第一显著性图像和所述第二性显著性图像，使用判决算法对所述第一图像和所述第二图像进行融合。本发明通过使用PCNN充分提取图像中的有效信息，然后对于每幅待融合图像，将其脉冲图像中的有效信息进行叠加，并结合简单的判决算法对图像进行融合，本发明方法简单，处理速度快，能产生较好的融合效果。

Description

一种基于PCNN与线性叠加技术的图像融合方法及装置
技术领域
本发明涉及图像处理领域，更具体地，涉及一种基于PCNN与线性叠加技术的图像融合方法及装置。
背景技术
图像融合是指综合两个或多个多源图像的信息，其目的在于通过对多幅图像的信息进行提取，集中或整合优势互补的数据以提高图像的信息可用度，从而获取对同一目标更为准确，更为全面和更为可靠的图像描述。融合后的图像更符合人或机器的视觉特性，以便于对图像进一步的分析、理解、检测和识别。
图像融合技术可分为三个层次：像素级、特征级和决策级。其中像素级图像融合技术直接在原始数据层上进行融合。它虽然能保持尽可能多的原始数据，但在进行图像融合之前，必须对源图像进行精准的配准，因此具有局限性。另外，像素级图像融合技术的数据量大，处理速度慢，实时性差。特征级图像融合技术属于中间层，先对原始图像进行特征提取，然后对提取的特征进行综合分析和处理，实现了客观的信息压缩，有利于实时处理。决策级融合技术是一种高层次的融合，在融合过程中，每个传感器先分别建立对同一目标的初步判决和结论，然后对来自个传感器的决策进行相关处理，最后进行决策级的融合处理。决策级融合技术具有良好的实时性和容错性，但预处理代价高。
现有技术中，已有许多图像融合技术的研究。其中，平均融合算法将待融合图像中相关像素点的灰度值用所述相关像素点的灰度值的平均值替换。该方法生成的融合图像不仅包含图像中清晰的信息，同时也包含图像中模糊的信息，从而使得有效和无效的信息结合在一起，不能得到较好的融合效果。低通比率金字塔图像融合算法是一种与人们的视觉系统模型相适应的方法，能高效地保留图像中的细节特征。它虽然符合人的视觉特征，但由于噪声的局部对比度一般较大，对噪声敏感，且不稳定。基于HIS变换的图像融合方法将待融合的一幅图像从RGB空间变换到HIS空间，然后用待融合的另一幅图像的强度替换前一幅图像的I分量，最好用将替换的HIS图像反变换为RGB图像，即融合后的图像。由于一幅待融合图像在HIS空间的I分量和另一幅待融合图像的灰度值是两种不同光谱强度特性的频道数据，这种替换使得融合后的图像产生光谱退化现象，光谱信息损失严重。
综上所述，现有技术中的图像融合技术数据量大、处理速度慢、对噪声敏感和产生的融合效果差。因此，提出一种新的图像融合算法是解决上述问题的关键。
发明内容
为克服上述现有的图像融合技术数据量大、处理速度慢、融合效果差的问题或者至少部分地解决上述问题，本发明提供了一种基于PCNN与线性叠加技术的图像融合方法及装置。
根据本发明的第一方面，提供一种基于PCNN与线性叠加技术的图像融合方法，包括：
S1，使用PCNN获取第一图像和第二图像对应的第一脉冲图像和第二脉冲图像；
S2，对所述第一脉冲图像和所述第二脉冲图像分别进行叠加，获取所述第一图像和所述第二图像对应的第一显著性图像和第二显著性图像；
S3，根据所述第一显著性图像和所述第二性显著性图像，使用判决算法对所述第一图像和所述第二图像进行融合。
具体地，在S1之前还包括：
对所述第一图像和所述第二图像进行高斯平滑，用高斯平滑之前的所述第一图像和所述第二图像的强度减去对应的高斯平滑之后的所述第一图像和所述第二图像的强度，获取预处理之后的所述第一图像和所述第二图像。
具体地，S2具体包括：
S21，将每幅所述第一脉冲图像乘以第一预设系数后相加，获取叠加后的所述第一脉冲图像；
S22，将每幅所述第二脉冲图像乘以第二预设系数后相加，获取叠加后的所述第二脉冲图像；
S23，对叠加后的所述第一脉冲图像和叠加后的所述第二脉冲图像进行平滑，获取对应的所述第一显著性图像和所述第二显著性图像。
具体地，所述第一图像和所述第二图像的融合通过下式进行：
Mij 1＝Xij 1/(Xij 1+Xij 2)，
Mij 2＝Xij 2/(Xij 1+Xij 2)，
Mij d＝Mij 1-Mij 2，
Figure BDA0001309292940000031
其中，Iij F表示融合后的图像中坐标为(i，j)的像素的强度，Iij 1表示所述第一图像中坐标为(i，j)的像素的强度，Iij 2表示所述第二图像中坐标为(i，j)的像素的强度，Xij 1表示所述第一显著性图像中坐标为(i，j)的像素的强度，Xij 2表示所述第二显著性图像中坐标为(i，j)的像素的强度，Mij 1表示对所述第一显著性图像进行归一化后坐标为(i，j)的像素的强度，Mij 2表示对所述第二显著性图像进行归一化后坐标为(i，j)的像素的强度，Mij d表示归一化后的第一显著性图像中与归一化后的第二显著性图像中坐标为(i，j)的像素之间的强度之差。
具体地，所述第一预设系数和所述第二预设系数根据迭代次数进行设置。
具体地，S23具体包括：
对叠加后的所述第一脉冲图像和叠加后的所述第二脉冲图像进行高斯平滑，所述高斯平滑g的公式为：
Figure BDA0001309292940000041
其中，i为图像中像素的横坐标，j为图像中像素的纵坐标，σ为高斯分布的标准差。
根据本发明的第二方面，提供一种基于PCNN与线性叠加技术的图像融合装置，包括：
第一获取单元，用于使用PCNN获取第一图像和第二图像对应的第一脉冲图像和第二脉冲图像；
第二获取单元，用于对所述第一脉冲图像和所述第二脉冲图像分别进行叠加，获取所述第一图像和所述第二图像对应的第一显著性图像和第二显著性图像；
融合单元，用于根据所述第一显著性图像和所述第二性显著性图像，使用判决算法对所述第一图像和所述第二图像进行融合。
具体地，所述第二获取单元包括：
第一叠加子单元，用于将每幅所述第一脉冲图像的强度乘以第一预设系数后相加，获取叠加后的所述第一脉冲图像；
第二叠加子单元，用于将每幅所述第二脉冲图像的强度乘以第二预设系数后相加，获取叠加后的所述第二脉冲图像；
第二获取子单元，用于对叠加后的所述第一脉冲图像和叠加后的所述第二脉冲图像进行平滑，获取对应的所述第一显著性图像和所述第二显著性图像。
根据本发明的第三方面，提供一种计算机程序产品，包括程序代码，所述程序代码用于执行上述所述的信息搜索中关键词淘汰方法。
根据本发明的第四方面，提供一种非暂态计算机可读存储介质，用于存储如前所述的计算机程序。
本发明通过使用PCNN充分提取图像中的有效信息，然后对于每幅待融合图像，将其脉冲图像中的有效信息进行叠加，并结合简单的判决算法对图像进行融合，本发明方法简单，处理速度快，能产生较好的融合效果。
附图说明
图1为现有技术中标准PCNN模型中的神经元结构图；
图2为本发明实施例提供的基于PCNN与线性叠加技术的图像融合方法流程图；
图3为本发明中对待融合的图像进行预处理的效果图；
图4为本发明中待融合的图像的脉冲图像图；
图5为本发明中显著性图像效果图；
图6为本发明中图像融合效果图；
图7为本发明又一实施例提供的基于PCNN与线性叠加技术的图像融合方法流程图；
图8为本发明与其他算法的对比效果图；
图9为本发明实施例提供的基于PCNN与线性叠加技术的图像融合装置结构图；
图10为本发明又一实施例提供的基于PCNN与线性叠加技术的图像融合装置结构图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
在介绍本发明之前，先介绍PCNN模型。PCNN(Pulse Coupled Neural Networks，脉冲耦合神经网络)是一种第三代神经网络，是依据猫的大脑视觉皮层上的同步脉冲发放现象提出的。图1为标准PCNN模型中的神经元结构图。如图1所示，每个所述神经元通过馈入部分和连接部分接收来自相邻神经元的输入，所述神经元通过突触上的权重M和W与所述相邻神经元进行连接。所述馈入部分和所述连接部分的值由以下公式决定：
Figure BDA0001309292940000061
Figure BDA0001309292940000062
其中，Fij为第ij各神经元的馈入部分，Lij是对应的连接部分。Ykl是第n-1次迭代中所述相邻神经元的输出。Fij和Lij分别保留了通过指数衰减因子
Figure BDA0001309292940000063
和
Figure BDA0001309292940000064
对之前状态的更改，因此衰减时间常数αF和αL为负数。只有馈入部分接收输入激励S。在数字图像处理中。常数VF和VL是正则化常数。所述Fij和所述Lij以二阶的方式相结合形成内部状态Uij，即：
Uij[n]＝Fij[n](1+βLij[n])；
其中，β为所述Fij和所述Lij的连接强度。所述内部状态Uij与动态阈值Tij进行比较，生成第ij各神经元的输出Yij，即：
Figure BDA0001309292940000071
Figure BDA0001309292940000072
其中，阈值T是动态的。当神经元激发时，即Uij[n]＞Tij[n-1]时，阈值通过增加一个较大的常量VT大幅增加。这样可以阻止该神经元在一段时间内被激发，直到所述阈值通过衰减时间常数αT再次衰减到小于所述内部状态。通过迭代使用上述公式可以得到一系列二进制图像。
图2为本发明实施例提供的基于PCNN与线性叠加技术的图像融合方法流程图，如图2所示，该方法包括：S1，使用PCNN获取第一图像和第二图像对应的第一脉冲图像和第二脉冲图像；S2，对所述第一脉冲图像和所述第二脉冲图像分别进行叠加，获取所述第一图像和所述第二图像对应的第一显著性图像和第二显著性图像；S3，根据所述第一显著性图像和所述第二性显著性图像，使用判决算法对所述第一图像和所述第二图像进行融合。
具体地，在S1之前还包括对所述第一图像和所述第二图像进行预处理。所述第一图像和所述第二图像为待融合的多聚焦图像。光学传感器获取的同一场景下聚焦目标不同的图像称为多聚焦图像。所述预处理包括：对所述第一图像进行高斯平滑，将高斯平滑之前的所述第一图像中像素的强度与高斯平滑之后的第一图像中像素的强度之间的差值作为预处理之后的所述第一图像中像素的强度；对所述第二图像进行高斯平滑，将高斯平滑之前的所述第二图像中像素的强度与高斯平滑之后的第二图像中像素的强度之间的差值作为预处理之后的所述第二图像中像素的强度。通过所述预处理，将所述第一图像和所述第二图像中清晰的部分和不清晰的部分进行初步分离。如图3所示，前两幅图像为待融合的图像，后两幅图像为对应的预处理之后的图像。图3中使用的高斯算法中卷积核的大小为5*5，标准差为1。
S1中，所述PCNN可以为标准的PCNN，也可以为基于所述标准PCNN的其他变形网络，如ICM(Intersecting Cortical Model，交叉皮质模型)。所述PCNN在每一次迭代中获取一幅脉冲图像，所述脉冲图像为二值图像。将所述第一图像作为所述PCNN的输入，所述PCNN在每次迭代中输出一幅所述第一脉冲图像。将所述第二图像作为所述PCNN的输入，所述PCNN在每次迭代中输出一幅所述第二脉冲图像。迭代次数越多，融合效果越好，所以将所述PCNN的迭代次数设置为较大的值。如图4所示，图4中前9幅图像为所述第一图像的第一脉冲图像，后9幅图像为所述第二图像的第二脉冲图像。
S2中，根据所述第一脉冲图像中像素的强度，对所有的所述第一脉冲图像进行叠加。根据所述第二脉冲图像中像素的强度，对所有的所述第二脉冲图像进行叠加。根据叠加后的所述第一脉冲图像获取所述第一图像的第一显著性图像，根据叠加后的所述第二脉冲图像获取所述第二图像的第二显著性图像。所述第一显著性图像包含所述第一图像中突出的部分。所述第二显著性图像包含所述第二图像中突出的部分。如图5所示，图5中的第一幅图像为所述第一图像的第一显著性图像，图5中的第二幅图像为所述第二图像的第二显著性图像。
S3中，根据所述第一显著性图像和所述第二显著性图像，使用判决算法对所述第一图像和所述第二图像进行融合，得到融合图像。所述第一图像和所述第二图像的融合通过下式进行：
Mij 1＝Xij 1/(Xij 1+Xij 2)，
Mij 2＝Xij 2/(Xij 1+Xij 2)，
Mij d＝Mij 1-Mij 2，
Figure BDA0001309292940000091
其中，Iij F表示融合后的图像中坐标为(i，j)的像素的强度，Iij 1表示所述第一图像中坐标为(i，j)的像素的强度，Iij 2表示所述第二图像中坐标为(i，j)的像素的强度，Xij 1表示所述第一显著性图像中坐标为(i，j)的像素的强度，Xij 2表示所述第二显著性图像中坐标为(i，j)的像素的强度，Mij 1表示对所述第一显著性图像进行归一化后坐标为(i，j)的像素的强度，Mij 2表示对所述第二显著性图像进行归一化后坐标为(i，j)的像素的强度，Mij d表示归一化后的第一显著性图像中与归一化后的第二显著性图像中坐标为(i，j)的像素之间的强度之差。如图6所示，图6为所述第一图像和所述第二图像的融合图像。
本实施例通过使用PCNN充分提取图像中的有效信息，然后对于每幅待融合图像，将其脉冲图像中的有效信息进行叠加，并结合简单的判决算法对图像进行融合，本实施例方法简单，处理速度快，能产生较好的融合效果。
图7为本发明又一实施例提供的基于PCNN与线性叠加技术的图像融合方法流程图，如图7所示，在上述实施例的基础上，本实施例中S2具体包括：S21，将每幅所述第一脉冲图像乘以第一预设系数后相加，获取叠加后的所述第一脉冲图像；S22，将每幅所述第二脉冲图像乘以第二预设系数后相加，获取叠加后的所述第二脉冲图像；S23，对叠加后的所述第一脉冲图像和叠加后的所述第二脉冲图像进行平滑，获取对应的所述第一显著性图像和所述第二显著性图像。
具体地，S21中，将每幅所述第一脉冲图像中同一位置的强度乘以第一预设系数后相加的结果作为叠加后的所述第一脉冲图像中该位置的强度。S22中，将每幅所述第二脉冲图像中同一位置的强度乘以第二预设系数后相加的结果作为叠加后的所述第二脉冲图像中该位置的强度。所述第一预设系数和所述第二预设系数可以根据对应的第一脉冲图像和第二脉冲图像的迭代次数获取。例如，若迭代次数为i，则预设系数为任一常数的i次方，所述常数可以根据实际情况进行设置。S23中，为了防止直接叠加产生分块现象，对叠加后的所述第一脉冲图像和叠加后的所述第二脉冲图像进行平滑，可以对叠加后的所述第一脉冲图像和叠加后的所述第二脉冲图像图像进行多次高斯平滑，所述高斯平滑g的公式为：
Figure BDA0001309292940000101
其中，i为图像中像素的横坐标，j为图像中像素的纵坐标，σ为高斯分布的标准差。本实施例不限于平滑的方法和次数。高斯平滑中对高斯算法中的卷积核进行归一化，这样能避免图像变亮或变暗。将叠加后的所述第一脉冲图像平滑后的结果作为所述第一图像的第一显著性图像，将叠加后的所述第二脉冲图像平滑后的结果作为所述第二图像的第二显著性图像。如使用的高斯算法的卷积核大小为10*10，标准差为10。
本实施例对于每幅待融合的图像，将其脉冲图像乘以预设系数后相加。为了防止直接叠加产生分块现象，将相加后的脉冲图像进行平滑，从而获取待融合图像突出的部分，本实施例方法简单，处理速度快，为获取较好的融合效果奠定基础。
为了进一步说明本发明的图像融合效果，现将本发明与现有技术中的平均融合算法、低通比率金字塔算法和连续曲波图像融合算法进行比较。使用大量图像对本发明进行实验，实验结果表明本发明均能获得较好的融合效果。图8为本发明与现有技术中的三种算法的对比效果图。其中，图8中的第1幅图像和第2幅图像为待融合的图像，第3-6幅图像对应为平均融合算法、低通比率金字塔算法、连续曲波图像融合算法和本发明的图像融合效果图。从主观上可以看出，本发明能将待融合图像中的有效信息体现在融合图像上，而且图像的色调和空间位置不发生变化。而低通比率金字塔算法和连续曲波图像融合算虽然也能保留待融合图像的信息，但图像的亮度发生细微变化。平均融合算法的融合结果较为平滑，在图像细节和图像亮度方法相比于待融合图像有较大改变。如表1所示，可以看出本发明的互信息远远高于其他算法的互信息，在平均梯度、信息熵方面也有所提高，偏差较底，从而可以看出本发明比其他方法的融合效果好。
表1客观平价对比表
互信息 平均梯度 信息熵 偏差
平均融合算法 0.2258 0.0901 7.0608 22.4224
低通比率金字塔算法 0.3458 0.1429 7.3681 23.9777
连续曲波图像融合算法 0.4443 0.1470 7.3830 24.5664
本发明 0.8794 0.1492 7.3941 22.0350
图9为本发明实施例提供的基于PCNN与线性叠加技术的图像融合装置结构图，如图9所示，该装置包括第一获取单元1、所述第二获取单元2和所述融合单元3，其中：
所述第一获取单元1用于使用PCNN获取第一图像和第二图像对应的第一脉冲图像和第二脉冲图像；所述第二获取单元2用于对所述第一脉冲图像和所述第二脉冲图像分别进行叠加，获取所述第一图像和所述第二图像对应的第一显著性图像和第二显著性图像；所述融合单元3用于根据所述第一显著性图像和所述第二性显著性图像，使用判决算法对所述第一图像和所述第二图像进行融合。
具体地，在获取所述第一脉冲图像和所述第二脉冲图像之前，还包括对所述第一图像和所述第二图像进行预处理。对所述第一图像和第二图像进行高斯平滑，将高斯平滑前后的第一图像之间的差值作为预处理之后的第一图像，将高斯平滑前后的第二图像之间的差值作为预处理之后的第二图像。所述PCNN可以为标准的PCNN，也可以为基于所述标准PCNN的其他变形网络，如交叉视觉皮质模型。所述第一获取单元1使用所述PCNN在每一次迭代中获取一幅第一脉冲图像或一幅第二脉冲图像。所述第二获取单元2根据所述第一脉冲图像中像素的强度，对所有的所述第一脉冲图像进行叠加。根据所述第二脉冲图像中像素的强度，对所有的所述第二脉冲图像进行叠加。根据叠加后的所述第一脉冲图像获取所述第一图像的第一显著性图像，根据叠加后的所述第二脉冲图像获取所述第二图像的第二显著性图像。所述融合单元3根据所述第一显著性图像和所述第二显著性图像，使用判决算法对所述第一图像和所述第二图像进行融合，得到融合图像。
本实施例通过使用PCNN充分提取图像中的有效信息，然后对于每幅待融合图像，将其脉冲图像中的有效信息进行叠加，并结合简单的判决算法对图像进行融合，本实施例方法简单，处理速度快，能产生较好的融合效果。
图10为本发明又一实施例提供的基于PCNN与线性叠加技术的图像融合装置结构图，如图10所示，在上述实施例的基础上所述第二获取单元2包括第一叠加子单元21、第二叠加子单元22和第二获取子单元23，其中：
所述第一叠加子单元21用于将每幅所述第一脉冲图像的强度乘以第一预设系数后相加，获取叠加后的所述第一脉冲图像；所述第二叠加子单元22用于将每幅所述第二脉冲图像的强度乘以第二预设系数后相加，获取叠加后的所述第二脉冲图像；所述第二获取子单元23用于对叠加后的所述第一脉冲图像和叠加后的所述第二脉冲图像进行平滑，获取对应的所述第一显著性图像和所述第二显著性图像。
具体地，所述第一叠加子单元21将每幅所述第一脉冲图像中同一位置的强度乘以第一预设系数后相加的结果作为叠加后的所述第一脉冲图像中该位置的强度。所述第二叠加子单元22将每幅所述第二脉冲图像中同一位置的强度乘以第二预设系数后相加的结果作为叠加后的所述第二脉冲图像中该位置的强度。所述第一预设系数和所述第二预设系数可以根据对应的第一脉冲图像和第二脉冲图像的迭代次数获取。例如，若迭代次数为i，则预设系数为任一常数的i次方。为了防止直接叠加产生分块现象，所述第二获取子单元23对叠加后的所述第一脉冲图像和叠加后的所述第二脉冲图像图像进行平滑，可以对叠加后的所述第一脉冲图像和叠加后的所述第二脉冲图像图像进行多次高斯平滑
本实施例对于每幅待融合的图像，将其脉冲图像乘以预设系数后相加。为了防止直接叠加产生分块现象，将相加后的脉冲图像进行平滑，从而获取待融合图像突出的部分，本实施例方法简单，处理速度快，为获取较好的融合效果奠定基础。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：S1，使用PCNN获取第一图像和第二图像对应的第一脉冲图像和第二脉冲图像；S2，对所述第一脉冲图像和所述第二脉冲图像分别进行叠加，获取所述第一图像和所述第二图像对应的第一显著性图像和第二显著性图像；S3，根据所述第一显著性图像和所述第二性显著性图像，使用判决算法对所述第一图像和所述第二图像进行融合。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：S1，使用PCNN获取第一图像和第二图像对应的第一脉冲图像和第二脉冲图像；S2，对所述第一脉冲图像和所述第二脉冲图像分别进行叠加，获取所述第一图像和所述第二图像对应的第一显著性图像和第二显著性图像；S3，根据所述第一显著性图像和所述第二性显著性图像，使用判决算法对所述第一图像和所述第二图像进行融合。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的显示装置的测试设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于PCNN与线性叠加技术的图像融合方法，其特征在于，包括：
S1，使用PCNN获取第一图像和第二图像对应的第一脉冲图像和第二脉冲图像；其中，将所述第一图像作为所述PCNN的输入，所述PCNN在每次迭代中输出一幅所述第一脉冲图像；将所述第二图像作为所述PCNN的输入，所述PCNN在每次迭代中输出一幅所述第二脉冲图像；
S2，对所述第一脉冲图像和所述第二脉冲图像分别进行叠加，获取所述第一图像和所述第二图像对应的第一显著性图像和第二显著性图像；
S3，根据所述第一显著性图像和所述第二显著性图像，使用判决算法对所述第一图像和所述第二图像进行融合；
其中，S2具体包括：
S21，将每幅所述第一脉冲图像乘以第一预设系数后相加，获取叠加后的所述第一脉冲图像；
S22，将每幅所述第二脉冲图像乘以第二预设系数后相加，获取叠加后的所述第二脉冲图像；
S23，对叠加后的所述第一脉冲图像和叠加后的所述第二脉冲图像进行平滑，获取对应的所述第一显著性图像和所述第二显著性图像；
其中，所述第一预设系数和所述第二预设系数根据迭代次数进行设置，为预设常数的i次方，i为对应的第一脉冲图像和第二脉冲图像的迭代次数。
2.根据权利要求1所述的基于PCNN与线性叠加技术的图像融合方法，其特征在于，所述第一图像和所述第二图像的融合通过下式进行：
Mij 1＝Xij 1/(Xij 1+Xij 2)，
Mij 2＝Xij 2/(Xij 1+Xij 2)，
Mij d＝Mij 1-Mij 2，
Figure FDA0002148392880000021
其中，Iij F表示融合后的图像中坐标为(i，j)的像素的强度，Iij 1表示所述第一图像中坐标为(i，j)的像素的强度，Iij 2表示所述第二图像中坐标为(i，j)的像素的强度，Xij 1表示所述第一显著性图像中坐标为(i，j)的像素的强度，Xij 2表示所述第二显著性图像中坐标为(i，j)的像素的强度，Mij 1表示对所述第一显著性图像进行归一化后坐标为(i，j)的像素的强度，Mij 2表示对所述第二显著性图像进行归一化后坐标为(i，j)的像素的强度，Mij d表示归一化后的第一显著性图像中与归一化后的第二显著性图像中坐标为(i，j)的像素之间的强度之差。
3.根据权利要求1所述的基于PCNN与线性叠加技术的图像融合方法，其特征在于，S23具体包括：
对叠加后的所述第一脉冲图像和叠加后的所述第二脉冲图像进行高斯平滑，所述高斯平滑g的公式为：
Figure FDA0002148392880000022
其中，i为图像中像素的横坐标，j为图像中像素的纵坐标，σ为高斯分布的标准差。
4.根据权利要求1所述的基于PCNN与线性叠加技术的图像融合方法，其特征在于，在S1之前还包括：
对所述第一图像和所述第二图像进行高斯平滑，用高斯平滑之前的所述第一图像和所述第二图像的强度减去对应的高斯平滑之后的所述第一图像和所述第二图像的强度，获取预处理之后的所述第一图像和所述第二图像。
5.一种基于PCNN与线性叠加技术的图像融合装置，其特征在于，包括：
第一获取单元，用于使用PCNN获取第一图像和第二图像对应的第一脉冲图像和第二脉冲图像；
第二获取单元，用于对所述第一脉冲图像和所述第二脉冲图像分别进行叠加，获取所述第一图像和所述第二图像对应的第一显著性图像和第二显著性图像；
融合单元，用于根据所述第一显著性图像和所述第二显著性图像，使用判决算法对所述第一图像和所述第二图像进行融合；
其中，所述第二获取单元包括：
第一叠加子单元，用于将每幅所述第一脉冲图像的强度乘以第一预设系数后相加，获取叠加后的所述第一脉冲图像；其中，将所述第一图像作为所述PCNN的输入，所述PCNN在每次迭代中输出一幅所述第一脉冲图像；将所述第二图像作为所述PCNN的输入，所述PCNN在每次迭代中输出一幅所述第二脉冲图像；
第二叠加子单元，用于将每幅所述第二脉冲图像的强度乘以第二预设系数后相加，获取叠加后的所述第二脉冲图像；
第二获取子单元，用于对叠加后的所述第一脉冲图像和叠加后的所述第二脉冲图像进行平滑，获取对应的所述第一显著性图像和所述第二显著性图像；
其中，所述第一预设系数和所述第二预设系数根据迭代次数进行设置，为预设常数的i次方，i为对应的第一脉冲图像和第二脉冲图像的迭代次数。
6.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至4任一所述的方法。
CN201710399142.3A 2017-05-31 2017-05-31 一种基于pcnn与线性叠加技术的图像融合方法及装置 Active CN107341502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710399142.3A CN107341502B (zh) 2017-05-31 2017-05-31 一种基于pcnn与线性叠加技术的图像融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710399142.3A CN107341502B (zh) 2017-05-31 2017-05-31 一种基于pcnn与线性叠加技术的图像融合方法及装置

Publications (2)

Publication Number Publication Date
CN107341502A CN107341502A (zh) 2017-11-10
CN107341502B true CN107341502B (zh) 2020-09-15

Family

ID=60220493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710399142.3A Active CN107341502B (zh) 2017-05-31 2017-05-31 一种基于pcnn与线性叠加技术的图像融合方法及装置

Country Status (1)

Country Link
CN (1) CN107341502B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030076992A1 (en) * 2001-06-26 2003-04-24 Banish Michele R. Neural network based element, image pre-processor, and method of pre-processing using a neural network
CN102722877B (zh) * 2012-06-07 2014-09-10 内蒙古科技大学 基于双通道pcnn的多聚焦图像融合方法
CN105139371B (zh) * 2015-09-07 2019-03-15 云南大学 一种基于pcnn与lp变换的多聚焦图像融合方法
CN105225213B (zh) * 2015-09-29 2018-03-09 云南大学 一种基于s‑pcnn与拉普拉斯金字塔的彩色图像融合方法

Also Published As

Publication number Publication date
CN107341502A (zh) 2017-11-10

Similar Documents

Publication Publication Date Title
Ma et al. SwinFusion: Cross-domain long-range learning for general image fusion via swin transformer
Zhang et al. Self-supervised image denoising for real-world images with context-aware transformer
Divakar et al. Image denoising via CNNs: An adversarial approach
Zhu et al. Fusion of infrared-visible images using improved multi-scale top-hat transform and suitable fusion rules
Lin An approach to adaptive infrared image enhancement for long-range surveillance
KR101890538B1 (ko) 영상 변환 방법 및 장치
CN111784624B (zh) 目标检测方法、装置、设备及计算机可读存储介质
Bhatnagar et al. An image fusion framework based on human visual system in framelet domain
CN111340716A (zh) 一种改进双重判别对抗网络模型的图像去模糊方法
Li et al. Perceptual variousness motion deblurring with light global context refinement
CN109448009A (zh) 用于输电线路检测的红外图像处理方法及装置
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
He et al. Color transfer pulse-coupled neural networks for underwater robotic visual systems
CN111814682A (zh) 人脸活体检测方法及装置
Gao et al. Fusion-UDCGAN: Multifocus image fusion via a U-type densely connected generation adversarial network
Cai et al. Perception preserving decolorization
CN116012255A (zh) 一种基于循环一致性生成对抗网络的低光图像增强方法
Zhang et al. Underwater image enhancement using improved generative adversarial network
CN116883303A (zh) 基于特征差分补偿与融合的红外与可见光图像融合方法
Bao et al. S 2 net: Shadow mask-based semantic-aware network for single-image shadow removal
Yifei et al. Flower image classification based on improved convolutional neural network
CN107341502B (zh) 一种基于pcnn与线性叠加技术的图像融合方法及装置
Marnissi et al. GAN-based vision Transformer for high-quality thermal image enhancement
CN107341501B (zh) 一种基于pcnn和分级聚焦技术的图像融合方法及装置
Li et al. Research on Image Denoising and Super‐Resolution Reconstruction Technology of Multiscale‐Fusion Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231107

Address after: No. 57-5 Development Avenue, No. 6015, Yichang Area, China (Hubei) Free Trade Zone, Yichang City, Hubei Province, 443005

Patentee after: Hubei Jiugan Technology Co.,Ltd.

Address before: 443002, China Three Gorges University, 8, University Road, Hubei, Yichang

Patentee before: CHINA THREE GORGES University

TR01 Transfer of patent right