CN107341501B - 一种基于pcnn和分级聚焦技术的图像融合方法及装置 - Google Patents

一种基于pcnn和分级聚焦技术的图像融合方法及装置 Download PDF

Info

Publication number
CN107341501B
CN107341501B CN201710398881.0A CN201710398881A CN107341501B CN 107341501 B CN107341501 B CN 107341501B CN 201710398881 A CN201710398881 A CN 201710398881A CN 107341501 B CN107341501 B CN 107341501B
Authority
CN
China
Prior art keywords
image
classification
pulse
point
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710398881.0A
Other languages
English (en)
Other versions
CN107341501A (zh
Inventor
徐光柱
宁力
雷帮军
夏平
付云侠
邹耀斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Jiugan Technology Co ltd
Original Assignee
China Three Gorges University CTGU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Three Gorges University CTGU filed Critical China Three Gorges University CTGU
Priority to CN201710398881.0A priority Critical patent/CN107341501B/zh
Publication of CN107341501A publication Critical patent/CN107341501A/zh
Application granted granted Critical
Publication of CN107341501B publication Critical patent/CN107341501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于PCNN和分级聚焦技术的图像融合方法及装置，包括：S1，使用PCNN获取第一图像和第二图像对应的第一脉冲图像和第二脉冲图像；S2，使用分级聚焦检测算法获取第一分级聚焦点图像和第二分级聚焦点图像；S3，对所述第一分级聚焦点图像和所述第二分级聚焦点图像进行平滑，获取对应的第一显著性图像和第二显著性图像；S4，使用判决算法对所述第一图像和所述第二图像进行融合。本发明通过使用PCNN充分提取图像中的有效信息，然后使用分级聚焦型视觉获取图像中有效信息的分级聚焦点，并结合简单的判决算法对图像进行融合，本发明方法简单，处理速度快，能产生较好的融合效果。

Description

一种基于PCNN和分级聚焦技术的图像融合方法及装置
技术领域
本发明涉及图像处理领域，更具体地，涉及一种基于PCNN和分级聚焦技术的图像融合方法及装置。
背景技术
图像融合是指综合两个或多个多源图像的信息，其目的在于通过对多幅图像的信息进行提取，集中或整合优势互补的数据以提高图像的信息可用度，从而获取对同一目标更为准确，更为全面和更为可靠的图像描述。融合后的图像更符合人或机器的视觉特性，以便于对图像进一步的分析、理解、检测和识别。
图像融合技术可分为三个层次：像素级、特征级和决策级。其中像素级图像融合技术直接在原始数据层上进行融合。它虽然能保持尽可能多的原始数据，但在进行图像融合之前，必须对源图像进行精准的配准，因此具有局限性。另外，像素级图像融合技术的数据量大，处理速度慢，实时性差。特征级图像融合技术属于中间层，先对原始图像进行特征提取，然后对提取的特征进行综合分析和处理，实现了客观的信息压缩，有利于实时处理。决策级融合技术是一种高层次的融合，在融合过程中，每个传感器先分别建立对同一目标的初步判决和结论，然后对来自个传感器的决策进行相关处理，最后进行决策级的融合处理。决策级融合技术具有良好的实时性和容错性，但预处理代价高。
现有技术中，已有许多图像融合技术的研究。其中，平均融合算法将待融合图像中相关像素点的灰度值用所述相关像素点的灰度值的平均值替换。该方法生成的融合图像不仅包含图像中清晰的信息，同时也包含图像中模糊的信息，从而使得有效和无效的信息结合在一起，不能得到较好的融合效果。低通比率金字塔图像融合算法是一种与人们的视觉系统模型相适应的方法，能高效地保留图像中的细节特征。它虽然符合人的视觉特征，但由于噪声的局部对比度一般较大，对噪声敏感，且不稳定。基于HIS变换的图像融合方法将待融合的一幅图像从RGB空间变换到HIS空间，然后用待融合的另一幅图像的强度替换前一幅图像的I分量，最好用将替换的HIS图像反变换为RGB图像，即融合后的图像。由于一幅待融合图像在HIS空间的I分量和另一幅待融合图像的灰度值是两种不同光谱强度特性的频道数据，这种替换使得融合后的图像产生光谱退化现象，光谱信息损失严重。
综上所述，现有的图像融合技术数据量大、处理速度慢、对噪声敏感和产生的融合效果差。因此，提出一种新的图像融合算法是解决上述问题的关键。
发明内容
为克服上述现有的图像融合技术数据量大、处理速度慢、融合效果差的问题或者至少部分地解决上述问题，本发明提供了一种基于PCNN和分级聚焦技术的图像融合方法及装置。
根据本发明的第一方面，提供一种基于PCNN和分级聚焦技术的图像融合方法，包括：
S1，使用PCNN获取第一图像和第二图像对应的第一脉冲图像和第二脉冲图像；
S2，使用分级聚焦检测算法获取所述第一脉冲图像和所述第二脉冲图像对应的第一分级聚焦点图像和第二分级聚焦点图像；
S3，对所述第一分级聚焦点图像和所述第二分级聚焦点图像进行平滑，获取所述第一图像和所述第二图像对应的第一显著性图像和第二显著性图像；
S4，根据所述第一显著性图像和所述第二性显著性图像，使用判决算法对所述第一图像和所述第二图像进行融合。
具体地，在S1之前还包括：
对所述第一图像进行高斯平滑，将高斯平滑之前的所述第一图像与高斯平滑之后的所述第一图像之间的差值作为预处理之后的所述第一图像；
对所述第二图像进行高斯平滑，将高斯平滑之前的所述第二图像与高斯平滑之后的第二图像之间的差值作为预处理之后的所述第二图像。
具体地，S2具体包括：
S21，从所述第一脉冲图像和所述第二脉冲图像中分别选择至少一幅第一脉冲图像和第二脉冲图像；
S22，使用角点检测器获取所述第一脉冲图像的角点和边缘，以及所述第二脉冲图像的角点和边缘；
S23，根据所述第一脉冲图像的角点和边缘，以及所述第二脉冲图像的角点和边缘，使用峰值检测器获取所述第一脉冲图像的第一分级聚焦点和所述第二脉冲图像的第二分级聚焦点，并获取第一分级聚焦点图像和第二分级聚焦点图像。
具体地，所述角点检测器的公式为：
P＝exp{S-I}；
其中，I为SUSAN算法的输入图像，S为I平滑后的图像，exp为以常数e为底的指数函数。
具体地，所述第一图像和所述第二图像的融合通过下式进行：
Mij 1＝Xij 1/(Xij 1+Xij 2)，
Mij 2＝Xij 2/(Xij 1+Xij 2)，
Mij d＝Mij 1-Mij 2，
其中，Iij F表示融合后的图像中坐标为(i，j)的像素的强度，Iij 1表示所述第一图像中坐标为(i，j)的像素的强度，Iij 2表示所述第二图像中坐标为(i，j)的像素的强度，Xij 1表示所述第一显著性图像中坐标为(i，j)的像素的强度，Xij 2表示所述第二显著性图像中坐标为(i，j)的像素的强度，Mij 1表示对所述第一显著性图像进行归一化后坐标为(i，j)的像素的强度，Mij 2表示对所述第二显著性图像进行归一化后坐标为(i，j)的像素的强度，Mij d表示归一化后的第一显著性图像中与归一化后的第二显著性图像中坐标为(i，j)的像素之间的强度之差。
具体地，S23具体包括：
根据每幅所述第一脉冲图像的角点和边缘，获取每幅所述第一脉冲图像的第一分级聚焦点；
根据每幅所述第二脉冲图像的角点和边缘，获取每幅所述第二脉冲图像的第二分级聚焦点；
将每幅所述第一脉冲图像的第一分级聚焦点的强度乘以第一预设系数后相加，获取所述第一分级聚焦点图像；
将每幅所述第二脉冲图像的第二分级聚焦点的强度乘以第二预设系数后相加，获取所述第二分级聚焦点图像。
具体地，S23具体包括：
若判断所述第一脉冲图像的角点和边缘中的像素的强度大于第一预设阈值，则将所述第一脉冲图像的角点和边缘中以该像素为中心的第一预设范围内的像素的强度设为零，获取所述第一分级聚焦点；
若判断所述第二脉冲图像的角点和边缘中的像素的强度大于第二预设阈值，则将所述第二脉冲图像的角点和边缘中以该像素为中心的第二预设范围内的像素的强度设为零，获取所述第二分级聚焦点。
根据本发明的第二方面，提供一种基于PCNN和分级聚焦技术的图像融合装置，包括：
第一获取单元，用于使用PCNN获取第一图像和第二图像对应的第一脉冲图像和第二脉冲图像；
第二获取单元，用于使用分级聚焦检测算法获取所述第一脉冲图像和所述第二脉冲图像对应的第一分级聚焦点图像和第二分级聚焦点图像；
第三获取单元，用于对所述第一分级聚焦点图像和所述第二分级聚焦点图像进行平滑，获取所述第一图像和所述第二图像对应的第一显著性图像和第二显著性图像；
融合单元，用于根据所述第一显著性图像和所述第二性显著性图像，使用判决算法对所述第一图像和所述第二图像进行融合。
根据本发明的第三方面，提供一种计算机程序产品，包括程序代码，所述程序代码用于执行上述所述的信息搜索中关键词淘汰方法。
根据本发明的第四方面，提供一种非暂态计算机可读存储介质，用于存储如前所述的计算机程序。
本发明通过使用PCNN充分提取图像中的有效信息，然后使用分级聚焦型视觉获取图像中有效信息的分级聚焦点，并结合简单的判决算法对图像进行融合，本发明方法简单，处理速度快，能产生较好的融合效果。
附图说明
图1为现有技术中标准PCNN模型中的神经元结构图；
图2为本发明实施例提供的基于PCNN和分级聚焦技术的图像融合方法流程图；
图3为本发明中对待融合的图像进行预处理的效果图；
图4为现有技术中分级聚焦模式示意图；
图5为本发明又一实施例提供的基于PCNN和分级聚焦技术的图像融合方法流程图；
图6为本发明实施例中图像融合过程中的效果图；
图7为本发明与其他算法的对比效果图；
图8为本发明实施例提供的基于PCNN和分级聚焦技术的图像融合装置结构图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
在介绍本发明之前，先介绍PCNN模型。PCNN(Pulse Coupled Neural Networks，脉冲耦合神经网络)是一种第三代神经网络，是依据猫的大脑视觉皮层上的同步脉冲发放现象提出的。图1为标准PCNN模型中的神经元结构图。如图1所示，每个所述神经元通过馈入部分和连接部分接收来自相邻神经元的输入，所述神经元通过突触上的权重M和W与所述相邻神经元进行连接。所述馈入部分和所述连接部分的值由以下公式决定：
其中，Fij为第ij各神经元的馈入部分，Lij是对应的连接部分。Ykl是第n-1次迭代中所述相邻神经元的输出。Fij和Lij分别保留了通过指数衰减因子和对之前状态的更改，因此衰减时间常数αF和αL为负数。只有馈入部分接收输入激励S。在数字图像处理中。常数VF和VL是正则化常数。所述Fij和所述Lij以二阶的方式相结合形成内部状态Uij，即：
Uij[n]＝Fij[n](1+βLij[n])；
其中，β为所述Fij和所述Lij的连接强度。所述内部状态Uij与动态阈值Tij进行比较，生成第ij各神经元的输出Yij，即：
其中，阈值T是动态的。当神经元激发时，即Uij[n]＞Tij[n-1]时，阈值通过增加一个较大的常量VT大幅增加。这样可以阻止该神经元在一段时间内被激发，直到所述阈值通过衰减时间常数αT再次衰减到小于所述内部状态。通过迭代使用上述公式可以得到一系列二进制图像。
图2为本发明实施例提供的基于PCNN和分级聚焦技术的图像融合方法流程图，如图2所示，该方法包括：S1，使用PCNN获取第一图像和第二图像对应的第一脉冲图像和第二脉冲图像；S2，使用分级聚焦检测算法获取所述第一脉冲图像和所述第二脉冲图像对应的第一分级聚焦点图像和第二分级聚焦点图像；S3，对所述第一分级聚焦点图像和所述第二分级聚焦点图像进行平滑，获取所述第一图像和所述第二图像对应的第一显著性图像和第二显著性图像；S4，根据所述第一显著性图像和所述第二性显著性图像，使用判决算法对所述第一图像和所述第二图像进行融合。
具体地，在S1之前还包括对所述第一图像和所述第二图像进行预处理。所述第一图像和所述第二图像为待融合的多聚焦图像。光学传感器获取的同一场景下聚焦目标不同的图像称为多聚焦图像。所述预处理包括：对所述第一图像进行高斯平滑，将高斯平滑之前的所述第一图像中像素的强度与高斯平滑之后的第一图像中像素的强度之间的差值作为预处理之后的所述第一图像中像素的强度；对所述第二图像进行高斯平滑，将高斯平滑之前的所述第二图像中像素的强度与高斯平滑之后的第二图像中像素的强度之间的差值作为预处理之后的所述第二图像中像素的强度。通过所述预处理，将所述第一图像和所述第二图像中清晰的部分和不清晰的部分进行初步分离。如图3所示，前两幅图像为待融合的图像，后两幅图像为对应的预处理之后的图像。预处理中，使用的高斯算法中卷积核的大小为5*5，标准差为1。
S1中，所述PCNN可以为标准的PCNN，也可以为基于所述标准PCNN的其他变形网络，如交叉视觉皮质模型。所述PCNN在每一次迭代中获取一幅脉冲图像，所述脉冲图像为二值图像。将所述第一图像作为所述PCNN的输入，所述PCNN在每次迭代中输出一幅所述第一脉冲图像。将所述第二图像作为所述PCNN的输入，所述PCNN在每次迭代中输出一幅所述第二脉冲图像。
S2中，人眼在图像上不断扫描来获取与图像内容相关的线索，将扫描过程中关注点不断变化的过程称为分级聚焦。使用所述分级聚焦检测算法获取每幅所述第一脉冲图像和每幅所述第二脉冲图像的分级聚焦点。根据每幅所述第一脉冲图像的分级聚焦点获取所述第一分级聚焦点图像，根据每幅所述第二脉冲图像的分级聚焦点获取所述第二分级聚焦点图像。所述第一分级聚焦点图像包含所有第一脉冲图像的分级聚焦点，所述第二分级聚焦点图像包含所有第二脉冲图像的分级聚焦点。所述分级聚焦点也称为凹点，位于图像的边缘或角点。如图4所示，分级聚焦点越多的地方表示人眼的关注程度越高。
S3中，对所述第一分级聚焦点图像和所述第二分级聚焦点图像进行平滑，可以对所述第一分级聚焦点图像和所述第二分级聚焦点图像进行多次高斯平滑，所述高斯平滑g的公式为：
其中，i为图像中像素的横坐标，j为图像中像素的纵坐标，σ为高斯分布的标准差。本实施例不限于平滑的方法和次数。高斯平滑中对高斯算法中的卷积核进行归一化，这样能避免图像变亮或变暗。将平滑后的所述第一分级聚焦点图像作为所述第一图像的第一显著性图像，将平滑后的所述第二分级聚焦点图像作为所述第二图像的第二显著性图像。所述第一显著性图像包含所述第一图像中突出的部分。所述第二显著性图像包含所述第二图像中突出的部分。
S4中，根据所述第一显著性图像和所述第二显著性图像，使用判决算法对所述第一图像和所述第二图像进行融合，得到融合图像。所述第一图像和所述第二图像的融合通过下式进行：
Mij 1＝Xij 1/(Xij 1+Xij 2)，
Mij 2＝Xij 2/(Xij 1+Xij 2)，
Mij d＝Mij 1-Mij 2，
其中，Iij F表示融合后的图像中坐标为(i，j)的像素的强度，Iij 1表示所述第一图像中坐标为(i，j)的像素的强度，Iij 2表示所述第二图像中坐标为(i，j)的像素的强度，Xij 1表示所述第一显著性图像中坐标为(i，j)的像素的强度，Xij 2表示所述第二显著性图像中坐标为(i，j)的像素的强度，Mij 1表示对所述第一显著性图像进行归一化后坐标为(i，j)的像素的强度，Mij 2表示对所述第二显著性图像进行归一化后坐标为(i，j)的像素的强度，Mij d表示归一化后的第一显著性图像中与归一化后的第二显著性图像中坐标为(i，j)的像素之间的强度之差。
本实施例通过使用PCNN充分提取图像中的有效信息，然后使用分级聚焦型视觉获取图像中有效信息的分级聚焦点，并结合简单的判决算法对图像进行融合，本实施例方法简单，处理速度快，能产生较好的融合效果。
图5为本发明又一实施例提供的基于PCNN和分级聚焦技术的图像融合方法流程图，如图5所示，在上述实施例的基础上，本实施例中S2具体包括：S21，从所述第一脉冲图像和所述第二脉冲图像中分别选择至少一幅第一脉冲图像和第二脉冲图像；S22，使用角点检测器获取所述第一脉冲图像的角点和边缘，以及所述第二脉冲图像的角点和边缘；S23，根据所述第一脉冲图像的角点和边缘，以及所述第二脉冲图像的角点和边缘，使用峰值检测器获取所述第一脉冲图像的第一分级聚焦点和所述第二脉冲图像的第二分级聚焦点，并获取第一分级聚焦点图像和第二分级聚焦点图像。
具体地，S21中，从所述第一脉冲图像中选择至少一幅第一脉冲图像，从所述第二脉冲图像中选择至少一幅第二脉冲图像。S22中，使用角点检测器获取每幅所述第一脉冲图像的角点和边缘，以及每幅所述第二脉冲图像的角点和边缘。S23中，使用峰值检测器获取每幅所述第一脉冲图像的角点和边缘的第一分级聚焦点，以及每幅所述第二脉冲图像的角点和边缘的第二分级聚焦点。将每幅所述第一脉冲图像的第一分级聚焦点的强度乘以第一预设系数后相加，获取所述第一分级聚焦点图像。将每幅所述第二脉冲图像的第二分级聚焦点的强度乘以第二预设系数后相加，获取所述第二分级聚焦点图像。所述第一预设系数和所述第二预设系数可以根据对应的第一脉冲图像和第二脉冲图像的迭代次数获取。例如，若迭代次数为n，则预设系数为任一常数的n次方，所述常数可以根据实际情况进行设置。
具体地，所述角点检测器的公式为：
P＝exp{S-I}；
其中，I为输入图像，S为I平滑之后的图像，exp为以常数e为底的指数函数。如图6所示，图6的第一行为从所述第一脉冲图像中选择的从第三次到第五次迭代的第一脉冲图像，第二行为从所述第二脉冲图像中选择的从第三次到第五次迭代的第二脉冲图像，第三行为从第三次到第五次迭代的第一脉冲图像的第一分级聚焦点，第四行为从第三次到第五次迭代的第二脉冲图像的第二分级聚焦点，第五行为所述第一分级聚焦点图像和第二分级聚焦点图像，第六行为所述第一脉冲图像的第一显著性图像和所述第二脉冲图像的第二显著性图像，第七行为第一图像和第二图像的融合图像。
本实施例中通过选择脉冲图像，使用角点检测器检测脉冲图像的角点和边缘，并使用峰值检测器获取脉冲图像的分级聚焦点，一方面大大减少了处理的数据，提高了处理的速度；另一方面，使用分级聚焦型视觉中简单的角点检测器和峰值检测器获取脉冲图像的分级聚焦点，将待融合图像中清晰的部分保留，能产生较好的融合效果。
在上述实施例的基础上，本实施例中S23具体包括：若判断所述第一脉冲图像的角点和边缘中的像素的强度大于第一预设阈值，则将所述第一脉冲图像的角点和边缘中以该像素为中心的第一预设范围内的像素的强度设为零，获取所述第一分级聚焦点；若判断所述第二脉冲图像的角点和边缘中的像素的强度大于第二预设阈值，则将所述第二脉冲图像的角点和边缘中以该像素为中心的第二预设范围内的像素的强度设为零，获取所述第二分级聚焦点。
具体地，所述第一预设阈值可以根据所述第一脉冲图像的角点和边缘中的像素的最大强度进行设置，如将所述第一预设阈值设置为所述最大强度的二分之一。所述第二预设阈值可以根据所述第二脉冲图像的角点和边缘中的像素的最大强度进行设置。可以直接将所述第一脉冲图像的角点和边缘中强度大于所述第一预设阈值的像素作为所述第一分级聚焦点，将所述第二脉冲图像的角点和边缘中强度大于所述第二预设阈值的像素作为所述第二分级聚焦点。为了拉开所述第一分级聚焦点之间的距离和第二分级聚焦点之间的距离，分别去掉以每个所述第一分级聚焦点为中心的第一预设范围内的第一分级聚焦点，即将其强度设为零，不去掉中心的第一分级聚焦点。分别去掉以每个所述第二分级聚焦点为中心的第二预设范围内的第二分级聚焦点，即将其强度设为零，不去掉中心的第二分级聚焦点。
本实施例中使用简单的阈值法，将脉冲图像的角点和边缘中清晰的部分保留下来。为了进一步提取脉冲图像中密度较稀的分级聚焦点，将保留下来的每个峰值像素点作为中心，去掉一定范围内的峰值像素点，保留该中心峰值像素点。从而在保留待融合图像的有效信息的同时，大大减少处理的数据，加快了处理速度，提供了融合效果。
为了进一步说明本发明的图像融合效果，现将本发明与现有技术中的平均融合算法、低通比率金字塔算法和连续曲波图像融合算法进行比较。使用大量图像对本发明进行实验，实验结果表明本发明均能获得较好的融合效果。图7为本发明与现有技术中的三种算法的对比效果图。其中，图7中的第1幅图像和第2幅图像为待融合的图像，第3-6幅图像对应为平均融合算法、低通比率金字塔算法、连续曲波图像融合算法和本发明的图像融合效果图。从主观上可以看出，平均融合算法的融合图像的亮度变暗，在融合图像的细节部分，如字母上方有明显的阴影，融合图像严重失真。低通比率金字塔算法的融合图像中虽然字母保留基本形状，但字母上方有少量阴影，且融合图像中的交界处有明显的失真。连续曲波图像融合算法的融合图像中字母上方及交界处有极少量的阴影，交界处失真明显。本发明的融合图像中的字母上方没有阴影，交界处失真不明显。在客观方面，采用互信息、平均梯度、信息熵和偏差四种指标对以上四种方法进行比较。如表1所示，可以看出本发明的互信息远远高于其他算法的互信息，在平均梯度、信息熵方面也有所提高，偏差较底，从而可以看出本发明比其他方法的融合效果好。
表1客观平价对比表
互信息 平均梯度 信息熵 偏差
平均融合算法 0.2258 0.0901 7.0608 22.4224
低通比率金字塔算法 0.3458 0.1429 7.3681 23.9777
连续曲波图像融合算法 0.4443 0.1470 7.3830 24.5664
本发明 0.9719 0.1482 7.3855 21.8575
图8为本发明实施例提供的基于PCNN和分级聚焦技术的图像融合装置结构图，如图8所示，该装置包括第一获取单元1、第二获取单元2、第三获取单元3和融合单元4，其中：
所述第一获取单元1用于使用PCNN获取第一图像和第二图像对应的第一脉冲图像和第二脉冲图像；所述第二获取单元2用于使用分级聚焦检测算法获取所述第一脉冲图像和所述第二脉冲图像对应的第一分级聚焦点图像和第二分级聚焦点图像；所述第三获取单元3用于对所述第一分级聚焦点图像和所述第二分级聚焦点图像进行平滑，获取所述第一图像和所述第二图像对应的第一显著性图像和第二显著性图像；所述融合单元4用于根据所述第一显著性图像和所述第二性显著性图像，使用判决算法对所述第一图像和所述第二图像进行融合。
具体地，在获取所述第一脉冲图像和所述第二脉冲图像之前，还包括对所述第一图像和所述第二图像进行预处理。对所述第一图像和第二图像进行高斯平滑，将高斯平滑前后的第一图像之间的差值作为预处理之后的第一图像，将高斯平滑前后的第二图像之间的差值作为预处理之后的第二图像。所述PCNN可以为标准的PCNN，也可以为基于所述标准PCNN的其他变形网络，如交叉视觉皮质模型。所述第一获取单元1使用所述PCNN在每一次迭代中获取一幅第一脉冲图像或一幅第二脉冲图像。所述第二获取单元2使用所述分级聚焦检测算法获取每幅所述第一脉冲图像和每幅所述第二脉冲图像的分级聚焦点。根据每幅所述第一脉冲图像的分级聚焦点获取所述第一分级聚焦点图像，根据每幅所述第二脉冲图像的分级聚焦点获取所述第二分级聚焦点图像。所述第一分级聚焦点图像包含所有第一脉冲图像的分级聚焦点，所述第二分级聚焦点图像包含所有第二脉冲图像的分级聚焦点。所述第三获取单元3对所述第一分级聚焦点图像和所述第二分级聚焦点图像进行平滑，可以对所述第一分级聚焦点图像和所述第二分级聚焦点图像进行多次高斯平滑，获取对应的第一显著性图像和第二显著性图像。所述融合单元4根据所述第一显著性图像和所述第二显著性图像，使用判决算法对所述第一图像和所述第二图像进行融合，得到融合图像。
本发明通过使用PCNN充分提取图像中的有效信息，然后使用分级聚焦型视觉获取图像中有效信息的分级聚焦点，并结合简单的判决算法对图像进行融合，本发明方法简单，处理速度快，能产生较好的融合效果。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：S1，使用PCNN获取第一图像和第二图像对应的第一脉冲图像和第二脉冲图像；S2，使用分级聚焦检测算法获取所述第一脉冲图像和所述第二脉冲图像对应的第一分级聚焦点图像和第二分级聚焦点图像；S3，对所述第一分级聚焦点图像和所述第二分级聚焦点图像进行平滑，获取所述第一图像和所述第二图像对应的第一显著性图像和第二显著性图像；S4，根据所述第一显著性图像和所述第二性显著性图像，使用判决算法对所述第一图像和所述第二图像进行融合。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：S1，使用PCNN获取第一图像和第二图像对应的第一脉冲图像和第二脉冲图像；S2，使用分级聚焦检测算法获取所述第一脉冲图像和所述第二脉冲图像对应的第一分级聚焦点图像和第二分级聚焦点图像；S3，对所述第一分级聚焦点图像和所述第二分级聚焦点图像进行平滑，获取所述第一图像和所述第二图像对应的第一显著性图像和第二显著性图像；S4，根据所述第一显著性图像和所述第二性显著性图像，使用判决算法对所述第一图像和所述第二图像进行融合。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的显示装置的测试设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于PCNN和分级聚焦技术的图像融合方法，其特征在于，包括：
S1，使用PCNN获取第一图像和第二图像对应的第一脉冲图像和第二脉冲图像；
S2，使用分级聚焦检测算法获取所述第一脉冲图像和所述第二脉冲图像对应的第一分级聚焦点图像和第二分级聚焦点图像；
S3，对所述第一分级聚焦点图像和所述第二分级聚焦点图像进行平滑，获取所述第一图像和所述第二图像对应的第一显著性图像和第二显著性图像；
S4，根据所述第一显著性图像和所述第二显著性图像，使用判决算法对所述第一图像和所述第二图像进行融合；
其中，S2具体包括：
S21，从所述第一脉冲图像和所述第二脉冲图像中分别选择至少一幅第一脉冲图像和第二脉冲图像；
S22，使用角点检测器获取所述第一脉冲图像的角点和边缘，以及所述第二脉冲图像的角点和边缘；
S23，根据所述第一脉冲图像的角点和边缘，以及所述第二脉冲图像的角点和边缘，使用峰值检测器获取所述第一脉冲图像的第一分级聚焦点和所述第二脉冲图像的第二分级聚焦点，并获取第一分级聚焦点图像和第二分级聚焦点图像。
2.根据权利要求1所述的基于PCNN和分级聚焦技术的图像融合方法，其特征在于，所述角点检测器的公式为：
P＝exp{S-I}；
其中，I为SUSAN算法的输入图像，S为I平滑之后的图像，exp为以常数e为底的指数函数。
3.根据权利要求1所述的基于PCNN和分级聚焦技术的图像融合方法，其特征在于，所述第一图像和所述第二图像的融合通过下式进行：
Mij 1＝Xij 1/(Xij 1+Xij 2)，
Mij 2＝Xij 2/(Xij 1+Xij 2)，
Mij d＝Mij 1-Mij 2，
其中，Iij F表示融合后的图像中坐标为(i，j)的像素的强度，Iij 1表示所述第一图像中坐标为(i，j)的像素的强度，Iij 2表示所述第二图像中坐标为(i，j)的像素的强度，Xij 1表示所述第一显著性图像中坐标为(i，j)的像素的强度，Xij 2表示所述第二显著性图像中坐标为(i，j)的像素的强度，Mij 1表示对所述第一显著性图像进行归一化后坐标为(i，j)的像素的强度，Mij 2表示对所述第二显著性图像进行归一化后坐标为(i，j)的像素的强度，Mij d表示归一化后的第一显著性图像中与归一化后的第二显著性图像中坐标为(i，j)的像素之间的强度之差。
4.根据权利要求1所述的基于PCNN和分级聚焦技术的图像融合方法，其特征在于，S23具体包括：
根据每幅所述第一脉冲图像的角点和边缘，获取每幅所述第一脉冲图像的第一分级聚焦点；
根据每幅所述第二脉冲图像的角点和边缘，获取每幅所述第二脉冲图像的第二分级聚焦点；
将每幅所述第一脉冲图像的第一分级聚焦点的强度乘以第一预设系数后相加，获取所述第一分级聚焦点图像；
将每幅所述第二脉冲图像的第二分级聚焦点的强度乘以第二预设系数后相加，获取所述第二分级聚焦点图像。
5.根据权利要求1所述的基于PCNN和分级聚焦技术的图像融合方法，其特征在于，S23具体包括：
若判断所述第一脉冲图像的角点和边缘中的像素的强度大于第一预设阈值，则将所述第一脉冲图像的角点和边缘中以该像素为中心的第一预设范围内的像素的强度设为零，获取所述第一分级聚焦点；
若判断所述第二脉冲图像的角点和边缘中的像素的强度大于第二预设阈值，则将所述第二脉冲图像的角点和边缘中以该像素为中心的第二预设范围内的像素的强度设为零，获取所述第二分级聚焦点。
6.根据权利要求1所述的基于PCNN和分级聚焦技术的图像融合方法，其特征在于，在S1之前还包括：
对所述第一图像进行高斯平滑，将高斯平滑之前的所述第一图像与高斯平滑之后的所述第一图像之间的差值作为预处理之后的所述第一图像；
对所述第二图像进行高斯平滑，将高斯平滑之前的所述第二图像与高斯平滑之后的第二图像之间的差值作为预处理之后的所述第二图像。
7.一种基于PCNN和分级聚焦技术的图像融合装置，其特征在于，包括：
第一获取单元，用于使用PCNN获取第一图像和第二图像对应的第一脉冲图像和第二脉冲图像；
第二获取单元，用于使用分级聚焦检测算法获取所述第一脉冲图像和所述第二脉冲图像对应的第一分级聚焦点图像和第二分级聚焦点图像；
第三获取单元，用于对所述第一分级聚焦点图像和所述第二分级聚焦点图像进行平滑，获取所述第一图像和所述第二图像对应的第一显著性图像和第二显著性图像；
融合单元，用于根据所述第一显著性图像和所述第二显著性图像，使用判决算法对所述第一图像和所述第二图像进行融合；
其中，第二获取单元具体用于：
从所述第一脉冲图像和所述第二脉冲图像中分别选择至少一幅第一脉冲图像和第二脉冲图像；
使用角点检测器获取所述第一脉冲图像的角点和边缘，以及所述第二脉冲图像的角点和边缘；
根据所述第一脉冲图像的角点和边缘，以及所述第二脉冲图像的角点和边缘，使用峰值检测器获取所述第一脉冲图像的第一分级聚焦点和所述第二脉冲图像的第二分级聚焦点，并获取第一分级聚焦点图像和第二分级聚焦点图像。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6任一所述的方法。
CN201710398881.0A 2017-05-31 2017-05-31 一种基于pcnn和分级聚焦技术的图像融合方法及装置 Active CN107341501B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710398881.0A CN107341501B (zh) 2017-05-31 2017-05-31 一种基于pcnn和分级聚焦技术的图像融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710398881.0A CN107341501B (zh) 2017-05-31 2017-05-31 一种基于pcnn和分级聚焦技术的图像融合方法及装置

Publications (2)

Publication Number Publication Date
CN107341501A CN107341501A (zh) 2017-11-10
CN107341501B true CN107341501B (zh) 2019-10-08

Family

ID=60221268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710398881.0A Active CN107341501B (zh) 2017-05-31 2017-05-31 一种基于pcnn和分级聚焦技术的图像融合方法及装置

Country Status (1)

Country Link
CN (1) CN107341501B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665442A (zh) * 2018-04-03 2018-10-16 中国空气动力研究与发展中心超高速空气动力研究所 红外无损检测的热图像缺陷特征增强处理方法
CN111507454B (zh) * 2019-01-30 2022-09-06 兰州交通大学 一种用于遥感影像融合的改进交叉皮质神经网络模型

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1282881A4 (en) * 2000-12-04 2006-04-19 Green Vision Systems Ltd MULTILAYER SPECTRAL IMAGING AND ANALYSIS METHOD OF IN SITU PARTICLE SAMPLES BY FOCUSING-FUSION
CN104008536A (zh) * 2013-11-04 2014-08-27 无锡金帆钻凿设备股份有限公司 基于cs-chmt和idpcnn的多聚焦噪声图像融合方法
CN104077761A (zh) * 2014-06-26 2014-10-01 桂林电子科技大学 基于自适应稀疏表示的多聚焦图像融合方法
CN104616274A (zh) * 2015-02-09 2015-05-13 内蒙古科技大学 一种基于显著性区域提取的多聚焦图像融合算法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9373023B2 (en) * 2012-02-22 2016-06-21 Sri International Method and apparatus for robustly collecting facial, ocular, and iris images using a single sensor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1282881A4 (en) * 2000-12-04 2006-04-19 Green Vision Systems Ltd MULTILAYER SPECTRAL IMAGING AND ANALYSIS METHOD OF IN SITU PARTICLE SAMPLES BY FOCUSING-FUSION
CN104008536A (zh) * 2013-11-04 2014-08-27 无锡金帆钻凿设备股份有限公司 基于cs-chmt和idpcnn的多聚焦噪声图像融合方法
CN104077761A (zh) * 2014-06-26 2014-10-01 桂林电子科技大学 基于自适应稀疏表示的多聚焦图像融合方法
CN104616274A (zh) * 2015-02-09 2015-05-13 内蒙古科技大学 一种基于显著性区域提取的多聚焦图像融合算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于形态学小波变换的图像融合算法;夏开建等;《计算机工程》;20101031;摘要、第3节 *

Also Published As

Publication number Publication date
CN107341501A (zh) 2017-11-10

Similar Documents

Publication Publication Date Title
Guo et al. FuseGAN: Learning to fuse multi-focus image via conditional generative adversarial network
He et al. DeepOtsu: Document enhancement and binarization using iterative deep learning
Liu et al. Multi-focus image fusion with a deep convolutional neural network
Zhao et al. Multi-focus image fusion with a natural enhancement via a joint multi-level deeply supervised convolutional neural network
KR102629380B1 (ko) 실제 3차원 객체를 실제 객체의 2-차원 스푸프로부터 구별하기 위한 방법
Liu et al. Learning recursive filters for low-level vision via a hybrid neural network
Ghoualmi et al. An ear biometric system based on artificial bees and the scale invariant feature transform
Hasikin et al. Adaptive fuzzy contrast factor enhancement technique for low contrast and nonuniform illumination images
Zhu et al. Fusion of infrared-visible images using improved multi-scale top-hat transform and suitable fusion rules
CN112184646B (zh) 基于梯度域导向滤波和改进pcnn的图像融合方法
CN107341501B (zh) 一种基于pcnn和分级聚焦技术的图像融合方法及装置
CN107516083A (zh) 一种面向识别的远距离人脸图像增强方法
Dai et al. Dual-purpose method for underwater and low-light image enhancement via image layer separation
CN107274425B (zh) 一种基于脉冲耦合神经网络的彩色图像分割方法及装置
Guo et al. Multi-scale multi-attention network for moiré document image binarization
CN101567081A (zh) 一种手部静脉图像增强方法
Neiva et al. Improving texture extraction and classification using smoothed morphological operators
Karalı et al. Adaptive enhancement of sea-surface targets in infrared images based on local frequency cues
CN104966271B (zh) 基于生物视觉感受野机制的图像去噪方法
Dong et al. FusionCPP: Cooperative fusion of infrared and visible light images based on PCNN and PID control systems
CN116092667A (zh) 基于多模态影像的疾病检测方法、系统、装置及存储介质
Giap et al. Adaptive multiple layer retinex-enabled color face enhancement for deep learning-based recognition
Yifei et al. Flower image classification based on improved convolutional neural network
TRIVEDI et al. MOSAICFUSION: MERGING MODALITIES WITH PARTIAL DIFFERENTIAL EQUATION AND DISCRETE COSINE TRANSFORMATION
Novin et al. An improved saliency model of visual attention dependent on image content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231107

Address after: No. 57-5 Development Avenue, No. 6015, Yichang Area, China (Hubei) Free Trade Zone, Yichang City, Hubei Province, 443005

Patentee after: Hubei Jiugan Technology Co.,Ltd.

Address before: 443002, China Three Gorges University, 8, University Road, Hubei, Yichang

Patentee before: CHINA THREE GORGES University

TR01 Transfer of patent right