CN110009026A - 基于fdst和双通道pcnn的异源图像融合方法 - Google Patents

基于fdst和双通道pcnn的异源图像融合方法 Download PDF

Info

Publication number
CN110009026A
CN110009026A CN201910241540.1A CN201910241540A CN110009026A CN 110009026 A CN110009026 A CN 110009026A CN 201910241540 A CN201910241540 A CN 201910241540A CN 110009026 A CN110009026 A CN 110009026A
Authority
CN
China
Prior art keywords
band
frequency sub
image
fdst
binary channels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910241540.1A
Other languages
English (en)
Inventor
刘亚东
戴进墩
罗林根
傅晓飞
余钟民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai Institute Of Information Technology Shanghai Jiaotong University
Shanghai Jiaotong University
Original Assignee
Yantai Institute Of Information Technology Shanghai Jiaotong University
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai Institute Of Information Technology Shanghai Jiaotong University, Shanghai Jiaotong University filed Critical Yantai Institute Of Information Technology Shanghai Jiaotong University
Priority to CN201910241540.1A priority Critical patent/CN110009026A/zh
Publication of CN110009026A publication Critical patent/CN110009026A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Discrete Mathematics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于FDST和双通道PCNN的异源图像融合方法，对多传感器的异源图像，先采用FDST工具将原始图像分解到多个尺度上，再对低频子带通过简单加权平均的方式进行融合，对高频子带通过双通道PCNN进行融合，最后通过FDST反变换得到融合图像。本发明技术解决方案简单，鲁棒性高，实用性强，能够很好地保持原始图像中的细节信息，增强异源图像信息在融合图像中表达的一致性，提升融合图像的质量，可以很好地解决目前异源图像融合方法性能不稳定、效率低下、部分特征缺失、意外引入瑕疵等问题。

Description

基于FDST和双通道PCNN的异源图像融合方法
技术领域
本发明涉及异源图像融合方法，具体是一种基于FDST和双通道PCNN的异源图像融合方法。
背景技术
作为传感技术、图像处理、计算机与人工智能理论的交叉型研究领域，自上世纪七十年代末起，图像融合技术引起了国内外研究学者的注意。尤其，异源图像融合能够复合多传感器的信息特性，对于搭建复杂的信息处理系统有重大意义。异源图像融合是指将不同传感器获得的同一场景图像合并成综合了多幅原始图像优点、信息更为丰富、色彩更为均衡的图像。
异源图像融合的思路主要可分为两类：一是从原始图像中寻找支持和依据直接融合原始图像，二则是不直接融合原始图像，而是将原始图像转换成其他特征更加显著的域内进行融合，再重新转换成图像。从当前的进展而言，前者直接从原始图像出发，缺乏对原始图像中的重要特征进行定义和解析的途径，比较容易造成图像质量下降。而后者将信息领域、数学领域的一些解析工具引入到图像融合上来，进境和发展都相当迅速，这些解析工具对我们进一步探索图像的表达、抽象、理解等模型化有重要价值。
目前国内外学者分别提出了基于稀疏表达、基于脉冲耦合神经网络(PCNN)等融合方法。PCNN能够很好地兼容诸如轮廓波变换(CT)、剪切波变换(ST)等多尺度分析工具，这样结合的模型在融合效果上都要好于传统的异源图像融合方法。但是，现有的基于PCNN的异源图像融合方法仍然存在如下问题：多尺度分析工具效率不够或者解析能力不够；PCNN参数过多，调整复杂；部分像素点质量出现下降，甚至引入新的瑕疵，融合性能不够稳定。因此，如何改进异源图像融合方法增强图像质量成为了重要的研究课题。
发明内容
本发明的目的在于克服上述异源图像融合方法的不足，提出一种稳定性更强、融合效果更好、速度更快的基于FDST和双通道PCNN的异源图像融合方法。
本发明的原理：
(1)有限离散剪切波变换(FDST)
将抛物线缩放矩阵和剪切矩阵分别定义为：
对函数ψ∈L2(R2)进行膨胀、剪切、平移变换的连续剪切波具有如下的形式：
再对连续剪切波ψa,s,t(x)进行二维傅里叶变换，可得到任意函数f的连续剪切波变换及其对应的Parseval等式为：
为了增强方向选择性，通过定义频域的小波函数和冲激函数，将频域平面分成水平锥面Ch、垂直锥面Cv、锥面交界处C×和低频部分C0多个不同区域。在连续剪切波ψa,s,t(x)的基础上，对式(2)的参数进行离散化，可得到Ch、Cv区域的离散剪切波变换进一步地，将锥面交界处C×的离散剪切波变换定义为和式因此，全频域不同区域的离散剪切波形式可表示为：
由于式(4)能够通过二维快速傅里叶变换来实现，FDST的运算效率较之ST有明显的提高。利用FDST，源图像经过L层分解可以得到1个低频子带和一系列的高频方向子带。
(2)双通道脉冲耦合神经网络(双通道PCNN)
传统的PCNN模型中，每个神经元只接受一个外部刺激，且模型中包含大量的非线性的参数，导致传统的PCNN复杂笨重，计算缓慢，且融合时对图像中亮度较小的区域不敏感，融合效果不尽如人意。双通道PCNN模型保持了PCNN脉冲同步和全局耦合的特性，简化了参数设置。双通道PCNN的数学模型可以表示为：
式(5)中，是神经元的双通道馈送输入；Lij是神经元的链接输入；是对应的链接强度；Uij是神经元的内部状态项；Yij是神经元的点火脉冲输出；αL和αθ分别是神经元链接输入Lij和动态阈值θij的衰减系数。
双通道PCNN可实现源图像双通道输入，融合图像直接输出，其耦合调制特性能够捕获邻近神经元的相似性信息，对于图像融合有极强的兼容性和适用性。
本发明的技术解决方案如下：
一种基于FDST和双通道PCNN的异源图像融合方法，其特点在于，所述方法包括以下步骤：
步骤S1，将两幅待融合的原始图像分别采用FDST分解成1个低频子带和多个高频子带：
步骤S2，对两幅图像的低频子带进行加权平均得到融合后的低频子带；
步骤S3，将两幅图像的高频子带分别作为双通道PCNN的外部输入刺激送入双通道PCNN，得到融合后的高频子带；
步骤S4，将融合后的低频子带和高频子带通过FDST反变换，重构出最终的融合图像。
与现有技术相比，本发明的有益效果是：FDST增强了对原始图像中的特征的解析，对FDST分解得到的子带进行融合对保留原始图像中的细节特征是有帮助的；双通道PCNN的结构使得每个像素位置的子带系数都对最后的融合结果有所贡献，并且考虑了附近区域的像素特征，有利于提高融合效果；FDST和双通道PCNN两者的结合一方面能够提高最终融合图像的质量，一方面计算效率较高。总的来说，基于FDST和双通道PCNN的异源图像融合方法可以有效解决融合图像对比度降低、缺陷增多、特征湮灭、计算复杂度高、可靠性弱等问题，实用性较强。
附图说明
图1是有限离散剪切波变换频域铺叠图
图2是双通道脉冲耦合神经网络结构图
图3是本发明方法的异源图像融合流程图
图4是待融合红外图像示例图
图5是待融合可见光图像示例图
图6是本发明方法的融合结果示例图
具体实施方式
本发明所要解决的技术问题是提供一种基于FDST和双通道PCNN的异源图像融合方法。
本发明所公开的图像四边形提取方法，包括以下步骤：
步骤S1，将两幅待融合的原始图像分别采用FDST分解成1个低频子带和多个高频子带：
FDST分解层数和分解方向数可根据应用要求进行配置。当分解层数越多，分解方向数越多时，计算耗时也越多。一般地，当分解层数设为4，分解方向数设置为8，能满足对融合质量的基本要求。
步骤S2，对两幅图像的低频子带进行加权平均得到融合后的低频子带；
步骤S3，将两幅图像的高频子带分别作为双通道PCNN的外部输入刺激送入双通道PCNN，得到融合后的高频子带；
步骤S4，将融合后的低频子带和高频子带通过FDST反变换，重构出最终的融合图像。
图3所示为本发明方法的异源图像融合流程示意图。以图4的红外图像和图5的可见光图像融合为例。图4所示的红外图像的温度信息以灰度的形式得到了充分的表现，但是因为绝缘子的伞盘高度较低，且伞盘之间的距离较近，绝缘子伞盘等位置的信息在红外图像上无法清晰地观测到。而可见光图像虽然没有包含温度信息，但是绝缘子的伞盘部分轮廓清楚，甚至包含了设备出线接头、光照阴影等细节信息。经过异源图像融合，图6所示的融合结果包含了更为丰富的绝缘子细节信息，整体图像的信息量和质量都得到了提高。

Claims (4)

1.一种基于FDST和双通道PCNN的异源图像融合方法，其特征在于，所述方法包括以下步骤：
步骤S1，将两幅待融合的原始图像分别采用FDST分解成1个低频子带和多个高频子带：
步骤S2，对步骤1分解得到的低频子带系数，进行加权平均得到融合后的低频子带；
步骤S3，通过双通道PCNN对步骤1分解得到的高频子带系数进行子带融合，得到融合后的高频子带；
步骤S4，对融合后的低频子带和高频子带进行FDST反变换，得到最终融合图像。
2.根据权利要求1所述的异源图像融合方法，其特征在于，采用FDST作为多尺度分解的工具对原始图像进行分解，得到低频子带和高频子带。
3.根据权利要求1所述的异源图像融合方法，其特征在于，对低频子带采用简单的加权平均方法进行子带系数融合。
4.根据权利要求1所述的异源图像融合方法，其特征在于，对高频子带采用双通道PCNN进行子带系数融合。
CN201910241540.1A 2019-03-28 2019-03-28 基于fdst和双通道pcnn的异源图像融合方法 Pending CN110009026A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910241540.1A CN110009026A (zh) 2019-03-28 2019-03-28 基于fdst和双通道pcnn的异源图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910241540.1A CN110009026A (zh) 2019-03-28 2019-03-28 基于fdst和双通道pcnn的异源图像融合方法

Publications (1)

Publication Number Publication Date
CN110009026A true CN110009026A (zh) 2019-07-12

Family

ID=67168572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910241540.1A Pending CN110009026A (zh) 2019-03-28 2019-03-28 基于fdst和双通道pcnn的异源图像融合方法

Country Status (1)

Country Link
CN (1) CN110009026A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874581A (zh) * 2019-11-18 2020-03-10 长春理工大学 细胞工厂生物反应器图像融合方法
CN115100140A (zh) * 2022-06-22 2022-09-23 复旦大学 一种基于多传感融合的检测缺陷图像融合方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722877A (zh) * 2012-06-07 2012-10-10 内蒙古科技大学 基于双通道pcnn的多聚焦图像融合方法
CN109102485A (zh) * 2018-09-11 2018-12-28 中国科学院长春光学精密机械与物理研究所 基于nsst和自适应双通道pcnn的图像融合方法及装置
CN109360182A (zh) * 2018-10-31 2019-02-19 广州供电局有限公司 图像融合方法、装置、计算机设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722877A (zh) * 2012-06-07 2012-10-10 内蒙古科技大学 基于双通道pcnn的多聚焦图像融合方法
CN109102485A (zh) * 2018-09-11 2018-12-28 中国科学院长春光学精密机械与物理研究所 基于nsst和自适应双通道pcnn的图像融合方法及装置
CN109360182A (zh) * 2018-10-31 2019-02-19 广州供电局有限公司 图像融合方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
戴进墩 等: ""基于 FDST 和双通道 PCNN 的红外与可见光图像融合"", 《红外与激光工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874581A (zh) * 2019-11-18 2020-03-10 长春理工大学 细胞工厂生物反应器图像融合方法
CN110874581B (zh) * 2019-11-18 2023-08-01 长春理工大学 细胞工厂生物反应器图像融合方法
CN115100140A (zh) * 2022-06-22 2022-09-23 复旦大学 一种基于多传感融合的检测缺陷图像融合方法

Similar Documents

Publication Publication Date Title
CN109035189B (zh) 基于柯西模糊函数的红外与弱可见光图像融合方法
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
US8270772B2 (en) Image resizing for web-based image search
CN110400275B (zh) 一种基于全卷积神经网络和特征金字塔的颜色校正方法
CN111161360B (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN108090885B (zh) 用于处理图像的方法和装置
Meng et al. From night to day: GANs based low quality image enhancement
CN111696033B (zh) 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法
CN110009026A (zh) 基于fdst和双通道pcnn的异源图像融合方法
CN105139371A (zh) 一种基于pcnn与lp变换的多聚焦图像融合方法
CN105225213B (zh) 一种基于s‑pcnn与拉普拉斯金字塔的彩色图像融合方法
CN104268590A (zh) 基于互补性组合特征与多相回归的盲图像质量评价方法
KR102177247B1 (ko) 조작 이미지 판별 장치 및 방법
CN110276777A (zh) 一种基于深度图学习的图像分割方法及装置
CN110390724B (zh) 一种带有实例分割的slam方法
Aishwarya et al. An image fusion framework using novel dictionary based sparse representation
CN108961270B (zh) 一种基于语义分割的桥梁裂缝图像分割模型
CN104809714A (zh) 基于多形态稀疏表示的图像融合方法
CN109522918B (zh) 基于改进的局部奇异谱分析的高光谱图像特征提取方法
Ye et al. Image enhancement for inspection of cable images based on retinex theory and fuzzy enhancement method in wavelet domain
Cheng et al. Study of wavelet transform-based image fusion methods
CN114743245A (zh) 增强模型的训练方法、图像处理方法、装置、设备及介质
CN111462161B (zh) 一种实时视频人像提取的系统、方法、存储介质和设备
Gao et al. OTSU image segmentation algorithm with immune computation optimized PCNN parameters
CN109284769B (zh) 一种基于量化参数的水下图像自适应分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190712

WD01 Invention patent application deemed withdrawn after publication