CN111275655A - 一种多聚焦多源图像融合方法 - Google Patents

一种多聚焦多源图像融合方法 Download PDF

Info

Publication number
CN111275655A
CN111275655A CN202010073108.9A CN202010073108A CN111275655A CN 111275655 A CN111275655 A CN 111275655A CN 202010073108 A CN202010073108 A CN 202010073108A CN 111275655 A CN111275655 A CN 111275655A
Authority
CN
China
Prior art keywords
fusion
tree
decomposition
source image
wavelet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010073108.9A
Other languages
English (en)
Other versions
CN111275655B (zh
Inventor
王文举
傅杰
高欣然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202010073108.9A priority Critical patent/CN111275655B/zh
Publication of CN111275655A publication Critical patent/CN111275655A/zh
Application granted granted Critical
Publication of CN111275655B publication Critical patent/CN111275655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种多聚焦多源图像融合方法，对具有M个聚焦点的源图像进行分解融合叠加处理，将源图像分解成基部和细节，采用双数复小波算法对所述基部进行滤波去噪获得融合基部，采用预训练模型VGG‑S对细节进行深度特征提取获得细节特征，并采用多层融合策略重构细节特征，接着对所述细节特征选取梯度极大值获得融合细节，最后将获得的融合基部和融合细节进行叠合，完成图像融合。该方法获得的融合图像不仅保留了融合前图像的特征信息，提高了图像有效信息的利用率，同时清晰度也更高，更加细节化，全面化，优质化。该方法应用范围更为广阔，可以在日常生活，医学，军事等方面提供更多图像信息。

Description

一种多聚焦多源图像融合方法
技术领域
本发明属于图像融合领域，涉及一种多聚焦多源图像融合方法，具体涉及一种基于深度学习与双树复小波技术的多聚焦多源图像融合方法。
背景技术
随着社会科学技术的不断发展，出现了多重多样的成像设备，比如彩色摄影，彩色红外线摄影，多光谱摄影，手机摄影等，这些成像设备在各行各业被广泛应用。但是由于各个设备本身所带有的摄影局限性，拍摄出来的照片也并不一定能够满足需求。
目前，多种技术被应用到多源图像融合领域中。常见的图像融合技术有：小波变换法、轮廓变换法、稀疏表示法等。
小波变换法，可以在不同的方向和分辨率上融合对应信息，使融合的图像更加清晰，细节更加丰富。在小波分析的基础下，考虑了低频子带与高频子带的空间关系，提出新的算法成功提高了图像质量，但是该方法在最终图像中留下了一些残留伪影，所获图像受一定影响。一种基于小波变换和灰度特征的像素级图像融合方法，比传统融合方法更加准确、显著、有效，但是它的计算量和使用方法主要是针对具有不同方向文本的图像，不具有广泛性。小波变换法的实现简单，在不同的应用下有很多变化，但本身包含一些缺点，方向分辨率不够高，即使不断改造后的小波函数仍不能完全满足人们的图像处理需求。
轮廓变换法，使用迭代滤波器组在接近临界采样的同时能够在不同尺度上进行不同方向的分解，提高计算量。但是融合图像的热目标会比源红外图像更暗，融合图像质量受损。而且在轮廓波变换过程中，所使用的滤波器存在过采样和非正交特性的缺点，导致其变换后的系数需要进一步进行处理，计算速度缓慢。
稀疏表示法，其本质是使用较少的资源表示尽可能多的知识，可以较大的减少计算量，提高计算速度。稀疏表示在处理高维信号方面十分有利，但其时间复杂度高，因此实际应用较少。
近几年深度学习在算法方面有极大的创新，让神经网络运行更快，越来越多人将深度学习模型引入了图像融合领域，使图像融合领域得到了进一步发展。目前现有的利用深度学习融合图像的方法依然存在很大缺陷，一方面为得到较好的融合效果，仍需要对融合图像进行后处理，另一方面该方法仅适用于多源图像的融合，另外随着网络层的不断加深，容易使部分细节特征丢失，造成图像模糊。
发明内容
本发明是针对上述问题而进行的，目的在于提供一种多聚焦多源图像融合方法，用于对具有M个聚焦点的源图像进行分解融合叠加处理。
为实现上述目的，本发明采用如下技术方案：
一种多聚焦多源图像融合方法，其特征在于，包括如下步骤：
基部和细节分离，采用优化算法对源图像进行分解获得源图像的基部以及细节；
基部融合，采用双树复小波算法对基部进行滤波去噪，从而得到融合基部FB；
特征提取，采用预训练模型VGG-S对细节进行深度特征提取从而获得细节特征；
细节融合，采用多层融合策略重构细节特征，接着对细节特征选取梯度极大值，从而得到融合细节FD；
基部和细节叠加，将融合完成后的融合基部FB以及融合细节FD叠加，完成图像融合。
本发明提供的多聚焦多源图像融合方法，还可以具有这样的特征，其中，优化算法为基于引导滤波的优化分解方法。
进一步地，本发明提供的多聚焦多源图像融合方法，基部和细节分离具体包括如下步骤：
将源图像用矩阵表示为IM。
采用基于引导滤波的优化分解方法分离源图像的基部
Figure BDA0002376226990000031
计算公式为：
Figure BDA0002376226990000032
其中，gx＝[-1 1]为水平梯度运算符,gy＝[-1 1]T为垂直梯度运算符，λ为局部权重参数。
根据计算得到的源图像的基部
Figure BDA0002376226990000033
计算源图像的细节
Figure BDA0002376226990000034
计算公式为：
Figure BDA0002376226990000041
进一步地，本发明提供的多聚焦多源图像融合方法，基部融合具体包括如下步骤：
S1，对源图像的基部分别进行双树复小波变换，从而得到基部的多阶双树复小波分解子图像；
S2，对多阶双树复小波分解子图像的各阶分解层进行融合处理，从而得到融合后的多阶双树复小波子图像；
S3，对融合后的多阶双树复小波子图像进行逆双树复小波变换，从而得到融合基部FB。
进一步地，本发明提供的多聚焦多源图像融合方法，步骤S1具体包括如下步骤：
采用两个独立的小波变换同时作用进行复数小波变换，小波函数为：
Ψ(t)＝Ψh(t)+iΨg(t)
其中，i为虚数，i2＝-1；Ψh(t)和Ψg(t)为实数值小波。
对基部FB的每一行进行一次一维双树复小波变换，然后对基部的每一列进行一次一维双树复小波变换，从而得到两个平行的小波树，树A和树B。
一级分解，用树A表示复小波的实部，树B表示复小波的虚部，采用低通滤波器h0(n)和高通滤波器h1(n)对树A进行滤波，得到树A的尺度函数
Figure BDA0002376226990000042
和小波函数Ψh(t)：
Figure BDA0002376226990000043
Figure BDA0002376226990000051
采用低通滤波器g0(n)和高通滤波器g1(n)对树B进行滤波，得到树B的尺度函数
Figure BDA0002376226990000052
和小波函数Ψg(t)：
Figure BDA0002376226990000053
Figure BDA0002376226990000054
二级分解，对树A的尺度函数
Figure BDA0002376226990000055
和小波函数Ψh(t)以及树B的尺度函数
Figure BDA0002376226990000056
和小波函数Ψg(t)，分别采用低通滤波器和高通滤波器进行滤波，得到二级分解后的尺度函数和小波函数。
多级分解，对上一级分解后得到的尺度函数和小波函数分别采用低通滤波器和高通滤波器进行滤波，每一级分解后得到6个高频子带H(j+1,i)，i∈{1,2,3,4,5,6}以及2个低频子带L(j+1,1)、L(j+1,2)。
将多级分解后得到的低频子带作为多阶双树复小波分解子图像。
本发明提供的多聚焦多源图像融合方法，还可以具有这样的特征，其中，融合处理对各阶分解层的不同频率分量采用不同的融合算子，对同阶分解层采用相同的融合算子。
进一步地，本发明提供的多聚焦多源图像融合方法，特征提取具体包括如下步骤：
将分离获得的细节
Figure BDA0002376226990000059
导入Matlab的工具箱matconvnet中的预训练模型VGG-S中，利用预训练模型从细节中提取细节特征。
进一步地，本发明提供的多聚焦多源图像融合方法，细节融合包括如下步骤：
针对细节
Figure BDA0002376226990000057
采用M维向量
Figure BDA0002376226990000058
表示其特征映射，其中i表示第i层，k表示第i层的信道数，k∈{1,2,…,K},K＝64×2i-1，则(x,y)处的特征映射为
Figure BDA0002376226990000061
采用特征映射
Figure BDA0002376226990000062
的L1-范数作为细节的活动水平度量，从而得到初始活动水平图
Figure BDA0002376226990000063
采用基于块的平均算子对初始活动水平图
Figure BDA0002376226990000064
进行计算，从而得到最终活动水平图
Figure BDA0002376226990000065
采用软最大算子对最终活动水平图
Figure BDA0002376226990000066
进行计算，从而得到初始权重图
Figure BDA0002376226990000067
采用上采样处理器将初始权重图
Figure BDA0002376226990000068
的大小修改成细节的大小，从而得到四对最终权重图
Figure BDA0002376226990000069
i∈{0,1,2,3,4}，计算公式为：
Figure BDA00023762269900000610
设初始权重图
Figure BDA00023762269900000611
在点(x,y)处的梯度为
Figure BDA00023762269900000612
将梯度
Figure BDA00023762269900000613
转变为一个二维列矢量：
Figure BDA00023762269900000614
采用梯度极大值算法，选取梯度
Figure BDA00023762269900000615
的最大值从而获得融合细节FD，，融合细节FD的计算公式为：
Figure BDA00023762269900000616
进一步地，本发明提供的多聚焦多源图像融合方法，基部和细节叠加包括如下步骤：
将融合完成后的融合基部FB以及融合细节FD叠加，从而获得融合图像F(x,y)，融合图像F(x,y)的计算公式为：
F(x,y)＝FB(x,y)+FD(x,y)
发明作用与效果
根据本发明的多聚焦多源图像融合方法，对具有M个聚焦点的源图像进行分解融合叠加处理，不再需要后处理。该方法获得的融合图像不仅保留了融合前图像的特征信息，提高了图像有效信息的利用率，同时清晰度也更高，更加细节化，全面化，优质化。而且本实施例针对多源多聚焦图像，其应用范围更为广阔，可以在日常生活，医学，军事等方面提供更多图像信息。
附图说明
图1是本发明实施例的多聚焦多源图像融合方法流程图；
图2是本发明实施例的二维双树复小波变换的分解示意图；
图3是本发明实施例的VGG系列模型中top-1和top-5错误率的对比图；
图4是本发明实施例的1号实验图，其中(a)为左聚焦图像，(b)为右聚焦图像，(c)为使用本实施例的多聚焦多源图像融合方法将(a)和(b)融合后的图像；
图5是本发明实施例的2号实验图，其中(a)为左聚焦图像，(b)为右聚焦图像，(c)为使用本实施例的多聚焦多源图像融合方法将(a)和(b)融合后的图像；
图6是本发明实施例的3号实验图，其中(a)为可见光图像，(b)为红外图像，(c)为使用本实施例的多聚焦多源图像融合方法将(a)和(b)融合后的图像；
图7是本发明实施例的4号实验图，其中(a)为可见光图像，(b)为红外图像，(c)为使用本实施例的多聚焦多源图像融合方法将(a)和(b)融合后的图像。
具体实施方式
以下结合附图以及实施例来说明本发明的具体实施方式。
<实施例>
本实施例提供一种多聚焦多源图像融合方法，用于对具有M个聚焦点的源图像进行分解融合叠加处理。本实施例中M＝2，即对具有两个聚焦点的源图像进行分解融合叠加处理。
图1是本发明实施例的多聚焦多源图像融合方法流程图。
如图1所示，多聚焦多源图像融合方法的步骤为：
基部和细节分离，采用优化算法对源图像进行分解获得源图像的基部以及细节，本实施例采用的优化算法为基于引导滤波的优化分解算法。
将源图像用矩阵表示为IM。
采用基于引导滤波的优化分解方法分离源图像的基部
Figure BDA0002376226990000081
计算公式为：
Figure BDA0002376226990000082
其中，gx＝[-1 1]为水平梯度运算符,gy＝[-1 1]T为垂直梯度运算符，λ为局部权重参数，本实施例中λ设置为5。
根据计算得到的源图像的基部
Figure BDA0002376226990000091
计算源图像的细节
Figure BDA0002376226990000092
计算公式为：
Figure BDA0002376226990000093
基部融合，采用双树复小波算法对基部进行滤波去噪，从而得到融合基部FB，包括如下步骤：
S1，对源图像的基部分别进行双树复小波变换，从而得到基部的多阶双树复小波分解子图像。
采用两个独立的小波变换同时作用进行复数小波变换，小波函数为：
Ψ(t)＝Ψh(t)+iΨg(t)
其中，i为虚数，i2＝-1；Ψh(t)和Ψg(t)为实数值小波。
本实施例是对具有两个聚焦点的源图像进行分解融合叠加处理，因此Ψ(t)在本实施例中是二维，二维双树复小波可定义为：
Ψc(x,y)
＝Ψ(x)Ψ(y)
＝[Ψh(x)+iΨg(x)][Ψh(y)+iΨg(y)]
＝Ψh(x)Ψh(y)-Ψg(x)Ψg(y)+i[Ψg(x)Ψh(y)+Ψh(x)Ψg(y)]
其中，i为虚数，i2＝-1；Ψh(t)和Ψg(t)为正交或双正交的实小波。
图2是本发明实施例的二维双树复小波变换的分解示意图。
如图2所示，将基部FB作为双树复小波分解的源图像Lj，对Lj的每一行进行一次一维双树复小波变换，然后对Lj的每一列进行一次一维双树复小波变换，从而得到两个平行的小波树，树A和树B。
一级分解，用树A表示复小波的实部，树B表示复小波的虚部，采用低通滤波器h0(n)和高通滤波器h1(n)对树A进行滤波，得到树A的尺度函数
Figure BDA0002376226990000108
和小波函数Ψh(t)：
Figure BDA0002376226990000101
Figure BDA0002376226990000102
采用低通滤波器g0(n)和高通滤波器g1(n)对树B进行滤波，得到树B的尺度函数
Figure BDA0002376226990000103
和小波函数Ψg(t)：
Figure BDA0002376226990000104
Figure BDA0002376226990000105
二级分解，对树A的尺度函数
Figure BDA0002376226990000106
和小波函数Ψh(t)以及树B的尺度函数
Figure BDA0002376226990000107
和小波函数Ψg(t)，分别采用低通滤波器和高通滤波器进行滤波，得到二级分解后的尺度函数和小波函数。
多级分解，对上一级分解后得到的尺度函数和小波函数分别采用低通滤波器和高通滤波器进行滤波，每一级分解后得到6个高频子带H(j+1,i)，i∈{1,2,3,4,5,6}以及2个低频子带L(j+1,1)、L(j+1,2)，每层分解都基于上一层的低频子带进行，其中j为分解级数。
本实施例中使用级数j＝6的的低频子带作为多阶双树复小波分解子图像进行融合。
S2，对多阶双树复小波分解子图像的各阶分解层进行融合处理，融合处理对各阶分解层的不同频率分量采用不同的融合算子，对同阶分解层采用相同的融合算子，从而得到融合后的多阶双树复小波子图像。
S3，对融合后的多阶双树复小波子图像进行逆双树复小波变换，从而得到融合基部FB。
特征提取，采用预训练模型VGG-S对细节进行深度特征提取从而获得细节特征。
图3是本发明实施例的VGG系列模型中top-1和top-5错误率的对比图。
如图3所示，选用VGG卷积神经网络模型作为本实施例的深度学习模型，通过图3中(a)和(b)所示的容错率对比，可以得出无论在top-1或者top-5的错误率上VGG-S在同系列VGG-Net中是最小的，因此本实施例采用VGG-S对细节
Figure BDA0002376226990000111
进行处理。将分离获得的细节
Figure BDA0002376226990000112
导入Matlab的工具箱matconvnet中的预训练模型VGG-S中，利用预训练模型从细节中提取细节特征。
细节融合，采用多层融合策略重构细节特征，接着对细节特征选取梯度极大值，从而得到融合细节FD。
针对细节
Figure BDA0002376226990000113
采用M维向量
Figure BDA0002376226990000114
表示其特征映射，其中i表示第i层，k表示第i层的信道数，k∈{1,2,…,K},K＝64×2i-1，则(x,y)处的特征映射可表示为
Figure BDA0002376226990000115
采用特征映射
Figure BDA0002376226990000116
的L1-范数作为细节的活动水平度量，从而得到初始活动水平图
Figure BDA0002376226990000117
采用基于块的平均算子对初始活动水平图
Figure BDA0002376226990000118
进行计算，从而得到最终活动水平图
Figure BDA0002376226990000121
采用软最大算子对最终活动水平图
Figure BDA0002376226990000122
进行计算，从而得到初始权重图
Figure BDA0002376226990000123
由于VGG网络中池操作符的步长是2，因此，在VGG不同的网络层中，特征映射的大小是细节内容大小的1/2i-1倍。对此采用上采样处理器将初始权重图
Figure BDA0002376226990000124
的大小修改成细节的大小，从而得到四对最终权重图
Figure BDA0002376226990000125
i∈{0,1,2,3,4}，计算公式为：
Figure BDA0002376226990000126
设初始权重图
Figure BDA0002376226990000127
在点(x,y)处的梯度为
Figure BDA0002376226990000128
将梯度
Figure BDA0002376226990000129
转变为一个二维列矢量：
Figure BDA00023762269900001210
采用梯度极大值算法，选取梯度
Figure BDA00023762269900001211
的最大值从而获得融合细节FD，融合细节FD的计算公式为：
Figure BDA00023762269900001212
基部和细节叠加，将融合完成后的融合基部FB以及融合细节FD叠加，完成图像融合。
将融合完成后的融合基部FB以及融合细节FD叠加，从而获得融合图像F(x,y)，融合图像F(x,y)的计算公式为：
F(x,y)＝FB(x,y)+FD(x,y)
本实施例对四组多聚焦图像进行融合。
图4是本发明实施例的1号实验图，其中(a)为左聚焦图像，(b)为右聚焦图像，(c)为使用本实施例的多聚焦多源图像融合方法将(a)和(b)融合后的图像。
图5是本发明实施例的2号实验图，其中(a)为左聚焦图像，(b)为右聚焦图像，(c)为使用本实施例的多聚焦多源图像融合方法将(a)和(b)融合后的图像。
图6是本发明实施例的3号实验图，其中(a)为可见光图像，(b)为红外图像，(c)为使用本实施例的多聚焦多源图像融合方法将(a)和(b)融合后的图像；
图7是本发明实施例的4号实验图，其中(a)为可见光图像，(b)为红外图像，(c)为使用本实施例的多聚焦多源图像融合方法将(a)和(b)融合后的图像。
如图4～7所示，经过融合处理后的图片在保留了图像的显著特征的同时获得了比融合前的两幅源图像更多的特征信息。
为能够客观评价本实施例方法所得的融合图像的性能，本文对四组融合图像，采用计算峰值信噪比(PSNR)，结构相似性(SSIM)，均方根误差(RMSE)以及图像熵(E)的值方法，与现有技术的离散小波变换法和均值法进行比对分析。
其中，峰值信噪比越大，代表着图像质量越好。结构相似性值越大则两幅图像结构相似度越大，最大为1。均方根误差是观测值与真值偏差的平方和与观测次数m比值的平方根。图像熵它反映了图像中平均信息量的多少，E越大表示融合图像信息量越大。
表(1)是对图4中(a)和(b)使用本实施例的融合方法得到的融合图像(c)以及使用现有融合方法得到的融合图像与源图像的峰值信噪比、结构相似性、均方根误差以及图像熵的值的比对。
Figure BDA0002376226990000141
表(1)
表(2)是对图6中(a)和(b)使用本实施例的融合方法得到的融合图像(c)以及使用现有融合方法得到的融合图像与源图像的峰值信噪比、结构相似性、均方根误差以及图像熵的值的比对。
Figure BDA0002376226990000142
Figure BDA0002376226990000151
表(2)
如表(1)和表(2)所示，本实施例提供的多聚焦多源图像融合方法所得的融合图像在峰值信噪比，结构相似性，均方根误差以及图像熵方面均优于对比的离散小波变换法和均值法。可以得出本文融合图像所含信息量较高，得到的图像的噪声较少，清晰度更高。
实施例作用与效果
根据本实施例的多聚焦多源图像融合方法，用于对具有M个聚焦点的源图像进行分解融合叠加处理，将源图像分解成基部和细节，采用双数复小波算法对基部进行滤波去噪获得融合基部，采用预训练模型VGG-S对细节进行深度特征提取获得细节特征，并采用多层融合策略重构细节特征，接着对细节特征选取梯度极大值获得融合细节，最后将获得的融合基部和融合细节进行叠合，完成图像融合。该方法获得的融合图像不仅保留了融合前图像的特征信息，提高了图像有效信息的利用率，同时清晰度也更高，更加细节化，全面化，优质化。而且本实施例针对多源多聚焦图像，其应用范围更为广阔，可以在日常生活，医学，军事等方面提供更多图像信息。
以上实施例仅用于说明本发明提供的多聚焦多源图像融合方法的实施方式及运行结果，但本发明并不仅仅限定于在上述实施例中进行，对于其他类型的多聚焦多源图像，本发明提供的方法也同样有效。

Claims (9)

1.一种多聚焦多源图像融合方法，用于对具有M个聚焦点的源图像进行分解融合叠加处理，其中M为大于1的整数，其特征在于，包括如下步骤：
基部和细节分离，采用优化算法对所述源图像进行分解获得所述源图像的基部以及细节；
基部融合，采用双树复小波算法对所述基部进行滤波去噪，从而得到融合基部FB；
特征提取，采用预训练模型VGG-S对所述细节进行深度特征提取从而获得细节特征；
细节融合，采用多层融合策略重构所述细节特征，接着对所述细节特征选取梯度极大值，从而得到融合细节FD；
基部和细节叠加，将融合完成后的所述融合基部FB以及所述融合细节FD叠加，完成图像融合。
2.根据权利要求1所述的多聚焦多源图像融合方法，其特征在于：
其中，所述优化算法为基于引导滤波的优化分解方法。
3.根据权利要求1和2所述的多聚焦多源图像融合方法，其特征在于，所述基部和细节分离的具体步骤如下：
将所述源图像用矩阵表示为IM，
采用所述基于引导滤波的优化分解方法分离所述源图像的所述基部
Figure FDA0002376226980000021
计算公式为：
Figure FDA0002376226980000022
其中，gx＝[-1 1]为水平梯度运算符,gy＝[-1 1]T为垂直梯度运算符，λ为局部权重参数，
根据计算得到的所述源图像的所述基部
Figure FDA0002376226980000023
计算所述源图像的所述细节
Figure FDA0002376226980000024
计算公式为：
Figure FDA0002376226980000025
4.根据权利要求1所述的多聚焦多源图像融合方法，其特征在于，所述基部融合的具体步骤如下：
S1，对所述源图像的所述基部分别进行双树复小波变换，从而得到所述基部的多阶双树复小波分解子图像，
S2，对所述多阶双树复小波分解子图像的各阶分解层进行融合处理，从而得到融合后的多阶双树复小波子图像，
S3，对融合后的所述多阶双树复小波子图像进行逆双树复小波变换，从而得到所述融合基部FB。
5.根据权利要求4所述的多聚焦多源图像融合方法，其特征在于，所述步骤S1具体步骤如下：
采用两个独立的小波变换同时作用进行复数小波变换，小波函数为：
Ψ(t)＝Ψh(t)+iΨg(t)
其中，i为虚数，i2＝-1；Ψh(t)和Ψg(t)为实数值小波，
对所述基部FB的每一行进行一次一维双树复小波变换，然后对所述基部的每一列进行一次一维双树复小波变换，从而得到两个平行的小波树，树A和树B，
一级分解，用所述树A表示复小波的实部，所述树B表示复小波的虚部，采用低通滤波器h0(n)和高通滤波器h1(n)对所述树A进行滤波，得到所述树A的尺度函数
Figure FDA0002376226980000031
和小波函数Ψh(t)：
Figure FDA0002376226980000032
Figure FDA0002376226980000033
采用低通滤波器g0(n)和高通滤波器g1(n)对所述树B进行滤波，得到所述树B的尺度函数
Figure FDA0002376226980000034
和小波函数Ψg(t)：
Figure FDA0002376226980000035
Figure FDA0002376226980000036
二级分解，对所述树A的尺度函数
Figure FDA0002376226980000037
和小波函数Ψh(t)以及所述树B的尺度函数
Figure FDA0002376226980000038
和小波函数Ψg(t)，分别采用低通滤波器和高通滤波器进行滤波，得到二级分解后的所述尺度函数和小波函数，
多级分解，对上一级分解后得到的所述尺度函数和所述小波函数分别采用低通滤波器和高通滤波器进行滤波，每一级分解后得到6个高频子带H(j+1,i)，i∈{1,2,3,4,5,6}以及2个低频子带L(j+1,1)、L(j+1,2)，每一级分解都基于上一层的低频子带进行，其中j为分解级数，
将多级分解后得到的所述低频子带作为所述多阶双树复小波分解子图像。
6.根据权利要求4所述的多聚焦多源图像融合方法，其特征在于：
其中，所述融合处理对各阶所述分解层的不同频率分量采用不同的融合算子，对同阶所述分解层采用相同的融合算子。
7.根据权利要求1所述的多聚焦多源图像融合方法，其特征在于，所述特征提取的具体步骤如下：
将分离获得的所述细节
Figure FDA0002376226980000041
导入Matlab的工具箱matconvnet中的所述预训练模型VGG-S中，利用所述预训练模型从所述细节中提取所述细节特征。
8.根据权利要求1所述的多聚焦多源图像融合方法，其特征在于，所述细节融合的具体步骤如下：
针对所述细节
Figure FDA0002376226980000042
采用M维向量
Figure FDA0002376226980000043
表示其特征映射，其中i表示第i层，k表示第i层的信道数，k∈{1,2,…,K},K＝64×2i-1，则(x,y)处的特征映射为
Figure FDA0002376226980000044
采用所述特征映射
Figure FDA0002376226980000045
的L1-范数作为所述细节的活动水平度量，从而得到初始活动水平图
Figure FDA0002376226980000046
采用基于块的平均算子对所述初始活动水平图
Figure FDA0002376226980000047
进行计算，从而得到最终活动水平图
Figure FDA0002376226980000048
采用软最大算子对最终活动水平图
Figure FDA0002376226980000049
进行计算，从而得到初始权重图
Figure FDA0002376226980000051
采用上采样处理器将所述初始权重图
Figure FDA0002376226980000052
的大小修改成所述细节的大小，从而得到四对最终权重图
Figure FDA0002376226980000053
计算公式为：
Figure FDA0002376226980000054
设初始权重图
Figure FDA0002376226980000055
在点(x,y)处的梯度为
Figure FDA0002376226980000056
将所述梯度
Figure FDA0002376226980000057
转变为一个二维列矢量：
Figure FDA0002376226980000058
采用梯度极大值算法，选取所述梯度
Figure FDA0002376226980000059
的最大值从而获得所述融合细节FD，所述融合细节FD的计算公式为：
Figure FDA00023762269800000510
9.根据权利要求1所述的多聚焦多源图像融合方法，其特征在于，所述基部和细节叠加的具体步骤如下：
将融合完成后的所述融合基部FB以及所述融合细节FD叠加，从而获得融合图像F(x,y)，所述融合图像F(x,y)的计算公式为：
F(x,y)＝FB(x,y)+FD(x,y)。
CN202010073108.9A 2020-01-20 2020-01-20 一种多聚焦多源图像融合方法 Active CN111275655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010073108.9A CN111275655B (zh) 2020-01-20 2020-01-20 一种多聚焦多源图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010073108.9A CN111275655B (zh) 2020-01-20 2020-01-20 一种多聚焦多源图像融合方法

Publications (2)

Publication Number Publication Date
CN111275655A true CN111275655A (zh) 2020-06-12
CN111275655B CN111275655B (zh) 2023-06-23

Family

ID=71003291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010073108.9A Active CN111275655B (zh) 2020-01-20 2020-01-20 一种多聚焦多源图像融合方法

Country Status (1)

Country Link
CN (1) CN111275655B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429393A (zh) * 2020-04-15 2020-07-17 四川警察学院 基于卷积弹性网络的多聚焦图像融合方法
CN111724334A (zh) * 2020-06-15 2020-09-29 石家庄铁道大学 多聚焦图像融合方法
CN111784619A (zh) * 2020-07-03 2020-10-16 电子科技大学 一种红外和可见光图像的融合方法
CN112819739A (zh) * 2021-01-28 2021-05-18 浙江祺跃科技有限公司 一种扫描电子显微镜图像处理方法和系统
CN113284079A (zh) * 2021-05-27 2021-08-20 山东第一医科大学(山东省医学科学院) 一种多模态医学图像融合方法
CN113313663A (zh) * 2021-06-09 2021-08-27 哈尔滨工业大学 基于零样本学习的多聚焦图像融合方法
CN113436078A (zh) * 2021-08-10 2021-09-24 诺华视创电影科技(江苏)有限公司 一种自适用图像超分辨率重构方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2507901A1 (en) * 2004-05-21 2005-11-21 Imaging Dynamics Company Ltd. De-noising digital radiological images
CN104299203A (zh) * 2014-10-27 2015-01-21 四川九洲电器集团有限责任公司 基于双树复小波变换的图像去噪方法
CN108399611A (zh) * 2018-01-31 2018-08-14 西北工业大学 基于梯度正则化的多聚焦图像融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2507901A1 (en) * 2004-05-21 2005-11-21 Imaging Dynamics Company Ltd. De-noising digital radiological images
CN104299203A (zh) * 2014-10-27 2015-01-21 四川九洲电器集团有限责任公司 基于双树复小波变换的图像去噪方法
CN108399611A (zh) * 2018-01-31 2018-08-14 西北工业大学 基于梯度正则化的多聚焦图像融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨航;吴笑天;贺柏根;朱明: "基于多尺度导引滤波的图像融合方法", 光电子·激光 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429393A (zh) * 2020-04-15 2020-07-17 四川警察学院 基于卷积弹性网络的多聚焦图像融合方法
CN111724334A (zh) * 2020-06-15 2020-09-29 石家庄铁道大学 多聚焦图像融合方法
CN111784619A (zh) * 2020-07-03 2020-10-16 电子科技大学 一种红外和可见光图像的融合方法
CN111784619B (zh) * 2020-07-03 2023-04-28 电子科技大学 一种红外和可见光图像的融合方法
CN112819739A (zh) * 2021-01-28 2021-05-18 浙江祺跃科技有限公司 一种扫描电子显微镜图像处理方法和系统
CN112819739B (zh) * 2021-01-28 2024-03-01 浙江祺跃科技有限公司 一种扫描电子显微镜图像处理方法和系统
CN113284079A (zh) * 2021-05-27 2021-08-20 山东第一医科大学(山东省医学科学院) 一种多模态医学图像融合方法
CN113284079B (zh) * 2021-05-27 2023-02-28 山东第一医科大学(山东省医学科学院) 一种多模态医学图像融合方法
CN113313663A (zh) * 2021-06-09 2021-08-27 哈尔滨工业大学 基于零样本学习的多聚焦图像融合方法
CN113436078A (zh) * 2021-08-10 2021-09-24 诺华视创电影科技(江苏)有限公司 一种自适用图像超分辨率重构方法及装置
CN113436078B (zh) * 2021-08-10 2022-03-15 诺华视创电影科技(江苏)有限公司 一种自适用图像超分辨率重构方法及装置

Also Published As

Publication number Publication date
CN111275655B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN111275655B (zh) 一种多聚焦多源图像融合方法
Tian et al. Attention-guided CNN for image denoising
Tian et al. Deep learning on image denoising: An overview
Liu et al. Multi-level wavelet convolutional neural networks
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN111325165B (zh) 考虑空间关系信息的城市遥感影像场景分类方法
Zhao et al. Invertible image decolorization
CN110232653A (zh) 快速轻型超分辨率重建密集残差网络
CN109523513B (zh) 基于稀疏重建彩色融合图像的立体图像质量评价方法
CN110097617B (zh) 基于卷积神经网络与显著性权重的图像融合方法
Min et al. Blind deblurring via a novel recursive deep CNN improved by wavelet transform
CN113362250A (zh) 一种基于双树四元小波与深度学习的图像去噪方法及系统
Dharejo et al. A deep hybrid neural network for single image dehazing via wavelet transform
CN111815550A (zh) 一种基于灰度共生矩阵的红外与可见光图像融合方法
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
CN116563108A (zh) 一种基于残差多谱通道注意力网络水下图像超分辨率方法
CN108122262B (zh) 基于主结构分离的稀疏表示单帧图像超分辨率重建算法
Yang et al. An effective and comprehensive image super resolution algorithm combined with a novel convolutional neural network and wavelet transform
CN105139362A (zh) 一种基于频率域的图像增强方法
CN109003247B (zh) 彩色图像混合噪声的去除方法
Alsayyh et al. A Novel Fused Image Compression Technique Using DFT, DWT, and DCT.
Yu et al. Single image super-resolution based on improved WGAN
CN114549361B (zh) 一种基于改进U-Net模型的去图像运动模糊方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant