CN114862730B - 一种基于多尺度分析与vgg-19的红外与可见光图像融合方法 - Google Patents

一种基于多尺度分析与vgg-19的红外与可见光图像融合方法 Download PDF

Info

Publication number
CN114862730B
CN114862730B CN202110155081.2A CN202110155081A CN114862730B CN 114862730 B CN114862730 B CN 114862730B CN 202110155081 A CN202110155081 A CN 202110155081A CN 114862730 B CN114862730 B CN 114862730B
Authority
CN
China
Prior art keywords
image
layer
fusion
vgg
fused
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110155081.2A
Other languages
English (en)
Other versions
CN114862730A (zh
Inventor
严华
高承睿
刘飞强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202110155081.2A priority Critical patent/CN114862730B/zh
Publication of CN114862730A publication Critical patent/CN114862730A/zh
Application granted granted Critical
Publication of CN114862730B publication Critical patent/CN114862730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多尺度分析与VGG‑19的红外与可见光图像融合算法，它属于图像处理领域，主要解决目前融合方法中细节丢失、低对比度和边缘模糊的问题。包括如下步骤：步骤1：对源图像分别进行拉普拉斯金字塔分解，得到子带；步骤2：对于第N层子带，采用基于神经网络(VGG‑19)的方法提取图像特征，并采用“最大选择”的方式进行特征融合；步骤3：对于第1层子带，采用基于卷积稀疏表达(CSR)的方法进行融合；对于第2～N层子带，采用“最大选择”策略进行融合；步骤4：将融合后的子带，进行拉普拉斯逆变换，得到融合图像。本发明提出了新的融合框架，所得融合图像相比于其他经典融合算法在主观与客观评价上具有优越性。

Description

一种基于多尺度分析与VGG-19的红外与可见光图像融合方法
技术领域
本发明涉及数字图像处理领域，具体为一种基于多尺度分析与神经网络(VGG-19)的红外与可见光图像融合方法。
背景技术
红外与可见光图像融合作为一种图像增强技术，旨在融合来自不同传感器的图像，生成具有互补信息的融合图像并极大减小图像的冗余信息。根据传感器原理，可见光传感器捕获反射光，红外传感器捕获热辐射。因此，在光照充足的情况下，可见光图像包含丰富的细节信息；极端环境下(例如：有雾、夜晚等)，红外图像包含丰富的结构信息，可捕获到更多有用的图像信息。融合后的图片将包含更多的互补信息、细节信息及结构特征信息。由此，红外与可见光图像融合在各个领域均有非常广泛的应用，例如：军事检测、监控、目标监测等场景。因此，红外与可见光融合技术是不可或缺的图像处理技术。
当前，红外与可见光融合方法可大致分为三类：基于空间域的方法、基于变换域的方法、基于神经网络的方法。对于空间域的方法，是简单高效的，但很少可以考虑到红外与可见光图像之间的差别，导致丢失一些图片细节信息；对于变换域方法，可以解决图像细节保留的问题，但是由于融合策略目前较多的仅仅采用“最大选择”或“平均”的方法，导致融合图片的对比度有所降低；对于神经网络的方法，该类方法可以提取出深层图片结构信息和细节信息，但是涉及到训练过程复杂，运行速度较慢的问题。
针对上述存在的问题，提出一种基于多尺度变换与神经网络的红外与可见光融合方法。本技术利用拉普拉斯金字塔(LP)分解源图像，并对分解得到的高频部分与低频部分分别进行融合处理。利用VGG-19神经网络处理高频部分信息，利用卷积稀疏表达(CSR)的方式处理低频部分信息，提高了图片融合的质量，保留更多的图像细节信息，并在一定程度上提高了运行效率。
发明内容
本发明目的在于克服现有技术中存在的问题，提出了一种基于多尺度分析与VGG-19神经网络的红外与可见光图像融合方法，该方法能够有效融合源图像中的互补信息、细节信息及结构信息，同时在一定程度上提高融合效率。
本发明是通过以下技术方案实现的：
一种基于多尺度分析与VGG-19的红外与可见光图像融合方法，所述红外与可见光图像融合方法具体包括如下步骤：
步骤1：利用拉普拉斯金字塔分解源红外图像A和源可见光图像B，获取得到所述源图像A和源图像B的分解层数为N的拉普拉斯金字塔结构，第1～(N-1)层为高频部分，第N层为低频部分；
步骤2：将所述源图像A所得到的拉普拉斯金字塔结构第N层S1-N与源图像B的拉普拉斯金字塔结构第N层S2-N，采用CSR的图像融合方法进行融合，得到融合后的第N层Sf-N；
步骤3：将所述源图像A所得到的拉普拉斯金字塔结构第1层S1-1与源图像B所得到的拉普拉斯金字塔结构第1层S2-1，采用神经网络(VGG-19)的图像融合方法进行融合，得到融合后的第1层Sf-1；
步骤4：将所述源图像A所得到的拉普拉斯金字塔结构2～(N-1)层S1-n(其中，n∈(2,N-1))和源图像B所得到的拉普拉斯金字塔结构2～(N-1)层S2-n，采用“最大选择”策略进行融合，得到融合后的第2～(N-1)层Sf-n；
步骤5：将所述融合后的拉普拉斯金字塔相应层进行LP逆变换，最终得到融合图像。
进一步地，在所述步骤2中，基于CSR的图像融合方法包含以下步骤：
步骤2.1：所述S1-N与S2-N经过卷积稀疏表达编码模型的处理，获得卷积稀疏系数图C1，m与C2，m。
步骤2.2：所述稀疏系数图C1，m与C2，m经过l1-norm处理得到初始活动层级A(x，y)；
步骤2.3：对活动层级做基于窗口的平均，得到最终的活动层级
Figure BDA0002934403520000021
步骤2.4：通过对最终的活动层级
Figure BDA0002934403520000022
进行“最大选择”策略来确定融合后的卷积稀疏系数图Cf,m；
步骤2.5：最终经过字典滤波器dm与融合后的卷积稀疏系数图Cf,m经过卷积操作得到融合后的金字塔第N层Sf-N。
进一步地讲，在所述步骤2.1中，卷积稀疏系数图C1,m与C2,m具体计算方法如下：
Figure BDA0002934403520000031
其中：dm指学习字典，Ck,m指卷积稀疏系数图，为M维的列向量，Sk-N指源图像A和源图像B的拉普拉斯金字塔结构第N层；
进一步地讲，在所述步骤2.2中，初始活动层级A(x,y)的计算过程如下：
A(x,y)＝||Ck,1:M(x，y)||1
进一步地讲，在所述步骤2.3中，最终活动层级
Figure BDA0002934403520000032
的计算过程如下：
Figure BDA0002934403520000033
其中：r指窗口尺寸，r越大，该方法对于未配准的图片鲁棒性越好，但细节信息保留越少；
进一步地讲，在所述步骤2.4中，融合后的卷积稀疏系数图Cf，m的计算过程如下：
Figure BDA0002934403520000034
其中：Ck，1:M(x，y)指稀疏系数图，
Figure BDA0002934403520000035
指图像最终活动层级；
进一步地讲，在所述步骤2.5中，融合后的金字塔第N层Sf-N的计算过程如下：
Figure BDA0002934403520000036
进一步地，在所述步骤3中，基于神经网络(VGG-19)的图像融合方法包含以下步骤：
步骤3.1：所述S1-1与S2-1的特征图
Figure BDA0002934403520000041
与/>
Figure BDA0002934403520000042
由VGG-19网络中卷积层的输出得到；
步骤3.2：对所述特征图
Figure BDA0002934403520000043
与/>
Figure BDA0002934403520000044
采用l1-norm操作，得到初始活动层级/>
Figure BDA0002934403520000045
与/>
Figure BDA0002934403520000046
步骤3.3：对所述初始活动层级
Figure BDA0002934403520000047
与/>
Figure BDA0002934403520000048
采用基于“块平均”的操作，得到最终活动层级/>
Figure BDA0002934403520000049
与/>
Figure BDA00029344035200000410
步骤3.4：对所述最终活动层级
Figure BDA00029344035200000411
与/>
Figure BDA00029344035200000412
采用“最大选择”的策略，得到初始权重图/>
Figure BDA00029344035200000413
与/>
Figure BDA00029344035200000414
步骤3.5：对所述初始权重图
Figure BDA00029344035200000415
与/>
Figure BDA00029344035200000416
进行上采样操作，还原权重图的尺寸使之与输入的子带尺寸大小一致，得到最终权重图/>
Figure BDA00029344035200000417
与/>
Figure BDA00029344035200000418
步骤3.6：最终权重图
Figure BDA00029344035200000419
与金字塔结构第1层S1-1、S2-1，进行乘积相加的操作得到初步融合后的金字塔结构第1层Sf-1；
进一步地讲，在所述步骤3.1中，S1-1与S2-1的特征图
Figure BDA00029344035200000420
与/>
Figure BDA00029344035200000421
具体计算方法如下：
Figure BDA00029344035200000422
其中：Φi(·)指在VGG-19网络中的某层；Sk-1为源图像拉普拉斯金字塔结构子带第1层；
Figure BDA00029344035200000423
指子带特征图，i指VGG-19网络的层数，i∈{1,2，3，4}，m为第i层网络的通道数，m∈{1，2，…，M}，M＝64×2i-1；
进一步地讲，在所述步骤3.2中，特征图
Figure BDA00029344035200000424
与/>
Figure BDA00029344035200000425
经l1-norm操作得到初始活动层级/>
Figure BDA00029344035200000426
与/>
Figure BDA00029344035200000427
具体计算方法如下：
Figure BDA00029344035200000428
其中：
Figure BDA00029344035200000429
指/>
Figure BDA00029344035200000430
在特征图中(x，y)位置的值；
进一步地讲，在所述步骤3.3中，最终活动层级
Figure BDA0002934403520000051
与/>
Figure BDA0002934403520000052
具体计算方法如下：
Figure BDA0002934403520000053
其中：r代表“块平均”窗口的尺寸；
进一步地讲，在所述步骤3.4中，源图像分解后第1层子带的初始权重图
Figure BDA0002934403520000054
与/>
Figure BDA0002934403520000055
具体计算方法如下：
Figure BDA0002934403520000056
其中：由于涉及两张源图像，K＝2；
进一步地讲，在所述步骤3.5中，经过上采样操作，得到最终权重图
Figure BDA0002934403520000057
与/>
Figure BDA0002934403520000058
具体计算方法如下：
Figure BDA0002934403520000059
/>
其中：存在四组权重图
Figure BDA00029344035200000510
进一步地讲，在所述步骤3.6中，初步融合后的金字塔结构第1层Sf-1经权重分配可得，具体计算方法如下：
Figure BDA00029344035200000511
进一步地，在所述步骤4中，基于采用“最大选择”策略的图像融合方法包含以下步骤：
步骤4.1：所述融合后拉普拉斯金字塔第2～(N-1)层子带，经过“最大选择”策略处理后输出得到；
进一步地讲，在所述步骤4.1中，融合后拉普拉斯金字塔第2～(N-1)层子带Sf-n具体计算方法如下：
Sf-n(x，y)＝max[Si-n(x，y)|i∈{1，2，…，N-2}]
其中：(x,y)表示在Sf-n中图像灰度的对应位置，此处选择最大值作为融合图像灰度。
与现有技术相比，本发明具有以下有益效果：
(1)本发明的红外与可见光融合方法将源图像经过拉普拉斯金字塔分解为高频与低频部分，分别对其采用不同的融合策略。对于分解后的第N层子带，采用VGG-19神经网络进行特征提取，可以很好地保留细节信息；对于分解后的第2～N-1层子带采用“最大选择”策略；对于分解后的第1层子采用卷积稀疏表达的方式，可以很好地保留结构信息。对于处理后的子带，进行拉普拉斯金字塔重建，得到融合图像。由于本发明采用的多尺度分解方式，使得融合图像与人类视觉系统相协调。
(2)本发明融合得到的图像可以更好的保留高频部分细节信息，同时，低频部分结构信息也可以很好的保留。经过大量实验验证，本发明所得融合图像，在客观指标上具有一定的优越性，保留更多的图像细节信息与互补信息，同时，经过主观效果比较，融合图像边缘信息保留更清晰，对比度更高。综合上述，本发明所得融合图像具有更高的图像质量。
附图说明
附图1是本发明一种基于多尺度分析与VGG-19的红外与可见光图像融合示意框图。
附图2是本发明中拉普拉斯金字塔第1层子带图像融合方法示意图。
附图3为场景1源红外与可见光图像。
附图4为场景1各方法融合结果示意图。
附图5为场景2源红外与可见光图像。
附图6为场景2各方法融合结果示意图。
具体实施方式
为使本领域的技术人员能更进一步了解本发明，下面将结合附图及实施例详细地说明本发明的具体实施方式及功效。其中，所描述的实施例是本发明的一部分实施例，而不是全部实施例，因此，以下对附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而仅仅表示本发明选定的实施例，详细说明如下。
参见图1，本发明一种基于多尺度分析与VGG-19的红外与可见光图像融合方法，包含如下步骤：
步骤1：利用拉普拉斯金字塔分解源图像A和源图像B，获取得到所述源图像A和源图像B的分解层数为N(实施例中，N＝4)的拉普拉斯金字塔结构，第1～(N-1)层为高频部分，第N层为低频部分；
步骤2：将所述源图像A所得到的拉普拉斯金字塔结构第N层S1-N与源图像B的拉普拉斯金字塔结构第N层S2-N，采用CSR的图像融合方法进行融合，得到融合后的第N层Sf-N；
步骤3：将所述源图像A所得到的拉普拉斯金字塔结构第1层S1-1与源图像B所得到的拉普拉斯金字塔结构第1层S2-1，采用神经网络(VGG-19)的图像融合方法进行融合，得到融合后的第1层Sf-1，该融合过程示意图见附图2；
步骤4：将所述源图像A分解所得到的拉普拉斯金字塔结构2～(N-1)层S1-n(其中，n∈(2,N-1))和源图像B所得到的拉普拉斯金字塔结构2～(N-1)层S2-n，采用“最大选择”策略进行融合，得到融合后的第2～(N-1)层Sf-n；
步骤5：将所述融合后的拉普拉斯金字塔相应层进行LP逆变换，最终得到融合图像。
进一步地，在所述步骤2中，基于CSR的图像融合方法包含以下步骤：
步骤2.1：所述S1-N与S2-N经过卷积稀疏表达编码模型的处理，获得卷积稀疏系数图C1，m与C2，m。
步骤2.2：所述稀疏系数图C1，m与C2，m经过l1-norm处理得到初始活动层级A(x，y)；
步骤2.3：对活动层级做基于窗口的平均，得到最终的活动层级
Figure BDA0002934403520000071
步骤2.4：通过对最终的活动层级
Figure BDA0002934403520000072
进行“最大选择”策略来确定融合后的卷积稀疏系数图Cf，m；
步骤2.5：最终经过字典滤波器dm与融合后的卷积稀疏系数图Cf，m经过卷积操作得到融合后的金字塔第N层Sf-N。
进一步地讲，在所述步骤2.1中，卷积稀疏系数图C1，m与C2,m具体计算方法如下：
Figure BDA0002934403520000081
其中：dm指学习字典，学习字典采用K-SVD算法得到，Ck,m指卷积稀疏系数图，为M维的列向量，Sk-N指源图像A和源图像B的拉普拉斯金字塔结构第N层；
进一步地讲，在所述步骤2.2中，初始活动层级A(x,y)的计算过程如下：
A(x,y)＝||Ck,1:M(x，y)||1
进一步地讲，在所述步骤2.3中，最终活动层级
Figure BDA0002934403520000082
的计算过程如下：
Figure BDA0002934403520000083
其中：r指窗口尺寸，r越大，该方法对于未配准的图片鲁棒性越好，但细节信息保留越少，实施例中r＝3；
进一步地讲，在所述步骤2.4中，融合后的卷积稀疏系数图Cf，m的计算过程如下：
Figure BDA0002934403520000084
其中：Ck，1:M(x，y)指稀疏系数图，
Figure BDA0002934403520000085
指图像最终活动层级；
进一步地讲，在所述步骤2.5中，融合后的金字塔第N层Sf-N的计算过程如下：
Figure BDA0002934403520000086
进一步地，在所述步骤3中，基于神经网络(VGG-19)的图像融合方法包含以下步骤：
步骤3.1：所述S1-1与S2-1的特征图
Figure BDA0002934403520000087
与/>
Figure BDA0002934403520000088
由VGG-19网络中卷积层的输出得到；
步骤3.2：对所述特征图
Figure BDA0002934403520000089
与/>
Figure BDA00029344035200000810
做l1-norm操作，得到初始活动层级/>
Figure BDA00029344035200000811
与/>
Figure BDA0002934403520000091
步骤3.3：对所述初始活动层级
Figure BDA0002934403520000092
与/>
Figure BDA0002934403520000093
采用基于“块平均”的操作，得到最终活动层级/>
Figure BDA0002934403520000094
与/>
Figure BDA0002934403520000095
步骤3.4：对所述最终活动层级
Figure BDA0002934403520000096
与/>
Figure BDA0002934403520000097
采用“最大选择”的策略，得到初始权重图/>
Figure BDA0002934403520000098
与/>
Figure BDA0002934403520000099
步骤3.5：对所述初始权重图
Figure BDA00029344035200000910
与/>
Figure BDA00029344035200000911
进行上采样操作，还原权重图的尺寸使之与输入的子带尺寸大小一致，得到最终权重图/>
Figure BDA00029344035200000912
与/>
Figure BDA00029344035200000913
步骤3.6：最终权重图
Figure BDA00029344035200000914
与/>
Figure BDA00029344035200000915
与金字塔结构第1层S1-1、S2-1，进行乘积相加的操作得到初步融合后的金字塔结构第1层Sf-1；
进一步地讲，在所述步骤3.1中，S1-1与S2-1的特征图
Figure BDA00029344035200000916
与/>
Figure BDA00029344035200000917
具体计算方法如下：
Figure BDA00029344035200000918
其中：Φi(·)指在VGG-19网络中的某层，本实施例采用的网络第一层卷积输出；Sk-1为源图像拉普拉斯金字塔结构子带第1层；
Figure BDA00029344035200000919
指子带特征图，i指VGG-19网络的层数，i∈{1，2，3,4}，本实施例中，i＝1，m为第i层网络的通道数，m∈{1,2,…,M}，M＝64×2i-1；
进一步地讲，在所述步骤3.2中，特征图
Figure BDA00029344035200000920
与/>
Figure BDA00029344035200000921
经l1-norm操作得到初始活动层级/>
Figure BDA00029344035200000922
与/>
Figure BDA00029344035200000923
具体计算方法如下：
Figure BDA00029344035200000924
其中：
Figure BDA00029344035200000925
指/>
Figure BDA00029344035200000926
在特征图中(x，y)位置的值；
进一步地讲，在所述步骤3.3中，最终活动层级
Figure BDA00029344035200000927
与/>
Figure BDA00029344035200000928
具体计算方法如下：
Figure BDA00029344035200000929
其中：r代表“块平均”窗口的尺寸，实施例中r＝1，当r越大鲁棒性越好，同时会丢失更多的细节；
进一步地讲，在所述步骤3.4中，源图像分解后第1层子带的初始权重图
Figure BDA0002934403520000101
与/>
Figure BDA0002934403520000102
具体计算方法如下：
Figure BDA0002934403520000103
其中：由于涉及两张源图像，K＝2；
进一步地讲，在所述步骤3.5中，经过上采样操作，得到最终权重图
Figure BDA0002934403520000104
与/>
Figure BDA0002934403520000105
具体计算方法如下：
Figure BDA0002934403520000106
其中：存在四组权重图
Figure BDA0002934403520000107
进一步地讲，在所述步骤3.6中，初步融合后的金字塔结构第1层Sf-1经权重分配可得，具体计算方法如下：
Figure BDA0002934403520000108
进一步地，在所述步骤4中，基于采用“最大选择”策略的图像融合方法包含以下步骤：
步骤4.1：所述融合后拉普拉斯金字塔第2～(N-1)层子带，经过“最大选择”策略处理后输出得到；
进一步地讲，在所述步骤4.1中，融合后拉普拉斯金字塔第2～(N-1)层子带Sf-n具体计算方法如下：
Sf-n(x，y)＝max[Si-n(x，y)|i∈{1，2}]
其中：(x，y)表示在Sf-n、S1-n和S2-n中图像灰度的对应位置，此处选择最大值作为融合图像灰度。
第1实施例与第2实施例的实验数据如下：
附图3为场景1的源红外图像与源可见光图像，附图4为场景1的源图像经各个方法处理得到的融合图像。附图5为场景2的源红外图像与源可见光图像，附图6为场景2的源图像经各个方法处理得到的融合图像。
表1和表2分别为第1实施例和第2实施例所得各方法的客观指标评价，该指标包含图像的评价指标：信息熵(EN)、互信息(MI)、视觉保真度(VIF)、标准差(SD)和算法的运行时间，融合图像评价指标值越大越好，运行时间越短越好。对比算法分别为：CVT、LP、GFF、ASR、CSR、VggML、ResNet-ZCA。
客观指标评价：从表1、表2中可以看出本发明融合所得图像在图像客观评价指标上优于其他算法，同时运行效率在所有算法中较高，相对于其他基于神经网络的方法有大大提升。
表1第1实施例融合图像的客观指标评价
Figure BDA0002934403520000111
表2第2实施例融合图像的客观指标评价
Figure BDA0002934403520000112
上述进行了客观评价，另需对融合图像进行主观视觉效果的评价。附图4、图5为第1实施例、第2实施例所得各算法融合图像，附图4、图5中小白框内容被放大两倍置于融合图片的左下角便于观察对比。
主观视觉效果分析：红外与可见光图像经各个算法融合之后，对于第1实施例，被框选地建筑的顶端亮度保存比较好，同时建筑边缘比较清晰。算法(b)LP和算法(e)CSR处理的结果就比较模糊。对于整幅图而言，山中人物被完好的保留，亮度较高。对于第2实施例，各个图片都较好的保留了“塔”的形态，同时塔的顶端亮度也保留的较好。但是在水和山的分界处，其他算法和本发明所得融合图像对比起来更加模糊，丢失了边缘的细节信息。对于本发明，在山和水的分界处边缘细节处理的更加清晰，保留了更多的细节信息，具有更高的对比度。本发明的实施例所得融合图片效果是所有对比方法中最好的。
本发明的红外与可见光图像融合方法在客观评价与主观评价上均有突出表现，采用本发明的技术方案得到的融合图像边缘更清晰，可以很好地保留红外图像的结构信息，又可以有效地获取可见光图像地细节信息。
以上所述仅为本发明的优选实施例，但本发明不限于此实施例。所属领域的技术人员应当明白，在不脱离由权利要求书限定的本发明的原理与精神实质的情况下对其形式和细节做出的各种变化，皆应属本发明的范围内。

Claims (3)

1.一种基于多尺度分析与VGG-19的红外与可见光图像融合方法，其特征在于，包括如下步骤：
步骤1：利用拉普拉斯金字塔分解源红外图像A和源可见光图像B，获取得到所述源图像A和源图像B的分解层数为N的拉普拉斯金字塔结构，第1～(N-1)层为高频部分，第N层为低频部分；
步骤2：将所述源图像A所得到的拉普拉斯金字塔结构第N层S1-N与源图像B的拉普拉斯金字塔结构第N层S2-N，采用CSR的图像融合方法进行融合，得到融合后的第N层Sf-N；
步骤3：将所述源图像A所得到的拉普拉斯金字塔结构第1层S1-1与源图像B所得到的拉普拉斯金字塔结构第1层S2-1，采用神经网络VGG-19的图像融合方法进行融合，得到融合后的第1层Sf-1；
在步骤3中所述采用基于神经网络VGG-19的图像融合方法进行融合，其具体方法如下：
步骤3.1：所述S1-1与S2-1的特征图
Figure QLYQS_1
与/>
Figure QLYQS_2
由VGG-19网络中卷积层的输出得到；
Figure QLYQS_3
其中：Φi(·)指在VGG-19网络中的某层；Sk-1为源图像拉普拉斯金字塔结构子带第1层；
Figure QLYQS_4
指子带特征图，i指VGG-19网络的层数，i∈{1,2,3,4}，m为第i层网络的通道数，m∈{1,2,…,M}，M＝64×2i-1；
步骤3.2：对所述特征图
Figure QLYQS_5
与/>
Figure QLYQS_6
做l1-norm操作，得到初始活动层级/>
Figure QLYQS_7
与/>
Figure QLYQS_8
Figure QLYQS_9
其中：
Figure QLYQS_10
指/>
Figure QLYQS_11
在特征图中(x,y)位置的值；
步骤3.3：对所述初始活动层级
Figure QLYQS_12
与/>
Figure QLYQS_13
采用基于“块平均”的操作，得到最终活动层级/>
Figure QLYQS_14
与/>
Figure QLYQS_15
Figure QLYQS_16
其中：r代表“块平均”窗口的尺寸；
步骤3.4：对所述最终活动层级
Figure QLYQS_17
与/>
Figure QLYQS_18
采用“最大选择”的策略，得到初始权重图/>
Figure QLYQS_19
与/>
Figure QLYQS_20
Figure QLYQS_21
其中：由于涉及两张源图像，K＝2；
步骤3.5：对所述初始权重图
Figure QLYQS_22
与/>
Figure QLYQS_23
进行上采样操作，还原权重图的尺寸使之与输入的子带尺寸大小一致，得到最终权重图/>
Figure QLYQS_24
与/>
Figure QLYQS_25
Figure QLYQS_26
其中：存在四组权重图
Figure QLYQS_27
步骤3.6：最终权重图
Figure QLYQS_28
与金字塔结构第1层S1-1、S2-1，进行乘积相加的操作得到初步融合后的金字塔结构第1层Sf-1；
Figure QLYQS_29
步骤4：将所述源图像A所得到的拉普拉斯金字塔结构2～(N-1)层S1-n，其中，n∈(2,N-1)，和源图像B所得到的拉普拉斯金字塔结构2～(N-1)层S2-n，采用“最大选择”策略进行融合，得到融合后的第2～(N-1)层Sf-n；
步骤5：将所述融合后的拉普拉斯金字塔相应层进行LP逆变换，最终得到融合图像。
2.根据权利要求1所述的一种基于多尺度分析与VGG-19的红外与可见光图像融合方法，其特征在于：在步骤2中所述采用基于卷积稀疏表达CSR的融合方法，其具体方法如下：
步骤2.1：所述S1-N与S2-N经过卷积稀疏表达编码模型的处理，获得卷积稀疏系数图C1,m与C2,m，
Figure QLYQS_30
其中：dm指学习字典，Ck,m指卷积稀疏系数图，为M维的列向量，Sk-N指源图像A和源图像B的拉普拉斯金字塔结构第N层；
步骤2.2：所述稀疏系数图C1，m与C2，m经过l1-norm处理得到初始活动层级A(x，y)；
A(x，y)＝||Ck，1：M(x，y)||1
步骤2.3：对活动层级做基于窗口的平均，得到最终的活动层级
Figure QLYQS_31
Figure QLYQS_32
其中：r指窗口尺寸，r越大，该方法对于未配准的图片鲁棒性越好，但细节信息保留越少；
步骤2.4：通过对最终的活动层级
Figure QLYQS_33
进行“最大选择”策略来确定融合后的卷积稀疏系数图Cf，m；
Figure QLYQS_34
其中：Ck，1：M(x，y)指稀疏系数图，
Figure QLYQS_35
指图像最终活动层级；
步骤2.5：最终经过字典滤波器dm与融合后的卷积稀疏系数图Cf，m经过卷积操作得到融合后的金字塔第N层Sf-N，
Figure QLYQS_36
。
3.根据权利要求1所述的一种基于多尺度分析与VGG-19的红外与可见光图像融合方法，其特征在于：在步骤4中所述采用“最大选择”策略进行融合，其具体方法如下：
步骤4.1：融合后拉普拉斯金字塔第2～(N-1)层子带Sf-n具体计算方法如下：
Sf-n(x，y)＝max[Si-n(x，y)|i∈u，2，…，N-2}]
其中：(x，u)表示在Sf-n中图像灰度的对应位置，此处选择最大值作为融合图像灰度。
CN202110155081.2A 2021-02-04 2021-02-04 一种基于多尺度分析与vgg-19的红外与可见光图像融合方法 Active CN114862730B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110155081.2A CN114862730B (zh) 2021-02-04 2021-02-04 一种基于多尺度分析与vgg-19的红外与可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110155081.2A CN114862730B (zh) 2021-02-04 2021-02-04 一种基于多尺度分析与vgg-19的红外与可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN114862730A CN114862730A (zh) 2022-08-05
CN114862730B true CN114862730B (zh) 2023-05-23

Family

ID=82623445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110155081.2A Active CN114862730B (zh) 2021-02-04 2021-02-04 一种基于多尺度分析与vgg-19的红外与可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN114862730B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600572A (zh) * 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法
CN107886488A (zh) * 2017-12-04 2018-04-06 国网山东省电力公司电力科学研究院 基于改进pcnn补偿的auv图像融合方法、处理器及系统
CN111429392A (zh) * 2020-04-13 2020-07-17 四川警察学院 基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法
CN112288668A (zh) * 2020-09-22 2021-01-29 西北工业大学 基于深度无监督密集卷积网络的红外和可见光图像融合方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600572A (zh) * 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法
CN107886488A (zh) * 2017-12-04 2018-04-06 国网山东省电力公司电力科学研究院 基于改进pcnn补偿的auv图像融合方法、处理器及系统
CN111429392A (zh) * 2020-04-13 2020-07-17 四川警察学院 基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法
CN112288668A (zh) * 2020-09-22 2021-01-29 西北工业大学 基于深度无监督密集卷积网络的红外和可见光图像融合方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于CSR-MCA的图像融合方法;李鑫翔;张龙波;王雷;周晓宇;;智能计算机与应用(第06期);31-35+38 *
基于NSST与自适应PCNN相结合的卫星云图融合;颜文;龚飞;周颖;周峰;金炜;符冉迪;;光电工程(第10期);74-80+87 *
基于改进全卷积神经网络的红外与可见光图像融合方法;冯玉芳;殷宏;卢厚清;程恺;曹林;刘满;;计算机工程(第08期);249-255+263 *

Also Published As

Publication number Publication date
CN114862730A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
JP7379787B2 (ja) フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法
CN111062892B (zh) 一种基于复合残差网络和深层监督的单幅图像去雨方法
Yin et al. Highly accurate image reconstruction for multimodal noise suppression using semisupervised learning on big data
CN111161360B (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN109035189B (zh) 基于柯西模糊函数的红外与弱可见光图像融合方法
CN107749052A (zh) 基于深度学习神经网络的图像去雾方法及系统
Zhao et al. Invertible image decolorization
CN110189286B (zh) 一种基于ResNet的红外与可见光图像融合方法
CN110517203B (zh) 一种基于参考图像重建的去雾方法
CN111275655B (zh) 一种多聚焦多源图像融合方法
CN110097617B (zh) 基于卷积神经网络与显著性权重的图像融合方法
CN112967178B (zh) 一种图像转换方法、装置、设备及存储介质
CN111429392A (zh) 基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法
CN112184604A (zh) 一种基于图像融合的彩色图像增强方法
Yan et al. Method to Enhance Degraded Image in Dust Environment.
CN107833182A (zh) 基于特征提取的红外图像超分辨率重建方法
CN112669249A (zh) 结合改进nsct变换和深度学习的红外与可见光图像融合方法
CN113222877A (zh) 红外和可见光图像融合方法及其在机载光电视频中的应用
Lepcha et al. A deep journey into image enhancement: A survey of current and emerging trends
CN115953321A (zh) 一种基于零次学习的低照度图像增强方法
CN106803236A (zh) 基于模糊域奇异值分解的非均匀性校正方法
CN114862730B (zh) 一种基于多尺度分析与vgg-19的红外与可见光图像融合方法
CN110163489B (zh) 一种戒毒运动锻炼成效评价方法
CN110175959B (zh) 一种台风云图增强方法
CN116309233A (zh) 一种基于夜视增强的红外与可见光图像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant