CN113034371A - 一种基于特征嵌入的红外与可见光图像融合方法 - Google Patents

一种基于特征嵌入的红外与可见光图像融合方法 Download PDF

Info

Publication number
CN113034371A
CN113034371A CN202110581824.2A CN202110581824A CN113034371A CN 113034371 A CN113034371 A CN 113034371A CN 202110581824 A CN202110581824 A CN 202110581824A CN 113034371 A CN113034371 A CN 113034371A
Authority
CN
China
Prior art keywords
source image
feature
image
map
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110581824.2A
Other languages
English (en)
Other versions
CN113034371B (zh
Inventor
骆忠强
代金鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University of Science and Engineering
Original Assignee
Sichuan University of Science and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University of Science and Engineering filed Critical Sichuan University of Science and Engineering
Priority to CN202110581824.2A priority Critical patent/CN113034371B/zh
Publication of CN113034371A publication Critical patent/CN113034371A/zh
Application granted granted Critical
Publication of CN113034371B publication Critical patent/CN113034371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于特征嵌入的红外与可见光图像融合方法，通过构建自校准卷积网络模型提取红外与可见光图像的源图像特征，得到源图像特征信息；并利用ZCA白化对源图像特征信息进行预处理，得到源图像特征活动图；将源图像特征活动图中高层次特征活动图嵌入到低层次特征活动图，得到权值图，最后通过源图像与权值图构建融合图像。本发明提高了红外与可见光图像融合在目标检测、目标跟踪、生物识别在像素特征互信息、差异相关、结构相似度、边缘保持指数以及基于噪声评估的融合性能五种常用图像融合质量评估上的有效性。

Description

一种基于特征嵌入的红外与可见光图像融合方法
技术领域
本发明涉及红外图像与可见光融合，具体涉及一种基于特征嵌入的红外与可见光图像融合方法。
背景技术
红外图像与可见光图像融合具有重要的意义。物体在恶劣光照或者伪装遮挡环境下无法只通过可见光图像来获取有用的信息。红外图像来源于红外传感器，红外传感器能够捕捉物体在辐射出的不同频率的电磁波，也被称为热辐射。与此同时，由于物体发出的热量几乎不受纹理的影响，红外图像也会丢失纹理细节信息。红外与可见光图像融合将不同传感器的互补信息生成为同一张图像，同时保留了红外图像的热辐射信息和可见光图像的纹理信息，被广泛应用于目标检测、目标跟踪、夜色视觉、生物识别等领域。
在红外与可见光图像融合任务中，特征的提取与使用方式极其关键，融合图像的质量直接受到特征处理方法的影响。现有的红外与可见光图像融合方法层出不穷。2018年，中国学者提出一种基于深度学习框架的融合方法。该方法先将源图像多尺度分解，再利用VGG网络提取图像不同层次的特征，分别与源图像分解得到的不同尺度进行加权融合。2019年，有研究人员提出一种利用残差网络提取源图像高层次特征并进行图像融合的方法。这些方法都能取得较为理想的结果，但是由于现有方法大多只使用源图像的单层次特征，或者是将不同层次的特征信息分开使用，这会导致在融合任务过程中源图像特征信息的利用不足。
发明内容
针对现有技术中的上述不足，本发明提供了一种基于特征嵌入的红外与可见光图像融合方法。
为了达到上述发明目的，本发明采用的技术方案为：
一种基于特征嵌入的红外与可见光图像融合方法，包括以下步骤：
S1、构建自校准卷积网络模型提取红外与可见光图像的源图像特征，得到源图像特征信息；
S2、利用ZCA白化对步骤S1得到的源图像特征信息进行预处理，得到源图像特征活动图；
S3、将步骤S2得到的源图像特征活动图中高层次特征活动图嵌入到低层次特征活动图，得到权值图；
S4、利用步骤S3得到的权值图与源图像构建融合图像。
该方案的有益效果为：
引入自校准卷积提取图像的特征，将高层次特征嵌入低层次特征中，实现特征信息的互补，将源图像特征活动图中高层次特征活动图嵌入到低层次特征活动图，得到权值图，再与源图像融合；既保留了可见光图像的纹理信息，又保留了红外图像的热辐射信息，增强了在图像特征的保留、边缘信息保持以及重构图像噪声抑制。
进一步地，所述步骤S1具体包括以下分步骤：
S11、在残差网络中嵌入自校准卷积，构建自校准卷积网络模型；
S12、利用ImageNet训练集对步骤S11构建的自校准卷积网络模型进行预训练，得到训练后的自校准卷积网络模型；
S13、利用步骤S12得到的训练后的自校准卷积网络模型对源图像进行特征提取，得到源图像特征图信息。
该进一步方案有益效果为：
自校准卷积可以有效利用卷积滤波器的所有部分，通过校准操作融合两个不同空间尺度的信息，增加不同逻辑层的视野，使网络模型能够输出更具区别性的特征信息。
进一步地，所述步骤S2具体包括以下分步骤：
S21、利用步骤S13得到的源图像特征图信息
Figure 24820DEST_PATH_IMAGE001
计算协方差矩阵
Figure 336853DEST_PATH_IMAGE002
，表示为：
Figure 994230DEST_PATH_IMAGE003
其中，
Figure 976092DEST_PATH_IMAGE004
为源图像特征图信息
Figure 453341DEST_PATH_IMAGE005
的转置矩阵，i为自校准卷积网络中卷积的层数，j为通道数，k为源图像；
S22、对步骤S21得到的协方差矩阵
Figure 303486DEST_PATH_IMAGE006
进行奇异值分解，得到正交矩阵P，表示为：
Figure 815370DEST_PATH_IMAGE007
其中， P为
Figure 702554DEST_PATH_IMAGE008
大小的正交矩阵，
Figure 791733DEST_PATH_IMAGE009
为
Figure 52425DEST_PATH_IMAGE010
大小的对角矩阵，Q为
Figure 543450DEST_PATH_IMAGE011
大小的正交矩阵，
Figure 601535DEST_PATH_IMAGE012
为正交矩阵Q的转置矩阵；
S23、利用步骤S22得到的正交矩阵P计算新的随机向量
Figure 53376DEST_PATH_IMAGE013
，表示为：
Figure 979744DEST_PATH_IMAGE014
其中，E为单位矩阵，
Figure 466220DEST_PATH_IMAGE015
为正交矩阵P的转置矩阵，
Figure 819841DEST_PATH_IMAGE016
为随机数；
S24、利用步骤S23得到的新的随机向量
Figure 493399DEST_PATH_IMAGE017
对源图像特征信息
Figure 364403DEST_PATH_IMAGE018
进行处理，得到处理后的源图像特征信息
Figure 564440DEST_PATH_IMAGE019
，表示为：
Figure 964329DEST_PATH_IMAGE020
S25、根据步骤S24处理后的源图像特征信息
Figure 515396DEST_PATH_IMAGE021
，利用l 1范数法计算初始源图像特征活动图
Figure 924512DEST_PATH_IMAGE022
；
S26、根据步骤S25中初始源图像特征活动图
Figure 979055DEST_PATH_IMAGE023
，利用基于块的平均运算符计算源图像特征活动图
Figure 812495DEST_PATH_IMAGE024
。
该进一步方案有益效果为：
将源图像的原始特征投影到了相同的空间中，并且用ZCA白化对特征进行预处理，使得特征信息更易于分类与重构。
进一步地，所述步骤S25中初始源图像特征活动图
Figure 460645DEST_PATH_IMAGE025
表示为：
Figure 532506DEST_PATH_IMAGE026
其中，
Figure 316922DEST_PATH_IMAGE027
为l 1范数，
Figure 448826DEST_PATH_IMAGE028
为矩阵中具体的像素点坐标。
该进一步方案有益效果为：
使用l 1范数将源图像特征信息降维，把多维的源图像特征信息转换成一张初始源图像特征活动图。
进一步地，所述步骤S26中源图像特征活动图
Figure 318693DEST_PATH_IMAGE029
表示为：
Figure 459825DEST_PATH_IMAGE030
其中，ω为决定块大小的参数。
该进一步方案有益效果为：
提高源图像特征活动图的稀疏性，便于重构更具对比度和空间差异性更佳的图像。
进一步地，所述步骤S3具体包括以下分步骤：
S31、利用双三次插值法将步骤S26得到的源图像特征活动图
Figure 364327DEST_PATH_IMAGE031
中高层次特征活动图
Figure 542498DEST_PATH_IMAGE032
尺寸放大至与低层次特征活动图
Figure 24295DEST_PATH_IMAGE033
尺寸相同；
S32、将步骤S31中尺寸放大后高层次特征活动图
Figure 578905DEST_PATH_IMAGE034
与低层次特征活动图
Figure 603492DEST_PATH_IMAGE035
中元素逐项相乘，得到特征嵌入后的初始权值图
Figure 77199DEST_PATH_IMAGE036
；
S33、利用步骤S32得到的初始权值图
Figure 184308DEST_PATH_IMAGE037
计算权值图
Figure 401663DEST_PATH_IMAGE038
。
该进一步方案有益效果为：
使用双三次插值法对高层次特征活动图进行上采样，放大高层次特征活动图的尺寸大小。相较于“最近相邻”插值法和双线性插值法，双三次插值法能创造出更平滑的图像边缘。
进一步地，所述步骤S32中特征嵌入后的初始权值图
Figure 15178DEST_PATH_IMAGE039
表示为：
Figure 800731DEST_PATH_IMAGE040
其中，bicubic（）为双三次插值函数。
该进一步方案有益效果为：
将高层次特征嵌入低层次特征，实现特征信息的互补。
进一步地，所述步骤S33中权值图
Figure 257120DEST_PATH_IMAGE041
表示为：
Figure 153532DEST_PATH_IMAGE042
其中，k为源图像，I为红外图像，V为可见光图像。
该进一步方案有益效果为：
经过多次处理计算，本发明得到的权值图相较于平均权值图和显著性权值图更佳合理，对于高质量的图像重构也更佳有效。
进一步地，所述步骤S4具体为：
利用步骤S33得到的最终的权值图
Figure 11767DEST_PATH_IMAGE043
与源图像k构建融合图像
Figure 437063DEST_PATH_IMAGE044
，表示为：
Figure 380748DEST_PATH_IMAGE045
。
该进一步方案有益效果为：
该融合图像既保留了可见光图像的纹理信息，又保留了红外图像的热辐射信息。
附图说明
图1为本发明提供的一种基于特征嵌入的红外与可见光图像融合方法的整体流程示意图；
图2为本发明提供的一种基于特征嵌入的红外与可见光图像融合方法的整体结构示意图；
图3为本发明中自校准卷积模块构建结构示意图；
图4为本发明中步骤S1的分步骤流程示意图；
图5为本发明中步骤S1基于自校准卷积网络提取源图像特征可视化示意图；
图6为本发明中步骤S2的分步骤流程示意图；
图7为本发明中步骤S3中将高层次特征活动图嵌入到低层次特征活动图示意图；
图8为本发明中步骤S3的分步骤流程示意图；
图9为本发明与另外9种现有方法关于“街道”的融合图像细节对比图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1、图2所示，本发明提供一种基于特征嵌入的红外与可见光图像融合方法，包括以下步骤S1至步骤S4：
S1、构建自校准卷积网络模型提取红外与可见光图像的源图像特征，得到源图像特征信息；
如图3所示，在本实施例中，输入尺寸为C×H×W的映射图像X，经分裂分别得到尺寸均为C/2×H×W的映射图像X1和映射图像X2；将映射图像X1输入卷积层Conv1后经滤波器F1输出得到尺寸为C/2×H×W的映射图像Y1，映射图像X2分别输入到卷积层Conv2和下采样滤波器中，其中，卷积层Conv2与滤波器F2串联，下采样滤波器依次与卷积层Conv3以及上采样滤波器连接，其中在平均池化过程中，上采样和下采样操作后的感受野大小为r×r，步长为r；滤波器F3的输出经上采样后与X2累加，并利用sigmoid激活函数计算出权重，并计算得到该权重与滤波器F2的输出相乘结果，并将该结果输入串联的卷积层Conv4与滤波器F4，得到尺寸为C/2×H×W的映射图像Y2。映射图像Y1和映射图像Y2再通过全连接得到自校准卷积的映射图像Y；以残差网络ResNet为样体，用自校准卷积模块替换掉原始ResNet50中的每一个3×3大小的卷积块，并保持所有相关超参数不变；自校准卷积的采样速率被设置为4。
如图4所示，步骤S1具体包括以下分步骤：
S11、在残差网络中嵌入自校准卷积，构建自校准卷积网络模型；
S12、利用ImageNet训练集对步骤S11构建的自校准卷积网络模型进行预训练，得到训练后的自校准卷积网络模型；
S13、利用步骤S12得到的训练后的自校准卷积网络模型对源图像进行特征提取，得到源图像特征图信息。
如图5所示，本实施例中，首先通过残差网络构建自校准卷积网络模型，并利用ImageNet训练集进行训练，然后构建验证集进行验证，直至网络模型保存最优权重后损失误差的平均值不再下降，输出预训练完成的自校准卷积网络；然后将源图像k输入自校准卷积网络模型，并利用pytorch深度学习框架分别提取自校准网络模型中第一层卷积块和第四层卷积块映射的特征图，源图像
Figure 815272DEST_PATH_IMAGE046
，I代表红外图像，V代表可见光图像，其中低层次特征信息图的输出通道为64个，高层次特征信息图的输出通道为1024个，每个输出通道都包含一张独立的特征信息图，同一层次的所有特征信息图组则成了该层次的特征信息
Figure 668958DEST_PATH_IMAGE047
，其中，i是自校准卷积网络中卷积的层数，j是通道数；
本发明将第一层卷积的输出作为低层次特征，第四层卷积的输出作为高层次特征，即i=1表示为低层次特征，i=4表示为高层次特征。
S2、利用ZCA白化对步骤S1得到的源图像特征信息进行预处理，得到源图像特征活动图；
如图6所示，步骤S2具体包括以下分步骤：
S21、利用步骤S13得到的源图像特征图信息
Figure 655369DEST_PATH_IMAGE048
计算协方差矩阵
Figure 696137DEST_PATH_IMAGE049
，表示为：
Figure 793406DEST_PATH_IMAGE050
其中，
Figure 764249DEST_PATH_IMAGE051
为源图像特征图信息
Figure 921560DEST_PATH_IMAGE052
的转置矩阵，i为自校准卷积网络中卷积的层数，j为通道数，k为源图像；
S22、对步骤S21得到的协方差矩阵
Figure 449625DEST_PATH_IMAGE053
进行奇异值分解，得到正交矩阵P，表示为：
Figure 350585DEST_PATH_IMAGE054
其中， P为
Figure 913284DEST_PATH_IMAGE055
大小的正交矩阵，D为
Figure 382443DEST_PATH_IMAGE056
大小的对角矩阵，Q为
Figure 522437DEST_PATH_IMAGE057
大小的正交矩阵，
Figure 836875DEST_PATH_IMAGE058
为正交矩阵Q的转置矩阵；
S23、利用步骤S22得到的正交矩阵P计算新的随机向量
Figure 378715DEST_PATH_IMAGE059
，表示为：
Figure 753195DEST_PATH_IMAGE060
其中，E为单位矩阵，
Figure 380486DEST_PATH_IMAGE061
为正交矩阵P的转置矩阵，
Figure 498615DEST_PATH_IMAGE062
为随机数，是一个数值很小的随机数，目的是避免出现错误的矩阵求逆结果；
S24、利用步骤S23得到的新的随机向量
Figure 894961DEST_PATH_IMAGE063
对源图像特征信息
Figure 440343DEST_PATH_IMAGE064
进行处理，得到处理后的源图像特征信息
Figure 554929DEST_PATH_IMAGE065
，表示为：
Figure 473819DEST_PATH_IMAGE066
S25、根据步骤S24处理后的源图像特征信息
Figure 396776DEST_PATH_IMAGE067
，利用l 1范数法计算得到初始源图像特征活动图
Figure 378638DEST_PATH_IMAGE068
，表示为：
Figure 980521DEST_PATH_IMAGE069
其中，
Figure 440452DEST_PATH_IMAGE070
为l 1范数，
Figure 811391DEST_PATH_IMAGE071
为矩阵中具体的像素点坐标；
S26、根据步骤S25中初始源图像特征活动图
Figure 698575DEST_PATH_IMAGE072
，利用基于块的平均运算符计算得到源图像特征活动图
Figure 787754DEST_PATH_IMAGE073
，表示为：
Figure 785797DEST_PATH_IMAGE074
其中，ω为决定块大小的参数，并取值为1，目的是分别计算每一个像素值，使得输出更具鲁棒性。
S3、将步骤S2得到的源图像特征活动图中高层次特征活动图嵌入到低层次特征活动图，得到权值图；
如图7所示，本实施例中，首先使用双三次插值对高层次特征活动图
Figure 276821DEST_PATH_IMAGE075
进行上采样，并将高层次特征活动图
Figure 600486DEST_PATH_IMAGE076
的尺寸被放大到与低层次特征活动图
Figure 52327DEST_PATH_IMAGE077
尺寸相同，并将采样后的高层次特征活动图
Figure 978695DEST_PATH_IMAGE078
与低层次特征活动图
Figure 220100DEST_PATH_IMAGE079
中逐元素相乘，得到特征嵌入后的权值图
Figure 573721DEST_PATH_IMAGE080
。
如图8所示，步骤S3具体包括以下分步骤：
S31、利用双三次插值法将步骤S26得到的源图像特征活动图
Figure 247279DEST_PATH_IMAGE081
中高层次特征活动图
Figure 242917DEST_PATH_IMAGE082
尺寸放大至与低层次特征活动图
Figure 318320DEST_PATH_IMAGE083
尺寸相同；
S32、将步骤S31中尺寸放大后高层次特征活动图
Figure 842842DEST_PATH_IMAGE084
与低层次特征活动图
Figure 3696DEST_PATH_IMAGE085
中元素逐项相乘，得到特征嵌入后的初始权值图
Figure 271867DEST_PATH_IMAGE086
，表示为：
Figure 201776DEST_PATH_IMAGE087
其中，bicubic（）为双三次插值函数；；
S33、利用步骤S32得到的初始权值图
Figure 162779DEST_PATH_IMAGE088
计算权值图
Figure 76509DEST_PATH_IMAGE089
，表示为：
Figure 758157DEST_PATH_IMAGE090
其中，k为源图像，I为红外图像，V为可见光图像。
S4、利用步骤S3得到的权值图与源图像构建融合图像。
步骤S4具体为：
利用步骤S33得到的最终的权值图
Figure 932786DEST_PATH_IMAGE091
与源图像k构建融合图像
Figure 674477DEST_PATH_IMAGE092
，表示为：
Figure 934557DEST_PATH_IMAGE093
。
本发明中通过TNO数据集上进行仿真实验，与现有的9种典型方法进行的指标评测，评测结果如图9、表1所示，
表1 9对融合图像的像素特征互信息、差异相关和、结构相似度测量、边缘保持指数和基于噪声评估的融合性能的平均值对比表
Figure 416967DEST_PATH_IMAGE094
可知在像素特征互信息、差异相关和结构相似度、边缘保持指数、基于噪声评估的融合性能五种常用的图像融合质量评价指标上均占有优势，本发明有助于提高红外与可见光图像融合在目标检测、目标跟踪、生物识别在像素特征互信息、差异相关、结构相似度、边缘保持指数以及基于噪声评估的融合性能五种常用图像融合质量评估上的有效性。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围。

Claims (9)

1.一种基于特征嵌入的红外与可见光图像融合方法，其特征在于，包括以下步骤：
S1、构建自校准卷积网络模型提取红外与可见光图像的源图像特征，得到源图像特征信息；
S2、利用ZCA白化对步骤S1得到的源图像特征信息进行预处理，得到源图像特征活动图；
S3、将步骤S2得到的源图像特征活动图中高层次特征活动图嵌入到低层次特征活动图，得到权值图；
S4、利用步骤S3得到的权值图与源图像构建融合图像。
2.根据权利要求1所述的一种基于特征嵌入的红外与可见光图像融合方法，其特征在于，所述步骤S1具体包括以下分步骤：
S11、在残差网络中嵌入自校准卷积，构建自校准卷积网络模型；
S12、利用ImageNet训练集对步骤S11构建的自校准卷积网络模型进行预训练，得到训练后的自校准卷积网络模型；
S13、利用步骤S12得到的训练后的自校准卷积网络模型对源图像进行特征提取，得到源图像特征图信息。
3.根据权利要求2所述的一种基于特征嵌入的红外与可见光图像融合方法，其特征在于，所述步骤S2具体包括以下分步骤：
S21、利用步骤S13得到的源图像特征图信息
Figure 376724DEST_PATH_IMAGE001
计算协方差矩阵
Figure 396633DEST_PATH_IMAGE002
，表示为：
Figure 805749DEST_PATH_IMAGE003
其中，
Figure 1238DEST_PATH_IMAGE004
为源图像特征图信息
Figure 696661DEST_PATH_IMAGE005
的转置矩阵，i为自校准卷积网络中卷积的层数，j为通道数，k为源图像；
S22、对步骤S21得到的协方差矩阵
Figure 344811DEST_PATH_IMAGE006
进行奇异值分解，得到正交矩阵P，表示为：
Figure 416673DEST_PATH_IMAGE007
其中，P为
Figure 466668DEST_PATH_IMAGE008
大小的正交矩阵，
Figure 598572DEST_PATH_IMAGE009
为
Figure 734019DEST_PATH_IMAGE010
大小的对角矩阵，Q为
Figure 484937DEST_PATH_IMAGE011
大小的正交矩阵，
Figure 514073DEST_PATH_IMAGE012
为正交矩阵Q的转置矩阵；
S23、利用步骤S22得到的正交矩阵P计算新的随机向量
Figure 426665DEST_PATH_IMAGE013
，表示为：
Figure 174041DEST_PATH_IMAGE014
其中，E为单位矩阵，
Figure 725721DEST_PATH_IMAGE015
为正交矩阵P的转置矩阵，
Figure 609363DEST_PATH_IMAGE016
为随机数；
S24、利用步骤S23得到的新的随机向量
Figure 692857DEST_PATH_IMAGE017
对源图像特征信息
Figure 661950DEST_PATH_IMAGE018
进行处理，得到处理后的源图像特征信息
Figure 754671DEST_PATH_IMAGE019
，表示为：
Figure 492820DEST_PATH_IMAGE020
S25、根据步骤S24处理后的源图像特征信息
Figure 12794DEST_PATH_IMAGE021
，利用l 1范数法计算初始源图像特征活动图
Figure 469183DEST_PATH_IMAGE022
；
S26、根据步骤S25中初始源图像特征活动图
Figure 365595DEST_PATH_IMAGE023
，利用基于块的平均运算符计算源图像特征活动图
Figure 958250DEST_PATH_IMAGE024
。
4.根据权利要求3所述的一种基于特征嵌入的红外与可见光图像融合方法，其特征在于，所述步骤S25中初始源图像特征活动图
Figure 914705DEST_PATH_IMAGE025
表示为：
Figure 468177DEST_PATH_IMAGE026
其中，
Figure 27334DEST_PATH_IMAGE027
为l 1范数，
Figure 615442DEST_PATH_IMAGE028
为矩阵中具体的像素点坐标。
5.根据权利要求4所述的一种基于特征嵌入的红外与可见光图像融合方法，其特征在于，所述步骤S26中源图像特征活动图
Figure 601852DEST_PATH_IMAGE029
表示为：
Figure 928708DEST_PATH_IMAGE030
其中，ω为决定块大小的参数。
6.根据权利要求5所述的一种基于特征嵌入的红外与可见光图像融合方法，其特征在于，所述步骤S3具体包括以下分步骤：
S31、利用双三次插值法将步骤S26得到的源图像特征活动图
Figure 25977DEST_PATH_IMAGE031
中高层次特征活动图
Figure 468590DEST_PATH_IMAGE032
尺寸放大至与低层次特征活动图
Figure 625902DEST_PATH_IMAGE033
尺寸相同；
S32、将步骤S31中尺寸放大后高层次特征活动图
Figure 153967DEST_PATH_IMAGE034
与低层次特征活动图
Figure 54927DEST_PATH_IMAGE035
中元素逐项相乘，得到特征嵌入后的初始权值图
Figure 883205DEST_PATH_IMAGE036
；
S33、利用步骤S32得到的初始权值图
Figure 211419DEST_PATH_IMAGE037
计算权值图
Figure 961200DEST_PATH_IMAGE038
。
7.根据权利要求6所述的一种基于特征嵌入的红外与可见光图像融合方法，其特征在于，所述步骤S32中特征嵌入后的初始权值图
Figure 400271DEST_PATH_IMAGE039
表示为：
Figure 817477DEST_PATH_IMAGE040
其中，bicubic（）为双三次插值函数。
8.根据权利要求6所述的一种基于特征嵌入的红外与可见光图像融合方法，其特征在于，所述步骤S33中权值图
Figure 582171DEST_PATH_IMAGE041
表示为：
Figure 84828DEST_PATH_IMAGE042
其中，k为源图像，I为红外图像，V为可见光图像。
9.根据权利要求8所述的一种基于特征嵌入的红外与可见光图像融合方法，特征在于，所述步骤S4具体为：
利用步骤S33得到的最终的权值图
Figure 327590DEST_PATH_IMAGE043
与源图像k构建融合图像
Figure 864882DEST_PATH_IMAGE044
，表示为：
Figure 534898DEST_PATH_IMAGE045
。
CN202110581824.2A 2021-05-27 2021-05-27 一种基于特征嵌入的红外与可见光图像融合方法 Active CN113034371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110581824.2A CN113034371B (zh) 2021-05-27 2021-05-27 一种基于特征嵌入的红外与可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110581824.2A CN113034371B (zh) 2021-05-27 2021-05-27 一种基于特征嵌入的红外与可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN113034371A true CN113034371A (zh) 2021-06-25
CN113034371B CN113034371B (zh) 2021-08-17

Family

ID=76455977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110581824.2A Active CN113034371B (zh) 2021-05-27 2021-05-27 一种基于特征嵌入的红外与可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN113034371B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920171A (zh) * 2021-12-09 2022-01-11 南京理工大学 基于特征级和决策级融合的双模态目标跟踪算法
CN114926845A (zh) * 2022-06-07 2022-08-19 哈尔滨理工大学 一种基于深度学习的汉字书法风格识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101051716B1 (ko) * 2010-11-12 2011-07-26 삼성탈레스 주식회사 다중센서 영상융합 방법
CN104504670A (zh) * 2014-12-11 2015-04-08 上海理工大学 多尺度梯度域图像融合算法
WO2015157058A1 (en) * 2014-04-07 2015-10-15 Bae Systems Information & Electronic Systems Integration Inc. Contrast based image fusion
CN106251355A (zh) * 2016-08-03 2016-12-21 江苏大学 一种融合可见光图像与对应夜视红外图像的检测方法
CN107633495A (zh) * 2017-08-02 2018-01-26 中北大学 一种基于互补关系的红外偏振与光强图像多算法2d‑vmd内嵌式融合方法
CN109461157A (zh) * 2018-10-19 2019-03-12 苏州大学 基于多级特征融合及高斯条件随机场的图像语义分割方法
CN111433810A (zh) * 2018-12-04 2020-07-17 深圳市大疆创新科技有限公司 目标图像的获取方法、拍摄装置和无人机
CN111709903A (zh) * 2020-05-26 2020-09-25 中国科学院长春光学精密机械与物理研究所 一种红外与可见光图像融合方法
CN111986132A (zh) * 2020-08-12 2020-11-24 兰州交通大学 一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法
CN112232403A (zh) * 2020-10-13 2021-01-15 四川轻化工大学 一种红外图像与可见光图像的融合方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101051716B1 (ko) * 2010-11-12 2011-07-26 삼성탈레스 주식회사 다중센서 영상융합 방법
WO2015157058A1 (en) * 2014-04-07 2015-10-15 Bae Systems Information & Electronic Systems Integration Inc. Contrast based image fusion
CN104504670A (zh) * 2014-12-11 2015-04-08 上海理工大学 多尺度梯度域图像融合算法
CN106251355A (zh) * 2016-08-03 2016-12-21 江苏大学 一种融合可见光图像与对应夜视红外图像的检测方法
CN107633495A (zh) * 2017-08-02 2018-01-26 中北大学 一种基于互补关系的红外偏振与光强图像多算法2d‑vmd内嵌式融合方法
CN109461157A (zh) * 2018-10-19 2019-03-12 苏州大学 基于多级特征融合及高斯条件随机场的图像语义分割方法
CN111433810A (zh) * 2018-12-04 2020-07-17 深圳市大疆创新科技有限公司 目标图像的获取方法、拍摄装置和无人机
CN111709903A (zh) * 2020-05-26 2020-09-25 中国科学院长春光学精密机械与物理研究所 一种红外与可见光图像融合方法
CN111986132A (zh) * 2020-08-12 2020-11-24 兰州交通大学 一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法
CN112232403A (zh) * 2020-10-13 2021-01-15 四川轻化工大学 一种红外图像与可见光图像的融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHONGQIANG LUO: "A Fast Fusion Method for Visible and Infrared Images Using Fourier Transform and Difference Minimization", 《 IEEE ACCESS 》 *
翟莉: "基于加权多特征融合和SVM的图像分类研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920171A (zh) * 2021-12-09 2022-01-11 南京理工大学 基于特征级和决策级融合的双模态目标跟踪算法
CN113920171B (zh) * 2021-12-09 2022-10-25 南京理工大学 基于特征级和决策级融合的双模态目标跟踪方法
CN114926845A (zh) * 2022-06-07 2022-08-19 哈尔滨理工大学 一种基于深度学习的汉字书法风格识别方法

Also Published As

Publication number Publication date
CN113034371B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN113065558B (zh) 一种结合注意力机制的轻量级小目标检测方法
Qiu et al. Multiple improved residual networks for medical image super-resolution
Zhao et al. Self-supervised feature adaption for infrared and visible image fusion
CN112052886A (zh) 基于卷积神经网络的人体动作姿态智能估计方法及装置
CN108573276A (zh) 一种基于高分辨率遥感影像的变化检测方法
CN108573479A (zh) 基于对偶生成对抗式网络的人脸图像去模糊和恢复方法
CN113034371B (zh) 一种基于特征嵌入的红外与可见光图像融合方法
Gao et al. Improving the performance of infrared and visible image fusion based on latent low-rank representation nested with rolling guided image filtering
CN113112583B (zh) 基于红外热成像的3d人体重构方法
Zhou et al. MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution
CN117292117A (zh) 一种基于注意力机制的小目标检测方法
CN117408924A (zh) 一种基于多重语义特征融合网络的低光照图像增强方法
Zhou et al. Physical-priors-guided DehazeFormer
Zhang et al. Enhanced visual perception for underwater images based on multistage generative adversarial network
Chen et al. Attentive generative adversarial network for removing thin cloud from a single remote sensing image
Zhang et al. Deep joint neural model for single image haze removal and color correction
Zhang et al. MFFE: multi-scale feature fusion enhanced net for image dehazing
Xu et al. AACNet: Asymmetric attention convolution network for hyperspectral image dehazing
Zou et al. DiffCR: A Fast Conditional Diffusion Framework for Cloud Removal From Optical Satellite Images
Liu et al. Dual UNet low-light image enhancement network based on attention mechanism
Jung et al. Multispectral fusion of rgb and nir images using weighted least squares and convolution neural networks
Yang et al. Underwater image restoration for seafloor targets with hybrid attention mechanisms and conditional generative adversarial network
CN116597142A (zh) 基于全卷积神经网络与变换器的卫星图像语义分割方法及系统
CN116309221A (zh) 一种多光谱图像融合模型的构建方法
Ren et al. SCGA‐Net: Skip Connections Global Attention Network for Image Restoration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant