CN110189286B - 一种基于ResNet的红外与可见光图像融合方法 - Google Patents

一种基于ResNet的红外与可见光图像融合方法 Download PDF

Info

Publication number
CN110189286B
CN110189286B CN201910460002.1A CN201910460002A CN110189286B CN 110189286 B CN110189286 B CN 110189286B CN 201910460002 A CN201910460002 A CN 201910460002A CN 110189286 B CN110189286 B CN 110189286B
Authority
CN
China
Prior art keywords
image
detail
fused
layer
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910460002.1A
Other languages
English (en)
Other versions
CN110189286A (zh
Inventor
张黎明
李恒
陈金萍
将美容
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou Jiaotong University
Original Assignee
Lanzhou Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou Jiaotong University filed Critical Lanzhou Jiaotong University
Priority to CN201910460002.1A priority Critical patent/CN110189286B/zh
Publication of CN110189286A publication Critical patent/CN110189286A/zh
Application granted granted Critical
Publication of CN110189286B publication Critical patent/CN110189286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于ResNet的红外与可见光图像融合方法，包括：将源图分解成基础部分和细节部分，基础部分使用平均权重策略进行融合，生成新的基础部分；使用ResNet152对细节部分进行特征提取，得到多个特征层，对特征层分别进行L1正则化、卷积运算、双线性插值上采样和最大选择策略得到最大权重层，由最大权重层和细节部分相乘得到新的细节部分；最后由新的基础部分和细节部分对图像进行重建；该方法在保留图像显著特征的同时使融合图像获得了更多的纹理信息，且有效降低了伪影和噪声。

Description

一种基于ResNet的红外与可见光图像融合方法
技术领域
本发明涉及红外与可见光图像融合领域，更具体的说是涉及一种基于ResNet网络的简单高效的红外与可见光图像融合方法。
背景技术
图像融合是一种图像增强技术，目的是结合不同类型传感器捕捉到的信息生成内容更加丰富，细节更加清晰的图像，以便为后续处理和决策提供帮助。红外线和可见光的信号来自不同的模式，红外图像捕获的是热辐射信息，而可见光图像捕获的是光信息，它们的组合信息比使用各自单独的模式得到的信息更丰富。可见光图像具有较高的空间分辨率和细腻的纹理信息，但易被弱光照、雾和其它恶劣天气条件所干扰；红外图像能够抵抗这些干扰，但分辨率较低，纹理较差。因此，对红外线与可见光图像的融合可以做到信息互补。目前，有关红外线和可见光图像融合方法主要有：基于多尺度变换的方法、基于稀疏表示的方法、基于神经网络的方法。
多尺度变换方法在红外与可见光图像融合中应用广泛。Huang等人提出了一种基于曲线变换和视觉注意机制的红外可见光图像融合方法，其模型可以提高融合图像的信噪比，突出模糊目标。Zhu等人提出了一种改进的多尺度高帽变换模型的红外可见光图像融合方法，该模型能够突出红外图像的目标，更好的保留可见光图像中的细节部分，比传统的多尺度变换图像方法有更好的效果。
基于稀疏表示的图像融合方法是从大量的高质量图像中学习一个过完备的字典，该方法关键在于过完备字典和稀疏编码的构造。Yin等提出了一种将小波与字典学习结合的多尺度字典学习方法，充分利用了多尺度表示和字典学习的优点。Kim等人提出了一种基于图像块聚类和主成分分析(PCA)的字典学习方法，该模型不仅可以消除学习字典的冗余，而且可以消除学习字典的冗余,同时保证了红外和可见光图像融合的质量，但存在字典学习耗时过长的缺点。过完备字典构造完成后，可以利用稀疏编码技术得到表示系数。
近年来，深度学习在图像融合中得到了广泛的应用，多数基于深度学习的图像融合仅仅将深度学习模型作为特征提取的手段，利用提取到的深度特征和待融合图像融合得到融合后图像。Yu Liu等人提出了一种基于卷积神经网络的图像融合方法，使用输入图像的图像块及其模糊处理来训练网络，使网络具有分类能力，最后利用该网络实现源图像到融合图像端到端的映射。
尽管基于深度学习的方法获得了更好的性能，但仍然存在许多缺点：1)YuLiu的方法目前只适用于多聚焦图像融合，使用范围有限；2)这些方法只利用神经网络最后一层的计算结果，很多有用的中间层信息并未充分利用。
因此如何充分利用神经网络的中间层信息，进一步提高红外与可见光融合图像的融合细节，降低伪影和噪声，仍然是一个具有理论意义和实用价值的研究方向。
发明内容
有鉴于此，本发明提供了一种基于ResNet的红外与可见光图像融合方法，有效提高红外与可见光融合图像的融合细节，大大降低融合图像中的伪影和噪声，使得融合图像看起来更加清晰自然。
为了实现上述目的，本发明采用如下技术方案：
本方法将源图像记作Ik,k∈{1,2}。图1为本方法的框架图，Ik通过均值滤波进行二尺度分解得到基础部分
Figure BDA0002077745960000021
和细节部分
Figure BDA0002077745960000022
基础部分使用平均权重的方法进行融合得到Fb，细节部分经过ResNet152处理后得到最大权重层，并与原图细节部分计算得到细节融合图像Fd，最后由融合后的基础部分Fb和细节部分Fd重建得到融合图像。
基础部分融合：本方法使用平均权重策略对基础部分进行融合，如公式(1)所示，
Figure BDA0002077745960000031
和
Figure BDA0002077745960000032
为两种源图像基础部分(x,y)处的像素值，Fb(x,y)为融合后的基础部分(x,y)处的像素值，λ1和λ2为图像
Figure BDA0002077745960000033
和
Figure BDA0002077745960000034
像素的权重，为尽量保留基础部分中的普通特征和减少重复信息，根据实验经验λ1、λ2各取0.5。
Figure BDA0002077745960000035
细节部分融合：对于细节部分
Figure BDA0002077745960000036
和
Figure BDA0002077745960000037
先使用ResNet152提取特征，得到特征层。然后由特征层得到最大权重层。最后，将最大权重层分别作为
Figure BDA0002077745960000038
和
Figure BDA0002077745960000039
权重系数得到细节部分融合图像Fd。流程如图2所示，具体步骤为以下5个步骤：
Step1：提取特征，如式(2)定义Hi(·)为选取ResNet152网络其中一层作为特征提取层,i∈{1,2,3,4,5}，提取的特征层为
Figure BDA00020777459600000310
表示第k个细节部分经过ResNet152网络提取特征得到的第i个特征层，m表示第i个特征层的通道数m∈{1,2,…,M}，M＝64×2i-1。
Figure BDA00020777459600000311
Step2：L1正则化，如(3)式
Figure BDA00020777459600000312
表示
Figure BDA00020777459600000313
特征层在坐标(x,y)处的一个M维向量。
Figure BDA00020777459600000314
经L1正则化得到
Figure BDA00020777459600000315
Figure BDA00020777459600000316
Step3：卷积运算，为了使细节部分融合图像纹理更加自然，本方法使用卷积核为[1 2 1；2 4 2；1 2 1]步长为1在
Figure BDA00020777459600000317
上进行卷积运算得到
Figure BDA00020777459600000318
流程如图3所示。之后由
Figure BDA00020777459600000319
得到权重层
Figure BDA00020777459600000320
如式(4)，其中n＝2，
Figure BDA00020777459600000321
表示第k个细节部分图像的第i个权重层在(x,y)处的权重值。
Figure BDA00020777459600000322
Step4：双线性插值上采样，
Figure BDA00020777459600000323
经ResNet152网络得到，记
Figure BDA00020777459600000324
的长宽为(w,h),
Figure BDA00020777459600000325
的长宽为(W，H),其关系如(5)式，其中i∈{1,2,3,4,5}，为使(w,h)与(W,H)相等，对
Figure BDA00020777459600000326
进行双线性插值上采样得到
Figure BDA00020777459600000327
Figure BDA0002077745960000041
Step5：最大选择策略，i∈{1,2,3,4,5}，故
Figure BDA0002077745960000042
是一个5维向量，如(6)式，
Figure BDA0002077745960000043
经最大选择策略得到
Figure BDA0002077745960000044
Figure BDA0002077745960000045
即为第k个细节部分图像的最大权重层。最后融合后的细节部分Fd由(7)式得到
Figure BDA0002077745960000046
Figure BDA0002077745960000047
图像重建：获得了融合后的基础部分Fb和细节部分Fd后，由(8)式对图像进行重建得到最后的融合图像
F(x,y)＝Fb(x,y)+Fd(x,y) (8)
本发明公开提出基于ResNet网络的红外与可见光图像融合方法易于实现，简单高效，融合后图像细节更加清晰，对比度更高，且晕影和块效应不明显，更适合人眼视觉的观察，很大程度上保留了源图像的纹理细节特征，且大大降低了融合图像中的伪影和噪声，使得融合图像看起来更加清晰自然。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述中的附图仅仅是本发明的示意图，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的基于ResNet网络的红外与可见光图像融合方法的流程图；
图2为本发明提供的细节部分图像融合示意图；
图3为本发明提供的卷积操作示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本方法将源图像记作Ik，k∈{1,2}。图1为本方法的框架图，Ik通过均值滤波进行二尺度分解得到基础部分
Figure BDA0002077745960000051
和细节部分
Figure BDA0002077745960000052
基础部分使用平均权重的方法进行融合得到Fb，细节部分经过ResNet152处理后得到最大权重层，并与原图细节部分计算得到细节融合图像Fd，最后由融合后的基础部分Fb和细节部分Fd重建得到融合图像。
基础部分融合：本方法使用平均权重策略对基础部分进行融合，如公式(1)所示，
Figure BDA0002077745960000053
和
Figure BDA0002077745960000054
为两种源图像基础部分(x,y)处的像素值，Fb(x,y)为融合后基础部分(x,y)处的像素值，λ1和λ2为图像
Figure BDA0002077745960000055
和
Figure BDA0002077745960000056
像素的权重，为尽量保留基础部分中的普通特征和减少重复信息，一般情况下，λ1、λ2各取0.5。
Figure BDA0002077745960000057
细节部分融合：对于细节部分
Figure BDA0002077745960000058
和
Figure BDA0002077745960000059
先使用ResNet152提取特征，得到特征层。然后由特征层得到最大权重层。最后，将最大权重层分别作为
Figure BDA00020777459600000510
和
Figure BDA00020777459600000511
权重系数得到细节部分融合图像Fd。流程如图2所示，具体实施见如下5个步骤：
Step1：提取特征，如式(2)定义Hi(·)为选取ResNet152网络其中一层作为特征提取层,i∈{1,2,3,4,5}，提取的特征层为
Figure BDA00020777459600000512
表示第k个细节部分经过ResNet152网络提取特征得到的第i个特征层，m表示第i个特征层的通道数m∈{1,2,…,M}，M＝64×2i-1。
Figure BDA00020777459600000513
Step2：L1正则化，如(3)式
Figure BDA00020777459600000514
表示
Figure BDA00020777459600000515
特征层在坐标(x,y)处的一个M维向量。
Figure BDA00020777459600000516
经L1正则化得到
Figure BDA00020777459600000517
Figure BDA0002077745960000061
Step3：卷积运算，为了使细节部分融合图像纹理更加自然，本方法使用卷积核为[1 2 1；2 4 2；1 2 1]步长为1在
Figure BDA0002077745960000062
上进行卷积运算得到
Figure BDA0002077745960000063
流程如图3所示。之后由
Figure BDA0002077745960000064
得到权重层
Figure BDA0002077745960000065
如式(4)，其中n＝2，
Figure BDA0002077745960000066
表示第k个细节部分图像的第i个权重层在(x,y)处的权重值。
Figure BDA0002077745960000067
Step4：双线性插值上采样，
Figure BDA0002077745960000068
经ResNet152网络得到，记
Figure BDA0002077745960000069
的长宽为(w,h),
Figure BDA00020777459600000610
的长宽为(W，H),其关系如(5)式，其中i∈{1,2,3,4,5}，为使(w,h)与(W,H)相等，对
Figure BDA00020777459600000611
进行双线性插值上采样得到
Figure BDA00020777459600000612
Figure BDA00020777459600000613
Step5：最大选择策略，i∈{1,2,3,4,5}，故
Figure BDA00020777459600000614
是一个5维向量，如(6)式，
Figure BDA00020777459600000615
经最大选择策略得到
Figure BDA00020777459600000616
Figure BDA00020777459600000617
即为第k个细节部分图像的最大权重层。最后融合后的细节部分Fd由(7)式得到
Figure BDA00020777459600000618
Figure BDA00020777459600000619
图像重建：获得了融合后的基础部分Fb和细节部分Fd后，由(8)式对图像进行重建得到最后的融合图像
F(x,y)＝Fb(x,y)+Fd(x,y) (8)
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (3)

1.一种基于ResNet的红外与可见光图像融合方法，其特征在于，包括：
S1：基础部分融合，使用平均权重策略对基础部分进行融合，具体为可见光图像的基础部分乘以其相应的权重系数的值与红外线图像的基础部分乘以其相应的权重系数的值相加即为融合后新的基础部分；
S2：细节部分融合，先使用ResNet152提取特征，得到特征层； 然后由特征层得到最大权重层； 最后将最大权重层分别作为细节部分的权重系数得到细节部分融合图像；
S3：图像重建，获得了融合后的基础部分和细节部分后，将二者相加即可得到最后的融合图像。
2.根据权利要求1所述的一种基于ResNet的红外与可见光图像融合方法，其特征在于，在步骤S2中，使用ResNet152提取特征，然后由特征层得到最大权重层，最后将最大权重层分别作为细节部分的权重系数得到细节部分融合图像。
3.根据权利要求1或2所述的一种基于ResNet的红外与可见光图像融合方法，其特征在于，在步骤S3中，由S1步骤中得到融合后的基础部分和S2步骤中得到的融合后细节部分，再将二者相加得到整体融合图像。
CN201910460002.1A 2019-05-30 2019-05-30 一种基于ResNet的红外与可见光图像融合方法 Active CN110189286B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910460002.1A CN110189286B (zh) 2019-05-30 2019-05-30 一种基于ResNet的红外与可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910460002.1A CN110189286B (zh) 2019-05-30 2019-05-30 一种基于ResNet的红外与可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN110189286A CN110189286A (zh) 2019-08-30
CN110189286B true CN110189286B (zh) 2022-10-04

Family

ID=67718762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910460002.1A Active CN110189286B (zh) 2019-05-30 2019-05-30 一种基于ResNet的红外与可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN110189286B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539902B (zh) * 2020-04-16 2023-03-28 烟台艾睿光电科技有限公司 一种图像处理方法、系统、设备及计算机可读存储介质
CN111709903B (zh) * 2020-05-26 2022-08-19 中国科学院长春光学精密机械与物理研究所 一种红外与可见光图像融合方法
CN112232403A (zh) * 2020-10-13 2021-01-15 四川轻化工大学 一种红外图像与可见光图像的融合方法
CN112862737B (zh) * 2021-02-07 2024-05-14 西北工业大学 一种基于自监督纹理特征指导的红外图像质量增强方法
CN112950519B (zh) * 2021-03-19 2022-03-15 中国科学院长春光学精密机械与物理研究所 一种新型的红外和可见光图像融合算法
CN113763367B (zh) * 2021-09-13 2023-07-28 中国空气动力研究与发展中心超高速空气动力研究所 一种大尺寸试件红外检测特征综合判读方法
CN113763368B (zh) * 2021-09-13 2023-06-23 中国空气动力研究与发展中心超高速空气动力研究所 一种大尺寸试件多类型损伤检测特征分析方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069768B (zh) * 2015-08-05 2017-12-29 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN109360175A (zh) * 2018-10-12 2019-02-19 云南大学 一种红外与可见光的图像融合方法

Also Published As

Publication number Publication date
CN110189286A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
CN110189286B (zh) 一种基于ResNet的红外与可见光图像融合方法
CN106683067B (zh) 一种基于残差子图像的深度学习超分辨率重建方法
Dong et al. Deep spatial–spectral representation learning for hyperspectral image denoising
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN109741256B (zh) 基于稀疏表示和深度学习的图像超分辨率重建方法
CN112233026A (zh) 一种基于多尺度残差注意力网络的sar图像去噪方法
CN111028163A (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN108269244B (zh) 一种基于深度学习和先验约束的图像去雾系统
CN112507617B (zh) 一种SRFlow超分辨率模型的训练方法及人脸识别方法
CN112967178B (zh) 一种图像转换方法、装置、设备及存储介质
CN112837244B (zh) 一种基于渐进式生成对抗网络的低剂量ct图像降噪及去伪影方法
CN109949217B (zh) 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN113033630A (zh) 一种基于双非局部注意力模型的红外与可见光图像深度学习融合方法
CN113139585B (zh) 一种基于统一多尺度密集连接网络的红外与可见光图像融合方法
CN112767243B (zh) 一种高光谱图像超分辨率的实现方法及系统
CN111583113A (zh) 一种基于生成对抗网络的红外图像超分辨率重建方法
CN107085826B (zh) 基于加权重叠非局部回归先验的图像超分辨率重建方法
CN112288652A (zh) 一种基于PSO寻优的引导滤波-Retinex低照度图像增强方法
CN110084774B (zh) 一种增强的梯度传递和总变差最小化融合图像的方法
CN116246138A (zh) 基于全卷积神经网络的红外-可见光图像目标级融合方法
ZhiPing et al. A new generative adversarial network for texture preserving image denoising
CN117315735A (zh) 基于先验信息与注意力机制的人脸超分辨率重建方法
CN112348745B (zh) 一种基于残差卷积网络的视频超分辨率重构方法
CN111462025B (zh) 基于多尺度低秩矩阵分解的红外与可见光图像融合方法
CN114170086A (zh) 一种基于双重注意力机制的超分辨率算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant