CN110189286A - 一种基于ResNet的红外与可见光图像融合方法 - Google Patents

一种基于ResNet的红外与可见光图像融合方法 Download PDF

Info

Publication number
CN110189286A
CN110189286A CN201910460002.1A CN201910460002A CN110189286A CN 110189286 A CN110189286 A CN 110189286A CN 201910460002 A CN201910460002 A CN 201910460002A CN 110189286 A CN110189286 A CN 110189286A
Authority
CN
China
Prior art keywords
detail section
image
foundation
layer
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910460002.1A
Other languages
English (en)
Other versions
CN110189286B (zh
Inventor
张黎明
李恒
陈金萍
将美容
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou Jiaotong University
Original Assignee
Lanzhou Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou Jiaotong University filed Critical Lanzhou Jiaotong University
Priority to CN201910460002.1A priority Critical patent/CN110189286B/zh
Publication of CN110189286A publication Critical patent/CN110189286A/zh
Application granted granted Critical
Publication of CN110189286B publication Critical patent/CN110189286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于ResNet的红外与可见光图像融合方法，包括：将源图分解成基础部分和细节部分，基础部分使用平均权重策略进行融合，生成新的基础部分；使用ResNet152对细节部分进行特征提取，得到多个特征层，对特征层分别进行L1正则化、卷积运算、双线性插值上采样和最大选择策略得到最大权重层，由最大权重层和细节部分相乘得到新的细节部分；最后由新的基础部分和细节部分对图像进行重建；该方法在保留图像显著特征的同时使融合图像获得了更多的纹理信息，且有效降低了伪影和噪声。

Description

一种基于ResNet的红外与可见光图像融合方法
技术领域
本发明涉及红外与可见光图像融合领域，更具体的说是涉及一种基于ResNet网络的简单高效的红外与可见光图像融合方法。
背景技术
图像融合是一种图像增强技术，目的是结合不同类型传感器捕捉到的信息生成内容更加丰富，细节更加清晰的图像，以便为后续处理和决策提供帮助。红外线和可见光的信号来自不同的模式，红外图像捕获的是热辐射信息，而可见光图像捕获的是光信息，它们的组合信息比使用各自单独的模式得到的信息更丰富。可见光图像具有较高的空间分辨率和细腻的纹理信息，但易被弱光照、雾和其它恶劣天气条件所干扰；红外图像能够抵抗这些干扰，但分辨率较低，纹理较差。因此，对红外线与可见光图像的融合可以做到信息互补。目前，有关红外线和可见光图像融合方法主要有：基于多尺度变换的方法、基于稀疏表示的方法、基于神经网络的方法。
多尺度变换方法在红外与可见光图像融合中应用广泛。Huang等人提出了一种基于曲线变换和视觉注意机制的红外可见光图像融合方法，其模型可以提高融合图像的信噪比，突出模糊目标。Zhu等人提出了一种改进的多尺度高帽变换模型的红外可见光图像融合方法，该模型能够突出红外图像的目标，更好的保留可见光图像中的细节部分，比传统的多尺度变换图像方法有更好的效果。
基于稀疏表示的图像融合方法是从大量的高质量图像中学习一个过完备的字典，该方法关键在于过完备字典和稀疏编码的构造。Yin等提出了一种将小波与字典学习结合的多尺度字典学习方法，充分利用了多尺度表示和字典学习的优点。Kim等人提出了一种基于图像块聚类和主成分分析(PCA)的字典学习方法，该模型不仅可以消除学习字典的冗余，而且可以消除学习字典的冗余,同时保证了红外和可见光图像融合的质量，但存在字典学习耗时过长的缺点。过完备字典构造完成后，可以利用稀疏编码技术得到表示系数。
近年来，深度学习在图像融合中得到了广泛的应用，多数基于深度学习的图像融合仅仅将深度学习模型作为特征提取的手段，利用提取到的深度特征和待融合图像融合得到融合后图像。Yu Liu等人提出了一种基于卷积神经网络的图像融合方法，使用输入图像的图像块及其模糊处理来训练网络，使网络具有分类能力，最后利用该网络实现源图像到融合图像端到端的映射。
尽管基于深度学习的方法获得了更好的性能，但仍然存在许多缺点：1)YuLiu的方法目前只适用于多聚焦图像融合，使用范围有限；2)这些方法只利用神经网络最后一层的计算结果，很多有用的中间层信息并未充分利用。
因此如何充分利用神经网络的中间层信息，进一步提高红外与可见光融合图像的融合细节，降低伪影和噪声，仍然是一个具有理论意义和实用价值的研究方向。
发明内容
有鉴于此，本发明提供了一种基于ResNet的红外与可见光图像融合方法，有效提高红外与可见光融合图像的融合细节，大大降低融合图像中的伪影和噪声，使得融合图像看起来更加清晰自然。
为了实现上述目的，本发明采用如下技术方案：
本方法将源图像记作Ik,k∈{1,2}。图1为本方法的框架图，Ik通过均值滤波进行二尺度分解得到基础部分和细节部分基础部分使用平均权重的方法进行融合得到Fb，细节部分经过ResNet152处理后得到最大权重层，并与原图细节部分计算得到细节融合图像Fd，最后由融合后的基础部分Fb和细节部分Fd重建得到融合图像。
基础部分融合：本方法使用平均权重策略对基础部分进行融合，如公式(1)所示，和为两种源图像基础部分(x,y)处的像素值，Fb(x,y)为融合后的基础部分(x,y)处的像素值，λ1和λ2为图像和像素的权重，为尽量保留基础部分中的普通特征和减少重复信息，根据实验经验λ1、λ2各取0.5。
细节部分融合：对于细节部分和先使用ResNet152提取特征，得到特征层。然后由特征层得到最大权重层。最后，将最大权重层分别作为和权重系数得到细节部分融合图像Fd。流程如图2所示，具体步骤为以下5个步骤：
Step1：提取特征，如式(2)定义Hi(·)为选取ResNet152网络其中一层作为特征提取层,i∈{1,2,3,4,5}，提取的特征层为表示第k个细节部分经过ResNet152网络提取特征得到的第i个特征层，m表示第i个特征层的通道数m∈{1,2,…,M}，M＝64×2i-1。
Step2：L1正则化，如(3)式表示特征层在坐标(x,y)处的一个M维向量。经L1正则化得到
Step3：卷积运算，为了使细节部分融合图像纹理更加自然，本方法使用卷积核为[1 2 1；2 4 2；1 2 1]步长为1在上进行卷积运算得到流程如图3所示。之后由得到权重层如式(4)，其中n＝2，表示第k个细节部分图像的第i个权重层在(x,y)处的权重值。
Step4：双线性插值上采样，经ResNet152网络得到，记的长宽为(w,h),的长宽为(W，H),其关系如(5)式，其中i∈{1,2,3,4,5}，为使(w,h)与(W,H)相等，对进行双线性插值上采样得到
Step5：最大选择策略，i∈{1,2,3,4,5}，故是一个5维向量，如(6)式，经最大选择策略得到 即为第k个细节部分图像的最大权重层。最后融合后的细节部分Fd由(7)式得到
图像重建：获得了融合后的基础部分Fb和细节部分Fd后，由(8)式对图像进行重建得到最后的融合图像
F(x,y)＝Fb(x,y)+Fd(x,y) (8)
本发明公开提出基于ResNet网络的红外与可见光图像融合方法易于实现，简单高效，融合后图像细节更加清晰，对比度更高，且晕影和块效应不明显，更适合人眼视觉的观察，很大程度上保留了源图像的纹理细节特征，且大大降低了融合图像中的伪影和噪声，使得融合图像看起来更加清晰自然。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述中的附图仅仅是本发明的示意图，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的基于ResNet网络的红外与可见光图像融合方法的流程图；
图2为本发明提供的细节部分图像融合示意图；
图3为本发明提供的卷积操作示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本方法将源图像记作Ik，k∈{1,2}。图1为本方法的框架图，Ik通过均值滤波进行二尺度分解得到基础部分和细节部分基础部分使用平均权重的方法进行融合得到Fb，细节部分经过ResNet152处理后得到最大权重层，并与原图细节部分计算得到细节融合图像Fd，最后由融合后的基础部分Fb和细节部分Fd重建得到融合图像。
基础部分融合：本方法使用平均权重策略对基础部分进行融合，如公式(1)所示，和为两种源图像基础部分(x,y)处的像素值，Fb(x,y)为融合后基础部分(x,y)处的像素值，λ1和λ2为图像和像素的权重，为尽量保留基础部分中的普通特征和减少重复信息，一般情况下，λ1、λ2各取0.5。
细节部分融合：对于细节部分和先使用ResNet152提取特征，得到特征层。然后由特征层得到最大权重层。最后，将最大权重层分别作为和权重系数得到细节部分融合图像Fd。流程如图2所示，具体实施见如下5个步骤：
Step1：提取特征，如式(2)定义Hi(·)为选取ResNet152网络其中一层作为特征提取层,i∈{1,2,3,4,5}，提取的特征层为表示第k个细节部分经过ResNet152网络提取特征得到的第i个特征层，m表示第i个特征层的通道数m∈{1,2,…,M}，M＝64×2i-1。
Step2：L1正则化，如(3)式表示特征层在坐标(x,y)处的一个M维向量。经L1正则化得到
Step3：卷积运算，为了使细节部分融合图像纹理更加自然，本方法使用卷积核为[1 2 1；2 4 2；1 2 1]步长为1在上进行卷积运算得到流程如图3所示。之后由得到权重层如式(4)，其中n＝2，表示第k个细节部分图像的第i个权重层在(x,y)处的权重值。
Step4：双线性插值上采样，经ResNet152网络得到，记的长宽为(w,h),的长宽为(W，H),其关系如(5)式，其中i∈{1,2,3,4,5}，为使(w,h)与(W,H)相等，对进行双线性插值上采样得到
Step5：最大选择策略，i∈{1,2,3,4,5}，故是一个5维向量，如(6)式，经最大选择策略得到 即为第k个细节部分图像的最大权重层。最后融合后的细节部分Fd由(7)式得到
图像重建：获得了融合后的基础部分Fb和细节部分Fd后，由(8)式对图像进行重建得到最后的融合图像
F(x,y)＝Fb(x,y)+Fd(x,y) (8)
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (3)

1.一种基于ResNet的红外与可见光图像融合方法，其特征在于，包括：
S1：基础部分融合，使用平均权重策略对基础部分进行融合，具体为可见光图像的基础部分乘以其相应的权重系数的值与红外线图像的基础部分乘以其相应的权重系数的值相加即为融合后新的基础部分；
S2：细节部分融合，先使用ResNet152提取特征，得到特征层。然后由特征层得到最大权重层。最后将最大权重层分别作为细节部分的权重系数得到细节部分融合图像；
S3：图像重建，获得了融合后的基础部分和细节部分后，将二者相加即可得到最后的融合图像。
2.根据权利要求1所述的一种基于ResNet的红外与可见光图像融合方法，其特征在于，在步骤S2中，使用ResNet152提取特征，然后由特征层得到最大权重层，最后将最大权重层分别作为细节部分的权重系数得到细节部分融合图像。
3.根据权利要求1或2所述的一种基于ResNet的红外与可见光图像融合方法，其特征在于，在步骤S3中，由S1步骤中得到融合后的基础部分和S2步骤中得到的融合后细节部分，再将二者相加得到整体融合图像。
CN201910460002.1A 2019-05-30 2019-05-30 一种基于ResNet的红外与可见光图像融合方法 Active CN110189286B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910460002.1A CN110189286B (zh) 2019-05-30 2019-05-30 一种基于ResNet的红外与可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910460002.1A CN110189286B (zh) 2019-05-30 2019-05-30 一种基于ResNet的红外与可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN110189286A true CN110189286A (zh) 2019-08-30
CN110189286B CN110189286B (zh) 2022-10-04

Family

ID=67718762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910460002.1A Active CN110189286B (zh) 2019-05-30 2019-05-30 一种基于ResNet的红外与可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN110189286B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539902A (zh) * 2020-04-16 2020-08-14 烟台艾睿光电科技有限公司 一种图像处理方法、系统、设备及计算机可读存储介质
CN111709903A (zh) * 2020-05-26 2020-09-25 中国科学院长春光学精密机械与物理研究所 一种红外与可见光图像融合方法
CN112232403A (zh) * 2020-10-13 2021-01-15 四川轻化工大学 一种红外图像与可见光图像的融合方法
CN112862737A (zh) * 2021-02-07 2021-05-28 西北工业大学 一种基于自监督纹理特征指导的红外图像质量增强方法
CN112950519A (zh) * 2021-03-19 2021-06-11 中国科学院长春光学精密机械与物理研究所 一种新型的红外和可见光图像融合算法
CN113763367A (zh) * 2021-09-13 2021-12-07 中国空气动力研究与发展中心超高速空气动力研究所 一种大尺寸试件红外检测特征综合判读方法
CN113763368A (zh) * 2021-09-13 2021-12-07 中国空气动力研究与发展中心超高速空气动力研究所 一种大尺寸试件多类型损伤检测特征分析方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017020595A1 (zh) * 2015-08-05 2017-02-09 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN109360175A (zh) * 2018-10-12 2019-02-19 云南大学 一种红外与可见光的图像融合方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017020595A1 (zh) * 2015-08-05 2017-02-09 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN109360175A (zh) * 2018-10-12 2019-02-19 云南大学 一种红外与可见光的图像融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋瑞霞等: "一种基于频域的红外与可见光图像融合新算法", 《激光与红外》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539902A (zh) * 2020-04-16 2020-08-14 烟台艾睿光电科技有限公司 一种图像处理方法、系统、设备及计算机可读存储介质
CN111709903A (zh) * 2020-05-26 2020-09-25 中国科学院长春光学精密机械与物理研究所 一种红外与可见光图像融合方法
CN112232403A (zh) * 2020-10-13 2021-01-15 四川轻化工大学 一种红外图像与可见光图像的融合方法
CN112862737A (zh) * 2021-02-07 2021-05-28 西北工业大学 一种基于自监督纹理特征指导的红外图像质量增强方法
CN112862737B (zh) * 2021-02-07 2024-05-14 西北工业大学 一种基于自监督纹理特征指导的红外图像质量增强方法
CN112950519A (zh) * 2021-03-19 2021-06-11 中国科学院长春光学精密机械与物理研究所 一种新型的红外和可见光图像融合算法
CN112950519B (zh) * 2021-03-19 2022-03-15 中国科学院长春光学精密机械与物理研究所 一种新型的红外和可见光图像融合算法
CN113763367A (zh) * 2021-09-13 2021-12-07 中国空气动力研究与发展中心超高速空气动力研究所 一种大尺寸试件红外检测特征综合判读方法
CN113763368A (zh) * 2021-09-13 2021-12-07 中国空气动力研究与发展中心超高速空气动力研究所 一种大尺寸试件多类型损伤检测特征分析方法

Also Published As

Publication number Publication date
CN110189286B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN110189286A (zh) 一种基于ResNet的红外与可见光图像融合方法
CN109671023B (zh) 一种人脸图像超分辨率二次重建方法
CN113362223B (zh) 基于注意力机制和双通道网络的图像超分辨率重建方法
CN106683067A (zh) 一种基于残差子图像的深度学习超分辨率重建方法
CN107958444A (zh) 一种基于深度学习的人脸超分辨率重建方法
CN107784642B (zh) 一种红外视频和可见光视频自适应融合方法
CN113283444B (zh) 一种基于生成对抗网络的异源图像迁移方法
CN106408524A (zh) 基于二维图像辅助的深度图像增强方法
CN107123089A (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN103020933B (zh) 一种基于仿生视觉机理的多源图像融合方法
CN107203985A (zh) 一种端到端深度学习框架下的多曝光图像融合方法
CN113033630A (zh) 一种基于双非局部注意力模型的红外与可见光图像深度学习融合方法
CN110223370A (zh) 一种从单视点图片生成完整人体纹理贴图的方法
CN110443883A (zh) 一种基于dropblock的单张彩色图片平面三维重建方法
CN110490804A (zh) 一种基于生成对抗网络的生成超分辨图像的方法
CN116958437A (zh) 融合注意力机制的多视图重建方法及系统
CN110349085A (zh) 一种基于生成对抗网络的单幅图像超分辨特征增强方法
CN113077505A (zh) 一种基于对比学习的单目深度估计网络的优化方法
CN107845065A (zh) 超分辨率图像重建方法和装置
CN109949217A (zh) 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN116664782A (zh) 一种基于融合体素的神经辐射场三维重建方法
CN110992414A (zh) 一种基于卷积神经网络的室内单目场景深度估计的方法
Wang et al. Image super-resolution using a improved generative adversarial network
CN109658361A (zh) 一种顾及运动估计误差的运动场景超分辨率重建方法
CN117292244A (zh) 一种基于多层卷积的红外与可见光图像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant