CN109919887A - 一种基于深度学习的无监督图像融合方法 - Google Patents

一种基于深度学习的无监督图像融合方法 Download PDF

Info

Publication number
CN109919887A
CN109919887A CN201910137041.8A CN201910137041A CN109919887A CN 109919887 A CN109919887 A CN 109919887A CN 201910137041 A CN201910137041 A CN 201910137041A CN 109919887 A CN109919887 A CN 109919887A
Authority
CN
China
Prior art keywords
image
infrared
network
visible images
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910137041.8A
Other languages
English (en)
Other versions
CN109919887B (zh
Inventor
李阳
王继霄
苗壮
王家宝
张睿
卢继荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Army Engineering University of PLA
Original Assignee
Army Engineering University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Army Engineering University of PLA filed Critical Army Engineering University of PLA
Priority to CN201910137041.8A priority Critical patent/CN109919887B/zh
Publication of CN109919887A publication Critical patent/CN109919887A/zh
Application granted granted Critical
Publication of CN109919887B publication Critical patent/CN109919887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于深度学习的无监督图像融合方法，包括如下步骤：获取可见光和红外图像，并利用计算机对图像进行预处理，构建一个用于训练图像融合网络的数据集，数据集中包含成对的红外和可见光图像；构造一个轻量级的深度卷积神经网络，网络可以实现将输入的可见光和红外图像进行加权融合和解码还原；构造一个混合损失函数，混合损失函数包括图像的生成损失和结构损失，利用该混合损失函数训练深度卷积神经网络，获得深度图像融合网络模型参数；模型学习完毕后，去掉解码网络，即可利用该网络输入可见光和红外图像，网络的输出即为融合之后的图像。本发明实现了轻量级的图像融合方法，在有限计算资源的移动设备和嵌入式设备中能够达到高质量的融合效果。

Description

一种基于深度学习的无监督图像融合方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于深度学习的无监督图像融合方法。
背景技术
随着信息技术的发展，数字图像被广泛适用于各种场景中。但多种传感器的使用，同时也带来了信息的冗余与分析复杂性的增加。如何更好的综合利用多源传感信息，将多源冗余信息合并，同时构建出内容更加丰富的融合信息，已经成为科学家们亟待解决的关键问题。图像融合是复杂探测系统的关键问题之一，其目的是利用特定的算法将同一场景的多源图像综合成一幅信息更加完整的新图像。虽然图像融合经过了长时间的研究，但由于在实际运用中仍存在局限性，当前的融合策略只适用于特定的场合和特定和角度。
为了解决上述关键问题，近年来大量的研究者希望利用深度学习的方式，让计算机通过深度卷积网络来对图像进行融合的算法。但由于深度卷积神经网络模型结构复杂，且融合策略过于单一，在实际应用中模型需要大量的存储和计算资源，很难应用到手机等移动终端中。同时，由于图像融合结果没有严格的评价指标，很难通过有监督信息进行学习。因此，图像融合方法急需轻量级的无监督方法，实现在有限计算资源的移动设备和嵌入式设备中达到高质量的融合效果。
发明内容
本发明针对现有技术中的不足，提供一种基于深度学习的无监督图像融合方法。
为实现上述目的，本发明采用以下技术方案：
一种基于深度学习的无监督图像融合方法，其特征在于，包括如下步骤：
步骤S1、获取红外和可见光图像，并利用计算机对图像进行预处理，构建一个用于训练图像融合网络的数据集，该数据集中包含成对的红外和可见光图像；
步骤S2、构造一个轻量级深度卷积神经网络，该深度卷积神经网络可以实现将输入的红外和可见光图像进行加权融合和解码还原；
步骤S3、构造一个混合损失函数，该混合损失函数包括图像的生成损失和结构损失，利用混合损失函数训练深度卷积神经网络，获得深度图像融合网络模型参数；
步骤S4、深度图像融合网络模型学习完毕后，去掉解码网络，利用该网络输入红外和可见光图像，网络的输出即为融合之后的图像。
为优化上述技术方案，采取的具体措施还包括：
进一步地，步骤S1中，获取的红外和可见光图像是成对的，是在同一机位和同一时刻拍摄的，不同数据源获取的多源图像无需缩放至同一尺度大小。
进一步地，步骤S1中，构建训练数据集时，当数据集规模包含预设数量的多源图像时，停止收集数据。
进一步地，步骤S2中，轻量级深度卷积神经网络由两部分单位构成，分别为编码单元和解码单元，编码单元和解码单元均依次由单点卷积层、单层卷积层和单点卷积层构成，单点卷积层和单层卷积层之间加入批量归一化与非线性激活函数；给定一对红外和可见光图像，经过该编码单元后输出融合图像；给定融合图像，经过该解码单元后输出对应的一对红外和可见光图像。
进一步地，步骤S3具体包括：
构建生成损失，该损失Lp为：Lp＝||O-I||2，其中O表示输出的红外和可见光图像，I表示输入的红外和可见光图像；
构建结构损失，即图像融合后和原输入的红外和可见光图像之间的SSIM差异损失，该损失Lssim为：Lssim＝1-SSIM(O，I)，其中SSIM表示结构相似性计算函数；
构建优化目标函数，该优化目标函数为混合损失函数：L＝λLssim+Lp，其中λ为比例系数；
利用反向传播算法，求解目标函数关于系数的偏导数，同时对深度卷积神经网络各层参数利用随机梯度下降进行参数更新学习。
进一步地，步骤S4中，模型学习得到模型参数后，直接去掉网络中的解码单元；通过输入任意一对红外和可见光图像，网络对输入图像进行计算，输出融合图像。
本发明的有益效果是：通过无监督学习方法，实现了轻量级的图像融合，在有限计算资源的移动设备和嵌入式设备中达到高质量的融合效果。
附图说明
图1为本发明基于深度学习的轻量级无监督图像融合方法流程图。
图2为本发明轻量级深度卷积神经网络模型结构图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
如图1所示的一种基于基于深度学习的轻量级无监督图像融合方法，包括以下步骤：
步骤S1：获取可见光和红外图像，并利用计算机对图像进行预处理，构建一个用于训练图像融合网络的数据集，数据集中包含成对红外和可见光图像。
在本实施方式中，获取的红外和可见光图像需是成对的，即在同一机位和同一时刻拍摄的，不同数据源获取的图像无需缩放至同一尺度大小；构建训练数据集时，当数据集规模包含预设数量的图像时，停止收集数据。
具体地，在步骤S1中包括如下内容：
1.1、对于需要采集的红外和可见光图像需是成对的，即同一机位同一时刻采集的；
1.2、成对红外和可见光图像的收集可以从传感器获得；
1.3、不同数据源获取的图像无需缩放至同一尺度大小；
1.4、采用上述方法构建训练数据集，当数据集规模包含预设数量的图像时，可停止收集数据。
步骤S2：构造一个轻量级的深度卷积神经网络，网络可以实现将输入的可见光和红外图像进行加权融合和解码还原。
在本实施方式中，轻量级深度卷积神经网络由两部分单位构成，分别为编码单元和解码单元，编码单元和解码单元依次由单点卷积层、单层卷积层和单点卷积层构成，单点卷积层和单层卷积层之间加入批量归一化与非线性激活单元；给定一对红外和可见光图像，经过该编码单元后输出融合图像；给定融合图像，经过该解码单元后输出对应的一对红外和可见光图像。
具体地，轻量级深度卷积神经网络结构参见图2，在步骤S2中包括如下内容：
输入图像为红外和可见光图像，输入图像首先经过编码单元，通过编码单元分别提取红外图像和可见光图像的特征信息，而后通过预设的融合策略将两部分特征信息进行融合输出融合图像；将融合图像输入到解码单元中，由解码单元将图像信息进行解码生成红外和可见光图像。
步骤S3：构造一个混合损失函数，混合损失函数包括图像的生成损失和结构损失，利用该混合损失函数训练深度卷积神经网络，获得深度图像融合网络模型参数。
在本实施方式中，图像融合的混合损失函数包括生成损失和结构损失。通过生成损失可以比对解码后的红外和可见光图像和原图像之间的差异，可以保证融合后图像保留了原图像的关键信息；通过结构损失可以比对融合图像和原图像之间的结构差异，使得融合后的图像的评价指标较高。
具体地，在步骤S3中包括如下步骤：
构建生成损失，该损失为：Lp＝||O-I||2，其中O表示输出的红外和可见光图像，I表示输入的红外和可见光图像；
构建结构损失，即图像融合后和原输入的红外和可见光图像之间的SSIM差异损失，该损失为：Lssim＝1-SSIM(O，I)，其中SSIM表示结构相似性计算函数；
构建优化目标函数，该优化目标函数为混合损失函数：L＝λLssim+Lp，其中λ为比例系数；
利用反向传播算法，求解目标函数关于系数的偏导数，同时对深度卷积神经网络各层参数利用随机梯度下降进行参数更新学习。
步骤S4：模型学习完毕后，去掉解码网络，即可利用该网络输入可见光和红外图像，网络的输出即为融合之后的图像。
在本实施方式中，模型学习得到模型参数后，直接去掉网络中的解码单元；通过输入任意一对红外和可见光图像，网络将对输入图像进行计算，输出融合图像。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (6)

1.一种基于深度学习的无监督图像融合方法，其特征在于，包括如下步骤：
步骤S1、获取红外和可见光图像，并利用计算机对图像进行预处理，构建一个用于训练图像融合网络的数据集，该数据集中包含成对的红外和可见光图像；
步骤S2、构造一个轻量级深度卷积神经网络，该深度卷积神经网络可以实现将输入的红外和可见光图像进行加权融合和解码还原；
步骤S3、构造一个混合损失函数，该混合损失函数包括图像的生成损失和结构损失，利用混合损失函数训练深度卷积神经网络，获得深度图像融合网络模型参数；
步骤S4、深度图像融合网络模型学习完毕后，去掉解码网络，利用该网络输入红外和可见光图像，网络的输出即为融合之后的图像。
2.如权利要求1所述的一种基于深度学习的无监督图像融合方法，其特征在于：步骤S1中，获取的红外和可见光图像是成对的，是在同一机位和同一时刻拍摄的，不同数据源获取的多源图像无需缩放至同一尺度大小。
3.如权利要求1所述的一种基于深度学习的无监督图像融合方法，其特征在于：步骤S1中，构建训练数据集时，当数据集规模包含预设数量的多源图像时，停止收集数据。
4.如权利要求1所述的一种基于深度学习的无监督图像融合方法，其特征在于：步骤S2中，轻量级深度卷积神经网络由两部分单位构成，分别为编码单元和解码单元，编码单元和解码单元均依次由单点卷积层、单层卷积层和单点卷积层构成，单点卷积层和单层卷积层之间加入批量归一化与非线性激活函数；给定一对红外和可见光图像，经过该编码单元后输出融合图像；给定融合图像，经过该解码单元后输出对应的一对红外和可见光图像。
5.如权利要求1所述的一种基于深度学习的无监督图像融合方法，其特征在于：步骤S3具体包括：
构建生成损失，该损失Lp为：Lp＝||O-I||2，其中O表示输出的红外和可见光图像，I表示输入的红外和可见光图像；
构建结构损失，即图像融合后和原输入的红外和可见光图像之间的SSIM差异损失，该损失Lssim为：Lssim＝1-SSIM(O，I)，其中SSIM表示结构相似性计算函数；
构建优化目标函数，该优化目标函数为混合损失函数：L＝λLssim+Lp，其中λ为比例系数；
利用反向传播算法，求解目标函数关于系数的偏导数，同时对深度卷积神经网络各层参数利用随机梯度下降进行参数更新学习。
6.如权利要求1所述的一种基于深度学习的无监督图像融合方法，其特征在于：步骤S4中，模型学习得到模型参数后，直接去掉网络中的解码单元；通过输入任意一对红外和可见光图像，网络对输入图像进行计算，输出融合图像。
CN201910137041.8A 2019-02-25 2019-02-25 一种基于深度学习的无监督图像融合方法 Active CN109919887B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910137041.8A CN109919887B (zh) 2019-02-25 2019-02-25 一种基于深度学习的无监督图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910137041.8A CN109919887B (zh) 2019-02-25 2019-02-25 一种基于深度学习的无监督图像融合方法

Publications (2)

Publication Number Publication Date
CN109919887A true CN109919887A (zh) 2019-06-21
CN109919887B CN109919887B (zh) 2021-06-18

Family

ID=66962189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910137041.8A Active CN109919887B (zh) 2019-02-25 2019-02-25 一种基于深度学习的无监督图像融合方法

Country Status (1)

Country Link
CN (1) CN109919887B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533623A (zh) * 2019-09-06 2019-12-03 兰州交通大学 一种基于监督学习的全卷积神经网络多聚焦图像融合方法
CN111260594A (zh) * 2019-12-22 2020-06-09 天津大学 一种无监督的多模态图像融合方法
CN111353966A (zh) * 2020-03-03 2020-06-30 西华大学 基于全变分深度学习的图像融合方法及其应用与系统
CN111582066A (zh) * 2020-04-21 2020-08-25 浙江大华技术股份有限公司 异质人脸识别模型训练方法、人脸识别方法及相关装置
CN111626960A (zh) * 2020-05-29 2020-09-04 Oppo广东移动通信有限公司 图像去雾方法、终端及计算机存储介质
CN111681195A (zh) * 2020-06-09 2020-09-18 中国人民解放军63811部队 红外图像和可见光图像的融合方法、装置及可读存储介质
CN111985625A (zh) * 2020-09-04 2020-11-24 江苏濠汉信息技术有限公司 一种红外-可见光融合的深度神经网络及其建模方法
CN112288663A (zh) * 2020-09-24 2021-01-29 山东师范大学 一种红外与可见光图像融合方法及系统
CN112288668A (zh) * 2020-09-22 2021-01-29 西北工业大学 基于深度无监督密集卷积网络的红外和可见光图像融合方法
CN112561846A (zh) * 2020-12-23 2021-03-26 维沃移动通信有限公司 训练图像融合模型的方法、装置和电子设备
CN113012087A (zh) * 2021-03-31 2021-06-22 中南大学 基于卷积神经网络的图像融合方法
CN113159143A (zh) * 2021-04-06 2021-07-23 中国人民解放军国防科技大学 基于跳跃连接卷积层的红外与可见光图像融合方法和装置
CN113160286A (zh) * 2021-01-06 2021-07-23 中国地质大学（武汉） 一种基于卷积神经网络的近红外和可见光图像融合方法
CN113298744A (zh) * 2021-06-07 2021-08-24 长春理工大学 一种端到端的红外与可见光图像融合方法
CN113379658A (zh) * 2021-06-01 2021-09-10 大连海事大学 一种无人机观测目标特征双光融合方法及系统
CN113470055A (zh) * 2021-07-16 2021-10-01 南京信息工程大学 一种基于fpga加速的图像融合处理方法
WO2022042049A1 (zh) * 2020-08-31 2022-03-03 华为技术有限公司 图像融合方法、图像融合模型的训练方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087255A (zh) * 2018-07-18 2018-12-25 中国人民解放军陆军工程大学 一种基于混合损失的轻量级深度图像去噪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087255A (zh) * 2018-07-18 2018-12-25 中国人民解放军陆军工程大学 一种基于混合损失的轻量级深度图像去噪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUI LI等: "DenseFuse: A Fusion Approach to Infrared and Visible Images", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
HUI LI等: "Infrared and Visible Image Fusion using a Deep Learning Framework", 《2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533623A (zh) * 2019-09-06 2019-12-03 兰州交通大学 一种基于监督学习的全卷积神经网络多聚焦图像融合方法
CN110533623B (zh) * 2019-09-06 2022-09-30 兰州交通大学 一种基于监督学习的全卷积神经网络多聚焦图像融合方法
CN111260594A (zh) * 2019-12-22 2020-06-09 天津大学 一种无监督的多模态图像融合方法
CN111260594B (zh) * 2019-12-22 2023-10-31 天津大学 一种无监督的多模态图像融合方法
CN111353966A (zh) * 2020-03-03 2020-06-30 西华大学 基于全变分深度学习的图像融合方法及其应用与系统
CN111353966B (zh) * 2020-03-03 2024-02-09 南京一粹信息科技有限公司 基于全变分深度学习的图像融合方法及其应用与系统
CN111582066A (zh) * 2020-04-21 2020-08-25 浙江大华技术股份有限公司 异质人脸识别模型训练方法、人脸识别方法及相关装置
CN111582066B (zh) * 2020-04-21 2023-10-03 浙江大华技术股份有限公司 异质人脸识别模型训练方法、人脸识别方法及相关装置
CN111626960A (zh) * 2020-05-29 2020-09-04 Oppo广东移动通信有限公司 图像去雾方法、终端及计算机存储介质
CN111681195A (zh) * 2020-06-09 2020-09-18 中国人民解放军63811部队 红外图像和可见光图像的融合方法、装置及可读存储介质
WO2022042049A1 (zh) * 2020-08-31 2022-03-03 华为技术有限公司 图像融合方法、图像融合模型的训练方法和装置
CN111985625B (zh) * 2020-09-04 2024-04-26 江苏濠汉信息技术有限公司 一种红外-可见光融合的深度神经网络及其建模方法
CN111985625A (zh) * 2020-09-04 2020-11-24 江苏濠汉信息技术有限公司 一种红外-可见光融合的深度神经网络及其建模方法
CN112288668B (zh) * 2020-09-22 2024-04-16 西北工业大学 基于深度无监督密集卷积网络的红外和可见光图像融合方法
CN112288668A (zh) * 2020-09-22 2021-01-29 西北工业大学 基于深度无监督密集卷积网络的红外和可见光图像融合方法
CN112288663A (zh) * 2020-09-24 2021-01-29 山东师范大学 一种红外与可见光图像融合方法及系统
CN112561846A (zh) * 2020-12-23 2021-03-26 维沃移动通信有限公司 训练图像融合模型的方法、装置和电子设备
CN113160286A (zh) * 2021-01-06 2021-07-23 中国地质大学（武汉） 一种基于卷积神经网络的近红外和可见光图像融合方法
CN113012087B (zh) * 2021-03-31 2022-11-04 中南大学 基于卷积神经网络的图像融合方法
CN113012087A (zh) * 2021-03-31 2021-06-22 中南大学 基于卷积神经网络的图像融合方法
CN113159143A (zh) * 2021-04-06 2021-07-23 中国人民解放军国防科技大学 基于跳跃连接卷积层的红外与可见光图像融合方法和装置
CN113379658A (zh) * 2021-06-01 2021-09-10 大连海事大学 一种无人机观测目标特征双光融合方法及系统
CN113379658B (zh) * 2021-06-01 2024-03-15 大连海事大学 一种无人机观测目标特征双光融合方法及系统
CN113298744B (zh) * 2021-06-07 2022-10-28 长春理工大学 一种端到端的红外与可见光图像融合方法
CN113298744A (zh) * 2021-06-07 2021-08-24 长春理工大学 一种端到端的红外与可见光图像融合方法
CN113470055A (zh) * 2021-07-16 2021-10-01 南京信息工程大学 一种基于fpga加速的图像融合处理方法

Also Published As

Publication number Publication date
CN109919887B (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN109919887A (zh) 一种基于深度学习的无监督图像融合方法
WO2020168731A1 (zh) 一种基于生成对抗机制与注意力机制的标准人脸生成方法
CN110009569A (zh) 一种基于轻量级卷积神经网络的红外和可见光图像融合方法
CN109087255A (zh) 一种基于混合损失的轻量级深度图像去噪方法
CN113240179A (zh) 融合时空信息的轨道人流量预测方法及系统
CN110021043A (zh) 一种基于立体匹配和置信度传播的场景深度获取方法
Wu et al. Multimodal crowd counting with mutual attention transformers
CN115471723A (zh) 一种基于红外与可见光图像融合的变电站无人机巡检方法
CN116206133A (zh) 一种rgb-d显著性目标检测方法
Jeong et al. Visual comfort assessment of stereoscopic images using deep visual and disparity features based on human attention
CN109284720A (zh) 度量视频连续帧与其卷积特征图间差异在视频行为识别中的应用
CN113870312B (zh) 基于孪生网络的单目标跟踪方法
CN111105451A (zh) 一种克服遮挡效应的驾驶场景双目深度估计方法
Liu et al. Dual‐view 3D human pose estimation without camera parameters for action recognition
Lyu et al. Physics-guided reflection separation from a pair of unpolarized and polarized images
CN108965852A (zh) 一种具有容错能力的半自动2d转3d的方法
CN115527159B (zh) 一种基于跨模态间尺度注意聚合特征的计数系统及方法
CN113920317B (zh) 基于可见光图像和低分辨率深度图像的语义分割方法
CN115841462A (zh) 一种立体视觉感知和Transformer融合的无参考立体图像质量评价方法
CN115909408A (zh) 一种基于Transformer网络的行人重识别方法及装置
CN113096176B (zh) 一种语义分割辅助的双目视觉无监督深度估计方法
Wu et al. Stereo superpixel segmentation via dual-attention fusion networks
CN109543684A (zh) 基于全卷积神经网络的即时目标追踪检测方法及系统
Na Colour image reconstruction in indoor space based on machine vision
CN108965885A (zh) 一种基于帧压缩测量的视频在线重建与移动目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant