CN110009569A - 一种基于轻量级卷积神经网络的红外和可见光图像融合方法 - Google Patents

一种基于轻量级卷积神经网络的红外和可见光图像融合方法 Download PDF

Info

Publication number
CN110009569A
CN110009569A CN201910301487.XA CN201910301487A CN110009569A CN 110009569 A CN110009569 A CN 110009569A CN 201910301487 A CN201910301487 A CN 201910301487A CN 110009569 A CN110009569 A CN 110009569A
Authority
CN
China
Prior art keywords
image
infrared
feature
neural networks
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910301487.XA
Other languages
English (en)
Other versions
CN110009569B (zh
Inventor
李阳
苗壮
王继霄
王家宝
张睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Army Engineering University of PLA
Original Assignee
Army Engineering University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Army Engineering University of PLA filed Critical Army Engineering University of PLA
Priority to CN201910301487.XA priority Critical patent/CN110009569B/zh
Publication of CN110009569A publication Critical patent/CN110009569A/zh
Application granted granted Critical
Publication of CN110009569B publication Critical patent/CN110009569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于轻量级卷积神经网络的红外和可见光图像融合方法,包括:将需要融合的成对红外和可见光图像进行批处理,使成对的图像尺寸一致;构造一个轻量级的卷积神经网络,实现对红外图像和可见光图像特征的提取,将批处理的两类图像输入到该网络,获得经过激活函数处理的特定层输出;采用L1‑norm的方式求解提取特征的特征范数,得到二维张量权值图;利用特征范数构造融合策略,而后将源图像按照融合策略进行图像融合;融合完毕后通过调整尺度大小获得融合图像。本发明实现了轻量级红外和可见光图像的融合,解决了传统融合策略泛化能力差的问题,提升了图像的效果和可识别性,在有限计算资源的移动设备和嵌入式设备中能够达到高质量的增强效果。

Description

一种基于轻量级卷积神经网络的红外和可见光图像融合方法
技术领域
本发明属于图像处理技术领域,具体涉及一种基于轻量级卷积神经网络的红外和可见光图像融合方法。
背景技术
复杂场景下计算机视觉任务对于计算机而言十分困难,往往需要利用多种信息才能实现。但随着传感技术的飞速发展,综合利用多源信息成为了可能。但多种传感器的部署,同时也带来了信息的冗余与分析困难。图像融合的目的就是通过综合多源图像信息、删减冗余信息,实现图像的高利用率;同时提升图像质量,提高图像的辨识度。传统的图像融合方式经过长时间的研究,已经到达了一定的瓶颈。主要存在的问题是融合速度较慢并且泛化能力较差,很难适应多类型图像。
随着深度学习的兴起,给解决上述关键问题带来了新的思路,研究人员开始转向利用深度学习的方式对图像进行融合,来提高融合的质量和速度。卷积神经网络作为深度学习的主要组成部分被运用于图像融合,并取得了不错的融合效果,较传统方法有了显著的性能提升。但由于卷积神经网络模型结构复杂,在融合过程中需要消耗大量的存储资源和计算资源,不利于推广到移动和嵌入式设备上。因此,急需轻量级的图像融合方法,来实现移动和嵌入式设备上的高效图像融合。
发明内容
本发明针对现有技术中的不足,提供一种基于轻量级卷积神经网络的红外和可见光图像融合方法
为实现上述目的,本发明采用以下技术方案:
一种基于轻量级卷积神经网络的红外和可见光图像融合方法,其特征在于,包括以下步骤:
步骤S1、将需要融合的成对红外和可见光图像进行批处理,使成对的图像尺寸一致;
步骤S2、构造一个轻量级深度卷积神经网络,网络可以实现对红外图像和可见光图像特征的提取,将批处理的两类图像输入到该网络,获得经过激活函数处理的特定层输出;
步骤S3、采用L1-norm的方式求解提取特征的特征范数,该特征为三维张量图,得到二维张量权值图;
步骤S4、利用特征范数构造融合策略,而后将源图像按照融合策略进行图像融合,融合完毕后通过调整尺度大小获得融合图像。
为优化上述技术方案,采取的具体措施还包括:
进一步地,步骤S1中,红外图像和可见光图像的获取是从同一机位下同一时刻采集的,获取的红外图像和可见光图像需缩放至同一尺度大小;将获取的二维矢量图复制两层,获得三维张量的图像。
进一步地,步骤S2中,轻量级深度卷积神经网络由若干网络层构成,其中每个网络层依次由卷积层、Fire模块和池化层构成,Fire模块由压缩卷积层和扩张卷积层组成,在压缩卷积层和扩张卷积层之间加入批量归一化与非线性激活单元;给定批处理的图像,经过该轻量级深度卷积神经网络后经过的每一层网络都能输出所需的特征;预处理后的图像经过该网络后任意一层的输出,在relu激活函数后获得其对应层的特征。
进一步地,步骤S2中,F1∈RK×W×H和F2∈RK×W×H分别代表红外和可见光图像经过网络后提取的特征,其中W、H分别表示特征图的宽度和长度,K表示特征图的数量,该特征将作为图像融合的基础数据源。
进一步地,步骤S3具体包括:采用L1-norm的方式将三维张量图转化为二维张量权值图;该操作先对步骤S2中提取的特征F1和F2进行批量处理,然后进行求解特征范数实现了三维到二维的求解,从而获取权值图;
其中表示图像在(x,y)坐标下的特征范数,下标k为1时表示红外图像的,k为2时表示可见光图像的,t表示滑动窗口的大小,p表示滑动窗口的长度,q表示滑动窗口的宽度,Fk(p,q)表示在滑动窗口区域下图像的特征值。
进一步地,步骤S4中,将获得的两类图像特定层输出按照预设的策略求解红外与可见光图像各自的权重图而后进行加权融合;
其中,表示图像在(x,y)坐标下的权重图,Fused(x,y)表示融合后的图像,Source1(x,y)表示源红外图像,Source2(x,y)表示源可见光图像。
融合完毕后通过调整尺度大小获得融合图像。
本发明的有益效果是:实现了轻量级的红外和可见光图像融合方法,在有限计算资源的移动设备和嵌入式设备中达到高质量的融合效果。
附图说明
图1为本发明基于轻量级卷积神经网络的红外和可见光图像融合方法流程图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
如图1所示的一种基于深度学习的轻量级红外和可见光图像融合方法,包括以下步骤:
步骤S1:将需要融合的成对红外和可见光图像进行批处理,使成对的图像尺寸一致。
在本实施方式中,轻量级红外和可见光图像融合方法主要应用于各种场景中由于受存储大小的原因和采集环境的受限条件下的图像,使得图像的辨识度更高。
具体地,在步骤S1中包括如下内容:
1.1、对于需要收集的红外图像和可见光图像有特定要求,需要在同一机位下进行拍摄;
1.2、红外图像和对应的可见光图像尺寸需调整一致。
步骤S2:构造一个轻量级的卷积神经网络,网络可以实现对红外图像和可见光图像特征的提取,将批处理后的两类图像输入到该网络,获得经过激活函数处理的特定层输出。
在本实施方式中,轻量级深度卷积神经网络由若干网络层构成,其中每个网络层依次由卷积层、Fire模块和池化层构成,Fire模块由压缩卷积层和扩张卷积层组成,在压缩卷积层和扩张卷积层之间加入批量归一化与非线性激活单元;给定预处理的图像,经过该轻量级深度卷积神经网络后经过的每一层网络都能输出所需的特征。预处理后的图像经过该网络后任意一层的输出,在relu激活函数后都会获得其对应层的特征,设F1∈RK×W×H和F2∈RK×W×H分别代表红外和可见光图像经过该网络后提取的特征,其中W、H分别表示特征图的宽度和长度,K表示特征图的数量。该特征将作为图像融合的基础数据源。
步骤S3:采用L1-norm的方式将步骤S2获得的图像特征(三维张量的图)转化为二维张量权值图。
该操作主要是先对步骤S2中提取的特征F1和F2进行批量处理,然后进行求解特征范数 实现了三维到二维的求解,从而获取权值图。
其中表示图像在(x,y)坐标下的特征范数,下标k为1时表示红外图像的,k为2时表示可见光图像的,t表示滑动窗口的大小,p表示滑动窗口的长度、q表示滑动窗口的宽度,Fk(p,q)表示在滑动窗口区域下图像的特征值。
步骤S4:将获得的两类图像特定层输出按照预设的策略求解红外与可见光图像各自的权重图而后进行加权融合。
其中,表示图像在(x,y)坐标下的权重图,Fused(x,y)表示融合后的图像,Source1(x,y)表示源红外图像,Source2(x,y)表示源可见光图像。
融合完毕后通过调整尺度大小获得融合图像。
在本实施方式中,通过输入任意一对红外和可见光图像,网络通过提取特征,并进行加权融合计算,网络的输出即为融合的结果图像。
需要注意的是,发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语,亦仅为便于叙述的明了,而非用以限定本发明可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。

Claims (6)

1.一种基于轻量级卷积神经网络的红外和可见光图像融合方法,其特征在于,包括以下步骤:
步骤S1、将需要融合的成对红外和可见光图像进行批处理,使成对的图像尺寸一致;
步骤S2、构造一个轻量级深度卷积神经网络,网络可以实现对红外图像和可见光图像特征的提取,将批处理的两类图像输入到该网络,获得经过激活函数处理的特定层输出;
步骤S3、采用L1-norm的方式求解提取特征的特征范数,该特征为三维张量图,得到二维张量权值图;
步骤S4、利用特征范数构造融合策略,而后将源图像按照融合策略进行图像融合,融合完毕后通过调整尺度大小获得融合图像。
2.如权利要求1所述的一种基于轻量级卷积神经网络的红外和可见光图像融合方法,其特征在于:步骤S1中,红外图像和可见光图像的获取是从同一机位下同一时刻采集的,获取的红外图像和可见光图像需缩放至同一尺度大小;将获取的二维矢量图复制两层,获得三维张量的图像。
3.如权利要求1所述的一种基于轻量级卷积神经网络的红外和可见光图像融合方法,其特征在于:步骤S2中,轻量级深度卷积神经网络由若干网络层构成,其中每个网络层依次由卷积层、Fire模块和池化层构成,Fire模块由压缩卷积层和扩张卷积层组成,在压缩卷积层和扩张卷积层之间加入批量归一化与非线性激活单元;给定批处理的图像,经过该轻量级深度卷积神经网络后经过的每一层网络都能输出所需的特征;预处理后的图像经过该网络后任意一层的输出,在relu激活函数后获得其对应层的特征。
4.如权利要求3所述的一种基于轻量级卷积神经网络的红外和可见光图像融合方法,其特征在于:步骤S2中,F1∈RK×W×H和F2∈RK×W×H分别代表红外和可见光图像经过网络后提取的特征,其中W、H分别表示特征图的宽度和长度,K表示特征图的数量,该特征将作为图像融合的基础数据源。
5.如权利要求4所述的一种基于轻量级卷积神经网络的红外和可见光图像融合方法,其特征在于:步骤S3具体包括:采用L1-norm的方式将三维张量图转化为二维张量权值图;该操作先对步骤S2中提取的特征F1和F2进行批量处理,然后进行求解特征范数实现了三维到二维的求解,从而获取权值图;
其中表示图像在(x,y)坐标下的特征范数,下标k为1时表示红外图像的,k为2时表示可见光图像的,t表示滑动窗口的大小,p表示滑动窗口的长度,q表示滑动窗口的宽度,Fk(p,q)表示在滑动窗口区域下图像的特征值。
6.如权利要求5所述的一种基于轻量级卷积神经网络的红外和可见光图像融合方法,其特征在于:步骤S4中,将获得的两类图像特定层输出按照预设的策略求解红外与可见光图像各自的权重图而后进行加权融合;
其中,表示图像在(x,y)坐标下的权重图,Fused(x,y)表示融合后的图像,Source1(x,y)表示源红外图像,Source2(x,y)表示源可见光图像。
融合完毕后通过调整尺度大小获得融合图像。
CN201910301487.XA 2019-04-17 2019-04-17 一种基于轻量级卷积神经网络的红外和可见光图像融合方法 Active CN110009569B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910301487.XA CN110009569B (zh) 2019-04-17 2019-04-17 一种基于轻量级卷积神经网络的红外和可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910301487.XA CN110009569B (zh) 2019-04-17 2019-04-17 一种基于轻量级卷积神经网络的红外和可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN110009569A true CN110009569A (zh) 2019-07-12
CN110009569B CN110009569B (zh) 2023-03-21

Family

ID=67172015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910301487.XA Active CN110009569B (zh) 2019-04-17 2019-04-17 一种基于轻量级卷积神经网络的红外和可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN110009569B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652276A (zh) * 2020-04-30 2020-09-11 南京理工大学 一种全天候便携式多功能仿生定位定姿观瞄系统及方法
CN111722220A (zh) * 2020-06-08 2020-09-29 北京理工大学 基于并行异构传感器的火箭目标识别系统
CN111738969A (zh) * 2020-06-19 2020-10-02 无锡英菲感知技术有限公司 图像融合方法、装置及计算机可读存储介质
CN112270688A (zh) * 2020-11-04 2021-01-26 中国科学院上海微系统与信息技术研究所 一种前景提取方法、装置、设备及存储介质
CN112288668A (zh) * 2020-09-22 2021-01-29 西北工业大学 基于深度无监督密集卷积网络的红外和可见光图像融合方法
CN112802060A (zh) * 2021-01-29 2021-05-14 中山大学 一种单目标跟踪方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087255A (zh) * 2018-07-18 2018-12-25 中国人民解放军陆军工程大学 一种基于混合损失的轻量级深度图像去噪方法
CN109118467A (zh) * 2018-08-31 2019-01-01 武汉大学 基于生成对抗网络的红外与可见光图像融合方法
CN109614996A (zh) * 2018-11-28 2019-04-12 桂林电子科技大学 基于生成对抗网络的弱可见光与红外图像融合的识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087255A (zh) * 2018-07-18 2018-12-25 中国人民解放军陆军工程大学 一种基于混合损失的轻量级深度图像去噪方法
CN109118467A (zh) * 2018-08-31 2019-01-01 武汉大学 基于生成对抗网络的红外与可见光图像融合方法
CN109614996A (zh) * 2018-11-28 2019-04-12 桂林电子科技大学 基于生成对抗网络的弱可见光与红外图像融合的识别方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652276A (zh) * 2020-04-30 2020-09-11 南京理工大学 一种全天候便携式多功能仿生定位定姿观瞄系统及方法
CN111652276B (zh) * 2020-04-30 2023-05-09 南京理工大学 一种全天候便携式多功能仿生定位定姿观瞄系统及方法
CN111722220A (zh) * 2020-06-08 2020-09-29 北京理工大学 基于并行异构传感器的火箭目标识别系统
CN111722220B (zh) * 2020-06-08 2022-08-26 北京理工大学 基于并行异构传感器的火箭目标识别系统
CN111738969A (zh) * 2020-06-19 2020-10-02 无锡英菲感知技术有限公司 图像融合方法、装置及计算机可读存储介质
CN111738969B (zh) * 2020-06-19 2024-05-28 无锡英菲感知技术有限公司 图像融合方法、装置及计算机可读存储介质
CN112288668A (zh) * 2020-09-22 2021-01-29 西北工业大学 基于深度无监督密集卷积网络的红外和可见光图像融合方法
CN112288668B (zh) * 2020-09-22 2024-04-16 西北工业大学 基于深度无监督密集卷积网络的红外和可见光图像融合方法
CN112270688A (zh) * 2020-11-04 2021-01-26 中国科学院上海微系统与信息技术研究所 一种前景提取方法、装置、设备及存储介质
CN112270688B (zh) * 2020-11-04 2024-05-28 中国科学院上海微系统与信息技术研究所 一种前景提取方法、装置、设备及存储介质
CN112802060A (zh) * 2021-01-29 2021-05-14 中山大学 一种单目标跟踪方法和装置
CN112802060B (zh) * 2021-01-29 2023-06-30 中山大学 一种单目标跟踪方法和装置

Also Published As

Publication number Publication date
CN110009569B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN110009569A (zh) 一种基于轻量级卷积神经网络的红外和可见光图像融合方法
CN109919887A (zh) 一种基于深度学习的无监督图像融合方法
Zhou et al. TSNet: Three-stream self-attention network for RGB-D indoor semantic segmentation
Zou et al. Df-net: Unsupervised joint learning of depth and flow using cross-task consistency
Cong et al. Going from RGB to RGBD saliency: A depth-guided transformation model
Shi et al. Flowformer++: Masked cost volume autoencoding for pretraining optical flow estimation
CN108230337A (zh) 一种基于移动端的语义slam系统实现的方法
Dai et al. Feedback network for mutually boosted stereo image super-resolution and disparity estimation
CN102034267A (zh) 基于关注度的目标物三维重建方法
CN106156693A (zh) 用于面部识别的基于多模型表示的鲁棒错误纠正方法
CN103729620B (zh) 一种基于多视角贝叶斯网络的多视角行人检测方法
Zhou et al. Human de-occlusion: Invisible perception and recovery for humans
CN111382677A (zh) 基于3d注意力残差模型的人体行为识别方法及系统
CN106251395A (zh) 一种三维模型快速重建方法及系统
Lu et al. Occlusion-shared and feature-separated network for occlusion relationship reasoning
CN109766873A (zh) 一种混合可变形卷积的行人再识别方法
CN111209811A (zh) 一种实时检测眼球注意力位置的方法及系统
Lei et al. Attention based multilayer feature fusion convolutional neural network for unsupervised monocular depth estimation
Chen et al. Laplacian pyramid neural network for dense continuous-value regression for complex scenes
Zhang et al. Removing Foreground Occlusions in Light Field using Micro-lens Dynamic Filter.
Zhang et al. Accurate 3D Face Reconstruction with Facial Component Tokens
CN112184555B (zh) 一种基于深度交互学习的立体图像超分辨率重建方法
CN101945299A (zh) 一种基于拍摄设备阵列的动态场景深度恢复方法
CN107018400A (zh) 一种将2d视频转换成3d视频的方法
Liu et al. Dual‐view 3D human pose estimation without camera parameters for action recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant