CN110009569B - 一种基于轻量级卷积神经网络的红外和可见光图像融合方法 - Google Patents
一种基于轻量级卷积神经网络的红外和可见光图像融合方法 Download PDFInfo
- Publication number
- CN110009569B CN110009569B CN201910301487.XA CN201910301487A CN110009569B CN 110009569 B CN110009569 B CN 110009569B CN 201910301487 A CN201910301487 A CN 201910301487A CN 110009569 B CN110009569 B CN 110009569B
- Authority
- CN
- China
- Prior art keywords
- image
- infrared
- visible light
- images
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 21
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 15
- 230000004927 fusion Effects 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000004913 activation Effects 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 3
- 238000010586 diagram Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G06T3/14—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于轻量级卷积神经网络的红外和可见光图像融合方法，包括：将需要融合的成对红外和可见光图像进行批处理，使成对的图像尺寸一致；构造一个轻量级的卷积神经网络，实现对红外图像和可见光图像特征的提取，将批处理的两类图像输入到该网络，获得经过激活函数处理的特定层输出；采用L1‑norm的方式求解提取特征的特征范数，得到二维张量权值图；利用特征范数构造融合策略，而后将源图像按照融合策略进行图像融合；融合完毕后通过调整尺度大小获得融合图像。本发明实现了轻量级红外和可见光图像的融合，解决了传统融合策略泛化能力差的问题，提升了图像的效果和可识别性，在有限计算资源的移动设备和嵌入式设备中能够达到高质量的增强效果。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于轻量级卷积神经网络的红外和可见光图像融合方法。
背景技术
复杂场景下计算机视觉任务对于计算机而言十分困难，往往需要利用多种信息才能实现。但随着传感技术的飞速发展，综合利用多源信息成为了可能。但多种传感器的部署，同时也带来了信息的冗余与分析困难。图像融合的目的就是通过综合多源图像信息、删减冗余信息，实现图像的高利用率；同时提升图像质量，提高图像的辨识度。传统的图像融合方式经过长时间的研究，已经到达了一定的瓶颈。主要存在的问题是融合速度较慢并且泛化能力较差，很难适应多类型图像。
随着深度学习的兴起，给解决上述关键问题带来了新的思路，研究人员开始转向利用深度学习的方式对图像进行融合，来提高融合的质量和速度。卷积神经网络作为深度学习的主要组成部分被运用于图像融合，并取得了不错的融合效果，较传统方法有了显著的性能提升。但由于卷积神经网络模型结构复杂，在融合过程中需要消耗大量的存储资源和计算资源，不利于推广到移动和嵌入式设备上。因此，急需轻量级的图像融合方法，来实现移动和嵌入式设备上的高效图像融合。
发明内容
本发明针对现有技术中的不足，提供一种基于轻量级卷积神经网络的红外和可见光图像融合方法
为实现上述目的，本发明采用以下技术方案：
一种基于轻量级卷积神经网络的红外和可见光图像融合方法，其特征在于，包括以下步骤：
步骤S1、将需要融合的成对红外和可见光图像进行批处理，使成对的图像尺寸一致；
步骤S2、构造一个轻量级深度卷积神经网络，网络可以实现对红外图像和可见光图像特征的提取，将批处理的两类图像输入到该网络，获得经过激活函数处理的特定层输出；
步骤S3、采用L1-norm的方式求解提取特征的特征范数，该特征为三维张量图，得到二维张量权值图；
步骤S4、利用特征范数构造融合策略，而后将源图像按照融合策略进行图像融合，融合完毕后通过调整尺度大小获得融合图像。
为优化上述技术方案，采取的具体措施还包括：
进一步地，步骤S1中，红外图像和可见光图像的获取是从同一机位下同一时刻采集的，获取的红外图像和可见光图像需缩放至同一尺度大小；将获取的二维矢量图复制两层，获得三维张量的图像。
进一步地，步骤S2中，轻量级深度卷积神经网络由若干网络层构成，其中每个网络层依次由卷积层、Fire模块和池化层构成，Fire模块由压缩卷积层和扩张卷积层组成，在压缩卷积层和扩张卷积层之间加入批量归一化与非线性激活单元；给定批处理的图像，经过该轻量级深度卷积神经网络后经过的每一层网络都能输出所需的特征；预处理后的图像经过该网络后任意一层的输出，在relu激活函数后获得其对应层的特征。
进一步地，步骤S2中，F1∈RK×W×H和F2∈RK×W×H分别代表红外和可见光图像经过网络后提取的特征，其中W、H分别表示特征图的宽度和长度，K表示特征图的数量，该特征将作为图像融合的基础数据源。
进一步地，步骤S3具体包括：采用L1-norm的方式将三维张量图转化为二维张量权值图；该操作先对步骤S2中提取的特征F1和F2进行批量处理，然后进行求解特征范数
实现了三维到二维的求解，从而获取权值图；
其中
表示图像在(x，y)坐标下的特征范数，下标k为1时表示红外图像的，k为2时表示可见光图像的，t表示滑动窗口的大小，p表示滑动窗口的长度，q表示滑动窗口的宽度，Fk(p，q)表示在滑动窗口区域下图像的特征值。
进一步地，步骤S4中，将获得的两类图像特定层输出按照预设的策略求解红外与可见光图像各自的权重图
和
而后进行加权融合；
其中，
表示图像在(x，y)坐标下的权重图，Fused(x，y)表示融合后的图像，Source1(x，y)表示源红外图像，Source2(x，y)表示源可见光图像。
融合完毕后通过调整尺度大小获得融合图像。
本发明的有益效果是：实现了轻量级的红外和可见光图像融合方法，在有限计算资源的移动设备和嵌入式设备中达到高质量的融合效果。
附图说明
图1为本发明基于轻量级卷积神经网络的红外和可见光图像融合方法流程图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
如图1所示的一种基于深度学习的轻量级红外和可见光图像融合方法，包括以下步骤：
步骤S1：将需要融合的成对红外和可见光图像进行批处理，使成对的图像尺寸一致。
在本实施方式中，轻量级红外和可见光图像融合方法主要应用于各种场景中由于受存储大小的原因和采集环境的受限条件下的图像，使得图像的辨识度更高。
具体地，在步骤S1中包括如下内容：
1.1、对于需要收集的红外图像和可见光图像有特定要求，需要在同一机位下进行拍摄；
1.2、红外图像和对应的可见光图像尺寸需调整一致。
步骤S2：构造一个轻量级的卷积神经网络，网络可以实现对红外图像和可见光图像特征的提取，将批处理后的两类图像输入到该网络，获得经过激活函数处理的特定层输出。
在本实施方式中，轻量级深度卷积神经网络由若干网络层构成，其中每个网络层依次由卷积层、Fire模块和池化层构成，Fire模块由压缩卷积层和扩张卷积层组成，在压缩卷积层和扩张卷积层之间加入批量归一化与非线性激活单元；给定预处理的图像，经过该轻量级深度卷积神经网络后经过的每一层网络都能输出所需的特征。预处理后的图像经过该网络后任意一层的输出，在relu激活函数后都会获得其对应层的特征，设F1∈RK×W×H和F2∈RK×W×H分别代表红外和可见光图像经过该网络后提取的特征，其中W、H分别表示特征图的宽度和长度，K表示特征图的数量。该特征将作为图像融合的基础数据源。
步骤S3：采用L1-norm的方式将步骤S2获得的图像特征(三维张量的图)转化为二维张量权值图。
该操作主要是先对步骤S2中提取的特征F1和F2进行批量处理，然后进行求解特征范数
实现了三维到二维的求解，从而获取权值图。
其中
表示图像在(x，y)坐标下的特征范数，下标k为1时表示红外图像的，k为2时表示可见光图像的，t表示滑动窗口的大小，p表示滑动窗口的长度、q表示滑动窗口的宽度，Fk(p，q)表示在滑动窗口区域下图像的特征值。
步骤S4：将获得的两类图像特定层输出按照预设的策略求解红外与可见光图像各自的权重图
和
而后进行加权融合。
其中，
表示图像在(x，y)坐标下的权重图，Fused(x，y)表示融合后的图像，Source1(x，y)表示源红外图像，Source2(x，y)表示源可见光图像。
融合完毕后通过调整尺度大小获得融合图像。
在本实施方式中，通过输入任意一对红外和可见光图像，网络通过提取特征，并进行加权融合计算，网络的输出即为融合的结果图像。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (4)
1.一种基于轻量级卷积神经网络的红外和可见光图像融合方法，其特征在于，包括以下步骤：
步骤S1、将需要融合的成对红外和可见光图像进行批处理，使成对的图像尺寸一致；
步骤S2、构造一个轻量级深度卷积神经网络，网络可以实现对红外图像和可见光图像特征的提取，将批处理的两类图像输入到该网络，获得经过激活函数处理的特定层输出；步骤S2中，轻量级深度卷积神经网络由若干网络层构成，其中每个网络层依次由卷积层、Fire模块和池化层构成，Fire模块由压缩卷积层和扩张卷积层组成，在压缩卷积层和扩张卷积层之间加入批量归一化与非线性激活单元；给定批处理的图像，经过该轻量级深度卷积神经网络后经过的每一层网络都输出所需的特征；预处理后的图像经过该网络后任意一层的输出，在relu激活函数后获得其对应层的特征；F1∈RK×W×H和F2∈RK×W×H分别代表红外和可见光图像经过网络后提取的特征，其中W、H分别表示特征图的宽度和长度，K表示特征图的数量，该特征将作为图像融合的基础数据源；
步骤S3、采用L1-norm的方式求解提取特征的特征范数，该特征为三维张量图，得到二维张量权值图；
步骤S4、利用特征范数构造融合策略，而后将源图像按照融合策略进行图像融合，融合完毕后通过调整尺度大小获得融合图像。
2.如权利要求1所述的一种基于轻量级卷积神经网络的红外和可见光图像融合方法，其特征在于：步骤S1中，红外图像和可见光图像的获取是从同一机位下同一时刻采集的，获取的红外图像和可见光图像需缩放至同一尺度大小；将获取的二维矢量图复制两层，获得三维张量的图像。
3.如权利要求1所述的一种基于轻量级卷积神经网络的红外和可见光图像融合方法，其特征在于：步骤S3具体包括：采用L1-norm的方式将三维张量图转化为二维张量权值图；该操作先对步骤S2中提取的特征F1和F2进行批量处理，然后进行求解特征范数
实现了三维到二维的求解，从而获取权值图；
其中
表示图像在(x,y)坐标下的特征范数，下标k为1时表示红外图像的，k为2时表示可见光图像的，t表示滑动窗口的大小，p表示滑动窗口的长度，q表示滑动窗口的宽度，Fk(p,q)表示在滑动窗口区域下图像的特征值。
4.如权利要求3所述的一种基于轻量级卷积神经网络的红外和可见光图像融合方法，其特征在于：步骤S4中，将获得的两类图像特定层输出按照预设的策略求解红外与可见光图像各自的权重图
和
而后进行加权融合；
其中，
表示图像在(x,y)坐标下的权重图，Fused(x,y)表示融合后的图像，Source1(x,y)表示源红外图像，Source2(x,y)表示源可见光图像；
融合完毕后通过调整尺度大小获得融合图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910301487.XA CN110009569B (zh) | 2019-04-17 | 2019-04-17 | 一种基于轻量级卷积神经网络的红外和可见光图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910301487.XA CN110009569B (zh) | 2019-04-17 | 2019-04-17 | 一种基于轻量级卷积神经网络的红外和可见光图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110009569A CN110009569A (zh) | 2019-07-12 |
| CN110009569B true CN110009569B (zh) | 2023-03-21 |
Family
ID=67172015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910301487.XA Active CN110009569B (zh) | 2019-04-17 | 2019-04-17 | 一种基于轻量级卷积神经网络的红外和可见光图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110009569B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652276B (zh) * | 2020-04-30 | 2023-05-09 | 南京理工大学 | 一种全天候便携式多功能仿生定位定姿观瞄系统及方法 |
| CN111722220B (zh) * | 2020-06-08 | 2022-08-26 | 北京理工大学 | 基于并行异构传感器的火箭目标识别系统 |
| CN111738969A (zh) * | 2020-06-19 | 2020-10-02 | 无锡英菲感知技术有限公司 | 图像融合方法、装置及计算机可读存储介质 |
| CN112288668B (zh) * | 2020-09-22 | 2024-04-16 | 西北工业大学 | 基于深度无监督密集卷积网络的红外和可见光图像融合方法 |
| CN112270688A (zh) * | 2020-11-04 | 2021-01-26 | 中国科学院上海微系统与信息技术研究所 | 一种前景提取方法、装置、设备及存储介质 |
| CN112802060B (zh) * | 2021-01-29 | 2023-06-30 | 中山大学 | 一种单目标跟踪方法和装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109087255B (zh) * | 2018-07-18 | 2022-03-08 | 中国人民解放军陆军工程大学 | 一种基于混合损失的轻量级深度图像去噪方法 |
| CN109118467B (zh) * | 2018-08-31 | 2021-11-16 | 武汉大学 | 基于生成对抗网络的红外与可见光图像融合方法 |
| CN109614996B (zh) * | 2018-11-28 | 2022-05-17 | 桂林电子科技大学 | 基于生成对抗网络的弱可见光与红外图像融合的识别方法 |
-
2019
- 2019-04-17 CN CN201910301487.XA patent/CN110009569B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110009569A (zh) | 2019-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110009569B (zh) | 一种基于轻量级卷积神经网络的红外和可见光图像融合方法 | |
| Sun et al. | Neural 3d reconstruction in the wild | |
| CN110473141B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110717527B (zh) | 结合空洞空间金字塔结构的目标检测模型确定方法 | |
| CN112052839B (zh) | 图像数据处理方法、装置、设备以及介质 | |
| CN111340814B (zh) | 一种基于多模态自适应卷积的rgb-d图像语义分割方法 | |
| CN112906718B (zh) | 一种基于卷积神经网络的多目标检测方法 | |
| CN111652966A (zh) | 一种基于无人机多视角的三维重建方法及装置 | |
| CN109902583B (zh) | 一种基于双向独立循环神经网络的骨架手势识别方法 | |
| CN110674741A (zh) | 一种基于双通道特征融合的机器视觉中手势识别方法 | |
| CN111046821B (zh) | 一种视频行为识别方法、系统及电子设备 | |
| CN106251395A (zh) | 一种三维模型快速重建方法及系统 | |
| CN109858333A (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| CN111489396A (zh) | 利用临界边缘检测神经网络和几何模型确定相机参数 | |
| CN110930500A (zh) | 一种基于单视角视频的动态头发建模方法 | |
| CN111209811A (zh) | 一种实时检测眼球注意力位置的方法及系统 | |
| CN114529574A (zh) | 基于图像分割的图像抠图方法、装置、计算机设备及介质 | |
| CN114882494B (zh) | 一种基于多模态注意力驱动的三维点云特征提取方法 | |
| Xie et al. | Toward 3D object reconstruction from stereo images | |
| Doulamis et al. | 4D reconstruction of the past | |
| CN111311732B (zh) | 3d人体网格获取方法及装置 | |
| CN111191729B (zh) | 一种基于多模态特征融合的三维对象融合特征表示方法 | |
| Li et al. | Deep-learning-based 3D reconstruction: a review and applications | |
| Liu et al. | Sketch to portrait generation with generative adversarial networks and edge constraint | |
| CN113256802A (zh) | 一种建筑物的虚拟三维重建及场景创建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |