CN113379661B - 红外与可见光图像融合的双分支卷积神经网络装置 - Google Patents

红外与可见光图像融合的双分支卷积神经网络装置 Download PDF

Info

Publication number
CN113379661B
CN113379661B CN202110660293.6A CN202110660293A CN113379661B CN 113379661 B CN113379661 B CN 113379661B CN 202110660293 A CN202110660293 A CN 202110660293A CN 113379661 B CN113379661 B CN 113379661B
Authority
CN
China
Prior art keywords
image
features
frequency
feature
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110660293.6A
Other languages
English (en)
Other versions
CN113379661A (zh
Inventor
刘国栋
吴小龑
胡流森
袁红
朱嘉辉
杨晓敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Institute of Fluid Physics of CAEP
Original Assignee
Sichuan University
Institute of Fluid Physics of CAEP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University, Institute of Fluid Physics of CAEP filed Critical Sichuan University
Priority to CN202110660293.6A priority Critical patent/CN113379661B/zh
Publication of CN113379661A publication Critical patent/CN113379661A/zh
Application granted granted Critical
Publication of CN113379661B publication Critical patent/CN113379661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明公开了红外与可见光图像融合的双分支卷积神经网络装置，双分支卷积神经网络包括级联模块、低频融合模块、高频融合模块以及融合模块；所述级联模块，用于将红外图像和可见光图像在颜色通道上进行级联，得到级联图像；所述低频融合模块，用于学习所述级联图像的局部特征，得到低频融合图像；所述高频融合模块，用于学习所述级联图像的全局特征，得到高频融合图像；所述融合模块，用于根据所述低频融合图像和所述高频融合图像构建融合图像。本发明的目的在于提供一种红外与可见光图像融合的双分支卷积神经网络及融合方法，使得融合图像既具有红外图像中的目标信息，又具有可见光图像中的纹理信息，提高了融合图像的质量。

Description

红外与可见光图像融合的双分支卷积神经网络装置
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种红外与可见光图像融合的双分支卷积神经网络装置。
背景技术
红外和可见光图像在交通运输系统中起着重要作用。红外图像是根据物体发射的热辐射获得的，它们虽然受天气和光条件的影响较小，但是红外图像中的背景信息往往是缺失的。相比之下，可见光的图像包含更多的纹理信息，然而它非常容易受到成像环境和照明条件的影响。为了解决上述问题，提出了红外和可见光图像融合技术，红外和可见光图像融合技术可以将红外和可见光图像对融合成一幅图像，融合图像包含来自可见光图像的纹理信息和来自红外图像的热辐射细节，从而更有利于人类的观察和计算机分析。
目前，基于多尺度变换的图像融合算法在图像融合领域被广泛应用，如：拉普拉斯金字塔变换、离散小波变换、非下采样轮廓波变换、非下采样剪切波变换等等，这些基于多尺度变换的算法可以简单概括为以下步骤：
(1)对源图像进行多尺度分解，以得到不同的信息分量图；
(2)根据不同图像分量的特点，选取不同的融合规则对相应分量单独进行融合；
(3)采用逆多尺度变换来获得最终的融合图像。
然而，现有的图像融合算法处理后得到的图像会损失部分细节、纹理而造成图像不清晰甚至难以被人眼直接观看。
发明内容
本发明的目的在于提供一种红外与可见光图像融合的双分支卷积神经网络装置，使得融合图像既具有红外图像中的目标信息，又具有可见光图像中的纹理信息，提高了融合图像的质量。
本发明通过下述技术方案实现：
红外与可见光图像融合的双分支卷积神经网络装置，双分支卷积神经网络包括级联模块、低频融合模块、高频融合模块以及融合模块；
所述级联模块，用于将红外图像和可见光图像在颜色通道上进行级联，得到级联图像；
所述低频融合模块，用于学习所述级联图像的局部特征，得到低频融合图像；
所述高频融合模块，用于学习所述级联图像的全局特征，得到高频融合图像；
所述融合模块，用于根据所述低频融合图像和所述高频融合图像构建融合图像。
优选地，所述低频融合模块包括低频浅层特征提取单元、深层特征提取单元、上采样单元以及低频重建单元；
所述低频浅层特征提取单元，用于提取所述级联图像的浅层特征；
所述深层特征提取单元，用于提取所述浅层特征的深层特征；
所述上采样单元，用于调整所述深层特征的尺寸，直至所述深层特征的尺寸与所述级联图像的尺寸一致；
所述低频重建单元，用于将所述深层特征构建为所述低频融合图像。
优选地，所述深层特征提取单元包括3个卷积层，任意一个所述卷积层的卷积核大小为3×3，步长为2。
优选地，所述高频融合模块包括高频浅层特征提取单元、局部残差特征提取单元、全局特征提取单元以及高频重建单元；
所述高频浅层特征提取单元，用于提取所述级联图像的浅层特征；
所述局部残差特征提取单元，用于从所述浅层特征中提取出不同层次的特征，并将不同层次的特征进行维度连接；
所述全局特征提取单元，用于根据维度连接后的不同层次的特征获取所述级联图像的全局特征；
所述高频重建单元，用于根据所述全局特征构建所述高频融合图像。
优选地，所述局部残差特征提取单元包括第一残差密集块、第二残差密集块、第三残差密集块、第四残差密集块以及维度连接块；
所述第一残差密集块，用于从所述浅层特征中提取出第一局部残差特征，并将所述第一局部残差特征传输至所述第二残差密集块和所述维度连接块；
所述第二残差密集块，用于从所述第一局部残差特征中提取出第二局部残差特征，并将所述第二局部残差特征传输至所述第三残差密集块和所述维度连接块；
所述第三残差密集块，用于从所述第二局部残差特征中提取出第三局部残差特征，并将所述第三局部残差特征传输至所述第四残差密集块和所述维度连接块；
所述第四残差密集块，用于从所述第三局部残差特征中提取出第四局部残差特征，并将所述第四局部残差特征传输至所述维度连接块；
所述维度连接块，用于将所述第一局部残差特征、所述第二局部残差特征、所述第三局部残差特征以及所述第四局部残差特征进行维度连接。
优选地，所述融合模块包括融合单元和参数生成单元；
所述融合单元，用于将所述低频融合图像和所述高频融合图像进行相加，得到所述融合图像；
所述参数生成单元，用于根据所述融合图像获取所述低频融合模块和所述高频融合模块中的网络参数。
优选地，所述参数生成单元包括损失函数，所述损失函数为：
Ltotal＝αLpixel+βLfeature；
Lpixel＝δLintensity+εLstructure；
Lintensity＝w1‖If-Iir‖2+w2‖If-Ivis‖2；
Lstructure＝‖G(If)-G(Icat)‖F；
Figure GDA0003873983570000031
其中，Ltotal表示损失函数，Lpixel表示像素级损失，Lfeature表示特征级损失，α与β表示比例系数，Lintensity表示平衡像素损失，Lstructure表示结构损失，δ是平衡像素损失的权重系数，ε是结构损失的权重系数，If表示初融合图像，Iir表示红外图像，Ivis表示可见光图像，Icat表示级联的红外与可见光图像，G表示结构张量，‖·‖F表示F范数，w1和w2是像素损失的权重系数，
Figure GDA0003873983570000032
表示在预训练模型第i层上得到的特征图，H表示融合图像的高，W表示融合图像的宽。
红外与可见光图像融合的双分支卷积神经网络装置的融合方法，包括以下步骤：
将红外图像和可见光图像在颜色通道上进行级联，得到级联图像；
学习所述级联图像的局部特征，得到低频融合图像；
学习所述级联图像的全局特征，得到高频融合图像；
根据所述低频融合图像和所述高频融合图像构建融合图像。
优选地，学习所述级联图像的局部特征，得到低频融合图像包括以下子步骤：
提取所述级联图像的浅层特征；
提取所述浅层特征的深层特征；
调整所述深层特征的尺寸，直至所述深层特征的尺寸与所述级联图像的尺寸一致；
将所述深层特征构建为所述低频融合图像。
优选地，学习所述级联图像的全局特征，得到高频融合图像包括以下子步骤：
提取所述级联图像的浅层特征
从所述浅层特征中提取出不同层次的特征，并将不同层次的特征进行维度连接；
根据维度连接后的不同层次的特征获取所述级联图像的全局特征；
根据所述全局特征构建所述高频融合图像。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本方案是一种无监督的端到端的图像融合装置，避免了传统算法中活跃度水平测量和融合规则的设计；
2、双分支卷积神经网络包括两个子网络，两个子网络分别融合了源图像的低频信息(结构信息)和高频信息(细节信息)，最后，生成的结构信息图像和纹理信息图像相加得到最后的融合图像，从而使得融合图像既具有红外图像中的目标信息，又具有可见光图像中的纹理信息，提供了融合图像的质量；
3、损失函数由像素级损失和特征级损失组成，像素级损失包括强度损失和结构张量损失，能够更好地保持源图像的像素强度信息和结构信息；特征级损失采用VGG-19中的五层进行特征提取，充分利用源图像的多层次特征，能够增强图像的视觉质量。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1是本发明实施例中的总体框架图；
图2是本发明实施例中高频融合网络示意图；
图3是本发明实施例中低频融合网络示意图；
图4是本发明实施例中测试样本House图像对的融合结果；
图5是本发明实施例中测试样本Road图像对的融合结果；
图6是本发明实施例中测试样本Jeep图像对的融合结果；
图7是本发明实施例中测试样本Marne图像对的融合结果；
图8是本发明实施例中测试样本Solider图像对的融合结果；
图9是本发明实施例中测试样本道路场景1图像对的融合结果；
图10是本发明实施例中测试样本道路场景2图像对的融合结果。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
本实施例提供了一种红外与可见光图像融合的双分支卷积神经网络装置，如图1所示，双分支卷积神经网络包括级联模块、低频融合模块、高频融合模块以及融合模块；
级联模块，用于将红外图像和可见光图像在颜色通道上进行级联，得到级联图像；
低频融合模块，用于学习级联图像的局部特征，得到低频融合图像；
高频融合模块，用于学习级联图像的全局特征，得到高频融合图像；
融合模块，用于根据低频融合图像和高频融合图像构建融合图像。
在本方案中，双分支卷积神经网络是一种无监督的端到端生成融合图像算法，避免了传统算法中活跃度水平测量和融合规则的设计，同时融合过程中利用了不同层次的特征，能更好地保留红外图像中的目标信息和可见光图像中的纹理信息，具体地，本方案的图像融合过程分为低频信息融合和高频信息融合两个部分；图像的低频信息是强度变化缓慢的地方，主要是图像的结构信息；图像的高频信息是强度变化迅速的地方，主要是图像的边缘细节，因此两个子网络分别融合了源图像的低频信息(结构信息)和高频信息(细节信息)，最后，生成的结构信息图像和纹理信息图像相加得到最后的融合图像，从而使得融合图像既具有红外图像中的目标信息，又具有可见光图像中的纹理信息，提高了融合图像的质量。
此外，本方案在具体实施时，首先是先将图片在颜色通道上进行级联，然后在作为整体输入至低频融合模块和高频融合模块进行特征提取，而不是分别对源图像(红外图像和可见光图像)进行特征提取，有利于对源图像进行统一的特征变换，避免融合结果趋向于一种图像，使得融合结果能够同时兼顾红外图像和可见光图像的特征，使得融合结果更加准确。
具体地，本实施例中的低频融合模块如图3所示，包括低频浅层特征提取单元、深层特征提取单元、上采样单元以及低频重建单元；
低频浅层特征提取单元，内置一个卷积层，用于提取级联图像的浅层特征；
深层特征提取单元，内置三个卷积层，它们的卷积核大小都为3×3，步长皆为2，用于提取浅层特征的深层特征；
上采样单元，用于调整深层特征的尺寸，直至深层特征的尺寸与级联图像的尺寸一致；
低频重建单元，内置三层重建网络，用于将深层特征构建为低频融合图像。
在低频融合模块中，为了提取红外图像与可见光图像的结构特征，输入的级联图像首先通过1层卷积获取浅层特征，浅层特征再通过3层卷积获取深层特征，其中这3层卷积的卷积核大小都为3×3，步长皆为2。由于步长为2，因此特征的尺寸会在卷积过程中逐步缩小，为了能够与输入的级联图像尺寸匹配，提取出的深层特征将通过一个上采样层，即以插值的方式恢复成原来大小，最后深层特征再通过三层卷积的重建网络恢复成低频信息图像，即低频融合图像。
本实施例中的高频融合模块如图2所示，高频融合模块包括高频浅层特征提取单元、局部残差特征提取单元、全局特征提取单元以及高频重建单元；
高频浅层特征提取单元，内置两个结构相同的卷积层，用于提取级联图像的浅层特征；
局部残差特征提取单元，用于从浅层特征中提取出不同层次的特征，并将不同层次的特征进行维度连接；具体地，局部残差特征提取单元包括第一残差密集块、第二残差密集块、第三残差密集块、第四残差密集块以及维度连接块；
第一残差密集块，用于从浅层特征中提取出第一局部残差特征，并将第一局部残差特征传输至第二残差密集块和维度连接块；
第二残差密集块，用于从第一局部残差特征中提取出第二局部残差特征，并将第二局部残差特征传输至第三残差密集块和维度连接块；
第三残差密集块，用于从第二局部残差特征中提取出第三局部残差特征，并将第三局部残差特征传输至第四残差密集块和维度连接块；
第四残差密集块，用于从第三局部残差特征中提取出第四局部残差特征，并将第四局部残差特征传输至维度连接块；
维度连接块，用于将第一局部残差特征、第二局部残差特征、第三局部残差特征以及第四局部残差特征进行维度连接。
全局特征提取单元，内置两个卷积层，用于根据维度连接后的不同层次的特征获取级联图像的全局特征；
高频重建单元，内置三层卷积层，用于根据全局特征构建高频融合图像。
进一步地，为了便于后续可以直接使用该双分支卷积神经网络，融合模块还设置有参数生成单元，参数生成单元用于在首次使用时对双分支卷积神经网络进行训练，以获取低频融合模块和高频融合模块中的网络参数，本实施例中的参数生成单元内置有损失函数，具体地，本实施例中的损失函数分为像素级损失和特征级损失两个部分，其数学表达式如下所示：
Ltotal＝αLpixel+βLfeature
其中，Ltotal表示损失函数，Lpixel表示像素级损失，它的作用是让融合图像保持源图像的灰度级分布以及保持与源图像相似的结构；Lfeature表示特征级损失，它的作用是提升融合图像的纹理细节；α与β是比例系数。
像素级损失由像素损失和结构张量损失组成。像素损失计算的是生成图像与源图像在对应像素位置的差值，作用是使得融合图像与源图像有相似的分布。结构张量损失计算的是融合图像与源图像结构张量的误差，作用是使融合图像保持源图像的结构及对比度。对于灰度图像I，
Figure GDA0003873983570000071
用于描述梯度信息，其中
Figure GDA0003873983570000072
表示梯度算子，分别计算水平和垂直的梯度值：
Figure GDA0003873983570000073
当图像中相邻两个像素的距离变为无穷小时，可以将差分表示为：
Figure GDA0003873983570000074
它的平方范数是：
Figure GDA0003873983570000075
它的半正定矩阵G称为结构张量，可以表示为：
Figure GDA0003873983570000076
最终，像素级损失的定义如下：
Lpixel＝δLintensity+εLstructure
Lintensity＝w1‖If-Iir‖2+w2‖If-Ivis‖2
Lstructure＝‖G(If)-G(Icat)‖F
其中，Lpixel表示像素级损失，Lintensity表示平衡像素损失，Lstructure表示结构损失，If表示输出的融合图像，Iir表示红外图像，Ivis表示可见光图像，Icat表示级联的红外与可见光图像，G表示结构张量，‖·‖F表示F范数，δ是平衡像素损失的权重系数，ε是结构损失的权重系数，w1和w2是像素损失的权重系数。
特征级损失最先使用在图像风格转换和超分辨率，极大地提升了生成图像的质量。同时也启发我们将图像经过卷积神经网络得到的特征引入损失函数，即比较生成图像通过卷积神经网络的特征与目标图像通过卷积神经网络的特征，可以让生成图像与真实图像在高层次的特征上相似。若将特征级损失引入图像融合，可以让生成的融合图像保留更多源图像信息。损失函数为：
Figure GDA0003873983570000081
其中，Lfeature表示特征级损失，
Figure GDA0003873983570000082
表示在预训练模型第i层上得到的特征图，此处采用的是vgg-19作为特征提取网络，If表示输出的融合图像，Iir表示红外图像，Ivis表示可见光图像，H表示融合图像的高，W表示融合图像的宽。
实施例2
本实施例提供了一种红外与可见光图像融合的双分支卷积神经网络装置的融合方法，包括以下步骤：
将红外图像和可见光图像在颜色通道上进行级联，得到级联图像；
学习级联图像的局部特征，得到低频融合图像；
具体地，级联图像先通过1层卷积获取浅层特征，浅层特征再通过3层卷积获取深层特征，其中这3层卷积的卷积核大小都为3×3，步长皆为2，由于步长为2，特征尺寸会在卷积过程中逐步缩小，为了与输入图像尺寸匹配，这些深层特征将通过一个上采样层，即以插值的方式恢复成原来大小，最后深层特征通过三层卷积的重建网络恢复成图像，即低频信息图像。
学习级联图像的全局特征，得到高频融合图像；
具体地，级联图像经过两个卷积层后获得浅层特征，然后浅层特征再输入到依次串联的4个残差密集块以获取不同层次的特征，其中一个残差密集块的输入是上一个残差密集块的输出；然后，将4个残差密集块所输出的不同层次的特征进行维度连接后输入到2层卷积以获取全局特征；最后，全局特征经过3层卷积获取高频信息图像。
根据低频融合图像和高频融合图像构建融合图像；
将低频融合图像和高频融合图像相加，得到融合图像。
本方案的图像融合过程分为低频信息融合和高频信息融合两个部分；图像的低频信息是强度变化缓慢的地方，主要是图像的结构信息；图像的高频信息是强度变化迅速的地方，主要是图像的边缘细节，因此两个子网络分别融合了源图像的低频信息(结构信息)和高频信息(细节信息)，最后，生成的结构信息图像和纹理信息图像相加得到最后的融合图像，从而使得融合图像既具有红外图像中的目标信息，又具有可见光图像中的纹理信息，提高了融合图像的质量。且本方案在具体实施时，首先是先将图片在颜色通道上进行级联，然后在作为整体输入至低频融合模块和高频融合模块进行特征提取，而不是分别对源图像(红外图像和可见光图像)进行特征提取，有利于对源图像进行统一的特征变换，避免融合结果趋向于一种图像，使得融合结果能够同时兼顾红外图像和可见光图像的特征，进一步使得融合结果更加准确。
为了对本方案的双分支卷积神经网络进行验证，将7组测试图像采用不同的融合方法进行融合对比，融合结果如图4-9所示，从中可以看出采用本方案的双分支卷积神经网络进行红外与可见光图像融合的图像具有更多的细节。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.红外与可见光图像融合的双分支卷积神经网络装置，其特征在于，双分支卷积神经网络装置包括级联模块、低频融合模块、高频融合模块以及融合模块；
所述级联模块，用于将红外图像和可见光图像在颜色通道上进行级联，得到级联图像；
所述低频融合模块，用于学习所述级联图像的局部特征，得到低频融合图像；
所述高频融合模块，用于学习所述级联图像的全局特征，得到高频融合图像；
所述融合模块，用于根据所述低频融合图像和所述高频融合图像构建融合图像；
所述低频融合模块包括低频浅层特征提取单元、深层特征提取单元、上采样单元以及低频重建单元；
所述低频浅层特征提取单元，用于提取所述级联图像的浅层特征；
所述深层特征提取单元，用于提取所述浅层特征的深层特征；
所述上采样单元，用于调整所述深层特征的尺寸，直至所述深层特征的尺寸与所述级联图像的尺寸一致；
所述低频重建单元，用于将所述深层特征构建为所述低频融合图像；
所述深层特征提取单元包括3个卷积层，任意一个所述卷积层的卷积核大小为3×3，步长为2；
所述高频融合模块包括高频浅层特征提取单元、局部残差特征提取单元、全局特征提取单元以及高频重建单元；
所述高频浅层特征提取单元，用于提取所述级联图像的浅层特征；
所述局部残差特征提取单元，用于从所述浅层特征中提取出不同层次的特征，并将不同层次的特征进行维度连接；
所述全局特征提取单元，用于根据维度连接后的不同层次的特征获取所述级联图像的全局特征；
所述高频重建单元，用于根据所述全局特征构建所述高频融合图像；
所述局部残差特征提取单元包括第一残差密集块、第二残差密集块、第三残差密集块、第四残差密集块以及维度连接块；
所述第一残差密集块，用于从所述浅层特征中提取出第一局部残差特征，并将所述第一局部残差特征传输至所述第二残差密集块和所述维度连接块；
所述第二残差密集块，用于从所述第一局部残差特征中提取出第二局部残差特征，并将所述第二局部残差特征传输至所述第三残差密集块和所述维度连接块；
所述第三残差密集块，用于从所述第二局部残差特征中提取出第三局部残差特征，并将所述第三局部残差特征传输至所述第四残差密集块和所述维度连接块；
所述第四残差密集块，用于从所述第三局部残差特征中提取出第四局部残差特征，并将所述第四局部残差特征传输至所述维度连接块；
所述维度连接块，用于将所述第一局部残差特征、所述第二局部残差特征、所述第三局部残差特征以及所述第四局部残差特征进行维度连接。
2.根据权利要求1中所述的红外与可见光图像融合的双分支卷积神经网络装置，其特征在于，所述融合模块包括融合单元和参数生成单元；
所述融合单元，用于将所述低频融合图像和所述高频融合图像进行相加，得到所述融合图像；
所述参数生成单元，用于根据所述融合图像获取所述低频融合模块和所述高频融合模块中的网络参数。
3.根据权利要求2所述的红外与可见光图像融合的双分支卷积神经网络装置，其特征在于，所述参数生成单元包括损失函数，所述损失函数为：
Ltotal＝αLpixel+βLfeature；
Lpixel＝δLintensity+εLstructure；
Lintensity＝w1‖If-Iir‖2+w2‖If-Ivis‖2；
Lstructure＝‖G(If)-G(Icat)‖F；
Figure FDA0003873983560000021
其中，Ltotal表示损失函数，Lpixel表示像素级损失，Lfeature表示特征级损失，α与β表示比例系数，Lintensity表示平衡像素损失，Lstructure表示结构损失，δ是平衡像素损失的权重系数，ε是结构损失的权重系数，If表示初融合图像，Iir表示红外图像，Ivis表示可见光图像，Icat表示级联的红外与可见光图像，G表示结构张量，‖·‖F表示F范数，w1和w2是像素损失的权重系数，
Figure FDA0003873983560000022
表示在预训练模型第i层上得到的特征图，H表示融合图像的高，W表示融合图像的宽。
4.如权利要求1-3中任意一项所述的红外与可见光图像融合的双分支卷积神经网络装置的融合方法，其特征在于，包括以下步骤：
将红外图像和可见光图像在颜色通道上进行级联，得到级联图像；
学习所述级联图像的局部特征，得到低频融合图像；
学习所述级联图像的全局特征，得到高频融合图像；
根据所述低频融合图像和所述高频融合图像构建融合图像。
5.根据权利要求4所述的红外与可见光图像融合的双分支卷积神经网络装置的融合方法，其特征在于，学习所述级联图像的局部特征，得到低频融合图像包括以下子步骤：
提取所述级联图像的浅层特征；
提取所述浅层特征的深层特征；
调整所述深层特征的尺寸，直至所述深层特征的尺寸与所述级联图像的尺寸一致；
将所述深层特征构建为所述低频融合图像。
6.根据权利要求4所述的红外与可见光图像融合的双分支卷积神经网络装置的融合方法，其特征在于，学习所述级联图像的全局特征，得到高频融合图像包括以下子步骤：
提取所述级联图像的浅层特征；
从所述浅层特征中提取出不同层次的特征，并将不同层次的特征进行维度连接；
根据维度连接后的不同层次的特征获取所述级联图像的全局特征；
根据所述全局特征构建所述高频融合图像。
CN202110660293.6A 2021-06-15 2021-06-15 红外与可见光图像融合的双分支卷积神经网络装置 Active CN113379661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110660293.6A CN113379661B (zh) 2021-06-15 2021-06-15 红外与可见光图像融合的双分支卷积神经网络装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110660293.6A CN113379661B (zh) 2021-06-15 2021-06-15 红外与可见光图像融合的双分支卷积神经网络装置

Publications (2)

Publication Number Publication Date
CN113379661A CN113379661A (zh) 2021-09-10
CN113379661B true CN113379661B (zh) 2023-03-07

Family

ID=77574403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110660293.6A Active CN113379661B (zh) 2021-06-15 2021-06-15 红外与可见光图像融合的双分支卷积神经网络装置

Country Status (1)

Country Link
CN (1) CN113379661B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898410B (zh) * 2022-07-14 2022-10-11 安徽云森物联网科技有限公司 一种基于小波变换的跨分辨率行人重识别方法
CN115578304B (zh) * 2022-12-12 2023-03-10 四川大学 一种结合显著性区域检测的多波段图像融合方法和系统
CN115908617A (zh) * 2023-01-09 2023-04-04 长春理工大学 一种红外图像彩色化方法及系统
CN115908518B (zh) * 2023-01-09 2023-05-09 四川赛狄信息技术股份公司 一种多传感图像融合方法及系统
CN117575931A (zh) * 2023-12-11 2024-02-20 四川新视创伟超高清科技有限公司 一种超高清可见光与红外图像的匹配融合方法及装置
CN117725393B (zh) * 2024-02-07 2024-05-07 国网四川省电力公司电力科学研究院 一种低压电弧故障识别方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009004887A (ja) * 2007-06-19 2009-01-08 Noritsu Koki Co Ltd 画像補正方法と画像補正装置
CN109102485A (zh) * 2018-09-11 2018-12-28 中国科学院长春光学精密机械与物理研究所 基于nsst和自适应双通道pcnn的图像融合方法及装置
CN109308483A (zh) * 2018-07-11 2019-02-05 南京航空航天大学 基于卷积神经网络的双源图像特征提取及融合识别方法
CN111127374A (zh) * 2019-11-22 2020-05-08 西北大学 一种基于多尺度密集网络的Pan-sharpening方法
CN111179208A (zh) * 2019-12-09 2020-05-19 天津大学 基于显著图与卷积神经网络的红外-可见光图像融合方法
CN111402180A (zh) * 2020-03-12 2020-07-10 西安邮电大学 一种nsct域的基于fbiem与iscm的图像融合方法
CN111784619A (zh) * 2020-07-03 2020-10-16 电子科技大学 一种红外和可见光图像的融合方法
CN112115979A (zh) * 2020-08-24 2020-12-22 深圳大学 一种红外图像和可见图像的融合方法及设备
CN112488970A (zh) * 2019-09-12 2021-03-12 四川大学 基于耦合生成对抗网络的红外和可见光图像融合方法
CN112561846A (zh) * 2020-12-23 2021-03-26 维沃移动通信有限公司 训练图像融合模型的方法、装置和电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680752B (zh) * 2020-06-09 2022-07-22 重庆工商大学 基于Framelet框架的红外与可见光图像融合方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009004887A (ja) * 2007-06-19 2009-01-08 Noritsu Koki Co Ltd 画像補正方法と画像補正装置
CN109308483A (zh) * 2018-07-11 2019-02-05 南京航空航天大学 基于卷积神经网络的双源图像特征提取及融合识别方法
CN109102485A (zh) * 2018-09-11 2018-12-28 中国科学院长春光学精密机械与物理研究所 基于nsst和自适应双通道pcnn的图像融合方法及装置
CN112488970A (zh) * 2019-09-12 2021-03-12 四川大学 基于耦合生成对抗网络的红外和可见光图像融合方法
CN111127374A (zh) * 2019-11-22 2020-05-08 西北大学 一种基于多尺度密集网络的Pan-sharpening方法
CN111179208A (zh) * 2019-12-09 2020-05-19 天津大学 基于显著图与卷积神经网络的红外-可见光图像融合方法
CN111402180A (zh) * 2020-03-12 2020-07-10 西安邮电大学 一种nsct域的基于fbiem与iscm的图像融合方法
CN111784619A (zh) * 2020-07-03 2020-10-16 电子科技大学 一种红外和可见光图像的融合方法
CN112115979A (zh) * 2020-08-24 2020-12-22 深圳大学 一种红外图像和可见图像的融合方法及设备
CN112561846A (zh) * 2020-12-23 2021-03-26 维沃移动通信有限公司 训练图像融合模型的方法、装置和电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SEDRFuse: A Symmetric Encoder–Decoder With Residual Block Network for Infrared and Visible Image Fusion;Xiaomin Yang;《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》;20200907;1-15 *
一种基于ResNet152的红外与可见光图像融合算法;李恒;《激光与光电子学进展》;20200430;第57卷(第8期);1-7 *
基于GAN的红外与可见光图像融合算法;周祎楠;《现代计算机》;20210605;94-97 *
基于双分支卷积神经网络的SAR与多光谱图像融合实验;吴佼华;《地理与地理信息科学》;20210331;第37卷(第2期);22-30 *

Also Published As

Publication number Publication date
CN113379661A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN113379661B (zh) 红外与可见光图像融合的双分支卷积神经网络装置
CN111709902B (zh) 基于自注意力机制的红外和可见光图像融合方法
Liang et al. MCFNet: Multi-layer concatenation fusion network for medical images fusion
CN109883548B (zh) 基于优化启发的神经网络的光谱成像系统的编码优化方法
CN110428387A (zh) 基于深度学习与矩阵分解的高光谱与全色图像融合方法
CN109697697B (zh) 基于优化启发的神经网络的光谱成像系统的重构方法
Li et al. Multifocus image fusion using wavelet-domain-based deep CNN
Wang et al. Multi-focus image fusion based on the improved PCNN and guided filter
CN109886898B (zh) 基于优化启发的神经网络的光谱成像系统的成像方法
CN110060225B (zh) 一种基于快速有限剪切波变换与稀疏表示的医学图像融合法
CN114119444A (zh) 一种基于深度神经网络的多源遥感图像融合方法
CN115511767B (zh) 一种自监督学习的多模态图像融合方法及其应用
CN115170915A (zh) 一种基于端到端注意力网络的红外与可见光图像融合方法
CN114004766A (zh) 一种水下图像增强方法、系统和设备
Zhang et al. WGGAN: A wavelet-guided generative adversarial network for thermal image translation
Pan et al. DenseNetFuse: A study of deep unsupervised DenseNet to infrared and visual image fusion
Yang et al. Underwater image enhancement with latent consistency learning‐based color transfer
CN112785517B (zh) 一种基于高分辨率表征的图像去雾方法和装置
Zheng et al. Overwater image dehazing via cycle-consistent generative adversarial network
Zhang et al. Enhanced visual perception for underwater images based on multistage generative adversarial network
Tseng et al. Semi-supervised image depth prediction with deep learning and binocular algorithms
CN116612056A (zh) 一种基于注意力机制和Boosting模型集成训练策略的图像数据融合算法
CN116258936A (zh) 一种基于多尺度特征的红外与可见光图像融合方法
CN107301625B (zh) 基于亮度融合网络的图像去雾方法
Wali et al. Recent Progress in Digital Image Restoration Techniques: A Review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant