CN113592018B - 基于残差密集网络和梯度损失的红外光与可见光图像融合方法 - Google Patents
基于残差密集网络和梯度损失的红外光与可见光图像融合方法 Download PDFInfo
- Publication number
- CN113592018B CN113592018B CN202110913641.6A CN202110913641A CN113592018B CN 113592018 B CN113592018 B CN 113592018B CN 202110913641 A CN202110913641 A CN 202110913641A CN 113592018 B CN113592018 B CN 113592018B
- Authority
- CN
- China
- Prior art keywords
- image
- light image
- visible light
- fusion
- infrared light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 45
- 230000006870 function Effects 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000010606 normalization Methods 0.000 claims abstract description 4
- 238000005457 optimization Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 230000016776 visual perception Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 6
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000004445 quantitative analysis Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004451 qualitative analysis Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于残差密集网络和梯度损失的红外光与可见光图像融合方法，包括：将红外光图像和可见光图像放入预先训练好的VGG‑16网络中进行参数提取，对提取到的特征图值进行标准化和归一化处理得到权重块；再将红外光图像和可见光图像放入网络模型中进行端到端的无监督学习，生成融合图像模型；训练所述融合图像模型，在训练过程中利用损失函数不断进行反向传播迭代，更新学习内容，所述损失函数是基于所述权重块优化梯度；本申请可以在现有的公开红外光和可见光图像数据集上进行融合操作，融合出来的结果可以有效的提取红外光图像边缘信息和可见光图像纹理细节，二者进行结合后形成更符合人眼视觉效果的融合图像。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于残差密集网络和梯度损失的红外光与可见光图像融合方法。
背景技术
图像融合在计算机视觉中占有举足轻重的地位，它从不同的输入图像中提取关键信息，将它们合成在一起，并输出具有更好视觉效果的融合图像。红外光与可见光图像融合是图像融合的一个重要分支。红外传感器可以对物体进行全天候监测，并通过物体发出的热辐射产生红外图像，在各种环境下对物体的轮廓具有优异的性能。然而，红外图像的纹理细节较差，分辨率较低。可见光图像具有丰富的纹理信息和较高的空间分辨率，能够反映被检测对象的真实环境，适应人类视觉系统。但在恶劣天气或环境下，其目标检测性能大大降低。因此，融合图像兼具红外图像和可见光图像的优点，广泛应用于各领域中,如：自动驾驶领域、监控领域和显著性检测领域。
红外和可见图像融合的困难在于如何从两幅源图像中提取各自突出的特征，以及如何设计合适的融合方法，以生成融合了两者重要信息的融合图像。在这方面，已经提出了很多方法，分为两个分支：传统的融合方法和基于深度学习的方法。
传统的图像融合方法使用多尺度变换(MST)、稀疏表示(SR)、混合模型和其他方法。这些方法能够准确提取特征信息，但需要复杂的矩阵运算，边缘模糊问题仍然存在。在最近的研究中，基于深度学习的方法：DeepFuse、SESF Fuse和Attention FGAN可以改进传统方法的缺点，但也有一些局限性。首先，深度学习网络通常直接从前一卷积层提取特征映射，忽略全局信息，导致融合结果质量低下。其次，一些方法没有采用端到端模型，而是采用带融合策略的编码器-解码器模型。过于简单的融合机制可能会使图像边缘不清晰。最后，损失函数的设计也会影响网络训练的结果。如果没有为网络训练选择合适的损失函数，损失函数的值收敛速度可能会减慢，训练速度可能会降低。
发明内容
针对现有技术存在上述问题，本申请提供一种基于残差密集网络和梯度损失的红外光与可见光图像融合方法，其将浅层特征信息和深层特征信息结合起来以生成效果很好的融合图像。
为实现上述目的，本申请的技术方案为：一种基于残差密集网络和梯度损失的红外光与可见光图像融合方法，包括：
将红外光图像和可见光图像放入预先训练好的VGG-16网络中进行参数提取，对提取到的特征图值进行标准化和归一化处理得到权重块；
再将红外光图像和可见光图像放入网络模型中进行端到端的无监督学习，生成融合图像模型；
训练所述融合图像模型，在训练过程中利用损失函数不断进行反向传播迭代，更新学习内容，所述损失函数是基于所述权重块优化梯度；
通过训练后的融合图像模型进行图像融合任务。
进一步的，将红外光图像和可见光图像放入预先训练好的VGG-16网络中进行参数提取，具体为：
将红外光图像和可见光图像分别放入预先训练好的VGG-16网络中提取特征图，设定每个图像在最大池化层前提取n个特征图；对提取到的每个特征图进行信息量化，公式如下：
其中，Ia表示输入图像种类，即为红外光图像Ir或为可见光图像Iv；n表示特征图数量；表示提取到的特征图值；/>代表拉普拉斯算子，公式采用第二范数形式进行计算，H、W和C分别表示图像的长、宽和通道数。
进一步的，使用Softmax函数对提取到的特征图值进行标准化和归一化处理得到两个权重块，获取权重块的公式如下：
其中，和/>是可调节自适应的权重块，m是一个用来衡量权重块的超参数；最终结果会保持在0到1之间，并且它们的和是1。
进一步的，所述网络模型包括特征提取器、残差密集块、深度特征提取器和特征重组器，所述特征提取器包括两个相同的卷积层，所述残差密集块为多个，所述深度特征提取器包括两个卷积核大小不同的卷积层，所述特征重组器包括一个卷积层，每个卷积层前都设置有填充层。
进一步的，所述残差密集块的前三层由卷基层和激活层构成，第四层为卷积层。
更进一步的，所述损失函数定义如下：
L＝LS+λLg
其中，S代表结构，g代表梯度；LS控制融合结果的整体感觉和视觉感知，Lg的作用则为突出图像边缘细节，λ是一个调整损失函数值的超参数。
更进一步的，结构损失函数LS包括SSIM和MSE两部分；所述SSIM衡量输入图像和融合图像间的结构相似性，所述MSE表示了两幅图像的均方误差；
损失函数LSSIM计算公式如下：
其中，SSIM具体计算公式为：
其中，μ代表平均值，σ代表标准差，C1、C2和C3是用来保持矩阵稳定的参数；
所述MSE计算公式为：
其中，p代表图像的像素值；损失函数LMSE被定义为：
所以结构损失函数Ls具体为：
LS＝LSSIM+αLMSE
其中，α是适用于转换损失函数的超参数。
更进一步的，梯度损失函数Lg能够增强融合结果的边缘锐度，ω和Lg相互配合来展现效果更好的边缘细节：
其中，F代表菲波那切范数，所以Lg被定义为：
本发明由于采用以上技术方案，能够取得如下的技术效果：本申请可以在现有的公开红外光和可见光图像数据集上进行融合操作，融合出来的结果可以有效的提取红外光图像边缘信息和可见光图像纹理细节，二者进行结合后形成更符合人眼视觉效果的融合图像。
附图说明
图1为红外光与可见光图像融合方法流程图；
图2为网络模型架构图；
图3为残差密集块架构图；
图4为本专利和其他先进的融合方法间的定性比较图。
具体实施方式
本发明的实施例是在以本发明技术方案为前提下进行实施的，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述实施例。
实施例1
如图1所示，本实施例提供一种基于残差密集网络和梯度损失的红外光与可见光图像融合方法，具体步骤如下：
步骤1：将红外光图像和可见光图像放入预先训练好的VGG-16网络中进行参数提取，对提取到的特征图值进行标准化和归一化处理得到权重块；
具体的，当源图像被输入到网络时，源图像也被传到特定的提取器，用于提取特征图和计算特征值，目的是用来生成需要在训练过程中使用的参数。设定每个源图像在VGG-16网络5个最大池化层前提取5个特征图。提取后，开始计算特征图中所包含的信息，它们的梯度用于计算，以便与损失函数中的梯度损失很好地配合。在深度学习框架下，梯度的计算和存储也变得更加高效。因此，它也适用于卷积神经网络中，对提取到的特征图进行信息量化，公式如下：
其中，La表示输入图像种类，即为红外光图像Ir或为可见光图像Iv。n表示提取到的特征图数量，这里把它设定为5。表示提取到的特征图值。/>代表拉普拉斯算子，公式采用第二范数形式进行计算，H、W和C分别表示图像的长、宽和通道数。最后，使用Softmax函数对提取到的特征图值进行标准化和归一化处理得到两个权重块，在训练过程中放入损失函数中去优化梯度，计算权重块的公式如下：
其中，和/>是可调节自适应的权重块，m是一个用来衡量权重块的超参数，以便计算。最终结果会保持在0到1之间，并且它们的和是1。
步骤2：再将红外光图像和可见光图像放入网络模型中进行端到端的无监督学习，生成融合图像模型；
具体的，本专利充分利用卷积核残差信息，建立了网络模型，其包括特征提取器、残差密集块、深度特征提取器和特征重组器。如图2所示，融合图像通过网络结合而成，所以本方法提出的网络是一个端到端的网络架构，不需要融合策略的。所有卷积核的内核大小和步长被设定为3x3和1，除了在深度特征提取器中的一个卷积核被设定为1x1。在每个卷积核之前，都放置一个填充层来防止图像产生边缘伪影。为了减少信息的丢失，无需池化层。
在特征提取器中，第一个卷积层对输入图像进行了浅层特征提取，然后将提取的信息传递到下一个卷积层中。如图3所示，在残差密集块中，不仅局限于对于卷积神经网络更深层更优先的训练，而且还会很好地利用残差信息来对网络进行训练。卷积增强特征的传播，在深度特征提取器中，引入1x1的卷积层来整合先前层提取到的信息，并用3x3的卷积层提取其他深层次的信息来进行融合和残差学习。在特征重组器中，对所有信息进行整合重构，生成融合图像。
步骤3：训练所述融合图像模型，在训练过程中利用损失函数不断进行反向传播迭代，更新学习内容，所述损失函数是基于所述权重块优化梯度；
具体的，损失函数由两部分组成，整体定义如下：
L＝LS+λLg
其中，S代表结构，g代表梯度。LS控制融合结果的整体感觉和视觉感知，Lg的作用则为突出图像边缘细节，λ是一个调整损失函数值的超参数。
结构损失函数LS由SSIM和MSE两部分组成。SSIM可以衡量输入图像和融合图像间的结构相似性，它对光线、对比度失真和相关性损失非常敏感。LSSIM计算公式如下：
SSIM具体计算公式为：
其中，μ代表平均值，σ代表标准差，C1、C2和C3是用来保持矩阵稳定的参数。
MSE表示了两幅图像的均方误差，被计算为：
其中，p代表图像的像素值。LMSE被定义为：
所以结构损失函数Ls被计算为：
LS＝LSSIM+αLMSE
其中，α是适用于转换损失函数的超参数。
Lg可以增强融合结果的边缘锐度，ω和Lg相互配合来展现效果更好的边缘细节：
其中，F代表菲波那切范数，所以Lg被定义为：
步骤4：通过训练后的融合图像模型进行图像融合任务。
如图4所示，融合图像显著的位置使用方框标记并在右下角进行放大便于查看。与其他九种方法相比，本专利有三个显著的优点。首先，本专利的结果可以保存更多的细节。它得益于残差密集块的部分，它充分利用了每个卷积层的信息。使用本专利提出的方法可以更生动地看到图中两个人的形状，桶的轮廓也比其他方法更清晰。此外，本专利方法包含了更多的边缘纹理。图中的男式外套和栏杆上的条纹，云和窗的边缘，由于使用了梯度损失函数，体现得更为明显。最后，本方法的整体视觉效果看起来更友好。无论图像信息或对比度如何，性能都会更好。这是由于网络的前两个卷积层提取图像的全局特征，最后一个卷积层融合和重建图像的全局特征和细节特征。
表1为本专利的定量分析平均值
除了定性分析，还在TNO数据集上进行了了定量分析，采用熵、差异性总和、图像相似性和相关系数四个图像度量指标来进行评测。
如表1所示，最好的结果都用黑色加粗字体标明。从信息论的角度上来看，熵可以度量融合图像中包含的信息量。熵的值越大，图像包含的信息越多。但随着信息量的增加，融合图像中的噪声信息也随之增加，这可能就会导致图像整体效果失真。所以尽管使用本专利生成的图像熵的值不是最好的，但是这并不影响图像表现的效果。差异性总和计算的是从源图像传输到融合图像的信息量，本专利拥有表现良好的差异性总和代表使用本专利方法生成的融合图像有着丰富的纹理细节。图像相似性意在测量输入图像和输出图像之间的相似性，包括光、相关损失和失真对比度。如果它的值趋近于1，则意味着融合图像和源图像之间越相似，生成的融合图像效果越好。本专利与其他方法相比有着很好的结构相似性。相关系数测量的是源图像和融合图像之间的线性相关水平，本专利有着较高的相关系数水平代表本专利方法可以给融合图像提供很好的表现。
在本专利中，提出了一个新的端到端深度学习框架来解决可见光和红外光图像融合任务。从源图像中提取的权重块可以调整损失函数和网络结构之间的平衡，使输出结果清晰，反映纹理细节。为了保存尽可能多的特征信息，引入残差密集块网络来生成表现友好的图像。为了使融合结果的边缘纹理表现明显，使用设计的梯度损失与权重值能很好地协调。在对TNO数据集进行定性和定量分析后，表明本专利提出的方法能够有效地融合红外光和可见光图像。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
Claims (5)
1.一种基于残差密集网络和梯度损失的红外光与可见光图像融合方法，其特征在于，包括：
将红外光图像和可见光图像放入预先训练好的VGG-16网络中进行参数提取，对提取到的特征图值进行标准化和归一化处理得到权重块；
将红外光图像和可见光图像放入预先训练好的VGG-16网络中进行参数提取，具体为：
将红外光图像和可见光图像分别放入预先训练好的VGG-16网络中提取特征图，设定每个图像在最大池化层前提取n个特征图；对提取到的每个特征图进行信息量化，公式如下：
其中，Ia表示输入图像种类，即为红外光图像Ir或为可见光图像Iv；n表示特征图数量；表示提取到的特征图值；/>代表拉普拉斯算子，公式采用第二范数形式进行计算，H、W和C分别表示图像的长、宽和通道数；
使用Softmax函数对提取到的特征图值进行标准化和归一化处理得到两个权重块，获取权重块的公式如下：
其中，和/>是可调节自适应的权重块，m是一个用来衡量权重块的超参数；最终结果会保持在0到1之间，并且它们的和是1；
再将红外光图像和可见光图像放入网络模型中进行端到端的无监督学习，生成融合图像模型；所述网络模型包括特征提取器、残差密集块、深度特征提取器和特征重组器，所述特征提取器包括两个相同的卷积层，所述残差密集块为多个，所述深度特征提取器包括两个卷积核大小不同的卷积层，所述特征重组器包括一个卷积层，每个卷积层前都设置有填充层；
训练所述融合图像模型，在训练过程中利用损失函数不断进行反向传播迭代，更新学习内容，所述损失函数是基于所述权重块优化梯度；
通过训练后的融合图像模型进行图像融合任务。
2.根据权利要求1所述一种基于残差密集网络和梯度损失的红外光与可见光图像融合方法，其特征在于，所述残差密集块的前三层由卷积层和激活层构成，第四层为卷积层。
3.根据权利要求1所述一种基于残差密集网络和梯度损失的红外光与可见光图像融合方法，其特征在于，所述损失函数定义如下：
L＝LS+λLg
其中，S代表结构，g代表梯度；LS控制融合结果的整体感觉和视觉感知，Lg的作用则为突出图像边缘细节，λ是一个调整损失函数值的超参数。
4.根据权利要求3所述一种基于残差密集网络和梯度损失的红外光与可见光图像融合方法，其特征在于，结构损失函数LS包括SSIM和MSE两部分；所述SSIM衡量输入图像和融合图像间的结构相似性，所述MSE表示了两幅图像的均方误差；
损失函数LSSIM计算公式如下：
其中，SSIM具体计算公式为：
其中，μ代表平均值，σ代表标准差，C1、C2和C3是用来保持矩阵稳定的参数；
所述MSE计算公式为：
其中，p代表图像的像素值；损失函数LMSE被定义为：
所以结构损失函数Ls具体为：
LS＝LSSIM+αLMSE
其中，α是适用于转换损失函数的超参数。
5.根据权利要求3所述一种基于残差密集网络和梯度损失的红外光与可见光图像融合方法，其特征在于，梯度损失函数Lg能够增强融合结果的边缘锐度，ω和Lg相互配合来展现效果更好的边缘细节：
其中，F代表菲波那切范数，所以Lg被定义为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110913641.6A CN113592018B (zh) | 2021-08-10 | 2021-08-10 | 基于残差密集网络和梯度损失的红外光与可见光图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110913641.6A CN113592018B (zh) | 2021-08-10 | 2021-08-10 | 基于残差密集网络和梯度损失的红外光与可见光图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113592018A CN113592018A (zh) | 2021-11-02 |
| CN113592018B true CN113592018B (zh) | 2024-05-10 |
Family
ID=78256758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110913641.6A Active CN113592018B (zh) | 2021-08-10 | 2021-08-10 | 基于残差密集网络和梯度损失的红外光与可见光图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113592018B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115240249B (zh) * | 2022-07-07 | 2023-06-06 | 湖北大学 | 人脸识别的特征提取分类度量学习方法、系统及存储介质 |
| CN116851856B (zh) * | 2023-03-27 | 2024-05-10 | 浙江万能弹簧机械有限公司 | 纯水线切割加工工艺及其系统 |
| CN116757988B (zh) * | 2023-08-17 | 2023-12-22 | 齐鲁工业大学(山东省科学院) | 基于语义丰富和分割任务的红外与可见光图像融合方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020100178A4 (en) * | 2020-02-04 | 2020-03-19 | Huang, Shuying DR | Multiple decision maps based infrared and visible image fusion |
| CN111260594A (zh) * | 2019-12-22 | 2020-06-09 | 天津大学 | 一种无监督的多模态图像融合方法 |
| CN111784619A (zh) * | 2020-07-03 | 2020-10-16 | 电子科技大学 | 一种红外和可见光图像的融合方法 |
| CN111915545A (zh) * | 2020-08-06 | 2020-11-10 | 中北大学 | 一种多波段图像的自监督学习融合方法 |
| CN112288663A (zh) * | 2020-09-24 | 2021-01-29 | 山东师范大学 | 一种红外与可见光图像融合方法及系统 |
| CN112288668A (zh) * | 2020-09-22 | 2021-01-29 | 西北工业大学 | 基于深度无监督密集卷积网络的红外和可见光图像融合方法 |
| CN113160286A (zh) * | 2021-01-06 | 2021-07-23 | 中国地质大学（武汉） | 一种基于卷积神经网络的近红外和可见光图像融合方法 |
| CN113159143A (zh) * | 2021-04-06 | 2021-07-23 | 中国人民解放军国防科技大学 | 基于跳跃连接卷积层的红外与可见光图像融合方法和装置 |
-
2021
- 2021-08-10 CN CN202110913641.6A patent/CN113592018B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260594A (zh) * | 2019-12-22 | 2020-06-09 | 天津大学 | 一种无监督的多模态图像融合方法 |
| AU2020100178A4 (en) * | 2020-02-04 | 2020-03-19 | Huang, Shuying DR | Multiple decision maps based infrared and visible image fusion |
| CN111784619A (zh) * | 2020-07-03 | 2020-10-16 | 电子科技大学 | 一种红外和可见光图像的融合方法 |
| CN111915545A (zh) * | 2020-08-06 | 2020-11-10 | 中北大学 | 一种多波段图像的自监督学习融合方法 |
| CN112288668A (zh) * | 2020-09-22 | 2021-01-29 | 西北工业大学 | 基于深度无监督密集卷积网络的红外和可见光图像融合方法 |
| CN112288663A (zh) * | 2020-09-24 | 2021-01-29 | 山东师范大学 | 一种红外与可见光图像融合方法及系统 |
| CN113160286A (zh) * | 2021-01-06 | 2021-07-23 | 中国地质大学（武汉） | 一种基于卷积神经网络的近红外和可见光图像融合方法 |
| CN113159143A (zh) * | 2021-04-06 | 2021-07-23 | 中国人民解放军国防科技大学 | 基于跳跃连接卷积层的红外与可见光图像融合方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 王娟 ; 柯聪 ; 刘敏 ; 熊炜 ; 袁旭亮 ; 丁畅 ; .神经网络框架下的红外与可见光图像融合算法综述.激光杂志.2020,第41卷(第7期),第7-11页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113592018A (zh) | 2021-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113592018B (zh) | 基于残差密集网络和梯度损失的红外光与可见光图像融合方法 | |
| CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
| CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN109462747B (zh) | 基于生成对抗网络的dibr系统空洞填充方法 | |
| CN110189294B (zh) | 基于深度可信度分析的rgb-d图像显著性检测方法 | |
| Vitoria et al. | Semantic image inpainting through improved wasserstein generative adversarial networks | |
| Agrawal et al. | A comprehensive review on analysis and implementation of recent image dehazing methods | |
| CN114782298B (zh) | 一种具有区域注意力的红外与可见光图像融合方法 | |
| CN109218706B (zh) | 一种由单张图像生成立体视觉图像的方法 | |
| Meng et al. | Perception inspired deep neural networks for spectral snapshot compressive imaging | |
| Xiao et al. | Image hazing algorithm based on generative adversarial networks | |
| Hao et al. | Texture enhanced underwater image restoration via laplacian regularization | |
| Shit et al. | An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection | |
| Zheng et al. | Overwater image dehazing via cycle-consistent generative adversarial network | |
| Nouduri et al. | Deep realistic novel view generation for city-scale aerial images | |
| CN110796635B (zh) | 一种基于剪切波变换的光场图像质量评价方法 | |
| CN116823863A (zh) | 一种红外图像轮廓提取方法及装置 | |
| CN111369435A (zh) | 基于自适应稳定模型的彩色图像深度上采样方法及系统 | |
| CN116980549A (zh) | 视频帧处理方法、装置、计算机设备和存储介质 | |
| Chen et al. | Depth map inpainting via sparse distortion model | |
| Kumar et al. | Underwater image enhancement using deep learning | |
| CN113947547B (zh) | 基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法 | |
| CN114972332A (zh) | 一种基于图像超分辨率重建网络的竹集成材裂纹检测方法 | |
| CN114897757A (zh) | 一种基于nsst和参数自适应pcnn的遥感图像融合方法 | |
| CN111127587B (zh) | 一种基于对抗生成网络的无参考图像质量地图生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |