CN111915545A - 一种多波段图像的自监督学习融合方法 - Google Patents

一种多波段图像的自监督学习融合方法 Download PDF

Info

Publication number
CN111915545A
CN111915545A CN202010784272.0A CN202010784272A CN111915545A CN 111915545 A CN111915545 A CN 111915545A CN 202010784272 A CN202010784272 A CN 202010784272A CN 111915545 A CN111915545 A CN 111915545A
Authority
CN
China
Prior art keywords
image
fusion
generator
multiband
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010784272.0A
Other languages
English (en)
Other versions
CN111915545B (zh
Inventor
蔺素珍
田嵩旺
禄晓飞
李大威
李毅
王丽芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North University of China
Original Assignee
North University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North University of China filed Critical North University of China
Priority to CN202010784272.0A priority Critical patent/CN111915545B/zh
Publication of CN111915545A publication Critical patent/CN111915545A/zh
Application granted granted Critical
Publication of CN111915545B publication Critical patent/CN111915545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及多波段图像融合方法，具体为基于多判别器生成对抗网络的多波段图像自监督融合方法，本方法按如下步骤进行：设计并构建生成对抗网络，网络由一个生成器和多个判别器组成，且标签图像为多波段源图像自身；生成器网络结构采用构思的特征增强模块、特征融合模块两部分组成，通过生成器和判别器的动态平衡训练得到一个生成模型并得到多波段图像融合结果。本发明实现了多波段图像端到端自监督融合的神经网络，结果具有更好的清晰度、信息量，细节信息更丰富，更符合人眼视觉特性。

Description

一种多波段图像的自监督学习融合方法
技术领域
本发明涉及图像融合方法，尤其涉及多波段图像融合方法，具体为一种多波段图像的自监督学习融合方法。
背景技术
目前，高精度探测系统已经普遍采用宽光谱多波段成像，而现有研究主要是针对红外和可见光两个波段进行，所以，探索多幅(≥3幅)图像同步融合迫在眉睫。近年来，基于深度人工神经网络的图像融合研究已经兴起，不过由于图像融合领域缺乏标准的融合结果，即利用深度学习建立图像融合模型时普遍缺乏标签数据，导致深度学习训练困难或融合效果差，同步融合图像数量越多问题越突出。
自监督学习是解决深度学习中标签缺乏问题的有效手段之一，现已在基于深度人工神经网络的语音识别、语义分割等领域取得成功，故本发明将其引入多波段图像融合领域。
发明内容
本发明为了解决图像融合领域利用深度学习方法进行融合多波段图像时因缺乏标签图像导致融合结果受限的问题，提出一种基于多判别器生成对抗网络的多波段图像自监督学习融合新方法。
本发明所提出的多波段图像自监督学习融合方法包括以下步骤：
(1)构建多判别器生成对抗多波段图像融合网络：生成对抗网络(以n波段图像融合为例)由一个生成器和n个判别器组成，首先将多波段图像输入生成器中得到初步融合图像；然后将该初步融合图像与不同波段源图像分别送入对应的判别器进行分类识别；经过生成器和判别器之间的动态博弈和迭代更新，得到最终的融合结果；
上述生成器包括特征增强模块和特征融合模块两部分，其中特征增强模块用来提取不同波段源图像的特征并进行增强得到各波段的多通道特征图；特征融合模块通过合并连接层在通道维度上连接特征图，然后用连接的特征图重构出融合图像；
(2)用自监督学习方法训练多判别器生成对抗多波段图像融合网络。
上述的多判别器生成对抗多波段图像融合网络的生成器损失函数包含三个部分：对抗损失Ladv、内容损失Lcon和SSIM损失LSSIM；其中对抗损失
Figure BDA0002621353010000021
式中i＝1,2,…,n表示源图像的波段数，多波段图像融合中n≥3，E表示期望，x表示输入样本，I(n)表示多波段源图像，即输入生成器的n个波段源图像(n为需要融合的图像总波段数)，||·||2表示L2范数，G为生成器，Di为i波段源图像对应的判别器，a表示生成器希望判别器相信伪数据的值，此处为0.7至1.2的随机数；内容损失
Figure BDA0002621353010000022
其中，y表示输入的真实样本，Ii表示输入的i波段标签图像即对应波段的源图像，c为特征融合模块对应卷积层层数，取值为1-4，Oc为特征融合模块对应卷积层的输出，
Figure BDA0002621353010000023
为梯度运算，λi、σi分别表示第i波段源图像的亮度损失和梯度损失的权重；SSIM损失
Figure BDA0002621353010000024
其中，SSIM(·)为结构相似性运算，即
Figure BDA0002621353010000025
其中A、B分别是两幅需要计算的图像即G(x)和y，μA是A的平均值，μB是B的平均值，
Figure BDA0002621353010000026
是A的方差，
Figure BDA0002621353010000027
是B的方差，σAB是A和B的协方差，c1＝(k1L)2，c2＝(k2L)2是用来维持稳定的常数，L是像素值的动态范围，k1＝0.01，k2＝0.03；
综上所述，生成器损失函数为
Figure BDA0002621353010000028
其中，θG为生成器训练参数，λcon、λssim分别表示Lcon和Lssim的权重，min为最小化；
判别器损失函数LD为：
Figure BDA0002621353010000029
Di为i波段源图像对应的判别器，
Figure BDA00026213530100000210
为判别器的训练参数，前两项执行Wasserstein距离估计，最后一项是网络正则化的梯度惩罚项，
Figure BDA0002621353010000031
为从标签数据分布y和生成器输入数据分布x采样的成对点之间的直线上的随机采样，即
Figure BDA0002621353010000032
其中，α∈[0,1]，λgp为梯度惩罚项的权重，max为最大化。在损失函数达到最小时得到的生成器网络模型即为最终的多波段图像融合网络模型。
根据实验，上述的基于多判别器生成对抗网络的多波段图像自监督学习融合方法中生成器损失函数中的参数λcon＝1、λssim＝1时效果最好；判别器损失函数中参数λgp＝10。
上述的基于多判别器生成对抗网络的多波段图像自监督学习融合方法中的输入数据集和自监督标签图像由如下过程得来：多波段图像通过滑动窗口进行分块，窗口大小为128×128，步长为64，分块后的图像通过旋转、镜像操作进行扩充，扩充后图像作为输入数据集，同时将其用于对应的自监督标签。
上述的基于多判别器的多波段图像自监督融合方法，特征增强模块由输入层、密集块层和输出层三部分组成；输入层和输出层都分别由卷积层和修正线性单元各一个构成，中间的密集块由三个卷积层构成，每个卷积层后跟随ReLU；为达到特征增强目的，建立反馈密集网络，即将上一次特征增强模块的输出与输入层叠加；特征增强模块每个卷积层使用3×3卷积核，步长为1，填充为0，由于采用密集块，卷积滤波器的数量均为32。
上述的基于多判别器的多波段图像自监督融合方法，特征融合模块首先将特征增强模块得到的各波段特征图在通道维度上连接，然后通过4个卷积层，卷积滤波器的数量分别为96、64、32和1，每个卷积层使用3×3卷积核，步长为1，填充为0。
上述的基于多判别器的多波段图像自监督融合方法，各个判别器均采用相同的网络架构，包括6个卷积层、3个最大池化层和两个全连接层，每个卷积层后面跟随Leaky ReLU激活函数；这些卷积滤波器个数分别为64、64、128、128、256和256，每个卷积层使用3×3卷积核，步长为1，填充为1；在两个全连接层中，神经元数量分别为128和1。
本发明为了解决多波段图像融合领域利用深度学习方法进行融合时缺乏标签图像导致融合结果受限的问题，建立了一个端到端的多判别器生成对抗自监督网络模型，利用多波段源图像作为标签进行训练，得到多波段图像融合结果。本发明解决了多波段图像融合领域利用深度学习方法进行图像融合时缺乏标签图像的问题，融合结果具有更好的清晰度、信息量，细节信息更丰富，更符合人眼视觉特性。
附图说明
本发明附图均以三波段图像融合为例给出。
图1为本发明的整体流程图。
图2为特征增强模块结构图。
图3特征融合模块结构图。
图4为红外长波图像。
图5为近红外图像。
图6为可见光图像。
图7为本发明的融合结果图像。
具体实施方式
基于多判别器的多波段图像的自监督学习融合方法，包括以下步骤：
第一步 设计并构建生成对抗网络：设计并构建多判别器生成对抗网络结构，该多判别器生成对抗网络由一个生成器和多个判别器组成；以n波段图像融合为例，由一个生成器和n个判别器组成。
生成器网络结构由特征增强模块和特征融合模块两部分组成，其中特征增强模块用来提取不同波段源图像的特征并进行增强得到各波段的多通道特征图，特征融合模块利用合并连接层在通道维度上进行特征连接并将连接后的特征图重构成融合图像，具体如下：
特征增强模块由输入层、密集块层和输出层三部分组成。输入层和输出层都分别由卷积层和修正线性单元(Rectifier Linear Unit，ReLU)各一个构成，位于输入层和输出层之间的密集块由三个卷积层构成，每个卷积层后跟随ReLU。为达到特征增强目的，建立反馈密集网络，即将上一次特征增强模块的输出与输入层叠加。特征增强模块每个卷积层使用3×3卷积核，步长为1，填充为0，由于采用密集块，卷积滤波器的数量均为32。
特征融合模块旨在合并增强后的特征并重构为一幅图像。首先将特征增强模块得到的各波段特征图在通道维度上连接，然后通过4个卷积层(前3个卷积层后跟随ReLU)，卷积滤波器的数量分别为96、64、32和1，每个卷积层使用3×3卷积核，步长为1，填充为0。
为了保证各判别器均有相同的分类识别能力，各个判别器均采用相同的网络架构，包括6个卷积层、3个最大池化层和两个全连接层，每个卷积层后面跟随Leaky ReLU激活函数。这些卷积滤波器个数分别为64、64、128、128、256和256，每个卷积层使用3×3卷积核，步长为1，填充为1。在两个全连接层中，神经元数量分别为128和1。
具体过程为：首先将多波段图像分别输入生成器，通过特征增强模块分别提取各波段源图像特征并进行增强，然后将多波段图像特征增强结果合并连接并通过设计的特征融合模块重构融合图像；最后将初步融合图像分别与各波段源图像送入对应的判别器进行分类识别，经过生成器和判别器之间的动态博弈和迭代更新，使得生成器输出结果同时保留多个波段图像的特征，达到图像融合的目的，得到最终的融合结果。
第二步 建立生成对抗网络的损失函数：生成器损失函数包含对抗损失Ladv、内容损失Lcon和SSIM损失Lssim共三部分。
对抗损失Ladv为:
Figure BDA0002621353010000051
式中i＝1,2,…,n表示源图像的波段数，多波段图像融合中n≥3；E表示期望；x表示输入样本(多波段源图像)；I(n)表示多波段源图像，即输入生成器的n个波段源图像(n为需要融合的图像总波段数)；||·||2表示L2范数；G为生成器；Di为源图像i对应的判别器；a表示生成器希望判别器相信伪数据的值，此处为0.7至1.2的随机数。
内容损失Lcon为：
Figure BDA0002621353010000052
其中，y表示输入判别器的真实样本(即标签图像，此处为对应波段源图像)；Ii表示输入判别器的i波段标签图像即对应波段的源图像；c为特征融合模块对应卷积层层数，取值为1-4；Oc为特征融合模块对应卷积层的输出；
Figure BDA00026213530100000610
为梯度运算；λi、σi分别表示针对第i个波段源图像的亮度损失和梯度损失的权重。
SSIM损失Lssim:
Figure BDA0002621353010000061
其中，SSIM(·)为结构相似性运算，即
Figure BDA0002621353010000062
其中A、B是两幅需要计算的图像即G(x)和y，μA是A的平均值，μB是B的平均值，
Figure BDA0002621353010000063
是A的方差，
Figure BDA0002621353010000064
是B的方差，σAB是A和B的协方差，c1＝(k1L)2，c2＝(k2L)2是用来维持稳定的常数，L是像素值的动态范围，k1＝0.01，k2＝0.03。
最终，生成器损失函数为:
Figure BDA0002621353010000065
其中，θG为生成器训练参数；λcon、λssim分别表示Lcon和Lssim的权重；min为最小化。
判别器损失函数LD为：
Figure BDA0002621353010000066
其中，Di为i波段源图像对应的判别器；
Figure BDA0002621353010000067
为判别器的训练参数；前两项执行Wasserstein距离估计，最后一项是网络正则化的梯度惩罚项；
Figure BDA0002621353010000068
为从标签数据分布y和生成器输入数据分布x采样的成对点之间的直线上的随机采样，即
Figure BDA0002621353010000069
其中α∈[0,1]；λgp为梯度惩罚项的权重；max为最大化。
第三步建立输入图像数据集：从公开的TNO图像融合数据集中随机选取20组图像作为训练集，选取8组作为测试集，每组图像都包含红外长波(8-12μm)、近红外(700-1000nm)和可见光(390-700nm)三波段图像；训练集图像通过滑动窗口进行分块，窗口大小为128×128，步长为64，分块后的图像通过旋转、镜像操作进行扩充，作为多波段图像训练集，同时将其用于对应的自监督标签图像。
第四步 训练生成对抗网络：将多波段源图像输入生成器，依次经过特征增强模块、特征融合模块得到融合图像；将该融合图像和各波段源图像送入对应的判别器进行分类识别，经过生成器和多个判别器的动态博弈，生成器输出的融合图像同时保留各个波段源图像特征，在损失函数达到最小时得到的生成器网络模型即为最终的多波段图像融合网络模型。应用该生成器模型输入多波段源图像，其输出结果就是最终的融合结果图像。
网络具体训练过程如下：
(1)生成器和判别器轮流循环训练，即先训练一次生成器，再训练一次判别器，然后依次循环，直到两者达到动态平衡；
(2)设计生成器损失函数和判别器损失函数。经过实验，参数λcon＝1、λssim＝1、λgp＝10时效果最好。根据红外图像中的热目标通常较亮(像素值较大)而可见光图像中细节信息较清晰(梯度较大)的规律，参数取值如下：λ1＝3、λ2＝2、λ3＝1、σ1＝1、σ2＝2、σ3＝3。
由于图像融合尚无可用的标准融合结果，本发明的训练集和测试集均包含红外长波(8-12μm)、近红外(700-1000nm)和可见光(390-700nm)三个波段图像。多波段图像通过滑动窗口进行分块，窗口大小为128×128，步长为64，分块后的图像通过旋转、镜像操作扩充，最终得到13200组图像作为输入数据集，同时将其用于对应的自监督标签。
上述的基于多判别器的多波段图像自监督融合方法，网络训练时batch大小取值在12-20之间，其值大小决定误差收敛的稳定性，但是过大会占用较多内存，过小又耗费时间；学习率选用0.0002，学习率大小决定网络收敛速度快慢，过大导致网络震荡，过小又耗费更多时间，影响网络效率，因此选取0.002-0.00002之间。

Claims (7)

1.一种多波段图像的自监督学习融合方法，其特征在于包括以下步骤：
设计并构建生成对抗网络：该多判别器生成对抗网络由一个生成器和多个判别器组成；生成器包括特征增强模块、特征融合模块两部分，其中特征增强模块用来提取不同波段源图像的特征并进行增强得到各波段的多通道特征图，特征融合模块将利用合并连接层在通道维度上进行连接后的特征图重构出融合图像；
利用该生成对抗网络首先将多波段图像分别输入生成器，分别通过特征增强模块分别提取各波段源图像特征并进行增强，然后将多波段图像特征增强结果合并连接并通过特征融合模块重构出初步的融合图像；
将初步融合图像分别与各波段源图像送入对应的判别器进行分类识别，经过生成器和判别器之间的动态博弈和迭代更新，使得生成器输出结果同时保留多个波段图像的特征，达到图像融合的目的，生成器最终输出的图像即为融合结果。
2.根据权利要求1所述的一种多波段图像的自监督学习融合方法，其特征在于生成器损失函数包含三个部分：对抗损失Ladv、内容损失Lcon和SSIM损失LSSIM；其中对抗损失为
Figure FDA0002621351000000011
式中i＝1,2,…,n表示源图像的波段数，多波段图像融合中n≥3；E表示期望；x表示输入样本；I(n)表示多波段源图像，即输入生成器的n个波段源图像；Ii表示i波段源图像；||·||2表示L2范数；G为生成器；Di为源图像i对应的判别器；a表示生成器希望判别器相信伪数据的值，此处为0.7至1.2的随机数；内容损失为
Figure FDA0002621351000000012
其中，y表示输入的真实样本；Ii表示输入的i波段标签图像即对应波段源图像；c为特征融合模块对应卷积层层数，取值为1-4；Oc为特征融合模块对应卷积层的输出；
Figure FDA0002621351000000014
为梯度运算；λi、σi分别表示亮度损失和梯度损失针对不同源图像的权重；SSIM损失
Figure FDA0002621351000000013
其中，SSIM(·)为结构相似性运算，即
Figure FDA0002621351000000021
其中A、B分别是两幅需要计算的图像G(x)、y，μA是A的平均值，μB是B的平均值，
Figure FDA0002621351000000022
是A的方差，
Figure FDA0002621351000000023
是B的方差，σAB是A和B的协方差，c1＝(k1L)2，c2＝(k2L)2是用来维持稳定的常数，L是像素值的动态范围，k1＝0.01，k2＝0.03；综上所述，生成器损失函数为
Figure FDA0002621351000000024
其中，θG为生成器训练参数；λcon、λssim分别表示Lcon和Lssim的权重；min为最小化；
判别器损失函数LD为
Figure FDA0002621351000000025
Di为i波段源图像对应的判别器；
Figure FDA0002621351000000028
为判别器的训练参数；前两项执行Wasserstein距离估计，最后一项是网络正则化的梯度惩罚项；
Figure FDA0002621351000000026
为从标签数据分布y和生成器输入数据分布x采样的成对点之间的直线上的随机采样，即
Figure FDA0002621351000000027
其中α∈[0,1]；λgp为梯度惩罚项的权重；max为最大化。
3.根据权利要求2所述的一种多波段图像的自监督学习融合方法，其特征在于λcon＝1、λssim＝1、λgp＝10时能够平衡各个损失函数，网络训练效果达到较好效果。
4.根据权利要求1-3所述的一种多波段图像的自监督学习融合方法，其特征在于输入生成器的多波段图像包含红外长波、近红外和可见光三波段图像；多波段图像通过滑动窗口进行分块，窗口大小为128×128，步长为64，分块后的图像通过旋转、镜像操作扩充，扩充后的图像作为输入数据集，同时将输入数据集用于对应的自监督标签图像。
5.根据权利要求1-3所述的一种多波段图像的自监督学习融合方法，其特征在于特征增强模块由输入层、密集块层和输出层三部分组成；输入层和输出层都分别由卷积层和修正线性单元各一个构成，中间的密集块由三个卷积层构成，每个卷积层后跟随ReLU；为达到特征增强目的，建立反馈密集网络，即将上一次特征增强模块的输出与输入层叠加；特征增强模块每个卷积层使用3×3卷积核，步长为1，填充为0，由于采用密集块，卷积滤波器的数量均为32。
6.根据权利要求1-3所述的一种多波段图像的自监督学习融合方法，其特征在于特征融合模块首先将特征增强模块得到的各波段特征图在通道维度上连接，然后通过4个卷积层，卷积滤波器的数量分别为96、64、32和1，每个卷积层使用3×3卷积核，步长为1，填充为0。
7.根据权利要求1-3所述的一种多波段图像的自监督学习融合方法，其特征在于各个判别器均采用相同的网络架构，包括6个卷积层、3个最大池化层和两个全连接层，每个卷积层后面跟随Leaky ReLU激活函数；这些卷积滤波器个数分别为64、64、128、128、256和256，每个卷积层使用3×3卷积核，步长为1，填充为1；在两个全连接层中，神经元数量分别为128和1。
CN202010784272.0A 2020-08-06 2020-08-06 一种多波段图像的自监督学习融合方法 Active CN111915545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010784272.0A CN111915545B (zh) 2020-08-06 2020-08-06 一种多波段图像的自监督学习融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010784272.0A CN111915545B (zh) 2020-08-06 2020-08-06 一种多波段图像的自监督学习融合方法

Publications (2)

Publication Number Publication Date
CN111915545A true CN111915545A (zh) 2020-11-10
CN111915545B CN111915545B (zh) 2022-07-05

Family

ID=73287314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010784272.0A Active CN111915545B (zh) 2020-08-06 2020-08-06 一种多波段图像的自监督学习融合方法

Country Status (1)

Country Link
CN (1) CN111915545B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699912A (zh) * 2020-11-19 2021-04-23 电子科技大学 一种通过改进gan增强红外热图像的方法
CN113112441A (zh) * 2021-04-30 2021-07-13 中北大学 基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法
CN113222839A (zh) * 2021-05-08 2021-08-06 华北电力大学 一种基于生成对抗网络的红外可见光图像融合去噪方法
CN113592018A (zh) * 2021-08-10 2021-11-02 大连大学 基于残差密集网络和梯度损失的红外光与可见光图像融合方法
CN113762277A (zh) * 2021-09-09 2021-12-07 东北大学 一种基于Cascade-GAN的多波段红外图像融合方法
CN114022401A (zh) * 2021-08-12 2022-02-08 中国地质大学（武汉） 基于多分类约束双判别器生成对抗网络红外图像融合方法
CN114419328A (zh) * 2022-01-21 2022-04-29 南昌航空大学 一种基于自适应增强生成对抗网络的图像融合方法及系统
CN115423734A (zh) * 2022-11-02 2022-12-02 国网浙江省电力有限公司金华供电公司 一种基于多尺度注意机制的红外与可见光图像融合方法

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002299254A (ja) * 2001-03-30 2002-10-11 Toyota Central Res & Dev Lab Inc 半導体基板の製造方法及び半導体素子
CN106845471A (zh) * 2017-02-20 2017-06-13 深圳市唯特视科技有限公司 一种基于生成对抗网络的视觉显著性预测方法
CN106997380A (zh) * 2017-03-21 2017-08-01 北京工业大学 基于dcgan深度网络的成像光谱图像安全检索方法
CN107194872A (zh) * 2017-05-02 2017-09-22 武汉大学 基于内容感知深度学习网络的遥感图像超分辨率重建方法
CN107613299A (zh) * 2017-09-29 2018-01-19 杭州电子科技大学 一种利用生成网络提高帧速率上转换效果的方法
CN107944370A (zh) * 2017-11-17 2018-04-20 西安电子科技大学 基于dccgan模型的极化sar图像分类方法
CN108537743A (zh) * 2018-03-13 2018-09-14 杭州电子科技大学 一种基于生成对抗网络的面部图像增强方法
CN108765512A (zh) * 2018-05-30 2018-11-06 清华大学深圳研究生院 一种基于多层级特征的对抗图像生成方法
CN108805828A (zh) * 2018-05-22 2018-11-13 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN109118445A (zh) * 2018-07-27 2019-01-01 杭州电子科技大学 一种基于多分支生成对抗网络的水下图像增强方法
CN109145992A (zh) * 2018-08-27 2019-01-04 西安电子科技大学 协作生成对抗网络和空谱联合的高光谱图像分类方法
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法
US10325201B1 (en) * 2019-01-31 2019-06-18 StradVision, Inc. Method and device for generating deceivable composite image by using GAN including generating neural network and discriminating neural network to allow surveillance system to recognize surroundings and detect rare event more accurately
CN109919888A (zh) * 2019-02-26 2019-06-21 腾讯科技（深圳）有限公司 一种图像融合的方法、模型训练的方法以及相关装置
CN109949278A (zh) * 2019-03-06 2019-06-28 西安电子科技大学 基于对抗自编码网络的高光谱异常检测方法
CN110555458A (zh) * 2019-07-24 2019-12-10 中北大学 基于注意力机制生成对抗网络的多波段图像特征级融合方法
CN111210394A (zh) * 2020-01-03 2020-05-29 北京智云视图科技有限公司 一种基于深度分解合成网络的图像增强技术
CN111243066A (zh) * 2020-01-09 2020-06-05 浙江大学 一种基于自监督学习与生成对抗机制的人脸表情迁移方法
CN111260594A (zh) * 2019-12-22 2020-06-09 天津大学 一种无监督的多模态图像融合方法
CN111489287A (zh) * 2020-04-10 2020-08-04 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备和存储介质

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002299254A (ja) * 2001-03-30 2002-10-11 Toyota Central Res & Dev Lab Inc 半導体基板の製造方法及び半導体素子
CN106845471A (zh) * 2017-02-20 2017-06-13 深圳市唯特视科技有限公司 一种基于生成对抗网络的视觉显著性预测方法
CN106997380A (zh) * 2017-03-21 2017-08-01 北京工业大学 基于dcgan深度网络的成像光谱图像安全检索方法
CN107194872A (zh) * 2017-05-02 2017-09-22 武汉大学 基于内容感知深度学习网络的遥感图像超分辨率重建方法
CN107613299A (zh) * 2017-09-29 2018-01-19 杭州电子科技大学 一种利用生成网络提高帧速率上转换效果的方法
CN107944370A (zh) * 2017-11-17 2018-04-20 西安电子科技大学 基于dccgan模型的极化sar图像分类方法
CN108537743A (zh) * 2018-03-13 2018-09-14 杭州电子科技大学 一种基于生成对抗网络的面部图像增强方法
CN108805828A (zh) * 2018-05-22 2018-11-13 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN108765512A (zh) * 2018-05-30 2018-11-06 清华大学深圳研究生院 一种基于多层级特征的对抗图像生成方法
CN109118445A (zh) * 2018-07-27 2019-01-01 杭州电子科技大学 一种基于多分支生成对抗网络的水下图像增强方法
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法
CN109145992A (zh) * 2018-08-27 2019-01-04 西安电子科技大学 协作生成对抗网络和空谱联合的高光谱图像分类方法
US10325201B1 (en) * 2019-01-31 2019-06-18 StradVision, Inc. Method and device for generating deceivable composite image by using GAN including generating neural network and discriminating neural network to allow surveillance system to recognize surroundings and detect rare event more accurately
CN109919888A (zh) * 2019-02-26 2019-06-21 腾讯科技（深圳）有限公司 一种图像融合的方法、模型训练的方法以及相关装置
CN109949278A (zh) * 2019-03-06 2019-06-28 西安电子科技大学 基于对抗自编码网络的高光谱异常检测方法
CN110555458A (zh) * 2019-07-24 2019-12-10 中北大学 基于注意力机制生成对抗网络的多波段图像特征级融合方法
CN111260594A (zh) * 2019-12-22 2020-06-09 天津大学 一种无监督的多模态图像融合方法
CN111210394A (zh) * 2020-01-03 2020-05-29 北京智云视图科技有限公司 一种基于深度分解合成网络的图像增强技术
CN111243066A (zh) * 2020-01-09 2020-06-05 浙江大学 一种基于自监督学习与生成对抗机制的人脸表情迁移方法
CN111489287A (zh) * 2020-04-10 2020-08-04 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备和存储介质

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
JIN X 等: "A survey of infrared and visual image fusion methods", 《INFRARED PHYSICS & TECHNOLOGY》 *
JIN X 等: "A survey of infrared and visual image fusion methods", 《INFRARED PHYSICS & TECHNOLOGY》, 31 December 2017 (2017-12-31), pages 478 - 501 *
刘龙飞等: "神经网络在退化图像复原领域的进展综述", 《图学学报》 *
刘龙飞等: "神经网络在退化图像复原领域的进展综述", 《图学学报》, no. 02, 15 April 2019 (2019-04-15), pages 3 - 14 *
彭晏飞等: "基于循环生成对抗网络的图像风格迁移", 《计算机工程与科学》 *
彭晏飞等: "基于循环生成对抗网络的图像风格迁移", 《计算机工程与科学》, no. 04, 15 April 2020 (2020-04-15), pages 132 - 139 *
林森等: "多输入融合对抗网络的水下图像增强", 《红外与激光工程》 *
林森等: "多输入融合对抗网络的水下图像增强", 《红外与激光工程》, no. 05, 25 May 2020 (2020-05-25), pages 217 - 225 *
胡敏等: "基于约束性循环一致生成对抗网络的人脸表情识别方法", 《电子测量与仪器学报》 *
胡敏等: "基于约束性循环一致生成对抗网络的人脸表情识别方法", 《电子测量与仪器学报》, no. 04, 15 April 2019 (2019-04-15), pages 174 - 182 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699912B (zh) * 2020-11-19 2022-04-19 电子科技大学 一种通过改进gan增强红外热图像的方法
CN112699912A (zh) * 2020-11-19 2021-04-23 电子科技大学 一种通过改进gan增强红外热图像的方法
CN113112441A (zh) * 2021-04-30 2021-07-13 中北大学 基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法
CN113112441B (zh) * 2021-04-30 2022-04-26 中北大学 基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法
CN113222839A (zh) * 2021-05-08 2021-08-06 华北电力大学 一种基于生成对抗网络的红外可见光图像融合去噪方法
CN113592018A (zh) * 2021-08-10 2021-11-02 大连大学 基于残差密集网络和梯度损失的红外光与可见光图像融合方法
CN113592018B (zh) * 2021-08-10 2024-05-10 大连大学 基于残差密集网络和梯度损失的红外光与可见光图像融合方法
CN114022401A (zh) * 2021-08-12 2022-02-08 中国地质大学（武汉） 基于多分类约束双判别器生成对抗网络红外图像融合方法
CN114022401B (zh) * 2021-08-12 2024-09-06 中国地质大学（武汉） 基于多分类约束双判别器生成对抗网络红外图像融合方法
CN113762277A (zh) * 2021-09-09 2021-12-07 东北大学 一种基于Cascade-GAN的多波段红外图像融合方法
CN113762277B (zh) * 2021-09-09 2024-05-24 东北大学 一种基于Cascade-GAN的多波段红外图像融合方法
CN114419328A (zh) * 2022-01-21 2022-04-29 南昌航空大学 一种基于自适应增强生成对抗网络的图像融合方法及系统
CN114419328B (zh) * 2022-01-21 2023-05-05 南昌航空大学 一种基于自适应增强生成对抗网络的图像融合方法及系统
CN115423734A (zh) * 2022-11-02 2022-12-02 国网浙江省电力有限公司金华供电公司 一种基于多尺度注意机制的红外与可见光图像融合方法

Also Published As

Publication number Publication date
CN111915545B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN111915545B (zh) 一种多波段图像的自监督学习融合方法
CN110555458B (zh) 基于注意力机制生成对抗网络的多波段图像特征级融合方法
CN107766850B (zh) 基于结合人脸属性信息的人脸识别方法
CN109685819B (zh) 一种基于特征增强的三维医学图像分割方法
Lin et al. Hyperspectral image denoising via matrix factorization and deep prior regularization
CN108537742A (zh) 一种基于生成对抗网络的遥感图像全色锐化方法
CN107506822B (zh) 一种基于空间融合池化的深度神经网络方法
Robert et al. Hybridnet: Classification and reconstruction cooperation for semi-supervised learning
CN114821164B (zh) 基于孪生网络的高光谱图像分类方法
CN109711426A (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
CN110097033A (zh) 一种基于特征扩充的单样本人脸识别方法
CN115966010A (zh) 一种基于注意力和多尺度特征融合的表情识别方法
CN112686817A (zh) 一种基于不确定性估计的图像补全方法
CN117671509B (zh) 遥感目标检测方法、装置、电子设备及存储介质
Lin et al. R 2-resnext: A resnext-based regression model with relative ranking for facial beauty prediction
CN112668486A (zh) 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体
CN113888399B (zh) 一种基于风格融合与域选结构的人脸年龄合成方法
Tang et al. SRARNet: A unified framework for joint superresolution and aircraft recognition
CN116343109A (zh) 基于自监督掩码模型和跨模态码本的文本行人搜索方法
Gu et al. ConvFormer: Combining CNN and Transformer for Medical Image Segmentation
CN113112441B (zh) 基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法
CN112907692B (zh) 一种基于sfrc-gan的从素描到人脸重建方法
CN117593199A (zh) 一种基于高斯先验分布自注意力的双流遥感图像融合方法
CN116137043B (zh) 一种基于卷积和Transformer的红外图像彩色化方法
CN115273135A (zh) 基于DC-Res2Net和特征融合注意力模块的手势图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant