CN113112441A - 基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法 - Google Patents

基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法 Download PDF

Info

Publication number
CN113112441A
CN113112441A CN202110480624.8A CN202110480624A CN113112441A CN 113112441 A CN113112441 A CN 113112441A CN 202110480624 A CN202110480624 A CN 202110480624A CN 113112441 A CN113112441 A CN 113112441A
Authority
CN
China
Prior art keywords
image
resolution
fusion
network
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110480624.8A
Other languages
English (en)
Other versions
CN113112441B (zh
Inventor
蔺素珍
禄晓飞
田嵩旺
李大威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North University of China
Original Assignee
North University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North University of China filed Critical North University of China
Priority to CN202110480624.8A priority Critical patent/CN113112441B/zh
Publication of CN113112441A publication Critical patent/CN113112441A/zh
Application granted granted Critical
Publication of CN113112441B publication Critical patent/CN113112441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及多波段图像同步超分与融合方法，即同步实现多波段图像融合和图像超分辨率，具体为基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法,本方法按如下步骤进行：设计并构建生成对抗网络，网络结构采用构思的特征提取模块、特征融合模块和图像超分辨率模块三部分组成，通过生成器和判别器的动态平衡训练得到一个生成模型并得到融合增强结果。损失函数中内容损失的亮度提取部分采用构造的局部亮度遍历算子。本发明实现了多波段图像端到端同步超分与融合神经网络，由于在网络最后一层才放大源图像，大大提升网络的效率，降低资源耗费。

Description

基于密集网络和局部亮度遍历算子的多波段低分辨率图像同 步融合方法
技术领域
本发明涉及多波段图像同步超分与融合方法，即用一个网络模型同步实现多波段图像融合和图像超分辨率，具体为基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法。
背景技术
随着传感器技术的高速发展，两波段\模态图像融合已经不能满足现实需求，越来越多学者开始探索多波段\模态图像融合。但就目前图像融合而言，大都没有考虑图像采集过程中由于传感器自身局限性以及战场、天灾等情况下的镜头抖动或病人呼吸、咳嗽等导致采集的源图像本身质量较差的情况，导致低分辨率源图像融合结果也是低分辨率的。图像超分辨率虽能改善此问题，但“先融合再超分”或“先超分再融合”两种范式会丢失细节信息或引入噪声。且分步进行图像超分辨率与图像融合不仅耗时而且耗力。因此，探索一种较为快速便捷的多波段图像同步超分与融合方法尤为必要。
发明内容
本发明为了提升低分辨率源图像的融合结果和融合速度，提出一种基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法。
本发明是采用如下技术方案实现的：基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，包括以下步骤：
设计并构建生成对抗网络：生成对抗网络分为生成器和判别器两个模型；生成器包括特征提取模块、特征融合模块和图像超分辨率模块，其中特征提取模块用来提取各波段源图像的特征，特征融合模块将提取的各波段源图像的特征进行组合得到初步融合图像，最后利用图像超分辨率模块放大低分辨率初步融合图像得到高分辨率融合图像；
将重构的高分辨率融合图像和多波段低分辨率源图像对应的标签图像送入判别器进行分类识别，迭代优化生成器和判别器，经过生成器和判别器的动态博弈，使得生成器输出的融合图像和标签图像不断趋于相似，在生成器和判别器达到动态平衡时得到的生成器模型即为最终的多波段图像同步超分与融合网络模型，应用该生成器模型融合多波段低分辨率源图像。生成器不断优化，使得生成器输出结果同时达到超分辨率和融合的目的，避免在网络外对低分辨率图像进行预处理。
上述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，特征提取模块由5个连续的卷积层构成，每个卷积层后跟随ReLU，为保留更多源图像特征，卷积层之间建立密集连接网络，使得每两个卷积层之间均建立连接；此模块每个卷积层使用3×3卷积核，步长为1，填充为0，卷积滤波器的数量均为32；
特征融合模块首先将特征提取模块得到的各波段特征图在通道维度上连接，然后通过4个卷积层每个卷积层后跟随ReLU，卷积滤波器的数量分别为96、64、 32和16，每个卷积层使用3×3卷积核，步长为1，填充为0；
低分辨率图像通过亚像素卷积可以生成高分辨率图像，实现图像的超分辨率，避免对低分辨率源图像的预处理，图像超分辨率模块由一个亚像素卷积层构成，其中scale值设置为4，输出通道数设置为1。
上述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，生成器损失函数包含四个部分：对抗损失Ladv、内容损失Lcon、感知损失Lper和SSIM损失Lssim；其中对抗损失
Figure BDA0003049083860000021
式中G表示生成器，D 表示判别器，E表示期望，x表示生成器样本输入，ILR表示输入生成器的低分辨率源图像；内容损失
Figure BDA0003049083860000022
其中，||·||表示F范数，y表示真实样本输入，IHRF表示标签图像，Light(·)表示局部亮度，此方法使用窗口对高分辨率融合图像和标签图像分别进行遍历，逐窗口增强图像亮度，
Figure BDA0003049083860000023
表示梯度，λ表示权重系数；感知损失
Figure BDA0003049083860000024
其中，
Figure BDA0003049083860000025
表示特征提取器；SSIM损失
Figure BDA0003049083860000026
其中， SSIM(·)代表结构相似性运算，可以表示两幅图像之间的结构相似性；综上所述，最终的复合损失函数为：
Figure BDA0003049083860000027
其中，θG表示生成器的训练参数，λadv、λcon、λper和λssim分别表示Ladv、Lcon、Lper和Lssim的权重；
判别器损失函数为：
Figure BDA0003049083860000031
其中，
Figure BDA0003049083860000032
为从标签数据分布y和生成器输入数据分布x采样的成对点之间的直线上的随机采样，即
Figure BDA0003049083860000033
其中α∈[0,1]，θD为判别器的训练参数，λ3为梯度惩罚项的权重。
上述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，λadv＝10、λcon＝1、λper＝0.0001、λssim＝10和λgp＝10时能够平衡各个损失函数，网络训练效果达到较好效果。
上述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，其特征在于生成器和判别器轮流循环训练，即先训练一次生成器，再训练一次判别器，然后依次循环，直到两者达到动态平衡。
上述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，网络训练时batch大小取值在16-36之间，其值大小决定误差收敛的稳定性，但是过大会占用较多内存，过小又耗费时间；学习率选用0.0002，学习率大小决定网络收敛速度快慢，过大导致网络震荡，过小又耗费更多时间，影响网络效率，因此选取0.002-0.00002之间。
上述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，生成对抗网络的训练集多波段图像包含可见光图像(400-700nm)、近红外图像(700-1000nm)和远红外图像(8-14μm)三个波段。
本发明损失函数中内容损失的亮度提取部分采用构造的局部亮度遍历算子，通过提升目标像素点与周围像素点的像素插值，使得图像中亮度较大的趋于像素值更大，较暗的区域像素值变小，从而提升图像对比度。此外，在网络最后一层引用图像超分辨率模块，避免在网络外对源图像进行放大预处理，从而使得网络轻便、快捷。本发明实现了多波段图像端到端同步超分与融合神经网络，由于在网络最后一层才放大源图像，大大提升网络的效率，降低资源耗费。
附图说明
图1为本发明的整体流程图。
图2为生成器特征提取模块网络架构。
图3为生成器特征融合模块网络架构。
图4为局部亮度遍历算子。
图5为低分辨率红外长波图像。
图6为低分辨率近红外图像。
图7为低分辨率可见光图像。
图8为本发明的融合图像。
具体实施方式
基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，包括以下步骤：
第一步 设计并构建生成对抗网络：生成对抗网络分为生成器和判别器两个模型。
生成器网络结构包括特征提取模块(Feature extraction network，FEN)、特征融合模块(Feature fusion network，FFN)和图像超分辨率模块(Image Super ResolutionNetwork，ISRN)三部分，其中FEN用来提取各波段源图像的特征， FFN将提取的各波段信息进行组合得到初步融合结果图像，最后利用ISRN放大低分辨率融合结果得到高分辨率融合结果，具体如下：
FEN由5个连续的卷积层构成，每个卷积层后跟随ReLU。为保留更多源图像特征，在这些卷积层之间建立密集连接网络，使得每两个卷积层之间均建立连接。此模块每个卷积层使用3×3卷积核，步长为1，填充为0，卷积滤波器的数量均为32。FFN首先将特征提取模块得到的各波段特征图在通道维度上连接，然后通过4个卷积层每个卷积层后跟随ReLU，卷积滤波器的数量分别为96、64、 32和16，每个卷积层使用3×3卷积核，步长为1，填充为0。低分辨率图像通过亚像素卷积可以生成高分辨率图像，实现图像的超分辨率，避免对低分辨率源图像的预处理，因此本发明图像超分辨率模块由一个亚像素卷积层构成，其中 scale值设置为4，输出通道数设置为1。
判别器网络包括6个卷积层、3个最大池化层和两个全连接层，每个卷积层后面跟随Leaky ReLU激活函数。这些卷积滤波器个数分别为64、64、128、128、 256和256，每个卷积层使用3×3卷积核，步长为1，填充为1。在两个全连接层中，神经元数量分别为128和1。
具体过程为：将各波段源图像分别输入特征提取模块提取特征，并随后将提取的多波段图像特征合并连接后利用特征融合模块进行组合，重构出融合图像，最后通过图像超分辨率模块得到高分辨率融合结果。判别器作为一个分类器，其任务是尽最大努力区分生成数据和真实数据(即区分生成器输出融合图像和标签图像)，将融合结果和标签图像分别送入判别网络进行分类识别。
第二步 设计多任务损失函数。生成器损失函数包含四个部分：对抗损失 Ladv、内容损失Lcon、感知损失Lper和SSIM损失Lssim；其中对抗损失
Figure BDA0003049083860000051
式中G表示生成器，D表示判别器，E表示期望，x表示生成器样本输入(此处即为低分辨率源图像),ILR表示输入生成器的低分辨率源图像；内容损失
Figure BDA0003049083860000052
其中，||·||表示F范数,y表示真实样本输入(此处即为标签图像)，IHRF表示标签图像，Light(·)表示局部亮度，此方法使用附图4中7×7的窗口对高分辨率融合图像和标签图像分别进行遍历，逐窗口增强图像亮度，
Figure BDA0003049083860000053
表示梯度，λ表示权重系数；感知损失
Figure BDA0003049083860000054
其中，
Figure BDA0003049083860000055
表示特征提取器；SSIM 损失
Figure BDA0003049083860000056
其中，SSIM(·)代表结构相似性运算，可以表示两幅图像之间的结构相似性；综上所述，最终的复合损失函数为：
Figure BDA0003049083860000057
其中，θG表示生成器的训练参数，λadv、λcon、λper和λssim分别表示Ladv、Lcon、Lper和Lssim的权重；
判别器损失函数为：
Figure BDA0003049083860000058
其中，
Figure BDA0003049083860000059
为从标签数据分布y和生成器输入数据分布x采样的成对点之间的直线上的随机采样，即
Figure BDA00030490838600000510
其中α∈[0,1]，θD为判别器的训练参数，λ3为梯度惩罚项的权重。
第三步 对抗网络训练。将多波段低分辨率源图像输入生成器，依次经过特征提取模块、特征融合模块和图像超分辨率模块得到高分辨率融合结果图像；将该融合图像和多波段低分辨率源图像对应的标签图像送入判别器进行分类识别，经过生成器和判别器的动态博弈，生成器输出的融合图像和标签图像不断趋于相似，在生成器和判别器的损失函数都达到最小时得到的生成器网络模型即为最终的多波段图像同步超分与融合网络模型，应用该生成器输入多波段低分辨率源图像，其输出结果就是最终的高分辨率融合结果图像。
上述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，生成器和判别器轮流循环训练，即先训练一次生成器，再训练一次判别器，然后依次循环，直到两者达到动态平衡。
上述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，λadv＝10、λcon＝1、λper＝0.0001、λssim＝10和λgp＝10时能够平衡各个损失函数，网络训练效果达到较好效果。
上述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，网络训练时batch大小取值在16-36之间，其值大小决定误差收敛的稳定性，但是过大会占用较多内存，过小又耗费时间；学习率选用0.0002，学习率大小决定网络收敛速度快慢，过大导致网络震荡，过小又耗费更多时间，影响网络效率，因此选取0.002-0.00002之间，训练过程持续100轮。

Claims (7)

1.基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，其特征在于包括以下步骤：
设计并构建生成对抗网络：生成对抗网络分为生成器和判别器两个模型；生成器包括特征提取模块、特征融合模块和图像超分辨率模块，其中特征提取模块用来提取各波段源图像的特征，特征融合模块将提取的各波段源图像的特征进行组合得到初步融合图像，最后利用图像超分辨率模块放大低分辨率初步融合图像得到高分辨率融合图像；
将重构的高分辨率融合图像和多波段低分辨率源图像对应的标签图像送入判别器进行分类识别，迭代优化生成器和判别器，经过生成器和判别器的动态博弈，使得生成器输出的融合图像和标签图像不断趋于相似，在生成器和判别器达到动态平衡时得到的生成器模型即为最终的多波段图像同步超分与融合网络模型，应用该生成器模型融合多波段低分辨率源图像。
2.根据权利要求1所述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，其特征在于特征提取模块由5个连续的卷积层构成，每个卷积层后跟随ReLU，为保留更多源图像特征，卷积层之间建立密集连接网络，使得每两个卷积层之间均建立连接；此模块每个卷积层使用3×3卷积核，步长为1，填充为0，卷积滤波器的数量均为32；特征融合模块首先将特征提取模块得到的各波段特征图在通道维度上连接，然后通过4个卷积层每个卷积层后跟随ReLU，卷积滤波器的数量分别为96、64、32和16，每个卷积层使用3×3卷积核，步长为1，填充为0；图像超分辨率模块由一个亚像素卷积层构成，其中scale值设置为4，输出通道数设置为1。
3.根据权利要求2所述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，其特征在于生成器损失函数包含四个部分：对抗损失Ladv、内容损失Lcon、感知损失Lper和SSIM损失Lssim；其中对抗损失
Figure FDA0003049083850000011
式中G表示生成器，D表示判别器，E表示期望，x表示生成器样本输入，ILR表示输入生成器的低分辨率源图像；内容损失
Figure FDA0003049083850000012
其中，||·||表示F范数，y表示真实样本输入，IHRF表示标签图像，Light(·)表示局部亮度，此方法使用窗口对高分辨率融合图像和标签图像分别进行遍历，逐窗口增强图像亮度，
Figure FDA0003049083850000021
表示梯度，λ表示权重系数；感知损失
Figure FDA0003049083850000022
其中，
Figure FDA0003049083850000023
表示特征提取器；SSIM损失
Figure FDA0003049083850000024
其中，SSIM(·)代表结构相似性运算，可以表示两幅图像之间的结构相似性；综上所述，最终的复合损失函数为：
Figure FDA0003049083850000025
其中，θG表示生成器的训练参数，λadv、λcon、λper和λssim分别表示Ladv、Lcon、Lper和Lssim的权重；
判别器损失函数为：
Figure FDA0003049083850000026
其中，
Figure FDA0003049083850000027
为从标签数据分布y和生成器输入数据分布x采样的成对点之间的直线上的随机采样，即
Figure FDA0003049083850000028
其中α∈[0,1]，θD为判别器的训练参数，λ3为梯度惩罚项的权重。
4.根据权利要求3所述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，其特征在于λadv＝10、λcon＝1、λper＝0.0001、λssim＝10和λgp＝10时能够平衡各个损失函数，网络训练效果达到较好效果。
5.根据权利要求1或2或3或4所述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，其特征在于生成器和判别器轮流循环训练，即先训练一次生成器，再训练一次判别器，然后依次循环，直到两者达到动态平衡。
6.根据权利要求1或2或3或4所述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，其特征在于网络训练时batch大小取值在16-36之间，其值大小决定误差收敛的稳定性，但是过大会占用较多内存，过小又耗费时间；学习率选用0.0002，学习率大小决定网络收敛速度快慢，过大导致网络震荡，过小又耗费更多时间，影响网络效率，因此选取0.002-0.00002之间。
7.根据权利要求1或2或3或4所述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，其特征在于生成对抗网络的训练集多波段图像包含可见光图像、近红外图像和远红外图像三个波段。
CN202110480624.8A 2021-04-30 2021-04-30 基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法 Active CN113112441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110480624.8A CN113112441B (zh) 2021-04-30 2021-04-30 基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110480624.8A CN113112441B (zh) 2021-04-30 2021-04-30 基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法

Publications (2)

Publication Number Publication Date
CN113112441A true CN113112441A (zh) 2021-07-13
CN113112441B CN113112441B (zh) 2022-04-26

Family

ID=76720594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110480624.8A Active CN113112441B (zh) 2021-04-30 2021-04-30 基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法

Country Status (1)

Country Link
CN (1) CN113112441B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344793A (zh) * 2021-08-04 2021-09-03 深圳市安软科技股份有限公司 图像超分辨率重建方法、装置、设备及存储介质
CN113706406A (zh) * 2021-08-11 2021-11-26 武汉大学 基于特征空间多分类对抗机制的红外可见光图像融合方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9117134B1 (en) * 2013-03-19 2015-08-25 Google Inc. Image merging with blending
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法
CN109801221A (zh) * 2019-01-18 2019-05-24 腾讯科技（深圳）有限公司 生成对抗网络的训练方法、图像处理方法、装置和存储介质
CN109829930A (zh) * 2019-01-15 2019-05-31 深圳市云之梦科技有限公司 人脸图像处理方法、装置、计算机设备及可读存储介质
US20190180719A1 (en) * 2012-12-05 2019-06-13 Texas Instruments Incorporated Merging multiple exposures to generate a high dynamic range image
CN109886870A (zh) * 2018-12-29 2019-06-14 西北大学 基于双通道神经网络的遥感图像融合方法
US20190342485A1 (en) * 2018-05-01 2019-11-07 Hanwha Techwin Co., Ltd. Apparatus and method for processing images
CN110555458A (zh) * 2019-07-24 2019-12-10 中北大学 基于注意力机制生成对抗网络的多波段图像特征级融合方法
CN111598968A (zh) * 2020-06-28 2020-08-28 腾讯科技（深圳）有限公司 一种图像处理方法、装置、存储介质和电子设备
CN111698511A (zh) * 2020-06-07 2020-09-22 咪咕文化科技有限公司 图像滤波方法、装置、设备及可读存储介质
CN111696066A (zh) * 2020-06-13 2020-09-22 中北大学 基于改进wgan-gp的多波段图像同步融合与增强方法
CN111915545A (zh) * 2020-08-06 2020-11-10 中北大学 一种多波段图像的自监督学习融合方法
CN111915526A (zh) * 2020-08-05 2020-11-10 湖北工业大学 一种基于亮度注意力机制低照度图像增强算法的摄影方法
CN112435197A (zh) * 2020-12-02 2021-03-02 携程计算机技术（上海）有限公司 图像美化方法、装置、电子设备和存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210012755A1 (en) * 2012-12-05 2021-01-14 Texas Instruments Incorporated Merging multiple exposures to generate a high dynamic range image
US20190180719A1 (en) * 2012-12-05 2019-06-13 Texas Instruments Incorporated Merging multiple exposures to generate a high dynamic range image
US9117134B1 (en) * 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US20190342485A1 (en) * 2018-05-01 2019-11-07 Hanwha Techwin Co., Ltd. Apparatus and method for processing images
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法
CN109886870A (zh) * 2018-12-29 2019-06-14 西北大学 基于双通道神经网络的遥感图像融合方法
CN109829930A (zh) * 2019-01-15 2019-05-31 深圳市云之梦科技有限公司 人脸图像处理方法、装置、计算机设备及可读存储介质
CN109801221A (zh) * 2019-01-18 2019-05-24 腾讯科技（深圳）有限公司 生成对抗网络的训练方法、图像处理方法、装置和存储介质
CN110555458A (zh) * 2019-07-24 2019-12-10 中北大学 基于注意力机制生成对抗网络的多波段图像特征级融合方法
CN111698511A (zh) * 2020-06-07 2020-09-22 咪咕文化科技有限公司 图像滤波方法、装置、设备及可读存储介质
CN111696066A (zh) * 2020-06-13 2020-09-22 中北大学 基于改进wgan-gp的多波段图像同步融合与增强方法
CN111598968A (zh) * 2020-06-28 2020-08-28 腾讯科技（深圳）有限公司 一种图像处理方法、装置、存储介质和电子设备
CN111915526A (zh) * 2020-08-05 2020-11-10 湖北工业大学 一种基于亮度注意力机制低照度图像增强算法的摄影方法
CN111915545A (zh) * 2020-08-06 2020-11-10 中北大学 一种多波段图像的自监督学习融合方法
CN112435197A (zh) * 2020-12-02 2021-03-02 携程计算机技术（上海）有限公司 图像美化方法、装置、电子设备和存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
江泽涛等: "一种基于MR-VAE的低照度图像增强方法", 《计算机学报》 *
王娟等: "神经网络框架下的红外与可见光图像融合算法综述", 《激光杂志》 *
田嵩旺 等: ""基于多判别器的多波段图像自监督融合方法"", 《计算机科学》 *
田嵩旺 等: ""基于改进ＷＧＡＮ－ＧＰ的多波段图像"", 《光学学报》 *
黎新亮等: "遥感图像融合定量评价方法及实验研究", 《遥感技术与应用》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344793A (zh) * 2021-08-04 2021-09-03 深圳市安软科技股份有限公司 图像超分辨率重建方法、装置、设备及存储介质
CN113706406A (zh) * 2021-08-11 2021-11-26 武汉大学 基于特征空间多分类对抗机制的红外可见光图像融合方法
CN113706406B (zh) * 2021-08-11 2023-08-04 武汉大学 基于特征空间多分类对抗机制的红外可见光图像融合方法

Also Published As

Publication number Publication date
CN113112441B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN112634137B (zh) 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法
CN108537742B (zh) 一种基于生成对抗网络的遥感图像全色锐化方法
CN111696066B (zh) 基于改进wgan-gp的多波段图像同步融合与增强方法
CN108648197B (zh) 一种基于图像背景掩膜的目标候选区域提取方法
CN110197468A (zh) 一种基于多尺度残差学习网络的单图像超分辨重建算法
CN109472270A (zh) 图像风格转换方法、装置及设备
CN113112441B (zh) 基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法
CN110232653A (zh) 快速轻型超分辨率重建密集残差网络
CN111915545B (zh) 一种多波段图像的自监督学习融合方法
CN109819321A (zh) 一种视频超分辨率增强方法
CN112967178B (zh) 一种图像转换方法、装置、设备及存储介质
CN110136062A (zh) 一种联合语义分割的超分辨率重建方法
CN113283444B (zh) 一种基于生成对抗网络的异源图像迁移方法
CN110363068B (zh) 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
CN110276389A (zh) 一种基于边缘修正的矿井移动巡检图像重建方法
CN112785502B (zh) 一种基于纹理迁移的混合相机的光场图像超分辨率方法
CN110163803A (zh) 一种基于卷积神经网络的图像超分辨率重建方法及系统
CN115330620A (zh) 一种基于循环生成对抗网络的图像去雾方法
CN116935043A (zh) 一种基于多任务生成对抗网络的典型地物遥感图像生成方法
Zhu et al. Super resolution reconstruction method for infrared images based on pseudo transferred features
CN114119356A (zh) 基于CycleGAN的热红外图像转类可见光彩色图像方法
Zheng et al. Overwater image dehazing via cycle-consistent generative adversarial network
CN113379606A (zh) 一种基于预训练生成模型的人脸超分辨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant