CN111583113A - 一种基于生成对抗网络的红外图像超分辨率重建方法 - Google Patents

一种基于生成对抗网络的红外图像超分辨率重建方法 Download PDF

Info

Publication number
CN111583113A
CN111583113A CN202010360557.1A CN202010360557A CN111583113A CN 111583113 A CN111583113 A CN 111583113A CN 202010360557 A CN202010360557 A CN 202010360557A CN 111583113 A CN111583113 A CN 111583113A
Authority
CN
China
Prior art keywords
network
image
resolution
resolution image
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010360557.1A
Other languages
English (en)
Inventor
贾海涛
周兰兰
贾宇明
许文波
罗欣
王磊
赵行伟
范世炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010360557.1A priority Critical patent/CN111583113A/zh
Publication of CN111583113A publication Critical patent/CN111583113A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种基于生成对抗网络的红外图像超分辨率重建方法，属于计算机视觉领域。该方法对已有的算法SRGAN的生成网络及损失函数两个方面进行改进：在生成网络结构的改进中，生成网络结合传统双三次插值的方法；在损失函数的改进中，为了在有好的视觉效果的同时获得高的客观评价指标(峰值信噪比和结构相似度)，在生成网络的损失函数中加入逐像素均方误差损失。改进后的算法与原始SRGAN算法相比，重建后的图像的低频区域更加平滑，减少伪影，高频细节更加清晰，并且客观评价指标峰值信噪比PSNR和结构相似度SSIM都有提高。

Description

一种基于生成对抗网络的红外图像超分辨率重建方法
技术领域
本发明属于计算机视觉领域，具体涉及能够获得清晰的高频细节的基于生成对抗网络的红外图像超分辨率重建技术。
背景技术
红外成像指的是一种使用探测器来接收目标物体反射的红外线并且通过光电转换来得到红外图像的一种技术。红外成像技术在民用、军事等领域都有诸多应用。红外成像技术具有穿透雾霾烟尘能力强，探测距离远，受外部光线影响小，对物体热辐射敏感等优点。凭借这些优点红外成像技术既可以在质量检测和安全检测等领域得到广泛应用，又可以在烟雾遮挡或者光照条件差的环境中辅助可见光成像，全天时地工作。红外图像的分辨率主要由红外成像系统中的核心器件红外探测器来决定。红外探测器的成像分辨率远远低于可见光探测器，这也导致了红外成像存在空间分辨率低、信噪比低、对比度弱等缺点。这些缺点制约着红外成像技术的发展，使其无法应用到对图像质量要求高的领域。
红外图像超分辨率重建技术是指：通过计算机软件与图像处理算法相配合的方式，实现将现有的低质量及低分辨率红外图像(或运动序列)转换为高质量及高分辨率红外图像(或运动序列)的技术。目前超分辨率技术在军事、医疗和公共安全等领域中都拥有者广泛的应用，例如：卫星成像、医学图像处理、视频监控与刑侦分析等。
近年来，随着人工智能的大力发展，使得针对深度神经网络的研究产生了飞跃式的进展。深度学习技术与许多学科领域的结合都取得了引人注目的成果。在计算机视觉与图像处理领域，将深度学习技术应用于红外图像超分辨率重建问题已成为当下及未来的一个主要的研究方向。
这类算法不需要使用插值处理操作或通过多幅图像之间的映射关系以获取高分辨率图像，其凭借着优越的重建效果与理想的重建速率，迅速成为图像超分辨率重建领域研究的热点——通过卷积神经网络将更多关键的图像像素信息作为网络模型的输入，利用更加丰富的先验知识作为条件约束，最终实现效果更加出色的超分辨率重建。因此，研究基于深度学习的图像超分辨率重建算法有着重要且深远的现实意义与应用价值。
目前为止，虽然基于卷积神经网络的超分辨率重建方法在效果上与传统方法相比有了大幅度的提升，但是鉴于模型对于超参数的变化较为敏感，以及在训练期间网络不稳定导致训练困难等问题的存在，给超分辨率重建任务的顺利完成带来了一定的难度。因此，有学者们试图寻找更加合适的模型以解决这些问题。作为当下深度学习技术与图像超分辨率重建算法相结合的生成模型中，获得图像视觉效果最为显著的基于生成对抗网络的超分辨率模型，以感知损失函数作为优化目标，获得了具有真实自然视觉效果的高分辨率图像。但是，受限于图像超分辨率重建问题自身的病态性以及生成模型结构设计上的不足与缺陷等原因，使得如何将生成图像的细节特征更加真实而清晰的呈现出来成为目前基于生成对抗网络的超分辨率重建技术尚待改进的重要环节。
2017年Twitter公司的Ledig等人在CVPR上发表的论文首次将生成对抗网络应用于超分辨率重建问题中。论文名为SRGAN：Photo-Realistic Single Image Super-Resolution Using a GenerativeAdversarial即基于生成对抗网络的图像超分辨率重建模型。SRGAN由生成网络、判别网络和损失函数三部分组成。生成网络用来生成高分辨率图像，判别网络则负责判断输入的图像是原始的高分辨率图像还是由生成网络生成的高分辨率图像。同时对两个网络进行训练，两个网络之间属于对抗关系，生成网络要尽可能地生成可以骗过判别网络的重建图像，判别网络则要努力判别出由生成网络重建出的“假图像”，最终达到生成网络可以重建出判别网络无法区分的重建高分辨率图像的目的。
生成对抗网络训练的最终目标是得到生成网络中的生成函数G，该函数的功能是估计输入低分辨率图像与高分辨率图像之间的对应关系。假设输入的低分辨率图像为ILR，生成的高分辨率图像为ISR，原始的高分辨率图像为IHR，其中LR表示低分辨率、SR表示超分辨率、HR表示高分辨率。利用生成网络的参数集θG来训练前馈卷积神经网络Gθ，其中θG＝{W1:d；b1:d}表示深度为d的卷积神经网络中利用损失函数lSR优化所获取的权重W和偏置b，给定大小为N的训练数据集
Figure BDA0002474849660000021
以及与之对应的
Figure BDA0002474849660000022
那么网络训练中主要优化的目标是:
Figure BDA0002474849660000031
基于生成对抗网络理论基础，还将训练一个判别网络的输出结果
Figure BDA0002474849660000032
和生成网络的输出结果
Figure BDA0002474849660000033
同时以交替的方式优化，从而解决对抗的最小-最大问题：
Figure BDA0002474849660000034
其中
Figure BDA0002474849660000035
代表判别网络的输出结果，即输入的高分辨率图像是原始高分辨率图像的概率，
Figure BDA0002474849660000036
代表生成网络的输出结果，也就是重建的高分辨率图像，LGAN表示博弈过程，Ptrain(ILR)表示训练样本分布，PG(ILR)表示生成样本的分布，θG表示生成网络的参数集，θD表示判别网络的参数集，E表示平均期望。公式的主要思想是训练生成网络生成图像去欺骗判别网络，然后训练判别网络来区分生成高分辨率图像和原始高分辨率图像，这种训练方式可以促进生成网络学习重建与原始图像高度相似的图像，使得判别网络难以区分，最终生成在感知方面更有优势的图像。训练生成网络的最终目的是使公式的值最小，而判别网络的最终目标则是使公式的值最大，因此整个训练过程就是生成网络和判别网络的博奕过程。
SRGAN算法的主要特点是利用残差网络使网络性能得到了提升，解决了梯度消失问题，并且使用感知损失函数使得重建得到的高分辨率图像具有更真实的视觉效果。但是它的缺点是低频区域会存在伪影即不存在的纹理，高频区域放大后细节模糊，生成图像的客观评价指标峰值信噪比PSNR和结构相似度SSIM太低，与主观视觉印象不吻合。
发明内容
本发明的目的是提出一种基于生成对抗网络的红外图像超分辨率重建方法，该方法对已有的算法SRGAN进行改进，分别从SRGAN的生成网络及损失函数两个方面进行改进：在生成网络结构的改进中，生成网络结合传统双三次插值的方法；在损失函数的改进中，为了在有好的视觉效果的同时获得高的客观评价指标(峰值信噪比和结构相似度)，在生成网络的损失函数中加入逐像素均方误差损失。改进后的算法与原始SRGAN算法相比，重建后的图像的低频区域更加平滑，减少伪影，高频细节更加清晰，并且客观评价指标峰值信噪比PSNR和结构相似度SSIM都有提高；
本发明采用的技术方案如下：
S1、选择一个训练集，将低分辨率图像输入生成网络，输出生成的高分辨率图像。
S1.1、将低分辨率图像输入到一个卷积层中，输出线性特征图。
S1.2、将线性特征图输入修正线性单元即激活层，得到非线性的特征图。
S1.3、将非线性特征图经过6个具有相同结构的残差网络模块，得到高频细节特征图。每个残差网络模块的构成分别是卷积层，用于提取输入特征的特征图；然后是批处理归一化层，它能够防止梯度消失；接着是修正线性单元即ReLU激活函数层，增加网络的非线性，防止梯度消失；然后再是卷积层、批处理归一化层；最后使用跳跃连接将低维度的图像特征与高维度的图像特征逐像素相加。
S1.4、将得到的高频细节特征图依次输入两个反卷积层，提高输出图像的分辨率，得到放大的特征图。每个反卷积层能够将图像放大2倍，使用两个反卷积层将图像放大4倍。
S1.5、将放大的特征图输入到最后一个卷积层，将通道数降到RGB通道，输出RGB图像。
S1.6、将RGB图像与低分辨率图像通过双三次插值算法重建后的高分辨率图像逐像素相加，输出生成的高分辨率图像。
S2、将生成的高分辨率图像与原始高分辨率图像一起输入到判别网络中，判别网络输出0或1表示能否判别出图像为生成的高分辨率图像，其中1表示将图像判别为原始高分辨率图像，即判别不出图像为生成的高分辨率图像，直到全部图像都判别为原始高分辨率图像，训练结束，得到训练好的生成网络；0表示将图像判别为生成的高分辨率图像，即能够判别出图像为生成的高分辨率图像，进行步骤S3。
S3、更新生成网络的参数，使损失函数最小化，返回步骤S1，使用更新后的生成网络替换S1中的生成网络。
所述损失函数计算表达式如下：
lG(θG)＝lMSE(θG)+αlP(θG)+βlA(θG)
Figure BDA0002474849660000051
Figure BDA0002474849660000052
Figure BDA0002474849660000053
其中，α、β为权重系数，lMSE(θG)为逐像素的均方误差损失，其中θG表示生成网络的参数集，N为训练样本的数量，i＝1,2,3,...N，
Figure BDA0002474849660000054
表示生成网络生成的高分辨率图像，其中
Figure BDA0002474849660000055
为输入生成网络的低分辨率图像，
Figure BDA0002474849660000056
为对应的原始高分辨率图像，LR表示低分辨率图像，HR表示高分辨率图像，lP(θG)为感知损失，
Figure BDA0002474849660000057
表示原始高分辨率图像经过VGG网络第j个卷积层的激活值，
Figure BDA0002474849660000058
表示生成网络生成的高分辨率图像
Figure BDA0002474849660000059
经过VGG网络第j个卷积层的激活值，lA(θG)为对抗损失，
Figure BDA00024748496600000510
表示判别网络输出的概率值，该概率值表示输入的高分辨率图像是原始高分辨率图像的概率。
逐像素的均方误差损失用于保留图像的低频部分，感知损失和对抗损失用于恢复图像的高频信息。从上式中可以看出，逐像素均方误差损失计算的是生成高分辨率图像与原始高分辨率图像对应像素的欧几里得距离，对数值差异较大的异常像素点更加敏感，难以捕捉图像感知上的区别，因此将逐像素均方误差作为目标函数的网络模型生成的图像趋于平滑。像素是数字图像的最小单位，减小像素间的差距能够更加快速、有效地保证图像信息的准确性，所以逐像素均方误差损失虽然会丢失图像的高频信息，但能够很好地恢复图像的低频内容。
S4、将待重建的低分辨率图像输入训练好的生成网络中，得到输出的高分别率图像。
本发明采用双三次插值法的核心思想是要对待插值像素点周围4×4邻域内的16个已知像素点的像素值进行线性加权，获得最终待插值像素点的像素值。双三次插值法既解决了边缘锯齿和马赛克现象，又保留了图像的高频信息。基于插值的图像超分辨率重建算法相对于其他算法核心思想和计算过程都比较简单，经常用它将图像放大到所需尺寸。因此本发明将基于传统双三次插值的方法与SRGAN的生成网络的残差模块相结合。首先通过双三次插值算法得到重建后图像的基本轮廓；然后采用SRGAN算法的生成网络的残差网络思想学习图像的细节特征，能够补偿图像的高频细节纹理信息；最后将基本轮廓和高频细节信息相结合得到高质量的高分辨率图像。
SRGAN算法结合对抗损失与感知损失，令重建图像具有更加逼真的视觉效果，但重建图像的平滑区域会受到锐化纹理的影响，且重建图像的峰值信噪比PSNR和结构相似度SSIM比其他方法低，客观评价指标不好。本发明联合优化均方误差损失、感知损失和对抗损失函数，其中新加入的逐像素均方误差损失是为了提高客观评价指标，SRGAN原有的感知损失和对抗损失函数是为了提高高频细节，有更真实的效果。重建图像在低频内容保留、高频边缘锐化以及局部纹理恢复等方面均具有较均衡的良好性能和表现。
附图说明
图1为算法设计流程图。
图2为输入的待重建的低分辨率红外图像。
图3为输出的重建后的高分辨率红外图像。
具体实施方式
S1、选择一个BSD300训练数据集，将低分辨率图像输入生成网络，输出生成的高分辨率图像。
S1.1、输入低分辨率图像到一个卷积层中，输出线性特征图。
S1.2、将线性特征图输入修正线性单元即激活层，得到非线性的特征图。
S1.3、将非线性特征图经过6个具有相同结构的残差网络模块。每个残差网络模块的构成分别是卷积层，用于提取输入特征的特征图；然后是批处理归一化层，它能够防止梯度消失；接着是修正线性单元即ReLU激活函数层，增加网络的非线性，防止梯度消失；然后再是卷积层、批处理归一化层；最后使用跳跃连接将低维度的图像特征与高维度的图像特征逐像素相加。
S1.4、将经过6个残差网络模块得到的特征图输入反卷积层，提高输出图像的分辨率，每个反卷积层能够将图像放大2倍，使用两个反卷积层将图像放大4倍。
S1.5、将放大的特征图输入到最后一个卷积层，将通道数降到RGB通道，输出RGB图像。
S1.6、将RGB图像与低分辨率图像通过双三次插值算法重建后的高分辨率图像逐像素相加，输出生成的高分辨率图像。
S2、将生成的高分辨率图像与原始高分辨率图像一起输入到判别网络中，判别网络输出0或1表示能否判别出图像为生成的高分辨率图像，其中1表示将图像判别为原始高分辨率图像，即判别不出图像为生成的高分辨率图像，直到全部图像都判别为原始高分辨率图像，训练结束；0表示将图像判别为生成的高分辨率图像，即能够判别出图像为生成的高分辨率图像，此时，进行下一步。
S3、更新生成网络的参数，使损失函数最小化，使用更新后的生成网络替换S1中的生成网络。
所述损失函数计算表达式如下：
lG(θG)＝lMSE(θG)+αlP(θG)+βlA(θG)
Figure BDA0002474849660000071
Figure BDA0002474849660000072
Figure BDA0002474849660000073
其中，lMSE(θG)为逐像素的均方误差损失，lP(θG)为感知损失，α、β为权重系数，其中α为10-6，β为10-3，lA(θG)为对抗损失。
S4、将如图2所示的待重建的低分辨率图像输入训练好的生成网络中，得到如图3所示的高分辨率图像。
本发明提出了一种基于生成对抗网络的红外图像超分辨率重建方法，对原始SRGAN算法进行两方面的改进：在SRGAN算法的生成网络中结合双三次插值算法来提高重建后图像的高频细节信息并且使低频区域更加平滑；在SRGAN算法的损失函数中加入逐像素均方误差损失来提高重建后图像的客观评价标准即峰值信噪比PSNR和结构相似度SSIM。

Claims (2)

1.一种基于生成对抗网络的红外图像超分辨率重建方法，其特征在于，该方法包括以下步骤：
S1、选择一个训练集，将低分辨率图像输入生成网络，输出生成的高分辨率图像；
S2、将生成的高分辨率图像与原始高分辨率图像一起输入到判别网络中，判别网络输出判别结果，若将图像全都判别为原始高分辨率图像，则训练结束，得到训练好的生成网络；若有图像被判别为生成的高分辨率图像，则进行步骤S3；
S3、更新生成网络的参数，使损失函数最小化，返回步骤S1，使用更新后的生成网络替换S1中的生成网络；
所述损失函数计算表达式如下：
lG(θG)＝lMSE(θG)+αlP(θG)+βlA(θG)
Figure FDA0002474849650000011
Figure FDA0002474849650000012
Figure FDA0002474849650000013
其中，α、β为权重系数，lMSE(θG)为逐像素的均方误差损失，其中θG表示生成网络的参数集，N为训练样本的数量，i＝1,2,3,...N，
Figure FDA0002474849650000014
表示生成网络生成的高分辨率图像，其中
Figure FDA0002474849650000015
为输入生成网络的低分辨率图像，
Figure FDA0002474849650000016
为对应的原始高分辨率图像，LR表示低分辨率图像，HR表示高分辨率图像，lP(θG)为感知损失，
Figure FDA0002474849650000017
表示原始高分辨率图像经过VGG网络第j个卷积层的激活值，
Figure FDA0002474849650000018
表示生成网络生成的高分辨率图像
Figure FDA0002474849650000019
经过VGG网络第j个卷积层的激活值，lA(θG)为对抗损失，
Figure FDA00024748496500000110
表示判别网络输出的概率值，该概率值表示输入的高分辨率图像是原始高分辨率图像的概率。
2.如权利要求1所述的一种基于生成对抗网络的红外图像超分辨率重建方法，其特征在于，所述步骤S1包括以下步骤：
S1.1、将低分辨率图像输入到一个卷积层中，输出线性特征图；
S1.2、将线性特征图输入修正线性单元即激活层，得到非线性的特征图；
S1.3、将非线性特征图经过6个具有相同结构的残差网络模块，得到高频细节特征图；
S1.4、将得到的高频细节特征图依次输入两个反卷积层，提高输出图像的分辨率，得到放大的特征图；每个反卷积层将图像放大2倍，使用两个反卷积层将图像放大4倍；
S1.5、将放大的特征图输入到最后一个卷积层，将通道数降到RGB通道，输出RGB图像；
S1.6、将RGB图像与低分辨率图像通过双三次插值算法重建后的高分辨率图像逐像素相加，输出生成的高分辨率图像。
CN202010360557.1A 2020-04-30 2020-04-30 一种基于生成对抗网络的红外图像超分辨率重建方法 Pending CN111583113A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010360557.1A CN111583113A (zh) 2020-04-30 2020-04-30 一种基于生成对抗网络的红外图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010360557.1A CN111583113A (zh) 2020-04-30 2020-04-30 一种基于生成对抗网络的红外图像超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN111583113A true CN111583113A (zh) 2020-08-25

Family

ID=72117004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010360557.1A Pending CN111583113A (zh) 2020-04-30 2020-04-30 一种基于生成对抗网络的红外图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN111583113A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037131A (zh) * 2020-08-31 2020-12-04 上海电力大学 一种基于生成对抗网络的单图像超分辨率重建方法
CN112365559A (zh) * 2020-11-19 2021-02-12 华侨大学 一种基于结构相似度的生成对抗网络的红外图像着色方法
CN113449656A (zh) * 2021-07-01 2021-09-28 淮阴工学院 一种基于改进的卷积神经网络的驾驶员状态识别方法
CN113538229A (zh) * 2021-05-28 2021-10-22 华南师范大学 基于特征循环融合的多帧红外图像超分辨率方法和系统
CN113724139A (zh) * 2021-11-02 2021-11-30 南京理工大学 基于二重判别器生成对抗网络的无监督的红外单图超分

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN109903223A (zh) * 2019-01-14 2019-06-18 北京工商大学 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法
NL2022758B1 (en) * 2018-07-27 2020-01-31 Univ Xuzhou Technology Image Super-resolution Reconstruction Method Based on Multi-scale Generative Adversarial Network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
NL2022758B1 (en) * 2018-07-27 2020-01-31 Univ Xuzhou Technology Image Super-resolution Reconstruction Method Based on Multi-scale Generative Adversarial Network
CN109903223A (zh) * 2019-01-14 2019-06-18 北京工商大学 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN LEDIG等: ""Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network"", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION 2017》 *
DENGWEN ZHOU等: ""Single image super-resolution reconstruction based on multi-scale feature mapping adversarial network"", 《SIGNAL PROCESSING》 *
许宁宁等: "基于多损失融合与谱归一化的图像超分辨率方法", 《计算机应用研究》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037131A (zh) * 2020-08-31 2020-12-04 上海电力大学 一种基于生成对抗网络的单图像超分辨率重建方法
CN112365559A (zh) * 2020-11-19 2021-02-12 华侨大学 一种基于结构相似度的生成对抗网络的红外图像着色方法
CN112365559B (zh) * 2020-11-19 2022-08-26 华侨大学 一种基于结构相似度的生成对抗网络的红外图像着色方法
CN113538229A (zh) * 2021-05-28 2021-10-22 华南师范大学 基于特征循环融合的多帧红外图像超分辨率方法和系统
CN113538229B (zh) * 2021-05-28 2023-12-12 华南师范大学 基于特征循环融合的多帧红外图像超分辨率方法和系统
CN113449656A (zh) * 2021-07-01 2021-09-28 淮阴工学院 一种基于改进的卷积神经网络的驾驶员状态识别方法
CN113724139A (zh) * 2021-11-02 2021-11-30 南京理工大学 基于二重判别器生成对抗网络的无监督的红外单图超分
CN113724139B (zh) * 2021-11-02 2022-03-15 南京理工大学 基于二重判别器生成对抗网络的无监督红外单图超分方法

Similar Documents

Publication Publication Date Title
CN110570353B (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
CN111583113A (zh) 一种基于生成对抗网络的红外图像超分辨率重建方法
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN109447930B (zh) 小波域光场全聚焦图像生成算法
CN110189286B (zh) 一种基于ResNet的红外与可见光图像融合方法
Li et al. Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN
CN116630209A (zh) 基于交叉混合注意力的sar与可见光图像融合方法
CN112163998A (zh) 一种匹配自然降质条件的单图像超分辨率分析方法
CN116029902A (zh) 一种基于知识蒸馏的无监督真实世界图像超分辨方法
Gong et al. Learning deep resonant prior for hyperspectral image super-resolution
Shen et al. Deeper super-resolution generative adversarial network with gradient penalty for sonar image enhancement
Wu et al. A novel perceptual loss function for single image super-resolution
Chen et al. Guided dual networks for single image super-resolution
CN112184552A (zh) 一种基于高频特征学习的子像素卷积图像超分辨方法
CN112435165A (zh) 基于生成对抗网络的两阶段视频超分辨率重建方法
Yibin et al. Terahertz image super-resolution reconstruction of passive safety inspection based on generative adversarial network
CN111986079A (zh) 基于生成对抗网络路面裂缝图像超分辨率重建方法及装置
Li et al. An improved method for underwater image super-resolution and enhancement
CN113724139B (zh) 基于二重判别器生成对抗网络的无监督红外单图超分方法
CN116189160A (zh) 一种基于局部对比度机制的红外弱小目标检测方法
CN117315735A (zh) 基于先验信息与注意力机制的人脸超分辨率重建方法
CN109615584A (zh) 一种基于单应性约束的sar图像序列map超分辨率重建方法
CN114463192A (zh) 一种基于深度学习的红外视频畸变校正的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200825