CN114913069A - 一种基于深度神经网络的红外图像超分辨率重建方法 - Google Patents

一种基于深度神经网络的红外图像超分辨率重建方法 Download PDF

Info

Publication number
CN114913069A
CN114913069A CN202210446873.XA CN202210446873A CN114913069A CN 114913069 A CN114913069 A CN 114913069A CN 202210446873 A CN202210446873 A CN 202210446873A CN 114913069 A CN114913069 A CN 114913069A
Authority
CN
China
Prior art keywords
resolution
infrared image
module
super
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210446873.XA
Other languages
English (en)
Other versions
CN114913069B (zh
Inventor
胡越黎
张海坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202210446873.XA priority Critical patent/CN114913069B/zh
Publication of CN114913069A publication Critical patent/CN114913069A/zh
Application granted granted Critical
Publication of CN114913069B publication Critical patent/CN114913069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度神经网络的红外图像超分辨率重建方法，涉及红外图像处理技术领域，具体包括：使用已有的高分辨率红外图像数据集，利用双三次插值算法分别生成两倍、三倍和四倍尺度下采样的低分辨率红外图像ILR作为训练集。然后，对训练数据集依照设定的概率随机选择以下一种方法进行数据增强：Cutout、CutMix、Mixup、CutMixup、RGB permute、Blend和CutBlur。随后，数据增强后的低分辨率红外图像分别经过低频特征抽取模块LFE、高频特征抽取模块HFE和特征重构模块FR处理。最后，计算生成的超分辨率红外图像ISR与真实高分辨率红外图像IHR的L1损失，利用反向传播算法更新网络权重，重复以上步骤直至达到最大迭代次数完成训练。本发明所述方法为红外图像超分辨率重建提供新方向。

Description

一种基于深度神经网络的红外图像超分辨率重建方法
技术领域
本发明涉及计算机视觉和红外图像处理技术领域，具体涉及一种基于深度神经网络的红外图像超分辨率重建方法，用于提升低分辨率红外图像分辨率的同时尽可能保留边缘和纹理等高频信息。
背景技术
日常生活中所使用的光学相机在电磁光谱的可见光范围内感知被观察场景的反射光，尽管其可以灵活地从光学传感器获取高分辨率图像，但在夜间及有烟雾、薄雾、灰尘等恶劣自然环境下部署光学传感器会导致成像性能急剧下降。在以上环境中，可以使用热成像相机来探测物体在长波红外(Long Wavelength Infrared，LWIR)光谱范围内发出的热辐射。该无源传感器根据绝对零度以上的温度来测量红外波长，并在军事、农业、海事监视、医疗、工业、城市发展等方面具有广泛应用。然而，由于LWIR范围跨度较低，与可见光传感器相比，热传感器的空间分辨率较低，因此，最精密的商用热成像设备也无法与光学相机所提供的百万像素相匹配。
在这种情况下，相较于直接设计复杂度较高、功耗及发热量较大的红外图像采集硬件设备，另一种解决方案是使用以软件驱动的算法来提高热传感器捕获场景的空间分辨率，计算机视觉领域中通常称该技术为“超分辨率”。因此，研究红外图像超分辨重建方法对于实际生产和生活具有一定的经济效益及明确的现实意义。
发明内容
本发明的目的在于针对现有技术的不足，提出一种新的基于深度神经网络的红外图像超分辨率重建方法，在提升红外图像分辨率的同时进一步保留边缘、纹理等高频细节，为后续识别和追踪等高级计算机视觉任务提供基础。
为达到上述目的，本发明的构思是：首先使用已有的分辨率为640×480的高分辨率(High-Resolution，HR)红外图像IHR通过双三次(Bicubic)插值算法分别得到对应下采样因子s＝2、s＝3和s＝4的低分辨率(Low-Resolution，LR)红外图像
Figure BDA0003617265860000011
作为训练数据集，然后，对于不同尺度的红外图像超分辨率网络，将输入网络的训练集
Figure BDA0003617265860000012
依照预设的概率随机选择以下一种数据增强方法进行图像增强：Cutout、CutMix、Mixup、CutMixup、RGBPermute、Blend和CutBlur。随后，数据增强后的红外图像依次通过网络的低频特征抽取模块LFE、高频特征抽取模块HFE和特征重构模块FR处理后得到重建的高分辨率图像ISR，最后计算ISR和IHR的L1损失并通过反向传播更新网络参数，重复以上过程直至达到预设的最大迭代次数，完成网络训练。
上述的方法中，对已有的分辨率为640×480的高分辨率红外图像IHR通过双三次插值算法得到下采样因子分别为s＝2、s＝3和s＝4的低分辨率图像
Figure BDA0003617265860000021
该过程表述为：
Figure BDA0003617265860000022
其中，FBicubic(·)表示双三次下采样操作。
上述的方法中，对于不同尺度的红外图像超分辨率网络，将对应采样因子的低分辨率红外图像
Figure BDA0003617265860000023
依照预设的概率从以下七种数据增强方法中随机选择一种进行图像增强以提高网络的非线性拟合能力：Cutout、CutMix、Mixup、CutMixup、RGB Permute、Blend和CutBlur，该过程表述为：
Figure BDA0003617265860000024
其中，FAugmentation(·)表示所选择的数据增强操作。
上述的方法中，将数据增强后的低分辨率红外图像
Figure BDA0003617265860000025
通过低频特征抽取(Low-frequency Feature Extraction，LFE)模块提取图像的浅层特征，该模块结构图如图2所示。LFE模块由四个卷积层构成，每个卷积层的卷积核大小分别为7×7、5×5、3×3、1×1，特征通道数分别为8、16、32和64。该过程表述为：
Figure BDA0003617265860000026
其中，
Figure BDA0003617265860000027
表示卷积核大小为i×i的卷积操作。
上述的方法中，低频特征抽取后的特征图ILFE连续通过八组由残差块、注意力块组成的高频特征抽取(High-frequency Feature Extraction，HFE)模块用于提取图像的深层次特征，该模块结构图如图2所示。其中每两组残差和注意力块(合称为残差注意力块，结构图如图2所示)的输出与HFE模块的输入ILFE在通道维度相连接后通过一个卷积核大小为1×1，通道数为64的卷积层。残差块由7×7、5×5、3×3、1×1四个不同尺寸的卷积核并行连接并与输入在通道维度相连接后通过一个通道数为64的1×1卷积层组成，残差模块结构图如图3所示。同时，为了减少网络的参数量，每个分支在两个卷积层中间连续插入两个深度可分离卷积(Depth-wise Separable Convolution，DSC)层。注意力块由串联的通道注意力模块和空间注意力模块及残差连接组成，注意力模块结构图如图4所示，通道注意力和空间注意力模块的结构图分别如图5和图6所示。以上过程表述为：
Figure BDA0003617265860000031
其中，
Figure BDA0003617265860000032
表示第i个残差注意力模块操作，FConcat(·)表示通道维度上的连接操作，FConv(·)为1×1卷积操作。最终，HFE模块的输出为：
Figure BDA0003617265860000033
其中，FUS(·)为上采样操作，该模块的结构图如图7所示。
上述的方法中，经过高频特征抽取后的特征图IHFE通过特征重构(FeatureReconstruction，FR)模块用于重构最终的输出特征图，该模块由四个卷积核大小均为1×1的卷积层构成，其特征图数量分别为64、32、16、8和3，结构图如图2所示。其中，LFE模块中每个卷积层输出通道数与FR模块中输出通道数相同的特征图，通过FUS(·)操作后与FR每个卷积层的输出在通道维度上连接。以上过程整体表示为：
IFR＝FFR(IHFE)
其中，FFR(·)表示特征重构操作。
上述方法中，最终的超分辨率重建结果表示为：
ISR＝FUS(ILR)+IFR
上述方法中，计算IHR和ISR的L1损失，通过反向传播算法更新网络参数直至达到预设的最大迭代次数，完成网络训练。
本发明与现有技术相对比，具有如下显而易见的突出实质性特点及显著技术进步：
1)本发明所述方法对低分辨率红外图像的数据增强使用了Cutout、CutMix、Mixup、CutMixup、RGB Permute、Blend和CutBlur七种数据增强方法，相较于当前图像超分辨率领域广泛使用的图像翻转和90°旋转等数据增强方法，本发明方法更加有效的增强了数据集及网络的非线性拟合能力。
2)本发明所述方法在残差块中通过不同大小卷积核的并行连接实现了多路径学习，提高了网络的学习能力，使网络可同时学习局部和全局特征。
3)本发明所述方法在注意力机制模块中集成了空间注意力和通道注意力模块，使得网络可以聚焦不同通道和不同空间位置中较为重要的部分，进一步提升了特征学习能力。
附图说明
图1是本发明的一个较佳实施例所述方法的流程框图；
图2是本发明的一个较佳实施例所述方法的网络结构图；
图3是本发明的一个较佳实施例所述方法的残差模块结构图；
图4是本发明的一个较佳实施例所述方法的注意力模块结构图；
图5是本发明的一个较佳实施例所述方法的通道注意力模块结构图；
图6是本发明的一个较佳实施例所述方法的空间注意力模块结构图；
图7是本发明的一个较佳实施例所述方法的上采样模块结构图；
图8是本发明的一个较佳实施例所述方法与bicubic方法对384×288分辨率红外图像2倍上采样结果的局部细节放大效果对比图；
图9是本发明的一个较佳实施例所述方法与bicubic方法对640×512分辨率红外图像2倍上采样结果的局部细节放大效果对比图。
具体实施方式
本发明的优选实例结合附图详述如下：
参见图1，本发明所述的基于深度神经网络的红外图像超分辨率重建方法，具体操作步骤如下：
1)生成训练数据集：对已有的分辨率为640×480的高分辨率红外图像IHR通过双三次插值算法得到下采样因子分别为s＝2、s＝3和s＝4的低分辨率图像
Figure BDA0003617265860000041
该过程表述为：
Figure BDA0003617265860000042
其中，FBicubic(·)表示双三次下采样操作。
2)数据增强：对于不同尺度的红外图像超分辨率网络，将对应采样因子的低分辨率红外图像
Figure BDA0003617265860000043
依照预设的概率从以下七种数据增强方法中随机选择一种进行图像增强以提高网络的非线性拟合能力：Cutout、CutMix、Mixup、CutMixup、RGB Permute、Blend和CutBlur，该过程表述为：
Figure BDA0003617265860000044
其中，FAugmentation(·)表示所选择的数据增强操作。
3)低频特征抽取：将数据增强后的低分辨率红外图像
Figure BDA0003617265860000045
通过低频特征抽取(Low-frequency Feature Extraction，LFE)模块提取图像的浅层特征，该模块结构图如图2所示。LFE模块由四个卷积层构成，每个卷积层的卷积核大小分别为7×7、5×5、3×3、1×1，特征通道数分别为8、16、32和64。该过程表述为：
Figure BDA0003617265860000046
其中，
Figure BDA0003617265860000051
表示卷积核大小为i×i的卷积操作。
4)高频特征抽取：低频特征抽取后的特征图ILFE连续通过八组由残差块、注意力块组成的高频特征抽取(High-frequency Feature Extraction，HFE)模块用于提取图像的深层次特征，该模块结构图如图2所示。其中每两组残差块和注意力块(合称为残差注意力块，结构图如图2所示)的输出与HFE模块的输入ILFE在通道维度相连接后通过一个卷积核大小为1×1，通道数为64的卷积层。残差块由7×7、5×5、3×3、1×1四个不同尺寸的卷积核并行连接并与输入在通道维度相连接后通过一个通道数为64的1×1卷积层组成，残差模块结构图如图3所示。同时，为了减少网络的参数量，每个分支在两个卷积层中间连续插入两个深度可分离卷积(Depth-wise Separable Convolution，DSC)层。注意力块由串联的通道注意力模块和空间注意力模块及残差连接组成，注意力模块结构图如图4所示，通道注意力和空间注意力模块的结构图分别如图5和图6所示。以上过程表述为：
Figure BDA0003617265860000052
其中，
Figure BDA0003617265860000053
表示第i个残差注意力模块操作，FConcat(·)表示通道维度上的连接操作，FConv(·)为1×1卷积操作。最终，HFE模块的输出为：
Figure BDA0003617265860000054
其中，FUS(·)为上采样操作，该模块的结构图如图7所示。
5)特征重构：经过高频特征抽取后的特征图IHFE通过特征重构(FeatureReconstruction，FR)模块用于重构最终的输出特征图，该模块由四个卷积核大小均为1×1的卷积层构成，其特征图数量分别为64、32、16、8和3，结构图如图2所示。其中，LFE模块中每个卷积层输出通道数与FR模块中输出通道数相同的特征图，通过FUS(·)操作后与FR每个卷积层的输出在通道维度上连接。以上过程整体表示为：
IFR＝FFR(IHFE)
其中，FFR(·)表示特征重构操作。最终的超分辨率重建结果表示为：
ISR＝FUS(ILR)+IFR。
6)参数更新：计算IHR和ISR的L1损失，通过反向传播算法更新网络参数直至达到预设的最大迭代次数，完成网络训练。
本发明对原始分辨率分别为384×288和640×512的红外图像进行尺度因子为2的超分辨率重建，本发明得到的结果与Bicubic方法的对比结果分别如图8和图9所示。由图8和图9所示，本发明在对红外图像超分辨率重建后可较好的保留边缘和纹理等高频细节，达到良好的实践效果。
此外，本发明对50张分辨率分别为384×288和640×512的红外图像进行尺度因子为2的超分辨率重建，计算重建结果与真实红外图像之间的峰值信噪比(Peak Signal toNoise Ratio，PSNR)和结构相似性(Structural SIMilarity，SSIM)如表1所示：
Figure BDA0003617265860000061
表1红外图像超分辨率重建定量对比
由表1可知，本发明在不同分辨率下对红外图像超分辨率重建效果在PSNR和SSIM指标上均明显优于bicubic方法，定量表明了本发明的有效性。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种基于深度神经网络的红外图像超分辨率重建方法，其特征在于，包括以下步骤：
S1)对分辨率为640×480的红外图像IHR进行双三次插值算法分别得到对应下采样因子s＝2、s＝3和s＝4的低分辨率红外图像
Figure FDA0003617265850000011
作为训练数据集；
S2)对于不同尺度的红外图像超分辨率网络，将输入网络的训练集
Figure FDA0003617265850000012
依照预设的概率随机选择以下一种数据增强方法进行图像增强：Cutout、CutMix、Mixup、CutMixup、RGBPermute、Blend和CutBlur，得到增强后的红外图像
Figure FDA0003617265850000013
S3)将所述数据增强后的低分辨率红外图像
Figure FDA0003617265850000014
通过低频特征抽取模块提取图像的浅层特征，得到ILFE，其中，所述低频特征抽取模块由四个卷积层构成，每个所述卷积层的卷积核大小分别为7×7、5×5、3×3、1×1；
S4)所述低频特征抽取后的特征图ILFE连续通过八组高频特征抽取模块用于提取图像的深层次特征，得到IHFE；其中，所述高频特征抽取模块由残差块和注意力块组成；
S5)经过所述高频特征抽取后的特征图IHFE通过特征重构模块，得到最终的输出特征图ISR；
S6)计算ILR和ISR的L1损失，通过反向传播算法更新网络参数直至达到预设的最大迭代次数，完成网络训练。
2.根据权利要求1所述的基于深度神经网络的红外图像超分辨率重建方法，其特征在于，所述步骤S1中得到所述低分辨率图像
Figure FDA0003617265850000015
的过程表述为：
Figure FDA0003617265850000016
其中，FBicubic(·)表示双三次下采样操作。
3.根据权利要求1所述的基于深度神经网络的红外图像超分辨率重建方法，其特征在于，所述步骤S2得到增强后的红外图像
Figure FDA0003617265850000017
的过程表述为：
Figure FDA0003617265850000018
其中，FAugmentation(·)表示所选择的数据增强操作。
4.根据权利要求1所述的基于深度神经网络的红外图像超分辨率重建方法，其特征在于，所述步骤S3所述低频特征抽取模块的特征通道数分别为8、16、32和64，所述低频特征抽取的过程表述为：
Figure FDA0003617265850000021
其中，
Figure FDA0003617265850000022
表示卷积核大小为i×i的卷积操作。
5.根据权利要求1所述的基于深度神经网络的红外图像超分辨率重建方法，其特征在于，所述步骤S4中每两组所述残差块和所述注意力块的输出与所述高频特征提取模块的输入ILFE在通道维度相连接后，通过一个卷积核大小为1×1，通道数为64的卷积层，其中，所述残差块由7×7、5×5、3×3、1×1四个不同尺寸的卷积核并行连接并与输入在通道维度相连接后通过一个通道数为64的1×1卷积层组成；同时，每个分支在两个卷积层中间连续插入两个深度可分离卷积层，所述注意力块由串联的通道注意力模块和空间注意力模块及残差块连接组成，以上过程表述为：
Figure FDA0003617265850000023
其中，
Figure FDA0003617265850000024
表示第i个残差注意力模块操作，FConcat(·)表示通道维度上的连接操作，FConv(·)为1×1卷积操作，最终，所述高频特征抽取模块的输出为：
Figure FDA0003617265850000025
其中，FUS(·)为上采样操作。
6.根据权利要求1所述的基于深度神经网络的红外图像超分辨率重建方法，其特征在于，所述步骤S5所述特征重构模块由四个卷积核大小均为1×1的卷积层构成，其特征图数量分别为64、32、16、8和3，其中，所述低频特征抽取模块中的每个卷积层输出通道数与特征重构模块中输出通道数相同的特征图，通过FUS(·)操作后与所述特征重构模块中的每个卷积层的输出在通道维度上连接，以上过程整体表示为：
IFR＝FFR(IHFE)
其中，FFR(·)表示特征重构操作，最终的超分辨率重建结果表示为：
ISR＝FUS(ILR)+IFR。
CN202210446873.XA 2022-04-26 2022-04-26 一种基于深度神经网络的红外图像超分辨率重建方法 Active CN114913069B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210446873.XA CN114913069B (zh) 2022-04-26 2022-04-26 一种基于深度神经网络的红外图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210446873.XA CN114913069B (zh) 2022-04-26 2022-04-26 一种基于深度神经网络的红外图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN114913069A true CN114913069A (zh) 2022-08-16
CN114913069B CN114913069B (zh) 2024-05-03

Family

ID=82764368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210446873.XA Active CN114913069B (zh) 2022-04-26 2022-04-26 一种基于深度神经网络的红外图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN114913069B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020015167A1 (zh) * 2018-07-17 2020-01-23 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
WO2020056791A1 (zh) * 2018-09-21 2020-03-26 五邑大学 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN113222825A (zh) * 2021-06-03 2021-08-06 北京理工大学 基于可见光图像训练的红外图像超分辨率重构方法及应用
CN114092330A (zh) * 2021-11-19 2022-02-25 长春理工大学 一种轻量化多尺度的红外图像超分辨率重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020015167A1 (zh) * 2018-07-17 2020-01-23 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
WO2020056791A1 (zh) * 2018-09-21 2020-03-26 五邑大学 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN113222825A (zh) * 2021-06-03 2021-08-06 北京理工大学 基于可见光图像训练的红外图像超分辨率重构方法及应用
CN114092330A (zh) * 2021-11-19 2022-02-25 长春理工大学 一种轻量化多尺度的红外图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邵保泰;汤心溢;金璐;李争;: "基于生成对抗网络的单帧红外图像超分辨算法", 红外与毫米波学报, no. 04, 15 August 2018 (2018-08-15) *

Also Published As

Publication number Publication date
CN114913069B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
CN112836773B (zh) 一种基于全局注意力残差网络的高光谱图像分类方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
He et al. Deep convolutional neural network framework for subpixel mapping
Zheng et al. Spectral super-resolution of multispectral images using spatial–spectral residual attention network
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN116071243B (zh) 一种基于边缘增强的红外图像超分辨率重建方法
CN111080567A (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
Chudasama et al. Therisurnet-a computationally efficient thermal image super-resolution network
CN109509160A (zh) 一种利用逐层迭代超分辨率的分层次遥感图像融合方法
CN114419392A (zh) 高光谱快照图像恢复方法、装置、设备及介质
CN117635428A (zh) 一种肺部ct图像超分辨重建方法
CN114266957A (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
Nie et al. Unsupervised hyperspectral pansharpening by ratio estimation and residual attention network
CN116630209A (zh) 基于交叉混合注意力的sar与可见光图像融合方法
Li et al. ConvFormerSR: Fusing transformers and convolutional neural networks for cross-sensor remote sensing imagery super-resolution
Thuan et al. Edge-focus thermal image super-resolution using generative adversarial network
Martínez et al. Efficient transfer learning for spectral image reconstruction from RGB images
CN117392065A (zh) 一种云边协同太阳能板覆灰状况自主评估方法
CN114913069A (zh) 一种基于深度神经网络的红外图像超分辨率重建方法
Chen et al. U-net CNN based Fourier ptychography
Yuan et al. Global cross-attention network for single-sensor multispectral imaging
Pushparaj et al. Reconstruction of hyperspectral images from RGB images
CN118469806A (zh) 基于全局交叉注意力网络模型的多光谱成像方法
CN111275632B (zh) 多光谱图像锐化方法、装置、设备及存储介质
Zhang et al. Cloud Detection Method Using Convolutional Neural Network Based on Cascaded Color and Texture Feature Attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant