CN112184547A - 红外图像的超分辨率方法及计算机可读存储介质 - Google Patents

红外图像的超分辨率方法及计算机可读存储介质 Download PDF

Info

Publication number
CN112184547A
CN112184547A CN202010916446.4A CN202010916446A CN112184547A CN 112184547 A CN112184547 A CN 112184547A CN 202010916446 A CN202010916446 A CN 202010916446A CN 112184547 A CN112184547 A CN 112184547A
Authority
CN
China
Prior art keywords
image
resolution
output image
frequency information
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010916446.4A
Other languages
English (en)
Other versions
CN112184547B (zh
Inventor
林玉涵
陈耀高
林文杰
张晓裕
杨景鑫
曾洪源
陈伟民
黄晓聪
吴清勇
罗宇宁
李政凯
吴雪玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Red Phase Inc
Original Assignee
Red Phase Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Red Phase Inc filed Critical Red Phase Inc
Priority to CN202010916446.4A priority Critical patent/CN112184547B/zh
Publication of CN112184547A publication Critical patent/CN112184547A/zh
Application granted granted Critical
Publication of CN112184547B publication Critical patent/CN112184547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种红外图像的超分辨率方法及计算机可读存储介质，方法包括：获取原始红外图像；分别对各原始红外图像进行随机裁剪，得到原始图像样本；根据预设下采样倍数，对原始图像样本进行下采样，得到对应的低分辨率图像，并将原始图像样本作为标签，得到训练样本对；构建深度学习模型，包括生成对抗模块和高频信息提取模块；根据训练样本对，分别对生成对抗模块和高频信息提取模块进行训练；获取待超分辨率的红外图像，并分别输入训练后的生成对抗模块和高频信息提取模块，得到第一输出图像和第二输出图像；对第一输出图像和第二输出图像进行像素级融合，得到超分辨率后的红外图像。本发明可提高红外图像的超分辨率效果。

Description

红外图像的超分辨率方法及计算机可读存储介质
技术领域
本发明涉及图像超分辨率技术领域，尤其涉及一种红外图像的超分辨率方法及计算机可读存储介质。
背景技术
图像分辨率是对图像细节分辨能力的一种度量，是对成像系统图像质量评价的关键性指标，也是成像系统在实际应用中应该考虑到的至关重要的参数。通过减少像元尺寸或增大探测器阵列尺寸，是提高成像系统分辨率最直接的方式，但是这些方法不仅存在着物理极限，对图像分辨率的提升空间有限，且成本巨大，设计周期冗长。因此，这些方式均不能作为提高系统分辨率的最佳选择。此时，作为成本低、发展空间大、能有效提高图像分辨率的超分辨率重建技术自然成为了人们关注的重点。超分辨率技术不需要大规模地改变成像系统的组成与构造就能有效提高成像系统所获取图像的空间分辨率，这意味着利用超分辨率重建技术可以在已有成像系统的基础上获得更高分辨率的目标图像，从而将已有的成像技术应用到更广泛领域。
但由于缺乏真实的训练数据和模型输入信息的丢失，现有的超分辨方法在实际应用中表现不佳。
发明内容
本发明所要解决的技术问题是：提供一种红外图像的超分辨率方法及计算机可读存储介质，可提高红外图像的超分辨率效果。
为了解决上述技术问题，本发明采用的技术方案为：一种红外图像的超分辨率方法，包括：
获取原始红外图像，所述原始红外图像的像素深度为14位；
分别对各原始红外图像进行随机裁剪，得到原始图像样本；
根据预设下采样倍数，对所述原始图像样本进行下采样，得到所述原始图像样本对应的低分辨率图像，并将所述原始图像样本作为标签，得到训练样本对；
构建深度学习模型，所述深度学习模型包括生成对抗模块和高频信息提取模块，所述生成对抗模块为生成式对抗网络，包括生成器和判别器，所述高频信息提取模块为卷积神经网络，包括三个卷积层，分别为高频信息提取层、非线性映射层以及超分辨率重建层；
根据所述训练样本对，分别对所述生成对抗模块和高频信息提取模块进行训练；
获取待超分辨率的红外图像，并分别输入所述训练后的生成对抗模块和高频信息提取模块，得到第一输出图像和第二输出图像；
对所述第一输出图像和第二输出图像进行像素级融合，得到超分辨率后的红外图像。
本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的方法的步骤。
本发明的有益效果在于：由于原始红外图像没有经任何图像处理的原始图像，拥有更宽的动态范围，更丰富的图像格式，而且保留了大部分拍摄的图像信息，因此通过获取像素深度为14位的原始红外图像，可生成真实的训练数据，极大地弥补了由于缺乏真实的训练数据和模型输入信息丢失的影响；通过对原始红外图像进行裁剪，扩充原始图像样本的数量；通过对原始图像样本进行下采样，得到其对应的低分辨率图像，用于后续的训练输入；生成对抗模块在生成与对抗的过程中不断修正重建后高分辨率图像与原始高分辨率图像之间的误差，使得训练后的生成对抗模块可输出视觉效果非常真实的高分辨率图像；通过高频信息提取模块重建了低分辨率图像未有的高频细节信息，保证了细节信息的真实性；通过对生成对抗模块和高频信息提取模块输出的图像进行融合，融合了生成对抗模块生成的初始高分辨率图像特征与高频信息提取模块提取的高频细节特征，提高了图像超分辨率的效果。
附图说明
图1为本发明实施例一的一种红外图像的超分辨率方法的流程图；
图2为本发明实施例一的高频信息提取模块的图像处理过程的示意图；
图3为本发明实施例一的步骤S6-S7的图像处理过程的示意图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图详予说明。
请参阅图1，一种红外图像的超分辨率方法，包括：
获取原始红外图像，所述原始红外图像的像素深度为14位；
分别对各原始红外图像进行随机裁剪，得到原始图像样本；
根据预设下采样倍数，对所述原始图像样本进行下采样，得到所述原始图像样本对应的低分辨率图像，并将所述原始图像样本作为标签，得到训练样本对；
构建深度学习模型，所述深度学习模型包括生成对抗模块和高频信息提取模块，所述生成对抗模块为生成式对抗网络，包括生成器和判别器，所述高频信息提取模块为卷积神经网络，包括三个卷积层，分别为高频信息提取层、非线性映射层以及超分辨率重建层；
根据所述训练样本对，分别对所述生成对抗模块和高频信息提取模块进行训练；
获取待超分辨率的红外图像，并分别输入所述训练后的生成对抗模块和高频信息提取模块，得到第一输出图像和第二输出图像；
对所述第一输出图像和第二输出图像进行像素级融合，得到超分辨率后的红外图像。
从上述描述可知，本发明的有益效果在于：可提高红外图像的超分辨率效果。
进一步地，所述获取原始红外图像之后，进一步包括：
对所述原始红外图像进行图像旋转、图像翻转或图像平移，得到多张原始红外图像。
由上述描述可知，可扩充现有的原始红外图像的数量。
进一步地，所述根据所述训练样本对，分别对所述生成对抗模块和高频信息提取模块进行训练具体为：
根据所述训练样本对，对所述生成对抗模块进行训练；
根据所述训练样本对，对所述高频信息提取模块进行训练。
进一步地，所述根据所述训练样本对，对所述高频信息提取模块进行训练具体为：
将所述训练样本对中的低分辨率图像输入所述高频信息提取模块，通过所述高频信息提取层提取所述低分辨率图像的高频信息，得到n3维的低分辨率高频信息特征图，所述n3为所述高频信息提取层中的滤波器数量；
通过所述非线性映射层将所述n3维的低分辨率高频信息特征图映射到n2维的高分辨率高频信息特征图，所述n2为所述非线性映射层中的滤波器数量；
根据所述n2维的高分辨率高频信息特征图，通过所述超分辨率重建层，生成n2维的高分辨率高频特征图像；
根据所述高分辨率高频特征图像、所述训练样本对中的原始图像样本以及预设的损失函数，通过误差反向传播算法优化所述高频信息提取模块。
进一步地，所述预设的损失函数为：
Figure BDA0002665172940000041
其中，
Figure BDA0002665172940000042
表示第n个训练样本对中的低分辨率图像的高频信息，
Figure BDA0002665172940000043
表示第n个训练样本对中的原始图像样本的高频信息，
Figure BDA0002665172940000044
为带有网络参数θ的转移函数，||·||22代表向量的二范数的平方，θ*为损失值。
由上述描述可知，通过高频信息提取模块重建了低分辨率图像未有的高频细节信息，保证了细节信息的真实性。
进一步地，所述对所述第一输出图像和第二输出图像进行像素级融合，得到超分辨率后的红外图像具体为：
分别计算所述第一输出图像中各像素点对应的N邻域内的像素点的像素值的方差值，得到各像素点对应的方差值，所述N为预设的数值；
分别计算所述第二输出图像中各像素点对应的N邻域内的像素点的像素值的方差值，得到各像素点对应的方差值；
根据所述第一输出图像和第二输出图像中同一位置的像素点对应的方差值，计算所述第一输出图像中所述同一位置的像素点对应的权重以及所述第二输出图像中所述同一位置的像素点的对应权重；
根据所述第一输出图像和第二输出图像中所述同一位置的像素点的像素值及其对应的权重，计算得到第三输出图像中所述同一位置的像素点的像素值。
由上述描述可知，优选地，所述N为8，即对于两幅图像中对应的点，以该点8邻域的方差做权重进行融合。
进一步地，所述根据所述第一输出图像和第二输出图像中同一位置的像素点对应的方差值，计算所述第一输出图像中所述同一位置的像素点对应的权重以及所述第二输出图像中所述同一位置的像素点的对应权重具体为：
将所述第一输出图像和第二输出图像中同一位置的像素点对应的方差值进行相加，得到所述同一位置的像素点对应的方差值之和；
将所述第一输出图像中所述同一位置的像素点对应的方差值除以所述对应的方差值之和，得到所述第一输出图像中所述同一位置的像素点对应的权重；
将所述第二输出图像中所述同一位置的像素点对应的方差值除以所述对应的方差值之和，得到所述第二输出图像中所述同一位置的像素点对应的权重。
由上述描述可知，基于图像的方差信息，将训练后的生成对抗模块和高频信息提取模块输出的图像进行融合，达到了更好的图像处理效果。
进一步地，所述对所述第一输出图像和第二输出图像进行像素级融合，得到超分辨率后的红外图像之前，进一步包括：
分别对所述第一输出图像和第二输出图像进行补边。
由上述描述可知，保证第一输出图像和第二输出图像中的边缘像素点也可获取到完整的N邻域。
本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的方法的步骤。
实施例一
请参照图1-3，本发明的实施例一为：一种红外图像的超分辨率方法，可应用于提升红外相机图像效果，可以帮助更好地识别伪装以及跟踪目标。如图1所示，包括如下步骤：
S1：获取原始红外图像，即利用红外成像仪采集原始红外图像，所述原始红外图像的像素深度为14位。
由于原始红外图像没有经任何图像处理的原始图像，拥有更宽的动态范围，更丰富的图像格式，而且保留了大部分拍摄的图像信息，因此通过获取像素深度为14位的原始红外图像，可生成真实的训练数据。
S2：对所述原始红外图像进行图像旋转、图像翻转或图像平移后，分别对各原始红外图像进行随机裁剪，得到原始图像样本。
通过旋转、翻转或平移操作，扩充了现有的原始红外图像的数量，然后将每一张原始红外图像随机裁剪成若干较小的图像块，得到足够多的原始图像样本。
S3：根据预设下采样倍数，对所述原始图像样本进行下采样，得到所述原始图像样本对应的低分辨率图像，并将所述原始图像样本作为标签，得到训练样本对。
对于一幅尺寸为M*N的图像I，对其进行s倍下采样，即得到尺寸为(M/s)*(N/s)的图像，其中，s是M和N的公约数，若是矩阵形式的图像，就是把图像I中s*s窗口内的图像变成一个像素，这个像素点的像素值就是其对应窗口内所有像素点的像素值的均值。
本实施例中，下采样倍数s不宜过大，若太大的话，会使图像先验信息严重缺失，从而大大影响图像质量。优选地，所述下采样倍数为4-8。
S4：构建深度学习模型，所述深度学习模型包括生成对抗模块和高频信息提取模块。
其中，所述生成对抗模块为生成式对抗网络(GAN)，包括生成器和判别器，即由一个具有生成功能的神经网络和一个具有判别功能的神经网络构成。本实施例中，采用由IanJ.Goodfellow等人于2014年10月在Generative Adversarial Networks中提出的通过对抗过程估计生成模型的新框架，框架中同时训练两个模型：捕获数据分布的生成模型G，和估计样本来自训练数据的概率的判别模型D。G的训练程序是将D错误的概率最大化。
所述高频信息提取模块的结构与卷积神经网络的结构类似，包括三个卷积层，分别为高频信息提取层、非线性映射层以及超分辨率重建层；所述高频信息提取层中的卷积核大小为3×3，滤波器的个数为n3个；所述非线性映射层中的卷积核大小为1×1，滤波器的个数为n2个，卷积核初始化的权重分布符合高斯分布；所述超分辨率重建层中的卷积核大小为3×3，滤波器的个数为n2个，卷积核初始化的权重分布符合高斯分布。
所述高频信息提取层用于提取低分辨率图像的高频信息，得到n3维的低分辨率高频信息特征图；所述非线性映射层用于将n3维的低分辨率高频信息特征图映射到n2维的高分辨率高频信息特征图；所述超分辨率重建层用于汇聚所述n2维的高分辨率高频信息特征图，输出n2维的高分辨率高频特征图像。
S5：根据所述训练样本对，分别对所述生成对抗模块和高频信息提取模块进行训练。
其中，对于生成对抗模块的训练，生成式对抗网络中的生成器根据训练样本对中的低分辨率图像，以最大可能性生成高分辨率图像，然后通过判别器判断出与真实高分辨率图像(即原始样本图像)误差最小的高分辨率图像。正是在这种生成与对抗的过程中不断修正重建后高分辨率图像与原始高分辨率图像之间的误差，使得网络最终重建的高分辨率图像的视觉效果非常的真实。
如2所示，对于高频信息提取模块，当输入低分辨率图像时，高频信息提取层对低分辨率图像进行高频信息提取，获得一个n3维的低分辨率高频信息特征图，包括0°、45°、90°、135°高频信息特征；然后经过非线性映射层与超分辨率重建层，最后输出一个n2维的高分辨率高频特征图像。
高频信息提取模块的主要作用在于重建低分辨率图像未有的高频细节信息，为了保证细节信息的真实性，使用均方差作为网络的损失函数，具体为：
Figure BDA0002665172940000071
其中，
Figure BDA0002665172940000081
表示第n个训练样本对中的低分辨率图像的高频信息，
Figure BDA0002665172940000082
表示第n个训练样本对中的高分辨率图像(即原始图像样本)的高频信息，
Figure BDA0002665172940000083
为高频信息提取模块的转移函数(用来拟合或描述黑箱模型(系统)的输入与输出之间关系的数学表示)，带有网络参数θ，||·||22代表向量的二范数的平方，θ*为损失值。
具体地，将训练样本对中的低分辨率图像输入到高频信息提取模块中，得到重建后的高分辨率图像的高频信息序列
Figure BDA0002665172940000084
根据预设的MSE(最小均方误差)损失函数，计算重建后的高分辨率图像的高频信息序列
Figure BDA0002665172940000085
与原始高分辨率图像(即训练样本对中的原始样本图像)的高频信息序列
Figure BDA0002665172940000086
的损失值；根据所述损失值，使用ADAM优化算法迭代调整高频信息提取模块中的参数。本实施例中，总共迭代优化30万次，最后保存迭代优化所得的参数。
S6：获取待超分辨率的红外图像，并分别输入所述训练后的生成对抗模块和高频信息提取模块，得到第一输出图像和第二输出图像。即将待超分辨率的低分辨率红外图像输入训练后的生成对抗模块，得到第一输出图像；将待超分辨率的低分辨率红外图像输入训练后的高频信息提取模块，得到第二输出图像。
例如，如图3所示，将低分辨率红外图像LR image(Y)分别输入生成对抗模块GAN和高频信息提取模块GTN，输出Primary HR image(Xp)和Gradient image(Xg)。
S7：对所述第一输出图像和第二输出图像进行像素级融合，得到超分辨率后的红外图像，即得到高分辨率的红外图像。
例如，如图3所示，将生成对抗模块GAN输出的Primary HR image(Xp)和高频信息提取模块GTN输出的Gradient image(Xg)输入融合重建模块FN，融合重建模块的主要功能就是融合生成对抗模块生成的初始高分辨率图像特征与高频信息提取模块的高频细节特征，修正生成对抗模块生成的初始高分辨率图像特征维度与高频信息提取模块生成的高频细节信息维度，使其多元重建高分辨率图像。最后输出最终的高分辨率红外图像HR image(X)。
本实施例中，将第一输出图像和第二输出图像中对应的每个像素点以该点8邻域的方差做权重进行融合，输出高分辨率图像。
进一步地，对于图像的边缘像素点，由于其不存在完整的8邻域，因此，分别在第一输出图像和第二输出图像的第一行之前和最后一行之后补一行像素点(像素值为0)，同时在第一列之前和最后一列之后补一行像素点(像素值为0)，即对两幅图像进行补边操作，假设补边之前的图像尺寸为N*N，则补边之后的图像尺寸为(N+2)*(N+2)。
具体地，根据下述公式进行融合：
Figure BDA0002665172940000091
Figure BDA0002665172940000092
Figure BDA0002665172940000093
其中，IGAN表示第一输出图像，IHF表示第二输出图像；
Figure BDA0002665172940000094
表示IGAN对应的方差图像，其大小与的IGAN的大小相同，
Figure BDA0002665172940000095
中的每一个像素点
Figure BDA0002665172940000096
的像素值是IGAN中对应像素点
Figure BDA0002665172940000097
在其8邻域D8的方差值；同理，
Figure BDA0002665172940000098
表示IHF对应的方差图像，其大小与的IHF的大小相同，
Figure BDA0002665172940000099
中的每一个像素点
Figure BDA00026651729400000910
的像素值是IHF中对应像素点
Figure BDA00026651729400000911
在其8邻域D8的方差值；IHR为最终输出的高分辨率图像。
本实施例采用的融合重建的方法是一种基于方差的自适应融合图像方法，主要针对红外图像的低频细节为主高频细节丢失的特征，针对于其他方法，该方案更适合红外图像，会产生更好的重建效果。
本实施例通过将原始红外数据应用于红外图像处理中，模拟了红外相机的成像过程，具有真实的训练数据的特征，极大地弥补了由于缺乏真实的训练数据和模型输入信息的丢失的影响。训练好的深度学习模型在实际应用中只需一次前向传播，耗费时间远远低于基于迭代求解的传统方法，满足红外系统智能化、速度快的需求。
本实施例采用深度学习实现了基于红外原始数据的红外图像超分辨率方法，相比传统方法能取得了更好的处理效果。通过生成对抗模块在生成与对抗的过程中不断修正重建后高分辨率图像与原始高分辨率图像之间的误差，使得训练后的生成对抗模块可输出视觉效果非常真实的高分辨率图像；通过高频信息提取模块重建了低分辨率图像未有的高频细节信息，保证了细节信息的真实性；最后基于图像的方差信息，将训练后的生成对抗模块和高频信息提取模块输出的图像进行融合，达到了更好的图像处理效果。
本实施例创新性强，实用性强，能够实现红外设备红外图像处理效果好、速度快的需求。
实施例二
本实施例是对应上述实施例的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如下步骤：
获取原始红外图像，所述原始红外图像的像素深度为14位；
分别对各原始红外图像进行随机裁剪，得到原始图像样本；
根据预设下采样倍数，对所述原始图像样本进行下采样，得到所述原始图像样本对应的低分辨率图像，并将所述原始图像样本作为标签，得到训练样本对；
构建深度学习模型，所述深度学习模型包括生成对抗模块和高频信息提取模块，所述生成对抗模块为生成式对抗网络，包括生成器和判别器，所述高频信息提取模块为卷积神经网络，包括三个卷积层，分别为高频信息提取层、非线性映射层以及超分辨率重建层；
根据所述训练样本对，分别对所述生成对抗模块和高频信息提取模块进行训练；
获取待超分辨率的红外图像，并分别输入所述训练后的生成对抗模块和高频信息提取模块，得到第一输出图像和第二输出图像；
对所述第一输出图像和第二输出图像进行像素级融合，得到超分辨率后的红外图像。
进一步地，所述获取原始红外图像之后，进一步包括：
对所述原始红外图像进行图像旋转、图像翻转或图像平移，得到多张原始红外图像。
进一步地，所述根据所述训练样本对，分别对所述生成对抗模块和高频信息提取模块进行训练具体为：
根据所述训练样本对，对所述生成对抗模块进行训练；
根据所述训练样本对，对所述高频信息提取模块进行训练。
进一步地，所述根据所述训练样本对，对所述高频信息提取模块进行训练具体为：
将所述训练样本对中的低分辨率图像输入所述高频信息提取模块，通过所述高频信息提取层提取所述低分辨率图像的高频信息，得到n3维的低分辨率高频信息特征图，所述n3为所述高频信息提取层中的滤波器数量；
通过所述非线性映射层将所述n3维的低分辨率高频信息特征图映射到n2维的高分辨率高频信息特征图，所述n2为所述非线性映射层中的滤波器数量；
根据所述n2维的高分辨率高频信息特征图，通过所述超分辨率重建层，生成n2维的高分辨率高频特征图像；
根据所述高分辨率高频特征图像、所述训练样本对中的原始图像样本以及预设的损失函数，通过误差反向传播算法优化所述高频信息提取模块。
进一步地，所述预设的损失函数为：
Figure BDA0002665172940000111
其中，
Figure BDA0002665172940000112
表示第n个训练样本对中的低分辨率图像的高频信息，
Figure BDA0002665172940000113
表示第n个训练样本对中的原始图像样本的高频信息，
Figure BDA0002665172940000114
为带有网络参数θ的转移函数，||·||22代表向量的二范数的平方，θ*为损失值。
进一步地，所述对所述第一输出图像和第二输出图像进行像素级融合，得到超分辨率后的红外图像具体为：
分别计算所述第一输出图像中各像素点对应的N邻域内的像素点的像素值的方差值，得到各像素点对应的方差值，所述N为预设的数值；
分别计算所述第二输出图像中各像素点对应的N邻域内的像素点的像素值的方差值，得到各像素点对应的方差值；
根据所述第一输出图像和第二输出图像中同一位置的像素点对应的方差值，计算所述第一输出图像中所述同一位置的像素点对应的权重以及所述第二输出图像中所述同一位置的像素点的对应权重；
根据所述第一输出图像和第二输出图像中所述同一位置的像素点的像素值及其对应的权重，计算得到第三输出图像中所述同一位置的像素点的像素值。
进一步地，所述根据所述第一输出图像和第二输出图像中同一位置的像素点对应的方差值，计算所述第一输出图像中所述同一位置的像素点对应的权重以及所述第二输出图像中所述同一位置的像素点的对应权重具体为：
将所述第一输出图像和第二输出图像中同一位置的像素点对应的方差值进行相加，得到所述同一位置的像素点对应的方差值之和；
将所述第一输出图像中所述同一位置的像素点对应的方差值除以所述对应的方差值之和，得到所述第一输出图像中所述同一位置的像素点对应的权重；
将所述第二输出图像中所述同一位置的像素点对应的方差值除以所述对应的方差值之和，得到所述第二输出图像中所述同一位置的像素点对应的权重。
进一步地，所述对所述第一输出图像和第二输出图像进行像素级融合，得到超分辨率后的红外图像之前，进一步包括：
分别对所述第一输出图像和第二输出图像进行补边。
综上所述，本发明提供的一种红外图像的超分辨率方法及计算机可读存储介质，通过获取像素深度为14位的原始红外图像，可生成真实的训练数据，极大地弥补了由于缺乏真实的训练数据和模型输入信息丢失的影响；通过对原始红外图像进行裁剪，扩充原始图像样本的数量；通过对原始图像样本进行下采样，得到其对应的低分辨率图像，用于后续的训练输入；生成对抗模块在生成与对抗的过程中不断修正重建后高分辨率图像与原始高分辨率图像之间的误差，使得训练后的生成对抗模块可输出视觉效果非常真实的高分辨率图像；通过高频信息提取模块重建了低分辨率图像未有的高频细节信息，保证了细节信息的真实性；通过对生成对抗模块和高频信息提取模块输出的图像进行融合，融合了生成对抗模块生成的初始高分辨率图像特征与高频信息提取模块提取的高频细节特征，提高了图像超分辨率的效果。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种红外图像的超分辨率方法，其特征在于，包括：
获取原始红外图像，所述原始红外图像的像素深度为14位；
分别对各原始红外图像进行随机裁剪，得到原始图像样本；
根据预设下采样倍数，对所述原始图像样本进行下采样，得到所述原始图像样本对应的低分辨率图像，并将所述原始图像样本作为标签，得到训练样本对；
构建深度学习模型，所述深度学习模型包括生成对抗模块和高频信息提取模块，所述生成对抗模块为生成式对抗网络，包括生成器和判别器，所述高频信息提取模块为卷积神经网络，包括三个卷积层，分别为高频信息提取层、非线性映射层以及超分辨率重建层；
根据所述训练样本对，分别对所述生成对抗模块和高频信息提取模块进行训练；
获取待超分辨率的红外图像，并分别输入所述训练后的生成对抗模块和高频信息提取模块，得到第一输出图像和第二输出图像；
对所述第一输出图像和第二输出图像进行像素级融合，得到超分辨率后的红外图像。
2.根据权利要求1所述的红外图像的超分辨率方法，其特征在于，所述获取原始红外图像之后，进一步包括：
对所述原始红外图像进行图像旋转、图像翻转或图像平移，得到多张原始红外图像。
3.根据权利要求1所述的红外图像的超分辨率方法，其特征在于，所述根据所述训练样本对，分别对所述生成对抗模块和高频信息提取模块进行训练具体为：
根据所述训练样本对，对所述生成对抗模块进行训练；
根据所述训练样本对，对所述高频信息提取模块进行训练。
4.根据权利要求3所述的红外图像的超分辨率方法，其特征在于，根据所述训练样本对，对所述高频信息提取模块进行训练具体为：
将所述训练样本对中的低分辨率图像输入所述高频信息提取模块，通过所述高频信息提取层提取所述低分辨率图像的高频信息，得到n3维的低分辨率高频信息特征图，所述n3为所述高频信息提取层中的滤波器数量；
通过所述非线性映射层将所述n3维的低分辨率高频信息特征图映射到n2维的高分辨率高频信息特征图，所述n2为所述非线性映射层中的滤波器数量；
根据所述n2维的高分辨率高频信息特征图，通过所述超分辨率重建层，生成n2维的高分辨率高频特征图像；
根据所述高分辨率高频特征图像、所述训练样本对中的原始图像样本以及预设的损失函数，通过误差反向传播算法优化所述高频信息提取模块。
5.根据权利要求4所述的红外图像的超分辨率方法，其特征在于，所述预设的损失函数为：
Figure FDA0002665172930000021
其中，
Figure FDA0002665172930000022
表示第n个训练样本对中的低分辨率图像的高频信息，
Figure FDA0002665172930000023
表示第n个训练样本对中的原始图像样本的高频信息，
Figure FDA0002665172930000024
为带有网络参数θ的转移函数，||·||2 2代表向量的二范数的平方，θ*为损失值。
6.根据权利要求1所述的红外图像的超分辨率方法，其特征在于，对所述第一输出图像和第二输出图像进行像素级融合，得到超分辨率后的红外图像具体为：
分别计算所述第一输出图像中各像素点对应的N邻域内的像素点的像素值的方差值，得到各像素点对应的方差值，所述N为预设的数值；
分别计算所述第二输出图像中各像素点对应的N邻域内的像素点的像素值的方差值，得到各像素点对应的方差值；
根据所述第一输出图像和第二输出图像中同一位置的像素点对应的方差值，计算所述第一输出图像中所述同一位置的像素点对应的权重以及所述第二输出图像中所述同一位置的像素点的对应权重；
根据所述第一输出图像和第二输出图像中所述同一位置的像素点的像素值及其对应的权重，计算得到第三输出图像中所述同一位置的像素点的像素值。
7.根据权利要求6所述的红外图像的超分辨率方法，其特征在于，根据所述第一输出图像和第二输出图像中同一位置的像素点对应的方差值，计算所述第一输出图像中所述同一位置的像素点对应的权重以及所述第二输出图像中所述同一位置的像素点的对应权重具体为：
将所述第一输出图像和第二输出图像中同一位置的像素点对应的方差值进行相加，得到所述同一位置的像素点对应的方差值之和；
将所述第一输出图像中所述同一位置的像素点对应的方差值除以所述对应的方差值之和，得到所述第一输出图像中所述同一位置的像素点对应的权重；
将所述第二输出图像中所述同一位置的像素点对应的方差值除以所述对应的方差值之和，得到所述第二输出图像中所述同一位置的像素点对应的权重。
8.根据权利要求6所述的红外图像的超分辨率方法，其特征在于，所述对所述第一输出图像和第二输出图像进行像素级融合，得到超分辨率后的红外图像之前，进一步包括：
分别对所述第一输出图像和第二输出图像进行补边。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8任一项所述的方法的步骤。
CN202010916446.4A 2020-09-03 2020-09-03 红外图像的超分辨率方法及计算机可读存储介质 Active CN112184547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010916446.4A CN112184547B (zh) 2020-09-03 2020-09-03 红外图像的超分辨率方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010916446.4A CN112184547B (zh) 2020-09-03 2020-09-03 红外图像的超分辨率方法及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112184547A true CN112184547A (zh) 2021-01-05
CN112184547B CN112184547B (zh) 2023-05-05

Family

ID=73924793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010916446.4A Active CN112184547B (zh) 2020-09-03 2020-09-03 红外图像的超分辨率方法及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112184547B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446828A (zh) * 2021-01-29 2021-03-05 成都东方天呈智能科技有限公司 一种融合可见光图像梯度信息的热成像超分辨率重建方法
CN113033518A (zh) * 2021-05-25 2021-06-25 北京中科闻歌科技股份有限公司 图像检测方法、装置、电子设备及存储介质
CN113538229A (zh) * 2021-05-28 2021-10-22 华南师范大学 基于特征循环融合的多帧红外图像超分辨率方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110533620A (zh) * 2019-07-19 2019-12-03 西安电子科技大学 基于aae提取空间特征的高光谱和全色图像融合方法
CN111080527A (zh) * 2019-12-20 2020-04-28 北京金山云网络技术有限公司 一种图像超分辨率的方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110533620A (zh) * 2019-07-19 2019-12-03 西安电子科技大学 基于aae提取空间特征的高光谱和全色图像融合方法
CN111080527A (zh) * 2019-12-20 2020-04-28 北京金山云网络技术有限公司 一种图像超分辨率的方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
史永祥: "基于深度学习的红外图像超分辨率重建" *
邵保泰;汤心溢;金璐;李争;: "基于生成对抗网络的单帧红外图像超分辨算法" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446828A (zh) * 2021-01-29 2021-03-05 成都东方天呈智能科技有限公司 一种融合可见光图像梯度信息的热成像超分辨率重建方法
CN113033518A (zh) * 2021-05-25 2021-06-25 北京中科闻歌科技股份有限公司 图像检测方法、装置、电子设备及存储介质
CN113033518B (zh) * 2021-05-25 2021-08-31 北京中科闻歌科技股份有限公司 图像检测方法、装置、电子设备及存储介质
CN113538229A (zh) * 2021-05-28 2021-10-22 华南师范大学 基于特征循环融合的多帧红外图像超分辨率方法和系统
CN113538229B (zh) * 2021-05-28 2023-12-12 华南师范大学 基于特征循环融合的多帧红外图像超分辨率方法和系统

Also Published As

Publication number Publication date
CN112184547B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN107481279B (zh) 一种单目视频深度图计算方法
CN112184547B (zh) 红外图像的超分辨率方法及计算机可读存储介质
CN109727195B (zh) 一种图像超分辨率重构方法
Wang et al. Laplacian pyramid adversarial network for face completion
CN106023230B (zh) 一种适合变形图像的稠密匹配方法
Sun et al. Multiscale generative adversarial network for real‐world super‐resolution
CN110009722A (zh) 三维重建方法及装置
US20210158495A1 (en) Image manipulation using deep learning techniques in a patch matching operation
CN113222825B (zh) 基于可见光图像训练的红外图像超分辨率重构方法及应用
CN114049420B (zh) 一种模型训练方法、图像渲染方法、装置和电子设备
Wang et al. Super-resolution of multi-observed RGB-D images based on nonlocal regression and total variation
CN111325697B (zh) 一种基于张量本征变换的彩色图像修复方法
Wang et al. 3D model inpainting based on 3D deep convolutional generative adversarial network
Zhou et al. PADENet: An efficient and robust panoramic monocular depth estimation network for outdoor scenes
CN113240584B (zh) 一种基于图片边缘信息的多任务手势图片超分辨率方法
CN117115359B (zh) 一种基于深度图融合的多视图电网三维空间数据重建方法
CN114119987A (zh) 基于卷积神经网络的特征提取和描述子生成方法及系统
Huang et al. Fast hole filling for view synthesis in free viewpoint video
Hesabi et al. Structure and texture image inpainting
CN112200752A (zh) 一种基于er网络多帧图像去模糊系统及其方法
CN116342385A (zh) 文本图像超分辨率网络的训练方法、装置以及存储介质
CN115272082A (zh) 模型训练、视频质量提升方法、装置和计算机设备
JP2011070283A (ja) 顔画像高解像度化装置、及びプログラム
CN113421188A (zh) 一种图像均衡增强的方法、系统、装置及存储介质
Chen et al. Adaptive Visual Field Multi-scale Generative Adversarial Networks Image Inpainting Base on Coordinate-Attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant