CN113222825B - 基于可见光图像训练的红外图像超分辨率重构方法及应用 - Google Patents

基于可见光图像训练的红外图像超分辨率重构方法及应用 Download PDF

Info

Publication number
CN113222825B
CN113222825B CN202110618404.7A CN202110618404A CN113222825B CN 113222825 B CN113222825 B CN 113222825B CN 202110618404 A CN202110618404 A CN 202110618404A CN 113222825 B CN113222825 B CN 113222825B
Authority
CN
China
Prior art keywords
image
resolution
layer
convolution
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110618404.7A
Other languages
English (en)
Other versions
CN113222825A (zh
Inventor
陶然
马鹏阁
杨小冬
刘兆瑜
李伟
揭斐然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Luoyang Institute of Electro Optical Equipment AVIC
Zhengzhou University of Aeronautics
Original Assignee
Beijing Institute of Technology BIT
Luoyang Institute of Electro Optical Equipment AVIC
Zhengzhou University of Aeronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT, Luoyang Institute of Electro Optical Equipment AVIC, Zhengzhou University of Aeronautics filed Critical Beijing Institute of Technology BIT
Priority to CN202110618404.7A priority Critical patent/CN113222825B/zh
Publication of CN113222825A publication Critical patent/CN113222825A/zh
Application granted granted Critical
Publication of CN113222825B publication Critical patent/CN113222825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于可见光图像训练的红外图像超分辨率重构方法及应用。其中所述重构方法通过由可见光图像的高分辨率图像块及其低分辨率图像块组成的训练集对含有注意力机制的密集残差卷积神经网络模型进行训练，由训练完成的模型对红外图像进行超分辨率重构，其模型收敛速度快、可高效准确地提取图像深层特征，由低分辨率红外图像得到细节及边缘清晰、丰富，图像分辨率高的高分辨率红外图像。

Description

基于可见光图像训练的红外图像超分辨率重构方法及应用
技术领域
本发明涉及图像处理方法的技术领域。
背景技术
红外图像依靠红外辐射感受和反映目标及背景向外辐射能量的差异，红外辐射有着穿透云、雾的能力，能够克服部分视觉上的阻碍而探测到目标，具有较大的作用距离和较强的抗干扰能力，可以全天时、全天候工作。但在成像过程中，图像会因光学透镜扭曲变形，并因大气模糊、传感器模糊，光学模糊和运动模糊以及噪声等一系列干扰因素的影响，通常只能得到分辨率相对较低的图像。解决该问题的一种方式是通过超分辨率对图像进行重构，实现从低分辨率图像获得高分辨率图像的目的。
另一方面，在红外和可见光融合图像方面，受限于传感器发展现状和成本约束，可见光传感器的分辨率往往明显高于红外传感器，若直接将红外图像放大到与可见光图像相同的分辨率后再进行两者融合，会使红外图像放大和插值产生的马赛克或图像模糊传递到融合图像中，影响融合图像质量和观察效果，因此也有必要利用超分辨率技术，生成高质量的高分辨率红外图像。
超分辨率图像在多个领域有广泛的应用，如医学影像、遥感影像和安防监控等领域。现有的图像超分辨率方法中，基于插值的方法通常利用低分辨率图像栅格上已知像素值来估计高分辨率图像栅格上的未知像素值，常见的插值方法如多项式插值和基于边缘驱动的插值，这些方法的计算复杂度较小，但获得的高分辨率图像易出现边缘平滑、模糊和混叠等失真现象。
为了突破传统图像插值的缺陷，一些现有技术基于均衡及非均衡采样定理，通过重建方法结合图像退化过程，利用图像先验建立超分辨率模型来估计高分辨率图像，但该类方法基本未考虑光学模糊和运动模糊的影响，不能够利用任何先验信息，图像的重建效果并不理想。
另一些现有技术基于学习的方法进行超分辨率图像的重构，如采用大量的高分辨率图像构造学习库产生学习模型，在对低分辨率图像进行恢复的过程中引入由学习模型获得的先验知识，以得到图像的高频细节，获得较好的图像恢复效果，但现有基于学习的红外图像超分辨率技术需要依赖于小图像区域的上下文，缺少细节信息，获得的图像过于平滑，且训练收敛速度较慢。
发明内容
本发明的目的在于提出一种新的红外图像超分辨率重构方法，其以可见光图像作为训练集，通过学习的方式对低分辨率的红外图像进行重构，可获得细节及边缘清晰、丰富，图像准确且分辨率高的红外图像，其使用的重构模型收敛速度快，可高效、准确地提取图像深层特征。
本发明的目的还在于提出上述重构方法在机载平台上的应用。
本发明首先公开了如下的技术方案：
基于可见光图像训练的红外图像超分辨率重构方法，其通过训练完成的重构模型对红外图像进行超分辨率重构，其中所述重构模型基于含有注意力机制的密集残差卷积神经网络构建，其训练集由尺寸相等的高分辨率可见光图像块及其低分辨率图像块组成。
根据本发明的一些具体实施方式，所述高分辨率可见光图像块及其低分辨率图像块的尺寸为120×120。
根据本发明的一些具体实施方式，所述高分辨率图像块通过将灰度化后的可见光图像分块得到。
根据本发明的一些具体实施方式，所述低分辨率图像块通过将所述高分辨率图像块进行双三次插值得到。
根据本发明的一些具体实施方式，所述双三次插值为n倍双三次插值，其中n＝2、3或4。
根据本发明的一些具体实施方式，所述重构模型包括以下结构：
输入层，与所述输入层连接的由第一类卷积层与激活函数层组成的浅层特征提取模块，与所述浅层特征提取模块连接的、由密集注意力残差块组成的深层特征提取模块，与所述输入层、所述浅层特征提取模块及所述深层特征提取模块连接的、由add函数构成的融合函数层，与所述融合函数层连接的、由第一类卷积层与激活函数层组成的映射模块，与所述映射模块连接的、由第三类卷积层形成的输出模块，其中：
所述第一类卷积层包括64个卷积核；
所述密集注意力残差块包括5个注意力残差块，其共同构成密集注意力残差块，每个注意力残差块依次包括第一类卷积层、激活函数层、第二类卷积层及一个注意力块，所述注意力块采用CBAM注意力模型。
根据本发明的一些具体实施方式，所述第一类卷积层的卷积核大小为64*3*3、卷积步长为1*1。
根据本发明的一些具体实施方式，所述第二类卷积层的卷积核大小为128*3*3、卷积步长为1*1。
根据本发明的一些具体实施方式，所述第三类卷积层的卷积核大小为1*3*3、卷积步长为1*1。
根据本发明的一些具体实施方式，所述激活函数层由ReLU激活函数构成。
即，根据本发明的一些具体实施方式，本发明中可共用到三种卷积，第一种卷积核大小为64*3*3，第二种卷积核大小为128*3*3，第三种卷积核大小为1*3*3，其步长均为1*1，在这三种卷积作用下，可共进行13次卷积操作，包括浅层特征提取1次，注意力残差块10次(5个注意力残差块，每块中有2次卷积操作)，映射与重构模块各1次。
根据本发明的一些具体实施方式，所述训练过程包括：
S21：通过所述浅层特征提取模块的第一类卷积层对输入的所述低分辨率图像块进行第一卷积处理，并通过激活函数对卷积后的图像特征进行提取，输出图像的浅层特征图；
S22：将提取到的浅层特征图输入至所述深层特征提取模块的多个注意力残差块中，同时每个注意力残差块的输入还包括其之前的全部注意力残差块的输出，经密集注意力残差块对特征进行深入挖掘，提取得到图像的深层特征图；
S23：将所述低分辨率图像块、所述浅层特征图及所述深层特征图通过融合层进行融合，得到融合图；
S24：将所得融合图输入映射模块，经映射模块的卷积层与激活函数处理后，实现由低分辨率图像到高分辨率图像映射，得到映射图；
S25将所得映射图输入输出模块，经其中的第三类卷积层的处理完成超分辨率图像的重构，得到重构图像；
S25将所述重构图像与其对应的所述高分辨率图像块进行对比，通过损失函数进行断迭代，得到优化后的重构模型；
S26将所述重构图像与其对应的所述高分辨率图像块进行对比，通过损失函数进行断迭代，得到优化后的重构模型。
根据本发明的一些具体实施方式，所述损失函为如下的MSE损失函数：
Figure BDA0003098678670000041
其中，
Figure BDA0003098678670000042
表示所述重构图像，Gi表示所述高分辨率图像块。
根据本发明的一些具体实施方式，所述训练过程还包括：以低分辨率红外图像作为测试集对所述优化后的重构模型进行测试，并根据测试结果调整训练参数或模型参数，得到训练完成的重构模型。
本发明进一步提供了上述重构方法的一种应用，为通过所述训练完成的重构模型对机载红外图像进行超分辨率重构。
本发明具备以下有益效果：
本发明中所述重构模型使用基于注意力机制的密集残差卷积神经网络，其结构简单，利用可见光图像对比度强，细节信息突出等特点辅助低分辨率红外图像进行训练，同时引入注意力机制将卷积神经网络改进为基于注意力机制的密集残差卷积神经网络，赋予模型不同区域、不同通道目标特征的不同权重，加快网络收敛速度，以更好的提取图像的深层特征。
本发明的重构方法通过灰度化后的可见光图像具有与红外图像相似的性质且更丰富的纹理细节信息的特点，用灰度化后的可见光图像进行训练，可为超分辨率红外图像的重构提供丰富的纹理细节信息。
通过本发明的重构方法可以实现对低分辨率机载红外图像的质量进行提升从而获得相应的高分辨率机载红外图像，该方法精度高，效果明显，且学习后的图像细节清晰，可以更加直接清楚的观察到物体纹理信息。
通过该方法得到的高分辨率机载红外图像具有清晰的画面感，可传递更多的目标信息。
附图说明
图1为本发明的重构方法的一种具体实施流程示意图。
图2为本发明的一种具体的重构模型的基础网络结构示意图。
图3为本发明的一种具体的注意力残差块的结构示意图。
图4为本发明的一种具体的密集注意力残差块结构示意图。
图5为本发明实施例1所得灰度化后的可见光图像。
图6为本发明实施例1所得分块后的可见光图像块。
图7为图6所示图像块经2倍双三次插值后所得低分辨率图像块。
图8为图6所示图像块经3倍双三次插值后所得低分辨率图像块。
图9为图6所示图像块经4倍双三次插值后所得低分辨率图像块。
图10-12为本发明实施例1所述的一些机载红外图像。
图13-15为图10-12的机载红外图像重构后分别得到的高分辨率图像。
图16为截取图10与图13所得的图像块对比图。
图17为截取图11与图14所得的图像块对比图。
图18为截取图12与图15所得的图像块对比图。
具体实施方式
以下结合实施例和附图对本发明进行详细描述，但需要理解的是，所述实施例和附图仅用于对本发明进行示例性的描述，而并不能对本发明的保护范围构成任何限制。所有包含在本发明的发明宗旨范围内的合理的变换和组合均落入本发明的保护范围。
根据本发明的技术方案，一种具体的重构方法实施方式包括如图1所示的步骤，具体如：
S1：选择高分辨率的可见光图像进行预处理，分别获得其高分辨率图像，及其低分辨率图像，以所述高分辨率图像作为标签图像G、低分辨率图像作为对比图像I；
更具体的，其可进一步包括：
S11：选择任意高分辨率可见光图像，如实施例选择的分辨率680*1024的可见光图像，对其进行灰度化，为增强训练样本的数据量，对灰度化后的图像进行分块，得到可见光图像块，如实施例选择分块得到大小为120*120的高分辨率可见光图像块，若训练样本较少，可将图像分块至更小的尺寸，将其作为标签图像G；
S12：对所得高分辨率可见光图像块进行n倍双三次插值处理，其中n＝2，3，4，且每个图像块均插值回原图像块的尺寸大小，插值后的可见光图像块为低分辨率图像，将其作为输入图像I。
S2：以所述高分辨率图像块及低分辨率图像块构成重构模型的训练集对重构模型进行训练；
更具体的，一种具体的重构模型为基于注意力机制的密集残差卷积神经网络模型，其具有如附图2所示的基础结构，更具体的，其包括：
输入层，与输入层连接的由一个卷积层与一个激活函数层组成的浅层特征提取模块，与浅层特征提取模块连接的、由密集注意力残差块组成的深层特征提取模块，与输入层、浅层特征提取模块及深层特征提取模块连接的、由add函数组成的融合层，与融合层连接的、由一个卷积层与一个激活函数层组成的映射模块，与映射模块连接的、由一个卷积层形成的输出模块，实现超分辨率图像重构。
其中，浅层特征提取模块中，所述卷积层可设置64个卷积核，每个卷积核尺寸为3*3，所述激活函数层可选择ReLU激活函数。
其中，深层特征提取模块中，更多的注意力残差块会带来信息的冗余，因此优选的，所述密集注意力残差块包括5个注意力残差块，其具体的连接形式为：把第n个注意力残差块的输出分别作为第n+1、n+2、……、N个注意力残差块的输入，其中，n∈N、N＝5，如附图4所示。
本发明的该深层特征提取模块中，每个注意力残差块的输出均作为后边注意力残差块的输入，且所得浅层特征也作为每个注意力残差块的输入，从而组成密集注意力残差块。考虑到深层的网络可以更好地提取图像的特征，但是会产生信息的冗余且网络收敛较慢，因此本发明优选的，在该深层特征提取模块中采用5块注意力残差块。
更具体的，每个注意力残差块依次包括一个卷积层、一个激活函数层、另一个卷积层及一个注意力块，如附图3所示。其中，第一个卷积层的卷积核大小为64*3*3，卷积步长为1*1，激活函数层为ReLU函数，另一个卷积层的卷积核大小为128*3*3，卷积步长为1*1，注意力块为CBAM注意力模型。
通过上述模型进行图像重构处理包括：对输入图像I经过所述浅层特征提取模块提取得到其浅层特征，其后通过深层特征提取模块提取得到其深层特征，将输入图像I、所得浅层特征和所得深层特征经融合层进行融合，再作为映射模块的输入，经低分辨率图像到高分辨率图像的映射，最后由输出层进行输出。
更具体，通过上述模型进行图像重构的过程可包括：
521：通过浅层特征提取模块的卷积层对输入的所述对比图像I、即所得低分辨率可见光图像块进行通道数改变的卷积处理，并通过激活层的激活函数对卷积后的图像特征进行提取，输出图像的浅层特征图，优选的，该卷积层选择较小的卷积核提取图像特征，如大小为64*3*3的卷积核，卷积步长为1*1，所述激活函数选择ReLU函数，该过程可表示如下：
F-1＝Conv1(I)  (1)
F0＝ReLU(F-1)  (2)，
其中，Conv1(·)表示浅层特征提取模块中的卷积处理，ReLU(·)表示激活函数，F0表示提取得到的浅层图像特征。
522：将提取到的浅层特征图输入至深层特征提取模块的每个注意力残差块中，同时每个注意力残差块的输入还包括其之前的全部注意力残差块的输出，经注意力残差块同时处理输入特征，提取得到图像的深层特征图，优选的，每个注意力残差块中，本发明选择较小的卷积核以满足机载图像的要求，如第一层卷积卷积核大小为64*3*3，步长为1*1，第二层卷积卷积核大小为128*3*3，步长为1*1。其过程可表示如下：
H1＝Conv2(ReLU(F0))  (3)
H2＝Conv2(H1)  (4)
F1＝Att(H2)  (5)
F1＝Att(Conv2(Conv2(ReLU(F0))))＝Resat(F0)  (6)
F2＝Resat(F0，F1)  (7)
Fn＝Resat(F0，FI，…，Fn-1)  (8)
其中，Conv2(·)表示注意力残差块中的卷积处理，Att(·)表示注意力块处理，F1表示第一个注意力残差块的输出，F2表示第二个注意力残差块的输出，Fn表示第n个注意力残差块的输出。
本发明通过上述密集注意力残差模块不仅可加快网络收敛速度，而且在提取图像深层特征的同时，可对高频区域如物体与目标边界区域分配更高的权重，对低频区域如物体与目标内部区域分配较低的权重以更好的实现低分辨率图像到高分辨率图像的学习。
S23：将输入的对比图像I、所述浅层特征图及所述深层特征图通过融合层进行融合，其过程可表示如下：
Fn+1＝Fus(I，F0，Fn)  (9)
其中，Fn+1表示融合层输出，Fus()表示Add函数。
S24：将所得融合图输入映射模块，经映射模块的卷积层与激活函数处理后，实现由低分辨率图像到高分辨率图像映射，得到映射图，优选的，本发明在该模块中选择尺寸较小的、通道数扩大的卷积核，如卷积核大小为128*3*3，步长为1*1；激活函数选择为ReLU函数，其过程可表示为：
FMapping＝Conv3(ReLU(Fn+1))  (10)，
其中，Fn+1表示融合层输出，FMapping为映射模块输出，Conv3(·)表示第三卷积过程。
S25：将所得映射图输入输出模块，经其中卷积层的处理完成超分辨率图像的重构，优选的，在该模块中，本发明使用尺寸较小的、通道数与原图像相同的卷积核，如卷积核大小为1*3*3，步长为1*1。其过程可表示为：
Fo＝C0nv4(FMapping)  (11)
其中，Conv4(·)表示第四卷积处理，Fo表示输出的超分辨率图像。
在上述处理过程下，本发明通过将获得的重构图像与其对应的标签图像G进行对比，计算损失函数并不断迭代优化模型参数的过程进行模型训练，最终生成预训练模型并保存。
其中，更具体的，损失函数优选使用MSE损失函数，如下：
Figure BDA0003098678670000091
其中，
Figure BDA0003098678670000092
表示所得超分辨率图像，Gi表示高分辨率标签图像。
S3将低分辨率红外图像T作为测试集对所得预训练模型进行测试，并根据测试结果调整训练参数或模型参数，得到通过测试后的训练模型并保存。
优选的，其中所述低分辨率红外图像为机载低分辨率红外图像。
实施例1
选取20张大小为680*1024的高分辨率可见光图像，对其进行灰度化处理，得到如附图5所示的灰度图，将该灰度图剪裁为120*120大小的分块，得到如附图6所示的一些图像块，对图像块进行2、3、4倍双三次插值，然后插值为原图像块大小，分别得到如附图7、8、9所示的低分辨率图像块。以原灰度图的图像块作为高分辨率标签图像G和插值后的图像块作为低分辨率对比图像I组成重构模型的训练数据集。
将对比图像块输入如上具体实施方式中优选方案所述的重构模型中进行训练，其中，获得的整体特征先通过卷积核大小为128*3*3，步长为1*1的卷积层，再通过激活函数，完成由低分辨率图像到高分辨率图像的映射，获得的映射部分的输出通过卷积核大小为1*3*3，步长为1*1的卷积层，实现图像通道的融合，得到超分辨率输出图像O，完成图像重构部分，通过计算超分辨率图像O与高分辨率标签图像G之间的损失函数MSE，不断迭代优化更新MSE，学习出低分率图像到高分辨率图像的映射与权重，针对不同倍数的插值共得到3个不同的预训练模型，并保存。
选取一些机载红外图像作为低分辨率测试图像，如附图10、11、12所示。将其分别输入上述3个预训练好的不同下采样倍数的.mat模型中，生成超分辨率机载红外图像，如附图13、14、15所示。
自测试图像10与其重构后的超分辨率图像13相同位置截取200*200的图像块，可得到如附图16所示的对比图，同样地，截取图11与14，得到如附图17所示的对比图；截取图12与15，得到如附图18所示的对比图，通过对比图可以看出，本发明的方法可恢复更多的细节信息，得到一个较为清晰的机载红外图像，能够展示更多的纹理信息，十分完整的保留了物体的边缘信息。
以上实施例仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例。凡属于本发明思路下的技术方案均属于本发明的保护范围。应该指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下的改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.基于可见光图像训练的红外图像超分辨率重构方法，其特征在于：通过训练完成的重构模型对红外图像进行超分辨率重构，其中所述重构模型基于含有注意力机制的密集残差卷积神经网络构建，其训练集由尺寸相等的高分辨率可见光图像块及其低分辨率图像块组成；其中，所述高分辨率图像块通过将灰度化后的可见光图像分块得到；所述低分辨率图像块通过将所述高分辨率图像块进行双三次插值得到；所述重构模型包括以下结构：
输入层，与所述输入层连接的由第一类卷积层与激活函数层组成的浅层特征提取模块，与所述浅层特征提取模块连接的、由密集注意力残差块组成的深层特征提取模块，与所述输入层、所述浅层特征提取模块及所述深层特征提取模块连接的融合函数层，与所述融合函数层连接的、由第一类卷积层与激活函数层组成的映射模块，与所述映射模块连接的、由第三类卷积层形成的输出模块，其中：
所述第一类卷积层包括64个卷积核；
所述密集注意力残差块包括5个注意力残差块，其共同构成密集注意力残差块，每个注意力残差块依次包括第一类卷积层、激活函数层、第二类卷积层及一个注意力块，所述注意力块采用CBAM注意力模型；
所述融合函数层由一个add函数构成，对特征进行融合；
对所述重构模型的训练的过程包括：
S21：通过所述浅层特征提取模块的第一类卷积层对输入的所述低分辨率图像块进行第一卷积处理，并通过激活函数对卷积后的图像特征进行提取，输出图像的浅层特征图；
S22：将提取到的浅层特征图输入至所述深层特征提取模块的多个注意力残差块中，同时每个注意力残差块的输入还包括其之前的全部注意力残差块的输出，经密集注意力残差块对特征进行深入挖掘，提取得到图像的深层特征图；
S23：将所述低分辨率图像块、所述浅层特征图及所述深层特征图通过融合层进行融合，得到融合图；
S24：将所得融合图输入映射模块，经映射模块的卷积层与激活函数处理后，实现由低分辨率图像到高分辨率图像映射，得到映射图；
S25将所得映射图输入输出模块，经其中的第三类卷积层的处理完成超分辨率图像的重构，得到重构图像；
S26将所述重构图像与其对应的所述高分辨率图像块进行对比，通过损失函数进行断迭代，得到优化后的重构模型。
2.根据权利要求1所述的重构方法，其特征在于：所述双三次插值为n倍双三次插值，其中n＝2、3或4。
3.根据权利要求1所述的重构方法，其特征在于：所述重构模型中，所述第一类卷积层的卷积核大小为64*3*3、卷积步长为1*1；和/或，所述第二类卷积层的卷积核大小为128*3*3、卷积步长为1*1；和/或，所述第三类卷积层的卷积核大小为1*3*3、卷积步长为1*1；和/或，所述激活函数层由ReLU激活函数构成。
4.根据权利要求1所述的重构方法，其特征在于：所述损失函为如下的MSE损失函数：
Figure FDA0003944667750000021
其中，
Figure FDA0003944667750000022
表示所述重构图像，
Figure FDA0003944667750000023
表示所述高分辨率图像块。
5.根据权利要求1所述的重构方法，其特征在于：所述训练过程还包括：以低分辨率红外图像作为测试集对所述优化后的重构模型进行测试，并根据测试结果调整训练参数或模型参数，得到训练完成的重构模型。
6.权利要求1-5中任一项所述的重构方法在机载红外图像的超分辨率重构中的应用，其特征在于：通过所述训练完成的重构模型对机载红外图像进行超分辨率重构。
CN202110618404.7A 2021-06-03 2021-06-03 基于可见光图像训练的红外图像超分辨率重构方法及应用 Active CN113222825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110618404.7A CN113222825B (zh) 2021-06-03 2021-06-03 基于可见光图像训练的红外图像超分辨率重构方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110618404.7A CN113222825B (zh) 2021-06-03 2021-06-03 基于可见光图像训练的红外图像超分辨率重构方法及应用

Publications (2)

Publication Number Publication Date
CN113222825A CN113222825A (zh) 2021-08-06
CN113222825B true CN113222825B (zh) 2023-04-18

Family

ID=77082492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110618404.7A Active CN113222825B (zh) 2021-06-03 2021-06-03 基于可见光图像训练的红外图像超分辨率重构方法及应用

Country Status (1)

Country Link
CN (1) CN113222825B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793268B (zh) * 2021-09-30 2023-07-14 中国人民解放军国防科技大学 序列图像红外小目标超分辨方法、装置、设备和存储介质
CN114387258B (zh) * 2022-01-14 2024-03-22 北京理工大学重庆创新中心 基于区域动态深度展开神经网络的高光谱图像重构方法
CN114494186B (zh) * 2022-01-25 2022-11-08 国网吉林省电力有限公司电力科学研究院 一种高压输变电线路电气设备的故障检测方法
CN114913069B (zh) * 2022-04-26 2024-05-03 上海大学 一种基于深度神经网络的红外图像超分辨率重建方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754403A (zh) * 2020-06-15 2020-10-09 南京邮电大学 一种基于残差学习的图像超分辨率重构方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI624804B (zh) * 2016-11-07 2018-05-21 盾心科技股份有限公司 利用超解析重建法生成高解析度影像的方法與系統
CN110033410B (zh) * 2019-03-28 2020-08-04 华中科技大学 图像重建模型训练方法、图像超分辨率重建方法及装置
CN112001843B (zh) * 2020-07-28 2022-09-06 南京理工大学 一种基于深度学习的红外图像超分辨率重建方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754403A (zh) * 2020-06-15 2020-10-09 南京邮电大学 一种基于残差学习的图像超分辨率重构方法

Also Published As

Publication number Publication date
CN113222825A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN113222825B (zh) 基于可见光图像训练的红外图像超分辨率重构方法及应用
CN108550115B (zh) 一种图像超分辨率重建方法
Gajjar et al. New learning based super-resolution: use of DWT and IGMRF prior
CN109146787B (zh) 一种基于插值的双相机光谱成像系统的实时重建方法
Sun et al. Lightweight image super-resolution via weighted multi-scale residual network
CN112529776B (zh) 图像处理模型的训练方法、图像处理方法及装置
Liu et al. Effective image super resolution via hierarchical convolutional neural network
Vu et al. Perception-enhanced image super-resolution via relativistic generative adversarial networks
Guo et al. Multiscale semilocal interpolation with antialiasing
CN111127325A (zh) 基于循环神经网络的卫星视频超分辨率重建方法及系统
Karam et al. An efficient selective perceptual-based super-resolution estimator
CN110634103A (zh) 基于生成对抗网络的图像去马赛克方法
CN111242999B (zh) 基于上采样及精确重匹配的视差估计优化方法
CN112184547A (zh) 红外图像的超分辨率方法及计算机可读存储介质
Shao et al. Uncertainty-guided hierarchical frequency domain transformer for image restoration
Gao et al. Bayesian image super-resolution with deep modeling of image statistics
Wang et al. Underwater image super-resolution using multi-stage information distillation networks
CN114202459A (zh) 一种基于深度先验的盲图像超分辨率方法
Sun et al. A rapid and accurate infrared image super-resolution method based on zoom mechanism
CN113674154B (zh) 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统
Wang et al. Fast convergence strategy for multi-image superresolution via adaptive line search
Yuan et al. Unsupervised real image super-resolution via knowledge distillation network
Wei et al. Stage-GAN with semantic maps for large-scale image super-resolution
Umer et al. Real Image Super-Resolution using GAN through modeling of LR and HR process
Aarizou et al. Self-similarity single image super-resolution based on blur kernel estimation for texture reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant