CN113538229B - 基于特征循环融合的多帧红外图像超分辨率方法和系统 - Google Patents

基于特征循环融合的多帧红外图像超分辨率方法和系统 Download PDF

Info

Publication number
CN113538229B
CN113538229B CN202110593860.0A CN202110593860A CN113538229B CN 113538229 B CN113538229 B CN 113538229B CN 202110593860 A CN202110593860 A CN 202110593860A CN 113538229 B CN113538229 B CN 113538229B
Authority
CN
China
Prior art keywords
resolution
super
infrared image
low
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110593860.0A
Other languages
English (en)
Other versions
CN113538229A (zh
Inventor
吴立军
吴钰
段尧明
阮啸寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202110593860.0A priority Critical patent/CN113538229B/zh
Publication of CN113538229A publication Critical patent/CN113538229A/zh
Application granted granted Critical
Publication of CN113538229B publication Critical patent/CN113538229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供一种基于特征循环融合的多帧红外图像超分辨率方法和系统，使用了循环融合特征的机制，按照输入帧的顺序依次循环融合特征，并将融合结果传至下一次循环进行信息的传递。于是处理多帧时不会带来太多时间上的增加，同时能输出高分辨率结果；引入金字塔级联可变形卷积对齐法，并对其进行了修改。可变形卷积对齐效果提升的主要原因是偏移组数的提升；不同的偏移组数之间既可以相互补充，提升了容错率，又允许网络聚合来自于不同位置的信息。

Description

基于特征循环融合的多帧红外图像超分辨率方法和系统
技术领域
本发明实施例涉及光学图像处理技术领域，尤其涉及一种基于特征循环融合的多帧红外图像超分辨率方法和系统。
背景技术
红外线的波长在0.76um-1000um之间，可按波长分为近红外线、长红外线、远红外线。从近红外线到远红外线，波长依次增大，能量依次减小。长波长红外线是热成像的区域，热像仪利用热而不是可见光产生图像。红外热成像技术在工业控制、电力检测、安防监控等领域有着重要的作用，但是红外热成像所用探测器像元尺寸进一步减小困难，红外热成像系统受衍射极限制约，以及成像过程中复杂噪声的影响，红外热成像目前还存在成像分辨率低、信噪比小等缺点。
基于多幅图像的超分辨率可以比单幅图像引入更多的先验知识，对于多帧红外图像超分辨率，有研究组提出基于微扫描成像的图像超分辨率重建技术。微扫描需要与硬件结构配合得到具有微小位移的图像序列，融合序列图像来提高成像质量。微扫描法要求多帧图像之间是亚像素位移，对硬件结构的精度要求极高，且成像场景不存在局部移动。
发明内容
本发明实施例提供一种基于特征循环融合的多帧红外图像超分辨率方法和系统，使用了循环融合特征的机制，按照输入帧的顺序依次循环融合特征，并将融合结果传至下一次循环进行信息的传递，对输入低分辨率红外图像的数量、大小并没有限制，输入任意帧数红外图像，都可以得到相对高分辨率的结果。
第一方面，本发明实施例提供一种基于特征循环融合的多帧红外图像超分辨率方法，包括：
步骤S1、将高分辨率红外图像序列缩小为低分辨率红外图像序列；
步骤S2、将所述低分辨率红外图像序列输入至超分辨率网络进行训练，以对所述低分辨率红外图像序列进行特征图提取、特征图融合及图像重建，对重建后的图像进行上采样，得到高分辨率红外特征图序列；
步骤S3、将所述高分辨率红外特征图序列和所述低分辨率红外图像序列双三次差值进行相加，得到超分辨率重建结果。
作为优选的，还包括：
步骤S4、确定所述超分辨率重建结果与所述高分辨率红外图像序列之间的损失，基于梯度下降法优化所述超分辨率网络的网络参数，重复训练所述步骤S1至所述步骤S3，直至达到预设迭代次数。
作为优选的，还包括：
步骤S5、基于所述超分辨率网络对输入的低分辨率红外图像序列进行超分辨率处理，以获取测试结果图。
作为优选的，所述步骤S1具体包括：
对高分辨率红外图像序列进行下采样，并进行数据增强，得到翻转、旋转后的低分辨率红外图像。
作为优选的，所述步骤S2具体包括：
步骤S21、将所述低分辨率红外图像序列输入至超分辨率网络，基于所述超分辨率网络的特征提取模块提取低分辨率红外特征图序列；
步骤S22、将所述低分辨率红外特征图序列进行循环级联融合，得到引入前后帧信息的特征图融合结果；
步骤S23、将所述特征图融合结果输入至所述超分辨率网络的重建模块，对所述重建模块输出的图像进行上采样，得到高分辨率红外特征图序列。
作为优选的，所述步骤S22具体包括：
将所述低分辨率红外特征图序列输入至循环融合模块，按顺序依次循环融合低分辨率红外特征图序列Ft-1、Ft、Ft+1，循环输入为Ht-1、Ft；其中，循环第一次的Ht-1随机生成，Ht-1向Ft对齐，对齐方法为级联金字塔可变对齐法；
基于循环融合模块将对齐结果与Ft进行融合，循环融合模块为20层的残差模块，残差卷积核为3x3，数量为64，去除了批归一化层；
融合结果为Ht，作为本次循环的输出传至下一次循环进行特征信息的传递。
作为优选的，所述步骤S22中，循环次数为所述低分辨率红外特征图序列的数量的N倍，N≥2；
所述循环融合模块的循环顺序为第一帧到最后一帧，再从最后一帧到第一帧。
第二方面，本发明实施例提供一种基于特征循环融合的多帧红外图像超分辨率系统，包括：
预处理模块，将高分辨率红外图像序列缩小为低分辨率红外图像序列；
特征图提取模块，将所述低分辨率红外图像序列输入至超分辨率网络进行训练，以对所述低分辨率红外图像序列进行特征图提取、特征图融合及图像重建，对重建后的图像进行上采样，得到高分辨率红外特征图序列；
重建模块，将所述高分辨率红外特征图序列和所述低分辨率红外图像序列双三次差值进行相加，得到超分辨率重建结果。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述基于特征循环融合的多帧红外图像超分辨率方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述基于特征循环融合的多帧红外图像超分辨率方法的步骤。
本发明实施例提供的一种基于特征循环融合的多帧红外图像超分辨率方法和系统，使用了循环融合特征的机制，按照输入帧的顺序依次循环融合特征，并将融合结果传至下一次循环进行信息的传递。于是处理多帧时不会带来太多时间上的增加，同时能输出高分辨率结果；引入金字塔级联可变形卷积对齐法，并对其进行了修改。可变形卷积对齐效果提升的主要原因是偏移组数的提升；不同的偏移组数之间既可以相互补充，提升了容错率，又允许网络聚合来自于不同位置的信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的基于特征循环融合的多帧红外图像超分辨率方法流程框图；
图2为根据本发明实施例的所述的超分辨率算法流程图；
图3为根据本发明实施例的亚像素卷积示意图，意为将输入特征图多通道上的像素依次重排列至输入特征图；
图4为根据本发明实施例的重建模块前、后部分算法示意图；
图5(a)为根据本发明实施例的超分辨率重建结果以及与其他网络模型的对比；
图5(b)为根据本发明实施例的超分辨率重建结果以及与其他网络模型的对比，GroundTruth为高分辨率红外图像原图，LR是低分辨率红外图像，TO-Flow、SRResNet、DUF是现有技术方法的对比实验结果图，FRDN是本发明实施例的方法进行超分辨率的结果图；
图6为根据本发明是实施例的方法，分别使用红外数据集与可见光数据集在320x240重建到1280x960时得到的结果示意图；
图7为根据本发明实施例的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的系统、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
基于多幅图像的超分辨率可以比单幅图像引入更多的先验知识，对于多帧红外图像超分辨率，有研究组提出基于微扫描成像的图像超分辨率重建技术。微扫描需要与硬件结构配合得到具有微小位移的图像序列，融合序列图像来提高成像质量。微扫描法要求多帧图像之间是亚像素位移，对硬件结构的精度要求极高，且成像场景不存在局部移动。
因此，本发明实施例提供一种基于特征循环融合的多帧红外图像超分辨率方法和系统，使用了循环融合特征的机制，按照输入帧的顺序依次循环融合特征，并将融合结果传至下一次循环进行信息的传递。于是处理多帧时不会带来太多时间上的增加，同时能输出高分辨率结果·。以下将通过多个实施例进行展开说明和介绍。
图1为本发明实施例提供一种基于特征循环融合的多帧红外图像超分辨率方法，如图1和图2中所示，包括：
步骤S1、将高分辨率红外图像序列缩小为低分辨率红外图像序列；
对高分辨率红外图像序列进行下采样，并进行数据增强，得到翻转、旋转后的低分辨率红外图像。
缩小图像(或称为下采样(subsampled)或降采样(downsampled))的主要目的有两个：1、使得图像符合显示区域的大小；2、生成对应图像的缩略图。放大图像(或称为上采样(upsampling)或图像插值；
对于一幅图像I尺寸为M*N，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的得分辨率图像，当然s应该是M和N的公约数才行，如果考虑的是矩阵形式的图像，就是把原始图像s*s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值。
具体的，在本实施例中，用载有红外热成像系统无人机拍摄了100个有关于架空杆塔的视频，拍摄方式是由人手持无人机控制设备在杆塔下方拍摄，在重点拍摄部分停留一段时间后缓慢移动至下一个位置。
红外相机的帧率是20帧每秒，故停留3-4s就会产生60-80帧同一场景视频，训练时并不需要如此多同一场景的图片。抛弃了人工筛选的方法，人肉眼去判断几万张图片前后两帧是否有位移是不准确且工作量巨大；
利用FFMPEG音视频编辑软件将所有的红外视频转换为PNG图片格式，借助光流算法对所有的图片进行光流运动幅度值的计算。所有红外图片按照每组最多7帧进行分组。大于5视为有明显移动，打上记号，没有记号的帧表明无人机停留无明显运动，将其删除到只剩下一组，完成了数据集的制作。
将640x480高分辨率红外数据集图像序列下采样、数据增强得到翻转、旋转后的160x120低分辨率红外图像序列；
步骤S2、将所述低分辨率红外图像序列输入至超分辨率网络进行训练，以对所述低分辨率红外图像序列进行特征图提取、特征图融合及图像重建，对重建后的图像进行上采样，得到高分辨率红外特征图序列；
具体的，在本实施例中，超分辨率网络采用的神经网络设置为残差学习，仅学习高频细节，低频信息在最后与网络输出相加。最后方法实现了一个长连接结构，输入的双三次插值结果加上网络输出得到最终结果。
步骤S21、将所述低分辨率红外图像序列输入至超分辨率网络，基于所述超分辨率网络的特征提取模块提取低分辨率红外特征图序列；
具体的，如图2所示，将所述低分辨率红外图像序列通过5层卷积核大小为3x3，数量为64的残差模块进行计算，获得低分辨率红外特征图序列Ft。
使用长残差连接来连接输入输出，长连接残差结构只需要进行残差学习，其收敛速度与精度都会更加优秀。提高了红外超分辨率的质量。
步骤S22、将所述低分辨率红外特征图序列进行循环级联融合，得到引入前后帧信息的特征图融合结果；
将所述低分辨率红外特征图序列按照t的顺序依次循环融合特征Ft-1,、Ft、Ft+1，循环输入为Ht-1、Ft，循环第一次的Ht-1随机生成，Ht-1向Ft对齐，对齐方法为级联金字塔可变对齐法；
将所述对齐结果再与Ft进行融合，循环融合模块为20层的残差模块，残差卷积核为3x3，数量为64，去除了批归一化层，得到融合后的特征图Ht；
本实施例中采用亚像素卷积代替反卷积用于图像上采样来改进和优化网络结构，亚像素卷积避免了反卷积中大量零的危险，提升了超分辨网络的性能。
将所述融合结果Ht作为本次循环的输出传至下一次循环进行特征信息的传递。循环融合模块为双向循环，循环顺序会是顺序和逆序。由此最后会有两组向量序列，需要将其进行融合。融合卷积核大小为1x1，输入数量为128，输出为64，最终的融合结果为Ht-1，Ht，Ht+1。
本实施例中，引入金字塔级联可变形卷积对齐法。并对其进行了修改。可变形卷积对齐效果提升的主要原因是偏移组数的提升。不同的偏移组数之间既可以相互补充，提升了容错率，又允许网络聚合来自于不同位置的信息。在特征融合这里，使用了一种循环融合特征的机制，按照输入帧的顺序依次循环融合特征，并将融合结果传至下一次循环进行信息的传递。于是处理多帧时不会带来太多时间上的增加，同时能输出高分辨率结果。
特征图输入循环融合模块，循环次数为特征图数量的两倍，因为此结构是一个双向循环结构。因为双向循环的特性，特征图的循环顺序会是第一帧到最后一帧，再从最后一帧到第一帧，每一帧都经过两次对齐、级联、融合处理，两次结果融合。
步骤S23、将所述特征图融合结果输入至所述超分辨率网络的重建模块，对所述重建模块输出的图像进行上采样，得到高分辨率红外特征图序列。
步骤S3、将所述高分辨率红外特征图序列和所述低分辨率红外图像序列双三次差值进行相加，得到超分辨率重建结果。
具体的，重建模块的前部分是20层的残差模块，残差卷积核为3x3，数量为64，去除了批归一化层。后半部分是亚像素卷积层进行上采样得到高分辨率红外特征图序列，如图3所示。实现了四倍上采样，最后是对特征图进行了两次亚像素卷积操作得到高分辨率红外特征图序列。
将所述高分辨率特征图序列通过1x1卷积，将通道降到3，得到高分辨率残差图像，再与输入低分辨率图像序列相加得到超分辨率结果，如此形成长连接残差结构，如图3所示。
步骤S4、确定所述超分辨率重建结果与所述高分辨率红外图像序列之间的损失，基于梯度下降法优化所述超分辨率网络的网络参数，重复训练所述步骤S1至所述步骤S3，直至达到预设迭代次数。
通过所述迭代次数确定卷积神经网络训练是否完成，具体为：迭代次数小于30000，则确定红外图像超分辨网络训练完成，否则，确定红外图像超分辨网络训练未完成。
步骤S5、基于所述超分辨率网络对输入的低分辨率红外图像序列进行超分辨率处理，以获取测试结果图。
网络训练完之后，通过训练好的网络获取测试图像重建结果图。如图4所示，是上采样倍数为4的红外图像超分辨率结果，和其他算法做了对比，本发明的算法有显著的优点。图5(a)、(b)是本发明实施例超分辨率重建结果以及与现有技术其他网络模型的对比，GroundTruth为高分辨率红外图像原图，LR是低分辨率红外图像，TO-Flow、SRResNet、DUF是对比实验，FRDN是本发明方法。图6是分别使用红外数据集与可见光数据集在320x240重建到1280x960时得到的结果。从图中可以看出本发明实施例比起其他结果边缘纹理更加清晰，如红箭头所指，更多的电线曲折边缘被恢复，主观感受也更好。
本发明实施例还提供一种基于特征循环融合的多帧红外图像超分辨率系统，基于上述各实施例中的基于特征循环融合的多帧红外图像超分辨率方法，包括：
预处理模块，将高分辨率红外图像序列缩小为低分辨率红外图像序列；
特征图提取模块，将所述低分辨率红外图像序列输入至超分辨率网络进行训练，以对所述低分辨率红外图像序列进行特征图提取、特征图融合及图像重建，对重建后的图像进行上采样，得到高分辨率红外特征图序列；
重建模块，将所述高分辨率红外特征图序列和所述低分辨率红外图像序列双三次差值进行相加，得到超分辨率重建结果。
基于相同的构思，本发明实施例还提供了一种实体结构示意图，如图7所示，该服务器可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如上述各实施例所述基于特征循环融合的多帧红外图像超分辨率方法的步骤。例如包括：
步骤S1、将高分辨率红外图像序列缩小为低分辨率红外图像序列；
步骤S2、将所述低分辨率红外图像序列输入至超分辨率网络进行训练，以对所述低分辨率红外图像序列进行特征图提取、特征图融合及图像重建，对重建后的图像进行上采样，得到高分辨率红外特征图序列；
步骤S3、将所述高分辨率红外特征图序列和所述低分辨率红外图像序列双三次差值进行相加，得到超分辨率重建结果。
步骤S4、确定所述超分辨率重建结果与所述高分辨率红外图像序列之间的损失，基于梯度下降法优化所述超分辨率网络的网络参数，重复训练所述步骤S1至所述步骤S3，直至达到预设迭代次数。
步骤S5、基于所述超分辨率网络对输入的低分辨率红外图像序列进行超分辨率处理，以获取测试结果图。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
基于相同的构思，本发明实施例还提供一种非暂态计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包含至少一段代码，该至少一段代码可由主控设备执行，以控制主控设备用以实现如上述各实施例所述基于特征循环融合的多帧红外图像超分辨率方法的步骤。例如包括：
步骤S1、将高分辨率红外图像序列缩小为低分辨率红外图像序列；
步骤S2、将所述低分辨率红外图像序列输入至超分辨率网络进行训练，以对所述低分辨率红外图像序列进行特征图提取、特征图融合及图像重建，对重建后的图像进行上采样，得到高分辨率红外特征图序列；
步骤S3、将所述高分辨率红外特征图序列和所述低分辨率红外图像序列双三次差值进行相加，得到超分辨率重建结果。
步骤S4、确定所述超分辨率重建结果与所述高分辨率红外图像序列之间的损失，基于梯度下降法优化所述超分辨率网络的网络参数，重复训练所述步骤S1至所述步骤S3，直至达到预设迭代次数。
步骤S5、基于所述超分辨率网络对输入的低分辨率红外图像序列进行超分辨率处理，以获取测试结果图。
基于相同的技术构思，本申请实施例还提供一种计算机程序，当该计算机程序被主控设备执行时，用以实现上述方法实施例。
所述程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。
基于相同的技术构思，本申请实施例还提供一种处理器，该处理器用以实现上述方法实施例。上述处理器可以为芯片。
综上所述，本发明实施例提供的一种基于特征循环融合的多帧红外图像超分辨率方法和系统，使用了循环融合特征的机制，按照输入帧的顺序依次循环融合特征，并将融合结果传至下一次循环进行信息的传递。于是处理多帧时不会带来太多时间上的增加，同时能输出高分辨率结果；引入金字塔级联可变形卷积对齐法，并对其进行了修改。可变形卷积对齐效果提升的主要原因是偏移组数的提升；不同的偏移组数之间既可以相互补充，提升了容错率，又允许网络聚合来自于不同位置的信息。
本发明的各实施方式可以任意进行组合，以实现不同的技术效果。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidStateDisk)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于特征循环融合的多帧红外图像超分辨率方法，其特征在于，包括：
步骤S1、将高分辨率红外图像序列缩小为低分辨率红外图像序列；
步骤S2、将所述低分辨率红外图像序列输入至超分辨率网络进行训练，以对所述低分辨率红外图像序列进行特征图提取、特征图融合及图像重建，对重建后的图像进行上采样，得到高分辨率红外特征图序列；其中，还包括：
步骤S21、将所述低分辨率红外图像序列输入至超分辨率网络，基于所述超分辨率网络的特征提取模块提取低分辨率红外特征图序列；其中，将所述低分辨率红外图像序列通过5层卷积核大小为3x3，数量为64的残差模块进行计算，获得低分辨率红外特征图序列Ft；使用长残差连接来连接输入输出，长连接残差结构只需要进行残差学习；
步骤S22、将所述低分辨率红外特征图序列进行循环级联融合，得到引入前后帧信息的特征图融合结果；其中，还包括：
将所述低分辨率红外特征图序列输入至循环融合模块，按顺序依次循环融合低分辨率红外特征图序列Ft-1、Ft、Ft+1，循环输入为Ht-1、Ft；其中，循环第一次的Ht-1随机生成，Ht-1向Ft对齐，对齐方法为级联金字塔可变对齐法；
基于循环融合模块将对齐结果与Ft进行融合，循环融合模块为20层的残差模块，残差卷积核为3x3，数量为64，去除了批归一化层，得到融合后的特征图Ht；采用亚像素卷积代替反卷积用于图像上采样来改进和优化网络结构；
融合结果为Ht，作为本次循环的输出传至下一次循环进行特征信息的传递；
循环次数为所述低分辨率红外特征图序列的数量的N倍，N≥2；所述循环融合模块的循环顺序为第一帧到最后一帧，再从最后一帧到第一帧；每一帧都经过两次对齐、级联、融合处理，两次结果融合；
步骤S23、将所述特征图融合结果输入至所述超分辨率网络的重建模块，对所述重建模块输出的图像进行上采样，得到高分辨率红外特征图序列；
步骤S3、将所述高分辨率红外特征图序列和所述低分辨率红外图像序列双三次差值进行相加，得到超分辨率重建结果。
2.根据权利要求1所述的基于特征循环融合的多帧红外图像超分辨率方法，其特征在于，还包括：
步骤S4、确定所述超分辨率重建结果与所述高分辨率红外图像序列之间的损失，基于梯度下降法优化所述超分辨率网络的网络参数，重复训练所述步骤S1至所述步骤S3，直至达到预设迭代次数。
3.根据权利要求2所述的基于特征循环融合的多帧红外图像超分辨率方法，其特征在于，还包括：
步骤S5、基于所述超分辨率网络对输入的低分辨率红外图像序列进行超分辨率处理，以获取测试结果图。
4.根据权利要求1所述的基于特征循环融合的多帧红外图像超分辨率方法，其特征在于，所述步骤S1具体包括：
对高分辨率红外图像序列进行下采样，并进行数据增强，得到翻转、旋转后的低分辨率红外图像。
5.一种基于特征循环融合的多帧红外图像超分辨率系统，其特征在于，所述系统应用于权利要求1-4任一项所述基于特征循环融合的多帧红外图像超分辨率方法，所述系统包括：
预处理模块，将高分辨率红外图像序列缩小为低分辨率红外图像序列；
特征图提取模块，将所述低分辨率红外图像序列输入至超分辨率网络进行训练，以对所述低分辨率红外图像序列进行特征图提取、特征图融合及图像重建，对重建后的图像进行上采样，得到高分辨率红外特征图序列；
重建模块，将所述高分辨率红外特征图序列和所述低分辨率红外图像序列双三次差值进行相加，得到超分辨率重建结果。
6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述基于特征循环融合的多帧红外图像超分辨率方法的步骤。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述基于特征循环融合的多帧红外图像超分辨率方法的步骤。
CN202110593860.0A 2021-05-28 2021-05-28 基于特征循环融合的多帧红外图像超分辨率方法和系统 Active CN113538229B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110593860.0A CN113538229B (zh) 2021-05-28 2021-05-28 基于特征循环融合的多帧红外图像超分辨率方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110593860.0A CN113538229B (zh) 2021-05-28 2021-05-28 基于特征循环融合的多帧红外图像超分辨率方法和系统

Publications (2)

Publication Number Publication Date
CN113538229A CN113538229A (zh) 2021-10-22
CN113538229B true CN113538229B (zh) 2023-12-12

Family

ID=78095478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110593860.0A Active CN113538229B (zh) 2021-05-28 2021-05-28 基于特征循环融合的多帧红外图像超分辨率方法和系统

Country Status (1)

Country Link
CN (1) CN113538229B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240755B (zh) * 2021-12-21 2023-07-18 中国科学院光电技术研究所 一种基于光纤束结合微扫描技术的图像超分辨重建方法
CN114544707B (zh) * 2022-01-20 2023-09-19 东南大学 基于热对比度增强时间插值的高帧率热成像检测方法
CN118134766A (zh) * 2024-05-07 2024-06-04 西安兵器工业科技产业开发有限公司 红外视频超分辨率重建方法、装置及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805814A (zh) * 2018-06-07 2018-11-13 西安电子科技大学 基于多频段深度卷积神经网络的图像超分辨重建方法
CN109993701A (zh) * 2019-04-09 2019-07-09 福州大学 一种基于金字塔结构的深度图超分辨率重建的方法
CN110544205A (zh) * 2019-08-06 2019-12-06 西安电子科技大学 基于可见光与红外交叉输入的图像超分辨率重建方法
CN111311490A (zh) * 2020-01-20 2020-06-19 陕西师范大学 基于多帧融合光流的视频超分辨率重建方法
CN111353940A (zh) * 2020-03-31 2020-06-30 成都信息工程大学 一种基于深度学习迭代上下采样的图像超分辨率重建方法
CN111402141A (zh) * 2020-03-25 2020-07-10 中国计量大学 串联式单图像超分辨率重建方法
CN111583113A (zh) * 2020-04-30 2020-08-25 电子科技大学 一种基于生成对抗网络的红外图像超分辨率重建方法
CN111815516A (zh) * 2020-07-08 2020-10-23 北京航空航天大学 一种弱监督红外遥感图像超分辨率重建方法
CN112001843A (zh) * 2020-07-28 2020-11-27 南京理工大学 一种基于深度学习的红外图像超分辨率重建方法
CN112184547A (zh) * 2020-09-03 2021-01-05 红相股份有限公司 红外图像的超分辨率方法及计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805814A (zh) * 2018-06-07 2018-11-13 西安电子科技大学 基于多频段深度卷积神经网络的图像超分辨重建方法
CN109993701A (zh) * 2019-04-09 2019-07-09 福州大学 一种基于金字塔结构的深度图超分辨率重建的方法
CN110544205A (zh) * 2019-08-06 2019-12-06 西安电子科技大学 基于可见光与红外交叉输入的图像超分辨率重建方法
CN111311490A (zh) * 2020-01-20 2020-06-19 陕西师范大学 基于多帧融合光流的视频超分辨率重建方法
CN111402141A (zh) * 2020-03-25 2020-07-10 中国计量大学 串联式单图像超分辨率重建方法
CN111353940A (zh) * 2020-03-31 2020-06-30 成都信息工程大学 一种基于深度学习迭代上下采样的图像超分辨率重建方法
CN111583113A (zh) * 2020-04-30 2020-08-25 电子科技大学 一种基于生成对抗网络的红外图像超分辨率重建方法
CN111815516A (zh) * 2020-07-08 2020-10-23 北京航空航天大学 一种弱监督红外遥感图像超分辨率重建方法
CN112001843A (zh) * 2020-07-28 2020-11-27 南京理工大学 一种基于深度学习的红外图像超分辨率重建方法
CN112184547A (zh) * 2020-09-03 2021-01-05 红相股份有限公司 红外图像的超分辨率方法及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的快速图像超分辨率方法;谢朋言;;舰船电子对抗(第02期);正文全文 *

Also Published As

Publication number Publication date
CN113538229A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN113538229B (zh) 基于特征循环融合的多帧红外图像超分辨率方法和系统
CN109903228B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
Jin et al. Light field spatial super-resolution via deep combinatorial geometry embedding and structural consistency regularization
Zhang et al. Residual dense network for image super-resolution
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
US10579908B2 (en) Machine-learning based technique for fast image enhancement
CN109102462A (zh) 一种基于深度学习的视频超分辨率重建方法
CN111311490A (zh) 基于多帧融合光流的视频超分辨率重建方法
US10991150B2 (en) View generation from a single image using fully convolutional neural networks
CN111598778B (zh) 一种绝缘子图像超分辨率重建方法
CN111524068A (zh) 一种基于深度学习的变长输入超分辨率视频重建方法
CN110992367B (zh) 对带有遮挡区域的图像进行语义分割的方法
Chang et al. A two-stage convolutional neural network for joint demosaicking and super-resolution
WO2023185284A1 (zh) 视频处理方法和装置
CN116703752A (zh) 融合近红外的Transformer结构的图像去雾方法及装置
Zhang et al. An effective decomposition-enhancement method to restore light field images captured in the dark
KR102092205B1 (ko) 초해상화, 역톤매핑 및 동시 초해상화-역톤매핑 처리된 다중 출력 이미지를 생성하는 이미지 처리 방법 및 장치
CN113610707B (zh) 一种基于时间注意力与循环反馈网络的视频超分辨率方法
Luo et al. Sparse representation-based demosaicking method for joint chromatic and polarimetric imagery
CN112150363B (zh) 一种基于卷积神经网络的图像夜景处理方法及运行该方法的计算模块与可读存储介质
CN113379606A (zh) 一种基于预训练生成模型的人脸超分辨方法
Song et al. Coupled dictionary learning for multimodal image super-resolution
Zhang et al. Temporal compressive imaging reconstruction based on a 3D-CNN network
WO2022141660A1 (zh) 基于神经网络的高分辨率图像复原方法及系统
Paliwal et al. Multi-stage raw video denoising with adversarial loss and gradient mask

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant