CN116029943B - 基于深度学习的红外图像超分辨率增强方法 - Google Patents

基于深度学习的红外图像超分辨率增强方法 Download PDF

Info

Publication number
CN116029943B
CN116029943B CN202310312728.7A CN202310312728A CN116029943B CN 116029943 B CN116029943 B CN 116029943B CN 202310312728 A CN202310312728 A CN 202310312728A CN 116029943 B CN116029943 B CN 116029943B
Authority
CN
China
Prior art keywords
convolution layer
image
sub
infrared image
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310312728.7A
Other languages
English (en)
Other versions
CN116029943A (zh
Inventor
贺明
苗鱼
罗珏典
杨杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoke Tiancheng Technology Co ltd
Original Assignee
Guoke Tiancheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoke Tiancheng Technology Co ltd filed Critical Guoke Tiancheng Technology Co ltd
Priority to CN202310312728.7A priority Critical patent/CN116029943B/zh
Publication of CN116029943A publication Critical patent/CN116029943A/zh
Application granted granted Critical
Publication of CN116029943B publication Critical patent/CN116029943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明基于深度学习的红外图像超分辨率增强方法，神经网络模块根据局部灰度波动率图像对输入低分辨率红外图像进行软分割，得到细节区域的掩膜；细节区域的亚像素卷积层和记忆增强单元连接，所述记忆增强单元的外部图像存储器用于存储第一时间段内经过掩膜过滤的红外图像数据，通过记忆增强单元计算细节区域的亚像素；神经网络模块通过亚像素卷积层对亚像素数值计算，通过上采样、降采样操作和注意力增强单元计算得到输出高分辨率红外图像。本发明神经网络模块的亚像素卷积同基于局部灰度波动率图像计算出细节区域的掩膜结合，极大的提高了深度学习的计算速度。

Description

基于深度学习的红外图像超分辨率增强方法
技术领域
本发明涉及红外图像的成像技术领域，更具体的说，特别涉及一种基于深度学习的红外图像增强方法。
背景技术
单张红外图像SR重建方法(Single Infrared Image Super-Resolution,SIISR)可实现从给定的低分辨率(LR)图像进行重建生成高分辨率(HR)图像，这是一项底层计算机视觉任务。由于红外图像的质量和分辨率低下等方面的不足，导致最终高分辨率HR图像的重建效果达不到预期，存在边缘细节缺失、噪声抑制能力低下等问题。
因此，现有技术存在的问题，有待于进一步改进和发展。
发明内容
(一)发明目的：为解决上述现有技术中存在的问题，本发明的目的是提供一种具有在保护边缘细节的同时，还具有良好抗锯齿效果的基于边缘增强的红外图像放大算法。
(二)技术方案：为了解决上述技术问题，本技术方案提供基于深度学习的红外图像超分辨率增强方法，其中，包括以下步骤：
步骤A、输入模块获取输入低分辨率红外图像，将所述输入低分辨率红外图像输入到初级特征提取模块，计算得到粗粒度特征；
步骤B、神经网络模块根据输入低分辨率红外图像的像素，计算出输入低分辨率红外图像中像素的局部标准图像和局部均值图像，根据所述局部标准图像和局部均值图像计算出输入低分辨率红外图像中像素的局部灰度波动率图像；根据局部灰度波动率图像对输入低分辨率红外图像进行软分割，得到细节区域的掩膜；
步骤C、细节区域的亚像素卷积层和记忆增强单元连接，所述记忆增强单元的外部图像存储器用于存储第一时间段内经过掩膜过滤的红外图像数据，通过记忆增强单元计算细节区域的亚像素；
步骤D、所述神经网络模块通过亚像素卷积层对亚像素数值计算，通过上采样、降采样操作和注意力增强单元计算得到输出高分辨率红外图像
所述的基于深度学习的红外图像超分辨率增强方法，其中，所述神经网络模块是SCAB模块，所述SCAB模块包括第一SCAB模块、残差网络模块、第二SCAB模块、注意力增强单元。
所述的基于深度学习的红外图像超分辨率增强方法，其中，所述第一SCAB模块通过通道链接层对粗粒度特征进行逐通道拼接，并将拼接后的红外图像输入到掩膜，所述掩膜将拼接后的红外图像进行分割，得到细节区域和平坦区域。
所述的基于深度学习的红外图像超分辨率增强方法，其中，所述第一SCAB模块包括对平坦区域的超分辨率图像进行计算的平坦区域第一卷积层、平坦区域第一亚像素卷积层；对细节区域的超分辨率图像进行计算的细节区域第一卷积层、细节区域第一亚像素卷积层，所述细节区域第一亚像素卷积层和第一记忆增强单元连接。
所述的基于深度学习的红外图像超分辨率增强方法，其中，所述第一记忆增强单元，包括第一控制器、第一外部图像存储器和掩膜，所述第一外部图像存储器用于存储第一时间段内经过掩膜过滤的红外图像数据。
所述的基于深度学习的红外图像超分辨率增强方法，其中，所述平坦区域第一亚像素卷积层和细节区域第一亚像素卷积层同时连接第三卷积层，第三卷积层用于对SCAB模块输入的相同特征进行降采样。
所述的基于深度学习的红外图像超分辨率增强方法，其中，所述第三卷积层和残差网络模块连接第二SCAB模块，所述第二SCAB模块包括掩膜，以及对平坦区域的超分辨率图像进行计算的平坦区域第二卷积层、平坦区域第二亚像素卷积层；对细节区域的超分辨率图像进行计算的细节区域第二卷积层、细节区域第二亚像素卷积层，所述细节区域第二亚像素卷积层和第二记忆增强单元连接。
所述的基于深度学习的红外图像超分辨率增强方法，其中，所述第二记忆增强单元，包括第二控制器、第二外部图像存储器和掩膜，所述第二外部图像存储器用于存储第二时间段内经过掩膜过滤的红外图像数据。
所述的基于深度学习的红外图像超分辨率增强方法，其中，所述平坦区域第二亚像素卷积层和细节区域第二亚像素卷积层同时连接第四卷积层，第四卷积层用于对与SCAB模块输入的相同特征进行降采样。
所述的基于深度学习的红外图像超分辨率增强方法，其中，所述第二SCAB模块和注意力增强单元连接。
(三)有益效果：本发明基于深度学习的红外图像超分辨率增强方法，神经网络模块以递归和反馈的方式将上采样和降采样操作与记忆力增强单元和CBAM注意力增强单元结合起来精炼不同层次的语义特征实现成特征提取；神经网络模块的输出通过亚像素卷积(Sub-Pixel Convolution)操作进行上采样结果融合原始LR经过双三次插值上采样结果得到输出高分辨率红外图像。神经网络模块的亚像素卷积同基于局部灰度波动率图像计算出细节区域的掩膜结合，极大的提高了深度学习的计算速度。
附图说明
图1是本发明基于深度学习的红外图像超分辨率增强算法第一个优选实施例的流程示意图；
图2是本发明基于深度学习的红外图像超分辨率增强算法第二个优选实施例的流程框图；
图3是本发明SCAB模块第一个优选实施例的结构框图；
图4是本发明第一记忆增强单元的结构示意图；
图5是本发明第二记忆增强单元的结构示意图；
图6是本发明SCAB模块第二个优选实施例的结构框图；
图7是输入低分辨率红外图像；
图8是输入低分辨率红外图像使用本发明方法的输出高分辨率红外图像。
具体实施方式
下面结合优选的实施例对本发明做进一步详细说明，在以下的描述中阐述了更多的细节以便于充分理解本发明，但是，本发明显然能够以多种不同于此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下根据实际应用情况作类似推广、演绎，因此不应以此具体实施例的内容限制本发明的保护范围。
附图是本发明的实施例的示意图，需要注意的是，此附图仅作为示例，并非是按照等比例的条件绘制的，并且不应该以此作为对本发明的实际要求保护范围构成限制。
本发明提供的基于深度学习的红外图像超分辨率增强算法，如图1所示，包括如下步骤：
步骤101、输入模块获取输入低分辨率红外图像，将所述输入低分辨率红外图像输入到初级特征提取模块，所述初级特征提取模块计算得到粗粒度特征；
步骤102、将粗粒度特征的输入低分辨率红外图像发送给具有深度学习的神经网络模块，所述神经网络模块根据输入低分辨率红外图像的像素，计算出输入低分辨率红外图像中像素的局部标准图像和局部均值图像，根据所述局部标准图像和局部均值图像计算出输入低分辨率红外图像中像素的局部灰度波动率图像；根据局部灰度波动率图像对输入低分辨率红外图像进行软分割，得到细节区域的掩膜和平坦区域；
步骤103、细节区域的亚像素卷积层和记忆增强单元连接，所述记忆增强单元的外部图像存储器用于存储第一时间段内经过掩膜过滤的红外图像数据，通过记忆增强单元计算细节区域的亚像素；
步骤104、所述神经网络模块通过亚像素卷积层对亚像素数值计算，通过上采样、降采样操作和注意力增强单元计算得到输出高分辨率红外图像。
本发明采用像素的局部灰度波动率图像计算出细节区域的掩膜，对细节区域利用记忆增强进行亚像素的计算，使细节区域的超分辨率计算更加准确。基于局部灰度波动率图像的细节区域的掩膜，也减少了深度学习的计算量，提高了深度学习的计算速度。
获取输入低分辨率红外图像Iin，所述输入低分辨率红外图像Iin包括图像的像素位置和像素数值，计算输入低分辨率红外图像Iin中像素的局部标准图像Istd和局部均值图像Imean，根据局部标准图像Istd和局部均值图像Imean求得局部灰度波动率图像Ivol，
Figure SMS_1
其中，ε为一个大于0的小常数，用以避免被除数为0的异常情况。
本发明基于深度学习的红外图像超分辨率增强算法，其第二个优选实施例，如图2和图3所示，包括如下步骤：
步骤201、输入模块获取输入低分辨率红外图像LR，将所述输入低分辨率红外图像LR输入到初级特征提取模块，所述初级特征提取模块利用一个3*3的卷积和一个1*1的卷积做浅层特征提取获得粗粒度特征。本发明所述输入低分辨率红外图像用x表示，所述粗粒度特征用F0表示，所述粗粒度特征用F0的数学公式为：
F0＝fext(x) (公式1)
其中fext表示两个连续的卷积运算(3×3卷积和1×1卷积)，F0提取出的结构性特征也就是粗粒度特征输入到SCAB模块中进行细粒度特征的提取。
步骤202、本发明具有深度学习的神经网络模块是SCAB(Self-CorrectedAttention Block，自注意力神经网络)模块，接收所述粗粒度特征。
所述SCAB模块可以通过记忆增强算法对细节区域的亚像素数值进行计算，以减少计算量和增强高分辨率红外图像细节的分辨率，如图3所示。所述SCAB模块优选的包括第一SCAB模块、残差网络模块、第二SCAB模块、注意力增强单元。
步骤203、所述第一SCAB模块包括通道链接层concat，通过通道链接层concat对粗粒度特征进行逐通道拼接，并将拼接后的红外图像输入到掩膜，所述掩膜将拼接后的红外图像进行分割，得到细节区域和平坦区域，并对细节区域和平坦区域进行亚像素计算以得到超分辨率图像。具体包括对平坦区域的超分辨率图像进行计算的平坦区域第一卷积层、平坦区域第一亚像素卷积层；对细节区域的超分辨率图像进行计算的细节区域第一卷积层、细节区域第一亚像素卷积层，所述细节区域第一亚像素卷积层和第一记忆增强单元连接。
所述第一记忆增强单元用于将第一时间段内的像素数据进行计算得到第一亚像素卷积层。所述第一记忆增强单元为细节区域的历史数据，例如为当前时刻前7天内的分辨率最高的100条数据。
所述第一记忆增强单元，如图4所示，包括第一控制器、第一外部图像存储器和掩膜，所述第一外部图像存储器用于存储第一时间段内经过掩膜过滤的红外图像数据，例如当前时刻7天内的分辨率最高的100条经过掩膜过滤的细节区域的红外图像数据。
步骤204、所述平坦区域第一亚像素卷积层和细节区域第一亚像素卷积层同时连接第三卷积层Convk，第三卷积层Convk用于对SCAB模块输入的相同特征进行降采样。
步骤205、第三卷积层Convk和残差网络模块连接第二SCAB模块，所述第二SCAB模块包括掩膜，以及对平坦区域的超分辨率图像进行计算的平坦区域第二卷积层、平坦区域第二亚像素卷积层；对细节区域的超分辨率图像进行计算的细节区域第二卷积层、细节区域第二亚像素卷积层，所述细节区域第二亚像素卷积层和第二记忆增强单元连接。
所述第二记忆增强单元用于将第二时间段内的像素数据进行计算得到第二亚像素卷积层。所述第二记忆增强单元为细节区域的当前数据，例如为当前时刻1分钟内的分辨率最高的10条数据。
所述第二记忆增强单元，如图5所示，包括第二控制器、第二外部图像存储器和掩膜，所述第二外部图像存储器用于存储第二时间段内经过掩膜过滤的红外图像数据，例如当前时刻前一分钟的分辨率最高的10条经过掩膜过滤的细节区域的红外图像数据。
步骤206、所述平坦区域第二亚像素卷积层和细节区域第二亚像素卷积层同时连接第四卷积层Convk，第四卷积层Convk用于对与SCAB模块输入的相同特征进行降采样。
所述第三卷积层Convk和第四卷积层Convk为同一个函数，只是为了区别用于第一SCAB模块和第二SCAB模块，为了描述方便的区别称呼。
步骤207、第二SCAB模块和注意力增强单元连接。
步骤208、所述输入低分辨率红外图像经过双三次插值上采样结果得到输出第一输出高分辨率红外图像fbicubic(x)，利用重建模块对红外图像特征图Ht和第一输出高分辨率红外图像fbicubic(x)进行融合得到输出高分辨率红外图像HR，并通过输出模块输出。所述输出高分辨率红外图像HR的数学公式为
HR＝fbicubic(x)+Ht (公式2)
其中fbicubic(·)是输入低分辨率红外图像双三次插值上采样操作，Ht是LR图像经过迭代提取的红外图像特征图。
所述SCAB模块通过递归和反馈的方式将上采样和降采样操作与注意力增强单元结合起来，精炼不同层次的语义特征实现细粒度特征提取；通过亚像素卷积(Sub-PixelConvolution)操作进行上采样放大得到红外图像特征图Ht。
本发明所述SCAB模块，用于以递归迭代的方式集成在神经网络中，并逐步纠正高分辨率红外图像的真值图像与预测图像之间的误差，不断细化提取的特征，其第二个优选实施例如下，包括第一SCAB模块、残差网络模块、第二SCAB模块、注意力增强单元，如图6所示，具体包括如下步骤：
步骤301、第一SCAB模块中将初级特征提取模块的粗粒度特征用F0进行迭代计算，粗粒度特征的迭代计算用Ft表示，Ft和第t-1迭代的隐藏状态Lt-1，通过通道链接层Concat进行逐通道拼接作为输入进行迭代细化提取，以实现红外特征图像的自我校正。假设在第t轮第一SCAB模块的隐藏状态是Lt，那么第一SCAB模块的特征提取过程的公式为：
Lt＝fSCAB([F0·Lt-1]) (公式3)
第一卷积层Conv3对拼接后的链接层结果进行一个3×3卷积，然后将卷积结果输入到第一亚像素卷积层PS，实现上采样放大到Ht；第三卷积层Convk用于对与SCAB模块输入的相同特征进行降采样。
所述链接层concat把前面的两个输入信息L和F沿着通道拼接作为后续迭代的输入。PS亚像素卷积层，实现上采样放大到到Ht；卷积层Convk被用于对尺寸大小与SCAB模块的输入相同的特征进行降采样。
fSCAB表示所有SCAB模块操作。该模块先对链接层结果进行一个3×3卷积和一个亚像素卷积实现特征图像上采样，然后利用Convk卷积实现降采样得到和SCAB模块输入低分辨率红外图像尺寸大小的特征图，为了进一步精炼特征，其中[·]表示沿着通道方向的特征图像通道拼接操作，通过特征匹配可以精确的找到目标。
步骤302、所述残差网络模块通过隐藏状态Lt-1作为skip connection进行残差网络的计算，并通过第二SCAB模块再次重复执行第一卷积层Conv3，第二亚像素卷积层Ps和第三卷积层Convk特征提取操作，只是第二次Conv3操作的输入是前一轮操作Convk的输出减去[F0·Lt-1]。
步骤303、所述第二SCAB模块连接注意力增强单元，所述注意力增强单元优选的可以是CBAM模块，所述CBAM模块沿着通道方向重点突出了有用的特征。本发明所述注意力增强单元对特征图中的通道赋予了不同的权重，增加了各通道之间的差异性，残差网络使网络结构加深，在训练过程中能够得到更好的收敛效果。
本发明通过进行记忆增强单元，在亚像素计算过程中对亚像素的计算权重进行调整，补充入更丰富的分辨率细节。
本发明的神经网络以递归迭代的方式，逐步纠正高分辨率红外图像的真值图像与预测图像之间的误差，不断细化提取的特征。
本发明的基于深度学习的神经网络，训练模型过程如下，为了不占用太多内存，本发明可以从输入低分辨率红外图像LR中生成输出高分辨率红外图像HR，同时尽可能减少模型的参数量。具体的，用一组红外图像训练数据{(Ln,Gn)}N进行训练的，其中N是数据集的HR-LR图像对的总数，Gn是第n个HR真值图像，Ln是由相应的HR真值图像降采样得到的一系列LR图像，用一个显示函数描述网络的输入输出关系：Y＝y(x,Θ)，其中x表示输入的LR图像，Θ表示网络的可学习参数，而Y是输出的重建图像。在训练网络的过程中，可学习的参数是通过优化下列损失函数来进行的，具体数学公式如下：
Figure SMS_2
其中，||||1表示L1范数，Θ是模型的最优参数，T和L(·)分别表示模型中的递归次数和损失函数。训练完模型得到最优参数后，当给定一帧输入低分辨率红外图像LR时，高分辨率红外图像HR的获取过程数学表达式为：
HR＝y(x,Θ) (公式5)
本发明输入低分辨率红外图像LR如图7所示，图8为使用本发明基于深度学习的红外图像超分辨率增强方法放大三倍的效果图。
本发明提供了基于深度学习的红外图像超分辨率增强方法，算法的性能优越，不仅模型的参数量和计算成本低廉，同时能够实现轻量级的模型推理速度。首先、考虑到红外成像产品实时性需求，为了减少参数和计算成本实现网络轻量化，本发明通过HR-LR红外图像对构建的样本来训练端到端网络；然后进入SCAB模块，该模块以递归和反馈的方式将上采样和降采样操作与记忆力增强单元和CBAM注意力增强单元结合起来精炼不同层次的语义特征实现成特征提取；最后，SCAB模块的输出通过亚像素卷积(Sub-Pixel Convolution)操作进行上采样结果融合原始LR经过双三次插值上采样结果得到输出高分辨率红外图像。所述SCAB模块的亚像素卷积同基于局部灰度波动率图像计算出细节区域的掩膜结合，极大的提高了深度学习的计算速度。
以上内容是对本发明创造的优选的实施例的说明，可以帮助本领域技术人员更充分地理解本发明创造的技术方案。但是，这些实施例仅仅是举例说明，不能认定本发明创造的具体实施方式仅限于这些实施例的说明。对本发明创造所属技术领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干简单推演和变换，都应当视为属于本发明创造的保护范围。

Claims (3)

1.基于深度学习的红外图像超分辨率增强方法，其特征在于，包括以下步骤：
步骤A、输入模块获取低分辨率红外图像，将所述低分辨率红外图像输入到初级特征提取模块，计算得到粗粒度特征；
步骤B、神经网络模块根据所述低分辨率红外图像的像素，计算出所述低分辨率红外图像中像素的局部标准图像和局部均值图像，根据局部标准图像Istd和局部均值图像Imean求得局部灰度波动率图像Ivol，
Figure QLYQS_1
其中，ε为一个大于0的小常数；根据局部灰度波动率图像计算细节区域的掩膜；
步骤C、所述神经网络模块通过递归和反馈的方式将上采样和降采样操作与注意力增强单元结合起来，精炼不同层次的语义特征实现细粒度特征提取；通过亚像素卷积操作进行上采样放大得到低分辨率红外图像的红外图像特征图；
步骤D、所述低分辨率红外图像经过双三次插值上采样得到第一输出高分辨率红外图像；重建模块对低分辨率红外图像的红外图像特征图和所述第一输出高分辨率红外图像进行融合得到高分辨率红外图像，并通过输出模块输出；
其中，所述神经网络模块包括第一SCAB模块、残差网络模块、第二SCAB模块、注意力增强单元；
所述第一SCAB模块包括:通道链接层、细节区域的掩膜、对平坦区域的超分辨率图像进行计算的平坦区域第一卷积层、平坦区域第一亚像素卷积层、对细节区域的超分辨率图像进行计算的细节区域第一卷积层和细节区域第一亚像素卷积层；所述细节区域第一亚像素卷积层和第一记忆增强单元连接；
所述第一SCAB模块通过通道链接层对粗粒度特征进行逐通道拼接，并将拼接后的红外图像输入到细节区域的掩膜，所述细节区域的掩膜将拼接后的红外图像进行分割，得到细节区域和平坦区域；
所述第一记忆增强单元的外部图像存储器用于存储第一时间段内经过细节区域的掩膜过滤的红外图像数据；第一记忆增强单元存储细节区域的历史数据；
所述平坦区域第一亚像素卷积层和细节区域第一亚像素卷积层同时连接第三卷积层，第三卷积层用于对平坦区域第一亚像素卷积层和细节区域第一亚像素卷积层输入的相同特征进行降采样；
第三卷积层和残差网络模块连接第二SCAB模块；
所述第二SCAB模块包括：细节区域的掩膜、对平坦区域的超分辨率图像进行计算的平坦区域第二卷积层、平坦区域第二亚像素卷积层、对细节区域的超分辨率图像进行计算的细节区域第二卷积层和细节区域第二亚像素卷积层；所述细节区域第二亚像素卷积层和第二记忆增强单元连接；
所述第二记忆增强单元的外部图像存储器用于存储第二时间段内经过细节区域的掩膜过滤的红外图像数据；第二记忆增强单元存储细节区域的当前数据；
所述平坦区域第二亚像素卷积层和细节区域第二亚像素卷积层同时连接第四卷积层，第四卷积层用于对平坦区域第二亚像素卷积层和细节区域第二亚像素卷积层输入的相同特征进行降采样；
第二SCAB模块和注意力增强单元连接；
第一细节区域卷积层对输入的图像进行卷积后输入细节区域第一亚像素卷积层实现上采样放大；其中，第二细节区域卷积层对输入的图像进行卷积后输入细节区域第二亚像素卷积层实现上采样放大；第一平坦区域卷积层对输入的图像进行卷积后输入平坦区域第一亚像素卷积层实现上采样放大；其中，第二平坦区域卷积层对输入的图像进行卷积后输入平坦区域第二亚像素卷积层实现上采样放大。
2.根据权利要求1所述的基于深度学习的红外图像超分辨率增强方法，其特征在于，所述第一记忆增强单元包括：第一控制器、第一外部图像存储器和细节区域的掩膜；所述第一外部图像存储器用于存储第一时间段内经过细节区域的掩膜过滤的红外图像数据。
3.根据权利要求1所述的基于深度学习的红外图像超分辨率增强方法，其特征在于，所述第二记忆增强单元包括：第二控制器、第二外部图像存储器和细节区域的掩膜；所述第二外部图像存储器用于存储第二时间段内经过细节区域的掩膜过滤的红外图像数据。
CN202310312728.7A 2023-03-28 2023-03-28 基于深度学习的红外图像超分辨率增强方法 Active CN116029943B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310312728.7A CN116029943B (zh) 2023-03-28 2023-03-28 基于深度学习的红外图像超分辨率增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310312728.7A CN116029943B (zh) 2023-03-28 2023-03-28 基于深度学习的红外图像超分辨率增强方法

Publications (2)

Publication Number Publication Date
CN116029943A CN116029943A (zh) 2023-04-28
CN116029943B true CN116029943B (zh) 2023-06-16

Family

ID=86074367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310312728.7A Active CN116029943B (zh) 2023-03-28 2023-03-28 基于深度学习的红外图像超分辨率增强方法

Country Status (1)

Country Link
CN (1) CN116029943B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117196959B (zh) * 2023-11-08 2024-03-01 华侨大学 基于自注意力的红外图像超分辨率方法、装置及可读介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330542A (zh) * 2020-11-18 2021-02-05 重庆邮电大学 基于crcsan网络的图像重建系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066013B (zh) * 2021-05-18 2023-02-10 广东奥普特科技股份有限公司 视觉图像增强的生成方法、系统、装置及存储介质
CN114612306A (zh) * 2022-03-15 2022-06-10 北京工业大学 一种面向裂缝检测的深度学习超分辨率方法
CN114897690A (zh) * 2022-04-29 2022-08-12 南京大学 一种基于串行高频注意力的轻量化图像超分辨率方法
CN115861062A (zh) * 2022-11-29 2023-03-28 安徽大学 多尺度学习小波注意力机制网络及图像超分辨率重建方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330542A (zh) * 2020-11-18 2021-02-05 重庆邮电大学 基于crcsan网络的图像重建系统及方法

Also Published As

Publication number Publication date
CN116029943A (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN109389556B (zh) 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN108550115B (zh) 一种图像超分辨率重建方法
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN110599401A (zh) 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN106952228A (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN112215755B (zh) 一种基于反投影注意力网络的图像超分辨率重建方法
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN116029943B (zh) 基于深度学习的红外图像超分辨率增强方法
Li et al. Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN
CN112419155A (zh) 一种全极化合成孔径雷达影像超分辨率重建方法
CN113298716B (zh) 基于卷积神经网络的图像超分辨率重建方法
CN104715453A (zh) 一种分区域处理的图像增强方法及电路
CN111242999B (zh) 基于上采样及精确重匹配的视差估计优化方法
CN115861083B (zh) 一种多尺度和全局特征的高光谱与多光谱遥感融合方法
CN114565539B (zh) 一种基于线上知识蒸馏的图像去雾方法
CN116485655A (zh) 一种基于扩散模型的ct图像超分辨率处理方法
CN109993701B (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
Esmaeilzehi et al. SRNHARB: A deep light-weight image super resolution network using hybrid activation residual blocks
CN109064394B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
WO2020001046A1 (zh) 一种基于自适应层次化运动建模的视频预测方法
CN116957964A (zh) 一种基于扩散模型的小样本图像生成方法及系统
CN111179171A (zh) 基于残差模块和注意力机制的图像超分辨率重建方法
CN110211059A (zh) 一种基于深度学习的图像重建方法
CN114862679A (zh) 基于残差生成对抗网络的单图超分辨率重建方法
CN115018726A (zh) 一种基于U-Net的图像非均匀模糊核的估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant