CN116029943A - 基于深度学习的红外图像超分辨率增强方法 - Google Patents

Abstract

本发明基于深度学习的红外图像超分辨率增强方法，神经网络模块根据局部灰度波动率图像对输入低分辨率红外图像进行软分割，得到细节区域的掩膜；细节区域的亚像素卷积层和记忆增强单元连接，所述记忆增强单元的外部图像存储器用于存储第一时间段内经过掩膜过滤的红外图像数据，通过记忆增强单元计算细节区域的亚像素；神经网络模块通过亚像素卷积层对亚像素数值计算，通过上采样、下采样操作和注意力增强单元计算得到输出高分辨率红外图像。本发明神经网络模块的亚像素卷积同基于局部灰度波动率图像计算出细节区域的掩膜结合，极大的提高了深度学习的计算速度。

Description

基于深度学习的红外图像超分辨率增强方法

技术领域

本发明涉及红外图像的成像技术领域，更具体的说，特别涉及一种基于深度学习的红外图像增强方法。

背景技术

单张红外图像 SR重建方法（Single Infrared Image Super-Resolution,SIISR）可实现从给定的低分辨率（LR）图像进行重建生成高分辨率（HR）图像，这是一项底层计算机视觉任务。由于红外图像的质量和分辨率低下等方面的不足，导致最终高分辨率HR图像的重建效果达不到预期，存在边缘细节缺失、噪声抑制能力低下等问题。

因此，现有技术存在的问题，有待于进一步改进和发展。

发明内容

（一）发明目的：为解决上述现有技术中存在的问题，本发明的目的是提供一种具有在保护边缘细节的同时，还具有良好抗锯齿效果的基于边缘增强的红外图像放大算法。

（二）技术方案：为了解决上述技术问题，本技术方案提供基于深度学习的红外图像超分辨率增强方法，其中，包括以下步骤：

步骤A、输入模块获取输入低分辨率红外图像，将所述输入低分辨率红外图像输入到初级特征提取模块，计算得到粗粒度特征；

步骤B、神经网络模块根据输入低分辨率红外图像的像素，计算出输入低分辨率红外图像中像素的局部标准图像和局部均值图像，根据所述局部标准图像和局部均值图像计算出输入低分辨率红外图像中像素的局部灰度波动率图像；根据局部灰度波动率图像对输入低分辨率红外图像进行软分割，得到细节区域的掩膜；

步骤C、细节区域的亚像素卷积层和记忆增强单元连接，所述记忆增强单元的外部图像存储器用于存储第一时间段内经过掩膜过滤的红外图像数据，通过记忆增强单元计算细节区域的亚像素；

步骤D、所述神经网络模块通过亚像素卷积层对亚像素数值计算，通过上采样、下采样操作和注意力增强单元计算得到输出高分辨率红外图像

所述的基于深度学习的红外图像超分辨率增强方法，其中，所述神经网络模块是SCAB模块，所述SCAB模块包括第一SCAB模块、残差网络模块、第二SCAB模块、注意力增强单元。

所述的基于深度学习的红外图像超分辨率增强方法，其中，所述第一SCAB模块通过通道链接层对粗粒度特征进行逐通道拼接，并将拼接后的红外图像输入到掩膜，所述掩膜将拼接后的红外图像进行分割，得到细节区域和平坦区域。

所述的基于深度学习的红外图像超分辨率增强方法，其中，所述第一SCAB模块包括对平坦区域的超分辨率图像进行计算的平坦区域第一卷积层、平坦区域第一亚像素卷积层；对细节区域的超分辨率图像进行计算的细节区域第一卷积层、细节区域第一亚像素卷积层，所述细节区域第一亚像素卷积层和第一记忆增强单元连接。

所述的基于深度学习的红外图像超分辨率增强方法，其中，所述第一记忆增强单元，包括第一控制器、第一外部图像存储器和掩膜，所述第一外部图像存储器用于存储第一时间段内经过掩膜过滤的红外图像数据。

所述的基于深度学习的红外图像超分辨率增强方法，其中，所述平坦区域第一亚像素卷积层和细节区域第一亚像素卷积层同时连接第三卷基层，第三卷基层用于对SCAB模块输入的相同特征进行降采样。

所述的基于深度学习的红外图像超分辨率增强方法，其中，所述第三卷基层和残差网络模块连接第二SCAB模块，所述第二SCAB模块包括掩膜，以及对平坦区域的超分辨率图像进行计算的平坦区域第二卷积层、平坦区域第二亚像素卷积层；对细节区域的超分辨率图像进行计算的细节区域第二卷积层、细节区域第二亚像素卷积层，所述细节区域第二亚像素卷积层和第二记忆增强单元连接。

所述的基于深度学习的红外图像超分辨率增强方法，其中，所述第二记忆增强单元，包括第二控制器、第二外部图像存储器和掩膜，所述第二外部图像存储器用于存储第二时间段内经过掩膜过滤的红外图像数据。

所述的基于深度学习的红外图像超分辨率增强方法，其中，所述平坦区域第二亚像素卷积层和细节区域第二亚像素卷积层同时连接第四卷基层，第四卷基层用于对与SCAB模块输入的相同特征进行降采样。

所述的基于深度学习的红外图像超分辨率增强方法，其中，所述第二SCAB模块和注意力增强单元连接。

（三）有益效果：本发明基于深度学习的红外图像超分辨率增强方法，神经网络模块以递归和反馈的方式将上采样和下采样操作与记忆力增强单元和CBAM注意力增强单元结合起来精炼不同层次的语义特征实现成特征提取；神经网络模块的输出通过亚像素卷积（Sub-Pixel Convolution）操作进行上采样结果融合原始LR经过双三次插值上采样结果得到输出高分辨率红外图像。神经网络模块的亚像素卷积同基于局部灰度波动率图像计算出细节区域的掩膜结合，极大的提高了深度学习的计算速度。

附图说明

图1是本发明基于深度学习的红外图像超分辨率增强算法第一个优选实施例的流程示意图；

图2是本发明基于深度学习的红外图像超分辨率增强算法第二个优选实施例的流程框图；

图3是本发明SCAB模块第一个优选实施例的结构框图；

图4是本发明第一记忆增强单元的结构示意图；

图5是本发明第二记忆增强单元的结构示意图；

图6是本发明SCAB模块第二个优选实施例的结构框图；

图7是输入低分辨率红外图像；

图8是输入低分辨率红外图像使用本发明方法的输出高分辨率红外图像。

具体实施方式

下面结合优选的实施例对本发明做进一步详细说明，在以下的描述中阐述了更多的细节以便于充分理解本发明，但是，本发明显然能够以多种不同于此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下根据实际应用情况作类似推广、演绎，因此不应以此具体实施例的内容限制本发明的保护范围。

附图是本发明的实施例的示意图，需要注意的是，此附图仅作为示例，并非是按照等比例的条件绘制的，并且不应该以此作为对本发明的实际要求保护范围构成限制。

本发明提供的基于深度学习的红外图像超分辨率增强算法，如图1所示，包括如下步骤：

步骤101、输入模块获取输入低分辨率红外图像，将所述输入低分辨率红外图像输入到初级特征提取模块，所述初级特征提取模块计算得到粗粒度特征；

步骤102、将粗粒度特征的输入低分辨率红外图像发送给具有深度学习的神经网络模块，所述神经网络模块根据输入低分辨率红外图像的像素，计算出输入低分辨率红外图像中像素的局部标准图像和局部均值图像，根据所述局部标准图像和局部均值图像计算出输入低分辨率红外图像中像素的局部灰度波动率图像；根据局部灰度波动率图像对输入低分辨率红外图像进行软分割，得到细节区域的掩膜和平坦区域；

步骤103、细节区域的亚像素卷积层和记忆增强单元连接，所述记忆增强单元的外部图像存储器用于存储第一时间段内经过掩膜过滤的红外图像数据，通过记忆增强单元计算细节区域的亚像素；

步骤104、所述神经网络模块通过亚像素卷积层对亚像素数值计算，通过上采样、下采样操作和注意力增强单元计算得到输出高分辨率红外图像。

本发明采用像素的局部灰度波动率图像计算出细节区域的掩膜，对细节区域利用记忆增强进行亚像素的计算，使细节区域的超分辨率计算更加准确。基于局部灰度波动率图像的细节区域的掩膜，也减少了深度学习的计算量，提高了深度学习的计算速度。

获取输入低分辨率红外图像，所述输入低分辨率红外图像包括图像的像素位置和像素数值，计算输入低分辨率红外图像中像素的局部标准图像和局部均值图像，根据局部标准图像和局部均值图像求得局部灰度波动率图像，，其中，为一个大于0的小常数，用以避免被除数为0的异常情况。

本发明基于深度学习的红外图像超分辨率增强算法，其第二个优选实施例，如图2和图3所示，包括如下步骤：

步骤201、输入模块获取输入低分辨率红外图像LR，将所述输入低分辨率红外图像LR输入到初级特征提取模块，所述初级特征提取模块利用一个3*3的卷积和一个1*1的卷积做浅层特征提取获得粗粒度特征。本发明所述输入低分辨率红外图像用x表示，所述粗粒度特征用表示，所述粗粒度特征用的数学公式为：

 （公式1）

其中表示两个连续的卷积运算（3×3卷积和1×1卷积），提取出的结构性特征也就是粗粒度特征输入到SCAB模块中进行细粒度特征的提取。

步骤202、本发明具有深度学习的神经网络模块是SCAB（Self-CorrectedAttention Block，自注意力神经网络）模块，接收所述粗粒度特征。

所述SCAB模块可以通过记忆增强算法对细节区域的亚像素数值进行计算，以减少计算量和增强高分辨率红外图像细节的分辨率，如图3所示。所述SCAB模块优选的包括第一SCAB模块、残差网络模块、第二SCAB模块、注意力增强单元。

步骤203、所述第一SCAB模块包括通道链接层concat，通过通道链接层concat对粗粒度特征进行逐通道拼接，并将拼接后的红外图像输入到掩膜，所述掩膜将拼接后的红外图像进行分割，得到细节区域和平坦区域，并对细节区域和平坦区域进行亚像素计算以得到超分辨率图像。具体包括对平坦区域的超分辨率图像进行计算的平坦区域第一卷积层、平坦区域第一亚像素卷积层；对细节区域的超分辨率图像进行计算的细节区域第一卷积层、细节区域第一亚像素卷积层，所述细节区域第一亚像素卷积层和第一记忆增强单元连接。

所述第一记忆增强单元用于将第一时间段内的像素数据进行计算得到第一亚像素卷积层。所述第一记忆增强单元为细节区域的历史数据，例如为当前时刻前7天内的分辨率最高的100条数据。

所述第一记忆增强单元，如图4所示，包括第一控制器、第一外部图像存储器和掩膜，所述第一外部图像存储器用于存储第一时间段内经过掩膜过滤的红外图像数据，例如当前时刻7天内的分辨率最高的100条经过掩膜过滤的细节区域的红外图像数据。

步骤204、所述平坦区域第一亚像素卷积层和细节区域第一亚像素卷积层同时连接第三卷基层Convk，第三卷基层Convk用于对SCAB模块输入的相同特征进行降采样。

步骤205、第三卷基层Convk和残差网络模块连接第二SCAB模块，所述第二SCAB模块包括掩膜，以及对平坦区域的超分辨率图像进行计算的平坦区域第二卷积层、平坦区域第二亚像素卷积层；对细节区域的超分辨率图像进行计算的细节区域第二卷积层、细节区域第二亚像素卷积层，所述细节区域第二亚像素卷积层和第二记忆增强单元连接。

所述第二记忆增强单元用于将第二时间段内的像素数据进行计算得到第二亚像素卷积层。所述第二记忆增强单元为细节区域的当前数据，例如为当前时刻1分钟内的分辨率最高的10条数据。

所述第二记忆增强单元，如图5所示，包括第二控制器、第二外部图像存储器和掩膜，所述第二外部图像存储器用于存储第二时间段内经过掩膜过滤的红外图像数据，例如当前时刻前一分钟的分辨率最高的10条经过掩膜过滤的细节区域的红外图像数据。

步骤206、所述平坦区域第二亚像素卷积层和细节区域第二亚像素卷积层同时连接第四卷基层Convk，第四卷基层Convk用于对与SCAB模块输入的相同特征进行降采样。

所述第三卷基层Convk和第四卷基层Convk为同一个函数，只是为了区别用于第一SCAB模块和第二SCAB模块，为了描述方便的区别称呼。

步骤207、第二SCAB模块和注意力增强单元连接。

步骤208、所述输入低分辨率红外图像经过双三次插值上采样结果得到输出第一输出高分辨率红外图像，利用重建模块对红外图像特征图和第一输出高分辨率红外图像进行融合得到输出高分辨率红外图像HR，并通过输出模块输出。所述输出高分辨率红外图像HR的数学公式为

 (公式2)

其中是输入低分辨率红外图像双三次插值上采样操作，是LR图像经过迭代提取的红外图像特征图。

所述SCAB模块通过递归和反馈的方式将上采样和下采样操作与注意力增强单元结合起来，精炼不同层次的语义特征实现细粒度特征提取；通过亚像素卷积（Sub-PixelConvolution）操作进行上采样放大得到红外图像特征图。

本发明所述SCAB模块，用于以递归迭代的方式集成在神经网络中，并逐步纠正高分辨率红外图像的真值图像与预测图像之间的误差，不断细化提取的特征，其第二个优选实施例如下，包括第一SCAB模块、残差网络模块、第二SCAB模块、注意力增强单元，如图6所示，具体包括如下步骤：

步骤301、第一SCAB模块中将初级特征提取模块的粗粒度特征用进行迭代计算，粗粒度特征的迭代计算用表示，和第t-1迭代的隐藏状态，通过通道链接层Concat进行逐通道拼接作为输入进行迭代细化提取，以实现红外特征图像的自我校正。假设在第t轮第一SCAB模块的隐藏状态是，那么第一SCAB模块的特征提取过程的公式为：

 （公式3）

第一卷积层Conv3对拼接后的链接层结果进行一个3×3卷积，然后将卷积结果输入到第一亚像素卷积层PS，实现上采样放大到；第三卷基层Convk用于对与SCAB模块输入的相同特征进行降采样。

所述链接层concat把前面的两个输入信息L和F沿着通道拼接作为后续迭代的输入。PS亚像素卷积层，实现上采样放大到到；卷基层Convk被用于对尺寸大小与SCAB模块的输入相同的特征进行降采样。

表示所有SCAB模块操作。该模块先对链接层结果进行一个3×3卷积和一个亚像素卷积实现特征图像上采样，然后利用Convk卷积实现降采样得到和SCAB模块输入低分辨率红外图像尺寸大小的特征图，为了进一步精炼特征，其中表示沿着通道方向的特征图像通道拼接操作，通过特征匹配可以精确的找到目标。

步骤302、所述残差网络模块通过隐藏状态作为skip connection进行残差网络的计算，并通过第二SCAB模块再次重复执行第一卷积层Conv3，第二亚像素卷积层Ps和第三卷基层Convk特征提取操作，只是第二次Conv3操作的输入是前一轮操作Convk的输出减去。

步骤303、所述第二SCAB模块连接注意力增强单元，所述注意力增强单元优选的可以是CBAM模块，所述CBAM模块沿着通道方向重点突出了有用的特征。本发明所述注意力增强单元对特征图中的通道赋予了不同的权重，增加了各通道之间的差异性，残差网络使网络结构加深，在训练过程中能够得到更好的收敛效果。

本发明通过进行记忆增强单元，在亚像素计算过程中对亚像素的计算权重进行调整，补充入更丰富的分辨率细节。

本发明的神经网络以递归迭代的方式，逐步纠正高分辨率红外图像的真值图像与预测图像之间的误差，不断细化提取的特征。

本发明的基于深度学习的神经网络，训练模型过程如下，为了不占用太多内存，本发明可以从输入低分辨率红外图像LR中生成输出高分辨率红外图像HR，同时尽可能减少模型的参数量。具体的，用一组红外图像训练数据进行训练的，其中N是数据集的HR-LR图像对的总数，是第n个HR真值图像，是由相应的HR真值图像下采样得到的一系列LR图像，用一个显示函数描述网络的输入输出关系：，其中x表示输入的LR图像，表示网络的可学习参数，而Y是输出的重建图像。在训练网络的过程中，可学习的参数是通过优化下列损失函数来进行的，具体数学公式如下：

 (公式4)

其中，表示L1范数，是模型的最优参数，T和分别表示模型中的递归次数和损失函数。训练完模型得到最优参数后，当给定一帧输入低分辨率红外图像LR时，高分辨率红外图像HR的获取过程数学表达式为：

 (公式5)

本发明输入低分辨率红外图像LR如图7所示，图8为使用本发明基于深度学习的红外图像超分辨率增强方法放大三倍的效果图。

本发明提供了基于深度学习的红外图像超分辨率增强方法，算法的性能优越，不仅模型的参数量和计算成本低廉，同时能够实现轻量级的模型推理速度。首先、考虑到红外成像产品实时性需求，为了减少参数和计算成本实现网络轻量化，本发明通过HR-LR红外图像对构建的样本来训练端到端网络；然后进入SCAB模块，该模块以递归和反馈的方式将上采样和下采样操作与记忆力增强单元和CBAM注意力增强单元结合起来精炼不同层次的语义特征实现成特征提取；最后，SCAB模块的输出通过亚像素卷积（Sub-Pixel Convolution）操作进行上采样结果融合原始LR经过双三次插值上采样结果得到输出高分辨率红外图像。所述SCAB模块的亚像素卷积同基于局部灰度波动率图像计算出细节区域的掩膜结合，极大的提高了深度学习的计算速度。

以上内容是对本发明创造的优选的实施例的说明，可以帮助本领域技术人员更充分地理解本发明创造的技术方案。但是，这些实施例仅仅是举例说明，不能认定本发明创造的具体实施方式仅限于这些实施例的说明。对本发明创造所属技术领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干简单推演和变换，都应当视为属于本发明创造的保护范围。

Claims (10)

1.基于深度学习的红外图像超分辨率增强方法，其特征在于，包括以下步骤：

步骤A、输入模块获取输入低分辨率红外图像，将所述输入低分辨率红外图像输入到初级特征提取模块，计算得到粗粒度特征；

步骤B、神经网络模块根据输入低分辨率红外图像的像素，计算出输入低分辨率红外图像中像素的局部标准图像和局部均值图像，根据所述局部标准图像和局部均值图像计算出输入低分辨率红外图像中像素的局部灰度波动率图像；根据局部灰度波动率图像对输入低分辨率红外图像进行软分割，得到细节区域的掩膜；

步骤C、细节区域的亚像素卷积层和记忆增强单元连接，所述记忆增强单元的外部图像存储器用于存储第一时间段内经过掩膜过滤的红外图像数据，通过记忆增强单元计算细节区域的亚像素；

步骤D、所述神经网络模块通过亚像素卷积层对亚像素数值计算，通过上采样、下采样操作和注意力增强单元计算得到输出高分辨率红外图像。

2.根据权利要求1所述的基于深度学习的红外图像超分辨率增强方法，其特征在于，所述神经网络模块是SCAB模块，所述SCAB模块包括第一SCAB模块、残差网络模块、第二SCAB模块、注意力增强单元。

3.根据权利要求2所述的基于深度学习的红外图像超分辨率增强方法，其特征在于，所述第一SCAB模块通过通道链接层对粗粒度特征进行逐通道拼接，并将拼接后的红外图像输入到掩膜，所述掩膜将拼接后的红外图像进行分割，得到细节区域和平坦区域。

4.根据权利要求3所述的基于深度学习的红外图像超分辨率增强方法，其特征在于，所述第一SCAB模块包括对平坦区域的超分辨率图像进行计算的平坦区域第一卷积层、平坦区域第一亚像素卷积层；对细节区域的超分辨率图像进行计算的细节区域第一卷积层、细节区域第一亚像素卷积层，所述细节区域第一亚像素卷积层和第一记忆增强单元连接。

5.根据权利要求4所述的基于深度学习的红外图像超分辨率增强方法，其特征在于，所述第一记忆增强单元，包括第一控制器、第一外部图像存储器和掩膜，所述第一外部图像存储器用于存储第一时间段内经过掩膜过滤的红外图像数据。

6.根据权利要求5所述的基于深度学习的红外图像超分辨率增强方法，其特征在于，所述平坦区域第一亚像素卷积层和细节区域第一亚像素卷积层同时连接第三卷基层，第三卷基层用于对SCAB模块输入的相同特征进行降采样。

7.根据权利要求6所述的基于深度学习的红外图像超分辨率增强方法，其特征在于，所述第三卷基层和残差网络模块连接第二SCAB模块，所述第二SCAB模块包括掩膜，以及对平坦区域的超分辨率图像进行计算的平坦区域第二卷积层、平坦区域第二亚像素卷积层；对细节区域的超分辨率图像进行计算的细节区域第二卷积层、细节区域第二亚像素卷积层，所述细节区域第二亚像素卷积层和第二记忆增强单元连接。

8.根据权利要求7所述的基于深度学习的红外图像超分辨率增强方法，其特征在于，所述第二记忆增强单元，包括第二控制器、第二外部图像存储器和掩膜，所述第二外部图像存储器用于存储第二时间段内经过掩膜过滤的红外图像数据。

9.根据权利要求8所述的基于深度学习的红外图像超分辨率增强方法，其特征在于，所述平坦区域第二亚像素卷积层和细节区域第二亚像素卷积层同时连接第四卷基层，第四卷基层用于对与SCAB模块输入的相同特征进行降采样。

10.根据权利要求9所述的基于深度学习的红外图像超分辨率增强方法，其特征在于，所述第二SCAB模块和注意力增强单元连接。

Images