CN113034408B - 一种红外热成像深度学习图像去噪方法及装置 - Google Patents

Abstract

本发明公开了一种红外热成像系统深度学习图像去噪方法及装置，所述方法包括：获取红外热成像系统采集的目标物图像并进行下采样处理，分割成子图像；对每个子图像进行图像块提取以及重组像素，得到预处理后的子图像；构建噪声图，并将噪声图作为额外通道添加到所述预处理后的子图像中作为输入图像；将输入图像作为训练好的深度学习模型中，输出噪声的估计值；从所述目标物图像中去除噪声的估计值，得到去噪后的图像。本方法，可以充分利用图像丰富的结构特征和相似性，更好地利用图像块特征中的上下文信息并充分提取图像特征，在红外图像本身特征值较少情况下实现了较好的效果，非常有利于红外热成像及深度学习技术的应用研究。

Description

一种红外热成像深度学习图像去噪方法及装置

技术领域

本发明涉及热红外成像领域，具体涉及一种红外热成像系统深度学习图像去噪方法及装置。

背景技术

由于黑体辐射的存在，任何物体都依据温度的不同对外进行电磁波辐射。波长为2.0～1000微米的部分称为热红外线。热红外成像通过对热红外敏感对物体进行成像，能反映出物体表面的温度场。热红外在军事、工业、汽车辅助驾驶、医学领域都有广泛的应用。

近年来，随着红外热成像技术广泛应用，进一步拓宽了人类视觉的可视范围，但也暴露出一些问题，例如红外图像成像质量差、噪声干扰严重，尤其是对于温度平均的环境下，由于缺少热源，其成像效果会进一步受损。

发明内容

本发明的目的是提供一种红外热成像系统深度学习图像去噪方法及装置，用以解决现有红外成像系统存在的成像质量差、噪声干扰严重的问题。

为了实现上述任务，本发明采用以下技术方案：

本申请的第一方面提供了一种红外热成像系统深度学习图像去噪方法，包括以下步骤：

获取红外热成像系统采集的目标物图像并进行下采样处理，分割成子图像；

对每个子图像进行图像块提取以及重组像素，得到预处理后的子图像；

构建噪声图，并将噪声图作为额外通道添加到所述预处理后的子图像中作为输入图像；

将输入图像作为训练好的深度学习模型中，输出噪声的估计值；

从所述目标物图像中去除噪声的估计值，得到去噪后的图像。

进一步地，所述深度学习模型包括依次连接的第一卷积模块、第一区域级非局部模块、残差密集块、第二区域级非局部模块、第二卷积模块、上采样模块以及重建模块，其中：

所述第一卷积模块用于对输入图像进行浅层特征提取，得到第一特征图；第一特征图一方面作为所述第一区域级非局部模块的输入，另一方面与所述第二卷积模块的输出叠加后，作为上采样模块的输入；

所述第一区域级非局部模块用于对第一特征图进行非局部增强处理，得到第二特征图；

所述残差密集块用于对于所述第二特征图进行深层特征的提取，以生成深层特征图；

所述第二区域级非局部模块用于对深层特征图进行非局部增强处理，得到第三特征图；

所述第二卷积模块用于对第三特征图进行特征提取的同时调整通道，之后与所述第一特征图叠加后，生成第四特征图；

所述上采样模块用于对第四特征图尺寸恢复；

所述重建模块用于对尺寸恢复后的第四特征图进行通道调整，重建为噪声残差。

进一步地，所述第一区域级非局部模块、第二区域级非局部模块的结构相同，包括四个卷积层χ，φ，κ和γ；

第一特征图首先被划分为k×k个具有相同大小的特征图块，特征图块分别经过χ，φ，κ进行卷积操作，生成特征图

和

将

和

进行乘法操作，生成特征图

对特征图中特征位置索引总和进行除法操作来完成归一化，之后与

再次进行乘法操作以生成特征图

之后经过卷积层γ处理之后，

生成特征图

最后，

与特征图F_t ¹叠加完成非局部增强，得到多个增强特征图像块F_t ^R1；多个增强特征图像块合并得到第二特征图F^R1。

进一步地，所述残差密集块包括多个基础块，每个基础块由多个残差模块和一个二阶信道注意力模块SOCA组成，每个残差模块所提取的特征图信息由缩放系数β控制；

残差模块包括多层卷积层和带泄露修正线性整流层LReLU的连续堆叠和跳转连接，之后为一个卷积层；

所述二阶信道注意力模块SOCA包括依次连接的协方差归一化层、全局协方差池化层、卷积层、线性整流层，卷积层，Sigmoid层。

进一步地，在残差密集块中，第二特征图经过残差模块中的多层卷积层和带泄露修正线性整流层LReLU的处理之后，被传入二阶信道注意力模块SOCA处理，通过利用二阶特征统计量自适应地学习特征间的依赖关系，来重新调整通道特征。

进一步地，在二阶信道注意力模块SOCA中，协方差归一化层对处理后的第二特征图进行处理，将特征图转化为归一化协方差矩阵，接着传入全局协方差池化层进行收缩，得到信道方向的统计量，统计量再经过卷积层、线性整流层，卷积层，Sigmoid层处理后，生成信道关注图，通过信道关注图重新分配所述的第二特征图。

进一步地，第二特征图完成二阶信道注意力模块SOCA的处理后，残差密集块中的第一个基础块中，第一个残差模块生成特征图F₁ ^d，它经过缩放系数β的缩放，与第二特征图F^R1叠加传入第二残差模块；在经过与第一个残差模块相同的处理之后，生成的特征图

经过缩放与F₁ ^d叠加传入到第三个残差模块；第三残差模块对特征图进行同样的处理，生成特征图

经过缩放后与

叠加，再次进行缩放并与特征图F^R1叠加生成特征图F₁ ^D，完成第一个基础块的处理；随后，处理后的特征图被传入后续的其他基础块进行相同的处理，完成对特征的深度提取，生成深层特征图

进一步地，所述重建模块包括一系列依次连接的卷积层，在最后一个卷积层之前的每个卷积层之后均有一个线性整流层ReLU；

第四特征图传入重建模块后通过卷积层和线性整流层ReLU调整通道，最终通过最后一层卷积层重建为噪声残差。

一种红外热成像系统深度学习图像去噪装置，包括：

分割单元，用于获取红外热成像系统采集的目标物图像并进行下采样处理，分割成子图像；

预处理单元，用于对每个子图像进行图像块提取以及重组像素，得到预处理后的子图像；

加噪单元，用于构建噪声图，并将噪声图作为额外通道添加到所述预处理后的子图像中作为输入图像；

神经网络单元，用于将输入图像作为训练好的深度学习模型中，输出噪声的估计值；

去噪单元，用于从所述目标物图像中去除噪声的估计值，得到去噪后的图像。

第三方面，本申请提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行计算机程序时实现前述第一方面的红外热成像系统深度学习图像去噪方法的步骤。

第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现前述第一方面的红外热成像系统深度学习图像去噪方法的步骤。

与现有技术相比，本发明具有以下技术特点：

本发明的图像去噪方法，通过采用“下采样分割”技术，提高了速度，降低复杂度，并且可通过调节参数来应对不同的目标图像大小；通过“区域级非局部模块RL-NL”，可以充分利用图像丰富的结构特征和相似性，更好地利用图像块特征中的上下文信息。相比如现有技术，如FFDnet去噪算法，本发明采用数据集混合训练方式，提高了算法的泛化能力，在针对不同的环境都有较好的去噪效果；对比CBDnet去噪算法，本发明采用二阶信道注意力机制SOCA，充分提取图像特征，在红外图像本身特征值较少情况下实现了较好的效果，本发明非常有利于红外热成像及深度学习技术的应用研究。

附图说明

图1为本发明一个实施例提供的图像去噪方法的流程示意图；

图2为实施例中经预处理所得到的图像，该示例为将大小为1×320×240的图像处理为5×160×120，噪声图M作为额外通道将添加到输入中；

图3为实施例中深度学习模型的架构示意图；

图4为实施例中区域级非局部模块示意图；

图5为实施例中残差密集块内部基本块示意图；

图6为实施例中残差块内部示意图，该示例中β＝0.2；

图7为实施例中二阶信道注意力机制SOCA示意图；

图8为实施例中重建模块示意图。

具体实施方式

参见图1，本申请的第一方面提供了一种红外热成像系统深度学习图像去噪方法，包括以下步骤：

S1，获取红外热成像系统采集的目标物图像并进行下采样处理，分割成子图像。

本申请的一个实施例中，利用红外热成像系统拍摄被测目标物图像I，其大小为n_ch×h×w，对目标物图像I进行一次下采样分割成4n_ch×h/2×w/2的子图像。其中n_ch为信道，h为高度，w为宽度。

S2，对每个子图像进行图像块提取以及重组像素，得到预处理后的子图像。

该实施例中，对每个图像进行2×2图像块的提取，并在输出图像的不同通道中重组其像素，得到预处理后的子图像A⁰，其数学模型表示如下：

上述表达式中，c为图像信道，x为图像像素横坐标，y为图像像素纵坐标，其中0≤c≤4n_ch，0≤x≤h，0≤y≤w。大多数处理将在以上缩小的规模下进行。

S3，构建噪声图，并将噪声图作为额外通道添加到所述预处理后的子图像中作为输入图像。

从[σ₁,σ₂)均匀分布中随机采样，输出n_ch×h×w大小的样本来构建噪声图M。噪声图M将作为额外通道添加到输入图像A⁰中。该噪声图控制了降噪和细节保留之间的权衡。

经上述步骤预处理，得到的目标图像大小为(4n_ch+n_ch)×h/2×w/2的图像A¹，其示意图如图2所示。

S4，将输入图像作为训练好的深度学习模型中，输出噪声的估计值。

如图3所示，将经预处理后的图像A¹输入到深度学习模型，得到噪声的估计值，其数学模型可以表示为：

N＝F(A¹)

上述表达式中，N为噪声预测值，F(·)为一个隐函数，表示深度神经网络。

S5，从所述目标物图像中去除噪声的估计值，得到去噪后的图像。

经过深度学习模型处理之后，从目标图像I中去除预测噪声N，即I-N输出即为去噪后的图像I^DN，其数学模型可以表示如下：

I^DN＝I-N

上式中I^DN表示去噪后的图像，I为目标图像，N是深度学习模型预测噪声。

作为上述技术方案的一种可实现的方式，所述深度学习模型包括依次连接的第一卷积模块、第一区域级非局部模块、残差密集块、第二区域级非局部模块、第二卷积模块、上采样模块以及重建模块，其中：

所述第一卷积模块用于对输入图像进行浅层特征提取，得到第一特征图；第一特征图一方面作为所述第一区域级非局部模块的输入，另一方面与所述第二卷积模块的输出叠加后，作为上采样模块的输入；所述第一区域级非局部模块用于对第一特征图进行非局部增强处理，得到第二特征图；所述残差密集块用于对于所述第二特征图进行深层特征的提取，以生成深层特征图；所述第二区域级非局部模块用于对深层特征图进行非局部增强处理，得到第三特征图；所述第二卷积模块用于对第三特征图进行特征提取的同时调整通道，之后与所述第一特征图叠加后，生成第四特征图；所述上采样模块用于对第四特征图尺寸恢复；所述重建模块用于对尺寸恢复后的第四特征图进行通道调整，重建为噪声残差。

本方案的深度学习模型结构，示例性地，如图3所示；本实施例中，从左到右，该深度学习模型依次包括：第一卷积模块、第一区域级非局部模块RN-NL、残差密集块、第二区域级非局部模块RN-NL、第二卷积模块、上采样模块以及重建模块，各模块介绍如下：

1.第一卷积模块

第一卷积模块为一个3×3卷积层，输入图像A¹首先经过3×3卷积层，在该层中对输入图像A¹进行浅层特征提取，得到第一特征图F¹，第一特征图一方面进入到后续分支进行处理，另一方面通过跳转线传入到深层网络，与所述第二卷积模块的输出叠加后，作为上采样模块的输入；即为网络模型深层提供浅层特征并与深层特征图叠加后，传入上采样模块进行处理。

2.第一区域级非局部模块RL-NL

本方案提供了一种RL-NL模块结构，如图4所示，RL-NL模块中包括4个1×1卷积层，其中左侧3个卷积层从上至下分别被标注为χ，φ，和κ，右侧卷积层被标注为γ；在RL-NL模块中，输入的大小为h×w的特征图F¹首先被划分成k×k个具有相同大小的特征图块，其划分过程的可以表示如下：

h₁＝h/k,w₁＝w/k

上述表达式中，h₁和w₁分别为被划分后的图像块大小，F_t ¹代表第t个特征图像块，每个特征图像块均进行非局部增强；输入的特征图块F_t ¹首先通过χ，φ，和κ卷积操作，生成特征图

和

将

和

进行乘法操作，生成特征图

对特征图中特征位置索引总和n＝h×w/k²进行除法操作来完成归一化，之后与

再次进行乘法操作以生成特征图

在经过1×1卷积层γ处理之后，

生成特征图

最后，

与特征图F_t ¹叠加完成非局部增强。上述非局部增强的数学模型可表示为：

其中，i是要计算的特征图的特征位置索引，j是特征图中所有可能位置的索引，

表示第t个特征图像块的第i个位置，F_t ^R1表示增强后F_t ¹，

分别表示1×1卷积层χ，φ和κ的卷积处理，W_χ，W_φ，W_κ，和W_γ为1×1卷积层χ，φ，κ和γ学习到的权重，N＝h×w/k²为特征图的位置索引个数。

最后，增强特征图像块F_t ^R1合并生成第二特征图F^R1，第一区域级非局部模块处理完成。

3.残差密集块

本方案的一个示例中，残差密集块由5个基础块组成，如图5所示，基础块由3个残差模块组成，每个残差模块所提取的特征图信息被缩放系数β控制。残差模块的网络结构如图6所示，从左到右，该网络包括4层3×3卷积层和带泄露修正线性整流层LReLU的连续堆叠和跳转连接，1层3×3卷积层，二阶信道注意力模块SOCA。图7展示了二阶信道注意力模块SOCA的网络结构，包括协方差归一化层，全局协方差池化层，3×3卷积层，线性整流层ReLU，3×3卷积层，Sigmoid层。

在残差密集块中，增强后的第二特征图F^R1被输入到第一个基础块进行深度特征提取，第二特征图F^R1经过残差模块中一系列3×3卷积层和带泄露修正线性整流层LReLU的处理之后，被传入二阶信道注意力模块SOCA处理，通过利用二阶特征统计量自适应地学习特征间的依赖关系，来重新调整通道特征。在二阶信道注意力模块SOCA中，协方差归一化层对前面处理后的第二特征图F^R1进行处理，将特征图转化为归一化协方差矩阵，其过程如下：

首先，大小为C×H×W的特征图F^R1的数学模型被表示为F^R1＝[f₁,…,f_C]，并被重塑为特征矩阵X，则其样本协方差矩阵Σ可表示为：

其中

s＝WH为信道所在维度特征，e_s和I分别是s×s单位矩阵和所有都为1的矩阵。由于协方差矩阵Σ对称半正定，因此进行特征值分解：

Σ＝UΛU^T

在表达式中，U为正交矩阵，U^T为U的转置，Λ为特征值非递增顺序的对角矩阵。之后，将矩阵转化为特征值的幂：

Σ^α＝UΛ^αU^T

其中α＝0.5，

经过协方差归一化层的处理，第二特征图F^R1生成归一化协方差矩阵，接着传入全局协方差池化层进行收缩，得到信道方向的统计量z∈R^C×1。本方案令

则统计量z的c维度的数学模型可以表示为：

其中，y_c为信道描述符的一个分量，C为信道描述符分量总数，z_c为该分量上的统计量。

为了通过全局协方差池充分利用聚集信息的特征相关性，特征图所形成的信道统计量z被传入之后的3×3卷积层，线性整流层ReLU，3×3卷积层，Sigmoid层以生成信道关注图w，其数学模型可表示为：

w＝Sigmoid(W_gδ(W_dz))

上述表达式中，W_g和W_d分别为两个3×3卷积层的权重集，Sigmoid(·)和δ(·)是sigmoid函数和ReLu函数。通过w重新分配输入的特征图F^R1＝[f₁,…,f_C]，其数学表达式为：

其中，w_c和f_c表示第c个通道中的比例因子和特征图。

第二特征图完成二阶信道注意力模块SOCA的通道调整后，第一个基础块中的第一个残差模块生成特征图F₁ ^d，它经过缩放系数β的缩放，与特征图F^R1叠加传入第二个残差模块。在经过与第一个残差模块相同的处理之后，生成的特征图

经过缩放与F₁ ^d叠加传入到第三个残差模块。第三个残差模块对特征图进行同样的处理，生成特征图

经过缩放后与

叠加，再次进行缩放并与特征图F^R1叠加生成特征图F₁ ^D，完成第一个基础块的处理。随后，特征图被传入第二、三、四、五个基础块进行相同的处理，完成对特征的深度提取，生成深层特征图

4.第二区域级非局部模块

本方案中的第二RN-NL模块与第一RN-NL模块具有相同的结构，并对特征图进行相同的非局部增强处理以生成第三特征图F^R2。

5.第二卷积模块

第二卷积模块为一个3×3卷积层，深层特征图F^R2经过3×3卷积层处理，进行特征提取同时调整通道；之后，特征图与浅层网络传来的第一特征图F¹叠加生成第四特征图F′。

6.上采样模块

在上采样模块中，将尺寸为h/2×w/2的第四特征图重新恢复为h×w尺寸，生成特征图F^U，该处理通过反转下采样公式来实现，其中x为图像长度，y为图像宽度，c为图像通道数。

7.重建模块

重建模块由一系列3×3卷积层和线性整流层ReLU组成，如图8所示，从左至右依次为为：3×3卷积层，线性整流层ReLU，3×3卷积层，线性整流层ReLU，3×3卷积层。特征图F^U传入重建模块后被调整通道，最终由一层3×3卷积层重建为n_ch×h×w大小的噪声残差。

本方案的深度学习模型的训练中，采用Adam函数对损失函数L(Θ)进行优化，其过程表示如下：

上式中

为经预处理后的图像块，M_j为每次预处理所加入的噪声估计图，Θ为深度学习网络参数，

为输入图像中噪声的估计值，m输入图像块数目。

其中

中

是由训练集中

中的

的经上述预处理得到，训练集

可分为三种：

(1)真实噪声训练集(训练集中的

为高清图像，

为含有真实噪声的图像)

(2)加性噪声训练集(训练集中的

为高清图像，

为含有加性高斯白噪声的图像)

(3)合训练集，将(1),(2)两种训练集都进行训练。

经过2000次(可以通过程序控制)训练后，可以得到优化参数Θ。

对于一个由红外热成像系统拍摄的目标物图像I，并经过图像预处理得到的子图像A¹，可以通过I^DN＝I-F(A¹)进行去噪从而得到清晰的图像I^DN。

本发明方法提高了成像质量并且有效去除图像中的噪声干扰，特别是在应对图像中目标物体温度比较平均的时，即无热源，图像出现很多噪点的情况下有着出色表现，比如，应对阴暗面拍摄的红外图像，其有望在生物医学、遥感探测、汽车辅助驾驶等领域得到广泛应用。

根据本申请的另一方面，提供了一种红外热成像系统深度学习图像去噪装置，包括：

分割单元，用于获取红外热成像系统采集的目标物图像并进行下采样处理，分割成子图像；

预处理单元，用于对每个子图像进行图像块提取以及重组像素，得到预处理后的子图像；

加噪单元，用于构建噪声图，并将噪声图作为额外通道添加到所述预处理后的子图像中作为输入图像；

神经网络单元，用于将输入图像作为训练好的深度学习模型中，输出噪声的估计值；

去噪单元，用于从所述目标物图像中去除噪声的估计值，得到去噪后的图像。

需要说明的是，上述各个模块的具体功能和相关解释参见前述方法实施例中对应的步骤，在此不赘述。

本申请实施例进一步提供一种终端设备，该终端设备可以为计算机、服务器；包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述红外热成像系统深度学习图像去噪方法的步骤，例如，前述的S1至S5。

计算机程序也可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器中，并由处理器执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程，例如，计算机程序可以被分割为分割单元、预处理单元、加噪单元、神经网络单元以及去噪单元，各模块的功能参见前述装置中的描述，不再赘述。

本申请的实施提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述红外热成像系统深度学习图像去噪方法的步骤，例如，前述的S1至S5。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种红外热成像系统深度学习图像去噪方法，其特征在于，包括以下步骤：

获取红外热成像系统采集的目标物图像并进行下采样处理，分割成子图像；

对每个子图像进行图像块提取以及重组像素，得到预处理后的子图像；

构建噪声图，并将噪声图作为额外通道添加到所述预处理后的子图像中作为输入图像；

将输入图像作为训练好的深度学习模型中，输出噪声的估计值；

从所述目标物图像中去除噪声的估计值，得到去噪后的图像；

所述深度学习模型包括依次连接的第一卷积模块、第一区域级非局部模块、残差密集块、第二区域级非局部模块、第二卷积模块、上采样模块以及重建模块，其中：

所述第一卷积模块用于对输入图像进行浅层特征提取，得到第一特征图；第一特征图一方面作为所述第一区域级非局部模块的输入，另一方面与所述第二卷积模块的输出叠加后，作为上采样模块的输入；

所述第一区域级非局部模块用于对第一特征图进行非局部增强处理，得到第二特征图；

所述残差密集块用于对于所述第二特征图进行深层特征的提取，以生成深层特征图；

所述第二区域级非局部模块用于对深层特征图进行非局部增强处理，得到第三特征图；

所述第二卷积模块用于对第三特征图进行特征提取的同时调整通道，之后与所述第一特征图叠加后，生成第四特征图；

所述上采样模块用于对第四特征图尺寸恢复；

所述重建模块用于对尺寸恢复后的第四特征图进行通道调整，重建为噪声残差；

所述第一区域级非局部模块、第二区域级非局部模块的结构相同，包括四个卷积层χ，φ，κ和γ；

第一特征图首先被划分为k×k个具有相同大小的特征图块，特征图块分别经过χ，φ，κ进行卷积操作，生成特征图

和

将

和

进行乘法操作，生成特征图

对特征图中特征位置索引总和进行除法操作来完成归一化，之后与

再次进行乘法操作以生成特征图

之后经过卷积层γ处理之后，

生成特征图

最后，

与特征图F_t ¹叠加完成非局部增强，得到多个增强特征图像块F_t ^R1；多个增强特征图像块合并得到第二特征图F^R1。

2.根据权利要求1所述的红外热成像系统深度学习图像去噪方法，其特征在于，所述残差密集块包括多个基础块，基础块由多个残差模块和一个二阶信道注意力模块SOCA组成，每个残差模块所提取的特征图信息由缩放系数β控制；

残差模块包括多层卷积层和带泄露修正线性整流层LReLU的连续堆叠和跳转连接，之后为一个卷积层；

所述二阶信道注意力模块SOCA包括依次连接的协方差归一化层、全局协方差池化层、卷积层、线性整流层，卷积层，Sigmoid层。

3.根据权利要求2所述的红外热成像系统深度学习图像去噪方法，其特征在于，在残差密集块中，第二特征图经过残差模块中的多层卷积层和带泄露修正线性整流层LReLU的处理之后，被传入二阶信道注意力模块SOCA处理，通过利用二阶特征统计量自适应地学习特征间的依赖关系，来重新调整通道特征。

4.根据权利要求2所述的红外热成像系统深度学习图像去噪方法，其特征在于，在二阶信道注意力模块SOCA中，协方差归一化层对处理后的第二特征图进行处理，将特征图转化为归一化协方差矩阵，接着传入全局协方差池化层进行收缩，得到信道方向的统计量，统计量再经过卷积层、线性整流层，卷积层，Sigmoid层处理后，生成信道关注图，通过信道关注图重新分配所述的第二特征图。

5.根据权利要求2所述的红外热成像系统深度学习图像去噪方法，其特征在于，第二特征图完成二阶信道注意力模块SOCA的处理后，残差密集块的第一个基础块中，第一个残差模块生成特征图F₁ ^d，它经过缩放系数β的缩放，与第二特征图F^R1叠加传入第二残差模块；在经过与第一个残差模块相同的处理之后，生成的特征图

经过缩放与F₁ ^d叠加传入到第三个残差模块；第三残差模块对特征图进行同样的处理，生成特征图

经过缩放后与

叠加，再次进行缩放并与特征图F^R1叠加生成特征图F₁ ^D，完成第一个基础块的处理；随后，处理后的特征图被传入后续的其他基础块进行相同的处理，完成对特征的深度提取，生成深层特征图

6.根据权利要求1所述的红外热成像系统深度学习图像去噪方法，其特征在于，所述重建模块包括一系列依次连接的卷积层，在最后一个卷积层之前的每个卷积层之后均有一个线性整流层ReLU；

第四特征图传入重建模块后通过卷积层和线性整流层ReLU调整通道，最终通过最后一层卷积层重建为噪声残差。

7.一种红外热成像系统深度学习图像去噪装置，其特征在于，包括：

分割单元，用于获取红外热成像系统采集的目标物图像并进行下采样处理，分割成子图像；

预处理单元，用于对每个子图像进行图像块提取以及重组像素，得到预处理后的子图像；

加噪单元，用于构建噪声图，并将噪声图作为额外通道添加到所述预处理后的子图像中作为输入图像；

神经网络单元，用于将输入图像作为训练好的深度学习模型中，输出噪声的估计值；

去噪单元，用于从所述目标物图像中去除噪声的估计值，得到去噪后的图像；

所述深度学习模型包括依次连接的第一卷积模块、第一区域级非局部模块、残差密集块、第二区域级非局部模块、第二卷积模块、上采样模块以及重建模块，其中：

所述第一卷积模块用于对输入图像进行浅层特征提取，得到第一特征图；第一特征图一方面作为所述第一区域级非局部模块的输入，另一方面与所述第二卷积模块的输出叠加后，作为上采样模块的输入；

所述第一区域级非局部模块用于对第一特征图进行非局部增强处理，得到第二特征图；

所述残差密集块用于对于所述第二特征图进行深层特征的提取，以生成深层特征图；

所述第二区域级非局部模块用于对深层特征图进行非局部增强处理，得到第三特征图；

所述第二卷积模块用于对第三特征图进行特征提取的同时调整通道，之后与所述第一特征图叠加后，生成第四特征图；

所述上采样模块用于对第四特征图尺寸恢复；

所述重建模块用于对尺寸恢复后的第四特征图进行通道调整，重建为噪声残差；

所述第一区域级非局部模块、第二区域级非局部模块的结构相同，包括四个卷积层χ，φ，κ和γ；

第一特征图首先被划分为k×k个具有相同大小的特征图块，特征图块分别经过χ，φ，κ进行卷积操作，生成特征图

和

将

和

进行乘法操作，生成特征图

对特征图中特征位置索引总和进行除法操作来完成归一化，之后与

再次进行乘法操作以生成特征图

之后经过卷积层γ处理之后，

生成特征图

最后，

与特征图F_t ¹叠加完成非局部增强，得到多个增强特征图像块F_t ^R1；多个增强特征图像块合并得到第二特征图F^R1。

8.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现根据权利要求1至6中任一权利要求所述方法的步骤。

Images