CN114359078A - 基于特征金字塔注意力神经网络的太赫兹图像增强方法 - Google Patents

Abstract

本发明涉及太赫兹成像的技术领域，更具体地说，它涉及基于特征金字塔注意力神经网络的太赫兹图像增强方法，其技术方案要点是：S1、使用SIDD公开数据集作为数据集，选取SIDD数据集中M张成对的低质量‑高质量图像，记为

i＝1,2,…,M；S2、构建特征金字塔注意力卷积神经网络模型；S3、训练所述神经网络模型；S4、利用太赫兹成像仪拍摄得到K张分辨率为a×b的带噪声的太赫兹图像集H，然后将该图像集输入到深度神经网络，之后输出即为高质量图像GT。本发明具有算法去噪效果好、图像信息保留较完整、算法运行较快的优点。

Description

基于特征金字塔注意力神经网络的太赫兹图像增强方法

技术领域

本发明涉及太赫兹成像的技术领域，更具体地说，它涉及基于特征金字塔注意力神经网络的太赫兹图像增强方法。

背景技术

太赫兹成像技术是利用太赫兹波作为信号源的成像技术。相比于X射线技术，太赫兹成像技术没有电离辐射，具有应用安全、非接触式的优势。因此太赫兹成像技术在安检、通信、生物医学、无损检测等方面得到广泛的应用。

传统的太赫兹图像增强算法在成像过程中，由于太赫兹波源的扰动、成像系统或者目标物运动、信号采集系统噪声等随机因素干扰，导致太赫兹图像存在成像质量较差、分辨率较低、对比度较低等问题。

发明内容

针对现有技术存在的不足，本发明的目的在于提供基于特征金字塔注意力神经网络的太赫兹图像增强方法，具有算法去噪效果好、图像信息保留较完整、算法运行较快的优点。

本发明的上述技术目的是通过以下技术方案得以实现的，基于特征金字塔注意力神经网络的太赫兹图像增强方法，包括以下步骤：

S1、使用SIDD公开数据集作为数据集，选取SIDD数据集中M张成对的低质量-高质量图像，记为

i＝1,2,...,M；

S2、构建特征金字塔注意力卷积神经网络模型；

S3、训练所述神经网络模型；

S4、利用太赫兹成像仪拍摄得到K张分辨率为a×b的带噪声的太赫兹图像集H，然后将该图像集输入到深度神经网络，之后输出即为高质量图像GT。

在其中一个实施例中，所述步骤S1还包括以下步骤：

首先将SIDD数据集彩色图像转为单通道灰度图，然后进行数据增强，将灰度图裁剪为K张分辨率为a×b的图像，接着将裁剪后的图像随机上下翻转、随机将图像旋转R₁，R₂，R₃，R₄度，R_l∈[1,4]∈[D,E]

，得到用于训练的子图像集

j＝1,2,...,K，记为S。

在其中一个实施例中，所述步骤S2还包括以下步骤：

S21、使用h个卷积核尺寸为s，通道数为c₁的卷积层和Relu层，将分辨率为m×n，通道数为c₂的太赫兹图像处理为分辨率为m×n，通道数为c₁的张量信息，上述操作如下：

C₁＝Conv_h(W_i)

上式中W_i为输入的通道数为c₂，分辨率为m×n的张量信息，Conv_h(·)表示卷积层，C₁为输出的张量信息；

然后将张量信息输入至通道注意力模块，最后通过h₁个卷积核尺寸为s，通道数为c₃的卷积层，上述操作如下：

N_est＝Conv(CAB(C₁,θ,β))

上式中N_est为通道数为c₃，分辨率为m×n的张量信息，Conv(·)表示卷积操作，CAB(·)为通道注意力模块，θ和β是网络待优化的参数；通道注意力利用通道映射之间的相互依赖性，改进特定语义信息的特征表示，来显式地建模通道之间的相互依赖关系；

S22、输入特征首先通过卷积层，尺寸为s，通道数为c₄，然后分别进行Reshape和Transpose操作，最后在不同阶段进行相乘和相加，给不同特征通道进行加权，其表示如下：

C_{1_1}＝Reshape(C₁)

C_{1_2}＝Reshape(C₁)

C_{1_3}＝RT(C₁)

C_{1_4}＝Softmax(C_{1_2}*C_{1_3})

C_{1_5}＝Reshape(β(C_{1_1}*C_{1_4}))

C₁ ^*＝C₁+C_{1_5}

上式中C₁ ^*为经过加权后的C₁，RT表示Reshape和Transpose操作；最后将输入特征与输出特征进行维度层面的拼接操作，实现低级特征和高级特征的融合，其表示如下：

C₂＝Concat(N_est,W_i)

上式中C₂为通道数为c₅＝c₂+c₃，分辨率为m×n的张量信息，Concat(·)为维度的层面拼接操作，然后将C₂通过h个卷积核尺寸为s，通道数为c₆的卷积层和Relu层提取特征，然后通过h个特征金字塔注意力模块进行不同尺度特征的融合，之后通过h个卷积核尺寸为s，通道数为c₇的卷积层和Relu层，其过程表示如下：

C₃＝Conv_h(C₂)

C₄＝FPA_h(C₃)

C₅＝Conv_h(C₄)

上式中Conv_h(·)表示h个卷积层和Relu层的操作，FPA_h(·)表示h个特征金字塔注意力模块；

S23、输入通道数为c6，分辨率为的m×n特征C₃分别通过下采样残差模块之后生成四个通道数为c₆，尺度为m/2×n/2，n/4×n/4，m/8×n/8，m/16×n/16的特征图，这样构建了五层的特征金字塔模型；对每个尺度下的特征图通过一个通道注意力模块，建模通道之间的相互依赖关系，最后对每个尺度下的特征使用bicubic上采样，进行特征融合；特征金字塔注意力通过利用构建的多尺度特征图，使用注意力机制来显式建模不同尺度特征的相关性，使得重建后的太赫兹图像细节信息保留完整；最后，使用残差连接来保留更丰富的特征信息，最后通过h₂个卷积核尺寸为s，通道数为c₈的卷积层得到增强后的太赫兹图像；其过程表示如下：

C_out＝Conv(C₃+C₅)

上式中C_out为最终增强后的太赫兹图像。

在其中一个实施例中，所述步骤S3具体为：

采用生成对抗网络的训练方法，训练的网络包括图像增强网络G和判别网络D，损失函数包含三个部分，内容损失L(θ)，噪声损失L_n以及生成对抗损失L_A(G,D)；

内容损失衡量高质量图像与神经网络模型增强之后的图像之间的差距，采用l₁损失，公式表示如下：

上式中N为一个epochs下训练的图像数量，Net(·)为网络模型，W_j ^*为第j个低质量图像，GT_j ^*为第j个高质量图像，θ为神经网络待优化的参数；

噪声损失公式表示如下：

上式中α为常数，N^j _gt＝W_j ^*-GT_j ^*为第j张图像的真实噪声，N_est ^j为神经网络估计的噪声；

生成对抗损失公式表示如下：

上式中min_D为判别器的损失函数，min_G为生成器的损失函数，D(·)为判别器网络，G(·)为生成器网络，E[·]为损失；

总的损失L_total为三个损失的线性组合；其公式表示如下：

L_total＝λ₁L(θ)+λ₂L_n+λ₃L_A(G,D)

上式中λ₁，λ₂，λ₃是三种损失函数的权重，其值为常数；

在深度神经网络训练过程中，采用ADAM函数对损失函数L_total进行优化，初始学习率设置为lr，每迭代I次学习率下降α倍；用于训练每一批的图片数量为N；经过epochs次迭代训练后，可得到优化参数θ^*。

在其中一个实施例中，所述步骤S4具体为：

数学模型可以表示如下：

GT＝GT(_x,y)＝N_et(H,θ^*)

上式中GT(x,y)表示高质量图像，Net(·)是一个隐函数，表示训练好的深度神经网络，θ^*是训练好的深度神经网络的参数，(x,y)表示像素坐标。

上述基于特征金字塔注意力神经网络的太赫兹图像增强方法，具有以下有益效果：

通过设计特征金字塔注意力模块，融合图像的多尺度信息。利用构建的多尺度特征图，使用注意力机制来显式建模不同尺度特征的相关性；使用通道注意力显式地建模通道之间的相互依赖关系，为不同特征分配权重；最终使得增强后的图像边缘不易丢失；同时，由于采用LSGAN的生成对抗网络的训练方法，避免了神经网络训练不稳定的问题，实用性更强，可以快速重建出高质量的太赫兹图像。

附图说明

图1是本实施例中生成器神经网络模型结构示意图；

图2是图1中通道注意力(CA Block)模块结构示意图；

图3是图1中特征金字塔注意力模块(FPA Block)结构示意图；

图4是图3中ResBlock残差模块结构示意图；

图5是判别器网络结构示意图；

图6是图5中CIL模块结构示意图。

具体实施方式

下面结合附图和实施例，对本发明进行详细描述。

如图1所示，基于特征金字塔注意力神经网络的太赫兹图像增强方法,包括以下步骤：

S1、使用SIDD公开数据集作为数据集，选取SIDD数据集中M张成对的低质量-高质量图像，记为

i＝1,2,...,M。

具体的，所述步骤S1还包括以下步骤：

首先将SIDD数据集彩色图像转为单通道灰度图，然后进行数据增强，将灰度图裁剪为K张分辨率为a×b的图像，接着将裁剪后的图像随机上下翻转、随机将图像旋转R₁，R₂，R₃，R₄度，R_l∈[1,4]∈[D,E]，得到用于训练的子图像集

j＝1,2,...,K，记为S。

S2、构建特征金字塔注意力卷积神经网络模型。

具体的，所述步骤S2还包括以下步骤：

S21、使用h个卷积核尺寸为s，通道数为c₁的卷积层和Relu层，将分辨率为m×n，通道数为c₂的太赫兹图像处理为分辨率为m×n，通道数为c₁的张量信息，上述操作如下：

C₁＝Conv_h(W_i)

上式中W_i为输入的通道数为c₂，分辨率为m×n的张量信息，Conv_h(·)表示卷积层，C₁为输出的张量信息；

然后将张量信息输入至通道注意力模块，最后通过h₁个卷积核尺寸为s，通道数为c₃的卷积层，上述操作如下：

N_est＝Conv(CAB(C₁,θ,β))

上式中N_est为通道数为c₃，分辨率为m×n的张量信息，Conv(·)表示卷积操作，CAB(·)为通道注意力模块，θ和β是网络待优化的参数；通道注意力利用通道映射之间的相互依赖性，改进特定语义信息的特征表示，来显式地建模通道之间的相互依赖关系；

S22、输入特征首先通过卷积层，尺寸为s，通道数为c₄，然后分别进行Reshape和Transpose操作，最后在不同阶段进行相乘和相加，给不同特征通道进行加权，其表示如下：

C_{1_1}＝Reshape(C₁)

C_{1_2}＝Reshape(C₁)

C_{1_3}＝RT(C₁)

C_{1_4}＝Softmax(C_{1_2}*C_{1_3})

C_{1_5}＝Reshape(β(C_{1_1}*C_{1_4}))

C₁ ^*＝C₁+C_{1_5}

上式中C₁ ^*为经过加权后的C₁，RT表示Reshape和Transpose操作；最后将输入特征与输出特征进行维度层面的拼接操作，实现低级特征和高级特征的融合，其表示如下：

C₂＝Concat(N_est,W_i)

上式中C₂为通道数为c₅＝c₂+c₃，分辨率为m×n的张量信息，Concat(·)为维度的层面拼接操作，然后将C₂通过h个卷积核尺寸为s，通道数为c₆的卷积层和Relu层提取特征，然后通过h个特征金字塔注意力模块进行不同尺度特征的融合，之后通过h个卷积核尺寸为s，通道数为c₇的卷积层和Relu层，其过程表示如下：

C₃＝Conv_h(C₂)

C₄＝FPA_h(C₃)

C₅＝Conv_h(C₄)

上式中Conv_h(·)表示h个卷积层和Relu层的操作，FPA_h(·)表示h个特征金字塔注意力模块；

S23、输入通道数为c₆，分辨率为的m×n特征C₃分别通过下采样残差模块之后生成四个通道数为c₆，尺度为m/2×n/2，n/4×n/4，m/8×n/8，m/16×n/16的特征图，这样构建了五层的特征金字塔模型；对每个尺度下的特征图通过一个通道注意力模块，建模通道之间的相互依赖关系，最后对每个尺度下的特征使用bicubic上采样，进行特征融合；特征金字塔注意力通过利用构建的多尺度特征图，使用注意力机制来显式建模不同尺度特征的相关性，使得重建后的太赫兹图像细节信息保留完整；最后，使用残差连接来保留更丰富的特征信息，最后通过h₂个卷积核尺寸为s，通道数为c₈的卷积层得到增强后的太赫兹图像；其过程表示如下：

C_out＝Conv(C₃+C₅)

上式中C_out为最终增强后的太赫兹图像。

作为一可选的实施例，如图1所示，首先，使用h＝3个卷积核尺寸为s＝3×3，通道数为c₁＝64的卷积层和Relu层101，将分辨率为128×128，通道数为c₂＝1的太赫兹图像处理为分辨率为128×128，通道数为c₁＝64的张量信息。上述操作如下：

C₁＝Conv₃(W_i)

上式中W_i为输入的通道数为c₂＝1，分辨率为128×128的张量信息。Conv₃(·)表示图1中的101。C₁为输出的张量信息。然后将张量信息输入至通道注意力模块102。最后通过h₁＝1个卷积核尺寸为s＝3×3，通道数为c₃＝1的卷积层。上述操作如下：

N_est＝Conv(CAB(C₁,θ,β))

上式中N_est为通道数为c₃＝1，分辨率为128×128的张量信息，Conv(·)表示图1中的103，CAB(·)为通道注意力模块，θ和β是网络待优化的参数。通道注意力利用通道映射之间的相互依赖性，改进特定语义信息的特征表示，来显式地建模通道之间的相互依赖关系。其结构如图2所示，输入特征首先通过3个卷积层201，202，203，尺寸为s＝3×3，通道数为c₄＝64，然后分别进行Reshape和Transpose操作，最后在不同阶段进行相乘和相加，给不同特征通道进行加权。其表示如下：

C_{1_1}＝Reshape(C₁)

C_{1_2}＝Reshape(C₁)

C_{1_3}＝RT(C₁)

C_{1_4}＝Softmax(C_{1_2}*C_{1_3})

C_{1_5}＝Reshape(β(C_{1_1}*C_{1_4}))

C₁ ^*＝C₁+C_{1_5}

上式中C₁ ^*为经过加权后的C₁，RT表示Reshape和Transpose操作。最后将输入特征与输出特征进行维度层面拼接操作104，实现低级特征和高级特征的融合。其表示如下：

C₂＝Concat(N_est,W_i)

上式中C₂为通道数为c₅＝2，分辨率为128×128的张量信息。Concat(·)为104。然后将C₂通过h＝3个卷积核尺寸为s＝3×3，通道数为c₆＝64的卷积层和Relu层105提取特征，然后通过h＝3个特征金字塔注意力模块106进行不同尺度特征的融合，之后通过h＝3个卷积核尺寸为s＝3×3，通道数为c₇＝64的卷积层和Relu层107，其过程表示如下：

C₃＝Conv₃(C₂)

C₄＝FPA₃(C₃)

C₅＝Conv₃(C₄)

上式中Conv₃(·)表示h＝3个卷积层和Relu层的操作，FPA₃(·)表示h＝3个特征金字塔注意力模块，结构如图3所示。输入通道数为c₆＝64，分辨率为的128×128特征C₃分别通过下采样残差模块301，302，303，304之后生成四个通道数为64，尺度为64×64，32×32，16×16，8×8的特征图，这样构建了五层的特征金字塔模型。对每个尺度下的特征图通过一个通道注意力模块，建模通道之间的相互依赖关系，最后对每个尺度下的特征使用bicubic上采样，进行特征融合。特征金字塔注意力通过利用构建的多尺度特征图，使用注意力机制来显式建模不同尺度特征的相关性，使得重建后的太赫兹图像细节信息保留完整。下采样残差模块结构如图6所示。最后，在105之后，108之前使用残差连接来保留更丰富的特征信息，最后通过h₂＝1个卷积核尺寸为s＝3×3，通道数为c₈＝1的卷积层得到增强后的太赫兹图像。其过程表示如下：

C_out＝Conv(C₃+C₅)

上式中C_out为最终增强后的太赫兹图像。

S3、训练所述神经网络模型。

具体的，所述步骤S3具体为：

采用生成对抗网络的训练方法，训练的网络包括图像增强网络G和判别网络D，损失函数包含三个部分，内容损失L(θ)，噪声损失L_n以及生成对抗损失L_A(G,D)；

内容损失衡量高质量图像与神经网络模型增强之后的图像之间的差距，采用l₁损失，公式表示如下：

上式中N为一个epochs下训练的图像数量，Net(·)为网络模型，W_j ^*为第j个低质量图像，GT_j ^*为第j个高质量图像，θ为神经网络待优化的参数；

噪声损失公式表示如下：

上式中α为常数，N^j _gt＝W_j ^*-GT_j ^*为第j张图像的真实噪声，N_est ^j为神经网络估计的噪声；

生成对抗损失公式表示如下：

上式中min_D为判别器的损失函数，min_G为生成器的损失函数，D(·)为判别器网络，G(·)为生成器网络，E[·]为损失；

总的损失L_total为三个损失的线性组合；其公式表示如下：

L_total＝λ₁L(θ)+λ₂L_n+λ₃L_A(G,D)

上式中λ₁，λ₂，λ₃是三种损失函数的权重，其值为常数；

在深度神经网络训练过程中，采用ADAM函数对损失函数L_total进行优化，初始学习率设置为l_r，每迭代I次学习率下降α倍；用于训练每一批的图片数量为N；经过epochs次迭代训练后，可得到优化参数θ^*。

作为一可选的实施例，为了提高太赫兹图像的成像质量，采用生成对抗网络的训练方法。训练的网络包括图像增强网络G和判别网络D，分别如图1，图5所示。损失函数包含三个部分，内容损失L(θ)，噪声损失L_n以及生成对抗损失L_A(G,D)。

内容损失衡量高质量图像与神经网络模型增强之后的图像之间的差距，采用l₁损失，公式表示如下：

上式中N＝64为一个epochs下训练的图像数量，Net(·)表示网络模型，W_j ^*为第j个低质量图像，GT_j ^*为第j个高质量图像，θ为神经网络待优化的参数。

生成对抗损失采用非对称损失，衡量真实噪声与网络估计噪声的差距，优化训练过程，公式表示如下：

上式中α＝3，N^j _gt＝W_j ^*-GT_j ^*为第j张图像的真实噪声，N_est ^j为神经网络估计的噪声。

生成对抗损失公式表示如下：

上式中min_D为判别器的损失函数，min_G为生成器的损失函数，D(·)为判别器网络，G(·)为生成器网络，E[·]为损失。

总的损失L_total为三个损失的线性组合。其公式表示如下：

L_total＝λ₁L(θ)+λ₂L_n+λ₃L_A(G,D)

上式中λ₁＝1，λ₂＝0.3，λ₃＝0.005是三种损失函数的权重。

在深度神经网络训练过程中，采用ADAM函数对损失函数L_total进行优化，初始学习率设置为lr＝10^-4，每迭代50此学习率下降10倍。用于训练每一批的图片数量N＝64。使用Kaiming初始化方法来初始化Net(·)网络。经过epochs＝200次迭代训练后，可得到优化参数θ^*。

S4、利用太赫兹成像仪拍摄得到K张分辨率为a×b的带噪声的太赫兹图像集H，然后将该图像集输入到深度神经网络，之后输出即为高质量图像GT。

具体的，所述步骤S4具体为：

数学模型可以表示如下：

GT＝GT(x,y)＝Net(H,θ^*)

上式中GT(x,y)表示高质量图像，Net(·)是一个隐函数，表示训练好的深度神经网络，θ^*是训练好的深度神经网络的参数，(x,y)表示像素坐标。

作为一可选的实施例，所述的基于特征金字塔注意力神经网络的太赫兹图像增强算法获取增强后的图像是通过深度神经网络来实现。首先，利用太赫兹成像仪拍摄得到20张分辨率为240×480的带噪声的太赫兹图像集H，然后将该图像集输入到深度神经网络，之后输出即为高质量图像GT，其数学模型可以表示如下：

GT＝GT(x,y)＝Net(H,θ^*)

上式中GT(x,y)表示高质量图像，Net(·)是一个隐函数，表示训练好的深度神经网络，θ^*是深度神经网络的网络参数，(x,y)表示像素坐标。

本发明通过设计特征金字塔注意力模块，融合图像的多尺度信息。利用构建的多尺度特征图，使用注意力机制来显式建模不同尺度特征的相关性；使用通道注意力显式地建模通道之间的相互依赖关系，为不同特征分配权重；最终使得增强后的图像边缘不易丢失；同时，由于采用LSGAN的生成对抗网络的训练方法，避免了神经网络训练不稳定的问题，实用性更强，可以快速重建出高质量的太赫兹图像。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.基于特征金字塔注意力神经网络的太赫兹图像增强方法，其特征在于，包括以下步骤：

S1、使用SIDD公开数据集作为数据集，选取SIDD数据集中M张成对的低质量-高质量图像，记为

S2、构建特征金字塔注意力卷积神经网络模型；

S3、训练所述神经网络模型；

S4、利用太赫兹成像仪拍摄得到K张分辨率为a×b的带噪声的太赫兹图像集H，然后将该图像集输入到深度神经网络，之后输出即为高质量图像GT。

2.根据权利要求1所述的基于特征金字塔注意力神经网络的太赫兹图像增强方法，其特征在于，所述步骤S1还包括以下步骤：

首先将SIDD数据集彩色图像转为单通道灰度图，然后进行数据增强，将灰度图裁剪为K张分辨率为a×b的图像，接着将裁剪后的图像随机上下翻转、随机将图像旋转R₁，R₂，R₃，R₄度，R_l∈[1,4]∈[D,E]，得到用于训练的子图像集

记为S。

3.根据权利要求1所述的基于特征金字塔注意力神经网络的太赫兹图像增强方法，其特征在于，所述步骤S2还包括以下步骤：

S21、使用h个卷积核尺寸为s，通道数为c₁的卷积层和Relu层，将分辨率为m×n，通道数为c₂的太赫兹图像处理为分辨率为m×n，通道数为c₁的张量信息，上述操作如下：

C₁＝Conv_h(W_i)

上式中W_i为输入的通道数为c₂，分辨率为m×n的张量信息，Conv_h(·)表示卷积层，C₁为输出的张量信息；

然后将张量信息输入至通道注意力模块，最后通过h₁个卷积核尺寸为s，通道数为c₃的卷积层，上述操作如下：

N_est＝Conv(CAB(C₁,θ,β))

上式中N_est为通道数为c₃，分辨率为m×n的张量信息，Conv(·)表示卷积操作，CAB(·)为通道注意力模块，θ和β是网络待优化的参数；通道注意力利用通道映射之间的相互依赖性，改进特定语义信息的特征表示，来显式地建模通道之间的相互依赖关系；

S22、输入特征首先通过卷积层，尺寸为s，通道数为c₄，然后分别进行Reshape和Transpose操作，最后在不同阶段进行相乘和相加，给不同特征通道进行加权，其表示如下：

C_{1_1}＝Reshape(C₁)

C_{1_2}＝Reshape(C₁)

C_{1_3}＝RT(C₁)

C_{1_4}＝Softmax(C_{1_2}*C_{1_3})

C_{1_5}＝Reshape(β(C_{1_1}*C_{1_4}))

C₁ ^*＝C₁+C_{1_5}

上式中C₁ ^*为经过加权后的C₁，RT表示Reshape和Transpose操作；最后将输入特征与输出特征进行维度层面的拼接操作，实现低级特征和高级特征的融合，其表示如下：

C₂＝Concat(N_est,W_i)

上式中C₂为通道数为c₅＝c₂+c₃，分辨率为m×n的张量信息，Concat(·)为维度的层面拼接操作，然后将C₂通过h个卷积核尺寸为s，通道数为c₆的卷积层和Relu层提取特征，然后通过h个特征金字塔注意力模块进行不同尺度特征的融合，之后通过h个卷积核尺寸为s，通道数为c₇的卷积层和Relu层，其过程表示如下：

C₃＝Conv_h(C₂)

C₄＝FPA_h(C₃)

C₅＝Conv_h(C₄)

上式中Conv_h(·)表示h个卷积层和Relu层的操作，FPA_h(·)表示h个特征金字塔注意力模块；

S23、输入通道数为c₆，分辨率为的m×n特征C₃分别通过下采样残差模块之后生成四个通道数为c₆，尺度为m/2×n/2，n/4×n/4，m/8×n/8，m/16×n/16的特征图，这样构建了五层的特征金字塔模型；对每个尺度下的特征图通过一个通道注意力模块，建模通道之间的相互依赖关系，最后对每个尺度下的特征使用bicubic上采样，进行特征融合；特征金字塔注意力通过利用构建的多尺度特征图，使用注意力机制来显式建模不同尺度特征的相关性，使得重建后的太赫兹图像细节信息保留完整；最后，使用残差连接来保留更丰富的特征信息，最后通过h₂个卷积核尺寸为s，通道数为c₈的卷积层得到增强后的太赫兹图像；其过程表示如下：

C_out＝Conv(C₃+C₅)

上式中C_out为最终增强后的太赫兹图像。

4.根据权利要求1所述的基于特征金字塔注意力神经网络的太赫兹图像增强方法，其特征在于，所述步骤S3具体为：

采用生成对抗网络的训练方法，训练的网络包括图像增强网络G和判别网络D，损失函数包含三个部分，内容损失L(θ)，噪声损失L_n以及生成对抗损失L_A(G,D)；

内容损失衡量高质量图像与神经网络模型增强之后的图像之间的差距，采用l₁损失，公式表示如下：

上式中N为一个epochs下训练的图像数量，Net(·)为网络模型，W_j ^*为第j个低质量图像，GT_j ^*为第j个高质量图像，θ为神经网络待优化的参数；

噪声损失公式表示如下：

上式中α为常数，N^j _gt＝W_j ^*-GT_j ^*为第j张图像的真实噪声，N_est ^j为神经网络估计的噪声；

生成对抗损失公式表示如下：

上式中min_D为判别器的损失函数，min_G为生成器的损失函数，D(·)为判别器网络，G(·)为生成器网络，E[·]为损失；

总的损失L_total为三个损失的线性组合；其公式表示如下：

L_total＝λ₁L(θ)+λ₂L_n+λ₃L_A(G,D)

上式中λ₁，λ₂，λ₃是三种损失函数的权重，其值为常数；

在深度神经网络训练过程中，采用ADAM函数对损失函数L_total进行优化，初始学习率设置为lr，每迭代I次学习率下降α倍；用于训练每一批的图片数量为N；经过epochs次迭代训练后，可得到优化参数θ^*。

5.根据权利要求1所述的基于特征金字塔注意力神经网络的太赫兹图像增强方法，其特征在于，所述步骤S4具体为：

数学模型可以表示如下：

GT＝GT(x,y)＝Net(H,θ^*)

上式中GT(x,y)表示高质量图像，Net(·)是一个隐函数，表示训练好的深度神经网络，θ^*是训练好的深度神经网络的参数，(x,y)表示像素坐标。

Images