CN117764960A - 基于多级特征交互融合的ct图像气胸病灶区域识别方法 - Google Patents

Abstract

本发明提供了一种基于多级特征交互融合的CT图像气胸病灶区域识别方法，采用气胸病灶区域识别网络模型识别胸部CT图像中的气胸病灶区域中的气胸病灶区域，该气胸病灶区域识别网络模型先通过对胸部CT图像进行多级下采样和交互增强处理后，分别提取各个不同下采样层级的全局特征图和局部特征图，然后采用高效注意和交叉注意的双注意力结构分别提取各个不同下采样层级的全局特征图中的全局语义特征以及局部特征图之间的交叉注意力特征，并通过加权融合得到各下采样层级的注意力加权融合特征图，最后进行逐层上采样后加以区域分割得到气胸病灶区域识别结果；该方法很好的解决了计算能效不佳、识别处理效率低、识别速度与准确性难以兼顾的问题。

Description

基于多级特征交互融合的CT图像气胸病灶区域识别方法

技术领域

本发明涉及CT图像病灶识别技术领域，尤其涉及一种基于多级特征交互融合的CT图像气胸病灶区域识别方法。

背景技术

气胸智能识别能够为临床医生提供准确、快速的诊断辅助工具，从而改善患者的健康状况和生活质量。通过开发准确的算法和模型，智能识别可以快速准确地在医学影像中检测和诊断气胸，并大大缩短诊断时间，减轻医生负担。智能识别技术的应用还有助于降低治疗成本，避免不必要的治疗和医疗费用。

CNN已被广泛应用于医学图像的病灶识别。U-Net采用端到端的网络形式，编码器采用卷积层和池化层，分层提取图像的局部特征。解码器采用上采样操作，将特征图恢复到原始图像的尺寸。为了提升医学图像分割任务的精度，通过跳跃连接，将编码器的特征图与解码器的特征图相融合，从而保留更多的细节信息。U-Net中的这种跳跃连接，大幅度减少了带标签的训练集。后续的U-Net变种，如U-Net++，通过加入密集连接方式重新设计了编码器-解码器结构。UNet3+，通过全尺度跳跃连接方式，将来自不同尺度特征图的低级细节与高级语义相结合的一种编码器-解码器结构。这些模型通过捕获目标特征以及位置信息对目标区域进行分割，在医学图像分割领域取得了一定的效果。但是，针对复杂的胸部CT图像，现有模型没有充分融合气胸的多级病灶特征，其识别精度还有进一步提升空间。

因此，如何融合胸部CT图像气胸的多级病灶特征，提升气胸的识别精度成为了本领域技术人员急需解决的问题。

发明内容

针对上述现有技术的不足，本发明提供了一种基于多级特征交互融合的CT图像气胸病灶区域识别方法，用以解决现有技术针对胸部CT图像气胸病灶区域识别存在计算资源消耗高、识别处理效率低、识别准确性不佳等问题。

为解决上述技术问题，本发明采用了如下的技术方案：

基于多级特征交互融合的CT图像气胸病灶区域识别方法，获取待测胸部CT图像，输入至经过预先训练的气胸病灶区域识别网络模型，得到待测胸部CT图像中的气胸病灶区域识别结果；

所述气胸病灶区域识别网络模型包括下采样特征提取模块、双注意力多级融合模块、卷积上采样模块和分割头模块；

所述下采样特征提取模块用于通过卷积下采样处理对待测胸部CT图像进行多级下采样，并分别进行交互增强处理后，分别提取各个不同下采样层级的全局特征图和局部特征图；

所述双注意力多级融合模块用于采用高效注意和交叉注意的双注意力结构分别提取各个不同下采样层级的全局特征图中的全局语义特征以及局部特征图之间的交叉注意力特征，并通过加权融合得到各下采样层级的注意力加权融合特征图；

所述卷积上采样模块用于对各下采样层级的注意力加权融合特征图进行逐层上采样，得到上采样恢复图像；

所述分割头模块用于对卷积上采样模块输出的上采样恢复图像进行区域分割，得到待测胸部CT图像中的气胸病灶区域分割结果，并与待测胸部CT图像进行合成，输出合成结果作为CT图像气胸病灶区域识别结果。

作为优选方案，所述下采样特征提取模块包括卷积下采样单元、群体感受野单元和全局及局部特征提取单元；

所述卷积下采样单元用于对待测胸部CT图像进行多级的卷积下采样处理，得到多级不同的下采样特征图；

所述群体感受野单元(RFB)用于对各级的下采样特征图分别进行特征增强处理，并对增强后的下采样特征图进行逐级的图像合并，得到各下采样层级的交互增强特征图；

所述全局及局部特征提取单元(GLFE)用于分别从各下采样层级的交互增强特征图中提取相应的全局特征图和局部特征图。

作为优选方案，所述双注意力多级融合模块包括高效注意力单元、交叉注意力单元和融合单元；

所述高效注意力单元用于对各下采样层级的全局特征图分别进行降维归一化处理后提取其中的全局语义特征，然后分别与同一下采样层级的局部特征图进行融合，得到各下采样层级的全局语义特征图；

所述交叉注意力单元用于对各下采样层级的局部特征图分别进行基于通道维度的全局平均池化处理后，将全局平均池化结果进行维度映射，并与相邻的上一个采样层级的局部特征图的多头注意力计算结果进行叠加，最后与同一下采样层级的局部特征图进行融合，得到各相应下采样层级的交叉注意力特征图；

所述融合单元用于分别对每个下采样层级的全局语义特征图和交叉注意力特征图进行加权融合，获得各下采样层级的注意力加权融合特征图。

作为优选方案，所述卷积上采样模块包括拼接单元和上采样卷积单元；

所述拼接单元用对将每个下采样层级的注意力加权融合特征图的上采样结果与相邻上一个下采样层级的注意力加权融合特征图进行拼接，得到拼接特征图；

所述上采样卷积单元用于对最下层的下采样层级的注意力加权融合特征图进行上采样处理，以及对其他下采样层级拼接特征图进行上采样处理，进而将最上一个下采样层级的拼接特征图进行上采样处理后得到的上采样结果作为卷积上采样模块输出的上采样恢复图像。

作为优选方案，所述分割头模块包括病灶区域分割单元和图像合成单元；

所述病灶区域分割单元用于对卷积上采样模块输出的上采样恢复图像进行区域分割，得到待测胸部CT图像中的气胸病灶区域分割结果；

所述图像合成单元用于将待测胸部CT图像中的气胸病灶区域分割结果与待测胸部CT图像进行合成，输出合成结果图像，作为CT图像气胸病灶区域识别结果。

作为优选方案，所述气胸病灶区域识别网络模型通过如下方式进行训练：

将预先完成气胸病灶区域标签的标记处理的胸部样本CT图像作为训练样本，构成训练样本集，输入至气胸病灶区域识别网络模型，通过气胸病灶区域识别网络模型处理得到训练样本的气胸病灶区域识别结果；根据训练样本的气胸病灶区域识别结果和气胸病灶区域标签计算训练损失，并根据训练损失优化气胸病灶区域识别网络模型的参数，直至气胸病灶区域识别网络模型收敛，得到经过训练的气胸病灶区域识别网络模型。

作为优选方案，在气胸病灶区域识别网络模型的训练中，通过如下公式计算训练损失：

L_Total＝L_CE+λL_Dice；

其中，L_Total表示总损失函数，L_CE表示交叉熵损失，L_Dice表示Dice损失；g_i表示第i个胸部样本CT图像中气胸病灶区域的真实标签值，p_i表示气胸病灶区域识别网络模型识别输出的第i个胸部样本CT图像中气胸病灶区域的识别结果值，i∈{1,2,…,N}，N表示训练样本集中的胸部样本CT图像总数量；λ为预设的权重系数。

相比于现有技术，本发明的有益效果在于：

1、本发明采用基于多级特征交互融合的气胸病灶区域识别网络模型对胸部CT图像中的气胸病灶区域进行识别，得到识别结果，该气胸病灶区域识别网络模型先通过对胸部CT图像进行多级下采样和交互增强处理后，分别提取各个不同下采样层级的全局特征图和局部特征图，然后采用高效注意和交叉注意的双注意力结构分别提取各个不同下采样层级的全局特征图中的全局语义特征以及局部特征图之间的交叉注意力特征，并通过加权融合得到各下采样层级的注意力加权融合特征图，最后进行逐层上采样后加以区域分割，得到胸部CT图像中的气胸病灶区域识别结果；该方法强化了CT图像中的全局和局部区域特征，并大幅降低了注意力机制的计算复杂性，降低了对计算资源的消耗，提高了计算识别处理效率，并通过实验验证能够兼顾获得优秀的识别准确性，很好的解决了计算能效不佳、识别处理效率低、识别速度与准确性难以兼顾的问题。

2、本发明通过交叉熵损失和Dice损失联合训练气胸病灶区域识别网络模型，能够提高气胸病灶区域识别网络模型的训练效果和识别性能。

3、本发明方法能够快速、准确的实现对CT图像中气胸病灶区域的识别和提取，具有很好的技术推广应用价值。

附图说明

为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为本发明方法中气胸病灶区域识别网络模型的构架示例图。

图2为气胸病灶区域识别结果示例图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。

本发明公开了一种基于多级特征交互融合的CT图像气胸病灶区域识别方法，获取待测胸部CT图像后，输入至经过预先训练的气胸病灶区域识别网络模型，得到待测胸部CT图像中的气胸病灶区域识别结果。本发明主要借助气胸病灶区域识别网络模型来实现对待测胸部CT图像中的气胸病灶区域的识别，该气胸病灶区域识别网络模型的构架如图1所示，其包括下采样特征提取模块、双注意力多级融合模块、卷积上采样模块和分割头模块；其中，下采样特征提取模块用于通过卷积下采样处理对待测胸部CT图像进行多级下采样，并分别进行交互增强处理后，分别提取各个不同下采样层级的全局特征图和局部特征图；双注意力多级融合模块用于采用高效注意和交叉注意的双注意力结构分别提取各个不同下采样层级的全局特征图中的全局语义特征以及局部特征图之间的交叉注意力特征，并通过加权融合得到各下采样层级的注意力加权融合特征图；卷积上采样模块用于对各下采样层级的注意力加权融合特征图进行逐层上采样，得到上采样恢复图像；分割头模块用于对卷积上采样模块输出的上采样恢复图像进行区域分割，得到待测胸部CT图像中的气胸病灶区域分割结果，并与待测胸部CT图像进行合成，输出合成结果作为CT图像气胸病灶区域识别结果。

图1中涉及的主要模块名词解释如下：

MLP：多层感知。

MSA：Multi-head Self-Attention，多头自注意力机制。

LN：Layer Normalization，层归一化。

EA：Efficient Attention，高效注意。

CA：Cross Attention，交叉注意。

RFB：Receptive Field Block，群体感受野模块。

GLFE：Global and Local Feature Extractor，全局和局部特征提取器。

MLF：Multi-Level Fusion，多级融合。

Patch Merging：块合并。

下面结合图1，对气胸病灶区域识别网络模型进行详细说明。

下采样特征提取模块

在气胸病灶区域识别网络模型中，下采样特征提取模块用于通过卷积下采样处理对待测胸部CT图像进行多级下采样，并分别进行交互增强处理后，分别提取各个不同下采样层级的全局特征图和局部特征图。

具体而言，下采样特征提取模块包括卷积下采样单元、群体感受野单元和全局及局部特征提取单元；其中，卷积下采样单元用于对待测胸部CT图像进行多级的卷积下采样处理，得到多级不同的下采样特征图；群体感受野单元(RFB)用于对各级的下采样特征图分别进行特征增强处理，并对增强后的下采样特征图进行逐级的图像合并，得到各下采样层级的交互增强特征图；全局及局部特征提取单元(GLFE)用于分别从各下采样层级的交互增强特征图中提取相应的全局特征图和局部特征图。

从图1的模型构架示例中可以看到，输入的胸部CT图像经过多级的卷积下采样，得到多级不同的下采样特征图；如果输入的胸部CT图像的像素高、宽尺寸分别H和W，则经过多级下采样为H/4×W/4、H/8×W/8、H/16×W/16等尺寸的下采样特征图；不同级的下采样特征图分别通过群体感受野单元(RFB)进行特征增强处理，目的是增强图中特征区域的感受野。

群体感受野单元(Receptive Field Block，RFB)主要是在Inception网络的基础上加入了空洞卷积层从而有效的增大了感受野。RFB单元有多个分支，每个分支的第一层都由特定大小卷积核的卷积核构成；同时，RFB单元引入了空洞卷积，以获得更大的感受野，可以更好的对空间长距离语义特征进行编码；最后将不同尺寸和感受野的输出特征图进行连接(Concat)操作，以达到融合不同特征的目的。

通过群体感受野单元(RFB)进行特征增强处理后，进行逐级的图像合并，然后分别提取各个不同下采样层级的全局特征图和局部特征图；具体来说，第一个下采样层级的增强后的下采样特征图与自身进行合并形成第一个下采样层级的交互增强特征图，然后输入至一个全局及局部特征提取单元(GLFE)进行全局特征图和局部特征图的提取，同时第一个下采样层级的交互增强特征图又与第二个下采样层级的下采样特征图并形成第二个下采样层级的交互增强特征图，然后输入至一个全局及局部特征提取单元(GLFE)进行全局特征图和局部特征图的提取，第二个下采样层级的交互增强特征图又与下一个下采样层级的下采样特征图并形成下一个下采样层级的交互增强特征图，然后输入至一个全局及局部特征提取单元(GLFE)进行全局特征图和局部特征图的提取……，以此类推；最后，分别提取得到了各个不同下采样层级的全局特征图和局部特征图。

全局及局部特征提取单元(GLFE)由GLConv层实现，GLConv层包含全局和局部特征提取器。全局特征提取器可以提取整个特征信息，而局部特征提取器用于从局部特征图中提取更多细节。由于组合不同，GLConv有两种不同的结构，例如GLConvA和GLConvB。GLFE单元包括四层，GLConvA-SP-GLConvA-GLConvB。假设GLConv层的输入是特征图X_global∈R^{c1 ×t×h×w}，其中c₁是通道数，t是特征图的帧数，(h,w)是每帧的图像大小。首先将全局特征图划分为n部分作为局部特征图其中n是划分区域数。/> 对应第i个局部特征部分。然后，使用3D卷积分别提取全局特征和局部特征，所有局部特征图共享相同的卷积权重。有两种方法可以组合全局和局部特征图，即通过逐元素加法(GLConvA)或通过串联(GLConvB)。GLConvA和GLConvB层可以表示为：

其中，cat表示串联操作，全局输出Y_global和局部输出Y_local分别表示为：

f_3×3×3(·)和f′_3×3×3(·)均表示卷积核大小为3的3D卷积。

Y_GLConvA和Y_GLConvB分别表示输出的全局特征图和局部特征图，其通道数c₂与输入特征图的通道数c₁是相等的。基于以上两种形式的GLConv层，可以构建形成GLFE单元。通过全局特征图和局部特征图的提取，可以获得胸部CT图像中包含的更详细的全局特征信息，并且能够得到不同局部区域的更清晰的局部特征信息，这有助于模型学习到感兴趣的目标区域，从而提高模型的分割性能。

双注意力多级融合模块

在气胸病灶区域识别网络模型中，双注意力多级融合模块(MLF，Multi-LevelFusion)用于采用高效注意和交叉注意的双注意力结构分别提取各个不同下采样层级的全局特征图中的全局语义特征以及局部特征图之间的交叉注意力特征，并通过加权融合得到各下采样层级的注意力加权融合特征图。

具体而言，双注意力多级融合模块(MLF)包括高效注意力单元、交叉注意力单元和融合单元；其中，高效注意力单元用于对各下采样层级的全局特征图分别进行降维归一化处理后提取其中的全局语义特征，然后分别与同一下采样层级的局部特征图进行融合，得到各下采样层级的全局语义特征图；交叉注意力单元用于对各下采样层级的局部特征图分别进行基于通道维度的全局平均池化处理后，将全局平均池化结果进行维度映射，并与相邻的上一个采样层级的局部特征图的多头注意力计算结果进行叠加，最后与同一下采样层级的局部特征图进行融合，得到各相应下采样层级的交叉注意力特征图；融合单元用于分别对每个下采样层级的全局语义特征图和交叉注意力特征图进行加权融合，获得各下采样层级的注意力加权融合特征图。

本发明针对多个不同下采样层级的特征数据处理需求，对双注意力多级融合模块(MLF)进行了正对性的优化，采用高效注意和交叉注意的双注意力结构来分别提取各个不同下采样层级的全局特征图中的全局语义特征以及局部特征图之间的交叉注意力特征。

在高效注意力单元(EA)中，若所有n个位置的查询、键、值特征分别表示为 高效注意机制的特征输出如下：

E(Q,K,V)＝ρ_q(Q)(ρ_k(K)^TV),

式中，ρ_q和ρ_k分别为查询和键特征的归一化函数。如果输入特征图为X，令Q＝K＝V＝X，那么：

Scaling:

Softmax:ρ_q(X)＝σ_row(X)，ρ_k(X)＝σ_col(X)；

其中，σ_row(X)、σ_col(X)分别表示沿特征图X的每一行、每一列应用Softmax函数。

高效注意力单元是计算机视觉数据处理机制的具体实现。对于输入的全局特征图X∈R^h×w×d，模块将其扁平化为矩阵X∈R^n×d，n＝h×w，令Q＝K＝V＝X，对其应用高效关注机制，并将结果重塑为h×w×d。如果d_v！＝d，则进一步应用1×1卷积将维数恢复为d。最后，将得到的特征图与输入的全局特征图相加，形成残差结构。因此，比例归一化得到：

高效注意力机制中，将键特征解释为d_k注意力图/>每个/>都是一个全局注意力图，不对应于任何特定的位置，它们中的每一个都对应于整个输入的一个语义方面。例如，一个这样的注意图可能会覆盖输入图中的物体，另一个注意图可能对应于输入图中的背景等。高效注意力使用每个/>来聚合值特征V，并产生一个全局上下文向量g_j。由于描述了输入的全局语义方面，g_j也总结了输入的全局语义方面；然后，位置i使用q_i作为g₀,g₁,…,g_dk-1的一组系数。使用前面的示例，物体像素可能会对物体的全局上下文向量施加较大权重，以改进其表示，物体边界的像素可能对物体和背景的全局上下文向量具有较大的权重，由此以增强对比度。

由此可见，高效注意力不计算每对位置之间的相似性，这将占用O(n²)内存并需要O(d_k n²)计算来生成。相反，它只在中生成d_k个全局上下文向量。这一改变消除了模块内存和计算复杂性中的O(n²)项。因此，在d_v＝d的通用设置下，高效注意力具有O((d_k+d)n+d_kd)内存复杂度和O((d_kd+d²)n)计算复杂度。n本身是图像边长的二次方，在实际应用中往往很大；其次，d_k是模块的一个参数，网络设计者可以对其进行调整，以满足不同的资源需求。在合理的范围内，该参数对性能的影响最小，这意味着一个高效注意力单元通常可以有一个小的d_k，这进一步增加了它比传动点积注意力的效率优势。

也就是说，高效注意力单元的计算方式，将看作全局特征表示，和V相乘后得到全局上下文向量，Q看作全局上下文向量的系数。这种全局特征表示代表了整个输入特征的语义信息，而不是点与点之间的相似性。这种计算方式极大地降低了注意力机制的计算复杂性，采用有效注意力可以捕获输入特征的空间重要性。

在交叉注意力单元(CA)中，查询矩阵来自一个输入序列，键和值矩阵来自另一个输入序列。交叉注意力单元的输入为各下采样层级的局部特征图，先采用全局平均池化分别为每一个下采样层级的局部特征图分配一个对应的CLS令牌：

CLS^l＝GAP(Norm(P^l)),

式中，CLS^l为第l层通道维度的CLS令牌，P^l为第l层的局部特征图。通过添加位置编码为每个CLS^l和P^l添加可学习的位置信息，再使用注意力融合每个级别的特征。先交换融合不同下采样层级的CLS^l和P^l，具体来说，CLS^l与P^l+1融合，CLS^l+1与P^l+2融合，CLS^l+2与P^l融合……，以此类推。通过与其他层级CLS^l融合计算的方式，实现跨层级共享信息，计算过程如下。

p^l＝f^l(CLS^l)+MSA(LN([f^l(CLS^l),P^l+1])),

Z^l＝[P^l,g^l(p^l)],

式中，f^l(·)表示将第l层的CLS^l维度映射到P^l维数上，[·]表示连接操作，P^l+1表示l+1层的局部特征图，g^l(·)表示将将l层的p^l维度映射到CLS^l维数上， Z^l为第l下采样层级的交叉注意力特征图。将CLS^l的映射和P^l+1作为键和值矩阵，计算注意力的查询矩阵。由于只查询CLS令牌，所以交叉注意力机制为线性复杂度。

最后，融合单元用于分别对每个下采样层级的全局语义特征图和交叉注意力特征图进行加权融合，获得各下采样层级的注意力加权融合特征图。在具体执行融合处理中，各级的融合权重可以相等。

卷积上采样模块

在气胸病灶区域识别网络模型中，卷积上采样模块用于对各下采样层级的注意力加权融合特征图进行逐层上采样，得到上采样恢复图像。

具体而言，卷积上采样模块包括拼接单元和上采样卷积单元；拼接单元用对将每个下采样层级的注意力加权融合特征图的上采样结果与相邻上一个下采样层级的注意力加权融合特征图进行拼接，得到拼接特征图；上采样卷积单元用于对最下层的下采样层级的注意力加权融合特征图进行上采样处理，以及对其他下采样层级拼接特征图进行上采样处理，进而将最上一个下采样层级的拼接特征图进行上采样处理后得到的上采样结果作为卷积上采样模块输出的上采样恢复图像。

如果以图1的示例为例，第三下采样层级的注意力加权融合特征图进行上采样处理，其上采样结果与第二下采样层级的注意力加权融合特征图进行拼接，形成第二下采样层级的拼接特征图后再进行上采样处理，得到第二下采样层级的上采样结果再与第一下采样层级的注意力加权融合特征图进行拼接，形成第一下采样层级的拼接特征图后再进行上采样处理，得到上采样恢复图像。

分割头模块

在气胸病灶区域识别网络模型中，分割头模块用于对卷积上采样模块输出的上采样恢复图像进行区域分割，得到待测胸部CT图像中的气胸病灶区域分割结果，并与待测胸部CT图像进行合成，输出合成结果作为CT图像气胸病灶区域识别结果。

具体而言，分割头模块包括病灶区域分割单元和图像合成单元；病灶区域分割单元用于对卷积上采样模块输出的上采样恢复图像进行区域分割，得到待测胸部CT图像中的气胸病灶区域分割结果；图像合成单元用于将待测胸部CT图像中的气胸病灶区域分割结果与待测胸部CT图像进行合成，输出合成结果图像，作为CT图像气胸病灶区域识别结果。

气胸病灶区域识别网络模型的训练

气胸病灶区域识别网络模型通过如下方式进行训练：将预先完成气胸病灶区域标签的标记处理的胸部样本CT图像作为训练样本，构成训练样本集，输入至气胸病灶区域识别网络模型，通过气胸病灶区域识别网络模型处理得到训练样本的气胸病灶区域识别结果；根据训练样本的气胸病灶区域识别结果和气胸病灶区域标签计算训练损失，并根据训练损失优化气胸病灶区域识别网络模型的参数，直至气胸病灶区域识别网络模型收敛，得到经过训练的气胸病灶区域识别网络模型。

在气胸病灶区域识别网络模型的训练中，通过如下公式计算训练损失：

L_Total＝L_CE+λL_Dice；

其中，L_Total表示总损失函数，L_CE表示交叉熵损失，L_Dice表示Dice损失；g_i表示第i个胸部样本CT图像中气胸病灶区域的真实标签值，p_i表示气胸病灶区域识别网络模型识别输出的第i个胸部样本CT图像中气胸病灶区域的识别结果值，i∈{1,2,…,N}，N表示训练样本集中的胸部样本CT图像总数量；λ为预设的权重系数。

通过交叉熵损失和Dice损失联合训练气胸病灶区域识别网络模型，使得能够更好的适应于CT图像中不同大小、形状等复杂的气胸病灶区域形态特征，并且能够更好的适用于存在复杂背景干扰的胸部CT图像，从而能够提高气胸病灶区域识别网络模型的训练效果和识别性能，最终更快速、更准确的实现对气胸病灶区域的分割识别。

实施例

为了验证本发明气胸病灶区域识别网络模型的有效性。与近两年比较新的医学图像分割网络(如MT-UNet、HiFormer、DAE-Former、LGNet和RFE-UNet)进行比较。为了定性分析实验结果，所有实验都在统一的基准和评价指标上进行，实验结果见表1。

表1本发明气胸病灶区域识别网络模型在Synapse数据集上的实验结果

表1中，显示了本发明气胸病灶区域识别网络模型在Synapse数据集上与其他先进模型的比较。本发明气胸病灶区域识别网络模型在平均DSC系数上到达了最高的82.47％，在HD95上下降至25.59。可以看到在DSC系数上，本发明气胸病灶区域识别网络模型相比基于CNN的U-Net，提升了5.62％。在平均HD系数上，降低了22.72。相比基于Transformer的Swin Unet，在DSC系数上提升3.34％，在平均HD系数上，降低了4.67。相比于基于CNN-Transformer的TransUnet和HiFormer，DSC系数上分别提升了4.99％和2.08％，本发明气胸病灶区域识别网络模型在两个评估指标上都表现出优秀的性能。具体来说，从表1中可以发现，该模型在大多数器官上，尤其是胆囊、胰腺和脾脏等器官的病灶区域的分割识别上的性能都优于其他模型。

图2也示出了采用本发明方法对胸部CT图像中一个病灶区域的分割识别效果，可以看到其识别结果与人工标记结果一致性很高，具有优秀的识别准确性。

综述

综上所述，本发明方法具备如下的技术优点：

1、本发明采用基于多级特征交互融合的气胸病灶区域识别网络模型对胸部CT图像中的气胸病灶区域进行识别，得到识别结果，该气胸病灶区域识别网络模型先通过对胸部CT图像进行多级下采样和交互增强处理后，分别提取各个不同下采样层级的全局特征图和局部特征图，然后采用高效注意和交叉注意的双注意力结构分别提取各个不同下采样层级的全局特征图中的全局语义特征以及局部特征图之间的交叉注意力特征，并通过加权融合得到各下采样层级的注意力加权融合特征图，最后进行逐层上采样后加以区域分割，得到胸部CT图像中的气胸病灶区域识别结果；该方法强化了CT图像中的全局和局部区域特征，并大幅降低了注意力机制的计算复杂性，降低了对计算资源的消耗，提高了计算识别处理效率，并通过实验验证能够兼顾获得优秀的识别准确性，很好的解决了计算能效不佳、识别处理效率低、识别速度与准确性难以兼顾的问题。

2、本发明通过交叉熵损失和Dice损失联合训练气胸病灶区域识别网络模型，能够提高气胸病灶区域识别网络模型的训练效果和识别性能。

3、本发明方法能够快速、准确的实现对CT图像中气胸病灶区域的识别和提取，具有很好的技术推广应用价值。

最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.基于多级特征交互融合的CT图像气胸病灶区域识别方法，其特征在于，获取待测胸部CT图像，输入至经过预先训练的气胸病灶区域识别网络模型，得到待测胸部CT图像中的气胸病灶区域识别结果；

所述气胸病灶区域识别网络模型包括下采样特征提取模块、双注意力多级融合模块、卷积上采样模块和分割头模块；

所述下采样特征提取模块用于通过卷积下采样处理对待测胸部CT图像进行多级下采样，并分别进行交互增强处理后，分别提取各个不同下采样层级的全局特征图和局部特征图；

所述双注意力多级融合模块用于采用高效注意和交叉注意的双注意力结构分别提取各个不同下采样层级的全局特征图中的全局语义特征以及局部特征图之间的交叉注意力特征，并通过加权融合得到各下采样层级的注意力加权融合特征图；

所述卷积上采样模块用于对各下采样层级的注意力加权融合特征图进行逐层上采样，得到上采样恢复图像；

所述分割头模块用于对卷积上采样模块输出的上采样恢复图像进行区域分割，得到待测胸部CT图像中的气胸病灶区域分割结果，并与待测胸部CT图像进行合成，输出合成结果作为CT图像气胸病灶区域识别结果。

2.根据权利要求1所述基于多级特征交互融合的CT图像气胸病灶区域识别方法，其特征在于，所述下采样特征提取模块包括卷积下采样单元、群体感受野单元和全局及局部特征提取单元；

所述卷积下采样单元用于对待测胸部CT图像进行多级的卷积下采样处理，得到多级不同的下采样特征图；

所述群体感受野单元(RFB)用于对各级的下采样特征图分别进行特征增强处理，并对增强后的下采样特征图进行逐级的图像合并，得到各下采样层级的交互增强特征图；

所述全局及局部特征提取单元(GLFE)用于分别从各下采样层级的交互增强特征图中提取相应的全局特征图和局部特征图。

3.根据权利要求1所述基于多级特征交互融合的CT图像气胸病灶区域识别方法，其特征在于，所述双注意力多级融合模块包括高效注意力单元、交叉注意力单元和融合单元；

所述高效注意力单元用于对各下采样层级的全局特征图分别进行降维归一化处理后提取其中的全局语义特征，然后分别与同一下采样层级的局部特征图进行融合，得到各下采样层级的全局语义特征图；

所述交叉注意力单元用于对各下采样层级的局部特征图分别进行基于通道维度的全局平均池化处理后，将全局平均池化结果进行维度映射，并与相邻的上一个采样层级的局部特征图的多头注意力计算结果进行叠加，最后与同一下采样层级的局部特征图进行融合，得到各相应下采样层级的交叉注意力特征图；

所述融合单元用于分别对每个下采样层级的全局语义特征图和交叉注意力特征图进行加权融合，获得各下采样层级的注意力加权融合特征图。

4.根据权利要求1所述基于多级特征交互融合的CT图像气胸病灶区域识别方法，其特征在于，所述卷积上采样模块包括拼接单元和上采样卷积单元；

所述拼接单元用对将每个下采样层级的注意力加权融合特征图的上采样结果与相邻上一个下采样层级的注意力加权融合特征图进行拼接，得到拼接特征图；

所述上采样卷积单元用于对最下层的下采样层级的注意力加权融合特征图进行上采样处理，以及对其他下采样层级拼接特征图进行上采样处理，进而将最上一个下采样层级的拼接特征图进行上采样处理后得到的上采样结果作为卷积上采样模块输出的上采样恢复图像。

5.根据权利要求1所述基于多级特征交互融合的CT图像气胸病灶区域识别方法，其特征在于，所述分割头模块包括病灶区域分割单元和图像合成单元；

所述病灶区域分割单元用于对卷积上采样模块输出的上采样恢复图像进行区域分割，得到待测胸部CT图像中的气胸病灶区域分割结果；

所述图像合成单元用于将待测胸部CT图像中的气胸病灶区域分割结果与待测胸部CT图像进行合成，输出合成结果图像，作为CT图像气胸病灶区域识别结果。

6.根据权利要求1所述基于多级特征交互融合的CT图像气胸病灶区域识别方法，其特征在于，所述气胸病灶区域识别网络模型通过如下方式进行训练：

将预先完成气胸病灶区域标签的标记处理的胸部样本CT图像作为训练样本，构成训练样本集，输入至气胸病灶区域识别网络模型，通过气胸病灶区域识别网络模型处理得到训练样本的气胸病灶区域识别结果；根据训练样本的气胸病灶区域识别结果和气胸病灶区域标签计算训练损失，并根据训练损失优化气胸病灶区域识别网络模型的参数，直至气胸病灶区域识别网络模型收敛，得到经过训练的气胸病灶区域识别网络模型。

7.根据权利要求6所述基于多级特征交互融合的CT图像气胸病灶区域识别方法，其特征在于，在气胸病灶区域识别网络模型的训练中，通过如下公式计算训练损失：

L_Total＝L_CE+λL_Dice；

其中，L_Total表示总损失函数，L_CE表示交叉熵损失，L_Dice表示Dice损失；g_i表示第i个胸部样本CT图像中气胸病灶区域的真实标签值，p_i表示气胸病灶区域识别网络模型识别输出的第i个胸部样本CT图像中气胸病灶区域的识别结果值，i∈{1,2,…,N}，N表示训练样本集中的胸部样本CT图像总数量；λ为预设的权重系数。