CN116030078A - 多任务学习框架下结合注意力的肺叶分割方法及系统 - Google Patents

Abstract

本发明公开了一种多任务学习框架下结合注意力的肺叶分割方法及系统。本发明将肺叶分割任务作为主要任务、肺实质分割任务作为辅助任务，并行计算肺叶分割任务和肺实质分割任务；并在网络中插入通道注意力模块和锐化空间注意力模块，通道注意力模块能够强化通道特征信息，锐化空间注意力能够提升边缘测试效果，该网络能够自适应地权衡不同的任务，优化多任务目标的网络，最后训练得到的分割模型能实现三维图像的快速准确分割。本发明能有效利用神经网络学习多任务之间的共有特征，有望提取到更加全面的特征，强化主任务肺叶分割网络性能，在不增加实际使用时深度网络复杂度的情况下，提高深度网络对肺叶的分割能力。

Description

多任务学习框架下结合注意力的肺叶分割方法及系统

技术领域

本发明涉及医学图像处理技术领域，更具体的，尤其涉及一种多任务学习框架下结合通道及锐化注意力的肺叶分割方法及系统。

背景技术

肺实质在CT图像上是巨大的低灰度连通区域，主流的肺实质分割方法是采用阈值将肺实质和胸腔的其他结构分离，并基于区域生长方法获得连通的左、右肺，移除主气管和伸入肺的主支气管，再填充实质中血管、结节等形成的孔洞，得到完整的肺组织。人的肺分为五个功能区域，称为肺叶。五个肺叶中的每一个叶功能独立，具有自己的支气管和血管系统。这些叶的识别在疾病评估和治疗计划中具有重要应用。许多肺部疾病在肺叶水平起作用。在肺叶水平测量肺部疾病对于疾病表型和评估其严重程度具有重要的临床意义。肺叶分割在手术治疗计划中有进一步的应用。确定肺叶的位置、形状和体积对于规划调查和外科手术非常重要。传统肺叶分割方法常把肺实质分割作为预处理手段，以减少肺叶分割时将肺部以外区域错误分割的可能，但这种方法需要将训练过程分为多阶段，增加了分割模型的部署成本和网络训练的操作复杂度，因此选择使用多任务学习方法，将肺叶分割任务作为主要任务，肺实质分割作为辅助任务，并行训练两个任务网络自适应地调整多任务权重，实现对多任务目标网络的优化。随着深度学习的不断发展，研究者们开始借助深度学习，实现对CT图像中的肺叶进行自动分割。基于卷积运算的神经网络系统，即卷积神经网络是深度学习中最常用的方法之一。

卷积神经网络（Convolutional Neural Network，CNN）是一种前馈型的神经网络，由于其网络结构特征，在图像处理特别是大型图像处理方面的性能优越，因此，在图像识别、目标检测等应用中，卷积神经网络得到了大规模的使用。卷积神经网络在计算量上相较于其他网络结构有明显优势，从而得到了广泛的应用。

生成对抗网络（Generative adversarial networks，GAN）是深度学习领域的一个重要生成模型，即两个网络（生成器和判别器）在同一时间训练并且在极小化极大算法（minimax）中进行竞争。这种对抗方式避免了一些传统生成模型在实际应用中的一些困难，巧妙地通过对抗学习来近似一些不可解的损失函数，在图像、视频、自然语言和音乐等数据的生成方面有着广泛应用。基于生成对抗网络 GAN 的语义分割模型，在利用生成的图像和目标分割图像的不一致性方面表现出更好的效率。如何设计生成对抗网络模型生成器来更好的获取上下文空间信息，以完成有效的图像编解码工作，是利用基于生成对抗网络的语义分割模型的关键步骤。因此，亟待一种多任务学习框架下高效的肺叶分割方法。

发明内容

本发明的目的是针对现有技术的不足，提出一种多任务学习框架下结合注意力的肺叶分割方法及系统。

本发明采用的技术方案具体如下：

一种多任务学习框架下结合注意力的肺叶分割方法，该方法为：

将待分割的三维CT图像输入至分割模型，分割模型生成与输入相同分辨率大小的预测的肺叶分割图像（肺叶掩模）；

所述分割模型是在多任务学习框架下训练获得的，训练方法如下：

构建训练数据集，所述训练数据集的每一样本包括三维CT图像及对应的肺叶标签和肺实质标签；

构建多任务学习框架下的目标网络，目标网络包括编码器、第一解码器、第二解码器；其中，所述编码器用于对输入的三维CT图像进行特征提取，第一解码器用于将编码器提取的特征解码获得预测的肺叶分割图像；第二解码器用于将编码器提取的特征解码获得预测的肺实质分割图像；编码器的若干个上采样模块和/或第一解码器、第二解码器的若干个下采样模块中插入有通道注意力模块，使得插入的块卷积操作前先进行通道信息的建模来强化重要特征；所述编码器的若干个下采样模块中插入有锐化空间注意力模块，使得插入的下采样模块在输出前对输出做图像锐化处理；

将训练数据集的每一样本作为目标网络的输入，以最小化预测的肺叶分割图像和预测的肺实质分割图像与标签的误差为目标进行训练优化目标网络的参数，其中训练好的编码器、第一解码器组合构成分割模型。

进一步地，编码器有四个下采样模块，分别是 2、2、3和 3 层卷积 + Batch Norm层 + ReLu 层。基于U-Net结构，第一、第二解码器网络建立在从编码器网络获得的表示上，具有编码器网络的转置架构。在最后一层，输出维度等于CT图像的输入空间分辨率，通道数等于分割类别的数量。

进一步地，所述通道注意力模块结构上设计与SE block相似，在SE block两个全连接层中间加入一个1D卷积层来加强对通道信息的建模能力，并将SE block中的全连接层用2D卷积层代替。所述通道注意力模块包括依次连接的池化层、第一2D卷积层、1D卷积层、第二2D卷积层和激活函数层组成；其中池化层用于获取输入图像的全局空间信息；第一2D卷积层用于对池化层获取的全局空间信息压缩通道数，1D卷积层用于对第一2D卷积层输出的压缩通道数后的全局空间信息进行卷积加强对通道信息的建模能力；第二2D卷积层对1D卷积层的输出进行卷积，激活函数层用于对第二2D卷积层的输出进行映射得到特征通道权值，最后基于特征通道权值对所述通道注意力模块的输入图像进行选择性的加强包含有用信息的特征并抑制无用特征，得到通道注意力模块的输出。

进一步地，所述锐化空间注意力模块包括平均池化层、最大池化层、锐化滤波模块、卷积核和激活函数层，其中平均池化层、最大池化层分别对输入特征图进行处理提取获得二通道特征图，锐化滤波模块用于对二通道特征图做图像锐化处理，锐化二通道特征图的特征边缘信息，卷积核用于对锐化处理后的二通道特征图进行合并成一层特征图，激活函数层对合并后的一层特征图进行映射得到特征权值，最后基于特征权值对所述锐化空间注意力模块的输入特征图进行逐元素在空间维度上乘入，得到锐化空间注意力模块的输出。

进一步地，所述以最小化预测的肺叶分割图像和预测的肺实质分割图像与标签的误差为目标的目标函数为：

其中，m为所述目标网络任务数，包括第一解码器将编码器提取的特征解码获得预测的肺叶分割图像的主要任务和第二解码器将编码器提取的特征解码获得预测的肺实质分割图像的辅助任务； n_i为训练样本的个数，xⁱ _j表示任务i的样本j的三维CT图像，yⁱ _j为任务i的样本j的标签，l（.，.）为损失函数，b=（b₁，...b_m）^T表示m个任务的偏移补偿，λ为正则化参数，tr（.）是矩阵的迹，W ⁱ则是任务i的权重参数，D矩阵是半正定矩阵。

进一步地，所述目标网络还包括一判别器，所述判别器与由编码器、第一解码器组合构成的生成器构成生成对抗网络模型，训练时，基于生成对抗网络模型构建预测的肺叶分割图像与肺叶标签的损失函数进行训练优化目标网络的参数。该技术方案是一种结合了生成对抗网络模型、注意力机制的多任务学习肺叶分割方法，采用端到端的分割网络U-Net来搭建生成对抗网络模型中的生成器，与判别器构成生成对抗网络模型进一步提升整体性能。首先，GAN网络主要由两个网络构成，生成器G和判别器D，生成器G的思想是将一个噪声包装成一个逼真的样本，判别器D则需要判断送入的样本是真实的还是假的样本，即共同进步的过程，判别器D对样本的判别能力不断上升，生成器G的造假能力也不断上升。GAN的优化是一个极小极大博弈问题，最终的目的是生成器的输出给判别器时很难判断是真实还是伪造的，即极大化的判断能力，极小化将输出判断为伪造的概率。具体来说，肺叶分割方法中先由生成器网络预测出肺叶掩膜，再由判别器判断输入样本的真实性，即输出一个输入来自于真实样本或生成器网络的概率。当判别器网络能够很好的分辨出输入是不是真实样本时，也能通过梯度的方式说明什么样的输入更加像真实样本，从而通过这个信息来调整生成器网络。从而需要尽可能的让自己的输出像真实样本，而判别器则尽可能的将不是真实样本的情况分辨出来。以此方式来优化肺叶分割网络的性能，来生成准确率更高的肺叶掩膜。同时，通道注意力模块和锐化空间注意力模块与U-Net的结合，加强肺叶分割网络对通道信息的建模能力，同时又提升边缘信息，强调对重要特征的学习以及弱化对不重要特征的学习。并且，为解决传统肺叶分割中使用的多阶段方法造成分割模型的部署成本和网络训练的操作复杂度增高的问题，采用多任务学习一方面整体网络框架更加一体化，降低操作的复杂性。另一方面，将分割区域锁定在肺实质区域，减少肺叶分割时将肺部以外区域错误分割为肺叶的可能。

进一步地，所述基于生成对抗网络模型构建预测的肺叶分割图像与肺叶标签的损失函数包括：

判别器的损失函数和生成器的损失函数，其中，判别器的损失函数采用衡量生成器输出的预测的肺叶分割图像的分布p_z和肺叶标签分布p_real之间的 EM 距离，生成器的损失函数表示为：loss_G=BCE[G(x),Real]-E_x~pz [D(x)]

其中BCE[G(x), Real]表示生成器G输出的预测的肺叶分割图像G(x)与肺叶标签Real之间的二进制交叉熵损失，D(x)表示判别器的输出，E表示期望；x表示三维CT图像。

一种多任务学习框架下结合注意力的肺叶分割系统，包括：

数据获取模块，用于获取待分割的三维CT图像；

肺叶分割模块，用于将待分割的三维CT图像输入至分割模型，分割模型生成预测的肺叶分割图像；

所述分割模型是在多任务学习框架下训练获得的，训练方法如下：

构建训练数据集，所述训练数据集的每一样本包括三维CT图像及对应的肺叶标签和肺实质标签；

构建多任务学习框架下的目标网络，目标网络包括编码器、第一解码器、第二解码器；其中，所述编码器用于对输入的三维CT图像进行特征提取，第一解码器用于将编码器提取的特征解码获得预测的肺叶分割图像；第二解码器用于将编码器提取的特征解码获得预测的肺实质分割图像；编码器的若干个上采样模块和/或第一解码器、第二解码器的若干个下采样模块中插入有通道注意力模块，使得插入的块卷积操作前先进行通道信息的建模来强化重要特征；所述编码器的若干个下采样模块中插入有锐化空间注意力模块，使得插入的下采样模块在输出前对输出做图像锐化处理；

将训练数据集的每一样本作为目标网络的输入，以最小化预测的肺叶分割图像和预测的肺实质分割图像与标签的误差为目标进行训练优化目标网络的参数，其中训练好的编码器、第一解码器组合构成分割模型。

进一步地，所述锐化空间注意力模块包括平均池化层、最大池化层、锐化滤波模块、卷积核和激活函数层，其中平均池化层、最大池化层分别对输入特征图进行处理提取获得二通道特征图，锐化滤波模块用于对二通道特征图做图像锐化处理，锐化二通道特征图的特征边缘信息，卷积核用于对锐化处理后的二通道特征图进行合并成一层特征图，激活函数层对合并后的一层特征图进行映射得到特征权值，最后基于特征权值对所述锐化空间注意力模块的输入特征图进行逐元素在空间维度上乘入，得到锐化空间注意力模块的输出。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的多任务学习框架下结合注意力的肺叶分割方法。

一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时实现所述的多任务学习框架下结合注意力的肺叶分割方法。

本发明的有益效果是：本发明搭建一个操作简单的多任务学习框架，使网络同时学习肺叶分割任务与肺实质分割，自适应地调整网络权重，以减少肺叶分割时将肺部以外区域错误分割的可能，优化整体网络结构，获得分割效果优异的分割模型。本发明中在U-Net中插入通道注意力模块和锐化空间注意力模块来提高生成器网络的空间信息建模能力获取更重要的通道信息以及提升边缘信息，可以更好的获取上下文空间信息，以完成有效的图像编解码工作。本发明能有效利用神经网络学习多任务之间的共有特征，有望提取到更加全面的特征，强化主任务肺叶分割网络性能，在不增加实际使用时深度网络复杂度的情况下，提高深度网络对肺叶的分割能力。

附图说明

图1为本发明基于生成对抗网络（GAN）模型的肺叶分割网络的结构图。

图2为一种U-Net全卷积神经网络结构图。

图3为一种编码器、第一解码器、第二解码器的连接结构示意图。

图4为本发明锐化空间注意力模块的结构图。

图5为本发明一种多任务学习框架下结合注意力的肺叶分割系统结构图。

图6为本发明一种电子设备结构图。

具体实施方式

下面结合附图和具体实施例对本发明提出的一种多任务学习框架下结合注意力的肺叶分割方法作进一步详细说明。根据下面说明，本发明的优点和特征将更加清晰明了。需要说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

本发明提供的一种多任务学习框架下结合注意力的肺叶分割方法，其中，注意力是指在U-Net中插入通道注意力模块和锐化空间注意力模块来提高生成器网络的空间信息建模能力获取更重要的通道信息以及提升边缘信息，可以更好的获取上下文空间信息，以完成有效的图像编解码工作。该方法为：

将待分割的三维CT图像输入至分割模型，分割模型生成预测的肺叶分割图像；

其中所述分割模型是在多任务学习框架下训练获得的，多任务学习框架可以根据输入数据一起学习相似和相关的任务。每个任务共享相同的基础网络，权重被学习为对所有功能都是最优的。胸部三维CT图像包含周围器官以及肺部区域，由于关键信息位于肺部，因此肺叶分割的最初任务是肺实质分割，基于上述特点，本发明构建的多任务学习框架中主要任务是肺叶分割，辅助任务是肺实质分割，辅助任务的意义在于避免错误地将肺部以外的区域当作肺叶区域。主要任务和辅助任务是没有先后顺序的，是并行的两个任务。主要任务和辅助任务相辅相成，从而训练获得所有功能都是最优的模型。具体地，训练过程如下：

步骤S1：构建训练数据集，所述训练数据集的每一样本包括三维CT图像及对应的肺叶标签和肺实质标签；CT图像为天然的三维扫描图像，可以看成是由若干二维图像的堆叠而成，将此处的二维图像定义为切片，在CT图像中，单张CT切片类似于自然图像中的灰度图像，属于单通道图像。一般情况下所有CT图像中单个切片的图像尺寸一致，如都是512*512，无需进行预处理裁剪；不同CT图的切片数会有一些差别，对实验结果不会有太大影响。对应的肺叶标签和肺实质标签为肺叶分割掩膜和肺实质掩膜。建立标注文件用于存放图像分类数据；同时可以按需要按一定比例划分训练集和验证集。

步骤S2：构建多任务学习框架下的目标网络，目标网络包括编码器、第一解码器、第二解码器；其中，所述编码器用于对输入的三维CT图像进行特征提取，第一解码器用于完成主要任务，将编码器提取的特征解码获得预测的肺叶分割图像；第二解码器用于完成辅助任务，将编码器提取的特征解码获得预测的肺实质分割图像；图3所示为一种编码器、第一解码器、第二解码器的连接结构示意图，其中第一解码器、第二解码器的输入端均与编码器的输出端连接；编码器与第一解码器、编码器与第二解码器均可以采用U-Net结构，即采用U-Net全卷积神经网络作为主要任务、辅助任务的二维图像分类网络；图2所示为一种U-Net全卷积神经网络结构图，U-Net分为压缩路径（contracting path）和扩展路径（expansive path）。其中压缩路径作为编码器，扩展路径作为解码器。作为一种可选的形式，图2和图3中所示压缩路径（编码器）由4个下采样模块block组成，每个block使用了多个有效卷积和1个最大池化Max Pooling降采样，有效卷积由Conv卷积层、Batch Norm归一化层和ReLu函数组成；有的block采用2个有效卷积有的block采用3个有效卷积，每次降采样之后特征图Feature Map的个数乘2。扩展路径（解码器）由4个上采样模块block组成，每个上采样模块包括Max UnPool最大反池化层和多个有效卷积，上采样模块开始之前通过反卷积将特征图的尺寸乘2，同时将其个数减半（最后一层略有不同），然后和左侧对称的压缩路径下采样模块输出的特征图合并，由于左侧压缩路径和右侧扩展路径的特征图的尺寸不一样，U-Net是通过将压缩路径的特征图裁剪到和扩展路径相同尺寸的特征图进行归一化的（即图2中黑色箭头部分），称之为串接concatenation操作。最后一个上采样模块最后使用SoftMax函数输出输出维度等于CT图像的输入空间分辨率，通道数等于分割类别的数量。辅助任务的最后一层由两个通道组成，肺和非肺。主要任务的最后一层由六个通道组成，五个肺叶和背景。

需要特别指出的是，本发明的编码器的若干个上采样模块和/或第一解码器、第二解码器的若干个下采样模块中插入有通道注意力模块，使得插入的块卷积操作前先进行通道信息的建模来强化重要特征；在卷积网络中加入注意力机制模块（AttentionMechanism）引导网络分析哪些信息是重要的，哪些信息是次要的，并为其分配权重，也可以称呼为打分，提升重要信息的权重，降低次要信息的权重。SE注意力机制通过对各通道的依赖性进行建模，以提高网络的通道信息表征能力，并且可以对特征进行逐通道调整，使得网络可以通过学习全局信息来有选择性的加强包含有用信息的特征并抑制无用特征。将通道注意力模块插入编、解码器的每一个块中，使得每个块在卷积操作前先进行通道信息的建模来强化重要特征。作为一种可选的实施方案，所述通道注意力模块通道注意力模块（CAmodule）结构上设计与SE block相似，在SE block两个全连接层中间加入一个1D卷积层来加强对通道信息的建模能力，并将SE block中的全连接层用2D卷积层代替。即所述通道注意力模块包括依次连接的池化层、第一2D卷积层、1D卷积层、第二2D卷积层和激活函数层；给定所述通道注意力模块的输入图像为,其中N为批量大小，C为通道数，H、W为输入图像高度和宽度，首先利用池化层获取全局空间信息，可以得到X₁为：

，

其中，i、j表示高度和宽度的索引，Avgpool()表示平均池化操作，再压缩X₁通道数，利用卷积核为1×1的2D卷积层K₁将X₁按比例r压缩通道数，并利用元素重排(Reshape)操作进行重新组织，方便送入1D卷积层来加强对通道信息的建模能力，由此可得到X₂为：

，

Reshape ()表示元素重排操作，为了加强对通道信息的建模能力，将X₂送入卷积核为3的1D卷积层K₂，然后利用Reshape操作恢复尺寸以送入第二层2D卷积层，得到X₃为：

， 

将X₃送入卷积核为1×1的2D卷积层K₃和Sigmoid激活层得到特征通道权值X₄，表示为：

， 

其中，δ表示Sigmoid函数。

最后将上述步骤建模得到的各通道的依赖性，选择性的加强包含有用信息的特征并抑制无用特征，得到通道注意力模块输出X_O为：

， 

其中，⊙表示同或运算。

所述编码器的若干个下采样模块中插入有锐化空间注意力模块，使得插入的下采样模块在输出前对输出做图像锐化处理。在图像处理领域，图像锐化是一种常用的边缘信息增强方法，用来加强图像中物体的边缘细节。将图像锐化方法引入到空间注意力模块中，即锐化空间注意力，旨在加强中间特征图中被检测对象的边缘信息。优选地，在编码器的每个下采样模块中插入锐化空间注意力模块，全面加强网络对目标物体的空间定位能力，强化检测对象的边缘信息。图4所示为一种锐化空间注意力模块结构示意图，所述锐化空间注意力模块包括平均池化层、最大池化层、锐化滤波模块、卷积核和激活函数层，具体内容如下：

结合平均池化和最大池化，以在空间维度上获取足够的特征信息，然后对平均池化和最大池化方法提取的二通道特征图做图像锐化处理，这部分需要引入一种边缘检测算子，锐化网络已提取的特征边缘信息，然后用一个 1×2×1×1 的卷积核将两层特征图输出合并成一层，1×2×1×1 表示卷积核数量×卷积核通道×卷积核宽×卷积核高，再经过Sigmoid 函数限制输出边界，逐元素在空间维度上乘入原特征图，提升特征边缘的权重，得到经过锐化空间注意力模块处理后的特征图。

锐化空间注意力模块公式如下：

其中，M_s(I)表示锐化空间注意力模块的输出，δ表示sigmoid激活函数，Maxpool()表示最大池化操作，f ^n×n表示滤波器大小为 n×n 的锐化滤波方法，W_1×1表示一个卷积核为 1×2×1×1 的卷积层，其中滤波器大小和数量可由其锐化滤波方法决定，I表示锐化空间注意力模块的输入，是插入该模块前一个节点（上采样模块）的输出。

步骤S3：将训练数据集的每一样本作为目标网络的输入，以多任务学习框架同时进行肺叶分割任务和肺实质分割任务，自适应地权衡不同任务之间的权重，训练优化目标网络的参数，以使得最终能得到更好效果的肺叶分割，训练好的编码器、第一解码器组合构成分割模型。

网络为多任务目标网络，主要基于正则化框架建立，其目标函数为：

其中m为所述目标网络任务数，n_i为训练样本的个数，xⁱ _j表示任务i的样本j的初始值，yⁱ _j为任务i的样本j的标签，l（.，.）为损失函数，b=（b₁，...b_m）^T表示m个任务的偏移补偿，U∈R^d×d包括i个任务的权重参数，参数维度为d，||A||² _2,1为L2正则化阵，aⁱ表示任务i的权重参数，I为单位阵，而λ为正则化参数。所示公式的前半部分表示i个任务的所有损失，后半部分利用L2正则化确保了解的行稀疏以及约束阵U的正交化，可将上述公式化为：

其中为上一公式中的前半部分，tr（.）是矩阵的迹，W ⁱ=Uaⁱ则是任务i的权重参数， D≥0规定了D矩阵是半正定矩阵。通过对协方差矩阵D求解，目标网络的多任务问题解耦，达到并行计算的目的，即是对多任务目标网络的优化。

进一步地，目标网络中主要任务训练时采用生成对抗的形式进行训练，即目标网络还包括一判别器，所述判别器与由编码器、第一解码器组合构成的生成器构成生成对抗网络模型，图1所示为本发明基于生成对抗网络（GAN）模型的肺叶分割网络的结构图，GAN模型主要由两个网络构成，生成器G和判别器D，生成器G的思想是将一个噪声包装成一个逼真的样本，判别器D则需要判断送入的样本是真实的还是假的样本，即共同进步的过程，判别器D对样本的判别能力不断上升，生成器G的造假能力也不断上升。本发明中CT图像经过生成器网络后生成一张预测图像，再由判别器来判断生成的预测图像和真实图像。通过对模型不断的训练，逐步优化生成器以生成更贴近真实标签的预测图像。其中通过添加二进制交叉熵 (BCE) 损失来修改生成器G的损失，该损失计算生成的预测图像肺掩模和标签地面真实肺掩模之间的交叉熵。生成器的损失为：

loss_G=BCE[G(x),Real]-E_x~pz [D(x)]

其中p_z是生成器G从地面实况掩码中学习到的分布。BCE[G(x), Real]表示生成器G输出的预测图像G(x)与真实图像Real之间的二进制交叉熵损失，D(x)表示判别器的输出，E表示期望；对于判别器D的训练损失，判别器网络的不同设计可能具有不同的训练损失函数。基于WGAN，判别器可选用EM距离来评估生成的预测肺叶分割图像与真实标签图像之间的差异，并最小化两个分布之间的距离。判别器D的训练损失如下：

Loss_D= E_x~pz [D(G(x))]- E_x~preal [D(x)]

P_real是真实肺叶标签掩码的分布。

如果原始图像也作为附加信息提供，判别器网络可能会有更精确的评估。

与前述一种多任务学习框架下结合通道及锐化注意力的肺叶分割方法的实施例相对应，本发明还提供了一种多任务学习框架下结合通道及锐化注意力的肺叶分割系统的实施例。

参见图5，本发明实施例提供的一种多任务学习框架下结合通道及锐化注意力的肺叶分割系统，包括：

数据获取模块，用于获取待分割的三维CT图像；

肺叶分割模块，用于将待分割的三维CT图像输入至分割模型，分割模型生成预测的肺叶分割图像。

本发明多任务学习框架下结合通道及锐化注意力的肺叶分割系统的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。

对于系统实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明实施例还提供了一种电子设备，包括一个或多个处理器，用于实现上述实施例中的一种多任务学习框架下结合通道及锐化注意力的肺叶分割方法。

如图6 所示，为本发明一种电子设备的一种硬件结构图，除了图6所示的处理器、内存、网络接口、以及非易失性存储器之外，本发明的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种多任务学习框架下结合通道及锐化注意力的肺叶分割方法。

所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备，例如所述设备上配备的插接式硬盘、智能存储卡( Smart Media Card,SMC ) 、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

上述实施例并非是对于本发明的限制，本发明并非仅限于上述实施例，只要符合本发明要求，均属于本发明的保护范围。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种多任务学习框架下结合注意力的肺叶分割方法，其特征在于，该方法为：

将待分割的三维CT图像输入至分割模型，分割模型生成预测的肺叶分割图像；

所述分割模型是在多任务学习框架下训练获得的，训练方法如下：

构建训练数据集，所述训练数据集的每一样本包括三维CT图像及对应的肺叶标签和肺实质标签；

构建多任务学习框架下的目标网络，目标网络包括编码器、第一解码器、第二解码器；其中，所述编码器用于对输入的三维CT图像进行特征提取，第一解码器用于将编码器提取的特征解码获得预测的肺叶分割图像；第二解码器用于将编码器提取的特征解码获得预测的肺实质分割图像；编码器的若干个上采样模块和/或第一解码器、第二解码器的若干个下采样模块中插入有通道注意力模块，使得插入的块卷积操作前先进行通道信息的建模来强化重要特征；所述编码器的若干个下采样模块中插入有锐化空间注意力模块，使得插入的下采样模块在输出前对输出做图像锐化处理；

将训练数据集的每一样本作为目标网络的输入，以最小化预测的肺叶分割图像和预测的肺实质分割图像与标签的误差为目标进行训练优化目标网络的参数，其中训练好的编码器、第一解码器组合构成分割模型。

2.根据权利要求1所述的方法，其特征在于，所述通道注意力模块包括依次连接的池化层、第一2D卷积层、1D卷积层、第二2D卷积层和激活函数层组成；其中池化层用于获取输入图像的全局空间信息；第一2D卷积层用于对池化层获取的全局空间信息压缩通道数，1D卷积层用于对第一2D卷积层输出的压缩通道数后的全局空间信息进行卷积加强对通道信息的建模能力；第二2D卷积层对1D卷积层的输出进行卷积，激活函数层用于对第二2D卷积层的输出进行映射得到特征通道权值，最后基于特征通道权值对所述通道注意力模块的输入图像进行选择性的加强包含有用信息的特征并抑制无用特征，得到通道注意力模块的输出。

3.根据权利要求1所述的方法，其特征在于，所述锐化空间注意力模块包括平均池化层、最大池化层、锐化滤波模块、卷积核和激活函数层，其中平均池化层、最大池化层分别对输入特征图进行处理提取获得二通道特征图，锐化滤波模块用于对二通道特征图做图像锐化处理，锐化二通道特征图的特征边缘信息，卷积核用于对锐化处理后的二通道特征图进行合并成一层特征图，激活函数层对合并后的一层特征图进行映射得到特征权值，最后基于特征权值对所述锐化空间注意力模块的输入特征图进行逐元素在空间维度上乘入，得到锐化空间注意力模块的输出。

4.根据权利要求1所述的方法，其特征在于，所述以最小化预测的肺叶分割图像和预测的肺实质分割图像与标签的误差为目标的目标函数为：

；

其中，m为所述目标网络任务数，包括第一解码器将编码器提取的特征解码获得预测的肺叶分割图像的主要任务和第二解码器将编码器提取的特征解码获得预测的肺实质分割图像的辅助任务； n_i为训练样本的个数，xⁱ _j表示任务i的样本j的三维CT图像，yⁱ _j为任务i的样本j的标签，l（.，.）为损失函数，b=（b₁，...b_m）^T表示m个任务的偏移补偿，λ为正则化参数，tr（.）是矩阵的迹，W ⁱ则是任务i的权重参数，D矩阵是半正定矩阵。

5.根据权利要求1所述的方法，其特征在于，所述目标网络还包括一判别器，所述判别器与由编码器、第一解码器组合构成的生成器构成生成对抗网络模型， 训练时，基于生成对抗网络模型构建预测的肺叶分割图像与肺叶标签的损失函数进行训练优化目标网络的参数。

6.根据权利要求5所述的方法，其特征在于，所述基于生成对抗网络模型构建预测的肺叶分割图像与肺叶标签的损失函数包括：

判别器的损失函数和生成器的损失函数，其中，判别器的损失函数采用衡量生成器输出的预测的肺叶分割图像的分布p_z和肺叶标签分布p_real之间的 EM 距离，生成器的损失函数表示为：loss_G=BCE[G(x),Real]-E_x~pz [D(x)]

其中BCE[G(x), Real]表示生成器G输出的预测的肺叶分割图像G(x)与肺叶标签Real之间的二进制交叉熵损失，D(x)表示判别器的输出，E表示期望；x表示三维CT图像。

7.一种多任务学习框架下结合注意力的肺叶分割系统，其特征在于，包括：

数据获取模块，用于获取待分割的三维CT图像；

肺叶分割模块，用于将待分割的三维CT图像输入至分割模型，分割模型生成预测的肺叶分割图像；

所述分割模型是在多任务学习框架下训练获得的，训练方法如下：

构建训练数据集，所述训练数据集的每一样本包括三维CT图像及对应的肺叶标签和肺实质标签；

构建多任务学习框架下的目标网络，目标网络包括编码器、第一解码器、第二解码器；其中，所述编码器用于对输入的三维CT图像进行特征提取，第一解码器用于将编码器提取的特征解码获得预测的肺叶分割图像；第二解码器用于将编码器提取的特征解码获得预测的肺实质分割图像；编码器的若干个上采样模块和/或第一解码器、第二解码器的若干个下采样模块中插入有通道注意力模块，使得插入的块卷积操作前先进行通道信息的建模来强化重要特征；所述编码器的若干个下采样模块中插入有锐化空间注意力模块，使得插入的下采样模块在输出前对输出做图像锐化处理；

将训练数据集的每一样本作为目标网络的输入，以最小化预测的肺叶分割图像和预测的肺实质分割图像与标签的误差为目标进行训练优化目标网络的参数，其中训练好的编码器、第一解码器组合构成分割模型。

8.根据权利要求7所述的系统，其特征在于，所述锐化空间注意力模块包括平均池化层、最大池化层、锐化滤波模块、卷积核和激活函数层，其中平均池化层、最大池化层分别对输入特征图进行处理提取获得二通道特征图，锐化滤波模块用于对二通道特征图做图像锐化处理，锐化二通道特征图的特征边缘信息，卷积核用于对锐化处理后的二通道特征图进行合并成一层特征图，激活函数层对合并后的一层特征图进行映射得到特征权值，最后基于特征权值对所述锐化空间注意力模块的输入特征图进行逐元素在空间维度上乘入，得到锐化空间注意力模块的输出。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述的多任务学习框架下结合注意力的肺叶分割方法。

10.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时实现如权利要求1-6任一项所述的多任务学习框架下结合注意力的肺叶分割方法。

Images