CN115908358A - 一种基于多任务学习的心肌图像分割和分类方法 - Google Patents

Abstract

本发明涉及一种基于多任务学习的心肌图像分割和分类方法，将经过预处理的心脏MRI图像送入跨任务的特征子网，该子网采用级联的深度分离卷积进行多尺度特征提取，训练共享参数。然后，将得到的特征图分别送入到分割子网和分类子网中进行单独训练。分割子网利用多个长跳跃连接将跨任务特征子网中不同层级和尺度的特征图送入到联合金字塔上采样模块进行多尺度特征融合和上采样，得到与原始图像尺寸相同的心肌分割掩膜；分类子网中利用残差注意力机制提取分类所需的深层特征，有效对心脏MRI图像进行分类，得到扩张型心肌病的诊断结果。

Description

一种基于多任务学习的心肌图像分割和分类方法

技术领域

本发明涉及医学图像处理领域，尤其涉及一种基于多任务学习的心肌图像分割和分类方法。

背景技术

扩张型心肌病是一种常见的慢性心脏病，是全世界发病率最高的一类心肌病，在心肌病中占比达90%，可导致心力衰、血栓栓塞及猝死。心脏MRI作为目前临床上唯一可以无创性评估坏死心肌、心肌纤维化及癫痕成分的影像学检查方法，能够准确地判定疾病发生发展阶段，逐渐成为心肌病诊断的首选方法。

在扩张型心肌病的诊断过程中，左心室容积和左心室射血分数是评价扩张型心肌病患者疾病严重程度的主要指标，而心室和心肌分割是计算这些指标的重要前提。临床上扩张型心肌病常规的分析手段有单点采样法和区域平均法。单点采样法需要根据心脏MRI影像中的锚点来测算平均Hounsfield单位值、面积等相关指标，区域平均法则需要临床工作者手动勾画出左心室心肌内外膜，然后对整个心肌区域的信号进行分析和计算，测算出感兴趣区域的平均值。以上过程耗时费力且由于主观因素导致标注结果不可重复、准确性差异较大。

当前现有基于深度学习的图像处理网络模型还存在一些需要改进的地方。如只单独针对图像分割或分类，大多是单任务学习模型，即一次只学习一个任务，只有一个目标函数，无法同时输出图像的分割和分类结果。例如：现有许多图像分割网络通过反复堆叠空洞卷积来达到扩大感受野的目的，提高分割精度的目的。但是这样做会造成计算复杂度高和内存占用。单任务学习网络模型往往会忽略不同任务之间丰富的关联信息，造成模型泛化性能差、训练效果不够理想。

因此，针对心脏MRI图像设计一种端到端的基于多任务的自动分割和疾病辅助诊断方法具有重要的临床价值和研究意义。

发明内容

针对现有技术之不足，提出一种基于多任务学习的心肌图像分割和分类方法，采用一种扩张型心肌病辅助诊断的分割和分类多任务模型MTN-DCM，所提出一种扩张型心肌病辅助诊断的分割和分类多任务模型MTN-DCM，多任务模型包括三个子网络，具体为：用于特征提取的跨任务特征子网、用于扩张型心肌病诊断的分类子网和用于心肌区域分割的分割子网，分割和分类方法具体包括：

步骤1：将获取的心脏内科的心脏短轴的二维T1mapping序列磁共振图像和LGE图像作为MRI数据集，MRI数据集包括专家手动标注了左心室心肌的分割结果作为分割算法的标签，分类算法的标签为扩张型心肌病和健康两类；

步骤2：将经过预处理的心脏MRI数据集送入跨任务特征子网，跨任务特征子网采用6个级联的深度可分离残差模块SRM进行多尺度特征提取，训练共享参数，具体为：

步骤21：通过级联的两个3×3普通卷积对心脏MRI图像进行浅层特征提取；

步骤22：将提取的浅层特征再通过依次级联的深度可分离残差模块SRM进行多尺度特征提取，深度可分离残差模块SRM采用残差连接，在每个深度分离残差模块中利用依次级联空洞率为3、5、7,卷积核大小为3×3的分离卷积层进行多尺度特征提取，并用1×1普通卷积代替恒等映射进行残差连接，得到跨任务特征；

步骤23：将提取到的跨任务特征分别传递到分割子网和分类子网中分别进行分割和分类，进一步特征提取和融合；

步骤3：执行分割任务，将步骤2不同阶段提取的1/4、1/8和1/16原图大小的特征图送入到分割子网中进行多尺度特征融合，分割子网利用多个长跳跃连接将跨任务特征子网中不同层级和尺度的特征图送入到分割子网中的联合金字塔上采样JPU模块进行多尺度特征融合和上采样，得到与原始图像尺寸相同的心肌分割掩膜，具体的：

步骤31：在多尺度特征融合的分割子网络中，首先采用联合金字塔上采样模块对跨任务特征子网络中传递的三种不同尺寸的特征图进行多尺度特征融合，然后通过联合金字塔上采样模块结合深层语义与精细结构的多尺度信息，生成有利于分割的第一特征图；

步骤32：在联合金字塔上采样JPU模块后面级联两个深度分离卷积进一步提取特征，再级联两个亚像素卷积对第一特征图进行上采样，最终输出与输入图像尺寸相同的分割结果；

步骤4：执行分类任务，将步骤2得到的1/32原图大小的特征图送入到分类子网中进行高级语义特征提取，分类子网中利用残差注意力机制提取分类所需的深层特征，有效对心脏MRI图像进行分类，得到扩张型心肌病的诊断结果，具体的：

步骤41：在基于残差注意力机制的分类子网络中，首先采用一个残差注意力模块RAM对跨任务特征子网传递的特征图进一步有针对性地提取对分类任务有重要指导作用的有效特征并同时抑制冗余特征；

步骤42：残差注意力模块RAM包括主干分支和掩模分支，主干分支由多个级联的残差卷积模块构成，对输入特征图进行特征处理，得到主干特征图，掩膜分支采用编码-解码的结构，采用自下而上和自上而下的注意力相结合的方式，学习得到一个与主干输出大小相同的注意力特征掩膜；

步骤43：采用残差学习的方式，将注意力特征掩膜与主干特征图进行逐像素相乘和叠加，并输出至残差注意力模块后级联的深度分离卷积层和全局平均池化层，进行进一步特征提取，全局平均池化层保留空间信息、定位分类目标以及对网络结构作正则化处理，防止网络过拟合；

步骤44：将步骤43的输出结果输入至全连接层输出分类结果，判断是否患有扩张型心肌病。

根据一种优选的实施方式，步骤42中的掩模分支获得注意力特征掩模的过程为：

首先，在编码器部分进行自下而上的快速前馈扫描，使用三个残差单元和两个最大池化层进行特征提取；

其次，在解码器部分进行自上而下的全局信息扩展，指导每个位置的输入特征，使用与编码器中最大池化层数量相同的两层线性插值进行对称的上采样，以保证输入输出特征大小相同；

最后，还增加了编码器解码器结构之间的跳跃连接，以捕捉不同尺度的信息。

根据一种优选的实施方式，步骤31多尺度融合的过程具体包括：

将跨任务特征子网中三种不同尺寸的特征图送入联合金字塔上采样JPU模块中，上采样到同一尺寸后进行拼接,然后通过一个深度可分离的空洞金字塔，分别进行扩张率为1、2、4、8的卷积再进行拼接，最后再经过一次卷积得到融合的特征图。

本发明的有益效果在于：

1、本发明充分利用扩张型心肌病判别任务与左心室心肌分割任务之间较强的相关性进行多任务学习，利用多个任务之间互相增加噪声，通过引入归纳偏置进行正则化，有助于缓解过拟合，增强模型的泛化能力；同时通过跨任务特征子网共享部分参数和结构的方式，进行多任务的并行学习，改变网络参数更新的动态特性，提升学习速率。

2、本发明在执行分割任务中，提出一种联合金字塔上采样（JointPyramidUpsampling）JPU模块替代堆叠空洞卷积的操作，既可以提高运算效率，还可以充分利用不同层级特征图的信息来进行多尺度信息的提取。

3、本发明在执行分类任务中，提出一种残差注意力模块RAM有针对性地提取对分类任务有重要指导作用的特征，增强有效特征的作用并抑制冗余信息，同时利用残差网络结构减轻网络的训练难度，有效解决梯度消失现象。

附图说明

图1是本发明多任务学习网络模型MTN-DCM的网络结构图；

图2是深度可分离残差模块SRM的结构示意图；

图3是联合金字塔上采样JPU模块的结构示意图；

图4是残差注意力模块RAM的结构示意图；

图5是不同方法在T1mapping数据上的分割结果对比；

图6是不同方法在LGE数据上的分割结果对比；

图7是分类子网最后一个卷积层的类激活图；

图8是消融实验结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

下面结合附图进行详细说明。

针对现有技术存在的不足，本发明提出一种扩张型心肌病辅助诊断的分割和分类多任务模型MTN-DCM，如图1所示，多任务模型包括三个子网络，具体为：用于特征提取的跨任务特征子网、用于扩张型心肌病诊断的分类子网和用于心肌区域分割的分割子网，分割和分类方法具体包括：

步骤1：将获取的心脏内科的心脏短轴的二维T1mapping序列磁共振图像和LGE图像作为MRI数据集，MRI数据集包括专家手动标注了左心室心肌的分割结果作为分割算法的标签，分类算法的标签为扩张型心肌病和健康两类。

步骤2：将经过预处理的心脏MRI数据集送入跨任务特征子网，跨任务特征子网采用6个级联的深度可分离残差模块SRM进行多尺度特征提取，训练共享参数，具体为：

步骤21：通过级联的两个3×3普通卷积对心脏MRI图像进行浅层特征提取。

步骤22：将提取的浅层特征再通过依次级联的深度可分离残差模块SRM进行多尺度特征提取，提取图像的高级语义特征。图2为深度可分离残差模块SRM结构示意图。深度可分离残差模块SRM采用残差连接，在每个深度分离残差模块中利用依次级联空洞率为3、5、7,卷积核大小为3×3的分离卷积层进行多尺度特征提取，可分离卷积层将空间相关性和通道间相关性的学习任务完全分离，减少模型的参数量，并用1×1普通卷积代替恒等映射进行残差连接，以增强网络的表达能力，得到跨任务特征。

步骤23：将提取到的跨任务特征分别传递到分割子网和分类子网中分别进行分割和分类，进一步特征提取和融合。

跨任务特征子网是本发明多任务模型的参数共享子网络，提取了分割和分类两个任务的公有特征和信息进行硬参数共享，降低了模型过拟合的风险。

步骤3：执行分割任务，也是多尺度特征融合阶段，将步骤2不同阶段提取的1/4、1/8和1/16原图大小的特征图送入到分割子网中进行多尺度特征融合，分割子网利用多个长跳跃连接将跨任务特征子网中不同层级和尺度的特征图送入到分割子网中的联合金字塔上采样JPU模块进行多尺度特征融合和上采样，得到与原始图像尺寸相同的心肌分割掩膜。联合金字塔上采样JPU模块如3图所示，具体的：

步骤31：在多尺度特征融合的分割子网络中，首先采用联合金字塔上采样JPU模块对跨任务特征子网络中传递的三种不同尺寸的特征图进行多尺度特征融合，然后通过联合金字塔上采样JPU模块结合深层语义与精细结构的多尺度信息，生成有利于分割的特征图。

多尺度融合的过程具体包括：将跨任务特征子网中三种不同尺寸的特征图送入联合金字塔上采样JPU模块中，上采样到同一尺寸后进行拼接,然后通过一个深度可分离的空洞金字塔，分别进行扩张率为1、2、4、8的卷积再进行拼接。最后再经过一次卷积得到融合的特征图。

步骤32：在联合金字塔上采样JPU模块后面级联两个深度分离卷积进一步提取特征，再级联两个亚像素卷积对特征图进行上采样，最终输出与输入图像尺寸相同的分割结果。

通过联合金字塔上采样模块来替代空洞卷积操作，既可以提高运算效率，还可以充分利用不同层级特征图的信息来进行多尺度信息的提取。

步骤4：执行分类任务，将步骤2得到的1/32原图大小的特征图送入到分类子网中进行高级语义特征提取，分类子网中利用残差注意力机制提取分类所需的深层特征，有效对心脏MRI图像进行分类，得到扩张型心肌病的诊断结果，具体的：

步骤41：在基于残差注意力机制的分类子网络中，首先采用一个残差注意力模块RAM对跨任务特征子网传递的特征图进一步有针对性地提取对分类任务有重要指导作用的有效特征并同时抑制冗余特征；残差注意力模块RAM的结构如图4所示。

步骤42：残差注意力模块（residual attention module）RAM包括主干分支trunkbranch和掩模分支mask branch，主干分支由多个级联的残差卷积模块构成，对输入特征图进行特征处理，输出主干特征图，其中和分别代表空间和通道位置。

掩膜分支采用编码-解码的结构，采用自下而上和自上而下的注意力相结合的方式，学习得到一个与主干输出大小相同的注意力特征掩膜。

掩模分支获得注意力特征掩模的过程为：首先在编码器部分进行自下而上的快速前馈扫描，使用三个残差单元和两个最大池化层进行特征提取、快速增加感受野；其次，在解码器部分进行自上而下的全局信息扩展，指导每个位置的输入特征，使用与编码器中最大池化层数量相同的两层线性插值进行对称的上采样，以保证输入输出特征大小相同，最后，还增加了编码器解码器结构之间的跳跃连接，以捕捉不同尺度的信息。

残差注意力模块对跨任务特征子网传递的特征图进行有效特征增强，抑制噪声。反复利用多个残差单元来缓解网络过深导致的梯度消失现象，同时利用注意力机制将掩膜前后的特征张量作为下一层的输入，以获取更丰富的高级语义特征。

步骤43：采用残差学习的方式，将注意力特征掩膜与主干特征图进行逐像素相乘和叠加，并输出至残差注意力模块后级联的深度分离卷积层和全局平均池化层，进行进一步特征提取，全局平均池化层保留空间信息、定位分类目标以及对网络结构作正则化处理，防止网络过拟合。

步骤44：将步骤43的输出结果输入至全连接层输出分类结果，判断是否患有扩张型心肌病。

在图像分割任务中，采用在图像分割任务中采用广泛使用的常用的Dice相似系数（Dice Similarity Coefficient,DSC）、准确率（Accuracy）、并交比（Intersection-Over-Union, IoU）和豪斯多夫距离（Hausdorff Distance，HD）作为评价指标。DSC是一种评估相似度的函数，主要在图像分割评估中用于计算预测分割结果X和标签Y之间的相似度或重叠度，取值范围在[0,1]之间。Accuracy是正确分类的样本数在所有样本数中的占比。通常来说，Accuracy越高代表模型性能越好。IoU也称为Jaccard指数，与DSC非常相似，也是用于评估预测结果和标签之间的相似性，取值范围在[0,1]之间。HD也是一种常用在图像分割中的评价指标，描述了两组点集之间的相似性程度，图像分割的边界较为敏感。简单来说，HD就是两条轨迹间最近点距离的最大值，因此在分割任务中对于预测分割结果X和标签Y来说，HD越小越好。

在图像分类任务中，采用在图像分类实验采用广泛使用的的准确率（Accuracy）、灵敏度（Sensitivity，也称召回率Recall）、特异性（Specificity）和曲线下面积（AreaUnder Curve, AUC）四个评价指标。Accuracy是分类任务中最常见的评价指标，指正确预测的样本数占所有样本数的比例，通常来说，Accuracy越高，分类器效果越好。Sensitivity表示所有正类的样本中被分对的比例，衡量了分类器对正类样本的识别能力，越高表示模型对正样本的识别能力越强。Specificity表示所有负类样本中被分对的比例，衡量了分类器对负样本的识别能力，越高表示模型对负样本的识别能力越强。AUC是指ROC（ReceiverOperating Characteristic）曲线下方的面积大小。ROC曲线横纵坐标分别为FPR（假负利率）和TPR（真正例率），FPR越小，TPR越高，则模型越好。因此ROC下面积（AUC）越大，或者曲线更接近左上角，模型分类效果越理想。

为了验证多任务网络的分割有效性，将其与图像分割中U-Net、U-Net++、SegNet和Deeplab v3+，本技术领域的四种经典的分割方法进行比较。表1的第一栏展示了本发明所提出的基于MTN-DCM的方法与四种经典的医学图像分割方法在T1 mapping数据集上在分割和分类上的定量对比结果。从表1中可以看出，在T1 mapping数据上MTN-DCM所获得的分割结果在DSC、Accuracy、IoU和HD四项量化指标上分别达到了82.4%、95.9%、70.6%和0.266mm，均优于其他几种方法，而其他几种方法中DSC最高的SegNet和Deeplabv3+也比MTN-DCM低2.5%。

表2的第一栏展示了本发明所提出的基于MTN-DCM的方法与四种经典的医学图像分割方法在LGE数据上在分割和分类上的定量对比结果。从表2中也可以看到类似的情况，在LGE数据上MTN-DCM所获得的分割结果在DSC、Accuracy、IoU和HD四项量化指标上分别达到了82.4%、95.9%、70.6%和0.266mm，DSC和IoU比其他几种方法中最高的Deeplabv3+还要高3.4%和5%。以上充分说明了MTN-DCM不仅可以更具判别性地捕获心脏MRI图像的左心室心肌的特征，达到最优的分割性能，而且在不同的心脏MRI数据上均表现良好，模型泛化性强。

表1 T1mapping数据上的定量对比结果

表2LGE数据上的定量对比结果

图5和图6分别是T1 mapping数据和LGE数据上的左心室心肌分割结果，从左到右列依次是原始图像、人工标准分割结果、SegNet网络分割结果、U-Net网络分割结果、U-Net++网络分割结果、Deeplab v3+网络分割结果和本发明所提出的MTN-DCM网络的分割结果。

从图5和图6可以看出，本发明方法在两个数据集上的左心室心肌分割均取得了较好的效果，相比于其他几种方法，本发明方法的分割结果更接近于人工标准分割结果。从主观视觉效果还可以观察到，本发明提出的方法对于不规则和不连续的结构有较强的判别能力（如图中白色箭头），且不易出现过分割的现象，而SegNet方法容易出现欠分割，U-Net、U-Net++和Deeplab v3+三种方法容易出现过分割的现象。此外，还可以发现本发明方法在分割目标较为细小时，易出现过分割和欠分割的现象（如图中黑色箭头）。

为了验证本发明提出的本发明方法的分类有效性，将其与VGG16、ResNet50、Inceptionv3和Xception四种目前比较流行的分类方法进行比较。表1和表2的第二栏分别展示了几种方法在T1 mapping和LGE两种数据上的分类定量评估结果，图7展示了分类子网的正负样本的类激活图。

从表1第一栏中可以看到，本发明方法的准确率达到了95.7%，比VGG16、ResNet50、Inceptionv3和Xception分别高出7.5%、6.9%、7.5%和1.1%，说明本发明方法在T1 mapping数据上分类效果最好。虽然VGG16和Inceptionv3两种方法的特异性为100%，但是敏感度均为0，说明两种方法对于正样本即患病的样本识别能力很差，将所有样本都判定为健康类别，而本发明方法的敏感度和特异性分别为77.9%和98.1%，说明其能够很好地处理类别不平衡问题，避免陷入过拟合。此外，本发明方法的AUC也最高，达到了97.9%，比VGG16、ResNet50、Inceptionv3和Xception分别高出53.4%、42.6%、11.4%和0.2%，再次印证了其良好的分类性能。

从表2第二栏可以看到，本发明方法的准确率、敏感度和AUC均最好，分别为96.1%、64.9%和91.8%，说明了其在LGE数据上也能取得最好的分类效果。而VGG16、ResNet50、Inceptionv3和Xception虽然特异性分别高达99.7%和99%，但是其分别对应的敏感度都很低，其中Inceptionv3甚至只有2.7%，说明这几种方法都无法较好地处理数据类别不平衡的问题，陷入了过拟合。本发明方法在LGE上良好的分类性能进一步表明了其在不同心脏MRI数据集上均有良好的分类能力。

从图7可以看到，正样本的类激活图更集中，而负样本的类激活图更发散，说明网络确实能够学习到不同类样本之间的差异，从模型可解释性的角度进一步证明本方法的分类有效性。

为了验证本发明中多任务学习方法的优势，本发明将MTN-DCM的分类子网络和分割子网络分别去掉，对留下的分割单任务学习和分类单任务学习做了实验测试评估。表1和表2中倒数第二行分别展示了在T1 mapping和LGE两种数据上的分割单任务学习和分类单任务学习的实验结果。

从表1中可以看到，T1 mapping数据上无论是分割单任务学习还是分类单任务学习的各项评价指标几乎都比多任务学习模型差：在分割任务上，多任务学习在DSC、Accuracy、IoU和HD四项指标上的增益分别为0.5%、4.2%、0.7%和0.019mm；在分类任务上，多任务学习在Accuracy、Sensitivity、Specificity和AUC四项指标上的增益分别为1.2%、-1.3%、1.6%和0.5%，

从表2中也可以看到类似的情况，在LGE数据上单任务学习的各项评价指标也几乎都比多任务学习模型差：在分割任务上，多任务学习在DSC、Accuracy、IoU和HD四项指标上的增益分别为0.5%、5.2%、0.9%和0.039mm；在分类任务上，多任务学习在Accuracy、Sensitivity、Specificity和AUC四项指标上的增益分别为2.1%、64.9%、-1.9%和7.7%，其中只有Specificity这项指标降低了1.9%，这是由于单任务分类学习的Specificity和Sensitivity两项指标分别为100%和0，即单任务分类学习直接将所有的样本都判别为样本量较多的负类，发生了过拟合的现象，说明多任务学习处理类别不平衡的问题也比单任务学习更有优势。

为了验证本发明提出的MTN-DCM模型中各个模块的影响，本发明还在T1 mapping数据上进行了消融实验，实验结果如图8所示。

从图8中可以看到，分别移除深度分离残差模块、残差注意力模块和JPU模块之后，分割任务和分类任务各项性能均有所下降。其中，分类任务受深度分离残差模块影响较为明显，Accuracy、AUC和Specificity分别下降了约7%、17%和25%。以上实验说明三种模块均是本发明的有益模块，能同时提升分割和分类性能。

需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。

Claims (3)

1.一种基于多任务学习的心肌图像分割和分类方法，其特征在于，提出一种扩张型心肌病辅助诊断的分割和分类多任务模型MTN-DCM，所述多任务模型包括三个子网络，具体为：用于特征提取的跨任务特征子网、用于扩张型心肌病诊断的分类子网和用于心肌区域分割的分割子网，所述分割和分类方法具体包括：

步骤1：将获取的心脏内科的心脏短轴的二维T1mapping序列磁共振图像和LGE图像作为MRI数据集，所述MRI数据集包括专家手动标注了左心室心肌的分割结果作为分割算法的标签，分类算法的标签为扩张型心肌病和健康两类；

步骤2：将经过预处理的心脏MRI数据集送入所述跨任务特征子网，所述跨任务特征子网采用6个级联的深度可分离残差模块SRM进行多尺度特征提取，训练共享参数，具体为：

步骤21：首先，3通过级联的两个3×3普通卷积对心脏MRI图像进行浅层特征提取；

步骤22：将提取的浅层特征再通过依次级联的深度可分离残差模块SRM进行多尺度特征提取，所述深度可分离残差模块SRM采用残差连接，在每个深度分离残差模块中利用依次级联空洞率为3、5、7,卷积核大小为3×3的分离卷积层进行多尺度特征提取，并用1×1普通卷积代替恒等映射进行残差连接，得到跨任务特征；

步骤23：将提取到的所述跨任务特征分别传递到所述分割子网和所述分类子网中分别进行分割和分类，进一步特征提取和融合；

步骤3：执行分割任务，将步骤2不同阶段提取的1/4、1/8和1/16原图大小的特征图送入到所述分割子网中进行多尺度特征融合，所述分割子网利用多个长跳跃连接将所述跨任务特征子网中不同层级和尺度的特征图送入到所述分割子网中的联合金字塔上采样JPU模块进行多尺度特征融合和上采样，得到与原始图像尺寸相同的心肌分割掩膜，具体的：

步骤31：在多尺度特征融合的所述分割子网络中，首先采用联合金字塔上采样模块JPU对跨任务特征子网络中传递的三种不同尺寸的特征图进行多尺度特征融合，然后通过所述联合金字塔上采样模块结合深层语义与精细结构的多尺度信息，生成有利于分割的第一特征图；

步骤32：在联合金字塔上采样JPU模块后面级联两个深度分离卷积进一步提取特征，再级联两个亚像素卷积对第一特征图进行上采样，最终输出与输入图像尺寸相同的分割结果；

步骤4：执行分类任务，将步骤2得到的1/32原图大小的特征图送入到所述分类子网中进行高级语义特征提取，所述分类子网中利用残差注意力机制提取分类所需的深层特征，对心脏MRI图像进行分类，得到扩张型心肌病的诊断结果，具体的：

步骤41：在基于残差注意力机制的分类子网络中，首先采用一个残差注意力模块RAM对跨任务特征子网传递的特征图进一步有针对性地提取对分类任务有重要指导作用的有效特征并同时抑制冗余特征；

步骤42：所述残差注意力模块RAM包括主干分支和掩模分支，所述主干分支由多个级联的残差卷积模块构成，对输入特征图进行特征处理，得到主干特征图，掩膜分支采用编码-解码的结构，采用自下而上和自上而下的注意力相结合的方式，学习得到一个与主干输出大小相同的注意力特征掩膜；

步骤43：采用残差学习的方式，将所述注意力特征掩膜与所述主干特征图进行逐像素相乘和叠加，并输出至所述残差注意力模块后级联的深度分离卷积层和全局平均池化层，进行进一步特征提取，全局平均池化层保留空间信息、定位分类目标以及对网络结构作正则化处理，防止网络过拟合；

步骤44：将步骤43的输出结果输入至全连接层输出分类结果，判断是否患有扩张型心肌病。

2.如权利要求1所述的心肌图像分割和分类方法，其特征在于，所述步骤42中的掩模分支获得注意力特征掩模的过程为：

首先，在编码器部分进行自下而上的快速前馈扫描，使用三个残差单元和两个最大池化层进行特征提取；

其次，在解码器部分进行自上而下的全局信息扩展，指导每个位置的输入特征，使用与编码器中最大池化层数量相同的两层线性插值进行对称的上采样，以保证输入输出特征大小相同；

最后，还增加了编码器解码器结构之间的跳跃连接，以捕捉不同尺度的信息。

3.如权利要求2所述的心肌图像分割和分类方法，其特征在于，步骤31多尺度融合的过程具体包括：

将跨任务特征子网中三种不同尺寸的特征图送入联合金字塔上采样JPU模块中，上采样到同一尺寸后进行拼接,然后通过一个深度可分离的空洞金字塔，分别进行扩张率为1、2、4、8的卷积再进行拼接，最后再经过一次卷积得到融合的特征图。

Images