CN109614991A - 一种基于Attention的多尺度扩张性心肌的分割分类方法 - Google Patents

Abstract

本发明涉及一种基于Attention的多尺度扩张性心肌的分割分类方法。包括以下步骤：收集若干例患扩张性心肌病的病例，采集其心肌部位MRI图像数据；对上一步骤收集的MRI图像数据的病变区域逐层进行人工边缘标注，作为标签数据；对上一步骤得到的标签数据进行标准化预处理并转成二维数据集；构建基于Attention的多层二维卷积神经网络，使用上一步骤中的二维数据集进行训练；对于待分割分类的心肌部位MRI图像数据，采集同部位同样模态的医学图像，对采集的图像进行标准化处理；通过训练得到的网络模型，对待分割分类的心肌部位MRI图像数据进行自动分割分类。本发明可以实现对于扩张性心肌区域的自动分割和分类，且与主流网络对比能取得较高的精度。

Description

一种基于Attention的多尺度扩张性心肌的分割分类方法

技术领域

本发明涉及图像分割领域中的扩张性心肌图像分割分类技术领域，具体的说是一种基于Attention的多尺度扩张性心肌的分割分类方法。

背景技术

扩张性心肌病(dilated cardiomyopathy，DCM)是一种原因未明的原发性疾病，是我国高发性心肌疾病之一。发病率非常高，DCM的年发病率5/100000～8/100000人，并有不断增高的趋势，男性多于女性(2.5∶1)，平均发病年龄约40岁。患者的临床表现轻重不一，许多有症状的患者其病情多为进行性恶化，有10％～15％患者在一年内出现心力衰竭症状。据估计典型伴有心力衰竭的患者人群，其年死亡率为11％～13％。与其他类型的心肌疾病相比，扩张性心肌病具有更复杂的解剖结构。扩张性心肌病在空间上与处理类似图像强度的几种组织(空气，骨骼，肌肉和粘膜)很相似，且扩张性心肌的形状和大小、以及非均匀心肌强度方面差异较大，因此，需要设计特定的分割方法。而且扩张性心肌的诊断具有局限性，临床医生需要借助医学专业知识手动查阅或标注扩张性心肌的边界。为了提高处理效率和扩张性心肌定位的准确性，临床医生通常借助计算机辅助工具来处理任务，因此采用计算机自动分割算法来辅助医生精准定位扩张性心肌成为一种必要需求。

近几年来，随着科学技术的发展，图像的大小和数量都在增加，这给传统的人工诊断带来极大的挑战，使得使用就计算机进行处理和分析变得十分必要。其中，医学图像分割技术是医学图像处理和分析中的关键技术。医学图像分割是按照某种特征(如灰度、纹理等特征)将图像分成一些有意义的区域。在这些区域内部，其特征往往是相同的或相似的，而相邻域彼此特征则不同，区域之间存在边界。从医学研究和临床应用的角度看，图像分割是对医学影响图像进行分析处理，从而把感兴趣的区域提取出来，并且使其尽可能地接近临床解剖的结果，这样能够为临床诊断以及病例分析提供可靠的依据。

最近，基于深度学习的自然图像分割技术被广泛研究与应用，这也促进了医学图像分割的发展。然而，由于自然图像和医学图像差异性较大，特别是在组织结构和形状大小方面与自然图像差异巨大，因此，直接把深度学习技术用于医学图像仍然是一个难题。近年来，大量文献提出了各种基于深度学习的图像算法用于有效解决不同的分割分类问题。

注意力机制(Attention mechanism)是一种Encoder+Decoder模型的效果机制(Mechanism)，一般称为Attention Mechanism。Attention Mechanism目前非常流行，广泛应用于机器翻译、语音识别、图像标注(Image Caption)、图像分类、图像分割等很多领域，之所以它这么受欢迎，是因为Attention给模型赋予了区分辨别的能力，例如，在机器翻译、语音识别应用中，为句子中的每个词赋予不同的权重，使神经网络模型的学习变得更加灵活(soft)，同时Attention本身可以作为一种对齐关系，解释翻译输入/输出句子之间的对齐关系，解释模型到底学到了什么知识，为我们打开深度学习的黑箱，提供了一个窗口。注意力机制在序列学习任务上具有巨大的提升作用，在编解码器框架内，通过在编码段加入A模型，对源数据序列进行数据加权变换，或者在解码端引入A模型，对目标数据进行加权变化，可以有效提高序列对序列的自然方式下的系统表现。Attention的出现及大量使用，大大降低了计算机在处理高维数据集的计算量，并且使得网络更加注重于任务相关且有用的特征信息，抑制无用的特征信息。因此，Attention机制的使用能够有效的提高分类精度以及分割的准确率。在本文中，我们采用一种基于卷积的Encoder+Decoder网络来实现Attention机制。

卷积神经网(Convolutional Neural Network，CNN)是一种典型的深度神经网络，它主要有三个特点：局部感受野、权值共享和子采样。局部感受野是指CNN中的每一层将接受上一下中，位于同一个领域内的神经元作为输入。局部感受野使得网络可以借助学习对象的空域或时域中的局部性特点，提取到有用的特征。权值共享则指一层中，各个局部感受野之间的权值是相同的，也就是每层的参数数量只需要有一个局部感受野大小。子采样是指通过一定的策略对信号进行采样，以降低噪声的影响，并减少计算量。CNN被广泛应用于图像处理中，特别是在图像分割方面，卷积神经网络已经取得了较好的效果。卷积神经网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。卷积神经网络CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进行学习。再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。这种优势降低了为不同任务开发不同算法的成本，但训练CNN需要大量手动标注的训练数据。

目前国内外大量的研究者利用卷积神经网络做医学图像分割及分类，主要是在细胞图像、心血管图像、大脑图像等方面，而做扩张性心肌图像分割的相对较少。Korez等人提出了FCN网络结构，并将3D FCN网络分割出的脊椎结构用形变模型算法进行优化，进一步提高了脊柱MR图像的分割准确率。Zhou X等人将FCN算法和多数投票算法相结合，在人体躯干CT图像中分割出了19个目标。在网络训练过程中，将经过每一个像素点的矢状面、轴状面、冠状面的CT图像分别输入至2D FCN网络进行训练，并用3D Majority Voting算法对三幅图像的分割结果进行表决，得到最后的分割结果。但是，该种处理方式会产生两个问题：大量的冗余计算导致时间效率低下、以及网络无法学习全局特征。U-net网络提出后，在医学图像分割领域表现优秀，许多研究者均采用U-net网络结构做医学图像分割，并在U-net网络结构基础上提出改进。U-Net结构中一个重要的结构块是跳跃连接，这类网络结构在下采样阶段对图像进行卷积来提取多尺度的图像信息，然后在上采样阶段进行反卷积将特征映射恢复到原始图像的分辨率大小，最后将卷积层的特征映射连接到反卷积层的特征映射。该类网络横向连接特征映射，加强了图像低层特征的传递和特征重。等人提出3D U-net网络结构，该结构通过输入3D图像连续的2D切片序列实现3D图像分割。Milletari等人提出了U-net网络结构的一种3D变形结构V-net，V-net结构使用Dice系数损失函数代替传统的交叉熵损失函数，且使用3D卷积核对图像进行卷积，通过1x1x1的卷积核减少通道维数。Drozdzal等人提出在U-net网络结构中不仅可以使用长跳跃连接结构，也可以使用短跳跃连接结构。

在病灶分割任务中，深度学习算法需要完成目标识别、器官分割和组织分割等多项任务，因此分割过程中应需结合图像的全局信息和局部信息来实现病灶的准确分割，brosch等人使用U-net网络对脑部MRI中的脑白质病灶进行分割，并在U-net网络的第一层卷积和最后一层反卷积之间加入跳跃连接结构，使得该网络结构在训练数据较少的情况下仍得到了很好的分割结果。但是该方法对全局的特征信息提取不足，特别是数据量较少的情况下，无法充分学习全局特征。

在病灶分类任务中，深度学习算法需要完成特征信息提取、特征识别等多项任务，因此在分类过程因充分结合图像中由有利于分类的特征信息，抑制无用的不利于分类的特征信息。He Kaiming等人提出了ResNet网络并在自然图像分类中取得了非常好的结果。QZhang等人把ResNet用于医学图像分类并结合U-net的特性在数据集很少的情况了取得了很好的分类结果。但是，该方法没有突出有效的特征信息，同时也没有抑制无用的特征信息，因此无法充分利用有利于分类的特征信息。

综上，上述方法存在两个问题，一方面，缺乏对原始特征信息的重用以及对全局特征信息的学习不足。另一方面，缺乏对有用特征信息的突出及对无用特征信息的抑制。

发明内容

针对现有技术中存在的上述不足之处，本发明要解决的技术问题是提供一种基于Attention的多尺度扩张性心肌的分割分类方法。

本发明为实现上述目的所采用的技术方案是：一种基于Attention的多尺度扩张性心肌的分割分类方法，包括以下步骤：

步骤1：收集若干例患扩张性心肌病的病例，采集其心肌部位MRI图像数据；

步骤2：对步骤1收集的MRI图像数据的病变区域逐层进行人工边缘标注，作为标签数据；

步骤3：对步骤2得到的标签数据进行标准化预处理并转成二维数据集；

步骤4：构建基于Attention的多层二维卷积神经网络，并使用步骤3中的二维数据集进行训练；

步骤5：对于待分割分类的心肌部位MRI图像数据，采集同部位同样模态的医学图像，使用步骤3的方法对采集的图像进行标准化处理；

步骤6：通过步骤4训练得到的网络模型，对待分割分类的心肌部位MRI图像数据进行自动分割分类。

所述步骤3包括以下步骤：

步骤3.1：在所述标签数据中选择包含扩张性心肌的心肌区域图像；

步骤3.2：对步骤3.1中选择的心肌区域图像进行重新采样至预定分辨率；

步骤3.3：对步骤3.2得到的心肌区域图像进行归一化处理；

步骤3.4：将归一化处理后的心肌图像裁剪成预设的固定尺寸并转成二维数据集。

所述步骤3.3的归一化处理将图像的像素值归一化到0～255之间。

所述预设的固定尺寸为二维卷积神经网络接收尺寸。

所述步骤4包括以下步骤：

步骤4.1：输入训练样本，所述训练样本为步骤3得到的二维数据集；

步骤4.2：根据步骤4.1训练样本的数量，采用五折交叉验证，确定每次使用二维数据集的m％作为训练样本，1-m％作为测试样本，初始化卷积神经网络的卷积层和反卷积层中的卷积核权重；

步骤4.3：每次输入一例病人的二维数据集到卷积神经网络的输入层；

步骤4.4：通过前向传播对卷积神经网络进行训练，通过归一化指数函数分类器输出扩张性心肌的概率分布；

步骤4.5：利用杰卡德相似度，计算步骤4.4输出的扩张性心肌的概率分布与步骤2的标签数据的误差；

步骤4.6：基于步骤4.5计算的误差，优化网络的权重；

步骤4.7：重复步骤4.3-步骤4.6，直到训练损失和测试损失不再降低。

所述步骤4.5中的杰卡德指数为：

其中，PT是P和T的元素乘积，T是步骤2中的标签数据，P是步骤4.4中的扩张性心肌的概率分布，||X||₂是X的L2-范数。

所述步骤4.6中的优化网络权重采用SGD优化函数。

本发明具有以下优点及有益效果：

1、针对传统手工或半自动方法工作量大、标注质量不高或分类差异较大等问题，本发明可以实现对于扩张性心肌的自动分割分类，且与主流网络对比能取得较高的精度。

2、本发明基于注意力(Attention)机制，采用Bottom-up Top-down的前向Attention结果，该结构首先通过一系列的卷基和pooling，逐渐提取高层特征并增大模型的感受野，之前说过高层特征中所激活的Pixel能够反映Attention所在的区域，于是再通过相同数量的up sample将feature map的尺寸放大到与原始输入一样大，这样就将Attention的区域对应到输入的每一个pixel上；Attention模块能够有效提升分类精确度。

3、本发明能够很好的将扩展性心肌区域分割出来，并且能够很好的把正常的心肌和扩张性心肌分类，且方法的泛化能力很强，适用于大多数心肌形态不同的病人。

附图说明

图1为本发明的网络结构图；

图2为本发明的方法流程图；

图3为两位医学专家的标注示例图；

图4为使用本发明网络的预测结果图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

图1为本发明的网络结构，在下采样阶段，首先把输入的图像数据经过7个卷积层提取到原始图像的高层特征信息，再传入到3个残差块(该残差块的具体构成为：把上一层的输入特征和输出特征相加作为下一层的输入，是现有算法，具体可参考《Deep ResidualLearning for Image Recognition》)中，以增强特征的传递。卷积层由卷积、归一化(BatchNormalization层)及Relu激活函数组成。然后把得到特征分别传入上采样阶段和Attention模块中，在上采样阶段，每一层上采样层都会结合对应下采样层的特征信息(即把上采样的特征和下采样的特征相加)，以加强原始特征的重用。同时，在Attention模块中，有利于分类的特征信息能够被突显出来，而无用的不利于的特征信息会被抑制，这样就会大大的提高分类的精确度。Attention模块是图1中的注意力机制模块，如图1上面的分支1所示，输入数据首先经过多层残差模块得到特征(1)；如图1下面的分支2所示，输入数据经过两次下采样和上采样得到具有注意力的特征(2)，再把特征(1)和特征(2)相乘并输出特征(3)，最后把特征(3)和特征(1)相加并输出。Attention模块采用算法是现有算法，具体可参考《Residual Attention Network for ImageClassification》。损失值相加是指图1中上面分支的损失值和下面分支的损失值相加，该结构对单一尺度提取的卷积特征进行重新采样，融合多尺度特征，并将全局上下文信息结合到模型中。在卷积后，使用全连接层来避免卷积过程中遗漏的特征信息。由于每个下采样阶段的图像尺寸不同，所以对应的卷积层使用的扩张率也不同，不同的扩张率使得网络能感知不同的感受野。本网络带有多尺度和层次化的语义信息，对分割不同大小的肿瘤和感知分层的上下文信息非常有效。

如图2所示，训练样本集均是由经验丰富的扩张性心肌病医生标注的，并对数据进行一定的预处理，然后输入到网络中进行训练，保存分割效果最好的模型。对于新的病例数据，使用该模型进行分割预测，获得病变区域。相对于传统的人工判断，本发明可自动预测病变区域，降低了对医生的经验要求。本发明的一个实施例包括以下步骤：

步骤1：收集165例患扩张性心肌的病例，采集其心肌部位MRI的医学图像。

步骤2：由有经验的扩张性心肌医师，对于病变区域逐层进行边缘标注，作为标签数据。

步骤3：对165例标签数据进行标准化预处理并转成二维数据集。

步骤3.1：在标签数据中选择包含扩张性心肌的心肌区域图像；

步骤3.2：对选择的心肌区域图像进行重新采样至1.0×1.0×1.0mm³的分辨率(预定分辨率)；

步骤3.3：把原始数据转换成二维数据集。具体的，本步骤包括：对采样后的心肌区域图像进行归一化处理，将图像的像素值归一化到0-255之间，得到用于训练的心肌图像，将用于训练的心肌图像裁剪成预设的固定尺寸并转成二维数据，该固定尺寸为二维卷积神经网络接收尺寸。

步骤4：构建带多尺度的二维卷积神经网络，对上述病例进行训练。该网络由下采样阶段、上采样阶段及2个Attention模块构成，下采样阶段由7个卷积层和3个跳跃连接的残差块组成。该残差块由一个卷积块和一个分步卷积块组成，每个卷积块包含一个卷积层，一个批量归一化层和一个激活函数层(Relu)。在上采样阶段，每进行一次上采样，把下采样输出的特征信息融合到该层输出中，并作为下一层的输入，最后连接Softmax。在Attention阶段中，有利于分类的特征信息能够被突显出来，而无用的不利于分类的特征信息会被抑制，这样就会大大的提高分类的精确度。整个卷积神经网络的结构见图1。

步骤4.1：输入层用于接收训练样本；所述训练样本为步骤3得到的二维数据集。

步骤4.2：采用五折交叉验证，每次交叉验证使用132个病人(即165例的80％，本实施例中m＝80)的数据做训练样本，33个病人(即165例的20％，本实施例中m＝80)的数据做测试样本。初始化卷积层和反卷积层中卷积核权重；

步骤4.3：每次输入一例病人的二维数据集到步骤4中卷积神经网络中的输入层；

步骤4.4：通过前向传播对网络进行训练(输入的图像数据经过图1所示的每一层网络并通过Relu激活函数输出，将上层的输出再输入到下一层，重复该过程直到最后一层)，最后通过Softmax，输出扩张性心肌的概率分布；

步骤4.5：利用Jaccrad指数，计算步骤4.4输出的扩张性心肌的概率分布与步骤2的标签数据集的误差：

其中，T是步骤2中的标签数据，P是步骤4.4中的扩张性心肌的概率分布，PT是预测结果(P)和真实标签(T)的元素乘积，||X||₂是X的L2-范数。

步骤4.6：基于步骤4.5计算的误差，本实验采用SGD优化函数，优化网络的权重。SGD是众多优秀优化函数中的一种，本实验采用的SGD优化函数，也可以采用其它优化函数。

步骤4.7：重复步骤4.3-步骤4.6，直到达到一定的迭代次数。

步骤5：对于待诊断的病例，采集同部位同样模态的医学图像，使用相同的预处理进行处理。

步骤6：针对该例病人，输入整个病人MRI数据，通过上面训练得到的模型，得到该病人的患扩张性心肌的病变区域以及判断输入的原始心肌数据是否患扩展性心肌病。

如图3所示，为两位医学专家的标注示例，红色边框表示专家的标注。从图3中可以看出，不同的两位经验丰富的医生标注的扩张性心肌区域基本上是一致的，但在一些细节区域有一定的差异性。

如图4所示，可以看出，使用本发明网络预测的扩张性心肌与手工标注的区域基本一致，本发明网络充分的利用了训练样本的特征信息，所以网络结构能很好地准确预测扩张性心肌区域。

表1.使用Jaccard损失函数定量评估主流网络和我们网络的扩张性心肌分割结果

从表1可以看出，相比Deeplabv3+和其他先进的网络，采用相同的杰卡德(Jaccard)相似度作为损失函数，本发明的网络在四个指标上都达到了较好的结果，本发明网络的平均DSC值达到了0.7610，超过Deeplabv3+和U-Net的效果，说明残差块和Attention机制相结合的方法对最终的分割结果是有帮助的。

表2.使用精确度定量评估主流网络和我们网络的扩张性心肌分类结果。

从表2可以看出，相Residual attention network网络，采用相同的交叉熵作为损失函数，本发明的网络取得了较好的效果，本发明网络的平均精确度达到了0.84，超过Residual attention network的效果；本发明网络的最大精确度达到了0.90，远远超过了Residual attention network的最大精确度。从以上结果可以知道，采用残差块和Attention机制相结合的方法能够有效提高分类的精确度。

Claims (7)

1.一种基于Attention的多尺度扩张性心肌的分割分类方法，其特征在于，包括以下步骤：

步骤1：收集若干例患扩张性心肌病的病例，采集其心肌部位MRI图像数据；

步骤2：对步骤1收集的MRI图像数据的病变区域逐层进行人工边缘标注，作为标签数据；

步骤3：对步骤2得到的标签数据进行标准化预处理并转成二维数据集；

步骤4：构建基于Attention的多层二维卷积神经网络，并使用步骤3中的二维数据集进行训练；

步骤5：对于待分割分类的心肌部位MRI图像数据，采集同部位同样模态的医学图像，使用步骤3的方法对采集的图像进行标准化处理；

步骤6：通过步骤4训练得到的网络模型，对待分割分类的心肌部位MRI图像数据进行自动分割分类。

2.根据权利要求1所述的一种基于Attention的多尺度扩张性心肌的分割分类方法，其特征在于，所述步骤3包括以下步骤：

步骤3.1：在所述标签数据中选择包含扩张性心肌的心肌区域图像；

步骤3.2：对步骤3.1中选择的心肌区域图像进行重新采样至预定分辨率；

步骤3.3：对步骤3.2得到的心肌区域图像进行归一化处理；

步骤3.4：将归一化处理后的心肌图像裁剪成预设的固定尺寸并转成二维数据集。

3.根据权利要求2所述的一种基于Attention的多尺度扩张性心肌的分割分类方法，其特征在于，所述步骤3.3的归一化处理将图像的像素值归一化到0～255之间。

4.根据权利要求2所述的一种基于Attention的多尺度扩张性心肌的分割分类方法，其特征在于，所述预设的固定尺寸为二维卷积神经网络接收尺寸。

5.根据权利要求1所述的一种基于Attention的多尺度扩张性心肌的分割分类方法，其特征在于，所述步骤4包括以下步骤：

步骤4.1：输入训练样本，所述训练样本为步骤3得到的二维数据集；

步骤4.2：根据步骤4.1训练样本的数量，采用五折交叉验证，确定每次使用二维数据集的m％作为训练样本，1-m％作为测试样本，初始化卷积神经网络的卷积层和反卷积层中的卷积核权重；

步骤4.3：每次输入一例病人的二维数据集到卷积神经网络的输入层；

步骤4.4：通过前向传播对卷积神经网络进行训练，通过归一化指数函数分类器输出扩张性心肌的概率分布；

步骤4.5：利用杰卡德相似度，计算步骤4.4输出的扩张性心肌的概率分布与步骤2的标签数据的误差；

步骤4.6：基于步骤4.5计算的误差，优化网络的权重；

步骤4.7：重复步骤4.3-步骤4.6，直到训练损失和测试损失不再降低。

6.根据权利要求5所述的一种基于Attention的多尺度扩张性心肌的分割分类方法，其特征在于，所述步骤4.5中的杰卡德指数为：

其中，PT是P和T的元素乘积，T是步骤2中的标签数据，P是步骤4.4中的扩张性心肌的概率分布，||X||₂是X的L2-范数。

7.根据权利要求5所述的一种基于Attention的多尺度扩张性心肌的分割分类方法，其特征在于，所述步骤4.6中的优化网络权重采用SGD优化函数。