CN110363772B - 基于对抗网络的心脏mri分割方法及系统 - Google Patents

Abstract

本公开公开了基于对抗网络的心脏MRI分割方法及系统，此对抗网络包括分割器与鉴别器。具体步骤包括：输入待分割的心脏MRI；对输入的待分割的心脏MRI进行预处理；训练对抗网络；调用经过对抗训练的分割器模型对经过预处理的心脏MRI进行分割；完成心室结构分割，输出左心室、右心室和心肌分割结果。通过Dice系数与霍斯多夫距离来评定分割所得的左心室、右心室和心肌是否精准。评价结果显示本方法能够全自动输出高精度心脏MRI分割结果，从而缓解公共卫生资源的紧张，提升医生诊断效率。

Description

基于对抗网络的心脏MRI分割方法及系统

技术领域

本公开涉及医学图像处理技术领域，特别是涉及基于对抗网络的心脏MRI分割方法及系统。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

随着医疗技术的发展，公共卫生条件的改善，使得流行病的致死率不断下降。相应的，慢性病成为现代人死亡的主要原因。心脏是血液循环的动力泵，心脏区域的病变是极其致命的，随着现代人生活水平的提升，心血管疾病成为人类的头号死因。在医学图像技术应用于临床诊断之前，医生只能通过心电图来诊断心脏疾病，但这种方法并不能直观显示患者心脏的病变情况，因此会造成病情估计失误，疾病诊断错误等问题。而运用医学影像技术，医生能够直观分析患者心脏区域病变情况，准确地分析病情。随着数字图像处理技术的发展，使得医生可以借助计算机来更加高效地分析医疗影像，掌握患者病情。因此，如何处理患者医学影像，对医生的诊断至关重要。医生在临床实践中发现，无论是心血管疾病，心肌病或者高血压等血液循环系统疾病，都会直接或间接地导致心脏的形态和功能发生病变，这些病变都可通过非侵入式的医学影像观察到。所以对心脏进行精准的形态测定以及功能评价，对心脏病病人的预后诊断来说十分关键，运用医学图像分割方法对心脏影像数据进行处理，可以得到准确的心脏解剖结构，为进一步的分析处理奠定了基石。

对比其它成像技术(如CT超声PET等)MRI成像方式更加多样，成像原理更加复杂，所得到信息也更加丰富。因此磁共振成像成为医学影像中一个热门的研究方向。MRI对心血管疾病不但可以观察各腔室、大血管及瓣膜的解剖变化，而且可作心室分析，进行定性及半定量的诊断。同时，可作多个切面图，空间分辨率较高，显示心脏及病变全貌，及其与周围结构的关系。

心脏的心室能够实现射血功能，这使得心脏成为人体重要器官。同时，由于心室易病变，使得临床诊断中会着重分析心室形态和心室运动情况。为便于诊断心血管疾病，医生致力于分析患者的心室容积、心肌壁厚度、射血分数和管壁增厚性质的变化。为确定上述心功能指数，医生需要对心脏MRI做出正确的分割，因此，左心室、右心室和心肌的分割在心脏MRI中受到了广泛的关注。

在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：

目前在临床上医生会手动分割心脏MRI中的左右心室与心肌，并以此来计算临床诊断指标。但是手动分割耗时耗力，鉴于心脏的形状各异，病理特征千差万别，因此不同医生分割结果不一致，同一个医生也可能在两次分割中结果不一样，这导致了手动分割可重复性较差。

综上所述，目前的心室分割算法大多是存在计算量过于庞大，步骤繁杂等缺点。

发明内容

为了解决现有技术的不足，本公开提供了基于对抗网络的心脏MRI分割方法及系统；对抗网络包括分割器和鉴别器。分割器能够输出高精度分割图，鉴别器在能够输出置信度图，以分辨出分割图的哪一区域更加接近于ground truth。之后再通过反向传播，更新分割器参数，使得分割器输出更加接近于ground truth的分割结果。此方法针对心脏MRI分割，能够输出高精度分割结果。实现简单，丰富和发展了医学图像处理技术。

第一方面，本公开提供了基于对抗网络的心脏MRI分割方法；

基于对抗网络的心脏MRI分割方法，包括：

输入待分割的心脏MRI；

对输入的心脏MRI预处理；

将预处理后的心脏MRI输入到预先训练好的对抗网络的分割器中；分割器完成心室结构分割，输出左心室、右心室和心肌分割结果。

第二方面，本公开还提供了基于对抗网络的心脏MRI分割系统；

基于对抗网络的心脏MRI分割系统，包括：

输入模块，其被配置为输入待分割的心脏MRI；

预处理模块，其被配置为对输入的心脏MRI预处理；

分割模块，其被配置为：将预处理后的心脏MRI输入到预先训练好的对抗网络的分割器中；分割器完成心室结构分割，输出左心室、右心室和心肌分割结果。

与现有技术相比，本公开的有益效果是：

1构建对抗网络，实现端到端的心脏MRI分割。本方法能够输出客观的高精度分割结果，为人工智能精准医疗做出有力贡献。

2能够同时分割MRI左心室、心肌和右心室，为接下来的临床诊疗提供了便利。

3采用对抗网络来实现分割。对抗网络分为分割器和鉴别器，两者交替训练，训练分割器使其能输出高精度的分割图，训练鉴别器是为了使分割图在像素级别更加接近ground truth。最终使得分割器在鉴别器的监督下输出高精度分割结果。

4在心脏这类软组织成像上MRI的成像效果要好于其他成像方式。因此，全自动的心脏MRI分割方法能够使得医生在短时间内获得精准的左心室，右心室和心肌的分割结果，这对于提升诊断效率，降低误诊率意义非凡。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为第一个实施例的方法流程图；

图2是本发明所构建的对抗网络分割器结构图；

图3是本发明所构建的对抗网络鉴别器结构图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

第一方面，本公开提供了基于对抗网络的心脏MRI分割方法；

如图1所示，基于对抗网络的心脏MRI分割方法，包括：

输入待分割的心脏MRI；

对输入的心脏MRI预处理；

将预处理后的心脏MRI输入到预先训练好的对抗网络的分割器中；

分割器完成心室结构分割，输出左心室、右心室和心肌分割结果。

作为一个或多个实施例，所述预处理，包括：

逐帧提取待分割的心脏MRI三维数据，将三维数据转化成若干二维图像数据；对于尺寸不一的二维图像，对其进行尺寸标准化，从而获得同等尺寸的二维图像数据；对于尺寸标准化后的二维图像数据，对其进行图像旋转以扩充数据集，从而避免过拟合；对于扩充后的图像，对其进行灰度值标准化操作。

应理解的，在临床上，医生计算心功能指数以评定患者的心脏功能。因此，医生需要心脏收缩末期和舒张末期的数据来实施分割。

作为一个或多个实施例，舒张末期与收缩末期心脏MRI是三维数据，为nifty格式数据。在Python3.5的环境下导入NiBabel数据包来进行读取，之后再对已读取的格式数据逐帧切片，进而将三维数据转化为二维数据。

应理解的，在临床上因MRI采集设备不同会导致MRI数据的尺寸大小不一。神经网络训练需要大量时间。为提高训练速率，本实例采用batch的方法将数据输入进神经网络。因此，需要将心脏MRI数据尺寸标准化，以统一数据尺寸。

本方法采用Z-SCORE方法来对图像进行灰度值标准化。通过灰度值标准化，将会在保留有灰度差异的情况下减少计算量，进而优化训练速率。

作为一个或多个实施例，所述对抗网络包括分割器与鉴别器。

作为一个或多个实施例，所述分割器结构，包括：

依次连接的第一输入层，第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、第五池化层、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五反卷积层、第六卷积层，第一输出层。

其中，所述第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、第五池化层为分割器的下采样通道；

其中，所述第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五反卷积层为分割器的上采样通道。

其中，所述第六卷积层为主分类器。

作为一个或多个实施例，所述鉴别器结构，包括：

依次连接的第二输入层，第七卷积层，第七池化层、第八卷积层、第八池化层、第九卷积层、第九池化层、第十卷积层、第十池化层、第十一卷积层、第十一池化层、第六反卷积层、第七反卷积层、第八反卷积层、第十二卷积层，第二输出层。

其中，所述第七卷积层，第七池化层、第八卷积层、第八池化层、第九卷积层、第九池化层、第十卷积层、第十池化层、第十一卷积层和第十一池化层为鉴别器的下采样通道；

其中，所述第六反卷积层、第七反卷积层和第八反卷积层为鉴别器的上采样通道。

其中，所述第十二卷积层为主分类器，在像素级别上分辨出分割结果。

作为一个或多个实施例，所述分割器的工作原理，包括：

分割器：第一输入层，接收预处理后的待分割的心脏MRI，并将接收的图像送入第一卷积层进行卷积处理，然后第一卷积层的输出值送入第一池化层进行池化操作，得到第一特征图；

第一池化操作的输出值第一特征图，送入第二卷积层进行卷积处理，然后第二卷积层的输出值送入第二池化层进行池化操作，得到第二特征图；

第二池化操作的输出值第二特征图，送入第三卷积层进行卷积处理，然后第三卷积层的输出值送入第三池化层进行池化操作，得到第三特征图；

第三池化操作的输出值第三特征图，送入第四卷积层进行卷积处理，然后第四卷积层的输出值送入第四池化层进行池化操作，得到第四特征图；

第四池化操作的输出值第四特征图，送入第五卷积层进行卷积处理，然后第五卷积层的输出值送入第五池化层进行池化操作，得到第五特征图；

第五池化操作的输出值第五特征图，送入第一反卷积层进行反卷积处理，以扩大特征图尺寸；将第一反卷积层处理得到的第六特征图与第四池化层输出的第四特征图进行融合，得到第一融合特征图；

第二反卷积层对第一反卷积层输出值进行反卷积处理，即对第一融合特征图进行反卷积处理；将第二反卷积层处理得到的第七特征图与第三池化层输出的第三特征图进行融合，得到第二融合特征图；

第三反卷积层对第二反卷积层输出值进行反卷积处理，即对第二融合特征图进行反卷积处理，得到第八特征图；

第四反卷积层对第二池化层输出的第二特征图进行反卷积处理，得到第九特征图；

第五反卷积层对第一池化层输出的第一特征图进行反卷积处理，得到第十特征图；

将第八、九和十特征图进行级联操作，得到第十一特征图；

第六卷积层，对第十一特征图在进行卷积操作，实现对像素的分类，得到分割特征图，分为左心室、右心室、心肌和非目标对象四类；

将分割特征图与经过预处理的二维图像进行像素相乘，构造鉴别器的第一输入值。对标签groundtruth进行one-hot编码，之后再将标签ground truth与经过预处理的二维图像进行像素相乘，构造鉴别器的第二输入值。

作为一个或多个实施例，所述鉴别器的工作原理，包括：

第二输入层，接收构建好的鉴别器的第一输入值和第二输入值，并将第一输入值和第二输入值均送入第七卷积层进行卷积处理，然后第七卷积层的输出值送入第七池化层进行池化操作，得到第十二特征图；

将第十二特征图送入第八卷积层进行卷积处理，然后第八卷积层的输出值送入第八池化层进行池化操作，得到第十三特征图；

将第十三特征图送入第九卷积层进行卷积处理，然后第九卷积层的输出值送入第九池化层进行池化操作，得到第十四特征图；

将第十四特征图送入第十卷积层进行卷积处理，然后第十卷积层的输出值送入第十池化层进行池化操作，得到第十五特征图；

将第十五特征图送入第十一卷积层进行卷积处理，然后第十一卷积层的输出值送入第十一池化层进行池化操作，得到第十六特征图；

将第十六特征图，送入第六反卷积层进行反卷积处理，以扩大特征图尺寸；将第六反卷积层处理得到的第十七特征图与第十池化层输出的第十五特征图进行融合，得到第三融合特征图；

第七反卷积层对第六反卷积层输出值进行反卷积处理，即对第三融合特征图进行反卷积处理；将反卷积层处理得到的第十八特征图与第九池化层输出的第十四特征图进行融合，得到第四融合特征图；

第八反卷积层对第七反卷积层输出值进行反卷积处理，即对第四融合特征图进行反卷积处理，得到第十九特征图；

第十二卷积层对第十九特征图进行卷积操作，对卷积操作后的第十九特征图进行argmax操作，鉴别器输出置信度图；

置信度图在像素级别上指出分割特征图的区域标签，之后通过反向传播，分割器更新参数。

经过训练，分割器产生鉴别器无法鉴别真假的分割结果，此时对分割特征图进行argmax操作，即可得到真、假两类分割结果。

作为一个或多个实施例，所述对抗网络的分割器的训练步骤，包括：

构建训练集，所述训练集，包括：若干个预处理后的心脏核磁共振图像，每个预处理后的心脏核磁共振图像均有医学影像专家手动标注的心脏左心室、右心室和心肌图像；

将训练集输入到对抗网络中，对分割器与鉴别器分别进行训练。

鉴别器损失函数如下：

其中，X_m代表经过预处理的心脏MRI图像，S(A)代表分割特征图，D(A,B)代表鉴别器所产生的的置信度图，Y_0.0为鉴别其输入一所产生的置信度图的ground truth。Y_1.0为鉴别其输入二所产生的置信度图的ground truth。L_mce表示多类交叉熵。

分割器损失函数如下：

其中，X_m代表经过预处理的心脏MRI图像，Y_m表示分割ground truth。S(A)代表分割特征图，D(A,B)代表鉴别器所产生的的置信度图，Y_1.0为置信度图ground truth，用于引导S(X_m)逼近于groundtruth。L_mce表示多类交叉熵。λ为超参数。

在训练时，首先以λ＝0.1单独训练分割器50个epoch，之后以λ＝1交替训练分割器与鉴别器。训练分割器时只更新分割器参数，同理，训练鉴别器时只更新鉴别器参数。最终，鉴别器在像素级别上将分割特征图认为是ground truth，此时训练完成，此时可认为分割器输出的分割结果等于ground truth以至于鉴别器无法鉴别真假。可对分割器所产生的分割特征图进行argmax操作，得到正确分割结果。

在对抗网络中，分割器与鉴别器交替训练。训练鉴别器是为了提升其鉴别能力，使其能够有效分辨出ground truth与分割特征图。训练分割器是为了提升其分割能力，使其能够输出接近于groundtruth的分割特征图。经过对抗训练，分割器会输出足够接近与ground truth的分割结果，使得鉴别器鉴别不出真伪。此时，训练完成。

因为心脏MRI会产生灰度分布不均，图像内容复杂，出现伪影等问题，运用传统的卷积神经网络会产生计算量大，特征应用不够充分等情况。针对MRI，本专利构建了一种改良版全卷积神经网络用作对抗网络分割器，这种分割器结构能够同时分割左心室、右心室和心肌。

在经过多层卷积层与池化层之后，特征图会越来越小。通过上采样通道扩张特征图尺寸，能够实现特征图的融合，进而更加充分地利用多层上下文信息。

经过下采样通道的特征图有可能会随着多层最大池化滤掉有用的特征。为了能够得到精确度更高的分割结果，本方法利用了神经网络多层特征，在分割器上采样通道之后添加了跳跃连接。跳跃连接使得神经网络在训练的过程中能够最大限度利用到多层上下文特征，以获得精确结果。在神经网络中低层次特征主要能代表轮廓等特征，高层次特征主要代表目标区域特有特征。本方法通过跳跃连接，复用多层信息，从而能够获得高精度分割结果。本专利所应用的跳跃连接是对第一层，第二层的输出进行反卷积操作，使它们能够获得与输入图像等大的尺寸，之后将它们与上采样通道的输出级联，得到新的特征图。这种级联会保留特征图的原有通道数，因此能够包含多层图像信息。

在上采样之后，分割器与鉴别器会将上采样通道的输出进行1×1的卷积，此卷积操作为主分类器，能够精炼输入特征图，对其起到像素分类的效果。之后再将此卷积层的输出进行argmax操作，便可以得到分割图或置信度图。分割器结构如图2所示，鉴别器结构如图3所示。

实施例二，本实施例还提供了基于对抗网络的心脏MRI分割系统；

基于对抗网络的心脏MRI分割系统，包括：

输入模块，其被配置为输入待分割的心脏MRI；

预处理模块，其被配置为对输入的心脏MRI预处理；

分割模块，其被配置为：将预处理后的心脏MRI输入到预先训练好的对抗网络的分割器中；分割器完成心室结构分割，输出左心室、右心室和心肌分割结果。

本发明采用Dice系数和霍斯多夫距离来评价测试数据分割效果,具体结果如下：

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.基于对抗网络的心脏MRI分割方法，其特征是，包括：

输入待分割的心脏MRI；

对输入的心脏MRI预处理；

将预处理后的心脏MRI输入到对抗网络的分割器中；

所述分割器的工作原理，包括：

分割器：第一输入层，接收预处理后的待分割的心脏MRI，并将接收的图像送入第一卷积层进行卷积处理，然后第一卷积层的输出值送入第一池化层进行池化操作，得到第一特征图；

第一池化操作的输出值第一特征图，送入第二卷积层进行卷积处理，然后第二卷积层的输出值送入第二池化层进行池化操作，得到第二特征图；

第二池化操作的输出值第二特征图，送入第三卷积层进行卷积处理，然后第三卷积层的输出值送入第三池化层进行池化操作，得到第三特征图；

第三池化操作的输出值第三特征图，送入第四卷积层进行卷积处理，然后第四卷积层的输出值送入第四池化层进行池化操作，得到第四特征图；

第四池化操作的输出值第四特征图，送入第五卷积层进行卷积处理，然后第五卷积层的输出值送入第五池化层进行池化操作，得到第五特征图；

第五池化操作的输出值第五特征图，送入第一反卷积层进行反卷积处理，以扩大特征图尺寸；将第一反卷积层处理得到的第六特征图与第四池化层输出的第四特征图进行融合，得到第一融合特征图；

第二反卷积层对第一反卷积层输出值进行反卷积处理，即对第一融合特征图进行反卷积处理；将第二反卷积层处理得到的第七特征图与第三池化层输出的第三特征图进行融合，得到第二融合特征图；

第三反卷积层对第二反卷积层输出值进行反卷积处理，即对第二融合特征图进行反卷积处理，得到第八特征图；

第四反卷积层对第二池化层输出的第二特征图进行反卷积处理，得到第九特征图；

第五反卷积层对第一池化层输出的第一特征图进行反卷积处理，得到第十特征图；

将第八、九和十特征图进行级联操作，得到第十一特征图；

第六卷积层，对第十一特征图在进行卷积操作，实现对像素的分类，得到分割特征图，分为左心室、右心室、心肌和非目标对象四类；

将分割特征图与经过预处理的二维图像进行像素相乘，构造鉴别器的第一输入值；对标签ground truth进行one-hot编码，之后再将标签ground truth与经过预处理的二维图像进行像素相乘，构造鉴别器的第二输入值。

2.如权利要求1所述的方法，其特征是，所述对抗网络包括分割器与鉴别器。

3.如权利要求2所述的方法，其特征是，所述分割器结构，包括：

依次连接的第一输入层，第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、第五池化层、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五反卷积层、第六卷积层，第一输出层；

其中，所述第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、第五池化层为分割器的下采样通道；

其中，所述第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五反卷积层为分割器的上采样通道；

其中，所述第六卷积层为主分类器。

4.如权利要求2所述的方法，其特征是，所述鉴别器结构，包括：

依次连接的第二输入层，第七卷积层，第七池化层、第八卷积层、第八池化层、第九卷积层、第九池化层、第十卷积层、第十池化层、第十一卷积层、第十一池化层、第六反卷积层、第七反卷积层、第八反卷积层、第十二卷积层，第二输出层；

其中，所述第七卷积层，第七池化层、第八卷积层、第八池化层、第九卷积层、第九池化层、第十卷积层、第十池化层、第十一卷积层和第十一池化层为鉴别器的下采样通道；

其中，所述第六反卷积层、第七反卷积层和第八反卷积层为鉴别器的上采样通道；

其中，所述第十二卷积层为主分类器，在像素级别上分辨出分割结果。

5.如权利要求2所述的方法，其特征是，所述鉴别器的工作原理，包括：

第二输入层，接收构建好的鉴别器的第一输入值和第二输入值，并将第一输入值和第二输入值均送入第七卷积层进行卷积处理，然后第七卷积层的输出值送入第七池化层进行池化操作，得到第十二特征图；

将第十二特征图送入第八卷积层进行卷积处理，然后第八卷积层的输出值送入第八池化层进行池化操作，得到第十三特征图；

将第十三特征图送入第九卷积层进行卷积处理，然后第九卷积层的输出值送入第九池化层进行池化操作，得到第十四特征图；

将第十四特征图送入第十卷积层进行卷积处理，然后第十卷积层的输出值送入第十池化层进行池化操作，得到第十五特征图；

将第十五特征图送入第十一卷积层进行卷积处理，然后第十一卷积层的输出值送入第十一池化层进行池化操作，得到第十六特征图；

将第十六特征图，送入第六反卷积层进行反卷积处理，以扩大特征图尺寸；将第六反卷积层处理得到的第十七特征图与第十池化层输出的第十五特征图进行融合，得到第三融合特征图；

第七反卷积层对第六反卷积层输出值进行反卷积处理，即对第三融合特征图进行反卷积处理；将反卷积层处理得到的第十八特征图与第九池化层输出的第十四特征图进行融合，得到第四融合特征图；

第八反卷积层对第七反卷积层输出值进行反卷积处理，即对第四融合特征图进行反卷积处理，得到第十九特征图；

第十二卷积层对第十九特征图进行卷积操作，对卷积操作后的第十九特征图进行argmax操作，鉴别器输出置信度图；

置信度图在像素级别上指出分割特征图的区域标签，之后通过反向传播，分割器更新参数。

6.如权利要求2所述的方法，其特征是，所述对抗网络的训练步骤，包括：

构建训练集，所述训练集，包括：若干个预处理后的心脏核磁共振图像，每个预处理后的心脏核磁共振图像均有医学影像专家手动标注的心脏左心室、右心室和心肌图像；

将训练集输入到对抗网络中，对分割器与鉴别器分别进行训练；

训练分割器时只更新分割器参数，同理，训练鉴别器时只更新鉴别器参数；最终，鉴别器在像素级别上将分割特征图认为是ground truth，此时认为分割器输出的分割结果等于ground truth，以至于鉴别器无法鉴别真假，此时训练完成，对分割器所产生的分割特征图进行argmax操作，得到正确分割结果。

7.如权利要求1所述的基于对抗网络的心脏MRI分割方法的系统，其特征是，包括：

输入模块，其被配置为输入待分割的心脏MRI；

预处理模块，其被配置为对输入的心脏MRI预处理；

分割模块，其被配置为：将预处理后的心脏MRI输入到预先训练好的对抗网络的分割器中；

分割器完成心室结构分割，输出左心室、右心室和心肌分割结果。

Images