CN107578416B - 一种由粗到精级联深度网络的心脏左心室全自动分割方法 - Google Patents

Abstract

本发明公开了一种由粗到精级联深度网络的心脏左心室全自动分割方法，首先对训练数据进行预处理和数据增强，得到充足的训练数据。然后采用深度网络检测包含左心室的兴趣区域(ROI)，再从左心室ROI中利用深度网络实现左心室的精细分割。最后将从左心室ROI中分割的左心室映射到原始输入图像中。为了提高分割性能，本发明提出一种级联深度网络(CasNet)用于左心室ROI检测和左心室精细分割，该级联网络通过隐式增强训练数据并对分割结果逐步精细化，提高了左心室的分割准确率；同时，用于该级联网络的每一个网络单元相对比较简洁，避免了复杂网络中参数众多影响效率的弊端，保证了左心室分割的高效性。

Description

一种由粗到精级联深度网络的心脏左心室全自动分割方法

技术领域

本发明属于人工智能医学影像学分析技术领域，涉及一种心脏左心室全自动分割方法，尤其涉及一种用于左心室分割的深度级联网络和由粗到精的全自动分割方法。

背景技术

根据世界卫生组织(WHO,World Health Organization)的统计报告，心血管疾病(CVDs,Cardiovascular Diseases)是全球人口死亡的首要原因(文献1)。心血管疾病的快速智能诊断对个性化手术规划和术中导航至关重要(文献2)。左心室的快速准确分割是计算临床指标(例如心室容积、射血分数等)进而诊断和治疗心血管疾病的关键步骤(文献3)。但是，左心室的自动分割面临诸多挑战，例如由于血液流动引起的灰度不均匀性，顶端和基底图像分割的复杂性，基底切片左室流出道的存在等。过去几十年，形变模型(DeformableModel)在医学图像分割中应用较为广泛。在大多数情况下，形变模型能得到满意的分割结果，但是该模型需要大量的用户交互(文献4)。形变模型通常通过最小化能量函数来演化形变曲线，实现目标的分割，目标轮廓曲线的逐步优化比较耗时，不适用于实时性要求较高的应用，例如实时术中导航。此外，由于左心室分割过程中模糊边界、左室流出道等复杂情况的存在，采用形变模型容易造成边界泄露或过度收缩。

与形变模型相比，基于学习的分割模型能通过训练集自动调整模型的参数，不需要大量的用户交互。随着深度学习技术的快速发展，基于深度网络的智能医疗备受关注。起初有些研究者为了减少用户交互并提高模型的鲁棒性和准确性，尝试将形变模型和机器学习模型结合用于左心室分割。Ngo等(文献5)卷积神经网络预测左心室的先验形状，然后将该先验形状作为初始轮廓引入到水平集框架，以提高分割的准确性。类似地，Avendi等(文献6)采用自编码推断左心室形状并将其引入形变模型，获得了较好的分割结果。然而，即使深度学习方法能为形变模型提供较好的初始轮廓，形变模型自身的缺陷会导致无法解决左心室分割的难题，例如左室流出道的灰度与左心室周围组织极为相似，形变模型的演化曲线容易发生边界泄露而导致错误的分割结果。

深度学习模型能自动学习对象的层级特征(文献7)，这些特征不仅仅是灰度信息的表达，还可能包含目标形状、尺寸等信息。因此，深度学习模型可以通过训练数据学习到左心室形状特征，在处理左室流出道的存在等难题方面具有明显的优势。深度学习模型的分割性能取决于足够的训练数据以及高鲁棒的网络结构。然而，在医学影像分析领域，获取充足的训练数据是非常复杂、耗时和昂贵的工作。如何充分利用有限的训练数据训练得到鲁棒的深度学习模型在医学影像分析领域尤为重要。此外，好的分割结果往往依赖于复杂的深度学习模型，但是模型越复杂，实时性就越差。建立准确高效的深度学习模型是提高左心室全自动分割方法应用价值的关键。

相关文献：

【文献1】W.H.organization(WHO),“Cardiovascular diseases(cvds),”http://www.who.int/mediacentre/factsheets/fs317/en/.

【文献2】L.Chin,J.N.Andersen,and P.A.Futreal,“Cancer genomics:fromdiscovery science to personalized medicine,”Nature medicine,vol.17,no.3,pp.297-303,2011.

【文献3】M.Avendi,A.Kheradvar,and H.Jafarkhani,“A combined deep-learningand deformable-model approach to fully automatic segmentation oftheleft ventricle in cardiac mri,”Medical image analysis,vol.30,pp.108-119,2016.

【文献4】C.Petitjean and J.-N.Dacher,“A review of segmentation methodsinshort axis cardiac mr images,”Medical image analysis,vol.15,no.2,pp.169-184,2011.

【文献5】T.Anh Ngo and G.Carneiro,“Fully automated non-rigidsegmentationwith distance regularized level set evolution initialized andconstrainedby deep-structured inference,”in Proceedings of the IEEEConferenceon Computer Vision and Pattern Recognition,2014,pp.3118-3125.

【文献6】M.Avendi,A.Kheradvar,and H.Jafarkhani,“A combined deep-learningand deformable-model approach to fully automatic segmentation oftheleft ventricle in cardiac mri,”Medical image analysis,vol.30,pp.108-119,2016.

【文献7】Y.LeCun,Y.Bengio,and G.Hinton,“Deep learning,”Nature,vol.521,no.7553,pp.436-444,2015.

发明内容

针对左心室全自动分割面临的问题本身复杂和模型缺乏高效鲁棒的挑战。本发明以深度学习为基础，提出了一种由粗到精(coarse-to-fine)的心脏左心室全自动分割方法，为了在提高分割准确率的同时保证分割效率，提出了一种级联深度网络(CasNet)。此外，为了提高模型的鲁棒性，提出采用一种简洁有效的数据增强策略获取大量训练集。

本发明所采用的技术方案是：一种由粗到精级联深度网络的心脏左心室全自动分割方法，其特征在于，包括以下步骤：

步骤1：基于原始输入图像I₀以及医学影像专家手动标注的原始图像I₀上左心室轮廓的像素点坐标集合S，构建用于左心室分割的兴趣区域ROI检测训练集A₀和从ROI中分割左心室的左心室分割训练集B₀；

步骤2：对训练集A₀和训练集B₀进行数据增强，获取至少数百倍于原始数据集的训练集，记数据增强后ROI检测训练集为A，左心室分割训练集为B；

步骤3：采用训练集A训练用于检测ROI的深度神经网络Net₁，采用训练好的Net₁预测左心室的中心坐标(x₀,y₀)，根据(x₀,y₀)分割包含左心室的ROI的图像，即左心室ROI图像I_ROI；

步骤4：采用训练集B训练用于从ROI中分割左心室的深度神经网络Net₂，采用训练好的Net₂分割左心室，根据Net₁预测得到的左心室的中心坐标(x₀,y₀)将分割的左心室映射到原始图像得到最终的分割结果。

本发明提出了一种采用级联深度网络由粗到精的全自动分割心脏左心室的方法，该方法采用由粗到精的策略，首先检测包含左心室的ROI，避免了周围组织的影响，有助于提高分割性能。本发明提出的级联深度网络CasNet借鉴传统分割模型通过逐步优化实现目标分割的思想，级联多个小尺寸网络单元，后续网络单元对前面网络单元的分割结果进行精细化，既提高了左心室分割的精度，又在训练过程中将前面网络单元的输出作为后续网络单元的输入，隐式地增强了训练数据，提高了网络的鲁棒性。此外，CasNet的每一个网络单元相对比较简洁，避免了复杂网络结构参数众多影响分割效率的弊端。

附图说明

图1是本发明实施例的流程图；

图2是本发明实施例中以卷积神经网络(CNN)为单元网络实现的CasNet网络结构的示意图；

图3是本发明实施例中提出的CasNet2网络与其单元网络CNN在不同规模的训练集上训练所得网络，用于左心室内膜分割的结果对比图；

图4是本发明实施例中CasNet2及CasNet3与单元网络CNN及Avendi et al.的工作用于左心室内膜分割的结果对比图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种由粗到精级联深度网络的心脏左心室全自动分割方法，包括以下步骤：

步骤1：步骤1：基于原始输入图像I₀以及医学影像专家手动标注的原始图像I₀上左心室轮廓的像素点坐标集合S，构建用于左心室分割的兴趣区域ROI检测训练集A₀和从ROI中分割左心室的左心室分割训练集B₀；

设I₀的大小为m₀×n₀，左心室的中心坐标为(x_m,y_m)。构造用于左心室分割的兴趣区域(ROI,interest of region)检测训练集A₀，A₀的输入为I₀，标签为Y₀。Y₀的大小为m₀×n₀，在Y₀中以(x_m,y_m)为中心，m和n为长和宽的长方形Q(包含左心室的ROI，该实施例中m＝n，即Q为正方形)内部像素灰度值为1，外部像素灰度值为0，即：

其中，∈表示元素属于集合，∩表示集合的交集，-表示集合的差集。

构建用于从ROI中分割左心室的训练集B₀，I₀为训练集B₀的输入，设其相应的标签为Y₁，则Y₁的大小为m₀×n₀；根据I₀上左心室轮廓的像素点坐标集合S设计Y₁，设左心室轮廓的像素点坐标集合在I₀上形成的多边形区域为R，则：

其中，∈表示元素属于集合，∩表示集合的交集，-表示集合的差集。

步骤2：对训练集A₀和训练集B₀进行数据增强，获取至少数百倍于原始数据集的训练集，记数据增强后ROI检测训练集为A，左心室分割训练集为B；

首先，将原始输入图像I₀旋转α(α的单位为度)，旋转后的图像I₁＝R(I₀,α)，R表示旋转操作。设大小为m_w×n_w的窗口W，然后采用W在I₁的方向ρ上以步长d进行平移，得到平移后的图像I₂＝T(R(I₀,α),ρ,d)。最后裁剪I₂中窗口W内的部分作为训练集的输入。采用上述方法以相同的方式处理训练集的输入与相应的输出。最终获取至少数百倍于原始数据集的训练集，设训练集B中图像的大小为m_b×n_b，该实施例中m_b＝n_b＝m，m为训练集A的输出中表示左心室ROI的正方形Q的边长。

步骤3：采用训练集A训练用于检测ROI的深度神经网络Net₁，采用训练好的Net₁预测左心室的中心坐标(x₀,y₀)，根据(x₀,y₀)分割包含左心室的ROI的图像，即左心室ROI图像I_ROI；

采用图1中的级联深度网络CasNet在训练集A上训练得到用于检测左心室ROI的网络Net₁。通过训练好的Net₁预测得到原始输入图像I₀对应的输出P₁。设P₁中像素灰度值为1的像素点坐标(x_i,y_j)的集合为S₁，左心室的中心坐标为(x_m,y_m)，其中x_m为S₁中所有x_i元素的均值，y_m为S₁中所有y_j元素的均值。以(x_m,y_m)为中心，边长为m的正方形窗口Q从原始输入图像I₀中裁剪出包含左心室ROI的图像I_ROI。

步骤4：采用训练集B训练用于从ROI中分割左心室的深度神经网络Net₂，采用训练好的Net₂分割左心室，根据Net₁预测得到的左心室的中心坐标(x₀,y₀)将分割的左心室通过映射到原始图像得到最终的分割结果；

采用图1中的级联深度网络CasNet在训练集B上训练得到用于分割左心室的网络Net₂。通过训练好的Net₂从I_ROI中分割左心室得到P₂。构造大小为m₀×n₀(m₀×n₀为步骤3中原始输入图像I₀的大小)的矩阵Z，Z中以(x_m,y_m)为中心，边长为m的正方形窗口内的像素灰度值与P₂相应位置的像素灰度值相同，其余像素灰度值均为0，Z即为原始输入图像I₀的最终分割结果。

请见图2，以卷积神经网络(CNN，Convolution Neural Network)为例，图1中的级联深度网络CasNet具有以下特点：

(1)传统分割模型(例如形变模型)通常采用迭代的方式对分割结果进行优化，本发明的CasNet借鉴这种逐步优化的思想建立级联深度网络，级联n个相对简洁的网络单元对左心室的分割结果进行逐步精细化，以实现分割性能的逐步提高；

(2)CasNet级联n个小尺寸卷积神经网络单元，第i个网络单元为CNN_i(i＝1,2,…,n)。CasNet中CNN_i的网络结构可以与CNN_j不相同，其中i≠j。此处，本实施例采用相同的卷积神经网络单元，即每一个单元的结构为：共7层，每个卷积层(Convolution)后为最大池化层(Max Pooling)，最后是全连接(Fully Connected)层。

(3)为了实现分割结果的逐步精细化，本发明将前面单元网络的预测结果与输入图像同时作为后一个单元网络的输入。设CasNet中的第i个网络单元CNN_i的输入和输出分别为x_i、p_i，在该实施例中，将CNN_i-1的输出p_i-1与原始输入图像I作为CNN_i的输入，即

x_i＝[I,p_i-1] (3)

其中，“[]”表示集合，i＝1,2,…,n。

(4)在CasNet网络中，每一个网络单元的标签均相同。设其第i个网络单元CNN_i的标签为y_i(i＝1,2,…,n)，则有

y₁＝y₂＝,…,＝y_n＝y (4)

其中，y为由医学影像专家标注的左心室分割的真实数据。

在训练过程中，计算每一个单元网络前向传播(Forward Propagation)的预测结果与标签之间的误差，通过反向传播(Backward Propagation)对每个单元网络的参数进行更新。

步骤3中的深度神经网络Net₁与步骤4中的深度神经网络Net₂可以具有不同数目的单元网络，并且单元网络的结构可以不同。

以下通过实验验证本发明方法的准确性和高效性。

通过在公开数据集MICCAI 2009数据库(P.Radau,Y.Lu,K.Connelly,G.Paul,A.Dick,and G.Wright,“Evaluation framework for algorithms segmenting shortaxis cardiacmri,”The MIDAS Journal-Cardiac MR Left VentricleSegmentationChallenge,vol.49,2009.)上分割左心室内膜验证本发明方法的准确性和高效性。MICCAI 2009数据库包含训练集(Training)和测试集(Validation、Online)，并且该数据集中包含由医学影像专家手动分割的左心室内膜轮廓，作为真实轮廓。分割准确率的评价指标为：1)好轮廓的百分比(GC,Good Contours)，2)平均垂直距离(APD，AveragePerpendicular Distance)，3)Dice Metric值(DM)，4)一致性系数(CC,ConformityCoefficient)。APD用于评估自动分割轮廓到真实轮廓之间的距离，是所有轮廓点距离的平均，APD越大说明自动分割结果越不理想。APD小于5mm的轮廓为好轮廓。DM用于评估自动分割A_a和真实轮廓A_m的覆盖情况，DM＝2A_m/(A_a+A_a)，DM越大说明分割结果越好。CC测量误分割像素数与正确分割像素数的比例，CC＝3(DM-2)/DM。该实例

见图3，将本发明级联两次(即由两个单元网络组成)的CasNet2与其单元网络——卷积神经网络(CNN)在不同规模的训练集上进行训练，对比其在测试集上的分割性能。横坐标表示采用步骤2中所述的数据增强方法将初始训练数据进行不同量级的增强，从左到右依次为增强10倍、40倍、60倍、120倍、240倍。左纵坐标轴为分割好轮廓的百分比，右坐标轴为APD值。实线表示CNN的结果，虚线表示CasNet的结果。从图2可以看出，通过所有训练集训练所得CasNet2所得的分割结果均比CNN好。尤其是，由小训练集训练所得CasNet2的分割性能甚至好于由某些大训练集训练所得的CNN的性能。由此可以看出，本发明将前面网络的输出连同原始输入作为后面网络的输入，在某种程度上相当于隐式的增加了训练数据的数量。

见图4，将本发明级联两次的CasNet2及级联3次的CasNet3与CNN及Avendi et al.(M.Avendi,A.Kheradvar,and H.Jafarkhani,“A combined deep-learninganddeformable-model approach to fully automatic segmentation of theleftventricle in cardiac mri,”Medical image analysis,vol.30,pp.108-119,2016.)的工作进行对比。此处采用增强了240倍的训练集来训练CNN、CasNet2和CasNet3。由图4可以看出，本发明的CasNet2与CasNet3对左心室内膜的分割在4个准确率评估指标上的性能均好于CNN和Avendi et al.，并且CasNet3的分割准确率高于CasNet2。因此，随着级联网络单元数目的增多，本发明的网络性能会逐步提高。此外，图4展示了以上四种方法的分割效率，Avendi et al.的方法远远达不到25FPS(Frames Per Second)的帧率，不能满足实时性要求比较高的应用。虽然CNN的帧率高达50多帧，但其准确率不高。本发明的CasNet2的帧率为30多帧，CasNet3的帧率高于25帧，能够满足实时性的要求。

综上所述，本发明通过级联多个小尺寸网络，将前面网络单元的输出同原始输入同时作为后面网络单元的输入，该方法在充分利用训练数据蕴含的有效特征提高左心室分割准确率的同时，能有效地避免训练复杂网络结构，提高了分割的效率。因此，本发明的方法能够在提高左心室分割准确率的同时保证分割的效率。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (3)

1.一种由粗到精级联深度网络的心脏左心室全自动分割方法，其特征在于，包括以下步骤：

步骤1：基于原始输入图像I₀以及医学影像专家手动标注的原始图像I₀上左心室轮廓的像素点坐标集合S，构建用于左心室分割的兴趣区域ROI检测训练集A₀和从ROI中分割左心室的左心室分割训练集B₀；

设I₀的大小为m₀×n₀，左心室的中心坐标为(x_m,y_m)，构建用于左心室分割的兴趣区域ROI检测训练集A₀，A₀的输入为I₀，标签为Y₀，Y₀的大小为m₀×n₀，在Y₀中以(x_m,y_m)为中心，m和n为长和宽的长方形Q内部像素灰度值为1，外部像素灰度值为0，即：

其中，∈表示元素属于集合，∩表示集合的交集，-表示集合的差集；

构建用于从ROI中分割左心室的训练集B₀，I₀为训练集B₀的输入，设其相应的标签为Y₁，则Y₁的大小为m₀×n₀；根据I₀上左心室轮廓的像素点坐标集合S设计Y₁，设左心室轮廓的像素点坐标集合在I₀上形成的多边形区域为D，则：

步骤2：对训练集A₀和训练集B₀进行数据增强，获取至少数百倍于原始数据集的训练集，记数据增强后ROI检测训练集为A，左心室分割训练集为B；

步骤2的具体实现包括以下子步骤：

步骤2.1：将原始输入图像I₀旋转α度，获得旋转后的图像I₁＝R(I₀,α)，R表示旋转操作；

步骤2.2：设大小为m_w×n_w的窗口W，采用W在I₁的方向ρ上以步长d进行平移，获得平移后的图像I₂＝T(R(I₀,α),ρ,d)，T表示平移操作；

步骤2.3：裁剪I₂中窗口W内的部分作为训练集A₀和训练集B₀的输入，最终获取至少数百倍于原始数据集的训练集；

步骤3：采用训练集A训练用于检测ROI的深度神经网络Net₁，采用训练好的Net₁预测左心室的中心坐标(x₀,y₀)，根据(x₀,y₀)分割包含左心室的ROI的图像，即左心室ROI图像I_ROI；

步骤3中，通过训练好的Net₁预测得到原始输入图像I₀对应的输出P₁，设P₁中像素值为1的像素点坐标(x_i,y_j)的集合为S₁，左心室的中心坐标为(x_m,y_m)，其中x_m为S₁中所有x_i元素的均值，y_m为S₁中所有y_j元素的均值；以(x_m,y_m)为中心，采用长方形窗口Q从原始输入图像I₀中裁剪出包含左心室ROI的图像I_ROI，其中Q长和宽分别为m和n；

步骤4：采用训练集B训练用于从ROI中分割左心室的深度神经网络Net₂，采用训练好的Net₂分割左心室，根据Net₁预测得到的左心室的中心坐标(x_m,y_m)将分割的左心室映射到原始图像得到最终的分割结果；

步骤4中，通过训练好的Net₂从I_ROI中分割左心室得到P₂，构造大小为m₀×n₀的矩阵Z，Z中以(x_m,y_m)为中心，长和宽分别为m和n的长方形窗口内的像素灰度值与P₂相应位置的像素灰度值相同，其余像素灰度值均为0，Z即为原始输入图像I₀的最终分割结果；其中m₀×n₀为I₀的大小。

2.根据权利要求1所述的由粗到精级联深度网络的心脏左心室全自动分割方法，其特征在于：步骤3中的深度神经网络Net₁和步骤4中的深度神经网络Net₂，具有下述级联网络CasNet结构：

(1)CasNet借鉴基于活动轮廓的分割模型通过逐步优化实现对象分割的思想，级联若干相对简洁的网络逐步精细化左心室的分割结果，以实现左心室分割性能的逐步提高；

(2)假设CasNet级联t个小尺寸网络单元，第k个网络单元为net_k，k＝1,2,…t，CasNet中net_k的网络结构可以与net_l不相同，其中k≠l；

(3)设CasNet中的第k个网络单元net_k的输入和输出分别为x_k、p_k，CasNet的实现是将前面网络单元的输出与原始输入图像I₀作为第k个网络单元net_k的输入；

(4)对于CasNet的训练，每一个网络单元的标签均相同；设其第k个网络单元net_k的标签为y_k，k＝1,2,…t，则有y₁＝y₂＝…＝y_t＝y；其中，y为由医学影像专家标注的左心室分割的真实数据。

3.根据权利要求2所述的由粗到精级联深度网络的心脏左心室全自动分割方法，其特征在于：Net₁与Net₂具有相同或不同数目的单元网络，单元网络的结构相同或不同。

Images