CN110136157B - 一种基于深度学习的三维颈动脉超声图像血管壁分割方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的三维颈动脉超声图像血管壁分割方法，方法包括以下步骤：(1)获取三维超声图像；(2)获得颈动脉横切面的二维超声图像，并进行人工标记；(3)利用人工标记图像块动态微调卷积神经网络模型；(4)拟合血管外膜‑中膜边界初始轮廓；(5)利用动态调整后的卷积神经网络模型进行血管外膜‑中膜边界轮廓的分割；(6)获得血管腔ROI区域；(7)利用U‑Net网络分割血管腔，并通过形态学处理提取血管腔‑内膜边界轮廓。本方法能够精确分割出血管外膜‑中膜边界MAB和血管腔‑内膜边界LIB的轮廓，较大幅度减少医生的工作量，并可基于本方法的分割结果计算得到血管壁体积(VWV)、血管壁厚度(VWT)和血管壁厚度变化(VWT‑Change)。

Description

一种基于深度学习的三维颈动脉超声图像血管壁分割方法

技术领域

本发明属于计算机技术与医学图像的交叉领域，具体涉及到一种基于深度学习的三维颈动脉超声图像血管壁分割方法。

背景技术

在以往对血管斑块超声图像的研究中，大多数采用的是二维B超图像。内中膜厚度(IMT)是在临床上评价斑块时使用最广泛的指标，它是通过计算血管外膜-中膜边界(Media-Adventitia Boundary，MAB)和血管腔-内膜边界(Lumen-intima Boundary，LIB)之间的距离得到。近年来，三维超声提供了一种更高效、重复性更好、可靠性更高的血管斑块检测和分析手段，能够更可靠的分析斑块的组成、结构、形态等特性同时监测药物治疗对粥样硬化的影响。以颈动脉为例，有学者提出IMT对于预测脑血管事件的相关性比较差，斑块的三维特征能够更好的描述斑块的变化，包括：斑块总体积(TPV)，血管壁体积(VWV)，血管壁厚度(VWT)特征图，血管壁厚度变化(VWT-Change)特征图等。准确获取颈动脉的LIB和MAB能够提高斑块分割的精度，更准确的得到TPV值。而VWV、VWT和VWT-Change等指标的获取，是需要知道MAB和LIB的精确位置的。

然而，人工分割MAB和LIB的轮廓是非常费时的事情，且分割的准确度非常依赖操作者的医学知识背景和熟练程度。因此，MAB和LIB的自动分割算法是有重要意义的，而许多学者也开始研究生颈动脉内中膜的自动分割方法。Yang等人提出用主动轮廓模型(ASM)来分割三维超声图像的颈总动脉以观测药物治疗效果。Ukwatta等人采用基于水平集的方法对二维和三维颈动脉超声图像中血管LIB和MAB进行了分割。该方法要求操作者分别在LIB和MAB上标记若干点以及三维图像颈动脉血管的轴线。

以上这些颈动脉LIB和MAB分割方法主要存在两个缺点：第一，需要大量的人工参与，这非常耗时且依赖操作者的熟练程度。第二，ASM和水平集的方法都依赖于初始轮廓获取的准确程度。因此，这使得有一些学者开始研究使用深度学习的方法进行颈动脉血管壁分割(即，MAB和LIB分割)。Rosa-Maria等人提出了一种技术自动编解码机结构的最大学习机(ELM)算法分割二维颈动脉超声图像的颈总动脉的内中膜厚度(IMT)。但是，该方法只能适用于颈动脉粥样硬化的早期诊断。Shin等人用卷积神经网络(CNN)通过滑窗的方式分割颈动脉的内中膜。Azzopardi等人计算相位一致性图输入到CNN网络中分割颈动脉的MAB，但是该方法主要是用于二维超声图像，同时只能分割MAB。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度学习的三维颈动脉超声图像血管壁分割方法，其目的在于深度学习的方法对颈动脉的LIB和MAB进行半自动的分割，能够精确分割出LIB和MAB的轮廓，由此大幅度的减轻了医生的工作量，缩短了分割时间，同时，和以往方法相比减少了对初始化轮廓的依赖，且准确性更高、鲁棒性更好。基于本方法的分割结果计算得到的血管壁体积(VWV)、血管壁厚度(VWT)和血管壁厚度变化(VWT-Change)等指标能辅助医生分析病变程度及治疗效果。本发明一方面所需要人工标记点数量少，并且针对不同人工标记一致性好，另一方面，整个分割过程用时少。

为实现上述目的，按照本发明的一个方面，提供了一种基于深度学习的三维颈动脉超声图像血管壁分割方法，其特征在于，该方法能够得到颈动脉血管外膜-中膜边界MAB以及血管腔-内膜边界LIB，具体包括以下步骤：

(1)获取三维颈动脉超声图像；

(2)将三维超声体素图像切成若干二维的颈动脉横截面超声图像，以预先设定的距离为间隔，在间隔的颈动脉横切面二维超声图像的颈动脉MAB轮廓上人工标记若干个点，每个被人工标记的二维超声图像上标记点总数大于等于4；

(3)利用所述步骤(2)得到的被人工标记的二维超声图像及这些图像上的人工标记点，对每一个人工标记点，以该人工标记点为中心取一个大小满足预先设定条件的图像块作为正样本，再在该人工标记点的内侧和外侧各取一个大小满足预先设定条件的图像块同时作为负样本，由此得到基于所有人工标记点的正样本和负样本，然后利用这些正样本和负样本对已经训练好的卷积神经网络模型进行参数上的细节调整，得到动态调整后的卷积神经网络模型；

(4)针对所述步骤(2)得到的每个被人工标记的二维超声图像，利用其中的若干个人工标记点拟合得到该人工标记的二维超声图像上颈动脉血管MAB的初始轮廓；然后再利用这些人工标记的二维超声图像上MAB的初始轮廓，拟合得到没有人工标记切面图像中MAB的初始轮廓；这些没有人工标记切面图像中MAB的初始轮廓按位置插在相应所述人工标记的二维超声图像上MAB的初始轮廓之后，由此整体形成了MAB的初始三维轮廓；

(5)针对所述步骤(4)得到的所述MAB的初始三维轮廓，对每一副颈动脉的横切面图像，选择大小满足预先设定条件的方框，将方框中心沿着MAB的初始轮廓上任意一个点的法线方向在预先设定的法线长度范围内对外内两侧进行滑窗，得到针对该初始轮廓点的一系列的图像块；然后，将得到的图像块输入到所述步骤(3)中动态调整后的卷积神经网络模型中得到每个图像块是否为与该初始轮廓点相对应的MAB轮廓的概率输出值，其中概率输出值最高的图像其方框中心点即为与该初始轮廓点相对应的MAB轮廓；对MAB的初始轮廓上每个点重复操作，即可得到每一副颈动脉的横切面图像的MAB轮廓；

(6)根据所述步骤(5)中获得的MAB轮廓利用外接矩形得到颈动脉血管腔的感兴趣区域ROI区域；

(7)将所述步骤(6)得到的ROI区域输入到已训练好的改进的U-Net网络模型中最终得到分割二值图像，并通过形态学的方法最终得到LIB的轮廓；其中，所述改进的U-Net网络模型中，除最后一个卷积模块外前几个卷积模块都包含一个短跳跃连接，该短跳跃连接从卷积模块的输入直接连接到输出。

优选地，所述步骤(3)中，所述已经训练好的卷积神经网络模型，所采用的训练步骤如下：

(a)对训练数据集的图像，沿着金标准人工标记的血管MAB每个点的法线方向，取大小满足预先设定条件的图像块，作为卷积神经网络的训练样本；其中，每个图像块的中心均位于相应金标准人工标记点的法线方向上，正样本定义为图像块中心为金标准人工标记点的样本，负样本定义为图像块中心距金标准人工标记点的距离满足预先设定的长度范围内的样本；

优选的，所述大小满足预先设定条件的图像块为w×w的图像块，w满足0.1D～0.25D之间取值，其中D为训练集图像中血管的平均直径；所述负样本为图像块中心距金标准人工标记点的距离满足d到2d的样本，其中，d＝w/2；

(b)将步骤(a)中获取的样本输入到卷积神经网络中训练；所述卷积神经网络的结构包含三个卷积池化层、两个全连接层和一个Sigmoid层，其中，卷积核的大小均为3×3，三个卷积层包含卷积核个数分别为20、50、50，两个全连接层的神经单元节点数分别是512和256；

相应的，所述步骤(3)具体是：利用所述步骤(2)得到的被人工标记的二维超声图像及这些图像上的人工标记点，对每一个人工标记点，以该人工标记点为中心取一个w×w的图像块作为正样本，再在该人工标记点的内侧和外侧各取一个w×w的图像块同时作为负样本，所取负样本图像块与正样本图像块无重叠，由此得到基于所有人工标记点的正样本和负样本，然后利用这些正样本和负样本对已经训练好的卷积神经网络模型进行参数上的细节调整。

优选地，所述步骤(4)中：

所述拟合得到人工标记的二维超声图像上MAB的初始轮廓，具体是：针对所述步骤(2)得到的每个被人工标记的二维超声图像，利用其中的若干个人工标记点，使用三次样条差值对这些人工标记点进行拟合，从而拟合得到该人工标记的二维超声图像上颈动脉血管MAB的初始轮廓；

所述利用这些人工标记的二维超声图像上MAB的初始轮廓，拟合得到没有人工标记切面图像中MAB的初始轮廓，具体是：采用一致性匹配算法对相邻的两个人工标记二维超声图像上的MAB初始轮廓各个MAB轮廓点进行匹配，通过内插的方法得到MAB的初始三维轮廓；最后，再从该初始三维轮廓中提取出没有人工标记切面图像中MAB的初始轮廓；

所述步骤(2)中所述预先设定的距离为1mm到10mm，相应的，所述步骤(4)中相邻的两个人工标记二维超声图像之间的距离为1mm到10mm；优选的，所述步骤(2)中所述预先设定的距离为3mm～4mm。

优选地，所述步骤(7)中，所述改进的U-Net网络其结构包含编码结构和解码结构两部分；其中，

所述编码结构用于提取图像的特征，其包括4个卷积模块；前3个卷积模块均由两个堆叠的3×3卷积层、一个池化层和一个Drop-out层组成，所述Drop-out层用于随机的把部分神经元的输出设置为0；并且，这3个卷积模块中每一个卷积模块均设置有一个短跳跃连接；最后1个卷积模块是由两个堆叠的3×3卷积层和一个Drop-out层组成；

所述解码结构用于上采样，其包括与所述编码结构中前3个卷积模块相对应的3个上采样模块，每一个上采样模块均包括一个2×2的反卷积层、一个特征连接操作和两个堆叠的3×3卷积层；其中，所述特征连接操作用于将解码结构反卷积得到的特征与所述编码结构中对应的特征进行融合；在所述解码结构的末端，还包括与所述3个上采样模块相连的一个1×1的卷积层和一个Sigmoid层用于二分类；

优选的，所述编码结构中所述4个卷积模块的卷积核大小依次为32、64、128、256，所述解码结构中所述3个上采样模块中的卷积核数量与所述编码结构中前3个卷积模块的卷积核数量对应一致，为128、64、32，所述解码结构中所述1×1的卷积层的卷积核数目为2；所有卷积层的激活函数均为ReLU函数；并且，所述编码结构中每个卷积模块加入的Drop-out层参数分别为0.25、0.25、0.5、0.5，每一个池化层采用的是平均值池化方法，滤波器的大小为2×2，步长为2。

优选地，所述改进的U-Net网络中，对于所述编码结构中的前3个卷积模块，是将两个3×3的卷积层进行堆叠，并利用一个所述短跳跃连接，跳跃过这两个卷积层，从卷积模块的输入连接到输出；其中，记x为该卷积模块的输入，F(x)为两个堆叠的卷积层的输出，则该卷积模块的输出为H(x)＝F(x)+x，在训练过程中学习的F(x)将是残差函数H(x)-x。

优选地，所述步骤(7)中，所述已训练好的改进的U-Net网络模型，所采用的训练步骤如下：

对训练数据集的图像，根据金标准人工标记的LIB轮廓得到其外接矩形，上下左右各扩展预先设定的比例后，获取颈动脉血管的ROI区域的图像，将此图像作为训练U-Net网络模型的输入图像；根据金标准人工标记的LIB轮廓得到对应的ROI区域图像的二值标签图，将此图像作为训练U-Net网络模型的输出图像；

优选的，所述上下左右各扩展预先设定的比例，具体是，上下各扩展高度的10％，左右各扩展宽度的10％。

优选地，所述步骤(7)中，所述改进的U-Net网络模型所使用的损失函数满足：

其中，w(x,y)为预先计算的训练数据集图像中每个点的权重；p_l(x,y)(x,y)是改进的U-Net网络Sigmoid层输出的概率值；x,y在整数范围内取值；

预先计算的w(x,y)满足：

其中，M为训练数据集中图像数量，i表示其中的第i个图像，mask_i(x,y)表示第i个图像在点(x,y)的二值类别标签值。

优选地，所述步骤(2)中，每个被人工标记的二维超声图像上标记点总数优选为4个或8个。

优选地，所述步骤(5)中，所述大小满足预先设定条件的方框具体为w×w的方框；所述将方框中心沿着MAB的初始轮廓上任意一个点的法线方向在预先设定的法线长度范围内对外内两侧进行滑窗，具体是在2d的法线长度范围内对外内两侧进行滑窗，其中，d＝w/2。

通过本发明所构思的以上技术方案，与现有技术相比，本发明中基于深度学习的三维超声图像中颈动脉血管壁分割方法，在确定MAB边界时，将分割问题转化为分类问题，沿着初始轮廓点的法向进行滑窗获取图像块，并对获取的图像块采用动态调整后的训练卷积神经网络模型(即，训练好的动态卷积神经网络)进行分类，基于深度学习方法，得到每个图像块是否为血管MAB的概率。并且，在血管LIB分割中使用的深度学习方法是基于改进的U-Net卷积神经网络的网络结构，该改进的U-Net卷积神经网络通过设计短跳跃连接(short-cut)，可以有效地避免了过拟合现象。

本发明利用每一例三维颈动脉超声图像，根据人工标记点(这些人工标记点可以是医生辅助标记点)对已训练好的卷积神经网络模型进行动态的微调；利用微调使卷积神经网络模型能对不同的病人、不同超声机采集的图像进行动态的调整，使得分割结果具有更好的鲁棒性。本发明中每个切面上MAB的标记点最少可以只用4个，LIB不需要标记。基于本发明方法，构建初始轮廓时，所需要标记点数量少，针对不同人工标记一致性好，整个分割过程用时少。

本发明利用间隔预先设定的距离从三维超声图像中选取若干二维超声图像，然后在每张二维超声图像的颈动脉MAB轮廓上人工标记若干个点，这一预先设定的距离，即ISD，可以1mm到10mm，更优选为3mm～4mm，在满足分割结果准确度的情况下，需要较少的人工操作，有效地减少了医生的工作量，使得在临床应用成为可能。

本发明还通过对卷积神经网络中卷积核的大小、卷积层所包含卷积核个数、全连接层的神经单元节点数进行优选控制，减少了计算量，使得动态微调卷积神经网络模型的时间花费较少，有效提高了模型预测的准确性。

本发明中，三维颈动脉超声图像中血管壁分割包括颈动脉MAB分割和LIB分割，除了采用动态卷积神经网络外，还采用了改进的U-Net网络。本发明还通过对U-Net网络结构进行优选改进，在设置短跳跃连接(short-cut)的基础上，还可增加Drop-out层，能够有效的避免训练过程中的过拟合现象；同时，减少了U-Net网络的层数并对参数进行优选控制，减少了计算量及训练和预测时间。

本发明还通过对U-Net网络模型所使用的损失函数进行优先设计，是为了保证血管区域能正确分类，在传统交叉熵的损失函数基础上做了修改，对每个点计算了是血管腔区域概率分布，并作为权值对损失函数进行加权，能够更准确的定位血管腔区域，减少错误分割区域，提高了LIB分割的准确度。

总体而言，本发明具有下述特点与优势：

(1)采用三维超声图像来提取血管斑块的特征，相比从二维B超图像提取的纹理特征具有更客观丰富的信息，同时，不受采集者主观因素的影响，具有更好的重复性和鲁棒性。

(2)首次采用深度学习的方法同时实现了三维超声图像的颈动脉血管LIB和MAB分割。

(3)在三维颈动脉超声图像中血管MAB分割时，提出了一种动态地训练卷积神经网络的方法。

(4)在三维颈动脉超声图像中血管LIB分割时，对传统的U-Net网络中的卷积模块进行了改进，加入了短跳跃连接，提高了分割的准确度。

(5)该方法的计算速度比传统方法更快，特别是大幅度的减少了人工参与的程度。

附图说明

图1为以颈动脉为例，本发明中三维超声图像中颈动脉血管壁分割方法的流程示意图。

图2为三维颈动脉超声图像MAB初始化过程示意图；图2中的(a)为对颈动脉超声二维图像中的MAB轮廓进行人工标记的示意图；图2中的(b)为对人工标记点进行拟合得到有标记图像中颈动脉血管MAB的初始轮廓示意图；图2中的(c)为采用一致性匹配算法对相邻标记帧的两个MAB轮廓点进行匹配并通过内插的方法得到MAB的初始三维轮廓示意图。

图3为三维颈动脉超声图像MAB分割所使用卷积神经网络结构示意图。

图4为三维颈动脉超声图像LIB分割所使用改进的U-Net网络结构示意图。

图5为三维颈动脉超声图像LIB分割所使用的改进U-Net网络中卷积模块结构示意图。

图6为医生标记的金标准血管壁轮廓与本发明三维超声图像中血管壁分割方法得到的轮廓的比较图。

图7为医生标记获取的VWV值与本发明三维超声图像中血管壁分割方法得到的VWV值之间的相关性图。

图8为医生标记获取的VWV值与本发明三维超声图像中血管壁分割方法得到的VWV值的Bland-Altman曲线。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例1

本发明中基于深度学习的三维超声图像中颈动脉血管壁分割方法，如图1所示，包括以下步骤：

(1)获取三维颈动脉超声图像。本发明实际的三维颈动脉超声图像来源于临床，分别对38例颈动脉狭隘超过60％的病人的左右两侧颈动脉进行三维超声采集，共获取了144例三维颈动脉超声图像。

(2)将三维超声体图像切成若干二维的颈动脉横截面超声图像，每间隔三帧图像提取一个颈动脉横断面二维超声图像(此时ISD为4个切面，本发明中两个切面图像间距离为0.1cm)，在该二维超声图像的颈动脉MAB轮廓上人工标记4个点，如图2中的(a)所示。每个被人工标记的二维超声图像上标记点总数可以相同，也可以不同，一般可尽可能用最少的数目(即4个点)，本实施例就是采用了这种设置。

(3)三维颈动脉超声图像中颈动脉血管MAB分割时，针对每一个三维颈动脉图像利用动态地训练的卷积网络进行分割，具体包括以下步骤：(a)对训练数据集的图像，沿着每个金标准标记点(如医生标记的血管MAB的每个点)的法向，取规定大小(w×w)的图像块，作为卷积神经网络的训练样本。其中，正样本定义为医生标记点在图像块的中心的样本，负样本定义为图像块中心距离标记点d到2d之间的样本，其中，d＝w/2。(b)将(a)中获取的样本输入到卷积神经网络中训练。卷积神经网络的结构如图3所示，包含：三个卷积池化层、两个全连接层和一个Sigmoid层，可以参考现有技术进行设置，只要其中卷积核的大小均为3×3，三个卷积层包含卷积核个数分别为20、50、50，全连接层的神经单元节点数分别是512和256即可。

(c)在动态训练卷积神经网络时，对于每一个用于分割的三维颈动脉超声图像，每间隔3个切面距离(ISD＝4)，取一个二维血管横断面图像，对其人工在血管MAB边界上标记N个点(N≥4)。对每一个标记点，以该点为中心取一个w×w的图像块作作为正样本，标记点内侧和外侧各取一个w×w的图像块作为负样本，并用这些样本对已经训练好的卷积神经网络进行微调，实现动态的训练网络模型。

(4)采用三次样条差值方法，对步骤(2)中人工标记点进行拟合得到有标记图像中颈动脉血管MAB的初始轮廓，如图2中的(b)所示。然后，采用一致性匹配算法对相邻标记帧的两个MAB轮廓点进行匹配，通过内插的方法得到MAB的初始三维轮廓，如图2中的(c)所示。最后，从三维MAB轮廓中提取出没有标记帧的颈动脉MAB轮廓。

(5)使用步骤(4)所得的得到三维颈动脉MAB轮廓，对每一副颈动脉横切面图像，选择一定大小的方框，沿着初始MAB轮廓上每个点的法向进行滑窗，得到一系列的图像块，将得到的图像块输入到(3)中动态微调后的卷积神经网络模型中得到每个图像块是否为MAB边界的概率评分，对每个法向上得到的图像块取得分最高块的中心点为MAB边界；

(6)根据(5)中获得的MAB边界得到颈动脉血管的ROI区域；

(7)将ROI区域输入到已训练好的U-Net网络模型中最终得到分割结果，并通过形态学的方法最终得到LIB的轮廓。

所有训练和测试使用的图像块，它们的长度值均相等，宽度值也均相等，例如w都必须是一样的大小。

改进的U-Net网络结构中每个卷积模块都包含一个短跳跃连接(short-cut)。如图4所示，在改进的卷积模块中，将两个卷积层进行堆叠，然后有一个短连接，跳跃过两个卷积层，从输入连接到输出。

在改进的U-Net网络中，对传统卷积神经网络所使用的交叉熵损失函数进行了修改。为了保证血管区域能正确分类，在计算交叉熵损失函数时，仅计算了血管区域的损失，并对每个点的损失值进行了加权。假设w(x,y)为图像中每个点的权重，p_l(x,y)(x,y)是U-Net网络Sigmoid层输出的概率值，那么损失函数定义为：

图像中每个点的权重w(x,y)是通过统计训练集中图像中每个点中像素属于每一类的概率得到的，定义为：

其中，M为训练集中样本数量，i表示第i个样本图像，mask(x,y)表示样本图像在点(x,y)的类别标签值(即，二值标签，如0/1)。

将(6)中获取的ROI区域输入到已训练好的U-Net网络模型中，得到血管的内腔区域，采用形态学的方法最终得到血管的LIB轮廓。

测试所述基于深度学习的三维颈动脉超声图像中血管壁MAB、LIB分割方法时，以医生对临床获取的三维超声颈动脉图像中MAB、LIB手工标记的轮廓作为金标准，与所述方法自动分割得到的颈动脉血管MAB、LIB轮廓进行比较，以评价所述方法的准确性和一致性，具体如下：

首先，提取三维颈动脉超声图像的几个横断面帧，将医生标记的金标准MAB轮廓、LIB轮廓与所述方法得到的轮廓进行比较。如图6所示，实线是医生标记轮廓，虚线是所述方法得到的轮廓。结果表明，所述方法得到的MAB轮廓、LIB轮廓与医生标记的金标准十分接近。

然后，通过计算Dice系数(DSC)、点对点平均距离(MAD)、点对点最大距离(MAXD)、体积绝对误差(ΔMABV和ΔLIBV)、体积相对误差(|ΔMABV|和|ΔLIBV|)，定量地比较所述方法分割结果与医生标记金标准结果之间的误差。如表1和表2，所述方法的分割结果与医生标记金标准之间的MAB轮廓的相似度达到96.46±2.22％、LIB轮廓的相似度达到92.84±4.46％。

表1 MAB分割结果

表2 LIB分割结果

表3.本发明方法与现有分割方法所需时间对比

【1】3D SFLS方法引证于：Ukwatta E,Yuan J,Buchanan D,et al.Three-dimensional segmentation of three-dimensional ultrasound carotidatherosclerosis using sparse field level sets.Medical physics.2013；40(5):052903-052901-052917.

【2】2D水平集方法引证于：Ukwatta E,Awad J,Ward AD,et al.Three-dimensional ultrasound of carotid atherosclerosis:Semiautomated segmentationusing a level set-based method.Medical physics.2011；38(5):2479-2493

【3】Yang提出的方法引证于：Yang X,Jin J,He W,Yuchi M,Ding M.Segmentationof the common carotid artery with active shape models from 3D ultrasoundimages.in Proceedings of SPIE Medical Imaging:Computer-Aided Diagnosis；2012；San Diego,CA.

使用所述方法得到的三维颈动脉超声图像中颈动脉血管的MAB和LIB轮廓，计算颈动脉血管体积(VWV)指标。并比较所述方法得到的VWV值和医生标记MAB、LIB轮廓得到的VWV值的一致性、绝对误差和相对误差。

图7中，以所述方法得到的VWV值为纵坐标，医生标记MAB和LIB轮廓得到的VWV值为横坐标绘制点，并拟合直线，得到所述方法获取的VWV值与医生标记得到的VWV值之间的相关性系数为96％。图8绘制的Bland-Altman曲线表明，所述方法获取的VWV值与医生标记得到的VWV值之间的误差为-2.45±9.21％。

本发明方法在4个人工标记点时分割一例三维颈动脉血管壁所需要的平均时间是34.4±9.8s，其中：人工标记时间为13.8±6s，动态微调CNN网络模型时间为8.73±2.1s，MAB分割时间为9.5±1.2s，LIB分割时间为1.3±0.5s。表3对比了本发明方法与现有的几种三维颈动脉血管壁分割方法各自所需的计算时间，可见，本发明方法大幅度的减少了分割所需时间。

上述实施例仅以ISD＝4mm为例，ISD还可以根据实际装置的不同，采用不同设置，例如1mm到10mm中的其它ISD值。

本发明中所采用的两个模型(即，CNN模型、UNET模型)可以使用同一个训练集；对于本发明所采用的金标准人工标记点可以是医生标记点。

本发明未详细说明之处均可参考现有技术。例如，本发明所采用的一致性匹配算法，可直接参考相关现有技术，如Chiu B,Egger M,Spence JD,Parraga G,FensterA.Quantification of carotid vessel wall and plaque thickness change using 3-Dultrasound images.Medical Physics，2008；35:3691-3710。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种基于深度学习的三维颈动脉超声图像血管壁分割方法，其特征在于，该方法能够得到颈动脉血管外膜-中膜边界MAB以及血管腔-内膜边界LIB，具体包括以下步骤：

(1)获取三维颈动脉超声图像；

(2)将三维超声体素图像切成若干二维的颈动脉横截面超声图像，以预先设定的距离为间隔，在间隔的颈动脉横切面二维超声图像的颈动脉MAB轮廓上人工标记若干个点，每个被人工标记的二维超声图像上标记点总数大于等于4；

(3)利用所述步骤(2)得到的被人工标记的二维超声图像及这些图像上的人工标记点，对每一个人工标记点，以该人工标记点为中心取一个大小满足预先设定条件的图像块作为正样本，再在该人工标记点的内侧和外侧各取一个大小满足预先设定条件的图像块同时作为负样本，由此得到基于所有人工标记点的正样本和负样本，然后利用这些正样本和负样本对已经训练好的卷积神经网络模型进行参数上的细节调整，得到动态调整后的卷积神经网络模型；

(4)针对所述步骤(2)得到的每个被人工标记的二维超声图像，利用其中的若干个人工标记点拟合得到该人工标记的二维超声图像上颈动脉血管MAB的初始轮廓；然后再利用这些人工标记的二维超声图像上MAB的初始轮廓，拟合得到没有人工标记切面图像中MAB的初始轮廓；这些没有人工标记切面图像中MAB的初始轮廓按位置插在相应所述人工标记的二维超声图像上MAB的初始轮廓之后，由此整体形成了MAB的初始三维轮廓；

(5)针对所述步骤(4)得到的所述MAB的初始三维轮廓，对每一副颈动脉的横切面图像，选择大小满足预先设定条件的方框，将方框中心沿着MAB的初始轮廓上任意一个点的法线方向在预先设定的法线长度范围内对外内两侧进行滑窗，得到针对该初始轮廓点的一系列的图像块；然后，将得到的图像块输入到所述步骤(3)中动态调整后的卷积神经网络模型中得到每个图像块是否为与该初始轮廓点相对应的MAB轮廓的概率输出值，其中概率输出值最高的图像其方框中心点即为与该初始轮廓点相对应的MAB轮廓；对MAB的初始轮廓上每个点重复操作，即可得到每一副颈动脉的横切面图像的MAB轮廓；

(6)根据所述步骤(5)中获得的MAB轮廓利用外接矩形得到颈动脉血管腔的感兴趣区域ROI区域；

(7)将所述步骤(6)得到的ROI区域输入到已训练好的改进的U-Net网络模型中最终得到分割二值图像，并通过形态学的方法最终得到LIB的轮廓；其中，所述改进的U-Net网络模型中，除最后一个卷积模块外前几个卷积模块都包含一个短跳跃连接，该短跳跃连接从卷积模块的输入直接连接到输出。

2.如权利要求1所述基于深度学习的三维颈动脉超声图像血管壁分割方法，其特征在于，所述步骤(3)中，所述已经训练好的卷积神经网络模型，所采用的训练步骤如下：

(a)对训练数据集的图像，沿着金标准人工标记的血管MAB每个点的法线方向，取大小满足预先设定条件的图像块，作为卷积神经网络的训练样本；其中，每个图像块的中心均位于相应金标准人工标记点的法线方向上，正样本定义为图像块中心为金标准人工标记点的样本，负样本定义为图像块中心距金标准人工标记点的距离满足预先设定的长度范围内的样本；

所述大小满足预先设定条件的图像块为w×w的图像块，w满足0.1D～0.25D之间取值，其中D为训练集图像中血管的平均直径；所述负样本为图像块中心距金标准人工标记点的距离满足d到2d的样本，其中，d＝w/2；

(b)将步骤(a)中获取的样本输入到卷积神经网络中训练；所述卷积神经网络的结构包含三个卷积池化层、两个全连接层和一个Sigmoid层，其中，卷积核的大小均为3×3，三个卷积层包含卷积核个数分别为20、50、50，两个全连接层的神经单元节点数分别是512和256；

相应的，所述步骤(3)具体是：利用所述步骤(2)得到的被人工标记的二维超声图像及这些图像上的人工标记点，对每一个人工标记点，以该人工标记点为中心取一个w×w的图像块作为正样本，再在该人工标记点的内侧和外侧各取一个w×w的图像块同时作为负样本，所取负样本图像块与正样本图像块无重叠，由此得到基于所有人工标记点的正样本和负样本，然后利用这些正样本和负样本对已经训练好的卷积神经网络模型进行参数上的细节调整。

3.如权利要求1所述基于深度学习的三维颈动脉超声图像血管壁分割方法，其特征在于，

所述步骤(4)中：

所述拟合得到人工标记的二维超声图像上MAB的初始轮廓，具体是：针对所述步骤(2)得到的每个被人工标记的二维超声图像，利用其中的若干个人工标记点，使用三次样条差值对这些人工标记点进行拟合，从而拟合得到该人工标记的二维超声图像上颈动脉血管MAB的初始轮廓；

所述利用这些人工标记的二维超声图像上MAB的初始轮廓，拟合得到没有人工标记切面图像中MAB的初始轮廓，具体是：采用一致性匹配算法对相邻的两个人工标记二维超声图像上的MAB初始轮廓各个MAB轮廓点进行匹配，通过内插的方法得到MAB的初始三维轮廓；最后，再从该初始三维轮廓中提取出没有人工标记切面图像中MAB的初始轮廓；

所述步骤(2)中所述预先设定的距离为1mm到10mm，相应的，所述步骤(4)中相邻的两个人工标记二维超声图像之间的距离为1mm到10mm。

4.如权利要求3所述基于深度学习的三维颈动脉超声图像血管壁分割方法，其特征在于，所述步骤(2)中所述预先设定的距离为3mm～4mm。

5.如权利要求1所述基于深度学习的三维颈动脉超声图像血管壁分割方法，其特征在于，所述步骤(7)中，所述改进的U-Net网络其结构包含编码结构和解码结构两部分；其中，

所述编码结构用于提取图像的特征，其包括4个卷积模块；前3个卷积模块均由两个堆叠的3×3卷积层、一个池化层和一个Drop-out层组成，所述Drop-out层用于随机的把部分神经元的输出设置为0；并且，这3个卷积模块中每一个卷积模块均设置有一个短跳跃连接；最后1个卷积模块是由两个堆叠的3×3卷积层和一个Drop-out层组成；

所述解码结构用于上采样，其包括与所述编码结构中前3个卷积模块相对应的3个上采样模块，每一个上采样模块均包括一个2×2的反卷积层、一个特征连接操作和两个堆叠的3×3卷积层；其中，所述特征连接操作用于将解码结构反卷积得到的特征与所述编码结构中对应的特征进行融合；在所述解码结构的末端，还包括与所述3个上采样模块相连的一个1×1的卷积层和一个Sigmoid层用于二分类。

6.如权利要求5所述基于深度学习的三维颈动脉超声图像血管壁分割方法，其特征在于，所述编码结构中所述4个卷积模块的卷积核大小依次为32、64、128、256，所述解码结构中所述3个上采样模块中的卷积核数量与所述编码结构中前3个卷积模块的卷积核数量对应一致，为128、64、32，所述解码结构中所述1×1的卷积层的卷积核数目为2；所有卷积层的激活函数均为ReLU函数；并且，所述编码结构中每个卷积模块加入的Drop-out层参数分别为0.25、0.25、0.5、0.5，每一个池化层采用的是平均值池化方法，滤波器的大小为2×2，步长为2。

7.如权利要求5所述基于深度学习的三维颈动脉超声图像血管壁分割方法，其特征在于，所述改进的U-Net网络中，对于所述编码结构中的前3个卷积模块，是将两个3×3的卷积层进行堆叠，并利用一个所述短跳跃连接，跳跃过这两个卷积层，从卷积模块的输入连接到输出；其中，记x为该卷积模块的输入，F(x)为两个堆叠的卷积层的输出，则该卷积模块的输出为H(x)＝F(x)+x，在训练过程中学习的F(x)将是残差函数H(x)-x。

8.如权利要求1所述基于深度学习的三维颈动脉超声图像血管壁分割方法，其特征在于，所述步骤(7)中，所述已训练好的改进的U-Net网络模型，所采用的训练步骤如下：

对训练数据集的图像，根据金标准人工标记的LIB轮廓得到其外接矩形，上下左右各扩展预先设定的比例后，获取颈动脉血管的ROI区域的图像，将此图像作为训练U-Net网络模型的输入图像；根据金标准人工标记的LIB轮廓得到对应的ROI区域图像的二值标签图，将此图像作为训练U-Net网络模型的输出图像。

9.如权利要求8所述基于深度学习的三维颈动脉超声图像血管壁分割方法，其特征在于，所述上下左右各扩展预先设定的比例，是上下各扩展高度的10％，左右各扩展宽度的10％。

10.如权利要求5所述基于深度学习的三维颈动脉超声图像血管壁分割方法，其特征在于，所述步骤(7)中，所述改进的U-Net网络模型所使用的损失函数满足：

其中，w(x,y)为预先计算的训练数据集图像中每个点的权重；p_l(x,y)(x,y)是改进的U-Net网络Sigmoid层输出的概率值；x,y在整数范围内取值；

预先计算的w(x,y)满足：

其中，M为训练数据集中图像数量，i表示其中的第i个图像，mask_i(x,y)表示第i个图像在点(x,y)的二值类别标签值。

11.如权利要求1所述基于深度学习的三维颈动脉超声图像血管壁分割方法，其特征在于，所述步骤(2)中，每个被人工标记的二维超声图像上标记点总数为4个或8个。

12.如权利要求2所述基于深度学习的三维颈动脉超声图像血管壁分割方法，其特征在于，所述步骤(5)中，所述大小满足预先设定条件的方框具体为w×w的方框；所述将方框中心沿着MAB的初始轮廓上任意一个点的法线方向在预先设定的法线长度范围内对外内两侧进行滑窗，具体是在2d的法线长度范围内对外内两侧进行滑窗，其中，d＝w/2。

Images