CN112446877B - 一种三维图像中多分支管状结构分割与标记方法 - Google Patents

Abstract

本发明提出一种三维图像中多分支管状结构分割与标记方法，属于医学图像处理领域。该方法把多分支管状结构看作多个单分支管状结构的集合，对于单分支管状结构，通过关键点检测和神经网络微调的方法得到中心线；然后基于中心线得到管状结构沿中心线的横截面图像，最后用分割网络得到管状结构的分割结果。本发明能够对图像中存在的特定的多分支管状结构进行分割与自动标记，尤其是对于一些存在病变的图像，如主动脉夹层、主动脉瘤、冠状动脉狭窄图像，有很好的分割结果。

Description

一种三维图像中多分支管状结构分割与标记方法

技术领域

本发明属于医学图像处理领域，尤其涉及一种三维图像中多分支管状结构分割与标记方法。

背景技术

计算机断层扫描血管造影技术是当下医学成像的一种主流方式，医生可以通过计算机辅助断层成像技术得到人体特定部位的三维断层扫描图像。在这些三维图像中，动脉、静脉、气管等重要功能组织大多为多分支管状结构，通过对这些管状结构进行观察分析，医生可以在不进行外科手术的情况下对患者的身体情况有更直观、全面的了解。以主动脉举例，主动脉是向全身各部输送血液的主要动脉，在胸腔和腹腔部分有很多重要的分支，承担着向一些重要组织和器官输送氧气和营养的重要作用，因此发生在主动脉上的病变会威胁病人的生命。比如说主动脉夹层，这是一种由于内膜撕裂，造成主动脉真假腔分离导致的疾病，严重时会累及分支，使得一些重要器官血流供应困难，危及病人生命。主动脉真假腔的直径，形状和分支的受累情况都会对后续治疗和手术方案产生影响，尤其是支架放置的位置选择特别依赖于这些几何特征的辅助。但是这样的分析过程严重依赖于医生的临床经验，并且由于三维图像质量欠佳，对比度低，主动脉真假腔形状不规则，个别分支血管细小等问题，医生往往难以做出快速，准确的判断。因此通过自动算法对三维医学图像中的多分支管状结构进行自动分析，是非常迫切且重要的。

医学图像中管状结构的分割与提取已有很多的相关算法，分割目标包括冠状动脉、主动脉、肺气管以及其他器官的血管等等，这些方法一般具有以下的局限性和不足：

A)现有的分割算法是根据特定的任务设计的，仅能应对特定的管状结构，无法进行很好地迁移。

B)使用机器学习解决管状结构的分割问题时，仅仅将其视为简单分类问题，没有针对管状结构的特点做出优化。

C)没有实现分支的自动标记，即最后的分割结果不具备各个分支的语义信息。

深度学习已经在很多医学图像分割任务中得到应用，但对于管状结构的分割问题，已有的深度学习算法很少考虑到其本身的结构特点。而中心线就是一个非常显著的特征，虽然在三维空间中多分支管状结构可能形状会很复杂，但是沿中心线的横截面上，它们的形态变得相对简单。以主动脉为例，主动脉包括主干和若干个重要分支，可以利用深度学习方法分别获取主干和分支的中心线，在这个过程中，同样可以获得各个分支的语义信息，完成分支的自动标记。然后，基于中心线的横截面上，主动脉的形状相对稳定，即使发生病变，如主动脉夹层，主动脉的真假腔形状在横截面上也比较稳定。然而，目前已有的算法局限于二维平面上的二维结构信息，在此基础上结合3D结构信息的分割算法尚处于空白。

发明内容

本发明的目的是克服已有算法的不足，提出一种三维图像中多分支管状结构分割与标记方法。本发明可以实现复杂多分支管状结构(如病变)的准确分割。

本发明提出一种三维图像中多分支管状结构分割与标记方法，分为离线阶段和在线阶段，其特征在于，该方法包括以下步骤：

1)离线阶段；

1-1)获取原始图像，对每张原始图像中的管状结构的中心线和分割结果进行标注，分别得到简单中心线训练集和复杂中心线训练集；具体步骤如下：

1-1-1)获取同一部位的N张CT图像作为原始图像；

1-1-2)对每张原始图像中管状结构的中心线和分割结果进行标注，得到该图像中管状结构每条分支的中心线和管腔分割二值图；其中，每条中心线由若干个关键点的组成，中心线的标注结果为该中心线上每个关键点的坐标；

1-1-3)对步骤1-1-2)标注得到的中心线分类，将主干的中心线分为简单中心线，将所有分支的中心线分为复杂中心线；

对每张图像的中心线分类完毕后，将所有图像和该图像对应的简单中心线组成一个简单中心线训练样本，所有简单中心线训练样本构成简单中心线训练集；将所有图像和该图像对应的复杂中心线组成一个复杂中心线训练样本，所有复杂中心线训练样本构成复杂中心线训练集；

1-2)构建简单中心线预测网络，利用步骤1-1)得到的简单中心线训练集训练简单中心线预测网络，得到训练完毕的简单中心线预测网络；

其中，该网络的输入是原始CT图像，输出是输入图像的简单中心线对应的所有关键点的位置的预测结果；

利用步骤1-1)得到的简单中心线训练集，把每张原始图像输入简单中心线预测网络，将得到对应的输出的预测结果和该输入图像的简单中心线标注结果进行L2 loss，通过梯度反传更新网络参数，当loss函数稳定后，得到训练完毕的简单中心线预测网络；

1-3)构建简单中心线预测网络，利用步骤1-1)得到的复杂中心线训练集训练复杂中心线预测网络，得到训练完毕的复杂中心线预测网络；其中，所述复杂中心线预测网络包括分支起点预测网络和复杂中心线微调网络；具体步骤如下：

1-3-1)根据步骤1-1-2)得到的标注结果，对每一条复杂中心线，统计在所有原始图像中的该复杂中心线平均值，得到该复杂中心线对应的平均中心线，其中所述平均中心线为每条复杂中心线中除起点外的其他关键点相对于该起点的相对坐标平均值；

1-3-2)构建分支起点预测网络，该网络的输入是原始图像，输出是输入图像的各复杂中心线的起点的预测结果和各复杂中心线的标记结果；

利用步骤1-1)得到的复杂中心线训练集，把每张原始图像输入分支起点预测网络，将得到对应的输出的预测结果和该输入图像的复杂中心线标注结果进行L2 loss，通过梯度反传更新网络参数，当loss函数稳定后，得到训练完毕的复杂起点预测网络；

然后将每张原始图像输入训练完毕的分支起点预测网络，该网络输出对应该输入图像的每条复杂中心线起点的预测结果；

1-3-3)利用步骤1-3-1)和1-3-2)的结果，对每张原始图像，将步骤1-3-2)得到的每条复杂中心线起点的预测结果，结合步骤1-3-1)得到的该复杂中心线对应的平均中心线，组合成该图像中对应分支的初始中心线；

1-3-4)构建复杂中心线微调网络，复杂中心线微调网络的输入是原始图像中每条复杂初始中心线上所有关键点为中心的固定尺寸图像组合成的多通道3D图像，该网络输出为该复杂中心线上每个关键点的三维坐标偏移量；

利用平方误差损失函数训练复杂中心线微调网络，得到训练完毕的复杂中心线微调网络；

1-4)各网络训练完毕后，将每张原始图像输入训练完毕的简单中心线预测网络，得到对应的简单中心线的预测结果，然后将该原始图像输入训练完毕的分支起点预测网络，得到各复杂中心线的起点预测结果，然后原始图像中每条复杂初始中心线上所有关键点为中心的固定尺寸图像组合成的多通道3D图像输入训练完毕的复杂中心线微调网络，得到最终的每条复杂中心线的预测结果；

1-5)分割前预处理；

利用步骤1-4)的结果，对原始图像进行预处理，具体方法为：根据该原始图像上每条中心线预测结果的方向对原始图像对应该中心线的管状结构进行旋转和裁剪，得到沿该中心线的横截面图像；

1-6)构件分割网络并进行训练，得到训练完毕的分割网络；

其中，分割网络的输入是经过步骤1-5)预处理后的横截面图像，分割网络的输出为对应的管状结构概率预测图；

2)在线阶段；

2-1)获取一张与步骤1-1)的原始图像同尺寸且同部位的增强CT图像；

2-2)将步骤2-1)获取的图像分别输入训练完毕的简单中心线预测网络和复杂中心线预测网络，分别得到的该图像中简单中心线和复杂中心线的预测结果以及各复杂中心线的标记结果；

2-3)根据步骤2-2)得到的每一条中心线的预测结果，根据该中心线的方向进行旋转和裁剪，得到沿该中心线的横截面图像；

2-4)将步骤2-3)得到的每张横截面图像输入训练完毕的分割网络，该网络输出对应的管状结构的概率预测结果，然后对所有概率预测结果进行二值化得到最终的管腔分割结果。

本发明的特点及有益效果。

本发明分成两个阶段，分别是中心线的提取和基于中心线的管状结构分割。在第一阶段中中心线的提取分为两类，以主动脉举例，对于主动脉主干这种在三维图像中占比很大且预测相对容易的中心线，直接用关键点检测的方法预测中心线。而对于主动脉分支这种直径较小且预测相对困难的中心线，先用关键点检测的方法得到它们的起点，这一步同时获得了各个分支的语义信息，完成了分支的自动标记。然后根据统计信息得到复杂中心线的初始化，最后通过神经网络对中心线做出微调，得到更准确的中心线。在第二阶段中，利用前一阶段得到的中心线，对图像做预处理，得到沿中心线的横截面3D图像，然后作为后续3D分割网络的输入，网络的输出为管状结构的预测结果，对结果二值化得到最终的分割结果。本发明的第一阶段提出了两种中心线的提取方法，分别解决两种类型的管状结构中心线提取。第二阶段利用了第一阶段获得的中心线对三维图像做预处理，有助于分割问题的简化，然后利用3D分割算法实现更准确的分割。

本发明可以广泛应用于多种动脉、静脉和气管等多分支管状结构(健康或者病变)的分割任务，尤其对于一些病变结构，如主动脉夹层的分割精度很高，有助于医生对病情做出准确的判断。

附图说明

图1是本发明方法的整体流程图。

图2是本发明实施例中复杂中心线提取原理示意图。

图3是本发明实施例中复杂中心线微调网络结构示意图。

图4是本发明实施例中离线阶段主动脉夹层分割网络结构示意图。

图5是本发明实施例中在线阶段主动脉夹层分割网络结构示意图。

图6是本发明实施例中主动脉夹层分割结果图。

具体实施方式

本发明提出一种三维图像中多分支管状结构分割与标记方法，下面结合附图和具体实施例对本发明进一步详细说明如下。

本发明提出一种三维图像中多分支管状结构分割与标记方法，整体流程如图1所示，该方法分为离线阶段和在线阶段，包括以下步骤：

1)离线阶段；

1-1)获取原始图像，对每张原始图像中的管状结构的中心线和分割结果进行标注，分别得到简单中心线训练集和复杂中心线训练集；具体步骤如下：

1-1-1)获取同一部位的约50张增强CT图像作为原始图像，如冠脉问题需要心脏CT图像，主动脉问题需要主动脉CT图像(该图像可从医院影像科获取，本实施例获取的是50张带有主动脉夹层的增强CT图像，尺寸是512×512×Z(723-1023))。

1-1-2)使用标注软件，如3D slicer对每张CT图像中管状结构的中心线和分割结果进行人工标注。标注结果是管状结构不同分支的中心线和管腔分割二值图。其中，每条中心线由若干个固定数目的关键点的组成，中心线的标注结果为该中心线上每个关键点的坐标。

1-1-3)针对要解决的问题，对步骤1-1-2)标注得到的中心线分类。如主动脉的主干或者冠脉的主干这类的大血管的中心线被归类到简单中心线，而其他细小分支的中心线被归类为复杂中心线。

对每张图像的中心线分类完毕后，将所有图像和该图像对应的简单中心线组成一个简单中心线训练样本，所有简单中心线训练样本构成简单中心线训练集；将所有图像和该图像对应的复杂中心线组成一个复杂中心线训练样本，所有复杂中心线训练样本构成复杂中心线训练集，分别用于训练不同的中心线预测网络。

1-2)利用步骤1-1)得到的简单中心线训练集训练简单中心线预测网络，得到训练完毕的简单中心线预测网络；

针对简单中心线，直接使用U-net作为简单中心线预测网络用于预测简单中心线上的关键点。该网络的输入是原始增强CT图像，输出是输入图像的主干中心线(即简单中心线)对应的所有关键点的位置的预测结果。以主动脉为例，其主干中心线被定义成40个关键点。那么，简单中心线预测网络的输入是主动脉CT图像，输出是40个通道的关键点位置的预测结果，每一个通道代表一个特定的关键点。

利用步骤1-1)得到的简单中心线训练集，该训练集包括原始增强CT图像和对应的人工标注的简单中心线的关键点信息，把每张原始增强CT图像输入简单中心线预测网络，得到对应的输出的预测结果并和该输入图像的简单中心线标注结果做L2 loss，通过梯度反传更新网络参数。训练结束条件是loss函数稳定，实际训练时间约10小时，得到训练完毕的简单中心线预测网络。

1-3)构建简单中心线预测网络，利用步骤1-1)得到的复杂中心线训练集训练复杂中心线预测网络，得到训练完毕的复杂中心线预测网络；其中，所述复杂中心线预测网络包括分支起点预测网络和复杂中心线微调网络；具体步骤如下：

1-3-1)根据步骤1-1-2)得到的标注结果，对每一条复杂中心线，统计计算在所有原始图像中的该复杂中心线平均值，得到该复杂中心线对应的平均中心线(所述平均中心线的具体表现形式是每条复杂中心线后四个点相对该分支起点的相对坐标平均值)。

1-3-2)利用U-net(可与简单中心线预测网络同结构但参数重新训练)作为分支起点预测网络，该网络的输入是原始增强CT图像，输出是输入图像的各复杂中心线的起点的预测结果。以主动脉为例，分支起点预测网络的输入是主动脉CT图像，输出是对应该输入图像的9个通道的复杂中心线起点位置，9个通道分别代表9个不同的分支，这里同时实现了分支的标记，具体说就是检测分支起点的同时知道是具体是哪一条分支的起点。

利用步骤1-1)得到的复杂中心线训练集，把每张原始图像输入分支起点预测网络，将得到对应的输出的预测结果和该输入图像的复杂中心线标注结果进行L2 loss，通过梯度反传更新网络参数，当loss函数稳定后，得到训练完毕的复杂起点预测网络；

然后将每张原始图像输入训练完毕的分支起点预测网络，该网络输出对应该输入图像的每条复杂中心线起点的预测结果和各复杂中心线的标记结果。

1-3-3)利用步骤1-3-1)和1-3-2)的结果，对每张原始图像，将步骤1-3-2)得到的每条复杂中心线起点的预测结果，结合步骤1-3-1)得到的该复杂中心线对应的平均中心线，组合成该图像中对应分支的初始中心线(本实施例由5个关键点组成)。

1-3-4)构建复杂中心线微调网络，复杂中心线微调网络的输入是原始图像中每条复杂初始中心线上所有关键点为中心的固定尺寸图像组合成的多通道3D图像(部分图像)(本实施例为5通道的3D图像，具体说是5个初始点附近的3D原始CT图像，尺寸为5×32×32×32)，输出是15维向量，代表该复杂中心线上每个关键点的三维坐标偏移量。

本实施例中复杂中心线提取原理如图2所示：第一阶段，从原始CT图像中通过中心线起点预测网络得到9条分支的中心线起点和标记结果，然后结合统计信息得到的平均中心线，组合成对应分支的初始中心线。第二阶段是对第一阶段得到的初始中心线做微调，复杂中心线微调网络的输入是原始CT图像中以初始中心线上5个点为中心的固定尺寸的3D图像，输出是15维向量，代表真实中心线和初始中心线上每个关键点的三维坐标偏移量。经过两个阶段的处理，得到最终准确的复杂中心线预测结果。复杂中心线微调网络的结构如图3所示，网络包括8个卷积层，3个池化层和1个全连接层。利用平方误差损失函数训练复杂中心线微调网络，得到训练完毕的复杂中心线微调网络

1-4)各网络训练完毕后，将每张原始图像输入第一个U-net网络，得到对应的主干中心线的预测结果，然后将该原始图像输入第二个U-net网络，得到各复杂中心线的起点预测结果和对应标记结果，然后原始图像中每条复杂初始中心线上所有关键点为中心的固定尺寸图像组合成的多通道3D图像(部分图像)输入复杂中心线微调网络，得到最终的每条复杂中心线的预测结果。这里是以主动脉夹层分割为例，实际任务中可能只需要其中一种中心线的提取算法。这一步骤可以得到一张图像中所有分支的中心线结果。

1-5)分割前预处理；

利用步骤1-4)的结果，得到每张图像对应的管状结构的中心线(包括简单中心线和复杂中心线)后，对原始图像做预处理，具体做法是，根据该原始图像上每条中心线预测结果的方向对原始图像对应该中心线的管状结构做旋转和裁剪，得到沿该中心线的横截面图像，其尺寸为64×64×L，其中L为中心线上相邻两个关键点之间的距离。

1-6)构件分割网络并进行训练，得到训练完毕的分割网络；

分割网络的具体结构如图4所示，基本结构和3D U-net类似，最大的不同在于池化层和上采样层保持Z轴的尺寸不变。另外为避免分割网络在训练时出现梯度消失现象导致训练失败，这里还在每个卷积层模块上使用了残差结构，以及在网络的上采样过程中使用了深度监督方法(即不同尺度的预测结果与人工标注对比计算损失函数)。由于管状结构在图像中的占比很小，在训练该分割网络时会出现类别不均衡问题，损失函数需要更注重前景的分割效果，这里定义了dice损失函数：

其中

表示图像块，

表示分割网络的全部待训练参数，x为该图像块中的像素点，y为类别取值(取0时为非管状结构，取1时为管状结构)，p为全卷积网络输出预测结果，其值越接近于1表明是管状结构的概率越高。结合深度监督损失，总的损失函数定义为：

其中β^s为深度监督中不同尺度s下的权重系数，s在这里的取值为1、2、3。

本实施例中，分割网络的输入是尺寸为64×64×8的经过预处理后的横截面图像，且Z轴的大小在整个网络中保持8不变，分割网络的输出是尺寸同样为64×64×8的管状结构概率预测图。

分割网络的输入尺寸是64×64×8，实际操作是在64×64×L图像上以步长为1滑动，获取更多的训练样本，这里L＞8；

最终得到训练完毕的分割网络。

2)在线阶段；

2-1)获取一张与步骤1-1)的原始图像同尺寸且同部位的增强CT图像；

2-2)将步骤2-1)获取的图像分别输入两个不同的训练完毕的中心线预测网络，得到的是这张CT图像里面所有管状分支结构的中心线(包括简单中心线和复杂中心线)的预测结果以及各复杂中心线的标记结果。

其中，简单中心线预测只有一个网络，复杂中心线预测网络包括分支起点预测网络和复杂中心线微调网络。

2-3)分割前预处理；

根据步骤2-2)得到的每一条中心线的预测结果，根据该中心线的方向做旋转和裁剪，得到沿该中心线的横截面图像。用于后续分割网络的输入。其中，一条中心线上的相邻两个关键点会得到一个独立的横截面图像，长度为L。

2-4)获取分割结果；

将步骤2-3)预处理后得到的每张横截面图像输入训练完毕的分割网络，该网络输出对应的管状结构的概率预测结果，然后对所有概率预测结果进行二值化得到最终的管腔分割结果。

在线时期的分割网络结构如图5所示，网络得到管状结构的概率预测结果，然后二值化得到最终的分割结果。

图6展示了本发明实施例的分割网络的输出结果，包括主动脉夹层的真假腔分割结果。

Claims (1)

1.一种三维图像中多分支管状结构分割与标记方法，分为离线阶段和在线阶段，其特征在于，该方法包括以下步骤：

1)离线阶段；

1-1)获取原始图像，对每张原始图像中的管状结构的中心线和分割结果进行标注，分别得到简单中心线训练集和复杂中心线训练集；具体步骤如下：

1-1-1)获取同一部位的N张CT图像作为原始图像；

1-1-2)对每张原始图像中管状结构的中心线和分割结果进行标注，得到该图像中管状结构每条分支的中心线和管腔分割二值图；其中，每条中心线由若干个关键点的组成，中心线的标注结果为该中心线上每个关键点的坐标；

1-1-3)对步骤1-1-2)标注得到的中心线分类，将主干的中心线分为简单中心线，将所有分支的中心线分为复杂中心线；

对每张图像的中心线分类完毕后，将所有图像和该图像对应的简单中心线组成一个简单中心线训练样本，所有简单中心线训练样本构成简单中心线训练集；将所有图像和该图像对应的复杂中心线组成一个复杂中心线训练样本，所有复杂中心线训练样本构成复杂中心线训练集；

1-2)构建简单中心线预测网络，利用步骤1-1)得到的简单中心线训练集训练简单中心线预测网络，得到训练完毕的简单中心线预测网络；

其中，该网络的输入是原始CT图像，输出是输入图像的简单中心线对应的所有关键点的位置的预测结果；

利用步骤1-1)得到的简单中心线训练集，把每张原始图像输入简单中心线预测网络，将得到对应的输出的预测结果和该输入图像的简单中心线标注结果进行L2 loss，通过梯度反传更新网络参数，当loss函数稳定后，得到训练完毕的简单中心线预测网络；

1-3)构建简单中心线预测网络，利用步骤1-1)得到的复杂中心线训练集训练复杂中心线预测网络，得到训练完毕的复杂中心线预测网络；其中，所述复杂中心线预测网络包括分支起点预测网络和复杂中心线微调网络；具体步骤如下：

1-3-1)根据步骤1-1-2)得到的标注结果，对每一条复杂中心线，统计在所有原始图像中的该复杂中心线平均值，得到该复杂中心线对应的平均中心线，其中所述平均中心线为每条复杂中心线中除起点外的其他关键点相对于该起点的相对坐标平均值；

1-3-2)构建分支起点预测网络，该网络的输入是原始图像，输出是输入图像的各复杂中心线的起点的预测结果和各复杂中心线的标记结果；

利用步骤1-1)得到的复杂中心线训练集，把每张原始图像输入分支起点预测网络，将得到对应的输出的预测结果和该输入图像的复杂中心线标注结果进行L2 loss，通过梯度反传更新网络参数，当loss函数稳定后，得到训练完毕的复杂起点预测网络；

然后将每张原始图像输入训练完毕的分支起点预测网络，该网络输出对应该输入图像的每条复杂中心线起点的预测结果；

1-3-3)利用步骤1-3-1)和1-3-2)的结果，对每张原始图像，将步骤1-3-2)得到的每条复杂中心线起点的预测结果，结合步骤1-3-1)得到的该复杂中心线对应的平均中心线，组合成该图像中对应分支的初始中心线；

1-3-4)构建复杂中心线微调网络，复杂中心线微调网络的输入是原始图像中每条复杂初始中心线上所有关键点为中心的固定尺寸图像组合成的多通道3D图像，该网络输出为该复杂中心线上每个关键点的三维坐标偏移量；

利用平方误差损失函数训练复杂中心线微调网络，得到训练完毕的复杂中心线微调网络；

1-4)各网络训练完毕后，将每张原始图像输入训练完毕的简单中心线预测网络，得到对应的简单中心线的预测结果，然后将该原始图像输入训练完毕的分支起点预测网络，得到各复杂中心线的起点预测结果，然后原始图像中每条复杂初始中心线上所有关键点为中心的固定尺寸图像组合成的多通道3D图像输入训练完毕的复杂中心线微调网络，得到最终的每条复杂中心线的预测结果；

1-5)分割前预处理；

利用步骤1-4)的结果，对原始图像进行预处理，具体方法为：根据该原始图像上每条中心线预测结果的方向对原始图像对应该中心线的管状结构进行旋转和裁剪，得到沿该中心线的横截面图像；

1-6)构件分割网络并进行训练，得到训练完毕的分割网络；

其中，分割网络的输入是经过步骤1-5)预处理后的横截面图像，分割网络的输出为对应的管状结构概率预测图；

2)在线阶段；

2-1)获取一张与步骤1-1)的原始图像同尺寸且同部位的增强CT图像；

2-2)将步骤2-1)获取的图像分别输入训练完毕的简单中心线预测网络和复杂中心线预测网络，分别得到的该图像中简单中心线和复杂中心线的预测结果以及各复杂中心线的标记结果；

2-3)根据步骤2-2)得到的每一条中心线的预测结果，根据该中心线的方向进行旋转和裁剪，得到沿该中心线的横截面图像；

2-4)将步骤2-3)得到的每张横截面图像输入训练完毕的分割网络，该网络输出对应的管状结构的概率预测结果，然后对所有概率预测结果进行二值化得到最终的管腔分割结果。

Images