CN109272510B - 一种三维医学图像中管状结构的分割方法 - Google Patents

Abstract

本发明涉及一种三维医学图像中管状结构的分割方法。属于医学图像处技术领域。该方法在离线时期中包括获取训练图像并对训练图像进行人工标注；估计管状结构的空间概率密度得到管状结构空间概率密度图像；三维全卷积网络参数训练；在线时期中包括获取待分割图像；估计管状结构的位置先验分布；基于三维全卷积网络的管状结构分割得到分割结果。本发明中，三维医学图像中管状结构的分割方法的输入是三维医学图像，输出为对应的特定管状结构分割结果。本发明的管状结构分割方法可以有效抑制图像中其他结构的影响、提高在非正常管状结构区域的分割性能。

Description

一种三维医学图像中管状结构的分割方法

技术领域

本发明属于医学图像处理技术领域，尤其涉及一种三维医学图像中管状结构的分割方法。

背景技术

三维医学图像中的管状结构大多对应动脉、静脉、气管等重要功能组织，通过对图像中的管状结构进行观察分析，医生可以在不进行外科手术的情况下对患者的身体整体情况及特定组织的情况有更直观、全面的了解。以冠状动脉举例，冠状动脉是负责向心肌组织进行氧气和营养输送的血管，因此发生在冠状动脉上的病变将会对整个心脏的正常工作产生影响。如果能够通过对冠状动脉三维图像中的冠状动脉进行分析，医生对冠脉的输血能力和心脏的供血情况有更整体的了解，便于之后手术方案的确定。但是这样的分析过程严重依赖于医生的临床经验，并且由于三维医学图像不够直观，以及图像质量欠佳的影响(例如可能存在的人工制品、对比度低、异常结构等)，医生的分析判断往往会遇到很大的困难，因此如果能对三维医学图像中的管状结构进行自动分析，可以大大提高诊断效率和准确率。

三维医学图像中管状结构的分割与提取已有很多的相关方法，分割目标包括冠状动脉、主动脉、肺气管以及其他器官的血管等等。例如一类方法使用机器学习的方法实现对冠状动脉血管的分割，该方法分为两个阶段，在第一个阶段中首先对冠状动脉血管进行粗略的分割，第二个阶段则是在前一阶段的粗分割结果上进行更为精细地分割，由于前一阶段已经排除了大量的非冠状动脉血管区域，因此第二个阶段更专注于分割冠状动脉与类冠状动脉结构，并且使分割结果更为精细、准确。两个阶段使用相同的特征提取方法，训练时第一个阶段在完整图像上进行训练，大量排除非冠状动脉区域，而第二个阶段则在粗分割结果形成的掩模上进行训练，对上一步的粗分割结果进行更精细地调整。但是该类方法将冠状动脉血管的分割问题视为逐像素的分类任务，往往忽视了相邻像素之间的类别约束关系。综合来看，已有的管状结构分割方法一般具有以下的局限性和不足：

A)管状结构被建模为一个具有多方向、多尺度的管状模型，无法很好地应对出现分叉、病变等非正常管状结构的部位。

B)分割方法是根据特定的任务设计的，仅能应对特定的管状结构，无法进行很好地迁移。

C)部分算法使用机器学习解决管状结构的分割问题时，仅仅将其视为像素级别的分类问题，没有考虑到相邻像素之间的类别约束关系。

除管状结构的分割之外，深度学习已经在很多医学图像分割任务中得到应用，但是这些方法在使用卷积神经网络进行目标器官的分割时忽略了目标的先验知识。例如医学图像中特定的器官几乎分布于特定的区域内，如果能够在深度学习框架中引入这类位置先验信息的约束，可以对分割过程起到很好的约束作用。管状结构的分割问题同样具有这样的特性，人体中的管状结构大都具有特定的分布规律，以冠状动脉举例：冠状动脉分为左右两支，从主动脉根部的两侧发出，然后环绕心脏并分布于心脏表面之上，其分布具有很强的规律性，如果能够将这样的分布规律与深度学习算法结合起来，会对管状结构的分割准确率有较大的提升。但目前尚未有将先验知识与深度学习结合起来的管状结构分割方法。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种三维医学图像中管状结构的分割方法。该方法不限定于某种特定血管的分割，可以广泛应用于多种血管、气管、消化道等管状结构的分割任务，位置先验信息的应用能够提高在图像模糊、对比度低、出现病变等非正常管状结构区域的分割算法性能，有很高的应用价值。

本发明的一种三维医学图像中管状结构的分割方法，其特征在于，包括离线时期与在线时期；其中：

离线时期包括以下步骤：

1)获取训练图像并对训练图像进行人工标注；

采集N张同种类型三维医学图像作为训练图像，N大于等于20，根据训练图像对待分割的管状结构进行0/1二值标注；

2)估计管状结构的空间概率密度得到管状结构空间概率密度图像；

首先将三维医学图像通过图像配准算法对齐，将对齐后的所有管状结构人工标注图像使用逻辑或运算进行合并；然后对得到的结果使用概率密度估计算法，估计管状结构的空间概率密度，得到管状结构空间概率密度图像；；

3)三维全卷积网络参数训练；

首先建立三维全卷积网络，然后将步骤2)得到的管状结构空间概率密度图像通过图像配准算法对齐至各训练图像，得到对应的管状结构位置先验分布图像；所有的训练图像、管状结构位置先验分布图像、以及人工标注图像组成训练数据集，用于训练三维全卷积网络参数；

在线时期包括以下步骤：

4)获取待分割图像；

采集一张包含有待分割管状结构的三维医学图像，图像类型与获取方式与离线时期中步骤1)相同，但不进行人工标注；

5)估计管状结构的位置先验分布；

将离线时期步骤2)得到的管状结构空间概率密度图像通过图像配准算法对齐至待分割图像，得到管状结构的位置先验分布图像；图像配准算法采用以基于关键点检测的刚体配准方法；

6)基于三维全卷积网络得到管状结构分割结果；

首先建立三维全卷积网络，使用的网络结构与离线时期建立的三维全卷积网络相同，但是去掉从低到高部分的三个深度辅助监督，使用的网络参数为离线时期中步骤3)的训练结果；将待分割图像与对应的管状结构位置先验分布图像在通道维度堆叠为多通道图像，与离线时期相同，在该多通道图像上截取K³分辨率大小的局部图像块作为三维全卷积网络的输入，图像块之间有重叠，网络的输出为相应图像块的增强结果图像，将这些图像块的增强结果图像根据截取时的位置填充至与待分割图像相同大小的增强结果中，重叠部分采用取平均的方式，对与待分割图像相同大小的增强结果进行二值化得到最终的分割结果。

本发明的特点及有益效果在于：

本发明方法结合了神经网络强大的特征提取能力，能够通过对已有数据的学习得到特定目标结构的有效特征描述，从而使得该方法能够扩展至多种管状结构的分割任务，该方法中三维全卷积神经网络对邻域信息的应用也使得分割结果受到邻域像素的类别约束，此外管状结构位置先验信息的引入可以帮助神经网络的特征提取更加专注于对管状结构与类似结构的区分，并且在图像模糊、对比度低、出现病变等非正常管状结构区域提升分割算法的性能。

本发明方法能够提高三维医学图像中特定管状结构的分割准确度，从而能够建立特定管状结构的准确3D模型，通过对该模型的自动分析计算，可以对许多相应疾病进行自动诊断，例如对冠状动脉分割结果的3D模型进行自动分析，可以发现冠状动脉出现狭窄的位置，而这些位置往往伴随有钙化等冠状动脉病变。此外，由准确的分割结果得到的3D模型也有助于对病变的发展情况进行合理的量化描述，例如对冠状动脉分割结果得到的3D模型进行血液流体动力学仿真，可以量化地描述冠状动脉中出现的钙化等病变对冠状动脉供血能力的影响。这些应用场景都需要准确的管状结构分割结果作为前提，因此本发明方法具有很高的应用价值。

附图说明

图1为本发明方法的整体流程图；

图2为关键点及对应坐标系示意图片(以冠状动脉为例)；

图3为离线时期分割网络结构示意图(以冠状动脉为例)；

图4为在线时期分割网络结构示意图(以冠状动脉为例)；

图5为分割结果图片(以冠状动脉为例)。

具体实施方式：

本发明提出一种三维医学图像中管状结构的分割方法，下面将会结合附图和具体实施流程进一步进行详细说明。

本发明提出一种三维医学图像中管状结构的分割方法，分为离线和在线两个时期。离线时期包括三个阶段，分别为获取训练图像并对训练图像进行人工标注、估计管状结构的空间概率密度和三维全卷积网络参数训练。在获取训练图像并对训练图像进行人工标注阶段，采集同种类型的三维医学图像作为训练图像，根据这些图像进行0/1二值标注，标出待分割的管状结构。估计管状结构的空间概率密度阶段中，首先将大量三维医学图像通过图像配准算法对齐，将对齐后的管状结构人工标注图像相加；然后对得到的结果使用概率密度估计算法，估计管状结构的空间概率密度图像。在三维全卷积网络参数训练阶段，首先建立三维全卷积网络结构，然后将第二阶段得到的管状结构空间概率密度图像通过图像配准算法对齐至各训练图像，得到对应的管状结构位置先验分布图像；所有的训练图像、管状结构的位置先验分布图像、以及人工标注图像组成训练数据集，用于训练三维全卷积网络参数。在线时期包括三个阶段，分别为获取待分割图像、估计管状结构的位置先验分布和基于三维全卷积网络的管状结构分割。在获取待分割图像阶段，采集一张包含有待分割管状结构的三维医学图像，图像类型与获取方式与离线时期第一阶段相同，但不需要进行人工标注。在估计管状结构的位置先验分布阶段，将离线时期第二阶段得到的管状结构空间概率密度图像通过图像配准算法对齐至待分割图像，得到管状结构的位置先验分布图像。在基于三维全卷积网络的管状结构分割阶段，使用的网络结构和网络参数为离线时期第三阶段的结果，将待分割图像和对应的管状结构位置先验分布图像同时输入该三维全卷积网络，网络的输出为相应管状结构的增强结果，对该增强结果进行二值化得到最终的分割结果。

该方法整体流程如图1所示，包括离线时期与在线时期；其中：

离线时期包括以下步骤：

1)获取训练图像并对训练图像进行人工标注；

采集N张同种类型三维医学图像作为训练图像，N大于等于20，同种类型的图像指同类影像设备采集的图像，例如计算机断层扫描(CT)图像和核磁共振(MR)图像属于不同类型的图像。根据这些图像对待分割的管状结构进行0/1二值标注；本实施例具体包括：从医院的影像采集设备中获取40张三维计算机断层扫描图像作为训练图像，标注者根据医学知识对图像中的目标管状结构进行标注，标注的方式为0/1二值标注，得到对应的人工标注图像。

2)估计管状结构的空间概率密度得到管状结构空间概率密度图像；

首先将大量三维医学图像通过图像配准算法对齐，将对齐后的所有管状结构人工标注图像使用逻辑或运算进行合并；然后对得到的结果使用概率密度估计算法，估计管状结构的空间概率密度，得到管状结构空间概率密度图像；具体包括以下子步骤：

2-1)图像配准；

本发明中图像配准步骤可以使用很多方法，例如基于图像信息的配准、基于关键点检测的配准以及基于器官检测的配准等。本实施例采用以基于关键点检测的刚体配准方法：

首先定义三维医学图像中具有显著解剖学意义、位置相对稳定的点为关键点，3个不在同一直线上的关键点就可以确定特定目标结构在空间中的位置和姿态，例如在冠状动脉计算机断层扫描图像中，左、右冠状动脉口和左心室心尖符合上述要求，可以定义为关键点。定义三个关键点分别为A、B、C，基于这三个点定义统一的坐标系，其中原点O定义为关键点A、B连线的中点，z轴定义为从原点O指向关键点C，y轴与z轴垂直并且位于3个关键点定义的平面上，x轴与y轴、z轴都垂直，由y轴、z轴的外积得到。根据定义的坐标系将所有的管状结构人工标注图像都对齐至同一坐标系下。图2为以冠状动脉为例的坐标系OXYZ定义，3个关键点分别为左、右冠状动脉口A、B以及左心室尖C。

2-2)概率密度估计；

在图像配准步骤后，将对齐后的所有管状结构人工标注图像使用逻辑或运算进行合并，对得到的结果图像使用概率密度估计算法估计管状结构的空间概率密度得到管状结构空间概率密度图像。本发明中的概率密度估计步骤可以使用很多方法。本实施例采用非参数概率密度估计中的Parzen窗法，Parzen窗法估计概率密度

的具体公式为：

其中，N为超球窗内体素的总数目，x为当前体素，核函数K(x，x_i)采用超球窗函数定义：

其中，R为超球窗的半径，V是超球窗的体积，I(·)为示性函数，当括号内的条件满足时为1，否则为0。本实施例采用R＝20作为超球窗半径。

3)三维全卷积网络参数训练；

首先建立三维全卷积网络，然后将步骤2)得到的管状结构空间概率密度图像通过图像配准算法对齐至各训练图像，得到对应的管状结构位置先验分布图像；所有的训练图像、管状结构的位置先验分布图像、以及人工标注图像组成训练数据集，用于训练三维全卷积网络参数；具体包括以下子步骤：

3-1)三维全卷积网络的建立；

本发明方法将三维医学图像与对应的管状结构位置先验图像同时输入到三维全卷积网络中，输入层的通道数为2，而输出层通道数也为2，分别代表出现管状结构和背景的概率。本实施例采用以图3所示的三维全卷积网络结构，整个网络分为从高到低和从低到高两个部分，高、低用于描述中间结果的分辨率。图中的立方体代表网络的中间结果，X³形式的数字代表中间结果的分辨率，其余数字代表中间结果的通道数，图中的具体数字只是为了举例，实际中可以采用其他数值表示。本实施例中的网络具体结构定义为：

从高到低部分共有4个卷积模块，分别包含1、2、3、3个卷积层(对应于图3中的黑色实心宽箭头)，每个卷积层由批归一化、非线性激活以及三维卷积操作按顺序组成。每个卷积模块使用残差结构(对应于图3中的虚线箭头)，即卷积模块的原始输出加上卷积模块的输入作为卷积模块的最终输出，在进行相加操作前，需要先进行补零操作使输入与输出的通道数相同。每两个卷积模块之间为最大池化层，对应于图3中带边框的灰色实心宽箭头。

从低到高部分共有3个卷积模块，分别包含3、2、1个卷积层，每个卷积层同样由批归一化、非线性激活以及三维卷积操作按顺序组成。每个卷积模块的输入由两部分拼接而成，分别为上一层的输出和从高到低部分中具有相同分辨率的卷积模块输出，其中后者对应图3中的点划线箭头和虚线边框立方体，拼接方式为在通道维度上的堆叠。每个卷积模块同样使用残差结构，即卷积模块的输入(但不包含从高到低部分中的卷积模块输出)与原始输出相加作为卷积模块的最终输出。每个卷积模块之前为反卷积层，对应于图3中的灰色实心宽箭头。另外图3中带有边框的空心宽箭头代表三维卷积操作。

在从低到高部分的三个位置上还定义有深度辅助监督，分别位于第一个反卷积层的输入、输出、以及第二个反卷积层的输出，对这三个位置上的中间结果进行若干次反卷积操作，直至与三维全卷积网络的输入具有相同的分辨率大小。

3-2)网络参数训练；

首先将步骤2)得到的管状结构空间概率密度图像对齐至各训练图像，作为各训练图像的管状结构位置先验分布图像。每个训练图像与对应的管状结构位置先验分布图像堆叠为多通道图像。受到内存即显存大小的限制，本发明在得到的多通道图像上截取K³分辨率大小的局部图像块作为三维全卷积网络的输入，同时在对应的人工标注图像上的相同位置截取相同大小的局部图像块用于三维全卷积网络的网络参数训练，本实施例采用K＝64作为局部图像块的分辨率大小。

所有的训练图像、管状结构的位置先验分布图像、以及人工标注图像共同组成三维全卷积网络的训练数据集，训练时的损失函数定义为：

其中

p_t＝yp+(1-y)(1-p)，

上述损失函数作为三维全卷积网络的输出与人工标注图像之间的损失函数，

表示三维全卷积网络的输入图像，

表示三维全卷积网络的全部待训练参数，x为该图像中的像素点，y为类别取值(取0时为非管状结构，取1时为管状结构)，

则表示该图像中属于类别y的像素点集合，p为三维全卷积网络输出预测结果，其值越接近于1表明是管状结构的概率越高，α为权重因子，用于平衡类别间的重要程度，而γ为衰减因子，用于缓解简单样本主导现象。

的定义与

类似，但是预测结果p分别为从高到低部分中三个深度辅助监督位置上的反卷积输出。β^s为深度监督中不同尺度s下的权重系数，s在这里的取值为1、2、3。

根据定义的损失函数，输入训练数据进行分割网络参数的训练，分割网络的参数初始化为

当总的损失函数不再下降时停止训练，得到最优的网络参数

在线时期包括以下步骤：

4)获取待分割图像；

采集一张包含有待分割管状结构的三维医学图像，图像类型与获取方式与离线时期中步骤1)相同，但不需要进行人工标注。

5)估计管状结构的位置先验分布；

将离线时期步骤2)得到的管状结构空间概率密度图像通过图像配准算法对齐至待分割图像，得到管状结构的位置先验分布图像。图像配准算法与离线时期步骤2)中的图像配准方法相同，可以采用很多方法，例如基于图像信息的配准、基于关键点检测的配准以及基于器官检测的配准等。本实施例采用以基于关键点检测的刚体配准方法。

6)基于三维全卷积网络得到管状结构分割结果

首先建立三维全卷积网络，使用的网络结构与离线时期建立的三维全卷积网络相同，但是去掉了从低到高部分的三个深度辅助监督，如图4所示，图中各结构含义与图3相同。使用的网络参数为离线时期中步骤3)的训练结果。将待分割图像与对应的管状结构位置先验分布图像在通道维度堆叠为多通道图像，与离线时期相同，在该多通道图像上截取K³分辨率大小的局部图像块作为三维全卷积网络的输入，本实施例采用K＝64作为局部图像快的分辨率大小。图像块之间要有重叠，网络的输出为相应图像块的增强结果图像，将这些图像块的增强结果图像根据截取时的位置填充至与待分割图像相同大小的增强结果中，重叠部分采用取平均的方式，对与待分割图像相同大小的增强结果进行二值化得到最终的分割结果。

图5展示了本发明的分割算法的输出结果(以冠状动脉为例)，图中的黑色管状结构为使用本发明方法在冠状动脉计算机断层扫描图像中分割得到的结果。分割结果实际位于三维空间，图5为某个视角的投影显示。

Claims (3)

1.一种三维医学图像中管状结构的分割方法，其特征在于，包括离线时期与在线时期；其中：

离线时期包括以下步骤：

1)获取训练图像并对训练图像进行人工标注；

采集N张同种类型三维医学图像作为训练图像，N大于等于20，根据训练图像对待分割的管状结构进行0/1二值标注；

2)估计管状结构的空间概率密度得到管状结构空间概率密度图像；

首先将三维医学图像通过图像配准算法对齐，将对齐后的所有管状结构人工标注图像使用逻辑或运算进行合并；然后对得到的结果使用概率密度估计算法，估计管状结构的空间概率密度，得到管状结构空间概率密度图像；

3)三维全卷积网络参数训练；

首先建立三维全卷积网络，然后将步骤2)得到的管状结构空间概率密度图像通过图像配准算法对齐至各训练图像，得到对应的管状结构位置先验分布图像；所有的训练图像、管状结构位置先验分布图像、以及人工标注图像组成训练数据集，用于训练三维全卷积网络参数；

在线时期包括以下步骤：

4)获取待分割图像；

采集一张包含有待分割管状结构的三维医学图像，图像类型与获取方式与离线时期中步骤1)相同，但不进行人工标注；

5)估计管状结构的位置先验分布；

将离线时期步骤2)得到的管状结构空间概率密度图像通过图像配准算法对齐至待分割图像，得到管状结构的位置先验分布图像；图像配准算法采用以基于关键点检测的刚体配准方法；

6)基于三维全卷积网络得到管状结构分割结果；

首先建立三维全卷积网络，使用的网络结构与离线时期建立的三维全卷积网络相同，但是去掉从低到高部分的三个深度辅助监督，使用的网络参数为离线时期中步骤3)的训练结果；将待分割图像与对应的管状结构位置先验分布图像在通道维度堆叠为多通道图像，与离线时期相同，在该多通道图像上截取K³分辨率大小的局部图像块作为三维全卷积网络的输入，图像块之间有重叠，网络的输出为相应图像块的增强结果图像，将这些图像块的增强结果图像根据截取时的位置填充至与待分割图像相同大小的增强结果中，重叠部分采用取平均的方式，对与待分割图像相同大小的增强结果进行二值化得到最终的分割结果。

2.如权利要求1所述三维医学图像中管状结构的分割方法，其特征在于，所述步骤2)具体包括以下子步骤：

2-1)图像配准；

首先定义三维医学图像中具有显著解剖学意义、位置相对稳定的点为关键点，3个不在同一直线上的关键点确定特定目标结构在空间中的位置和姿态，基于这三个关键点定义统一的坐标系，根据定义的坐标系将所有的管状结构人工标注图像都对齐至同一坐标系下；

2-2)概率密度估计；

将所有对齐至同一坐标系下的管状结构人工标注图像相加，对相加得到的结果图像使用概率密度估计算法估计管状结构的空间概率密度得到管状结构空间概率密度图像；采用以非参数概率密度估计中的Parzen窗法，Parzen窗法估计概率密度

的具体公式为：

其中，x_i,i＝1,2,…,N为超球窗内是所有属于管状结构的体素，x为当前体素，核函数K(x,x_i)采用超球窗函数定义：

其中，R为超球窗的半径，V是超球窗的体积，I(·)为示性函数，当括号内的条件满足时为1，否则为0。

3.如权利要求1所述三维医学图像中管状结构的分割方法，其特征在于，所述步骤3)具体包括以下子步骤：

3-1)三维全卷积网络的建立；

将三维医学图像与对应的管状结构位置先验图像同时输入到三维全卷积网络中，输入层通道数为2，输出层通道数为2，其中第1个输出通道代表出现管状结构的概率，第2个输出通道代表出现背景的概率；整个网络分为从高到低和从低到高两个部分，高、低用于描述中间结果的分辨率；该网络具体结构定义为：

从高到低部分共有4个卷积模块，每个卷积层由批归一化、非线性激活以及三维卷积操作按顺序组成；每个卷积模块使用残差结构，即卷积模块的原始输出加上卷积模块的输入作为卷积模块的最终输出；

从低到高部分共有3个卷积模块，每个卷积层由批归一化、非线性激活以及三维卷积操作按顺序组成；每个卷积模块的输入由两部分拼接而成，分别为上一层的输出和从高到低部分中具有相同分辨率的卷积模块输出；拼接方式为在通道维度上的堆叠；每个卷积模块同样使用残差结构，即卷积模块的输入与原始输出相加作为卷积模块的最终输出；

在从低到高部分的三个位置上还定义有深度辅助监督，分别位于第一个反卷积层的输入、输出、以及第二个反卷积层的输出，对这三个位置上的中间结果进行若干次反卷积操作，直至与三维全卷积网络的输入具有相同的分辨率大小；

3-2)网络参数训练；

首先将步骤2)得到的管状结构空间概率密度图像对齐至各训练图像，作为各训练图像的管状结构位置先验分布图像；每个训练图像与对应的管状结构位置先验分布图像堆叠为多通道图像；受到内存即显存大小的限制；在得到的多通道图像上截取K³分辨率大小的局部图像块作为三维全卷积网络的输入，同时在对应的人工标注图像上的相同位置截取相同大小的局部图像块用于三维全卷积网络的网络参数训练；

所有的训练图像、管状结构的位置先验分布图像、以及人工标注图像共同组成三维全卷积网络的训练数据集，训练时的损失函数定义为：

其中

p_t＝y_p+(1-y)(1-p),

上述损失函数作为三维全卷积网络的输出与人工标注图像之间的损失函数，

表示三维全卷积网络的输入图像，

表示三维全卷积网络的全部待训练参数，x为该图像中的像素点，y为类别取值，y取0时为非管状结构，y取1时为管状结构，

则表示该图像中属于类别y的像素点集合，p为三维全卷积网络输出预测结果，α为权重因子，用于平衡类别间的重要程度，而γ为衰减因子，

的定义与

类似，预测结果p分别为从高到低部分中三个深度辅助监督位置上的反卷积输出，β^s为深度监督中不同尺度s下的权重系数，s取值为1、2、3；

根据定义的损失函数，输入训练数据进行分割网络参数的训练，分割网络的参数初始化为

当总的损失函数不再下降时停止训练，得到最优的网络参数

Images