CN112967294A - 一种肝脏ct图像分割方法及系统 - Google Patents

Abstract

本发明公开了一种肝脏CT图像分割方法及系统，该方法首先获取CT图像，利用卷积神经网络编码器提取出CT图像的不同层次特征，并进行相邻层次关联，解码获得多层次特征图，通过对准块进行对齐，并调整到输入时的最高分辨率；将调整后的多层次特征图与全局上下文注意向量相乘并进行卷积，得到分割概率图，所述系统包括了编码模块、解码模块、对准模块和输出模块。本发明的方法及系统对不同层次特征根据权重进行融合，增强了特征的传输，同时考虑到实际肿瘤的大小以及肿瘤处于不同时期的影响，相比于其他分割算法，本方法具有更好的分割效果及鲁棒性。

Description

一种肝脏CT图像分割方法及系统

技术领域

本发明属于医学图像处理领域，具体涉及一种肝脏CT图像分割方法及系统。

背景技术

肝癌是世界上最常见的癌症之一，每年造成大量死亡。通过CT(ComputedTomography)体积对肝脏肿瘤状态的准确测量，包括肿瘤的体积、形态和位置，可以有效帮助医生进行对肝癌细胞的评估和手术规划。然而，肝脏肿瘤的大小、形状、纹理以及在患者体内的位置各不相同，并且不同类型的肿瘤(如良恶性肿瘤)在不同阶段表现各异，很难设计特征来提取肝脏肿瘤的特征。

现有技术中通常是采用基于全卷积网络(Fully Convolutional Network)的肝脏肿瘤自动分割方法，该模型采用编码器对输入图像进行特征提取和压缩，采用解码器对分割图像进行恢复。然而这种方法对只保留了不同层次的特征，然而忽略了解码器不同层次之间的相关性，存在着分割效果不够精细的问题。

发明内容

本发明提供了一种肝脏CT图像分割方法及系统，以解决现有技术中肝脏肿瘤CT图像分割效果不够精细的问题，为解决该问题，本发明的技术方案如下：

一种肝脏CT图像分割方法，包括：

获取CT图像，利用编码器提取出所述CT图像的不同层次特征，其中编码器为卷积神经网络；

将所述CT图像的不同层次特征进行相邻层次关联，进行解码，获得多层次特征图；其中相邻层次关联为将当前待解码的层次特征与其相邻的高级的层次特征进行加权；

对所述多层次特征图通过对准块进行对齐，并调整到获取CT图像时的最高分辨率；

将调整后的多层次特征图与全局上下文注意向量相乘并进行卷积，得到分割概率图；其中，所述的全局上下文注意向量通过所述CT图像的不同层次特征全局平均池化并进行卷积得到。

进一步地，所述的编码器中每一个卷积块由2个重复卷积层组成；所述的编码器中除了最后一个卷积块，其他卷积块都有与其对应的最大池化层。

进一步地，所述的编码器中，卷积层的滤波器大小为3×3，池化层的滤波器大小为2×2。

进一步地，所述CT图像的不同层次特征进行相邻层次关联，进行解码，获得多层次特征图包括：

将相邻层次中的高级层次特征通过2个1×1级的卷积层进行压缩，并通过Sigmoid函数生成高级层次向量，通过元素的乘法与低级层次向量特征集成，然后将加权后的低级层次特征传输到解码器；其中低级层次特征为当前待解码的层次特征。

进一步地，所述的相邻层次关联包括：

当当前待解码的层次为最高，则将最高级的层次特征直接进行解码。

进一步地，全局上下文注意向量还包括通过2个1×1级卷积层与调整后的多层次特征图对齐。

进一步地，将调整后的多层次特征图与全局上下文注意向量相乘，进行3×3和1×1的卷积，得到分割概率图。

一种肝脏CT图像分割系统，包括：

编码模块：用于提取出所述CT图像的不同层次特征；

解码模块：用于将所述CT图像的不同层次特征进行相邻层次关联，进行解码，获得多层次特征图；

对准模块：用于将所述多层次特征图通过对准块进行对齐，并调整到输入时的最高分辨率；

输出模块：用于将调整后的多层次特征图与全局上下文注意向量相乘并进行卷积，得到分割概率图。

本发明的有益效果在于：对不同层次特征根据权重进行融合，增强了特征的传输，考虑到了肝脏肿瘤的大小与不同相位的影响，所提出的分割算法具有更好的有效性和鲁棒性，提高了肝脏CT扫描的性能。

附图说明

图1是本发明实施例提供的肝脏CT图像分割方法示意图；

图2是本发明CT图像的不同层次特征进行相邻层次关联的示意图；

图3是本发明相邻层次关联的示意图；

图4是本发明实施例肝脏CT图像的扫描图；

图5是通过本发明算法进行图像分割的肝脏CT图像效果图；

图6是通过Deeplabv3进行图像分割的肝脏CT图像效果图；

图7是通过U-Net进行图像分割的肝脏CT图像效果图。

具体实施方式

下面结合附图和实施例，对本发明技术方案作进一步描述：

本实施例中提供了一种肝脏CT图像分割方法，如图1所示，该流程包括如下步骤：

步骤S101，获取CT图像，利用编码器提取出所述CT图像的不同层次特征，其中编码器为卷积神经网络，具体的，编码器由5个卷积块组成，卷积块后面都有一个最大池化层，一个卷积块由2个重复卷积层组成，每个卷积层由激活函数Relu激活，其中所有卷积层的滤波器大小为3×3，池化层的滤波器大小为2×2，并且所有卷积块后设置有全局平均池(GlobalAverage Pooling)。

步骤S102，如图2所示，将所述CT图像的不同层次特征进行相邻层次关联，进行解码，获得多层次特征图；其中相邻层次关联为将当前待解码的层次特征与其相邻的高级的层次特征进行加权。

由于提取出的CT图像属于不同层次特征，在低层次(如第一层次特征)上，网络编码更精细的空间纹理。但由于接受域小，语义一致性差。在高层次(如第三层次特征)上，由于接受度大，语义一致性强。然而，由于缺少纹理细节，只能实现粗略的预测。因此，本发明结合了低层次特征和高层次特征的优点，利用相邻层次关联对低层次特征进行权重，进一步增强了特征的传输，即第二层次特征对第一层次特征进行加权，得到集成后的第一层次特征。

如图3，相邻层次关联具体来说，是高层次特征通过2个1×1级的卷积层(Convolution)进行压缩，并通过Sigmoid函数生成语义注意向量(Semantic AttentionVector)，并通过元素的乘法与低层次特征集成，最后将集成后的层次特征传输到解码器。

Y_t∈R^H×W×C,t∈[0,T)，表示编码器第t层生成的层次特征，H,W,C分别表示层次特征的高度，宽度和通道，则当语义注意向量Vt∈R^1×1×C时有：

其中，f_g()表示全局平均池，Conv()表示卷积操作，

表示Sigmoid函数激活。最终经过相邻层次关联后的特征即为V_tY_t，由于高层次特征为低层次特征提供了细节指导，使得特则会那个传输更加有效；特殊的，当当前待解码的层次属于最高层次特征，则直接将输入的特征进行解码。

步骤S103，对所述多层次特征图通过对准块进行对齐，并调整到获取CT图像时的最高分辨率；对准快是一个1×1的卷积，它对齐通道的数量。随后采样操作使用双线性插值将所有特征映射调整到输入的最高分辨率。

步骤S104，将调整后的多层次特征图与全局上下文注意向量相乘并进行卷积，得到分割概率图；其中，所述的全局上下文注意向量通过所述CT图像的不同层次特征全局平均池化并进行卷积得到。

在实际肝脏CT扫描中，区分不同大小的肿瘤需要不同的纹理，大的肿瘤需要分割较大的视野与全局信息，小的肿瘤则更需要聚焦细节。因此，有必要根据肝脏肿瘤的性质，给与不同特征不同的权重，最后将不同的输出特征图串联，构成多层次的特征图P∈R^{H ×W×(TC')}，H,W,C'分别表示层次特征的高度，宽度和经过对齐块对齐后的通道，T表示第t层次特征，可以通过：

P＝[p₀；p₁；...；p_t-1],p_t＝f_up(Conv_1×1(V_tY_t)) (2)

获得其中p_t∈R^H×W×C’为第t层尺度的输出特征图，f_up为上采样操作，Conv()为卷积操作。

全局注意力分支由全局平均池和两个卷积层组成，全局平均池负责将输入CT图像的特征图压缩为全局上下文向量(Global Context Attention Vector)G∈R^H×W×(TC')，

其中f_g()表示全局平均池，Conv()表示卷积操作，

表示Sigmoid函数激活，Y_T,t∈[0,T)，表示编码器第t层生成的层次特征。

最后，该向量经过由Sigmoid型函数激活的2个1×1级卷积层，沿着通道变换特征，并将通道对齐到多层次特征图，将全局上下文注意向量与调整后的多层次特征图相乘，即GP，并进行3×3和1×1的卷积：得到分割概率图。

在临床数据库中，获得456名动脉和静脉期患者的912个CT数据，CT容积(CTVolumes)为512×512,XY间距分辨率为0.53mm-0.91mm,Z间距分辨率为1.25mm-1.5mm。其中，图4是其中带有肿瘤的肝脏扫描图，图5是利用本方法进行图像分割后的效果图，图6和图7分别是采用Deeplabv3和U-Net进行图像分割后的效果图，在实验中，随机选取618个CT体积进行训练，其余294个CT体积进行测试，同时根据肿瘤的大小进一步划分为Large Size组为大于10mm的64例，Medium Size组为5mm-10mm的110例，Small Size组为小于5mm的120例。如表1，本发明提出的肝脏肿瘤分割算法分别与两种广泛使用的分割算法Deeplabv3和U-Net进行比较，对于Deeplabv3，我们以ResNet-101为核心，设置输出stride为16，对于U-Net，构建了一个5级编码器和解码器，并将第一级的特性数量设置为64。可以看出本算法在肿瘤不同大小的情况下分割率优于其他算法。

表1

同时，如表2，本发明在肿瘤处于动脉期(Arterial Phase)和静脉期(VenousPhase)的情况下与两种分割算法进行比较，同样可以看出本算法在肿瘤不同阶段的影响下，本算法的分割率优于这两种算法。

表2

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种肝脏CT图像分割方法，其特征在于，包括：

获取CT图像，利用编码器提取出所述CT图像的不同层次特征，其中所述的编码器为卷积神经网络；

将所述CT图像的不同层次特征进行相邻层次关联，进行解码，获得多层次特征图；其中相邻层次关联为将当前待解码的层次特征与其相邻的高级层次特征进行加权；

对所述多层次特征图通过对准块进行对齐，并调整到获取CT图像时的最高分辨率；

将调整后的多层次特征图与全局上下文注意向量相乘并进行卷积，得到分割概率图；其中，所述的全局上下文注意向量通过所述CT图像的不同层次特征全局平均池化并进行卷积得到。

2.根据权利要求1所述的方法，其特征在于，所述的编码器中每一个卷积块由2个重复卷积层组成；所述的编码器中除了最后一个卷积块，其他卷积块都有与其对应的最大池化层。

3.根据权利要求1所述的方法，其特征在于，所述的编码器中，卷积层的滤波器大小为3×3，池化层的滤波器大小为2×2。

4.根据权利要求1所述的方法，其特征在于，将所述CT图像的不同层次特征进行相邻层次关联，进行解码，获得多层次特征图包括：

将相邻层次中的高级层次特征通过2个1×1级的卷积层进行压缩，并通过Sigmoid函数生成高级层次向量，通过元素的乘法与低级层次向量特征集成，然后将加权后的低级层次特征传输到解码器；其中低级层次特征为当前待解码的层次特征。

5.根据权利要求4所述的方法，其特征在于，所述的相邻层次关联包括：

当当前待解码的层次为最高，则将最高级的层次特征直接进行解码。

6.根据权利要求1所述的方法，其特征在于，所述的全局上下文注意向量包括所述CT图像的不同层次特征通过全局平均池化,2个1×1级卷积层与调整后的多层次特征图对齐。

7.根据权利要求1所述的方法，其特征在于，所述将调整后的多层次特征图与全局上下文注意向量相乘，进行3×3和1×1的卷积，得到分割概率图。

8.一种肝脏CT图像分割系统，其特征在于，包括：

编码模块：用于提取出所述CT图像的不同层次特征；

解码模块：用于将所述CT图像的不同层次特征进行相邻层次关联，进行解码，获得多层次特征图；

对准模块：用于将所述多层次特征图通过对准块进行对齐，并调整到输入时的最高分辨率；

输出模块：用于将调整后的多层次特征图与全局上下文注意向量相乘并进行卷积，得到分割概率图。

Images