CN112258514B

CN112258514B - 一种ct影像肺血管的分割方法

Info

Publication number: CN112258514B
Application number: CN202011307131.6A
Authority: CN
Inventors: 郭金泉; 佘宇航; 何炳蔚
Original assignee: Fuzhou University
Current assignee: Fuzhou University
Priority date: 2020-11-20
Filing date: 2020-11-20
Publication date: 2021-11-26
Anticipated expiration: 2040-11-20
Also published as: CN112258514A

Abstract

本发明涉及一种CT影像肺血管的分割方法。该方法包括步骤：步骤S1，获取待分割的图像；步骤S2，对待分割图像进行数据预处理；步骤S3，局部输入图像块采样；步骤S4，图像块输入到预先训练好的分割模型；步骤S5，分割结果后处理，构造血管树状图进行细化；步骤S6，分割结果三维可视化。其中，分割网络模型是改进的3D Unet模型，所述改进的3D Unet模型中添加了多尺度策略来捕获丰富的上下文信息，以改善肺血管的特征性能。针对病理肺数据的肺血管分割引入了注意力机制，可以自适应地突出显示目标的相关区域并隐式地抑制不相关的特征，尤其是病变区域对血管分割的影响。

Description

一种CT影像肺血管的分割方法

技术领域

本发明属于计算机视觉、数字图像处理领域，具体涉及一种CT影像肺血管的分割方法。

背景技术

肺血管分割在计算机辅助检测系统中不可或缺。准确的肺血管分割对临床诊断、分析病变部位及手术计划起到重要的作用。在计算机辅助检测系统中利用影像学、数字图像处理和计算机视觉技术，对肺部CT影像中肺血管结构的自动分割并且三维可视化显示，实现目标组织结构特征信息的获取，可以向医生提供更多的观察方式，给医生更多的参考，有利于医生更快和更准确的做出判断。

传统的肺血管分割方法，大部分是依赖于手工制作的特性，导致有限的特性表示能力，分割结果不理想。肺血管结构复杂，分支数量繁多，并且需要考虑CT成像时分辨率，噪声等的影响，挑战很大。常见的传统分割技术方案有：基于血管增强的分割方法，利用感兴趣区域将肺血管区域与背景进行比较；基于边缘和区域的可变形模型，将问题转化为求解模型能量函数极小化问题；基于跟踪算法可以通过跟踪种子点来进行肺血管分割，对于连通的血管树结构有着优异的效果。对于肺血管分割，现有的深度学习分割方法都是基于健康的肺部CT数据前提下进行肺血管语义分割。

如上所述，目前常用的基于血管增强的肺血管分割方法，需要给定阈值来区分肺血管与背景特征，对阈值的选择要求较高，选择不当容易出现漏分割或过分割；基于边缘和区域的可变形模型，需要设计任务的目标函数，并在内力外力作用下获取最小能量的轮廓，复杂情况时计算量过大，难以收敛；基于跟踪算法一般采用手动设置种子点，方法耗时且难以实现自动化。传统方法在肺血管的分割任务的应用中，方法的泛化性、鲁棒性较差，只在特定的环境中才能取得较好的结果。在深度学习分割方法上，只针对健康数据的分割，在实际临床使用中得不到满足医生需求的结果。

发明内容

本发明的目的在于提供一种CT影像肺血管的分割方法，解决适用于健康和病理性肺CT影像的肺血管分割问题，结合多尺度策略和注意力机制的卷积神经网络来提升肺血管分割的精度为实现上述目的，本发明的技术方案是：一种CT影像肺血管的分割方法，包括如下步骤：

步骤S1、获取待分割的图像；

步骤S2、对待分割图像进行数据预处理；

步骤S3、局部输入图像块采样；

步骤S4、图像块输入到预先训练好的分割模型；

步骤S5、分割结果后处理，构造血管树状图进行细化；

步骤S6、分割结果三维可视化。

在本发明一实施例中，步骤S2的具体实现方式为：将待分割图像数据的Hounsfield单元值调整到范围[-1024,600]HU，然后将图像数据归一化为零均值和单位方差。

在本发明一实施例中，步骤S3的具体实现方式为：在图像数据中随机从中密集提取128x128x64大小的局部图像块。

在本发明一实施例中，步骤S4中，采用的分割模型为改进的3DUnet网络模型，所述改进的3DUnet网络模型添加多尺度策略来捕获丰富的上下文信息，以改善肺血管的特征性能。

在本发明一实施例中，所述改进的3DUnet网络模型的网络架构分为对称的两个部分：编码下采样路径和解码上采样路径，编码下采样路径包括四个下采样阶段，每个阶段由两个3*3*3的卷积层和BN层、激活函数ReLU组成，多尺度策略在不同的下采样阶段中采用不同大小的池化步长将不同阶段的特征图聚合到编码下采样路径最后一个池化阶段，以获取图像任意尺度的血管特征；解码路径包括四个上采样阶段，每个阶段由两个3*3*3的卷积层和BN层、激活函数ReLU组成。

在本发明一实施例中，步骤S4中，改进的3DUnet网络模型采用注意力机制来引导网络对于目标特征的学习，所述注意力机制具体分为通道注意力模块和空间注意力模块：

通道注意力模块：假定输入图像块为Fx，

其中H、W、D、C分别表示图像块的高度、宽度、深度和通道数；通过全局平均池化操作获取图像块的全局特征信息，使用该全局信息计算通道间的权重β，计算公式如下所示，

β＝σ(W₂(ReLU(W₁S+b₁))+b₂)

其中，权重向量W1、W2，使用逐通道卷积1×1×1进行计算，b1、b2分别是对应权重向量的偏移量；通道注意门模块选择性地突出显示通道之间的依赖性；此外，围绕激活函数ReLU构造两个1*1*1卷积层，以减少模型参数的数量；

空间注意力模块：其计算公式如下所示，

其中，W_F、W_g分别表示低层特征和高层特征的线性变换矩阵，b_Fg、b_ψ是对应的偏移量；

是特征区域间的注意力激活权重，将深层特征和浅层特征通过1*1*1的卷积核来提取特征并将两者逐像素相加再一起，σ是归一化函数，使用Sigmoid函数计算注意力系数。

在本发明一实施例中，步骤S5的分割结果后处理中，对节点数小于20的连通节点在图像上进行裁剪，用以去除噪声和细小分叉。

在本发明一实施例中，步骤S6中，采用VTK技术进行分割结果三维可视化。

相较于现有技术，本发明具有以下有益效果：

1、本发明中采用注意力机制在病理肺数据的情况也能准确的分割出肺血管，而且在健康肺数据中能够得到更好的效果。

2、本发明中收集了大量不同协议的数据，也包含非增强和增强数据，还收集了不同病理状态下的数据集，能够保证网络模型的泛化性和鲁棒性。

3、本发明通过VTK技术使得分割结果图能够在三维空间中显示，有利于医生的直接观察。

附图说明

图1为为本发明的方法流程图；

图2肺血管分割网络的总体框架；

图3CACM通道注意力示意图；

图4SACM空间注意力示意图；

图5肺血管分割结果三维可视化。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

如附图1，是本发明方法的流程图，包括：

1)输入图像；

2)图像预处理；

3)局部输入图像块数据采样；

4)肺血管语义分割网络；

5)肺血管分割结果图；

6)分割结果图后处理；

7)分割结果的三维可视化；

根据以上的内容，下面详细说明具体的实施过程：

首先，输入图像步骤。本发明可以处理不同图像协议的CT数据、增强和非增强的CT数据。

获取图像后，首先进行图像的预处理步骤：将所有数据的Hounsfield单元值调整到范围[-1024,600]HU，在这个范围中包含了所有的肺血管信息，这步操作可以减少后续的计算量，然后将图像归一化为零均值和单位方差。

由于GPU运算内存的限制，在图像数据进入语义分割网络之前，我们还需要进一步对图像进行采样，具体做法是在三维CT图像中随机从中密集提取128x128x64大小的局部图像块，随机密集选取的目的是保证块与块之间有着不同的重叠率，这样使得块与块之间的分割边缘光滑。

接下来详细介绍发明中设计的一种新的肺血管语义分割网络，网络以3DUnet网络模型为基础，U-net结构是医学图像分割任务常用框架,U-Net结构在生物医学图像分割中表现出良好的性能。发明中根据肺血管分割任务的特征提出了网络的总体架构(如图2所示)。输入的数据为上一步骤取得的局部图像块，输出为对应图像的分割掩膜图，网络架构主要分为对称的两个部分，编码下采样路径和解码上采样路径，编码下采样路径有四个下采样阶段，每个阶段由两个3*3*3的卷积层和BN(BatchNormalization)层、激活函数ReLU(Rectifiedlinearunit)组成，主要作用是对输入图像进行特征提取，最后输出多个特征图。其中多尺度策略是指在不同的下采样阶段中采用不同大小的池化步长将不同阶段的特征图聚合到编码路径最后一个池化阶段，这样能够获取图像任意尺度的血管特征。将下采样过程和多尺度策略得到的特征图组合在一起，输入解码路径中，解码路径包含四个上采样阶段，每个阶段由两个3*3*3的卷积层和BN(BatchNormalization)层、激活函数ReLU(Rectifiedlinearunit)组成，主要作用是对输入图像还原回本来的分辨率图像，在最后输出层中使用Sigmoid函数作为激活函数得到与原始输入图像大小一致的分割结果图。

其中，由于在病理情况下，尤其是在肺血管周围的病灶会对肺血管的分割带来很大的影响，为了尽量缓解这种影响，发明中设计了一个注意力机制来引导网络对于目标特征的学习，同时抑制图像中的不相关区域。这部分内容又可以细分为通道注意力模块和空间注意力模块。通道注意力模块如图3所示，假定输入图像块为Fx，

其中H、W、D、C分别表示图像块的高度、宽度、深度和通道数。通过全局平均池化操作获取图像块的全局特征信息，使用该全局信息计算通道间的权重β，计算公式如下所示：

β＝σ(W₂(ReLU(W₁S+b₁))+b₂)

其中，权重向量W1、W2，使用逐通道卷积1×1×1进行计算，b1、b2分别是对应权重向量的偏移量。β的值将逐渐加权更多相关特征。因此，频道注意门模块选择性地突出显示频道之间的依赖性。此外，围绕ReLU激活函数构造了两个1X1X1卷积层，以减少模型参数的数量。

如图4所示是注意力机制中的空间注意力模块，不同于通道注意力模块关于在特征通道之间存在的依赖关系，基于网格的门控使得注意力更加局限于局部区域，隐式地学习与特征相关的区域，并抑制与特征无关的区域。计算公式如下所示：

从上面步骤中可以得到肺血管的分割结果图，对肺血管结果图进行后处理，利用血管结构对分割结果进行优化。根据分割结果的骨架构造血管树状图的形态学表示。血管树状图中包含节点和边，可以计算出连通的部分。在后处理中，对节点数小于20的连通节点在图上进行裁剪，这样可能残留的一些噪声组织和无用的血管小分叉就可以被清理，得到细化后的分割结果。后处理输入为端到端分割网络的分割结果，输出为主要连接分支组成的精细化血管分割。

图5为三维可视化的肺血管分割结果示意图。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims

1.一种CT影像肺血管的分割方法，其特征在于，包括如下步骤：

步骤S1、获取待分割的图像；

步骤S2、对待分割图像进行数据预处理；

步骤S3、局部输入图像块采样；

步骤S4、图像块输入到预先训练好的分割模型；

步骤S5、分割结果后处理，构造血管树状图进行细化；

步骤S6、分割结果三维可视化；

步骤S4中，采用的分割模型为改进的3D Unet网络模型，所述改进的3D Unet网络模型添加多尺度策略来捕获丰富的上下文信息，以改善肺血管的特征性能；

所述改进的3D Unet网络模型的网络架构分为对称的两个部分：编码下采样路径和解码上采样路径，编码下采样路径包括四个下采样阶段，每个阶段由两个3*3*3的卷积层和BN层、激活函数ReLU组成，多尺度策略在不同的下采样阶段中采用不同大小的池化步长将不同阶段的特征图聚合到编码下采样路径最后一个池化阶段，以获取图像任意尺度的血管特征；解码路径包括四个上采样阶段，每个阶段由两个3*3*3的卷积层和BN层、激活函数ReLU组成；

步骤S4中，改进的3D Unet网络模型采用注意力机制来引导网络对于目标特征的学习，所述注意力机制具体分为通道注意力模块和空间注意力模块：

通道注意力模块：假定输入图像块为F_x，

其中H、W、D、C分别表示图像块的高度、宽度、深度和通道数；通过全局平均池化操作获取图像块的全局特征信息，使用该全局特征信息计算通道间的权重β，计算公式如下所示，

β＝σ(W₂(ReLU(W₁S+b₁))+b₂)

其中，权重向量W₁、W₂，使用逐通道卷积1×1×1进行计算，b₁、b₂分别是对应权重向量的偏移量；通道注意力模块选择性地突出显示通道之间的依赖性；此外，围绕激活函数ReLU构造两个1*1*1卷积层，以减少模型参数的数量；

空间注意力模块：其计算公式如下所示，

其中，W_F、W_g分别表示低层特征和高层特征的线性变换矩阵，

b_ψ是对应的偏移量；

2.根据权利要求1所述的一种CT影像肺血管的分割方法，其特征在于，步骤S2的具体实现方式为：将待分割图像数据的Hounsfield单元值调整到范围[-1024，600]HU，然后将图像数据归一化为零均值和单位方差。

3.根据权利要求1所述的一种CT影像肺血管的分割方法，其特征在于，步骤S3的具体实现方式为：在图像数据中随机从中密集提取128x128x64大小的局部图像块。

4.根据权利要求1所述的一种CT影像肺血管的分割方法，其特征在于，步骤S5的分割结果后处理中，对节点数小于20的连通节点在图像上进行裁剪，用以去除噪声和细小分叉。

5.根据权利要求1所述的一种CT影像肺血管的分割方法，其特征在于，步骤S6中，采用VTK技术进行分割结果三维可视化。