CN112733953B - 基于Non-local CNN-GCN和拓扑子图的肺CT图像动静脉血管分离方法 - Google Patents

Abstract

本发明涉及一种基于Non‑local CNN‑GCN和拓扑子图的肺CT图像动静脉血管分离方法。首先，使用尺度空间粒子采样方法将血管树表示为一组中心线体素粒子。接着，根据粒子体素及其相邻体素构造拓扑图，并从拓扑图中提取只包含动脉或静脉分支的拓扑子图。然后，基于拓扑图训练Non‑local CNN‑GCN分类器。最后利用拓扑子图来改进分类结果。

Description

基于Non-local CNN-GCN和拓扑子图的肺CT图像动静脉血管 分离方法

技术领域

本发明属于计算机视觉、医学图像处理领域，具体涉及一种基于Non-local CNN-GCN和拓扑子图的肺CT图像动静脉血管分离方法。

背景技术

在不同的医学场景和多种疾病或病理状态下，动静脉分离有着独有的优势。在疾病研究中，血管密度、结构和大小等特征可用于评估疾病，而肺血管疾病可能通过不同的生理机制特异性地影响动脉或静脉。因此研究动脉和静脉能显示肺部病变和血管系统之间复杂的解剖关系，有利于提高肺部疾病诊断的准确性。动静脉分离有助于辅助肺部疾病的早期筛查与跟踪，医生可以对患者的病理状态进行诊断和跟踪，更可为肺病手术的术前规划、术中导航、术后评估等提供有效的参考，具有重大的临床意义。

近几年来，基于体素的方法以及基于深度学习的方法在动静脉分离上应用较普遍。基于体素的方法利用局部或全局连接信息标记动静脉体素。由于基于体素的方法通常对参数较敏感，或者对于一些特点疾病的CT效果不佳，效果并不理想。深度学习方法更具有鲁棒性和稳定性，现有的动静脉分离深度学习方法利用深度网络训练动静脉，通常利用卷积神经网络作为基础网络，而且对于网络分类结果缺乏有效的后处理方法。

现有技术存在如下缺陷：

1、传统CNN模型仅利用局部图像信息特征进行动静脉分类，分类精度不高。

2、缺乏有效的后处理方法。深度网络分类动静脉存在空间不一致问题，需要一定后处理优化分类结果。

因此，本发明针对以上问题，提出结合Non-local CNN-GCN网络和拓扑子图优化的肺CT图像动静脉血管分离方法。

发明内容

本发明的目的在于提供一种基于Non-local CNN-GCN和拓扑子图的肺CT图像动静脉血管分离方法，提升了动静脉血管的分类精度。

为实现上述目的，本发明的技术方案是：一种基于Non-local CNN-GCN和拓扑子图的肺CT图像动静脉血管分离方法，包括：

输入肺CT图像；

进行肺血管分割，提取血管粒子；

基于血管粒子，构造拓扑图，并从拓扑图中提取只包含动脉或静脉分支的拓扑子图；

基于拓扑图训练Non-local CNN-GCN分类器；

利用拓扑子图来改进分类结果。

在本发明一实施例中，所述肺CT图像采用肺部CT影像数据，每例CT影像均有超过300张图像，分辨率为512x512，切片层厚为1.00mm。

在本发明一实施例中，所述进行肺血管分割，提取血管粒子的具体实现方式如下：

采用正交融合U-Net++网络从肺CT图像中提取血管树，而后使用尺度空间粒子采样法将血管树提取成一组中心线体素粒子；尺度空间粒子采样法将三维血管图像看成四维图像f(X,s)，其中X为血管中心线X＝{x_i}，s为中心线点的尺度；尺度空间粒子采样法通过下式最小化粒子能量ε：

其中：N为中心线粒子数量；E_i为粒子图像能量，由图像在(x_i,s_i)处的局部性质决定；对于肺血管图像，采用Hessian矩阵分析图像的局部性质；E_ij为对称粒子间能量，α为平衡参数。

在本发明一实施例中，所述构造拓扑图，并从拓扑图中提取只包含动脉或静脉分支的拓扑子图的具体实现方式如下：

采用邻域检索的方法，提取血管中心线的拓扑结构，同时断开动静脉黏连点；血管中心线点分为三类：终端点、曲线点、和分叉点或动静脉黏连点；故采用血管中心线体素点分类方法对血管中心线体素点进行分类；血管中心线体素点分类方法定义为：对于血管中心线X上的一体素点x_i，令Ω₂₆(x_i)为血管中心线体素点x_i沿26邻域内相邻的体素个数；若Ω₂₆(x_i)＝1，则该血管中心线点是终端点；若Ω₂₆(x_i)＝2，则该血管中心线点是曲线点；若Ω₂₆(x_i)＞2，则该中心线点为分叉点或动静脉黏连点；基于这种规则，重新定义为一个由节点X＝{x_i}和边ε＝{e_i,j}组成的图G＝{X,ε}，边定义为：

e_i,j＝1，当Ω(x_i)＝2

e_i,j＝0，当Ω(x_i)≠2

此时动静脉黏连点不与相邻节点连接，动静脉黏连点被断开；为了一致性，每个节点总是连接到自身，即e_i,i＝1；由此得到的由终端点、曲线点、和分叉点形成的血管拓扑图G；在断开动静脉黏连点的基础上，通过搜索血管拓扑图G提取只包含动脉或静脉的拓扑分支子图T，T＝{t_k,k＝1,...,n}；t_k为同一子图上节点的集合；将G中的所有终端点表示为集合B＝{b_k,k＝1,…,n}；子图t_k从终端点b_k出发，搜索血管拓扑图G，将同一子图上的节点添加到t_k中。

在本发明一实施例中，所述Non-local CNN-GCN分类器，在CNN架构中插入Non-local模块，Non-local模块通过聚合其他位置的信息来增强查询位置的特征；令x_i为索引位置i的输入特征，Non-local模块的输出特征z_i可以表示为：

其中：C(X)是标准化因子；W_Z和W_g是要网络学习的线性变换矩阵；f(x_i,x_j)是对偶函数，表示位置i和j的关联关系；在Non-localCNN网络中，输入为以血管中心线为中心，垂直血管方向的局部图像块P，每个图像块根据中心体素标签标记为动脉或静脉，大小为S＝[32,32,3]，网络的输出为图像特征矩阵Y，定义如下

Y＝Φ(P∣Θ)

为了将Non-localCNN网络与GCN网络相连，将Non-localCNN网络输出图像特征矩阵Y作为GCN层的输入，GCN层定义如下：

H^(l+1)＝σ(WH⁽¹⁾Θ^(l))

其中：W为节点X的权重矩阵；Θ^(l)是一个分层的训练参数矩阵；σ(·)是一个激活函数；第(l+1)层的输入H^(l+1)是第l层的输出，且H⁽⁰⁾＝Y。

在本发明一实施例中，所述利用拓扑子图来改进分类结果的具体实现方式为：

对于血管拓扑图G，随机选取血管拓扑图中的n个节点及其对应的局部图像块作为网络输入；由于Non-localCNN-GCN分类器使用GCN网络，因此同时也需要获取这些节点的M个邻域节点的局部图像块；由此，节点和邻域节点及其对应的局部图像块作为Non-localCNN-GCN分类器的输入；通过Non-localCNN-GCN分类器得到初始分类结果后，应用拓扑分支子图T来优化分类：对于每个节点，由训练好的Non-localCNN-GCN分类器给出初始概率；如果节点概率大于0.5，则该节点为动脉，否则为静脉；每个分支子图属于动脉子图或静脉子图由每个分支子图中动脉和静脉的节点数量决定；如果分支子图中动脉节点数量多于静脉节点数量，该子图属于动脉子图，反之属于静脉子图。

相较于现有技术，本发明具有以下有益效果：

1、传统CNN模型仅利用局部图像信息特征进行动静脉分类，分类精度不高。Non-local模块克服传统CNN难以捕捉全局信息的缺点，学习全局图像特征。GCN模块能充分学习动静脉拓扑结构，提取拓扑图的空间特征。所以本文融合血管拓扑结构和图像信息特征的Non-local CNN-GCN网络分类动静脉。

2、采用拓扑子图优化网络初始分类结果，拓扑子图将动静脉分类的任务简化为对分支子图的分类，解决网络分类空间不一致问题。

附图说明

图1为本发明的方法流程图；

图2Non-local CNN-GCN网络结构图；

图3动静脉分离结果图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明一种基于Non-local CNN-GCN和拓扑子图的肺CT图像动静脉血管分离方法，包括：

输入肺CT图像；

进行肺血管分割，提取血管粒子；

基于血管粒子，构造拓扑图，并从拓扑图中提取只包含动脉或静脉分支的拓扑子图；

基于拓扑图训练Non-local CNN-GCN分类器；

利用拓扑子图来改进分类结果。

以下为本发明的具体实现过程。

本发明提出结合Non-local CNN-GCN和拓扑子图的肺CT动静脉自动分离方法。首先，使用尺度空间粒子采样方法将血管树表示为一组中心线体素粒子。接着，根据粒子体素及其相邻体素构造拓扑图，并从拓扑图中提取只包含动脉或静脉分支的拓扑子图。然后，基于拓扑图训练Non-local CNN-GCN分类器。最后利用拓扑子图来改进分类结果。

如附图1，是本发明方法的流程图，包括：

1)输入图像；

2)肺血管分割；

3)血管粒子提取；

4)拓扑图构造；

5)CT局部图像块；

6)Non-local CNN-GCN分类器；

7)拓扑子图优化.

根据以上的内容，下面详细说明具体的实施过程：

对于输入图像部分，本发明选用肺部CT影像数据，每例CT影像均有超过300张图像，分辨率为512x512，切片层厚为1.00mm。

肺血管分割使用正交融合U-Net++网络从CT图片中提取血管树，然后使用尺度空间粒子采样法将血管树提取成一组中心线体素粒子。尺度空间粒子采样法将三维血管图像看成四维图像f(X,s)，其中X为血管中心线X＝{x_i}，s为中心线点的尺度。尺度空间粒子采样法通过下式最小化粒子能量ε

其中：N为中心线粒子数量；E_i为粒子图像能量，由图像在(x_i,s_i)处的局部性质决定。对于肺血管图像，采用Hessian矩阵分析图像的局部性质。E_ij为对称粒子间能量，α为平衡参数。

拓扑图构造部分，本文采用邻域检索的方法，提取血管中心线的拓扑结构，同时断开动静脉黏连点。在血管中心线中，可以把中心线点分为三类：终端点、曲线点、和分叉点(或黏连点)。因此，一种中心线体素点分类方法定义如下：对于中心线X上的一点x_i，令Ω₂₆(x_i)为中心线体素点x_i沿26邻域内相邻的体素个数。若Ω₂₆(x_i)＝1，该中心线点是终端点；若Ω₂₆(x_i)＝2，该中心线点是曲线点；若Ω₂₆(x_i)＞2，该中心线点可能是分叉点，也可能是动静脉黏连点。基于这种规则，重新定义为一个由节点X＝{x_i}和边ε＝{e_i,j}组成的图G＝{X,ε}。边定义：

e_i,j＝1，当Ω(x_i)＝2

e_i,j＝0，当Ω(x_i)≠2

此时动静脉黏连点不与相邻节点连接，动静脉黏连点被断开。为了一致性，每个节点总是连接到自身，即e_i,i＝1。由此得到的由终端点、曲线点、和分叉点形成的血管拓扑图G。在断开动静脉黏连点的基础上，通过搜索血管拓扑图G提取只包含动脉或静脉的拓扑分支子图T，T＝{t_k,k＝1,...,n}。t_k为同一子图上节点的集合。将G中的所有终端点表示为集合B＝{b_k,k＝1,…,n}。子图t_k从终端点b_k出发，搜索血管拓扑图G，将同一子图上的节点添加到t_k中。

Non-local CNN-GCN分类器部分，本文在传统的CNN架构中插入Non-local模块，Non-local模块通过聚合其他位置的信息来增强查询位置的特征。令x_i为索引位置i的输入特征，Non-local模块的输出特征z_i可以表示为

其中：C(X)是标准化因子；W_Z和W_g是要网络学习的线性变换矩阵；f(x_i,x_j)是对偶函数，表示位置i和j的关联关系。在Non-localCNN网络中，输入为以中心线为中心，垂直血管方向的局部图像块P，每个图像块根据中心体素标签标记为动脉或静脉，大小为S＝[32,32,3]，网络的输出为图像特征矩阵Y，定义如下

Y＝Φ(P∣Θ)

为了将Non-localCNN网络与GCN网络相连，将Non-localCNN网络输出图像特征矩阵Y作为GCN层的输入,GCN层定义如下

H^(l+1)＝σ(WH⁽¹⁾Θ^(l))

其中：W为节点X的权重矩阵；Θ^(l)是一个分层的训练参数矩阵；σ(·)是一个激活函数，例如ReLU函数；第(l+1)层的输入H^(l+1)是第l层的输出，且H⁽⁰⁾＝Y。本文所提出的网络结构如图2所示。其中，C为卷积层，MP为max-pooling层，P为dropout层，FC为全连通层，GCN为图卷积层，Non-localBlock为Non-local模块。

拓扑子图优化部分，对于血管拓扑图G，随机选取拓扑图中的n个节点及其对应的局部图像块作为网络输入。由于使用GCN网络，因此同时也需要获取这些节点的M个邻域节点的局部图像块。由此，节点和邻域节点及其对应的局部图像块作为Non-localCNN-GCN网络的输入。本文M取3。通过Non-localCNN-GCN网络得到初始分类结果后，应用拓扑分支子图T来优化分类。对于每个节点，由训练好的Non-localCNN-GCN分类器给出初始概率。如果节点概率大于0.5，则该节点为动脉，否则为静脉。每个分支子图属于动脉或静脉子图由每个分支子图中动脉和静脉的节点数量决定。如果分支子图中动脉节点数量多于静脉节点数量，该子图属于动脉子图，反之属于静脉子图。动静脉分离结果如图3所示。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (5)

1.一种基于Non-local CNN-GCN和拓扑子图的肺CT图像动静脉血管分离方法，其特征在于，包括：

输入肺CT图像；

进行肺血管分割，提取血管粒子；

基于血管粒子，构造拓扑图，并从拓扑图中提取只包含动脉或静脉分支的拓扑子图；

基于拓扑图训练Non-local CNN-GCN分类器；

利用拓扑子图来改进分类结果；具体实现方式为：对于血管拓扑图G，随机选取血管拓扑图中的n个节点及其对应的局部图像块作为网络输入；由于Non-local CNN-GCN分类器使用GCN网络，因此同时也需要获取这些节点的M个邻域节点的局部图像块；由此，节点和邻域节点及其对应的局部图像块作为Non-local CNN-GCN分类器的输入；通过Non-local CNN-GCN分类器得到初始分类结果后，应用拓扑分支子图T来优化分类：对于每个节点，由训练好的Non-local CNN-GCN分类器给出初始概率；如果节点概率大于0.5，则该节点为动脉，否则为静脉；每个分支子图属于动脉子图或静脉子图由每个分支子图中动脉和静脉的节点数量决定；如果分支子图中动脉节点数量多于静脉节点数量，该子图属于动脉子图，反之属于静脉子图。

2.根据权利要求1所述的基于Non-local CNN-GCN和拓扑子图的肺CT图像动静脉血管分离方法，其特征在于，所述肺CT图像采用肺部CT影像数据，每例CT影像均有超过300张图像，分辨率为512x512，切片层厚为1.00mm。

3.根据权利要求1所述的基于Non-local CNN-GCN和拓扑子图的肺CT图像动静脉血管分离方法，其特征在于，所述进行肺血管分割，提取血管粒子的具体实现方式如下：

采用正交融合U-Net++网络从肺CT图像中提取血管树，而后使用尺度空间粒子采样法将血管树提取成一组中心线体素粒子；尺度空间粒子采样法将三维血管图像看成四维图像f(X,s)，其中X为血管中心线X＝{x_i}，s为中心线点的尺度；尺度空间粒子采样法通过下式最小化粒子能量ε：

其中：N为中心线粒子数量；E_i为粒子图像能量，由图像在(x_i,s_i)处的局部性质决定；对于肺血管图像，采用Hessian矩阵分析图像的局部性质；E_ij为对称粒子间能量，α为平衡参数。

4.根据权利要求3所述的基于Non-local CNN-GCN和拓扑子图的肺CT图像动静脉血管分离方法，其特征在于，所述构造拓扑图，并从拓扑图中提取只包含动脉或静脉分支的拓扑子图的具体实现方式如下：

采用邻域检索的方法，提取血管中心线的拓扑结构，同时断开动静脉黏连点；血管中心线点分为三类：终端点、曲线点、和分叉点或动静脉黏连点；故采用血管中心线体素点分类方法对血管中心线体素点进行分类；血管中心线体素点分类方法定义为：对于血管中心线X上的一体素点x_i，令Ω₂₆(x_i)为血管中心线体素点x_i沿26邻域内相邻的体素个数；若Ω₂₆(x_i)＝1，则该血管中心线点是终端点；若Ω₂₆(x_i)＝2，则该血管中心线点是曲线点；若Ω₂₆(x_i)＞2，则该中心线点为分叉点或动静脉黏连点；基于这种规则，重新定义为一个由节点X＝{x_i}和边ε＝{e_i,j}组成的图G＝{X,ε}，边定义为：

e_i,j＝1，当Ω(x_i)＝2

e_i,j＝0，当Ω(x_i)≠2

此时动静脉黏连点不与相邻节点连接，动静脉黏连点被断开；为了一致性，每个节点总是连接到自身，即e_i,i＝1；由此得到的由终端点、曲线点、和分叉点形成的血管拓扑图G；在断开动静脉黏连点的基础上，通过搜索血管拓扑图G提取只包含动脉或静脉的拓扑分支子图T，T＝{t_k,k＝1,...,n}；t_k为同一子图上节点的集合；将G中的所有终端点表示为集合B＝{b_k,k＝1,…,n}；子图t_k从终端点b_k出发，搜索血管拓扑图G，将同一子图上的节点添加到t_k中。

5.根据权利要求1所述的基于Non-local CNN-GCN和拓扑子图的肺CT图像动静脉血管分离方法，其特征在于，所述Non-local CNN-GCN分类器，在CNN架构中插入Non-local模块，Non-local模块通过聚合其他位置的信息来增强查询位置的特征；令x_i为索引位置i的输入特征，Non-local模块的输出特征z_i可以表示为：

其中：C(X)是标准化因子；W_Z和W_g是要网络学习的线性变换矩阵；f(x_i,x_j)是对偶函数，表示位置i和j的关联关系；在Non-local CNN网络中，输入为以血管中心线为中心，垂直血管方向的局部图像块P，每个图像块根据中心体素标签标记为动脉或静脉，大小为S＝[32,32,3]，网络的输出为图像特征矩阵Y，定义如下

Y＝Φ(P∣Θ)

为了将Non-localCNN网络与GCN网络相连，将Non-localCNN网络输出图像特征矩阵Y作为GCN层的输入，GCN层定义如下：

H^(l+1)＝σ(WH⁽¹⁾Θ^(l))

其中：W为节点X的权重矩阵；Θ^(l)是一个分层的训练参数矩阵；σ(·)是一个激活函数；第(l+1)层的输入H^(l+1)是第l层的输出，且H⁽⁰⁾＝Y。

Images