CN112132818B - 基于图卷积神经网络构建的肺结节检测和临床分析方法 - Google Patents

Abstract

本发明属于图像处理领域，具体涉及一种基于图卷积神经网络构建的肺结节检测和临床分析方法。本发明采用的是一个三阶段的算法框架，首先利用传统金字塔网络对感兴趣区进行特征提取，接着对slices构建图结构，并利用GCN对节点进行分类，最后单独的节点特征与slices的全局上下文信息融合通过GCN完成分类预测和回归预测。本发明公开的一种基于图卷积神经网络构建的肺结节检测和临床分析方法旨在解决对特殊节点造成漏检，使得检测精度不高的问题；另外，本发明利用单独的节点特征与slices的全局上下文信息融合，充分考虑了各节点的三维空间信息的联系。

Description

基于图卷积神经网络构建的肺结节检测和临床分析方法

技术领域

本发明属于图像处理领域，具体涉及一种基于图卷积神经网络的肺结节检测装置的建立方法。

背景技术

在肺结节检测中，常用的深度学习方法有二维卷积神经网络(2D-CNN)、三维卷积神经网络(3D-CNN)和更快速的区域卷积神经网络(Faster R-CNN)。

Setio等提出了基于多视角的2D-CNN，将其应用于肺结节的检测中。为避免漏诊，对该网络的第一步提高了灵敏度，但出现了大量假阳性结节，因此需要在第二步进行假阳性去除操作。此网络结构分为两个部分：第一部分由3个探测器对结节进行检测，确定可疑候选结节；第二部分由包含卷积层、最大池化层的2D-CNN和另一个包含全卷积层和softmax层的2D-CNN组成，首先在每个平面上均训练一个2D-CNN，对于每个检测到的候选结节，提取9个不同方向平面上的信息，用于肺结节的假阳性去除操作；将结果输入到4种不同的融合方法中，比较不同融合方法对结构性能的影响。

3D-CNN是在2D-CNN的基础上改进的卷积神经网络，2D-CNN的卷积核是二维的，而3D-CNN的卷积核是三维的。在CT图像里，多出的维度是层数维。使用3D-CNN能更好地获取图像的空间信息，提取到更多的特征信息，有助于肺结节的检测。3D-CNN在肺结节检测过程中，能够获得图像更多的空间特征信息，有助于肺结节的检测。

现有采用深度学习算法检测肺部CT图中肺结节的方法很多，但是检测精度不高。

造成精度不高的主要原因为：(1)检测阶段的召回率较低于某些特殊类型的肺结节，造成漏检的情况，使得检测精度不高。(2)肺结节的尺寸不均衡，较小的肺结节容易被忽视。(3)没有充分考虑肺结节的3维空间信息的联系。

基于上述3个原因，使得采用深度学习算法检测和分割出来的肺结节典型性和代表性不足。因此，提高肺结节检测的准确性和训练网络分割出更具代表性的结节成为了急需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于基于图卷积神经网络构建的肺结节检测和临床分析方法。

为了实现上述目的，本发明采用如下技术方案：

一种基于图卷积神经网络构建的肺结节检测和临床分析方法，包括以下阶段：

对所述感兴趣区的slices构建图结构，由所述图结构得到邻接矩阵和特征矩阵；

对GCN进行训练：将所述邻接矩阵和特征矩阵输入到所述GCN中，对所述图结构中所述节点的分类，所述节点分为第一节点和第二节点；

所述第一节点的特征与所述slices的全局上下文信息融合，通过所述GCN进行分类预测和回归预测。

进一步，对所述节点分配标签I＝{0,1}，其中所述第一节点的标签为I＝1,所述第二节点的标签为I＝0。

进一步，所述节点特征包括节点形状，节点灰度值，节点纹理特征，节点空间位置四个特征。

进一步，对所述GCN进行训练是由所述GCN从所述图结构中提取特征，利用获得的特征信息来实现节点分类任务，所述节点分类任务具体步骤如下：

取所述slices数据，其中有N个节点；

把所述节点的特征组成一个N×D维的矩阵X，D为所述节点的特征个数，所述矩阵X是特征矩阵，X∈R^N×D，X_i∈R^D是第i节点的特征；X_ij表示矩阵X的第i行第j列，即第i节点的第j个特征。

把各个所述节点之间的关系组成一个N×N维的矩阵A，所述矩阵A是邻接矩阵；

将X和A作为输入，得到所述GCN在层与层之间的传播公式为：

在等式中，其中I是单位矩阵；A本身包含了图中每个所述节点与相邻节点的连接信息，加上I之后，运算操作既包含所述节点自身的信息还包含所述相邻节点的信息；

是顶点的度矩阵，对角线上元素值为每个顶点的度，对角线以外元素的值为0；W是可以训练的权重矩阵；H是每一层的特征，对输入层而言，H就是X；σ是非线性激活函数；

感兴趣区的slices输入所述GCN；

通过所述GCN的若干层后，每个所述节点都从特征X映射为特征Z；构造一个两层的GCN，激活函数分别采用ReLU和SoftMax，得到正向传播的公式为：

W⁽⁰⁾∈R^C×H是输入层到隐含层的隐藏层的权重矩阵；

W⁽¹⁾∈R^H×F是隐含层到输出层的权重矩阵；

其中softmax激活函数是：

并进行逐层定义。

进一步，对所述GCN误差处理如下：

计算所有节点的交叉熵误差：

其中，Y_lf表示节点实际标签值，Y是所有所述第一节点集合，神经网络权重W⁽⁰⁾和W⁽¹⁾使用梯度下降进行训练；其中，Z_lf表示softmax计算出的第一节点的概率。

进一步，所述回归预测包括所述节点的深度特征统计信息和图像内所述节点的统计信息，所述深度特征统计信息包括节点尺寸的平均值和最大值，所述统计信息包括节点总数和高概率节点数目。

进一步，所述全局上下文信息融合具体包括：将每个单独的所述第一节点的局部特征抽取出来与所述slice的全局上下文信息聚集在一起，并输入到所述GCN，再经过一层全连接层，输出分类分支和回归分支；所述上下文信息是所述图结构和所述邻接矩阵，所述图结构包含全部所述slice的全局特征。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于图卷积神经网络构建的肺结节检测和临床分析方法，其有益效果在于：

1、利用图卷积神经网络对节点进行更精细的分类，当应用于医疗领域时，对节点精细的分类能够很好的辅助医生提高对假阳性准确率的判断；

2、利用单独的节点特征与slices的全局上下文信息融合，充分考虑了各节点的三维空间信息的联系。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明的流程图；

图2附图为本发明的第一阶段结构示意图

图3附图为本发明的第二阶段建模过程示意图；

图4附图为本发明的第三阶段分类预测和回归预测示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于图卷积神经网络构建的肺结节检测和临床分析方法，下面将根据图1对本发明的具体实施方式做出说明。

第一阶段、CT图像检测出感兴趣区，利用传统特征金字塔网络对感兴趣区进行特征提取。

如图2所示，利用传统的金字塔网络对感兴趣区进行特征提取。可以采用传统的通用物体检测模型Faster R-CNN中引入解卷积结构，用于拟合结节的大小。该网络由两个模块组成：区域提议网络(RPN)旨在提出结节的潜在区域(也称为感兴趣区域(Region-of-Interest,ROI))；ROI分类器识别节点。

第二阶段、对特征提取图像构建图结构，并利用图卷积神经网络对结节进行分类。

首先，每一个3D图像的特征提取图像标记为S，…S+n。每一张特征提取图像都有一个主节点表示，数字为0。如果在上一阶段在某个特征提取图像上有检测出若干个结节，那么就把这些结节依次标记为1,2，…，并且这些节点为外粗线框。本文提出的GCN的侧重点是在3维的角度去降低假阳率。建模过程如图3所示。

实线框有2种含义，实线框代数字为0表示一个特征提取图像的主节点，主节点并未有实际的物理意义，可以用它表示与它相邻的2个特征提取图像的连接。数字为1,2…等代表在相应特征提取图像的结节数。

其中有三种连接关系，绿色箭头代表连接紧密的两个节点之间的连接；黑色箭头表示相邻的特征提取图像上检测出结节的节点的连接；橙色箭头表示相邻的两个特征提取图像之间的主节点的连接。

另外，在该研究中的图是有向图，从上图可以看到邻接矩阵分为了输入和输出两部分，输入表示指向该节点，输出表示从该节点指向其他节点。图中每个节点的特征，是用第一阶段得到的。节点特征可用N维向量来表示，主要包括节点的各种属性信息。属性信息至少包括结节形状、结节灰度值、结节纹理特征、结节空间位置。

图结构和邻接矩阵一起输入到2层图卷积神经网络。左边输入的图结构中的一部分节点是有标签的(实线框代表有结节)，还有一部分节点没有标签，主要任务就是预测标签的这部分结节是否可以排除，降低假阳性。如果经过网络训练判断结节可以排除，则把此结节排除，暂用红色填充的节点表示。如图2中的最后模型输出部分所示。

整个结节的特征提取图像表示为一个加权稀疏图，用G＝{V，E，A}表示，其中A是描述图的邻接矩阵。每个节点主要代表一个结节。并与从第一阶段提取的N维特征向量x(v)相关联。

将本发明的任务建模为一个节点分类问题，其目标在于给每个图节点分配一个标签I＝{0,1}，它描述了是结节(I＝1)或不是结节(I＝0)。

本发明采用了半监督策略，所有的节点特征和图结构都被输入到GCN中，而在训练过程中只有一个图节点子集被标记并用于优化过程。

其中图神经网络训练步骤和过程如下：

GCN实现了从图数据中提取特征，利用获得的特征信息来实现肺结节节点分类任务。假设有一组肺部slices数据，其中有N个节点，每个节点都有自己的特征，把这些节点的特征组成一个N×D维的矩阵X，再把各个节点之间的关系组成一个N×N维的矩阵A。这里的X就是输入特征矩阵，A是邻接矩阵。用X表示图G上的节点特征，其中X∈R^N×D，X_i∈R^D是第i节点的特征，X_ij表示矩阵X的第i行第j列，即第i节点的第j个特征。f∈R^N表示图上的信号，其中f_i表示节点i在信号f上的取值。f∈R^N表示图上的映射关系，本实施例中表示为概率计算关系；其中f_i表示节点i为结节的概率取值。将X和A作为输入，得到GCN在层与层之间的传播公式为：

在等式中，其中I是单位矩阵；A本身包含了图中每个节点与相邻节点的连接信息，加上I之后，运算操作既包含节点自身的信息还包含邻接节点的信息；

是顶点的度矩阵，对角线上元素值为每个顶点的度，对角线以外元素的值为0；W是可以训练的权重矩阵；H是每一层的特征，对输入层而言，H就是X；σ是非线性激活函数。

如图2所示。假设构造一个两层的GCN，激活函数分别采用ReLU和SoftMax，可得到正向传播的公式为：

W⁽⁰⁾∈R^C×H是输入层到隐含层的隐藏层的权重矩阵；

W⁽¹⁾∈R^H×F是隐含层到输出层的权重矩阵；

其中softmax激活函数是：

进行逐层定义。对于肺结节节点的分类问题，评估所有节点的交叉熵误差：

其中，Y_lf表示节点实际标签值，Y是所有所述第一节点集合，神经网络权重W⁽⁰⁾和W⁽¹⁾使用梯度下降进行训练；其中，Z_lf表示softmax计算出的第一节点的概率。

神经网络权重W⁽⁰⁾和W⁽¹⁾使用梯度下降进行训练。在这项工作中，本发明使用每次训练迭代的完整数据集执行批量梯度下降。

第三阶段、单独的节点特征与slices的全局上下文信息融合，通过GCN进行分类预测和回归预测。

如图4所示，将每一个单独的结节局部特征抽取出来与特征提取图像的全局上下文信息聚合在一起，因为它结合了多个层的特征提取图像的信息，一起输入到图卷积神经网络里面，再经过一层全连接层，最后输出包含2个分支，一个是分类分支，一个是回归分支。其中的全局上下文信息是阶段2的输出图结构和邻接矩阵。阶段2的输出图结构包含所有特征提取图像的全局特征。

此模型结构的优势是，分类预测即对结节进行判断预测，属于分类问题。

回归预测即包含结节的深度特征的统计信息(节点尺寸的平均值和最大值)，图像内结节的统计信息(总数，高概率结节数目等)。回归预测出的信息可以对结节进行临床意义的分析。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.基于图卷积神经网络构建的肺结节检测方法，其特征在于，该方法包括以下阶段：

第一阶段：

CT图像检测出感兴趣区，得到感兴趣区域的切片图像，利用金字塔网络对所述感兴趣区进行特征提取，得到节点特征；

第二阶段；

对感兴趣区域的切片图像构建图结构，并利用图卷积神经网络对结节进行分类；

其中构建图结构具体为：

为感兴趣区域的切片图像中的节点设置实线框，实线框内标记数字0表示特征提取图像的主节点，其中主节点用于表示与它相邻的2个特征提取图像的连接；实线框内标记数字1,2…代表在相应特征提取图像内的结节标记；

其中节点之间包括三种连接关系：连接紧密的两个节点之间的连接、相邻的特征提取图像上检测出结节的节点的连接、相邻的两个特征提取图像之间的主节点的连接；

其中利用图卷积神经网络对结节进行分类具体为：

由各个节点之间的关系组成的邻接矩阵分为输入和输出两部分，输入表示指向该节点，输出表示从该节点指向其他节点；第一阶段得到每个节点的特征；节点特征用N维向量来表示，包括节点的属性信息；属性信息至少包括结节形状、结节灰度值、结节纹理特征、结节空间位置；

图结构和邻接矩阵一起输入到2层图卷积神经网络，输入的图结构中的一部分节点有标签，另一部分节点没有标签若经过图卷积神经网络判断结节排除，则把此结节排除，暂用红色填充的节点表示；

所述肺结节检测方法还包括对图卷积神经网络进行训练，具体为：

将所述邻接矩阵和由节点特征组成的特征矩阵输入到所述图卷积神经网络中，对所述图结构中节点根据所述节点特征分类，所述节点分为第一节点和第二节点；所述第一节点表示是结节，所述第二节点表示不是结节；

所述第一节点的所述节点特征与所述感兴趣区的全局上下文信息融合，通过图卷积神经网络进行分类预测和回归预测。

2.根据权利要求1所述的基于图卷积神经网络构建的肺结节检测方法，其特征在于，

对所述图卷积神经网络进行训练是由所述图卷积神经网络从所述图结构中提取特征，利用获得的所述节点特征来实现节点分类任务，所述节点分类任务具体步骤如下：

取感兴趣区的切片图像，其中有N个所述节点；

把所述节点特征组成一个N×D维的矩阵X，其中，D为所述节点的特征个数，所述矩阵X是特征矩阵，X∈R^N×D，X_i∈R^D是第i节点的特征；X_ij表示所述矩阵X的第i行第j列，即第i节点的第j个特征；

把各个所述节点之间的关系组成一个N×N维的矩阵

所述矩阵

是邻接矩阵；

将矩阵X和矩阵

作为输入，得到所述图卷积神经网络在层与层之间的传播公式为：

在等式中，

本身包含每个节点与相邻节点的连接信息；

是顶点的度矩阵，对角线上元素值为每个顶点的度，对角线以外元素的值为0；W是权重矩阵；H是每一层的特征，对输入层而言，H⁽¹⁾＝X；；σ是非线性激活函数；

将矩阵X和矩阵

输入所述图卷积神经网络；

构造一个两层的图卷积神经网络，激活函数分别采用ReLU和SoftMax，得到正向传播的公式为：

W⁽⁰⁾∈R^C×H是输入层到隐含层的隐藏层的权重矩阵；

W⁽¹⁾∈R^H×F是隐含层到输出层的权重矩阵；

其中softmax激活函数是：

进行逐层定义。

3.根据权利要求2所述的基于图卷积神经网络构建的肺结节检测方法，其特征在于，

对所述图卷积神经网络误差处理如下：

计算所有所述节点的交叉熵误差：

其中，Y_lf表示节点实际标签值，Y是所有所述第一节点集合，神经网络权重W⁽⁰⁾和W⁽¹⁾使用梯度下降进行训练；其中，Z_lf表示softmax计算出的所述第一节点的概率。

4.根据权利要求1的基于图卷积神经网络构建的肺结节检测方法，其特征在于，

对所述节点分配标签I＝{0,1}，其中所述第一节点的标签为I＝1,所述第二节点的标签为I＝0。

5.根据权利要求1所述的基于图卷积神经网络构建的肺结节检测方法，其特征在于，

所述节点特征至少包括节点形状，节点灰度值，节点纹理特征，节点空间位置。

6.根据权利要求1所述的基于图卷积神经网络构建的肺结节检测方法，其特征在于，

所述回归预测包括所述节点的深度特征统计信息和图像内所述节点的统计信息，所述深度特征统计信息包括节点尺寸的平均值和最大值，所述统计信息包括节点总数和高概率节点数目。

7.根据权利要求1所述的基于图卷积神经网络构建的肺结节检测方法，其特征在于，

所述全局上下文信息融合具体包括：将每个单独的所述第一节点的局部特征抽取出来与感兴趣区域的切片图像的全局上下文信息聚集在一起，并输入到所述图卷积神经网络，再经过一层全连接层，输出分类分支和回归分支；所述上下文信息是所述图结构和所述邻接矩阵，所述图结构包含全部所述感兴趣区的全局特征。

Images