CN115760835A - 一种图卷积网络的医学图像分类的方法 - Google Patents

Abstract

本文发明提供了一种图卷积网络的医学图像的分类方法。将传统的神经网络和图卷积网络相结合：利用经典的神经网络提取图像特征；将每个特征图视为一个节点，利用特征图之间的相似性构建邻接矩阵，得到图表示；然后利用多尺度图注意力卷积网络更新节点信息，学习图的表示，并预测医学图像的疾病分类。相较于传统卷积神经网络，本发明参数量和计算量低但分类准确率高。本发明选择了图结构的方法来建模不同特征图之间的结构连续性和相互作用，图结构的特征是多样的，本文发明了多尺度图注意力网络学习更加完整的图的高级特征，提高网络的表达能力。

Description

一种图卷积网络的医学图像分类的方法

技术领域

本发明属于人工智能技术领域，涉及一种图卷积网络的医学图像分类的方法，可用于医学图像的疾病分类。

背景技术

深度学习属于人工智能和机器学习范畴，通过构建神经网络结构，进行特征提取和回归决策，来解决现实世界的问题。由于其强大的性能，深度学习在病变分割、生物标志物分割、疾病诊断和图像合成等相关应用中越来越受欢迎。但是现存的深度学习网络以卷积神经网络为主，其存在的问题主要为：1.随着性能的增加，卷积神经网络的宽度、深度以及复杂度也随之增加，这使得网络的参数量和计算量急速上升，对设备性能和处理的实时性不利；2.卷积神经网络往往对输入图像有尺寸或分辨率等要求，对不同仪器设备产生的医疗数据迁移性差。故本发明提出一种图卷积网络的医学图像分类的方法，其利用经典卷积神经网络结构作为骨干网络，然后利用骨干网络的特征层输出作为图卷积数据建立的基础，在得到图数据后利用多尺度图注意力结构进行特征传递和聚合，最终得到任务结果输出。

图的拓扑结构具有多样性，基于图卷积网络的医学图像分类的方法可以学习每个特征图的特征，并建模不同特征图之间的结构连续性和相互作用。因此，利用图神经网络有利于学习眼底图像的多分类，具有重大的意义。

发明内容

为了解决上述存在问题，本文发明提供了一种图卷积网络的医学图像分类方法，利用传统的神经网络提取特征，利用提取到的特征图转换为图数据结构，将图卷积网络更新节点信息，学习图的表示，相较于传统卷积神经网络，参数量和计算量低但分类准确率高。本发明选择了图结构的方法来建模不同特征图之间的结构连续性和相互作用，解决了现有技术中存在的问题。

本发明将传统的神经网络和图卷积网络相结合，用于医学图像领域，利用特征图之间的相似性构建邻接矩阵，将图数据传输到多尺度特征融合的注意力网络结构进行训练并预测医学图像的疾病分类。图结构的特征是多样的，多尺度网络结构有利于学习到更加完整的图的高级特征，提高网络的表达能力。

本发明所采用的技术方案是，一种图卷积网络的医学图像分类方法，包括以下步骤：

S1，利用医学分类数据集训练经典的深度学习网络，得到一个预训练模型；

S2，通过预训练模型提取医学图像特征图，在获取每张图像对应的特征图后，将每张特征图视为一个节点，通过计算每张特征图之间的相似性构建邻接矩阵；

S3，加载预处理后的医学图像对应的图结构数据；

S4，利用多尺度注意力图卷积神经网络进行医学图像的图数据的特征传递与聚合，通过多尺度特征融合的方式增加节点特征多样性，学习图的表示，最终输出分类结果。

进一步的，所述步骤S1中，利用但是不限于ResNet、VGG等经典卷积神经网络，作为CNN的主干网络，利用医学图像及其相应的标签训练一个分类模型，并保存训练好的模型。

进一步的，所述步骤S2中，具体为：

S21，利用训练好的CNN模型提取医学图像对应的特征图。在构造图结构时，根据骨干网络中间层的特征输出，尺寸为N×H×W，N为层数，H为特征图高度，W为特征图宽度，来构造图的拓扑结构。

S22，将每个特征图map(H×W)视为一个节点，每张二维特征图以行为单位首尾相接形成一维的节点的特征向量，再将N个特征图形成的节点特征向量形成N行的二维的图特征矩阵X＝[x₀…x_N-1]∈R^N×(H×W)。在构图时添加了中心节点，中心节点的特征使用数值零作为初始化数据。第i个节点的特征如式(1-1)所示：

x_i＝flatten(map_i)∈R^1×(H×W)，i∈{0，…，N-1} (1-1)

其中，flatten(·)表示展平操作，把二维特征图展平为一维；map_i表示第(i+1)个特征图。

S23，在构造图的邻接矩阵A时，将中心节点与所有节点相连，这样可以帮助图神经网络在图分类过程中处理和整合来自不同特征图的信息，并保证中心节点在更新顶点特征时能够考虑到所有其他节点信息。对于其他节点间的邻接信息，通过计算每两个特征图之间的L2范数之差得到所有节点的相似度矩阵S∈R^N×N，如式(1-2)和式(1-3)所示：

S_i，j＝|L2_i-L2_j|，i，j∈{0，…，N-1} (1-3)

其中L2_i表示第i个特征图的L2范数，f_a表示特征图中的每个值；S_i，j为第i和第j个特征图之间的相似性，即S_i，j＝S_j，i；|·|表示取绝对值。

设置阈值为相似矩阵S中的最大和最小值之差的平均值，将相似度矩阵转换为邻接矩阵A。阈值的公如式(1-4)所示：

av＝(S_max-S_min)/2 (1-4)

进一步的，所述步骤S3中，具体为：

每张医学图像表示为一个图G＝(X，A)，图结构信息由图的特征矩阵和邻接矩阵组成。加载并预处理每张医学图像对应的图结构数据。

进一步的，所述步骤S4中，具体按照以下步骤进行：

S41，在特征提取阶段，本发明采用多通道机制生成多尺度特征。在每个通道利用GAT提取特征。将输入到GAT的一组节点特征表示为H＝{h₁，h₂，…，h_N}∈R^N×d，h_i∈R^1×d。GAT通过给邻居分配不同的权值来聚合邻域信息更新节点特征，第i个通道生成新的节点特征表示为

其中k_i表示第i个通道提取的特征尺度。GAT输出的特征如式(1-5)所示：

S42，为了减少模型参数，提高模型的速度和准确度。本发明在每个特征提取层的GAT后面都添加了卷积核大小为1的二维卷积。并添加BatchNorm进行归一化，将激活函数Relu与BN相结合，增强整个网络的非线性特性，防止梯度的爆炸或者衰减。经过卷积处理后的特征如式(1-6)所示：

本发明在后两个通道添加了卷积核大小为3的二维卷积来增大感受野，捕获更多有用的信息，增强网络表达能力。后两个通道最后的输出特征如式(1-7)所示：

S43，在特征聚合阶段，本发明首先将生成的多尺度特征通过concat的方式进行融合，使得每个节点获得来自不同尺度的特征。拼接后的特征如式(1-8)所示：

最后将多尺度特征传递给信息聚合器进行学习，增加特征多样性。本发明没有指定信息聚合方式，最终输出的特征如式(1-9)所示：

H″＝aggregate(reshape(C))∈R^N×d′ (1-9)

其中，reshape操作将特征转换为GNN模型能接受的数据类型；d′为GNN结构最终输出的节点特征数。

S44，根据S43输出的最终图表示进行预测分类，输出分类结果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例基于图卷积网络对医学图像进行分类的结构图。

图2是本发明实施例基于图卷积网络对医学图像进行分类的流程图。

图3是多尺度图注意力网络结构图。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例以眼病医学数据集为基础进行阐述。眼底检查是一种诊断程序，以检查的生物结构和异常的眼睛。青光眼、糖尿病性视网膜病变、白内障等眼疾是世界范围内造成视力损害的主要原因。Ocular Disease Intelligent Recognition(ODIR)是一个基准的结构化眼底图像数据集，被研究者用于眼底图像的多标签多疾病分类。现在，将眼底图像用于眼病的早期筛查具有重要的临床意义。

本发明实施例提供了一种基于图卷积网络的医学图像分类的方法，如图1所示，首先利用眼底图像训练CNN网络结构，并利用CNN中间层的输出来构建每个图像对应的图结构数据。本实例选取CNN第六层的输出特征来构造图数据，且在构造邻接矩阵时选择的L2范数来计算特征图之间的相似度，但本发明内容不仅限于此情况。在信息聚合阶段，可以用任意图卷积层代替，本实例选取多层感知机(MLP)进行信息聚合，MLP在所有节点之间共享权重，可以进行预分类。但是本发明不限于此情况。

假设：CNN最后一层的输出为[512，1，1]，第六层的输出为[512，28，28]，数据集为ODIR。GNN网络结构的在特征提取阶段提取的多尺度特征为512×2、512×10和512×30三个尺度。在信息聚合阶段利用MLP提取特征，聚合后的特征尺度为N×8(class＝8)。

本发明实施例提供了一种图卷积网络的医学图像分类的方法，如图1所示，具体步骤如下：

S1，利用ODIR数据集训练CNN网络，并保存训练好的模型。

S21，准备图结构数据。利用训练好的CNN网络来构造所有眼底图像对应的图结构信息。选取CNN第六层的输出，输出维度为[512，28，28]，有512张特征图。将每张特征图视为一个节点，把每张特征图展平得到一个节点对应的特征。将所有节点的特征拼接起来就得到了特征矩阵X，中心节点的特征全为零。

x_i＝flatten(map_i)∈R^1×(28×28)，i∈{0，…，511} (1)

S22，利用CNN第六层的输出特征构造邻接矩阵，同步骤S21一样，将每个特征图视为一个节点。先计算每张特征图对应的L2范数，然后将每两张特征图之间的范数之差的绝对值构造相似矩阵S∈R^512×512。最后利用设置的阈值，将相似矩阵转换为邻接矩阵，添加中心节点与所有节点都相连。

S_i，j＝|L2_i-L2_j|，i，j∈{0，…，511} (3)

S41，使用多尺度特征融合网络结构对构造的图结构数据进行处理，更好的学习图的表示。本实例在特征提取阶段，在三个通道中利用GAT分别生成512×2、512×10和512×30三个尺度的特征。

S42，在每个通道添加卷积核为1的二维卷积减少计算量，并在后两个通道添加卷积核为3的二维卷积增大感受野。

S43，将S42步骤最后生成的多尺度特征利用concat进行特征融合。再利用MLP进行信息聚合，学习图的表示，本实例MLP的输出特征为512×8。最后对学习到的图特征进行预测分类。

H″＝MLP(reshape(C))∈R^512×8 (8)

本实例在Ocular Disease Intelligent Recognition(ODIR)数据集上进行训练，包含5000名患者的年龄，左眼和右眼的彩色眼底照片以及医生的医生诊断关键字。该数据集由上工医疗科技有限公司从中国不同医院/医疗中心收集的“真实生活”患者信息集。在这些机构中，眼底图像由市场上的各种相机捕获，从而产生不同的图像分辨率。注释由经过质量控制管理的训练有素的人类读者进行标记。他们将患者分为八个标签，包括：正常(N)，糖尿病(D)，青光眼(G)，白内障(C)，年龄相关性黄斑变性(A)，高血压(H)，病理性近视(M)，其他疾病/异常(O)。

本发明利用图卷积网络用于眼底图像分类，先利用预训练好的传统的神经网络中间层输出的特征图构建图结构信息，再利用每张眼底图像对应的图数据训练图神经网络。本发明可以应用于其它医学图像的分类，如肺部CT、乳房超声和腹部CT等二维图像；也可以用于常见的分类数据集，如cifar-10和coco数据集。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (1)

1.一种图卷积网络的医学图像分类方法，其特征在于，包括以下步骤：

S1，利用医学分类数据集训练经典的深度学习网络，得到一个预训练模型；

S2，通过预训练模型提取医学图像特征图，在获取每张图像对应的特征图后，将每张特征图视为一个节点，通过计算每张特征图之间的相似性构建邻接矩阵；

S3，加载预处理后的医学图像对应的图结构数据；

S4，利用多尺度注意力图卷积神经网络进行医学图像的图数据的特征传递与聚合，通过多尺度特征融合的方式增加节点特征多样性，学习图的表示，最终输出分类结果。

所述步骤S2中，具体为：

S21，利用训练好的CNN模型提取医学图像对应的特征图。在构造图结构时，根据骨干网络中间层的特征输出，尺寸为N×H×W，N为层数，H为特征图高度，W为特征图宽度，来构造图的拓扑结构。

S22，将每个特征图map(H×W)视为一个节点，每张二维特征图以行为单位首尾相接形成一维的节点的特征向量，再将N个特征图形成的节点特征向量形成N行的二维的图特征矩阵X＝[x₀…x_N-1]∈R^N×(H×W)。在构图时添加了中心节点，中心节点的特征使用数值零作为初始化数据。第i个节点的特征如式(1-1)所示：

x_i＝flatten(map_i)∈R^1×(H×W)，i∈{0，…，N-1} (1-1)

其中，flatten(·)表示展平操作，把二维特征图展平为一维；map_i表示第(i+1)个特征图。

S23，在构造图的邻接矩阵A时，将中心节点与所有节点相连，这样可以帮助图神经网络在图分类过程中处理和整合来自不同特征图的信息，并保证中心节点在更新顶点特征时能够考虑到所有其他节点信息。对于其他节点间的邻接信息，通过计算每两个特征图之间的L2范数之差得到所有节点的相似度矩阵S∈R^N×N，如式(1-2)和式(1-3)所示：

S_i，j＝|L2_i-L2_j|，i，j∈{0，…，N-1} (1-3)

其中L2_i表示第i个特征图的L2范数，f_a表示特征图中的每个值；S_i，j为第i和第j个特征图之间的相似性，即S_i，j＝S_j，i；|·|表示取绝对值。

设置阈值为相似矩阵S中的最大和最小值之差的平均值，将相似度矩阵转换为邻接矩阵A。阈值的公如式(1-4)所示：

av＝(S_max-S_min)/2 (1-4)

所述步骤S4，具体按照以下步骤进行：

S41，在特征提取阶段，本发明采用多通道机制生成多尺度特征。在每个通道利用GAT提取特征。将输入到GAT的一组节点特征表示为H＝{h₁，h₂，…，h_N}∈R^N×d，h_i∈R^1×d。GAT通过给邻居分配不同的权值来聚合邻域信息更新节点特征，第i个通道生成新的节点特征表示为

其中k_i表示第i个通道提取的特征尺度。GAT输出的特征如式(1-5)所示：

S42，为了减少模型参数，提高模型的速度和准确度。本发明在每个特征提取层的GAT后面都添加了卷积核大小为1的二维卷积。并添加BatchNorm进行归一化，将激活函数Relu与BN相结合，增强整个网络的非线性特性，防止梯度的爆炸或者衰减。经过卷积处理后的特征如式(1-6)所示：

本发明在后两个通道添加了卷积核大小为3的二维卷积来增大感受野，捕获更多有用的信息，增强网络表达能力。后两个通道最后的输出特征如式(1-7)所示：

S43，在特征聚合阶段，本发明首先将生成的多尺度特征通过concat的方式进行融合，使得每个节点获得来自不同尺度的特征。拼接后的特征如式(1-8)所示：

最后将多尺度特征传递给信息聚合器进行学习，增加特征多样性。本发明没有指定信息聚合方式，最终输出的特征如式(1-9)所示：

H″＝aggregate(reshape(C))∈R^N×d′ (1-9)

其中，reshape操作将特征转换为GNN模型能接受的数据类型；d′为GNN结构最终输出的节点特征数。

S44，根据S43输出的最终图表示进行预测分类，输出分类结果。

Images