CN113470046B - 一种面向医学图像超像素灰度纹理采样特征的图注意力网络分割方法 - Google Patents

Abstract

一种面向医学图像超像素灰度纹理采样特征的图注意力网络分割方法，包括以下步骤：步骤一：超像素分割；步骤二：提取超像素灰度纹理采样特征；步骤三：超像素构图；步骤四：超像素真值标签设定；步骤五：训练多头注意力网络模型；步骤六：超像素分类与图像分割。本发明提出了一种分割精度高、运行效率高的医学图像图注意力网络分割方法，降低了医学图像分割任务的数据处理规模，提高了其分割模型的训练速度。

Description

一种面向医学图像超像素灰度纹理采样特征的图注意力网络 分割方法

技术领域

本发明涉及医学图像处理与机器学习领域，特别是指一种面向医学图像的分割方法。

背景技术

随着深度学习在图像处理领域的广泛应用，已有不少深度学习方法应用于肺部图像分割、胰腺器官分割、血液细胞图像分类等医学图像领域，其中最为流行的是一种端到端训练的具有编码器和解码器结构的神经网络模型，例如全卷积网络(FCN)，U-Net，Deeplab等。其中U-net方法通过跳级连接和全卷积网络，可以很好地结合图像的低层结构特征和高层语义特征，但和其它深度学习方法一样，都是以像素为基本单位，以卷积层和池化层的堆叠为网络结构，随着深度的增加，训练网络模型的时间也成倍增长，而且对训练数据分布非常敏感。超像素分割是图像处理的重要预处理阶段，可以有效减少后续处理的基本单元数目，提升分割算法的性能和效率。在医学图像中，应用超像素分割可以有效发现各器官之间的边界信息、降低分割时间成本。超像素分割得到的超像素，可以很好地贴合物体真实边缘，其可达分割精度表明了对超像素进行正确分类可以达到的分割精度。

很多医学影像，如口腔CBCT影像和肺部CT影响，可以用天然的图结构来建模。目前已经有不少图神经网络应用于医学影像，包括图像分割、手术介入、图像配准、多模态融合、疾病预测、大型医学图像分析、脑分割等一些研究，其中最常用的是图卷积神经网络(GCN)。图注意力网络GAT的聚合机制与GCN类似，但是注意力系数的计算只与节点的邻接节点有关，与整图结构无关，因此图注意力网络可以用来做归纳学习任务。对于图像来说，经过超像素生成算法生成的超像素蕴含了图像的局部边缘信息，但其形状是不规则的，无法直接将其直接应用到传统的图像的卷积网络中，而超像素内部像素点具有比较强的统一性，超像素外部之间由于颜色边缘或大小区别较大，比较适合表示为图数据，进而可以采用GAT来完成超像素节点的分类任务。

发明内容

为了实现基于超像素的医学图像分割，同时提高分割结果的准确度和运行效率，本发明提出了一种面向医学图像超像素灰度纹理采样特征的图注意力网络分割方法，以医学图像的超像素为基础，提取超像素的灰度采样特征与纹理特征，使用图注意力网络实现超像素节点的分类，在不损失精度的条件下可以大大缩短网络的训练时间。

本发明解决其技术问题所采用的技术方案是：

一种面向医学图像超像素灰度纹理采样特征的图注意力网络分割方法，包括如下步骤：

步骤一：将医学图像I的各个像素点表示为一个四维向量p_xy＝[l,e,x,y]，把CT像素值l、边缘强度值e和像素空间坐标(x,y)分别进行归一化映射到区间[0,1]，e使用Canny算法未经非极大值抑制时的结果，设定医学图像的超像素目标数目K，用基于边缘概率的超像素生成算法将医学图像I划分为K个超像素；

步骤二：提取超像素灰度采样特征与纹理特征，对任一超像素S_k内各像素点的灰度值进行降序排序，并对其进行均匀采样，将S_k划分为m份，每份含||S_k||/m个像素点，||S_k||为超像素S_k内像素点的数目，同时提取超像素区域灰度共生矩阵GLCM在[0,π/4,π/2,3π/4]四个方向上特征，其中每个方向上计算5个能代表区域纹理的特征，将超像素S_k转化为灰度纹理特征表示：

S_k＝(g₁,...,g_i,...,g_m,con,cor,dis,hmg,eng)，

其中g_i为超像素S_k第i份内各像素点的灰度平均值，con、cor、dis、hmg、eng分别为GLCM在四个方向上的对比度、互相关系数、相异度、同质性和能量；

步骤三：根据超像素的邻接关系，构建出超像素节点图，用图G＝(V,E)表示，V和E分别为由超像素特征构成的节点集和超像素邻接关系构成的边集；

步骤四：为超像素节点图G的每个超像素S_k分配真值标签，如果S_k和真值前景的交集与超像素面积相比大于阈值，则将S_k的标签置为1，反之则将S_k的标签置为0，其中阈值不小于0.5；

步骤五：将有标签的超像素节点图G输入多头的图注意力网络进行训练，直到损失函数Loss收敛或达到最大迭代步数，其中图注意力模块采用L层，L>2，设置中间层为k₁个注意力头、输出层为k₂个注意力头，其中k₁<k₂，网络更新参数时的损失函数Loss为

其中y_true为真实值的集合，y_pred为预测值的集合，||y_pred∩y_true||为真实值与预测值交集的元素数目，||y_pred||为预测集合的元素数目，||y_true||为真实值集合的元素数目；

步骤六：将待分割的医学图像输入训练好的基于超像素灰度采样特征的多头图注意力网络，实现超像素节点的分类，得到医学图像分割结果。

本发明的技术构思为：提取医学图像的超像素灰度纹理采样特征，将医学图像超像素表示为图节点，并以相邻关系为图的拓扑结构，利用图注意力网络GAT学习不同超像素之间的连接权重，预测超像素节点的分类，实现医学图像兴趣区域的分割。

本发明的有益效果为：以边缘贴合度良好的超像素为医学图像分割的基本单位，提出了一种分割精度高、运行效率高的医学图像图注意力网络分割方法，降低了医学图像分割任务的数据处理规模，提高了其分割模型的训练速度。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合附图对本发明做进一步说明。

参照图1，一种面向医学图像超像素灰度纹理采样特征的图注意力网络分割方法，包括如下步骤：

步骤一：将医学图像I的各个像素点表示为一个四维向量p_xy＝[l,e,x,y]，把CT像素值l、边缘强度值e和像素空间坐标(x,y)分别进行归一化映射到区间[0,1]，e使用Canny算法未经非极大值抑制时的结果，设定医学图像的超像素目标数目K，用基于边缘概率的超像素生成算法将医学图像I划分为K个超像素；

步骤二：提取超像素灰度采样特征与纹理特征，对任一超像素S_k内各像素点的灰度值进行降序排序，并对其进行均匀采样，将S_k划分为m份，每份含||S_k||/m个像素点，||S_k||为超像素S_k内像素点的数目，并提取超像素区域灰度共生矩阵GLCM在[0,π/4,π/2,3π/4]四个方向上特征，其中每个方向上计算5个能代表区域纹理的特征，将超像素S_k转化为灰度纹理特征表示：

S_k＝(g₁,...,g_i,…,g_m,con,cor,dis,hmg,eng)，

其中g_i为超像素S_k第i份内各像素点的灰度平均值，con、cor、dis、hmg、eng分别为GLCM在四个方向上的对比度、互相关系数、相异度、同质性和能量；

步骤三：根据超像素的邻接关系，构建出超像素节点图，用图G＝(V,E)表示，V和E分别为由超像素特征构成的节点集和超像素邻接关系构成的边集；

步骤四：为超像素节点图G的每个超像素S_k分配真值标签，如果S_k和真值前景的交集与超像素面积相比大于阈值，则将S_k的标签置为1，反之则将S_k的标签置为0，其中阈值不小于0.5；

步骤五：将有标签的超像素节点图G输入多头的图注意力网络进行训练，直到损失函数Loss收敛或达到最大迭代步数，其中图注意力模块采用L层，L>2，设置中间层为k₁个注意力头、输出层为k₂个注意力头，其中k₁<k₂，网络更新参数时的损失函数Loss为

其中y_true为真实值的集合，y_pred为预测值的集合，||y_pred∩y_true||为真实值与预测值交集的元素数目，||y_pred||为预测集合的元素数目，||y_true||为真实值集合的元素数目；

步骤六：将待分割的医学图像输入训练好的基于超像素灰度采样特征的多头图注意力网络，实现超像素节点的分类，得到医学图像分割结果。

本实施例中，提取医学图像的超像素灰度纹理采样特征，将医学图像超像素表示为图节点，并以相邻关系为图的拓扑结构，利用图注意力网络GAT学习不同超像素之间的连接权重，预测超像素节点的分类，实现医学图像兴趣区域的分割。

如上所述，本专利实施的具体实现步骤使本发明更加清晰。在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。

Claims (1)

1.一种面向医学图像超像素灰度纹理采样特征的图注意力网络分割方法，其特征在于：所述方法包括如下步骤：

步骤一：将医学图像I的各个像素点表示为一个四维向量p_xy＝[l,e,x,y]，把CT像素值l、边缘强度值e和像素空间坐标(x,y)分别进行归一化映射到区间[0,1]，e使用Canny算法未经非极大值抑制时的结果，设定医学图像的超像素目标数目K，用基于边缘概率的超像素生成算法将医学图像I划分为K个超像素；

步骤二：提取超像素灰度采样特征与纹理特征，对任一超像素S_k内各像素点的灰度值进行降序排序，并对其进行均匀采样，将S_k划分为m份，每份含||S_k||/m个像素点，||S_k||为超像素S_k内像素点的数目，并提取超像素区域灰度共生矩阵GLCM在[0,π/4,π/2,3π/4]四个方向上特征，其中每个方向上计算5个能代表区域纹理的特征，将超像素S_k转化为灰度纹理特征表示：

S_k＝(g₁,...,g_i,…,g_m,con,cor,dis,hmg,eng)，

其中g_i为超像素S_k第i份内各像素点的灰度平均值，con、cor、dis、hmg、eng分别为GLCM在四个方向上的对比度、互相关系数、相异度、同质性和能量；

步骤三：根据超像素的邻接关系，构建出超像素节点图，用图G＝(V,E)表示，V和E分别为由超像素特征构成的节点集和超像素邻接关系构成的边集；

步骤四：为超像素节点图G的每个超像素S_k分配真值标签，如果S_k和真值前景的交集与超像素面积相比大于阈值，则将S_k的标签置为1，反之则将S_k的标签置为0，其中阈值不小于0.5；

步骤五：将有标签的超像素节点图G输入多头的图注意力网络进行训练，直到损失函数Loss收敛或达到最大迭代步数，其中图注意力模块采用L层，L>2，设置中间层为k₁个注意力头、输出层为k₂个注意力头，其中k₁<k₂，网络更新参数时的损失函数Loss为

其中y_true为真实值的集合，y_pred为预测值的集合，||y_pred∩y_true||为真实值与预测值交集的元素和，||y_pred||为预测集合的元素和，||y_true||为真实值集合的元素和；

步骤六：将待分割的医学图像输入训练好的基于超像素灰度采样特征的多头图注意力网络，实现超像素节点的分类，得到医学图像分割结果。