CN113034462B - 基于图卷积的胃癌病理切片图像的处理方法及系统 - Google Patents

Abstract

本发明涉及一种基于图卷积的胃癌病理切片图像的处理方法，其特征在于，包括以下步骤：步骤S1:获取胃癌数字病理切片，并进行数字化处理，构建胃癌数字病理切片图像数据集；步骤S2:根据胃癌数字病理切片图像数据集，采用阈值分割算法，获取数字病理切片图像的层次先验信息；步骤S3:根据得到的先验信息，构建并训练图卷积网络分割模型，并根据训练后的图卷积网络分割模型得到切片上胃癌区域的分割结果；步骤S4:根据结合分割出的层次信息和胃癌区域分布信息，进行T分期的分类，并得到图像中存在神经侵犯和脉管侵犯的概率分布。本发明可用于解决相关技术中对病理切片的分析不够准确的技术问题。

Description

基于图卷积的胃癌病理切片图像的处理方法及系统

技术领域

本发明涉及人工智能的智能医疗技术领域，具体涉及一种基于图卷积的胃癌病理切片图像的处理方法及系统。

背景技术

胃癌是起源于胃黏膜上皮的恶性肿瘤，是消化系统最常见的恶性肿瘤之一。由于胃癌一经发现常为中晚期，患者存活超过5年的机会一般低于30％。对于胃癌病理图片的智能识别，目前已经有不少算法的应用，多实例学习、语义分割等方法也相继用于胃癌的病灶区域识别分割。

发明内容

有鉴于此，本发明的目的在于提供一种基于图卷积的胃癌病理切片图像的处理方法，可用于解决相关技术中对病理切片的分析不够准确的技术问题。

一种基于图卷积的胃癌病理切片图像的处理方法，包括以下步骤：

步骤S1:获取胃癌病理切片，并进行数字化处理，构建胃癌数字病理切片图像数据集；

步骤S2:根据胃癌数字病理切片图像数据集，采用阈值分割算法，获取数字病理切片图像的层次先验信息；

步骤S3:根据得到的先验信息，构建并训练图卷积网络分割模型，并根据训练后的图卷积网络分割模型得到切片上胃癌区域的分割结果；

步骤S4:根据结合分割出的层次信息和胃癌区域分布信息，进行T分期的分类，并得到图像中存在神经侵犯和脉管侵犯的概率分布。

进一步的，所述步骤S1具体为：

步骤S11:获取胃癌病理切片，并进行数字化处理，得到病理切片的全局信息；

步骤S12:筛选出完好的数字病理切片大图，构成胃癌数字病理切片图像数据集；

步骤S13:对胃癌数字病理切片图像数据集进行预处理,得到胃癌数字病理切片图像数据集。

进一步的，所述数字化处理具体为：利用数字显微镜在低倍物镜下对获取胃癌病理切片进行逐幅扫描采集成像，显微扫描平台按照切片XY轴方向扫描移动，并在Z轴方向自动聚焦；然后，由扫描控制软件利用程控扫描方式采集高分辨数字图像，图像压缩与存储软件将图像自动进行无缝拼接处理，制作生成整张全视野的数字化切片。

进一步的，所述数字病理切片的全局信息包括颜色特征、纹理特征和形状特征。

进一步的，所述步骤S2具体为：

步骤S21:将预处理后的图像映射到LAB均匀颜色空间，得到图像的灰度直方图，并对直方图进行归一化操作；

步骤S22:根据归一化后的直方图，获取图像的阈值；

步骤S23:利用阈值分割算法对转化好的图像进行处理，分割出胃的三个层次：黏膜层、肌层、浆膜层，并给它们分别打上标记；

步骤S24:将已标记好的大图进行裁剪，切割成NxN的小patch，并设置训练集和测试集。

进一步的，所述步骤S3具体为

步骤S31:获取病理切片图的特征图和所述特征图的邻接矩阵,特征图包括节点集合与边集合,节点集合包括用于表示所述特征图的一组节点，边集合包括一组节点之间存在的边，邻接矩阵用于表示所述一组节点之间是否存在边；

步骤S32:使用邻接矩阵对初始图卷积网络进行训练；进行建模，切片中胃癌区域的形状信息、位置信息和癌区之间相邻关系作为先验信息，融入到图卷积分割网络的框架当中，对分割网络形成约束，从而提升分割效果；

步骤S33:将邻接矩阵和所述初始图卷积神经网络模型中的第1层图卷积神经网络的输出特征输入到第n+1层图卷积神经网络，得到第n+1层图卷积神经网络的输出特征；

步骤S34:在训练模型的过程中，利用反向传播算法对图卷积神经网络的神经元参数进行更新；

步骤S35:构建基于癌区之间相邻关系的位置损失函数，用来惩罚在相邻关系上不正确的分割标签输出，从而减少分割结果中孤立破碎的胃癌结构标签；

步骤S36:通过测试集数据测试网络模型实现的分割性能，并利用梯度下降算法进行网络模型的优化并更新网络模型权重，得到最优的图卷积网络模型；

步骤S37:根据最优的图卷积网络模型得到数字病理切片图像上胃癌区域的分割结果。

进一步的，所述步骤S4具体为：

步骤S41:根据得到的切片上胃癌区域的分割结果，将分割出的胃癌区域打上标记G，癌区标记为1，非癌区标记为0；

步骤S42:根据层次标记C和癌区标记G，进行T分期的判断,若C＝1,G＝1,则判断所属T分期为T1；C＝2,G＝1,则判断所属T分期为T2；C＝3,G＝1,则判断所属T分期为T3或T4；

步骤S43:根据层次标记C和癌区标记G，进行神经侵犯和脉管侵犯的检测，若C＝1或3,G＝1,存在较大的神经侵犯可能性；若C＝1,G＝1,存在较大的脉管侵犯可能性；

步骤S44:根据步骤S42和S43得到的结果，构建神经侵犯和脉管侵犯的概率分布。

一种基于图卷积的胃癌病理切片图像的处理系统，所述系统包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至5任一项所述的方法。

为实现上述目的，本发明采用如下技术方案：

本发明与现有技术相比具有以下有益效果：

本发明基于图卷积，对胃癌病理切片图像分割，得到可靠的分割结果，有助于提升检测结果的准确性。

附图说明

图1是本发明方法流程图；

图2是本发明一实施例中图卷积神经网络模型。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于图卷积的胃癌病理切片图像的处理方法，包括以下步骤：

步骤S1:获取胃癌数字病理切片，并进行数字化处理，构建胃癌数字病理切片图像数据集；具体为：

步骤S11:获取胃癌病理切片，并进行数字化处理，得到病理切片的全局信息；

步骤S12:筛选出完好的数字病理切片大图，构成胃癌数字病理切片图像数据集；

步骤S13:对胃癌数字病理切片图像数据集进行预处理,得到胃癌数字病理切片图像数据集。

优选的，数字化处理具体为：利用数字显微镜在低倍物镜下对获取胃癌病理切片进行逐幅扫描采集成像，显微扫描平台按照切片XY轴方向扫描移动，并在Z轴方向自动聚焦；然后，由扫描控制软件利用程控扫描方式采集高分辨数字图像，图像压缩与存储软件将图像自动进行无缝拼接处理，制作生成整张全视野的数字化切片。

在本实施例中，将图片进行下采样，在保证全局信息的同时忽略一定局部信息。优选的，数字病理切片的全局信息包括颜色特征、纹理特征和形状特征等信息。

步骤S2:根据胃癌数字病理切片图像数据集，采用阈值分割算法，获取数字病理切片图像的层次先验信息；具体为：

步骤S21:将预处理后的图像映射到LAB均匀颜色空间，得到图像的灰度直方图，并对直方图进行归一化操作；

步骤S22:根据归一化后的直方图，获取图像的阈值；

步骤S23:利用阈值分割算法对转化好的图像进行处理，分割出胃的三个层次：黏膜层、肌层、浆膜层，并给它们分别打上标记；

步骤S24:将已标记好的大图进行裁剪，切割成NxN的小patch，并设置训练集和测试集。

步骤S3:根据得到的先验信息，构建并训练图卷积网络分割模型，并根据训练后的图卷积网络分割模型得到切片上胃癌区域的分割结果；

步骤S31:获取病理切片图的特征图和所述特征图的邻接矩阵,特征图包括节点集合与边集合,节点集合包括用于表示所述特征图的一组节点，边集合包括一组节点之间存在的变，邻接矩阵用于表示所述一组节点之间是否存在边；

步骤S32:使用邻接矩阵对初始图卷积网络进行训练；进行建模，切片中胃癌区域的形状信息、位置信息和癌区之间相邻关系作为先验信息，融入到图卷积分割网络的框架当中，对分割网络形成约束，从而提升分割效果；

步骤S33:将邻接矩阵和所述初始图卷积神经网络模型中的第1层图卷积神经网络的输出特征输入到第n+1层图卷积神经网络，得到第n+1层图卷积神经网络的输出特征；

步骤S34:在训练模型的过程中，利用反向传播算法对图卷积神经网络的神经元参数进行更新；

步骤S35:构建基于癌区之间相邻关系的位置损失函数，用来惩罚在相邻关系上不正确的分割标签输出，从而减少分割结果中孤立破碎的胃癌结构标签；

步骤S36:通过测试集数据测试网络模型实现的分割性能，并利用梯度下降算法进行网络模型的优化并更新网络模型权重，得到最优的图卷积网络模型；

步骤S37:根据最优的图卷积网络模型得到数字病理切片图像上胃癌区域的分割结果。

步骤S4:根据结合分割出的层次信息和胃癌区域分布信息，进行T分期的分类，并得到图像中存在神经侵犯和脉管侵犯的概率分布

所述步骤S4具体为：

步骤S41:根据得到的切片上胃癌区域的分割结果，将分割出的胃癌区域打上标记G，癌区标记为1，非癌区标记为0；

步骤S42:根据层次标记C和癌区标记G，进行T分期的判断,若C＝1,G＝1,则判断所属T分期为T1；C＝2,G＝1,则判断所属T分期为T2；C＝3,G＝1,则判断所属T分期为T3或T4；

步骤S43:根据层次标记C和癌区标记G，进行神经侵犯和脉管侵犯的检测，若C＝1或3,G＝1,存在较大的神经侵犯可能性；若C＝1,G＝1,存在较大的脉管侵犯可能性；

步骤S44:根据步骤S42和S43得到的结果，构建神经侵犯和脉管侵犯的概率分布。。

在本实施中，首先将病理切片裁剪成一张一张的小patch，通过图模型将这些patch建立关联，并通过图结构将先验信息融入卷积神经网络中，构建具备解剖先验信息约束的图卷积网络分割模型。这样就把胃癌区域分割问题转换成了图节点分类问题。具体来说就是将不同patch作为图节点，不同patch之间的相似度作为边，结合概率论和图论的概率图模型方法，例如马尔可夫随机场和条件随机场，探索图中节点的关系，从而能提高胃癌病理小切片的分割精度。通过图卷积的形式可以扩展分割网络的感受野，从而有效结合了图像的全局信息和局部信息，避免局部位置信息出现损失。图卷积神经网络是当前处理图结构数据的最优模型之一，由于该过程中不会有节点消失，可以在图的较大相邻范围内提取特征，从而扩大感受野，避免局部信息的损失。同时，通过在图像空间和特征空间分别构建分支网络，调整和改进不同信息对分割结果的贡献，从而提高神经网络的胃癌区域分割性能。

在本实施例中，切片上胃癌区域的分割结果配合层次信息进行分析，能够较为直观地进行T分期的判断，若仅在黏膜层分割出胃癌区域，则可以判断此胃癌病理分期为T1；若在固有肌层分割出胃癌区域，则可以判断此胃癌病理分期为T2；若在浆膜层分割出胃癌区域，则可以判断此胃癌病理分期为T3或T4，并且癌细胞很可能长到浆膜层以外的临近器官上。脉管侵犯常见于胃部黏膜层，因此若分割出的胃癌区域多发于黏膜层，则此胃癌存在脉管侵犯的可能性；神经侵犯常见于胃部黏膜下层和浆膜层，因此若分割出的胃癌区域多发于黏膜下层和浆膜层，则此胃癌存在神经侵犯的可能性较大。

实施例1：

本实施例中，提供一种基于图卷积的胃癌病理切片图像的处理系统，包括依次连接的图像采集单元、数字化单元，数据库、图像处理分割单元、数据分析单元和显示单元，具体的，

(1)：根据图像采集单元获取胃癌数字病理切片图像，并根据数字单元对胃癌数字病理切片数字化；

(2)：筛选出完好的数字病理切片大图，构成胃癌数字病理切片图像数据集，并存储于数据库；

(3)：图像处理分割单元提取数据库病理切片数据集，并对病理切片数据集进行预处理，将大图降采样，并转化为单通道图像；

(4)：将图像映射到LAB均匀颜色空间，得到图像的灰度直方图并对直方图进行归一化操作；

(5)：根据灰度直方图的双峰，双峰之间的最低谷处就是图像的阈值所在。由此可以获得阈值分割算法中所需的阈值；

(6)：利用阈值分割算法对转化好的图像进行处理，分割出胃的三个层次：黏膜层、肌层、浆膜层，并给它们分别打上标记C＝1，2，3；

(7)：将已标记好的大图进行裁剪，切割成2048x2048的小patch，并设置训练集和测试集；

(8)：将小patch输入2层图卷积神经网络进行训练，得到胃癌区域的分割结果；

(9)：利用测试集判断胃癌区域分割结果是否准确，若不准确，则优化网络参数和性能，返回上一步重新构建训练集继续训练网络；若准确，则将分割出的胃癌区域打上标记G，癌区标记为1，非癌区标记为0；

(10)：数据分析单元结合(4)中的层次标记C和(8)中的癌区标记G，进行T分期的判断。C＝1,G＝1,则判断所属T分期为T1；C＝2,G＝1,则判断所属T分期为T2；C＝3,G＝1,则判断所属T分期为T3或T4；

(11)：结合(6)中的层次标记C和第十步中的癌区标记G，进行神经侵犯和脉管侵犯的检测。C＝1或3,G＝1,存在较大的神经侵犯可能性；C＝1,G＝1,存在较大的脉管侵犯可能性；

(12)：根据得到神经侵犯和脉管侵犯的概率分布，由显示模块展示相关信息；

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (7)

1.一种基于图卷积的胃癌病理切片图像的处理方法，其特征在于，包括以下步骤：

步骤S1:获取胃癌病理切片，并进行数字化处理，构建胃癌数字病理切片图像数据集；

步骤S2:根据胃癌数字病理切片图像数据集，采用阈值分割算法，获取数字病理切片图像的层次先验信息；

步骤S3:根据得到的层次先验信息，构建并训练图卷积网络分割模型，并根据训练后的图卷积网络分割模型得到数字病理切片图像上胃癌区域的分割结果；

步骤S4:根据结合分割出的层次信息和胃癌区域分布信息，进行T分期的分类，并得到图像中存在神经侵犯和脉管侵犯的概率分布；

所述步骤S4具体为：

步骤S41:根据得到的切片上胃癌区域的分割结果，将分割出的胃癌区域打上标记G，癌区标记为1，非癌区标记为0；

步骤S42:根据层次标记C和癌区标记G，进行T分期的判断,若C＝1,G＝1,则判断所属T分期为T1；C＝2,G＝1,则判断所属T分期为T2；C＝3,G＝1,则判断所属T分期为T3或T4；

步骤S43:根据层次标记C和癌区标记G，进行神经侵犯和脉管侵犯的检测，若C＝1或3,G＝1,存在较大的神经侵犯可能性；若C＝1,G＝1,存在较大的脉管侵犯可能性；

步骤S44:根据步骤S42和S43得到的结果，构建神经侵犯和脉管侵犯的概率分布。

2.根据权利要求1所述的基于图卷积的胃癌病理切片图像的处理方法，其特征在于，所述步骤S1具体为：

步骤S11:获取胃癌病理切片，并进行数字化处理，得到病理切片的全局信息；

步骤S12:筛选出完好的数字病理切片大图，构成胃癌数字病理切片图像数据集；

步骤S13:对胃癌数字病理切片图像数据集进行预处理,得到胃癌数字病理切片图像数据集。

3.根据权利要求2所述的基于图卷积的胃癌病理切片图像的处理方法，其特征在于，所述数字化处理具体为：利用数字显微镜在低倍物镜下对获取胃癌病理切片进行逐幅扫描采集成像，显微扫描平台按照切片XY轴方向扫描移动，并在Z轴方向自动聚焦；然后，由扫描控制软件利用程控扫描方式采集高分辨数字图像，图像压缩与存储软件将图像自动进行无缝拼接处理，制作生成整张全视野的数字化切片。

4.根据权利要求2所述的基于图卷积的胃癌病理切片图像的处理方法，其特征在于，所述数字病理切片的全局信息包括颜色特征、纹理特征和形状特征。

5.根据权利要求1所述的基于图卷积的胃癌病理切片图像的处理方法，其特征在于，所述步骤S2具体为：

步骤S21:将预处理后的图像映射到LAB均匀颜色空间，得到图像的灰度直方图，并对直方图进行归一化操作；

步骤S22:根据归一化后的直方图，获取图像的阈值；

步骤S23:利用阈值分割算法对转化好的图像进行处理，分割出胃的三个层次：黏膜层、肌层、浆膜层，并给它们分别打上标记；

步骤S24:将已标记好的大图进行裁剪，切割成NxN的小patch，并设置训练集和测试集。

6.根据权利要求1所述的基于图卷积的胃癌病理切片图像的处理方法，其特征在于，所述步骤S3具体为

步骤S31:获取病理切片图的特征图和所述特征图的邻接矩阵；

步骤S32:使用邻接矩阵对初始图卷积网络进行训练；进行建模，切片中胃癌区域的形状信息、位置信息和癌区之间相邻关系作为先验信息，融入到图卷积分割网络的框架当中，对分割网络形成约束；

步骤S33:将邻接矩阵和初始图卷积神经网络模型中的第1层图卷积神经网络的输出特征输入到第n+1层图卷积神经网络，得到第n+1层图卷积神经网络的输出特征；

步骤S34:在训练模型的过程中，利用反向传播算法对图卷积神经网络的神经元参数进行更新；

步骤S35:构建基于癌区之间相邻关系的位置损失函数，用来惩罚在相邻关系上不正确的分割标签输出，从而减少分割结果中孤立破碎的胃癌结构标签；

步骤S36:通过测试集数据测试网络模型实现的分割性能，并利用梯度下降算法进行网络模型的优化并更新网络模型权重得到最优的图卷积网络模型；

步骤S37:根据最优的图卷积网络模型得到数字病理切片图像上胃癌区域的分割结果。

7.一种基于图卷积的胃癌病理切片图像的处理系统，其特征在于：所述系统包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至5任一项所述的方法。

Images