CN114332037A - 一种自动分割胰腺癌病理切片中多类组织的方法及装置 - Google Patents

Abstract

本发明公开了一种自动分割胰腺癌病理切片中多类组织的方法及装置，其中，方法包括步骤：对获取的胰腺癌病理图像进行组织标注，得到数字病理标注图像，所述组织标注类型包括脂肪、背景、小肠、淋巴、肌肉、正常、间质、肿瘤；将所述数字病理标注图像中标注的组织以图像块的形式提取出来，得到分类数据集；采用所述分类数据集对初始VGG19模型进行训练和测试，得到训练后VGG19模型；将待分割胰腺癌病理图像输入到训练后VGG19模型中，输出组织分割结果。本发明实现了胰腺癌病理图像多类组织的自动分割。

Description

一种自动分割胰腺癌病理切片中多类组织的方法及装置

技术领域

本发明涉及图像分割技术领域，尤其涉及一种自动分割胰腺癌病理切片中多类组织的方法及装置。

背景技术

病理诊断是肿瘤诊断的“金标准”，然而,专业的病理科医师需要花费大量的时间在观察尺寸巨大的病理切片上，依据专业知识人为诊断肿瘤的类型和分级。现今，病理切片的制作在逐渐实现自动化，大量的病理切片被保存成为数字图像，这为计算机辅助诊断技术的发展奠定了数据基础。病理图像组织分割是识别判断、定量分析等后续操作的基础，这是关键的第一步，其分割效果直接影响着病理图像识别的质量，所以精准的组织自动分割技术，是后续计算机辅助诊断准确性的关键性前提。

病理切片的多类组织自动分割算法难点在于，全扫描的病理图像尺寸过大，图像中包含多种不同类型的组织，所以对胰腺癌全扫描病理图像中的多种类型组织进行自动分类再将其分割出来是一项具有挑战性的工作。

已有的与本发明相关的现有技术及其缺点：

《基于深度卷积网络的结直肠全扫描病理图像的多种组织分割》，这篇论文提出一种基于深度卷积网络的结直肠全扫描病理图像进行多种类型组织分割的模型。该模型使用的网络层数有8层，利用深度卷积网络学习结直肠全扫描图像中典型的8种类型的组织，利用训练好的模型对这8种类型的结直肠组织进行分类测试，其测试集分类准确率达92.48％。利用该模型对结直肠全扫描病理图像中的8种类型组织进行分割，首先对全扫描图像进行预处理，分成5000像素×5000像素大小的图像块，然后标记出每一张中的8种类型的组织，最后将所得到的标记结果进行拼接，从而获得整张结直肠全扫描病理图像的8种类型组织的标记结果。该方法对8种类型的组织分割的准确率比较高，有一定辅助诊断的帮助。该方法的缺点在于不能直接对全玻片图像进行组织自动分割。

《改进型K-Means算法在肠癌病理图像分割中的应用》，这篇论文针对正常与癌变大肠病理切片图像的特征，结合主成分分析(PCA)和K-Means算法提出了一种分割大肠病理切片图像中腺腔和上皮细胞、细胞核、间质的算法，解决了传统K-Means算法确定初始中心的难点，提高了识别分类时的收敛速度。使用基于相关系数矩阵的主成分分析方法确定具有代表性的聚类初始中心，结合K-Means算法将大肠病理切片图像数据分成三类。相关实验证明：提出的改进型K-Means大肠病理切片图像分割算法能够准确地将大肠病理切片图像中的腺腔和上皮细胞、细胞核、间质分类，且使用PCA方法的算法收敛速度比传统使用RANDOM方法的算法更快，取得了良好效果。该研究也存在一定的局限性，主要不足在于其将病理切片图像数据分成三类，而实际图像中包含多种不同类型的组织；且该方法是对315×315像素大小的病理图像进行分割，不能直接对全玻片图像进行组织自动分割。

《一种淋巴组织结构彩色病理图像自动分割算法》，这篇论文提出了基于约简纹理谱特征值的分割方法.首先，对淋巴组织结构病理图像进行特征分析，利用约简纹理谱特征及形状特征，分离出各组织结构，同时进一步提高滑动窗口的纹理谱计算方法；然后对淋巴小结采用灰度分割算法，分离出细胞核、胞浆等.实验证明，该方法简单快速，能对彩色淋巴组织结构病理图像进行有效的分割。该方法的局限性在于需要手动提取特征。

《A Deep Convolutional Neural Network for segmenting and classifyingepithelial and stromal regions in histopathological images》，这篇文提出了一种基于深度卷积神经网络(DCNN)的特征学习方法，从数字化肿瘤组织微阵列中对上皮细胞和间质细胞区域进行自动分割或分类。该研究将基于DCNN的模型与三种基于手工特征提取的方法进行了比较，这些数据集分别包括157张乳腺癌苏木精和伊红(H&E)染色图像和1376张结直肠癌免疫组学染色图像。实验表明他们的基于DCNN的方法在上皮细胞和间质细胞区域的分类方面优于三种基于手工特征提取的方法。该方法主要是针对数字化肿瘤组织微阵列和比较小的病理图像块1128像素×720像素)，不能直接对全玻片图像进行自动分割。

《Fast and accurate tumor segmentation of histology images usingersistent homology and deep convolutional features》，这篇文章提出了一个基于持续性同源谱(PHPs)的新概念的肿瘤分割框架。对于一个给定的图像块，同源性轮廓是通过持久同源性的有效计算导出的，这是同源性理论的代数工具。通过模拟肿瘤核的非典型特征，设计了持续性同源谱来区分肿瘤区域和正常区域。这项研究是在两个独立收集的大肠数据集上进行的，包括腺瘤、腺癌、印戒癌和健康病例。总的来说，提出的框架强调了持久同源性在组织病理学图像分析中的作用。该方法的局限在于其只是将肿瘤分割出来，并未分割图像中的其他组织。

《Psoriasis skin biopsy image segmentation using Deep ConvolutionalNeural Network》，这篇论文提出了一种对银屑病皮肤活检图像进行自动分割的开创性尝试。利用U形全卷积神经网络对简单线性迭代聚类生成的超像素进行分类，全卷积神经网络也用于端到端的学习方式，其中输入是原始的彩色图像，输出是皮肤层的分割类映射。实验结果表明，基于CNN的方法优于传统手工基于特征的分类方法。该方法的不足之处在于需要先对图像生成超像素才能进行分割。

《Large scale tissue histopathology image classification,segmentation,and visualization via deep convolutional activation features》，这篇论文提出利用深度卷积神经网络(CNN)激活特征，在大规模组织的组织病理学图像中进行分类、分割和可视化。他们的框架将从大型自然图像数据库ImageNet训练的CNN中提取的特征转移到组织病理学图像中。根据实验，他们提出的框架在MICCAI 2014脑肿瘤数字病理挑战的脑肿瘤数据集和结肠癌组织病理图像数据集上显示了最先进的性能。该方法的局限在于其只是分割坏死和非坏死区域，并未分割图像中的其他组织。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种自动分割胰腺癌病理切片中多类组织的方法及装置，旨在解决现有技术无法直接对全扫描的胰腺癌病理图像进行组织分割的问题。

本发明的技术方案如下：

一种自动分割胰腺癌病理图像中多类组织的方法，其中，包括步骤：

对获取的胰腺癌病理图像进行组织标注，得到数字病理标注图像，所述组织标注类型包括脂肪、背景、小肠、淋巴、肌肉、正常、间质、肿瘤；

将所述数字病理标注图像中标注的组织以图像块的形式提取出来，得到分类数据集；

采用所述分类数据集对初始VGG19模型进行训练和测试，得到训练后VGG19模型；

将待分割胰腺癌病理图像输入到训练后VGG19模型中，输出组织分割结果。

所述自动分割胰腺病理图像中多类组织的方法，其中，所述图像块的大小为224×224像素。

所述自动分割胰腺病理图像中多类组织的方法，其中，采用所述分类数据集对初始VGG19模型进行训练和测试，得到训练后VGG19模型的步骤包括：

将所述分类数据集划分为训练数据集和测试数据集，其中，所述训练数据集中包括8种组织标注类型的图像块；

采用所述训练数据集和所述测试数据集对初始VGG19模型分别进行训练和测试，得到训练后VGG19模型。

所述自动分割胰腺病理图像中多类组织的方法，其中，将待分割胰腺癌病理图像输入到训练后VGG19模型中，输出组织分割结果的步骤包括：

采用滑动窗口提取待分割胰腺病理图像中的图像块；

将提取到的图像块输入到训练后VGG19模型中进行分类，得到一个softmax输出，即一个8维的向量，分别对应图像块属于每个类别的概率；

将图像块划分到最大概率所对应的的组织类别，对待分割胰腺病理图像中所有的图像块进行分类后，则得到多类组织分割结果。

一种自动分割胰腺病理图像中多类组织的装置，其中，包括：

标注模块，用于对获取的胰腺癌病理图像进行组织标注，得到数字病理标注图像，所述组织标注类型包括脂肪、背景、小肠、淋巴、肌肉、正常、间质、肿瘤；

图像块提取模块，用于将所述数字病理标注图像中标注的组织以图像块的形式提取出来，得到分类数据集；

训练模块，用于采用所述分类数据集对初始VGG19模型进行训练和测试，得到训练后VGG19模型；

分割模块，用于将待分割胰腺癌病理图像输入到训练后VGG19模型中，输出组织分割结果。

所述自动分割胰腺病理图像中多类组织的装置，其中，所述分割模块包括：

图像块提取单元，用于采用滑动窗口提取待分割胰腺病理图像中的图像块；

分类单元，将提取到的图像块输入到训练后VGG19模型中进行分类，得到一个softmax输出，即一个8维的向量，分别对应图像块属于每个类别的概率；

分割单元，用于将图像块划分到最大概率所对应的的组织类别，对待分割胰腺病理图像中所有的图像块进行分类后，则得到多类组织分割结果。。

一种存储介质，其中，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本发明所述自动分割胰腺病理图像中多类组织的方法中的步骤。

一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现本发明所述自动分割胰腺病理图像中多类组织的方法中的步骤。

有益效果：本发明提出一种自动分割胰腺病理图像中多类组织的方法，该方法通过将待分割胰腺癌病理图像输入经训练的8类(脂肪、背景、小肠、淋巴、肌肉、正常、间质、肿瘤)组织分类器，获得该图像各类组织的分割结果。本发明实现了胰腺癌病理图像多类组织的自动分割，包含两个部分：第一部分是构建组织分类模型，先建立数字病理图像标注库，将数字病理标注图像提取出来分成训练数据集和测试数据集，用于构建8类组织分类器；第二部分是组织自动分割，将胰腺癌病理图像输入训练好组织分类模型，经过相应的操作后生成该图像的分割结果。

附图说明

图1为本发明一种自动分割胰腺癌病理切片中多类组织的方法的流程图。

图2为8种组织类型的示例图。

图3为本发明一种自动分割胰腺癌病理切片中多类组织的方法原理框架图。

图4为分类结果的混淆矩阵图。

图5为胰腺癌全玻片图像多类组织分割流程图。

图6为一种终端设备的原理图。

具体实施方式

本发明提供一种自动分割胰腺癌病理切片中多类组织的方法及装置，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现有的传统病理图像分割方法有基于细胞形态学的方法、基于纹理特征的方法等，但这些方法目前适用于对肿瘤和基质两类组织分割，同时能够处理的图像尺寸也有规定，因而不适用对大尺寸、复杂度高的胰腺癌全扫描图像进行分割。且现有的基于深度卷积神经网络的方法大多是利用网络提取特征后，再利用机器学习方法对特征进行分类，进而分割出图像各类组织。小部分方法是直接通过深度卷积神经网络对图像中的多种组织进行分割，但是都不是处理全扫描的胰腺癌病理图像。

基于此，本发明提供了一种自动分割胰腺癌病理切片中多类组织的方法的流程图，如图1所示，其包括步骤：

S10、对获取的胰腺癌病理图像进行组织标注，得到数字病理标注图像，所述组织标注类型包括脂肪、背景、小肠、淋巴、肌肉、正常、间质、肿瘤；

S20、将所述数字病理标注图像中标注的组织以图像块的形式提取出来，得到分类数据集；

S30、采用所述分类数据集对初始VGG19模型进行训练和测试，得到训练后VGG19模型；

S40、将待分割胰腺癌病理图像输入到训练后VGG19模型中，输出组织分割结果。

本发明提供的自动分割胰腺癌病理切片中多类组织的方法包含两个部分：第一部分是构建组织分类模型，先建立数字病理图像标注库，将数字病理标注图像提取出来分成训练数据集和测试数据集，用于构建8类组织分类器；第二部分是组织自动分割，将胰腺癌病理图像输入训练好组织分类模型，经过相应的操作后生成该图像的分割结果。本发明实现了胰腺癌病理图像多类组织的自动分割。

下面通过一具体实施例对本发明做进一步的解释说明：

1、首先采集胰腺癌病理图像：

从中山大学附属肿瘤医院收集整理了87例胰腺癌患者的病理切片，在数据收集完毕后，用切片扫描仪将收集到的病理切片扫描到电子计算机中，以RGB三通道存储为数字图像矩阵，即获得胰腺癌病理图像。

2、建立数字病理图像标注库：

在胰腺癌病理图像采集结束后，通过筛选带有病理科专家诊断信息的数字病理切片建立数字病理图像数据库，并从该数据库中挑选了17张病理图像进行严格的8类(脂肪、背景、小肠、淋巴、肌肉、正常、间质、肿瘤)组织标注得到数字病理标注图像，并形成数字病理图像标注库。

数字病理图像标注库建成之后，由于单个数字病理标注图像的非常大尺寸使得直接使用卷积神经网络进行分类或分割是不现实的。一方面，构造一个输入尺寸很大的卷积神经网络是不实际的。另一方面，将整个数字病理标注图像通过卷积神经网络缩小到可接受的大小会失去太多的详细信息，这使得即使是病理学家也无法识别。基于这一事实，本实施例的分割框架采用了图像块采样技术来利用更小的局部图像块训练模型，从而保留基本的局部细节。图2是数据集中所代表的8种组织类型的示例图。

3、建立模型

本实施例提出如图3所示的框架研究自动分割胰腺癌病理切片中多类组织的方法：将数字病理图像标注库中标注的组织以图像块的形式都提取出来，图像块的大小设置为224×224像素，用于训练8类组织分类器；得到用于分割的模型，然后把待处理的全玻片图像输入该模型得到8类组织的分割结果。

具体来讲，使用在ImageNet数据库上进行了预训练的VGG19模型作为基础模型，通过替换分类层，用随机梯度下降方法对整个网络进行训练。为了衡量网络的性能，本实施例把从数字病理图像标注库(17张标注好的病理图像)中提取出来的图像块每一类各保留5000张作为测试数据集(共40000张)，其余都作为训练数据集(共258041张)。

在训练数据集上进行神经网络训练后，本实施例评估了测试数据集中组织分类的准确性。集合中的所有图像的大小均为224×224像素，按顺序输入网络中进行训练和测试，测试结果的混淆矩阵如图4所示，其测试分类准确率高达97.2％。

网络训练完成后，本实施例将该网络用于分割具有异质组织组成的更大的胰腺癌全玻片图像。本实施例使用一个滑动窗口来提取呈现给网络的部分重叠的图像块。然后为每个图像块保存softmax输出层(第46层，每个组织类有一个输出神经元，范围从0到1)的激活。为了实现可视化，每个输出类都用一种不同的颜色表示。可视化中每个像素的最终颜色是由这个特定位置的输出神经元激活加权的这些颜色的和。具体来讲，分割的实现：将通过滑动窗采集的每一个图像块输入VGG19后会得到一个softmax输出，即一个8维的向量，分别对应图像块属于每个类别的概率(8个概率的和为1)，本实施例将图像块划分到最大概率所对应的的组织类别。对待分割图像中所有的图像块进行分类后，则得到该图象多类组织分割结果。

分割结果的可视化：我们对每类组织规定一种颜色，记为c1到c8，每种颜色为一个RGB三元组。在分割结果的可视化图中每个像素对应原待分割图像中的一个图像块。待分割对象中每个图像块会有一个VGG19输出的8维的概率向量，记为p1到p8。为准确反映分类时输出概率的不确定性，每个图像块在分割结果可视化图中对应像素的显示颜色为该图像块的概率向量与8种颜色的加权平均，即p1×c1+…p8×c8。图5是整个基于深度卷积网络的胰腺癌全玻片病理图像多类组织分割方法的流程图，其中灰色虚线框内是训练组织分类模型的过程，黑色虚线框内是将训练好的模型用于分割全玻片图像的过程。

在一些实施方式中，还提供一种自动分割胰腺病理图像中多类组织的装置，其包括：

标注模块，用于对获取的胰腺癌病理图像进行组织标注，得到数字病理标注图像，所述组织标注类型包括脂肪、背景、小肠、淋巴、肌肉、正常、间质、肿瘤；

图像块提取模块，用于将所述数字病理标注图像中标注的组织以图像块的形式提取出来，得到分类数据集；

训练模块，用于采用所述分类数据集对初始VGG19模型进行训练和测试，得到训练后VGG19模型；

分割模块，用于将待分割胰腺癌病理图像输入到训练后VGG19模型中，输出组织分割结果。

在本实施例中，所述分割模块包括：图像块提取单元，用于采用滑动窗口提取待分割胰腺病理图像中的图像块；分类单元，将提取到的图像块输入到训练后VGG19模型中进行分类，得到一个softmax输出，即一个8维的向量，分别对应图像块属于每个类别的概率；分割单元，用于将图像块划分到最大概率所对应的的组织类别，对待分割胰腺病理图像中所有的图像块进行分类后，则得到多类组织分割结果。

在一些实施方式中，还提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本发明所述自动分割胰腺病理图像中多类组织的方法中的步骤。

在一些实施方式中，本申请还提供了一种终端设备，如图6所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。

此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

此外，存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

综上所述，本发明实现了胰腺癌病理图像多类组织的自动分割，包含两个部分：第一部分是构建组织分类模型，先建立数字病理图像标注库，将数字病理标注图像提取出来分成训练数据集和测试数据集，用于构建8类组织分类器；第二部分是组织自动分割，将胰腺癌病理图像输入训练好组织分类模型，经过相应的操作后生成该图像的分割结果。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种自动分割胰腺癌病理图像中多类组织的方法，其特征在于，包括步骤：

对获取的胰腺癌病理图像进行组织标注，得到数字病理标注图像，所述组织标注类型包括脂肪、背景、小肠、淋巴、肌肉、正常、间质、肿瘤；

将所述数字病理标注图像中标注的组织以图像块的形式提取出来，得到分类数据集；

采用所述分类数据集对初始VGG19模型进行训练和测试，得到训练后VGG19模型；

将待分割胰腺癌病理图像输入到训练后VGG19模型中，输出组织分割结果。

2.根据权利要求1所述自动分割胰腺病理图像中多类组织的方法，其特征在于，所述图像块的大小为224×224像素。

3.根据权利要求1所述自动分割胰腺病理图像中多类组织的方法，其特征在于，采用所述分类数据集对初始VGG19模型进行训练和测试，得到训练后VGG19模型的步骤包括：

将所述分类数据集划分为训练数据集和测试数据集，其中，所述训练数据集中包括8种组织标注类型的图像块；

采用所述训练数据集和所述测试数据集对初始VGG19模型分别进行训练和测试，得到训练后VGG19模型。

4.根据权利要求1所述自动分割胰腺病理图像中多类组织的方法，其特征在于，将待分割胰腺癌病理图像输入到训练后VGG19模型中，输出组织分割结果的步骤包括：

采用滑动窗口提取待分割胰腺病理图像中的图像块；

将提取到的图像块输入到训练后VGG19模型中进行分类，得到一个softmax输出，即一个8维的向量，分别对应图像块属于每个类别的概率；

将图像块划分到最大概率所对应的的组织类别，对待分割胰腺病理图像中所有的图像块进行分类后，则得到多类组织分割结果。

5.一种自动分割胰腺病理图像中多类组织的装置，其特征在于，包括：

标注模块，用于对获取的胰腺癌病理图像进行组织标注，得到数字病理标注图像，所述组织标注类型包括脂肪、背景、小肠、淋巴、肌肉、正常、间质、肿瘤；

图像块提取模块，用于将所述数字病理标注图像中标注的组织以图像块的形式提取出来，得到分类数据集；

训练模块，用于采用所述分类数据集对初始VGG19模型进行训练和测试，得到训练后VGG19模型；

分割模块，用于将待分割胰腺癌病理图像输入到训练后VGG19模型中，输出组织分割结果。

6.根据权利要求5所述自动分割胰腺病理图像中多类组织的装置，其特征在于，所述分割模块包括：

图像块提取单元，用于采用滑动窗口提取待分割胰腺病理图像中的图像块；

分类单元，将提取到的图像块输入到训练后VGG19模型中进行分类，得到一个softmax输出，即一个8维的向量，分别对应图像块属于每个类别的概率；

分割单元，用于将图像块划分到最大概率所对应的的组织类别，对待分割胰腺病理图像中所有的图像块进行分类后，则得到多类组织分割结果。

7.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-5任意一项所述自动分割胰腺病理图像中多类组织的方法中的步骤。

8.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如权利要求1-5任意一项所述自动分割胰腺病理图像中多类组织的方法中的步骤。

Images