CN114742758A - 一种全视野数字切片组织病理图片中的细胞核分类方法 - Google Patents

Abstract

本发明涉及一种全视野数字切片组织病理图片中的细胞核分类方法，包括：对患者的组织病理学WSI进行预处理，并根据处理后的WSI中细胞核的核质心到像素的经验密度对虚拟类别进行分层，并获取训练集和验证集；以空间区域为目标，对类不平衡的影像提升分类F1水平，并提取核特征；核特征提取后，采用Hovernet中的三个独立的密集连接解码器分别执行核检测、像素到核质心的水平和垂直距离估计以及对核预测进行分类；采用拥有多个目标函数组合的成本函数最小化目标函数，获取最终细胞核分类结果。与现有技术相比，本发明具有显著提高MSE，有助于模型对类进行更好地学习，以及提升分类结果准确度等优点。

Description

一种全视野数字切片组织病理图片中的细胞核分类方法

技术领域

本发明涉及计算机辅助医学图像处理技术领域，尤其是涉及一种全视野数字切片组织病理图片中的细胞核分类方法。

背景技术

随着数字病理学的快速发展，通过评估微组织环境以进行细胞核分类的方法得到了极大的改进。由于肿瘤内的异质性，定性技术通常很困难，并且会导致假阴性诊断，而深度学习方法已经为不同组织区域中的许多类型的细胞核提供了具有竞争力和准确的分类结果。取决于组织区域，细胞核经常形成簇的形式；在细胞类别不平衡数据集中，这给深度学习模型带来挑战，因此非常需要模型来合并这些空间特征。

细胞核分割是细胞分类模型中的关键步骤，因为分割的性能直接影响分类性能。具有密集细胞区域的图像通常会导致细胞核聚集和重叠，当聚集的细胞核具有相似的形态特征时，这使得分割变得困难。分水岭模型(watershed)一直是分割模型的常用方法，但是当使用数据增广时，图像中的局部最小值导致过度分割。专注于形态和空间意识的模型可以更好地分割相重叠的细胞核。聚集在一起的细胞核会展现出强度对比，因此当成本函数包含细胞核的梯度时，分割结果会有提升。近年，基于空间感知的生物医学图像方法在具有空间结构特性差异的恶性细胞核正常细胞核的辨别中取得了进展。然而，许多模型专注于细胞核密集区域，对于细胞核分布很不平衡的病理图像则效果欠佳。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种全视野数字切片组织病理图片中的细胞核分类方法。

本发明的目的可以通过以下技术方案来实现：

一种全视野数字切片组织病理图片中的细胞核分类方法，该方法包括：

对患者的组织病理学WSI进行预处理，并根据处理后的WSI中细胞核的核质心到像素的经验密度对虚拟类别进行分层，并获取训练集和验证集；

以空间区域为目标，对类不平衡的影像提升分类F1水平，并提取核特征；

核特征提取后，采用Hovernet中的三个独立的密集连接解码器分别执行核检测、像素到核质心的水平和垂直距离估计以及对核预测进行分类；

采用拥有多个目标函数组合的成本函数最小化目标函数，获取最终细胞核分类结果。

进一步地，所述预处理包括对患者的组织病理学WSI依次进行的裁剪处理、颜色标准化处理和数据增强处理。

所述裁剪处理为对患者的组织病理学WSI裁剪成大小270x270的重叠块，并对裁剪后的重叠块中提取信息后进行下采样。

所述颜色标准化处理为采用Macenko的染色归一化算法归一化裁剪处理后的染色图像块。

所述数据增强处理的具体内容为：

对归一化的图像块通过旋转、镜像、缩放、平移、高斯模糊、中值模糊、混合图像、切割图像以及调整亮度、对比度和饱和度进行数据增强。

进一步地，对虚拟类别进行分层的过程中，利用k折交叉验证将80/20％的样本分成训练集和验证集。

对虚拟类别进行分层的表达式如下：

v₀：r≤0.01，

v₁：0.01＜r≤0.2，

v₂：0.2＜r≤0.5，

v₃：r＞0.5.

式中，r为细胞核类别数与像素数的比率，v₀、v₁、v₂、v₃分别为虚拟类别的不同层。

进一步地，利用带有挤压和激励块的ResNet-50-SE编码器提取核特征，并采用空间金字塔池化从细胞核密集簇之外的低平衡类中提取更多特征；同时使用空洞卷积实现空间金字塔池化，并只在最后一层初始化偏差项。

进一步地，所述目标函数为最小化多项成本函数，其表达式为：

式中，

为成本函数，，j＝1…4，代表层；i＝1…N，代表每一个像素，N为像素的数量。

进一步地，最小化多项成本函数中，第一个成本函数

为Huber函数的扩展，其表达式为：

式中，y_i为像素点到中心的距离，

为其拟合值，α为控制异常值的判别标准的参数，δ为控制惩罚的调匀参数，η_j为一个连续函数；

目标函数的第二部分的表达式为：

式中，

为纵向距离，

为横向距离；

目标函数的第三、四部分为针对类别不平衡的Tversky和Focal函数，分别为：

式中，y_ik为

中细胞核的实际类别，

为

中细胞核的预测类别，β为一个权重，γ为控制曲线的形状的参数；

以及：

式中，y_i(I)为

中细胞核的实际类别，

为

和细胞核的预测类别，∈为稳定参数，κ为控制假阳性的参数。

本发明提供的全视野数字切片组织病理图片中的细胞核分类方法，相较于现有技术至少包括如下有益效果：

1)本发明通过使用复合凸成本函数检测异常值并改进类不平衡数据集的分类，通过引入新的参数控制平滑度，并基于图像空间经验密度的分层k折交叉验证提高了分类分数，与现有技术相比，成本函数将F1分数的MSE有显著提高。

2)本发明基于细胞核质心到像素的经验密度对虚拟变量进行分层来应对类不平衡，本发明通过在层内将80/20％的样本分成训练集和验证集，能够确保高密度和低密度的细胞核区域将在两个数据集分布相似中，以便可以定位低频率的细胞核，这有助于模型对类进行更好地学习，进而提升分类结果的准确度。

附图说明

图1为实施例中全视野数字切片组织病理图片中的细胞核分类方法的流程示意图。

图2为实施例中对虚拟类别进行分层的原理图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

本发明涉及一种全视野数字切片组织病理图片中的细胞核分类方法，下文中将以SpNet代表本发明方法。该方法主要的改进原理在于：(1)首先，通过改进成本函数的结构，使用改进的Huber成本函数，利用附加参数实现平滑。(2)根据图像块的经验密度对数据集进行分层，针对层内划分训练集、验证集，使验证集中有足够的类别不平衡数据点。

基于上述改进原理，本发明方法的具体实施步骤包括：

一、数据准备

由于WSI(Whole-slide image，病理图像)的大小为千兆像素，因此如果将这些图像直接插入到模型中，GPU将无法处理这些图像。因此，把WSI切割成270x270的块用于训练。为了消除颜色染色中的任何不一致和变化，通过Macenko算法(Macenko染色标准化方法)对染色进行标准化。

二、图像预处理

数据增广：增广不同颜色、纹理和图案的图像。基于大小为270×270的图像块，本发明引入了一组辅助变量Z₁，...，Z_r来代表各种变换。使用了旋转(90°，180°，270°)、镜像、缩放、平移、高斯模糊、中值模糊、混合图像、切割图像、调整亮度、对比度和饱和度。还切割了一个图像的固定矩形并将其替换到另一个图像中，并产生了由图像信号中的急剧和突然干扰引起的脉冲噪声。

分层的训练验证集：为了分离训练和验证图像块，先根据图像块的细胞核密度进行分层，实施分层的k折交叉验证以保持平衡的数据集，本实施例选择k＝5来创建80/20％的拆分。由于验证集的图像比例也很低，因此该方法还允许我们选择具有高密度单元格的图像块，从而不使用任何没有单元格的块，并且可以优化验证。根据每个图像块的经验密度对以下虚拟类别进行分层：

v₀：r≤0.01，

v₁：0.01＜r≤0.2，

v₂：0.2＜r≤0.5，

v₃：r＞0.5.

其中，其中r是细胞核类别数与像素数的比率。v₀、v₁、v₂、v₃分别表示虚拟类别的不同层。如图2所示。

三、模型结构

本发明使用ResNet-50-SE编码器提取核特征，然后使用三个独立的密集连接解码器，通过最近邻上采样，采用空间金字塔池化从细胞核密集簇之外的低平衡类中提取更多特征。使用空洞卷积实现空间金字塔池化。为了进一步解决类不平衡问题，只在最后一层初始化偏差项为：

其中，常数k设置为5e^(-4)。假设训练和测试图像遵循相同的分布

然后用Sigmoid函数来做类别预测。

本发明方法的流程概述如图1所示。

针对模型架构，考虑目标函数是最小化一个多项成本函数，其表达式为：

式中，

为成本函数，j＝1…4，代表层；i＝1…N，代表每一个像素，N为像素的数量；第一个成本函数

是Huber函数的扩展：

其中，y_i是像素点到中心的距离，

为其拟合值，α是控制异常值的判别标准的参数，δ为控制惩罚的调匀参数，η_j是一个连续函数。

本发明通过改进Huber函数，实现对类不平衡数据集中的数据点更准确的分类。已有模型没有关注类不平衡，因此分类准确率偏低。J₁由两个独立的部分组成，以相应地以不同的比率惩罚异常值。由于原子核倾向于聚集在一起，因此在原子核半径α内使用MSE(均方误差)的惩罚。此半径之外的像素常为异常值，用近似MAE(平均绝对误差)函数的惩罚。α值越高(α＞1.5)表示异常值越少，值越小(α＜1.5)表示异常值越多。惩罚参数(控制惩罚的调匀参数)δ决定惩罚异常值的程度，其中6值越高表明对异常值的惩罚越多。近似这个函数以允许更快的收敛并控制平滑度，而不是具有恒定的梯度。控制惩罚的调匀参数δ用于进一步控制曲线的陡峭程度，其中δ＝1用于实验。函数针对不同的参数值在二维中绘制，以显示对|x|的收敛。

目标函数的第二部分从HoVerNet相关论文中引入为：

其中，

表示纵向距离，

表示横向距离。

上述提及的论文具体为《Graham S，Vu QD，Raza SEA，Azam A，Tsang YW，Kwak JT，Rajpoot N.Hover-Net：Simultaneous segmentation and classification of nuclei inmulti-tissue histology images.Med Image Anal.2019Dec；58：101563.doi：10.1016/j.media.2019.101563.Epub 2019 Sep 18.PMID：31561183》。

通过使用相连的细胞核具有对比梯度的现象来进行分割。第三、四部分为针对类别不平衡的Tversky和Focal函数，分别为：

其中，y_ik是细胞核的实际类别，

是细胞核的预测类别，β是一个权重，γ为控制曲线的形状的参数，如果γ越大，对稀有类别细胞的关注越大。

以及：

其中y_i(I)是

中细胞核的实际类别，

是

中细胞核的预测类别，∈是一个稳定参数，κ为控制假阳性的参数。

四、实例验证

1)数据集

使用结直肠腺癌核分割和表型(CoNSeP：Colorectal Nuclear SEgmentation andPhenotypes)数据集，该数据集由41个结直肠WSI组成，其大小为1000x1000像素，放大倍数为40x。每张图像属于单个患者，并从16个结直肠腺癌WSI中提取，CoNSeP的数据集中不同类别细胞数量如表1所示。尽管这个数据集有来自病理学家的24,319个详尽注释的细胞核，但存在高度的类别不平衡，这极大地影响了模型性能。我们发现杂项核占训练数据集的2.38％和测试数据集的6.39％。因此，由于组织病理学图像的不平衡性，随机分配训练和验证图像集将不能代表整个WSI，并给出有偏差的结果。本实施例将基于核密度分层的数据划分训练集和验证集。

表1 CoNSeP的数据集中不同类别细胞数量

2)数据准备

为了消除颜色染色中的任何不一致和变化，首先对染色进行标准化。由于WSI的大小为千兆像素，因此如果将这些图像直接插入模型中，GPU将无法处理这些图像。此外，每个WSI的大小都有所不同，因此本实施例使用270x270的图像块。

数据增强能够训练无法收集的图像，例如不同颜色、纹理和图案的图像，这些图像是由内部变化产生的，因此WSI可能会在不同的医疗场所表现出不同的图案。使用大小为270×270的补丁，本实施例引入了一组辅助变量Z₁，...，Z_r代表各种变换。典型示例包括旋转(90°，180°，270°)、镜像、缩放、平移、高斯模糊、中值模糊、混合图像、切割图像以及调整亮度、对比度和饱和度。最近的增强技术也显示出有希望的结果，包括CutMix，它切割一个图像的固定矩形并在另一个图像中替换它。本实施例实现了其他增强方法的例子，包括CoarseDropOut，它在图像中创建随机的黑色矩形，可能有助于学习异常值。SaltPepperNoise会生成由图像信号中的急剧和突然干扰引起的脉冲噪声，这有助于生成更多有时可能存在的伪影。

为了分离训练和验证图像块，本实施例实施分层k折交叉验证以保持平衡的数据集，优先选择k＝5来创建80/20％的拆分。本实施例根据每个图像的内核密度进行分层。由于杂项核的频率如此之低，本实施例决定不根据类别进行分层，因为本实施例希望在训练集中保留该类别的高频率。杂项核类通常不存在于两个数据集中的集群中，因此该方法将允许本实施例在验证集中拥有此类，而随机抽样并不能保证这一点。由于验证集的图像比例也很低，因此该方法还允许本实施例选择具有高密度单元格的图像块，从而不使用任何没有单元格的块，并且可以优化验证。根据每个图像块的经验密度对以下虚拟类别进行分层。

v₀：r≤0.01，

v₁：0.01＜r≤0.2，

v₂：0.2＜r≤0.5，

v₃：r＞0.5.

其中，其中r是细胞核类别数与像素数的比率。v₀、v₁、v₂、v₃分别表示虚拟类别的不同层。

3)结果

本实施例对有和没有分层(随机抽样)的CoNSeP数据集进行分析。结果表明，通过提高所有核类型的分类分数，本实施例的分层方法在分类方面的表现优于随机选择。本实施例还将使用本发明的结果与最新的最先进的同步分割和分类模型HoVer-Net模型进行了比较，结果如表2所示。表中可以看到本发明的分层方法的总体F1-score相比其他方法最高达到0.7575，在每个类别(class总也超过随机方法和Hover-Net提出的方法。

表2 CoNSep数据集上使用分层划分、随机划分训练测试集的结果比较

本实施例对新的损失函数进行了消融分析，测试了它的不同种类，包括MSE、MAE、Huber和Pseudo Huber，这使我们能够测试有效性。结果表明本发明方法的成本函数直接提高了类不平衡核(杂项类型)以及其他类型核的分类F1分数。结果如表3所示。表中显示各类方法的PQ测量近似，但是SpNet的总体识别F1-score上超过其他方法，在对混合类、炎症类、纺锤体类的识别F1-score也超过其他方法，表明本发明方法的准确性更高。

表3不同的成本函数的准确度比较

本实施例还对不同的编码器进行了分析，如表4所示，发现空间编码器(ResNet50-SE)F1-score高于其他非空间编码器，这意味着空间注意力对本发明方法的任务至关重要。另外，通过表4我们看到ResNet101的分割效果最好，但在分类方面很差。可以清楚地看到，DenseNet的全套预训练权重的遗漏对结果造成了很大的影响，无法有效地产生高质量的结果。虽然ResNet50-SE不是训练最快的模型，但它比Inception和ResNet-101模型更快，它也为每个核产生了优异的结果，并将类不平衡核的分类提高了11％。本实施例已经展示了对原始HoVer Net论文的改进，而DenseNet和ResNet-34模型是唯一表现更快的模型。

表4编码器比较

综上，本发明通过使用复合和凸成本函数检测异常值并改进类不平衡数据集的分类。本发明专注于使用挤压和激励块以及空间金字塔池化的空间区域，以将整体检测提高3％以上，并将类别不平衡核的分类提高21.8％。结果表明，尽管ResNet-101有时具有更高的分割指标，但与两个数据集上的任何其他编码器相比，ResNet50-SE具有更好的分类指标。由于ResNet50-SE是最好的模型，这说明了空间感知模型在组织学数据集中的重要性，因为许多数据集存在类别不平衡的问题，标准化模型将在训练期间严重惩罚异常值，然后影响真实世界测试数据集的下游分析，这些数据集具有大量伪像和类别不平衡核。总的来说，这表明通过结合染色归一化、分层采样、Nadam优化、SPP和数据增强，这有助于显着改进本发明模型，即使本发明具有与原始HoVer Net模型相同的编码器。通过根据每个图像块的经验密度对数据集进行分层，以创建类平衡的训练和验证数据集，从而将CoNSeP数据集中杂项核的准确性提高了21.8％。因此，本发明模型可以准确地分割和分类各种类型的细胞核形态和结构，进而可以成功地适应临床环境，有助于癌症诊断。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种全视野数字切片组织病理图片中的细胞核分类方法，其特征在于，包括：

对患者的组织病理学WSI进行预处理，并根据处理后的WSI中细胞核的核质心到像素的经验密度对虚拟类别进行分层，并获取训练集和验证集；

以空间区域为目标，对类不平衡的影像提升分类F1水平，并提取核特征；

核特征提取后，采用Hovernet中的三个独立的密集连接解码器分别执行核检测、像素到核质心的水平和垂直距离估计以及对核预测进行分类；

采用拥有多个目标函数组合的成本函数最小化目标函数，获取最终细胞核分类结果。

2.根据权利要求1所述的全视野数字切片组织病理图片中的细胞核分类方法，其特征在于，所述预处理包括对患者的组织病理学WSI依次进行的裁剪处理、颜色标准化处理和数据增强处理。

3.根据权利要求2所述的全视野数字切片组织病理图片中的细胞核分类方法，其特征在于，所述裁剪处理为对患者的组织病理学WSI裁剪成大小270x270的重叠块，并对裁剪后的重叠块中提取信息后进行下采样。

4.根据权利要求3所述的全视野数字切片组织病理图片中的细胞核分类方法，其特征在于，所述颜色标准化处理为采用Macenko的染色归一化算法归一化裁剪处理后的染色图像块。

5.根据权利要求4所述的全视野数字切片组织病理图片中的细胞核分类方法，其特征在于，所述数据增强处理的具体内容为：

对归一化的图像块通过旋转、镜像、缩放、平移、高斯模糊、中值模糊、混合图像、切割图像以及调整亮度、对比度和饱和度进行数据增强。

6.根据权利要求1所述的全视野数字切片组织病理图片中的细胞核分类方法，其特征在于，对虚拟类别进行分层的过程中，利用k折交叉验证将80/20％的样本分成训练集和验证集。

7.根据权利要求6所述的全视野数字切片组织病理图片中的细胞核分类方法，其特征在于，对虚拟类别进行分层的表达式如下：

v₀：r≤0.01，

v₁：0.01＜r≤0.2，

v₂：0.2＜r≤0.5，

v₃：r＞0.5.

式中，r为细胞核类别数与像素数的比率，v₀、v₁、v₂、v₃分别为虚拟类别的不同层。

8.根据权利要求1所述的全视野数字切片组织病理图片中的细胞核分类方法，其特征在于，利用带有挤压和激励块的ResNet-50-SE编码器提取核特征，并采用空间金字塔池化从细胞核密集簇之外的低平衡类中提取更多特征；同时使用空洞卷积实现空间金字塔池化，并只在最后一层初始化偏差项。

9.根据权利要求8所述的全视野数字切片组织病理图片中的细胞核分类方法，其特征在于，所述目标函数为最小化多项成本函数，其表达式为：

式中，

为成本函数，，j＝1…4，代表层；i＝1…N，代表每一个像素，N为像素的数量。

10.根据权利要求9所述的全视野数字切片组织病理图片中的细胞核分类方法，其特征在于，最小化多项成本函数中，第一个成本函数

为Huber函数的扩展，其表达式为：

式中，y_i为像素点到中心的距离，

为其拟合值，α为控制异常值的判别标准的参数，δ为控制惩罚的调匀参数，η_j为一个连续函数；

目标函数的第二部分的表达式为：

式中，

为纵向距离，

为横向距离；

目标函数的第三、四部分为针对类别不平衡的Tversky和Focal函数，分别为：

式中，y_ik为

中细胞核的实际类别，

为

中细胞核的预测类别，β为一个权重，γ为控制曲线的形状的参数；

以及：

式中，y_i(I)为

中细胞核的实际类别，

为

中细胞核的预测类别，∈为稳定参数，κ为控制假阳性的参数。

Images