CN113628197A - 一种基于对比学习的弱监督全切片组织病理图像分类方法 - Google Patents

Abstract

一种基于对比学习的弱监督全切片组织病理图像分类方法，本发明涉及对比学习技术和弱监督分类技术。为了解决在仅有图像级标注的情况下对全切片组织病理图像分类准确率低的问题。全切片组织图像尺寸十分巨大，基于深度神经网络的全切片病理图像分类方法效果显著。但此类方法需要专业病理医生手动标注近10亿像素的全切片图像，获取精确标注数据的成本十分高昂。因此，本发明提出了一种基于对比学习的弱监督全切片图像分类方法，用于在仅有图像级标注的情况下对全切片组织病理图像分类。实验表明，在标注不足的情况下，该方法能够对全切片组织病理图像有效分类。本发明主要应用于弱监督情况下的全切片组织病理图像分类。

Description

一种基于对比学习的弱监督全切片组织病理图像分类方法

技术领域

本发明涉及弱监督全切片组织病理图像分类。

背景技术

乳腺癌是全球发病率和死亡率最高的癌症，2018年全球女性乳腺癌发病率为24.2％，死亡率为15％。乳腺癌的治疗取决于疾病的临床分级，确定乳腺癌临床分级的一个关键步骤是通过显微镜检查乳房附近的淋巴结，以确定癌症已经扩散和转移。这一过程需要专业病理医生在显微镜下进行高强度的工作，特别是对于没有或只有小肿瘤的淋巴结，诊断十分耗时并且容易出错。利用计算机辅助诊断对全切片图像进行自动、精确的分类，可以为医生提供更加客观、准确的诊断参考，提高医生的诊断效率和诊断准确率。

近年来，深度学习方法推动计算机视觉领域取得了巨大的成功。得益于显微摄影和全切片扫描技术的发展，病理切片能以数字图像的形式保存下来，通过解决图像分类和预测等任务，使得深度卷积神经网络被广泛应用于病理诊断领域。然而，基于深度卷积神经网络的全切片图像分类方法需要专业病理医生手动标注近10亿像素的图像，获取精确标注数据的成本十分高昂。弱监督学习使用粗粒度标注来推断图像信息，如WSI级标签，组织图像中的细胞核位置，细胞核的边界矩形和癌变区域百分比等。相比精确标注数据，粗粒度标注数据更容易获得，因此更加适合组织病理学领域。

CLAM(clustering-constrained attention multiple instance learning)是一种使用聚类限制注意力的多实例学习方法，利用少量数据取得了优异的性能，具有数据利用率高，可解释性强，领域适应性强等优点。但一个关键的问题在于，由于标注信息不足，CLAM利用在自然图像数据集上预训练的ResNet(residual neural network)提取组织图像特征。

因此，本文假设相比有监督训练于自然图像数据集的模型，自监督训练于域内数据的模型提取到的特征更加适合组织病理图像领域，提出了一种基于对比学习的全切片组织病理图像分类方法。采用域内数据和自监督训练框架MoCo v2(momentum contrast)对特征提取模型进行无监督预训练，并将该模型迁移至CLAM的特征提取环节。实验表明，所提方法的分类性能超过了其他弱监督方法，同时优于部分监督方法。

发明内容

本发明的目的是为了解决在仅有图像级标注的情况下对全切片组织病理图像分类准确率低的问题。而提出的一种基于对比学习的弱监督全切片组织病理图像分类方法。

上述发明主要流程分成全切片图像处理和三个阶段：一阶段是特征提取模型预训练；二阶段是弱监督分类模型训练；三阶段是全切片图像分类。

全切片图像处理主要是通过以下技术方案实现的：

S1、将全切片图像以较小倍率读入内存，并将其转换为HSV图像。

S2、对图像S通道进行阈值分割生成二进制掩膜图像，使用形态学闭操作填充小孔洞，根据面积过滤区域并剔除大孔洞，得到组织区域。

S3、以用户指定倍率使用滑动窗口从组织区域中提取小图块以构建图块集合。

一阶段主要是通过以下技术方案实现的：

S4、使用上述全切片图像处理方法处理训练集全切片图像，做训练集图块。

S5、从训练集图块中采样，做部分图块集合。

S6、使用MoCo v2框架和部分图块集合训练特征提取模型，特征提取模型的主体结构为ResNet50。

ResNet在组成自身的残差块中加入了捷径连接，即对输入的恒等映射。使得残差块的拟合目标由最佳映射

转变为最佳映射与输入的残差，这一目标残差映射

的定义如式(1)所示：

其中x为当前残差块的输入。因此残差块输出被进一步转变为：

H(x)＝F(x)+I(x) (2)

其中，H(x)为残差块的最终输出，F(x)为残差映射，I(x)为输入的恒等映射。

ResNet50包含1层卷积层，1层最大池化层，16个残差块，本文在特征提取模型预训练阶段使用完整的ResNet50进行训练。在弱监督分类模型训练和全切片图像分类阶段选用ResNet50浅层网络作为特征提取模型，ResNet50浅层网络包含前1层卷积层，最大池化层和前13个残差块。

MoCo v2使用数据增强方法生成样本对，包括对输入图像进行随机裁剪、随机颜色扰动、随机灰度化、随机高斯模糊和随机水平翻转。对该样本对使用查询编码器和键编码器进行编码后得到查询样本编码q和键样本编码{k⁺,k^-}，将当前小批量的样本编码作为k⁺，字典中的样本编码作为k^-，通过对比q和{k⁺,k^-}来优化模型，查询编码器和键样本编码器模型结构均为完整的ResNet50。MoCo v2采用InfoNCE函数作为对比损失，其定义如下：

其中

为InfoNCE，τ为温度参数，用于调节模型对困难样本的关注程度。

MoCo v2将字典当作样本队列，每编码一个小批量就将该小批量入队，字典中最早入队的小批量出队，使得字典大小与小批量大小解耦。同时为了保证字典中多个小批量样本编码的一致性，MoCo v2使用动量更新键编码器参数θ_k，如下所示：

θ_k←mθ_k+(1-m)θ_q (4)其中m为动量系数，θ_q为查询编码器参数，只有θ_q使用梯度更新。

弱监督分类模型训练主要是通过以下技术方案实现的：

S7、使用上述特征提取模型的浅层网络对训练集图块提取特征，做训练集特征。

特征提取公式如式(5)所示：

z_k＝avgpool(f_c(x)) (5)

其中z_k为特征向量，avgpool为平均池化，x为输入小图块，f_c(x)为特征提取模型，f_c(x)的模型参数由MoCo v2的查询编码器迁移而来。MoCo v2查询编码器如式(6)所示：

f_q(x)＝f₂(f₁(x)) (6)

其中f_q(x)为完整的ResNet50，f₂(x)为ResNet50的深层网络，即ResNet50的后三个残差块，f₁(x)为ResNet50浅层网络，其参数为θ₁。f_c(x)的模型参数为θ_c，模型迁移过程如下所示：

θ_c←θ₁ (7)经过迁移后θ_c即为θ₁。

S8、使用上述训练集特征和训练集图像级标签来训练CLAM模型。

CLAM是一种弱监督组织病理全切片图像分类方法。在多实例学习框架的基础上，CLAM使用注意力池化代替了最大池化，并利用实例级聚类约束和细化特征空间，使得对全切片图像的分类更加精确。

CLAM首先对特征向量降维，进而执行全切片图像分类和辅助聚类任务，最后计算损失并更新模型参数。降维公式如下所示：

其中W_f∈R^512×1024为线性变换矩阵，k表示当前小图块在其所属全切片图像中的序号，z_k为小图块特征向量，h_k为z_k经过降维后得到的特征向量。

全切片图像分类的计算公式如下：

其中s_slide表示全切片图像的阳性得分，W_c∈R^1×512为线性变换矩阵，h_slide为经过注意力池化得到的全切片图像级特征向量。注意力池化是指：将某张全切片图像的所有小图块特征向量h_k根据注意力分数s_k聚合为全切片图像级特征表示，s_k的计算公式如下：

s_k＝W_a(tanh(V_ah_k)⊙sigmod(U_ah_k)) (10)

其中W_a∈R^1×256，V_a∈R^256×512和U_a∈R^256×512均为线性变换矩阵，tanh和sigmod均为激活函数。注意力池化的定义如式(11)所示：

其中N为当前全切片图像包含的小图块个数，a_k由s_k计算所得，其计算公式如下：

全切片图像分类任务采用的损失函数为交叉熵。

辅助聚类任务用于细化模型学习到的阳性类别特征空间。小图块按注意分数s_k降序排名，取分数最高的B个的小图块作为阳性样本，最低的B个的小图块为阴性样本，对这2B个图块分类，其中B是人为设定的取样数目。类别计算公式如下：

其中p_inst,m表示图块被预测为阳性样本的得分，W_inst∈R^2×512为线性变换矩阵，m为小图块在上述2B个图块中的序号。辅助聚类损失函数为平滑支持向量机损失。

总损失计算公式如下：

L_total＝c₁L_slide+c₂L_patch (14)

其中L_total为总损失，L_slide为分类任务损失，L_patch为辅助实例聚类任务损失，c₁，c₂两种损失在总损失中的权重。

全切片图像分类主要是通过以下技术方案实现的：

S9、使用上述全切片图像处理方法处理待测全切片图像；

S10、使用上述特征提取模型提取图块特征；

S11、使用上述已完成训练并去除辅助聚类任务的CLAM模型来聚合图块特征并对待测图像分类。

发明效果

本发明提出了基于对比学习的弱监督全切片组织病理图像分类方法，方法首先对训练集中的全切片图像进行小图块提取得到训练集图块，并对训练集图块采样得到部分小图块集合，使用MoCo v2和部分小图块集合预训练特征提取模型。然后使用经过训练的特征提取模型来提取训练集图块特征，进而训练弱监督全切片图像分类模型CLAM。最后在全切片图像分类阶段，使用上述全切片图像处理方法处理待测全切片图像，并使用上述特征提取模型提取图块特征，进而使用经过训练的CLAM来预测待测图像类别。实验表明，所提方法全切片组织病理图像分类性能优于其他弱监督全切片组织图像分类方法和部分监督方法，在仅有图像级标注的情况下，能够有效对全切片组织图像进行分类。

附图说明

图1基于对比学习的弱监督全切片组织病理图像分类方法流程示意图；

图2ResNet50网络结构及ResNet50的浅层网络示意图；

具体实施方法

为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示本发明提供的一种基于对比学习的弱监督全切片组织病理图像分类方法，包含全切片图像处理和三个阶段：特征提取模型预训练、弱监督分类模型训练和全切片图像分类。

所述全切片图像处理包含步骤：

S1、将全切片图像以较小倍率读入内存，并将其转换为HSV图像。

S2、对图像S通道进行阈值分割生成二进制掩膜图像，使用形态学闭操作填充小孔洞，根据面积过滤区域并剔除大孔洞，得到组织区域。

S3、以用户指定倍率使用滑动窗口从组织区域中提取小图块以构建图块集合。

所述特征提取模型预训练包含步骤：

S4、使用上述全切片图像处理方法处理训练集全切片图像，做训练集图块；

S5、从训练集图块中采样，做部分图块集合；

S6、使用MoCo v2框架和部分图块集合训练特征提取模型，特征提取模型的主体结构为ResNet50；

所述弱监督分类模型训练包含：

S7、使用上述特征提取模型浅层网络对训练集图块提取特征，做训练集特征；

S8、使用上述训练集特征和训练集图像级标签来训练CLAM模型；

所述全切片图像分类包含：

S9、使用上述全切片图像处理方法处理待测全切片图像；

S10、使用上述特征提取模型提取图块特征；

S11、使用图块特征和上述去掉辅助聚类任务部分的CLAM模型对待测图像分类。

本发明实施例首先使用MoCo v2和部分小图块集合预训练一个特征提取模型。然后使用经过训练的特征提取模型来提取训练集图块特征，进而训练弱监督全切片图像分类模型CLAM。最后在全切片图像分类阶段，使用全切片图像处理方法处理待测全切片图像，并使用上述特征提取模型提取图块特征，进而使用经过训练的CLAM来预测待测图像类别。

下面对本发明实施例进行详细的说明：

本发明实施例采用399张乳腺前哨淋巴结全切片组织病理图像，其中训练集图像包含270张，测试集图像包含129张。应用本发明方法实现弱监督情况下全切片组织病理图像分类具体实现如下。

全切片图像处理包含步骤：

S1、将全切片图像以较小倍率读入内存，并将其转换为HSV图像。

S2、对图像S通道进行阈值分割生成二进制掩膜图像，使用形态学闭操作填充小孔洞，根据面积过滤区域并剔除大孔洞，得到组织区域。

S3、以用户指定倍率使用滑动窗口从组织区域中提取小图块以构建图块集合。

特征提取模型预训练包含步骤：

S4、使用上述全切片图像处理方法处理训练集全切片图像，做训练集图块，共提取了11735503个图块。

S5、从训练集图块中采样，做部分图块集合，采样图块数目为381000个图块。

S6、使用MoCo v2框架和部分图块集合训练特征提取模型，特征提取模型的主体结构为ResNet50。

ResNet在组成自身的残差块中加入了捷径连接，即对输入的恒等映射。使得残差块的拟合目标由最佳映射

转变为最佳映射与输入的残差，这一目标残差映射

的定义如式(1)所示：

其中x为当前残差块的输入。因此残差块输出被进一步转变为：

H(x)＝F(x)+I(x) (2)

其中，H(x)为残差块的最终输出，F(x)为残差映射，I(x)为输入的恒等映射。

ResNet50包含1层卷积层，1层最大池化层，16个残差块，本文在特征提取模型预训练阶段使用完整的ResNet50进行训练。在弱监督分类模型训练和全切片图像分类阶段选用ResNet50浅层网络作为特征提取模型，ResNet50浅层网络包含前1层卷积层，最大池化层和前13个残差块，其结构如图2所示。

MoCo v2使用数据增强方法生成样本对，包括对输入图像进行随机裁剪、随机颜色扰动、随机灰度化、随机高斯模糊和随机水平翻转。对该样本对使用查询编码器和键编码器进行编码后得到查询样本编码q和键样本编码{k⁺,k^-}，将当前小批量的样本编码作为k⁺，字典中的样本编码作为k^-，通过对比q和{k⁺,k^-}来优化模型，查询编码器和键样本编码器模型结构均为完整的ResNet50。MoCo v2采用InfoNCE函数作为对比损失，其定义如下：

其中

为InfoNCE，τ为温度参数，取值为0.07，用于调节模型对困难样本的关注程度。

MoCo v2将字典当作样本队列，每编码一个小批量就将该小批量入队，字典中最早入队的小批量出队，使得字典大小与小批量大小解耦。同时为了保证字典中多个小批量样本编码的一致性，MoCo v2使用动量更新键编码器参数θ_k，如下所示：

θ_k←mθ_k+(1-m)θ_q (4)

其中m为动量系数，取值为0.999，θ_q为查询编码器参数，只有θ_q使用梯度更新。

训练期间的超参数如下：初始学习率为0.015，采用余弦学习率衰减，迭代轮数为40，小批量大小为128，优化方法采用随机梯度下降，字典大小为65536。

弱监督分类模型训练包含步骤：

S7、使用上述特征提取模型浅层网络对训练集图块提取特征，做训练集特征。

特征提取公式如式(5)所示：

z_k＝avgpool(f_c(x)) (5)

其中z_k为特征向量，avgpool为平均池化，x为输入小图块，f_c(x)为特征提取模型，其结构为ResNet50的浅层网络，如图2所示，f_c(x)的模型参数由MoCo v2的查询编码器迁移而来。MoCo v2查询编码器如式(6)所示：

f_q(x)＝f₂(f₁(x)) (6)

其中f_q(x)为完整的ResNet50，f₂(x)为ResNet50的深层网络，即ResNet50的后三个残差块，f₁(x)为ResNet50浅层网络，其参数为θ₁。f_c(x)的模型参数为θ_c，模型迁移过程如下所示：

θ_c←θ₁ (7)

经过迁移后θ_c即为θ₁。

S8、使用上述训练集特征和训练集图像级标签来训练CLAM模型。

CLAM是一种弱监督组织病理全切片图像分类方法。在多实例学习框架的基础上，CLAM使用注意力池化代替了最大池化，并利用实例级聚类约束和细化特征空间，使得对全切片图像的分类更加精确。

CLAM首先对特征向量降维，进而执行全切片图像分类和辅助聚类任务，最后计算损失并更新模型参数。降维公式如下所示：

其中W_f∈R^512×1024为线性变换矩阵，k表示当前小图块在其所属全切片图像中的序号，z_k为小图块特征向量，h_k为z_k经过降维后得到的特征向量。

全切片图像分类的计算公式如下：

其中s_slide表示全切片图像的阳性得分，W_c∈R^1×512为线性变换矩阵，h_slide为经过注意力池化得到的全切片图像级特征向量。注意力池化是指：将某张全切片图像的所有小图块特征向量h_k根据注意力分数s_k聚合为全切片图像级特征表示，s_k的计算公式如下：

s_k＝W_a(tanh(V_ah_k)⊙sigmod(U_ah_k)) (10)

其中W_a∈R^1×256，V_a∈R^256×512和U_a∈R^256×512均为线性变换矩阵，tanh和sigmod均为激活函数。注意力池化的定义如式(11)所示：

其中N为当前全切片图像包含的小图块个数，a_k由s_k计算所得，其计算公式如下：

全切片图像分类任务采用的损失函数为交叉熵。

辅助聚类任务用于细化模型学习到的阳性类别特征空间。小图块按注意分数s_k降序排名，取分数最高的8个的小图块作为阳性样本，最低的8个的小图块为阴性样本，对这16个图块分类，其中B是人为设定的取样数目。类别计算公式如下：

p_inst,m＝W_insth_m ^T (13)

其中p_inst,m表示图块被预测为阳性样本的得分，W_inst∈R^2×512为线性变换矩阵，m为小图块在上述16个图块中的序号。辅助聚类损失函数为平滑支持向量机损失。

总损失计算公式如下：

L_total＝c₁L_slide+c₂L_patch (14)

其中L_total为总损失，L_slide为分类任务损失，L_patch为辅助实例聚类任务损失，c₁，c₂两种损失在总损失中的权重，取值为0.7，0.3。

CLAM超参数设置如下：初始学习率为0.0002，采用Adam优化器。

全切片图像分类包含步骤：

S9、使用上述全切片图像处理方法处理待测全切片图像，待测图像为测试集中的129张图像；

S10、使用上述特征提取模型提取图块特征，共提取了6321394个图块的特征；

S11、使用图块特征和上述去掉辅助聚类任务部分的CLAM模型对待测图像分类。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明范围。

Claims (5)

1.一种基于对比学习的弱监督全切片组织病理图像分类方法，其特征在于，包含全切片图像处理、特征提取模型预训练、弱监督分类模型训练和全切片图像分类：

所述全切片图像处理包含步骤：

S1、将全切片图像以较小倍率读入内存，并将其转换为HSV图像；

S2、对图像S通道进行阈值分割生成二进制掩膜图像，使用形态学闭操作填充小孔洞，根据面积过滤区域并剔除大孔洞，得到组织区域；

S3、以用户指定倍率使用滑动窗口从组织区域中提取小图块以构建图块集合；

所述特征提取模型预训练包含步骤：

S4、使用上述全切片图像处理方法处理训练集全切片图像，做训练集图块；

S5、从训练集图块中采样，做部分图块集合；

S6、使用MoCo v2框架和部分图块集合训练特征提取模型，特征提取模型的主体结构为ResNet50；

所述弱监督分类模型训练包含：

S7、使用上述特征提取模型浅层网络对训练集图块提取特征，做训练集特征；

S8、使用上述训练集特征和训练集图像级标签来训练CLAM模型；

所述全切片图像分类包含：

S9、使用上述全切片图像处理方法处理待测全切片图像；

S10、使用上述特征提取模型浅层网络提取图块特征；

S11、使用上述已完成训练的CLAM模型聚合图块特征并对待测图像分类。

2.如权利要求1所述的一种基于对比学习的弱监督全切片组织病理图像分类方法，其特征在于，步骤S6、S7和S10中所述的特征提取模型定义如下：

ResNet在组成自身的残差块中加入了捷径连接，即对输入的恒等映射。使得残差块的拟合目标由最佳映射

转变为最佳映射与输入的残差，这一目标残差映射

的定义如式(1)所示：

其中x为当前残差块的输入。因此残差块输出被进一步转变为：

H(x)＝F(x)+I(x) (2)

其中，H(x)为残差块的最终输出，F(x)为残差映射，I(x)为输入的恒等映射。

ResNet50包含1层卷积层，1层最大池化层，16个残差块，本文在特征提取模型预训练阶段使用完整的ResNet50进行训练，在弱监督分类模型训练和全切片图像分类阶段选用ResNet50浅层网络作为特征提取模型，ResNet50浅层网络包含前1层卷积层，最大池化层和前13个残差块。

3.如权利要求1所述的的一种基于对比学习的弱监督全切片组织病理图像分类方法，其特征在于，步骤S6中所述的MoCo v2框架如下：

MoCo v2使用数据增强方法生成样本对，包括对输入图像进行随机裁剪、随机颜色扰动、随机灰度化、随机高斯模糊和随机水平翻转。对该样本对使用查询编码器和键编码器进行编码后得到查询样本编码q和键样本编码{k⁺,k^-}，将当前小批量的样本编码作为k⁺，字典中的样本编码作为k^-，通过对比q和{k⁺,k^-}来优化模型，查询编码器和键样本编码器的模型结构均为完整的ResNet50。

MoCo v2采用InfoNCE函数作为对比损失，其定义如下：

其中

为InfoNCE，τ为温度参数，用于调节模型对困难样本的关注程度。

MoCo v2将字典当作样本队列，每编码一个小批量就将该小批量入队，字典中最早入队的小批量出队，使得字典大小与小批量大小解耦。同时为了保证字典中多个小批量样本编码的一致性，MoCo v2使用动量更新键编码器参数θ_k，如下所示：

θ_k←mθ_k+(1-m)θ_q (4)

其中m为动量系数，θ_q为查询编码器参数，只有θ_q使用梯度更新。

4.如权利要求1所述的的一种基于对比学习的弱监督全切片组织病理图像分类方法，其特征在于，步骤S7和S9中所述的特征提取过程如下：

特征提取公式如式(5)所示：

z_k＝avgpool(f_c(x)) (5)

其中z_k为特征向量，avgpool为平均池化，x为输入小图块，f_c(x)为特征提取模型，f_c(x)的模型参数由MoCo v2的查询编码器迁移而来。MoCo v2查询编码器如式(6)所示：

f_q(x)＝f₂(f₁(x)) (6)

其中f_q(x)为完整的ResNet50，f₂(x)为ResNet50的深层网络，即ResNet50的后三个残差块，f₁(x)为ResNet50浅层网络，其参数为θ₁。f_c(x)的模型参数为θ_c，模型迁移过程如下所示：

θ_c←θ₁ (7)

经过迁移后θ_c即为θ₁。

5.如权利要求1所述的的一种基于对比学习的弱监督全切片组织病理图像分类方法，其特征在于，步骤S8和S11中所述的CLAM算法如下：

CLAM是一种弱监督组织病理全切片图像分类方法。在多实例学习框架的基础上，CLAM使用注意力池化代替了最大池化，并利用实例级聚类约束和细化特征空间，使得对全切片图像的分类更加精确。

CLAM首先对特征向量降维，进而执行全切片图像分类和辅助聚类任务，最后计算损失并更新模型参数。降维公式如下所示：

其中W_f∈R^512×1024为线性变换矩阵，k表示当前小图块在其所属全切片图像中的序号，z_k为小图块特征向量，h_k为z_k经过降维后得到的特征向量。

全切片图像分类的计算公式如下：

其中s_slide表示全切片图像的阳性得分，W_c∈R^1×512为线性变换矩阵，h_slide为经过注意力池化得到的全切片图像级特征向量。注意力池化是指：将某张全切片图像的所有小图块特征向量h_k根据注意力分数s_k聚合为全切片图像级特征表示，s_k的计算公式如下：

s_k＝W_a(tanh(V_ah_k)⊙sigmod(U_ah_k)) (10)

其中W_a∈R^1×256，V_a∈R^256×512和U_a∈R^256×512均为线性变换矩阵，tanh和sigmod均为激活函数。注意力池化的定义如式(11)所示：

其中N为当前全切片图像包含的小图块个数，a_k由s_k计算所得，其计算公式如下：

全切片图像分类任务采用的损失函数为交叉熵。

辅助聚类任务用于细化模型学习到的阳性类别特征空间。小图块按注意分数s_k降序排名，取分数最高的B个的小图块作为阳性样本，最低的B个的小图块为阴性样本，对这2B个图块分类，其中B是人为设定的取样数目。类别计算公式如下：

其中p_inst,m表示图块被预测为阳性样本的得分，W_inst∈R^2×512为线性变换矩阵，m为小图块在上述2B个图块中的序号。辅助聚类损失函数为平滑支持向量机损失。

总损失计算公式如下：

L_total＝c₁L_slide+c₂L_patch (14)

其中L_total为总损失，L_slide为分类任务损失，L_patch为辅助实例聚类任务损失，c₁，c₂两种损失在总损失中的权重。

Images