CN113516181A - 一种数字病理图像的表征学习方法 - Google Patents

Abstract

本发明公开了一种数字病理图像的表征学习方法，包括：S1、构建数据集D并分配样本伪标签k；S2、基于自监督学习中的对比学习，对对比学习模型进行训练；S3、从数据集D中采集图像数据x～D，将其输入训练后的对比学习模型，实现聚类队列初始化；S4、基于对比学习模型，添加深度聚类模块，构建深度聚类表征学习模型，从数据集D中获取数据，输入深度聚类表征学习模型中，提取图像特征，生成在线结果和目标标签，更新聚类列表，通过反向传播算法优化深度聚类表征学习模型。

Description

一种数字病理图像的表征学习方法

技术领域

本发明涉及数字图像处理与医学技术领域，更具体的说是涉及一种数字病理图像的表征学习方法。

背景技术

目前，癌症是人类健康的一大威胁，在医学领域，对于数字病理图像的诊断是癌症诊断过程中至关重要的步骤。医生通过对组织切片扫描得到的数字病理图像进行查看来对癌症进行诊断，并且通过数字病理图像中癌症区域的面积、占比等指标对患者指定相应的治疗方案。随着计算机与显微成像技术的快速发展，数字病理图像的获取便捷与快速，适用于数字病理全切片图像的计算机自动分析算法成为近年来该方向的一个研究热点。

但是，在算法方面，目前大多数算法都依赖于精细标注进行监督学习，而数字病理图像因其分辨率远高于自然场景图像，并且结构复杂，类型多变，导致数字病理图像的标注工作十分繁重，大规模标注难以实现。为了解决上述矛盾，无监督、弱监督学习方法被引入数字病理图像分析，例如采用多实例学习方法，仅使用切片标签，将切片作为一个数据包，包的标签为0、1分别代表阴性与阳性，切片内图像块作为该数据包内实例，图像块伪标签与切片标签保持一致。利用一个分类网络对每个包内的图像块进行打分，图像块得分记为，对进行排序，则得分最高的图像块认为有其标签真实并计算损失，由此实现对图像块的特征提取与分类；以及利用无监督学习方法训练CNN模型，并利用该模型提取全切片图像的分块特征，将全切片图像转化成特征矩阵,其中l和k分别表示全切片包含图像块的行数和列数，d表示CNN所提特征的维数；然后将特征矩阵看作独立样本，与全切片的类别信息构建监督关系，进而训练一个CNN分类网络，实现全切片图像的分类。

现有技术方案大都是针对“病理图像标注工作繁重，大规模标注难以获取”这一问题所提出的折衷方案，通过预训练模型给病理专家提供辅助诊断与粗标注，医生可以在粗标注数据的基础上更快的制作精细标注。但这类方案存在的主要问题是：图像数据积累的速度要远高于病理专家的标注速度，因此现有的技术方案无法充分发挥出病理切片大规模数据的优势，算法模型更新迭代的速度无法匹配病理图像数据的积累速度。

因此，如何使用自监督学习模型自适应学习图像的表征，并通过深度聚类将弱监督信息转化为强监督信息以修正自监督学习方法无法将相似的样本表征区分开是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种数字病理图像的表征学习方法，通过切片级标注信息作为弱监督信息进行模型训练，极大地缓解了数字病理切片大规模标注困难的问题，模型不依赖于病理专家的精细标注，因此模型可以迅速对大规模数据进行更新迭代，同时在一定程度上缓解了监督学习模型因强监督信息所带来的对训练环境严重依赖、泛化能力差的问题。

为了实现上述目的，本发明采用如下技术方案：

一种数字病理图像的表征学习方法，包括以下步骤：

S1、构建数据集D并分配样本伪标签k；

S2、基于自监督学习中的对比学习，对对比学习模型进行训练；

S3、从数据集D中采集图像数据x～D，将其输入训练后的对比学习模型，实现聚类队列初始化；

S4、基于对比学习模型，添加深度聚类模块，构建深度聚类表征学习模型，从数据集D中获取数据，输入深度聚类表征学习模型中，提取图像特征，生成在线结果和目标标签，更新聚类列表，通过反向传播算法优化深度聚类表征学习模型。

优选的，所述步骤S1具体包括：基于滑窗法将数字病理切片裁剪为256*256的图像块，整合后得到数据集D，样本伪标签分配规则如下：

基于一张全切片S，切片类别为k，则：

优选的，所述步骤S2具体包括：所述对比学习模型由两组网络构成，包括在线网络与目标网络；

所述在线网络由一组权重θ定义，包括：编码器f_θ、投影器g_θ和预测器q_θ，所述目标网络由一组权重ξ定义，包括编码器f_ξ和投影器g_ξ；

从数据集D中采集一张图像数据x～D，x分别经过两组数据增强t，t'，得到两个不同的增强视图v＝t(x)、v'＝t'(x)，将v＝t(x)输入至在线网络中，得到其表征y_θ＝f_θ(v)以及投影z_θ＝g_θ(y_θ)，将v'＝t'(x)输入至目标网络中，得到其表征y_ξ＝f_ξ(v')以及投影z_ξ＝g_ξ(y_ξ)，然后将预测器输出q_θ(z_θ)与z_ξ经过正则化后计算损失函数，所述损失函数为均方误差，定义为：

通过动量更新对权重ξ进行更新，具体公式如下：

ξ＝τξ+(1-τ)θ

其中，τ为动量更新系数，τ∈[0,1]。

优选的，所述步骤S3具体包括：设数据集D共有C类样本，则初始化C个聚类队列，每个聚类队列最大容量为M，样本x～D的伪标签为k，k∈{0,1,2,...,C}，从步骤S2中获取数据的表征y_ξ＝f_ξ(v')以及投影z_ξ＝g_ξ(y_ξ)，将投影z_ξ＝g_ξ(y_ξ)填入到第k个聚类列表中，完成聚类队列初始化。

优选的，所述步骤S4具体包括：

S41、在对比学习模型的基础上，添加深度聚类模块，构建深度聚类表征学习模型；

S42、从所述数据集D中随机采样一张图像数据x～D，经过一次数据增强t，得到增强视图v＝t(x)，输入在线网络得到表征y和投影z，输入目标网络得到表征y'和投影z'，所述表征y的维度d_y＝2048，投影z的维度d_z＝256，投影z为在线网络提取的图像特征，投影z'为目标网络提取的图像特征；

S43、在线网络中，z经全连接层映射得到分类结果P_online：

P_online＝Linear(z),P_omline∈R^C

其中，Linear(*)为全连接层线性运算，C代表数据集共有C类样本；

S44、目标网络中，将z'输入深度聚类模块计算与各个聚类队列的相似度：

其中，similarity_k为z'与第k个聚类队列的相似度，s_i为聚类队列中第一个样本特征，n为聚类队列中样本数，score∈R^K为样本属于各类别的概率，τ为温度系数，p_target为目标网络分支生成的目标标签，label_x为当前样本分配的伪标签，t_neg为阴性样本更新的阈值，t_buff为阳性样本更新的缓冲阈值；

S45、在目标网络中，当样本表征投影z满足任一条件时，将其更新至聚类队列中：

将样本x的表征z更新至第k个聚类队列中，k为x的所属类别；

S46、将p_target作为监督信息与P_online计算交叉熵，得到损失函数L：

设上述目标网络参数为

利用随机提取下降算法SGD优化网络参数至网络收敛，公式如下：

其中，α为学习率。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种数字病理图像的表征学习方法，通过切片级标注信息作为弱监督信息进行模型训练，极大地缓解了数字病理切片大规模标注困难的问题，模型不依赖于病理专家的精细标注，因此模型可以迅速对大规模数据进行更新迭代，同时在一定程度上缓解了监督学习模型因强监督信息所带来的对训练环境严重依赖、泛化能力差的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的对比训练模型结构示意图。

图2附图为本发明提供的深度聚类表征学习模型结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种数字病理图像的表征学习方法，包括以下步骤：

S1、构建数据集D并分配样本伪标签k；

S2、基于自监督学习中的对比学习，对对比学习模型进行训练；

S3、从数据集D中采集图像数据x～D，将其输入训练后的对比学习模型，实现聚类队列初始化；

S4、基于对比学习模型，添加深度聚类模块，构建深度聚类表征学习模型，从数据集D中获取数据，输入深度聚类表征学习模型中，提取图像特征，生成在线结果和目标标签，更新聚类列表，通过反向传播算法优化深度聚类表征学习模型。

为进一步优化上述技术方案，步骤S1具体包括：基于滑窗法将数字病理切片裁剪为256*256的图像块，整合后得到数据集D，样本伪标签分配规则如下：

基于一张全切片S，切片类别为k，则：

为进一步优化上述技术方案，步骤S2具体包括：对比学习模型由两组网络构成，包括在线网络与目标网络；

在线网络由一组权重θ定义，包括：编码器f_θ、投影器g_θ和预测器q_θ，目标网络由一组权重ξ定义，包括编码器f_ξ和投影器g_ξ；

从数据集D中采集一张图像数据x～D，x分别经过两组数据增强t，t'，得到两个不同的增强视图v＝t(x)、v'＝t'(x)，将v＝t(x)输入至在线网络中，得到其表征y_θ＝f_θ(v)以及投影z_θ＝g_θ(y_θ)，将v'＝t'(x)输入至目标网络中，得到其表征y_ξ＝f_ξ(v')以及投影z_ξ＝g_ξ(y_ξ)，然后将预测器输出q_θ(z_θ)与z_ξ经过正则化后计算损失函数，损失函数为均方误差，定义为：

通过动量更新对权重ξ进行更新，具体公式如下：

ξ＝τξ+(1-τ)θ

其中，τ为动量更新系数，τ∈[0,1]。

为进一步优化上述技术方案，步骤S3具体包括：设数据集D共有C类样本，则初始化C个聚类队列，每个聚类队列最大容量为M，样本x～D的伪标签为k，k∈{0,1,2,...,C}，从步骤S2中获取数据的表征y_ξ＝f_ξ(v')以及投影z_ξ＝g_ξ(y_ξ)，将投影z_ξ＝g_ξ(y_ξ)填入到第k个聚类列表中，完成聚类队列初始化。

为进一步优化上述技术方案，步骤S4具体包括：

S41、在对比学习模型的基础上，添加深度聚类模块，构建深度聚类表征学习模型；

S42、从数据集D中随机采样一张图像数据x～D，经过一次数据增强t，得到增强视图v＝t(x)，输入在线网络得到表征y和投影z，输入目标网络得到表征y'和投影z'，表征y的维度d_y＝2048，投影z的维度d_z＝256，投影z为在线网络提取的图像特征，投影z'为目标网络提取的图像特征；

S43、在线网络中，z经全连接层映射得到分类结果P_online：

P_online＝Linear(z),P_omline∈R^C

其中，Linear(*)为全连接层线性运算，C代表数据集共有C类样本；

S44、目标网络中，将z'输入深度聚类模块计算与各个聚类队列的相似度：

其中，similarity_k为z'与第k个聚类队列的相似度，s_i为聚类队列中第一个样本特征，n为聚类队列中样本数，score∈R^K为样本属于各类别的概率，τ为温度系数，p_target为目标网络分支生成的目标标签，label_x为当前样本分配的伪标签，t_neg为阴性样本更新的阈值，t_buff为阳性样本更新的缓冲阈值；

S45、在目标网络中，当样本表征投影z满足任一条件时，将其更新至聚类队列中：

将样本x的表征z更新至第k个聚类队列中，k为x的所属类别；

S46、将p_target作为监督信息与P_online计算交叉熵，得到损失函数L：

设上述目标网络参数为

利用随机提取下降算法SGD优化网络参数至网络收敛，公式如下：

其中，α为学习率。

在子宫内膜癌病理数据集(共有1270张切片)中进行了验证，选取基于resnet50结构的分类网络作为分析模型，本发明所使用的弱监督方法与resnet50监督训练的对比结果如表1所示：

表1子宫内膜癌病理数据集分类平均精度对比

实验结果表明，本发明仅使用切片级标签作为监督信息在图像块的分类精度与基于resnet50的监督学习训练所得结果已经十分接近。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种数字病理图像的表征学习方法，其特征在于，包括以下步骤：

S1、构建数据集D并分配样本伪标签k；

S2、基于自监督学习中的对比学习，对对比学习模型进行训练；

S3、从数据集D中采集图像数据x～D，将其输入训练后的对比学习模型，实现聚类队列初始化；

S4、基于对比学习模型，添加深度聚类模块，构建深度聚类表征学习模型，从数据集D中获取数据，输入深度聚类表征学习模型中，提取图像特征，生成在线结果和目标标签，更新聚类列表，通过反向传播算法优化深度聚类表征学习模型。

2.根据权利要求1所述的一种数字病理图像的表征学习方法，其特征在于，所述步骤S1具体包括：基于滑窗法将数字病理切片裁剪为256*256的图像块，整合后得到数据集D，样本伪标签分配规则如下：

基于一张全切片S，切片类别为k，则：

3.根据权利要求1所述的一种数字病理图像的表征学习方法，其特征在于，所述步骤S2具体包括：所述对比学习模型由两组网络构成，包括在线网络与目标网络；

所述在线网络由一组权重θ定义，包括：编码器f_θ、投影器g_θ和预测器q_θ，所述目标网络由一组权重ξ定义，包括编码器f_ξ和投影器g_ξ；

从数据集D中采集一张图像数据x～D，x分别经过两组数据增强t，t'，得到两个不同的增强视图v＝t(x)、v'＝t'(x)，将v＝t(x)输入至在线网络中，得到其表征y_θ＝f_θ(v)以及投影z_θ＝g_θ(y_θ)，将v'＝t'(x)输入至目标网络中，得到其表征y_ξ＝f_ξ(v')以及投影z_ξ＝g_ξ(y_ξ)，然后将预测器输出q_θ(z_θ)与z_ξ经过正则化后计算损失函数，所述损失函数为均方误差，定义为：

通过动量更新对权重ξ进行更新，具体公式如下：

ξ＝τξ+(1-τ)θ

其中，τ为动量更新系数，τ∈[0,1]。

4.根据权利要求1所述的一种数字病理图像的表征学习方法，其特征在于，所述步骤S3具体包括：设数据集D共有C类样本，则初始化C个聚类队列，每个聚类队列最大容量为M，样本x～D的伪标签为k，k∈{0,1,2,...,C}，从步骤S2中获取数据的表征y_ξ＝f_ξ(v')以及投影z_ξ＝g_ξ(y_ξ)，将投影z_ξ＝g_ξ(y_ξ)填入到第k个聚类列表中，完成聚类队列初始化。

5.根据权利要求1所述的一种数字病理图像的表征学习方法，其特征在于，所述步骤S4具体包括：

S41、在对比学习模型的基础上，添加深度聚类模块，构建深度聚类表征学习模型；

S42、从所述数据集D中随机采样一张图像数据x～D，经过一次数据增强t，得到增强视图v＝t(x)，输入在线网络得到表征y和投影z，输入目标网络得到表征y'和投影z'，所述表征y的维度d_y＝2048，投影z的维度d_z＝256，投影z为在线网络提取的图像特征，投影z'为目标网络提取的图像特征；

S43、在线网络中，z经全连接层映射得到分类结果P_online：

P_online＝Linear(z),P_omline∈R^C

其中，Linear(*)为全连接层线性运算，C代表数据集共有C类样本；

S44、目标网络中，将z'输入深度聚类模块计算与各个聚类队列的相似度：

其中，similarity_k为z'与第k个聚类队列的相似度，s_i为聚类队列中第一个样本特征，n为聚类队列中样本数，score∈R^K为样本属于各类别的概率，τ为温度系数，p_target为目标网络分支生成的目标标签，label_x为当前样本分配的伪标签，t_neg为阴性样本更新的阈值，t_buff为阳性样本更新的缓冲阈值；

S45、在目标网络中，当样本表征投影z满足任一条件时，将其更新至聚类队列中：

将样本x的表征z更新至第k个聚类队列中，k为x的所属类别；

S46、将p_target作为监督信息与P_online计算交叉熵，得到损失函数L：

设上述目标网络参数为

利用随机提取下降算法SGD优化网络参数至网络收敛，公式如下：

其中，α为学习率。

Images