CN115526331A - 一种基于病变类别感知的数字病理图像的表征学习方法 - Google Patents

Abstract

本发明公开了一种基于病变类别感知的数字病理图像的表征学习方法，包括以下步骤：S1.获取数据集；S2.基于弱监督的对比学习预训练；S3.队列更新后得到针对数字病理图像的特征提取器；本发明针对现有框架的不足，提出一种数字病理图像的表征学习方法，该方法不依赖于专家的精细标注，仅需切片级的分类标签，利用获取代价最小的标注信息学习得到鲁棒的、具有区分度的图像表征，并且在下游任务中标签优于现有的先进方法。

Description

一种基于病变类别感知的数字病理图像的表征学习方法

技术领域

本发明涉及医学图像处理技术领域，更具体的说是涉及一种基于病变类别感知的数字病理图像的表征学习方法。

背景技术

癌症是人类健康的一大威胁，在医学领域，对于数字病理图像的诊断是癌症诊断过程中至关重要的步骤。随着计算机与显微成像技术的快速发展，数字病理图像的获取便捷与快速，适用于数字病理全切片图像的计算机自动分析算法成为近年来该方向的一个研究热点。基于全切片图像(WSI)分析的研究在计算病理学领域逐渐流行，然而由于硬件资源的限制，WSI很难直接输入深度神经网络(DNN)进行训练。典型的解决方案是在推理之前通过聚合局部组织表示来生成WSI级别的表示。

在算法方面，目前大多数算法都依赖于精细标注进行监督学习，而数字病理图像因其分辨率远高于自然场景图像，并且结构复杂，类型多变，导致数字病理图像的标注工作十分繁重，大规模标注难以实现。为了解决上述矛盾，迁移学习是一种广为接受的局部组织表征学习方式。例如现有技术中公开了直接利用ImageNet上预训练的模型提取组织表征，并将该表征用于下游全切片分类任务中的技术方案。然而，自然图像和组织病理学图像之间存在“域差异”。一些弱监督学习方法倾向于通过多实例学习(MIL)来转换特征域，例如采用多实例学习方法，使用CNN预测每个数据包内实例的阳性概率，根据阳性概率筛选出置信度搞得一些样本进行训练，但此类方法的上限受限于模型在训练数据域之外的性能。

基于此，自监督学习方法逐渐被引入用于学习病理组织得表征。现有技术中有方案提出SimTriplet，利用自监督对比学习方法学习病理组织的表征。同时重新考虑了对比学习方法在病理图像上的适用性，重新构建了正例样本构建策略，从领域组织区域中采样正样本，强化了局部组织的空间相关性。

现有技术方案大都遵循监督学习范式，其性能依赖于大规模的精细标注。一些弱监督学习方法不注重表征的优劣，大都针对下游任务进行设计，并且数据包的建模方式只适用于二分类任务，很少有关于多分类任务的研究工作。自监督学习方法虽然在自然图像分析任务中取得了巨大的成功，但由于病理图像的模式与自然场景图像存在差异，因此现有的技术方案仍然存在较大的改进空间。

因此，如何提供一种不再依赖于大规模的精细标注的基于病变类别感知的数字病理图像的表征学习方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于病变类别感知的数字病理图像的表征学习方法，该方法不依赖于专家的精细标注，仅需切片级的分类标签，利用获取代价最小的标注信息学习得到鲁棒的、具有区分度的图像表征，并且在下游任务中标签优于现有的先进方法。

为了实现上述目的，本发明采用如下技术方案：

一种基于病变类别感知的数字病理图像的表征学习方法，包括以下步骤：

S1.获取数据集：将输入的数字病理图像进行裁剪得到剪裁后的图像x，形成数据集D，其中x∈D，并为每个x分配伪样本标签；分配规则为：对于一张全切片S，切片类别为

对于从S中采样的任意样本，标签

S2.基于弱监督的对比学习预训练：

S21.对x进行数据增强后得到两个不同的增强视图v_q和v_k；

S22.将v_q和v_k分别输入至对比学习网络的查询分支和关键分支中，通过所述查询分支和所述关键分支内的编码器，分别对应生成表征z_q＝f_q(v_q)和z_k＝f_k(v_k)，并分别通过所述查询分支和所述关键分支内的投影器将表征映射到应用对比损失的空间，得到q＝P_q(z_q)和k₊＝P_k(z_k)，其中k₊为正样本，q为负样本；

S23.将所述负样本的表征z_q＝f_q(v_q)存储于病变存储队列M中，分别更新所述查询分支的权重θ_q和所述关键分支的权重θ_k；

S3.更新所述队列M中所述负样本的表征，更新后得到针对数字病理图像的特征提取器：使用平均KL散度来确定要更新的样本集合，具体方式如下：

其中，B代表一个训练批次包含的表征集合，U代表一个训练批次中需要被更新的表征集合，D_KL(·)是KL散度函数，P(x)表示待更新的k₊与队列中的表示之间的相似度分布，Q(x)表示预期分布，i为M中的各类样本的个数。

优选的，所述编码器包括卷积神经网络，所述投影器包括多层感知器，所述多层感知器依次包括第一线性层、ReLU层和第二线性层。

优选的，病变存储队列M表示为：

M＝{k_i0,k_i1,...,k_iN|i＝0,1,...,K}

其中，N为每一个切片类别的存储容量，K代表切片类别总数。

优选的，更新所述查询分支的权重θ_q的方法为：

通过最小化InfoNCE损失来更新查询分支的权重参数：

其中，

代表需要作为负样本对比的类别集合，定义为

τ是温度系数，k_yi代表队列M中y类别的第i个表征。

优选的，更新所述关键分支的权重θ_k的方法为：

通过指数移动平均机制从所述查询分支通过如下公式进行更新：

通过指数移动平均机制进行更新：

θ_k＝mθ_k+(1-m)θ_q,m∈[0,1)

其中，m是动量更新参数。

优选的，P(x)和Q(x)表示为：

其中，K是切片类别总数,1(·)函数当

时取值为1,否则取值为0。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于病变类别感知的数字病理图像的表征学习方法，仅利用切片级标注信息作为弱监督信息进行模型训练，极大地缓解了数字病理切片大规模标注困难的问题。模型不依赖于病理专家的精细标注，因此模型可以迅速对大规模数据进行更新迭代，同时在一定程度上缓解了监督学习模型因强监督信息所带来的对训练环境严重依赖、泛化能力差的问题。本发明缓解了数字病理切片大规模标注困难与模型精度依赖于监督的信息的矛盾，同时针对现有病理图像表征学习方法的不足提出改进，将语义信息嵌入图像表征中。这一优势意味着本发明可以利用获取代价低的切片级标注信息获取得到鲁棒的并具有区分度的图像表征，并且适用于大规模数据的预训练。。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的一种基于病变类别感知的数字病理图像的表征学习方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于病变类别感知的数字病理图像的表征学习方法，包括以下步骤：

S1.获取数据集：将输入的数字病理图像进行裁剪得到剪裁后的图像x，形成数据集D，其中x∈D，并为每个x分配伪样本标签；分配规则为：对于一张全切片S，切片类别为

对于从S中采样的任意样本，标签

S2.基于弱监督的对比学习预训练：

S21.对x进行数据增强后得到两个不同的增强视图v_q和v_k；

S22.将v_q和v_k分别输入至对比学习网络的查询分支和关键分支中，通过查询分支和关键分支内的编码器，分别对应生成表征z_q＝f_q(v_q)和z_k＝f_k(v_k)，并分别通过查询分支和关键分支内的投影器将表征映射到应用对比损失的空间，得到q＝P_q(z_q)和k₊＝P_k(z_k)，其中k₊为正样本，q为负样本；

S23.将负样本的表征z_q＝f_q(v_q)存储于病变存储队列M中，分别更新查询分支的权重θ_q和关键分支的权重θ_k；

S3.更新队列M中负样本的表征，更新后得到针对数字病理图像的特征提取器：基于同一类样本之间的特征距离小于不同类样本之间的特征距离的假设，本发明使用平均Kullback-Leibler(KL)散度来确定要更新的样本集合，具体方式如下：

其中，B代表一个训练批次包含的表征集合，U代表一个训练批次中需要被更新的表征集合，D_KL(·)是KL散度函数，P(x)表示待更新的k₊与队列中的表示之间的相似度分布，Q(x)表示预期分布，i为M中的各类样本的个数。

需要说明的是：

对于S1，在本事实例中可以使用滑窗法将数字病理切片裁剪为256×256的图像块。

对于S2，对比学习方法旨在从图像内容中挖掘类内相似性和类间差异。如图1所示，本发明所使用的对比学习网络架构是一个由两个分支组成的孪生网络，即查询分支和键分支，查询分支与键分支有相同的结构。所述查询分支由编码器f_q和投影器p_q组成，它们由一组可训练的权重θ_q确定；所属键分支由编码器f_k和投影器p_k组成，它们由一组不可训练的权重θ_k定义。

对于S3，为了确保各类别的存储队列中的表征在训练过程中能够代表相应的类，需要有选择地更新每个队列。本发明提出了一种新颖的队列更新策略(QRS)，如图1(b)所示。本发明策略旨在提纯队列，使每个队列由相应类的最具代表性的表征组成。本发明使用Kullback-Leibler(K-L)散度来寻找潜在的噪声样本。

为了进一步实施上述技术方案，编码器包括卷积神经网络，投影器包括多层感知器，多层感知器依次包括第一线性层、ReLU层和第二线性层。

为了进一步实施上述技术方案，病变存储队列M表示为：

M＝{k_i0,k_i1,...,k_iN|i＝0,1,...,K}

其中，N为每一个切片类别的存储容量，K代表切片类别总数。

为了进一步实施上述技术方案，更新查询分支的权重θ_q的方法为：

通过最小化InfoNCE损失来更新查询分支的权重参数：

其中，

代表需要作为负样本对比的类别集合，定义为

τ是温度系数，k_yi代表队列M中y类别的第i个表征。

为了进一步实施上述技术方案，更新关键分支的权重θ_k的方法为：

通过指数移动平均机制从查询分支通过如下公式进行更新：

通过指数移动平均机制进行更新：

θ_k＝mθ_k+(1-m)θ_q,m∈[0,1)

其中，m是动量更新参数。

为了进一步实施上述技术方案，P(x)和Q(x)表示为：

其中，K是切片类别总数,1(·)函数当

时取值为1,否则取值为0。

该方法还可以包括：S4.下游任务迁移

按照上述S1～S3，可以训练得到一个针对数字病理图像的特征提取器，对数字病理图像进行特征提取。

后续可将该特征提取器利用少量标注信息进行微调，通过少量标注信息获得特定任务下具有更好特征表示的新模型；或者可直接迁移到下游具体任务，进行切片级的分类获得切片的粗诊断信息，或者迁移到分割任务中获得病变区域的粗分割信息以供医生进行参考。

下面将结合具体实验来对本发明进行进一步说明：

本实施例中，在子宫内膜癌病理数据集(共有698张切片)，以及EGFR数据集(共有754张切片)中对本发明方法进行了验证。使用TransMIL作为全切片分类框架，对本发明方法所学习得到的表征与其他表征学习方法进行比较。对比结果如表1和表2所示：

表1子宫内膜癌病理数据集分类平均精度对比

表2 EFGR病理数据集分类平均精度对比

实验结果表明，本发明引入切片级标签作为监督信息，将语义信息嵌入到图像表征中，有效地提升了所学习表征在下游任务上的表现，相比于其他先进的迁移学习、自监督学习表征学习方法，本发明方法在下游任务上取得了最好的性能。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种基于病变类别感知的数字病理图像的表征学习方法，其特征在于，包括以下步骤：

S1.获取数据集：将输入的数字病理图像进行裁剪得到剪裁后的图像x，形成数据集D，其中x∈D，并为每个x分配伪样本标签；分配规则为：对于一张全切片S，切片类别为

对于从S中采样的任意样本，标签

S2.基于弱监督的对比学习预训练：

S21.对x进行数据增强后得到两个不同的增强视图v_q和v_k；

S22.将v_q和v_k分别输入至对比学习网络的查询分支和关键分支中，通过所述查询分支和所述关键分支内的编码器，分别对应生成表征z_q＝f_q(v_q)和z_k＝f_k(v_k)，并分别通过所述查询分支和所述关键分支内的投影器将表征映射到应用对比损失的空间，得到q＝P_q(z_q)和k₊＝P_k(z_k)，其中k₊为正样本，q为负样本；

S23.将所述负样本的表征z_q＝f_q(v_q)存储于病变存储队列M中，分别更新所述查询分支的权重θ_q和所述关键分支的权重θ_k；

S3.更新所述队列M中所述负样本的表征，更新后得到针对数字病理图像的特征提取器：使用平均KL散度来确定要更新的样本集合，具体方式如下：

其中，B代表一个训练批次包含的表征集合，U代表一个训练批次中需要被更新的表征集合，D_KL(·)是KL散度函数，P(x)表示待更新的k₊与队列中的表征之间的相似度分布，Q(x)表示预期分布，i为M中的各类样本的个数。

2.根据权利要求1所述的一种基于病变类别感知的数字病理图像的表征学习方法，其特征在于，所述编码器包括卷积神经网络，所述投影器包括多层感知器，所述多层感知器依次包括第一线性层、ReLU层和第二线性层。

3.根据权利要求1所述的一种基于病变类别感知的数字病理图像的表征学习方法，其特征在于，病变存储队列M表示为：

M＝{k_i0,k_i1,...,k_iN|i＝0,1,...,K}

其中，N为每一个切片类别的存储容量，K代表切片类别总数。

4.根据权利要求1所述的一种基于病变类别感知的数字病理图像的表征学习方法，其特征在于，更新所述查询分支的权重θ_q的方法为：

通过最小化InfoNCE损失来更新查询分支的权重参数：

其中，

代表需要作为负样本对比的类别集合，定义为

τ是温度系数，k_yi代表队列M中y类别的第i个表征。

5.根据权利要求1所述的一种基于病变类别感知的数字病理图像的表征学习方法，其特征在于，更新所述关键分支的权重θ_k的方法为：

通过指数移动平均机制进行更新：

θ_k＝mθ_k+(1-m)θ_q,m∈[0,1)

其中，m是动量更新参数。

6.根据权利要求1所述的一种基于病变类别感知的数字病理图像的表征学习方法，其特征在于，P(x)和Q(x)表示为：

其中，K是切片类别总数,1(·)函数当

时取值为1,否则取值为0。

Images