CN115082743A - 考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法 - Google Patents

Abstract

本发明公开了一种考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法，该方法首先进行全视野数字病理图像的特征提取，随后构建了由肿瘤微环境感知模块、深度门控注意力模块、相似度感知注意力模块和分类层组成的多示例分类网络，实现了对全视野数字病理图像的分类和病灶检测。其中肿瘤微环境感知模块可以建模肿瘤微环境中的拓扑结构信息，使网络学习到的特征具有更高的鲁棒性；深度门控注意力模块和相似度感知模块相结合可以更加准确地赋予每个图像块对应的权重以实现对病灶区域更加精准的检测。还设计了图像增广方法的自监督对比学习任务，减少全视野数字病理图像因染色、成像等因素产生的颜色差异对网络产生影响，且训练过程无需任何标签。

Description

考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法

技术领域

本发明涉及医疗图像处理技术领域以及人工智能领域，更具体的，涉及一种考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法。

背景技术

目前，癌症是对人类身体健康和生命安全威胁最大的疾病种类。虽然癌症的患病情况和死亡率在每个地区和国家各不相同，但是由于癌症的复杂性，目前癌症的治疗费用极高，其对发达国家和发展中国家造成的负担都是庞大的。据统计，2020年在全球范围内有近2000万例新发癌症，超1000万人因癌症死亡，然而这个数据还在继续增长。随着全球人口的持续增长，人口老龄化加剧，癌症成为人类预期寿命缩减甚至过早死亡的重要原因。几乎对任何一种癌症来说，如果确诊癌症的时候还处于早期，可以通过口服抗癌药物或者外科手术切除肿瘤，此时的治疗效果显著，且对人体的负担较轻。若癌症发展到中晚期才被确诊，只能通过放射疗法或者化学疗法进行治疗，这种治疗手段对身体的毒副作用极强且收效甚微。因此，癌症的早期诊断是人类应对癌症最重要的武器，癌症的组织学类型与病因、临床治疗、术后表现密切相关，早发现早治疗可以极大的提高病人的生存几率，降低癌症对身体的威胁。

目前，医生通用的癌症筛查手段有很多，一种是计算机断层扫描，但是它只能提供初步的评估，另一种方法是病理诊断，是公认的癌症诊断的“金标准”。医生将人体取出的组织切片通过数字化显微镜和计算机技术制成全视野数字病理图像，然后在全视野数字病理图像上找到病灶区域并分析细胞和细胞间形态得到诊断意见。但是全视野数字病理图像上包含的病灶区域特别小，甚至有些切片会包含多个癌转移，这就要求医生具有扎实的专业功底。然而这种人工诊断受到主观性、差异认知的限制，经验丰富的病理学家也容易出现误诊或漏诊而耽误治疗的黄金时期，此外人工对全视野数字病理图像的分析具有不可复制性、可再现性差及效率低下的缺点。

在大数据时代，医学显像技术和信息技术的迅速发展，图形处理器版本的迭代更新和医疗数据库的建立为通过计算机解决病理诊断扫清障碍，医疗领域与人工智能技术相结合已是大势所趋。深度学习可以挖掘全视野数字病理图像中更深层次的特征信息并进行量化分析，实现端到端的诊断和预测。利用人工智能技术建立计算机辅助诊断系统，实现全视野数字病理图像的诊断和病灶区域检测的自动化，辅助医生提高诊断的效率和准确率。训练后的神经网络模型采用统一的标准检测全视野数字病理图像，减少病理学家们的诊断分歧。

目前基于深度学习的医学全视野数字病理图像分类方法包括监督学习，弱监督学习，自监督学习。在监督学习方法中，图像需经病理学家对病灶区域进行标注后提取该区域送入神经网络进行训练，然而目前公开的医疗图像数据库并不包含病灶区域的标注，该方法需要庞大的标注成本。有学者使用未经病灶区域标注的数据进行训练，这种方法由于无法提取准确的特征，导致准确率低下，无法起到辅助诊断的作用。此外，这两种方法都是将全视野数字病理图像切割成固定尺寸的小图像块来提取特征，然而单一的小图像块没有结合肿瘤微环境信息，往往缺少足够的特征信息，造成分类性能不佳。因此，亟需一种考虑了肿瘤微环境感知且无需大规模病灶区域标注的数据集却具有较高分类精度的全视野数字病理图像分类与病灶区域检测方法。

发明内容

本发明旨在解决现有基于深度学习的全视野数字病理图像分类方法都受制于大量人工精细标注的数据集和小图像块缺少肿瘤微环境信息这一问题，提供一种考虑肿瘤微环境的弱监督全视野数字病理图像分类与病灶检测方法，在大幅减少数据集体量的基础上实现较高的分类准确率和精准的病灶区域检测。

为解决上述技术问题，本发明采用的技术方案如下：

一种考虑肿瘤微环境的全视野数字病理图像分类系统，包括：

数据预处理模块，用于将获取的全视野数字病理图像分割成多个小图像块；

特征提取模块，用于提取每一小图像块对应的特征图m _k ，k=1 ,…, K，K表示一张全视野数字病理图像分割得到的小图像块的数量；

肿瘤微环境感知模块，用于将每一小图像块特征图m _k 与该小图像块相邻的c圈小图像块对应的特征图进行融合获得融合了肿瘤微环境信息的特征向量g _k ；

深度门控注意力模块，用于计算获取每一小图像块的注意力分数a _k 并确定关键示例g _m ，其中关键示例g _m 是注意力分数从大到小排序前m个小图像块对应的特征向量的均值；

相似度感知注意力模块，用于计算获取每一小图像块的特征向量g _k 与关键示例g _m 之间的相似度分数，并基于相似度分数将全部小图像块对应的特征向量聚合生成slide级别的特征g _slide ；

分类模块，用于基于特征g _slide 进行分类获得分类结果。

进一步地，所述肿瘤微环境感知模块根据输入的特征图m _k 和该图像块周围的特征图，进行维度调整后使用3D卷积操作建模相邻特征之间的拓扑结构关系，之后使用sigmoid激活函数并再次进行维度调整，之后使用shortcut的方式与原始特征图m _k 相加，最后经过全连接层将其转换为特征向量，得到融合了肿瘤微环境信息的特征向量g _k 。具体包括：

卷积层，用于将与该小图像块相邻的c圈小图像块对应的特征图进行3D卷积融合，获得第一融合特征；

全连接层，用于将第一融合特征与该小图像块对应的特征图m _k 相加融合后的特征图转换为特征向量，获得融合了肿瘤微环境信息的特征向量g _k 。

进一步地，所述深度门控注意力模块用于根据输入的每一张融合了肿瘤微环境信息的小图像块对应的特征向量g _k 计算每一张小图像块的注意力分数，并选取其中分数最高的前m个特征向量求和后取均值得到特征向量g _m ，并设定其为关键示例向量。所述计算获取每一小图像块的注意力分数a _k 具体为：

其中W _a,1,…, W _a,4，P _a 为可调权重矩阵，σ(∙)表示sigmoid激活函数，tanh(∙)为双曲正切激活函数，⊙表示两个矩阵逐元素相乘。

进一步地，所述相似度感知注意力模块用于将输入的每一张融合了肿瘤微环境信息的小图像块对应的特征向量g _k 转化为搜寻向量q _k 和信息向量i _k ，计算每一张小图像块的搜寻向量与关键示例的搜寻向量之间的相似度分数，并以此作为每张小图像块的最终注意力分数。将所有小图像块的最终注意力分数作为权重，与信息向量加权求和后可以得到slide级别的特征。所述计算获取每一小图像块的特征向量g _k 与关键示例g _m 之间的相似度分数具体表示如下：

其中，q _k 、i _k 是由融合了肿瘤微环境信息的特征向量g _k 转化得到的搜寻向量和信息向量：

q _k = W _q (g _k ), i _k = W _i (g _k )

其中，W _q 和W _i 均为权重矩阵，<*>表示两个向量的内积；

slide级别的特征g _slide 表示为：

进一步地，所述特征提取模块是一训练好的自监督对比学习网络的特征提取部分，所述自监督对比学习网络无需任何标签，提取输入小图像块的深层特征信息。

进一步地，还包括可视化模块，用于提取所有小图像块在相似度感知注意力模块生成的注意力分数，并生成对应颜色的色块，以一定的透明度覆盖在原始全视野数字病理图像的相同位置，得到病灶区域的检测热图。

进一步地，所述全视野数字病理图像为医学全视野数字病理图像。

一种上述系统的构建方法，包括：

收集全视野数字病理图像，并将每张全视野数字病理图像分割成多个小图像块；

构建数据预处理模块、特征提取模块，并利用特征提取模块提取每一小图像块对应的特征图m _k ；将肿瘤微环境感知模块、深度门控注意力模块、相似度感知注意力模块及分类模块组成的多示例分类网络，所述多示例分类网络以每张全视野数字病理图像分割成的多个小图像块对应的特征图作为输入，每张全视野数字病理图像的分类结果作为输出，通过最小化输出与每张全视野数字病理图像的真实标签的损失进行训练，训练完成后固定参数，将数据预处理模块、特征提取模块、肿瘤微环境感知模块、深度门控注意力模块、相似度感知注意力模块组合获得考虑肿瘤微环境的全视野数字病理图像分类系统。

进一步地，所述特征提取模块是一训练好的自监督对比学习网络的特征提取部分，通过如下方法构建获得：

收集全视野数字病理图像，并将每张全视野数字病理图像分割成多个小图像块；

对每一小图像块进行随机裁剪、随机色彩失真和/或随机高斯模糊变换，得到增广图像；

构建自监督对比学习网络，所述自监督对比学习网络以每一小图像块对应的增广图像作为输入，特征图作为输出，通过最小化每一小图像块对应的任意两张增广图像特征图的对比损失函数进行训练，获得训练好的自监督对比学习网络，保留训练好的自监督对比学习网络的特征提取部分即获得特征提取模块。

进一步地，所述自监督对比学习网络的结构为ResNet、DenseNet、AlexNet或GoogLeNet。

进一步地，所述对比损失函数为：

其中，

，z为自监督对比学习网络输出的特征图，τ为可调节参数。

与现有技术相比，本发明的有益成果是：

（1）本发明使用自监督对比学习对图像块进行深层特征的提取，该方法无需任何额外的标注信息即可学习到有效的深层特征，大幅降低数据集的要求，减少因数据集匮乏对网络学习的限制。训练自监督对比学习网络的数据没有特定病种或器官的限制，所有疾病种类的全视野数字病理图像都可以作为数据集参与训练，基于此，我们可以采用更加庞大的数据集、选取网络结构更加复杂、层数更深的网络作为自监督对比学习网络的骨架网络，使网络具有更强的泛化能力。此外，该方法避免了神经网络网络的“惰性思维”通过颜色特征直接进行分类诊断，从而实现更加充分的训练以学习到更深层次的组织结构和形态学特征，提升全视野数字病理图像分类的准确性。

（2）本发明设计了一个肿瘤微环境感知模块，该模块可以建模肿瘤微环境中的拓扑结构信息，使每个小图像块的特征不仅包含自身的特征信息，还可以捕获对分类结果有重要意义的肿瘤微环境信息，实现示例信息与组织类型之间的重要形态学特征的交互，学习微环境中的粗粒度与细粒度的结构关系。该模块使网络学习到的特征向量具有更高的鲁棒性。

（3）本发明的分类网络包括深度门控注意力模块和相似度感知注意力模块。深度门控注意力模块用于寻找关键示例，其中以tanh为激活函数的全连接层用于实现权重的初步正负判定，在初步判定正负的基础上通过堆叠以sigmoid为激活函数的全连接层进行深度加深实现权重的最终评分。该结构类似于多重判定，堆叠判定结构可以缓解数据集数据的不确定性，考虑到到堆叠过多的判定结构会引起数值冗余而造成不必要的信息偏差，本发明的深度门控注意力模块经过大量对比实验验证，通过堆叠合适数量的判定结构来达到优化输出的目的。相似度感知注意力模块使用任意示例与关键示例的相似度度量进行注意力评分，使得最终的注意力分数具有更强的鲁棒性与准确性。在双注意力机制下，分类器的有效性得到显著提升，具有更高的应用价值。

（4）本发明的分类网络通过多示例学习进行全视野数字病理图像的分类，分类器无需块级或像素级的标签，仅需图像级病种的标签，减轻了数据收集与标注时的工作量，实现了快速性与便捷性，具有一定的临床价值。

（5）本发明提出了一种新颖的弱监督学习全视野数字病理图像分类与病灶区域检测框架，通过自监督对比学习网络提取全视野数字病理图像的深层特征信息，无需精细标注(像素级标签，示例级标签)。设计了一种肿瘤微环境感知模块，建模并融合每个示例的肿瘤微环境信息，实现微环境中粗粒度与细粒度关系的感知学习。设计了深度门控注意力模块和相似度感知模块进行自适应示例特征聚合，并通过分类层实现全视野数字病理图像的分类。此外，本发明利用相似度感知注意力模块输出的示例级注意力分数实现了病灶区域的可视化，可以辅助用户迅速锁定病灶区域。在该发明中，训练好的模型可以灵活进行大规模部署，将大量候选图像作为输入，自动化分析结果并输出。

（6）本发明将特征提取操作与分类模型分类操作分开，提高了网络的灵活性与普适性，同时避免了端到端训练的大量计算机资源浪费，大幅减少训练时间。

附图说明

图1为本发明一种考虑肿瘤微环境的弱监督全视野数字病理图像分类系统的结构图；

图2为本发明肿瘤微环境感知模块的网络结构图；

图3为一种考虑肿瘤微环境的全视野数字病理图像分类系统的构建方法流程图；

图4为本发明自监督对比学习网络训练的流程图。

具体实施方式

图1为本发明一种考虑肿瘤微环境的弱监督全视野数字病理图像分类系统的结构图。参见图1，具体包括：

（1）数据预处理模块，用于将获取的全视野数字病理图像分割成多个小图像块；

其中，获取的全视野数字病理图像应过滤空白背景和天然空洞，去除对分类的干扰。图像分割采用滑动窗口将获取的全视野数字病理图像切割成尺寸为n×n的小图像块，并保存每个小图像块的坐标，其中n表示小图像块的长和宽。

（2）特征提取模块，用于提取每一小图像块对应的特征图m _k ，k=1 ,…, K，K表示一张全视野数字病理图像分割得到的小图像块的数量；

（3）肿瘤微环境感知模块，用于将每一小图像块特征图m _k 与该小图像块相邻的c圈小图像块对应的特征图进行融合获得融合了肿瘤微环境信息的特征向量g _k ；

图2为一示例性的肿瘤微环境感知模块结构，主要包括卷积层和全连接层，其中：

3D卷积层，用于将与该小图像块相邻的c圈小图像块对应的总计(2c+1)²个特征图进行卷积融合，获得第一融合特征；

全连接层，用于将第一融合特征与该小图像块对应的特征图m _k 相加融合后的特征图转换为特征向量，获得融合了肿瘤微环境信息的特征向量g _k 。

需要注意的是，为了突出该小图像块对应的特征图m _k 的主体地位，需要在全连接层之前通过shortcut的方式将原特征图加回去，第一融合特征应与特征图m _k 具有相同的维度，因此，在卷积之前，对(2c+1)²个特征图进行维度调整，由((2c+1)²,C,H,W)调整为(C,(2c+1)², H,W)；在卷积之后，对卷积的输出（维度为(C, 1, H,W)）使用sigmoid激活函数，并再次进行维度调整，使得最后获得的第一融合特征的维度为(C, H,W)，与特征图m _k 对应；其中，C, H,W分别表示通道，高度，宽度。

（4）深度门控注意力模块，用于计算获取每一小图像块的注意力分数a _k 并确定关键示例g _m ，其中关键示例g _m 是注意力分数从大到小排序前m个小图像块对应的特征向量的均值；

每一张小图像块的注意力分数a _k 计算如下：

其中W _a,1,…, W _a,4∈ℝ^256×512，P _a ∈ℝ^1×256为全连接层的权重矩阵，σ(∙)表示sigmoid激活函数，tanh(∙)为双曲正切激活函数，⊙表示两个矩阵逐元素相乘。

（5）相似度感知注意力模块，用于计算获取每一小图像块的特征向量g _k 与关键示例g _m 之间的相似度分数，并基于相似度分数将全部小图像块对应的特征向量聚合生成slide级别的特征g _slide ；

具体地。首先将融合了肿瘤微环境信息的特征向量g _k 转化成搜寻向量q _k 和信息向量i _k ：

q _k = W _q (g _k )

i _k = W _i (g _k )

其中，W _q 和W _i 均为权重矩阵。

然后计算每一张小图像块的搜寻向量与关键示例的搜寻向量之间的相似度分数U，并以此作为相似度感知模块的注意力分数：

<*>表示两个向量的内积；q _m 是关键示例g _m 的搜寻向量；

最后将注意力分数作为对应的权重，计算所有信息向量的加权和，聚合生成slide级别的特征g _slide ：

（6）分类模块，用于基于特征g _slide 进行分类获得分类结果：

其中，softmax（*）表示softmax函数，W是可调权重矩阵。

进一步地，还包括可视化模块，用于提取所有小图像块在相似度感知注意力模块生成的注意力分数，并生成对应颜色的色块，以一定的透明度覆盖在原始全视野数字病理图像的相同位置，经模糊、平滑操作后，得到病灶区域的检测热图。

作为一优选实施方案，所述特征提取模块可以采用一训练好的自监督对比学习网 络的特征提取部分。所述自监督对比学习网络无需任何标签，即可学习到有效的深层特征， 大幅降低数据集的要求，减少因数据集匮乏对网络学习的限制。具体地，利用收集的全视野 数字病理图像训练自监督对比学习网络，获得训练好的自监督对比学习网络的具体步骤 为：取出一个小图像块x进行随机裁剪、随机色彩失真、随机高斯模糊等变换，得到增广图像

和

；增广图像

和

通过两个共享权重的特征提取网络获取图像特征h _i 和h _j ；图像特征h _i 和h _j 再通过一个两层的多层感知机映射到128维的隐空间中，得到新的特征表示即特征图z _i 和z _j ；计算特征表示z _i 和z _j 的余弦相似度s _i,j ，进一步计算其对比损失函数l _i,j ；使用随机 梯度下降算法以最小化损失函数为目标来优化网络参数，获得训练好的自监督对比学习网 络。

所述余弦相似度s _i,j 和损失函数l _i,j 的计算公式为：

其中τ为可调节参数，用于调节余弦相似度的范围，||*||表示计算向量长度。

本发明的分类系统包括深度门控注意力模块和相似度感知注意力模块。深度门控注意力模块用于寻找关键示例，其中以tanh为激活函数的全连接层用于实现权重的初步正负判定，在初步判定正负的基础上通过堆叠以sigmoid为激活函数的全连接层进行深度加深实现权重的最终评分。该结构类似于多重判定，堆叠判定结构可以缓解数据集数据的不确定性，考虑到到堆叠过多的判定结构会引起数值冗余而造成不必要的信息偏差，本发明的深度门控注意力模块经过大量对比实验验证，通过堆叠合适数量的判定结构来达到优化输出的目的。相似度感知注意力模块使用任意示例与关键示例的相似度度量进行注意力评分，使得最终的注意力分数具有更强的鲁棒性与准确性。在双注意力机制下，分类器的有效性得到显著提升，具有更高的应用价值。

与前述一种考虑肿瘤微环境的全视野数字病理图像分类系统的实施例相对应，本发明还提供了一种考虑肿瘤微环境的全视野数字病理图像分类系统的构建方法的实施例。

如图3所示，该方法包括：

收集全视野数字病理图像，并将每张全视野数字病理图像分割成多个小图像块；

构建数据预处理模块、特征提取模块，将肿瘤微环境感知模块、深度门控注意力模块、相似度感知注意力模块及分类模型组成多示例分类网络进行训练，得到训练好的分类网络的具体步骤为：将每张全视野数字病理图像生成的K张小图像块的特征向量m _k 输入至分类网络中，使用随机梯度下降算法以最小化损失函数为目标来优化网络参数，获得训练好的多示例分类网络。所述损失函数为多示例分类网络输出的预测结果与样本真实标签的二值交叉熵损失函数。

本发明可适用于各类全视野数字病理图像的分类与病灶区域检测任务，尤其适用于各种医学全视野数字病理图像分类的癌症诊断和病灶检测任务，对于病理科医生来说，本发明可以有效的辅助医生判定整张病理图像所属的癌症类型以及病灶区域的位置。

以下以肺癌亚型诊断（肺腺癌、肺鳞癌的诊断）为目的的全视野数字病理图像分类与病灶检测为例，结合具体实施方法对本发明提出的一种考虑环境感知的弱监督全视野数字病理图像分类系统及其具体的病灶区域检测方法作详细说明。

本发明实施例包括：

训练阶段：

步骤S1：构建肺癌全视野数字病理图像数据集，从开源数据集TCGA和TCIA中收集3431张肺癌全视野数字病理图像，其中肺腺癌1677张，肺鳞癌1754张，两个类别的数据量总体相近，分布均衡。其中取10%进行癌症亚型的标注，肺腺癌标注为0，肺鳞癌标注为1，两个类别标注数量保持相等。值得注意的是，所有图像均为svs格式，且不含任何像素、补丁或ROI级标签；

步骤S2：对所有待分类的全视野数字病理图像进行预处理，具体步骤如下：

步骤S21：对所有全视野数字病理图像进行自动分割，过滤空白背景和天然空洞；

步骤S22：使用滑动窗口将分割后的部分切割成尺寸为256×256的小图像块，并保存每个小图像块的坐标；

步骤S3：使用小图像块训练自监督对比学习网络，图4所示为自监督对比学习网络训练流程图，参见图4，具体步骤如下：

步骤S31：依次取出小图像块x进行随机变换，这里使用随机裁剪、随机颜色失真、随机高级模糊，得到增广图像；

步骤S32：增广图像通过两个共享权重的特征提取网络，本实施例使用ResNet-50作为特征提取网络的骨架网络,获取增广图像块的深层特征h _i 和h _j ；

步骤S33：将增广图像块的深层特征h _i 和h _j 送入一个多层感知机，进一步获取新的特征表示z _i 和z _j ；

步骤S34：通过特征z _i 和z _j 计算余弦相似度s _i,j ：

其中τ为可调节参数，用于调节余弦相似度的范围。

步骤S35：通过余弦相似度进一步计算对比损失函数l _i,j ：

步骤S36：使用随机梯度下降算法进行梯度的反向传播，以最小化损失函数为目标来优化网络参数，当损失不再下降时停止训练并保存参数，丢弃ResNet-50的全连接层和多层感知机，得到特征提取模块；

步骤S4：训练由肿瘤微环境感知模块、深度门控注意力模块、相似度感知注意力模块及分类层组成的多示例分类网络，具体步骤如下：

步骤S41：使用标注过肺癌亚型的全视野数字病理图像生成的小图像块送入训练好的自监督对比学习网络，在最后的全连接层前提取对应的特征图m _k ，k=1 ,…, K，K表示由一张全视野数字病理图像生成的小图像块的数量；

步骤S42：取出与该小图像块相邻的1圈小图像块对应的总计9个特征图送入肿瘤微环境感知模块，获得融合了肿瘤微环境信息的特征向量g _k ；

步骤S43：将融合了肿瘤微环境信息的特征向量g _k 送入深度门控注意力模块，计算每一张小图像块的注意力分数a _k ，选取分数最高的前8个特征向量求和并取均值得到特征向量g _m ，设定g _m 为关键示例向量；

步骤S44：将融合了肿瘤微环境信息的特征向量g _k 送入相似度感知模块得到小图像块最终的注意力分数，并将其作为权重聚合成slide级别的特征g _slide ，最后由分类层得到最后的分类结果prob。

步骤S45：由分类层输出的预测分类结果和真实标签计算二值交叉熵损失函数

其中，y∈{0,1}表示患者的真实类型，在本实施例中，0表示肺腺癌，1表示肺鳞癌。

步骤S46：使用随机梯度下降算法进行梯度的反向传播，以最小化损失函数为目标来优化网络参数，本示例采用Adam优化器，初始学习率设置为0.0001，使用早停法来及时更新并保存参数，运用十折交叉验证确定最佳模型，并以此作为最终训练好的由肿瘤微环境感知模块、深度门控注意力模块、相似度感知注意力模块及分类层组成的多示例分类网络。

应用阶段：

步骤S1：获取患者的肺部全视野数字病理图像，

步骤S2：使用训练时对每幅全视野数字病理图像进行预处理的方法进行预处理获得K张小图像块；

步骤S3：使用训练好的以ResNet-50为骨架的自监督对比学习网络提取每一张小图像块的深度特征m _k ；最后输入至训练好的由肿瘤微环境感知模块、深度门控注意力模块、相似度感知注意力模块及分类层组成的多示例分类网络即获得分类结果；

步骤S4：进一步地，利用可视化模块提取相似度感知注意力模块的注意力分数，并生成对应颜色的色块，以一定的透明度覆盖在原始全视野数字病理图像的相同位置，经模糊、平滑操作后，得到病灶检测热图。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种考虑肿瘤微环境的全视野数字病理图像分类系统，其特征在于，包括：

数据预处理模块，用于将获取的全视野数字病理图像分割成多个小图像块；

特征提取模块，用于提取每一小图像块对应的特征图m _k ，k=1 ,…, K，K表示一张全视野数字病理图像分割得到的小图像块的数量；

肿瘤微环境感知模块，用于将每一小图像块特征图m _k 与该小图像块相邻的c圈小图像块对应的特征图进行融合获得融合了肿瘤微环境信息的特征向量g _k ；

深度门控注意力模块，用于计算获取每一小图像块的注意力分数a _k 并确定关键示例g _m ，其中关键示例g _m 是注意力分数从大到小排序前m个小图像块对应的特征向量的均值；

相似度感知注意力模块，用于计算获取每一小图像块的特征向量g _k 与关键示例g _m 之间的相似度分数，并基于相似度分数将全部小图像块对应的特征向量聚合生成slide级别的特征g _slide ；

分类模块，用于基于特征g _slide 进行分类获得分类结果。

2.根据权利要求1所述的系统，其特征在于，所述肿瘤微环境感知模块包括：

3D卷积层，用于将与该小图像块相邻的c圈小图像块对应的特征图进行3D卷积融合，获得第一融合特征；

全连接层，用于将第一融合特征与该小图像块对应的特征图m _k 相加融合后的特征图转换为特征向量，获得融合了肿瘤微环境信息的特征向量g _k 。

3.根据权利要求1所述的系统，其特征在于，所述计算获取每一小图像块的注意力分数a _k 具体为：

其中W _a,1,…, W _a,4，P _a 为可调权重矩阵，σ(∙)表示sigmoid激活函数，tanh(∙)为双曲正切激活函数，⊙表示两个矩阵逐元素相乘。

4.根据权利要求1所述的系统，其特征在于，所述计算获取每一小图像块的特征向量g _k 与关键示例g _m 之间的相似度分数具体为：

其中，q _k 、i _k 是由融合了肿瘤微环境信息的特征向量g _k 转化得到的搜寻向量和信息向量：

q _k = W _q (g _k ), i _k = W _i (g _k )

其中，W _q 和W _i 均为权重矩阵，<*>表示两个向量的内积；

slide级别的特征g _slide 表示为：

。

5.根据权利要求1所述的系统，其特征在于，所述特征提取模块是一训练好的自监督对比学习网络的特征提取部分。

6.根据权利要求1所述的系统，其特征在于，还包括可视化模块，用于提取所有小图像块在相似度感知注意力模块生成的注意力分数，并生成对应颜色的色块，以一定的透明度覆盖在原始全视野数字病理图像的相同位置，得到病灶区域的检测热图。

7.一种权利要求1-6任一项所述系统的构建方法，其特征在于，包括：

收集全视野数字病理图像，并将每张全视野数字病理图像分割成多个小图像块；

构建数据预处理模块、特征提取模块，并利用特征提取模块提取每一小图像块对应的特征图m _k ；将肿瘤微环境感知模块、深度门控注意力模块、相似度感知注意力模块及分类模块组成多示例分类网络，所述多示例分类网络以每张全视野数字病理图像分割成的多个小图像块对应的特征图作为输入，每张全视野数字病理图像的分类结果作为输出，通过最小化输出与每张全视野数字病理图像的真实标签的损失进行训练，训练完成后固定参数，将数据预处理模块、特征提取模块、肿瘤微环境感知模块、深度门控注意力模块、相似度感知注意力模块组合获得考虑肿瘤微环境的全视野数字病理图像分类系统。

8.根据权利要求7所述的构建方法，其特征在于，所述特征提取模块是一训练好的自监督对比学习网络的特征提取部分，通过如下方法构建获得：

收集全视野数字病理图像，并将每张全视野数字病理图像分割成多个小图像块；

对每一小图像块进行随机裁剪、随机色彩失真和/或随机高斯模糊变换，得到增广图像；

构建自监督对比学习网络，所述自监督对比学习网络以每一小图像块对应的增广图像作为输入，特征图作为输出，通过最小化每一小图像块对应的任意两张增广图像特征图的对比损失函数进行训练，保留训练好的自监督对比学习网络的特征提取部分即获得特征提取模块。

9.根据权利要求8所述的构建方法，其特征在于，所述自监督对比学习网络的结构为ResNet、DenseNet、AlexNet或GoogLeNet。

10.根据权利要求8所述的构建方法，其特征在于，所述对比损失函数为：

其中，

，z为自监督对比学习网络输出的特征图，τ为可调节参数。

Images