CN114188020A - 一种基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法 - Google Patents

一种基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法 Download PDF

Info

Publication number
CN114188020A
CN114188020A CN202111483944.5A CN202111483944A CN114188020A CN 114188020 A CN114188020 A CN 114188020A CN 202111483944 A CN202111483944 A CN 202111483944A CN 114188020 A CN114188020 A CN 114188020A
Authority
CN
China
Prior art keywords
lymph node
mil
node metastasis
transformer
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111483944.5A
Other languages
English (en)
Inventor
丁鑫
廖雪洪
余淑琦
王连生
王志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshan Hospital Xiamen University
Original Assignee
Zhongshan Hospital Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan Hospital Xiamen University filed Critical Zhongshan Hospital Xiamen University
Priority to CN202111483944.5A priority Critical patent/CN114188020A/zh
Publication of CN114188020A publication Critical patent/CN114188020A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本发明公开了一种基于Transformer‑MIL的甲状腺乳头状癌淋巴结转移预测方法，该方法包括以下步骤：S1、利用轻量级ViT网络提取WSI中patch的特征；S2、采用基于聚类的策略选择关键性patches；S3、构建Transformer‑MIL模型，通过多头自注意机制从多个方面学习实例之间的关系，将实例级特征嵌入到包表示中；S4、结合甲状腺乳头状集和淋巴结转移数据集，通过互知识蒸馏帮助Transformer‑MIL模型学习预测淋巴结转移；该发明通过构建Transformer‑MIL模型，更好地将实例级特征嵌入到包表示中，并充分利用了肿瘤细胞和淋巴结转移细胞之间的形态学相似性，以注意力图为媒介传递两个数据集之间的关系知识，从而提高了淋巴结转移组织病理学图像的预测准确性。

Description

一种基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预 测方法
技术领域
本发明涉及生物技术领域，具体涉及一种基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法。
背景技术
对于癌症患者，淋巴结转移决定了他们淋巴结清扫的范围，也是主要的独立预后因素之一。术前准确预测癌症患者的淋巴结状态，对避免过度治疗，减少术后并发症具有重要意义。多项研究表明，术前CT影像组学有助于实现癌症患者淋巴结状态的个体化预测，但这些研究往往利用的是肿瘤影像组学特征或结合少量临床病理特征，如CT报告中的淋巴结状态、血清生物标志物、TNM分期等。
随着组织病理学图像分析成为肿瘤诊断的重要手段，越来越多的基于多实例学习的组织病理学图像分析算法被提出。然而，现今在组织病理学图像领域有效地部署MIL仍然是一个具有挑战性的问题，目前提出的MIL方法通常基于实例预测选择多个分数最高和最低的实例，但在组织病理学图像分析任务中，阳性和阴性patches数量极不平衡，这导致标准多实例(SMI)假设不能得到满足，根据预测分数选择的极端实例不能很好地代表WSI。
发明内容
本发明提供了一种基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法，该方法通过构建Transformer-MIL模型，更好地将实例级特征嵌入到包表示中，并充分利用了肿瘤细胞和淋巴结转移细胞之间的形态学相似性，以注意力图为媒介传递两个数据集之间的关系知识，从而提高了淋巴结转移组织病理学图像的预测准确性。
为实现上述目的，本发明采用以下技术方案：
一种基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法，该方法包括以下步骤：
S1、利用轻量级ViT网络提取WSI中patch的特征；
S2、采用基于聚类的策略选择关键性patches；
S3、构建Transformer-MIL模型，通过多头自注意机制从多个方面学习实例之间的关系，将实例级特征嵌入到包表示中；
S4、结合甲状腺乳头状集和淋巴结转移数据集，通过互知识蒸馏帮助Transformer-MIL模型学习预测淋巴结转移。
优选地，步骤S1的具体过程为：
S11、将WSI切割成512×512的非重叠patches，并移除没有组织细胞的patches；
S12、降低ViT特征提取器的深度和维度，得到轻量级的特征提取器Tiny-ViT并对其进行训练；
S13、通过训练好的特征提取器Tiny-ViT将大小为512×512的patches提取为312维的特征向量。
优选地，步骤S2的具体过程为：
S21、通过K-means聚类算法将WSI中的所有patch级特征聚类为10个类别；
S22、根据每个类别中的patches数量与patches总数的比例，总共提取200个patch级特征代表slide级特征。
优选地，步骤S3的具体过程为：
S31、构建由聚类嵌入模块、Transformer编码器和分类头三部分组成的Transformer-MIL模型；
S32、聚类嵌入模块按照类别重新排列patches；
S33、将重新排列的patches输入到Transformer编码器之前，将所有类别合并在一起；
S34、对于Transformer编码器，使用N个重复的编码器模块将200个实例级特征嵌入到包表示中。
优选地，步骤S34中每个所述编码器模块由一个多头自注意力模块MHA、一个具有残差连接的前馈网络FFN和两层归一化LN层组成，即:
Block(Xi)＝A+FFN(LN(A))
A＝Xi-1+MHA(LN(Xi-1))
其中，Xi是第i个编码器块后的特征映射，X0是聚类嵌入后的200个实例级特征向量，将一个可学习模块嵌入用作分类标记；所述编码器模块中的多头自注意力模块通过多次使用key-value attention来实现嵌入，其定义如下：
MHA(Q，K，V)＝Concat(Head1，…，HeadM)WO
Figure BDA0003396688940000031
Figure BDA0003396688940000032
其中，映射是参数矩阵
Figure BDA0003396688940000033
Figure BDA0003396688940000034
dmodel是Transformer-MIL模型的特征嵌入维度；Q、K和V是一组查询、键和值的矩阵，M是注意头的数量，dk是键和查询的维度，dV是值的维度；在获得包的表示之后，通过由两个隐藏层组成的多层感知机MLP将其映射到最终预测。
优选地，步骤S4的具体过程为：
S41、将两个具有相同结构的Transformer-MIL模型分别在甲状腺乳头状癌数据集和甲状腺乳头状癌的淋巴结转移数据集上训练，其中每个Transformer-MIL模型只接受一类数据集的标签的直接监督；
S42、在训练过程中，每个网络不仅显式地从当前数据集中获取知识，而且隐式地从另一个数据集中吸收知识；
S43、通过步骤S42中相互学习模式，Transformer-MIL模型以显式和隐式的方式探索包的嵌入；
S44、将实例级特征嵌入为包的表示后，通过由两个隐藏层组成的多层感知机MLP预测淋巴结转移。
优选地，步骤S43中对于显式学习，通过计算模型生成的预测和输入标签的类加权交叉熵损失获得更新梯度，即：
Lt→t＝β0(1-yt)log(1-ptt)+β1ytlog(ptt)
Ll→l＝β0(1-yl)log(1-pll)+β1yilog(pll)
其中，yt和yl分别是甲状腺乳头状癌数据集和淋巴结转移数据集的标签，ptt是输入甲状腺乳头状癌数据集mod elt的预测概率，pll是输入淋巴结转移数据集mod ell的预测概率；在甲状腺乳头状癌数据集和淋巴结转移数据集中，标签为0的数据多于标签为1的数据，将类别权重[β0,β1]添加到损失计算中。
优选地，步骤S43中对于隐式学习，仅对Transformer-MIL模型的前两个编码器块应用知识蒸馏，即：
Figure BDA0003396688940000041
Figure BDA0003396688940000042
其中，
Figure BDA0003396688940000043
是由mod elt中的第i个编码器块对输入的淋巴结转移数据集生成的注意力图，
Figure BDA0003396688940000044
是由mod ell中的第i个编码器块对输入的淋巴结转移数据集生成的注意力图；从两个模型的注意图中计算均方误差MSE损失，从淋巴结转移数据集中得到mod elt学习的知识Ll→t，Lt→l同理；
训练整个框架的总目标为：
Lt＝(1-α)Lt→t+αLl→t
Ll＝(1-α)Ll→l+αLt→l
其中，α是蒸馏损失的权重，在训练过程中，通过计算Lt和Ll同时更新Lt→l和modell。
采用上述技术方案后，本发明与背景技术相比，具有如下优点：
本发明提供一种基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法，首先提出了一个高效的Transformer引导的组织病理学图像淋巴结转移预测框架，该框架有助于patch级特征提取、关键性patch选择和patch聚合，并优于其他最近的WSI预测方法；接着，提出了基于Tiny-ViT和聚类的实例选择方法，这种组合不仅可以从WSI中选择具有代表性的patches，而且可以大大节省特征提取器的训练和推理时间；然后，提出了一种具有创新性的ES-MIL方法，即Transformer-MIL模型，通过多头自注意机制从多个方面学习实例之间的关系，从而更好地将实例级特征嵌入到包表示中；最后，提出了互知识蒸馏AMKD，充分利用了肿瘤细胞和淋巴结转移细胞之间的形态学相似性，以注意力图为媒介传递两个数据集之间的关系知识，从而提高了淋巴结转移组织病理学图像的预测准确性。
附图说明
图1为本发明的流程框图；
图2为本发明的关键性patch选择、Transformer-MIL聚合和基于注意力的互知识蒸馏的流程示意图，其中，n是WSI中包含组织信息的patches数量，k是关键性的patch级特征向量的数量；
图3为本发明的Transformer-MIL模型的结构示意图；
图4为本发明的基于注意力的互知识蒸馏中隐式学习的结构示意图；
图5为本发明的混淆矩阵分析图；
图6为本发明的基于聚类的实例选择方法选择的关键性patch图；
图7为本发明的预测分数最高的前10个patch图；
图8为本发明的使用不同的特征提取器在WSI中对结果进行聚类(聚为10类)，其中，(a)来自淋巴结转移数据集的WSI，(b)癌区预测，(c)Tiny-ViT的聚类结果，(d)ResNet18的聚类结果，(e)ResNet50的聚类结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实例仅仅用以解释本发明，并不用于限定本发明。
在本发明中需要说明的是，术语“上”“下”“左”“右”“竖直”“水平”“内”“外”等均为基于附图所示的方位或位置关系，仅仅是为了便于描述本发明和简化描述，而不是指示或暗示本发明的装置或元件必须具有特定的方位，因此不能理解为对本发明的限制。
实施例
如图1至图8所示，本发明公开了一种基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法，该方法包括以下步骤：
S1、利用轻量级ViT网络提取WSI中patch的特征；
步骤S1的具体过程为：
S11、将WSI切割成512×512的非重叠patches，并移除没有组织细胞的patches；
S12、降低ViT特征提取器的深度和维度，得到轻量级的特征提取器Tiny-ViT并对其进行训练；
S13、通过训练好的特征提取器Tiny-ViT将大小为512×512的patches提取为312维的特征向量；
S2、采用基于聚类的策略选择关键性patches；
步骤S2的具体过程为：
S21、通过K-means聚类算法将WSI中的所有patch级特征聚类为10个类别；
S22、根据每个类别中的patches数量与patches总数的比例，总共提取200个patch级特征代表slide级特征；
S3、构建Transformer-MIL模型，通过多头自注意机制从多个方面学习实例之间的关系，将实例级特征嵌入到包表示中；
步骤S3的具体过程为：
S31、构建由聚类嵌入模块、Transformer编码器和分类头三部分组成的Transformer-MIL模型；
S32、聚类嵌入模块按照类别重新排列patches；
S33、将重新排列的patches输入到Transformer编码器之前，将所有类别合并在一起；
S34、对于Transformer编码器，使用N个重复的编码器模块将200个实例级特征嵌入到包表示中；
步骤S34中每个所述编码器模块由一个多头自注意力模块MHA、一个具有残差连接的前馈网络FFN和两层归一化LN层组成，即:
Block(Xi)＝A+FFN(LN(A))
A＝Xi-1+MHA(LN(Xi-1))
其中，Xi是第i个编码器块后的特征映射，X0是聚类嵌入后的200个实例级特征向量，将一个可学习模块嵌入用作分类标记；所述编码器模块中的多头自注意力模块通过多次使用key-value attention来实现嵌入，其定义如下：
MHA(Q，H，V)＝Concat(Head1，…，HeadM)WO
Figure BDA0003396688940000071
Figure BDA0003396688940000072
其中，映射是参数矩阵
Figure BDA0003396688940000073
Figure BDA0003396688940000074
dmodel是Transformer-MIL模型的特征嵌入维度；Q、K和V是一组查询、键和值的矩阵，M是注意头的数量，dk是键和查询的维度，dV是值的维度；在获得包的表示之后，通过由两个隐藏层组成的多层感知机MLP将其映射到最终预测；
S4、结合甲状腺乳头状集和淋巴结转移数据集，通过互知识蒸馏帮助Transformer-MIL模型学习预测淋巴结转移；
步骤S4的具体过程为：
S41、将两个具有相同结构的Transformer-MIL模型分别在甲状腺乳头状癌数据集和甲状腺乳头状癌的淋巴结转移数据集上训练，其中每个Transformer-MIL模型只接受一类数据集的标签的直接监督；
S42、在训练过程中，每个网络不仅显式地从当前数据集中获取知识，而且隐式地从另一个数据集中吸收知识；
S43、通过步骤S42中相互学习模式，Transformer-MIL模型以显式和隐式的方式探索包的嵌入；
步骤S43中对于显式学习，通过计算模型生成的预测和输入标签的类加权交叉熵损失获得更新梯度，即：
Lt→t＝β0(1-yt)log(1-ptt)+β1ytlog(ptt)
Ll→l＝β0(1-yl)log(1-pll)+β1yllog(pll)
其中，yt和yl分别是甲状腺乳头状癌数据集和淋巴结转移数据集的标签，ptt是输入甲状腺乳头状癌数据集mod elt的预测概率，pll是输入淋巴结转移数据集mod ell的预测概率；在甲状腺乳头状癌数据集和淋巴结转移数据集中，标签为0的数据多于标签为1的数据，将类别权重[β0,β1]添加到损失计算中；
步骤S43中对于隐式学习，仅对Transformer-MIL模型的前两个编码器块应用知识蒸馏，即：
Figure BDA0003396688940000081
Figure BDA0003396688940000082
其中，
Figure BDA0003396688940000083
是由mod elt中的第i个编码器块对输入的淋巴结转移数据集生成的注意力图，
Figure BDA0003396688940000084
是由mod ell中的第i个编码器块对输入的淋巴结转移数据集生成的注意力图；从两个模型的注意图中计算均方误差MSE损失，从淋巴结转移数据集中得到mod elt学习的知识Ll→t，Lt→l同理；
训练整个框架的总目标为：
Lt＝(1-α)Lt→t+αLl→t
Ll＝(1-α)Ll→l+αLt→l
其中，α是蒸馏损失的权重，在训练过程中，通过计算Lt和Ll同时更新Lt→l和modell；
S44、将实例级特征嵌入为包的表示后，通过由两个隐藏层组成的多层感知机MLP预测淋巴结转移。
实验对比评估：
数据集以及实验设置
本文收集了病理科595例甲状腺乳头状癌的淋巴结转移病例，此研究已获得医院机构伦理审查委员会的批准，并获得患者的同意。用苏木精和曙红对每个病例的切片进行染色，并用扫描仪(EasyScan 102，Motic，中国)以20倍的放大率和0.5um/pixel的分辨率进行扫描。每张幻灯片图像都附有阳性或阴性的标签。阳性和阴性病例分别为210例和385例。为了训练特征提取器，80例WSIs由一位有10年经验的病理学家用多边形轮廓标注，该轮廓环绕癌区。然后，对剩余的515张WSI进行五折交叉验证，以评估本发明基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法。对于相关的甲状腺乳头状癌的WSI，还收集了相对较多的数据，包括687例，病理学家还注释了80个WSI的癌区，以训练特征提取程序。
在特征提取器的训练阶段，将癌症区域标注的WSIs划分为大小为512×512pixels的patches，并根据癌症区域的标注得到patch级别的标签。
将这些patches随机分为训练集和测试集，以评估patch级分类器的准确性。淋巴结转移的训练集和测试集的patches数分别为310000和51200。
实现细节
使用PyTorch库在Python中实现了整个流水线，包括实例级特征提取器Tiny-ViT、基于Transformer的完全可训练嵌入式MIL模型Transformer-MIL和基于注意力的互知识蒸馏AMKD。将patches的大小调整为224×224pixels，并使用Adam优化器用于训练Tiny-ViT和Transformer-MIL。为了解决slide分类阶段的类别不平衡问题，计算了类加权交叉熵损失，以避免在模型训练中忽略WSI较少的类。
评价指标
在实验中，使用接受者工作特征曲线下的面积(ROCAUC)以及精确率、召回率和F1分数来评估本发明基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法和其他先进方法的性能。具体而言，这些指标定义为：
Figure BDA0003396688940000101
Figure BDA0003396688940000102
Figure BDA0003396688940000103
其中，TP、FP、TN和FN分别代表真阳性、假阳性、真阴性和假阴性,ROCAUC在比较不同方法的性能时更为全面。
表1：本发明基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法和其他先进方法的比较结果
model ROCAUC Precision Recall F1 score
MAXMIN-Layer 91.18 79.01 82.23 80.49
GCN 92.70 93.60 80.27 86.06
Attention-MIL 94.76 81.02 84.27 82.59
GatedAttention-MIL 94.83 80.50 86.07 83.13
DeepAttnMISL 94.85 84.22 85.94 85.02
RNN 95.60 89.30 82.74 85.89
DSMIL 95.74 85.18 97.71 85.88
Transformer-MIL 97.20 88.05 89.91 88.94
Transformer-MIL(AMKD) 98.42 95.82 92.05 93.64
表1展示了本发明基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法和其他先进方法的比较，其他先进方法包括MAXMIN-Layer，GCN，Attention-MIL，GatedAttention-MIL，DeepAttnMISL，RNN，DSMIL。从表中可以看出，本发明基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法优于其他先进方法。
MAXMIN-Layer是Courtiol等人提出的IS-MIL方法。根据特征提取器生成的实例级预测，选择了几个具有最大和最小预测分数的patches，然后将实例级预测合并输入到全连接网络，得到slide级预测结果。与其他方法相比，MAXMIN-Layer的预测效果最差，ROCAUC仅为91.18％。这是因为MAXMIN-Layer没有使用低维实例级特征向量，并且在学习过程中没有适当注意不同的实例。Zhao等人将实例作为图节点，计算实例之间的欧氏距离作为图中的边缘信息，并通过图卷积网络(GCN)将实例特征嵌入到包的表示中，与使用注意机制学习实例之间的关系相比，该方法通过判断欧几里德距离来确定实例之间的关系是有限且不灵活的。Attention-MIL和GatedAttention-MIL是基于Ilse等人提出的注意力模块和门控注意力模块的ES-MIL，在学习复杂关系时，注意力模块中的非线性tanh(·)不是有效的，因此增加了门控机制来提高学习复杂关系的能力。Yao等人提出的DeepAttnMISL设计了一个孪生MI-FCN网络，该网络提取每个簇的特征向量作为簇的特征向量，然后使用注意模块为簇的特征向量分配权重，该方法利用同一簇特征向量的相似性，将注意力模块的输入从大量的实例级特征向量转换为多个簇级特征向量，使注意力模块发挥更好的作用。与三种模型中使用的注意力模块相比，Transformer-MIL中使用的多头自注意力模块能够更有效地捕捉输入实例中远距离相互依赖的特征，因此在多实例学习任务中比GatedAttention-MIL和Attention-MIL获得更好的效果。尽管RNN也可以捕获长距离相互依赖的特征，但需要根据序列顺序进行计算，并且可以通过多步骤信息积累将两者联系起来。随着距离的增加，有效捕获的概率会降低。Li等人提出的DSMIL首先通过最大池化选择癌变可能性最大的实例作为关键实例，然后通过计算其他实例与关键实例之间的距离来获得分配给该实例的权重，最后结合这两种方法给出了包级预测。除了本发明提出的Transformer-MIL外，DSMIL在所有其他先进方法中表现最好，ROCAUC为95.74％。从表1可以看出，即使没有AMKD，本发明提出的Transformer-MIL仍然达到最佳性能，ROCAUC高达97.20％。使用AMKD后，Transformer-MIL的ROCAUC从原来的增加到98.42％。
此外，为了更全面地进行比较，在图5显示了一些方法的混淆矩阵。可以看出，本发明提出的Transformer-MIL(AMKD)方法明显优于其他方法。
方法分析
关键性实例选择的定性评价
图6显示了基于聚类选择的10个关键性patches(每类一个patch)。K-means聚类模块从多个方面将patch级特征向量划分为10类，从而使所选patches更加多样化。相比之下，根据预测分数选择的patches分布是极端的，不能很好地代表整个WSI，如图7所示。在基于预测的实例选择方法中，为了选择更具鉴别能力的patches，往往需要花费大量资源来训练一个分类精度较高的特征提取器。实验表明，在基于聚类的实例选择方法中，由于过于注重patch的标签，分类精度高的特征提取器不利于选择有鉴别能力的patches。因此绘制了由不同特征提取器提取的patch级特征的聚类结果，如图8所示。ResNet50具有最高的patch级预测精度，提取的patch级特征聚类后主要分为两类，其中一类与癌区非常相似。随着特征抽取器的patch级预测精度的降低，其聚类分布将变得更加均衡。Tiny ViT的patch级预测精度最低，但提取的patch级特征的聚类分布最均衡。对于均衡的聚类分布，基于聚类的实例选择所选择的patches将更加多样化。对于不平衡的聚类分布，基于聚类的实例选择和基于预测的实例选择得到的patches是相似的。综上所述，基于聚类的实例选择不仅可以选择各种具有代表性的patches，而且不依赖于高精度的特征提取器。
轻量级特征提取器Tiny-ViT的效率
表2：特征提取器的消融实验
model FLOPs params Acc_P AUC_S F1score
Tiny-ViT 0.968G 4.972M 86.44 97.20 88.94
ResNet18 1.820G 12.407M 90.44 95.82 90.11
ResNet50 4.112G 26.311M 91.50 95.03 83.11
为了进一步证明轻量级特征提取器Tiny-ViT的有效性，选择了ResNet18、ResNet50和Tiny-ViT作为特征提取器，研究ES-MIL方法的预测结果与特征提取器复杂度之间的关系。通过实验发现，预测精度较高的特征提取器提取的patch级特征在输入Transformer-MIL后，其slide分类精度较差。如表2所示，ResNet50的Acc_P(patch级别分类精度)明显高于ResNet18和Tiny-ViT。然而，当不同特征提取器提取的特征输入到Transformer-MIL中时，发现ResNet50提取的patch级特征的AUC_S(slide级ROCAUC)最差。结合图8所示的三种特征提取器提取的特征聚类结果，与其他特征提取器相比，Tiny-ViT在特征提取过程中极大地保留了patches的原始特征，因此本发明中的Tiny-ViT可以达到更佳的性能效果。
利用相关数据集的有效性
表3：知识蒸馏方法的消融实验
KDmethod ROCAUC Precision Recall F1score
AKD 98.04 94.11 90.93 92.30
AMKD 98.42 95.82 92.05 93.64
PMKD 97.31 93.08 90.42 91.64
除了基于注意力的互知识蒸馏(AMKD)之外，本发明还实现了单向的基于注意力的知识蒸馏(AKD)和基于预测的互知识蒸馏(PMKD)。因为本发明的任务是预测甲状腺乳头状癌的淋巴结转移，在AKD中，只有mod ell从mod elt中获得隐式知识。如表3所示，AKD在ROCAUC上比AMKD低0.40％。虽然本发明的任务是预测淋巴结转移，但在单向知识蒸馏中，mod ell同时学习了甲状腺乳头状癌及其淋巴结转移的两个分类任务，而mod elt只学习了甲状腺乳头状癌的分类，这将削弱两个模型之间的知识相关性，不能更好地提高分类效果。在PMKD中，本发明使模型相互学习最终的预测，以获得隐式知识。在这三种方法中，PMKD对Transformer-MIL的提升是最弱的，因为与从注意力图获得的patch关系知识相比，仅从预测结果获得的知识非常有限。
表4：知识蒸馏数据集的消融实验
KD dataset ROCAUC Precision Recall F1 score
PTC 98.42 95.82 92.05 93.64
PCam 97.98 93.32 91.51 92.32
此外，为了验证“原发肿瘤中癌细胞形态与淋巴结转移相似”这一独特病理关系的作用，本发明选择了公共胃癌组织病理学图像数据集(PCam)和甲状腺乳头状癌数据集(PTC)进行消融实验。如表4所示，使用胃癌数据集辅助训练的模型在ROCAUC上仅增加了0.78\％，而使用甲状腺乳头状癌数据集辅助训练的模型在ROCAUC上增加了1.22\％。可见，这种病理关系在AMKD中起着重要作用。
综上所述，本发明提出了一种基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法，用于检测甲状腺乳头状癌的淋巴结转移。首先，提出了一种新的关键性patch选择策略，即轻量级特征抽取器Tiny-ViT和基于聚类的实例选择策略，可以选择更多样化、更具代表性的patches进行slide的嵌入，大大节省了训练资源。然后，提出了一个基于Transformer的多实例学习模型Transformer-MIL，它是一个完全可训练的ES-MIL模型。最后，提出了基于注意力的互知识蒸馏(AMKD)，使模型能够从另一个相关数据集中学习隐式知识。在评估过程中，本发明的方法在测试集上达到98.42％的ROCAUC，与其他先进的方法相比，本发明的方法表现出优异的性能，这表明本发明可为未来的组织病理学图像分析提供了一种更有效的多实例学习方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法，其特征在于，该方法包括以下步骤：
S1、利用轻量级ViT网络提取WSI中patch的特征；
S2、采用基于聚类的策略选择关键性patches；
S3、构建Transformer-MIL模型，通过多头自注意机制从多个方面学习实例之间的关系，将实例级特征嵌入到包表示中；
S4、结合甲状腺乳头状集和淋巴结转移数据集，通过互知识蒸馏帮助Transformer-MIL模型学习预测淋巴结转移。
2.如权利要求1所述的基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法，其特征在于，步骤S1的具体过程为：
S11、将WSI切割成512×512的非重叠patches，并移除没有组织细胞的patches；
S12、降低ViT特征提取器的深度和维度，得到轻量级的特征提取器Tiny-ViT并对其进行训练；
S13、通过训练好的特征提取器Tiny-ViT将大小为512×512的patches提取为312维的特征向量。
3.如权利要求2所述的基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法，其特征在于，步骤S2的具体过程为：
S21、通过K-means聚类算法将WSI中的所有patch级特征聚类为10个类别；
S22、根据每个类别中的patches数量与patches总数的比例，总共提取200个patch级特征代表slide级特征。
4.如权利要求3所述的基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法，其特征在于，步骤S3的具体过程为：
S31、构建由聚类嵌入模块、Transformer编码器和分类头三部分组成的Transformer-MIL模型；
S32、聚类嵌入模块按照类别重新排列patches；
S33、将重新排列的patches输入到Transformer编码器之前，将所有类别合并在一起；
S34、对于Transformer编码器，使用N个重复的编码器模块将200个实例级特征嵌入到包表示中。
5.如权利要求4所述的基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法，其特征在于，步骤S34中每个所述编码器模块由一个多头自注意力模块MHA、一个具有残差连接的前馈网络FFN和两层归一化LN层组成，即:
Block(Xi)＝A+FFN(LN(A))
A＝Xi-1+MHA(LN(Xi-1))
其中，Xi是第i个编码器块后的特征映射，X0是聚类嵌入后的200个实例级特征向量，将一个可学习模块嵌入用作分类标记；所述编码器模块中的多头自注意力模块通过多次使用key-value attention来实现嵌入，其定义如下：
MHA(Q，K，V)＝Concat(Head1，…，HeadM)Wo
Figure FDA0003396688930000021
Figure FDA0003396688930000022
其中，映射是参数矩阵
Figure FDA0003396688930000023
Figure FDA0003396688930000024
dmodel是Transformer-MIL模型的特征嵌入维度；Q、K和V是一组查询、键和值的矩阵，M是注意头的数量，dk是键和查询的维度，dV是值的维度；在获得包的表示之后，通过由两个隐藏层组成的多层感知机MLP将其映射到最终预测。
6.如权利要求5所述的基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法，其特征在于，步骤S4的具体过程为：
S41、将两个具有相同结构的Transformer-MIL模型分别在甲状腺乳头状癌数据集和甲状腺乳头状癌的淋巴结转移数据集上训练，其中每个Transformer-MIL模型只接受一类数据集的标签的直接监督；
S42、在训练过程中，每个网络不仅显式地从当前数据集中获取知识，而且隐式地从另一个数据集中吸收知识；
S43、通过步骤S42中相互学习模式，Transformer-MIL模型以显式和隐式的方式探索包的嵌入；
S44、将实例级特征嵌入为包的表示后，通过由两个隐藏层组成的多层感知机MLP预测淋巴结转移。
7.如权利要求6所述的基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法，其特征在于，步骤S43中对于显式学习，通过计算模型生成的预测和输入标签的类加权交叉熵损失获得更新梯度，即：
Lt→t＝-β0(1-yt)log(1-ptt)+β1ytlog(ptt)
Ll→l＝β0(1-yl)log(1-pll)+β1yllog(pll)
其中，yt和yl分别是甲状腺乳头状癌数据集和淋巴结转移数据集的标签，ptt是输入甲状腺乳头状癌数据集modelt的预测概率，pll是输入淋巴结转移数据集modell的预测概率；在甲状腺乳头状癌数据集和淋巴结转移数据集中，标签为0的数据多于标签为1的数据，将类别权重[β0,β1]添加到损失计算中。
8.如权利要求7所述的基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法，其特征在于，步骤S43中对于隐式学习，仅对Transformer-MIL模型的前两个编码器块应用知识蒸馏，即：
Figure FDA0003396688930000031
Figure FDA0003396688930000032
其中，
Figure FDA0003396688930000033
是由modelt中的第i个编码器块对输入的淋巴结转移数据集生成的注意力图，
Figure FDA0003396688930000034
是由modell中的第i个编码器块对输入的淋巴结转移数据集生成的注意力图；从两个模型的注意图中计算均方误差MSE损失，从淋巴结转移数据集中得到modelt学习的知识Ll→t，Lt→l同理；
训练整个框架的总目标为：
Lt＝(1-α)Lt→t+αLl→t
Ll＝(1-α)Ll→l+αLt→l
其中，α是蒸馏损失的权重，在训练过程中，通过计算Lt和Ll同时更新Lt→l和modell。
CN202111483944.5A 2021-12-07 2021-12-07 一种基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法 Pending CN114188020A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111483944.5A CN114188020A (zh) 2021-12-07 2021-12-07 一种基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111483944.5A CN114188020A (zh) 2021-12-07 2021-12-07 一种基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法

Publications (1)

Publication Number Publication Date
CN114188020A true CN114188020A (zh) 2022-03-15

Family

ID=80603611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111483944.5A Pending CN114188020A (zh) 2021-12-07 2021-12-07 一种基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法

Country Status (1)

Country Link
CN (1) CN114188020A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419619A (zh) * 2022-03-29 2022-04-29 北京小蝇科技有限责任公司 红细胞检测分类方法、装置、计算机存储介质及电子设备
CN114999637A (zh) * 2022-07-18 2022-09-02 华东交通大学 多角度编码与嵌入式互学习的病理图像诊断方法与系统
CN115018852A (zh) * 2022-08-10 2022-09-06 四川大学 一种基于半监督学习的腹部淋巴结检测方法及装置
CN115082800A (zh) * 2022-07-21 2022-09-20 阿里巴巴达摩院(杭州)科技有限公司 图像分割方法
CN115295154A (zh) * 2022-10-08 2022-11-04 北京肿瘤医院(北京大学肿瘤医院) 肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质
CN116485792A (zh) * 2023-06-16 2023-07-25 中南大学 组织病理学亚型预测方法及成像方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419619A (zh) * 2022-03-29 2022-04-29 北京小蝇科技有限责任公司 红细胞检测分类方法、装置、计算机存储介质及电子设备
CN114419619B (zh) * 2022-03-29 2022-06-10 北京小蝇科技有限责任公司 红细胞检测分类方法、装置、计算机存储介质及电子设备
CN114999637A (zh) * 2022-07-18 2022-09-02 华东交通大学 多角度编码与嵌入式互学习的病理图像诊断方法与系统
CN115082800A (zh) * 2022-07-21 2022-09-20 阿里巴巴达摩院(杭州)科技有限公司 图像分割方法
CN115082800B (zh) * 2022-07-21 2022-11-15 阿里巴巴达摩院(杭州)科技有限公司 图像分割方法
CN115018852A (zh) * 2022-08-10 2022-09-06 四川大学 一种基于半监督学习的腹部淋巴结检测方法及装置
CN115018852B (zh) * 2022-08-10 2022-12-06 四川大学 一种基于半监督学习的腹部淋巴结检测方法及装置
CN115295154A (zh) * 2022-10-08 2022-11-04 北京肿瘤医院(北京大学肿瘤医院) 肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质
CN115295154B (zh) * 2022-10-08 2023-02-03 北京肿瘤医院(北京大学肿瘤医院) 肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质
CN116485792A (zh) * 2023-06-16 2023-07-25 中南大学 组织病理学亚型预测方法及成像方法
CN116485792B (zh) * 2023-06-16 2023-09-15 中南大学 组织病理学亚型预测方法及成像方法

Similar Documents

Publication Publication Date Title
CN114188020A (zh) 一种基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法
CN107092918B (zh) 一种基于语义特征和有监督哈希的图像检索方法
CN110717526A (zh) 一种基于图卷积网络的无监督迁移学习方法
CN108733976B (zh) 基于融合生物与拓扑特征的关键蛋白质识别方法
CN106203490A (zh) 一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法
CN110766042B (zh) 一种基于最大相关最小冗余的多标记特征选择方法及装置
TWI525574B (zh) 協作性人臉標註方法以及協作性人臉標註系統
CN106250925B (zh) 一种基于改进的典型相关分析的零样本视频分类方法
CN111932540B (zh) 一种针对新冠肺炎临床分型的ct影像对比特征学习方法
JP6892606B2 (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
CN113065409A (zh) 一种基于摄像分头布差异对齐约束的无监督行人重识别方法
CN115309930A (zh) 一种基于语义鉴别的跨模态检索方法及系统
CN110188864B (zh) 基于分布表示和分布度量的小样本学习方法
CN107688822B (zh) 基于深度学习的新增类别识别方法
CN117409279A (zh) 基于数据隐私保护的多模态信息融合关键方法
CN116955650A (zh) 基于小样本知识图谱补全的信息检索优化方法及其系统
CN116229510A (zh) 一种无监督跨模态行人重识别方法
CN116227624A (zh) 面向异构模型的联邦知识蒸馏方法和系统
CN111241326A (zh) 基于注意力金字塔图网络的图像视觉关系指代定位方法
CN111259938A (zh) 基于流形学习和梯度提升模型的图片偏多标签分类方法
CN116029394A (zh) 自适应文本情感识别模型训练方法、电子设备及存储介质
CN116306969A (zh) 基于自监督学习的联邦学习方法和系统
CN109409415A (zh) 一种基于全局信息保持的lle算法
CN115578568A (zh) 一种小规模可靠数据集驱动的噪声修正算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination