CN116485792A - 组织病理学亚型预测方法及成像方法 - Google Patents
组织病理学亚型预测方法及成像方法 Download PDFInfo
- Publication number
- CN116485792A CN116485792A CN202310717200.8A CN202310717200A CN116485792A CN 116485792 A CN116485792 A CN 116485792A CN 202310717200 A CN202310717200 A CN 202310717200A CN 116485792 A CN116485792 A CN 116485792A
- Authority
- CN
- China
- Prior art keywords
- subtype
- histopathological
- attention
- self
- pathological
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000003384 imaging method Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000001575 pathological effect Effects 0.000 claims description 71
- 230000007246 mechanism Effects 0.000 claims description 40
- 230000004927 fusion Effects 0.000 claims description 20
- 230000007170 pathology Effects 0.000 claims description 16
- 238000012512 characterization method Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 14
- 238000005516 engineering process Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 235000015392 Sesbania grandiflora Nutrition 0.000 claims description 3
- 244000275021 Sesbania grandiflora Species 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 210000001519 tissue Anatomy 0.000 description 14
- 230000000694 effects Effects 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010187 selection method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007430 reference method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 108010077544 Chromatin Proteins 0.000 description 1
- 239000013255 MILs Substances 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 210000003483 chromatin Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Public Health (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种组织病理学亚型预测方法，包括获取现有的源组织病理亚型图像数据集并处理得到组织病理亚型示例嵌入数据集；构建组织病理学亚型预测初始模型并训练得到组织病理学亚型预测模型；采用组织病理学亚型预测模型进行实际的组织病理学亚型的预测。本发明还公开了一种包括所述组织病理学亚型预测方法的成像方法。本发明将组织病理学亚型预测制定为细粒度表示学习，通过选择具有自注意力学习范式的代表性示例设计以学习组织病理学亚型预测中的示例级细粒度表示，再基于多示例特征解耦实现模型的精确训练；因此本发明不仅能够实现组织病理学亚型的预测，而且可靠性高，精确性好。
Description
技术领域
本发明属于图像数据处理领域，具体涉及一种组织病理学亚型预测方法及成像方法。
背景技术
随着经济技术的发展和人们生活水平的提高，人们对于健康的关注也越来越多。组织病理学亚型预测旨在识别与整个全切片组织病理图像（WSI）中的病理组织相关的不同子类别，其在临床以及实验室研究中，均具有重要的意义。因此，对组织病理学亚型的预测分类就显得尤为重要。
目前，现有的组织病理学亚型预测方案，虽然取得了一定的应用，但是其依旧存在如下问题：与现有的全切片组织病理图像的预测工作不同，亚型预测的任务是一个细粒度更高的任务，亚型预测过程中需要组织病理亚型图像的示例级表示，以实现更加精确的亚型预测；但是现有的预测方案的精确性并无法达到较高的程度；然后，不同组织的亚型间的形状和染色质纹理的差异较小，其类间和类内差异均较小，这使得现有的亚型预测方案的精确性较差；最后，现有的预测方案一般采用编码器对组织病理学图像的所有区域进行统一特征提取，但是由于重要的组织病理学区域分布存在杂乱无章以及形态及数量变化的不稳定，采用编码器进行特征提取的方案会使得模型的预测性能下降，从而进一步降低了预测的精度和结果的可靠性。
发明内容
本发明的目的之一在于提供一种可靠性高且精确性好的组织病理学亚型预测方法。
本发明的目的之二在于提供一种包括了所述组织病理学亚型预测方法的成像方法。
本发明提供的这种组织病理学亚型预测方法，包括如下步骤：
S1. 获取现有的源组织病理亚型图像数据集；
S2. 对步骤S1获取的数据集进行预处理，得到组织病理亚型示例嵌入数据集；
S3. 基于多示例选择、自注意力机制和特征融合技术，构建组织病理学亚型预测初始模型；模型基于自注意力机制获取第一病理亚型特征，并基于自注意力机制和多示例选择技术获取第二病理亚型特征，最后基于特征融合技术将第一病理亚型特征和第二病理亚型特征进行融合得到第三病理亚型特征，并对第三病理亚型特征进行判定得到预测值；
S4. 基于多示例特征解耦，采用步骤S2得到的数据集对步骤S3构建的组织病理学亚型预测初始模型进行训练，得到组织病理学亚型预测模型；
S5. 采用步骤S4得到的组织病理学亚型预测模型，进行实际的组织病理学亚型的预测。
所述的步骤S2，具体包括如下步骤：
对步骤S1获取的数据集中的源图像，进行切片划分和嵌入化，得到N个组织病理亚型切片嵌入和1个包表征嵌入；
将N个组织病理亚型切片嵌入作为示例嵌入，将1个包表征嵌入作为全局组织病理亚型表征，从而得到全部的组织病理亚型示例嵌入数据集。
所述的步骤S3，具体包括如下内容：
构建的组织病理学亚型预测初始模型包括示例选择Transformer模块、选择性自注意力模块和特征融合模块；
示例选择Transformer模块基于自注意力机制构建，用于对输入的不同组织病理亚型示例嵌入的全局长距离依赖进行建模，从而得到第一病理亚型特征；
选择性自注意力模块基于自注意力机制和多示例选择构建，用于对输入的第一病理亚型特征进行示例级细粒度特征的提取，从而得到第二病理亚型特征；
特征融合模块基于输入的第一病理亚型特征和第二病理亚型特征，融合细粒度局部特征和全局信息，并得到第三病理亚型特征；
将得到的第三病理亚型特征输入到多类别判定器中，得到最终的预测值。
所述的选择性自注意力模块，具体包括如下内容：
对输入的第一病理亚型特征，计算得到对应的查询向量Q、键向量K和值向量V，然后计算得到自注意力矩阵A为，其中/>为归一化指数函数，d为自注意力头的维度；
注意力引导示例评分机制：采用自适应权重，通过自注意力机制识别带变形示例，并表示为，其中/>为/>的矩阵，用于表示输入示例对于输出袋级表示的重要性；/>为查询向量Q的第一行元素；
计算所有不同头的累积注意力分数进行示例评分：示例i的显着性得分的计算公式为/>，式中N为示例总数量，/>为矩阵/>的第i个元素，/>为全部示例的显着性得分且/>，M为每个SiT块中自注意力头的数量，/>为集合/>中的第j个元素，/>为多头自注意力的/>集合；
采用加权自适应示例选择机制，为每个SiT块对应的选择性自注意力分配权重因子为/>，其中ii表示SiT块的第ii个阶段，L为SiT块的数量；
示例选择策略：示例选择策略为分层执行模式，通过对应的示例得分对所有示例进行排序，并构建示例选择的阈值，然后通过自注意掩膜矩阵逐步丢弃或保留当前示例；示例选择策略表示为： 式中/>用于表示不同示例的显着性分数在所有示例中的排名；/>为对数组中的元素进行从小到大排序，并返回相应序列元素的数组下标；S为示例的显着性得分；/>为第ii个阶段信息示例选择的阈值；NN为组织病理亚型切片嵌入的个数；/>为第kk阶段、第ii行、第jj列的自注意力掩膜值；/>为按列检索的第ii个示例的显着性分数在所有示例中的排名；/>为按行检索的第jj个示例的显着性分数在所有示例中的排名；/>为第kk个阶段显着示例选择的阈值；
计算得到第二病理亚型特征为/>，A为自注意力矩阵，/>为自注意力掩膜矩阵。
所述的特征融合模块，具体包括如下内容：
采用如下算式进行融合，从而得到第三病理亚型特征Z：式中A为自注意力矩阵；/>为第二病理亚型特征；V为选择性自注意力模块根据第一病理亚型特征计算得到的值向量。
步骤S4所述的多示例特征解耦，具体包括如下步骤：
测量单个示例级特征和包表示之间的互信息，以将对应的细粒度描述编码到包表示中；在SiT块的不同阶段，通过示例到包的交互来减少包表示和示例级特征之间的相关性；
利用操作将输入示例的特征转换为示例嵌入：输入特征由示例特征和包特征组成；所述的操作包括转置、平均池化和展平；
采用示例特征解耦，将判别性示例级特征集成到细粒度包表示中；将示例级特征作为SiT块之前的输入示例级特征；z表示潜在包表示，作为下一个SiT块的输入示例级特征/>；采用加权机制计算不同SiT块的互信息上界估计；
对于样本对，/>为输入示例级特征，/>为第iii个SiT块学习的潜在包表示；对于训练数据集，给定输入示例级特征/>，条件概率分布/>由参数为/>的变分分布/>近似；变分分布/>为高斯分布参数化用于神经网络的袋子表示，形式上表示为/>，其中/>为全连接神经网络的第一个线性组合，/>为全连接神经网络的第二个线性组合；
包表征估计机制：通过两个全连接神经网络将输入的示例级特征x转换为两个不同的分布，然后在示例到包的交互中构建正样本和负样本；示例特征解耦的估计表示为 />式中为第mm个阶段的示例特征解耦；/>为样本批量大小；/>为所有负对的概率；/>为随机抽样负对的无偏估计；/>为是从一组正整数集合/>中的均匀采样；
最后，总体互信息估计为/>，其中/>为选择性自注意力分配权重因子，/>为SiT块的阶段总数。
步骤S4所述的训练，具体包括如下步骤：
基于模型的预测值与真实结果，计算得到第一损失：式中N为组织病理亚型切片嵌入的个数；C为组织病理学类别的数量；/>为真实标签；/>为包表征的预测结果；
采用如下算式计算得到最终的信息瓶颈损失：/>式中/>为权重值；/>为总体互信息；
基于得到的信息瓶颈损失，对模型进行训练。
本发明还公开了一种包括所述组织病理学亚型预测方法的成像方法，还包括如下步骤：
S6. 根据步骤S5得到的实际的组织病理学亚型的预测结果，将预测结果在实际的组织病理学图像上进行二次成像，从而得到带有组织病理学亚型预测结果的组织病理学图像。
本发明提供的这种组织病理学亚型预测方法及成像方法，将组织病理学亚型预测制定为细粒度表示学习，通过选择具有自注意力学习范式的代表性示例设计以学习组织病理学亚型预测中的示例级细粒度表示，再基于多示例特征解耦实现模型的精确训练；因此本发明不仅能够实现组织病理学亚型的预测，而且可靠性高，精确性好。
附图说明
图1为本发明预测方法的方法流程示意图。
图2为本发明预测方法与现有的ViT（基准）方法、固定选择比率为80%的方法的预测效果对比示意图。
图3为本发明预测方法与现有的固定选择比率为60%的方法、固定选择比率为40%的方法的预测效果对比示意图。
图4为本发明预测方法与现有的固定选择比率为20%的方法、平均选择方法的预测效果对比示意图。
图5为本发明成像方法的方法流程示意图。
具体实施方式
如图1所示为本发明预测方法的方法流程示意图：本发明提供的这种组织病理学亚型预测方法，包括如下步骤：
S1. 获取现有的源组织病理亚型图像数据集；
S2. 对步骤S1获取的数据集进行预处理，得到组织病理亚型示例嵌入数据集；具体包括如下步骤：
对步骤S1获取的数据集中的源图像，进行切片划分和嵌入化，得到N个组织病理亚型切片嵌入和1个包表征嵌入；
将N个组织病理亚型切片嵌入作为示例嵌入，将1个包表征嵌入作为全局组织病理亚型表征，从而得到全部的组织病理亚型示例嵌入数据集；
S3. 基于多示例选择、自注意力机制和特征融合技术，构建组织病理学亚型预测初始模型；模型基于自注意力机制获取第一病理亚型特征，并基于自注意力机制和多示例选择技术获取第二病理亚型特征，最后基于特征融合技术将第一病理亚型特征和第二病理亚型特征进行融合得到第三病理亚型特征，并对第三病理亚型特征进行判定得到预测值；具体包括如下内容：
构建的组织病理学亚型预测初始模型包括示例选择Transformer模块、选择性自注意力模块和特征融合模块；
示例选择Transformer模块基于自注意力机制构建，用于对输入的不同组织病理亚型示例嵌入的全局长距离依赖进行建模，从而得到第一病理亚型特征；
选择性自注意力模块基于自注意力机制和多示例选择构建，用于对输入的第一病理亚型特征进行示例级细粒度特征的提取，从而得到第二病理亚型特征；
特征融合模块基于输入的第一病理亚型特征和第二病理亚型特征，融合细粒度局部特征和全局信息，并得到第三病理亚型特征；
将得到的第三病理亚型特征输入到多类别判定器中，得到最终的预测值；
具体实施时，选择性自注意力模块，具体包括如下内容：
对输入的第一病理亚型特征，计算得到对应的查询向量Q、键向量K和值向量V，然后计算得到自注意力矩阵A为，其中/>为归一化指数函数，d为自注意力头的维度；由于Softmax操作的原理，矩阵A中的每行元素的和为1，A的每一行都包含输入示例的注意力权重，注意力权重的值表示不同示例的贡献，其中，/>为包级表征的注意力权重，它与其他示例的贡献密切相关；
注意力引导示例评分机制：为赋予每个示例对包表示的不同贡献；采用自适应权重，通过自注意力机制识别带变形示例，并表示为，其中/>为的矩阵，用于表示输入示例对于输出袋级表示的重要性；/>为查询向量Q的第一行元素，即包表征；
为共同关注来自不同位置的不同表示子空间的信息，通过考虑多个注意力头来定义多头自注意力。传统自注意力对每个查询Q进行相等处理，以计算全局注意力分数；图像的每个局部位置都类似地与所有位置交互；为识别细粒度的组织病理学表征，挖掘具有鉴别力的局部信息以促进模型学习细微特征；为此，计算所有不同头的累积注意力分数进行示例评分：示例i的显着性得分的计算所有不同头的累积注意力分数进行示例评分：示例i的显着性得分/>的计算公式为/>，式中N为示例总数量，/>为矩阵/>的第i个元素，/>为全部示例的显着性得分且/>，M为每个SiT块中自注意力头的数量，为集合/>中的第j个元素，/>为多头自注意力的/>集合；
自适应地从多到少地选择具有高显着的代表性示例，并在全局信息中重新加权它们以进行准确的细粒度组织病理学亚型预测；由于Softmax 操作，在早期阶段出现的许多具有相似键的示例将降低它们的注意力权重；考虑到这些示例对后期阶段很有用，尤其是在特征辨别力较差的早期阶段；为合理选择不同阶段的代表性示例，采用加权自适应示例选择机制，为每个SiT块对应的选择性自注意力分配权重因子为/>，其中ii表示SiT块的第ii个阶段，L为SiT块的数量；
示例选择策略：为自适应地提取信息示例，一种直接的方法是选择显着性分数 S超过所有示例 S 平均值的关键示例，并屏蔽较低的示例； 然而，实验表明，这种平均方法会在早期屏蔽掉大量注意力得分较低的示例，导致后期放弃那些潜在的信息示例阶段和实现不利的性能；为解决该问题，示例选择策略为分层执行模式，通过对应的示例得分对所有示例进行排序，并构建示例选择的阈值，然后通过自注意掩膜矩阵逐步丢弃或保留当前示例；示例选择策略表示为： 式中/>用于表示不同示例的显着性分数在所有示例中的排名；/>为对数组中的元素进行从小到大排序，并返回相应序列元素的数组下标；S为示例的显着性得分；/>为第ii个阶段信息示例选择的阈值；NN为组织病理亚型切片嵌入的个数；/>为第kk阶段、第ii行、第jj列的自注意力掩膜值；/>为按列检索的第ii个示例的显着性分数在所有示例中的排名；/>为按行检索的第jj个示例的显着性分数在所有示例中的排名；/>为第kk个阶段显着示例选择的阈值；
计算得到第二病理亚型特征为/>，A为自注意力矩阵，/>为自注意力掩膜矩阵。
特征融合模块，具体包括如下内容：
采用如下算式进行融合，从而得到第三病理亚型特征Z：式中A为自注意力矩阵；/>为第二病理亚型特征；V为选择性自注意力模块根据第一病理亚型特征计算得到的值向量；
S4. 基于多示例特征解耦，采用步骤S2得到的数据集对步骤S3构建的组织病理学亚型预测初始模型进行训练，得到组织病理学亚型预测模型；
具体实施时，多示例特征解耦，具体包括如下步骤：
通过对示例到袋子的交互与所选示例和用于组织病理学亚型预测的袋子级先验知识进行建模来学习细粒度表示；多示例特征解耦模块以特征解耦的思想逐步将示例级特征集成到细粒度表示中，通过互信息上界估计（即相互信息最小化）；测量单个示例级特征和包表示之间的互信息，以将对应的细粒度描述编码到包表示中；在SiT块的不同阶段，通过示例到包的交互来减少包表示和示例级特征之间的相关性；
利用示例特征解耦通过有效的互信息最小化将嘈杂或不重要的示例级特征与细粒度包表示分离； 通常，由于存在与任务无关的示例特征，传统的决策效率低下，这阻碍了有效的示例到包交互以进行判别表示；因此，示例特征解耦通过互信息最小化减少了输入空间的任务无关性和潜在特征的判别信息之间的内在关系；为了更好地学习和拟合输入空间和潜在空间之间的特征分布，利用操作将输入示例的特征转换为示例嵌入：输入特征由示例特征和包特征组成；所述的操作包括转置、平均池化和展平；
采用示例特征解耦，将判别性示例级特征集成到细粒度包表示中；将示例级特征作为SiT块之前的输入示例级特征；z表示潜在包表示，作为下一个SiT块的输入示例级特征/>；采用加权机制计算不同SiT块的互信息上界估计；
对于样本对，/>为输入示例级特征，/>为第iii个SiT块学习的潜在包表示；对于训练数据集，给定输入示例级特征/>，条件概率分布/>由参数为/>的变分分布/>近似；变分分布/>为高斯分布参数化用于神经网络的袋子表示，形式上表示为/>，其中/>为全连接神经网络的第一个线性组合，/>为全连接神经网络的第二个线性组合；
包表征估计机制：通过两个全连接神经网络将输入的示例级特征x转换为两个不同的分布，然后在示例到包的交互中构建正样本和负样本；示例特征解耦的估计表示为/>式中为第mm个阶段的示例特征解耦；/>为样本批量大小；/>为所有负对的概率；/>为随机抽样负对的无偏估计；/>为是从一组正整数集合/>中的均匀采样；
最后，总体互信息估计为/>，其中/>为选择性自注意力分配权重因子，/>为SiT块的阶段总数；
训练过程，主要包括如下步骤：
基于模型的预测值与真实结果，计算得到第一损失：式中N为组织病理亚型切片嵌入的个数；C为组织病理学类别的数量；/>为真实标签；/>为包表征的预测结果；
利用信息瓶颈原理，限制组织病理亚型特征的信息流向，迫使模型定位到具有高判别性的信息，即信息瓶颈试图找到第三病理亚型特征输入相对于第三病理亚型特征输出的充分表示，使用来自第三病理亚型特征输入的最少信息，具体目标为，其中/>为真实标签空间Y和编码后的隐空间Z的互信息，/>为拉格朗日乘数，/>为输入特征空间X和编码后的隐空间Z的互信息；
采用如下算式计算得到最终的信息瓶颈损失：/>式中/>为权重值；/>为总体互信息；
基于得到的信息瓶颈损失，对模型进行训练；
S5. 采用步骤S4得到的组织病理学亚型预测模型，进行实际的组织病理学亚型的预测。
以下结合一个实施例，对本发明的预测方法进行进一步说明：
本发明方法在三个组织病理学亚型临床公开数据集，即NCT-CRC-HE数据集、BreaKHis数据集、BRACS数据集上做实验，使用框架为pytorch1.8.1，评估指标为常用的组织病理学亚型分类评估指标准确率（Accuracy）、曲线面积（AUC）、F1值、召回率（Recall）和精确度（Precision）。
将本发明方法与现有方法在NCT-CRC-HE数据集上进行比较，得到的比较数据如表1所示：
表1 本发明方法与现有方法在NCT-CRC-HE数据集的比较数据示意表
表1中，本发明提出的方法在 NCT-CRC-HE 数据集的所有评估指标上均表现最佳，本发明方法提供了准确的组织病理学亚型预测；相较于次优方法，本发明方法在评估指标准确率（ACC）上提高0.9%，在曲线面积（AUC）上提高0.3%，在F1值上提高1.0%，在召回率（REC）上提高0.8%，在精确度（PRE）上提高0.3%。这是因为本发明采用的选择性自注意力方案能逐渐挖掘出细粒度病理亚型特征，并利用多示例特征解耦构建信息瓶颈引导模型学习高判别型病理亚型特征，摒弃非必要的冗余信息，全面提升模型的准确性、可解释性以及鲁棒性。
将本发明方法与现有方法在BreaKHis数据集上进行比较，得到的比较数据如表2所示：
表2 本发明方法与现有方法在BreaKHis数据集的比较数据示意表
表2中，本发明方法在BreaKHis数据集的所有评估指标上均表现最佳，提供了准确的组织病理学亚型预测；相较于次优方法，本发明方法在评估指标准确率（ACC）上提高0.5%，在曲线面积（AUC）上提高0.1%，在F1值上提高0.7%，在召回率（REC）上提高0.1%，在精确度（PRE）上提高1.6%。这是因为本发明分别提出的选择性自注意力机制能逐渐挖掘出细粒度病理亚型特征，并利用提出的多示例特征解耦机制构建信息瓶颈引导模型学习高判别型病理亚型特征，摒弃非必要的冗余信息，全面提升模型的准确性、可解释性以及鲁棒性。
将本发明方法与现有方法在BRACS数据集上进行比较，得到的比较数据如表3所示：
表3 本发明方法与现有方法在BRACS数据集的比较数据示意表
表3中，本发明方法在BRACS数据集的所有评估指标上均表现最佳，提供了准确的组织病理学亚型预测；相较于次优方法，本发明方法在评估指标准确率（Accuracy）上提高1.3%，在曲线面积（AUC）上提高1.0%，在F1值上提高1.7%，在召回率（Recall）上提高1.1%，在精确度（Precision）上提高2.7%。这是因为本发明提出的选择性自注意力机制能自适应地保留与细粒度组织病理学区域相关的示例区域，并利用本发明提出的多示例特征解耦机制构建信息瓶颈引导模型学习高判别型病理亚型特征，摒弃非必要的冗余信息，全面提升模型的准确性、可解释性以及鲁棒性。
在表1~表3中：
在基于CNN的方法中，AB-MIL方法为提出结合注意力机制的多示例学习用于组织病理学亚型预测；Gated-AB-MIL方法为提出结合门机制注意力的多示例学习方法用于组织病理学亚型预测；RNN-MIL方法为提出利用CNN提取示例级特征，并构造RNN聚合模块对每个示例表征进行综合诊断的多示例学习方法用于组织病理学亚型预测；CLAM方法为提出聚类约束注意力多示例学习，其使用基于注意力的学习来识别具有高诊断价值的子区域，以准确地对整个组织病理学亚型预测，并在已识别的代表性区域上进行示例级聚类，以约束和改进特征空间；DS-MIL方法为提出利用自监督对比学习和多尺度机制的双流向多示例学习方法用于组织病理学亚型预测；DTFD-MIL方法为提出双层特征蒸馏的多示例学习方法用于组织病理学亚型预测；FRMIL方法为提出特征重校准的多示例学习方法用于组织病理学亚型预测；
在无CNN的基于Token的方法中，Baseline（ViT）方法为传统的视觉Transformer模型方法，并作为基准方法；MIL-VT方法为同时提取包级别token和示例级别token的信息进行组织病理学亚型预测；
在带预训练CNN的基于Token的方法中，Baseline（ViT）方法为将CNN和视觉Transformer模型相结合的方法，并作为基准方法；TransMIL方法为基于CNN和Transformer模型设计出一种关联多示例学习方法用于组织病理学亚型预测；
如图2~图4所示为本发明预测方法与现有预测方法的预测效果示意图，其中图2为本发明预测方法与现有的ViT（基准）方法、固定选择比率为80%（Top-80%）的方法的预测效果对比示意图，图3为本发明预测方法与现有的固定选择比率为60%（Top-60%）的方法、固定选择比率为40%（Top-40%）的方法的预测效果对比示意图，图4为本发明预测方法与现有的固定选择比率为20%（Top-20%）的方法、平均选择方法（Average）的预测效果对比示意图。
通过 Grad-CAM ，在简单和复杂样本图像上进行类激活图的可视化，从图中可以看出，其他示例选择方法或多或少地部分忽略或错误分类了图像中的显着区域，尤其是最后一行包含大量具有相似纹理的亚型的图像。而归功于选择性自注意机制与多示例特征解耦机制，本发明方法能够有效地识别并覆盖图像中显着性最大的病理区域，其中包含简单信息区域（第一行和第三行）或复杂信息区域（第二行和最后一行），其中第二列用虚线多边形框标记出的病理区域代表重要的组织病理学区域。
如图5所示为本发明成像方法的方法流程示意图：本发明公开的这种包括所述组织病理学亚型预测方法的成像方法，包括如下步骤：
S1. 获取现有的源组织病理亚型图像数据集；
S2. 对步骤S1获取的数据集进行预处理，得到组织病理亚型示例嵌入数据集；
S3. 基于多示例选择、自注意力机制和特征融合技术，构建组织病理学亚型预测初始模型；模型基于自注意力机制获取第一病理亚型特征，并基于自注意力机制和多示例选择技术获取第二病理亚型特征，最后基于特征融合技术将第一病理亚型特征和第二病理亚型特征进行融合得到第三病理亚型特征，并对第三病理亚型特征进行判定得到预测值；
S4. 基于多示例特征解耦，采用步骤S2得到的数据集对步骤S3构建的组织病理学亚型预测初始模型进行训练，得到组织病理学亚型预测模型；
S5. 采用步骤S4得到的组织病理学亚型预测模型，进行实际的组织病理学亚型的预测；
S6. 根据步骤S5得到的实际的组织病理学亚型的预测结果，将预测结果在实际的组织病理学图像上进行二次成像，从而得到带有组织病理学亚型预测结果的组织病理学图像。
本发明提供的这种成像方法，可以直接应用到现有的组织病理学图像的机器设备中，或者直接应用于一台电脑上；具体应用时，采用现有的方案获取实际的组织病理学图像，然后将实际的组织病理学图像输入到引用了该成像方法的设备或电脑上，此时该设备或电脑则可以根据该成像方法得到组织病理学图亚型的预测结果，并将预测结果通过不同类型的表示（比如颜色）在组织病理学图像上进行显示，然后进行二次成像并输出；此时，输出的图像即为带有组织病理学亚型预测结果的图像，从而极大的方便临床医务人员和实验室的实验人员。
Claims (8)
1.一种组织病理学亚型预测方法，其特征在于包括如下步骤：
S1. 获取现有的源组织病理亚型图像数据集；
S2. 对步骤S1获取的数据集进行预处理，得到组织病理亚型示例嵌入数据集；
S3. 基于多示例选择、自注意力机制和特征融合技术，构建组织病理学亚型预测初始模型；模型基于自注意力机制获取第一病理亚型特征，并基于自注意力机制和多示例选择技术获取第二病理亚型特征，最后基于特征融合技术将第一病理亚型特征和第二病理亚型特征进行融合得到第三病理亚型特征，并对第三病理亚型特征进行判定得到预测值；
S4. 基于多示例特征解耦，采用步骤S2得到的数据集对步骤S3构建的组织病理学亚型预测初始模型进行训练，得到组织病理学亚型预测模型；
S5. 采用步骤S4得到的组织病理学亚型预测模型，进行实际的组织病理学亚型的预测。
2.根据权利要求1所述的组织病理学亚型预测方法，其特征在于所述的步骤S2，具体包括如下步骤：
对步骤S1获取的数据集中的源图像，进行切片划分和嵌入化，得到N个组织病理亚型切片嵌入和1个包表征嵌入；
将N个组织病理亚型切片嵌入作为示例嵌入，将1个包表征嵌入作为全局组织病理亚型表征，从而得到全部的组织病理亚型示例嵌入数据集。
3.根据权利要求2所述的组织病理学亚型预测方法，其特征在于所述的步骤S3，具体包括如下内容：
构建的组织病理学亚型预测初始模型包括示例选择Transformer模块、选择性自注意力模块和特征融合模块；
示例选择Transformer模块基于自注意力机制构建，用于对输入的不同组织病理亚型示例嵌入的全局长距离依赖进行建模，从而得到第一病理亚型特征；
选择性自注意力模块基于自注意力机制和多示例选择构建，用于对输入的第一病理亚型特征进行示例级细粒度特征的提取，从而得到第二病理亚型特征；
特征融合模块基于输入的第一病理亚型特征和第二病理亚型特征，融合细粒度局部特征和全局信息，并得到第三病理亚型特征；
将得到的第三病理亚型特征输入到多类别判定器中，得到最终的预测值。
4.根据权利要求3所述的组织病理学亚型预测方法，其特征在于所述的选择性自注意力模块，具体包括如下内容：
对输入的第一病理亚型特征，计算得到对应的查询向量Q、键向量K和值向量V，然后计算得到自注意力矩阵A为，其中/>为归一化指数函数，d为自注意力头的维度；
注意力引导示例评分机制：采用自适应权重，通过自注意力机制识别带变形示例，并表示为，其中/>为/>的矩阵，用于表示输入示例对于输出袋级表示的重要性；/>为查询向量Q的第一行元素；
计算所有不同头的累积注意力分数进行示例评分：示例i的显着性得分的计算公式为/>，式中N为示例总数量，/>为矩阵/>的第i个元素，/>为全部示例的显着性得分且/>，M为每个SiT块中自注意力头的数量，/>为集合/>中的第j个元素，/>为多头自注意力的/>集合；
采用加权自适应示例选择机制，为每个SiT块对应的选择性自注意力分配权重因子为/>，其中ii表示SiT块的第ii个阶段，L为SiT块的数量；
示例选择策略：示例选择策略为分层执行模式，通过对应的示例得分对所有示例进行排序，并构建示例选择的阈值，然后通过自注意掩膜矩阵逐步丢弃或保留当前示例；示例选择策略表示为： 式中/>用于表示不同示例的显着性分数在所有示例中的排名；/>为对数组中的元素进行从小到大排序，并返回相应序列元素的数组下标；S为示例的显着性得分；/>为第ii个阶段信息示例选择的阈值；NN为组织病理亚型切片嵌入的个数；/>为第kk阶段、第ii行、第jj列的自注意力掩膜值；/>为按列检索的第ii个示例的显着性分数在所有示例中的排名；/>为按行检索的第jj个示例的显着性分数在所有示例中的排名；/>为第kk个阶段显着示例选择的阈值；
计算得到第二病理亚型特征为/>，A为自注意力矩阵，/>为自注意力掩膜矩阵。
5.根据权利要求4所述的组织病理学亚型预测方法，其特征在于所述的特征融合模块，具体包括如下内容：
采用如下算式进行融合，从而得到第三病理亚型特征Z：式中A为自注意力矩阵；/>为第二病理亚型特征；V为选择性自注意力模块根据第一病理亚型特征计算得到的值向量。
6.根据权利要求5所述的组织病理学亚型预测方法，其特征在于步骤S4所述的多示例特征解耦，具体包括如下步骤：
测量单个示例级特征和包表示之间的互信息，以将对应的细粒度描述编码到包表示中；在SiT块的不同阶段，通过示例到包的交互来减少包表示和示例级特征之间的相关性；
利用操作将输入示例的特征转换为示例嵌入：输入特征由示例特征和包特征组成；所述的操作包括转置、平均池化和展平；
采用示例特征解耦，将判别性示例级特征集成到细粒度包表示中；将示例级特征作为SiT块之前的输入示例级特征；z表示潜在包表示，作为下一个SiT块的输入示例级特征；采用加权机制计算不同SiT块的互信息上界估计；
对于样本对，/>为输入示例级特征，/>为第iii个SiT块学习的潜在包表示；对于训练数据集，给定输入示例级特征/>，条件概率分布/>由参数为/>的变分分布/>近似；变分分布/>为高斯分布参数化用于神经网络的袋子表示，形式上表示为/>，其中/>为全连接神经网络的第一个线性组合，为全连接神经网络的第二个线性组合；
包表征估计机制：通过两个全连接神经网络将输入的示例级特征x转换为两个不同的分布，然后在示例到包的交互中构建正样本和负样本；示例特征解耦的估计表示为/>式中为第mm个阶段的示例特征解耦；/>为样本批量大小；/>为所有负对的概率；/>为随机抽样负对的无偏估计；/>为是从一组正整数集合/>中的均匀采样；
最后，总体互信息估计为/>，其中/>为选择性自注意力分配权重因子，/>为SiT块的阶段总数。
7.根据权利要求6所述的组织病理学亚型预测方法，其特征在于步骤S4所述的训练，具体包括如下步骤：
基于模型的预测值与真实结果，计算得到第一损失：式中N为组织病理亚型切片嵌入的个数；C为组织病理学类别的数量；/>为真实标签；/>为包表征的预测结果；
采用如下算式计算得到最终的信息瓶颈损失：/>式中/>为权重值；为总体互信息；
基于得到的信息瓶颈损失，对模型进行训练。
8.一种包括了权利要求1~7之一所述的组织病理学亚型预测方法的成像方法，其特征在于还包括如下步骤：
S6. 根据步骤S5得到的实际的组织病理学亚型的预测结果，将预测结果在实际的组织病理学图像上进行二次成像，从而得到带有组织病理学亚型预测结果的组织病理学图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310717200.8A CN116485792B (zh) | 2023-06-16 | 2023-06-16 | 组织病理学亚型预测方法及成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310717200.8A CN116485792B (zh) | 2023-06-16 | 2023-06-16 | 组织病理学亚型预测方法及成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116485792A true CN116485792A (zh) | 2023-07-25 |
| CN116485792B CN116485792B (zh) | 2023-09-15 |
Family
ID=87223489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310717200.8A Active CN116485792B (zh) | 2023-06-16 | 2023-06-16 | 组织病理学亚型预测方法及成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116485792B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117831612A (zh) * | 2024-03-05 | 2024-04-05 | 安徽省立医院(中国科学技术大学附属第一医院) | 基于人工智能的gist靶向药物类型选择预测方法及系统 |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150254417A1 (en) * | 2014-03-10 | 2015-09-10 | Case Western Reserve University | Group-Sparse Nonnegative Supervised Canonical Correlation Analysis (GNCCA) |
| CN109584248A (zh) * | 2018-11-20 | 2019-04-05 | 西安电子科技大学 | 基于特征融合和稠密连接网络的红外面目标实例分割方法 |
| US10650520B1 (en) * | 2017-06-06 | 2020-05-12 | PathAI, Inc. | Systems and methods for training a statistical model to predict tissue characteristics for a pathology image |
| CN112529042A (zh) * | 2020-11-18 | 2021-03-19 | 南京航空航天大学 | 一种基于双重注意力多示例深度学习的医学图像分类方法 |
| CN112598622A (zh) * | 2020-12-03 | 2021-04-02 | 天津理工大学 | 一种融合深度多示例学习和包间相似性的乳腺癌检测方法 |
| CN113034448A (zh) * | 2021-03-11 | 2021-06-25 | 电子科技大学 | 一种基于多示例学习的病理图像细胞识别方法 |
| WO2021179484A1 (zh) * | 2020-03-09 | 2021-09-16 | 平安科技（深圳）有限公司 | 多标签多示例的图像检测方法、装置、设备及存储介质 |
| KR20210129850A (ko) * | 2020-04-21 | 2021-10-29 | 재단법인대구경북과학기술원 | 조직 병리학 분류를 위한 다중 인스턴스 학습 방법 |
| CN113723233A (zh) * | 2021-08-17 | 2021-11-30 | 之江实验室 | 一种基于分层时序多示例学习的学生学习参与度评估方法 |
| WO2021258967A1 (zh) * | 2020-06-24 | 2021-12-30 | 华为技术有限公司 | 神经网络的训练方法、数据获取方法和装置 |
| CN113947607A (zh) * | 2021-09-29 | 2022-01-18 | 电子科技大学 | 一种基于深度学习的癌症病理图像生存预后模型构建方法 |
| CN114188020A (zh) * | 2021-12-07 | 2022-03-15 | 厦门大学附属中山医院 | 一种基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法 |
| WO2022094629A1 (en) * | 2020-11-02 | 2022-05-05 | Genentech, Inc. | Attention-based multiple instance learning |
| US20220367053A1 (en) * | 2019-09-27 | 2022-11-17 | The Brigham And Women's Hospital, Inc. | Multimodal fusion for diagnosis, prognosis, and therapeutic response prediction |
| CN115471448A (zh) * | 2022-07-18 | 2022-12-13 | 中日友好医院(中日友好临床医学研究所) | 基于人工智能的胸腺瘤组织病理的分型方法及装置 |
| CN115601602A (zh) * | 2022-11-10 | 2023-01-13 | 云南大学（Cn） | 癌症组织病理图像分类方法、系统、介质、设备及终端 |
| CN115719615A (zh) * | 2022-11-10 | 2023-02-28 | 南京航空航天大学 | 基于多任务和多示例学习联合的多基因突变预测方法 |
| CN115797629A (zh) * | 2022-11-28 | 2023-03-14 | 福州大学 | 基于检测增强和多阶段边界框特征细化的实例分割方法 |
| US20230113811A1 (en) * | 2021-10-12 | 2023-04-13 | PAIGE.AI, Inc. | Systems and methods to process electronic images to identify mutational signatures and tumor subtypes |
| CN115984622A (zh) * | 2023-01-10 | 2023-04-18 | 深圳大学 | 基于多模态和多示例学习分类方法、预测方法及相关装置 |
| CN116012332A (zh) * | 2022-12-29 | 2023-04-25 | 西安交通大学 | 一种基于层次图的病理图像中原发肿瘤分期多示例学习方法、框架、设备及介质 |
-
2023
- 2023-06-16 CN CN202310717200.8A patent/CN116485792B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150254417A1 (en) * | 2014-03-10 | 2015-09-10 | Case Western Reserve University | Group-Sparse Nonnegative Supervised Canonical Correlation Analysis (GNCCA) |
| US10650520B1 (en) * | 2017-06-06 | 2020-05-12 | PathAI, Inc. | Systems and methods for training a statistical model to predict tissue characteristics for a pathology image |
| CN109584248A (zh) * | 2018-11-20 | 2019-04-05 | 西安电子科技大学 | 基于特征融合和稠密连接网络的红外面目标实例分割方法 |
| US20220367053A1 (en) * | 2019-09-27 | 2022-11-17 | The Brigham And Women's Hospital, Inc. | Multimodal fusion for diagnosis, prognosis, and therapeutic response prediction |
| WO2021179484A1 (zh) * | 2020-03-09 | 2021-09-16 | 平安科技（深圳）有限公司 | 多标签多示例的图像检测方法、装置、设备及存储介质 |
| KR20210129850A (ko) * | 2020-04-21 | 2021-10-29 | 재단법인대구경북과학기술원 | 조직 병리학 분류를 위한 다중 인스턴스 학습 방법 |
| WO2021258967A1 (zh) * | 2020-06-24 | 2021-12-30 | 华为技术有限公司 | 神经网络的训练方法、数据获取方法和装置 |
| WO2022094629A1 (en) * | 2020-11-02 | 2022-05-05 | Genentech, Inc. | Attention-based multiple instance learning |
| CN112529042A (zh) * | 2020-11-18 | 2021-03-19 | 南京航空航天大学 | 一种基于双重注意力多示例深度学习的医学图像分类方法 |
| CN112598622A (zh) * | 2020-12-03 | 2021-04-02 | 天津理工大学 | 一种融合深度多示例学习和包间相似性的乳腺癌检测方法 |
| CN113034448A (zh) * | 2021-03-11 | 2021-06-25 | 电子科技大学 | 一种基于多示例学习的病理图像细胞识别方法 |
| CN113723233A (zh) * | 2021-08-17 | 2021-11-30 | 之江实验室 | 一种基于分层时序多示例学习的学生学习参与度评估方法 |
| CN113947607A (zh) * | 2021-09-29 | 2022-01-18 | 电子科技大学 | 一种基于深度学习的癌症病理图像生存预后模型构建方法 |
| US20230113811A1 (en) * | 2021-10-12 | 2023-04-13 | PAIGE.AI, Inc. | Systems and methods to process electronic images to identify mutational signatures and tumor subtypes |
| CN114188020A (zh) * | 2021-12-07 | 2022-03-15 | 厦门大学附属中山医院 | 一种基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法 |
| CN115471448A (zh) * | 2022-07-18 | 2022-12-13 | 中日友好医院(中日友好临床医学研究所) | 基于人工智能的胸腺瘤组织病理的分型方法及装置 |
| CN115601602A (zh) * | 2022-11-10 | 2023-01-13 | 云南大学（Cn） | 癌症组织病理图像分类方法、系统、介质、设备及终端 |
| CN115719615A (zh) * | 2022-11-10 | 2023-02-28 | 南京航空航天大学 | 基于多任务和多示例学习联合的多基因突变预测方法 |
| CN115797629A (zh) * | 2022-11-28 | 2023-03-14 | 福州大学 | 基于检测增强和多阶段边界框特征细化的实例分割方法 |
| CN116012332A (zh) * | 2022-12-29 | 2023-04-25 | 西安交通大学 | 一种基于层次图的病理图像中原发肿瘤分期多示例学习方法、框架、设备及介质 |
| CN115984622A (zh) * | 2023-01-10 | 2023-04-18 | 深圳大学 | 基于多模态和多示例学习分类方法、预测方法及相关装置 |
Non-Patent Citations (2)
| Title |
|---|
| ZHUCHEN SHAO ET AL: "TransMIL: Transformer based Correlated Multiple Instance Learning for Whole Slide Image Classification", ARXIV * |
| 杨红红;曲仕茹;金红霞;: "基于包级空间多示例稀疏表示的图像分类算法", 西北工业大学学报, no. 04 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117831612A (zh) * | 2024-03-05 | 2024-04-05 | 安徽省立医院(中国科学技术大学附属第一医院) | 基于人工智能的gist靶向药物类型选择预测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116485792B (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022268102A1 (zh) | 基于深度学习的癌症预后生存预测方法、设备及存储介质 | |
| CN109858506A (zh) | 一种面向卷积神经网络分类结果的可视化算法 | |
| CN116485792B (zh) | 组织病理学亚型预测方法及成像方法 | |
| US11538577B2 (en) | System and method for automated diagnosis of skin cancer types from dermoscopic images | |
| CN116051574A (zh) | 一种半监督分割模型构建与图像分析方法、设备及系统 | |
| CN112991269A (zh) | 一种肺部ct图像的识别分类方法 | |
| CN115098620A (zh) | 一种注意力相似度迁移的跨模态哈希检索方法 | |
| CN112489740A (zh) | 病历检测方法及相关模型的训练方法和相关设备、装置 | |
| CN114708903A (zh) | 一种基于自注意力机制的蛋白质残基间距离预测方法 | |
| CN114399634B (zh) | 基于弱监督学习的三维图像分类方法、系统、设备及介质 | |
| CN113674862A (zh) | 一种基于机器学习的急性肾功能损伤发病预测方法 | |
| Tavakoli | Seq2image: Sequence analysis using visualization and deep convolutional neural network | |
| CN109740669B (zh) | 一种基于深度特征聚合的乳腺癌病理图像分类方法 | |
| CN109885712B (zh) | 基于内容的肺结节图像检索方法及系统 | |
| CN111639697A (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
| CN114140437A (zh) | 一种基于深度学习的眼底硬渗出物分割方法 | |
| CN114511759A (zh) | 一种皮肤状态图像的类别识别和特征确定方法及系统 | |
| CN114093507A (zh) | 边缘计算网络中基于对比学习的皮肤病智能分类方法 | |
| CN116228759B (zh) | 肾细胞癌类型的计算机辅助诊断系统及设备 | |
| CN113284627A (zh) | 基于患者表征学习的用药推荐方法 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| Heidarian et al. | Cae-transformer: Transformer-based model to predict invasiveness of lung adenocarcinoma subsolid nodules from non-thin section 3d ct scans | |
| CN113034448B (zh) | 一种基于多示例学习的病理图像细胞识别方法 | |
| CN110265151B (zh) | 一种基于ehr中异构时态数据的学习方法 | |
| CN108304546B (zh) | 一种基于内容相似度和Softmax分类器的医学图像检索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |