CN113947607B - 一种基于深度学习的癌症病理图像生存预后模型构建方法 - Google Patents

一种基于深度学习的癌症病理图像生存预后模型构建方法 Download PDF

Info

Publication number
CN113947607B
CN113947607B CN202111154909.9A CN202111154909A CN113947607B CN 113947607 B CN113947607 B CN 113947607B CN 202111154909 A CN202111154909 A CN 202111154909A CN 113947607 B CN113947607 B CN 113947607B
Authority
CN
China
Prior art keywords
training
model
prognosis
image
constructing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202111154909.9A
Other languages
English (en)
Other versions
CN113947607A (zh
Inventor
付波
吴飞
刘沛
叶丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202111154909.9A priority Critical patent/CN113947607B/zh
Publication of CN113947607A publication Critical patent/CN113947607A/zh
Application granted granted Critical
Publication of CN113947607B publication Critical patent/CN113947607B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的癌症病理图像生存预后模型构建方法，包括获取多份癌症病理图像，对所获取的图像进行感兴趣区域切块，计算感兴趣区域切块的能量值并排序，筛选排序低于设定阈值的切块构建数据集；构建预训练模型并利用预训练模型提取所筛选出的切块的图像特征，并对切块特征进行聚类；提取聚类之后的图像特征表达，并利用多头注意力机制聚合所有聚类的特征表达，得到病人级别的预后特征；构建预后特征训练模型，利用构建的数据集进行训练，得到生成预后模型。该方案可以处理不同患者之间各种数量和大小的整张幻灯片图像，利用多示例学习框架可以学习到患者的整体信息并获得更好的性能，更有效地提取聚类的预后特征表达。

Description

一种基于深度学习的癌症病理图像生存预后模型构建方法
技术领域
本发明涉及图像处理领域，具体涉及一种基于深度学习的癌症病理图像生存预后模型构建方法。
背景技术
多示例学习(Multiple Instance Learning，简写MIL)与监督学习、半监督学习和非监督学习有所不同，它是以多示例包(bag)为训练单元的学习问题。在多示例学习中，假设训练数据集中的每个数据是一个包(Bag)，每个包都是一个示例(instance)的集合,每个包都有一个训练标记，而包中的示例是没有标记的；如果包中至少存在一个正标记的示例，则包被赋予正标记；而对于一个有负标记的包，其中所有的示例均为负标记。多示例学习的目的是，通过对具有分类标签的多示例包的学习，建立多示例分类器，并将该分类器应用于未知多示例包的预测。在WSI观察中，如果载玻片来自低风险患者，其大部分切块可能是良性的，或包含低级别肿瘤。相反，如果载玻片来自高危患者，则所有可能的切块中至少有一个肯定含有恶性肿瘤。WSI生存学习问题的这种形式化是通用标准多示例假设的一个示例，因此MIL非常适合解决此类问题。
发明内容
针对现有技术中的上述不足，本发明提供了一种基于深度学习的癌症病理图像生存预后模型构建方法。
为了达到上述发明目的，本发明采用的技术方案为：
一种基于深度学习的癌症病理图像生存预后模型构建方法，包括如下步骤：
S1、获取多份癌症病理图像，对所获取的图像进行感兴趣区域切块，计算感兴趣区域切块的能量值并排序，筛选排序低于设定阈值的切块构建数据集；
S2、构建预训练模型并利用预训练模型提取所筛选出的切块的图像特征，并对切块特征进行聚类；
S3、提取聚类之后的图像特征表达，并利用多头注意力机制聚合所有聚类的特征表达，得到病人级别的预后特征；
S4、构建预后特征训练模型，利用步骤S1构建的数据集进行训练，得到生成预后模型。
上述方案的有益效果是，可以从没有人工ROI标记的非常大的WSI中学习患者的生存模式，更适应大规模癌症数据集的缺乏人工ROI标注的情况，可以处理同一患者的各种数量和大小的整张幻灯片图像。同时，基于图卷积神经网络的改进使得模型能更好地提取与预后相关的特征表达，在预测性能上获得进一步提升。我们的方法可以为癌症患者的个性化治疗以及医生的治疗决策提供指导，改善患者的生存状况。此外，我们的模型可以方便的移植到其他癌症数据集，应用于其他肿瘤类型。
进一步的，所述S1具体包括：
S11、获取癌症全玻片病理图像，利用病理切片组织区域分割框架将所获取的癌症全玻片病理图像分割感兴趣区域，对感兴趣区域切块并记录坐标；
S12、对感兴趣区域切块进行颜色归一化；
S13、计算每个病理图像中颜色归一化后的区块的能量值，并筛选能量值前500个切块；
S14、获取记录患者生存情况的表格文件，作为筛选出的切块对应的训练标签，并构建数据集。
上述进一步方案的有益效果是，清洗整理出可用的完备的用于训练的数据集。
进一步的，所述S2具体包括：
S21、利用预训练深度图像识别模型提取步骤S1所构建的数据集中的切块的图像特征；
S22、利用Kmeans算法对每个病人的所有切块特征进行聚类。
进一步的，所述K-means的算法步骤为：
S221、选择初始化的k个样本作为初始聚类中心a＝a1,a1,...ak；
S222、针对数据集中每个样本Xi计算它到k个聚类中心的距离并将其分到距离最小的聚类中心所对应的类中；
S223、针对每个类别aj，计算它的聚类中心
Figure BDA0003288207900000031
Ci为第i个聚类的样本集合；
S224、重复步骤S222和S223，直到达到中止条件。
上述进一步方案的有益效果是，将一个病人的全部切块(来自不同全波切片)聚类成几类，用于后续处理。
进一步的，所述S3具体包括：
S31、对步骤S22获取的所有切块的聚类食用图神经网络提取聚类的预后特征表达；
S32、利用多头注意力机制聚合所有聚类的预后特征表达，得到病人级别的预后特征，并通过全连阶层输出结果。
上述进一步方案的有益效果是，为一名患者内的表型簇分配不同的权重，因此最终的患者级别表示可能为生存预测提供高层次信息，有利于取得良好的结果。
进一步的，所述步骤S32中通过全连阶层输出结果的计算方式为：
MultiHead(Q，K，V)＝Concat(head1，...，headh)WO
whereheadi＝Attention(QWi Q，KWi K，VWi V)
其中，Q为每条数据的查询内容，Wi Q为其对应的投影参数矩阵且
Figure BDA0003288207900000041
K为每条数据的键值，Wi K为其对应的参数矩阵且
Figure BDA0003288207900000042
Figure BDA0003288207900000043
V为每条数据的内容，Wi V为其对应的参数矩阵，且
Figure BDA0003288207900000044
Figure BDA0003288207900000045
为dmodel维度的模型输入，dk表示键值的维度，dv表示键值的维度，
Figure BDA0003288207900000046
Concat()函数表示数据拼接，headi表示第i个拼接数据，WO为拼接函数的参数矩阵且
Figure BDA0003288207900000047
h为投影次数。
进一步的，所述S4具体包括：
S41、构建基于全玻片病理图像的癌症患者生存预后模型；
S42、利用步骤S14得到的数据集对所构建的预生存预后模型进行训练；
S43、每次训练将数据分为训练集、验证集、测试集，通过测试集和验证集对训练模型进行验证，根据模型最后的性能表现，选择最优的训练参数。
上述进一步方案的有益效果是，通过多次实验，可以根据模型最后的性能表现，选择最优的训练参数，实现最佳性能。
附图说明
图1为本发明基于深度学习的癌症病理图像生存预后模型构建方法示意图。
图2为本发明实施例基于多示例深度学习方法改进的癌症患者全玻片病理图像生存预后模型网络结构图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
一种基于深度学习的癌症病理图像生存预后模型构建方法，如图1所示，包括如下步骤：
S1、获取多份癌症病理图像，对所获取的图像进行感兴趣区域切块，计算感兴趣区域切块的能量值并排序，筛选排序低于设定阈值的切块构建数据集；
本实施例里，具体包括如下步骤：
S11、获取癌症全玻片病理图像，利用病理切片组织区域分割框架将所获取的癌症全玻片病理图像分割感兴趣区域，对感兴趣区域切块并记录坐标
对于感兴趣区域的划分，原始全玻片比例图像数据为svs格式，使用更加高效，精确的病理切片组织区域分割框架CLAM，自动分割出感兴趣区域，ROI切分为多个大小相同的patches。
S12、对感兴趣区域切块进行颜色归一化。
使用python中staintools工具包对切块进行颜色归一化，用scipy工具包的convolve函数计算能量值，筛选能量值前500个信息丰富、更为有效的切块，得到对预后生存预测更加有效的图像。
对感兴趣区域切块进行颜色标准化：选择一张标准颜色的切片，根据它生成颜色归一化器，对其他切片进行颜色归一化
能量值计算，使用scipy工具包的convolve
函数，处理切片的像素，计算得到能量值，具体为：
def energy(im):
xgrad＝ndi.convolve1d(im,np.array([1,0,-1]),axis＝1,mode＝'wrap')
ygrad＝ndi.convolve1d(im,np.array([1,0,-1]),axis＝0,mode＝'wrap')
grad_mag＝np.sqrt(np.sum(xgrad**2,axis＝2)+np.sum(ygrad**2,axis＝2))
return grad_mag
S13、计算每个病理图像中颜色归一化后的区块的能量值，并筛选能量值前500个切块；
S14、获取记录患者生存情况的表格文件，作为筛选出的切块对应的训练标签，并构建数据集。
S2、构建预训练模型并利用预训练模型提取所筛选出的切块的图像特征，并对切块特征进行聚类；
在本实施例里，具体包括如下步骤：
S21、利用预训练深度图像识别模型提取步骤S1所构建的数据集中的切块的图像特征；
S22、利用K-means算法对每个病人的所有切块特征进行聚类。
K-means的算法步骤为：
1)选择初始化的k个样本作为初始聚类中心a＝a1,a1,...ak；
2)针对数据集中每个样本Xi计算它到k个聚类中心的距离并将其分到距离最小的聚类中心所对应的类中；
3)针对每个类别aj，重新计算它的聚类中心
Figure BDA0003288207900000071
(即属于该类的所有样本的质心)，Ci为第i个聚类的样本集合；
4)重复上面23两步操作，直到达到某个中止条件(迭代次数、最小误差变化等)。
S3、提取聚类之后的图像特征表达，并利用多头注意力机制聚合所有聚类的特征表达，得到病人级别的预后特征；具体方式为：
S31、对步骤S22获取的所有切块的聚类食用图神经网络提取聚类的预后特征表达；对于每个切块的聚类，使用了图神经网络GNN来提取聚类的预后特征表达，为生存预测提供有效信息。
S32、利用多头注意力机制聚合所有聚类的预后特征表达，得到病人级别的预后特征，并通过全连阶层输出结果，计算方式为：
MultiHead(Q，K，V)＝Concat(head1，...，headh)WO
whereheadi＝Attention(QWi Q，KWi K，VWi V)
其中，Q为每条数据的查询内容，Wi Q为其对应的投影参数矩阵且
Figure BDA0003288207900000072
K为每条数据的键值，Wi K为其对应的参数矩阵且
Figure BDA0003288207900000073
Figure BDA0003288207900000074
V为每条数据的内容，Wi V为其对应的参数矩阵，且
Figure BDA0003288207900000075
Figure BDA0003288207900000076
为dmodel维度的模型输入，k，v为维度数，
Figure BDA0003288207900000077
Concat()函数表示数据拼接，headi表示第i个拼接数据，WO为拼接函数的参数矩阵且
Figure BDA0003288207900000078
h为投影次数。
使用多头注意力机制聚合所有聚类的特征表达，得到病人级别的预后特征，然后通过全连接层输出危害风险。
S4、构建预后特征训练模型，利用步骤S1构建的数据集进行训练，得到生成预后模型。
所构建的训练模型如图2所示，基于数据集，将数据预处理后使用我们的模型进行训练。训练过程整体采用pytorch框架进行，采用操作系统环境未Ubuntu 18.04.02，中央处理器为Intel core i58400@2.80Ghz，显卡为显存为8G的RTX2070。训练中设置的epoch次数为100，batch size为1，学习率为1*10-4。
每次训练将数据分为训练集、验证集、测试集，通过测试集和验证集对训练模型进行验证，并对训练参数进行调整。使用五折交叉验证的训练方式。
为了评估生存预测的性能，我们将一致性指数(C-index)作为我们的评估指标。C-index量化排名的排名质量，计算如下：
Figure BDA0003288207900000081
其中n是可比较对的数量，I[·]是指示函数。t是实际时间观测值。f表示相应的风险。C-index取值范围为0到1。C-index值越大，模型的预测性能越好。我们在美国国家肺筛查试验(NLST)数据集数据集上测试了我们的模型，对每个WSI采样了500切块。NLST数据集中的WSI和患者的数量如表1所示。
表1
DataSet Patients WSIs Patches patches/WSI
NLST 449 1225 1225*500 500
进行五折交叉验证后，我们的模型的C-index平均值为0.67746。方差为0.06112，达到了世界先进水平。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (3)

1.一种基于深度学习的癌症病理图像生存预后模型构建方法，其特征在于，包括如下步骤：
S1、获取多份癌症病理图像，对所获取的图像进行感兴趣区域切块，计算感兴趣区域切块的能量值并排序，筛选切块构建数据集，具体包括：
S11、获取癌症全玻片病理图像，利用病理切块组织区域分割框架将所获取的癌症全玻片病理图像分割感兴趣区域，对感兴趣区域切块并记录坐标；
S12、对感兴趣区域切块进行颜色归一化，选择一张标准颜色的切块，根据其生成颜色归一化器，并对其余切块进行颜色归一化；
S13、计算每个病理图像中颜色归一化后的切块的能量值，并筛选能量值前500个切块；
S14、获取记录患者生存情况的表格文件，作为筛选出的切块对应的训练标签，并构建数据集；
S2、构建预训练模型并利用预训练模型提取所筛选出的切块的图像特征，并对切块特征进行聚类，具体包括：
S21、利用预训练深度图像识别模型提取步骤S1所构建的数据集中的切块的图像特征；
S22、利用K-means算法对每个病人的所有切块特征进行聚类；
S3、提取聚类之后的图像特征表达，并利用多头注意力机制聚合所有聚类的特征表达，得到病人级别的预后特征，具体包括：
S31、对步骤S22获取的所有切块的聚类使用图神经网络提取聚类的预后特征表达；
S32、利用多头注意力机制聚合所有聚类的预后特征表达，得到病人级别的预后特征，并通过全连阶层输出结果；
S4、构建预后特征训练模型，利用步骤S1构建的数据集进行训练，得到生成预后模型。
2.根据权利要求1所述的一种基于深度学习的癌症病理图像生存预后模型构建方法，其特征在于，所述步骤S32中通过全连阶层输出结果的计算方式为：
MultiHead(Q，K，V)＝Concat(head1，...，headh)WO
whereheadi＝Attention(QWi Q，KWi K，VWi V)
Q为每条数据的查询内容，Wi Q为其对应的投影参数矩阵且
Figure QLYQS_3
Figure QLYQS_4
K为每条数据的键值，Wi K为其对应的参数矩阵且
Figure QLYQS_6
V为每条数据的内容，Wi V为其对应的参数矩阵，且
Figure QLYQS_2
Figure QLYQS_5
为dmodel维度的模型输入，dk表示键值的维度，dv表示键值的维度，
Figure QLYQS_7
Figure QLYQS_8
Concat()函数表示数据拼接，headi表示第i个拼接数据，WO为拼接函数的参数矩阵且
Figure QLYQS_1
h为投影次数。
3.根据权利要求2所述的一种基于深度学习的癌症病理图像生存预后模型构建方法，其特征在于，所述S4具体包括：
S41、构建基于全玻片病理图像的癌症患者生存预后模型；
S42、利用步骤S14得到的数据集对所构建的预生存预后模型进行训练；
S43、每次训练将数据分为训练集、验证集、测试集，通过测试集和验证集对训练模型进行验证，并对训练参数进行调整。
CN202111154909.9A 2021-09-29 2021-09-29 一种基于深度学习的癌症病理图像生存预后模型构建方法 Expired - Fee Related CN113947607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111154909.9A CN113947607B (zh) 2021-09-29 2021-09-29 一种基于深度学习的癌症病理图像生存预后模型构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111154909.9A CN113947607B (zh) 2021-09-29 2021-09-29 一种基于深度学习的癌症病理图像生存预后模型构建方法

Publications (2)

Publication Number Publication Date
CN113947607A CN113947607A (zh) 2022-01-18
CN113947607B true CN113947607B (zh) 2023-04-28

Family

ID=79329244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111154909.9A Expired - Fee Related CN113947607B (zh) 2021-09-29 2021-09-29 一种基于深度学习的癌症病理图像生存预后模型构建方法

Country Status (1)

Country Link
CN (1) CN113947607B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549896B (zh) * 2022-01-24 2024-08-16 清华大学 用于生存预测的全视野图像的异构高阶表示方法及装置
CN115346656B (zh) * 2022-06-10 2023-10-27 江门市中心医院 基于CAFs、WSIs和临床信息的三组学IDC预后模型建立方法及预后模型系统
CN115132375A (zh) * 2022-06-17 2022-09-30 广州智睿医疗科技有限公司 一种甲状腺疾病病理分析模块
CN115984622B (zh) * 2023-01-10 2023-12-29 深圳大学 基于多模态和多示例学习分类方法、预测方法及相关装置
CN116485792B (zh) * 2023-06-16 2023-09-15 中南大学 组织病理学亚型预测方法及成像方法
CN116682576B (zh) * 2023-08-02 2023-12-19 浙江大学 一种基于双层图卷积神经网络的肝癌病理预后系统及装置
CN116798646B (zh) * 2023-08-17 2023-11-24 四川互慧软件有限公司 基于聚类算法的蛇伤预后预测方法、装置及电子设备
CN117115117B (zh) * 2023-08-31 2024-02-09 南京诺源医疗器械有限公司 基于小样本下的病理图像识别方法、电子设备及存储介质
CN116881725B (zh) * 2023-09-07 2024-01-09 之江实验室 一种癌症预后预测模型训练装置、介质及电子设备
CN118522395A (zh) * 2024-07-22 2024-08-20 三科智能(山东)集团有限公司 基于人工智能的数字化手术室医疗信息处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898175A (zh) * 2018-06-26 2018-11-27 北京工业大学 基于深度学习胃癌病理切片的计算机辅助模型构建方法
CN110866893A (zh) * 2019-09-30 2020-03-06 中国科学院计算技术研究所 基于病理图像的tmb分类方法、系统及tmb分析装置
CN111462036A (zh) * 2020-02-18 2020-07-28 腾讯科技（深圳）有限公司 基于深度学习的病理图像处理方法、模型训练方法及装置
CN112434172A (zh) * 2020-10-29 2021-03-02 西安交通大学 一种病理图像预后特征权重计算方法及系统
CN112488234A (zh) * 2020-12-10 2021-03-12 武汉大学 一种基于注意力池化的端到端组织病理图像分类方法
CN113313680A (zh) * 2021-05-24 2021-08-27 华南理工大学 一种结直肠癌病理图像预后辅助预测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10846367B2 (en) * 2017-09-15 2020-11-24 Case Western Reserve University University Predicting recurrence in early stage non-small cell lung cancer (NSCLC) with integrated radiomic and pathomic features
WO2020243090A1 (en) * 2019-05-24 2020-12-03 The Regents Of The University Of California Systems and methods for automated image analysis

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898175A (zh) * 2018-06-26 2018-11-27 北京工业大学 基于深度学习胃癌病理切片的计算机辅助模型构建方法
CN110866893A (zh) * 2019-09-30 2020-03-06 中国科学院计算技术研究所 基于病理图像的tmb分类方法、系统及tmb分析装置
CN111462036A (zh) * 2020-02-18 2020-07-28 腾讯科技（深圳）有限公司 基于深度学习的病理图像处理方法、模型训练方法及装置
CN112434172A (zh) * 2020-10-29 2021-03-02 西安交通大学 一种病理图像预后特征权重计算方法及系统
CN112488234A (zh) * 2020-12-10 2021-03-12 武汉大学 一种基于注意力池化的端到端组织病理图像分类方法
CN113313680A (zh) * 2021-05-24 2021-08-27 华南理工大学 一种结直肠癌病理图像预后辅助预测方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Angel Cruz-Roa等.Automatic detection of invasive ductal carcinoma in whole slide images with convolutional neural networks.《Medical Imaging 2014: Digital Pathology》.2014,第9041卷1-15. *
Fei Wu等.DeepGCNMIL: Multi-head Attention Guided Multi-Instance Learning Approach for Whole-Slide Images Survival Analysis Using Graph Convolutional Networks.《ICMLC 2022: 2022 14th International Conference on Machine Learning and Computing (ICMLC)》.2022,67-73. *
Jiawen Yao等.Whole slide images based cancer survival prediction using attention guided deep multiple instance learning networks.《Medical Image Analysis》.2020,第65卷1-15. *
Weijian Li等.Patch Transformer for Multi-tagging Whole Slide Histopathology Images.《Medical Image Computing and Computer Assisted Intervention – MICCAI 2019》.2019,532–540. *
吴飞.基于深度学习方法的病理图像生存分析研究.《中国优秀硕士学位论文全文数据库基础科学辑》.2023,A006-845. *

Also Published As

Publication number Publication date
CN113947607A (zh) 2022-01-18

Similar Documents

Publication Publication Date Title
CN113947607B (zh) 一种基于深度学习的癌症病理图像生存预后模型构建方法
CN110245657B (zh) 病理图像相似性检测方法及检测装置
CN113454733A (zh) 用于预后组织模式识别的多实例学习器
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
EP2756456B1 (en) Method and system for the automatic analysis of an image of a biological sample
Wang et al. Adaptive pruning of transfer learned deep convolutional neural network for classification of cervical pap smear images
CN112270666A (zh) 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法
US20180165413A1 (en) Gene expression data classification method and classification system
CN110059656B (zh) 基于卷积对抗生成神经网络的白细胞分类方法及系统
CN109800781A (zh) 一种图像处理方法、装置及计算机可读存储介质
EP4075325A1 (en) Method and system for the classification of histopathological images based on multiple instance learning
CN109740669B (zh) 一种基于深度特征聚合的乳腺癌病理图像分类方法
Lomacenkova et al. Whole slide pathology image patch based deep classification: an investigation of the effects of the latent autoencoder representation and the loss function form
CN113496484A (zh) 病理切片图像处理方法、电子设备及存储介质
CN111680553A (zh) 一种基于深度可分离卷积的病理图像识别方法及系统
CN116563296A (zh) 一种用于腹部ct图像的识别方法
Sharma Comparative analysis of region of interest of different sizes for breast density classification
CN113177602B (zh) 图像分类方法、装置、电子设备和存储介质
CN113870194B (zh) 深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置
Shafiei et al. Colored Kimia Path24 dataset: configurations and benchmarks with deep embeddings
CN107392921A (zh) 一种基于切比雪夫距离的半监督多目标聚类图像分割方法
Li et al. A novel approach of computer-aided detection of focal ground-glass opacity in 2D lung CT images
CN111401119A (zh) 细胞核的分类
Akbarnejad et al. Deep Fisher vector coding for whole slide image classification
Potsangbam et al. Classification of Breast Cancer Histopathological Images Using Transfer Learning with DenseNet121

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20230428