CN116682576A - 一种基于双层图卷积神经网络的肝癌病理预后系统及装置 - Google Patents
一种基于双层图卷积神经网络的肝癌病理预后系统及装置 Download PDFInfo
- Publication number
- CN116682576A CN116682576A CN202310962835.4A CN202310962835A CN116682576A CN 116682576 A CN116682576 A CN 116682576A CN 202310962835 A CN202310962835 A CN 202310962835A CN 116682576 A CN116682576 A CN 116682576A
- Authority
- CN
- China
- Prior art keywords
- graph
- patient
- module
- neural network
- necrosis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004393 prognosis Methods 0.000 title claims abstract description 51
- 201000007270 liver cancer Diseases 0.000 title claims abstract description 43
- 208000014018 liver neoplasm Diseases 0.000 title claims abstract description 41
- 230000001575 pathological effect Effects 0.000 title claims abstract description 28
- 238000013527 convolutional neural network Methods 0.000 title claims description 15
- 230000017074 necrotic cell death Effects 0.000 claims abstract description 47
- 238000013528 artificial neural network Methods 0.000 claims abstract description 37
- 238000010276 construction Methods 0.000 claims abstract description 29
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 26
- 230000007170 pathology Effects 0.000 claims abstract description 23
- 238000010586 diagram Methods 0.000 claims abstract description 13
- 238000011176 pooling Methods 0.000 claims abstract description 13
- 230000004083 survival effect Effects 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 7
- 238000005520 cutting process Methods 0.000 claims abstract description 5
- 230000004931 aggregating effect Effects 0.000 claims abstract description 3
- 230000034994 death Effects 0.000 claims description 21
- 238000005096 rolling process Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- BFPSDSIWYFKGBC-UHFFFAOYSA-N chlorotrianisene Chemical compound C1=CC(OC)=CC=C1C(Cl)=C(C=1C=CC(OC)=CC=1)C1=CC=C(OC)C=C1 BFPSDSIWYFKGBC-UHFFFAOYSA-N 0.000 claims description 6
- 230000001338 necrotic effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 9
- 206010073071 hepatocellular carcinoma Diseases 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 208000006990 cholangiocarcinoma Diseases 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 231100000844 hepatocellular carcinoma Toxicity 0.000 description 2
- 238000010837 poor prognosis Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 206010061309 Neoplasm progression Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- ZPUCINDJVBIVPJ-LJISPDSOSA-N cocaine Chemical compound O([C@H]1C[C@@H]2CC[C@@H](N2C)[C@H]1C(=O)OC)C(=O)C1=CC=CC=C1 ZPUCINDJVBIVPJ-LJISPDSOSA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 201000007450 intrahepatic cholangiocarcinoma Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 230000005751 tumor progression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明公开了一种基于双层图卷积神经网络的肝癌病理预后系统及装置，包括：预处理模块，提取病理组织并切块；识别模块，用于识别肿瘤图块和坏死图块；坏死图构建模块，用于提取图块特征作为节点，相近图块之间形成边，进行坏死图构建；注意力池化模块，用于将图块特征聚合成患者级别的影像特征；患者图构建模块，用于将影像特征作为节点，非影像信息作为边，进行患者图构建；图卷积神经网络模块，用于基于构建的图进行更新和训练；风险评分模块，用于将图卷积神经网络模块的输出结果转换成患者的生存风险评分。本发明对患者的肿瘤和坏死图块构建第一级图网络，同时将影像信息与非影像信息融合构建第二级图网络，充分利用了一张切片上的信息。
Description
技术领域
本发明涉及肝癌预后领域，尤其涉及一种基于双层图卷积神经网络的肝癌病理预后系统及装置。
背景技术
原发性肝癌，目前是我国第 4 位常见恶性肿瘤及第 2 位肿瘤致死病因，严重威胁我国人民的生命和健康。根据病理类型的不同，原发性肝癌可分为肝细胞癌（Hepatocellular carcinoma, HCC）、肝内胆管癌和混合型肝细胞癌-胆管癌，其中 HCC 占75%~85%。本发明中肝癌指 HCC。我国每年HCC 的新发病例数约占全球的一半，且大部分患者在发现时已处于肿瘤的中晚期，无法接受手术、消融等根治性治疗，5 年总生存率不超过12.1%。
建立肝癌的预后分析系统可以辅助医生判断患者疾病的未来进展，密切关注预后较差的患者，提升患者的预后生存。组织病理学图像分析是目前临床实践中确诊肝癌的核心标准。病理微坏死是指数字病理图像中肉眼不可见，在显微镜下可以被观察到的微小坏死区域。在没有进行术前治疗的情况下，若在肿瘤患者的手术标本中观察到坏死，通常是由肿瘤中心缺乏血流（含氧和营养）引起的，提示肿瘤进展迅速，在包括肝癌在内的多种癌症中与患者较差预后相关。但是目前很少有研究从微坏死的角度对肝癌的组织病理学图像分析评估肝癌患者的生存风险，大部分计算病理学的研究都是从活的肿瘤细胞的角度出发分析肝癌患者的预后。
近年来，在计算病理学领域中，肝癌预后分析得到了很大的发展。其中，CharlieSaillard, Benoit Schmauch等人提出了一种基于注意力机制的卷积神经网络用于肝癌预后分析。该现有技术通过对病理切片的图块进行特征提取，然后计算单个图块的生存评分，最后挑选得分最高和最低的25的图块拟合成患者的风险评分。其创新点在于使用注意力机制对医生标记的肿瘤区域进行了权重提高，并通过特征融合结合了带有标注的注意力模型和无监督模型。但是现有技术存在如下缺点：
1.现有技术只使用了病人的50个图块进行患者级预测，在没有被选择的图块中，有可能存在对预后有较大影响的影响特征，因此模型得出风险评分不能完全的反映患者的实际情况。
2.模型只分析了癌组织对于预后的影像，对于和预后高度相关的坏死组织，模型无法学习到这类组织的信息，也无法利用坏死特征参与预后分析。
3.现有技术是较为传统的深度学习方法，只对图块进行了简单的编码，图块与图块之间的位置信息没有使用，因此模型学习不到组织切片上各组织成分之间的空间信息。这与临床医生手动评估患者的肿瘤进展是相违背的。
4.单一的影像信息不能完全反映患者的状态，因此预后的效果的有限的。
发明内容
本发明目的在于针对现有技术的不足，提出一种基于双层图卷积神经网络的肝癌病理预后系统及装置。
本发明的目的是通过以下技术方案来实现的：一种基于双层图卷积神经网络的肝癌病理预后系统，该系统包括预处理模块、识别模块、坏死图构建模块、注意力池化模块、患者图构建模块、图卷积神经网络模块和风险评分模块；
所述预处理模块用于将原始病理切片进行组织提取并切成图块；
所述识别模块用于识别出预处理模块得到的图块中的肿瘤图块和坏死图块；
所述坏死图构建模块用于根据识别模块得到的坏死图块和肿瘤图块，提取图块特征作为节点，基于欧式距离使相近的图块之间形成边，进行坏死图构建；
所述注意力池化模块用于对图块节点进行池化，将图块级别特征聚合成患者级别的影像特征；
所述患者图构建模块用于将患者级别的影像特征作为节点，以非影像信息作为边，进行患者图构建；
所述图卷积神经网络模块用于基于构建好的坏死图和患者图进行更新和训练；
所述风险评分模块用于将图卷积神经网络模块的输出结果转换成患者的生存风险评分，以坏死图得到的纯病理风险评分为基准，以患者图得到的影像信息和非影像信息结合的多模态风险评分为辅助，进行预后判断。
进一步地，所述预处理模块基于最大类间方差法Otsu方法进行前景组织分割，使用滑动窗口将WSI进行切块。
进一步地，所述识别模块通过预训练好的基于模糊比例标签的坏死识别模型对图块进行分类，筛选出坏死图块和肿瘤图块，并将分类结果作为图块的伪标签。
进一步地，所述坏死图构建模块包括特征提取子模块和图块级节点子模块；
所述特征提取子模块用于将分类好的图块放入预训练好的卷积层，提取多维特征，结合图块的伪标签形成多维节点特征向量；
所述图块级节点子模块用于将每个肿瘤图块或坏死图块均视为一个节点，空间坐标取自图块在图像中的位置，基于k-NN 算法和欧氏距离阈值使得空间坐标最近的k个图块之间形成边，构造坏死图。
进一步地，所述患者图构建模块使用非影像信息TACE治疗构建边，根据患者是否接受过TACE治疗分为两组，同组内的所有患者特征间均计算一次的欧氏距离，使用k-NN算法取同组内距离最近的k个患者之间形成边。
进一步地，所述图卷积神经网络模块使用深度图卷积神经网络DeepGCN实现相邻节点的消息传递和更新。
进一步地，深度图卷积神经网络DeepGCN中，GCN的输出和输入相加，作为下一层GCN的输入，使多层GCN的输出结果迭代叠加，得到最终输出结果。
进一步地，所述风险评分模块将患者的生存时间均匀离散为四个区间，训练图卷积神经网络模型预测患者死亡事件发生的时间段，根据患者死亡事件发生的概率，计算期望值，拟合患者风险评分。
进一步地，训练图卷积神经网络模型预测患者死亡事件发生的时间段的损失函数表示为：
其中，是患者死亡事件发生的时间段，/>是患者死亡事件发生的前一个时间段；是患者死亡事件发生的概率，因此/>是患者死亡事件在/>时间间隔内发生的概率，/>代表条件指定的时间间隔y；/>表示第i个是患者的删失标签，根据是否删失有两种损失函数计算方法，最后求和。
另一方面，本发明还提供了一种基于双层图卷积神经网络的肝癌病理预后装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的一种基于双层图卷积神经网络的肝癌病理预后系统。
本发明的有益效果：
1.现有技术只通过注意力机制重点关注了肿瘤组织区域，然而研究表明病理切片上存在多种组织均对预后高度相关。本发明引入坏死标签和肿瘤伪标签，并使用标签对图块进行标注，两种对肝癌患者预后高度相关的组织类型标签能显著提高模型的预测性能。
2.现有技术只选用了50个图块参与预后预测，可能会遗漏关键预后信息。本发明对患者的全部肿瘤和坏死图块构建了第一级图网络，同时将图块信息与非影像信息融合构建了第二级图网络，充分利用了一张切片上的信息。
3.现有技术只对图块进行了特征提取，没有考虑图块之间的空间关系。本发明在构建坏死图时，通过图块间的欧几里得距离构建边，使模型能学习到病理切片丰富的组织空间信息，提高了预后的性能。
4.现有技术为纯影像模型，没有利用到临床非影像数据参与预后。本发明构建了患者图网络，通过患者病理切片特征构建节点，非影像数据构建边，巧妙的结合影像和非影像的数据，通过引入更多的患者信息，从而提高预后精确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明的一种基于双层图卷积神经网络的肝癌病理预后系统的示意图；
图2是本发明的坏死图构建示意图；
图3是本发明的患者图构建示意图；
图4是本发明一种基于双层图卷积神经网络的肝癌病理预后装置的结构图。
具体实施方式
以下结合附图对本发明具体实施方式作进一步详细说明。
如图1所示，本发明提供的一种基于双层图卷积神经网络的肝癌病理预后系统，分为纯影像和影像结合非影像共两层，具体包括预处理模块、识别模块、坏死图构建模块、注意力池化模块、患者图构建模块、图卷积神经网络模块（GCN模块）、风险评分模块共七个模块。其中预处理模块将原始病理切片进行组织提取、切块。识别模块识别出肿瘤图块和坏死图块用于后续的图构建。注意力池化模块将图块级别特征聚合成患者级别特征。坏死图构建模块主要根据识别模块得到的坏死图块和肿瘤图块进行空间图构建，为第一层图卷积神经网络。患者图构建模块则将患者级别的影像特征结合非影像信息进行图构建，为第二层图卷积神经网络。图卷积神经网络模块（GCN模块）将构建好的坏死图和患者图进行更新和训练。风险评分模块将图卷积网络输出结果转换成患者的生存风险评分。
所述预处理模块用于利用幻灯片缩略图的RGB 通道之间的差异，基于最大类间方差法Otsu方法（Otsu N. A threshold selection method from gray-level histograms[J]. IEEE transactions on systems, man, and cybernetics. 1979,9(1):62-6）可以计算阈值从而丢弃空白背景并去除边缘伪影和不同颜色的笔迹。前景组织分割后，使用滑动窗口将病理切片切成大小为224×224 像素的图块，放大倍数×5，得到每个切块的质心点坐标。
所述识别模块用于将预处理后的图块输入肝癌微坏死分类器，该分类器为预训练好的基于模糊比例标签的坏死识别模型（Ye Q, Zhang Q, Tian Y, Zhou T, et al.Method of tumor pathological micronecrosis quantification via deep learningfrom label fuzzy proportions[J]. IEEE Journal of Biomedical and HealthInformatics. 2021,25(9):3288-99），可对图块进行四分类，得到肿瘤、坏死、正常、非肝四种类别的图块。分类结束后，筛选出坏死图块和肿瘤图块，并将该分类结果作为图块的伪标签用于后续的图构建。
所述坏死图构建模块包括特征提取子模块和图块级节点子模块；
所述特征提取子模块用于将分类好的图块放入预训练好的resnet34的卷积层，得到512维的特征，结合图块的伪标签的一维特征转化为513维的节点特征。
所述图块级节点子模块用于将每个肿瘤图块或坏死图块均视为一个节点，空间坐标取自图块在图像中的位置即切块的质心点坐标。因为具有较小欧几里得距离的图块更有可能相互作用，使用 k-NN 算法（Zhou Y, Graham S, AlemiKoohbanani N, et al. Cgc-net: Cell graph convolutional network for gradingof colorectal cancer histology images[C]. Proceedings of the IEEE/CVFinternational conference on computer vision workshops. Seoul, Korea (South):IEEE Computer Society, 2019: 0-0）使得空间坐标较近的图块之间形成边。边的形式可以表示如下：
其中、/>分别表示第i、j个图块节点，/>表示第i、j个图块节点之间形成的边。指的是，离节点i最近的k个节点，k为提前设置的个数阈值。/>表示两个节点间特征向量的欧氏距离，d是设置的距离阈值。最后，根据节点特征向量、质心坐标和边构造坏死图。坏死图构造流程如图2所示。
为了得到患者级别的节点特征，所述注意力池化模块用于对图块节点进行池化，传统方法一般直接对所有节点进行平均池化，这样处理会弱化模型对关键区域的关注。因此本发明采用基于注意力机制的池化方案，将注意力池化模块放置在模型倒数第二层，最后接入全连接层拟合WSI级风险评分进行迭代训练。训练好的模型去掉全连接层，得到经过注意力层融合后的513维影像特征作为患者图网络的节点。
所述患者图构建模块使用单个非影像信息：TACE治疗构建边。根据患者是否接受过TACE治疗分为两组，同组内的所有患者特征间均计算一次的欧氏距离，使用k-NN算法取同组内距离较近的k个患者之间形成边。边的生成如图3所示，只有同组且欧氏距离相近的患者之间会形成边，这种边构建实际上挑选出了影像特征类似且治疗手段相同的患者构建了节点对；
所述图卷积神经网络模块（GCN模块）基于坏死图和患者图进行更新和训练，在网络架构部分，使用深度图卷积神经网络DeepGCN实现相邻节点的消息传递和更新。它包含多个隐藏层，通过这些隐藏层，节点特征在各自的空间域中传输和聚合。DeepGCN 消息传递函数可以表示为：
其中，、/>、/>分别对应第l隐藏层节点u、节点v和vu边的特征。/>表示第l隐藏层的消息构造函数，将节点和边的特征进行加运算，再进行/>激活，从而得到第l隐藏层的消息传递函数/>。/>表示消息聚合函数，是一个Softmax聚合计算，它计算了一个注意力权重/>，这个权重/>决定了多少比例的/>组成第l隐藏层的聚合消息传递函数/>，指的与节点v有边连接的节点集合。/>表示节点更新函数，将当前节点特征和聚合消息加在一起，再传入多层感知器。最后，GCN的输出和输入相加，作为下一层GCN的输入，使多层GCN的输出结果迭代叠加，防止因GCN层数过多而导致过度平滑：
其中是当前层的GCN网络，/>、/>对应引入了残差连接的当前层和上一层的最终输出结果。
为了解决回归任务难收敛和对数据量要求巨大的弊端，所述风险评分模块使用分类任务取代了传统的回归任务，将患者的生存时间均匀离散为四个区间，训练图卷积神经网络模型预测患者死亡事件发生的时间段，从预后的意义上，图卷积神经网络模型实际上将患者分成了不同的风险区间。损失函数可表示为：
其中是患者死亡事件发生的时间段，/>是患者死亡事件发生的前一个时间段。是患者死亡事件发生的概率，因此/>是患者死亡事件在/>时间间隔内发生的概率，/>代表条件指定的时间间隔y。/>指的是第i个患者的删失标签，根据是否删失有两种损失函数计算方法，最后求和。根据4个时间间隔的概率，计算期望值，拟合患者风险评分。由于存在两层GCN网络，因此会输出两个风险评分，第一层对应的是纯病理风险评分，第二层是多模态结合风险评分。风险评分越高，对应模型预测患者的预后越差，死亡风险越高，以坏死图得到的纯病理风险评分为基准判断，以患者图得到的影像信息和非影像信息结合的多模态风险评分为辅助判断，综合进行预后判断后建议医生高度关注并制定治疗方案。
与前述一种基于双层图卷积神经网络的肝癌病理预后方法的实施例相对应，本发明还提供了一种基于双层图卷积神经网络的肝癌病理预后装置的实施例。
参见图4，本发明实施例提供的一种基于双层图卷积神经网络的肝癌病理预后装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上述实施例中的一种基于双层图卷积神经网络的肝癌病理预后方法。
本发明提供的一种基于双层图卷积神经网络的肝癌病理预后装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本发明提供的一种基于双层图卷积神经网络的肝癌病理预后装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种基于双层图卷积神经网络的肝癌病理预后方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。
Claims (10)
1.一种基于双层图卷积神经网络的肝癌病理预后系统，其特征在于，该系统包括预处理模块、识别模块、坏死图构建模块、注意力池化模块、患者图构建模块、图卷积神经网络模块和风险评分模块；
所述预处理模块用于将原始病理切片进行组织提取并切成图块；
所述识别模块用于识别出预处理模块得到的图块中的肿瘤图块和坏死图块；
所述坏死图构建模块用于根据识别模块得到的坏死图块和肿瘤图块，提取图块特征作为节点，基于欧式距离使相近的图块之间形成边，进行坏死图构建；
所述注意力池化模块用于对图块节点进行池化，将图块级别特征聚合成患者级别的影像特征；
所述患者图构建模块用于将患者级别的影像特征作为节点，以非影像信息作为边，进行患者图构建；
所述图卷积神经网络模块用于基于构建好的坏死图和患者图进行更新和训练；
所述风险评分模块用于将图卷积神经网络模块的输出结果转换成患者的生存风险评分，以坏死图得到的纯病理风险评分为基准，以患者图得到的影像信息和非影像信息结合的多模态风险评分为辅助，进行预后判断。
2.根据权利要求1所述的一种基于双层图卷积神经网络的肝癌病理预后系统，其特征在于，所述预处理模块基于最大类间方差法Otsu方法进行前景组织分割，使用滑动窗口将WSI进行切块。
3.根据权利要求1所述的一种基于双层图卷积神经网络的肝癌病理预后系统，其特征在于，所述识别模块通过预训练好的基于模糊比例标签的坏死识别模型对图块进行分类，筛选出坏死图块和肿瘤图块，并将分类结果作为图块的伪标签。
4.根据权利要求3所述的一种基于双层图卷积神经网络的肝癌病理预后系统，其特征在于，所述坏死图构建模块包括特征提取子模块和图块级节点子模块；
所述特征提取子模块用于将分类好的图块放入预训练好的卷积层，提取多维特征，结合图块的伪标签形成多维节点特征向量；
所述图块级节点子模块用于将每个肿瘤图块或坏死图块均视为一个节点，空间坐标取自图块在图像中的位置，基于k-NN 算法和欧氏距离阈值使得空间坐标最近的k个图块之间形成边，构造坏死图。
5.根据权利要求1所述的一种基于双层图卷积神经网络的肝癌病理预后系统，其特征在于，所述患者图构建模块使用非影像信息TACE治疗构建边，根据患者是否接受过TACE治疗分为两组，同组内的所有患者特征间均计算一次的欧氏距离，使用k-NN算法取同组内距离最近的k个患者之间形成边。
6.根据权利要求1所述的一种基于双层图卷积神经网络的肝癌病理预后系统，其特征在于，所述图卷积神经网络模块使用深度图卷积神经网络DeepGCN实现相邻节点的消息传递和更新。
7.根据权利要求6所述的一种基于双层图卷积神经网络的肝癌病理预后系统，其特征在于，深度图卷积神经网络DeepGCN中，GCN的输出和输入相加，作为下一层GCN的输入，使多层GCN的输出结果迭代叠加，得到最终输出结果。
8.根据权利要求1所述的一种基于双层图卷积神经网络的肝癌病理预后系统，其特征在于，所述风险评分模块将患者的生存时间均匀离散为四个区间，训练图卷积神经网络模型预测患者死亡事件发生的时间段，根据患者死亡事件发生的概率，计算期望值，拟合患者风险评分。
9.根据权利要求8所述的一种基于双层图卷积神经网络的肝癌病理预后系统，其特征在于，训练图卷积神经网络模型预测患者死亡事件发生的时间段的损失函数表示为：
；
其中，是患者死亡事件发生的时间段，/>是患者死亡事件发生的前一个时间段；/>是患者死亡事件发生的概率，因此/>是患者死亡事件在/>时间间隔内发生的概率，代表条件指定的时间间隔y；/>表示第i个是患者的删失标签，根据是否删失有两种损失函数计算方法，最后求和。
10.一种基于双层图卷积神经网络的肝癌病理预后装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，实现如权利要求1-9中任一项所述的一种基于双层图卷积神经网络的肝癌病理预后系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310962835.4A CN116682576B (zh) | 2023-08-02 | 2023-08-02 | 一种基于双层图卷积神经网络的肝癌病理预后系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310962835.4A CN116682576B (zh) | 2023-08-02 | 2023-08-02 | 一种基于双层图卷积神经网络的肝癌病理预后系统及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116682576A true CN116682576A (zh) | 2023-09-01 |
| CN116682576B CN116682576B (zh) | 2023-12-19 |
Family
ID=87789482
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310962835.4A Active CN116682576B (zh) | 2023-08-02 | 2023-08-02 | 一种基于双层图卷积神经网络的肝癌病理预后系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116682576B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105653858A (zh) * | 2015-12-31 | 2016-06-08 | 中国科学院自动化研究所 | 一种基于影像组学的病变组织辅助预后系统和方法 |
| CN111462042A (zh) * | 2020-03-03 | 2020-07-28 | 西北工业大学 | 癌症预后分析方法及系统 |
| CN112434172A (zh) * | 2020-10-29 | 2021-03-02 | 西安交通大学 | 一种病理图像预后特征权重计算方法及系统 |
| US20210193301A1 (en) * | 2019-12-20 | 2021-06-24 | PAIGE.AI, Inc. | Systems and methods for processing electronic images for health monitoring and forecasting |
| CN113496484A (zh) * | 2021-06-24 | 2021-10-12 | 上海联影智能医疗科技有限公司 | 病理切片图像处理方法、电子设备及存储介质 |
| CN113628157A (zh) * | 2020-05-06 | 2021-11-09 | 德克萨斯大学体系董事会 | 利用病理图像来表征肿瘤微环境的系统和方法 |
| CN113947607A (zh) * | 2021-09-29 | 2022-01-18 | 电子科技大学 | 一种基于深度学习的癌症病理图像生存预后模型构建方法 |
| CN114937045A (zh) * | 2022-06-20 | 2022-08-23 | 四川大学华西医院 | 一种肝细胞癌病理图像分割系统 |
| CN115100467A (zh) * | 2022-06-22 | 2022-09-23 | 北京航空航天大学 | 一种基于核注意力网络的病理全切片图像分类方法 |
| CN115497623A (zh) * | 2022-09-27 | 2022-12-20 | 山东第一医科大学(山东省医学科学院) | 一种基于影像、病理和基因多组学的肺癌预后预测系统 |
| CN115620913A (zh) * | 2022-10-31 | 2023-01-17 | 复旦大学 | 基于图卷积网络的肝移植术后肿瘤复发预测方法 |
| CN116012353A (zh) * | 2023-02-07 | 2023-04-25 | 中国科学院重庆绿色智能技术研究院 | 一种基于图卷积神经网络的数字病理组织图像识别方法 |
-
2023
- 2023-08-02 CN CN202310962835.4A patent/CN116682576B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105653858A (zh) * | 2015-12-31 | 2016-06-08 | 中国科学院自动化研究所 | 一种基于影像组学的病变组织辅助预后系统和方法 |
| US20210193301A1 (en) * | 2019-12-20 | 2021-06-24 | PAIGE.AI, Inc. | Systems and methods for processing electronic images for health monitoring and forecasting |
| CN111462042A (zh) * | 2020-03-03 | 2020-07-28 | 西北工业大学 | 癌症预后分析方法及系统 |
| CN113628157A (zh) * | 2020-05-06 | 2021-11-09 | 德克萨斯大学体系董事会 | 利用病理图像来表征肿瘤微环境的系统和方法 |
| CN112434172A (zh) * | 2020-10-29 | 2021-03-02 | 西安交通大学 | 一种病理图像预后特征权重计算方法及系统 |
| CN113496484A (zh) * | 2021-06-24 | 2021-10-12 | 上海联影智能医疗科技有限公司 | 病理切片图像处理方法、电子设备及存储介质 |
| CN113947607A (zh) * | 2021-09-29 | 2022-01-18 | 电子科技大学 | 一种基于深度学习的癌症病理图像生存预后模型构建方法 |
| CN114937045A (zh) * | 2022-06-20 | 2022-08-23 | 四川大学华西医院 | 一种肝细胞癌病理图像分割系统 |
| CN115100467A (zh) * | 2022-06-22 | 2022-09-23 | 北京航空航天大学 | 一种基于核注意力网络的病理全切片图像分类方法 |
| CN115497623A (zh) * | 2022-09-27 | 2022-12-20 | 山东第一医科大学(山东省医学科学院) | 一种基于影像、病理和基因多组学的肺癌预后预测系统 |
| CN115620913A (zh) * | 2022-10-31 | 2023-01-17 | 复旦大学 | 基于图卷积网络的肝移植术后肿瘤复发预测方法 |
| CN116012353A (zh) * | 2023-02-07 | 2023-04-25 | 中国科学院重庆绿色智能技术研究院 | 一种基于图卷积神经网络的数字病理组织图像识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| QIANCHENG YE 等: "Method of Tumor Pathological Micronecrosis Quantification Via Deep Learning From Label Fuzzy Proportions", 《IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS》, vol. 25, no. 9, pages 3288 - 3299, XP011876398, DOI: 10.1109/JBHI.2021.3071276 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116682576B (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Silva-Rodríguez et al. | Going deeper through the Gleason scoring scale: An automatic end-to-end system for histology prostate grading and cribriform pattern detection | |
| CN111882560B (zh) | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 | |
| Wang et al. | Weakly supervised learning for whole slide lung cancer image classification | |
| CN111754453A (zh) | 基于胸透图像的肺结核检测方法、系统和存储介质 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| Wang et al. | Prototype transfer generative adversarial network for unsupervised breast cancer histology image classification | |
| CN116884597A (zh) | 基于自监督预训练和多示例学习的病理图像乳腺癌分子分型方法及系统 | |
| Liu et al. | Automated classification of cervical Lymph-Node-Level from ultrasound using depthwise separable convolutional swin transformer | |
| CN114842030A (zh) | 一种多尺度语义匹配的膀胱肿瘤图像分割方法 | |
| CN112990339B (zh) | 胃病理切片图像分类方法、装置及存储介质 | |
| CN113139931B (zh) | 甲状腺切片图像分类模型训练方法、装置 | |
| Wang et al. | Cross-domain nuclei detection in histopathology images using graph-based nuclei feature alignment | |
| Li et al. | High-order correlation-guided slide-level histology retrieval with self-supervised hashing | |
| CN116206756B (zh) | 肺腺癌数据处理方法、系统、设备及计算机可读存储介质 | |
| Liu et al. | Attention combined pyramid vision transformer for polyp segmentation | |
| Peng et al. | enhancing colorectal cancer histological image classification using transfer learning and ResNet50 CNN Model | |
| CN116230237B (zh) | 一种基于roi病灶特征的肺癌影响评价方法和系统 | |
| Tang et al. | Explainable survival analysis with uncertainty using convolution-involved vision transformer | |
| CN112381818A (zh) | 面向亚类疾病的医学图像识别增强方法 | |
| Sun et al. | Detection of breast tumour tissue regions in histopathological images using convolutional neural networks | |
| CN116682576B (zh) | 一种基于双层图卷积神经网络的肝癌病理预后系统及装置 | |
| CN116433583A (zh) | 基于多神经网络融合的乳腺癌病理图像分级方法 | |
| CN113139930B (zh) | 甲状腺切片图像分类方法、装置、计算机设备和存储介质 | |
| CN112151175B (zh) | 一种基于影像学数据的计算机辅助多人决策方法、系统及设备 | |
| Sumon et al. | Exploring Deep Learning and Machine Learning Techniques for Histopathological Image Classification in Lung Cancer Diagnosis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |