CN112819768B - 基于dcnn的癌症全视野数字病理切片生存分析方法 - Google Patents

基于dcnn的癌症全视野数字病理切片生存分析方法 Download PDF

Info

Publication number
CN112819768B
CN112819768B CN202110104450.5A CN202110104450A CN112819768B CN 112819768 B CN112819768 B CN 112819768B CN 202110104450 A CN202110104450 A CN 202110104450A CN 112819768 B CN112819768 B CN 112819768B
Authority
CN
China
Prior art keywords
sample
samples
training
survival
pathological section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110104450.5A
Other languages
English (en)
Other versions
CN112819768A (zh
Inventor
高强
颜波
谭伟敏
丁光宇
凌宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202110104450.5A priority Critical patent/CN112819768B/zh
Publication of CN112819768A publication Critical patent/CN112819768A/zh
Application granted granted Critical
Publication of CN112819768B publication Critical patent/CN112819768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本发明属于医学图像智能处理技术领域，具体为一种基于DCNN的癌症全视野数字病理切片生存分析方法。本发明方法包括，从病理切片中淋巴密集区域、坏死区域、肿瘤区域分别取若干图像块，同切片的全局分割一起送入一个卷积神经网络通过前向传播获得该切片的生存时间分布。可从预测所得生存时间分布中获得患者在若干个时间区间的死亡概率，通过累加可获得患者在若干时间节点前的生存概率。本发明以切片局部的图像以及全局的组织分布作为输入，输出患者的生存时间分布，帮助医生估计患者的预后状况，从而辅助癌症早期临床诊断。

Description

基于DCNN的癌症全视野数字病理切片生存分析方法
技术领域
本发明属于医学图像智能处理技术领域，具体涉及一种病理切片生存分析方法，更具体地说，涉及一种基于卷积神经网络的癌症全视野数字病理切片生存分析方法。
背景技术
随着全切片扫描技术的发展，大量组织切片被扫描为全视野数字病理切片(Wholeslide image,WSI)，以数字化的形式存储，并广泛应用于癌症病理诊断之中。专业医生虽然能够通过对WSI进行分析完成诊断，但由于WSI尺寸极大，医生难以关注到其中的所有细节。同时，影响癌症预后的因素非常多，医生也难以通过病理切片对病人预后的相关信息进行分析。
而通过使用机器学习算法，将计算机运用于病理切片分析之中，能够借助计算机的算力优势在大量WSI上进行学习，并使用训练所得的模型对WSI进行分析，将结果可视化后辅助医生进行诊断，从而充分利用WSI中包含的丰富图像信息。
深度卷积神经网络(Deep convolutional neural network,DCNN)是一种机器学习技术，可以有效避免人为因素，自动从有标记的大量数据中学习如何提取丰富的具有代表性的视觉特征。该技术使用反向传播优化算法，让机器更新其内部参数，学习输入图像到标签的映射关系。近年来，DCNN大大提高了计算机视觉中各项任务的性能。
2012年，Krizhevsky等人[1]首次在ImageNet[2]图像分类比赛中应用深度卷积神经网络，并以15.3％的Top-5错误率获得冠军，引起了深度学习的热潮。2015年，Simonyan等人[3]提出了16和19层的神经网络VGG-16和VGG-19，增加了网络的参数量，进一步提升了ImageNet图像分类任务的结果。2016年，He等人[4]使用152层的残差网络ResNet取得了超过了人眼的分类效果。
DCNN不仅在图像分类任务中有卓越的表现，在一些结构化输出的任务中，如物体检测[5-7]、语义分割[8,9]中也同样取得了卓越的效果。如果将DCNN应用在计算机辅助诊断(computer aided diagnosis，CAD)中，则可以辅助医生做出更好的医疗诊断，早发现、早治疗，提高治疗效果。
生存分析旨在对样本与观测事件发生时间的关系建立模型。而医学任务中常用的传统生存分析方法Cox比例风险模型[10]假设样本与生存状态之间的关系与时间无关，并且用线性拟合回归一个时间无关的风险率，即假设样本各个特征对风险率的影响是线性的。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种基于卷积神经网络(DCNN)的癌症全视野数字病理切片(WSI)生存分析方法，排除人为因素影响，实现对全视野数字病理切片的自动生存分析。
本发明提出基于卷积神经网络的癌症全视野数字病理切片(WSI)的生存分析方法，具体步骤包括：
(1)病理切片采样
本发明要求，有一张已知淋巴密集区域、坏死区域、肿瘤区域、癌旁区域的病理切片，从淋巴密集区域、坏死区域中分别随机采样1个长宽为1024像素的图像；从肿瘤区域中随机采样5个长宽为1024像素的图像。将上述四种区域的掩膜组合为一个4通道的图像，并将其缩放至长宽为512像素作为病理切片的全局分割图。7个采样所得图像块及全局分割图形成一个样本，以此为单位进行模型的训练、测试。
(2)构建预后模型，对样本进行生存分析
特征提取器是在ResNet18基础上去除后两个卷积块及全连接层，再加上一层全局平均池化层构建得到。每个样本对网络的输入可分为四组：淋巴密集区域图像块、坏死区域图像块、肿瘤区域图像块及全局分割。每组输入都经过一个特征提取器得到特征向量，其中，各组输入的特征提取器之间不共享参数。
得到特征向量后，对特征向量进行加权求和，权值为可学习参数，在模型训练过程中由模型自行学习所得，可一定程度上反映各组输入对预测结果的重要性。
加权求和所得特征向量通过全连接层回归得到生存时间分布，其中激活函数为Softmax。生存时间分布以一个三维向量表示，其各个维度分别表示样本在0～24个月、24～60 个月、超过60个月的时间区间内死亡的概率，通过激活函数约束三个概率的和为1。
(3)预后模型训练
网络训练所使用的的损失函数目标为最大化似然概率，在训练过程中遍历各个未删失样本，在计算损失时与所有样本(包括删失样本)的预测结果进行比较，从而在训练过程中利用到全部样本的信息。具体损失函数为：
Figure BDA0002917297650000021
其中，GT(x|ti)表示样本x在时间区间ti是否死亡，Tj表示样本xj观测到的死亡时间(若为删失样本，则是最后观测到样本存活的时间)，f(x|t)表示样本x由模型f预测的在时间区间t上的死亡概率。
本发明中，预后模型的训练流程如下：
首先，根据标注对每张病理切片的不同区域裁剪若干不重合的图像块，图像块长宽皆为1024个像素，按照采样方法与切片的全局分割组合为样本，存储后作为数据集；使用上述样本构成的数据集使用所述损失函数进行训练。
其中，训练所使用数据至少包括1169张病理切片，来自363位患者，其中有123例存在删失情况。从切片中裁剪出23166个样本作为训练，5528个样本作为测试，保证训练及测试样本来自不同患者。
相应于上述生存分析方法，本发明还涉及基于卷积神经网络的癌症全视野数字病理切片的生存分析系统。该系统包括3个模块，分别为：病理切片采样，生存分析预后模型，模型训练模块，对应执行上述三个步骤的操作。
本发明使用Time-dependent Concordance Index[11](CI)作为评价预后模型性能的指标，该指标评价模型预测的生存时间分布在两两样本之间是否符合观测所得生存时间的大小关系，其值域为[0,1]，值越大表示模型性能越好，本发明在测试集上的CI为0.702482。同时，模型对肿瘤区域、淋巴密集区域、坏死区域、全局分割所得特征进行了可学习的加权求和，训练所得权重依次为0.22696304、0.22589181、0.22594956、0.3211956，可见全局分割对于模型预测生存时间分布的贡献最大。
本发明使用DCNN直接预测生存时间分布，避免了Cox模型中的假设，且能够有更好的非线性表达能力。因而能够获得更好的生存分析性能，帮助医生估计患者的预后状况，辅助早期诊断。
附图说明
图1为本发明的流程图示。
图2为特征提取器图示。
图3为特征加权求和及生存时间分布预测图示。
具体实施方式
下面对本发明实施方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
采用图1中的流程框架，用363位患者的1169张有已知淋巴密集区域、坏死区域、肿瘤区域、癌旁区域分布的病理切片进行训练，获得能够自动对癌症病理切片进行自动生存分析的预后模型。
具体流程为：
(1)训练前，从淋巴密集区域、坏死区域中分别随机采样1个长宽为1024像素的图像；从肿瘤区域中随机采样5个长宽为1024像素的图像。并且，将上述四种区域的掩膜组合为一个4通道的图像，并将其缩放至长宽为512像素作为病理切片的全局分割图。7 个采样所得图像块及全局分割图形成一个样本，以此为单位进行模型的训练、测试。
(2)训练时，设初始学习率为0.001，用小批量随机梯度下降的方法，最小化损失函数，批的大小设为2。在训练过程中遍历各个未删失样本，在计算损失时与所有样本(包括删失样本)的预测结果进行比较，从而在训练过程中利用到全部样本的信息。
(3)测试时，对病理切片根据所述采样方法取得样本，通过预后模型预测得到一个三维向量，其各个维度分别表示样本在0～24个月、24～60个月、超过60个月的时间区间内死亡的概率，通过激活函数约束三个概率的和为1。
图2为本发明的特征提取器，通过经过修改的ResNet18及全局平均池化(GAP)获得某一输入的特征向量。
图3为本发明使用不同输入的特征进行回归生存时间分布的过程，将四个特征向量通过权值可学习的加权求和获得融合后的特征向量，再经过全连接层预测最终的生存时间分布。
参考文献
[1]Krizhevsky,A.,Sutskever,I.&Hinton,G.E.ImageNet classification withdeep convolutional neural networks.Advances in Neural Information ProcessingSystems,1097-1105 (2012).
[2]Russakovsky,O.,Deng,J.,Su,H.et al.ImageNet Large Scale VisualRecognition Challenge. International Journal of Computer Vision 115,211-252(2015).
[3]Simonyan,K.&Zisserman A.Very deep convolutional networks forlarge-scale image recognition.International Conference on RepresentationLearning,(2014).
[4]He,K.,Zhang,X.,Ren,S.&Sun,J.Deep residual learning for imagerecognition.IEEE Conference on Computer Vision and Pattern Recognition,770-778(2016).
[5]Girshick,R.,Donahue,J.,Darrell,T.&Malik,J.Rich feature hierarchiesfor accurate object detection and semantic segmentation.IEEE Conference onComputer Vision and Pattern Recognition,580-587(2014).
[6]Girshick,R.Fast R-CNN.IEEE International Conference on ComputerVision,1440-1448 (2015).
[7]Ren,S.,He,K.,Girshick,R.&Sun,J.Faster R-CNN:Towards real-timeobject detection with region proposal networks.Neural Information ProcessingSystems,(2015).
[8]Long,J.,Shelhamer,E.&Darrell,T.Fully convolutional networks forsemantic segmentation. IEEE International Conference on Computer Vision,3431-3440(2015).
[9]Chen,L.,Papandreou,G.,Kokkinos,I.,Murphy,K.&Yuille,A.L.DeepLab:Semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected CRFs. IEEE Transactions on Pattern Analysis and MachineIntelligence 40,834-848(2018).
[10]David R.Cox.Regression models and life-tables.Breakthroughs inStatistics:Methodology and Distribution,pages 527–541(1992)
[11]Antolini,L.,Boracchi,P.and Biganzoli,E.Atime-dependentdiscrimination index for survival data.Statsin Medicine,24(24):3927–3944(2005)。

Claims (2)

1.一种基于DCNN的癌症全视野数字病理切片生存分析方法，其特征在于，具体步骤为：
（1）病理切片采样
对于一张已知淋巴密集区域、坏死区域、肿瘤区域、癌旁区域的病理切片，从淋巴密集区域、坏死区域中分别随机采样1个长宽为1024像素的图像；从肿瘤区域中随机采样5个长宽为1024像素的图像；将上述四种区域的掩膜组合为一个4通道的图像，并将其缩放至长宽为512像素作为病理切片的全局分割图；7个采样所得图像块及全局分割图形成一个样本，以此为单位进行模型的训练、测试；
（2）构建预后模型，对样本进行生存分析
在ResNet18基础上去除后两个卷积块及全连接层，再加上一层全局平均池化层，构建得到特征提取器；每个样本对网络的输入分为四组：淋巴密集区域图像块、坏死区域图像块、肿瘤区域图像块及全局分割图；每组输入都经过一个特征提取器提取得到特征向量，其中，各组输入的特征提取器之间不共享参数；
得到特征向量后，对特征向量进行加权求和，权值为可学习参数，在模型训练过程中由模型自行学习所得，权值反映各组输入对预测结果的重要性；
加权求和所得特征向量通过全连接层回归得到生存时间分布，其中激活函数为Softmax；生存时间分布以一个三维向量表示，其各个维度分别表示样本在0~24个月、24~60个月、超过60个月的时间区间内死亡的概率，通过激活函数约束三个概率的和为1；
（3）预后模型训练
网络的损失函数目标为最大化似然概率，在训练过程中遍历各个未删失样本，在计算损失时与所有样本的预测结果进行比较，从而在训练过程中利用到全部样本的信息；具体损失函数为：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
表示样本x在时间区间t i 是否死亡，T j 表示样本x j 观测到的死亡时间；若为删失样本，则是最后观测到样本存活的时间，
Figure DEST_PATH_IMAGE006
表示样本x由模型
Figure DEST_PATH_IMAGE008
预测的在时间区间t上的死亡概率。
2.根据权利要求1所述的方法，其特征在于，预后模型的训练流程如下：
首先，根据标注对每张病理切片的不同区域裁剪若干不重合的图像块，图像块长宽皆为1024个像素，按照采样方法与切片的全局分割组合为样本，存储后作为数据集；使用上述样本构成的数据集使用所述损失函数进行训练；
其中，训练所使用数据至少包括1169张病理切片，来自363位患者，其中有123例存在删失情况；从切片中裁剪出23166个样本作为训练，5528个样本作为测试，保证训练及测试样本来自不同患者。
CN202110104450.5A 2021-01-26 2021-01-26 基于dcnn的癌症全视野数字病理切片生存分析方法 Active CN112819768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110104450.5A CN112819768B (zh) 2021-01-26 2021-01-26 基于dcnn的癌症全视野数字病理切片生存分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110104450.5A CN112819768B (zh) 2021-01-26 2021-01-26 基于dcnn的癌症全视野数字病理切片生存分析方法

Publications (2)

Publication Number Publication Date
CN112819768A CN112819768A (zh) 2021-05-18
CN112819768B true CN112819768B (zh) 2022-06-17

Family

ID=75859387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110104450.5A Active CN112819768B (zh) 2021-01-26 2021-01-26 基于dcnn的癌症全视野数字病理切片生存分析方法

Country Status (1)

Country Link
CN (1) CN112819768B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591919B (zh) * 2021-06-29 2023-07-21 复旦大学附属中山医院 基于ai对早期肝细胞癌术后复发预后的分析方法及系统
CN115083574B (zh) * 2022-08-22 2022-12-06 四川大学华西医院 癌症预后生存预测方法、系统、计算机设备及存储介质
CN117333485B (zh) * 2023-11-30 2024-04-05 华南理工大学 基于弱监督深度序数回归网络的wsi生存预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111895A (zh) * 2019-05-15 2019-08-09 天津医科大学肿瘤医院 一种鼻咽癌远端转移预测模型的建立方法
CN111462042A (zh) * 2020-03-03 2020-07-28 西北工业大学 癌症预后分析方法及系统
CN111640510A (zh) * 2020-04-09 2020-09-08 之江实验室 一种基于深度半监督多任务学习生存分析的疾病预后预测系统
CN112102332A (zh) * 2020-08-30 2020-12-18 复旦大学 基于局部分类神经网络的癌症wsi的分割方法
CN112184658A (zh) * 2020-09-24 2021-01-05 上海健康医学院 用于非小细胞肺癌预后生存预测的方法、介质及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11107583B2 (en) * 2018-03-20 2021-08-31 Case Western Reserve University Sequential integration of adversarial networks with handcrafted features (SANwicH): identifying sites of prognostic significance for predicting cancer recurrence
TWI681406B (zh) * 2018-12-20 2020-01-01 中國醫藥大學附設醫院 腫瘤影像深度學習輔助子宮頸癌患者預後預測系統、方法及電腦程式產品

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111895A (zh) * 2019-05-15 2019-08-09 天津医科大学肿瘤医院 一种鼻咽癌远端转移预测模型的建立方法
CN111462042A (zh) * 2020-03-03 2020-07-28 西北工业大学 癌症预后分析方法及系统
CN111640510A (zh) * 2020-04-09 2020-09-08 之江实验室 一种基于深度半监督多任务学习生存分析的疾病预后预测系统
CN112102332A (zh) * 2020-08-30 2020-12-18 复旦大学 基于局部分类神经网络的癌症wsi的分割方法
CN112184658A (zh) * 2020-09-24 2021-01-05 上海健康医学院 用于非小细胞肺癌预后生存预测的方法、介质及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Deep learning with multimodal representation;Anika Cheerla1,Olivier Gevaert;《Bioinformatics》;20191231;全文 *
深度学习在肺癌患者生存预测中的应用研究;潘浩等;《计算机工程与应用》;20171010(第14期);全文 *

Also Published As

Publication number Publication date
CN112819768A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN112819768B (zh) 基于dcnn的癌症全视野数字病理切片生存分析方法
CN112017191B (zh) 基于注意力机制的肝脏病理图像分割模型建立及分割方法
CN111985536B (zh) 一种基于弱监督学习的胃镜病理图像分类方法
Liu et al. A framework of wound segmentation based on deep convolutional networks
Wu et al. U-GAN: Generative adversarial networks with U-Net for retinal vessel segmentation
Pan et al. Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review
CN107516312A (zh) 一种应用浅层神经网络的中医面色自动分类方法
CN112102332A (zh) 基于局部分类神经网络的癌症wsi的分割方法
Jaiswal et al. Deep learning-based smart IoT health system for blindness detection using retina images
Wazir et al. HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images
Wu et al. DA-U-Net: densely connected convolutional networks and decoder with attention gate for retinal vessel segmentation
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN114943721A (zh) 一种建立基于改进U-Net网络的颈部超声图像分割方法
CN114140437A (zh) 一种基于深度学习的眼底硬渗出物分割方法
CN112102234B (zh) 基于目标检测神经网络的耳硬化病灶检测及诊断系统
CN112308827A (zh) 基于深度卷积神经网络的毛囊检测方法
Ram et al. Combined detection and segmentation of cell nuclei in microscopy images using deep learning
CN114627123B (zh) 综合双流加权网络和空间注意力机制的白带细胞检测方法
CN111755131A (zh) 一种基于注意力引导的covid-19早筛和严重程度评估方法和系统
Dhawan et al. Deep Learning Based Sugarcane Downy Mildew Disease Detection Using CNN-LSTM Ensemble Model for Severity Level Classification
Vo et al. Brain Tumor Segmentation in MRI Images Using A Modified U-Net Model
Ouyang et al. Automatic No-Reference kidney tissue whole slide image quality assessment based on composite fusion models
Jung et al. Integration of deep learning and graph theory for analyzing histopathology whole-slide images
Roopa et al. Mortality Prediction of Lung Cancer from CT Images Using Deep Learning Techniques
Mustafa et al. Capability of new features of cervical cells for cervical cancer diagnostic system using hierarchical neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant