CN116363647A - 基于深度语义分割网络的肺癌病理组织分型系统 - Google Patents
基于深度语义分割网络的肺癌病理组织分型系统 Download PDFInfo
- Publication number
- CN116363647A CN116363647A CN202310317036.1A CN202310317036A CN116363647A CN 116363647 A CN116363647 A CN 116363647A CN 202310317036 A CN202310317036 A CN 202310317036A CN 116363647 A CN116363647 A CN 116363647A
- Authority
- CN
- China
- Prior art keywords
- cancer
- probability
- lung cancer
- typing
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010058467 Lung neoplasm malignant Diseases 0.000 title claims abstract description 123
- 201000005202 lung cancer Diseases 0.000 title claims abstract description 123
- 208000020816 lung neoplasm Diseases 0.000 title claims abstract description 123
- 230000011218 segmentation Effects 0.000 title claims abstract description 48
- 230000001575 pathological effect Effects 0.000 title claims abstract description 40
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 179
- 201000011510 cancer Diseases 0.000 claims abstract description 176
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000002372 labelling Methods 0.000 claims description 59
- 238000012549 training Methods 0.000 claims description 37
- 208000009956 adenocarcinoma Diseases 0.000 claims description 25
- 238000011156 evaluation Methods 0.000 claims description 19
- 230000005477 standard model Effects 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 17
- 230000035945 sensitivity Effects 0.000 claims description 13
- 238000012795 verification Methods 0.000 claims description 13
- 208000000649 small cell carcinoma Diseases 0.000 claims description 11
- 206010041823 squamous cell carcinoma Diseases 0.000 claims description 11
- 238000001574 biopsy Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 8
- 230000002380 cytological effect Effects 0.000 claims description 7
- 238000010200 validation analysis Methods 0.000 claims description 6
- 238000002271 resection Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 4
- 210000001519 tissue Anatomy 0.000 description 53
- 210000004027 cell Anatomy 0.000 description 19
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 210000004072 lung Anatomy 0.000 description 5
- 230000007170 pathology Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000002154 non-small cell lung carcinoma Diseases 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000029729 tumor suppressor gene on chromosome 11 Diseases 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000010507 Adenocarcinoma of Lung Diseases 0.000 description 1
- 206010041067 Small cell lung cancer Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 230000000762 glandular Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000002055 immunohistochemical effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 201000005249 lung adenocarcinoma Diseases 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 208000000587 small cell lung carcinoma Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本发明公开了基于深度语义分割网络的肺癌病理组织分型系统，包括：设置肺癌识别模型、肺癌分型识别模型；根据所述肺癌识别模型对输入的病理组织切片图像进行图像预测处理，基于深度语义分割网络技术预测出切片图像中每个像素点为癌的第一概率，将所述第一概率大于等于第一概率阈值的像素点设定为癌变区域；将所有癌变区域图像输入至肺癌分型识别模型，基于深度语义分割网络技术确定癌变区域图像中每个像素点为各个癌分型的第二概率，根据第二概率的统计值确定一张病理组织切片图像对应的癌分型，以及对应该癌分型的预测概率。通过预测癌变区域以及癌变区域中各个像素点所属的癌分型，统计学统计相应癌分型的预测概率，提升癌分型的分类的精确性。
Description
技术领域
本发明涉及，具体涉及基于深度语义分割网络的肺癌病理组织分型系统。
背景技术
2018年，世界卫生组织发布的《全球癌症报告》指出，肺癌已经成为全球发病率和死亡率最高的恶性肿瘤。对肺癌的精准治疗，首要的便是精准诊断明确病理分型，尤其是临床最多见的肺腺癌、鳞癌和小细胞癌。随着患者数量的增长，病理科工作量不断增加，医生负担越来越重，引入人工智能辅助诊断变得十分迫切。
因此，近些年来，人工智能开始应用于医学领域。在病理方面，深度学习在乳腺、胃肠道、淋巴结、前列腺等器官的人工智能诊断方面都取得了一定的成果，在肺部人工智能病理研究方面，Coudray教授使用Inception v3图像分类模型仅对非小细胞肺癌做了尝试，能够完成肺癌的识别与腺、鳞两种分型的诊断。由于Inception v3仅能完成图像块级别的分类任务，其模型不能准确勾勒出肿瘤区域，获得像素级的识别结果。因此，现在亟需一种可以达到像素级精确的识别模型，以提升肺癌区域的准确识别率。
发明内容
本发明提供基于深度语义分割网络的肺癌病理组织分型系统，以解决现有技术中存在的上述问题。
本发明提供基于深度语义分割网络的肺癌病理组织分型系统，包括：肺癌识别模型、肺癌分型识别模型；
根据所述肺癌识别模型对输入的病理组织切片图像进行图像预测处理，基于深度语义分割网络技术预测出切片图像中每个像素点为癌的第一概率，将所述第一概率大于等于第一概率阈值的像素点设定为癌变区域；
将所有癌变区域图像输入至肺癌分型识别模型，基于深度语义分割网络技术确定癌变区域图像中每个像素点为各个癌分型的第二概率，根据第二概率的统计值确定一张病理组织切片图像对应的癌分型，以及对应该癌分型的预测概率。
优选的，根据第二概率的统计值确定一张病理组织切片图像对应的癌分型，以及对应该癌分型的预测概率，包括：
基于癌分型的类型划分为若干类，每一类中包括癌分型的类型以及对应像素点属于该癌分型的第二概率，针对每一类中对第二概率值进行排序，统计出排序最高的设定数量的第二概率对应的像素点，或统计出第二概率大于设定第二概率阈值的像素点，将统计出的像素点设定为分型区域；对分型区域中的所有像素点按照所属的癌分型进行分类，形成小类，并统计每一个小类中的像素点对应的第二概率的平均值，将该平均值作为每一个小类中对应的癌分型的预测概率。
优选的，所述肺癌分型识别模型包括：将随机选取的组织切片图像作为样本分为训练集、验证集和测试集；
通过所述训练集对样本进行分类训练，训练出肺癌分类识别模型，通过验证集对训练出肺癌分类识别模型进行迭代运算，选取出最优的肺癌分型识别模型；通过测试集对选取出最优的肺癌分型识别模型通过评估指标进行模型评估；
所述训练集包括：基于深度语义分割网络模型将训练集中的组织切片图像分割为以像素点为单位的网格；通过对每个像素点对应的癌分型进行标注，根据标注的对样本进行分类训练；
所述验证集包括：通过模型在验证集中的样本数据的误差不断迭代训练模型，得到对数据集拟合合理的模型，形成最优的癌分型识别模型。
优选的，基于深度语义分割网络技术确定癌变区域图像中每个像素点为各个癌分型的第二概率，包括：
在肺癌分型识别模型中记录有每类癌分型的标准模型，所述标准模型是通过多个标准图像组成的代表相应癌分型的细胞组织形态的图像集合；将癌变区域图像中每个像素点对应的细胞组织与所述标准模型比对，根据相似度计算相似概率，将所述相似概率设定为对应癌分型的第二概率。
优选的，在所述肺癌分型识别模型中，若某个像素点对应的细胞组织属于两个或两个以上癌分型，针对每个癌分型分别与相对应的标准模型比对，若与其中一个癌分型的标准模型的相似概率超过设定阈值时，则该像素点属于该类癌分型，若与其中两个或者多个癌分型的标准模型的相似概率均超过设定阈值时，则该像素点对应多个癌分型，且每个癌分型相对应的相似概率为该类癌分型的第二概率。
优选的，当一个像素点对应的细胞组织属于两个或两个以上癌分型时，将对应癌分型的相似概率处于第一位和第二位的癌分型作为主要分类；将相似概率最大的对应的区域设定为前景，将相似概率位第二位的对应的区域设定为背景；
将所有处于前景的区域形成前景区域，将所有处于背景的区域形成背景区域；以前景区域作为肺癌分型识别模型进行概率预测时，计算肺癌分型识别模型的评估指标为第一指标，以背景区域作为肺癌分型识别模型进行概率预测时，计算肺癌分型识别模型的评估指标为第二指标；
将第一指标与第二指标进行比对，若第一指标优于第二指标，选出前景区域对应的癌分型及相应相似概率作为反馈数据反馈至肺癌分型识别模型；若第二指标优于第一指标，选出背景区域对应的癌分型及相应相似概率作为反馈数据反馈至肺癌分型识别模型。
优选的，通过对每个像素点对应的癌分型进行标注，包括：
第一自助标注单元，相关专业人士进行人工标注，基于人工标注进行机器学习，形成自助标注模型，根据自助标注模型对每个像素点对应的癌分型进行标注；
第二自助标注单元，通过自助标注模型进行初步标注，相关专业人士根据初步标注内容进行审核标注，修正自助标注模型标注不准确的区域。
优选的，所述癌分型包括：腺癌、鳞癌和小细胞癌；
样本类型为手术切除样本、活检样本和细胞学样本。
优选的，所述深度语义分割网络技术采用DeepLab v3，所配备的特征提取网络为ResNet-50，用于输出像素级的识别结果。
优选的，所述评估指标包括：AUC值、敏感度和特异性；
所述AUC值为ROC曲线下面积。与现有技术相比，本发明具有以下优点：
本发明提供基于深度语义分割网络的肺癌病理组织分型系统，设置肺癌识别模型、肺癌分型识别模型；根据所述肺癌识别模型对输入的病理组织切片图像进行图像预测处理，基于深度语义分割网络技术预测出切片图像中每个像素点为癌的第一概率，将所述第一概率大于等于第一概率阈值的像素点设定为癌变区域；将所有癌变区域图像输入至肺癌分型识别模型，基于深度语义分割网络技术确定癌变区域图像中每个像素点为各个癌分型的第二概率，根据第二概率的统计值确定一张病理组织切片图像对应的癌分型，以及对应该癌分型的预测概率。通过利用深度语义分割网络技术预测癌变区域以及癌变区域中各个像素点所属的癌分型，并且通过统计学统计相应癌分型的预测概率，因此，本方案可以实现像素级的癌分型，提升癌分型的分类的精确性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中基于深度语义分割网络的肺癌病理组织分型系统的结构示意图；
图2为本发明实施例中肺癌识别模型的ROC曲线；
图3为本发明实施例中肺癌分型识别模型的ROC曲线。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供了基于深度语义分割网络的肺癌病理组织分型系统，请参照图1，该基于深度语义分割网络的肺癌病理组织分型系统包括：
肺癌识别模型、肺癌分型识别模型；
根据所述肺癌识别模型对输入的病理组织切片图像进行图像预测处理，基于深度语义分割网络技术预测出切片图像中每个像素点为癌的第一概率，将所述第一概率大于等于第一概率阈值的像素点设定为癌变区域；
将所有癌变区域图像输入至肺癌分型识别模型，基于深度语义分割网络技术确定癌变区域图像中每个像素点为各个癌分型的第二概率，根据第二概率的统计值确定一张病理组织切片图像对应的癌分型，以及对应该癌分型的预测概率。
上述技术方案的工作原理为：本实施例采用的方案是设置肺癌识别模型、肺癌分型识别模型；根据所述肺癌识别模型对输入的病理组织切片图像进行图像预测处理，基于深度语义分割网络技术预测出切片图像中每个像素点为癌的第一概率，将所述第一概率大于等于第一概率阈值的像素点设定为癌变区域；将所有癌变区域图像输入至肺癌分型识别模型，基于深度语义分割网络技术确定癌变区域图像中每个像素点为各个癌分型的第二概率，根据第二概率的统计值确定一张病理组织切片图像对应的癌分型，以及对应该癌分型的预测概率。
将两个深度学习模型，即肺癌识别模型和肺癌分型识别模型进行级联，构成肺癌分型预测系统。在预测过程中，病理影像在提取有效组织后，首先通过肺癌识别模型进行二分类处理，获得癌变区域和非癌变区域，进行“癌”与“非癌”的区分，以此来预测癌变区域，随后将所有癌变区域图像输入到肺癌分型识别模型进行多分类处理，给出具体的分型预测，例如：“腺癌”、“鳞癌”、“小细胞癌”等多种癌分型。
上述技术方案的有益效果为：采用本实施例提供的方案通过利用深度语义分割网络技术预测癌变区域以及癌变区域中各个像素点所属的癌分型，并且通过统计学统计相应癌分型的预测概率，因此，本实施例提供的方案可以实现像素级的癌分型，提升癌分型的分类的精确性。
在另一实施例中，根据第二概率的统计值确定一张病理组织切片图像对应的癌分型，以及对应该癌分型的预测概率，包括：
基于癌分型的类型划分为若干类，每一类中包括癌分型的类型以及对应像素点属于该癌分型的第二概率，针对每一类中对第二概率值进行排序，统计出排序最高的设定数量的第二概率对应的像素点，或统计出第二概率大于设定第二概率阈值的像素点，将统计出的像素点设定为分型区域；对分型区域中的所有像素点按照所属的癌分型进行分类，形成小类，并统计每一个小类中的像素点对应的第二概率的平均值，将该平均值作为每一个小类中对应的癌分型的预测概率。
上述技术方案的工作原理为：本实施例采用的方案是根据第二概率的统计值确定一张病理组织切片图像对应的癌分型，以及对应该癌分型的预测概率，包括：基于癌分型的类型划分为若干类，每一类中包括癌分型的类型以及对应像素点属于该癌分型的第二概率，针对每一类中对第二概率值进行排序，统计出排序最高的设定数量的第二概率对应的像素点，或统计出第二概率大于设定第二概率阈值的像素点，将统计出的像素点设定为分型区域；对分型区域中的所有像素点按照所属的癌分型进行分类，形成小类，并统计每一个小类中的像素点对应的第二概率的平均值，将该平均值作为每一个小类中对应的癌分型的预测概率。
通过统计的方式，获得预测概率，具体的，确定每个像素属于各个癌分型的概率后，对于每一种疾病分类的预测，可以取整张切片概率最高的前1000个像素的均值作为整张切片对应分类的预测概率。或者，可以取整张切片概率超过设定的第二概率阈值的所有像素的均值作为整张切片对应分类的预测概率。
上述技术方案的有益效果为：采用本实施例提供的方案不但可以准确定位癌的类型，以及每个癌分型对应的预测概率，还可以确定每个癌分型对应类型的区域位置，达到了分型及定位均准确的效果。
在另一实施例中，所述肺癌分型识别模型包括：将随机选取的组织切片图像作为样本分为训练集、验证集和测试集；
通过所述训练集对样本进行分类训练，训练出肺癌分类识别模型，通过验证集对训练出肺癌分类识别模型进行迭代运算，选取出最优的肺癌分型识别模型；通过测试集对选取出最优的肺癌分型识别模型通过评估指标进行模型评估；
所述训练集包括：基于深度语义分割网络模型将训练集中的组织切片图像分割为以像素点为单位的网格；通过对每个像素点对应的癌分型进行标注，根据标注的对样本进行分类训练；
所述验证集包括：通过模型在验证集中的样本数据的误差不断迭代训练模型，得到对数据集拟合合理的模型，形成最优的癌分型识别模型。
上述技术方案的工作原理为：本实施例采用的方案是所述肺癌分型识别模型包括：将随机选取的组织切片图像作为样本分为训练集、验证集和测试集；
通过所述训练集对样本进行分类训练，训练出肺癌分类识别模型，通过验证集对训练出肺癌分类识别模型进行迭代运算，选取出最优的肺癌分型识别模型；通过测试集对选取出最优的肺癌分型识别模型通过评估指标进行模型评估；所述训练集包括：基于深度语义分割网络模型将训练集中的组织切片图像分割为以像素点为单位的网格；通过对每个像素点对应的癌分型进行标注，根据标注的对样本进行分类训练；所述验证集包括：通过模型在验证集中的样本数据的误差不断迭代训练模型，得到对数据集拟合合理的模型，形成最优的癌分型识别模型。
需要说明的是，随机选取2016年-2019年某医院病理科保存的经免疫组化诊断明确的1115张肺癌组织切片，样本类型为手术切除样本、活检样本和细胞学样本，组织类型包括腺癌392张、鳞癌384张和小细胞癌339张，另外选取正常肺组织切片229张，扫描形成数字切片，随机分为934张训练集(均为手术切除样本，包括正常组织切片105张、腺癌231张、鳞癌311张、小细胞癌287张)、150张验证集(全部为手术切除样本，包括正常组织切片50张、腺癌24张、鳞癌38张、小细胞癌38张)和260张测试集(手术切除样本：正常肺组织74张，腺癌86张、鳞癌29张、小细胞癌12张；活检样本：腺癌50张、鳞癌6张、小细胞癌2张；细胞学样本：腺癌1张)。训练集由主治及以上病理医师进行标注(标签包含腺癌、鳞癌、小细胞癌、非肿瘤、质量差、忽略)和审核，使用基于ResNet-50的DeepLab v3图像分割模型建立像素级肺癌识别模型和肺癌分型识别模型。通过验证集选取最优的模型迭代，然后在测试集上评估模型的效果。
以下表格是训练集、验证集和测试集数据分布情况：单位(张)
以下表格是肺癌识别模型的测试结果：
以下表格是肺癌分型识别模型测试结果：
总结，本实施例中训练集包含934张切片，均为手术切除样本，覆盖了腺癌、鳞癌、小细胞癌及正常肺组织。测试集中同时包含手术切除样本、活检样本和细胞学样本，为了全面测试深度学习模型的表现，测试样本覆盖多种亚型。所有切片使用扫描仪进行400倍数字化扫描。病理医生通过基于iPad与Apple Pencil的标注系统对所有训练集中的癌区进行精确标注(标签包含腺癌、鳞癌、小细胞癌、非肿瘤、质量差、忽略)，对癌区范围内典型的分型区域进行勾画，每张切片经过医生初审、医生复核及主任审核三个步骤后，形成深度学习模型的训练资料。在数据预处理过程中，所有标注为“质量差”与“忽略”的区域被舍弃，防止对模型学习产生干扰。
基于深度学习的肺癌分型模型能够在肺癌识别(AUC值＝0.970，敏感性94.1％，特异性94.6％)的基础上进一步给出较可靠的分型诊断，鳞癌、腺癌、小细胞癌的敏感性/特异性分别在测试集上的表现为，总体测试集：88.6％/81.8％、89.7％/83.1％、83.3％/94.3％；手术切除样本：87.6％/79.7％、89.5％/80.9％、82.4％/75.0％；活检样本：92.9％/85.8％、91.7％/86.2％、100％/100％；细胞学样本：组织学分型和定位准确。
在另一实施例中，基于深度语义分割网络技术确定癌变区域图像中每个像素点为各个癌分型的第二概率，包括：
在肺癌分型识别模型中记录有每类癌分型的标准模型，所述标准模型是通过多个标准图像组成的代表相应癌分型的细胞组织形态的图像集合；将癌变区域图像中每个像素点对应的细胞组织与所述标准模型比对，根据相似度计算相似概率，将所述相似概率设定为对应癌分型的第二概率。
上述技术方案的工作原理为：本实施例采用的方案是基于深度语义分割网络技术确定癌变区域图像中每个像素点为各个癌分型的第二概率，包括：在肺癌分型识别模型中记录有每类癌分型的标准模型，所述标准模型是通过多个标准图像组成的代表相应癌分型的细胞组织形态的图像集合；将癌变区域图像中每个像素点对应的细胞组织与所述标准模型比对，根据相似度计算相似概率，将所述相似概率设定为对应癌分型的第二概率。
需要说明的是，本实施例中深度语义分割网络技术再监督学习中，采用如下的的损失函数来评价和督促网络以获得识别结果。
L＝L1+α1L2+α2L3
其中，m表示类别数，n表示每类预测分割图中的像素点数，ytruth表示每个像素的真实值，ypred表示每个像素的预测值，L1表示第一损失函数，L2表示第二损失函数，Gtruth表示标准图像的特征值，Gpred表示预测图的特征值，θ表示非常小的正值，取值为0.0001，防止分母为零，L3表示第三损失函数，α1表示第一权重参数，可设置为1，α2表示第二权重参数，可设置为1。
利用每个像素的真实值和预测值建立损失函数的同时，还考虑到忽略像素点占图像整体比例较大的正确预测的背景类，正确预测病变区域，提升预测的准确性。
上述技术方案的有益效果为：采用本实施例提供的方案是获得第二概率的方案，通过该实施例的方案根据相似概率的方式精确计算第二概率。
在另一实施例中，在所述肺癌分型识别模型中，若某个像素点对应的细胞组织属于两个或两个以上癌分型，针对每个癌分型分别与相对应的标准模型比对，若与其中一个癌分型的标准模型的相似概率超过设定阈值时，则该像素点属于该类癌分型，若与其中两个或者多个癌分型的标准模型的相似概率均超过设定阈值时，则该像素点对应多个癌分型，且每个癌分型相对应的相似概率为该类癌分型的第二概率。
上述技术方案的工作原理为：本实施例采用的方案是在所述肺癌分型识别模型中，若某个像素点对应的细胞组织属于两个或两个以上癌分型，针对每个癌分型分别与相对应的标准模型比对，若与其中一个癌分型的标准模型的相似概率超过设定阈值时，则该像素点属于该类癌分型，若与其中两个或者多个癌分型的标准模型的相似概率均超过设定阈值时，则该像素点对应多个癌分型，且每个癌分型相对应的相似概率为该类癌分型的第二概率。
上述技术方案的有益效果为：采用本实施例提供的方案当某个像素点对应的细胞组织属于两个或两个以上癌分型时，可以根据设定的规则将所有符合条件的癌分型对应同一像素点，实现一个像素点对应多个癌分型的识别结果，且每个癌分型的概率也可以计算获得。
在另一实施例中，当一个像素点对应的细胞组织属于两个或两个以上癌分型时，将对应癌分型的相似概率处于第一位和第二位的癌分型作为主要分类；将相似概率最大的对应的区域设定为前景，将相似概率位第二位的对应的区域设定为背景；
将所有处于前景的区域形成前景区域，将所有处于背景的区域形成背景区域；以前景区域作为肺癌分型识别模型进行概率预测时，计算肺癌分型识别模型的评估指标为第一指标，以背景区域作为肺癌分型识别模型进行概率预测时，计算肺癌分型识别模型的评估指标为第二指标；
将第一指标与第二指标进行比对，若第一指标优于第二指标，选出前景区域对应的癌分型及相应相似概率作为反馈数据反馈至肺癌分型识别模型；若第二指标优于第一指标，选出背景区域对应的癌分型及相应相似概率作为反馈数据反馈至肺癌分型识别模型。
上述技术方案的工作原理为：本实施例采用的方案是当一个像素点对应的细胞组织属于两个或两个以上癌分型时，将对应癌分型的相似概率处于第一位和第二位的癌分型作为主要分类；将相似概率最大的对应的区域设定为前景，将相似概率位第二位的对应的区域设定为背景；将所有处于前景的区域形成前景区域，将所有处于背景的区域形成背景区域；以前景区域作为肺癌分型识别模型进行概率预测时，计算肺癌分型识别模型的评估指标为第一指标，以背景区域作为肺癌分型识别模型进行概率预测时，计算肺癌分型识别模型的评估指标为第二指标；将第一指标与第二指标进行比对，若第一指标优于第二指标，选出前景区域对应的癌分型及相应相似概率作为反馈数据反馈至肺癌分型识别模型；若第二指标优于第一指标，选出背景区域对应的癌分型及相应相似概率作为反馈数据反馈至肺癌分型识别模型。
上述技术方案的有益效果为：采用本实施例提供的方案通过设置前景区域和背景区域，通过两个方向的数据反馈至肺癌分型识别模型中，以提升肺癌分型识别模型的识别精度。
在另一实施例中，通过对每个像素点对应的癌分型进行标注，包括：
第一自助标注单元，相关专业人士进行人工标注，基于人工标注进行机器学习，形成自助标注模型，根据自助标注模型对每个像素点对应的癌分型进行标注；
第二自助标注单元，通过自助标注模型进行初步标注，相关专业人士根据初步标注内容进行审核标注，修正自助标注模型标注不准确的区域。
上述技术方案的工作原理为：本实施例采用的方案是通过对每个像素点对应的癌分型进行标注，包括：第一自助标注单元，相关专业人士进行人工标注，基于人工标注进行机器学习，形成自助标注模型，根据自助标注模型对每个像素点对应的癌分型进行标注；第二自助标注单元，通过自助标注模型进行初步标注，相关专业人士根据初步标注内容进行审核标注，修正自助标注模型标注不准确的区域。
上述技术方案的有益效果为：采用本实施例提供的方案可以通过自助标注的方式，也可以通过自助标注后再经过专业的病理医生进行复核修正，保证标注区域的精准性，形成数据精准的训练集样本。
在另一实施例中，所述癌分型包括：腺癌、鳞癌和小细胞癌；
样本类型为手术切除样本、活检样本和细胞学样本。
在另一实施例中，所述深度语义分割网络技术采用DeepLab v3，所配备的特征提取网络为ResNet-50，用于输出像素级的识别结果。
深度学习模型均采用DeepLab v3，所配备的特征提取网络为ResNet-50，能够输出像素级的识别结果。服务器安装Ubuntu系统，深度学习框架使用TensorFlow，训练过程采用数据并行，共使用4个GPU卡。优化过程的超参数设定为：优化器使用ADAM，学习率为0.0005，批尺寸是128(即32×4卡)，迭代次数为400000。
在另一实施例中，所述评估指标包括：AUC值、敏感度和特异性；
所述AUC值为ROC曲线下面积。
上述技术方案的工作原理为：本实施例采用的方案是采用下述方案计算敏感度和特异性：
敏感度＝TP/(TP+FN)
特异性＝TN/(TN+FP)
其中TP(true positive)、FP(false positive)、TN(true negative)、FN(falsenegative)分别代表真阳性、假阳性、真阴性和假阴性，ROC曲线中最优的模型表现，代表模型在真实世界中运行的效果。
本申请的方案使用了近1000张训练数据，基于深度语义分割模型，建立了肺部病理组织分型智能识别系统。数据显示，深度学习模型对癌区识别的AUC值达到0.970，在小细胞肺癌及非小细胞肺癌活检和手术切除样本上均表现出较好的识别效果。分型模型对腺癌、鳞癌和小细胞癌的识别敏感性均在82.4％以上，特异性超过75.0％。
具体的，如图2和图3所示，分别是：肺癌识别模型的ROC曲线以及肺癌分型识别模型的ROC曲线。根据图可以得出：肺癌分型识别模型的AUC值达到0.970，敏感性94.1％，特异性94.6％。在肺癌分型方面，腺癌AUC值0.877、敏感性87.6％、特异性79.7％；鳞癌AUC值0.897、敏感性88.6％、特异性81.8％；小细胞癌AUC值0.937、敏感性92.9％、特异性85.8％。三种不同类型的肺癌在手术切除样本和活检样本敏感性均在82.4％以上、特异性均在75.0％以上。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.基于深度语义分割网络的肺癌病理组织分型系统，其特征在于，包括：肺癌识别模型、肺癌分型识别模型；
根据所述肺癌识别模型对输入的病理组织切片图像进行图像预测处理，基于深度语义分割网络技术预测出切片图像中每个像素点为癌的第一概率，将所述第一概率大于等于第一概率阈值的像素点设定为癌变区域；
将所有癌变区域图像输入至肺癌分型识别模型，基于深度语义分割网络技术确定癌变区域图像中每个像素点为各个癌分型的第二概率，根据第二概率的统计值确定一张病理组织切片图像对应的癌分型，以及对应该癌分型的预测概率。
2.根据权利要求1所述的基于深度语义分割网络的肺癌病理组织分型系统，其特征在于，根据第二概率的统计值确定一张病理组织切片图像对应的癌分型，以及对应该癌分型的预测概率，包括：
基于癌分型的类型划分为若干类，每一类中包括癌分型的类型以及对应像素点属于该癌分型的第二概率，针对每一类中对第二概率值进行排序，统计出排序最高的设定数量的第二概率对应的像素点，或统计出第二概率大于设定第二概率阈值的像素点，将统计出的像素点设定为分型区域；对分型区域中的所有像素点按照所属的癌分型进行分类，形成小类，并统计每一个小类中的像素点对应的第二概率的平均值，将该平均值作为每一个小类中对应的癌分型的预测概率。
3.根据权利要求1所述的基于深度语义分割网络的肺癌病理组织分型系统，其特征在于，所述肺癌分型识别模型包括：将随机选取的组织切片图像作为样本分为训练集、验证集和测试集；
通过所述训练集对样本进行分类训练，训练出肺癌分类识别模型，通过验证集对训练出肺癌分类识别模型进行迭代运算，选取出最优的肺癌分型识别模型；通过测试集对选取出最优的肺癌分型识别模型通过评估指标进行模型评估；
所述训练集包括：基于深度语义分割网络模型将训练集中的组织切片图像分割为以像素点为单位的网格；通过对每个像素点对应的癌分型进行标注，根据标注的对样本进行分类训练；
所述验证集包括：通过模型在验证集中的样本数据的误差不断迭代训练模型，得到对数据集拟合合理的模型，形成最优的癌分型识别模型。
4.根据权利要求1所述的基于深度语义分割网络的肺癌病理组织分型系统，其特征在于，基于深度语义分割网络技术确定癌变区域图像中每个像素点为各个癌分型的第二概率，包括：
在肺癌分型识别模型中记录有每类癌分型的标准模型，所述标准模型是通过多个标准图像组成的代表相应癌分型的细胞组织形态的图像集合；将癌变区域图像中每个像素点对应的细胞组织与所述标准模型比对，根据相似度计算相似概率，将所述相似概率设定为对应癌分型的第二概率。
5.根据权利要求4所述的基于深度语义分割网络的肺癌病理组织分型系统，其特征在于，在所述肺癌分型识别模型中，若某个像素点对应的细胞组织属于两个或两个以上癌分型，针对每个癌分型分别与相对应的标准模型比对，若与其中一个癌分型的标准模型的相似概率超过设定阈值时，则该像素点属于该类癌分型，若与其中两个或者多个癌分型的标准模型的相似概率均超过设定阈值时，则该像素点对应多个癌分型，且每个癌分型相对应的相似概率为该类癌分型的第二概率。
6.根据权利要求4所述的基于深度语义分割网络的肺癌病理组织分型系统，其特征在于，当一个像素点对应的细胞组织属于两个或两个以上癌分型时，将对应癌分型的相似概率处于第一位和第二位的癌分型作为主要分类；将相似概率最大的对应的区域设定为前景，将相似概率位第二位的对应的区域设定为背景；
将所有处于前景的区域形成前景区域，将所有处于背景的区域形成背景区域；以前景区域作为肺癌分型识别模型进行概率预测时，计算肺癌分型识别模型的评估指标为第一指标，以背景区域作为肺癌分型识别模型进行概率预测时，计算肺癌分型识别模型的评估指标为第二指标；
将第一指标与第二指标进行比对，若第一指标优于第二指标，选出前景区域对应的癌分型及相应相似概率作为反馈数据反馈至肺癌分型识别模型；若第二指标优于第一指标，选出背景区域对应的癌分型及相应相似概率作为反馈数据反馈至肺癌分型识别模型。
7.根据权利要求3所述的基于深度语义分割网络的肺癌病理组织分型系统，其特征在于，通过对每个像素点对应的癌分型进行标注，包括：
第一自助标注单元，相关专业人士进行人工标注，基于人工标注进行机器学习，形成自助标注模型，根据自助标注模型对每个像素点对应的癌分型进行标注；
第二自助标注单元，通过自助标注模型进行初步标注，相关专业人士根据初步标注内容进行审核标注，修正自助标注模型标注不准确的区域。
8.根据权利要求1所述的基于深度语义分割网络的肺癌病理组织分型系统，其特征在于，所述癌分型包括：腺癌、鳞癌和小细胞癌；
样本类型为手术切除样本、活检样本和细胞学样本。
9.根据权利要求1所述的基于深度语义分割网络的肺癌病理组织分型系统，其特征在于，所述深度语义分割网络技术采用DeepLab v3，所配备的特征提取网络为ResNet-50，用于输出像素级的识别结果。
10.根据权利要求3所述的基于深度语义分割网络的肺癌病理组织分型系统，其特征在于，所述评估指标包括：AUC值、敏感度和特异性；
所述AUC值为ROC曲线下面积。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310317036.1A CN116363647A (zh) | 2023-03-29 | 2023-03-29 | 基于深度语义分割网络的肺癌病理组织分型系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310317036.1A CN116363647A (zh) | 2023-03-29 | 2023-03-29 | 基于深度语义分割网络的肺癌病理组织分型系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116363647A true CN116363647A (zh) | 2023-06-30 |
Family
ID=86906996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310317036.1A Pending CN116363647A (zh) | 2023-03-29 | 2023-03-29 | 基于深度语义分割网络的肺癌病理组织分型系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116363647A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116797794A (zh) * | 2023-07-10 | 2023-09-22 | 北京透彻未来科技有限公司 | 基于深度学习的肠癌病理分型系统 |
| CN117152509A (zh) * | 2023-08-28 | 2023-12-01 | 北京透彻未来科技有限公司 | 基于级联深度学习的胃部病理诊断与分型系统 |
-
2023
- 2023-03-29 CN CN202310317036.1A patent/CN116363647A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116797794A (zh) * | 2023-07-10 | 2023-09-22 | 北京透彻未来科技有限公司 | 基于深度学习的肠癌病理分型系统 |
| CN117152509A (zh) * | 2023-08-28 | 2023-12-01 | 北京透彻未来科技有限公司 | 基于级联深度学习的胃部病理诊断与分型系统 |
| CN117152509B (zh) * | 2023-08-28 | 2024-04-30 | 北京透彻未来科技有限公司 | 基于级联深度学习的胃部病理诊断与分型系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108464840B (zh) | 一种乳腺肿块自动检测方法及系统 | |
| KR102583103B1 (ko) | 계산 검출 방법들을 위해 전자 이미지들을 처리하기 위한 시스템들 및 방법들 | |
| Balagurunathan et al. | Test–retest reproducibility analysis of lung CT image features | |
| US8712142B2 (en) | Method and apparatus for analysis of histopathology images and its application to cancer diagnosis and grading | |
| CN107330263A (zh) | 一种计算机辅助乳腺浸润性导管癌组织学分级的方法 | |
| CN116363647A (zh) | 基于深度语义分割网络的肺癌病理组织分型系统 | |
| CN109191472A (zh) | 基于改进U-Net网络的胸腺细胞图像分割方法 | |
| CN110472629B (zh) | 一种基于深度学习的病理图像自动识别系统及其训练方法 | |
| CN112101451A (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
| CN110097974A (zh) | 一种基于深度学习算法的鼻咽癌远端转移预测系统 | |
| CN111369573A (zh) | 一种肺腺癌亚型的辅助鉴别系统及方法 | |
| CN112990214A (zh) | 一种医学图像特征识别预测模型 | |
| CN112183557A (zh) | 基于胃癌组织病理图像纹理特征的msi预测模型构建方法 | |
| CN113160185A (zh) | 一种利用生成边界位置指导宫颈细胞分割的方法 | |
| KR102373985B1 (ko) | 서포트 벡터 머신을 이용한 전립선암의 등급 분류 방법 | |
| CN113435469A (zh) | 一种基于深度学习的肾肿瘤增强ct图像自动识别系统及其训练方法 | |
| Ahmad et al. | Brain tumor detection & features extraction from MR images using segmentation, image optimization & classification techniques | |
| Zhang | Classification and diagnosis of thyroid carcinoma using reinforcement residual network with visual attention mechanisms in ultrasound images | |
| CN114648509B (zh) | 一种基于多分类任务的甲状腺癌检出系统 | |
| CN116228759A (zh) | 肾细胞癌类型的计算机辅助诊断系统及设备 | |
| Ko et al. | A computer-aided grading system of breast carcinoma: scoring of tubule formation | |
| CN117058292B (zh) | 基于数字病理图像的色阶图渲染系统 | |
| Nandanwar et al. | Analysis of pixel intensity variation by performing morphological operations for image segmentation on cervical cancer pap smear image | |
| CN117576127B (zh) | 一种基于病理图像的肝癌区域自动勾画方法 | |
| CN117542527B (zh) | 肺结节跟踪与变化趋势预测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |