CN110738637B - 一种乳腺癌病理切片的自动分类系统 - Google Patents
一种乳腺癌病理切片的自动分类系统 Download PDFInfo
- Publication number
- CN110738637B CN110738637B CN201910886249.XA CN201910886249A CN110738637B CN 110738637 B CN110738637 B CN 110738637B CN 201910886249 A CN201910886249 A CN 201910886249A CN 110738637 B CN110738637 B CN 110738637B
- Authority
- CN
- China
- Prior art keywords
- lesion
- area
- image
- slice
- pathological
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 51
- 206010006187 Breast cancer Diseases 0.000 title claims abstract description 20
- 208000026310 Breast neoplasm Diseases 0.000 title claims abstract description 20
- 230000003902 lesion Effects 0.000 claims abstract description 101
- 230000011218 segmentation Effects 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000000877 morphologic effect Effects 0.000 claims abstract description 21
- 230000036285 pathological change Effects 0.000 claims abstract description 14
- 231100000915 pathological change Toxicity 0.000 claims abstract description 14
- 208000007433 Lymphatic Metastasis Diseases 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 36
- 210000001519 tissue Anatomy 0.000 claims description 19
- 210000001165 lymph node Anatomy 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 5
- 230000001394 metastastic effect Effects 0.000 claims description 3
- 206010061289 metastatic neoplasm Diseases 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 claims 1
- 238000013145 classification model Methods 0.000 abstract description 8
- 238000003745 diagnosis Methods 0.000 abstract description 6
- 238000011160 research Methods 0.000 abstract description 3
- 210000004881 tumor cell Anatomy 0.000 description 25
- 206010027476 Metastases Diseases 0.000 description 21
- 230000009401 metastasis Effects 0.000 description 18
- 206010028980 Neoplasm Diseases 0.000 description 17
- 201000011510 cancer Diseases 0.000 description 7
- 208000003788 Neoplasm Micrometastasis Diseases 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 201000005389 breast carcinoma in situ Diseases 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 210000000981 epithelium Anatomy 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 210000004880 lymph fluid Anatomy 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种乳腺癌病理切片的自动分类方法及系统，方法包括构建深度语义分割网络对病理组织切片进行语义分割，得到病变区域；根据得到病变区域，构建形态特征集；构建基于形态特征集的病理组织切片分类模型；对病人的n张病理组织切片应用上述分类模型进行分类，根据n张切片的分类结果计算病人的pN分期。本发明提供了的乳腺癌病理切片的自动分类方法能自动预测病人淋巴转移的pN分期，这相比现有方法仅仅只是分割切片内病变区域更加切合医生对智能诊断系统的需求，推进了现有智能诊断方法和系统的研究与落地。
Description
技术领域
本发明属于医学病理图像处理领域，更具体地，涉及一种乳腺癌病灶转移阶段的自动分类方法及系统。
背景技术
乳腺癌是发生在乳腺腺上皮组织的恶性肿瘤。乳腺癌中99％发生在女性，男性仅占1％。可以说，乳腺癌目前已成为威胁女性身心健康的常见肿瘤。乳腺并不是维持人体生命活动的重要器官，原位乳腺癌并不致命；但癌细胞一旦脱落，游离的癌细胞可以随血液或淋巴液播散全身，形成转移，危及生命。因此，对癌症转移阶段的正确预测能够将预后不佳的高危患者尽早检出，对提高患者生存率有着重要意义。
乳腺癌患者的预后主要取决于癌症是否被器官限制或是已经扩散到身体其他部位。目前，国际上公认的对肿瘤扩散程度进行分类的方法是TNM 分期系统，其中，T(Tumor)指肿瘤原发灶的情况，随着肿瘤体积的增加和邻近组织受累范围的增加，依次用T1～T4来表示；N(Node)指区域淋巴结受累情况，随着淋巴结受累程度和范围的增加，依次用N0～N3表示； M(Metastasis)指远处转移，没有远处转移者用M0表示，有远处转移者用 M1表示。乳腺癌转移的第一个部位通常是腋窝淋巴结。因此对乳腺癌患者而言评估其区域淋巴结受累情况对病人非常关键，是TNM分类的重要组成部分。淋巴结受累情况的专业指标是病理性N分期即pN分期。pN分期包括pN0(取样的所有病理切片图像中均未发现肿瘤细胞微转移、肿瘤细胞宏观转移或者孤立肿瘤细胞)，pN0(i+)(取样的所有病理切片图像中仅发现孤立肿瘤细胞)，pN1mi(取样的所有病理切片图像中仅发现肿瘤微细胞转移，未发现肿瘤细胞宏观转移)，pN1(取样的所有病理切片图像中发现 1至3处肿瘤细胞转移，其中至少1处为宏观转移)，pN2(取样的所有病理切片图像中发现4至9处肿瘤细胞转移，至少1处为宏观转移)。大于 0.2mm且小于2.0mm的肿瘤细胞转移称为微转移，大于2.0mm的肿瘤细胞转移称为宏观转移，孤立肿瘤细胞通常指小于0.2mm的肿瘤细胞转移。基于人工的淋巴结组织病理分析是主观和耗时的，并且由于人工检查过于繁琐，病理学家可能会错过微小的转移。因此，淋巴结转移阶段的自动准确分类对于辅助病理学家后续进行精准治疗，减少病理学家的工作量，降低诊断成本具有重要意义。
早期的淋巴转移检测主要基于模型和手动提取特征的方法，不仅费时费力，而且主观性很强，没有统一的标准，错误率较高，对大量细微的细胞而言难以奏效。近年来，随着硬件计算能力的不断提高，深度学习方法被广泛应用于医疗病理图像协助诊断中。与传统的手工特征提取方法相比，深度学习方法通过优化损失函数自动学习分层特征表示，在图像分类和语义分割领域中取得了巨大的成功。目前基于深度学习的乳腺癌病理切片自动检测研究主要集中在识别单张切片图像上的肿瘤细胞，而很少对病人的淋巴结转移情况即pN分期做出判断。仅仅识别切片图像上的肿瘤细胞难以直接落脚到医生需求。此外由于单张病理切片高达百亿的像素，目前常用的基于逐像素扫描策略难以快速识别单张病理切片上肿瘤细胞。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种乳腺癌病灶转移阶段的自动分类方法及系统，旨在解决现有乳腺癌病灶转移阶段人工判断过程繁琐、准确率不高的问题。
为实现上述目的，按照本发明的一个方面，本发明提供了一种乳腺癌病灶转移阶段的自动分类方法，包括：
S1.构建深度语义分割网络对病理组织切片进行语义分割，得到病变区域；
S2.根据S1中得到的病变区域，构建形态特征集；
S3.构建基于S2中形态特征集的病理组织切片分类模型；
S4.对病人的n张病理组织切片应用S3中的分类模型进行分类，根据 n张切片的分类结果计算病人的pN分期，n为正整数。
优选地，步骤S1具体包括：
S11.构建深度语义分割网络结构。经典的分类卷积网络通过卷积层和池化层的交替堆叠，特征层的语义信息逐渐被编码但是精细的轮廓信息也逐渐丢失了。本发明通过设计一种跨层网络结构，融合含有语义信息的深层特征图和含有轮廓信息的浅层特征图，将经典的分类卷积网络改编为语义分割网络，使得该网络能同时获取语义信息和轮廓信息进而实现语义分割。
S12.制作训练样本。从病理组织切片中随机挑选若干切片作为训练集，包括病变切片(切片内含有病变区域)和正常切片(切片内不含病变区域)，对训练集中的病变切片会人工地标注其病变区域。根据人工标注，生成病变切片的二值掩码图像，掩码二值图像中像素值等于1的区域对应病变区域，正常切片的二值掩码图像中像素值全为0。随机地从每张切片中选取N 个图像块，并在切片对应的掩码图像中取相同位置的N个掩码图像块。图像块作为构建的深度语义分割网络的输入，对应的掩码图像块是该网络的理想输出。本发明使用交叉熵损失函数度量网络的实际输出和理想输出的差异，根据差异进而使用梯度反向传播算法更新网络的权值。
S13.深度语义分割网络的训练。本发明采用多轮学习策略和困难样本挖掘策略训练S11中构建的语义分割网络。具体是，使用S12中制作的训练集进行第一轮学习；使用学习之后的网络模型对训练集进行测试得到错分样本包括假阳性和假阴性样本，将这些未有效学习的样本分离出来作为困难样本，与第一轮训练的训练集一起构成新的训练集；将第一轮训练的学习率衰减到原值的十分之一，使用衰减之后的学习率对新的训练集进行第二轮学习。上述过程可以重复2至3轮。
S14.应用S13中训练好的语义分割网络计算测试集切片的病变区域。本发明采取冗余拆分的策略计算切片的病变区域。具体地，将切片图像划分成具有冗余宽度为S像素的多个图像块，图像块大小为M×M像素，将这些图像块输入S13中训练好的语义分割网络中，每个图像块网络输出一张预测的概率图像块(概率图像块内像素值的取值范围在0到1，值越大表明该像素越可能是病变)，合并所有图像块的概率图像块得到整张切片的概率图像。注意合并时冗余区域的概率值取多个概率值的最大值。此外，本发明对切片的概率图像进行后处理，得到切片的最终病变区域。后处理包括设置阈值将概率图像二值化，然后去除二值化图像中的孤立点和非常小面积的连通域，最后进行空洞填充。
优选地，步骤S2中的形态特征集包括：病变区域的总面积，病变区域内最大病变概率值，病变区域内平均病变概率值，面积最大的病变区域的面积，面积最大的病变区域的最大病变概率值，面积最大的病变区域的平均病变概率值，面积最大的病变区域的凸壳面积，面积最大的病变区域的主轴长度，面积最大的病变区域的副轴长度，面积最大的病变区域的等效直径，面积最大的病变区域的面积与对应凸壳的面积比，面积最大的病变区域的离心率，面积最大的病变区域的面积与对应外接矩形的面积比。
优选地，步骤S3具体为根据切片形态特征集，使用随机森林分类器对单张切片进行病症转移分类，包括不含肿瘤细胞、含有孤立肿瘤细胞、含有微小肿瘤细胞区域和含有宏观肿瘤细胞区域四个类别，也即四个依次递增的风险等级，记这四个等级分别为I，II，III，V。
优选地，pN分期包括pN0，pN0(i+)，pN1mi，pN1，pN2五个类别。pN0 指病人取样的所有切片中均被是正常，即I级；pN0(i+)指病人取样的所有切片中最高病变等级不超过II级；pN1mi指病人取样的所有切片中最高病变等级不超过III级；pN1指病人取样的所有切片中含有1至3张病变等级为III的切片，其中至少1张病变等级V的切片；pN2指病人取样的所有切片中含有4至9张病变等级为III的切片，至少1张病变等级V的切片。
按照本发明的另一方面，本发明提供了一种癌症病灶转移阶段的分类系统，包括：
病变区域分割单元，用于构建深度语义分割网络对病理组织切片进行语义分割，得到病变区域；
形态特征集提取单元，用于根据病变区域分割结果构建形态特征集；
切片分类单元，用于根据提取的形态特征集，对单张切片进行分类；
pN分期预测单元，包括对病人的n张病理组织切片应用S3中的分类模型进行分类，根据n张切片的分类结果计算病人的pN分期。
按照本发明的另一方面，本发明提供了一种计算机可读存储介质，存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
通过本发明所构思的以上技术方案，与现有技术相比，能够取得以下有益效果：
1、本发明提供了的乳腺癌病理切片的自动分类方法能自动预测病人淋巴转移的pN分期，这相比现有方法仅仅只是分割切片内病变区域更加切合医生对智能诊断系统的需求，推进了现有智能诊断方法和系统的研究与落地；
2、本发明提供的乳腺癌病理切片的自动分类方法，其中一个关键模块是对切片内病变区域进行快速分割，由于全切片含有百亿级像素，因此对分割肿瘤细胞的算法的时间效率非常高，本发明通过将经典的分类卷积神经网络改编成全卷积的图到图的深度语义分割模型，极大地提高了分割模型的效率。
附图说明
图1是本实施例提供的乳腺癌病理切片的自动分类方法的流程示意图；
图2是本实施例提供的提取病理切片有效组织区域的效果示意图；
图3是本实施例提供的深度语义分割网络的结构示意图；
图4是本实施例提供的深度语义分割网络中Inception模块的结构示意图；
图5是本实施例提供的深度语义分割方法和经典分割方法分割结果的对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示为本发明实施例提供的一种乳腺癌病理切片的自动分类方法流程示意图，包括以下步骤：
S1.构建深度语义分割网络对病理组织切片进行语义分割，得到病变区域；
S2.根据S1中得到的病变区域，构建形态特征集；
S3.构建基于S2中形态特征集的病理组织切片分类模型；
S4.对病人的n张病理组织切片应用S3中的分类模型进行分类，根据 n张切片的分类结果计算病人的pN分期，n为正整数。
具体地，步骤S1具体包括：
S11.构建深度语义分割网络结构。语义分割网络的关键是同时获取图像内对象的语义信息和轮廓信息。经典的分类卷积网络通过卷积层和池化层的交替堆叠，特征层的语义信息逐渐被编码但是精细的轮廓信息也逐渐丢失了。本发明通过设计一种跨层网络结构，融合含有语义信息的深层特征图和含有轮廓信息的浅层特征图，将经典的分类卷积网络改编为语义分割网络，使得该网络能同时获取语义信息和轮廓信息进而实现语义分割。本实施例中在经典的分类卷积神经网络Inception基础上，按上述方法将其改编为图3的语义分割网络结构。图3中Inception模块是指一种包含多尺度卷积的卷积块，其结构如图4所示。
S12.制作训练样本。从病理组织切片中随机挑选若干切片作为训练集，包括病变切片(切片内含有病变区域)和正常切片(切片内不含病变区域)，对训练集中的病变切片会人工地标注其病变区域。根据人工标注，生成病变切片的二值掩码图像，掩码二值图像中像素值等于1的区域对应病变区域，正常切片的二值掩码图像中像素值全为0。随机地从每张切片中选取N 个图像块，并在切片对应的掩码图像中取相同位置的N个掩码图像块。图像块作为构建的深度语义分割网络的输入，对应的掩码图像块是该网络的理想输出。本发明使用交叉熵损失函数度量网络的实际输出和理想输出的差异，根据差异进而使用梯度反向传播算法更新网络的权值。
S13.深度语义分割网络的训练。本发明采用多轮学习策略和困难样本挖掘策略训练S11中构建的语义分割网络。具体是，使用S12中制作的训练集进行第一轮学习；使用学习之后的网络模型对训练集进行测试得到错分样本包括假阳性和假阴性样本，将这些未有效学习的样本分离出来作为困难样本，与第一轮训练的训练集一起构成新的训练集；将第一轮训练的学习率衰减到原值的十分之一，使用衰减之后的学习率对新的训练集进行第二轮学习。每轮训练包含多次迭代，在每次迭代训练中，从训练集中随机抽取数量相同的阳性样本和阴性样本输入网络模型进行训练。上述过程可以重复2至3轮。
S14.应用S13中训练好的语义分割网络计算测试集切片的病变区域。由于全切片含有百亿级像素，因此对分割肿瘤细胞的算法的时间效率非常高。本发明通过加入提取切片图像内的有效组织区域，极大地减少了后续肿瘤细胞分割算法的需要处理的图像面积。对病理切片图像进行前景分割，基于RGB三个颜色通道的极差作为阈值筛选出前景区域，根据下述公式二值化：
其中，I是切片的RGB数字图像，通过对RGB三个通道的极差作阈值得到二值化图像Ibinary，threRGB表示RGB三个通道极差的阈值。切片图像通常用苏木精和伊红(H&E)染色，染色会使细胞核呈紫色，使细胞质呈粉红色，而背景区域呈现白色或灰色，因此越是彩色的区域越可能是细胞组织区域。RGB三个通道值越均一则颜色越灰，极差越大则颜色越彩，因此把极差作为阈值，保留彩色区域，进而得到最终的前景图像。本实施例中threRGB取12。图2左图是切片的一部分，右图是使用本发明方法获取的前景分割图。
本发明采取冗余拆分的策略计算切片的病变区域。具体地，将切片图像划分成具有冗余宽度为S像素的多个图像块，图像块大小为M×M像素，将这些图像块输入S13中训练好的语义分割网络中，每个图像块网络输出一张预测的概率图像块(概率图像块内像素值的取值范围在0到1，值越大表明该像素越可能是病变)，合并所有图像块的概率图像块得到整张切片的概率图像。注意合并时冗余区域的概率值取多个概率值的最大值。此外，本发明对切片的概率图像进行后处理，得到切片的最终病变区域。后处理包括设置阈值将概率图像二值化，然后去除二值化图像中的孤立点和非常小面积的连通域，最后进行空洞填充。图5是对同一张切片图像的分割出的病变肿瘤区域，左图是对应的人工标注的肿瘤区域，中间图是采用基于 Inception分类网络和逐像素扫描策略的肿瘤区域分割结果，右图是采用本发明的深度语义分割网络的肿瘤区域分割结果。可以看出右图相比中间图分割出的肿瘤区域更准确，包括对面积极小的孤立肿瘤细胞的准确识别。
具体地，步骤S2中的形态特征集包括：病变区域的总面积，病变区域内最大病变概率值，病变区域内平均病变概率值，面积最大的病变区域的面积，面积最大的病变区域的最大病变概率值，面积最大的病变区域的平均病变概率值，面积最大的病变区域的凸壳面积，面积最大的病变区域的主轴长度，面积最大的病变区域的副轴长度，面积最大的病变区域的等效直径，面积最大的病变区域的面积与对应凸壳的面积比，面积最大的病变区域的离心率，面积最大的病变区域的面积与对应外接矩形的面积比。
具体地，步骤S3具体为根据切片形态特征集，使用随机森林分类器对单张切片进行病症转移分类，包括不含肿瘤细胞、含有孤立肿瘤细胞、含有微小肿瘤细胞区域和含有宏观肿瘤细胞区域四个类别，也即四个依次递增的风险等级，记这四个等级分别为I，II，III，V。
具体地，pN分期包括pN0，pN0(i+)，pN1mi，pN1，pN2五个类别。pN0 指病人取样的所有切片中均被是正常，即I级；pN0(i+)指病人取样的所有切片中最高病变等级不超过II级；pN1mi指病人取样的所有切片中最高病变等级不超过III级；pN1指病人取样的所有切片中含有1至3张病变等级为III的切片，其中至少1张病变等级V的切片；pN2指病人取样的所有切片中含有4至9张病变等级为III的切片，至少1张病变等级V的切片。
本发明还提供了一种癌症病灶转移阶段的分类系统，包括：
病变区域分割单元，用于构建深度语义分割网络对病理组织切片进行语义分割，得到病变区域；
形态特征集提取单元，用于根据病变区域分割结果构建形态特征集；
切片分类单元，用于根据提取的形态特征集，对单张切片进行分类；
pN分期预测单元，包括对病人的n张病理组织切片应用S3中的分类模型进行分类，根据n张切片的分类结果计算病人的pN分期。
本发明还提供了一种计算机可读存储介质，存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种乳腺癌病灶转移阶段的自动分类系统，其特征在于，包括：
病变区域分割单元，用于构建深度语义分割网络对淋巴结取样的病理组织切片进行语义分割，得到病变区域；具体包括构建基于Inception分类神经网络的深度语义分割网络结构，融合含有语义信息的深层特征图和含有轮廓信息的浅层特征图，同时获取语义信息和轮廓信息；从病理组织切片中随机挑选若干切片及其对应的病灶掩码图像作为构建的深度语义分割网络的训练集；随机地从每张切片中选取N个图像块，并在切片对应的掩码图像中取相同位置的N个掩码图像块；图像块作为构建的深度语义分割网络的输入，对应的掩码图像块是该网络的理想输出；采用多轮学习策略和困难样本挖掘策略训练，利用所述训练集对深度语义分割网络进行训练；利用训练好深度语义分割网络对训练集中的病理切片进行语义分割，得到病变区域；先对切片图像进行基于RGB极差的前景分割，获得前景分割图，然后在前景分割图上采取冗余拆分的策略计算切片的病变区域，即先冗余拆分切片图像为多个图像块，输入分割网络得到病变概率图像块，然后按位置合并所有的病变概率图像块，得到整个切片图像的病变概率图像；最后利用先验知识对切片图像的病变概率图像进行形态处理，更新切片图像的病变概率图像；
形态特征集提取单元，用于根据病变区域分割结果构建形态特征集，包括病变区域的形状特征、模型预测的最大病变概率值、平均病变概率值；
切片分类单元，用于根据提取的形态特征集，对单张切片进行分类；
pN分期预测单元，包括对单个病人来自多处淋巴结的n张病理组织切片进行分类，根据n张切片的分类结果计算病人的pN分期，预测病人乳腺癌淋巴转移的程度；其中，n和N为正整数。
2.根据权利要求1所述的自动分类系统，其特征在于，所述训练集包括病变切片和正常切片，所述病变切片会人工地标注其病变区域。
3.如权利要求1所述的自动分类系统，其特征在于，所述利用训练好深度语义分割网络对训练集进行语义分割，首先得到概率图像，然后设置阈值将概率图像二值化，得到切片的最终病变区域。
4.根据权利要求1所述的自动分类系统，其特征在于，所述形态特征集包括：病变区域的总面积，病变区域内最大病变概率值，病变区域内平均病变概率值，面积最大的病变区域的面积，面积最大的病变区域的最大病变概率值，面积最大的病变区域的平均病变概率值，面积最大的病变区域的凸壳面积，面积最大的病变区域的主轴长度，面积最大的病变区域的副轴长度，面积最大的病变区域的等效直径，面积最大的病变区域的面积与对应凸壳的面积比，面积最大的病变区域的离心率，面积最大的病变区域的面积与对应外接矩形的面积比。
5.根据权利要求1所述的自动分类系统，其特征在于，所述切片分类单元具体用于根据形态特征集，使用随机森林分类器对单张切片进行病症转移分类，分为四个等级分别记为I，II，III，V。
6.根据权利要求5所述的自动分类系统，其特征在于，所述pN分期包括pN0，pN0(i+)，pN1mi，pN1，pN2五个类别；pN0指病人取样的所有切片中均被是正常，即I级；pN0(i+)指病人取样的所有切片中最高病变等级不超过II级；pN1mi指病人取样的所有切片中最高病变等级不超过III级；pN1指病人取样的所有切片中含有1至3张病变等级为III的切片，其中至少1张病变等级V的切片；pN2指病人取样的所有切片中含有4至9张病变等级为III的切片，至少1张病变等级V的切片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910886249.XA CN110738637B (zh) | 2019-09-19 | 2019-09-19 | 一种乳腺癌病理切片的自动分类系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910886249.XA CN110738637B (zh) | 2019-09-19 | 2019-09-19 | 一种乳腺癌病理切片的自动分类系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110738637A CN110738637A (zh) | 2020-01-31 |
| CN110738637B true CN110738637B (zh) | 2022-10-14 |
Family
ID=69268314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910886249.XA Expired - Fee Related CN110738637B (zh) | 2019-09-19 | 2019-09-19 | 一种乳腺癌病理切片的自动分类系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110738637B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402264B (zh) * | 2020-03-11 | 2024-05-24 | 南京三百云信息科技有限公司 | 图像区域分割方法、装置及其模型训练方法及计算机设备 |
| CN112132827A (zh) * | 2020-10-13 | 2020-12-25 | 腾讯科技（深圳）有限公司 | 病理图像的处理方法、装置、电子设备及可读存储介质 |
| CN113269752A (zh) * | 2021-05-27 | 2021-08-17 | 中山大学孙逸仙纪念医院 | 一种图像检测方法、装置终端设备及存储介质 |
| CN114119588A (zh) * | 2021-12-02 | 2022-03-01 | 北京大恒普信医疗技术有限公司 | 一种训练眼底黄斑病变区域检测模型的方法、装置及系统 |
| CN114565761B (zh) * | 2022-02-25 | 2023-01-17 | 无锡市第二人民医院 | 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2998160A1 (fr) * | 2012-11-19 | 2014-05-23 | Gen Electric | Procede de traitement d'images radiologiques en double energie |
| CN105550651A (zh) * | 2015-12-14 | 2016-05-04 | 中国科学院深圳先进技术研究院 | 一种数字病理切片全景图像自动分析方法及系统 |
| CN108875829A (zh) * | 2018-06-20 | 2018-11-23 | 鲁东大学 | 一种乳腺肿瘤图像的分类方法及系统 |
| CN109740626A (zh) * | 2018-11-23 | 2019-05-10 | 杭州电子科技大学 | 基于深度学习的乳腺癌病理切片中癌症区域的检测方法 |
-
2019
- 2019-09-19 CN CN201910886249.XA patent/CN110738637B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2998160A1 (fr) * | 2012-11-19 | 2014-05-23 | Gen Electric | Procede de traitement d'images radiologiques en double energie |
| CN105550651A (zh) * | 2015-12-14 | 2016-05-04 | 中国科学院深圳先进技术研究院 | 一种数字病理切片全景图像自动分析方法及系统 |
| CN108875829A (zh) * | 2018-06-20 | 2018-11-23 | 鲁东大学 | 一种乳腺肿瘤图像的分类方法及系统 |
| CN109740626A (zh) * | 2018-11-23 | 2019-05-10 | 杭州电子科技大学 | 基于深度学习的乳腺癌病理切片中癌症区域的检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于显微高光谱成像的乳腺肿瘤组织微阵列识别分析方法研究;郑欣;《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》;20190915;52-69 * |
| 基于特征融合和困难样例挖掘的图像语义分割;李梦溪;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20181215;6-7 * |
| 数据挖掘算法对乳腺肿瘤超声图像特征的优化及良恶性分类研究;孙梅;《科技通报》;20171031;67-72 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110738637A (zh) | 2020-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110738637B (zh) | 一种乳腺癌病理切片的自动分类系统 | |
| CN111402268B (zh) | 一种医学图像中肝脏及其病灶分割的方法 | |
| CN111091527B (zh) | 一种病理组织切片图像中病变区域自动检测方法及系统 | |
| CN109035255B (zh) | 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法 | |
| CN108898160B (zh) | 基于cnn和影像组学特征融合的乳腺癌组织病理学分级方法 | |
| CN108805209B (zh) | 一种基于深度学习的肺结节筛查方法 | |
| CN105574859B (zh) | 一种基于ct图像的肝脏肿瘤分割方法及装置 | |
| Ding et al. | Multi-scale fully convolutional network for gland segmentation using three-class classification | |
| US20170249739A1 (en) | Computer analysis of mammograms | |
| CN111402267B (zh) | 前列腺癌病理图像中上皮细胞核的分割方法、装置和终端 | |
| Kumar et al. | Robust and automated lung nodule diagnosis from CT images based on fuzzy systems | |
| SG194407A1 (en) | A method and system for determining a stage of fibrosis in a liver | |
| CN111242242B (zh) | 一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法 | |
| CN113592783B (zh) | 角膜共聚焦图像中细胞基础指标的精准量化方法及装置 | |
| CN112767407B (zh) | 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法 | |
| CN109785310A (zh) | 一种基于乳腺淋巴结全景图像计算的自动分期系统 | |
| CN114841947A (zh) | 肺腺癌h&e染色病理图像肿瘤区域多尺度特征提取与预后分析方法、装置 | |
| Raut et al. | Lung cancer detection using machine learning approach | |
| CN115471701A (zh) | 基于深度学习和迁移学习的肺腺癌组织学亚型分类方法 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN115206495A (zh) | 基于CoAtNet深度学习的肾癌病理图像分析方法、系统及智能显微装置 | |
| Mastouri et al. | A morphological operation-based approach for Sub-pleural lung nodule detection from CT images | |
| CN113269764A (zh) | 颅内动脉瘤自动分割方法、系统、样本处理及模型训练方法 | |
| Kavitha et al. | Volumetric analysis framework for accurate segmentation and classification (VAF-ASC) of lung tumor from CT images | |
| CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20221014 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |