CN111798425B - 基于深度学习的胃肠道间质瘤中核分裂象智能检测方法 - Google Patents
基于深度学习的胃肠道间质瘤中核分裂象智能检测方法 Download PDFInfo
- Publication number
- CN111798425B CN111798425B CN202010624314.4A CN202010624314A CN111798425B CN 111798425 B CN111798425 B CN 111798425B CN 202010624314 A CN202010624314 A CN 202010624314A CN 111798425 B CN111798425 B CN 111798425B
- Authority
- CN
- China
- Prior art keywords
- deep learning
- image
- model
- layer
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 109
- 238000001514 detection method Methods 0.000 title claims abstract description 77
- 206010051066 Gastrointestinal stromal tumour Diseases 0.000 title claims abstract description 27
- 201000011243 gastrointestinal stromal tumor Diseases 0.000 title claims abstract description 27
- 230000000394 mitotic effect Effects 0.000 title claims description 9
- 230000001575 pathological effect Effects 0.000 claims abstract description 54
- 230000011218 segmentation Effects 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000004992 fission Effects 0.000 claims abstract description 28
- 238000013145 classification model Methods 0.000 claims abstract description 24
- 238000010186 staining Methods 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 210000004027 cell Anatomy 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 230000002496 gastric effect Effects 0.000 description 3
- 238000010827 pathological analysis Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 210000000805 cytoplasm Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000031864 metaphase Effects 0.000 description 2
- 239000012128 staining reagent Substances 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 230000016853 telophase Effects 0.000 description 2
- 108010077544 Chromatin Proteins 0.000 description 1
- 102000010834 Extracellular Matrix Proteins Human genes 0.000 description 1
- 108010037362 Extracellular Matrix Proteins Proteins 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000031016 anaphase Effects 0.000 description 1
- 230000001640 apoptogenic effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 210000003483 chromatin Anatomy 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 210000002744 extracellular matrix Anatomy 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 210000000569 greater omentum Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 201000008806 mesenchymal cell neoplasm Diseases 0.000 description 1
- 210000000713 mesentery Anatomy 0.000 description 1
- 230000011278 mitosis Effects 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 150000007523 nucleic acids Chemical class 0.000 description 1
- 102000039446 nucleic acids Human genes 0.000 description 1
- 108020004707 nucleic acids Proteins 0.000 description 1
- 238000010882 preoperative diagnosis Methods 0.000 description 1
- 230000031877 prophase Effects 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 210000000574 retroperitoneal space Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 210000004876 tela submucosa Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
一种基于深度学习的胃肠道间质瘤中核分裂象智能检测方法：对获取的苏木精‑伊红染色病理图像进行预处理；使用EfficientDet‑D0作为深度学习检测模型，并进行训练；使用U‑Net作为深度学习分割模型，并对深度学习分割模型进行训练；构建深度学习分类模型；训练深度学习分类模型；使用训练好的深度学习检测模型对被试者的苏木精‑伊红染色病理图像进行检测；使用深度学习分割模型对病理图像进行分割，对分割后的结果进行检测；将基于深度学习检测模型的核分裂象检测结果和基于深度学习分割模型的核分裂象检测结果进行比对，得到最终分类结果。本发明通过分析输入的苏木精‑伊红染色图像，检测其中核分裂象的数量，实现对胃肠道间质瘤危险程度的判断。
Description
技术领域
本发明涉及一种胃肠道间质瘤中核分裂象检测方法。特别是涉及一种基于深度学习的胃肠道间质瘤中核分裂象智能检测方法。
背景技术
胃肠道间质瘤是一类起源于胃肠道间叶组织的肿瘤，占消化道间叶肿瘤的大部分，是最常见的腹部软组织恶性肿瘤。胃肠道间质瘤最常见于胃(50％～60％)、其次是小肠(30％～35％)、结肠和直肠(5％)、食道(<1％)，以及少部分消化道外(肠系膜，大网膜和腹膜后；<5％)。平均诊断年龄为63岁，无性别差异。胃肠道间质瘤患者常因肿瘤位于黏膜下层和肌层而无特征性症状,故术前诊断较为困难。传统的辅助检查缺乏特异性,内镜和影像学检查仅有助于确定肿瘤部位。病理诊断依靠应用超声内镜下细针穿刺活检得到组织样本,其诊断准确率较高，是胃肠道间质瘤诊断的“金标准”。因此,胃肠道间质瘤的诊断应结合临床症状、体征、消化道内镜及影像学检查,但最终必须依靠病理诊断。
病理学上使用苏木精-伊红染色方法处理活检采集的组织样本制成病理切片，染色试剂中中苏木精可以使细胞核内的染色质与胞质内的核酸着紫蓝色，而试剂中的伊红可以使细胞质和细胞外基质中的成分着红色，从而方便医生对病理切片进行观察。医生在显微镜下观察病理切片中的相关特征，从而判断患者的胃肠道间质瘤的危险程度。其中，核分裂象数量是一个非常重要的指导指标——显微镜视野内的核分裂象数目是医生判断胃肠道间质瘤危险程度的重要指标。核分裂象指的是细胞中处于有丝分裂前期、有丝分裂中期、有丝分裂后期和有丝分裂末期的细胞的统称。
深度学习方法作为一种机器学习算法，以其应用场景多、应用效果好等优点被广泛应用到医学的诊断中。深度学习方法起源于人工神经网络，它是一种对人类大脑中神经元的人工模拟，从而产生优异的拟合能力、泛化能力和问题解决能力。它被应用于自然语言处理、图像识别、语音识别等领域，而在图像识别领域，它又可细分为语义分割、目标检测、实例分割等方面。
由于病理切片图像中核分裂象的形态多变，其可以细分为前期、中期、后期和末期，使检测较为困难；图片中存在某些易混淆对象，如凋亡细胞，增大了检测难度；病理图像中非核分裂象细胞远多于核分裂象细胞，进一步降低了检测准确率，提高了检测难度。而深度学习方法具有泛化能力强等特征，非常适用于这种复杂情况下目标的检测。如近年来在目标检测领域应用效果良好的Faster R-CNN，其具有较高的检测准确率。但是由于病理图片具有类别单一、前景-背景极度不均衡等特点，需要一种结合深度学习检测方法、分割方法和分类方法的苏木精-伊红染色病理切片图像中核分裂象检测计数的方法。
发明内容
本发明所要解决的技术问题是，提供一种基于深度学习的胃肠道间质瘤中核分裂象智能检测方法。
本发明所采用的技术方案是：一种基于深度学习的胃肠道间质瘤中核分裂象智能检测方法，包括如下步骤：
1)对获取的苏木精-伊红染色病理图像进行预处理；
2)使用EfficientDet-D0作为深度学习检测模型，并对深度学习检测模型进行训练；
3)使用U-Net作为深度学习分割模型，并对深度学习分割模型进行训练；
4)构建深度学习分类模型；
5)训练深度学习分类模型；
6)使用训练好的深度学习检测模型对被试者的苏木精-伊红染色病理图像进行检测；
7)使用深度学习分割模型对病理图像进行分割，对分割后的结果进行检测；
8)将基于深度学习检测模型的核分裂象检测结果和基于深度学习分割模型的核分裂象检测结果进行比对，得到最终分类结果。
本发明的基于深度学习的胃肠道间质瘤中核分裂象智能检测方法，使用深度学习中分割算法对切片图像中的核分裂象和无关背景进行分割，根据分割结果对核分裂象的轮廓进行检测，同时将病理图像输入目标检测网络得到检测结果，然后参考分割得到的结果和检测得到的结果得到最终结果，从而为医生的病理诊断提供精准的中间数据。本发明可安装在服务器电脑上，通过分析输入的苏木精-伊红染色图像，检测其中核分裂象的数量，实现对胃肠道间质瘤危险程度的判断。
附图说明
图1是本发明基于深度学习的胃肠道间质瘤中核分裂象智能检测方法的流程图；
图2是本发明构建的深度学习分类模型的结构示意图；
图3是本发明所构建深度学习分类模型中第一卷积单元的结构示意图。
具体实施方式
下面结合实施例和附图对本发明的基于深度学习的胃肠道间质瘤中核分裂象智能检测方法做出详细说明。
如图1所示，本发明的基于深度学习的胃肠道间质瘤中核分裂象智能检测方法，包括如下步骤：
1)对获取的苏木精-伊红染色病理图像进行预处理；包括：
(1)分别对每一个苏木精-伊红染色病理图像进行切块，分割成512*512大小；
(2)对切块后的病理图像使用高斯模糊方法进行去噪：
其中，G(u,v)代表高斯核在(u,v)的值，u和v分别表示图像空间坐标；
表征模糊半径；σ是正态分布的标准差，为避免图像尺寸缩小，本发明在图像四周填充近邻值；
(3)对去噪后的病理图像采用如下公式进行正则化处理：
其中，IR、IG、IB分别代表正则化之前的红色通道、绿色通道和蓝色通道的像素值，I'R、I'G、I'B分别代表正则化之后的红色通道、绿色通道和蓝色通道的像素值；uR、uG、uB分别代表正则化之前所有病理图像的红色通道、绿色通道和蓝色通道的像素值均值；σR、σG和σB分别代表正则化之前所有病理图像的红色通道、绿色通道和蓝色通道的像素值标准差，计算公式如下：
其中，H和W分别代表图像的纵向高度和横向宽度，
代表图像x在i,j位置上通道C的像素值，C＝R,G,B。
2)使用EfficientDet-D0作为深度学习检测模型，并对深度学习检测模型进行训练；
具体是：使用EfficientDet-D0作为深度学习检测模型，将预处理后的病理图像打乱顺序后输入到所述的深度学习检测模型中，使用Adam优化器对所述的深度学习检测模型进行训练，批大小设置为每批8张图片，初始的学习率设置为0.001，并且每3000次迭代降低一次学习率，每次学习率降低为0.9，训练中使用的损失函数为focalloss，公式如下：
其中，p为深度学习检测模型对目标类别预测的概率，y为真正的类别标签，γ设置为2；
在训练50000次迭代后得到训练好的深度学习检测模型。
3)使用U-Net作为深度学习分割模型，并对深度学习分割模型进行训练；
具体是：采用U-Net作为深度学习分割模型，将预处理后的病理图像打乱顺序后输入所述的深度学习分割模型，并将深度学习分割模型得到的结果与输入图像相对应的掩膜进行对比训练，训练过程中，使用随机梯度下降优化器，所述随机梯度下降优化器的惯性参数设置为0.9，初始的学习率设置为0.01，并且每3000次迭代降低一次学习率，每次学习率降低为0.9，训练中使用的损失函数为DiceLoss，公式如下：
其中，IX是深度学习分割模型得到的分割结果，IY是掩膜；
在训练50000次迭代后得到训练好的深度学习分割模型。
4)构建深度学习分类模型；
所述的深度学习分类模型，包括：依次连接的第一卷积层、第一批量标准化层、第一卷积单元、第二卷积单元、第三卷积单元、第四卷积单元、输入一维化层、第一全连接层、第二全连接层、概率预测层；其中，所述第一卷积层的输入为外部输入数据，所述概率预测层的输出构成深度学习分类模型的概率输出；
所述的第一卷积单元、第二卷积单元、第三卷积单元和第四卷积单元结构相同，均包括：依次连接的第一最大池化层、第二卷积层、第二批量标准化层、第三卷积层、第三批量标准化层、第四卷积层、第四批量标准化层和第一跳跃连接融合层；其中最大池化层和跳跃连接融合层的输入为外部输入数据，最终从第一跳跃连接融合层输出；
所述的所述的深度学习分类模型中：
所述的第一～第四卷积层，通过卷积计算从模型的输入中提取有效特征，运算如下式：
Xl＝f(∑Xl-1*wl+bl)
其中，Xl和Xl-1分别表示当前层卷积层和上一卷积层的特征图，wl表示权重，bl表示偏置，f表示激活函数，选用ReLU激活函数；
所述的第一～第四批量标准化层，用于对每批数据进行标准化，减小输入特征的特征分布的差异，提高预测效果；
每个所述的最大池化层，用于扩大感受野，利用一个矩阵窗口在特征图上进行扫描，将每个矩阵中元素通过池化方法来减少元素的个数，保持特征的空间位置关系；
所述的输入一维化层用于将输入的多维数据扁平化，从而得到一维输出，用于第一全连接层；
第一全连接层和第二全连接层用于对输入特征进行进一步加工处理，起到对输入特征的特征空间进行变换的效果；
所述的概率预测层用于分别预测数据属于核分裂象和属于非核分裂象的概率。
5)训练深度学习分类模型；包括：
(1)对预处理后的病理图像进行切块，切割成大小为100*100的图像块，保证图像块中心存在细胞，然后依照切块后的病理图像块的中心细胞的类型进行分类，分为核分裂象和非核分裂象两类；
(2)将切块的病理图像打乱顺序并且输入到深度学习分类模型中进行分类；
(3)将分类结果和真实类别进行对比训练，训练过程中，使用随机梯度下降优化器，将随机梯度下降优化器的惯性参数设置为0.9，初始的学习率设置为0.01，并且每3000次迭代降低一次学习率，每次学习率降低为0.9，训练中使用的损失函数为BinaryCross-EntropyLoss，公式如下：
其中，M代表预处理后病理图像的数量，pk代表深度学习分类模型预测对图像k预测的属于核分裂象的概率，lk代表图像k的真实类别标签。
在训练50000次迭代后得到训练好的深度学习分类模型。
6)使用训练好的深度学习检测模型对被试者的苏木精-伊红染色病理图像进行检测；
具体是：将被试者的苏木精-伊红染色病理图像采用步骤1)的方式进行预处理，得到预处理后的病理图像，并且将预处理后的病理图像输入到训练好的深度学习检测模型中，得到核分裂象的边界框和类别，然后剔除其中边界框的面积大于10000和小于25的假例，得到基于深度学习检测模型的核分裂象检测结果。
7)使用深度学习分割模型对病理图像进行分割，对分割后的结果进行检测；
具体上：将步骤6)预处理后的被试者的苏木精-伊红染色病理图像输入训练好的深度学习分割模型，得到分割结果，然后使用高斯模糊方法对分割结果进行处理，再采用大津(OTSU)算法对处理后的结果进行二值化，得到二值化的分割结果，采用Opencv中findContours工具来提取前景中的核分裂象的轮廓，并且剔除核分裂象的轮廓的像素面积大于8000和小于25的假例，得到基于深度学习分割模型的核分裂象检测结果。
8)将基于深度学习检测模型的核分裂象检测结果和基于深度学习分割模型的核分裂象检测结果进行比对，得到最终分类结果。具体包括：
遍历基于深度学习分割模型的核分裂象检测结果中的边界框，并和基于深度学习检测模型的核分裂象检测结果中的边界框采用交并比计算公式进行比对，当二者的交并比(IoU)大于阈值0.7时，认为边界框位置处存在核分裂象，交并比计算公式如下：
否则，将边界框所在区域剪裁成100*100的图像块，并输入训练好的深度学习分类模型进行进一步分类，得到最终的检测结果，并且对边界框进行计数。
Claims (7)
1.一种基于深度学习的胃肠道间质瘤中核分裂象智能检测方法，其特征在于，包括如下步骤：
1)对获取的苏木精-伊红染色病理图像进行预处理；
2)使用EfficientDet-D0作为深度学习检测模型，并对深度学习检测模型进行训练；
3)使用U-Net作为深度学习分割模型，并对深度学习分割模型进行训练；
4)构建深度学习分类模型；
所述的深度学习分类模型，包括：依次连接的第一卷积层、第一批量标准化层、第一卷积单元、第二卷积单元、第三卷积单元、第四卷积单元、输入一维化层、第一全连接层、第二全连接层、概率预测层；其中，所述第一卷积层的输入为外部输入数据，所述概率预测层的输出构成深度学习分类模型的概率输出；
所述的第一卷积单元、第二卷积单元、第三卷积单元和第四卷积单元结构相同，均包括：依次连接的第一最大池化层、第二卷积层、第二批量标准化层、第三卷积层、第三批量标准化层、第四卷积层、第四批量标准化层和第一跳跃连接融合层；其中最大池化层和跳跃连接融合层的输入为外部输入数据，最终从第一跳跃连接融合层输出；
所述的深度学习分类模型中：
所述的第一～第四卷积层，通过卷积计算从模型的输入中提取有效特征，运算如下式：
Xl＝f(∑Xl-1*wl+bl)
其中，Xl和Xl-1分别表示当前层卷积层和上一卷积层的特征图，wl表示权重，bl表示偏置，f表示激活函数，选用ReLU激活函数；
所述的第一～第四批量标准化层，用于对每批数据进行标准化，减小输入特征的特征分布的差异，提高预测效果；
每个所述的最大池化层，用于扩大感受野，利用一个矩阵窗口在特征图上进行扫描，将每个矩阵中元素通过池化方法来减少元素的个数，保持特征的空间位置关系；
所述的输入一维化层用于将输入的多维数据扁平化，从而得到一维输出，用于第一全连接层；
第一全连接层和第二全连接层用于对输入特征进行进一步加工处理，起到对输入特征的特征空间进行变换的效果；
所述的概率预测层用于分别预测数据属于核分裂象和属于非核分裂象的概率；
5)训练深度学习分类模型；
6)使用训练好的深度学习检测模型对被试者的苏木精-伊红染色病理图像进行检测；
7)使用深度学习分割模型对病理图像进行分割，对分割后的结果进行检测；
8)将基于深度学习检测模型的核分裂象检测结果和基于深度学习分割模型的核分裂象检测结果进行比对，得到最终分类结果；包括：
遍历基于深度学习分割模型的核分裂象检测结果中的边界框，并和基于深度学习检测模型的核分裂象检测结果中的边界框采用交并比计算公式进行比对，当二者的交并比大于阈值0.7时，认为边界框位置处存在核分裂象，交并比计算公式如下：
否则，将边界框所在区域剪裁成100*100的图像块，并输入训练好的深度学习分类模型进行进一步分类，得到最终的检测结果，并且对边界框进行计数。
2.根据权利要求1所述的基于深度学习的胃肠道间质瘤中核分裂象智能检测方法，其特征在于，步骤1)包括：
(1)分别对每一个苏木精-伊红染色病理图像进行切块，分割成512*512大小；
(2)对切块后的病理图像使用高斯模糊方法进行去噪：
其中，G(u,v)代表高斯核在u,v的值，u和v分别表示图像空间坐标；σ是正态分布的标准差，在图像四周填充近邻值；
(3)对去噪后的病理图像采用如下公式进行正则化处理：
其中，IR、IG、IB分别代表正则化之前的红色通道、绿色通道和蓝色通道的像素值，I'R、I'G、I'B分别代表正则化之后的红色通道、绿色通道和蓝色通道的像素值；uR、uG、uB分别代表正则化之前所有病理图像的红色通道、绿色通道和蓝色通道的像素值均值；σR、σG和σB分别代表正则化之前所有病理图像的红色通道、绿色通道和蓝色通道的像素值标准差，计算公式如下：
其中，H和W分别代表图像的纵向高度和横向宽度，
代表图像x在i,j位置上通道C的像素值，C＝R,G,B。
3.根据权利要求1所述的基于深度学习的胃肠道间质瘤中核分裂象智能检测方法，其特征在于，步骤2)包括：
使用EfficientDet-D0作为深度学习检测模型，将预处理后的病理图像打乱顺序后输入到所述的深度学习检测模型中，使用Adam优化器对所述的深度学习检测模型进行训练，批大小设置为每批8张图片，初始的学习率设置为0.001，并且每3000次迭代降低一次学习率，每次降低的学习率都是之前一次学习率的0.9倍，训练中使用的损失函数为focalloss，公式如下：
其中，p为深度学习检测模型对目标类别预测的概率，y为真正的类别标签，γ设置为2；
在训练50000次迭代后得到训练好的深度学习检测模型。
4.根据权利要求1所述的基于深度学习的胃肠道间质瘤中核分裂象智能检测方法，其特征在于，步骤3)包括：
采用U-Net作为深度学习分割模型，将预处理后的病理图像打乱顺序后输入所述的深度学习分割模型，并将深度学习分割模型得到的结果与输入图像相对应的掩膜进行对比训练，训练过程中，使用随机梯度下降优化器，所述随机梯度下降优化器的惯性参数设置为0.9，初始的学习率设置为0.01，并且每3000次迭代降低一次学习率，每次降低的学习率都是之前一次学习率的0.9倍，训练中使用的损失函数为DiceLoss，公式如下：
其中，IX是深度学习分割模型得到的分割结果，IY是掩膜；
在训练50000次迭代后得到训练好的深度学习分割模型。
5.根据权利要求1所述的基于深度学习的胃肠道间质瘤中核分裂象智能检测方法，其特征在于，步骤5)包括：
(1)对预处理后的病理图像进行切块，切割成大小为100*100的图像块，保证图像块中心存在细胞，然后依照切块后的病理图像块的中心细胞的类型进行分类，分为核分裂象和非核分裂象两类；
(2)将切块的病理图像打乱顺序并且输入到深度学习分类模型中进行分类；
(3)将分类结果和真实类别进行对比训练，训练过程中，使用随机梯度下降优化器，将随机梯度下降优化器的惯性参数设置为0.9，初始的学习率设置为0.01，并且每3000次迭代降低一次学习率，每次降低的学习率都是之前一次学习率的0.9倍，训练中使用的损失函数为BinaryCross-EntropyLoss，公式如下：
其中，M代表预处理后病理图像的数量，pk代表深度学习分类模型预测对图像k预测的属于核分裂象的概率，lk代表图像k的真实类别标签；
在训练50000次迭代后得到训练好的深度学习分类模型。
6.根据权利要求1所述的基于深度学习的胃肠道间质瘤中核分裂象智能检测方法，其特征在于，步骤6)包括：
将被试者的苏木精-伊红染色病理图像采用步骤1)的方式进行预处理，得到预处理后的病理图像，并且将预处理后的病理图像输入到训练好的深度学习检测模型中，得到核分裂象的边界框和类别，然后剔除其中边界框的面积大于10000和小于25的假例，得到基于深度学习检测模型的核分裂象检测结果。
7.根据权利要求1所述的基于深度学习的胃肠道间质瘤中核分裂象智能检测方法，其特征在于，步骤7)包括：
将步骤6)预处理后的被试者的苏木精-伊红染色病理图像输入训练好的深度学习分割模型，得到分割结果，然后使用高斯模糊方法对分割结果进行处理，再采用大津算法对处理后的结果进行二值化，得到二值化的分割结果，采用Opencv中findContours工具来提取前景中的核分裂象的轮廓，并且剔除核分裂象的轮廓的像素面积大于8000和小于25的假例，得到基于深度学习分割模型的核分裂象检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010624314.4A CN111798425B (zh) | 2020-06-30 | 2020-06-30 | 基于深度学习的胃肠道间质瘤中核分裂象智能检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010624314.4A CN111798425B (zh) | 2020-06-30 | 2020-06-30 | 基于深度学习的胃肠道间质瘤中核分裂象智能检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111798425A CN111798425A (zh) | 2020-10-20 |
| CN111798425B true CN111798425B (zh) | 2022-05-27 |
Family
ID=72810973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010624314.4A Active CN111798425B (zh) | 2020-06-30 | 2020-06-30 | 基于深度学习的胃肠道间质瘤中核分裂象智能检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111798425B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112633086B (zh) * | 2020-12-09 | 2024-01-26 | 西安电子科技大学 | 基于多任务EfficientDet的近红外行人监测方法、系统、介质、设备 |
| CN112232327B (zh) * | 2020-12-16 | 2021-04-16 | 南京金域医学检验所有限公司 | 一种基于深度学习的抗核抗体核型判读方法与设备 |
| CN112801958A (zh) * | 2021-01-18 | 2021-05-14 | 青岛大学附属医院 | 超声内镜、人工智能辅助鉴别方法、系统、终端、介质 |
| CN113393454A (zh) * | 2021-07-02 | 2021-09-14 | 北京邮电大学 | 活检组织中病理目标实例分割方法和装置 |
| CN114943723A (zh) * | 2022-06-08 | 2022-08-26 | 北京大学口腔医学院 | 一种对不规则细胞进行分割计数的方法及相关设备 |
| CN114973244B (zh) * | 2022-06-12 | 2023-04-11 | 桂林电子科技大学 | 一种乳腺癌h&e染色病理图像有丝分裂自动识别系统和方法 |
| CN115620075B (zh) * | 2022-12-16 | 2023-03-14 | 南昌大学 | 白细胞分类模型用数据集的生成方法、系统及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107369151A (zh) * | 2017-06-07 | 2017-11-21 | 万香波 | 基于大数据深度学习的胃肠间质瘤病理诊断支持系统和方法 |
| CN107491789A (zh) * | 2017-08-24 | 2017-12-19 | 南方医科大学南方医院 | 基于支持向量机的胃肠间质瘤恶性潜能分类模型的构建方法 |
| CN111028206A (zh) * | 2019-11-21 | 2020-04-17 | 万达信息股份有限公司 | 一种基于深度学习前列腺癌自动检测和分类系统 |
| WO2020114941A1 (en) * | 2018-12-05 | 2020-06-11 | Agfa Nv | Improving segmentations of a deep neural network |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446730B (zh) * | 2018-03-16 | 2021-05-28 | 推想医疗科技股份有限公司 | 一种基于深度学习的ct肺结节检测装置 |
-
2020
- 2020-06-30 CN CN202010624314.4A patent/CN111798425B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107369151A (zh) * | 2017-06-07 | 2017-11-21 | 万香波 | 基于大数据深度学习的胃肠间质瘤病理诊断支持系统和方法 |
| CN107491789A (zh) * | 2017-08-24 | 2017-12-19 | 南方医科大学南方医院 | 基于支持向量机的胃肠间质瘤恶性潜能分类模型的构建方法 |
| WO2020114941A1 (en) * | 2018-12-05 | 2020-06-11 | Agfa Nv | Improving segmentations of a deep neural network |
| CN111028206A (zh) * | 2019-11-21 | 2020-04-17 | 万达信息股份有限公司 | 一种基于深度学习前列腺癌自动检测和分类系统 |
Non-Patent Citations (1)
| Title |
|---|
| Multi-Task Refined Boundary-Supervision U-Net (MRBSU-Net) for Gastrointestinal Stromal Tumor Segmentation in Endoscopic Ultrasound (EUS) Images;Xinyi Li et al.;《IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY SECTION》;20200110;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111798425A (zh) | 2020-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111798425B (zh) | 基于深度学习的胃肠道间质瘤中核分裂象智能检测方法 | |
| US20220309653A1 (en) | System and method for attention-based classification of high-resolution microscopy images | |
| CN106056595B (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统 | |
| CN112070772A (zh) | 基于UNet++和ResNet的血液白细胞图像分割方法 | |
| CN112150428A (zh) | 一种基于深度学习的医学图像分割方法 | |
| CN115063592B (zh) | 一种基于多尺度的全扫描病理特征融合提取方法及系统 | |
| US20230005140A1 (en) | Automated detection of tumors based on image processing | |
| CN114092450A (zh) | 一种基于胃镜检查视频的实时图像分割方法、系统、装置 | |
| Rahman et al. | Mri brain tumor classification using deep convolutional neural network | |
| Barpanda | Use of image processing techniques to automatically diagnose sickle-cell anemia present in red blood cells smear | |
| CN113538422A (zh) | 一种基于染色强度矩阵的病理图像自动分类方法 | |
| CN112330645A (zh) | 基于注意力机制的胶质瘤分级方法以及装置 | |
| CN111798426B (zh) | 用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| Azli et al. | Ultrasound image segmentation using a combination of edge enhancement and kirsch’s template method for detecting follicles in ovaries | |
| Dandan et al. | A multi-model organ segmentation method based on abdominal ultrasound image | |
| Masoudi et al. | Diagnosis of Hodgkin's disease by identifying Reed-Sternberg cell nuclei in histopathological images of lymph nodes stained with Hematoxylin and Eosin | |
| CN114283406A (zh) | 细胞图像识别方法、装置、设备、介质及计算机程序产品 | |
| Adeyemo et al. | Impact of pixel scaling on classification accuracy of dermatological skin disease detection | |
| Ravi et al. | Machine Learning-based Classification and Analysis of Breast Cancer Pathological Images | |
| Sule | Development of a Skin Cancer Detection Classifier using Artificial Neural Network (ANN) | |
| Jitender | LUNG CANCER DETECTION USING DIGITAL IMAGE PROCESSING AND ARTIFICIAL NEURAL NETWORKS | |
| CN117218419B (zh) | 一种胰胆肿瘤分型分级分期的评估系统和评估方法 | |
| Shih et al. | Implementation of Weakly Supervised Vitiligo Treatment Evaluation System | |
| Perumprath et al. | Deep Learning for Segmentation of Brain Tumors using MR Images based on U-Net Architecture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |