CN111798426B - 用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统 - Google Patents
用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统 Download PDFInfo
- Publication number
- CN111798426B CN111798426B CN202010624315.9A CN202010624315A CN111798426B CN 111798426 B CN111798426 B CN 111798426B CN 202010624315 A CN202010624315 A CN 202010624315A CN 111798426 B CN111798426 B CN 111798426B
- Authority
- CN
- China
- Prior art keywords
- layer
- deep learning
- block
- pooling
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 49
- 206010051066 Gastrointestinal stromal tumour Diseases 0.000 title claims abstract description 28
- 201000011243 gastrointestinal stromal tumor Diseases 0.000 title claims abstract description 28
- 230000000394 mitotic effect Effects 0.000 title description 7
- 230000011218 segmentation Effects 0.000 claims abstract description 56
- 230000001575 pathological effect Effects 0.000 claims abstract description 36
- 230000004992 fission Effects 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 238000010186 staining Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000011176 pooling Methods 0.000 claims description 52
- 230000004927 fusion Effects 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 101150046323 MIOS gene Proteins 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 abstract description 9
- 206010028980 Neoplasm Diseases 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 5
- 230000007850 degeneration Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002496 gastric effect Effects 0.000 description 3
- 238000010827 pathological analysis Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 210000000805 cytoplasm Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 108010077544 Chromatin Proteins 0.000 description 1
- 102000010834 Extracellular Matrix Proteins Human genes 0.000 description 1
- 108010037362 Extracellular Matrix Proteins Proteins 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000031016 anaphase Effects 0.000 description 1
- 230000001640 apoptogenic effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 210000003483 chromatin Anatomy 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 210000002919 epithelial cell Anatomy 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 210000002744 extracellular matrix Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 210000004276 hyalin Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 201000008806 mesenchymal cell neoplasm Diseases 0.000 description 1
- 210000000713 mesentery Anatomy 0.000 description 1
- 230000031864 metaphase Effects 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 150000007523 nucleic acids Chemical class 0.000 description 1
- 102000039446 nucleic acids Human genes 0.000 description 1
- 108020004707 nucleic acids Proteins 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 210000002747 omentum Anatomy 0.000 description 1
- 210000004303 peritoneum Anatomy 0.000 description 1
- 238000010882 preoperative diagnosis Methods 0.000 description 1
- 230000031877 prophase Effects 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 239000012128 staining reagent Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 210000004876 tela submucosa Anatomy 0.000 description 1
- 230000016853 telophase Effects 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 210000003934 vacuole Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
一种用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统，包括：对获取的所有苏木精‑伊红染色病理图像进行预处理；建立深度学习分割模型；将预处理后的所有病理图像输入深度学习分割模型，对深度学习分割模型进行训练；采集被试者的苏木精‑伊红染色病理图像，并对苏木精‑伊红染色病理图像进行预处理；将预处理后的被试者的苏木精‑伊红染色病理图像输入训练好的深度学习分割模型，进行分割处理，得到到分割结果；对分割结果中的核分裂象轮廓进行提取及计数。本发明可安装在服务器电脑上，通过分析输入的苏木精‑伊红染色图像，检测其中核分裂象的数量，为医生实现对胃肠道间质瘤危险程度的诊断提供精准的中间数据。
Description
技术领域
本发明涉及一种胃肠道间质瘤中核分裂象检测方法。特别是涉及一种用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统。
背景技术
胃肠道间质瘤是一类起源于胃肠道间叶组织的肿瘤，占消化道间叶肿瘤的大部分，是最常见的腹部软组织恶性肿瘤。胃肠道间质瘤最常见于胃(50％～60％)、其次是小肠(30％～35％)、结肠和直肠(5％)、食道(<1％)，以及少部分消化道外(肠系膜，大网膜和腹膜后；<5％)。平均诊断年龄为63岁，无性别差异。胃肠道间质瘤主要由梭形细胞和上皮样细胞构成，少数可见多形性肿瘤细胞，甚至破骨细胞样巨细胞.依据梭形和上皮样细胞的比例可分为上皮样细胞型、梭形细胞型和混合细胞型.排列方式多样，梭形细胞多以束状、漩涡状和栅栏状排列为主，上皮样细胞常呈弥漫片巢状排列.部分肿瘤可伴有囊性变、透明变性、黏液变性及钙化，并可见核周空泡细胞和印戒样肿瘤细胞，少数肿瘤间质可见"丝团样纤维"。胃肠道间质瘤患者常因肿瘤位于黏膜下层和肌层而无特征性症状，故术前诊断较为困难。传统的辅助检查缺乏特异性，内镜和影像学检查仅有助于确定肿瘤部位。病理诊断依靠应用超声内镜下细针穿刺活检得到组织样本，其诊断准确率较高，是胃肠道间质瘤诊断的“金标准”。因此，胃肠道间质瘤的诊断应结合临床症状、体征、消化道内镜及影像学检查，但最终必须依靠病理诊断。
医学上使用苏木精-伊红染色方法处理活检采集的组织样本制成病理切片，染色试剂中苏木精可以使细胞核内的染色质与胞质内的核酸着紫蓝色，而试剂中的伊红可以使细胞质和细胞外基质中的成分着红色，从而方便医生对病理切片进行观察。医生在显微镜下观察病理切片中的相关特征，从而判断患者的胃肠道间质瘤的危险程度。其中，核分裂象数量是一个非常重要的指导指标——显微镜视野内的核分裂象数目是医生判断胃肠道间质瘤危险程度的重要指标。本发明将深度学习中语义分割方法引入到胃肠道间质瘤诊断中，实现对病理切片中核分裂象的检测。
深度学习方法作为一种机器学习算法，以其应用场景多、应用效果好等优点被广泛应用到医学的诊断中。深度学习方法起源于人工神经网络，它是一种对人类大脑中神经元的人工模拟，从而产生优异的拟合能力、泛化能力和问题解决能力。它被应用于自然语言处理、图像识别、语音识别等领域，而在图像识别领域，它又可细分为语义分割、目标检测、实例分割等方面。
由于病理切片图像中核分裂象的形态多变，其可以细分为前期、中期、后期和末期，使检测较为困难；图片中存在某些易混淆对象，如凋亡细胞，增大了检测难度；病理图像中非核分裂象细胞远多于核分裂象细胞，进一步降低了检测准确率，提高了检测难度。而深度学习方法具有泛化能力强等特征，非常适用于这种复杂情况下目标的检测。如近年来在目标检测领域应用效果良好的FasterR-CNN，其具有较高的检测准确率。但是由于病理图片具有类别单一、前景-背景极度不均衡等特点，需要一种新的基于深度学习的检测方法。
发明内容
本发明所要解决的技术问题是，提供一种为医生实现对胃肠道间质瘤危险程度的诊断提供精准的中间数据的用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统。
本发明所采用的技术方案是：一种用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统，包括如下步骤：
1)对获取的所有苏木精-伊红染色病理图像进行预处理；
2)建立深度学习分割模型；
3)将预处理后的所有病理图像输入深度学习分割模型，对深度学习分割模型进行训练；
4)采集被试者的苏木精-伊红染色病理图像，并对苏木精-伊红染色病理图像进行预处理；
5)将预处理后的被试者的苏木精-伊红染色病理图像输入训练好的深度学习分割模型，进行分割处理，得到到分割结果；
6)对分割结果中的核分裂象轮廓进行提取及计数。
本发明的用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统，使用深度学习中的语义分割网络对切片图像中的核分裂象和无关背景进行分割，并根据分割结果对核分裂象的轮廓进行检测和核分裂象计数，从而为医生的病理诊断提供诊断指标。本发明可安装在服务器电脑上，通过分析输入的苏木精-伊红染色图像，检测其中核分裂象的数量，为医生实现对胃肠道间质瘤危险程度的诊断提供精准的中间数据。
附图说明
图1是本发明的用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统的流程图；
图2是本发明中建立的深度学习分割模型的结构示意图。
具体实施方式
下面结合实施例和附图对本发明的用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统做出详细说明。
本发明的用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统，是针对移动端计算能力弱、运行内存低的特点进行针对性的调整，使用浅层深度学习分割模型并为了减少算力进行了相应的调整，最终实现核分裂象检测的检测计数，从而得到用于协助医生对患者胃肠道间质瘤危险程度进行判断的中间数据。
如图1所示，本发明的用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统，包括如下步骤：
1)对所有苏木精-伊红染色病理图像预处理；包括：
(1)分别将每一张图像进行切块，将每一张待检测的苏木精-伊红染色病理图像切块成512*512大小，减轻移动端的计算负荷；
(2)对切块后的病理图像使用高斯模糊方法实现去噪：
其中，G(u,v)代表高斯核在u,v的值，u和v分别表示图像空间坐标，
表征模糊半径r，σ是正态分布的标准差；
当模糊半径r为1，标准差σ为1.5时，G(u,v)的3×3的高斯核为：
本发明使用以上高斯核对得到的图像块进行卷积以得到去噪的图像，为避免图像尺寸缩小，本发明使用在图像四周填充近邻值。
(3)对去噪后的病理图像进行正则化处理；根据对于苏木精-伊红染色病理切片图像的先验知识，采用以下公式进行正则化：
其中，IR、IG、IB分别代表正则化之前的红色通道、绿色通道和蓝色通道的像素值，I'R、I'G、I'B分别代表正则化之后的红色通道、绿色通道和蓝色通道的像素值；uR、uG、uB表示在公开数据集MITOS dataset@ICPR2012中采集器A所采集数据在红色通道、绿色通道和蓝色通道上的均值；σR、σG和σB分别表示在公开数据集MITOS dataset@ICPR2012中采集器A所采集数据在红色通道、绿色通道和蓝色通道上的标准差。
2)建立深度学习分割模型，其中所述的深度学习分割模型如图2所示，包括：依次连接的第一卷积块1、第二卷积块2、第三卷积块3、第一全局池化层4、第一权重预测层5、第一注意力融合6、第四卷积块7、第五卷积块8、概率预测层9；依次连接的第一最大池化层10、第六卷积块11、第七卷积块12、第八卷积块13、第二全局池化层14、第二权重预测层15、第二注意力融合16、第九卷积块17、第十卷积块18、第一反卷积层19；依次连接的第二最大池化层20、第十一卷积块21、第十二卷积块22、第十三卷积块23、第三全局池化层24、第三权重预测层25、第三注意力融合26、第十四卷积块27、第十五卷积块28、第二反卷积层29；依次连接的第三最大池化层30、第十六卷积块31、第十七卷积块32、第十八卷积块33、第三反卷积层34；其中，所述第一卷积块1的输入为外部输入数据，所述第二卷积块2的输出还构成第一最大池化层10的输入，第一反卷积层19的输出也构成第一注意力融合6的输入，第七卷积块12的输出还构成第二最大池化层20的输入，第二反卷积层29的输出也构成第二注意力融合16的输入，第十二卷积块22的输出还构成第三最大池化层30的输入，第三反卷积层34的输出也构成第三注意力融合26的输入，最终，输出结果从概率预测层9输出；其中，
第一～第十八卷积块由1个卷积层、1个批量标准化层和1个激活函数层串联组成，用于从输入中提取有效特征，激活函数层使用ReLU作为激活函数；
第一～第三最大池化层用于扩大感受野，利用一个矩阵窗口在特征图上进行扫描，将每个矩阵中元素通过池化方法来减少元素的个数，保持特征的空间位置关系；
第一～第三反卷积层用于扩大输入数据的形状，添加细节特征；
第一～第三全局池化层用于为每个特征图预测一个值用于权重的预测；
第一～第三权重预测层用于根据全局池化层输出的每个特征图的值来预测相应特征图的权重，权重预测层使用的Sigmoid函数公式如下：
其中，v代表全局池化层输出的每个特征图的值；
第一～第三注意力融合层用于融合所连接的权重预测层和反卷积层的结果，将权重预测层得到的每个特征图的权重应用到反卷积层的结果上；
所述的概率预测层用于预测输入的每个点属于核分裂象的概率。
3)将预处理后的所有病理图像输入深度学习分割模型，对深度学习分割模型进行训练，具体包括：
将预处理后的病理图像输入建立的深度学习分割模型，并将深度学习分割模型得到的结果与输入图像相对应的掩膜进行对比训练，训练过程中，使用随机梯度下降优化器，将随机梯度下降优化器的惯性参数设置为0.9，初始的学习率设置为0.01，并且每3000次迭代降低一次学习率，每次降低0.9，训练中使用的损失函数为DiceLoss，公式如下：
其中，IX是深度学习分割模型的分割结果，IY是真正的掩膜；
在训练50000次迭代后得到训练好的深度学习分割模型。
4)采集被试者的苏木精-伊红染色病理图像，并对苏木精-伊红染色病理图像进行步骤1)所述的预处理；
5)将预处理后的被试者的苏木精-伊红染色病理图像输入训练好的深度学习分割模型，进行分割处理，得到分割结果；
6)对分割结果中的核分裂象轮廓进行提取及计数。具体包括：
(1)使用高斯模糊方法对分割结果进行处理，再采用大津(OTSU)算法对处理后的结果进行二值化，得到二值化的分割结果；
针对分割结果均匀度较差的问题，采用大津(OTSU)算法对分割结果进行二值化。大津算法是一种通过统计整个图像的直方图特性来实现全局阈值T的自动选取的算法，其应用思想是寻找能够最大化前景和背景的方差的阈值，最终起到对分割图像进行前景提取的作用，并且该方法能够一定程度上起到剔除噪声区域的作用。其算法流程如下：
(i)计算图像的灰度直方图并进行归一化；
(ii)使用t将直方图中的像素分为前景和背景，大于t的被归类为前景，小于t的被归类为背景。将t从0到255依次进行迭代；
(iii)对上步中的每次迭代，计算属于前景的像素点数占整幅图像的比例记为ωf，其平均灰度μf；背景像素点数占整幅图像的比例ωb，平均灰度μb。图像的总平均灰度记为μ，类间方差记为g，相应的计算公式如下:
μ＝ωf×μf+ωb×μb
g＝ωf×(μf-μ)2+ωb×(μb-μ)2
(iv)比较不同t下的类间方差g，并选取最大的g值对应的t作为最终的分割阈值。
(2)采用轮廓提取方法对二值化的分割结果提取核分裂象的轮廓，所述的轮廓提取方法，是Opencv中findContours方法；
(3)假例剔除
根据得到的核分裂象轮廓，计算每个核分裂象的像素面积，将像素面积大于8000和小于25的核分裂象视作假例并剔除，剩余的核分裂象轮廓即为检测到的核分裂象；
(4)对检测到的核分裂象进行计数。
以上对本发明和实施例的描述，并不局限于此，实施例中的描述仅是本发明的实施方式之一，在不脱离本发明创造宗旨的情况下，任何不经创造性的设计出与该技术方案类似的结构或实施例，均属本发明的保护范围。
Claims (4)
1.一种用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统，其特征在于，包括如下步骤：
1)对获取的所有苏木精-伊红染色病理图像进行预处理；
2)建立深度学习分割模型；所述的深度学习分割模型包括：依次连接的第一卷积块(1)、第二卷积块(2)、第三卷积块(3)、第一全局池化层(4)、第一权重预测层(5)、第一注意力融合(6)、第四卷积块(7)、第五卷积块(8)、概率预测层(9)；依次连接的第一最大池化层(10)、第六卷积块(11)、第七卷积块(12)、第八卷积块(13)、第二全局池化层(14)、第二权重预测层(15)、第二注意力融合(16)、第九卷积块(17)、第十卷积块(18)、第一反卷积层(19)；依次连接的第二最大池化层(20)、第十一卷积块(21)、第十二卷积块(22)、第十三卷积块(23)、第三全局池化层(24)、第三权重预测层(25)、第三注意力融合(26)、第十四卷积块(27)、第十五卷积块(28)、第二反卷积层(29)；依次连接的第三最大池化层(30)、第十六卷积块(31)、第十七卷积块(32)、第十八卷积块(33)、第三反卷积层(34)；其中，所述第一卷积块(1)的输入为外部输入数据，所述第二卷积块(2)的输出还构成第一最大池化层(10)的输入，第一反卷积层(19)的输出也构成第一注意力融合(6)的输入，第七卷积块(12)的输出还构成第二最大池化层(20)的输入，第二反卷积层(29)的输出也构成第二注意力融合(16)的输入，第十二卷积块(22)的输出还构成第三最大池化层(30)的输入，第三反卷积层(34)的输出也构成第三注意力融合(26)的输入，最终，输出结果从概率预测层9输出；其中，
第一～第十八卷积块由1个卷积层、1个批量标准化层和1个激活函数层串联组成，用于从输入中提取有效特征，激活函数层使用ReLU作为激活函数；
第一～第三最大池化层用于扩大感受野，利用一个矩阵窗口在特征图上进行扫描，将每个矩阵中元素通过池化方法来减少元素的个数，保持特征的空间位置关系；
第一～第三反卷积层用于扩大输入数据的形状，添加细节特征；
第一～第三全局池化层用于为每个特征图预测一个值用于权重的预测；
第一～第三权重预测层用于根据全局池化层输出的每个特征图的值来预测相应特征图的权重，权重预测层使用的Sigmoid函数公式如下：
其中，v代表全局池化层输出的每个特征图的值；
第一～第三注意力融合层用于融合所连接的权重预测层和反卷积层的结果，将权重预测层得到的每个特征图的权重应用到反卷积层的结果上；
所述的概率预测层用于预测输入的每个点属于核分裂象的概率；
3)将预处理后的所有病理图像输入深度学习分割模型，对深度学习分割模型进行训练；
4)采集被试者的苏木精-伊红染色病理图像，并对苏木精-伊红染色病理图像进行预处理；
5)将预处理后的被试者的苏木精-伊红染色病理图像输入训练好的深度学习分割模型，进行分割处理，得到到分割结果；
6)对分割结果中的核分裂象轮廓进行提取及计数。
2.根据权利要求1所述的用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统，其特征在于，步骤1)和步骤4)所述的预处理包括：
(1)分别将每一张图像进行切块，将每一张待检测的苏木精-伊红染色病理图像切块成512*512大小；
(2)对切块后的病理图像使用高斯模糊方法实现去噪：
其中，G(u,v)代表高斯核在u,v的值，u和v分别表示图像空间坐标，
表征模糊半径r，σ是正态分布的标准差；
当模糊半径r为1，标准差σ为1.5时，3×3的高斯核为：
(3)对去噪后的病理图像进行正则化处理；采用以下公式进行正则化：
其中，IR、IG、IB分别代表正则化之前的红色通道、绿色通道和蓝色通道的像素值，I′R、I′G、I′B分别代表正则化之后的红色通道、绿色通道和蓝色通道的像素值；uR、uG、uB表示在公开数据集MITOS dataset@ICPR2012中采集器A所采集数据在红色通道、绿色通道和蓝色通道上的均值；σR、σG和σB分别表示在公开数据集MITOS dataset@ICPR2012中采集器A所采集数据在红色通道、绿色通道和蓝色通道上的标准差。
3.根据权利要求1所述的用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统，其特征在于，步骤3)具体包括：
将预处理后的病理图像输入建立的深度学习分割模型，并将深度学习分割模型得到的结果与输入图像相对应的掩膜进行对比训练，训练过程中，使用随机梯度下降优化器，将随机梯度下降优化器的惯性参数设置为0.9，初始的学习率设置为0.01，并且每3000次迭代降低一次学习率，每次降低0.9，训练中使用的损失函数为DiceLoss，公式如下：
其中，IX是深度学习分割模型的分割结果，IY是真正的掩膜；
在训练50000次迭代后得到训练好的深度学习分割模型。
4.根据权利要求1所述的用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统，其特征在于，步骤6)具体包括：
(1)使用高斯模糊方法对分割结果进行处理，再采用大津算法对处理后的结果进行二值化，得到二值化的分割结果；
(2)采用轮廓提取方法对二值化的分割结果提取核分裂象的轮廓，所述的轮廓提取方法，是Opencv中findContours方法；
(3)假例剔除
根据得到的核分裂象轮廓，计算每个核分裂象的像素面积，将像素面积大于8000和小于25核分裂象视作假例并剔除，剩余的核分裂象轮廓即为检测到的核分裂象；
(4)对检测到的核分裂象进行计数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010624315.9A CN111798426B (zh) | 2020-06-30 | 2020-06-30 | 用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010624315.9A CN111798426B (zh) | 2020-06-30 | 2020-06-30 | 用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111798426A CN111798426A (zh) | 2020-10-20 |
| CN111798426B true CN111798426B (zh) | 2022-09-06 |
Family
ID=72810007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010624315.9A Active CN111798426B (zh) | 2020-06-30 | 2020-06-30 | 用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111798426B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114742742B (zh) * | 2021-01-08 | 2024-10-15 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
| CN113393454A (zh) * | 2021-07-02 | 2021-09-14 | 北京邮电大学 | 活检组织中病理目标实例分割方法和装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110197182A (zh) * | 2019-06-11 | 2019-09-03 | 中国电子科技集团公司第五十四研究所 | 基于上下文信息和注意力机制的遥感影像语义分割方法 |
| CN110675419A (zh) * | 2019-10-11 | 2020-01-10 | 上海海事大学 | 一种自适应注意门的多模态脑胶质瘤影像分割方法 |
| CN110766643A (zh) * | 2019-10-28 | 2020-02-07 | 电子科技大学 | 一种面向眼底图像的微动脉瘤检测方法 |
| CN111210447A (zh) * | 2020-01-10 | 2020-05-29 | 福建师范大学 | 一种苏木精-伊红染色病理图像层次分割的方法及终端 |
| CN111260653A (zh) * | 2020-04-27 | 2020-06-09 | 腾讯科技（深圳）有限公司 | 一种图像分割方法、装置、存储介质和电子设备 |
| CN111275714A (zh) * | 2020-01-13 | 2020-06-12 | 武汉大学 | 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法 |
| CN111311607A (zh) * | 2020-01-21 | 2020-06-19 | 北京贝叶科技有限公司 | 一种基于深度学习的银屑病组织病理切片分割方法和系统 |
| CN111340046A (zh) * | 2020-02-18 | 2020-06-26 | 上海理工大学 | 基于特征金字塔网络和通道注意力的视觉显著性检测方法 |
-
2020
- 2020-06-30 CN CN202010624315.9A patent/CN111798426B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110197182A (zh) * | 2019-06-11 | 2019-09-03 | 中国电子科技集团公司第五十四研究所 | 基于上下文信息和注意力机制的遥感影像语义分割方法 |
| CN110675419A (zh) * | 2019-10-11 | 2020-01-10 | 上海海事大学 | 一种自适应注意门的多模态脑胶质瘤影像分割方法 |
| CN110766643A (zh) * | 2019-10-28 | 2020-02-07 | 电子科技大学 | 一种面向眼底图像的微动脉瘤检测方法 |
| CN111210447A (zh) * | 2020-01-10 | 2020-05-29 | 福建师范大学 | 一种苏木精-伊红染色病理图像层次分割的方法及终端 |
| CN111275714A (zh) * | 2020-01-13 | 2020-06-12 | 武汉大学 | 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法 |
| CN111311607A (zh) * | 2020-01-21 | 2020-06-19 | 北京贝叶科技有限公司 | 一种基于深度学习的银屑病组织病理切片分割方法和系统 |
| CN111340046A (zh) * | 2020-02-18 | 2020-06-26 | 上海理工大学 | 基于特征金字塔网络和通道注意力的视觉显著性检测方法 |
| CN111260653A (zh) * | 2020-04-27 | 2020-06-09 | 腾讯科技（深圳）有限公司 | 一种图像分割方法、装置、存储介质和电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| Attention U-Net:Learning Where to Look for the Pancreas;Ozan Oktay,Jo Schlemper;《arXiv:1804.03999v3》;20180520;全文 * |
| 基于深度卷积神经网络的宫颈细胞病理智能辅助诊断方法;廖欣，郑欣;《液晶与显示》;20180630;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111798426A (zh) | 2020-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111798425B (zh) | 基于深度学习的胃肠道间质瘤中核分裂象智能检测方法 | |
| US20220309653A1 (en) | System and method for attention-based classification of high-resolution microscopy images | |
| Pogorelov et al. | Deep learning and hand-crafted feature based approaches for polyp detection in medical videos | |
| CN112070772A (zh) | 基于UNet++和ResNet的血液白细胞图像分割方法 | |
| CN106874687A (zh) | 病理切片图像智能分类方法及装置 | |
| Xie et al. | Interpretable classification from skin cancer histology slides using deep learning: A retrospective multicenter study | |
| CN110390678B (zh) | 一种结直肠癌ihc染色图像的组织类型分割方法 | |
| CN111798426B (zh) | 用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统 | |
| CN113239755A (zh) | 一种基于空谱融合深度学习的医学高光谱图像分类方法 | |
| WO2018157381A1 (zh) | 病理切片图像智能分类方法及装置 | |
| Xu et al. | Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients | |
| CN115063592B (zh) | 一种基于多尺度的全扫描病理特征融合提取方法及系统 | |
| CN114092450A (zh) | 一种基于胃镜检查视频的实时图像分割方法、系统、装置 | |
| Dmitry et al. | Review of features and metafeatures allowing recognition of abnormalities in the images of GIT | |
| Firmansyah et al. | Detection melanoma cancer using ABCD rule based on mobile device | |
| CN112330645A (zh) | 基于注意力机制的胶质瘤分级方法以及装置 | |
| Barpanda | Use of image processing techniques to automatically diagnose sickle-cell anemia present in red blood cells smear | |
| Hassan et al. | A dilated residual hierarchically fashioned segmentation framework for extracting Gleason tissues and grading prostate cancer from whole slide images | |
| Zhang et al. | Deep learning for image analysis in kidney care | |
| McCann et al. | Automated colitis detection from endoscopic biopsies as a tissue screening tool in diagnostic pathology | |
| CN113222928B (zh) | 一种尿细胞学人工智能尿路上皮癌识别系统 | |
| Wang et al. | Segmentation of pathological features of rat bile duct carcinoma from hyperspectral images | |
| CN115439491A (zh) | Mri图像肠损伤区域的分割方法、装置及等级评估系统 | |
| CN111798427B (zh) | 基于迁移学习的胃肠道间质瘤中核分裂象检测系统 | |
| Masoudi et al. | Diagnosis of Hodgkin's disease by identifying Reed-Sternberg cell nuclei in histopathological images of lymph nodes stained with Hematoxylin and Eosin |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |