CN111798427B - 基于迁移学习的胃肠道间质瘤中核分裂象检测系统 - Google Patents
基于迁移学习的胃肠道间质瘤中核分裂象检测系统 Download PDFInfo
- Publication number
- CN111798427B CN111798427B CN202010624326.7A CN202010624326A CN111798427B CN 111798427 B CN111798427 B CN 111798427B CN 202010624326 A CN202010624326 A CN 202010624326A CN 111798427 B CN111798427 B CN 111798427B
- Authority
- CN
- China
- Prior art keywords
- pathological section
- neural network
- image
- layer
- convolution neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Abstract
一种基于迁移学习的胃肠道间质瘤中核分裂象检测系统:对病理切片图像数据进行预处理;构建预训练全卷积神经网络,包括编码器子网络和解码器子网络;选取Adam优化器对预训练全卷积神经网络进行梯度更新,并使用Focal Loss损失函数对预训练全卷积神经网络进行训练;3)将训练完成的预训练全卷积神经网络中解码器子网络权重进行初始化后,得到一个新的全卷积神经网络,选取Adam优化器对所述的全卷积神经网络进行梯度更新,并使用Focal Loss损失函数对所述的全卷积神经网络进行训练;对训练好的全卷积神经网络进行测试,得到核分裂象区域的二值图。本发明可为病理医生对于核分裂象的检测提供有效的中间数据,实现对病人病情的快速判别。
Description
技术领域
本发明涉及一种胃肠道间质瘤中核分裂象检测系统。特别是涉及一种基于迁移学习的胃肠道间质瘤中核分裂象检测系统.
背景技术
胃肠道间质瘤是一类起源于胃肠道间叶组织的肿瘤,占消化道间叶肿瘤的大部分,是最常见的腹部软组织恶性肿瘤。胃肠道间质瘤最常见于胃(50%~60%)、其次是小肠(30%~35%)、结肠和直肠(5%)、食道(<1%),以及少部分消化道外(肠系膜,大网膜和腹膜后;<5%)。平均诊断年龄为63岁,无性别差异。胃肠道间质瘤主要由梭形细胞和上皮样细胞构成,少数可见多形性肿瘤细胞,甚至破骨细胞样巨细胞.依据梭形和上皮样细胞的比例可分为上皮样细胞型、梭形细胞型和混合细胞型.排列方式多样,梭形细胞多以束状、漩涡状和栅栏状排列为主,上皮样细胞常呈弥漫片巢状排列.部分肿瘤可伴有囊性变、透明变性、黏液变性及钙化,并可见核周空泡细胞和印戒样肿瘤细胞,少数肿瘤间质可见"丝团样纤维"。胃肠道间质瘤患者常因肿瘤位于黏膜下层和肌层而无特征性症状,故术前诊断较为困难。传统的辅助检查缺乏特异性,内镜和影像学检查仅有助于确定肿瘤部位。病理诊断依靠应用超声内镜下细针穿刺活检得到组织样本,其诊断准确率较高,是胃肠道间质瘤诊断的“金标准”。因此,胃肠道间质瘤的诊断应结合临床症状、体征、消化道内镜及影像学检查,但最终必须依靠病理诊断。
医学上使用苏木精-伊红染色方法处理活检采集的组织样本制成病理切片,染色试剂中中苏木精可以使细胞核内的染色质与胞质内的核酸着紫蓝色,而试剂中的伊红可以使细胞质和细胞外基质中的成分着红色,从而方便医生对病理切片进行观察。医生在显微镜下观察病理切片中的相关特征,从而判断患者的胃肠道间质瘤的危险程度。其中,核分裂象数量是一个非常重要的指导指标——显微镜视野内的核分裂象数目是医生判断胃肠道间质瘤危险程度的重要指标。
深度学习方法作为一种机器学习算法,以其应用场景多、应用效果好等优点被广泛应用到医学的诊断中。深度学习方法起源于人工神经网络,它是一种对人类大脑中神经元的人工模拟,从而产生优异的拟合能力、泛化能力和问题解决能力。它被应用于自然语言处理、图像识别、语音识别等领域,而在图像识别领域,它又可细分为语义分割、目标检测、实例分割等方面。
由于病理切片图像中核分裂象的形态多变,其可以细分为前期、中期、后期和末期,使检测较为困难;图片中存在某些易混淆对象,如凋亡细胞,增大了检测难度;病理图像中非核分裂象细胞远多于核分裂象细胞,进一步降低了检测准确率,提高了检测难度。而深度学习方法具有泛化能力强等特征,非常适用于这种复杂情况下对目标的分割。但是由于病理图片具有类别单一、前景-背景极度不均衡等特点,需要一种基于迁移学习方法的病理切片图像中核分裂象分割的方法。
发明内容
本发明所要解决的技术问题是,提供一种能够为医生的病理诊断提供有效辅助参考的基于迁移学习的胃肠道间质瘤中核分裂象检测系统。
本发明所采用的技术方案是:一种基于迁移学习的胃肠道间质瘤中核分裂象检测系统,其特征在于,包括如下步骤:
1)对病理切片图像数据进行预处理,包括:
(1)将除胃肠道间质瘤病理切片图像数据集C以外的多种不同病例的病理切片图像数据集汇总为一个综合病理切片图像数据集T,并对综合病理切片图像数据集T和胃肠道间质瘤病理切片图像数据集C进行染色均一化处理,以适应不同染色条件下导致的切片中颜色深浅不一问题。
(2)由专业医生对综合病理切片图像数据集T中图像和胃肠道间质瘤病理切片图像数据集C中图像进行手工标注,所述的手工标注是在综合病理切片图像数据集T中标注出病灶、血管和脂肪的区域,在胃肠道间质瘤病理切片图像数据集C中标注出核分裂象区域,根据手工标注的结果生成与每一张病理切片图像对应的掩膜图像Yi T和与每一张胃肠道间质瘤病理切片图像对应的掩膜图像其中,i表示综合病理切片图像数据集T中的图像索引,j表示胃肠道间质瘤病理切片图像数据集C中的图像索引;
(3)在40×图层下对综合病理切片图像数据集T中的每一张病理切片图像进行不重叠裁剪切块,同时对该张病理切片图像所对应掩膜图像Yi T在相同坐标下进行裁剪切块,得到综合病理切片图像块数据集其中,每个图像块的分辨率为512×512,xi和yi分别表示在第i张病理切片图像中图像块的左上角点在横坐标轴与纵坐标轴上的坐标,N表示综合病理切片图像数据集T中病理切片图像的数量;在40×图层下对胃肠道间质瘤病理切片图像数据集C中的每一张病理切片图像进行不重叠裁剪切块,同时对该张病理切片图像所对应掩膜图像在相同坐标下进行裁剪切块,得到胃肠道间质瘤病理切片图像块数据集其中,每个图像块的分辨率为512×512,cj和dj分别表示在第j张病理切片图像中图像块的左上角点在横坐标轴与纵坐标轴上的坐标,M表示胃肠道间质瘤病理切片图像数据集C中病理切片图像的数量;
2)构建预训练全卷积神经网络,包括编码器子网络和解码器子网络,其中,所述编码器子网络是由ResNet50构成;所述的解码器子网络是由依次连接的第一卷积层、第二卷积层、第一上采样层、第三卷积层、第四卷积层、第二上采样层、第五卷积层、第六卷积层和第三上采样层构成;所述ResNet50的输出是第一卷积层的输入,所述第三上采样层的输出构成预训练全卷积神经网络的输出,选取Adam优化器对预训练全卷积神经网络进行梯度更新,并使用Focal Loss损失函数对预训练全卷积神经网络进行训练;
3)将训练完成的预训练全卷积神经网络中解码器子网络权重进行初始化后,得到一个新的全卷积神经网络,选取Adam优化器对所述的全卷积神经网络进行梯度更新,并使用Focal Loss损失函数对所述的全卷积神经网络进行训练;
4)对训练好的全卷积神经网络进行测试,测试时首先对用于测试的胃肠道间质瘤病理切片图像进行预处理,得到n块大小为512×512的图像块,同时记录下每个图像块左上角的坐标,批处理大小为128,将所述的n块大小为512×512的图像块输入训练好的全卷积神经网络中,输出得到n个概率图,并根据每个图像块左上角的坐标,重新拼接成与预处理前胃肠道间质瘤病理切片图像大小相同的概率图,设置阈值为0.5后得到核分裂象区域的二值图。
本发明的基于迁移学习的胃肠道间质瘤中核分裂象检测系统,利用多种不同病例的病理切片数据集构建用一个相对较大的病理切片图像数据集,训练出一个高性能的深度神经网络的预训练模型做为主干网络,对胃肠道间质瘤数据集进行训练,实现对胃肠道间质瘤中核分裂象的准确快速判断。本发明可为病理医生对于核分裂象的检测提供有效的中间数据,实现对病人病情的快速判别,降低病理医生的误诊率。
附图说明
图1是本发明基于迁移学习的胃肠道间质瘤中核分裂象检测系统中的训练流程图;
图2是本发明基于迁移学习的胃肠道间质瘤中核分裂象检测系统中的应用流程图。
具体实施方式
下面结合实施例和附图对本发明的基于迁移学习的胃肠道间质瘤中核分裂象检测系统做出详细说明。
本发明的基于迁移学习的胃肠道间质瘤中核分裂象检测系统,包括如下步骤:
1)对病理切片图像数据进行预处理,包括:
(1)将除胃肠道间质瘤病理切片图像数据集C以外的多种不同病例的病理切片图像数据集汇总为一个综合病理切片图像数据集T,并对综合病理切片图像数据集T和胃肠道间质瘤病理切片图像数据集C进行染色均一化处理,以适应不同染色条件下导致的切片中颜色深浅不一问题。
如:经过专业医生从数据集中选定目标图像Hsource,将数据集中除Hsource以外的其他病理切片图像选定为Htarget,以Hsource的颜色基为标准替换Htarget颜色基,同时保留Htarget的相对染色密度,染色均一化矩阵Vsource表示为:
其中P99表示99分位数,Wtarget表示相对光密度分离出的颜色基矩阵。
然后,使用反向比尔-朗伯变换将每个通道和每个像素的源光密度与目标图像进行染色均一化,再将其转换回像素强度空间,公式表示为:
c表示图像的三通道,x表示像素位置,target表示选定目标图像,ic,x,source表示转换后的每个像素点值,i0表示最大强度值,e为自然常数。
(2)由专业医生对综合病理切片图像数据集T中图像和胃肠道间质瘤病理切片图像数据集C中图像进行手工标注,所述的手工标注是在综合病理切片图像数据集T中标注出病灶、血管和脂肪的区域,在胃肠道间质瘤病理切片图像数据集C中标注出核分裂象区域,根据手工标注的结果生成与每一张病理切片图像对应的掩膜图像Yi T和与每一张胃肠道间质瘤病理切片图像对应的掩膜图像其中,i表示综合病理切片图像数据集T中的图像索引,j表示胃肠道间质瘤病理切片图像数据集C中的图像索引;
(3)在40×图层下对综合病理切片图像数据集T中的每一张病理切片图像进行不重叠裁剪切块,同时对该张病理切片图像所对应掩膜图像Yi T在相同坐标下进行裁剪切块,得到综合病理切片图像块数据集其中,每个图像块的分辨率为512×512,xi和yi分别表示在第i张病理切片图像中图像块的左上角点在横坐标轴与纵坐标轴上的坐标,N表示综合病理切片图像数据集T中病理切片图像的数量;在40×图层下对胃肠道间质瘤病理切片图像数据集C中的每一张病理切片图像进行不重叠裁剪切块,同时对该张病理切片图像所对应掩膜图像在相同坐标下进行裁剪切块,得到胃肠道间质瘤病理切片图像块数据集其中,每个图像块的分辨率为512×512,cj和dj分别表示在第j张病理切片图像中图像块的左上角点在横坐标轴与纵坐标轴上的坐标,M表示胃肠道间质瘤病理切片图像数据集C中病理切片图像的数量;
2)构建预训练全卷积神经网络,包括编码器子网络和解码器子网络,其中,所述编码器子网络是由ResNet50构成;所述的解码器子网络是由依次连接的第一卷积层、第二卷积层、第一上采样层、第三卷积层、第四卷积层、第二上采样层、第五卷积层、第六卷积层和第三上采样层构成;所述ResNet50的输出是第一卷积层的输入,所述第三上采样层的输出构成预训练全卷积神经网络的输出,选取Adam优化器对预训练全卷积神经网络进行梯度更新,并使用Focal Loss损失函数对预训练全卷积神经网络进行训练;
本发明是使用综合病理切片图像块数据集AT对预训练全卷积神经网络进行训练,训练流程图如图1所示,训练中,批处理大小设置为64,预训练全卷积神经网络输出的概率图中的每个像素点的质对应图像块中每个像素点属于病灶区域的概率大小,训练50轮后得到更新权重后的预训练全卷积神经网络。
全卷积神经网络中包含的ResNet50是参考了VGG19网络,在其基础上进行了修改,并通过短路机制加入了残差单元,利用残差学习来解决退化问题。直接使用步长为2的卷积做下采样,并且用global average pool层替换了全连接层,相比普通网络每两层间增加了短路机制,这就形成了残差学习,当网络更深时,其进行的是三层间的残差学习,三层卷积核分别是1×1,3×3和1×1。
对于一个堆积层结构,输入为x时学习到的特征记为H(x),可以学习到残差F(x)=H(x)–x。因为残差学习相比原始特征直接学习更容易。当残差为0时,此时堆积层仅仅做了恒等映射,网络性能不会下降,实际上残差不会为0,这也会使得堆积层在输入特征基础上学习到新的特征,从而拥有更好的性能。
残差单元可以表示为:
yl=h(xl)+F(xl,Wl)
xl+1=f(yl)
其中xl和xl+1分别表示的是第l个残差单元的输入和输出,f是ReLU激活函数,基于上式,求得从浅层l到深层L的学习特征为:
利用链式规则,可以求得反向过程的梯度:
ResNet50的每个卷积操层后面都依次连接一个批归一化层、一个ReLU非线性激活层和一个池化操作层;
每个卷积层都依据以下公式来提取特征图:
ReLU非线性激活层给神经元引入了非线性因素,ReLU非线性激活层公式如下:
f(x)=max(0,x)
批归一化就是通过规范化函数,将全卷积神经网络的每一层中的任意神经元输入值的分布强行拉回到均值为0方差为1的标准正态分布,所述规范化函数如下式:
式中,
其中,λd为第d个神经元原始激活值,为经过规范化操作后的规范值;η是通过神经元集合S中包含的r个神经元各自的激活值求出的均值,τ是为了增加训练稳定性而加入的小的常量数据,为根据均值和集合S中神经元各自激活值求出的激活值标准差,和ρd表示在训练过程中神经元学习到对应的两个调节因子;
所述的池化操作层用于对ReLU非线性激活层的输出进行特征融合和降维,池化操作层公式如下:
在池化操作层中,采用如下公式实现预训练全卷积神经网络中池化操作梯度的计算:
其中,loss表示为损失函数值,Pooling_in表示为池化操作层输入,Pooling_out表示为池化操作层输出,Pooling.backward表示为池化操作层的反向传播。
解码器子网络中的上采样层使用的是双线性插值,关于线性插值的解释是,已知数据(a0,w0)与(a1,w1),计算[a0,a1]区间内某一位置a在直线上的w值:
双线性插值是有两个变量的插值函数的线性插值扩展,核心思想是在两个方向分别进行一次线性插值。例如需要得到未知函数f在点P=(a,w)的值,假设我们已知函数f在Q11=(a1,w1)、Q12=(a1,w2),Q21=(a2,w1)以及Q22=(a2,w2)四个点的值。分别在a方向和w方向进行线性插值,得到最后结果:
3)将训练完成的预训练全卷积神经网络中解码器子网络权重进行初始化后,得到一个新的全卷积神经网络,选取Adam优化器对所述的全卷积神经网络进行梯度更新,并使用Focal Loss损失函数对所述的全卷积神经网络进行训练;其中,对全卷积神经网络进行训练时,是使用胃肠道间质瘤病理切片图像块数据集AC进行训练,批处理大小设置为64,全卷积神经网络输出的概率图中的每个像素点的质对应胃肠道间质瘤病理切片图像块中每个像素点属于核分裂象区域的概率大小,训练50轮后得到最终训练好的全卷积神经网络。
本发明的步骤2)和步骤3)中所述的Adam优化器的更新规则如下:
(1)计算t时间梯度的指数移动平均数
首先计算梯度
根据梯度计算t时间梯度的指数移动平均数mt,公式如下:
mt=β1mt-1+(1-β1)gt
将一阶矩向量m初始化为0,β1为指数衰减率,默认为0.9,用于控制权重分配;
(2)计算梯度平方的指数移动平均数vt,公式如下:
将二阶矩向量v初始化为0,β2为指数衰减率,默认为0.999,用于控制之前的梯度平方的影响情况;
(3)由于一阶矩向量m初始化为0,会导致t时间梯度的指数移动平均数mt偏向于0,要对t时间梯度的指数移动平均数mt进行偏差纠正,降低偏差对训练初期的影响:
(4)因为二阶矩向量v初始化为0导致训练初始阶段梯度平方的指数移动平均数vt偏向0,对梯度平方的指数移动平均数进行纠正,公式如下:
(5)更新网络的参数θt,公式如下:
其中,α为学习率,默认学习率α的初始值为0.001,θt-1为更新前的网络的参数,常数ε=10-8,避免除数变为0;
在对全卷积神经网络进行训练时,随着训练次数的增加,学习率α逐渐衰减,衰减公式为:
其中,decayrate表示为衰减率,epoch_num表示为训练的次数,α0表示为初始学习率。
本发明的步骤2)和步骤3)中所述的Focal Loss损失函数是基于交叉熵损失CE的改进,所述的交叉熵损失CE表达式如下:
其中p表示预测概率,label表示标签值;
而综合病理切片图像块数据集AT中的病灶区域一般相对于整张病理切片图像面积占比较小,因此在交叉熵损失CE的表达式中加上一个参数ξ,即:
再加上超参数γ,得到所述的Focal Loss损失函数Lfl,公式为:
其中,超参数γ使得减少易分类病理切片图像的损失,使得全卷积神经网络更关注于困难的、错分的病理切片图像,参数ξ用于平衡类别不均衡。
4)对训练好的全卷积神经网络进行测试,测试流程图如图2所示,测试时首先对用于测试的胃肠道间质瘤病理切片图像进行预处理,得到n块大小为512×512的图像块,同时记录下每个图像块左上角的坐标,批处理大小为128,将所述的n块大小为512×512的图像块输入训练好的全卷积神经网络中,输出得到n个概率图,并根据每个图像块左上角的坐标,重新拼接成与预处理前胃肠道间质瘤病理切片图像大小相同的概率图,设置阈值为0.5后得到核分裂象区域的二值图。
Claims (4)
1.一种基于迁移学习的胃肠道间质瘤中核分裂象检测系统,其特征在于,包括如下步骤:
1)对病理切片图像数据进行预处理,包括:
(1)将除胃肠道间质瘤病理切片图像数据集C以外的多种不同病例的病理切片图像数据集汇总为一个综合病理切片图像数据集T,并对综合病理切片图像数据集T和胃肠道间质瘤病理切片图像数据集C进行染色均一化处理,以适应不同染色条件下导致的切片中颜色深浅不一问题;
(2)由专业医生对综合病理切片图像数据集T中图像和胃肠道间质瘤病理切片图像数据集C中图像进行手工标注,所述的手工标注是在综合病理切片图像数据集T中标注出病灶、血管和脂肪的区域,在胃肠道间质瘤病理切片图像数据集C中标注出核分裂象区域,根据手工标注的结果生成与每一张病理切片图像对应的掩膜图像Yi T和与每一张胃肠道间质瘤病理切片图像对应的掩膜图像其中,i表示综合病理切片图像数据集T中的图像索引,j表示胃肠道间质瘤病理切片图像数据集C中的图像索引;
(3)在40×图层下对综合病理切片图像数据集T中的每一张病理切片图像进行不重叠裁剪切块,同时对该张病理切片图像所对应掩膜图像Yi T在相同坐标下进行裁剪切块,得到综合病理切片图像块数据集其中,每个图像块的分辨率为512×512,xi和yi分别表示在第i张病理切片图像中图像块的左上角点在横坐标轴与纵坐标轴上的坐标,N表示综合病理切片图像数据集T中病理切片图像的数量;在40×图层下对胃肠道间质瘤病理切片图像数据集C中的每一张病理切片图像进行不重叠裁剪切块,同时对该张病理切片图像所对应掩膜图像在相同坐标下进行裁剪切块,得到胃肠道间质瘤病理切片图像块数据集其中,每个图像块的分辨率为512×512,cj和dj分别表示在第j张病理切片图像中图像块的左上角点在横坐标轴与纵坐标轴上的坐标,M表示胃肠道间质瘤病理切片图像数据集C中病理切片图像的数量;
2)构建预训练全卷积神经网络,包括编码器子网络和解码器子网络,其中,所述编码器子网络是由ResNet50构成;所述的解码器子网络是由依次连接的第一卷积层、第二卷积层、第一上采样层、第三卷积层、第四卷积层、第二上采样层、第五卷积层、第六卷积层和第三上采样层构成;所述ResNet50的输出是第一卷积层的输入,所述第三上采样层的输出构成预训练全卷积神经网络的输出,选取Adam优化器对预训练全卷积神经网络进行梯度更新,使用Focal Loss损失函数对预训练全卷积神经网络进行训练,并使用综合病理切片图像块数据集AT对预训练全卷积神经网络进行训练,训练中,批处理大小设置为64,预训练全卷积神经网络输出的概率图中的每个像素点的质对应图像块中每个像素点属于病灶区域的概率大小,训练50轮后得到更新权重后的预训练全卷积神经网络;
3)将训练完成的预训练全卷积神经网络中解码器子网络权重进行初始化后,得到一个新的全卷积神经网络,选取Adam优化器对所述的全卷积神经网络进行梯度更新,使用FocalLoss损失函数对所述的全卷积神经网络进行训练,并使用胃肠道间质瘤病理切片图像块数据集AC进行训练,批处理大小设置为64,全卷积神经网络输出的概率图中的每个像素点的质对应胃肠道间质瘤病理切片图像块中每个像素点属于核分裂象区域的概率大小,训练50轮后得到最终训练好的全卷积神经网络;
4)对训练好的全卷积神经网络进行测试,测试时首先对用于测试的胃肠道间质瘤病理切片图像进行预处理,得到n块大小为512×512的图像块,同时记录下每个图像块左上角的坐标,批处理大小为128,将所述的n块大小为512×512的图像块输入训练好的全卷积神经网络中,输出得到n个概率图,并根据每个图像块左上角的坐标,重新拼接成与预处理前胃肠道间质瘤病理切片图像大小相同的概率图,设置阈值为0.5后得到核分裂象区域的二值图。
2.根据权利要求1所述的基于迁移学习的胃肠道间质瘤中核分裂象检测系统,其特征在于,步骤2)中所述的ResNet50的每个卷积操层后面都依次连接一个批归一化层、一个ReLU非线性激活层和一个池化操作层;
每个卷积层都依据以下公式来提取特征图:
ReLU非线性激活层给神经元引入了非线性因素,ReLU非线性激活层公式如下:
f(x)=max(0,x)
批归一化就是通过规范化函数,将全卷积神经网络的每一层中的任意神经元输入值的分布强行拉回到均值为0方差为1的标准正态分布,所述规范化函数如下式:
式中,
其中,λd为第d个神经元原始激活值,为经过规范化操作后的规范值;η是通过神经元集合S中包含的r个神经元各自的激活值求出的均值,τ是为了增加训练稳定性而加入的小的常量数据,为根据均值和集合S中神经元各自激活值求出的激活值标准差,和ρd表示在训练过程中神经元学习到对应的两个调节因子;
所述的池化操作层用于对ReLU非线性激活层的输出进行特征融合和降维,池化操作层公式如下:
在池化操作层中,采用如下公式实现预训练全卷积神经网络中池化操作梯度的计算:
其中,loss表示为损失函数值,Pooling_in表示为池化操作层输入,Pooling_out表示为池化操作层输出,Pooling.backward表示为池化操作层的反向传播。
3.根据权利要求1所述的基于迁移学习的胃肠道间质瘤中核分裂象检测系统,其特征在于,步骤2)和步骤3)中所述的Adam优化器的更新规则如下:
(1)计算t时间梯度的指数移动平均数
首先计算梯度
根据梯度计算t时间梯度的指数移动平均数mt,公式如下:
mt=β1mt-1+(1-β1)gt
将一阶矩向量m初始化为0,β1为指数衰减率,默认为0.9,用于控制权重分配;
(2)计算梯度平方的指数移动平均数vt,公式如下:
将二阶矩向量v初始化为0,β2为指数衰减率,默认为0.999,用于控制之前的梯度平方的影响情况;
(3)由于一阶矩向量m初始化为0,会导致t时间梯度的指数移动平均数mt偏向于0,要对t时间梯度的指数移动平均数mt进行偏差纠正,降低偏差对训练初期的影响:
(4)因为二阶矩向量v初始化为0导致训练初始阶段梯度平方的指数移动平均数vt偏向0,对梯度平方的指数移动平均数进行纠正,公式如下:
(5)更新网络的参数θt,公式如下:
其中,α为学习率,默认学习率α的初始值为0.001,θt-1为更新前的网络的参数,常数ε=10-8,避免除数变为0;
在对全卷积神经网络进行训练时,随着训练次数的增加,学习率α逐渐衰减,衰减公式为:
其中,decayrate表示为衰减率,epoch_num表示为训练的次数,α0表示为初始学习率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010624326.7A CN111798427B (zh) | 2020-06-30 | 2020-06-30 | 基于迁移学习的胃肠道间质瘤中核分裂象检测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010624326.7A CN111798427B (zh) | 2020-06-30 | 2020-06-30 | 基于迁移学习的胃肠道间质瘤中核分裂象检测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111798427A CN111798427A (zh) | 2020-10-20 |
CN111798427B true CN111798427B (zh) | 2022-06-21 |
Family
ID=72810027
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010624326.7A Active CN111798427B (zh) | 2020-06-30 | 2020-06-30 | 基于迁移学习的胃肠道间质瘤中核分裂象检测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111798427B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113327233B (zh) * | 2021-05-28 | 2023-05-16 | 北京理工大学重庆创新中心 | 一种基于迁移学习的细胞图像检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150213302A1 (en) * | 2014-01-30 | 2015-07-30 | Case Western Reserve University | Automatic Detection Of Mitosis Using Handcrafted And Convolutional Neural Network Features |
CN106202997A (zh) * | 2016-06-29 | 2016-12-07 | 四川大学 | 一种基于深度学习的细胞分裂检测方法 |
CN109124660A (zh) * | 2018-06-25 | 2019-01-04 | 南方医科大学南方医院 | 基于深度学习的胃肠间质瘤术后风险检测方法和系统 |
CN110580699A (zh) * | 2019-05-15 | 2019-12-17 | 徐州医科大学 | 基于改进Faster RCNN算法的病理图像细胞核检测方法 |
CN111079944A (zh) * | 2019-12-18 | 2020-04-28 | 支付宝(杭州)信息技术有限公司 | 迁移学习模型解释实现方法及装置、电子设备、存储介质 |
-
2020
- 2020-06-30 CN CN202010624326.7A patent/CN111798427B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150213302A1 (en) * | 2014-01-30 | 2015-07-30 | Case Western Reserve University | Automatic Detection Of Mitosis Using Handcrafted And Convolutional Neural Network Features |
CN106202997A (zh) * | 2016-06-29 | 2016-12-07 | 四川大学 | 一种基于深度学习的细胞分裂检测方法 |
CN109124660A (zh) * | 2018-06-25 | 2019-01-04 | 南方医科大学南方医院 | 基于深度学习的胃肠间质瘤术后风险检测方法和系统 |
CN110580699A (zh) * | 2019-05-15 | 2019-12-17 | 徐州医科大学 | 基于改进Faster RCNN算法的病理图像细胞核检测方法 |
CN111079944A (zh) * | 2019-12-18 | 2020-04-28 | 支付宝(杭州)信息技术有限公司 | 迁移学习模型解释实现方法及装置、电子设备、存储介质 |
Non-Patent Citations (3)
Title |
---|
"Automatic mitosis detection in breast histopathology images using Convolutional Neural Network based deep transfer learning";Sabeena Beevi K. et al.;《ScienceDirect》;20181110;第214-223页 * |
"MASK-DRIVEN MITOSIS DETECTION IN HISTOPATHOLOGY IMAGES";Veena Dodballapur et al.;《2019 IEEE 16th International Symposium on Biomedical Imaging (ISBI 2019)》;20190411;第1855-1859页 * |
"病理切片中核分裂象的彩色特征分析";张亮 等;《激光杂志》;20141231;第35卷(第4期);第48-49页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111798427A (zh) | 2020-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | ME‐Net: multi‐encoder net framework for brain tumor segmentation | |
CN108268870B (zh) | 基于对抗学习的多尺度特征融合超声图像语义分割方法 | |
CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
CN109670510B (zh) | 一种基于深度学习的胃镜活检病理数据筛查系统 | |
CN113870258B (zh) | 一种基于对抗学习的无标签胰腺影像自动分割系统 | |
CN109544526B (zh) | 一种慢性萎缩性胃炎图像识别系统、装置和方法 | |
CN113516210B (zh) | 一种基于pet/ct的肺腺癌鳞癌诊断模型训练方法及装置 | |
CN111798425B (zh) | 基于深度学习的胃肠道间质瘤中核分裂象智能检测方法 | |
Ghosh et al. | Effective deep learning for semantic segmentation based bleeding zone detection in capsule endoscopy images | |
CN111079901A (zh) | 基于小样本学习的急性脑卒中病变分割方法 | |
CN110991254B (zh) | 超声图像视频分类预测方法及系统 | |
Ben-Cohen et al. | Anatomical data augmentation for CNN based pixel-wise classification | |
Xu et al. | Upper gastrointestinal anatomy detection with multi‐task convolutional neural networks | |
CN116664929A (zh) | 一种基于多模态信息融合的喉镜图像多属性分类方法 | |
CN111798427B (zh) | 基于迁移学习的胃肠道间质瘤中核分裂象检测系统 | |
Kuang et al. | MSCDA: Multi-level semantic-guided contrast improves unsupervised domain adaptation for breast MRI segmentation in small datasets | |
Li et al. | Self-supervised anomaly detection, staging and segmentation for retinal images | |
Abdel-Nabi et al. | A novel ensemble strategy with enhanced cross attention encoder-decoder framework for tumor segmentation in whole slide images | |
CN112950555A (zh) | 一种基于深度学习的2型糖尿病心血管病变图像分类方法 | |
CN115063592B (zh) | 一种基于多尺度的全扫描病理特征融合提取方法及系统 | |
CN115994999A (zh) | 基于边界梯度注意力网络的杯状细胞语义分割方法及系统 | |
Do et al. | Supporting thyroid cancer diagnosis based on cell classification over microscopic images | |
Dandan et al. | A multi-model organ segmentation method based on abdominal ultrasound image | |
Ghaleb Al-Mekhlafi et al. | Hybrid Techniques for Diagnosing Endoscopy Images for Early Detection of Gastrointestinal Disease Based on Fusion Features | |
CN111798426A (zh) | 用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |