CN108629768A - 一种食管病理图像中上皮组织的分割方法 - Google Patents

一种食管病理图像中上皮组织的分割方法 Download PDF

Info

Publication number
CN108629768A
CN108629768A CN201810405691.1A CN201810405691A CN108629768A CN 108629768 A CN108629768 A CN 108629768A CN 201810405691 A CN201810405691 A CN 201810405691A CN 108629768 A CN108629768 A CN 108629768A
Authority
CN
China
Prior art keywords
image
layer
convolution
size
epithelial tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810405691.1A
Other languages
English (en)
Other versions
CN108629768B (zh
Inventor
牛春阳
孙占全
赵志刚
葛菁
谢迎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Computer Science Center National Super Computing Center in Jinan
Shandong Computer Science Center
Original Assignee
Shandong Computer Science Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Computer Science Center filed Critical Shandong Computer Science Center
Priority to CN201810405691.1A priority Critical patent/CN108629768B/zh
Publication of CN108629768A publication Critical patent/CN108629768A/zh
Application granted granted Critical
Publication of CN108629768B publication Critical patent/CN108629768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本发明的食管病理图像中上皮组织的分割方法，包括：a).染色校正及灰度处理；b).选取训练、测试样本；c).图像分割和标注；d).构建卷积神经网络模型；e).测试图像的处理；f).获取预热图像；g).预测热图的处理；h).计算精确度和召回率。本发明提出的上皮分割方法，是在像素级别上的分类，特别对上皮边界区域的分割，在分割精度上具有明显优势，且本方法自动学习到有效的特征和表达，避免了复杂的手工特征选取过程，可以满足实际应用需求。在从不同的医院使用不同的扫描仪获得的图像都可以较高精度地分割出上皮组织，是构建食道癌的计算机辅助诊断中图像处理不可或缺的一步。

Description

一种食管病理图像中上皮组织的分割方法
技术领域
本发明涉及一种食管病理图像中上皮组织的分割方法，更具体的说，尤其涉及一种利用样本数据构建的卷积神经网络模型来实现食管病理图像中上皮组织的分割方法。
背景技术
在检查患者的生物组织样品后，病理学家的报告通常是许多疾病的黄金诊断标准。特别是对于癌症，病理学家的诊断对患者的治疗具有深远的影响。病理切片审查是一个非常复杂的任务，需要多年的培训才能做好，丰富的专业知识和经验也是必不可少的。
食道癌是生活中常见的一种恶性肿瘤，严重影响人类身体健康。我国食道癌的发病率排在世界前列，每年有大量的新增食道癌病例。目前，针对食道癌的病理切片进行检测，随着病人的增多，医生的工作压力及强度越来越大。现有医护专家人员的精力是有限的，医护专家人员也不可能在最短的时间内对所有的病人进行筛查及诊断。有时候偶尔专家由于过度疲劳，也会对于早期的病变判断出现失误的情况，错误的判断可能导致病人的病情进一步加重。对于食道癌疾病应当及早发现及早处理，单纯依靠医护专家的单方面力量面对大量的患者来筛查及诊断病人的病情变得越来越吃力。最近几年人工智能的兴起，计算机视觉也得到了进一步深入发展。计算机视觉主要是利用计算机模拟人对图像进行相关处理，获取图片中有价值的信息。因此，通过计算机视觉的目标检测与识别的方法，构建食道癌的计算机辅助诊断系统，缓解医生的工作压力及强度，是未来食道癌检测的发展方向。对于一张完整的食管病理组织全扫描切片，其尺寸约为100000×700000个像素点，存储在计算机上需要占用1.5G的硬盘空间，这种高分辨率、大尺度图像对计算机硬件和图像分析算法都是非常具有挑战性的。由于食管组织病理图像中两种最基本的组织是上皮组织与间质组织，而食管肿瘤起源于食管上皮组织。因此食道癌的计算机辅助诊断系统针对整张病理图像只需要检测食管上皮组织的癌变区域来诊断食管癌，可以大大缩短诊断所需要的时间。所以,上皮和间质的组织的自动分割是构建食道癌的计算机辅助诊断系统的前提。
发明内容
本发明为了克服上述技术问题的缺点，提供了一种食管病理图像中上皮组织的分割方法。
本发明的食管病理图像中上皮组织的分割方法，其特征在于，通过以下步骤来实现：
a).染色校正及灰度处理，选取一定数量的经H&E染色的食管病理图像作样本，首先对食管病理图像进行染色校正处理，然后将校正后的彩色图变为灰度图，以避免不同病理图像之间由于切片染色制作过程中染色不均造成的颜色差异；
b).选取训练、测试样本，随机选取经步骤a)处理后的部分食管病理图像作为训练样本，剩余的病理图形作为测试样本；
c).图像分割和标注，使用滑动窗口的方法，窗口大小固定为m×m、滑动步幅为m，将作为训练样本的每个图像分割为若干个m×m像素大小的小图像；并由专家将m×m的小图像中每个像素代表上皮组织、基质组织还是无关空白区域进行标注，标注后的图像形成标签图像，标签图像与灰度值图像共同组成训练数据集；
d).构建卷积神经网络模型，设计由编码网络和解码网络组成的卷积神经网络，其中编码网络由卷积层、激活层和池化层堆叠而成，解码网络由上采样层、卷积层和激活层堆叠而成，并采用跳跃连接结构将编码网络卷积层的输出特征图与解码网络卷积层的输出特征进行融合，解码网络的输出连接sigmoid层，该层实现像素的是属于上皮组织、基质组织还是无关空白区域的分类，利用步骤c)中训练数据集中的灰度值图像为输入、标签图像为输出验证训练卷积神经网络模型；
e).测试图像的处理，使用滑动窗口的方法，窗口大小固定为m×m、滑动步幅为m，将步骤b)中测试样本中的病理图像分割为若干个m×m像素大小的小图像；
f).获取预热图像，将步骤e)中得到的m×m大小的像素块输入至步骤d)中训练好的卷积神经网络模型，得到上皮组织区域的预测热图；
g).预测热图的处理，首先将预测热图中的上皮组织区域与背景区域转变为二值图像，然后二值图像进行形态学的腐蚀和膨胀处理，最后根据连通性剔除图像中孤立的小区域和噪点，形成最终的上皮组织分割图像；
h).计算精确度和召回率，所有的测试样本均经过步骤e)至步骤g)的处理后，统计最终形成的上皮组织分割图像的精确度和召回率，如果精确度和召回率达到设定阈值，则表面获取的卷积神经网络模型符合要求，构建完成；如果精确度和召回率没有达到设定阈值，则增加训练样本的容量后执行步骤a)，重新构建卷积神经网络模型。
本发明的食管病理图像中上皮组织的分割方法，步骤a)中经H&E染色的食管病理图像的具体校正方法为：首先根据公式(1)中的光学密度矩阵对图像中的零分量进行校正，得出苏木精H和伊红E的标准化矩阵，然后分离出H和E的单染色图像，最后将分离后的单色图像相加得到校正图像；光学密度矩阵为：
本发明的食管病理图像中上皮组织的分割方法，步骤d)中采用Keras框架构建卷积神经网络模型，构建方法为：
第一层，使用64个卷积核对输入图像进行卷积操作，卷积核的大小Kernel size为3，步长Stride为2，随后使用ReLU激活函数；
第二层，使用128个卷积核对图像进行卷积操作，卷积核的大小Kernel size为3，步长Stride为2，随后使用ReLU激活函数；
第三层，使用256个卷积核对图像进行卷积操作，卷积核的大小Kernel size为3，步长Stride为1，随后使用ReLU激活函数；
第四层，使用最大值池化的方式对卷积结果进行下采样，池化核大小Kernel size为为2，步长Stride为2；
第五层，使用上采样层的方式对卷积结果进行上采样，上采样核大小Kernel size为为2，步长Stride为2；
第六层，使用256个卷积核对图像进行卷积操作，卷积核的大小Kernel size为3，步长Stride为1，随后使用ReLU激活函数；
第七层，使用融合的方式对第三层与第六层的卷积结果进行组合；
第八层，使用256个卷积核对图像进行卷积操作，卷积核的大小Kernel size为3，步长Stride为1，随后使用ReLU激活函数；
第九层，使用上采样层的方式对卷积结果进行上采样，上采样核大小Kernel size为为2，步长Stride为2；
第十层，使用128个卷积核对图像进行卷积操作，卷积核的大小Kernel size为3，步长Stride为1，随后使用ReLU激活函数；
第十一层，使用融合的方式对第一层与第十层的卷积结果进行组合；
第十二层，使用128个卷积核对图像进行卷积操作，卷积核的大小Kernel size为3，步长Stride为1，随后使用ReLU激活函数；
第十三层，使用上采样层的方式对卷积结果进行上采样，上采样核大小Kernelsize为2，步长Stride为2；
第十四层，使用64个卷积核对图像进行卷积操作，卷积核的大小Kernel size为3，步长Stride为1，随后使用ReLU激活函数；
第十五层，使用3个卷积核对图像进行卷积操作，卷积核的大小Kernel size为3，步长Stride为1，后使用Sigmoid激活函数；
使用交叉熵Cross-entropy作为损失函数，根据Sigmoid激活函数的输出与标签图像的差异计算损失率，使用随机梯度下降法Stochastic gradient descent来优化该深度卷积神经网络模型。
本发明的食管病理图像中上皮组织的分割方法，对于待处理的食管病理图像，首先利用步骤a)对其进行染色校正及灰度处理，然后，使用滑动窗口的方法，窗口大小固定为m×m、滑动步幅为m，将作为训练样本的每个图像分割为若干个m×m像素大小的小图像后，再利用步骤d)中构建的卷积神经网络模型进行处理，得到上皮组织区域的预测热图；最后，经步骤g)的处理，形成最终的上皮组织分割图像。
本发明的食管病理图像中上皮组织的分割方法，步骤c)和步骤e)中窗口大小为512像素×512像素，滑动步幅为512像素；步骤h)中所述的精确度和召回率的阈值均不低于90％。
本发明的有益效果是：本发明的食管病理图像中上皮组织的分割方法，首先根据染色剂种类对作为训练样本和测试样本的食管病理图像进行校正，以去除染色不均造成的差异，并将其转化为便于处理的灰度图像；然后对图像分割，并将分割后的图像中每个像素点是上皮组织、基质组织还是无关空白区域进行标注；接着，利用标注后的标签图像与灰度值图像对卷积神经网络进行训练，并利用测试样本检验所构建的卷积神经网络模型的精确度和召回率，直至满足要求。
本发明的优点体现在：(1)本专利提出的上皮分割方法，是在像素级别上的分类，特别对上皮边界区域的分割，在分割精度上具有明显优势，且本方法自动学习到有效的特征和表达，避免了复杂的手工特征选取过程，可以满足实际应用需求。(2)上皮分割的精确度与召回率高，上皮边缘处分割效果更好。(3)本发明方法受染色不均匀的影响较小，具有较强的鲁棒性，从不同的医院使用不同的扫描仪获得的图像，该方法依然能取得较高的分割精确度与召回率。(4)本发明的上皮组织的分割方法，在从不同的医院使用不同的扫描仪获得的图像都可以较高精度地分割出上皮组织，是构建食道癌的计算机辅助诊断中图像处理不可或缺的一步。
附图说明
图1为本发明中提出的卷积神经网络的结构图；
图2为本发明中经H&E染色的食管病理切片图像部分区域的图像；
图3为本发明中3个512×512图像块灰度值图像及其标注后形成标签图像的对比图；
图4为本发明中卷积神经网络输出效果对比图；图4中，图a是经卷积神经网络获取的预测热图；图b是预测热图的二值图像；图c是经腐蚀、膨胀以及剔除孤立区域和噪点的最终上皮组织分割图像；
图5、图6均为测试样本中部分食管上皮组织分割前后的对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下举实施例，对本发明进一步详细说明。
该实施例食管上皮组织自动分割实现过程如下：
步骤a)，将24张不同人的H&E染色(苏木精-伊红染色)的食管病理原始图像(每张大小约1.5G)进行染色校正处理，如图2所示，给出了本发明中经H&E染色的食管病理切片图像部分区域的图像。通过染色校正，切片图像可以根据染色剂颜色分别重建，进而促进切片图像的定量分析。对两种染色的组织病理图像进行处理，分别为苏木素(Haematoxylin,H)和伊红(Eosin,E)，根据光学密度矩阵，对其中的零分量进行校正，得出H和E染色的标准化矩阵，分离出H和E的单染色图像，将分离后的单色图像相加可得到校正图像。相应的光学密度矩阵为如(1)所示。
之后将彩色的校正图变为灰度图；
步骤b)，随机选取预处理后的16张病理图像部分区域作为训练样本,其余8张图像中部分区域作为测试样本；
步骤c)，标注上皮分割的语义标签。使用滑动窗口的方法，窗口大小固定为512×512，滑动步幅为512，将选取的训练样本分割为1853个512×512的小图像，进行像素级别的组织区域标注。将病理图像分成三类，上皮组织区域，间质组织区域，无关空白区域。在标签图像中，像素值设置为128的区域表示上皮组织，像素值设置为0的区域表示基质组织，像素值设置为255的区域表示无关空白区域。并将标注后的标签图像与灰度图像组成训练数据集,如图3所示，给出了本发明中3个m×m(512×512)图像块灰度值图像及其标注后形成标签图像的对比图，上方为图像块的灰度值图像，下方为其标注后形成的标签图像。
步骤d)，构建一个端到端(end to end)分类的卷积神经网络模型。设计的卷积神经网络包括编码网络和解码网络，其中，编码网络由卷积层、激活层和池化层堆叠而成，解码网络则由上采样层、卷积层、激活层堆叠而成，解码网络的输出连接sigmoid层，该层实现像素的分类，得到语义分割结果。利用步骤c)中训练数据集中的灰度值图像为输入、标签图像为输出校正训练卷积神经网络模型。
对于卷积神经网络，本发明所使用的框架是目前很热门的Keras框架。网络结构如图1所示：
第一层使用64个卷积核(conv)对输入图像进行卷积操作(卷积核大小Kernelsize＝3；步长Stride＝2)，随后使用ReLU激活函数；图1中所示的conv2d:Conv2D为第一层操作的示意图，输入input的图像参数为512×512(像素值)，1个通道，输出为图像为256×256(像素值)，64个通道。第一层的输出作为第二层和第十一层的输入。下面所表示的各层中输入和输出的含义相同。
第二层使用128个卷积核(conv)对图像进行卷积操作(卷积核大小Kernel size＝3；步长Stride＝2)，随后使用ReLU激活函数；
第三层使用256个卷积核(conv)对图像进行卷积操作(卷积核大小Kernel size＝3；步长Stride＝1，随后使用ReLU激活函数；
第四层使用最大值池化(pool)的方式对卷积结果进行下采样(池化核大小Kernelsize＝2；步长Stride＝2)；
第五层使用上采样层(upsampling)的方式对卷积结果进行上采样(上采样核大小Kernel size＝2；步长Stride＝2)；
第六层使用256个卷积核(conv)对图像进行卷积操作(卷积核大小Kernel size＝3；步长Stride＝1)，随后使用ReLU激活函数；
第七层使用融合(merge)的方式对第三层与第六层卷积结果进行组合；
第八层使用256个卷积核(conv)对图像进行卷积操作(卷积核大小Kernel size＝3；步长Stride＝1)，随后使用ReLU激活函数；
第九层使用上采样层(upsampling)的方式对卷积结果进行上采样(上采样核大小Kernel size＝2；步长Stride＝2)；
第十层使用128个卷积核(conv)对图像进行卷积操作(卷积核大小Kernel size＝3；步长Stride＝1)，随后使用ReLU激活函数；
第十一层使用融合(merge)的方式对第一层与第十层卷积结果进行组合；
第十二层使用128个卷积核(conv)对图像进行卷积操作(卷积核大小Kernel size＝3；步长Stride＝1)，随后使用ReLU激活函数；
第十三层使用上采样层(upsampling)的方式对卷积结果进行上采样(上采样核大小Kernel size＝2；步长Stride＝2)；
第十四层使用64个卷积核(conv)对图像进行卷积操作(卷积核大小Kernel size＝3；步长Stride＝1)，随后使用ReLU激活函数；
第十五层使用3个卷积核(conv)对图像进行卷积操作(卷积核大小Kernel size＝3；步长Stride＝1)，随后使用Sigmoid激活函数；
使用交叉熵(Cross-entropy)作为损失函数，根据Sigmoid激活函数的输出与标签图像的差异计算损失率，使用随机梯度下降法(Stochastic gradient descent)来优化该深度卷积神经网络模型。如果Sigmoid激活函数的输出与标签图像的差异较大(即损失率较大)，则继续优化卷积神经网络模型；如果差异满足要求，则卷积神经网络模型训练完成。
步骤e)，取出步骤b)的测试样本中的病理图像,使用滑动窗口的方法，窗口大小固定为512×512，滑动步幅为512，即将病理图像按512×512分割。其中，512为深度卷积神经网络输入图像尺寸的大小；
步骤f)，将步骤e)中构造的图像输入到步骤d)训练好的深度卷积神经网络模型，得到预测热图，如图4(a)所示。
步骤g)，根据预测结果选取上皮组织，将选取出来区域与背景区域转变为二值图像，如图4(b)所示，给出了预测热图的二值图像；然后进行腐蚀膨胀处理。腐蚀和膨胀是基本的形态运算。
h).计算精确度和召回率，所有的测试样本均经过步骤e)至步骤g)的处理后，统计最终形成的上皮组织分割图像的精确度和召回率，如果精确度和召回率达到设定阈值，则表面获取的卷积神经网络模型符合要求，构建完成；如果精确度和召回率没有达到设定阈值，则增加训练样本的容量后执行步骤a)，重新构建卷积神经网络模型。
先腐蚀后膨胀的过程称为开运算。它具有消除细小物体，在纤细处分离物体和平滑较大物体边界的作用。之后根据连通性剔除孤立的小区域与噪点，如图4(c)所示，输出最终的上皮分割结果。
为了定量的表示实验结果，使用了精确度(Precision)与召回率(Recall)。其中对实施例病理切片，上皮分割最终结果精确度95.12％,表示本发明方法认定是上皮组织的像素点其中有95.12％被专家标记为上皮组织，召回率91.17％，表示用专家标记为上皮组织的像素点有91.17％的成功被本发明方发标记为上皮组织。如图5和图6所示，均给出了测试样本中部分食管上皮组织分割前后的对比图，图中左侧为分割前的图像，右侧为分割后的图像，可见，采用本发明的上皮组织的分割方法，所获取的分割图像边缘清晰、圆滑，分割精度高。

Claims (5)

1.一种食管病理图像中上皮组织的分割方法，其特征在于，通过以下步骤来实现：
a).染色校正及灰度处理，选取一定数量的经H&E染色的食管病理图像作样本，首先对食管病理图像进行染色校正处理，然后将校正后的彩色图变为灰度图，以避免不同病理图像之间由于切片染色制作过程中染色不均造成的颜色差异；
b).选取训练、测试样本，随机选取经步骤a)处理后的部分食管病理图像作为训练样本，剩余的病理图形作为测试样本；
c).图像分割和标注，使用滑动窗口的方法，窗口大小固定为m×m、滑动步幅为m，将作为训练样本的每个图像分割为若干个m×m像素大小的小图像；并由专家将m×m的小图像中每个像素代表上皮组织、基质组织还是无关空白区域进行标注，标注后的图像形成标签图像，标签图像与灰度值图像共同组成训练数据集；
d).构建卷积神经网络模型，设计由编码网络和解码网络组成的卷积神经网络，其中编码网络由卷积层、激活层和池化层堆叠而成，解码网络由上采样层、卷积层和激活层堆叠而成，并采用跳跃连接结构将编码网络卷积层的输出特征图与解码网络卷积层的输出特征进行融合，解码网络的输出连接sigmoid层，该层实现像素的是属于上皮组织、基质组织还是无关空白区域的分类，利用步骤c)中训练数据集中的灰度值图像为输入、标签图像为输出校正训练卷积神经网络模型；
e).测试图像的处理，使用滑动窗口的方法，窗口大小固定为m×m、滑动步幅为m，将步骤b)中测试样本中的病理图像分割为若干个m×m像素大小的小图像；
f).获取预热图像，将步骤e)中得到的m×m大小的像素块输入至步骤d)中训练好的卷积神经网络模型，得到上皮组织区域的预测热图；
g).预测热图的处理，首先将预测热图中的上皮组织区域与背景区域转变为二值图像，然后二值图像进行形态学的腐蚀和膨胀处理，最后根据连通性剔除图像中孤立的小区域和噪点，形成最终的上皮组织分割图像；
h).计算精确度和召回率，所有的测试样本均经过步骤e)至步骤g)的处理后，统计最终形成的上皮组织分割图像的精确度和召回率，如果精确度和召回率达到设定阈值，则表面获取的卷积神经网络模型符合要求，构建完成；如果精确度和召回率没有达到设定阈值，则增加训练样本的容量后执行步骤a)，重新构建卷积神经网络模型。
2.根据权利要求1所述的食管病理图像中上皮组织的分割方法，其特征在于：步骤a)中经H&E染色的食管病理图像的具体校正方法为：首先根据公式(1)中的光学密度矩阵对图像中的零分量进行校正，得出苏木精H和伊红E的标准化矩阵，然后分离出H和E的单染色图像，最后将分离后的单色图像相加得到校正图像；光学密度矩阵为：
3.根据权利要求1或2所述的食管病理图像中上皮组织的分割方法，其特征在于：步骤d)中采用Keras框架构建卷积神经网络模型，构建方法为：
第一层，使用64个卷积核对输入图像进行卷积操作，卷积核的大小Kernel size为3，步长Stride为2，随后使用ReLU激活函数；
第二层，使用128个卷积核对图像进行卷积操作，卷积核的大小Kernel size为3，步长Stride为2，随后使用ReLU激活函数；
第三层，使用256个卷积核对图像进行卷积操作，卷积核的大小Kernel size为3，步长Stride为1，随后使用ReLU激活函数；
第四层，使用最大值池化的方式对卷积结果进行下采样，池化核大小Kernel size为为2，步长Stride为2；
第五层，使用上采样层的方式对卷积结果进行上采样，上采样核大小Kernel size为为2，步长Stride为2；
第六层，使用256个卷积核对图像进行卷积操作，卷积核的大小Kernel size为3，步长Stride为1，随后使用ReLU激活函数；
第七层，使用融合的方式对第三层与第六层的卷积结果进行组合；
第八层，使用256个卷积核对图像进行卷积操作，卷积核的大小Kernel size为3，步长Stride为1，随后使用ReLU激活函数；
第九层，使用上采样层的方式对卷积结果进行上采样，上采样核大小Kernel size为为2，步长Stride为2；
第十层，使用128个卷积核对图像进行卷积操作，卷积核的大小Kernel size为3，步长Stride为1，随后使用ReLU激活函数；
第十一层，使用融合的方式对第一层与第十层的卷积结果进行组合；
第十二层，使用128个卷积核对图像进行卷积操作，卷积核的大小Kernel size为3，步长Stride为1，随后使用ReLU激活函数；
第十三层，使用上采样层的方式对卷积结果进行上采样，上采样核大小Kernel size为2，步长Stride为2；
第十四层，使用64个卷积核对图像进行卷积操作，卷积核的大小Kernel size为3，步长Stride为1，随后使用ReLU激活函数；
第十五层，使用3个卷积核对图像进行卷积操作，卷积核的大小Kernel size为3，步长Stride为1，后使用Sigmoid激活函数；
使用交叉熵Cross-entropy作为损失函数，根据Sigmoid激活函数的输出与标签图像的差异计算损失率，使用随机梯度下降法Stochastic gradient descent来优化该深度卷积神经网络模型。
4.根据权利要求1或2所述的食管病理图像中上皮组织的分割方法，其特征在于：对于待处理的食管病理图像，首先利用步骤a)对其进行染色校正及灰度处理，然后，使用滑动窗口的方法，窗口大小固定为m×m、滑动步幅为m，将作为训练样本的每个图像分割为若干个m×m像素大小的小图像后，再利用步骤d)中构建的卷积神经网络模型进行处理，得到上皮组织区域的预测热图；最后，经步骤g)的处理，形成最终的上皮组织分割图像。
5.根据权利要求1或2所述的食管病理图像中上皮组织的分割方法，其特征在于：步骤c)和步骤e)中窗口大小为512像素×512像素，滑动步幅为512像素；步骤h)中所述的精确度和召回率的阈值均不低于90％。
CN201810405691.1A 2018-04-29 2018-04-29 一种食管病理图像中上皮组织的分割方法 Active CN108629768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810405691.1A CN108629768B (zh) 2018-04-29 2018-04-29 一种食管病理图像中上皮组织的分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810405691.1A CN108629768B (zh) 2018-04-29 2018-04-29 一种食管病理图像中上皮组织的分割方法

Publications (2)

Publication Number Publication Date
CN108629768A true CN108629768A (zh) 2018-10-09
CN108629768B CN108629768B (zh) 2022-01-21

Family

ID=63695024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810405691.1A Active CN108629768B (zh) 2018-04-29 2018-04-29 一种食管病理图像中上皮组织的分割方法

Country Status (1)

Country Link
CN (1) CN108629768B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410194A (zh) * 2018-10-19 2019-03-01 山东省计算中心（国家超级计算济南中心） 一种基于深度学习的食管癌病理图像处理方法
CN109472789A (zh) * 2018-11-20 2019-03-15 北京贝叶科技有限公司 一种用于皮肤病理图像处理的神经网络训练方法及装置
CN109948707A (zh) * 2019-03-20 2019-06-28 腾讯科技（深圳）有限公司 模型训练方法、装置、终端及存储介质
CN110032952A (zh) * 2019-03-26 2019-07-19 西安交通大学 一种基于深度学习的道路边界点检测方法
CN110296935A (zh) * 2019-07-05 2019-10-01 扬州大学附属医院 一种实体肿瘤三维病理诊断方法
CN110826560A (zh) * 2019-11-06 2020-02-21 山东省计算中心（国家超级计算济南中心） 一种食管癌病理图像标注方法
CN111798428A (zh) * 2020-07-03 2020-10-20 南京信息工程大学 一种皮肤病理图像多种组织自动分割方法
CN112712522A (zh) * 2020-10-30 2021-04-27 陕西师范大学 一种病理学图像的口腔癌上皮组织区域自动分割方法
CN114596298A (zh) * 2022-03-16 2022-06-07 华东师范大学 基于高光谱成像的精标注数字病理数据集自动生成方法
JP7387339B2 (ja) 2019-08-30 2023-11-28 キヤノン株式会社 画像処理システム、画像処理方法、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120110604A (ko) * 2011-03-30 2012-10-10 인하대학교 산학협력단 점액성 낭성종양 진단 장치
CN103914841A (zh) * 2014-04-03 2014-07-09 深圳大学 基于超像素和深度学习的细菌分割与分类方法及其应用
CN106780498A (zh) * 2016-11-30 2017-05-31 南京信息工程大学 基于逐像素点深度卷积网络上皮和基质组织自动分割方法
JP2017174039A (ja) * 2016-03-23 2017-09-28 富士フイルム株式会社 画像分類装置、方法およびプログラム
CN107423725A (zh) * 2017-08-11 2017-12-01 深圳市唯特视科技有限公司 一种基于混合时间卷积和循环网络的视频动作分割方法
CN107862291A (zh) * 2017-11-14 2018-03-30 河海大学 一种基于深度学习的人车自动分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120110604A (ko) * 2011-03-30 2012-10-10 인하대학교 산학협력단 점액성 낭성종양 진단 장치
CN103914841A (zh) * 2014-04-03 2014-07-09 深圳大学 基于超像素和深度学习的细菌分割与分类方法及其应用
JP2017174039A (ja) * 2016-03-23 2017-09-28 富士フイルム株式会社 画像分類装置、方法およびプログラム
CN106780498A (zh) * 2016-11-30 2017-05-31 南京信息工程大学 基于逐像素点深度卷积网络上皮和基质组织自动分割方法
CN107423725A (zh) * 2017-08-11 2017-12-01 深圳市唯特视科技有限公司 一种基于混合时间卷积和循环网络的视频动作分割方法
CN107862291A (zh) * 2017-11-14 2018-03-30 河海大学 一种基于深度学习的人车自动分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
华敏杰: "基于深度学习的图像语义分割算法概述", 《中国战略新兴产业》 *
窦智宙等: "多分类支持向量机分割彩色癌细胞图像", 《计算机工程与应用》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410194B (zh) * 2018-10-19 2022-03-29 山东省计算中心（国家超级计算济南中心） 一种基于深度学习的食管癌病理图像处理方法
CN109410194A (zh) * 2018-10-19 2019-03-01 山东省计算中心（国家超级计算济南中心） 一种基于深度学习的食管癌病理图像处理方法
CN109472789A (zh) * 2018-11-20 2019-03-15 北京贝叶科技有限公司 一种用于皮肤病理图像处理的神经网络训练方法及装置
CN109948707B (zh) * 2019-03-20 2023-04-18 腾讯科技（深圳）有限公司 模型训练方法、装置、终端及存储介质
CN109948707A (zh) * 2019-03-20 2019-06-28 腾讯科技（深圳）有限公司 模型训练方法、装置、终端及存储介质
CN110032952A (zh) * 2019-03-26 2019-07-19 西安交通大学 一种基于深度学习的道路边界点检测方法
CN110296935A (zh) * 2019-07-05 2019-10-01 扬州大学附属医院 一种实体肿瘤三维病理诊断方法
CN110296935B (zh) * 2019-07-05 2022-09-13 扬州大学附属医院 一种实体肿瘤三维图像构建方法
JP7387339B2 (ja) 2019-08-30 2023-11-28 キヤノン株式会社 画像処理システム、画像処理方法、及びプログラム
CN110826560A (zh) * 2019-11-06 2020-02-21 山东省计算中心（国家超级计算济南中心） 一种食管癌病理图像标注方法
CN110826560B (zh) * 2019-11-06 2023-10-27 山东省计算中心（国家超级计算济南中心） 一种食管癌病理图像标注方法
CN111798428B (zh) * 2020-07-03 2023-05-30 南京信息工程大学 一种皮肤病理图像多种组织自动分割方法
CN111798428A (zh) * 2020-07-03 2020-10-20 南京信息工程大学 一种皮肤病理图像多种组织自动分割方法
CN112712522A (zh) * 2020-10-30 2021-04-27 陕西师范大学 一种病理学图像的口腔癌上皮组织区域自动分割方法
CN114596298B (zh) * 2022-03-16 2022-11-15 华东师范大学 基于高光谱成像的精标注数字病理数据集自动生成方法
CN114596298A (zh) * 2022-03-16 2022-06-07 华东师范大学 基于高光谱成像的精标注数字病理数据集自动生成方法
US11763453B1 (en) 2022-03-16 2023-09-19 East China Normal University Automatic generation method of fine-labeled digital pathological data set based on hyperspectral imaging

Also Published As

Publication number Publication date
CN108629768B (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
CN108629768A (zh) 一种食管病理图像中上皮组织的分割方法
Folmsbee et al. Active deep learning: Improved training efficiency of convolutional neural networks for tissue classification in oral cavity cancer
US10991093B2 (en) Systems, methods and media for automatically generating a bone age assessment from a radiograph
CN109410194B (zh) 一种基于深度学习的食管癌病理图像处理方法
KR20210145778A (ko) 조직병리학 슬라이드 이미지로부터 바이오마커를 결정하는 방법
Salvi et al. A hybrid deep learning approach for gland segmentation in prostate histopathological images
CN108898175A (zh) 基于深度学习胃癌病理切片的计算机辅助模型构建方法
Göçeri Convolutional neural network based desktop applications to classify dermatological diseases
Wang et al. Incorporating clinical knowledge with constrained classifier chain into a multimodal deep network for melanoma detection
Hammad et al. A novel end-to-end deep learning approach for cancer detection based on microscopic medical images
Hossain et al. Tissue artifact segmentation and severity assessment for automatic analysis using wsi
CN112861994A (zh) 基于Unet迁移学习的胃印戒细胞癌图像智能分类系统
Sadeghibakhi et al. Multiple sclerosis lesions segmentation using attention-based CNNs in FLAIR images
CN115205588A (zh) 基于人工智能的膀胱癌肌层浸润病理辅助诊断方法及装置
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
Grochowski et al. Diagnosis of malignant melanoma by neural network ensemble-based system utilising hand-crafted skin lesion features
WO2020219968A1 (en) Detecting avascular and signal reduction areas in retinas using neural networks
Upadhyay et al. Characteristic patch-based deep and handcrafted feature learning for red lesion segmentation in fundus images
Johny et al. Optimization of CNN model with hyper parameter tuning for enhancing sturdiness in classification of histopathological images
Yancey Deep Feature Fusion for Mitosis Counting
Tian et al. Hyperspectral imaging: A new method for diagnosing benign and malignant lung cancer
Bharani et al. Diabetes Mellitus Diagnosis based on Tongue Images using Machine Learning
WO2020027732A1 (en) Method and system for assessing fibrosis in a tissue sample
Shirke A reviewed study of deep learning techniques for the early detection of skin cancer
BEKTAŞ et al. Evaluating the effect of lesion segmentation on the detection of skin cancer by pre-trained CNN models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant