CN109086836A - 一种基于卷积神经网络的食管癌病理图像自动甄别装置及其甄别方法 - Google Patents

一种基于卷积神经网络的食管癌病理图像自动甄别装置及其甄别方法 Download PDF

Info

Publication number
CN109086836A
CN109086836A CN201811022872.2A CN201811022872A CN109086836A CN 109086836 A CN109086836 A CN 109086836A CN 201811022872 A CN201811022872 A CN 201811022872A CN 109086836 A CN109086836 A CN 109086836A
Authority
CN
China
Prior art keywords
image
network
cancer
data set
esophagus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811022872.2A
Other languages
English (en)
Inventor
相林
李冠男
马甲林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaiyin Institute of Technology
Original Assignee
Huaiyin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaiyin Institute of Technology filed Critical Huaiyin Institute of Technology
Priority to CN201811022872.2A priority Critical patent/CN109086836A/zh
Publication of CN109086836A publication Critical patent/CN109086836A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于卷积神经网络的食管癌病理图像自动甄别装置及其甄别方法，该装置包括图像采集模块、图像处理模块、数据存储模块、迁移学习模块、网络训练模块和甄别模块。本发明所述的甄别方法包括以下步骤：1、图像采集模块采集病理图像，构建食管癌病理切片图像库；2、通过图像处理模块对各病理图像库进行扩充；3、利用扩充后的预训练网络病理图像数据集完成迁移学习；4、在习得的卷积神经网络结构上，用扩充后的食管癌病理图像数据集训练网络并微调权值，得到判别的网络模型，用甄别模块实现智能化判别。本发明克服了因缺乏大型公开、已标记的食管癌病理图像数据集作为训练样本导致的深度学习过程中易出现的过拟合问题，提高识别率。

Description

一种基于卷积神经网络的食管癌病理图像自动甄别装置及其 甄别方法
技术领域
本发明涉及一种食管癌病理切片图像的自动甄别装置及其甄别方法，尤其涉及一种基于卷积神经网络的食管癌病理图像自动甄别装置及其甄别方法。
背景技术
根据统计数据显示，近年来癌症发病率逐年增长。以江苏省淮安市为例，恶性肿瘤的死亡率高达164.57/10万(标化死亡率138.20/10万)，高于全国平均水平39％。而恶性肿瘤中致死率第一位的是食管癌，其死亡率占癌症死亡率的49.53％。食管癌高发病率的原因除了外在的易致癌的环境性因素和不良的饮食习惯以外，与疾病发现的不及时有很大关系。食管癌发现时大多都已处于中晚期，早期诊断准确率不够高，在治疗的最佳阶段无法及时得到治疗。因此，对食管癌的早期诊断非常关键，如果能够在癌症初期发现病症，存活率将会高出10倍。
通过活体组织检查进行确切诊断，是目前食道病变的影像学检查方法中，被认为最可靠、最权威的病理诊断方法。组织病理学图像分析是癌症诊断的金标准。病理医生通过对病理切片进行镜检，完成病理诊断和预后评估。病理诊断是肉眼观察器官的改变、在镜下观察器官组织结构以及细胞的病变特性的一种疾病诊断手段，在确诊的客观性和准确性上，其可信度远高于根据病历、病状做出的分析性诊断，以及利用影像途径(如超声波、X射线、CT、核磁共振等)所做出的临床诊断。
但是，由于病理图像中包含百亿级别的细胞，且具有图像之间差异细微、细胞重叠现象、颜色分布不均匀等特点，人工查找癌细胞通常费时费力，极易出错。另外，通过病理切片图像甄别肿瘤，对病理医生的专业技能要求较高。一名优秀的病理医生要做到准确、快速甄别是否癌症的结果，需要数十年甚至更长期的培养。全国范围内病理医生的人数不足万人，且多集中于经济较为发达地区，有些偏远贫困的地区基本没有病理医生。而肿瘤又是高发疾病，病理医生需要处理的病例数接近病理医生人数的6倍，超高负荷的工作量严重影响到检测的效率和准确率。
此前，医学图像的智能化诊断都是基于陈旧的、需要动手操作的机器学习模式来实现，如设计灰度直方图、形状特征、纹理结构特征、与周围组织的关系特征等人工视觉特征，再利用分类器进行分类。由于人工提取的特征在很大程度上依靠专业经验，客观性较差，无法表征图片的全面信息，且很难实现多种人工特征的融合，分类效果不理想且不具备普适性。
近年来“深度学习”技术以其特定的多层结构和强大的处理大数据、自学习和自适应的能力，能够实现从数据中自动学习特征、完成分类，在图像识别领域得到了进一步的应用。这样的“端对端”结构更适合于大数据量的病理分析，避免了传统算法中人工设计、提取特征的复杂性和局限性，不仅提高了诊断效率，还为医生提供更加客观、准确的诊断结果，促进了医疗图像辅助诊断技术的发展，具有重要的临床应用价值。从几百万病人的疾病记录入手，利用深度学习技术对病理切片图像进行训练，建立一个关于肿瘤的人工神经网络，利用足够多的大数据，自动提取合适的特征，对肿瘤进行甄别，实现肿瘤疾病的智能化诊断。随着大数据时代的到来和深度学习研究的深入，结合深度学习进行肿瘤检测将成为医学智能化领域新的研究趋势。
发明内容
发明目的：针对以上问题，本发明提出一种基于卷积神经网络的食管癌病理图像自动甄别装置，该装置可以高效率、高准确率地自动给出食管癌的良性或者恶性判别结果。本发明的另一目的是提供基于该装置的甄别方法。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于卷积神经网络的食管癌病理图像自动甄别装置，包括：
图像采集模块，采集并标注食管肿瘤组织病理图像，构建食管癌病理切片图像库；
图像处理模块，对各图像库中的病理图像进行旋转、缩放、镜像及其组合操作，按良性或者恶性标注标签并分成良性肿瘤图像数据集BD和恶性肿瘤图像数据集MD；
数据存储模块，将经由图像处理模块处理得到的数据集BD和MD中的图像进行合并，完成数据集的扩充，对扩充后的预训练网络病理图像数据集BH和扩充后的食管癌病理图像数据集EC进行存储；
迁移学习模块，利用扩充后的预训练网络病理图像数据集进行迁移学习，得到深度网络的初始化结构和参数；
网络训练模块，以扩充后的预训练网络病理图像数据集迁移学习得到的网络结构和权值作初值，对扩充后的食管癌病理切片图像数据集网络进行有监督训练，获得可以判别食管癌图像的网络权值。
甄别模块，在训练好的食管癌病理切片图像集网络上，将其测试集图像输入网络，检测装置对病理图片的判别能力，再将待诊断的图片输入网络，经过网络判别给出良性或恶性肿瘤的判别结果。
本发明所述一种基于上述自动甄别装置的甄别方法，包括以下步骤：
(1)图片采集模块采集病理图像，构建食管癌病理切片图像库；
(2)通过图像处理模块分别对食管癌病理切片图像库和预训练网络病理图像库进行数据集扩充，并将数据放置到数据存储模块中；
(3)扩充后的预训练网络病理图像数据集经由迁移学习模块完成迁移学习，得到卷积神经网络的初始化结构和参数；
(4)在由迁移学习模块得到的卷积神经网络结构基础上，按比例将扩充后的食管癌病理图像数据集EC分为训练集、验证集和测试集，以训练集为样本，用网络训练模块对食管癌病理切片图像集网络进行有监督训练，更新网络权值，以验证集为样本微调权值，得到判别食管癌病理图像的网络模型，最后通过甄别模块，输入待诊断图像，实现智能化判别。
有益效果：克服了传统机器学习人为定义特征的不足，实现自动特征提取，减少识别过程中的人为干预；使用迁移学习技术预训练网络，缩短了因随机赋初值而需要调整至合适权值的训练时间，并利用已有大量样本的预训练网络病理图像库，提高识别率，减少因缺乏大型公开、已标记的食管癌病理图像库作为训练样本导致的深度学习过程中的过拟合现象的发生，扩大识别对象的范围。
附图说明
图1是本发明装置及方法的流程图；
图2是本发明的图片库扩充流程图；
图3是本发明的对BreaKHis图像库进行迁移学习的流程图；
图4是本发明的网络训练及甄别流程图；
图5是三通道图像卷积特征提取过程。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
如图1所示，本发明的一种基于卷积神经网络的食管癌病理图像自动甄别装置，包括：
1、图像采集模块，采集并标注食管肿瘤组织病理图像，构建食管癌病理切片图像库。
食管癌病理切片图像采集和标注均由中国人民解放军第八二医院病理科专业医生完成。本发明中采集了2011-2017年度，包含720位病人的病理影像，共计1524张，涉及鳞状细胞癌、腺癌两种类型食管癌，及食管、贲门粘膜组织慢性炎症的病理切片图像。采集的病理切片用Olympus BX 50光学显微镜观察、拍摄，用HMIAS-2000高清晰度全自动彩色图像分析系统采集并对阳性染色面积及染色强度进行分析，采用双盲法判读结果，由两位病理医师独立读片评定。根据评定的良、恶性结果，将对应的图片标注良(B)、恶(M)标签。
2、图像处理模块，利用图像处理技术，分别对已有的BreaKHis图像库、采集的数字病理图像库进行扩充，以满足深度学习大样本量的要求。如图2所示，对图像进行旋转、缩放、镜像操作及以上操作的组合操作。分别设置旋转角度90°/180°/270°，0.7、1.3的缩放比例，水平/垂直两种镜像方向，及缩放后旋转、缩放后的图像进行镜像操作的组合操作，其功能具体包括：
(1)将预训练网络病理图像库中BreaKHis图像库的来自于82位患者的7909幅已标注的乳腺癌病理图像，其中包含良性乳腺癌肿瘤图像约2480幅，恶性乳腺癌肿瘤图像约5429幅以及采集到的食管癌病理切片彩色图像RGB文件批量读入到自定义的变量Img中；
(2)图像旋转操作：
(21)以图像Img的中心为原点，旋转前后的夹角为旋转角度，将图像上的所有像素分别旋转±90°、±180°、±270°，若旋转角度大于0°，按照逆时针方向旋转，小于0°，按顺时针方向旋转；
(22)利用最近邻方法对旋转后的图像进行邻域插值，保证生成的旋转后的图像是完整的；
(23)根据图片标注的良性或恶性标签，将旋转后的图像，分别存入各自对应的良性肿瘤图像数据集BD和恶性肿瘤图像数据集MD；
(3)图像缩放操作:
(31)以双线性插值的方式对图像Img行、列插值，实现对图像沿x轴和y轴方向同时按比例进行缩小、放大；
(32)将缩放后的图像，按标签存入各自良性肿瘤图像数据集BD或恶性肿瘤图像数据集MD；
(4)镜像操作：
(41)以竖直中线为中心轴左右对换，对图像Img进行水平镜像操作；
(42)以水平中线为中心轴上下对换，对图像Img进行垂直镜像操作；
(43)将镜像操作后的图像，按标签存入各自良性肿瘤图像数据集BD或恶性肿瘤图像数据集MD；
(5)对经过(3)缩放操作后的图像进行旋转操作，旋转角度分别设定为±90°、±180°、±270°，再按标签存入各自良性肿瘤图像数据集BD或恶性肿瘤图像数据集MD；
(6)对经过(3)缩放后的图像进行镜像操作，再按标签存入各自良性肿瘤图像数据集BD或恶性肿瘤图像数据集MD。
3、数据存储模块，对经过图像处理模块处理后的良性食管癌肿瘤图像数据集EC_BD和恶性食管癌肿瘤图像数据集EC_MD进行合并，良性乳腺癌肿瘤图像数据集BH_BD和恶性乳腺癌肿瘤图像数据集BH_MD进行合并，形成扩充后的食管癌病理图像数据集EC和扩充后的BreakHis乳腺癌病理图像数据集BH，并存储。
4、迁移学习模块，如图3所示，利用扩充后的BreaKHis乳腺癌病理图像集BH预训练网络，得到深度网络的初始化结构和参数，其功能具体包括：
(1)将BH中的图像的原始尺寸700×460缩放为224×224，作为网络的输入；
(2)搭建网络结构，包括1个输入层，2个卷积层，卷积核大小分别为7×7和3×3；9个Inception层；1个池化层，采用mean-pooling，卷积核大小7×7；1个分类层，以Softmax作为网络分类器；
(3)将数据集BH中的图像输入网络，根据图像的良性或者恶性标签，进行有监督训练；
(31)输入层：加载整幅3通道乳腺癌病理图像Img，按照网络结构的要求，将图像统一缩放为同尺寸，本发明设置为224×224；
(32)卷积层：该层设置若干卷积核与前一层输入图像或特征图局部相连，提取多个不同的局部低维特征。卷积核尺寸一般设置较小，常取3×3、5×5或者7×7。本发明设置7×7和3×3作为两个普通卷积层的卷积核尺寸。根据式(1)，对网络输入的图像或特征图进行卷积后累加，再加一个偏置，传给一个非线性激活函数，得到一个新的特征图，即实现了一个特征的提取。
设表示连接第l层的第j个特征图与第l-1层第i个特征图的卷积核，Ml-1表示第l-1层的特征图个数，表示第l层的输出，表示第l-1层的输出。根据CNN前向传播的特点，前一层的输出即为后一层的输入，表示第l层的输入，则特征提取的过程可以描述为：
*表示卷积操作，表示偏置，f(·)表示非线性激活函数，常用的如Sigmiod、RELU函数。特别地，若前一层为输入层(通常称作第0层)，将3通道(R、G、B)乳腺癌病理图像Img输入网络，用一组3通道的卷积核k对Img卷积，对三通道分别卷积后的结果进行累加，再加上偏置，送入非线性传递函数，即可以得到一次完整卷积后提取到的特征图。图5给出了得到第j个特征图的过程。
本发明中的非线性激活函数选择RELU函数，函数表达式如式(2)。
(33)Inception层：为了消除尺寸对提取特征的影响，设置Inception层，代替人工来确定卷积层中过滤器的类型(卷积或池化)，或者确定是否需要创建卷积层或池化层。该层一次性用多个不同尺寸的卷积核提取不同特征，并让网络自主选择所需特征对应的卷积核尺寸。网络根据需要，在1×1，3×3，5×5，pooling四个选项中选择最合适的解决方案。本发明中设置了9个Inception层，其中，非线性函数选择RELU函数。
(34)池化层：降维，减少网络的参数个数和计算量。本发明中选择Mean-pooling方式，即取邻域内的平均值，以起到平滑图像的作用。卷积核尺寸选择7×7；学习率设为0.01，最大迭代次数为50000次。
(35)判别层：选择Softmax分类器进行分类，甄别良、恶性食管肿瘤。Softmax是一种多分类的算法。设有N个输入其中xi表示第i个输入，yi表示第i个输入对应的分类标签，设共分为k类，本发明中k＝2(良性、恶性)。对给定的测试图像xi估计出其属于每个类别j(j＝1,2,3,…,k)的概率：
其中θ表示网络输出值，θj表示θ的第j个分量。比较k个条件概率p(yi＝j|xi；θ)(j＝1,2,…,k)的数值，概率最大值对应的类别，即为xi最终的分类结果。
(36)根据分类结果进行反向调权，直至达到初始设定的迭代条件，保存网络结构和训练后的网络权值到网络EC_NET。
5、网络训练模块，如图4所示，以食管癌病理病理图像库中的图像作为训练样本，以在BreaKHis数据集上迁移学习得到的网络结构和权值作初值，对EC_NET网络进行有监督训练，获得可以判别食管癌图像的网络。训练过程，具体包括：
(1)将数据存储模块中扩充后的食管癌病理图像数据集EC按50％、25％、25％分为训练集EC_TR、验证集EC_VR、测试集EC_TS；
(2)将训练集EC_TR中的图像作为训练样本，输入通过迁移学习模块得到的EC_NET网络，根据样本标签，对网络进行有监督训练，得到更新后的网络权值；
(3)将验证集EC_VR中的数据样本输入网络，进一步训练，对网络权值进行微调，保存网络结构和权值；
6、甄别模块，在训练好的EC_NET网络上，将测试集EC_TS中的图像输入网络，检测装置对病理图片的判别能力，再将待诊断的图片输入网络，经过网络判别给出良性或恶性肿瘤的判别结果。

Claims (8)

1.一种基于卷积神经网络的食管癌病理图像自动甄别装置，其特征在于：包括
图像采集模块，采集食管肿瘤组织病理图像，构建食管癌病理切片图像库；
图像处理模块，对各图像库中的病理图像进行旋转、缩放、镜像及其组合操作，按良性或者恶性标注标签并分成良性肿瘤图像数据集BD和恶性肿瘤图像数据集MD；
数据存储模块，将经由图像处理模块处理得到的数据集BD和MD中的图像进行合并，完成数据集的扩充，对扩充后的预训练网络病理图像数据集BH和扩充后的食管癌病理图像数据集EC进行存储；
迁移学习模块，利用数据存储模块中的数据集BH进行迁移学习，得到深度神经网络的初始化结构和权值；
网络训练模块，以数据集BH迁移学习得到的网络结构和权值作初值，用扩充后的食管癌病理图像数据集EC对网络进行有监督训练，并对参数进行微调，获得适于判别食管癌图像的网络结构和权值；
甄别模块，在训练好的食管癌病理切片图像集网络上，将其测试集图像输入网络，检测装置对病理图片的判别能力，再将待诊断的图片输入网络，经过网络判别给出良性或恶性肿瘤的判别结果。
2.根据权利要求1所述的一种基于卷积神经网络的食管癌病理图像自动甄别装置，其特征在于：所述的图像采集模块对食管癌病理影像进行采集，包括鳞状细胞癌、腺癌两种类型食管癌，以及食管、贲门粘膜组织慢性炎症的病理切片图像，存储到构建的食管癌病理切片图像库中。
3.根据权利要求1所述的一种基于卷积神经网络的食管癌病理图像自动甄别装置，其特征在于：所述的图像处理模块用高清晰度全自动彩色图像分析系统采集并对阳性染色面积及染色强度进行分析，采用双盲法判读结果，由两位病理医师独立读片评定，根据评定的良、恶性结果，将对应的图片标注良(B)、恶(M)标签，构建病理图片库，再对图像库中的图像进行旋转、缩放、镜像操作及其组合操作对图片库扩充，并根据标签，将变换后的图像分别存入对应的良性肿瘤图像数据集BD和恶性肿瘤图像数据集MD。
4.根据权利要求3所述的一种基于卷积神经网络的食管癌病理图像自动甄别装置，其特征在于：所述旋转、缩放、镜像操作及其组合操作包括：
(1)图像旋转操作：
(11)以图像的中心为原点，以图像旋转前后的夹角为旋转角度，将图像沿中心分别旋转±90°、±180°、±270°，若旋转的角度大于0°，按照逆时针方向旋转，小于0°，按顺时针方向旋转；
(12)利用最近邻法对旋转后的图像进行邻域插值，以保证旋转后生成的图像完整；
(13)根据图片标注的良性或恶性标签，将旋转后的图像，分别存入对应的良性肿瘤图像数据集BD和恶性肿瘤图像数据集MD；
(2)图像缩放操作:
(21)以双线性插值的方式对图像的行、列插值，实现对图像沿x轴和y轴方向同时按比例缩小、按比例放大，以清晰显示为准；
(22)将缩放后的图像，按标签存入良性肿瘤图像数据集BD或恶性肿瘤图像数据集MD；
(3)镜像操作：
(31)以竖直中线为中心轴左右对换，对图像进行水平镜像操作；
(32)以水平中线为中心轴上下对换，对图像进行垂直镜像操作；
(33)将镜像操作后的图像，按标签存入良性肿瘤图像数据集BD或恶性肿瘤图像数据集MD；
(4)对缩放后的图像进行旋转操作，旋转角度分别设定为±90°、±180°、±270°，再按标签存入良性肿瘤图像数据集BD或恶性肿瘤图像数据集MD；
(5)对缩放后的图像进行镜像操作，再按标签存入良性肿瘤图像数据集BD或恶性肿瘤图像数据集MD；
(6)将良性肿瘤图像数据集BD和恶性肿瘤图像数据集MD中的图像合并为扩充后的数据集。
5.根据权利要求1所述的一种基于卷积神经网络的食管癌病理图像自动甄别装置，其特征在于：所述的预训练网络病理图像库包括BreaKHis乳腺癌病理图像库。
6.根据权利要求1所述的一种基于卷积神经网络的食管癌病理图像自动甄别装置，其特征在于：所述的迁移学习模块功能如下：
(1)对数据存储模块中的扩充后的预处理网络训练病理图像数据集BH中图像的原始尺寸进行缩放，作为网络的输入；
(2)搭建深度网络结构，包括1个输入层，2个卷积层；9个Inception层；1个池化层，采用mean-pooling；1个分类层，以Softmax作为网络分类器；
(3)将数据集BH中的图像输入网络，根据图像的良性或恶性标签，进行有监督训练；
(31)输入层：加载整幅3通道预训练病理图像Img，按照网络结构的要求，将图像统一缩放为同尺寸；
(32)卷积层：该层设置若干卷积核与前一层输入图像或特征图局部相连，提取多个不同的局部低维特征，根据式(1)，对网络输入的图像或特征图进行卷积后累加，再加一个偏置，传给一个非线性激活函数，得到一个新的特征图，即实现了一个特征的提取，
其中，表示连接第l层的第j个特征图与第l-1层第i个特征图的卷积核，Ml-1表示第l-1层的特征图个数，表示第l层的输出，表示第l-1层的输出，由CNN前向传播特点可知， 也表示第l层的输入；*表示卷积操作，表示偏置，非线性激活函数f(·)选择RELU函数，函数表达式如式(2)：
(33)Inception层：为了消除尺寸对提取特征的影响，设置Inception层，根据需要，选择最合适的解决方案设置网络；
(34)池化层：选择Mean-pooling方式，设置卷积核尺寸，学习率和最大迭代次数；
(35)判别层：选择Softmax分类器进行分类，甄别良、恶性食管肿瘤，设有N个输入其中xi表示第i个输入，yi表示第i个输入对应的分类标签，共分为k类，k＝2(良性、恶性)，则对给定的测试图像xi估计出其属于每个类别j(j＝1,2,…,k)的概率为：
其中θ表示网络输出值，θj表示θ的第j个分量，比较k个条件概率p(yi＝j|xi；θ)(j＝1,2,…,k)的数值，概率最大值对应的类别，即为最终的分类结果；
(36)根据分类结果反向调整权值，直至达到初始设定的迭代条件，存网络结构和训练后的网络权值到网络EC_NET。
7.根据权利要求1所述的一种基于卷积神经网络的食管癌病理图像自动甄别装置，其特征在于：所述的网络训练模块功能为：
(1)将经由图像处理模块处理得到的扩充后的食管癌病理图像数据集EC按比例分为训练集EC_TR、验证集EC_VR、测试集EC_TS；
(2)将训练集EC_TR中的图像作为训练样本，输入迁移学习得到的EC_NET网络，根据样本标签，对网络进行有监督训练，得到更新后的网络权值；
(3)将验证集EC_VR中的数据样本输入网络，进一步训练，对网络权值进行微调，保存网络结构和权值。
8.一种基于权利要求1所述的自动甄别装置的甄别方法，其特征在于，包括以下步骤：
(1)图片采集模块采集病理图像，构建食管癌病理切片图像库；
(2)通过图像处理模块分别对食管癌病理切片图像库和预训练网络病理图像库进行数据集扩充，并将数据放置到数据存储模块中；
(3)利用迁移学习模块对扩充后的预训练网络病理图像数据集进行迁移学习，得到卷积神经网络的初始化结构和参数；
(4)在迁移学习得到的卷积神经网络结构基础上，按比例将扩充后的食管癌病理图像数据集分为训练集、验证集和测试集，以训练集为样本，用网络训练模块对食管癌网络进行有监督训练，更新网络权值，以验证集为样本微调权值，得到判别食管癌病理图像的网络模型，最后通过甄别模块，输入待诊断图像，实现智能化判别。
CN201811022872.2A 2018-09-03 2018-09-03 一种基于卷积神经网络的食管癌病理图像自动甄别装置及其甄别方法 Pending CN109086836A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811022872.2A CN109086836A (zh) 2018-09-03 2018-09-03 一种基于卷积神经网络的食管癌病理图像自动甄别装置及其甄别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811022872.2A CN109086836A (zh) 2018-09-03 2018-09-03 一种基于卷积神经网络的食管癌病理图像自动甄别装置及其甄别方法

Publications (1)

Publication Number Publication Date
CN109086836A true CN109086836A (zh) 2018-12-25

Family

ID=64840716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811022872.2A Pending CN109086836A (zh) 2018-09-03 2018-09-03 一种基于卷积神经网络的食管癌病理图像自动甄别装置及其甄别方法

Country Status (1)

Country Link
CN (1) CN109086836A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903284A (zh) * 2019-03-04 2019-06-18 武汉大学 一种her2免疫组化图像自动判别方法及系统
CN110070125A (zh) * 2019-04-19 2019-07-30 四川大学华西医院 一种基于大数据分析的肝胆外科治疗方案筛选方法及系统
CN110263863A (zh) * 2019-06-24 2019-09-20 南京农业大学 基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法
CN110264465A (zh) * 2019-06-25 2019-09-20 中南林业科技大学 一种基于形态学和深度学习的主动脉夹层动态检测方法
CN110472676A (zh) * 2019-08-05 2019-11-19 首都医科大学附属北京朝阳医院 基于深度神经网络的胃早癌组织学图像分类系统
CN110569882A (zh) * 2019-08-15 2019-12-13 杨春立 一种图像信息分类方法及装置
CN110930369A (zh) * 2019-11-01 2020-03-27 中山大学 一种基于群等变神经网络和条件概率场的病理切片识别方法
CN111062956A (zh) * 2019-11-08 2020-04-24 哈尔滨工业大学（深圳） 病理图像肿块目标分割方法及装置
CN111275104A (zh) * 2020-01-16 2020-06-12 重庆金山医疗技术研究院有限公司 一种模型训练方法、装置、服务器及存储介质
CN111310568A (zh) * 2020-01-16 2020-06-19 武汉大学 基于计算机视觉的多发性骨髓瘤骨髓象识别设备
CN111369501A (zh) * 2020-02-24 2020-07-03 武汉大学 一种基于视觉特征识别口腔鳞状细胞癌的深度学习方法
CN111611866A (zh) * 2020-04-23 2020-09-01 淮阴工学院 基于YCrCb和LAB颜色空间的火焰检测识别方法及系统
CN112037913A (zh) * 2020-09-15 2020-12-04 南昌大学 一种基于卷积神经网络的牙周炎智能检测方法及系统
CN112784801A (zh) * 2021-02-03 2021-05-11 紫东信息科技(苏州)有限公司 基于文本和图片的双模态胃部疾病分类方法及装置
CN113052228A (zh) * 2021-03-22 2021-06-29 山西三友和智慧信息技术股份有限公司 一种基于SE-Inception的肝癌病理切片分类方法
CN113112459A (zh) * 2021-03-26 2021-07-13 四川大学 口腔鳞状细胞癌分化程度预测系统
CN113159223A (zh) * 2021-05-17 2021-07-23 湖北工业大学 一种基于自监督学习的颈动脉超声图像识别方法
CN113642518A (zh) * 2021-08-31 2021-11-12 山东省计算中心（国家超级计算济南中心） 基于迁移学习的her2病理图像细胞膜着色完整性判别方法
CN117218129A (zh) * 2023-11-09 2023-12-12 四川大学 食道癌图像识别分类方法、系统、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339591A (zh) * 2016-08-25 2017-01-18 汤平 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务系统
CN107730489A (zh) * 2017-10-09 2018-02-23 杭州电子科技大学 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339591A (zh) * 2016-08-25 2017-01-18 汤平 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务系统
CN107730489A (zh) * 2017-10-09 2018-02-23 杭州电子科技大学 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JASON YOSINSKI: ""How transferable are features in deep neural networks?"", 《ARXIV》 *
王旭阳: ""基于深度学习的食道癌图像检测技术的研究"", 《中国优秀硕士学位论文全文数据库 医药卫生科技刊》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903284A (zh) * 2019-03-04 2019-06-18 武汉大学 一种her2免疫组化图像自动判别方法及系统
CN109903284B (zh) * 2019-03-04 2022-07-05 武汉大学 一种her2免疫组化图像自动判别方法及系统
CN110070125A (zh) * 2019-04-19 2019-07-30 四川大学华西医院 一种基于大数据分析的肝胆外科治疗方案筛选方法及系统
CN110263863A (zh) * 2019-06-24 2019-09-20 南京农业大学 基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法
CN110263863B (zh) * 2019-06-24 2021-09-10 南京农业大学 基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法
CN110264465A (zh) * 2019-06-25 2019-09-20 中南林业科技大学 一种基于形态学和深度学习的主动脉夹层动态检测方法
CN110472676A (zh) * 2019-08-05 2019-11-19 首都医科大学附属北京朝阳医院 基于深度神经网络的胃早癌组织学图像分类系统
CN110569882B (zh) * 2019-08-15 2023-05-09 杨春立 一种图像信息分类方法及装置
CN110569882A (zh) * 2019-08-15 2019-12-13 杨春立 一种图像信息分类方法及装置
CN110930369A (zh) * 2019-11-01 2020-03-27 中山大学 一种基于群等变神经网络和条件概率场的病理切片识别方法
CN110930369B (zh) * 2019-11-01 2023-05-05 中山大学 一种基于群等变神经网络和条件概率场的病理切片识别方法
CN111062956A (zh) * 2019-11-08 2020-04-24 哈尔滨工业大学（深圳） 病理图像肿块目标分割方法及装置
CN111310568A (zh) * 2020-01-16 2020-06-19 武汉大学 基于计算机视觉的多发性骨髓瘤骨髓象识别设备
CN111275104A (zh) * 2020-01-16 2020-06-12 重庆金山医疗技术研究院有限公司 一种模型训练方法、装置、服务器及存储介质
CN111369501A (zh) * 2020-02-24 2020-07-03 武汉大学 一种基于视觉特征识别口腔鳞状细胞癌的深度学习方法
CN111611866B (zh) * 2020-04-23 2021-09-24 淮阴工学院 基于YCrCb和LAB颜色空间的火焰检测识别方法及系统
CN111611866A (zh) * 2020-04-23 2020-09-01 淮阴工学院 基于YCrCb和LAB颜色空间的火焰检测识别方法及系统
CN112037913B (zh) * 2020-09-15 2022-08-30 南昌大学 一种基于卷积神经网络的牙周炎智能检测系统
CN112037913A (zh) * 2020-09-15 2020-12-04 南昌大学 一种基于卷积神经网络的牙周炎智能检测方法及系统
CN112784801A (zh) * 2021-02-03 2021-05-11 紫东信息科技(苏州)有限公司 基于文本和图片的双模态胃部疾病分类方法及装置
CN113052228A (zh) * 2021-03-22 2021-06-29 山西三友和智慧信息技术股份有限公司 一种基于SE-Inception的肝癌病理切片分类方法
CN113112459A (zh) * 2021-03-26 2021-07-13 四川大学 口腔鳞状细胞癌分化程度预测系统
CN113159223A (zh) * 2021-05-17 2021-07-23 湖北工业大学 一种基于自监督学习的颈动脉超声图像识别方法
CN113642518A (zh) * 2021-08-31 2021-11-12 山东省计算中心（国家超级计算济南中心） 基于迁移学习的her2病理图像细胞膜着色完整性判别方法
CN113642518B (zh) * 2021-08-31 2023-08-22 山东省计算中心（国家超级计算济南中心） 基于迁移学习的her2病理图像细胞膜着色完整性判别方法
CN117218129A (zh) * 2023-11-09 2023-12-12 四川大学 食道癌图像识别分类方法、系统、设备及介质
CN117218129B (zh) * 2023-11-09 2024-01-26 四川大学 食道癌图像识别分类方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN109086836A (zh) 一种基于卷积神经网络的食管癌病理图像自动甄别装置及其甄别方法
Jia et al. Detection of cervical cancer cells based on strong feature CNN-SVM network
Bayramoglu et al. Deep learning for magnification independent breast cancer histopathology image classification
Mi et al. Deep learning-based multi-class classification of breast digital pathology images
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN109670510A (zh) 一种基于深度学习的胃镜活检病理数据筛查系统和方法
CN110472676A (zh) 基于深度神经网络的胃早癌组织学图像分类系统
Wang et al. Weakly supervised learning for whole slide lung cancer image classification
CN109376777A (zh) 基于深度学习的宫颈癌组织病理学图像分析方法及设备
Pan et al. Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review
CN106096654A (zh) 一种基于深度学习和结合策略的细胞异型性自动分级方法
Mathew et al. Computational methods for automated mitosis detection in histopathology images: A review
CN109544526A (zh) 一种慢性萎缩性胃炎图像识别系统、装置和方法
CN110111895A (zh) 一种鼻咽癌远端转移预测模型的建立方法
CN110910377B (zh) 一种基于神经网络的脑梗死mri图像识别方法
He et al. Combining deep learning with traditional features for classification and segmentation of pathological images of breast cancer
CN113378792B (zh) 融合全局和局部信息的弱监督宫颈细胞图像分析方法
CN113724842B (zh) 一种基于注意力机制的宫颈组织病理辅助诊断方法
CN115100467A (zh) 一种基于核注意力网络的病理全切片图像分类方法
Xia et al. Cervical cancer cell detection based on deep convolutional neural network
CN115471701A (zh) 基于深度学习和迁移学习的肺腺癌组织学亚型分类方法
Lin et al. Identification method of citrus aurantium diseases and pests based on deep convolutional neural network
Jing et al. A comprehensive survey of intestine histopathological image analysis using machine vision approaches
Ning et al. Multiscale context-cascaded ensemble framework (MsC 2 EF): application to breast histopathological image
Liu et al. Automated classification of cervical Lymph-Node-Level from ultrasound using depthwise separable convolutional swin transformer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181225