CN113627459A - 一种基于Inception网络的直肠癌病理切片图像分类方法及装置 - Google Patents

一种基于Inception网络的直肠癌病理切片图像分类方法及装置 Download PDF

Info

Publication number
CN113627459A
CN113627459A CN202110341179.7A CN202110341179A CN113627459A CN 113627459 A CN113627459 A CN 113627459A CN 202110341179 A CN202110341179 A CN 202110341179A CN 113627459 A CN113627459 A CN 113627459A
Authority
CN
China
Prior art keywords
network
incorporation
classification method
convolution
pathological section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110341179.7A
Other languages
English (en)
Inventor
李灯熬
赵菊敏
王君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202110341179.7A priority Critical patent/CN113627459A/zh
Publication of CN113627459A publication Critical patent/CN113627459A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Abstract

本发明涉及图像分类技术,具体涉及一种基于Inception网络的直肠癌病理切片图像分类方法,主要为基于卷积神经网络的肝脏组织切片图像正常和病变性分类方法,使用一种能够自动学习图像特征并分类的方法,先利用原始的Inception V4模型在肝脏组织切片数据集上进行训练,然后在原始模型的基础上通过微调得到改进的Inception V4模型,最后用改进的模型来实现肝脏组织切片图像正常和病变性两种类型的分类。本发明结合Inception神经网络,拟采用影像学的思想对正常和病变直肠组织切片进行分类,完成对直肠组织切片图像的量化和特征提取,最后实现两种直肠组织切片图像的分类,进一步提升了直肠癌患者诊断的效率。

Description

一种基于Inception网络的直肠癌病理切片图像分类方法及 装置
技术领域
本发明涉及图像分类技术,具体为基于卷积神经网络的肝脏组织切片图像 正常和病变性分类方法。
背景技术
据国家癌症中心的的研究估算,2015年中国约有429万癌症新发病例,281 万癌症死亡病例。其中,直肠癌是造成死亡的第三个最常见的癌症,并且男性 的发病率明显高于女性。早期的诊断对直肠癌治疗非常重要,研究直肠癌识别 技术对降低直肠癌的死亡率有十分重要的意义。
直肠癌诊断手段主要有血清检验、切片检查、影像学诊断。血清检查往往需要 和影像学检查配合才可做出准确判断。切片检查是诊断肝癌最直接的方式,采 集患者可疑区域组织直接进行检查。影像学检查对肝癌诊断具有重要参考价 值,但是花费较高。传统的疾病分类方法依赖于医生的经验,判断标准的主观 性差异和病变特征的非线性特点会对检测结果的准确率造成一定程度的影响。 因此,运用深度学习的方法对肝脏病理切片图像进行分类具有重要的研究价值。
由于影像科医师对于肝癌读片的水平参差不齐,如果机器学习能自学患者 的影像学资料并构建诊断模型,则可以辅助医师进行诊断。
发明内容
为了解决现有技术缺乏利用深度学习技术对肝脏病理切片图像进行分类的 问题,本发明提供一种供机器学习能自学患者的影像学资料并构建诊断模型, 则可以辅助医师进行诊断。。
本发明的技术方案如下:
一种基于Inception网络的直肠癌病理切片图像分类方法,包括以下步骤:
S1:获得并对直肠组织图像进行预处理,减少图像无关信息;
由于人体内直肠所在的位置还有许多其他的组织器官,并且距离较近,通 过解刨找出人体的直肠也并非是一件容易的事,更何况要通过X射线和CT图像 来确定直肠的位置,难度不言而喻。况且,其肿块部分的图像与直肠组织的对 比度不高,肿块部分的图像边缘模糊度较高。因此,在作出诊断结果前,需要 对图像进行预处理,提高图像的准确率。图像预处理不充分和外界环境的干扰, 都会导致产生错误信息。
S2:基于所提出的CNN对肿瘤概率进行估计;
S3:运用TensorFlow框架的自动学习算法,选用Inception V4原始模型, 经过ImageNet数据集进行预训练,并应用到直肠组织切片正常和病变两种分类 的任务中。
进一步地,所述S1的预处理包括将直肠组织图像分成5000X5000像素大小 的图像块,然后分别标记出每一张图像快上的组织类型。
进一步地,所述S3中Inception V4原始模型中Inception模型的基本结 构由四部分组成,即1×1卷积,3×3卷积,5×5卷积和3×3的最大池化,所 述Inception V4模型为在原始的Inception模型中降维。
进一步地,所述S3中所述Inception V4原始模型在原始Inception模型 上在3×3卷积,5×5卷积核3×3最大池化后分别加上了1×1卷积来进行降维。
进一步地,基于Inception网络的直肠癌病理切片图像分类方法还包括BN 算法进行近似白化预处理,BN(Batch Normalization)是一个非常有效的正则 化方法,可以让大型卷积神经网络的训练速度加快很多倍,同时收敛后的分类 准确率也可以得到大幅提高,所述的白预化处理公式为:
Figure BDA0002999136550000031
其中E[x^(k)]是指在一批数据中,各神经元的平均值Var(x^(k))是指在一 批训练数据时各神经元输入值的标准差。
如果是仅仅使用上面的归一化公式,对网络某一层A的输出数据做归一化, 然后送入网络下一层B,这样是会影响到本层网络A所学习到的特征的。打个比 方,比如我网络中间某一层学习到特征数据本身就分布在S型激活函数的两侧, 你强制把它给我归一化处理、标准差也限制在了1,把数据变换成分布于s函数 的中间部分,这样就相当于我这一层网络所学习到的特征分布被搞坏了。
于是,提出了“变换重构”,引入了可学习参数γ和β:
进一步地,所述的变化重构公式为:
Figure BDA0002999136550000032
每一个神经元x(k)都会有这样的一对参数γ和β。当
Figure BDA0002999136550000033
和 β(k)=E[x(k)]时,是可以恢复出原始的某一层特征的。
卷积神经网络经过卷积后得到一系列的特征图中,m为min-batch sizes, f为特征图个数,p、q分别为特征图的宽高。每个特征图都可以看成是一个特 征处理(一个神经元),因此在使用BatchNormalization,mini-batch size的 大小就是:m*p*q。
本发明提供了一种基于Inception网络的直肠癌病理切片图像的识别分类 设备,所述识别分类设备包括:
存储器、处理器,通信总线以及存储在所述存储器上的识别分类程序, 所述通信总线用于实现处理器与存储器间的通信连接;
所述处理器用于执行所述识别分类程序,以实现如上述中任意一项所述的 识别分类方法的步骤。
本发明还提供了一种计算机可读存储介质,存储有可执行指令,所述存储 介质上存储有识别分类程序,所述识别分类程序被处理器执行时实现上述中任 意一项所述的识别分类方法的步骤。
本专利通过增加网络宽度来提高网络的性能,将大卷积核分解成小卷积, 节省了参数,降低了模型大小,使用了更加统一的Inception模块,并结合了 ResNet的残差思想,能将网络做得更深。
附图说明
图1为本发明的基于Inception网络的直肠癌病理切片图像分类方法的原 始Inception V4模型结构示意图。
图2为本发明的基于Inception网络的直肠癌病理切片图像分类方法的原 始Inception V4模型结构示意图。
图3为本发明的改进后的Inception模型。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明 实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然, 所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中 的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其 他实施例,都属于本发明保护的范围。
如图1-3所示,本发明提供了一种基于Inception网络的直肠癌病理切片 图像分类方法,Inception模型的核心思想是在同一层上通过多个卷积核提取图 像的不同特征,然后进行融合,从而实现对图像更好的识别效果。Inception的 基本结构由四部分组成,如图1所示。即1×1卷积,,3×3卷积,5×5卷积和 3×3的最大池化。原始的Inception模型,所有的卷积和都在前一层的所有输 出上来进行,导致计算复杂度显著增加。为避免这个情况的发生,又提出了有 降维的Inception模型,如图1-2所示。在3×3卷积,5×5卷积核3×3最大 池化后分别加上了1×1卷积来进行降维。
具体包括以下步骤:
S1:获得并对直肠组织图像进行预处理,减少图像无关信息;
S2:基于所提出的CNN对肿瘤概率进行估计;
S3:运用TensorFlow框架的自动学习算法,选用Inception V4原始模型, 经过ImageNet数据集进行预训练,并应用到直肠组织切片正常和病变两种分类 的任务中。
所述S1的预处理包括将直肠组织图像分成5000X5000像素大小的图像块, 然后分别标记出每一张图像快上的组织类型。
所述S3中Inception V4原始模型中Inception模型的基本结构由四部分 组成,即1×1卷积,3×3卷积,5×5卷积和3×3的最大池化,所述Inception V4模型为在原始的Inception模型中降维。
所述S3中所述Inception V4原始模型在原始Inception模型上在3×3卷 积,5×5卷积核3×3最大池化后分别加上了1×1卷积来进行降维。
基于Inception网络的直肠癌病理切片图像分类方法还包括BN算法进行近 似白化预处理,BN(Batch Normalization)是一个非常有效的正则化方法,可 以让大型卷积神经网络的训练速度加快很多倍,同时收敛后的分类准确率也可 以得到大幅提高,所述的白预化处理公式为:
Figure BDA0002999136550000061
其中E[x^(k)]是指在一批数据中,各神经元的平均值Var(x^(k))是指在一 批训练数据时各神经元输入值的标准差。
如果是仅仅使用上面的归一化公式,对网络某一层A的输出数据做归一化, 然后送入网络下一层B,这样是会影响到本层网络A所学习到的特征的。打个比 方,比如我网络中间某一层学习到特征数据本身就分布在S型激活函数的两侧, 你强制把它给我归一化处理、标准差也限制在了1,把数据变换成分布于s函数 的中间部分,这样就相当于我这一层网络所学习到的特征分布被搞坏了。
于是,提出了“变换重构”,引入了可学习参数γ和β:
进一步地,所述的变化重构公式为:
Figure BDA0002999136550000062
每一个神经元x(k)都会有这样的一对参数γ和β。当
Figure BDA0002999136550000063
和 β(k)=E[x(k)]时,是可以恢复出原始的某一层特征的。
卷积神经网络经过卷积后得到一系列的特征图中,m为min-batch sizes, f为特征图个数,p、q分别为特征图的宽高。每个特征图都可以看成是一个特 征处理(一个神经元),因此在使用BatchNormalization,mini-batch size的 大小就是:m*p*q。
Inception V3模型的一个最重要的改进是分解,将7x7分解成两个一维的 卷积(1x7,7x1),3x3也是一样(1x3,3x1),这样的好处,既可以加速计算(多 余的计算能力可以用来加深网络),又可以将1个conv拆成2个conv,使得网 络深度进一步增加,增加了网络的非线性,还有值得注意的地方是网络输入从 224x224变为了299x299,更加精细设计了35x35/17x17/8x8的模块。
而V4模型则是在V3的基础上,将Inception模块与Residual Connection 结合。发现ResNet的结构可以极大地加速训练,同时性能也有提升。
本专利通过增加网络宽度来提高网络的性能,首先,在每个Inception模 块中,使用了不同大小的卷积核,可以理解成不同的感受野,然后将其 Concentrate起来,丰富了每层的信息。之后,使用了BN算法(BN使用在conv 之后,relu之前),来加速网络的收敛速度。其次,还使用了卷积因子分解的思 想,将大卷积核分解成小卷积,节省了参数,降低了模型大小。最后,使用了 更加统一的Inception模块,并结合了ResNet的残差思想,能将网络做得更深。
如图3所示训练过程中,验证集采用交叉验证方法,数据集的Epoch设置 为200,一次处理图片的最小输入的数量(batch-size)为65,学习率为0 训练过程中,不断优化网络参数直至迭代训练结束,损失值降到最低后对测试 集进行测试,直至达到预期要求。本发明提供了一种基于Inception网络的直 肠癌病理切片图像的识别分类设备,所述识别分类设备包括:
存储器、处理器,通信总线以及存储在所述存储器上的识别分类程序,
所述通信总线用于实现处理器与存储器间的通信连接;
所述处理器用于执行所述识别分类程序,以实现如上述中任意一项所述的 识别分类方法的步骤。
本发明还提供了一种计算机可读存储介质,存储有可执行指令,所述存储 介质上存储有识别分类程序,所述识别分类程序被处理器执行时实现上述中任 意一项所述的识别分类方法的步骤。
基于卷积神经网络在识别文本中表现更优,可以显著提高判断的准备性。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利 用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运 用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于Inception网络的直肠癌病理切片图像分类方法,其特征在于,包括以下步骤:
S1:获得并对直肠组织图像进行预处理,减少图像无关信息;
S2:基于所提出的CNN对肿瘤概率进行估计;
S3:运用TensorFlow框架的自动学习算法,选用Inception V4原始模型,经过ImageNet数据集进行预训练,并应用到直肠组织切片正常和病变两种分类的任务中。
2.根据权利要求1所述的基于Inception网络的直肠癌病理切片图像分类方法,其特征在于,所述S1的预处理包括将直肠组织图像分成5000X5000像素大小的图像块,然后分别标记出每一张图像快上的组织类型。
3.根据权利要求1所述的基于Inception网络的直肠癌病理切片图像分类方法,其特征在于,所述S3中Inception V4原始模型中Inception模型的基本结构由四部分组成,即1×1卷积,3×3卷积,5×5卷积和3×3的最大池化,所述Inception V4模型为在原始的Inception模型中降维。
4.根据权利要求3所述的基于Inception网络的直肠癌病理切片图像分类方法,其特征在于,所述S3中所述Inception V4原始模型在原始Inception模型上在3×3卷积,5×5卷积核3×3最大池化后分别加上了1×1卷积来进行降维。
5.根据权利要求3所述的基于Inception网络的直肠癌病理切片图像分类方法,其特征在于,基于Inception网络的直肠癌病理切片图像分类方法还包括BN算法进行近似白化预处理,提供了变换重构。
6.根据权利要求5所述的基于Inception网络的直肠癌病理切片图像分类方法,其特征在于,所述的白预化处理公式为:
Figure FDA0002999136540000021
其中E[x^(k)]是指在一批数据中,各神经元的平均值Var(x^(k))是指在一批训练数据时各神经元输入值的标准差。
7.根据权利要求5所述的基于Inception网络的直肠癌病理切片图像分类方法,其特征在于,所述的变化重构公式为:
Figure FDA0002999136540000022
8.一种多模态的心力衰竭的识别分类设备,其特征在于:所述识别分类设备包括:
存储器、处理器,通信总线以及存储在所述存储器上的识别分类程序,所述通信总线用于实现处理器与存储器间的通信连接;
所述处理器用于执行所述识别分类程序,以实现如上述权利要求1-7中任意一项所述的识别分类方法的步骤。
9.一种计算机可读存储介质,存储有可执行指令,其特征在于:所述存储介质上存储有识别分类程序,所述识别分类程序被处理器执行时实现上述权利要求1-7中任意一项所述的识别分类方法的步骤。
CN202110341179.7A 2021-03-30 2021-03-30 一种基于Inception网络的直肠癌病理切片图像分类方法及装置 Pending CN113627459A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110341179.7A CN113627459A (zh) 2021-03-30 2021-03-30 一种基于Inception网络的直肠癌病理切片图像分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110341179.7A CN113627459A (zh) 2021-03-30 2021-03-30 一种基于Inception网络的直肠癌病理切片图像分类方法及装置

Publications (1)

Publication Number Publication Date
CN113627459A true CN113627459A (zh) 2021-11-09

Family

ID=78377873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110341179.7A Pending CN113627459A (zh) 2021-03-30 2021-03-30 一种基于Inception网络的直肠癌病理切片图像分类方法及装置

Country Status (1)

Country Link
CN (1) CN113627459A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840906A (zh) * 2019-01-29 2019-06-04 太原理工大学 一种对乳腺x线图片进行分类处理的方法
CN109948471A (zh) * 2019-03-04 2019-06-28 南京邮电大学 基于改进InceptionV4网络的交通雾霾能见度检测方法
CN110135506A (zh) * 2019-05-20 2019-08-16 杭州电子科技大学 一种应用于web的七类皮肤肿瘤检测方法
US20200160997A1 (en) * 2018-11-02 2020-05-21 University Of Central Florida Research Foundation, Inc. Method for detection and diagnosis of lung and pancreatic cancers from imaging scans
CN111275116A (zh) * 2020-01-20 2020-06-12 太原理工大学 基于三维卷积神经网络的乳腺肿瘤超声图像分类方法
CN112132917A (zh) * 2020-08-27 2020-12-25 盐城工学院 一种直肠癌淋巴结转移的智能诊断方法
CN112270666A (zh) * 2020-11-03 2021-01-26 辽宁工程技术大学 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200160997A1 (en) * 2018-11-02 2020-05-21 University Of Central Florida Research Foundation, Inc. Method for detection and diagnosis of lung and pancreatic cancers from imaging scans
CN109840906A (zh) * 2019-01-29 2019-06-04 太原理工大学 一种对乳腺x线图片进行分类处理的方法
CN109948471A (zh) * 2019-03-04 2019-06-28 南京邮电大学 基于改进InceptionV4网络的交通雾霾能见度检测方法
CN110135506A (zh) * 2019-05-20 2019-08-16 杭州电子科技大学 一种应用于web的七类皮肤肿瘤检测方法
CN111275116A (zh) * 2020-01-20 2020-06-12 太原理工大学 基于三维卷积神经网络的乳腺肿瘤超声图像分类方法
CN112132917A (zh) * 2020-08-27 2020-12-25 盐城工学院 一种直肠癌淋巴结转移的智能诊断方法
CN112270666A (zh) * 2020-11-03 2021-01-26 辽宁工程技术大学 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN SZEGEDY 等: "Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning", Retrieved from the Internet <URL:https://arxiv.org/abs/1602.07261> *
SERGEY LOFFE 等: "Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift", pages 1 - 10, Retrieved from the Internet <URL:https://arxiv.org/abs/1502.03167> *

Similar Documents

Publication Publication Date Title
Rahane et al. Lung cancer detection using image processing and machine learning healthcare
CN107203999B (zh) 一种基于全卷积神经网络的皮肤镜图像自动分割方法
Omonigho et al. Breast cancer: tumor detection in mammogram images using modified alexnet deep convolution neural network
El-Shafai et al. Efficient Deep-Learning-Based Autoencoder Denoising Approach for Medical Image Diagnosis.
CN114581662B (zh) 一种脑肿瘤图像的分割方法、系统、装置及存储介质
Lamrani et al. Brain tumor detection using mri images and convolutional neural network
CN113379773B (zh) 基于双重注意力机制的分割模型建立、分割方法及装置
CN112150476A (zh) 基于时空判别性特征学习的冠状动脉序列血管分割方法
CN110956632A (zh) 钼靶图像中胸大肌区域自动检测方法及装置
Biswas et al. Chest X-ray enhancement to interpret pneumonia malformation based on fuzzy soft set and Dempster–Shafer theory of evidence
CN113034507A (zh) 基于ccta影像的冠状动脉三维分割方法
CN110570419A (zh) 特征信息的获取方法、装置和存储介质
Cao et al. A robust shape-aware rib fracture detection and segmentation framework with contrastive learning
CN117058307A (zh) 心脏三维核磁共振图像生成方法、系统、设备及储存介质
Agarwal et al. Weakly supervised lesion co-segmentation on CT scans
Mulani et al. Deep learning based detection of dermatological diseases using convolutional neural networks and decision trees
Luo et al. Tissue segmentation in nasopharyngeal ct images using two-stage learning
CN111339993A (zh) 一种x射线图像金属检测方法和系统
CN113627459A (zh) 一种基于Inception网络的直肠癌病理切片图像分类方法及装置
Guo et al. Thyroid nodule ultrasonic imaging segmentation based on a deep learning model and data augmentation
Khani Medical image segmentation using machine learning
Tu et al. Segmentation of lesion in dermoscopy images using dense-residual network with adversarial learning
CN114359308A (zh) 一种基于边缘响应与非线性损失的主动脉夹层分割方法
Wang et al. Deep learning framework for hemorrhagic stroke segmentation and detection
Yadav Retinal blood vessels detection for diabetic retinopathy with Ridgelet transform and convolution neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination