CN108509991A - 基于卷积神经网络的肝部病理图像分类方法 - Google Patents

基于卷积神经网络的肝部病理图像分类方法 Download PDF

Info

Publication number
CN108509991A
CN108509991A CN201810271362.2A CN201810271362A CN108509991A CN 108509991 A CN108509991 A CN 108509991A CN 201810271362 A CN201810271362 A CN 201810271362A CN 108509991 A CN108509991 A CN 108509991A
Authority
CN
China
Prior art keywords
image
neural networks
convolutional neural
layers
liver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810271362.2A
Other languages
English (en)
Inventor
王国栋
于綦悦
张祥光
李洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao All Dimensional Medical Technology Co Ltd
Original Assignee
Qingdao All Dimensional Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao All Dimensional Medical Technology Co Ltd filed Critical Qingdao All Dimensional Medical Technology Co Ltd
Priority to CN201810271362.2A priority Critical patent/CN108509991A/zh
Publication of CN108509991A publication Critical patent/CN108509991A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic

Abstract

本发明提出一种基于卷积神经网络的肝部病理图像分类方法，该方法包括以下步骤：S0：收集图像并将图像缩放至预设像素形成图像集；S1：对图像集中的图像预处理，以使图像集中的数据增广；S2：建立卷积神经网络模型；S3：训练卷积神经网络模型，并求解卷积神经网络的权重；S4：输入待分类的肝部病理图像，该待分类的肝部病理图像与卷积神经网络模型中图像对比后得到分类结果。该发明不仅提高了识别率，且其分类实现了自动化，更省时省力。

Description

基于卷积神经网络的肝部病理图像分类方法
技术领域
本发明属于医学图像处理领域，尤其涉及一种基于卷积神经网络的肝部病理图像分类领域。
背景技术
卷积神经网络(Convolutional Neural Network)是近年发展起来，并引起广泛重视的一种人工神经网络结构。卷积神经网络具有良好的容错能力，并行处理能力以及自我学习能力，在语音识别，人脸识别方面有很好的成就。目前被应用最广泛的是在计算机的图像识别方面。
肝癌是一种发病率和死亡率都很高的恶性肿瘤，分为原发性和继发性两类，对人类的健康和生命有极大的危害。肝癌发生时，病变部分易转移，且转移速度较快，但在癌症初期，症状不明显。目前对肝癌的检测也有多种不同的方式，对于组织切片分类，传统的方法需要人工来进行，人为特征提取进行分类，此方法在很大程度上取决于特征的明显程度，效果较差，误差率较高。
发明内容
为了解决上述问题，本发明提供了一种基于卷积神经网络的肝部病理图像分类方法，该发明不仅提高了识别率，且其分类实现了自动化，更省时省力。
为了达到上述目的，本发明采用的技术方案为：
一种基于卷积神经网络的肝部病理图像分类方法，包括以下步骤：S0：收集图像并将图像缩放至预设像素形成图像集；S1：对图像集中的图像预处理，以使图像集中的数据增广；S2：建立卷积神经网络模型；S3：训练卷积神经网络模型，并求解卷积神经网络的权重；S4：输入待分类的肝部病理图像，该待分类的肝部病理图像与卷积神经网络模型中图像对比后得到分类结果。
作为本发明的进一步优化，在步骤S1中，具体包括：对图像集中的图像设置放缩因子，并随机选取图像在[0，40]之间随意转动角度；水平方向和竖直方向均在原基础上偏移0到20％；逆时针方向剪切变换原图像的20％；随机缩放的幅度为原图像的80％到120％；随机对图片执行水平翻转操作，当对图片进行平移、放缩、错切操作时，图片中缺失的地方用nearest方式补全；设置epoch和batch大小；不断地生成数据，支持数据提升，直到达到预设epoch次数为止。
作为本发明的进一步优化，在步骤S2中，具体为：建立19层卷积神经网络模型，其中该模型中前三层为卷积层，之后分别为最大池化层、卷积层、卷积层、最大池化层、11层混合层和全连接层。
作为本发明的进一步优化，在步骤S2中，具体为：全连接层包括flatten层，dense层，dropout层和dense层，其中，dropout层参数设置为0.5。
作为本发明的进一步优化，在步骤S2中，具体为：前三层卷积核都为[3，3]；输入深度分别为3，32，32；输出深度分别为32，32，64；Filter过滤数目是32，32，64；第一层的Filter的参数是3x 3x 3＝27个，第二层为3x 3x 32＝288个，第三层为3x 3x 32＝288个；最大池化层的池化是将3x 3的区域进行步长为2的max的下采样；中间两层卷积层的卷积核分别为[1，1][3，3]，输入深度为64，80，输出深度为80，192，Filter数目分别为64个和720个；11层混合层是3个连续的inception模块组，每个模块组包括多个inception模块，分别是3个，5个和3个；卷积层与全连接层之间设置flatten层用以过渡，把多维的输入一维化，添加一个输出维度为256的dense层，并添加激活函数relu，为输入数据施加dropout层，dropout层将在训练过程中每次更新参数时随机闭合50％神经元，最后再添加一个输出维度为4的dense层，加入分类函数softmax。
作为本发明的进一步优化，在步骤S3中，具体为：利用SGD随机梯度下降法的优化器对模型进行训练，学习率为10-4，动量参数为0.9。
与现有技术相比，本发明的优点和积极效果在于：本发明基于卷积神经网络的肝部病理图像分类方法，其通过建立卷积神经网络模型，实现了对待分类肝部细胞的自动化匹配识别并分类，相较于现有技术，不仅提高了识别率，更省时省力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a-图1d为本发明方法步骤S0图像集中的高分化肝细胞性肝癌图像；
图2a-图2d为本发明方法步骤S0图像集中的低分化肝细胞性肝癌图像；
图3a-图3d为本发明方法步骤S0图像集中的中分化肝细胞性肝癌图像；
图4a-图4d为本发明方法步骤S0图像集中的正常肝细胞性肝癌图像；
图5a为本发明方法步骤S4中高分化肝细胞性肝癌的验证图像；
图5b为本发明方法步骤S4中低分化肝细胞性肝癌的验证图像；
图5c为本发明方法步骤S4中中分化肝细胞性肝癌的验证图像；
图5d为本发明方法步骤S4中正常肝细胞性肝癌的验证图像。
具体实施方式
下面，通过示例性的实施方式对本发明进行具体描述。然而应当理解，在没有进一步叙述的情况下，一个实施方式中的元件、结构和特征也可以有益地结合到其他实施方式中。
本发明提供了一种基于卷积神经网络的肝部病理图像分类方法，该分类方法包括以下步骤：
S0：收集图像并将图像缩放至预设像素形成图像集；
如图1a-图4d中，该收集的图像可包括高分化肝细胞性肝癌图像、低分化肝细胞性肝癌图像、中分化肝细胞性肝癌图像以及正常肝细胞性肝癌图像，其中，图1a-图4d仅为举例性的示意，在此并不局限于该四种图示；
S1：对图像集中的图像预处理，以使图像集中的数据增广；
在该步骤中，具体包括：对图像集中的图像设置放缩因子，此处的放缩因子可选为1/255，把像素值放缩至0-1之间有利于后期建立模型的收敛；并随机选取图像在[0，40]之间随意转动角度；水平方向和竖直方向均在原基础上偏移0到20％；逆时针方向剪切变换原图像的20％；随机缩放的幅度为原图像的80％到120％；随机对图片执行水平翻转操作，当对图片进行平移、放缩、错切操作时，图片中缺失的地方用nearest方式补全；设置epoch和batch大小，如设置epoch大小为200，batch大小为16；不断地生成数据，支持数据提升，直到达到预设epoch次数为止。
S2：建立卷积神经网络模型；
在该步骤中，具体为：建立19层卷积神经网络模型，其中该模型中前三层为卷积层，之后分别为最大池化层、卷积层、卷积层、最大池化层、11层混合层和全连接层。其中，此处的全连接层包括flatten层，dense层，dropout层和dense层，其中，dropout层参数设置为0.5；在该19层卷积神经网络模型中，前三层卷积核都为[3，3]；输入深度分别为3，32，32；输出深度分别为32，32，64；Filter过滤数目是32，32，64；第一层的Filter的参数是3x 3x 3＝27个，第二层为3x 3x 32＝288个，第三层为3x 3x 32＝288个；最大池化层的池化是将3x 3的区域进行步长为2的max的下采样；中间两层卷积层的卷积核分别为[1，1][3，3]，输入深度为64，80，输出深度为80，192，Filter数目分别为64个和720个；11层混合层是3个连续的inception模块组，每个模块组包括多个inception模块，分别是3个，5个和3个；卷积层与全连接层之间设置flatten层用以过渡，把多维的输入一维化，添加一个输出维度为256的dense层，并添加激活函数relu，为输入数据施加dropout层，dropout层将在训练过程中每次更新参数时随机闭合50％神经元，最后再添加一个输出维度为4的dense层，加入分类函数softmax。
S3：训练卷积神经网络模型，并求解卷积神经网络的权重；
在该步骤中，具体为：利用SGD随机梯度下降法的优化器对模型进行训练，学习率为10-4，动量参数为0.9。
S4：输入待分类的肝部病理图像，该待分类的肝部病理图像与卷积神经网络模型中图像对比后得到分类结果。
如图5a-5d所示，在该四个图中，即是将待分类的肝部病理图像输入至模型中所得出的分类结果，通过验证可知，图5a的正确率为100.00％，图5b的正确率为99.99％，图5c的正确率为99.93％，图5d的正确率为100.00％。
通过本发明上述基于卷积神经网络的肝部病理图像分类方法，相较于现有技术，使用更方便，结果更精准，分辨率更高。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种基于卷积神经网络的肝部病理图像分类方法，其特征在于：包括以下步骤：
S0：收集图像并将图像缩放至预设像素形成图像集；
S1：对图像集中的图像预处理，以使图像集中的数据增广；
S2：建立卷积神经网络模型；
S3：训练卷积神经网络模型，并求解卷积神经网络的权重；
S4：输入待分类的肝部病理图像，该待分类的肝部病理图像与卷积神经网络模型中图像对比后得到分类结果。
2.根据权利要求1所述基于卷积神经网络的肝部病理图像分类方法，其特征在于：在步骤S1中，具体包括：对图像集中的图像设置放缩因子，并随机选取图像在[0，40]之间随意转动角度；水平方向和竖直方向均在原基础上偏移0到20％；逆时针方向剪切变换原图像的20％；随机缩放的幅度为原图像的80％到120％；随机对图片执行水平翻转操作，当对图片进行平移、放缩、错切操作时，图片中缺失的地方用nearest方式补全；设置epoch和batch大小；不断地生成数据，支持数据提升，直到达到预设epoch次数为止。
3.根据权利要求1或2所述基于卷积神经网络的肝部病理图像分类方法，其特征在于：在步骤S2中，具体为：建立19层卷积神经网络模型，其中该模型中前三层为卷积层，之后分别为最大池化层、卷积层、卷积层、最大池化层、11层混合层和全连接层。
4.根据权利要求3所述基于卷积神经网络的肝部病理图像分类方法，其特征在于：在步骤S2中，具体为：全连接层包括flatten层，dense层，dropout层和dense层，其中，dropout层参数设置为0.5。
5.根据权利要求4所述基于卷积神经网络的肝部病理图像分类方法，其特征在于：在步骤S2中，具体为：前三层卷积核都为[3，3]；输入深度分别为3，32，32；输出深度分别为32，32，64；Filter过滤数目是32，32，64；第一层的Filter的参数是3x3x3＝27个，第二层为3x3x32＝288个，第三层为3x3x32＝288个；最大池化层的池化是将3x3的区域进行步长为2的max的下采样；中间两层卷积层的卷积核分别为[1，1][3，3]，输入深度为64，80，输出深度为80，192，Filter数目分别为64个和720个；11层混合层是3个连续的inception模块组，每个模块组包括多个inception模块，分别是3个，5个和3个；卷积层与全连接层之间设置flatten层用以过渡，把多维的输入一维化，添加一个输出维度为256的dense层，并添加激活函数relu，为输入数据施加dropout层，dropout层将在训练过程中每次更新参数时随机闭合50％神经元，最后再添加一个输出维度为4的dense层，加入分类函数softmax。
6.根据权利要求1所述基于卷积神经网络的肝部病理图像分类方法，其特征在于：在步骤S3中，具体为：利用SGD随机梯度下降法的优化器对模型进行训练，学习率为10-4，动量参数为0.9。
CN201810271362.2A 2018-03-29 2018-03-29 基于卷积神经网络的肝部病理图像分类方法 Pending CN108509991A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810271362.2A CN108509991A (zh) 2018-03-29 2018-03-29 基于卷积神经网络的肝部病理图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810271362.2A CN108509991A (zh) 2018-03-29 2018-03-29 基于卷积神经网络的肝部病理图像分类方法

Publications (1)

Publication Number Publication Date
CN108509991A true CN108509991A (zh) 2018-09-07

Family

ID=63379342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810271362.2A Pending CN108509991A (zh) 2018-03-29 2018-03-29 基于卷积神经网络的肝部病理图像分类方法

Country Status (1)

Country Link
CN (1) CN108509991A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472262A (zh) * 2018-09-25 2019-03-15 平安科技（深圳）有限公司 车牌识别方法、装置、计算机设备及存储介质
CN109508680A (zh) * 2018-11-19 2019-03-22 东北大学 一种基于膜计算的病理学显微图像分类方法
CN109886922A (zh) * 2019-01-17 2019-06-14 丽水市中心医院 基于SE-DenseNet深度学习框架和多模态增强MR图像的肝细胞癌自动分级方法
CN110674488A (zh) * 2019-09-06 2020-01-10 深圳壹账通智能科技有限公司 基于神经网络的验证码识别方法、系统及计算机设备
CN110866893A (zh) * 2019-09-30 2020-03-06 中国科学院计算技术研究所 基于病理图像的tmb分类方法、系统及tmb分析装置
CN113052228A (zh) * 2021-03-22 2021-06-29 山西三友和智慧信息技术股份有限公司 一种基于SE-Inception的肝癌病理切片分类方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992177A (zh) * 2015-06-12 2015-10-21 安徽大学 基于深层卷积神经网络的网络色情图像检测方法
CN105160361A (zh) * 2015-09-30 2015-12-16 东软集团股份有限公司 一种图像识别方法及装置
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN106815596A (zh) * 2016-12-08 2017-06-09 中国银联股份有限公司 一种图像分类器建立方法及装置
CN107203809A (zh) * 2017-04-20 2017-09-26 华中科技大学 一种基于Keras的深度学习自动化调参方法及系统
CN107341518A (zh) * 2017-07-07 2017-11-10 东华理工大学 一种基于卷积神经网络的图像分类方法
CN107657285A (zh) * 2017-10-13 2018-02-02 哈尔滨工业大学 基于三维卷积神经网络的高光谱图像分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992177A (zh) * 2015-06-12 2015-10-21 安徽大学 基于深层卷积神经网络的网络色情图像检测方法
CN105160361A (zh) * 2015-09-30 2015-12-16 东软集团股份有限公司 一种图像识别方法及装置
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN106815596A (zh) * 2016-12-08 2017-06-09 中国银联股份有限公司 一种图像分类器建立方法及装置
CN107203809A (zh) * 2017-04-20 2017-09-26 华中科技大学 一种基于Keras的深度学习自动化调参方法及系统
CN107341518A (zh) * 2017-07-07 2017-11-10 东华理工大学 一种基于卷积神经网络的图像分类方法
CN107657285A (zh) * 2017-10-13 2018-02-02 哈尔滨工业大学 基于三维卷积神经网络的高光谱图像分类方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ANDRE ESTEVA 等: "Dermatologist-level classification of skin cancer with deep neural networks", 《NATURE》 *
CHRISTIAN SZEGEDY 等: "Rethinking the Inception Architecture for Computer Vision", 《ARXIV》 *
FRANCOIS CHOLLET: "Building powerful image classification models using very little data", 《HTTPS://BLOG.KERAS.IO/BUILDING-POWERFUL-IMAGE-CLASSIFICATION-MODELS-USING-VERY-LITTLE-DATA.HTML》 *
张野 等: "基于岩石图像深度学习的岩性自动识别与分类方法", 《岩石学报》 *
褚晶辉 等: "基于迁移学习和深度卷积神经网络的乳腺肿瘤诊断系统", 《激光与光电子学进展》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472262A (zh) * 2018-09-25 2019-03-15 平安科技（深圳）有限公司 车牌识别方法、装置、计算机设备及存储介质
CN109508680A (zh) * 2018-11-19 2019-03-22 东北大学 一种基于膜计算的病理学显微图像分类方法
CN109886922A (zh) * 2019-01-17 2019-06-14 丽水市中心医院 基于SE-DenseNet深度学习框架和多模态增强MR图像的肝细胞癌自动分级方法
CN109886922B (zh) * 2019-01-17 2023-08-18 丽水市中心医院 基于SE-DenseNet深度学习框架和增强MR图像的肝细胞癌自动分级方法
CN110674488A (zh) * 2019-09-06 2020-01-10 深圳壹账通智能科技有限公司 基于神经网络的验证码识别方法、系统及计算机设备
WO2021042895A1 (zh) * 2019-09-06 2021-03-11 深圳壹账通智能科技有限公司 基于神经网络的验证码识别方法、系统及计算机设备
CN110866893A (zh) * 2019-09-30 2020-03-06 中国科学院计算技术研究所 基于病理图像的tmb分类方法、系统及tmb分析装置
CN110866893B (zh) * 2019-09-30 2021-04-06 中国科学院计算技术研究所 基于病理图像的tmb分类方法、系统及tmb分析装置
WO2021062904A1 (zh) * 2019-09-30 2021-04-08 中国科学院计算技术研究所 基于病理图像的tmb分类方法、系统及tmb分析装置
US11468565B2 (en) 2019-09-30 2022-10-11 Institute Of Computing Technology, Chinese Academy Of Sciences TMB classification method and system and TMB analysis device based on pathological image
CN113052228A (zh) * 2021-03-22 2021-06-29 山西三友和智慧信息技术股份有限公司 一种基于SE-Inception的肝癌病理切片分类方法

Similar Documents

Publication Publication Date Title
CN108509991A (zh) 基于卷积神经网络的肝部病理图像分类方法
CN107273845B (zh) 一种基于置信区域和多特征加权融合的人脸表情识别方法
CN109670528B (zh) 面向行人重识别任务的基于成对样本随机遮挡策略的数据扩充方法
CN103605972B (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
CN109447977B (zh) 一种基于多光谱深度卷积神经网络的视觉缺陷检测方法
CN110210555A (zh) 基于深度学习的钢轨鱼鳞伤损检测方法
CN105138993A (zh) 建立人脸识别模型的方法及装置
CN105740912B (zh) 基于核范数正则化的低秩图像特征提取的识别方法及系统
CN107871101A (zh) 一种人脸检测方法及装置
CN108052884A (zh) 一种基于改进残差神经网络的手势识别方法
CN106056059B (zh) 多方向slgs特征描述及性能云加权融合的人脸识别方法
CN108960288B (zh) 基于卷积神经网络的三维模型分类方法及系统
CN101916369B (zh) 基于核最近子空间的人脸识别方法
CN109344856B (zh) 一种基于多层判别式特征学习的脱机签名鉴别方法
CN108734138A (zh) 一种基于集成学习的黑色素瘤皮肤病图像分类方法
CN110276402A (zh) 一种基于深度学习语义边界增强的盐体识别方法
CN109389171A (zh) 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法
CN109344888A (zh) 一种基于卷积神经网络的图像识别方法、装置及设备
CN106778526A (zh) 一种基于汉明距离的大规模高效人脸识别方法
CN109961093A (zh) 一种基于众智集成学习的图像分类方法
Tavallali et al. A systematic training procedure for viola-jones face detector in heterogeneous computing architecture
Benkaddour CNN based features extraction for age estimation and gender classification
CN107967461A (zh) Svm 差分模型训练及人脸验证方法、装置、终端及存储介质
CN107301643A (zh) 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法
CN105956570A (zh) 基于唇部特征和深度学习的笑脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180907

WD01 Invention patent application deemed withdrawn after publication