CN109493342A - 一种基于深度学习的皮肤病图片病变类型分类方法 - Google Patents

一种基于深度学习的皮肤病图片病变类型分类方法 Download PDF

Info

Publication number
CN109493342A
CN109493342A CN201811524821.XA CN201811524821A CN109493342A CN 109493342 A CN109493342 A CN 109493342A CN 201811524821 A CN201811524821 A CN 201811524821A CN 109493342 A CN109493342 A CN 109493342A
Authority
CN
China
Prior art keywords
picture
cutaneous lesions
weight
deep learning
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811524821.XA
Other languages
English (en)
Other versions
CN109493342B (zh
Inventor
方健男
端阳
孙玲玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201811524821.XA priority Critical patent/CN109493342B/zh
Publication of CN109493342A publication Critical patent/CN109493342A/zh
Application granted granted Critical
Publication of CN109493342B publication Critical patent/CN109493342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal

Abstract

本发明公开了一种基于深度学习的皮肤病图片病变类型分类方法,本方法在现有ResNet50和InceptionV3网络的基础上设计了一种专门针对皮肤病变图片分类的模型算法,该模型在使用相关病变图片进行训练、调优之后能够对包括黑色素瘤、痣、基底细胞癌、光化性角化病、良性角化病、皮肤纤维瘤和血管瘤在内的七种皮肤病变进行分类诊断。使用该方法在与训练数据不同的测试数据图片库上进行测试,最终能够达到92.48%的准确率和86.76%的召回率,超过医生平均的准确率。

Description

一种基于深度学习的皮肤病图片病变类型分类方法
技术领域
本发明涉及深度学习医学图像分类算法,尤其是一种基于深度学习的医学图像分类方法。
背景技术
现有的基于深度学习的皮肤病分类诊断主要是诊断是否存在皮肤病变,即判断获取的图像是否存在有皮肤癌变。例如,公告号为CN107909566A的中国发明专利,公开了“一种基于深度学习的皮肤癌黑色素瘤的图像识别方法”,其方法通过深度学习技术来对是否存在黑色素瘤进行诊断。此种仅对于是否存在癌症的方法过于简单,皮肤是否存在病变通过普通人的肉眼即刻观测出,而且当皮肤发生病变且不为黑色素瘤时该方法未必能够正确诊断。因此大大加大了误诊的可能性,同时分类诊断的准确率不高且不能够准确诊断出病变属于哪种疾病。
发明内容
为了解决现有技术中存在误诊、准确率过低且不能诊断出处于哪种病变等缺陷,本发明提出了一种基于深度学习的皮肤病图片病变类型分类方法,将针对皮肤病图片重新设计深度学习模型,并与皮肤病变图像扩增技术相结合,在能够对包括黑色素瘤、痣、基底细胞癌、光化性角化病、良性角化病、皮肤纤维瘤和血管瘤在内的七种皮肤病变进行分类诊断。并且超过人类专家诊断的真确率。
本发明所采用的技术方案是:一种基于深度学习的皮肤病图片病变类型分类方法,改方法包含以下技术步骤:
步骤1、获取不同的皮肤病变图片;对皮肤病变图片进行数据预处理,对不同尺寸的皮肤病变图片进行缩放至设置好的两个固定尺寸。
步骤2、皮肤病变图片数据扩增,对经过预处理的皮肤病变图片进行包括随机裁剪、随机翻转、随机旋转和随机形变在内的变换,所有的变换均有概率发生,即可能发生变换也可能不发生变换。数据扩增的目的在于在训练阶段可以防止模型的过拟合。
步骤3、将步骤2扩增后的数据输入到卷积神经网络;所述的卷积神经网络为改进了ResNet50、InceptionV3网络,保留ResNet50平均池化层和InceptionV3平均池化层之前的部分,并对两个改进后的网络的输出张量在深度的维度上进行拼接,然后送入到分类器中;所述的分类器包含两个全连接层,第一个全连接层用于整合之前的张量特征。第二个全连接层用于产生分类结果。
步骤4、针对数据样本分布不平衡的问题,采用损失函数加权的方式解决,损失函数的加权值为每一类样本出现频率的倒数。
步骤5、使用超大规模视觉图像挑战赛中的图片所训练的权重,通过该权重对卷积网络进行初始化,使用自然图片的权重初始化在一定程度上能够辅助模型进行训练,以收敛到一个相对较好的结果。
步骤6、将步骤2中采样出的样本通过模型的输入层送入模型,利用反向传播算法对模型进行优化训练;
步骤7、通过反向传播算法对模型权重进行训练。
步骤8、将模型训练后的权重保存,使用该权重对皮肤病变图片进行分类诊断。
本发明的有益效果是:
1)本发明提出一种自动化皮肤病变检测分类算法,可以辅助医生或者自主检测皮肤病变属于那种皮肤疾病。
2)本发明提出的基于深度学习的皮肤病变图片检测分类算法在划分出来的测试集上测试,测试结果显示算法诊断准确率超过人类医生的诊断准确率。
3)本发明提出一种针对于皮肤病变图片分类的模型训练方法,能够简单有效地训练出深度学习模型,且准确率较高。
附图说明
图1是本发明基于深度学习的皮肤病图片病变类型分类算法的流程示意图。
图2是皮肤病图片数据预处理及数据扩增方法示意图。
图3是本发明深度学习模型详细结构图。
具体实施方式
下面结合附图和具体实施对本发明作进一步说明。
用于实施的硬件环境是:Intel(R)Xeon(R)CPU E5-2630v4服务器,GPU为TeslaK80,软件运行环境是python2.7和Centos7。
在一个InceptionV3网络和一个ResNet50网络的基础上针对皮肤病图片特别设计卷积神经网络来完成对7种类别的皮肤病变分类。将
InceptionV3和ResNet50并联,分别用于提取不同尺寸的图片特征,将提取到的特征叠加在一起用于分类可以获得更加具有概括性的特征。最终提高分类的准确率。
如图1所示,本发明基于深度学习的皮肤病图片病变类型分类方法,包括皮肤病变图片数据预处理,皮肤病变图片数据扩增,针对皮肤病变图片的卷积神经网络分类器。
具体步骤如下:
a)对皮肤病变图像进行缩放,分别缩放至256*256和331*331分辨率;
b)如图2所示,使用包括随机裁剪、随机旋转、随机翻转和随机形变在内的皮肤病变图片数据扩增方法对数据进行扩增,以增大数据多样性,防止卷积神经网络模型过拟合提高分类器的泛化能力;
c)将扩增后的数据分别送入卷积神经网络模型的两个输入层,数据分别经过ResNet50和InceptionV3这两个基础模型产生两批相应的特征张量;
d)将得到的两批特征张量叠加在一起,通过全连接层进一步提取重要特征;
e)经过提取的特征通过分类器得到分类的输出概率,分别代表改数据为每一类别的概率值;
f)使用得到的概率值与数据的真实值相比较,计算出损失函数,并对损失函数加权;
g)结合损失函数得到的损失值,使用动量优化方法对卷积神经网络模型进行权重参数的调整,以减小损失值,同时也使得卷积神经网络模型的分类结果更加准确;
h)经过多个周期循环训练,损失函数的值收敛到一个较小值,保存卷积神经网络模型权重。
如图3所示,本发明设计构建的卷积神经网络模型有卷积层,池化层,平均池化层,残差模块和Inception模块、全连接层和分类器。卷积神经网络模型由一个基础的ResNet50模型和一个InceptionV3模型组成。最后通过一层全连接层提取特征,然后通过分类器做出分类。

Claims (1)

1.一种基于深度学习的皮肤病图片病变类型分类方法,其特征在于,该方法具体包括以下步骤:
步骤1、获取不同的皮肤病变图片;对皮肤病变图片进行数据预处理,对不同尺寸的皮肤病变图片进行缩放至设置好的两个固定尺寸;
步骤2、皮肤病变图片数据扩增,对经过预处理的皮肤病变图片进行包括随机裁剪、随机翻转、随机旋转和随机形变在内的变换,所有的变换均有概率发生,即可能发生变换也可能不发生变换;
步骤3、将步骤2扩增后的数据输入到卷积神经网络;所述的卷积神经网络为改进了ResNet50、InceptionV3网络,保留ResNet50平均池化层和InceptionV3平均池化层之前的部分,并对两个改进后的网络的输出张量在深度的维度上进行拼接,然后送入到分类器中;所述的分类器包含两个全连接层,第一个全连接层用于整合之前的张量特征;第二个全连接层用于产生分类结果;
步骤4、针对数据样本分布不平衡的问题,采用损失函数加权的方式解决,损失函数的加权值为每一类样本出现频率的倒数;
步骤5、使用超大规模视觉图像挑战赛中的图片所训练的权重,通过该权重对卷积网络进行初始化;
步骤6、将步骤2中采样出的样本通过模型的输入层送入模型,利用反向传播算法对模型进行优化训练;
步骤7、通过反向传播算法对模型权重进行训练;
步骤8、将模型训练后的权重保存,使用该权重对皮肤病变图片进行分类诊断。
CN201811524821.XA 2018-12-13 2018-12-13 一种基于深度学习的皮肤病图片病变类型分类方法 Active CN109493342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811524821.XA CN109493342B (zh) 2018-12-13 2018-12-13 一种基于深度学习的皮肤病图片病变类型分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811524821.XA CN109493342B (zh) 2018-12-13 2018-12-13 一种基于深度学习的皮肤病图片病变类型分类方法

Publications (2)

Publication Number Publication Date
CN109493342A true CN109493342A (zh) 2019-03-19
CN109493342B CN109493342B (zh) 2021-02-09

Family

ID=65710089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811524821.XA Active CN109493342B (zh) 2018-12-13 2018-12-13 一种基于深度学习的皮肤病图片病变类型分类方法

Country Status (1)

Country Link
CN (1) CN109493342B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084794A (zh) * 2019-04-22 2019-08-02 华南理工大学 一种基于注意力卷积神经网络的皮肤癌图片识别方法
CN110648318A (zh) * 2019-09-19 2020-01-03 泰康保险集团股份有限公司 用于皮肤病的辅助分析方法及装置、电子设备、存储介质
CN110782976A (zh) * 2019-10-17 2020-02-11 北京大学 一种全膝关节置换术假体型号预测方法
CN110991402A (zh) * 2019-12-19 2020-04-10 湘潭大学 一种基于深度学习的皮肤病分类装置及分类方法
CN111507414A (zh) * 2020-04-20 2020-08-07 安徽中科首脑智能医疗研究院有限公司 深度学习的皮肤病图片对比分类方法、存储介质和机器人
CN111739017A (zh) * 2020-07-22 2020-10-02 湖南国科智瞳科技有限公司 一种在样本不平衡条件下显微图像的细胞识别方法及系统
CN114269231A (zh) * 2019-06-18 2022-04-01 数字诊断公司 使用一组机器学习诊断模型来确定基于患者肤色的诊断

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909566A (zh) * 2017-10-28 2018-04-13 杭州电子科技大学 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法
CN108022647A (zh) * 2017-11-30 2018-05-11 东北大学 基于ResNet-Inception模型的肺结节良恶性预测方法
CN108427963A (zh) * 2018-03-02 2018-08-21 浙江工业大学 一种基于深度学习的黑色素瘤皮肤病的分类识别方法
CN108596273A (zh) * 2018-05-09 2018-09-28 合肥黎曼信息科技有限公司 一种皮肤病图像分类方法
CN108734138A (zh) * 2018-05-24 2018-11-02 浙江工业大学 一种基于集成学习的黑色素瘤皮肤病图像分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909566A (zh) * 2017-10-28 2018-04-13 杭州电子科技大学 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法
CN108022647A (zh) * 2017-11-30 2018-05-11 东北大学 基于ResNet-Inception模型的肺结节良恶性预测方法
CN108427963A (zh) * 2018-03-02 2018-08-21 浙江工业大学 一种基于深度学习的黑色素瘤皮肤病的分类识别方法
CN108596273A (zh) * 2018-05-09 2018-09-28 合肥黎曼信息科技有限公司 一种皮肤病图像分类方法
CN108734138A (zh) * 2018-05-24 2018-11-02 浙江工业大学 一种基于集成学习的黑色素瘤皮肤病图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何雪英 等: "基于深度卷积神经网络的色素性皮肤病识别分类", 《计算机应用》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084794A (zh) * 2019-04-22 2019-08-02 华南理工大学 一种基于注意力卷积神经网络的皮肤癌图片识别方法
CN114269231A (zh) * 2019-06-18 2022-04-01 数字诊断公司 使用一组机器学习诊断模型来确定基于患者肤色的诊断
CN110648318A (zh) * 2019-09-19 2020-01-03 泰康保险集团股份有限公司 用于皮肤病的辅助分析方法及装置、电子设备、存储介质
CN110782976A (zh) * 2019-10-17 2020-02-11 北京大学 一种全膝关节置换术假体型号预测方法
CN110782976B (zh) * 2019-10-17 2022-06-28 北京大学 一种全膝关节置换术假体型号预测方法
CN110991402A (zh) * 2019-12-19 2020-04-10 湘潭大学 一种基于深度学习的皮肤病分类装置及分类方法
CN111507414A (zh) * 2020-04-20 2020-08-07 安徽中科首脑智能医疗研究院有限公司 深度学习的皮肤病图片对比分类方法、存储介质和机器人
CN111507414B (zh) * 2020-04-20 2022-02-08 安徽中科首脑智能医疗研究院有限公司 深度学习的皮肤病图片对比分类方法、存储介质和机器人
CN111739017A (zh) * 2020-07-22 2020-10-02 湖南国科智瞳科技有限公司 一种在样本不平衡条件下显微图像的细胞识别方法及系统

Also Published As

Publication number Publication date
CN109493342B (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN109493342A (zh) 一种基于深度学习的皮肤病图片病变类型分类方法
CN109376636B (zh) 基于胶囊网络的眼底视网膜图像分类方法
Bilal et al. Diabetic retinopathy detection and classification using mixed models for a disease grading database
Tingting et al. Three‐stage network for age estimation
CN107578060B (zh) 一种基于可判别区域的深度神经网络用于菜品图像分类的方法
CN112132817B (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
Guo et al. Channel attention residual u-net for retinal vessel segmentation
CN108806792A (zh) 深度学习面诊系统
CN104281835B (zh) 基于局部敏感的核稀疏表示的人脸识别方法
CN108734138A (zh) 一种基于集成学习的黑色素瘤皮肤病图像分类方法
CN111954250B (zh) 一种轻量级Wi-Fi行为感知方法和系统
CN108985200A (zh) 一种基于终端设备的非配合式的活体检测算法
CN112052772A (zh) 一种人脸遮挡检测算法
Li et al. Multi-focus image fusion algorithm based on supervised learning for fully convolutional neural network
Kim et al. Sensitivity and specificity of computer vision classification of eyelid photographs for programmatic trachoma assessment
Luo et al. Research on data augmentation for object detection based on X-ray security inspection picture
Niu et al. Automatic localization of optic disc based on deep learning in fundus images
Du et al. Densely connected U‐Net retinal vessel segmentation algorithm based on multi‐scale feature convolution extraction
Chen et al. Intelligent monitoring method of water quality based on image processing and RVFL‐GMDH model
Cheriguene et al. New computer aided diagnosis system for glaucoma disease based on twin support vector machine
Peng et al. Blood vessels segmentation by using cdnet
CN110415816A (zh) 一种基于迁移学习的皮肤病临床图像多分类方法
El-Khamy et al. Neural network face recognition using statistical feature extraction
Cetindag et al. Transfer Learning Methods for Using Textural Features in Histopathological Image Classification
Nasir et al. A faster RCNN based diabetic retinopathy detection method using fused features from retina images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant