CN109493342B - 一种基于深度学习的皮肤病图片病变类型分类方法 - Google Patents

一种基于深度学习的皮肤病图片病变类型分类方法 Download PDF

Info

Publication number
CN109493342B
CN109493342B CN201811524821.XA CN201811524821A CN109493342B CN 109493342 B CN109493342 B CN 109493342B CN 201811524821 A CN201811524821 A CN 201811524821A CN 109493342 B CN109493342 B CN 109493342B
Authority
CN
China
Prior art keywords
skin
model
picture
skin lesion
lesion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811524821.XA
Other languages
English (en)
Other versions
CN109493342A (zh
Inventor
方健男
端阳
孙玲玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201811524821.XA priority Critical patent/CN109493342B/zh
Publication of CN109493342A publication Critical patent/CN109493342A/zh
Application granted granted Critical
Publication of CN109493342B publication Critical patent/CN109493342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Abstract

本发明公开了一种基于深度学习的皮肤病图片病变类型分类方法，本方法在现有ResNet50和InceptionV3网络的基础上设计了一种专门针对皮肤病变图片分类的模型算法，该模型在使用相关病变图片进行训练、调优之后能够对包括黑色素瘤、痣、基底细胞癌、光化性角化病、良性角化病、皮肤纤维瘤和血管瘤在内的七种皮肤病变进行分类诊断。使用该方法在与训练数据不同的测试数据图片库上进行测试，最终能够达到92.48％的准确率和86.76％的召回率，超过医生平均的准确率。

Description

一种基于深度学习的皮肤病图片病变类型分类方法
技术领域
本发明涉及深度学习医学图像分类算法，尤其是一种基于深度学习的医学图像分类方法。
背景技术
现有的基于深度学习的皮肤病分类诊断主要是诊断是否存在皮肤病变，即判断获取的图像是否存在有皮肤癌变。例如，公告号为CN107909566A的中国发明专利，公开了“一种基于深度学习的皮肤癌黑色素瘤的图像识别方法”，其方法通过深度学习技术来对是否存在黑色素瘤进行诊断。此种仅对于是否存在癌症的方法过于简单，皮肤是否存在病变通过普通人的肉眼即刻观测出，而且当皮肤发生病变且不为黑色素瘤时该方法未必能够正确诊断。因此大大加大了误诊的可能性，同时分类诊断的准确率不高且不能够准确诊断出病变属于哪种疾病。
发明内容
为了解决现有技术中存在误诊、准确率过低且不能诊断出处于哪种病变等缺陷，本发明提出了一种基于深度学习的皮肤病图片病变类型分类方法，将针对皮肤病图片重新设计深度学习模型，并与皮肤病变图像扩增技术相结合，在能够对包括黑色素瘤、痣、基底细胞癌、光化性角化病、良性角化病、皮肤纤维瘤和血管瘤在内的七种皮肤病变进行分类诊断。并且超过人类专家诊断的真确率。
本发明所采用的技术方案是：一种基于深度学习的皮肤病图片病变类型分类方法，改方法包含以下技术步骤：
步骤1、获取不同的皮肤病变图片；对皮肤病变图片进行数据预处理，对不同尺寸的皮肤病变图片进行缩放至设置好的两个固定尺寸。
步骤2、皮肤病变图片数据扩增，对经过预处理的皮肤病变图片进行包括随机裁剪、随机翻转、随机旋转和随机形变在内的变换，所有的变换均有概率发生，即可能发生变换也可能不发生变换。数据扩增的目的在于在训练阶段可以防止模型的过拟合。
步骤3、将步骤2扩增后的数据输入到卷积神经网络；所述的卷积神经网络为改进了ResNet50、InceptionV3网络，保留ResNet50平均池化层和InceptionV3平均池化层之前的部分，并对两个改进后的网络的输出张量在深度的维度上进行拼接，然后送入到分类器中；所述的分类器包含两个全连接层，第一个全连接层用于整合之前的张量特征。第二个全连接层用于产生分类结果。
步骤4、针对数据样本分布不平衡的问题，采用损失函数加权的方式解决，损失函数的加权值为每一类样本出现频率的倒数。
步骤5、使用超大规模视觉图像挑战赛中的图片所训练的权重，通过该权重对卷积网络进行初始化，使用自然图片的权重初始化在一定程度上能够辅助模型进行训练，以收敛到一个相对较好的结果。
步骤6、将步骤2中采样出的样本通过模型的输入层送入模型，利用反向传播算法对模型进行优化训练；
步骤7、通过反向传播算法对模型权重进行训练。
步骤8、将模型训练后的权重保存，使用该权重对皮肤病变图片进行分类诊断。
本发明的有益效果是：
1)本发明提出一种自动化皮肤病变检测分类算法，可以辅助医生或者自主检测皮肤病变属于那种皮肤疾病。
2)本发明提出的基于深度学习的皮肤病变图片检测分类算法在划分出来的测试集上测试，测试结果显示算法诊断准确率超过人类医生的诊断准确率。
3)本发明提出一种针对于皮肤病变图片分类的模型训练方法，能够简单有效地训练出深度学习模型，且准确率较高。
附图说明
图1是本发明基于深度学习的皮肤病图片病变类型分类算法的流程示意图。
图2是皮肤病图片数据预处理及数据扩增方法示意图。
图3是本发明深度学习模型详细结构图。
具体实施方式
下面结合附图和具体实施对本发明作进一步说明。
用于实施的硬件环境是:Intel(R)Xeon(R)CPU E5-2630v4服务器，GPU为TeslaK80，软件运行环境是python2.7和Centos7。
在一个InceptionV3网络和一个ResNet50网络的基础上针对皮肤病图片特别设计卷积神经网络来完成对7种类别的皮肤病变分类。将
InceptionV3和ResNet50并联，分别用于提取不同尺寸的图片特征，将提取到的特征叠加在一起用于分类可以获得更加具有概括性的特征。最终提高分类的准确率。
如图1所示，本发明基于深度学习的皮肤病图片病变类型分类方法，包括皮肤病变图片数据预处理，皮肤病变图片数据扩增，针对皮肤病变图片的卷积神经网络分类器。
具体步骤如下：
a)对皮肤病变图像进行缩放，分别缩放至256*256和331*331分辨率；
b)如图2所示，使用包括随机裁剪、随机旋转、随机翻转和随机形变在内的皮肤病变图片数据扩增方法对数据进行扩增，以增大数据多样性，防止卷积神经网络模型过拟合提高分类器的泛化能力；
c)将扩增后的数据分别送入卷积神经网络模型的两个输入层，数据分别经过ResNet50和InceptionV3这两个基础模型产生两批相应的特征张量；
d)将得到的两批特征张量叠加在一起，通过全连接层进一步提取重要特征；
e)经过提取的特征通过分类器得到分类的输出概率，分别代表改数据为每一类别的概率值；
f)使用得到的概率值与数据的真实值相比较，计算出损失函数，并对损失函数加权；
g)结合损失函数得到的损失值，使用动量优化方法对卷积神经网络模型进行权重参数的调整，以减小损失值，同时也使得卷积神经网络模型的分类结果更加准确；
h)经过多个周期循环训练，损失函数的值收敛到一个较小值，保存卷积神经网络模型权重。
如图3所示，本发明设计构建的卷积神经网络模型有卷积层，池化层，平均池化层，残差模块和Inception模块、全连接层和分类器。卷积神经网络模型由一个基础的ResNet50模型和一个InceptionV3模型组成。最后通过一层全连接层提取特征，然后通过分类器做出分类。

Claims (1)

1.一种基于深度学习的皮肤病图片病变类型分类系统，其特征在于：
该系统先获取不同的皮肤病变图片；对皮肤病变图片进行数据预处理，预处理为将不同尺寸的皮肤病变图片进行缩放至设置好的两个固定尺寸；
该系统对皮肤病变图片数据扩增，对经过预处理的皮肤病变图片进行包括随机裁剪、随机翻转、随机旋转和随机形变在内的变换，所有的变换均有概率发生，即可能发生变换也可能不发生变换；
将扩增后的皮肤病变图像数据输入到卷积神经网络；所述的卷积神经网络为改进了ResNet50、InceptionV3网络，保留ResNet50平均池化层和InceptionV3平均池化层之前的部分，并对两个改进后的网络的输出张量在深度的维度上进行拼接，然后送入到分类器中；所述的分类器包含两个全连接层，第一个全连接层用于整合之前的张量特征；第二个全连接层用于产生分类结果；
该系统采用损失函数加权的方式解决数据样本分布不平衡的问题，损失函数的加权值为每一类样本出现频率的倒数；
使用超大规模视觉图像挑战赛中的图片所训练的权重，通过该权重对卷积网络进行初始化；
将扩增后的数据通过模型的输入层送入模型，利用反向传播算法对模型进行优化训练；
通过反向传播算法对模型权重进行训练；
将模型训练后的权重保存，使用该权重对皮肤病变图片进行分类。
CN201811524821.XA 2018-12-13 2018-12-13 一种基于深度学习的皮肤病图片病变类型分类方法 Active CN109493342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811524821.XA CN109493342B (zh) 2018-12-13 2018-12-13 一种基于深度学习的皮肤病图片病变类型分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811524821.XA CN109493342B (zh) 2018-12-13 2018-12-13 一种基于深度学习的皮肤病图片病变类型分类方法

Publications (2)

Publication Number Publication Date
CN109493342A CN109493342A (zh) 2019-03-19
CN109493342B true CN109493342B (zh) 2021-02-09

Family

ID=65710089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811524821.XA Active CN109493342B (zh) 2018-12-13 2018-12-13 一种基于深度学习的皮肤病图片病变类型分类方法

Country Status (1)

Country Link
CN (1) CN109493342B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084794B (zh) * 2019-04-22 2020-12-22 华南理工大学 一种基于注意力卷积神经网络的皮肤癌图片识别方法
CN114269231A (zh) * 2019-06-18 2022-04-01 数字诊断公司 使用一组机器学习诊断模型来确定基于患者肤色的诊断
CN110648318A (zh) * 2019-09-19 2020-01-03 泰康保险集团股份有限公司 用于皮肤病的辅助分析方法及装置、电子设备、存储介质
CN110782976B (zh) * 2019-10-17 2022-06-28 北京大学 一种全膝关节置换术假体型号预测方法
CN110991402A (zh) * 2019-12-19 2020-04-10 湘潭大学 一种基于深度学习的皮肤病分类装置及分类方法
CN111507414B (zh) * 2020-04-20 2022-02-08 安徽中科首脑智能医疗研究院有限公司 深度学习的皮肤病图片对比分类方法、存储介质和机器人
CN111739017A (zh) * 2020-07-22 2020-10-02 湖南国科智瞳科技有限公司 一种在样本不平衡条件下显微图像的细胞识别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909566A (zh) * 2017-10-28 2018-04-13 杭州电子科技大学 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法
CN108022647A (zh) * 2017-11-30 2018-05-11 东北大学 基于ResNet-Inception模型的肺结节良恶性预测方法
CN108427963A (zh) * 2018-03-02 2018-08-21 浙江工业大学 一种基于深度学习的黑色素瘤皮肤病的分类识别方法
CN108596273A (zh) * 2018-05-09 2018-09-28 合肥黎曼信息科技有限公司 一种皮肤病图像分类方法
CN108734138A (zh) * 2018-05-24 2018-11-02 浙江工业大学 一种基于集成学习的黑色素瘤皮肤病图像分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909566A (zh) * 2017-10-28 2018-04-13 杭州电子科技大学 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法
CN108022647A (zh) * 2017-11-30 2018-05-11 东北大学 基于ResNet-Inception模型的肺结节良恶性预测方法
CN108427963A (zh) * 2018-03-02 2018-08-21 浙江工业大学 一种基于深度学习的黑色素瘤皮肤病的分类识别方法
CN108596273A (zh) * 2018-05-09 2018-09-28 合肥黎曼信息科技有限公司 一种皮肤病图像分类方法
CN108734138A (zh) * 2018-05-24 2018-11-02 浙江工业大学 一种基于集成学习的黑色素瘤皮肤病图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度卷积神经网络的色素性皮肤病识别分类;何雪英 等;《计算机应用》;20181110;第38卷(第11期);第3236-3240页 *

Also Published As

Publication number Publication date
CN109493342A (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
CN109493342B (zh) 一种基于深度学习的皮肤病图片病变类型分类方法
CN108806792B (zh) 深度学习面诊系统
CN109376636B (zh) 基于胶囊网络的眼底视网膜图像分类方法
CN109886986B (zh) 一种基于多分支卷积神经网络的皮肤镜图像分割方法
Bilal et al. Diabetic retinopathy detection and classification using mixed models for a disease grading database
WO2020260936A1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
Tang et al. Cmu-net: a strong convmixer-based medical ultrasound image segmentation network
Hossain et al. Vision transformers, ensemble model, and transfer learning leveraging explainable AI for brain tumor detection and classification
CN110731773A (zh) 一种基于心电波形图全局与局部深度特征融合的异常心电图筛查方法
CN114120030A (zh) 基于注意力机制的医学图像处理方法及相关设备
Soundrapandiyan et al. AI-based wavelet and stacked deep learning architecture for detecting coronavirus (COVID-19) from chest X-ray images
Li et al. Cervical cell multi-classification algorithm using global context information and attention mechanism
Medi et al. Skinaid: A gan-based automatic skin lesion monitoring method for iomt frameworks
CN114418999B (zh) 基于病变关注金字塔卷积神经网络的视网膜病变检测系统
Mathina Kani et al. Classification of skin lesion images using modified Inception V3 model with transfer learning and augmentation techniques
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN112992304A (zh) 高分辨率红眼病案例数据生成方法、设备及存储介质
Bhuvaneshwari et al. An internet of health things-driven skin cancer classification using progressive cyclical convolutional neural network with ResNexT50 optimized by exponential particle swarm optimization
Wu et al. Mscan: Multi-scale channel attention for fundus retinal vessel segmentation
CN110969117A (zh) 一种基于Attention机制的全卷积神经网络的眼底图像分割方法
Ghanshala et al. Brain Tumor Detection Using U-Net and 3D CNN Architecture
Syam et al. Application of deep neural networks in the field of information security and healthcare
Kalita et al. Detection of COVID-19 using a deep neural network with transfer learning approach
Melo et al. Oct image synthesis through deep generative models
Naji et al. Skin Diseases Classification using Deep Convolutional Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant