CN108427963B - 一种基于深度学习的黑色素瘤皮肤病的分类识别方法 - Google Patents

一种基于深度学习的黑色素瘤皮肤病的分类识别方法 Download PDF

Info

Publication number
CN108427963B
CN108427963B CN201810174573.4A CN201810174573A CN108427963B CN 108427963 B CN108427963 B CN 108427963B CN 201810174573 A CN201810174573 A CN 201810174573A CN 108427963 B CN108427963 B CN 108427963B
Authority
CN
China
Prior art keywords
skin diseases
network
classification
image
accuracy rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810174573.4A
Other languages
English (en)
Other versions
CN108427963A (zh
Inventor
胡海根
王海洋
苏一平
管秋
肖杰
陈胜勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810174573.4A priority Critical patent/CN108427963B/zh
Publication of CN108427963A publication Critical patent/CN108427963A/zh
Application granted granted Critical
Publication of CN108427963B publication Critical patent/CN108427963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于深度学习的黑色素瘤皮肤病的分类识别方法，将原始图像、采用类激活图剪切的图像、医生手工分割的病变区域二值掩膜图像分别进行数据预处理；采用图像分类网络，将它们最后一层进行联合，三种训练集图片分别输入这三个网络，图片正向输入网络，并通过反向传播最小化代价函数更新权值，求出对第一类非增值性损伤皮肤病分类效果最优组合；先采用联合网络1对第一类皮肤病单独分类，再使用联合网络2将剩余数据中的第二类皮肤病分类出来；剩余的就是恶性皮肤病，得到皮肤病分类准确率1；再得到皮肤病分类准确率2；得到皮肤病分类准确率3；将最高的准确率作为最终的结果。本发明有效提高黑色素瘤皮肤病分类识别率。

Description

一种基于深度学习的黑色素瘤皮肤病的分类识别方法
技术领域
本发明涉及一种新型的黑色素瘤皮肤病识别方法，该方法通过联合多种深度学习网络模型，旨在提高黑色素瘤皮肤病识别的正确率，具体来说是根据不同的深度网络模型对不同类别的皮肤病分类识别具有不同的效果，通过联合不同的网络模型采取二次分类步骤，并采用多种特征图来进一步提高黑色素瘤皮肤病分类识别率的方法。背景技术
黑色素瘤(melanoma，MM)，又称恶性黑色素瘤，是来源于黑色素细胞的一类恶性肿瘤，常见于皮肤，亦见于黏膜、眼脉络膜等部位。黑色素瘤是皮肤肿瘤中恶性程度最高的瘤种，容易出现远处转移，是致命的一种皮肤病，其病因和发病机制尚不明确。由于该病临床及病理类型较多，易与色素痣(nevus，NS)、脂溢性角化病(seborrheic keratosis，SK)等相混淆。并且部分色素痣与黑色素瘤发生发展也有一定关系，因此色素痣尤其获得性色素痣与黑素瘤难以鉴别，盲目活检和手术切除造成很多不必要的创伤，因此，寻求无创性从色素痣、脂溢性角化病等鉴别出黑色素瘤的方法具有重要的意义。
临床上，无创性的鉴别一般是皮肤科医生通过观察患者皮肤患病处的状况帮助进行诊断，而诊断的准确率完全有赖于经验的积累，但由于经验丰富的医生相对较为匮乏。随着计算机技术的快速发展，基于图像的诊断技术成为无创性视诊的重要替代方案。一些基于机器学习和计算机视觉技术的传统分类识别方法相继被提出来，但由于存在特征提取等诸多问题，效果不尽理想。深度学习是机器学习中一种基于对数据进行表征学习的方法，通过使用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征，在目标的检测、识别、分类等领域有着广泛的应用。然而传统的目标分类识别的策略大多数还是采用单一的深度学习网络，并采用单一特征的训练集进行微调神经网络模型，这种单一的模型和单一特征训练集用于黑色素瘤的分类存在两方面问题：
(1)黑色素瘤数据样本偏少
由于黑色素瘤皮肤疾病的数据收集非常困难，存在诸多约束、干扰以及涉及隐私等法律问题，因此公开的黑色素瘤皮肤病数据集的图片样本数量远不如ImageNet等公开数据集那么丰富。
(2)数据不均衡
黑色素瘤皮肤病中的数据比例严重失衡，例如，恶性皮肤病数据在不同年龄段、肤色、性别、国籍所占比例完全不同，而这一部分数据恰恰是前期诊断能有效治疗，后期诊断死亡率极高的一部分数据。
众所周知,深度神经网络需要大量的数据集进行充分的训练，数据的缺乏和不均衡导致神经网络对图像的分类识别的效果有限。同时，鉴于不同的深度学习模型对数据具有一定的依赖性，即：某种神经网络模型对不同种类的数据训练效果具有差异性，例如，某个网络可能对脂溢性角化病(seborrheic keratosis)的分类效果很好，但是对色素痣(nevus)分类效果却不好。
发明内容
为了克服已有黑色素瘤皮肤病的分类方式的样本偏少、数据不均衡导致的分类识别率较低的不足，本发明提供一种有效提高黑色素瘤皮肤病分类识别率的基于深度学习的黑色素瘤皮肤病的分类识别方法，通过联合不同的神经网络模型，以分阶段分类的过程，多种类型训练图片输入，从而让网络训练更充分，提高网络模型的分类准确率。
本发明解决其技术问题所采用的技术方案是：
一种基于深度学习的黑色素瘤皮肤病的分类识别方法，所述方法包括以下步骤：
步骤1：采用类激活图的方法，找到图像中对网络分类结果影响比较大的区域，并将该部分进行裁剪；
步骤2：将医生手动分割的病变区域的二值掩膜图像作为一种单独的训练数据；
步骤3：将原始图像、采用类激活图剪切的图像、医生手工分割的病变区域二值掩膜图像分别进行数据预处理；
步骤4：采用图像分类网络，将它们最后一层进行联合，步骤3中三种训练集图片分别输入这三个网络，图片正向输入网络，并通过反向传播最小化代价函数更新权值，求出对第一类非增值性损伤皮肤病分类效果最优组合，命名为联合网络1；
步骤5：同理求出对第二类良性但对健康有害的细胞增值和第三种恶性肿瘤网络最优组合方式，分别命名联合网络2、联合网络3；
步骤6：先采用联合网络1对第一类皮肤病单独分类，再使用联合网络2将剩余数据中的第二类皮肤病分类出来；剩余的就是恶性皮肤病，得到皮肤病分类准确率1；
步骤7：先采用联合网络2对第二类皮肤病单独分类，再使用联合网络1将剩余数据中的第一类皮肤病分类出来；剩余的就是恶性皮肤病，得到皮肤病分类准确率2；
步骤8：直接使用联合网络3对第三类恶性皮肤病分类，得到皮肤病分类准确率3；
步骤9：比较准确率1、准确率2、准确率3，将最高的准确率作为最终的结果。
进一步，所述步骤4和步骤5中，对于不同网络进行联合处理，要求每个网络最后的全连接层任取两个神经元，因此三个网络得到的六个神经元；将这六个神经元与两个输出节点全连接，将会得到12条连接，它们的初始权重任意选取。将原图、剪切后的类激活图、二值掩膜图分别输入不同的网络，进行前向传播得到网络预测的结果，该结果与图像的标签计算loss函数，根据该loss函数，进行反向传播重新优化权重。如此反复迭代，直至loss函数收敛到设定阈值。
所述步骤4中，所述图像分类网络为Inception-ResNet-v2、GoogLeNet和VGGNet神经网络。
本发明的有益效果主要表现在：通过联合不同的神经网络模型，以分阶段分类的过程，多种类型训练图片输入，从而让网络训练更充分，提高网络模型的分类准确率。
附图说明
图1为本发明的总流程图。
图2为本发明的类激活图产生过程。
图3为本发明的某一种网络联合示意图；
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图3，一种基于深度学习的黑色素瘤皮肤病的分类识别方法，采用联合网络训练数据的方法，是通过联合多个网络，以多网络训练数据代替传统的单一网络训练数据，从而更彻底地学习图像中特征信息。该多网络联合方法包括以下步骤：
步骤1：由于皮肤病图像中有大量的干扰信息，比如毛发、暗角、刻度比例等等，这些信息将严重干扰深度学习网络的训练，因此首先对皮肤病图像进行数据增强，采用类激活图的方法，找到图像中对网络分类结果影响比较大的区域，并将该部分进行剪切。剪切后的图像由于减少了大量的干扰信息，可以作为第一种训练神经网络数据。
步骤2：医生在判定皮肤病的时候，很大程度上依赖病变区域的形状比例。因此将医生手动分割的病变区域的二值掩膜图像作为第二种训练神经网络数据。
步骤3：由于类激活图和二值掩膜图减少了大量干扰信息，训练阶段效果很好，但是在测试阶段泛化性较差，因此将带有大量干扰信息的原图作第三种训练神经网络数据。
将原始图像、采用类激活图[1]法剪切的图像、医生手工分割的病变区域二值掩膜图像分别进行数据预处理，包括旋转、镜像、均值处理等。
步骤4：采用目前分类效果最好的Inception-ResNet-v2、GoogLeNet、VGGNet三种神经网络的不同组合方式进行联合。将第一种训练数据输入网络一，第二种训练数据输入网络二，第三种数据输入网络三。不同的种类数据输入不同类型的网络，根据排列组合可以得到27种组合方式，具体如表1：
Figure GDA0002609694990000061
Figure GDA0002609694990000071
Figure GDA0002609694990000081
表1
具体网络联合方式如图3所示：三种不同训练数据，输入三种不同的网络，这里假设都为Inception-ResNet-v2网络。下载已经在ImageNet数据集上预训练过得权重，对网络权重进行初始化。但在每一个网络的最后的全连接层任意取两个神经元节点，总共6个神经元节点。这6个神经元节点与二分类层的分类节点全连接，总共12个连接，并随机初始化这12连接的权重。三种不同的训练数据输入网络，并正向传播，最终得到分类结果，将分类结果与图片的标签相计算得到如下公式(2)所示Loss函数。通过该Loss函数，反向传播更新权重。如此不断迭代更新权重，直到loss函数小于预先设定的阈值。得到最终微调后的网络，并用该网络计算对测试数据分类的准确率。其中每一网络模型通过Xi＝(xi1,xi2),(i＝1,2)产生预测向量，联合模型最终的预测向量能通过如下公式(1)[3]计算：
Figure GDA0002609694990000082
Pk代表输入图片被预测为类别k的概率，ωijk是连接xij和Pk的权重，其中xij是指倒数第二层网络节点。因此联合模型的损失可以表示为如下公式(2)[3]：可以使用交叉熵函数作为loss函数
Figure GDA0002609694990000091
y∈{1,2}是输入的真实标签，其中的P＝(P1,P2)。联合模型中权重的改变，是与梯度如下成比例下降，如下公式(3)[3]表示：
Figure GDA0002609694990000092
η代表网络的学习率，当k＝y时候δky＝1,否则δky＝0。
步骤5：在27种不同网络组合中，求出对第一类皮肤病，即非增值性损伤分类效果最优组合，命名为联合网络1；同理求出对第二类良性但对健康有害的细胞增值和第三种恶性肿瘤网络最优组合方式，分别命名联合网络2、联合网络3；
步骤6：由于数据的不均衡性，不同的网络对不同类别皮肤病数据的训练效果是有偏差的，先采用对第一类皮肤病分类效果最好的联合网络1，将第一类皮肤病单独从测试集中分离出来，再使用对第二类皮肤病分类效果最好的联合网络2将剩余数据中的第二类皮肤病分类出来。剩余的就是恶性皮肤病，得到皮肤病分类准确率1。
步骤7：与第6步过程相似，先采用对第二类皮肤病分类效果最好的联合网络2对第二类皮肤病单独分类，再使用对第一类皮肤病分类效果最好的联合网络1将剩余数据中的第一类皮肤病分类出来。剩余的就是恶性皮肤病，得到皮肤病分类准确率2。
步骤8：直接使用对恶性皮肤病分类效果最好的联合网络3对第三类恶性皮肤病分类，得到准确率3.
步骤9：比较准确率1、准确率2、准确率3，得到的准确率最高的分类策略，将作为最终的分类策略。

Claims (2)

1.一种基于深度学习的黑色素瘤皮肤病的分类识别方法，其特征在于，所述方法包括以下步骤：
步骤1：采用类激活图的方法，找到图像中对网络分类结果影响比较大的区域，并将该部分进行裁剪；
步骤2：将医生手动分割的病变区域的二值掩膜图像作为一种单独的训练数据；
步骤3：将原始图像、采用类激活图剪切的图像、医生手工分割的病变区域二值掩膜图像分别进行数据预处理；
步骤4：采用图像分类网络，Inception-ResNet-v2、GoogLeNet、VGGNet三种神经网络的不同组合方式进行联合，将它们最后一层进行联合，步骤3中三种训练集图片分别单独输入其中一个神经网络，图片正向输入网络，并通过反向传播最小化代价函数更新权值，求出对第一类非增值性损伤皮肤病分类效果最优组合，命名为联合网络1；
步骤5：同理求出对第二类良性但对健康有害的细胞增值和第三种恶性肿瘤网络最优组合方式，分别命名联合网络2、联合网络3；
步骤6：先采用联合网络1对第一类皮肤病单独分类，再使用联合网络2将剩余数据中的第二类皮肤病分类出来；剩余的就是恶性皮肤病，得到皮肤病分类准确率1；
步骤7：先采用联合网络2对第二类皮肤病单独分类，再使用联合网络1将剩余数据中的第一类皮肤病分类出来；剩余的就是恶性皮肤病，得到皮肤病分类准确率2；
步骤8：直接使用联合网络3对第三类恶性皮肤病分类，得到皮肤病分类准确率3；
步骤9：比较准确率1、准确率2、准确率3，将最高的准确率作为最终的结果。
2.如权利要求1所述的一种基于深度学习的黑色素瘤皮肤病的分类识别方法，其特征在于，所述步骤4和步骤5中，对于不同网络进行联合处理，要求每个网络最后的全连接层任取两个神经元，因此三个网络得到的六个神经元；将这六个神经元与两个输出节点全连接，将会得到12条连接，它们的初始权重任意选取；将原图、剪切后的类激活图、二值掩膜图分别输入不同的网络，进行前向传播得到网络预测的结果，该结果与图像的标签计算loss函数，根据该loss函数，进行反向传播重新优化权重；如此反复迭代，直至loss函数收敛到设定阈值。
CN201810174573.4A 2018-03-02 2018-03-02 一种基于深度学习的黑色素瘤皮肤病的分类识别方法 Active CN108427963B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810174573.4A CN108427963B (zh) 2018-03-02 2018-03-02 一种基于深度学习的黑色素瘤皮肤病的分类识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810174573.4A CN108427963B (zh) 2018-03-02 2018-03-02 一种基于深度学习的黑色素瘤皮肤病的分类识别方法

Publications (2)

Publication Number Publication Date
CN108427963A CN108427963A (zh) 2018-08-21
CN108427963B true CN108427963B (zh) 2020-10-30

Family

ID=63157531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810174573.4A Active CN108427963B (zh) 2018-03-02 2018-03-02 一种基于深度学习的黑色素瘤皮肤病的分类识别方法

Country Status (1)

Country Link
CN (1) CN108427963B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242849A (zh) * 2018-09-26 2019-01-18 上海联影智能医疗科技有限公司 医学图像处理方法、装置、系统和存储介质
CN109493342B (zh) * 2018-12-13 2021-02-09 杭州电子科技大学 一种基于深度学习的皮肤病图片病变类型分类方法
CN112766379B (zh) * 2021-01-21 2023-06-20 中国科学技术大学 一种基于深度学习多权重损失函数的数据均衡方法
CN112801166B (zh) * 2021-01-25 2024-03-01 上海海事大学 一种基于特征数据及维度缩放的黑色素瘤分类方法
CN115115567A (zh) * 2021-03-22 2022-09-27 腾讯云计算（北京）有限责任公司 一种图像处理方法、装置、计算机设备及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138968A (zh) * 2015-08-05 2015-12-09 北京天诚盛业科技有限公司 人脸认证方法和装置
US9785919B2 (en) * 2015-12-10 2017-10-10 General Electric Company Automatic classification of aircraft component distress
US9971958B2 (en) * 2016-06-01 2018-05-15 Mitsubishi Electric Research Laboratories, Inc. Method and system for generating multimodal digital images
CN106096535B (zh) * 2016-06-07 2020-10-23 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于双线性联合cnn的人脸验证方法
CN107657204A (zh) * 2016-07-25 2018-02-02 中国科学院声学研究所 深层网络模型的构建方法及人脸表情识别方法和系统
CN106951825B (zh) * 2017-02-13 2021-06-29 苏州飞搜科技有限公司 一种人脸图像质量评估系统以及实现方法

Also Published As

Publication number Publication date
CN108427963A (zh) 2018-08-21

Similar Documents

Publication Publication Date Title
CN108427963B (zh) 一种基于深度学习的黑色素瘤皮肤病的分类识别方法
Wang et al. Breast cancer detection using extreme learning machine based on feature fusion with CNN deep features
Zhou et al. Unet++: Redesigning skip connections to exploit multiscale features in image segmentation
CN109376636B (zh) 基于胶囊网络的眼底视网膜图像分类方法
Xian et al. Automatic breast ultrasound image segmentation: A survey
CN107464250B (zh) 基于三维mri图像的乳腺肿瘤自动分割方法
CN109325942B (zh) 基于全卷积神经网络的眼底图像结构分割方法
CN109461495A (zh) 一种医学图像的识别方法、模型训练的方法及服务器
Li et al. A comprehensive review of Markov random field and conditional random field approaches in pathology image analysis
US20170249739A1 (en) Computer analysis of mammograms
Mukherjee et al. Lung nodule segmentation using deep learned prior based graph cut
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
Gessert et al. Deep transfer learning methods for colon cancer classification in confocal laser microscopy images
Vinayaki et al. Multithreshold image segmentation technique using remora optimization algorithm for diabetic retinopathy detection from fundus images
Bhuvaneswari et al. Classification and grading of diabetic retinopathy images using mixture of ensemble classifiers
CN111767952A (zh) 一种可解释的肺结节良恶性分类方法
CN113239755A (zh) 一种基于空谱融合深度学习的医学高光谱图像分类方法
Senthilkumaran et al. Brain image segmentation
Kumar et al. Brain tumor detection using convolutional neural network
Abdelhafeez et al. Skin Cancer Detection using Neutrosophic c-means and Fuzzy c-means Clustering Algorithms
Mousavi et al. Classification of dry age‐related macular degeneration and diabetic macular oedema from optical coherence tomography images using dictionary learning
Saravanan et al. Deep learning assisted convolutional auto-encoders framework for glaucoma detection and anterior visual pathway recognition from retinal fundus images
Hassan et al. A dilated residual hierarchically fashioned segmentation framework for extracting gleason tissues and grading prostate cancer from whole slide images
KR101118211B1 (ko) 점막하 종양의 초음파 내시경 영상 분석에 의한 질병의 진단 방법
KR102407248B1 (ko) 데이터 증대 및 이미지 분할을 활용한 딥러닝 기반 위 병변 분류시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant