CN114998651A - 基于迁移学习的皮肤病变图像分类识别方法、系统及介质 - Google Patents
基于迁移学习的皮肤病变图像分类识别方法、系统及介质 Download PDFInfo
- Publication number
- CN114998651A CN114998651A CN202210552473.7A CN202210552473A CN114998651A CN 114998651 A CN114998651 A CN 114998651A CN 202210552473 A CN202210552473 A CN 202210552473A CN 114998651 A CN114998651 A CN 114998651A
- Authority
- CN
- China
- Prior art keywords
- skin lesion
- lesion image
- image
- images
- resnet50
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Databases & Information Systems (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Dermatology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请公开了一种基于迁移学习的皮肤病变图像分类识别方法、系统及介质。所述方法包括:获取ISIC2018皮肤病变图像数据;对皮肤病变图像进行预处理;通过采用过采样、欠采样和GAN对抗神经网络调整皮肤病变图像的类别平衡;训练ResNet50卷积网络,将训练集中的皮肤病变图像输入皮肤病变图像分类网络,结合训练热身学习策略和反向传播算法调整并优化训练过程,最终保存ResNet50卷积网络模型结构和权重,使用ResNet50卷积网络模型权重对皮肤病变图像进行分类;对ResNet50卷积网络模型进行验证。本申请解决相关技术中对皮肤病变图像分类存在缺乏高层关联语义特征,模型泛化能力一般的问题。
Description
技术领域
本申请涉及计算机深度学习医学图像分类领域,具体而言,涉及一种基于迁移学习的皮肤病变图像分类识别方法、系统及介质。
背景技术
皮肤病变发病率在过去30年中逐渐攀升,给人们的生命健康带来很大的威胁。皮肤病变种类繁多,通常分为黑色素瘤病变或者非黑色素瘤病变两大类,而非黑色素瘤相对于黑色素瘤有较高的发病率。黑色素瘤不是最常见的皮肤病,在众多皮肤病种类中占据比例不到1%,但其致死率却非常高,早期发现是治疗成功的关键。临床上诊断的黑色素瘤症状一般颜色较深,大多数表现为色素性病变并发生于皮肤表面,但也有少数颜色很浅的特例,与正常肤色比较接近,这种情况容易造成误诊。有研究学者总结了黑色素瘤诱因,主要包括几方面的因素:不规则形状痣较多、长时间受到紫外线的照射、遗传因素和不同肤色的人群、免疫力下降、个人病史和外部刺激和受到外部刺激等。
黑色素瘤具体症状往往可在皮肤表面发现色素性病变,因此可通过专家视诊的方式进行早期诊断,任务繁重,较为主观,但准确率较低,此时往往需要病理活检进一步辅助确定病情,该过程费时费力,耗费医疗资源。此外皮肤病种类繁多,颜色、外观又较为相似,皮肤科医生凭自身诊疗经验单从外观视诊,非常容易与黑色素细胞痣、基底细胞癌等病造成混淆。据统计中国皮肤科医生缺口已经达几十万,并且皮肤色素性病变类型较多,在没有专业知识指导下,无论是经验尚浅的医生还是患者很难做出初步识别诊断。因此针对皮肤病变图像分类方法的研究变得十分重要。
早期识别分类算法的流程主要是先对图像进行预处理(包括图像增强、分割、去噪等操作)、然后提取图像的形状、纹理等特征,对提取到的特征再进行特征筛选(选取最大相关特征、去除冗余特征)、最后训练模型分类器,比如Rahil等人提出使用不规则条纹特征来对黑色素瘤进行分类;Ballerini等人提出从皮肤损伤图像中提取颜色和纹理特征,然后基于K近邻模型进行分类;Alfed等人通过将颜色直方图和定向梯度直方图这两种特征相结合来对Bag of Words方法进行改进,以实现对黑色素瘤的诊断。这些早期研究使用浅层自定义特征(外形、颜色、纹理)进行图像分类,缺乏高层关联语义特征,模型泛化能力一般。近年来,随着人工智能AI技术的迅速发展,运用深度学习技术解决图像、语音、视频等领域问题已成为热点。例如AlexNet和GoogleNet在ILSVRC图像分类比赛中将分类错误率分别降低到了16.4%和6.7%,VGG和ResNet也都取得了较好效果。
综上所述现有技术对皮肤病变图像分类存在缺乏高层关联语义特征,模型泛化能力一般的问题。
发明内容
本申请的主要目的在于提供一种基于迁移学习的皮肤病变图像分类识别方法、系统及介质,以解决现有技术对皮肤病变图像分类存在缺乏高层关联语义特征,模型泛化能力一般的问题。
一种基于迁移学习的皮肤病变图像分类识别方法,所述方法包括:
1.一种基于迁移学习的皮肤病变图像分类识别方法,其特征在于,该方法包括以下步骤:
步骤一:获取ISIC2018皮肤病变图像数据,并分析皮肤病变图像的类别信息;
步骤二:对皮肤病变图像进行预处理,采用颜色校正技术调整皮肤病变图像的多源图像色差和采用灰阶算法对皮肤病变图像进行色彩恒常性校正,得到预处理之后的皮肤病变图像;
步骤三:通过采用过采样、欠采样和GAN对抗神经网络调整皮肤病变图像的类别平衡;再对皮肤病变图像进行像素调整,将皮肤病变图像像素调整为224x224像素;
同时将非重复的皮肤病变图像数据的20%分为测试集,剩余的非重复的皮肤病变图像数据以80:20的比例分为训练集和验证集;
步骤四:利用预训练ResNet50卷积网络中特征提取器与softmax分类器,结合微调策略构建皮肤病变图像分类网络;在ResNet50卷积网络训练前对超参数进行初始化设置;训练ResNet50卷积网络,将训练集中的皮肤病变图像输入皮肤病变图像分类网络,结合训练热身学习策略和反向传播算法调整并优化训练过程,最终保存ResNet50卷积网络模型结构和权重,使用ResNet50卷积网络模型权重对皮肤病变图像进行分类;
步骤五:对ResNet50卷积网络模型进行验证,在相同轮次条件下,采用失活、增强、类别加权、焦点失损和全局平均池化对ResNet50卷积网络模型进行迁移学习和微调,并在测试集上以精确率、召回率、F分值和准确率衡量指标进行测试验证性能有效性。
在上述技术方案的基础上,本发明还可以做如下改进:
进一步地,步骤一中获取ISIC2018皮肤病变图像数据,并分析皮肤病变图像的类别信息;
皮肤病变图像的类别包括基底细胞癌、光化性角质病、良性角化病、皮肤纤维瘤、黑色素瘤、黑色细胞痣和血管病变;其中基底细胞癌的图像为514张、光化性角质病的图像为327张、良性角化病的图像为1099张、皮肤纤维瘤的图像为115张、黑色素瘤的图像为1113张、黑色细胞痣的图像为6705张以及血管病变的图像为142张。
进一步地,步骤三中通过采用过采样、欠采样和GAN对抗神经网络调整皮肤病变图像的类别平衡;再对皮肤病变图像进行像素调整,将皮肤病变图像像素调整为224x224像素;
其中采用过采样对类别数量小的图像数据通过旋转、平移、翻转、缩放和随机擦除进行图像扩充;
采用下采样对类别数量大的图像数据采用随机选取部分图像方式;
采用GAN对抗神经网络即利用图像生成网络在图像训练过程中接收高斯随机噪声和逆采样,在不影响图像本身特征的前提下模仿和学习图像的特征属性,通过图像生成网络随机生成新的一幅图像。
进一步地,步骤三中同时将非重复的皮肤病变图像数据的20%分为测试集,剩余的非重复的皮肤病变图像数据以80:20的比例分为训练集和验证集;
测试集中有1494张图像、训练集中有6817张图像以及验证集中有1704张图像。
进一步地,步骤四中利用预训练ResNet50卷积网络中特征提取器与softmax分类器,结合微调策略构建皮肤病变图像分类网络;
使用全局平均池化代替平均池化,ResNet50卷积网络模型顶层替换为夹在两个全连接层之间的dropout层、类别加权策略和Focal loss函数。
进一步地,步骤四中在ResNet50卷积网络训练前对超参数进行初始化设置;
超参数包括类别数目、批尺寸大小、训练轮数、优化器、学习率、权重衰减因子和损失函数。
进一步地,步骤五中对ResNet50卷积网络模型进行验证,在相同轮次条件下,采用失活、增强、类别加权、焦点失损和全局平均池化对ResNet50卷积网络模型进行迁移学习和微调,并在测试集上以精确率、召回率、F分值和准确率衡量指标进行测试验证性能有效性;
对基底细胞癌、光化性角质病、良性角化病、皮肤纤维瘤、黑色素瘤、黑色细胞痣和血管病变七类皮肤病变图像识别精确率和平均值结果、召回率和平均值结果、F分值和平均值结果以及准确率和平均值结果。
进一步地,步骤五中对ResNet50卷积网络模型进行验证,在相同轮次条件下,采用失活、增强、类别加权、焦点失损和全局平均池化对ResNet50卷积网络模型进行迁移学习和微调,并在测试集上以精确率、召回率、F分值和准确率衡量指标进行测试验证性能有效性;
其中精确率、召回率、F分值和准确率作为评价指标,计算公式为:
上述公式(1)、(2)、(3)和(4)中的TP表示真阳性、TN真阴性、FP表示假阳性、FN表示假阴性。
一种基于迁移学习的皮肤病变图像分类识别系统,所述系统包括:
图像获取模块,用于获取ISIC2018皮肤病变图像数据,并分析皮肤病变图像的类别信息;
图像预处理模块,用于对皮肤病变图像进行预处理,采用颜色校正技术调整皮肤病变图像的多源图像色差和采用灰阶算法对皮肤病变图像进行色彩恒常性校正,得到预处理之后的皮肤病变图像;
图像增强模块,用于通过采用过采样、欠采样和GAN对抗神经网络调整皮肤病变图像的类别平衡;再对皮肤病变图像进行像素调整,将皮肤病变图像像素调整为224x224像素;
图像增强模块还用于将非重复的皮肤病变图像数据的20%分为测试集,剩余的非重复的皮肤病变图像数据以80:20的比例分为训练集和验证集;
网络模型训练模块,用于利用预训练ResNet50卷积网络中特征提取器与softmax分类器,结合微调策略构建皮肤病变图像分类网络;在ResNet50卷积网络训练前对超参数进行初始化设置;训练ResNet50卷积网络,将训练集中的皮肤病变图像输入皮肤病变图像分类网络,结合训练热身学习策略和反向传播算法调整并优化训练过程,最终保存ResNet50卷积网络模型结构和权重,使用ResNet50卷积网络模型权重对皮肤病变图像进行分类;
模型测试结果模块,用于对ResNet50卷积网络模型进行验证,在相同轮次条件下,采用失活、增强、类别加权、焦点失损和全局平均池化对ResNet50卷积网络模型进行迁移学习和微调,并在测试集上以精确率、召回率、F分值和准确率衡量指标进行测试验证性能有效性。
一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述方法的步骤。
本发明具有如下优点:
本申请通过获取ISIC2018皮肤病变图像数据,并分析皮肤病变图像的类别信息;对皮肤病变图像进行预处理,采用颜色校正技术调整皮肤病变图像的多源图像色差和采用灰阶算法对皮肤病变图像进行色彩恒常性校正,得到预处理之后的皮肤病变图像;通过采用过采样、欠采样和GAN对抗神经网络调整皮肤病变图像的类别平衡;再对皮肤病变图像进行像素调整,将皮肤病变图像像素调整为224x224像素;同时将非重复的皮肤病变图像数据的20%分为测试集,剩余的非重复的皮肤病变图像数据以80:20的比例分为训练集和验证集;利用预训练ResNet50卷积网络中特征提取器与softmax分类器,结合微调策略构建皮肤病变图像分类网络;在ResNet50卷积网络训练前对超参数进行初始化设置;训练ResNet50卷积网络,将训练集中的皮肤病变图像输入皮肤病变图像分类网络,结合训练热身学习策略和反向传播算法调整并优化训练过程,最终保存ResNet50卷积网络模型结构和权重,使用ResNet50卷积网络模型权重对皮肤病变图像进行分类;对ResNet50卷积网络模型进行验证,在相同轮次条件下,采用失活、增强、类别加权、焦点失损和全局平均池化对ResNet50卷积网络模型进行迁移学习和微调,并在测试集上以精确率、召回率、F分值和准确率衡量指标进行测试验证性能有效性。本发明解决了现有技术对皮肤病变图像分类存在缺乏高层关联语义特征,模型泛化能力一般的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于迁移学习的皮肤病变图像分类识别方法的流程图;
图2为本发明提供的各试验应用技术的示意图;
图3为本发明提供的各试验七类皮肤病变图像分类识别精确率及平均值结果的示意图;
图4为本发明提供的各试验七类皮肤病变图像分类识别召回率及平均值结果的示意图;
图5为本发明提供的各试验七类皮肤病变图像分类识别F分值及平均值结果的示意图;
图6为本发明提供的试验模型整体准确率结果、精确率结果、召回率结果和F分值结果的示意图;
图7为本发明提供的一种基于迁移学习的皮肤病变图像分类识别系统的系统架构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中,术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例,并非用于限定所指示的装置、元件或组成部分必须具有特定方位,或以特定方位进行构造和操作。
并且,上述部分术语除了可以用于表示方位或位置关系以外,还可能用于表示其他含义,例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言,可以根据具体情况理解这些术语在本申请中的具体含义。
另外,术语“多个”的含义应为两个以及两个以上。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
具体实施方式一:结合图1说明本实施方式,本实施方式的一种基于迁移学习的皮肤病变图像分类识别方法,包括:
步骤一:获取ISIC2018皮肤病变图像数据,并分析皮肤病变图像的类别信息;
步骤二:对皮肤病变图像进行预处理,采用颜色校正技术调整皮肤病变图像的多源图像色差和采用灰阶(Shades of Gray)算法对皮肤病变图像进行色彩恒常性校正,得到预处理之后的皮肤病变图像;
步骤三:通过采用过采样、欠采样和GAN对抗神经网络调整皮肤病变图像的类别平衡;再对皮肤病变图像进行像素调整,将皮肤病变图像像素调整为224x224像素;
同时将非重复的皮肤病变图像数据的20%分为测试集,剩余的非重复的皮肤病变图像数据以80:20的比例分为训练集和验证集;
步骤四:利用预训练ResNet50卷积网络中特征提取器与softmax分类器,结合微调策略构建皮肤病变图像分类网络;在ResNet50卷积网络训练前对超参数进行初始化设置;训练ResNet50卷积网络,将训练集中的皮肤病变图像输入皮肤病变图像分类网络,结合训练热身(Warm up)学习策略和反向传播算法调整并优化训练过程,最终保存ResNet50卷积网络模型结构和权重,使用ResNet50卷积网络模型权重对皮肤病变图像进行分类;
步骤五:对ResNet50卷积网络模型进行验证,在相同轮次条件下,采用失活、增强、类别加权、焦点失损和全局平均池化对ResNet50卷积网络模型进行迁移学习和微调,并在测试集上以精确率、召回率、F分值和准确率衡量指标进行测试验证性能有效性。
本实施方式本申请获取ISIC2018皮肤病变图像数据,并分析皮肤病变图像的类别信息;对皮肤病变图像进行预处理,采用颜色校正技术调整皮肤病变图像的多源图像色差和采用灰阶算法对皮肤病变图像进行色彩恒常性校正,得到预处理之后的皮肤病变图像;通过采用过采样、欠采样和GAN对抗神经网络调整皮肤病变图像的类别平衡;再对皮肤病变图像进行像素调整,将皮肤病变图像像素调整为224x224像素;同时将非重复的皮肤病变图像数据的20%分为测试集,剩余的非重复的皮肤病变图像数据以80:20的比例分为训练集和验证集;利用预训练ResNet50卷积网络中特征提取器与softmax分类器,结合微调策略构建皮肤病变图像分类网络;在ResNet50卷积网络训练前对超参数进行初始化设置;训练ResNet50卷积网络,将训练集中的皮肤病变图像输入皮肤病变图像分类网络,结合训练热身学习策略和反向传播算法调整并优化训练过程,最终保存ResNet50卷积网络模型结构和权重,使用ResNet50卷积网络模型权重对皮肤病变图像进行分类;对ResNet50卷积网络模型进行验证,在相同轮次条件下,采用失活、增强、类别加权、焦点失损和全局平均池化对ResNet50卷积网络模型进行迁移学习和微调,并在测试集上以精确率、召回率、F分值和准确率衡量指标进行测试验证性能有效性。本发明解决了现有技术对皮肤病变图像分类存在缺乏高层关联语义特征,模型泛化能力一般的问题。
本实施方式中训练热身(Warm up)学习策略是由于神经网络在刚开始训练的时候是非常不稳定的,因此刚开始的学习率应当设置得很低很低,这样可以保证网络能够具有良好的收敛性。但是较低的学习率会使得训练过程变得非常缓慢,因此这里会采用以较低学习率逐渐增大至较高学习率的方式实现网络训练的“热身”阶段。随着训练的进行学习率慢慢变大,到了一定程度,以设置的初始学习率进行训练,接着过了一些inter后,学习率再慢慢变小。学习率变化:上升——平稳——下降。
失活(dropout)是对具有深度结构的人工神经网络进行优化的方法,在学习过程中通过将隐含层的部分权重或输出随机归零。
本实施方式中迁移学习的优势主要有以下两点:
第一、在预训练预训练ResNet50卷积网络模型的基础上进行训练调优,可大幅度降低算力需求和缩短训练时间;
第二、当皮肤病变图像数据集较少时,也能训练出理想的效果。因此基于迁移学习的皮肤病变图像分类识别方法依靠强大的逐层学习能力对数据特征进行丰富提取和表示,完全适合于图像密集计算型学习任务,相较于传统机器学习技术而言,增强了特征学习能力,提高了模型精度。
本实施方式中的获取ISIC2018皮肤病变图像数据在图像宽高比、分辨率以及光照强度等方面均有所不同,并且都不是在标准拍摄条件下进行采集的,因此图像间色差较大,所有采用颜色校正技术和色彩恒常性校正。
优选实施例中,本实施方式步骤一中获取ISIC2018皮肤病变图像数据,并分析皮肤病变图像的类别信息;
皮肤病变图像的类别包括基底细胞癌、光化性角质病、良性角化病、皮肤纤维瘤、黑色素瘤、黑色细胞痣和血管病变;其中基底细胞癌的图像为514张、光化性角质病的图像为327张、良性角化病的图像为1099张、皮肤纤维瘤的图像为115张、黑色素瘤的图像为1113张、黑色细胞痣的图像为6705张以及血管病变的图像为142张。
本实施方式中下载获取ISIC2018皮肤病变图片数据,数据主要涉及基底细胞癌(BCC)、光化性角质病(AKIEC)、良性角化病(BKL)、皮肤纤维瘤(DF)、黑色素瘤(MEL)、黑色细胞痣(NV)、血管病变(VASC)七类疾病。数据集图像的分辨率为600x450像素。尽管数据集包含10015个皮肤病变图像,但通过分析图片数据发现仅有7470个不同的病变图片,其余图像是不同放大倍率或不同视角的重复图像,基底细胞癌(BCC)514张、光化性角质病(AKIEC)327张、良性角化病(BKL)1099张、皮肤纤维瘤(DF)115张、黑色素瘤(MEL)1113张、黑色细胞痣(NV)6705张、血管病变(VASC)142张。此外皮肤病变数据集极度不平衡,如最大类黑色细胞痣(NV)包含6705个图像,而最小类皮肤纤维瘤(DF)仅包含115张图片。
优选实施例中,本实施方式步骤三中通过采用过采样、欠采样和GAN对抗神经网络调整皮肤病变图像的类别平衡;再对皮肤病变图像进行像素调整,将皮肤病变图像像素调整为224x224像素;
其中采用过采样对类别数量小的图像数据通过旋转、平移、翻转、缩放和随机擦除进行图像扩充;
采用下采样对类别数量大的图像数据采用随机选取部分图像方式;
采用GAN对抗神经网络即利用图像生成网络在图像训练过程中接收高斯随机噪声和逆采样,在不影响图像本身特征的前提下模仿和学习图像的特征属性,通过图像生成网络随机生成新的一幅图像。
本实施方式中由于步骤一获取ISIC2018皮肤病变图像数据在图像宽高比、分辨率以及光照强度等方面均有所不同,并且都不是在标准拍摄条件下进行采集的,因此图像间色差较大。目前解决多源图像色差问题采用颜色校正技术,消除光照对颜色的影响。人的视觉系统在不同的光照条件下分辨事物的真实颜色的特性被称为色彩恒常性。Shades ofGray算法对图片进行色彩恒常性校正,算法优势在于不需要获取采集环境和采集设备的参数以及不需要额外的训练过程。该算法是基于灰度世界假设,即该假设认为对于一张色彩丰富的图片,R,G,B三个分量的平均值趋于同一灰度值。
本实施方式中采用过采样对皮肤纤维瘤(DF)的图像数据通过旋转、平移、翻转、缩放、随机擦除进行图像扩充;用下采样对黑色细胞痣(NV)的图像数据采用随机选取部分图像方式。
优选实施例中,本实施方式步骤三中同时将非重复的皮肤病变图像数据的20%分为测试集,剩余的非重复的皮肤病变图像数据以80:20的比例分为训练集和验证集;
测试集中有1494张图像、训练集中有6817张图像以及验证集中有1704张图像。
优选实施例中,本实施方式步骤四中利用预训练ResNet50卷积网络中特征提取器与softmax分类器,结合微调策略构建皮肤病变图像分类网络;
使用全局平均池化代替平均池化,ResNet50卷积网络模型顶层替换为夹在两个全连接层之间的dropout层、类别加权策略和Focal loss函数。
本实施方式中由于ResNet50卷积网络模型在ImageNet大规模视觉识别挑战赛(ILSVRC)上表现出优越的特征提取、标签分类等能力,泛化性能突出,所以特地选取该网络模型作为迁移学习骨干模型。利用迁移学习模型不仅可以减少预训练时间、节省计算资源,还能从局部微调模型进而达到网络快速收敛的目的。
优选实施例中,本实施方式步骤四中在ResNet50卷积网络训练前对超参数进行初始化设置;
超参数包括类别数目、批尺寸大小、训练轮数、优化器、学习率、权重衰减因子和损失函数。
本实施方式中在ResNet50卷积网络训练前对超参数进行初始化设置,之后训练ResNet50卷积网络,将待训练皮肤图片输入网络,结合Warm Up学习策略和反向传播算法调整并优化训练过程,最终保存模型结构及权重,从而使皮肤病变分类网络对待测试图片进行检测分类时,提高检测精度。
优选实施例中,本实施方式步骤五中对ResNet50卷积网络模型进行验证,在相同轮次条件下,采用失活、增强、类别加权、焦点失损和全局平均池化对ResNet50卷积网络模型进行迁移学习和微调,并在测试集上以精确率、召回率、F分值和准确率衡量指标进行测试验证性能有效性;
对基底细胞癌、光化性角质病、良性角化病、皮肤纤维瘤、黑色素瘤、黑色细胞痣和血管病变七类皮肤病变图像识别精确率和平均值结果、召回率和平均值结果、F分值和平均值结果以及准确率和平均值结果。
本实施方式是进一步验证利用迁移学习模型ResNet50解决皮肤病变分类识别中数据不平衡以及过拟合等突出问题,相同epoch(epoch=7)条件下,特地将dropout、augmentation、class weighted(CW)、focal loss(FC)和global average pooling(GAP)五种技术应用于ResNet50卷积网络模型进行迁移学习与微调,共涉及6类试验设置(见图2),最终验证上述技术在皮肤病变分类识别上预测测试集的有效性,具体包括七类图片识别精确率(Precision)及平均值(Average)结果(见图3)、召回率(Recall)及平均值(Average)结果(见图4)、F分值(F-score)及平均值(Average)结果(见图5)以及试验模型整体准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F分值(F-score)结果(见图6)。
优选实施例中,本实施方式步骤五中对ResNet50卷积网络模型进行验证,在相同轮次条件下,采用失活、增强、类别加权、焦点失损和全局平均池化对ResNet50卷积网络模型进行迁移学习和微调,并在测试集上以精确率、召回率、F分值和准确率衡量指标进行测试验证性能有效性;
其中精确率、召回率、F分值和准确率作为评价指标,计算公式为:
上述公式(1)、(2)、(3)和(4)中的TP表示真阳性、TN真阴性、表示假阳性、FN表示假阴性。
本实施方式中从图6可以看出综合应用失活(dropout)、增强(augmentation)、类别加权(class weighted)、焦点失损(focal loss)和全局平均池(global averagepooling)五种技术训练所得模型在整体性能上达到最优,即准确率(Accuracy)为90%、精确率(Precision)为81%、召回率(Recall)为80%和F分值(F-score)为80%。
本实施方式中TP被模型预测为正类的正样本;TN被模型预测为负类的负样本;FP被模型预测为正类的负样本;FN被模型预测为负类的正样本。
具体实施方式二:结合图7说明本实施方式,本实施方式的一种基于迁移学习的皮肤病变图像分类识别系统,包括:
图像获取模块10,用于获取ISIC2018皮肤病变图像数据,并分析皮肤病变图像的类别信息;
图像预处理模块20,用于对皮肤病变图像进行预处理,采用颜色校正技术调整皮肤病变图像的多源图像色差和采用灰阶算法对皮肤病变图像进行色彩恒常性校正,得到预处理之后的皮肤病变图像;
图像增强模块30,用于通过采用过采样、欠采样和GAN对抗神经网络调整皮肤病变图像的类别平衡;再对皮肤病变图像进行像素调整,将皮肤病变图像像素调整为224x224像素;
图像增强模块30还用于将非重复的皮肤病变图像数据的20%分为测试集,剩余的非重复的皮肤病变图像数据以80:20的比例分为训练集和验证集;
网络模型训练模块40,用于利用预训练ResNet50卷积网络中特征提取器与softmax分类器,结合微调策略构建皮肤病变图像分类网络;在ResNet50卷积网络训练前对超参数进行初始化设置;训练ResNet50卷积网络,将训练集中的皮肤病变图像输入皮肤病变图像分类网络,结合训练热身学习策略和反向传播算法调整并优化训练过程,最终保存ResNet50卷积网络模型结构和权重,使用ResNet50卷积网络模型权重对皮肤病变图像进行分类;
模型测试结果模块50,用于对ResNet50卷积网络模型进行验证,在相同轮次条件下,采用失活、增强、类别加权、焦点失损和全局平均池化对ResNet50卷积网络模型进行迁移学习和微调,并在测试集上以精确率、召回率、F分值和准确率衡量指标进行测试验证性能有效性。
本实施方式本申请获取ISIC2018皮肤病变图像数据,并分析皮肤病变图像的类别信息;对皮肤病变图像进行预处理,采用颜色校正技术调整皮肤病变图像的多源图像色差和采用灰阶算法对皮肤病变图像进行色彩恒常性校正,得到预处理之后的皮肤病变图像;通过采用过采样、欠采样和GAN对抗神经网络调整皮肤病变图像的类别平衡;再对皮肤病变图像进行像素调整,将皮肤病变图像像素调整为224x224像素;同时将非重复的皮肤病变图像数据的20%分为测试集,剩余的非重复的皮肤病变图像数据以80:20的比例分为训练集和验证集;利用预训练ResNet50卷积网络中特征提取器与softmax分类器,结合微调策略构建皮肤病变图像分类网络;在ResNet50卷积网络训练前对超参数进行初始化设置;训练ResNet50卷积网络,将训练集中的皮肤病变图像输入皮肤病变图像分类网络,结合训练热身学习策略和反向传播算法调整并优化训练过程,最终保存ResNet50卷积网络模型结构和权重,使用ResNet50卷积网络模型权重对皮肤病变图像进行分类;对ResNet50卷积网络模型进行验证,在相同轮次条件下,采用失活、增强、类别加权、焦点失损和全局平均池化对ResNet50卷积网络模型进行迁移学习和微调,并在测试集上以精确率、召回率、F分值和准确率衡量指标进行测试验证性能有效性。本发明解决了现有技术对皮肤病变图像分类存在缺乏高层关联语义特征,模型泛化能力一般的问题。
本实施方式中迁移学习的优势主要有以下两点:
第一、在预训练预训练ResNet50卷积网络模型的基础上进行训练调优,可大幅度降低算力需求和缩短训练时间;
第二、当皮肤病变图像数据集较少时,也能训练出理想的效果。因此基于迁移学习的皮肤病变图像分类识别系统依靠强大的逐层学习能力对数据特征进行丰富提取和表示,完全适合于图像密集计算型学习任务,相较于传统机器学习技术而言,增强了特征学习能力,提高了模型精度。
本实施方式中的获取ISIC2018皮肤病变图像数据在图像宽高比、分辨率以及光照强度等方面均有所不同,并且都不是在标准拍摄条件下进行采集的,因此图像间色差较大,所有采用颜色校正技术和色彩恒常性校正。
具体实施方式三:本实施方式的一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现所述的方法的步骤。
本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,本领域技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (10)
1.一种基于迁移学习的皮肤病变图像分类识别方法,其特征在于,该方法包括以下步骤:
步骤一:获取ISIC2018皮肤病变图像数据,并分析皮肤病变图像的类别信息;
步骤二:对皮肤病变图像进行预处理,采用颜色校正技术调整皮肤病变图像的多源图像色差和采用灰阶算法对皮肤病变图像进行色彩恒常性校正,得到预处理之后的皮肤病变图像;
步骤三:通过采用过采样、欠采样和GAN对抗神经网络调整皮肤病变图像的类别平衡;再对皮肤病变图像进行像素调整,将皮肤病变图像像素调整为224x224像素;
同时将非重复的皮肤病变图像数据的20%分为测试集,剩余的非重复的皮肤病变图像数据以80:20的比例分为训练集和验证集;
步骤四:利用预训练ResNet50卷积网络中特征提取器与softmax分类器,结合微调策略构建皮肤病变图像分类网络;在ResNet50卷积网络训练前对超参数进行初始化设置;训练ResNet50卷积网络,将训练集中的皮肤病变图像输入皮肤病变图像分类网络,结合训练热身学习策略和反向传播算法调整并优化训练过程,最终保存ResNet50卷积网络模型结构和权重,使用ResNet50卷积网络模型权重对皮肤病变图像进行分类;
步骤五:对ResNet50卷积网络模型进行验证,在相同轮次条件下,采用失活、增强、类别加权、焦点失损和全局平均池化对ResNet50卷积网络模型进行迁移学习和微调,并在测试集上以精确率、召回率、F分值和准确率衡量指标进行测试验证性能有效性。
2.如权利要求1所述的基于迁移学习的皮肤病变图像分类识别方法,其特征在于,步骤一中获取ISIC2018皮肤病变图像数据,并分析皮肤病变图像的类别信息;
皮肤病变图像的类别包括基底细胞癌、光化性角质病、良性角化病、皮肤纤维瘤、黑色素瘤、黑色细胞痣和血管病变;其中基底细胞癌的图像为514张、光化性角质病的图像为327张、良性角化病的图像为1099张、皮肤纤维瘤的图像为115张、黑色素瘤的图像为1113张、黑色细胞痣的图像为6705张以及血管病变的图像为142张。
3.如权利要求1所述的基于迁移学习的皮肤病变图像分类识别方法,其特征在于,步骤三中通过采用过采样、欠采样和GAN对抗神经网络调整皮肤病变图像的类别平衡;再对皮肤病变图像进行像素调整,将皮肤病变图像像素调整为224x224像素;
其中采用过采样对类别数量小的图像数据通过旋转、平移、翻转、缩放和随机擦除进行图像扩充;
采用下采样对类别数量大的图像数据采用随机选取部分图像方式;
采用GAN对抗神经网络即利用图像生成网络在图像训练过程中接收高斯随机噪声和逆采样,在不影响图像本身特征的前提下模仿和学习图像的特征属性,通过图像生成网络随机生成新的一幅图像。
4.如权利要求1所述的基于迁移学习的皮肤病变图像分类识别方法,其特征在于,步骤三中同时将非重复的皮肤病变图像数据的20%分为测试集,剩余的非重复的皮肤病变图像数据以80:20的比例分为训练集和验证集;
测试集中有1494张图像、训练集中有6817张图像以及验证集中有1704张图像。
5.如权利要求1所述的基于迁移学习的皮肤病变图像分类识别方法,其特征在于,步骤四中利用预训练ResNet50卷积网络中特征提取器与softmax分类器,结合微调策略构建皮肤病变图像分类网络;
使用全局平均池化代替平均池化,ResNet50卷积网络模型顶层替换为夹在两个全连接层之间的dropout层、类别加权策略和Focal loss函数。
6.如权利要求1所述的基于迁移学习的皮肤病变图像分类识别方法,其特征在于,步骤四中在ResNet50卷积网络训练前对超参数进行初始化设置;
超参数包括类别数目、批尺寸大小、训练轮数、优化器、学习率、权重衰减因子和损失函数。
7.如权利要求1所述的基于迁移学习的皮肤病变图像分类识别方法,其特征在于,步骤五中对ResNet50卷积网络模型进行验证,在相同轮次条件下,采用失活、增强、类别加权、焦点失损和全局平均池化对ResNet50卷积网络模型进行迁移学习和微调,并在测试集上以精确率、召回率、F分值和准确率衡量指标进行测试验证性能有效性;
对基底细胞癌、光化性角质病、良性角化病、皮肤纤维瘤、黑色素瘤、黑色细胞痣和血管病变七类皮肤病变图像识别精确率和平均值结果、召回率和平均值结果、F分值和平均值结果以及准确率和平均值结果。
9.一种基于迁移学习的皮肤病变图像分类识别系统,其特征在于,所述系统包括:
图像获取模块,用于获取ISIC2018皮肤病变图像数据,并分析皮肤病变图像的类别信息;
图像预处理模块,用于对皮肤病变图像进行预处理,采用颜色校正技术调整皮肤病变图像的多源图像色差和采用灰阶算法对皮肤病变图像进行色彩恒常性校正,得到预处理之后的皮肤病变图像;
图像增强模块,用于通过采用过采样、欠采样和GAN对抗神经网络调整皮肤病变图像的类别平衡;再对皮肤病变图像进行像素调整,将皮肤病变图像像素调整为224x224像素;
图像增强模块还用于将非重复的皮肤病变图像数据的20%分为测试集,剩余的非重复的皮肤病变图像数据以80:20的比例分为训练集和验证集;
网络模型训练模块,用于利用预训练ResNet50卷积网络中特征提取器与softmax分类器,结合微调策略构建皮肤病变图像分类网络;在ResNet50卷积网络训练前对超参数进行初始化设置;训练ResNet50卷积网络,将训练集中的皮肤病变图像输入皮肤病变图像分类网络,结合训练热身学习策略和反向传播算法调整并优化训练过程,最终保存ResNet50卷积网络模型结构和权重,使用ResNet50卷积网络模型权重对皮肤病变图像进行分类;
模型测试结果模块,用于对ResNet50卷积网络模型进行验证,在相同轮次条件下,采用失活、增强、类别加权、焦点失损和全局平均池化对ResNet50卷积网络模型进行迁移学习和微调,并在测试集上以精确率、召回率、F分值和准确率衡量指标进行测试验证性能有效性。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8中的任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210552473.7A CN114998651A (zh) | 2022-05-18 | 2022-05-18 | 基于迁移学习的皮肤病变图像分类识别方法、系统及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210552473.7A CN114998651A (zh) | 2022-05-18 | 2022-05-18 | 基于迁移学习的皮肤病变图像分类识别方法、系统及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114998651A true CN114998651A (zh) | 2022-09-02 |
Family
ID=83027470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210552473.7A Pending CN114998651A (zh) | 2022-05-18 | 2022-05-18 | 基于迁移学习的皮肤病变图像分类识别方法、系统及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114998651A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115953631A (zh) * | 2023-01-30 | 2023-04-11 | 南开大学 | 基于深度迁移学习的长尾小样本声纳图像分类方法及系统 |
CN116129199A (zh) * | 2023-04-13 | 2023-05-16 | 西南石油大学 | 一种可解释性的皮肤癌分类方法、装置、介质及设备 |
CN117392121A (zh) * | 2023-12-07 | 2024-01-12 | 西安鼎福十方网络智能科技有限公司 | 一种基于图像识别的经皮给药治疗控制方法及系统 |
CN117788957A (zh) * | 2024-02-23 | 2024-03-29 | 广东电网有限责任公司 | 一种基于深度学习的资质图像分类方法及系统 |
-
2022
- 2022-05-18 CN CN202210552473.7A patent/CN114998651A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115953631A (zh) * | 2023-01-30 | 2023-04-11 | 南开大学 | 基于深度迁移学习的长尾小样本声纳图像分类方法及系统 |
CN115953631B (zh) * | 2023-01-30 | 2023-09-15 | 南开大学 | 基于深度迁移学习的长尾小样本声纳图像分类方法及系统 |
CN116129199A (zh) * | 2023-04-13 | 2023-05-16 | 西南石油大学 | 一种可解释性的皮肤癌分类方法、装置、介质及设备 |
CN117392121A (zh) * | 2023-12-07 | 2024-01-12 | 西安鼎福十方网络智能科技有限公司 | 一种基于图像识别的经皮给药治疗控制方法及系统 |
CN117392121B (zh) * | 2023-12-07 | 2024-03-08 | 西安鼎福十方网络智能科技有限公司 | 一种基于图像识别的经皮给药治疗控制方法及系统 |
CN117788957A (zh) * | 2024-02-23 | 2024-03-29 | 广东电网有限责任公司 | 一种基于深度学习的资质图像分类方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Automatic detection of diabetic retinopathy in retinal fundus photographs based on deep learning algorithm | |
Jaworek-Korjakowska et al. | Melanoma thickness prediction based on convolutional neural network with VGG-19 model transfer learning | |
CN109376636B (zh) | 基于胶囊网络的眼底视网膜图像分类方法 | |
CN108806792B (zh) | 深度学习面诊系统 | |
CN114998651A (zh) | 基于迁移学习的皮肤病变图像分类识别方法、系统及介质 | |
Alghamdi et al. | Automatic optic disc abnormality detection in fundus images: A deep learning approach | |
CN109543526B (zh) | 基于深度差异性特征的真假面瘫识别系统 | |
CN109345538A (zh) | 一种基于卷积神经网络的视网膜血管分割方法 | |
CN109308692B (zh) | 基于改进Resnet与SVR混合模型的OCT图像质量评价方法 | |
CN112465905A (zh) | 基于深度学习的磁共振成像数据的特征脑区定位方法 | |
CN111259895B (zh) | 一种基于面部血流分布的情感分类方法及系统 | |
Afolabi et al. | The use of U-Net lite and Extreme Gradient Boost (XGB) for glaucoma detection | |
Sharma et al. | Machine learning approach for detection of diabetic retinopathy with improved pre-processing | |
Yang et al. | Classification of diabetic retinopathy severity based on GCA attention mechanism | |
Singh et al. | Collaboration of features optimization techniques for the effective diagnosis of glaucoma in retinal fundus images | |
CN113343755A (zh) | 红细胞图像中的红细胞分类系统及方法 | |
Zeng et al. | Automated detection of diabetic retinopathy using a binocular siamese-like convolutional network | |
CN113662560A (zh) | 发作间期痫样放电的检测方法、存储介质和设备 | |
CN111046978A (zh) | 一种基于StyleGANs和决策融合的皮肤镜图像识别方法 | |
CN113796877A (zh) | 脑卒中预测值获取方法、装置及存储介质 | |
CN113420793A (zh) | 一种基于改进的卷积神经网络ResNeSt50的胃印戒细胞癌分类方法 | |
Sun et al. | Detection of breast tumour tissue regions in histopathological images using convolutional neural networks | |
CN113940635A (zh) | 基于深度残差金字塔的皮肤病变分割与特征提取方法 | |
CN114004821A (zh) | 一种基于级联rcnn的肠神经节细胞辅助识别方法 | |
Wu et al. | Mscan: Multi-scale channel attention for fundus retinal vessel segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |