CN111046978A - 一种基于StyleGANs和决策融合的皮肤镜图像识别方法 - Google Patents

一种基于StyleGANs和决策融合的皮肤镜图像识别方法 Download PDF

Info

Publication number
CN111046978A
CN111046978A CN202010042230.XA CN202010042230A CN111046978A CN 111046978 A CN111046978 A CN 111046978A CN 202010042230 A CN202010042230 A CN 202010042230A CN 111046978 A CN111046978 A CN 111046978A
Authority
CN
China
Prior art keywords
convolutional neural
stylegans
neural networks
array
voting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010042230.XA
Other languages
English (en)
Inventor
龚安
姚鑫杰
唐永红
李华昱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202010042230.XA priority Critical patent/CN111046978A/zh
Publication of CN111046978A publication Critical patent/CN111046978A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/259—Fusion by voting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于StyleGANs和决策融合的皮肤镜图像识别方法。首先利用StyleGANs进行数据增强，再用若干预训练卷积神经网络对图像进行特征学习；然后将若干个卷积神经网络放入到若干个块中，计算每一个块中卷积神经网络的softmax平均值数组，选数组中最大值进行投票。最后将若干个块的投票结果汇总，选投票结果最大值作为分类预测的结果。本发明充分考虑了多种皮肤镜图像情况下，类内差异大和类间差异小，及其数据集不足且分布不均的因素，可以较为精确的进行皮肤镜图像的识别。

Description

一种基于StyleGANs和决策融合的皮肤镜图像识别方法
技术领域
本发明涉及一种皮肤镜图像识别方法，尤其涉及一种基于StyleGANs和决策融合的皮肤镜图像识别方法。
背景技术
皮肤是人体最大的器官，同时也是人体的第一道防线，具有保护、分泌、排泄、调节体温等作用。随着生活方式、环境的变化，各种皮肤病影响着人类的正常生活。皮肤病是人类最常见的疾病之一，其中的黑色素瘤皮肤癌是世界上速度增长最快和最致命的癌症之一。早期诊断对于其治疗非常重要，皮肤癌如发现较早，及时进行治疗，疗效和预后较好。
为了协助医生进行诊断，临床上引入皮肤镜检测来改善皮肤细胞疾病的诊断效果，但皮肤镜图像本身的复杂性如组内变异、组间相似性和皮损边界模糊等问题给检测提出了巨大的挑战。此外，医生由于技术水平、临床治疗经验的不同，可能会造成对皮肤镜图像观察结果有所不同，使得人类的主观判断能力有一定的局限性。因此，医生借助计算机视觉等图像处理技术对患者进行诊治已经逐渐成为了医学领域发展的一个重要研究方向。
由于皮肤镜图像的类内差异大和类间差异小，所以大多时候人工提取特征的效果并不理想。此外，这些基于人工提取特征的方法大多数操作较为复杂，导致临床实践中适用性不高，泛化能力不足等问题。随着研究的发展，以卷积神经网络为代表的深度学习技术在自然图像和医学图像分析领域都取得了不错的效果，但是卷积神经网络需要大量且均衡的数据集进行训练，并且单独的卷积神经网络在解决多问题上存在瓶颈，在准确率、灵敏度和特异度等仍有很大的提升空间。故要想精确识别皮肤镜图像具有一定的挑战性。
针对上述问题，迫切需要发明提供一种基于StyleGANs和决策融合的皮肤镜图像识别方法。本发明针对皮肤镜图像复杂的背景环境，利用StyleGANs对数据集进行增强，再采用预训练卷积神经网络对关键特征进行学习，最后利用构建好的框架进行分类，从而达到对皮肤镜图像识别的目的。
发明内容
针对皮肤镜图像，类内差异大和类间差异小，各种干扰因素多的问题，本发明研制一种基于StyleGANs和决策融合的皮肤镜图像识别方法。
本发明其特征在于,包括以下步骤：
(1)从经过预处理的图库中构建训练数据集；
(2)利用StyleGANs对数据集进行增强；
(3)利用多个预训练卷积神经网络进行特征学习；
(4)将多个卷积神经网络放到块中，计算出softmax平均值数组，选数组中最大值进行投票；
(5)将测试集放入构建好的框架进行分类。
所述StyleGANs是自动地、无监督地分离高级属性和生成图像中的随机变化，并且能够直观地、按特定尺度地控制图像合成。通过生成多样化和高质量的皮肤镜图像增强数据集；
所述预训练卷积神经网络是从基于ImageNet训练的卷积神经网络，例如：AlexNet、DenseNet、ResNet等；
所述框架是将若干个卷积神经网络放入到若干个块中，计算每一个块中卷积神经网络的softmax平均值数组，选数组中最大值进行投票，将若干个块的投票结果汇总，选投票结果最大值作为分类预测的结果。
附图说明
图1是基于StyleGANs和决策融合的皮肤镜图像识别方法的流程图；
图2是块内流程图；
图3是StyleGANs生成的图像；
具体实施方式
下面结合附图说明本发明的实施方式。
1、图像预处理
在数据集中选出21701张作为训练集，再选出3830张作为测试集。然后将图像处理为统一大小。这里为了得到适合卷积神经网络输入的图像，统一将图像大小设置为672*672。为了得到更多的图像信息，这里图像依然为彩色，无需灰度化。
2、数据增强
在这里选择用StyleGANs。首先将StyleGANs在训练集上进行训练，然后通过StyleGANs进行图像生成，这样就可以得到若干逼真的新样本，从中挑选出清晰且不变形的图像加入到训练集，将得到更为大量且均衡的训练集，生成的图像如图3所示。
3、特征学习
通过对ImageNet上训练出来的模型(如AlexNet，DenseNet，ResNet)进行微调，然后应用到我们自己的数据集上，最后将卷积神经网络的最后一层即全连接层的输出维度改为皮肤镜图像类别的数量8。这样通过训练卷积神经网络可以进行特征学习。
4、构建框架
将若干个卷积神经网络放入到若干个块中，计算每一个块中卷积神经网络的softmax平均值数组，选数组中最大值进行投票，块内流程图如图2所示。将若干个块的投票结果汇总，选投票结果最大值作为分类预测的结果，框架流程图如图1所示。
5、测试结果
将测试集通过构建好的框架进行识别分类。

Claims (2)

1.一种基于StyleGANs和决策融合的皮肤镜图像识别方法，其特征在于，包括以下步骤：
(1)从经过预处理的图库中构建训练数据集；
(2)利用StyleGANs对数据集进行增强；
(3)利用多个预训练卷积神经网络进行特征学习；
(4)将多个卷积神经网络放到块中，计算出softmax平均值数组，选数组中最大值进行投票；
(5)将测试集放入构建好的框架进行分类。
2.根据权利要求1所述的一种基于StyleGANs和决策融合的皮肤镜图像识别方法。其特征在于所述StyleGANs是自动地、无监督地分离高级属性和生成图像中的随机变化，并且能够直观地、按特定尺度地控制图像合成。通过生成多样化和高质量的皮肤镜图像增强数据集；
所述预训练卷积神经网络是从基于ImageNet训练的卷积神经网络，例如：AlexNet，DenseNet，ResNet等；
所述框架是将若干个卷积神经网络放入到若干个块中，计算每一个块中卷积神经网络的softmax平均值数组，选数组中最大值进行投票，将若干个块的投票结果汇总，选投票结果最大值作为分类预测的结果。
CN202010042230.XA 2020-01-15 2020-01-15 一种基于StyleGANs和决策融合的皮肤镜图像识别方法 Pending CN111046978A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010042230.XA CN111046978A (zh) 2020-01-15 2020-01-15 一种基于StyleGANs和决策融合的皮肤镜图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010042230.XA CN111046978A (zh) 2020-01-15 2020-01-15 一种基于StyleGANs和决策融合的皮肤镜图像识别方法

Publications (1)

Publication Number Publication Date
CN111046978A true CN111046978A (zh) 2020-04-21

Family

ID=70244618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010042230.XA Pending CN111046978A (zh) 2020-01-15 2020-01-15 一种基于StyleGANs和决策融合的皮肤镜图像识别方法

Country Status (1)

Country Link
CN (1) CN111046978A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642627A (zh) * 2021-08-09 2021-11-12 中国人民解放军海军航空大学航空作战勤务学院 一种基于深度学习的图像与决策多源异类信息融合识别方法和装置
CN114022724A (zh) * 2021-10-08 2022-02-08 郑州大学 基于风格迁移的生成对抗网络的管道病害图像数据增强方法
CN114022368A (zh) * 2021-10-08 2022-02-08 郑州大学 基于生成对抗网络的路面病害数据增强方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203999A (zh) * 2017-04-28 2017-09-26 北京航空航天大学 一种基于全卷积神经网络的皮肤镜图像自动分割方法
CN108921092A (zh) * 2018-07-02 2018-11-30 浙江工业大学 一种基于卷积神经网络模型二次集成的黑色素瘤分类方法
US20190117087A1 (en) * 2017-10-25 2019-04-25 Terumo Kabushiki Kaisha Diagnostic Method, Method for Validation of Diagnostic Method, and Treatment Method
US20190236614A1 (en) * 2018-01-29 2019-08-01 Accenture Global Solutions Limited Artificial intelligence counterfeit detection
CN110135506A (zh) * 2019-05-20 2019-08-16 杭州电子科技大学 一种应用于web的七类皮肤肿瘤检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203999A (zh) * 2017-04-28 2017-09-26 北京航空航天大学 一种基于全卷积神经网络的皮肤镜图像自动分割方法
US20190117087A1 (en) * 2017-10-25 2019-04-25 Terumo Kabushiki Kaisha Diagnostic Method, Method for Validation of Diagnostic Method, and Treatment Method
US20190236614A1 (en) * 2018-01-29 2019-08-01 Accenture Global Solutions Limited Artificial intelligence counterfeit detection
CN108921092A (zh) * 2018-07-02 2018-11-30 浙江工业大学 一种基于卷积神经网络模型二次集成的黑色素瘤分类方法
CN110135506A (zh) * 2019-05-20 2019-08-16 杭州电子科技大学 一种应用于web的七类皮肤肿瘤检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642627A (zh) * 2021-08-09 2021-11-12 中国人民解放军海军航空大学航空作战勤务学院 一种基于深度学习的图像与决策多源异类信息融合识别方法和装置
CN113642627B (zh) * 2021-08-09 2024-03-08 中国人民解放军海军航空大学航空作战勤务学院 一种基于深度学习的图像与决策多源异类信息融合识别方法和装置
CN114022724A (zh) * 2021-10-08 2022-02-08 郑州大学 基于风格迁移的生成对抗网络的管道病害图像数据增强方法
CN114022368A (zh) * 2021-10-08 2022-02-08 郑州大学 基于生成对抗网络的路面病害数据增强方法

Similar Documents

Publication Publication Date Title
Hemanth et al. An enhanced diabetic retinopathy detection and classification approach using deep convolutional neural network
Kwasigroch et al. Deep CNN based decision support system for detection and assessing the stage of diabetic retinopathy
Li et al. Automatic detection of diabetic retinopathy in retinal fundus photographs based on deep learning algorithm
Shan et al. A deep learning method for microaneurysm detection in fundus images
CN109543719B (zh) 基于多模态注意力模型的宫颈非典型病变诊断模型和装置
CN109543526B (zh) 基于深度差异性特征的真假面瘫识别系统
CN108960182A (zh) 一种基于深度学习的p300事件相关电位分类识别方法
CN111046978A (zh) 一种基于StyleGANs和决策融合的皮肤镜图像识别方法
CN107516312A (zh) 一种应用浅层神经网络的中医面色自动分类方法
CN111709267A (zh) 深度卷积神经网络的脑电信号情感识别方法
Junayed et al. ScarNet: development and validation of a novel deep CNN model for acne scar classification with a new dataset
Sharma et al. Machine learning approach for detection of diabetic retinopathy with improved pre-processing
CN114998651A (zh) 基于迁移学习的皮肤病变图像分类识别方法、系统及介质
CN112668486A (zh) 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体
Fahad et al. Skinnet-8: An efficient cnn architecture for classifying skin cancer on an imbalanced dataset
Shamrat et al. An advanced deep neural network for fundus image analysis and enhancing diabetic retinopathy detection
CN113974627A (zh) 一种基于脑机生成对抗的情绪识别方法
Jayade et al. Skin cancer detection using gray level co-occurrence matrix feature processing
Imran et al. Enhanced Skin Cancer Classification using Deep Learning and Nature-based Feature Optimization
CN116912253A (zh) 基于多尺度混合神经网络的肺癌病理图像分类方法
Pal et al. Advanced convolutional neural network model to identify melanoma skin cancer
KI A hybrid classifier for the detection of microaneurysms in diabetic retinal images
Mampitiya et al. An efficient ocular disease recognition system implementation using GLCM and LBP based multilayer perception algorithm
Silva et al. Deep learning techniques applied to skin lesion classification
Mazar Pasha et al. Diabetic Retinopathy Severity Categorization in Retinal Images Using Convolution Neural Network.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200421