CN111242168A - 一种基于多尺度注意力特征的人体皮肤图像病变分类方法 - Google Patents

一种基于多尺度注意力特征的人体皮肤图像病变分类方法 Download PDF

Info

Publication number
CN111242168A
CN111242168A CN201911409291.9A CN201911409291A CN111242168A CN 111242168 A CN111242168 A CN 111242168A CN 201911409291 A CN201911409291 A CN 201911409291A CN 111242168 A CN111242168 A CN 111242168A
Authority
CN
China
Prior art keywords
image
attention
result
loss
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911409291.9A
Other languages
English (en)
Other versions
CN111242168B (zh
Inventor
刘义鹏
王子铭
蒋莉
王海霞
陈朋
梁荣华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201911409291.9A priority Critical patent/CN111242168B/zh
Publication of CN111242168A publication Critical patent/CN111242168A/zh
Application granted granted Critical
Publication of CN111242168B publication Critical patent/CN111242168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种基于多尺度注意力特征的人体皮肤图像病变分类方法，包括以下步骤：将图像提取特征后根据注意力图像二值化结果进行裁剪，并作为第二层输入，再次提取特征重复相同的步骤，共得到三个不同尺度对应的类别输出；训练神经网络采用的损失函数为三个交叉熵加上成对损失，将三个输出取平均数后概率最大值对应的病变类别作为预测结果。本发明应用于复杂的皮肤病图像分类任务，提取多尺度注意力特征，有利于提高皮肤图像的病变分类准确率。

Description

一种基于多尺度注意力特征的人体皮肤图像病变分类方法
技术领域
本发明属于医学图像人工智能领域，具体涉及一种卷积神经网络方法，通过设计多尺度注意力特征结构进行神经网络训练，提高人体皮肤图像的病变分类准确率。
背景技术
黑色素瘤是最危险的皮肤癌之一，无法早期确认黑色素瘤可能会延误患者寻求适当的治疗建议和延误手术切除的时机，同时会增加癌症扩散到身体其他器官的风险并可能导致死亡。当皮肤病不是黑色素瘤而被认为是黑色素瘤，可能引起患者焦虑并导致不必要的手术和进一步的检查。由于该病临床及病例类型较多，易与色素痣等相混淆，因此，提升皮肤图像的病变分类准确率具有重大意义。与传统图像分类方法相比较，得益于数据量的积累和计算力的提升，深度学习方法在人工智能领域得到了广泛的应用。如何提取更具有分辨力的特征是提高图像分类准确率的关键所在。
发明内容
为了克服现有技术的不足，本发明提供一种基于多尺度注意力特征的人体皮肤图像病变分类方法，通过设计多尺度注意力特征结构进行神经网络训练，提高人体皮肤图像的病变分类准确率。
为了解决上述技术问题本发明提供如下的技术方案：
一种基于多尺度注意力特征的人体皮肤图像病变分类方法，包括以下步骤：
步骤1：将图片经过预处理，数据增强后传入卷积神经网络进行特征提取得到f1；
步骤2：将步骤1得到的特征图f1分为两个支路进行处理：一条支路直接进行分类输出得到p1，另一条支路进行降维得到通道数为1的注意力图，并进行标准化和阈值化处理，得到注意力图的二值化结果a1；
步骤3：在a1中，找到横轴方向上最左端和最右端为1的位置，纵轴方向上找到最上端和最下端为1的位置，通过这四个位置确定候选框c1；
步骤4：将步骤3得到的候选框c1放置在f1上进行图像裁剪，重新调整候选框内图像大小，传入Resnet-50网络得到特征图f2；
步骤5：参照步骤2，将特征图进行双支路处理，得到p2和注意力图a2，在a2中，重复步骤3得到新的候选框c2，在c2和f2上，重复步骤4，传入Resnet-50网络得到特征图f3，直接进行分类得到p3；
步骤6：构建训练网络结构的损失函数：(1)每一次分类的交叉熵，也就是p1、p2、p3对应的3个交叉熵；(2)成对损失，将p2对应真实标签位置上的结果加上0.05减去p1对应真实标签位置上的的结果，将p3对应真实标签位置上的结果加上0.05减去p2对应真实标签位置上的结果，将这两部分相加得到成对损失，最终损失函数为交叉熵损失加上成对损失；
步骤7：使用训练好的模型对测试集进行预测，取概率最大值对应的类别作为皮肤病分类结果。
进一步，所述步骤2-5中，对神经网络提取的特征图像，通过二值化注意力特征图针对病灶区域进行两次尺度放大，并在步骤6中，通过构建交叉熵和成对损失函数，综合多尺度信息进行皮肤图像病变的分类。
本发明的有益效果在于：现实情况下皮肤病图像疾病区域没有特定大小，有的图像疾病区域很小，而有的图像疾病区域却占据很大部分。通过对输入图像提取特征并采用裁剪策略得到不同尺度的图像作为下一级输入再次提取特征得到不同尺度的图像。最终，将输入图像转变为3张不同尺度的图像进行训练，让网络更加关注于疾病区域部分，提高网络模型的分类准确率。
附图说明
图1为本次皮肤病多尺度网络结构图。
图2为裁剪候选框示例，即经过二值化处理的注意力图。
具体实施方式
下面结合附图进行进一步描述。
参照图1和图2，一种基于多尺度注意力特征的人体皮肤图像病变分类方法，包括以下步骤：
步骤1.将训练数据集进行数据扩充，扩充的方法有上下翻转，左右翻转，旋转，亮度、对比度、饱和度调整等，扩充之后每一种类别的数目接近，确保不同类别间数据均衡；将图像调整为224×224大小，传入Resnet-50网络中进行特征提取，得到7×7×2048的特征图f1；
步骤2.将步骤1得到的特征图f1一条路直接进行分类输出为p1，另一条路将f1与1×1×1的卷积核进行卷积操作得到7×7×1的注意力图，找到注意力图中最小值和最大值，将注意图进行标准化，然后将注意力图进行阈值处理，将大于0.3的置1，小于0.3的置0，然后进行上采样得到224×224大小的a1；
步骤3.通过程序找到图像中所有为1元素的位置，在横轴上找到最大和最小的位置，在纵轴上找到最大和最小的位置，通过横轴和纵轴的最大和最小位置就可以得到一个候选框c1；
步骤4.将f1按照c1的大小进行裁剪，将裁剪后的图像上采样得到224×224的新图像传入Resnet-50网络提取特征得到f2；
步骤5.参照步骤2，将特征图进行双支路处理，得到p2和224×224大小的注意力图a2；在a2中，重复步骤3得到新的候选框c2。在c2和f2上，重复步骤4，传入Resnet-50网络得到特征图f3，直接进行分类得到p3；
步骤6.构建训练网络结构的损失函数，损失函数包含两部分：(1)每一次分类的交叉熵，也就是p1、p2、p3对应的3个交叉熵，目的是为了提高各自分类的准确率；(2)成对损失，p1、p2和p3的维度均为16×7，16为训练一批图像包含的数据个数，7为疾病的种类，在p1、p2和p3中将每一张图像对应的判别结果为a1、a2和a3，相应的尺度都为1×7，然后在a1、a2和a3中找到该图像对应的真实标签b1、b2和b3，接着将b2加上0.05减去b1得到l1，b3加上0.05减去b2得到l2，最后将所有图像对应的l1+l2求和取平均数作为最终的成对损失；
步骤7.使用训练好的模型对测试集进行预测，取(p1+p2+p3)/3中概率最大值对应的类别作为皮肤病分类结果，这样能够充分利用提取到的皮肤疾病多尺度特征信息，皮肤病存在同一类别病灶区域尺度不一容易被误识别的问题，通过两次裁剪操作就可以得到尺度不同的信息，充分利用不同尺度的特征信息可以提高分类的准确率。

Claims (2)

1.一种基于多尺度注意力特征的人体皮肤图像病变分类方法，其特征在于，包括以下步骤：
步骤1：将图片经过预处理，数据增强后传入卷积神经网络进行特征提取得到f1；
步骤2：将步骤1得到的特征图f1分为两个支路进行处理：一条支路直接进行分类输出得到p1，另一条支路进行降维得到通道数为1的注意力图，并进行标准化和阈值化处理，得到注意力图的二值化结果a1；
步骤3：在a1中，找到横轴方向上最左端和最右端为1的位置，纵轴方向上找到最上端和最下端为1的位置，通过这四个位置确定候选框c1；
步骤4：将步骤3得到的候选框c1放置在f1上进行图像裁剪，重新调整候选框内图像大小，传入Resnet-50网络得到特征图f2；
步骤5：参照步骤2，将特征图进行双支路处理，得到p2和注意力图a2，在a2中，重复步骤3得到新的候选框c2，在c2和f2上，重复步骤4，传入Resnet-50网络得到特征图f3，直接进行分类得到p3；
步骤6：构建训练网络结构的损失函数：(1)每一次分类的交叉熵，也就是p1、p2、p3对应的3个交叉熵；(2)成对损失，将p2对应真实标签位置上的结果加上0.05减去p1对应真实标签位置上的的结果，将p3对应真实标签位置上的结果加上0.05减去p2对应真实标签位置上的结果，将这两部分相加得到成对损失，最终损失函数为交叉熵损失加上成对损失；
步骤7：使用训练好的模型对测试集进行预测，取概率最大值对应的类别作为皮肤病分类结果。
2.根据权利要求1所述的一种基于多尺度注意力特征的人体皮肤图像病变分类方法，其特征在于，所述步骤2-5中，对神经网络提取的特征图像，通过二值化注意力特征图针对病灶区域进行两次尺度放大，并在步骤6中，通过构建交叉熵和成对损失函数，综合多尺度信息进行皮肤图像病变的分类。
CN201911409291.9A 2019-12-31 2019-12-31 一种基于多尺度注意力特征的人体皮肤图像病变分类方法 Active CN111242168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911409291.9A CN111242168B (zh) 2019-12-31 2019-12-31 一种基于多尺度注意力特征的人体皮肤图像病变分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911409291.9A CN111242168B (zh) 2019-12-31 2019-12-31 一种基于多尺度注意力特征的人体皮肤图像病变分类方法

Publications (2)

Publication Number Publication Date
CN111242168A true CN111242168A (zh) 2020-06-05
CN111242168B CN111242168B (zh) 2023-07-21

Family

ID=70869518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911409291.9A Active CN111242168B (zh) 2019-12-31 2019-12-31 一种基于多尺度注意力特征的人体皮肤图像病变分类方法

Country Status (1)

Country Link
CN (1) CN111242168B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112754511A (zh) * 2021-01-20 2021-05-07 武汉大学 一种基于深度学习的ct影像颅内血栓检测及性质分类方法
CN114119482A (zh) * 2021-10-27 2022-03-01 宁波智能技术研究院有限公司 一种基于神经网络的皮肤残妆检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN109784347A (zh) * 2018-12-17 2019-05-21 西北工业大学 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法
CN110059582A (zh) * 2019-03-28 2019-07-26 东南大学 基于多尺度注意力卷积神经网络的驾驶员行为识别方法
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN109784347A (zh) * 2018-12-17 2019-05-21 西北工业大学 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法
CN110059582A (zh) * 2019-03-28 2019-07-26 东南大学 基于多尺度注意力卷积神经网络的驾驶员行为识别方法
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
VINEETA DAS等: "Multi-scale deep feature fusion for automated classification of macular pathologies from OCT images" *
杨国亮;洪志阳;王志元;龚曼;: "基于改进全卷积网络的皮肤病变图像分割" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112754511A (zh) * 2021-01-20 2021-05-07 武汉大学 一种基于深度学习的ct影像颅内血栓检测及性质分类方法
CN114119482A (zh) * 2021-10-27 2022-03-01 宁波智能技术研究院有限公司 一种基于神经网络的皮肤残妆检测方法及系统

Also Published As

Publication number Publication date
CN111242168B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
Nida et al. Melanoma lesion detection and segmentation using deep region based convolutional neural network and fuzzy C-means clustering
Aghamohammadi et al. TPCNN: two-path convolutional neural network for tumor and liver segmentation in CT images using a novel encoding approach
Rahim et al. A survey on contemporary computer-aided tumor, polyp, and ulcer detection methods in wireless capsule endoscopy imaging
Gunasekara et al. A systematic approach for MRI brain tumor localization and segmentation using deep learning and active contouring
Hadavi et al. Lung cancer diagnosis using CT-scan images based on cellular learning automata
Alqudah et al. Segmented and non-segmented skin lesions classification using transfer learning and adaptive moment learning rate technique using pretrained convolutional neural network
Liu et al. A framework of wound segmentation based on deep convolutional networks
WO2023045231A1 (zh) 一种解耦分治的面神经分割方法和装置
Keerthana et al. An intelligent system for early assessment and classification of brain tumor
Singh et al. Effective mammogram classification based on center symmetric-LBP features in wavelet domain using random forests
Saleem et al. Mango Leaf Disease Identification Using Fully Resolution Convolutional Network.
Safdar et al. Intelligent microscopic approach for identification and recognition of citrus deformities
Varma et al. An alternative approach to detect breast cancer using digital image processing techniques
H Khan et al. Classification of skin lesion with hair and artifacts removal using black-hat morphology and total variation
CN111242168B (zh) 一种基于多尺度注意力特征的人体皮肤图像病变分类方法
Iqbal et al. A heteromorphous deep CNN framework for medical image segmentation using local binary pattern
Arif et al. Application of Genetic Algorithm and U‐Net in Brain Tumor Segmentation and Classification: A Deep Learning Approach
Javed et al. Statistical histogram decision based contrast categorization of skin lesion datasets dermoscopic images
Pitoya et al. Dermoscopy image segmentation in melanoma skin cancer using Otsu thresholding method
Bajcsi et al. Towards feature selection for digital mammogram classification
Nawaz et al. MSeg‐Net: A Melanoma Mole Segmentation Network Using CornerNet and Fuzzy K‐Means Clustering
Xu et al. A High‐Precision Classification Method of Mammary Cancer Based on Improved DenseNet Driven by an Attention Mechanism
Van Der Sommen et al. Computer-aided detection of early cancer in the esophagus using HD endoscopy images
Thapa et al. Deep learning for breast cancer classification: Enhanced tangent function
CN112614096A (zh) 一种基于序数回归的乳腺钼靶病灶良恶性分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant