CN111583256A - 一种基于旋转均值操作的皮肤镜图像分类方法 - Google Patents

一种基于旋转均值操作的皮肤镜图像分类方法 Download PDF

Info

Publication number
CN111583256A
CN111583256A CN202010433217.7A CN202010433217A CN111583256A CN 111583256 A CN111583256 A CN 111583256A CN 202010433217 A CN202010433217 A CN 202010433217A CN 111583256 A CN111583256 A CN 111583256A
Authority
CN
China
Prior art keywords
network
rotation
mean operation
rotating
mean
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010433217.7A
Other languages
English (en)
Other versions
CN111583256B (zh
Inventor
谢凤英
宋雪冬
刘洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Original Assignee
Beihang University
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University, Peking Union Medical College Hospital Chinese Academy of Medical Sciences filed Critical Beihang University
Priority to CN202010433217.7A priority Critical patent/CN111583256B/zh
Publication of CN111583256A publication Critical patent/CN111583256A/zh
Application granted granted Critical
Publication of CN111583256B publication Critical patent/CN111583256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种基于旋转均值操作的皮肤镜图像分类方法。所设计的旋转均值操作包括旋转扩充、特征提取、重新排列和特征融合四个步骤。该旋转均值操作使得网络结构具有旋转同变性和旋转不变性，改善卷积神经网络欠缺的旋转不变能力，提升网络对皮损特征的描述能力。该操作可以方便地嵌入到卷积网络的任何位置，且不增加基础网络的参数量。将旋转均值操作与基础(baseline)卷积网络相结合，即可得到基于旋转均值操作的卷积神经网络模型，该网络模型具有旋转同变和旋转不变的性质，可直接对原始皮肤镜图像进行分类识别。

Description

一种基于旋转均值操作的皮肤镜图像分类方法
技术领域
本发明属于皮肤镜图像处理领域，具体涉及一种基于旋转均值(RM，RotationMeanout)操作的皮肤镜图像分类方法。
背景技术
生活中各种各样的皮肤疾病危害着人们的健康，而皮肤镜是一种针对皮肤疾病的无创性显微图像分析技术。以往皮肤科医生的诊断方法主要是通过皮肤镜观察皮损区域，再依赖经验和主观视觉评价来做出诊断结果。这种依赖人眼观察的方式容易引起视觉疲劳，而且诊断结果带有主观性，可重复性差。而皮肤镜图像辅助诊断技术能够从皮肤镜图像中自动提取皮损目标并对皮损类型进行识别，从而辅助医生做出正确诊断，这种方式具有客观、可重复的优点。皮肤镜图像分类是皮肤镜图像计算机辅助诊断中的重要研究内容，它可以准确识别、分类皮损目标，识别结果可以为医生进行临床诊断提供参考依据。
目前，已经有很多关于皮肤镜图像分类的研究成果，这些皮肤镜图像分类方法主要包括基于传统低层特征的分类方法和基于深度学习的分类方法。基于传统低层特征的皮肤镜图像分类方法首先从图像中分割出皮损区域，然后对皮损区域提取颜色、纹理、边界等低层特征，最后采用支持向量机或BP神经网络等分类器进行分类。由于该类方法提取的特征对皮损区域的描述能力不强，而且多个步骤之间会存在累积误差，因此分类准确率较低。而基于深度学习的皮肤镜图像分类方法是采用卷积神经网络等深度学习方法对皮肤镜图像提取高层语义特征并进行分类，并具有端到端的特性。采用深度学习方法所提取的特征比传统低层特征具有更强的描述能力，通常能够获得更好的分类结果。
皮肤镜图像具有同类多样性广、异类相似性高的特点，尽管基于深度学习的皮肤镜图像分类方法优于传统方法，但分类准确率仍然没有达到临床要求，尤其对于多类皮损目标的分类情况，还存在很大的提升空间。卷积神经网络不具有旋转不变性，对目标的旋转变化比较敏感。而皮肤镜图像由于是俯视拍摄，皮损目标没有方向性，存在大幅度旋转特性。因此提高卷积神经网络的抗旋转能力，对皮肤镜图像分类准确率的提升是有价值的研究方向。本发明提出一种旋转均值(RM，Rotate Meanout)操作，将其与经典网络相结合，提升了网络的抗旋转能力，进而得到满意的皮肤镜图像分类结果。
发明内容
目的：
本发明的目的在于提供一种基于旋转均值操作的皮肤镜图像分类方法，它通过基于旋转均值操作的卷积神经网络模型，直接获得皮损目标的分类结果。本发明所设计的旋转均值操作使得网络结构具有旋转同变性和旋转不变性，提升了网络对皮损特征的描述能力，能够获得更准确的皮损分类结果。
技术方案：
本发明针对传统卷积层不具备旋转同变能力的缺陷，设计了一种通用的网络操作，即旋转均值操作，该操作可以方便地嵌入到卷积网络的任何位置，且不增加基础网络的参数量。将所设计的旋转均值操作与基础(baseline)卷积网络相结合，即可得到基于旋转均值操作的卷积神经网络模型，该网络模型具有旋转同变和旋转不变的性质，可直接对原始皮肤镜图像进行分类识别。
本发明的具体方案如下：
步骤一：建立皮肤镜图像数据集
本发明针对黄种人的皮肤镜图像构建数据集，包含N种常见皮肤病。我们将采集到的皮肤镜图像的分辨率大小统一缩放为M×M，以此构建皮肤镜图像数据集。
由于皮肤镜图像数据量通常较小，因此需要对数据集进行扩充。将每种皮肤病中的图像进行了随机裁切扩充和横向、纵向镜像扩充，即可得到最终的皮肤镜图像数据集。
步骤二：旋转均值(RM)操作设计
深度卷积网络具有尺度和平移不变性，但不具有旋转不变性，因此当用卷积网络对目标进行分类时，通常对目标的旋转比较敏感。为此，本发明设计了一种具有旋转同变性的旋转均值操作。旋转均值操作可以与卷积网络中的任何卷积结构部分相结合，且不增加该部分卷积结构的任何参数量。将该操作与基础(baseline)网络相结合时，可以使得网络具有旋转同变性，且当该操作与基础网络中的全局均值池化层(GAP，Global AveragePooling)相连时，可以使得网络具有旋转不变性。
令C为一个基础卷积网络中某一位置的一个卷积结构(可以是一个简单的卷积层，也可以是具有多个卷积层的卷积单元，如残差网络ResNet18中的一个残差块)，假设输入到卷积结构C中的特征图组为R，则本发明所设计的旋转均值操作共包含四个步骤：旋转扩充、特征提取、重新排列、特征融合。每个步骤的具体细节如图1所示：
1)旋转扩充
对卷积结构C的输入特征图组R按角度θ等间隔旋转扩充，得到不同角度的特征图组R0,R1,…,Rk-1，共k组，其中k满足kθ＝2π。
2)特征提取
将旋转扩充阶段得到的k组特征图依次输入到相同的卷积结构C中，对其提取特征，得到k个不同角度的输出特征图组R′0,R′1,…,R′k-1。将k组特征图R′0,R′1,…,R′k-1依次输入卷积结构C时采用权值共享，因此，在网络训练阶段只需要学习一个卷积结构的参数，并不会增加基础网络的参数。
3)重新排列
将特征提取阶段得到的k组特征图R′i，i取0,1,2,…,k-1，分别按角度(k-i)θ旋转，以保持k组特征图的每个点的空间位置相互对应，得到重新排列后的k组特征图R″0,R″1,…,R″k-1。
4)特征融合
将重新排列后的k组特征图R″0,R″1,…,R″k-1在每个点取k组特征图相应位置的均值，得到该卷积结构的最终输出R″。
以上四个阶段即为旋转均值操作，该操作可以使得输出特征图R″对于输入特征图R是旋转同变的，理论证明如下。
假设R为输入的一组特征图，则旋转均值操作可由公式(1)表达：
Figure BDA0002501281400000031
其中RM(·)为旋转均值操作函数，f(·)为一个卷积结构的运算函数，θ为旋转角度间隔，riθ为顺时针旋转iθ度，
Figure BDA0002501281400000033
为逆时针旋转iθ度，p[·]为均值运算，可表示为：
pmean(R0,R1,…,Rk-1)＝mean[R0,R1,…,Rk-1] (2)
若使得输入的一组特征图R顺时针旋转θ度，则可推导得：
Figure BDA0002501281400000032
RM(rθR)＝rθ·RM(R) (4)
由此可得，当输入特征图旋转θ度后，RM结构最终输出的特征图也相应的旋转θ度，即该结构具有旋转同变性。综上，可得RM结构的旋转同变性表达式：
RM(riθR)＝riθ·RM(R)(i∈[0,k-1]) (5)
卷积神经网络在全连接层前通常会有全局均值池化操作(GAP)，使得每个特征图变成一个特征点并丢失空间信息。当旋转均值操作与全局均值池化层相连时，我们有：
GAP(RM(riθR))＝GAP(riθ·RM(R))＝GAP(RM(R)) (6)
其中GAP(·)为全局均值运算。此时，网络即具有了旋转不变性。
步骤三：基于旋转均值操作的卷积神经网络设计
本发明设计的旋转均值操作可以与任何卷积网络相结合，且很容易嵌入到网络的任何卷积层。本发明采用经典的残差网络ResNet18作为基础网络，设计了一个具有18层的卷积神经网络RM-ResNet18。
1)ResNet18网络基本结构
随着网络深度的增加，网络会遇到梯度消失和网络退化问题。在残差网络结构中，网络学习过程主要是对输入与输出之间的残差部分进行学习，该结构使得网络更容易训练，且一定程度避免了梯度消失问题，能够得到更好的结果。
经典的ResNet18残差网络包含4个部分：1个卷积层、1个最大值池化层、4个残差组、1个平均值池化层、以及1个全连接层。
对卷积层来说，特征图的尺寸可以用width×height×depth表示，前两个值表示空间尺寸，最后一个值表示通道数量。用Conv#代表卷积层，Maxp#代表最大值池化层，Avgp#代表最大值池化层，FC#代表全连接层，则ResNet18的网络结构具体细节如下：
1)首先网络的第1层是卷积层Conv1，尺寸为7×7×64，步长为2，padding为3。该层用来将图像映射到高维空间，特征图个数为64。
2)第1层卷积层与1个最大值池化层Maxp1相连，尺寸为3×3×64，步长为2，padding为1。该层用来取滤波器范围内的最大值，起到降维的作用。
3)最大值池化层Maxp1的后边是四组残差块相串连。每组残差块的结构参数如表1所示，其中Conv2-x、Conv3-x、Conv4-x和Conv5-x均为残差块结构。
表1四个残差组结构参数
Figure BDA0002501281400000041
4)第4组残差块后连接的是1个平均值池化层Avgp1，用来对特征数据进行降维。
5)网络最后是一个全连接层FC1。
全连接层FC1是最终任务层，输出神经元个数为训练数据库包含的皮肤病种类数N，使网络可以按多分类任务训练。
2)嵌入RM到ResNet18网络
本发明设计的RM操作理论上可以与基础网络中任何位置的卷积结构相结合，根据使用旋转均值操作的结构是否紧跟全局均值池化层，将其分为严格的RM-GAP结构和松弛的RM-GAP结构。图2给出了RM嵌入到ResNet18中的两个示例。其中，(a)是严格的RM-GAP结构，即旋转均值操作和全局均值池化层直接相连，使得该结构具有旋转不变性；(b)是一个松弛的RM-GAP结构，即旋转均值操作和全局均值池化层之间隔有其它卷积结构。松弛的RM-GAP结构不具有旋转不变性，但是此时旋转均值操作具备的旋转同变性仍能够改善网络的抗旋转能力，提高分类性能。步骤四：网络训练
我们用步骤一中的皮肤镜图像数据库，按图像多分类任务对步骤三中设计的卷积神经网络RM-ResNet18进行训练。深度学习网络需要大样本数据进行训练，但医学图像的样本集通常较小，因此，通常采用迁移学习的方式。本发明设计的卷积神经网络RM-ResNet18将旋转均值操作和基础网络Resnet18相结合，没有改变网络实际的训练参数，因此可以采用迁移学习的方法来训练。
训练所采用的损失函数为softmax函数。令xi为网络的第i个输出，xj为网络的第j个输出，则第i类的分类概率为：
Figure BDA0002501281400000051
假设有N个类别，则网络的总损失Loss为：
Figure BDA0002501281400000052
Figure BDA0002501281400000053
式中，yi是输入图像的真实标签，即除了对应类别的位置是1，其余N-1个值都是0，R(W)为加入的正则化损失项，Wk,l为网络最终任务层第l个神经元和倒数第二层第k个神经元之间的权重。
本发明的训练方式基于迁移训练，采用ImageNet预训练好的参数，梯度下降采用随机梯度下降法，batch设为32，损失函数采用softmax函数。初始学习率设为0.001，在第30、40轮衰减10倍，权值衰减设为0.0005，共训练50轮。最终得到网络所需的所有参数，即网络模型中的权重和偏置。
步骤五：皮肤镜图像分类
将待识别的皮肤镜图像输入到训练好的网络中，得到网络输出的N类皮肤病的概率值，最终概率值最大的那一类即为最终的分类结果。通过以上步骤，我们可以比较准确地得到皮肤镜图像的分类结果，从而为皮肤科医生提供客观的建议和参考，提高诊断的准确率。
本发明的有益效果在于：
(1)设计了一个通用的操作——旋转均值操作。它可以与任何已有的深度卷积网络相结合，能方便地嵌入到网络中任何具有卷积结构的位置，使网络具有了旋转同变性。当旋转均值结构与网络中的GAP结构直接相连时，网络具有了旋转不变性，从而提高网络的抗旋转能力。
(2)设计了用于皮肤镜图像多分类的网络RM-ResNet18。以Resnet18网络作为基础网络，将旋转均值操作嵌入到基础网络中，使得网络具有更好的抗旋转能力。用该网络进行皮肤镜图像的多分类，效果优于一般的常用网络。
附图说明
图1为本发明旋转均值操作流程图。
图2为嵌入本发明RM到ResNet-18示意图。
图3为本发明方案实现流程图。
图4(a)为色素痣的示例图。
图4(b)为脂溢性角化病的示例图。
图4(c)为基底细胞癌的示例图。
图4(d)为银屑病的示例图。
图4(e)为其它炎症类皮肤疾病的示例图。
图5为旋转间隔90度的旋转均值操作流程图。
图6为嵌入本发明RM到ResNet-18的两个具体实例示意图。
具体实施方式
为了更好地理解本发明的技术方案，下面结合附图及具体实施方式详细介绍本发明。
具体实现流程如图3所示。
步骤一：建立皮肤镜图像数据集
本发明针对黄种人的皮肤镜图像构建数据集，包含五种常见皮肤病，分别是色素痣、脂溢性角化病、基底细胞癌、银屑病和其它炎症类皮肤疾病。我们将采集到的皮肤镜图像的分辨率大小统一缩放为224×224，以此构建皮肤镜图像数据集，五种皮肤病的示例图如图4所示。各类皮肤病图像数量分别为1761、1731、400、1922和1018，共6832张图像。将数据集中4135幅图像作为训练集(五类分别为1085、1046、253、1128、623)、1360幅图像作为验证集(五类分别为339、335、75、402、209)、1337幅图像作为测试集(五类分别为337、350、72、392、186)。
由于皮肤镜图像数据量较小，因此在训练阶段对训练集进行扩充。将训练集中每幅图像进行随机裁切扩充和横向、纵向镜像扩充，即可得到最终的皮肤镜图像训练数据集。
步骤二：旋转均值(RM)操作设计
深度卷积网络具有尺度和平移不变性，但不具有旋转不变性，因此当用卷积网络对目标进行分类时，通常对目标的旋转比较敏感。为此，本发明设计了一种具有旋转同变性的旋转均值操作。旋转均值操作可以与卷积网络中的任何卷积结构部分相结合，且不增加该部分卷积结构的任何参数量。将旋转均值操作与基础网络相结合时，可以使得网络具有旋转同变性，且当该操作与基础网络中的全局均值池化层(GAP)相连时，可以使得网络具有旋转不变性。
令C为一个基础卷积网络中某一位置的一个卷积结构(可以是一个简单的卷积层，也可以是具有多个卷积层的卷积单元，如残差网络ResNet18中的一个残差块)，假设输入到卷积结构C中的特征图组为R，则本发明所设计的旋转均值操作共包含四个步骤：旋转扩充、特征提取、重新排列、特征融合。每个步骤的具体细节如图5所示：
1)旋转扩充
对卷积结构C的输入特征图组R按角度间隔θ进行旋转扩充，考虑到θ＝90°时可以通过垂直和水平镜像完成，能够避免插值误差，因此本发明实际应用时θ设置为90°，可得到R0,R1,R2,R3等四组特征图组。
2)特征提取
将旋转扩充阶段得到的4组特征图依次输入到相同的卷积结构C中，对其提取特征，得到4个不同角度的输出特征图组R′0,R′1,R′2,R′3。将4组特征图依次输入卷积结构C时采用权值共享，因此，在网络训练阶段只需要学习一个卷积结构的参数，并不会增加基础网络的参数。
3)重新排列
将特征提取阶段得到的4组特征图R′i，i取0、1、2、3，分别按角度(4-i)θ旋转，以保持4组特征图的每个点的空间位置相互对应，得到重新排列后的k组特征图R″0,R″1,R″2,R″3。
4)特征融合
将重新排列后的4组特征图R″0,R″1,R″2,R″3在每个点取4组特征图相应位置的均值，得到该卷积结构的最终输出R″。
步骤三：基于旋转均值操作的卷积神经网络设计
本发明设计的旋转均值操作可以与任何卷积网络相结合，且很容易嵌入到网络的任何卷积层。本发明采用经典的残差网络ResNet18作为基础网络，图6给出了两个具体的嵌入RM的实例：RM-ResNet18-a和RM-ResNet18-b。
对于RM-ResNet18-a，旋转均值操作应用在ResNet18残差块Conv6、Conv7、Conv8、Conv9上，组成了严格的RM-GAP结构。对于RM-ResNet18-b，旋转均值操作应用在ResNet-18的残差块Conv6上，组成了松弛的RM-GAP结构。
步骤四：网络训练
我们用步骤一中的皮肤镜图像数据库，按图像多分类任务对步骤三中设计的两个具体的卷积神经网络RM-ResNet18-a和RM-ResNet18-b进行训练。两个网络采用同样的训练参数和优化方法。
深度学习网络需要大样本数据进行训练，但医学图像的样本集通常较小，因此，通常采用迁移学习的方式。本发明设计的卷积神经网络RM-ResNet18-a和RM-ResNet18-b将旋转均值操作和基础网络Resnet18相结合，没有改变网络实际的训练参数，因此可以采用迁移学习的方法来训练本网络。
训练所采用的损失函数为softmax函数。令xi为网络的第i个输出，xj为网络的第j个输出，则第i类的分类概率为：
Figure BDA0002501281400000081
假设有N个类别，则网络的总损失Loss为：
Figure BDA0002501281400000082
Figure BDA0002501281400000083
式中，yi是输入图像的真实标签，即除了对应类别的位置是1，其余N-1个值都是0，R(W)为加入的正则化损失项，Wk,l为网络最终任务层第l个神经元和倒数第二层第k个神经元之间的权重。
本发明采用步骤三中的网络模型，在步骤一中的皮肤镜图像数据库上，按图像多分类任务进行训练。训练方式基于迁移训练，采用ImageNet预训练好的参数，梯度下降采用随机梯度下降法，batch设为32，损失函数采用softmax函数。初始学习率设为0.001，在第30、40轮衰减10倍，权值衰减设为0.0005，共训练50轮。最终得到网络所需的所有参数，即网络模型中的权重和偏置。
步骤五：皮肤镜图像分类
将待识别的皮肤镜图像输入到训练好的网络中，得到网络输出的五类皮肤病的概率值，最终概率值最大的那一类即为最终的分类结果。
通过以上步骤，我们可以比较准确地得到皮肤镜图像的分类结果，从而为皮肤科医生提供客观的建议和参考，提高诊断的准确率。
采用图6中的网络结构RM-ResNet18-a和RM-ResNet18-b以及ResNet18对数据库中五种皮肤疾病、共1337张图像进行分类，每次分类将网络输出概率最高的类别作为分类结果，表2给出了每种皮肤病的分类准确率和平均分类准确率，可以看出两种结合旋转均值操作的网络结构相比基础网络ResNet18均提高了网络的分类性能，其中RM-ResNet18-b的均准确率达到了82.8％，效果令人满意。
表2结合旋转均值操作网络的分类性能
Figure BDA0002501281400000091

Claims (4)

1.一种基于旋转均值操作(Rotation Meanout，RM)的皮肤镜图像分类方法，包括残差卷积神经网络(1)和旋转均值操作(2)。其特征是在残差卷积神经网络(1)中的一部分应用旋转均值操作(2)，所述的应用旋转均值操作(2)的网络结构部分为网络中任意位置开始至网络中全局均值池化层(Global Average Pooling，GAP)之前。所述的旋转均值操作(2)包括旋转扩充(3)、特征提取(4)、重新排列(5)和特征融合(6)。所述的应用旋转均值操作(2)的网络结构与GAP层构成严格的RM-GAP结构。
2.如权利要求书1所述的基于旋转均值操作的皮肤镜图像分类方法，其特征是残差卷积神经网络(1)中应用旋转均值操作(2)的部分紧接GAP层。
3.一种基于旋转均值操作的皮肤镜图像分类方法，包括残差卷积神经网络(1)和旋转均值操作(2)。其特征是在残差卷积神经网络(1)中的一部分应用旋转均值操作(2)，所述的应用旋转均值操作(2)的网络结构部分为网络中任意位置开始至任意位置结束的网络结构，并且结束位置与GAP层不相邻。所述的旋转均值操作(2)包括旋转扩充(3)、特征提取(4)、重新排列(5)和特征融合(6)。所述的应用旋转均值操作(2)的网络结构与GAP层构成松弛的RM-GAP结构。
4.如权利要求书3所述的基于旋转均值操作的皮肤镜图像分类方法，其特征是残差卷积神经网络(1)中应用旋转均值操作(2)的部分与GAP层不相邻。
CN202010433217.7A 2020-05-21 2020-05-21 一种基于旋转均值操作的皮肤镜图像分类方法 Active CN111583256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010433217.7A CN111583256B (zh) 2020-05-21 2020-05-21 一种基于旋转均值操作的皮肤镜图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010433217.7A CN111583256B (zh) 2020-05-21 2020-05-21 一种基于旋转均值操作的皮肤镜图像分类方法

Publications (2)

Publication Number Publication Date
CN111583256A true CN111583256A (zh) 2020-08-25
CN111583256B CN111583256B (zh) 2022-11-04

Family

ID=72111034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010433217.7A Active CN111583256B (zh) 2020-05-21 2020-05-21 一种基于旋转均值操作的皮肤镜图像分类方法

Country Status (1)

Country Link
CN (1) CN111583256B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053398A (zh) * 2017-12-19 2018-05-18 南京信息工程大学 一种半监督特征学习的黑色素瘤自动检测方法
US20190065817A1 (en) * 2017-08-29 2019-02-28 Konica Minolta Laboratory U.S.A., Inc. Method and system for detection and classification of cells using convolutional neural networks
CN109685801A (zh) * 2018-12-10 2019-04-26 杭州帝视科技有限公司 结合纹理特征和深度神经网络信息的皮肤镜图像处理方法
CN109840290A (zh) * 2019-01-23 2019-06-04 北京航空航天大学 一种基于端到端深度哈希的皮肤镜图像检索方法
CN109886986A (zh) * 2019-01-23 2019-06-14 北京航空航天大学 一种基于多分支卷积神经网络的皮肤镜图像分割方法
CN110110782A (zh) * 2019-04-30 2019-08-09 南京星程智能科技有限公司 基于深度学习的视网膜眼底图像视盘定位方法
CN110598715A (zh) * 2019-09-04 2019-12-20 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190065817A1 (en) * 2017-08-29 2019-02-28 Konica Minolta Laboratory U.S.A., Inc. Method and system for detection and classification of cells using convolutional neural networks
CN108053398A (zh) * 2017-12-19 2018-05-18 南京信息工程大学 一种半监督特征学习的黑色素瘤自动检测方法
CN109685801A (zh) * 2018-12-10 2019-04-26 杭州帝视科技有限公司 结合纹理特征和深度神经网络信息的皮肤镜图像处理方法
CN109840290A (zh) * 2019-01-23 2019-06-04 北京航空航天大学 一种基于端到端深度哈希的皮肤镜图像检索方法
CN109886986A (zh) * 2019-01-23 2019-06-14 北京航空航天大学 一种基于多分支卷积神经网络的皮肤镜图像分割方法
CN110110782A (zh) * 2019-04-30 2019-08-09 南京星程智能科技有限公司 基于深度学习的视网膜眼底图像视盘定位方法
CN110598715A (zh) * 2019-09-04 2019-12-20 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备及可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
G.SUBHA VENNILA等: "Dermoscopic Image Segmentation and Classification using Machine Learning Algorithms", 《2012 INTERNATIONAL CONFERENCE ON COMPUTING, ELECTRONICS AND ELECTRICAL TECHNOLOGIES》 *
H. A. HAENSSLE等: "Man against machine: diagnostic performance of a deep learning convolutional neural network for dermoscopic melanoma recognition in comparison to 58 dermatologists", 《ANNALS OF ONCOLOGY》 *
段萌等: "基于卷积神经网络的小样本图像识别方法", 《计算机工程与设计》 *
钟国韵等: "旋转均值跳动特征及其在模糊人脸识别中的应用", 《计算机工程与科学》 *

Also Published As

Publication number Publication date
CN111583256B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
Yang et al. Delving into deep imbalanced regression
CN111476292B (zh) 医学图像分类处理人工智能的小样本元学习训练方法
CN109325942B (zh) 基于全卷积神经网络的眼底图像结构分割方法
CN107945173B (zh) 一种基于深度学习的皮肤疾病检测方法以及系统
CN111340819A (zh) 图像分割方法、装置和存储介质
CN109840290B (zh) 一种基于端到端深度哈希的皮肤镜图像检索方法
Ferreira et al. End-to-end supervised lung lobe segmentation
CN110163258A (zh) 一种基于语义属性注意力重分配机制的零样本学习方法及系统
Wang et al. GKFC-CNN: Modified Gaussian kernel fuzzy C-means and convolutional neural network for apple segmentation and recognition
CN110084790B (zh) 用于影像学肺炎判别的仿生模式识别改进方法
Lin et al. The pest and disease identification in the growth of sweet peppers using faster R-CNN and mask R-CNN
CN108427963B (zh) 一种基于深度学习的黑色素瘤皮肤病的分类识别方法
CN110532907A (zh) 基于面象和舌象双模态特征提取的中医人体体质分类方法
CN111767952A (zh) 一种可解释的肺结节良恶性分类方法
CN110378882B (zh) 一种多层级深度特征融合的中医舌质颜色分类方法
Yang et al. Unsupervised domain adaptation for cross-device OCT lesion detection via learning adaptive features
CN111784713A (zh) 一种引入注意力机制的u形心脏分割方法
Pan et al. Classification of urine sediment based on convolution neural network
CN112733953B (zh) 基于Non-local CNN-GCN和拓扑子图的肺CT图像动静脉血管分离方法
CN113127661B (zh) 基于循环查询扩展的多监督医学图像检索方法和系统
CN111583256B (zh) 一种基于旋转均值操作的皮肤镜图像分类方法
Mhatre et al. Cotton leaves disease detection and cure using deep learning
CN112948611B (zh) 一种基于柯西抗旋转损失函数的皮肤镜图像检索方法
Tong et al. A joint multi-scale convolutional network for fully automatic segmentation of the left ventricle
CN111951228B (zh) 一种融合梯度激活映射和深度学习模型的癫痫灶定位系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant