CN115760707A - 一种基于自监督学习的皮损图像智能分类装置 - Google Patents

Abstract

本发明涉及一种基于自监督学习的皮损图像智能分类装置，属于图像处理技术领域，装置中包含基础模块、图像采集模块、图像处理模块、神经网络训练模块、神经网络分类模块、输出显示模块；在神经网络训练模块中应用多通道自监督学习的训练方法，得到适用于皮肤特征提取的神经网络，用以解决现有技术因皮肤皮损图像数量不足而导致的神经网络过拟合问题，最终得到适用于临床环境下快速检测的皮损图像分类方法及装置，为皮肤科医生减轻负担，提高服务效率。

Description

一种基于自监督学习的皮损图像智能分类装置

技术领域

本发明属于图像处理技术领域，涉及一种基于自监督学习的皮损图像智能分类装置。

背景技术

皮肤病作为全球第四大非致命性疾病，影响了全球不同地区和年龄30-70％的人；而且皮肤病种类繁多，仅《临床皮肤病学》就记录了2000多种，既有常见的鳞屑性皮肤病又有严重生命危害的恶性黑色素瘤。不同皮肤病之间皮肤图像特征相似高而相同皮肤病在不同部位的皮损差异性大从而导致普通门诊医生确诊困难。中国拥有1.5亿的皮肤病患者，患者年龄上日趋势年轻化且多位于经济发展落后地区，而皮肤病专科医生数量少且分布不均衡对皮肤病的及时治疗造成阻碍。

近年来，大数据、人工智能等理论和技术的兴起与发展，为实现皮肤病辅助诊疗提供了新的研究思路。借助图像处理、模式识别、机器学习等人工智能技术研发皮肤病辅助诊疗系统已成为当下的研究热点。皮肤病作为全球公认的最适合通过照片可视化就医的病种，应该使用新一代信息技术为皮肤科医生减轻负担，提升医疗现代化水平，优化资源配置，提高服务效率。

利用智能信息化手段对皮损图像进行分类主要分为传统技术和机器学习方法。对于传统信息技术来说，需对每一种皮肤图像的每一种皮损特征进行人工设计特征提取器，然后进行分类，其效率低，准确率也不高。对于机器学习方法来说，存在输入图像和分类类别两方面问题。现有使用人工智能技术的皮损图像分类系统使用皮肤镜图片作为输入，对于辅助诊断来说不够便携。且现有皮损图像分类网络注重于发病率较低的皮肤癌，对于常见皮损图像分类神经网络研究较少。

神经网络善于发掘训练样本中隐含的规律，实现快速分类，然而神经网络模型需要大量的训练样本，当样本较少时，很容易出现过拟合的问题，但现有开放环境下的皮损图像数据严重不足。除此数量少之外，现有开放环境下皮损图像类别不符合实际发病率，注重于低发病率的皮肤癌；而对于常见的痤疮、湿疹等200种常见皮肤皮损图像却很少。以上导致神经网络在皮损图像分类上应用困难。

发明内容

为了解决现有技术中的不足，本发明的目的在于提供一种基于自监督学习的皮损图像智能分类装置，通过构建神经网络，借助自监督学习辅助任务，让神经网络的特征特区层可以实现对皮肤图像的多特征提取，接着对神经网络的特征提取层输出进行分类从而实现对皮损图片的神经网络分类，为皮肤科医生减轻负担，提高服务效率。

为了实现上述目的，本发明采用的具体方案为：

一种基于自监督学习的皮损图像智能分类装置，包括基础模块、图像采集模块、图像处理模块、神经网络训练模块、神经网络分类模块和输出显示模块；

所述基础模块包括供电装置、处理器、存储器和交互总线；

所述图像采集模块，用于采集开放环境下的皮损图像；

所述图像处理模块，对采集的皮损图像进行处理，并将处理后的图像分别输入到神经网络训练模块和神经网络分类模块；

所述神经网络分类模块采用皮肤图像分类神经网络对图像进行分类运算得到分类预测结果，并将所述分类预测结果通过所述输出显示模块进行输出显示；

所述神经网络训练模块在输出显示后对皮肤图像分类神经网络进行更新并同步到神经网络分类模块。

优选地，所述图像处理模块包含图像处理程序G₀、G₁、G₂、G₃、G₄，其中G₀、G₁、G₂、G₃输出结果被神经网络训练模块使用，处理程序G₄的结果为神经网络分类模块使用；

图像处理程序G₀对存储器中图片进行随机水平翻转、随机垂直翻转、随机裁剪大小、图片尺寸调整为224*224像素，得到图像I₀。图像处理程序G₀将存储器中的训练图片进行增强从而加大数据量防止神经网络训练过拟合；

图像处理程序G₁对图像I0_中的随机区域进行丢弃，将图像丢弃区域填充为255，将丢弃后图像记为I₁，丢弃区域的图像记为

并将I₁和

进行归一化处理；

图像处理程序G₂对图像I₀进行两次随机颜色抖动、灰度变换、高斯模糊操作，得到图像I₂₁、I₂₂，由于两次操作都随机进行，故I₂₁、I₂₂不一定完全相等，最后对I₂₁和I₂₂进行归一化处理；

图像处理程序G₃对图像I₀进行一次随机翻转，角度限定为(0°,90°,180°,270°)并保留反转后的图像I₃和

及其对应标签y₃(0,1,2,3)，最终对图像I₃和

进行归一化处理；

图像处理程序G₄对存储器中的刚拍摄的图片进行尺寸调整，让图片大小保持为224*224像素，然后对图片进行归一化和标准化处理，从而确保拍摄图像不受光线造成干扰。

优选地，所述神经网络训练模块包含自监督学习预训练神经网络方法和微调预训练神经网络方法；通过自监督学习预训练神经网络方法构建自监督学习神经网络，通过对自监督学习神经网络的训练得到预训练神经网络，然后通过微调预训练神经网络方法，最终得到皮肤图像分类神经网络，并将皮肤图像分类神经网络应用到神经网络分类模块。

更进一步地，所述神经网络训练模块，皮肤图像分类神经网络的训练方法，具体包括以下步骤：

A.在装置的存储器中构建由无标签的皮肤图像、有标签的皮损图像组成的数据集；

B.将数据集两个部分按照K折交叉验证划分为训练集、测试集、验证集；

C.建立自监督学习预训练神经网络方法的主干网络，将ResNet50的池化层和分类器进行丢弃，保留剩余的卷积层作为特征提取层，将修改后的网络设为自监督学习预训练神经网络方法的主干网络；

D.建立自监督学习的抠图辅助任务分支网络，设置一个具有五次上卷积模块的分支网络，每个上卷积模块输出的采样是输入的两倍，并将最后输出与原图进行插值运算从而计算损失；

E.建立自监督学习的对比学习辅助任务分支网络，设置一个具有一个预测头的对比学习分支网络，预测头由两个多层感知机和多层感知机之间的ReLu激活函数组成，每个多层感知机由全连接层和BN层组成，该网络计算输入图像之间的相似度，使增强图像之间相似度越大，与其他图像相似度越小；

F.建立自监督学习的判别辅助任务分支网络，设置一个拼接层、池化层和预测层，预测层由ReLu激活函数和全连接层组成，该分支网络判断两幅图像之间的旋转关系并通过交叉熵损失函数计算损失；

G.将主干网络、抠图辅助任务分支网络、对比学习辅助任务分支网络、判别辅助任务分支网络结合起来构成自监督学习神经网络；

H.对步骤A中的训练集通过图像处理模块的G₀、G₁、G₂、G₃程序，然后得到图像I₁、

I₂₁、I₂₂、I₃，

I.将图像I₁、

输入主干网络和抠图辅助任务分支网络并计算损失，I₂₁、I₂₂输入主干网络和对比学习辅助任务分支网络并计算损失，I₃、

输入主干网络和判别辅助任务分支网络并计算损失；

J.将三种辅助任务的损失按照比例进行损失联合并通过梯度下降法更新自监督学习神经网络；

K.将训练好的自监督学习神经网络进行修改，将主干网络接上池化层和全连接层，得到预训练神经网络；

L.使用数据集中有标签图像的训练集部分对预训练神经网络进行训练，修改预训练神经网络学习率，对特征提取层的学习率设置为0.001～0.0001，对全连接层的学习率设置为0.1～0.01；M.将预训练神经网络的分类损失函数设置为平衡交叉熵函数用以解决样本不平衡，并使用梯度下降法进行网络更新；

N.挑选在有标签的皮损图像的验证集上准确率最高的预训练神经网络作为最终训练好的神经网络，并将其用于神经网络分类模块。

有益效果：本发明提出一种基于自监督学习的皮损图像智能分类方法及装置。装置中包含图像采集模块、图像处理模块、神经网络训练模块、神经网络分类模块、输出显示模块；在神经网络训练模块中应用多通道自监督学习的训练方法，得到适用于皮肤特征提取的神经网络，用以解决现有技术因皮肤皮损图像数量不足而导致的神经网络过拟合问题，最终得到适用于临床环境下快速检测的皮损图像分类方法及装置。

附图说明

图1是皮肤图像分类装置结构图；

图2是图像处理模块结构图；

图3是神经网络训练模块结构图；

图4是神经网络分类模块结构图；

图5是皮肤图像分类装置流程图；

图6是神经网络训练模块流程图。

具体实施方式

在本发明中，提出了一个在开放环境下对皮损图像分类的方法及装置。本装置通过图像采集模块采集到开放环境下的皮损图像，然后使用图像处理模块对采集图像进行处理，将处理好的图像分别输入神经网络训练模块和神经网络分类模块，神经网络分类模块对图像进行分类运算并通过输出显示模块进行输出，而神经网络训练模块将在输出显示后对神经网络进行更新并同步神经网络到神经网络分类模块，基础模块包含供电装置、处理器、存储器和交互总线。装置结构图如图1所示。

下面详细说明本专利各模块及方法的主要流程：

(一)基础模块

本模块包含供电装置、处理器、存储器和交互总线；供电装置为皮肤分类装置提供电力保证正常使用，处理器通过总线与存储器交互，保证分类装置各个模块正常存储读取。

(二)图像采集模块

本模块包含镜头和一个操控装置；使用人员通过操控装置控制镜头拍摄开放环境下的皮肤图像，并将图像保存到基础模块的存储器中。

(三)图像处理模块

图像处理模块包含图像处理程序G₀、G₁、G₂、G₃、G₄，其中G₀、G₁、G₂、G₃输出结果被神经网络训练模块使用，处理程序G₄的结果为神经网络分类模块使用。其模块结构图如图2所示。

图像处理程序G₀对存储器中图片进行随机水平翻转、随机垂直翻转、随机裁剪大小(裁剪区域为原图面积的50％～100％)、图片尺寸调整为224*224像素，得到图像I₀。图像处理程序G₀将存储器中的训练图片进行增强从而加大数据量防止神经网络训练过拟合。

图像处理程序G₁对图像I₀中的随机区域进行丢弃(丢弃区域面积不超过图像I₀面积的1/4)，将图像丢弃区域填充为255，将丢弃后图像记为I₁，丢弃区域的图像记为

并将I₁和

进行归一化处理。

图像处理程序G₂对图像I₀进行两次随机颜色抖动、灰度变换、高斯模糊操作，得到图像I₂₁、I₂₂，由于两次操作都随机进行，故I₂₁、I₂₂不一定完全相等，最后对I₂₁和I₂₂进行归一化处理。

图像处理程序G₃对图像I₀进行一次随机翻转，角度限定为(0°,90°,180°,270°)并保留反转后的图像I₃和

及其对应标签y₃(0,1,2,3)，最终对图像I₃和

进行归一化处理。

图像处理程序G₄对存储器中的刚拍摄的图片进行尺寸调整，让图片大小保持为224*224像素，然后对图片进行归一化和标准化处理，从而确保拍摄图像不受光线造成干扰。

(四)神经网络训练模块

神经网络训练模块主要包含自监督学习预训练神经网络方法和微调预训练神经网络方法；通过自监督学习预训练神经网络方法构建自监督学习神经网络，通过对子监督学习神经网络的训练得到预训练神经网络，然后通过微调预训练神经网络方法，最终得到皮肤图像分类神经网络，并将皮肤图像分类神经网络应用到神经网络分类模块。神经网络训练模块流程图如图3所示。

1、自监督学习预训练神经网络方法

自监督学习神经网络方法通过对主干网络添加抠图辅助任务、对比学习辅助任务、判别辅助任务三个辅助任务建立自监督学习神经网络了，输入通过图像处理模块的图片，对自监督学习神经网络进行训练，借助于联合辅助任务的损失函数，最终得到经过自监督学习的预训练神经网络。

(1)建立主干网络

选用ResNet50作为主干网络的基础；对ResNet50进行修改，将网络的池化层和分类器进行丢弃，保留前面的卷积层作为特征提取层；将修改后的网络设为自监督学习预训练神经网络方法的主干网络。

(2)建立抠图辅助任务分支网络

建立一个具有五次上卷积模块的分支网络，每个上卷积模块输出的采样是输入的两倍，从而使最后的输出特征图与经过图片处理模块后图片的各维度长宽相等；每个上卷积模块的卷积核数是上一个上卷积模块的一半，初始上卷积模块的卷积核数为1024，最后一个上卷积模块的卷积核数为3，最终使抠图辅助任务分支网络输出的特征图维度为3。

将图像处理模块中经过G₀、G₁处理程序后的图片I₁输入主干网络和抠图辅助任务分支网络得到最终输出特征向量F₁(I₁)。将F₁(I₁)和原图I₁及图像处理模块的

掩码图依照损失函数进行抠图区域的差值运算，从而确定抠图辅助任务分支的具体损失。损失函数如下：

其中⊙表示图片逐个像素的乘积；

中掩码区域为1，非掩码区域为0。

(3)建立对比学习辅助任务分支网络

建立一个具有一个预测头的对比学习分支网络，预测头由两个多层感知机和多层感知机之间的ReLu激活函数组成，每个多层感知机由全连接层和BN层组成。将图像处理模块中经过G₀、G₂处理程序后的图片I₂₁、I₂₂分别输入主干网络和对比学习辅助任务分支网络得到最终输出特征向量F₂(I₂₁)和F₂(I₂₂)。然后计算两个特征向量之间的余弦相似度。公式如下：

其中F₂(I₂₁)^T代表F₂(I₂₁)特征向量的转置，||p||表示向量p的范数，τ可以调节余弦相似度的范围。不仅需要计算增强图像I₂₁、I₂₂之间的相似度，还需要计算增强图像与其他输入的图像之间的相似度，使增强图像之间相似度越大，与其他图像相似度越小。将余弦相似度指数化，结合交叉熵损失函数从而得到对比学习辅助任务的损失函数：

(4)建立判别辅助任务分支网络

判别辅助任务分支网络由拼接层、池化层和预测层组成，预测层由ReLu激活函数和全连接层组成。拼接层将主干网络对I₃和

图像的特征向量进行拼接，池化层对拼接的特征向量进行降维，最后通过预测层来判断两幅图像之间的旋转关系，并根据标签y₃真实值通过损失函数进行损失计算。判别辅助任务让自监督网络的特征提取层学习到图片的高层语义信息。其损失函数如下所示：

其中θ表示全连接层预测的值，F₃(y₃|θ)表示网络的变换预测概率，公式如下：

(5)联合损失函数和主干网络及三个分支网络参数更新

将抠图辅助任务、对比学习辅助任务、判别辅助任务的三种损失结合起来并按照一定的比例对主干网络和各辅助任务的分支网络进行更新，从而使自监督学习神经网络的主干网络获得图片的整体感知能力、图片的表面特征细节、图片的上下文一致性以及图片的高级语义信息，最终得到预训练神经网络。自监督学习预训练神经网络的特征联合损失函数如下所示：

L＝γ₁L₁+γ₂L₂+γ₃L₃ (6)

其中γ₁：γ₂：γ₃＝15：1：1，将损失函数值通过梯度下降法(SGD)对自监督神经网络进行更新，实现更好的特征提取。梯度下降法中θ_j表示提取参数，α表示学习率公式如下：

2、微调预训练神经网络方法

通过使用微调预训练神经网络方法，将从自监督学习中得到的预训练网络进行监督学习，对预训练网络参数进行微调，最终得到皮肤图像分类神经网络。

1)修改预训练神经网络及学习率

使用装置存储器中的有标签的皮肤图像对自监督预训练网络进行有监督的参数调整。先将自监督预训练神经网络进行修改，添加一个softmax分类器，分类器分类的种类按照存储器中有标签皮损图像的种类进行设置。然后使用存储器中有标签图片对修改后的网络进行参数调整，设置自监督预训练神经网络部分的学习率为μ₁＝0.001～0.0001，对全连接层的学习率设置为μ₂＝0.1～0.01，从而确保全连接层的快速收敛和特征提取层的微调相结合，最后使用K折交叉验证对预训练网络进行调整。

2)微调神经网络的分类损失函数

由于疾病的发病频率并不相同，导致装置中收集在存储器中的有标签的皮损图像集不平衡，导致神经网络更喜欢将拍摄图像判别为数据集中样本数量多的疾病，从而提高精确率。但是却导致神经网络整体的召回率偏低，使发病率较低的皮肤疾病常被误诊。因此采用平衡交叉熵函数作为存储器中有标签的皮肤图像的整体损失函数，从而平衡样本不平衡。其中平衡交叉熵函数为：

其中a_i的值为存储器中各个类别之间样本数量的反比，从而确保损失函数对样本数量少的皮肤疾病也有较好的损失更新。

(五)神经网络分类模块

神经网络分类模块主要使用神经网络训练模块最终得到的皮肤图像分类神经网络对经过图像处理模块的G₄处理程序处理过的输入图像进行分类预测，并将预测结果进行处理和存储。神经网络分类模块流程图如图4所示。

将存储器中处理后的拍摄皮肤图像输入到皮肤图像分类神经网络，该神经网络对输入图像进行预测，给出疾病相应的预测值。神经网络分类模块对疾病的预测值进行处理，选出最高预测值及其对应疾病并保存到存储器中。

(六)输出显示模块

本模块主要包含一个显示装置和播放装置；将保存在存储器中的输入图像最高预测值及其疾病信息通过显示装置和播放装置告知拍摄者。

实施说明：本发明所提出的在开放环境下皮肤图片的神经网络分类方法。包含皮肤图像分类装置流程图及神经网络训练模块流程图。

详细步骤如下：

步骤1：在开放环境下被采集者通过装置使用图像采集模块程序对皮肤图像进行采集，并存储到装置的存储器中。

步骤2：将步骤1中拍摄的图片通过装置的图像处理模块中的程序G4，进行图像大小调整及归一化和标准化处理，从而确保拍摄图像不受光线造成干扰，最后放置到装置存储器中。

步骤3：将存储器中处理过的拍摄图片送入神经网络分类模块，通过皮肤图像分类神经网络对图片进行疾病预测，然后对预测结果进行处理，选出最高预测值及其对应疾病并保存到存储器中。

步骤4：将保存在存储器中的输入图像最高预测值及其疾病信息通过输出显示模块进行显示和播放。

此外，所叙述步骤之前还包括训练神经网络，主要由神经网络训练模块完成，包含以下步骤：

A.在装置的存储器中构建由无标签的皮肤图像、有标签的皮损图像组成的数据集；

B.将数据集两个部分按照K折交叉验证划分为训练集、测试集、验证集；

C.建立自监督学习预训练神经网络方法的主干网络，将ResNet50的池化层和分类器进行丢弃，保留剩余的卷积层作为特征提取层，将修改后的网络设为自监督学习预训练神经网络方法的主干网络；

D.建立自监督学习的抠图辅助任务分支网络，设置一个具有五次上卷积模块的分支网络，每个上卷积模块输出的采样是输入的两倍，并将最后输出与原图进行插值运算从而计算损失；

E.建立自监督学习的对比学习辅助任务分支网络，设置一个具有一个预测头的对比学习分支网络，预测头由两个多层感知机和多层感知机之间的ReLu激活函数组成，每个多层感知机由全连接层和BN层组成，该网络计算输入图像之间的相似度，使增强图像之间相似度越大，与其他图像相似度越小；

F.建立自监督学习的判别辅助任务分支网络，设置一个拼接层、池化层和预测层，预测层由ReLu激活函数和全连接层组成，该分支网络判断两幅图像之间的旋转关系并通过交叉熵损失函数计算损失；

G.将主干网络、抠图辅助任务分支网络、对比学习辅助任务分支网络、判别辅助任务分支网络结合起来构成自监督学习网络；

H.对步骤A中的训练集通过图像处理模块的G₀、G₁、G₂、G₃程序，然后得到图像I₁、

I₂₁、I₂₂、I₃、

I.将图像I₁、

输入主干网络和抠图辅助任务分支网络并计算损失，I₂₁、I₂₂输入主干网络和对比学习辅助任务分支网络并计算损失，I₃、

输入主干网络和判别辅助任务分支网络并计算损失；

J.将三种辅助任务的损失按照比例进行损失联合并通过梯度下降法更新自监督学习网络；

K.将训练好的自监督网络进行修改，将主干网络接上池化层和全连接层，得到预训练神经网络；

L.使用数据集中有标签图像的训练集部分对预训练神经网络进行训练，修改预训练神经网络学习率，对特征提取层的学习率设置为0.001～0.0001，对全连接层的学习率设置为0.1～0.01；

M.将预训练神经网络的分类损失函数设置为平衡交叉熵函数用以解决样本不平衡，并使用梯度下降法进行网络更新；

N.挑选在有标签的皮损图像的验证集上准确率最高的预训练神经网络作为最终训练好的神经网络，并将其用于神经网络分类模块。

需要说明的是，以上所述的实施方案应理解为说明性的，而非限制本发明的保护范围，本发明的保护范围以权利要求书为准。对于本领域技术人员而言，在不背离本发明实质和范围的前提下，对本发明作出的一些非本质的改进和调整仍属于本发明的保护范围。

Claims (4)

1.一种基于自监督学习的皮损图像智能分类装置，其特征在于：包括基础模块、图像采集模块、图像处理模块、神经网络训练模块、神经网络分类模块和输出显示模块；

所述基础模块包括供电装置、处理器、存储器和交互总线；

所述图像采集模块，用于采集开放环境下的皮损图像；

所述图像处理模块，对采集的皮损图像进行处理，并将处理后的图像分别输入到神经网络训练模块和神经网络分类模块；

所述神经网络分类模块采用皮肤图像分类神经网络对图像进行分类运算得到分类预测结果，并将所述分类预测结果通过所述输出显示模块进行输出显示；

所述神经网络训练模块在输出显示后对皮肤图像分类神经网络进行更新并同步到神经网络分类模块。

2.根据权利要求1所述的一种基于自监督学习的皮损图像智能分类装置，其特征在于：所述图像处理模块包含图像处理程序G₀、G₁、G₂、G₃、G₄，其中G₀、G₁、G₂、G₃输出结果被神经网络训练模块使用，处理程序G₄的结果为神经网络分类模块使用；

图像处理程序G₀对存储器中图片进行随机水平翻转、随机垂直翻转、随机裁剪大小、图片尺寸调整为224*224像素，得到图像I₀。图像处理程序G₀将存储器中的训练图片进行增强从而加大数据量防止神经网络训练过拟合；

图像处理程序G₁对图像I₀中的随机区域进行丢弃，将图像丢弃区域填充为255，将丢弃后图像记为I₁，丢弃区域的图像记为I`<sub>1</sub>，并将I<sub>1</sub>和I`₁进行归一化处理；

图像处理程序G₂对图像I₀进行两次随机颜色抖动、灰度变换、高斯模糊操作，得到图像I₂₁、I₂₂，由于两次操作都随机进行，故I₂₁、I₂₂不一定完全相等，最后对I₂₁和I₂₂进行归一化处理；

图像处理程序G₃对图像I₀进行一次随机翻转，角度限定为(0°,90°,180°,270°)并保留反转后的图像I₃和I`<sub>3</sub>及其对应标签y<sub>3</sub>(0,1,2,3)，最终对图像I<sub>3</sub>和I`₃进行归一化处理；

图像处理程序G₄对存储器中的刚拍摄的图片进行尺寸调整，让图片大小保持为224*224像素，然后对图片进行归一化和标准化处理，从而确保拍摄图像不受光线造成干扰。

3.根据权利要求2所述的一种基于自监督学习的皮损图像智能分类装置，其特征在于：所述神经网络训练模块包含自监督学习预训练神经网络方法和微调预训练神经网络方法；通过自监督学习预训练神经网络方法构建自监督学习神经网络，通过对自监督学习神经网络的训练得到预训练神经网络，然后通过微调预训练神经网络方法，最终得到皮肤图像分类神经网络，并将皮肤图像分类神经网络应用到神经网络分类模块。

4.根据权利要求3所述的一种基于自监督学习的皮损图像智能分类装置，其特征在于：所述神经网络训练模块，皮肤图像分类神经网络的训练方法，具体包括以下步骤：

A.在装置的存储器中构建由无标签的皮肤图像、有标签的皮损图像组成的数据集；

B.将数据集两个部分按照K折交叉验证划分为训练集、测试集、验证集；

C.建立自监督学习预训练神经网络方法的主干网络，将ResNet50的池化层和分类器进行丢弃，保留剩余的卷积层作为特征提取层，将修改后的网络设为自监督学习预训练神经网络方法的主干网络；

D.建立自监督学习的抠图辅助任务分支网络，设置一个具有五次上卷积模块的分支网络，每个上卷积模块输出的采样是输入的两倍，并将最后输出与原图进行插值运算从而计算损失；

E.建立自监督学习的对比学习辅助任务分支网络，设置一个具有一个预测头的对比学习分支网络，预测头由两个多层感知机和多层感知机之间的ReLu激活函数组成，每个多层感知机由全连接层和BN层组成，该网络计算输入图像之间的相似度，使增强图像之间相似度越大，与其他图像相似度越小；

F.建立自监督学习的判别辅助任务分支网络，设置一个拼接层、池化层和预测层，预测层由ReLu激活函数和全连接层组成，该分支网络判断两幅图像之间的旋转关系并通过交叉熵损失函数计算损失；

G.将主干网络、抠图辅助任务分支网络、对比学习辅助任务分支网络、判别辅助任务分支网络结合起来构成自监督学习神经网络；

H.对步骤A中的训练集通过图像处理模块的G₀、G₁、G₂、G₃程序，然后得到图像I₁、I`<sub>1</sub>、I<sub>21</sub>、I<sub>22</sub>、I<sub>3</sub>、I`₃；

I.将图像I₁、I`<sub>1</sub>输入主干网络和抠图辅助任务分支网络并计算损失，I<sub>21</sub>、I<sub>22</sub>输入主干网络和对比学习辅助任务分支网络并计算损失，I<sub>3</sub>、I`₃输入主干网络和判别辅助任务分支网络并计算损失；

J.将三种辅助任务的损失按照比例进行损失联合并通过梯度下降法更新自监督学习神经网络；

K.将训练好的自监督学习神经网络进行修改，将主干网络接上池化层和全连接层，得到预训练神经网络；

L.使用数据集中有标签图像的训练集部分对预训练神经网络进行训练，修改预训练神经网络学习率，对特征提取层的学习率设置为0.001～0.0001，对全连接层的学习率设置为0.1～0.01；

M.将预训练神经网络的分类损失函数设置为平衡交叉熵函数用以解决样本不平衡，并使用梯度下降法进行网络更新；

N.挑选在有标签的皮损图像的验证集上准确率最高的预训练神经网络作为最终训练好的神经网络，并将其用于神经网络分类模块。

Images