CN113012138A - 一种甲黑线皮肤镜图像分析方法及系统 - Google Patents

Abstract

本发明公开了一种甲黑线皮肤镜图像分析方法及系统。所述方法包括以下步骤：建立带有二值化掩膜图像标签的甲黑线皮肤镜图像原始训练样本集，对图像标签进行边缘提取，生成边缘检测标签；对原始训练样本集进行数据增强，构建数据增强训练样本集；搭建编码‑解码结构的全卷积分割网络；全卷积分割网络输出指甲区域和变色区域的轮廓，利用图像学知识获取图像分析相关指标，完成甲黑线皮肤镜图像分析。本发明引入了卷积神经网络，相比传统算法，深度监督学习的方法让模型能学习到数据集中图像的共同特性，更好地排除背景噪声的干扰，拥有更高精度的分割效果，同时具有更好的鲁棒性。

Description

一种甲黑线皮肤镜图像分析方法及系统

技术领域

本发明涉及计算机技术、模式识别领域，具体涉及一种甲黑线皮肤镜图像分析方法及系统。

背景技术

甲黑线，即指甲上的黑色色素是非常常见的现象，是皮肤科医生常见的咨询病例之一。这种情况可能与多种疾病有关，例如，趾下出血，甲癣，外源性染色，长期摩擦，全身性疾病，指甲基质痣等。在极少数情况下，这是恶性黑色素瘤的最初表现。尽管恶性黑色素瘤是威胁生命的皮肤肿瘤，但在更早诊断和治疗后预后会更好。不幸的是，指甲单元的黑色素瘤通常比大多数其他身体部位的黑色素瘤诊断晚，导致更差的治疗结果。因此早期黑色素瘤甲黑线的诊断尤为重要。

计算机辅助系统在医疗图像领域已经有不少应用，尤其在皮肤镜图像识别领域。皮肤镜是一种观察活体皮肤表面以下微细结构和色素的无创性显微图像分析技术。它可以观察到表皮下部、真皮乳头层和真皮深层等肉眼不可见的影像结构与特征，这些特征与皮肤组织病理学的变化有着特殊和相对明确的对应关系，根据这些对应关系确定了皮肤镜诊断的敏感性、特异性。皮肤镜仪器拍摄的高精度图像能直观呈现患者病变部位的细节，帮助医生初步判断患者的病情，作为病理诊断的第一步。

图像分割作为医疗图像处理领域常见的技术方法，目的是提取医疗图像中需要关注的目标区域的轮廓，排除背景噪声的干扰。现有自动分割算法可大致分为基于直方图阈值处理、基于无监督聚类、基于边缘和区域、基于活动轮廓和监督学习方法。近年来，卷积神经网络(CNN)常用于图像分割领域，以提高分割目标的精度。CNN有强大的特征提取能力，相比传统图像分割方法，CNN具有更强的鲁棒性，能适应更复杂的分割环境。医疗图像通常具有细节多，噪声多，边缘模糊等特点，在众多医疗图像数据集中，相比传统算法卷积神经网络在医疗图像分割中表现出更强大的性能，因此将卷积神经网络应用到甲黑线皮肤镜图像的分割具有可行性。

发明内容

指甲变色隐藏的黑色素瘤危险往往容易被大众忽视，针对现有的基于甲黑线皮肤镜图像智能分析方法的不足，本发明提出基于边缘增强和空间注意力机制的甲黑线皮肤镜图像分析方法及系统。首先，本方法采用深度学习中的监督学习方法，利用编码-解码的全卷积图像分割网络，在编码器增加空间注意力模块，在解码端加入边缘监督，让模型更好地学习指甲部位和病变部位的位置信息以及边缘信息，加强模型分割效果。其次，利用图像学知识，将指甲区域和病变区域两部分的分割结果根据黑色素瘤诊断的ABCDEF规则进行重要指标的量化分析，包括面积占比，颜色深度，颜色均匀度，形状规则度和黑线是否侵入皮肤。

本发明的目的至少通过如下技术方案之一实现。

一种甲黑线皮肤镜图像分析方法，包括以下步骤：

S1、建立带有二值化掩膜图像标签的甲黑线皮肤镜图像原始训练样本集，对图像标签进行边缘提取，生成边缘检测标签；

S2、对原始训练样本集进行数据增强，构建数据增强训练样本集；

S3、搭建编码-解码结构的全卷积分割网络；

S4、全卷积分割网络输出指甲区域和变色区域的轮廓，利用图像学知识获取图像分析相关指标，完成甲黑线皮肤镜图像分析。

进一步地，步骤S1中，原始训练样本集中的样本为固定精度皮肤镜仪器拍摄的甲黑线图像。

进一步地，步骤S2中，进行数据增强的方法包括平移，翻转，加噪和裁剪。

进一步地，步骤S3中，采用经ImageNet预训练的卷积神经网络作为编码器提取特征，解码器采用反卷积进行分割结果重建，具体包括以下步骤：

S3.1、在全卷积分割网络的编码器中，加入空间注意力模块，使全卷积分割网络在做特征提取时学习到图像中不同位置区域的重要程度，使全卷积分割网络将注意力更多的放在指甲区域和病变区域；

S3.2、在全卷积分割网络的解码器中，加入边缘增强模块，全卷积分割网络的编码器输出的特征复制成两路特征：第一特征和第二特征，分别进入两个解码通道；一路对第一特征做反卷积输出目标区域的分割结果；另一路对第二特征做反卷积输出目标区域的边缘检测结果，同时把边缘检测结果压缩并联到第一特征中；

S3.3、在训练中同时监督两路输出的结果，得到训练好的全卷积分割网络；对全卷积分割网络进行边缘增强能加强全卷积分割网络对目标区域边缘像素点的学习，提高分割的准确率。

进一步地，步骤S3.1中，编码器以预训练的残差网络Res-Net34为基础骨架(backbone)，去掉全连接层；

分别在残差网络Res-Net34第二层到第五层中任意相邻的两层之间加入一个空间注意力模块。

进一步地，编码器采用其他CNN网络为基础骨架(backbone)，其他CNN网络包括Google-Net或Mobile-Net，可按照需求和实验结果在卷积层之间加入若干空间注意力模块，具体位置和数量不做限制。

进一步地，第i个空间注意力模块中，生成和残差网络Res-Net34第N层输出的中间特征的高度、宽度一致的空间注意力特征图与中间特征相乘，得到第i个空间注意力模块最终生成的特征，让全卷积分割网络在提取特征的过程中学习到更多目标区域的位置信息，排除背景噪声的干扰，其中，2<＝N<5，i＝N-1；编码器中，残差网络最后一层输入最后一个空间注意力模块最终生成的特征，输出编码特征至解码器。

进一步地，在步骤S3.2中，加入边缘增强模块；把编码器得到的编码特征(C×H×W)复制成两部分：第一特征和第二特征，分别进入目标区域分割通道和目标区域边缘检测通道，利用反卷积进行两路重建；

在目标区域边缘检测通道中把第二特征重建成目标区域边缘检测掩膜，即生成目标区域边缘检测结果；然后，将目标区域边缘检测预测结果图压缩成H×W大小，并联到解码器目标区域分割通道的第一特征中，在目标区域分割通道中把第一特征重建成目标区域分割掩膜，即生成目标区域分割结果；C、H和W分别表示通道数、特征高度和特征宽度；目标区域分割结果作为全卷积分割网络的输出结果。

进一步地，S3.3中，在训练中同时监督两路输出的结果，把两路通道的结果分别与步骤S1得到的对应的标签图计算损失函数值，损失函数采用交叉熵损失函数，全卷积分割网络最终的损失函数由两者加权相加，最终得到训练好的全卷积分割网络。

进一步地，步骤S4中，输入待分析的甲黑线皮肤镜图像至步骤S3中得到的训练好的全卷积分割网络，根据全卷积分割网络输出的目标区域分割结果即指甲区域和变色区域的轮廓，利用图像学知识获取图像分析相关指标，包括变色区域的颜色深度和均匀度、变色区域占指甲区域面积比例、病变区域形状规则度以及变色区域是否超过指甲区域侵入皮肤及侵入程度，这些指标都和患者病情程度息息相关，属于黑色素瘤诊断ABCDEF规则里的重要医疗指标；图像分析相关指标具体计算如下：

首先将待分析的甲黑线皮肤镜图像灰度化，变色区域的颜色深度的计算采用病变区域的像素值平均值，颜色均匀度的计算采用病变区域像素值的标准差，面积占比通过计算病变区域面积与指甲面积的比值得到，面积占比超过1/3即为严重；病变区域是否侵入皮肤以及侵入程度是通过计算病变区域与指甲区域的非重叠部分面积与指甲区域面积的比值得到，比值超过指甲面积的1/32即有侵入皮肤现象，比值越高侵入程度越高；病变区域的形状规则度的计算分为两步，首先构造病变区域的最小外接矩形，然后计算病变区域轮廓与其最小外接矩形的Hu矩差，Hu矩差越大，病变区域形状越不规则；完成甲黑线皮肤镜图像分析。

一种甲黑线皮肤镜图像分析系统，包括：

训练集生成模块，用于根据甲黑线皮肤镜图像建立带有二值化掩膜图像标签的甲黑线皮肤镜图像原始训练样本集，进而对原始训练样本集进行数据增强，得到数据增强训练样本集；

编码-解码结构的全卷积分割网络，加入空间注意力模块和边缘增强模块，用于根据甲黑线皮肤镜图像输出目标区域分割结果即指甲区域和变色区域的轮廓；

网络训练模块，用于根据数据增强训练样本集训练编码-解码结构的全卷积分割网络；

指标分析模块，根据编码-解码结构的全卷积分割网络输出的指甲区域和变色区域的轮廓，利用图像学知识获取图像分析相关指标，完成甲黑线皮肤镜图像分析。

本发明采用以上技术方案，具有以下有益效果：

1.本发明引入了卷积神经网络(CNN)，近年来，在图像分割技术中，卷积神经网络以其强大的特征提取能力占据优势。相比传统算法，深度监督学习的方法让模型能学习到数据集中图像的共同特性，更好地排除背景噪声的干扰，拥有更高精度的分割效果，同时具有更好的鲁棒性。

2.本发明引入了深度学习计算机视觉领域中的注意力机制方法，注意力机制又分成空间注意力机制和通道注意力机制，根据甲黑线皮肤镜图像的特点，本方法在模型解码器中加入空间注意力机制，是的模型在提取特征时学习到更多的位置信息，排除背景区域噪声的干扰，更好地定位目标区域。

3.本发明引入了边缘增强模块。把边缘检测加入损失函数中进行监督，同时把边缘检测结果加入到分割通道特征进行分割结果重建，能提高模型对位于目标区域边缘像素点的分类能力。

附图说明

图1是本发明实施例中一种甲黑线皮肤镜图像分析方法的原理流程图；

图2是本发明实施例中在Res-Net34中添加空间注意力模块的原理图；

图3是本发明实施例中空间注意力模块的原理图；

图4是本发明实施例中边缘增强模块的原理图。

具体实施方式

下面结合附图与实施例对本发明作进一步详细的描述，但本发明的实施方式并不限于此；也就是说，描述这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的保护范围。

实施例：

本实施例提供的基于边缘增强和空间注意力图像分割算法的甲黑线皮肤镜图像分析方法，在皮肤镜拍摄的甲黑线图像数据集的基础上，使用基于深度学习图像分割模型获取指甲区域和变色区域的轮廓，在此基础上根据黑色素瘤的ABCDEF规则分析具体的医疗指标。

首先建立甲黑线皮肤镜图像数据集，进行数据增强，然后搭建编码-解码结构的全卷积分割网络，在网络的编码器加入空间注意力机制提高网络的定位能力，在解码器部分加入边缘增强模块提高网络的边缘感知能力。分割网络输出指甲区域和变色区域的轮廓图，在此基础上利用图像学知识，计算病变区域的颜色深度，颜色均匀度，面积占比，是否侵入皮肤，形状规则度。在早期诊断，医生可以根据各项指标的程度判断病人病情的严重程度。

本实施例中，一种甲黑线皮肤镜图像分析方法，如图1所示，包括以下步骤：

S1、建立带有二值化掩膜图像标签的甲黑线皮肤镜图像原始训练样本集，对图像标签进行边缘提取，生成边缘检测标签；

原始训练样本集中的样本为固定精度皮肤镜仪器拍摄的甲黑线图像。

本实施例中，每张甲黑线皮肤镜图像大小为2048x1536,进入模型前压缩到256x256大小。

S2、对原始训练样本集进行数据增强，包括平移，翻转，加噪和裁剪，构建数据增强训练样本集；

S3、搭建编码-解码结构的全卷积分割网络，采用经ImageNet预训练的卷积神经网络作为编码器提取特征，解码器采用反卷积进行分割结果重建，具体包括以下步骤：

S3.1、在全卷积分割网络的编码器中，加入空间注意力模块，使全卷积分割网络在做特征提取时学习到图像中不同位置区域的重要程度，使全卷积分割网络将注意力更多的放在指甲区域和病变区域；

本实施例中，如图1所示，编码器以预训练的残差网络Res-Net34为基础骨架(backbone)，去掉全连接层，共有5层；第一层为1层卷积层，卷积核大小为7x7，输出64个通道的特征；第二层包含3个残差结构，每个残差结构里卷积核大小为3x3，输出64通道特征；第三层包含4个残差结构，每个残差结构里卷积核大小为3x3，输出128通道特征；第四层包含6个残差结构，每个残差结构里卷积核大小为3x3，输出256通道特征；第5层包含3个残差结构，每个残差结构里卷积核大小为3x3，输出512通道特征。

在另一个实施例中，编码器采用其他CNN网络为基础骨架(backbone)，其他CNN网络包括Google-Net或Mobile-Net，可按照需求和实验结果在卷积层之间加入若干空间注意力模块，具体位置和数量不做限制。

本实施例中，如图2所示，分别在残差网络Res-Net34第二层到第五层中任意相邻的两层之间加入一个空间注意力模块。

本实施例中，如图3所示，第i个空间注意力模块中，根据残差网络Res-Net34第N层输出的中间特征，首先做一个基于通道轴的全局最大池化和全局平均池化操作，然后将两个操作的结果基于通道做并联操作，然后经过一个卷积层，降维为1个通道，再经过激活函数sigmoid和残差网络Res-Net34第N层输出的中间特征的高度、宽度一致的空间注意力特征图(1×H×W)，最后将空间注意力特征图与中间特征相乘，得到第i个空间注意力模块最终生成的特征，让全卷积分割网络在提取特征的过程中学习到更多目标区域的位置信息，排除背景噪声的干扰，其中，2<＝N<5，i＝N-1；编码器中，残差网络最后一层输入最后一个空间注意力模块最终生成的特征，输出编码特征至解码器。

S3.2、在全卷积分割网络的解码器中，加入边缘增强模块；如图4所示，把编码器得到的编码特征(C×H×W)复制成两部分：第一特征和第二特征，分别进入目标区域分割通道和目标区域边缘检测通道，利用反卷积进行两路重建；

在目标区域边缘检测通道中把第二特征重建成目标区域边缘检测掩膜，即生成目标区域边缘检测结果；然后，将目标区域边缘检测预测结果图压缩成H×W大小，并联到解码器目标区域分割通道的第一特征中，在目标区域分割通道中把第一特征重建成目标区域分割掩膜，即生成目标区域分割结果；C、H和W分别表示通道数、特征高度和特征宽度；目标区域分割结果作为全卷积分割网络的输出结果。

S3.3、在训练中同时监督两路输出的结果，把两路通道的结果分别与步骤S1得到的对应的标签图计算损失函数值，损失函数采用交叉熵损失函数，全卷积分割网络最终的损失函数由两者加权相加，最终得到训练好的全卷积分割网络；

在另一个实施例中，计算最终的损失函数时，目标区域边缘检测结果的权重比值除了可以是0.2，取[0.1,0.3]之间的数值都可以达到不错的效果；

本实施例中，目标区域分割结果的损失函数权重为1，目标区域边缘检测结果的损失函数权重为0.2；对全卷积分割网络进行边缘增强能加强全卷积分割网络对目标区域边缘像素点的学习，提高分割的准确率。

S4、输入待分析的甲黑线皮肤镜图像至步骤S3中得到的训练好的全卷积分割网络，根据全卷积分割网络输出的目标区域分割结果即指甲区域和变色区域的轮廓，利用图像学知识获取图像分析相关指标，包括变色区域的颜色深度和均匀度、变色区域占指甲区域面积比例、病变区域形状规则度以及变色区域是否超过指甲区域侵入皮肤及侵入程度，这些指标都和患者病情程度息息相关，属于黑色素瘤诊断ABCDEF规则里的重要医疗指标；图像分析相关指标具体计算如下：

首先将待分析的甲黑线皮肤镜图像灰度化，变色区域的颜色深度的计算采用病变区域的像素值平均值，颜色均匀度的计算采用病变区域像素值的标准差，面积占比通过计算病变区域面积与指甲面积的比值得到，面积占比超过1/3即为严重；病变区域是否侵入皮肤以及侵入程度是通过计算病变区域与指甲区域的非重叠部分面积与指甲区域面积的比值得到，比值超过指甲面积的1/32即有侵入皮肤现象，比值越高侵入程度越高；病变区域的形状规则度的计算分为两步，首先构造病变区域的最小外接矩形，然后计算病变区域轮廓与其最小外接矩形的Hu矩差，Hu矩差越大，病变区域形状越不规则；完成甲黑线皮肤镜图像分析。

一种甲黑线皮肤镜图像分析系统，包括：

训练集生成模块，用于根据甲黑线皮肤镜图像建立带有二值化掩膜图像标签的甲黑线皮肤镜图像原始训练样本集，进而对原始训练样本集进行数据增强，得到数据增强训练样本集；

编码-解码结构的全卷积分割网络，加入空间注意力模块和边缘增强模块，用于根据甲黑线皮肤镜图像输出目标区域分割结果即指甲区域和变色区域的轮廓；

网络训练模块，用于根据数据增强训练样本集训练编码-解码结构的全卷积分割网络；

指标分析模块，根据编码-解码结构的全卷积分割网络输出的指甲区域和变色区域的轮廓，利用图像学知识获取图像分析相关指标，完成甲黑线皮肤镜图像分析。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种甲黑线皮肤镜图像分析方法，其特征在于，包括以下步骤：

S1、建立带有二值化掩膜图像标签的甲黑线皮肤镜图像原始训练样本集，对图像标签进行边缘提取，生成边缘检测标签；

S2、对原始训练样本集进行数据增强，构建数据增强训练样本集；

S3、搭建编码-解码结构的全卷积分割网络；

S4、全卷积分割网络输出指甲区域和变色区域的轮廓，利用图像学知识获取图像分析相关指标，完成甲黑线皮肤镜图像分析。

2.根据权利要求1所述的甲黑线皮肤镜图像分析方法，其特征在于，步骤S1中，原始训练样本集中的样本为固定精度皮肤镜仪器拍摄的甲黑线图像；

步骤S2中，进行数据增强的方法包括平移，翻转，加噪和裁剪。

3.根据权利要求1所述的甲黑线皮肤镜图像分析方法，其特征在于，步骤S3中，采用经ImageNet预训练的卷积神经网络作为编码器提取特征，解码器采用反卷积进行分割结果重建，具体包括以下步骤：

S3.1、在全卷积分割网络的编码器中，加入空间注意力模块；

S3.2、在全卷积分割网络的解码器中，加入边缘增强模块，全卷积分割网络的编码器输出的特征复制成两路特征：第一特征和第二特征，分别进入两个解码通道；一路对第一特征做反卷积输出目标区域的分割结果；另一路对第二特征做反卷积输出目标区域的边缘检测结果，同时把边缘检测结果压缩并联到第一特征中；

S3.3、在训练中同时监督两路输出的结果，得到训练好的全卷积分割网络。

4.根据权利要求3所述的甲黑线皮肤镜图像分析方法，其特征在于，步骤S3.1中，编码器以预训练的残差网络Res-Net34为基础骨架，去掉全连接层；

分别在残差网络Res-Net34第二层到第五层中任意相邻的两层之间加入一个空间注意力模块。

5.根据权利要求3所述的甲黑线皮肤镜图像分析方法，其特征在于，编码器采用其他CNN网络为基础骨架，其他CNN网络包括Google-Net或Mobile-Net。

6.根据权利要求4所述的甲黑线皮肤镜图像分析方法，其特征在于，第i个空间注意力模块中，生成和残差网络Res-Net34第N层输出的中间特征的高度、宽度一致的空间注意力特征图与中间特征相乘，得到第i个空间注意力模块最终生成的特征，其中，2<＝N<5，i＝N-1；编码器中，残差网络最后一层输入最后一个空间注意力模块最终生成的特征，输出编码特征至解码器。

7.根据权利要求6所述的甲黑线皮肤镜图像分析方法，其特征在于，在步骤S3.2中，加入边缘增强模块；把编码器得到的编码特征复制成两部分：第一特征和第二特征，分别进入目标区域分割通道和目标区域边缘检测通道，利用反卷积进行两路重建；

在目标区域边缘检测通道中把第二特征重建成目标区域边缘检测掩膜，即生成目标区域边缘检测结果；然后，将目标区域边缘检测预测结果图压缩成H×W大小，并联到解码器目标区域分割通道的第一特征中，在目标区域分割通道中把第一特征重建成目标区域分割掩膜，即生成目标区域分割结果；C、H和W分别表示通道数、特征高度和特征宽度；目标区域分割结果作为全卷积分割网络的输出结果。

8.根据权利要求7所述的甲黑线皮肤镜图像分析方法，其特征在于，S3.3中，在训练中同时监督两路输出的结果，把两路通道的结果分别与步骤S1得到的对应的标签图计算损失函数值，损失函数采用交叉熵损失函数，全卷积分割网络最终的损失函数由两者加权相加，最终得到训练好的全卷积分割网络。

9.根据权利要求1～8任一项所述的甲黑线皮肤镜图像分析方法，其特征在于，步骤S4中，输入待分析的甲黑线皮肤镜图像至步骤S3中得到的训练好的全卷积分割网络，根据全卷积分割网络输出的目标区域分割结果即指甲区域和变色区域的轮廓，利用图像学知识获取图像分析相关指标，包括变色区域的颜色深度和均匀度、变色区域占指甲区域面积比例、病变区域形状规则度以及变色区域是否超过指甲区域侵入皮肤及侵入程度，具体如下：

首先将待分析的甲黑线皮肤镜图像灰度化，变色区域的颜色深度的计算采用病变区域的像素值平均值，颜色均匀度的计算采用病变区域像素值的标准差，面积占比通过计算病变区域面积与指甲面积的比值得到，面积占比超过1/3即为严重；病变区域是否侵入皮肤以及侵入程度是通过计算病变区域与指甲区域的非重叠部分面积与指甲区域面积的比值得到，比值超过指甲面积的1/32即有侵入皮肤现象，比值越高侵入程度越高；病变区域的形状规则度的计算分为两步，首先构造病变区域的最小外接矩形，然后计算病变区域轮廓与其最小外接矩形的Hu矩差，Hu矩差越大，病变区域形状越不规则；完成甲黑线皮肤镜图像分析。

10.一种甲黑线皮肤镜图像分析系统，其特征在于，包括：

训练集生成模块，用于根据甲黑线皮肤镜图像建立带有二值化掩膜图像标签的甲黑线皮肤镜图像原始训练样本集，进而对原始训练样本集进行数据增强，得到数据增强训练样本集；

编码-解码结构的全卷积分割网络，加入空间注意力模块和边缘增强模块，用于根据甲黑线皮肤镜图像输出目标区域分割结果即指甲区域和变色区域的轮廓；

网络训练模块，用于根据数据增强训练样本集训练编码-解码结构的全卷积分割网络；

指标分析模块，根据编码-解码结构的全卷积分割网络输出的指甲区域和变色区域的轮廓，利用图像学知识获取图像分析相关指标，完成甲黑线皮肤镜图像分析。

Images