CN108846311A - 基于深度学习的检测面部皮肤片状缺陷的方法及装置 - Google Patents

Abstract

本发明提供一种基于深度学习的检测面部皮肤片状缺陷的方法及装置，其中本发明的方法包括：获取已标注面部皮肤片状缺陷的样本图像；从样本图像中提取预设尺寸的阴性图像块样本以及预设片状缺陷标签对应的阳性图像块样本；构建面部皮肤片状缺陷分类任务的卷积神经网络，然后利用由阴性图像块样本和阳性图像块样本组成的训练集进行训练，得到分类模型；将待测图像切割成预设尺寸的测试图像块后输入分类模型，得到各个测试图像块对应的分类标签以及分类置信概率；根据所有测试图像块对应的分类标签以及分类置信概率，在待测图像上标出预设片状缺陷的位置。

Description

基于深度学习的检测面部皮肤片状缺陷的方法及装置

技术领域

本发明涉及一种计算机及软件技术领域，具体涉及一种基于深度学习的检测面部皮肤片状缺陷的方法及装置。

背景技术

随着生活水平的提高，大众开始追求面部皮肤的美丽健康。常见的面部皮肤缺陷根据形状、面积和分布，大致可以划分为面部皮肤片状缺陷和面部皮肤点状缺陷两类。其中面部皮肤片状缺陷包括色斑(包括真皮斑、老年斑、雀斑、黄褐斑)、过敏潮红、红血丝等范围较大、形状较不规则的皮肤问题。

现有的针对面部皮肤片状缺陷的计算机图像识别技术主要基于传统算法，通过分析简单的形态学特征，例如颜色和亮度，对面部皮肤片状缺陷进行检测，能够较快地得到分析结果，但是这类方法对图像的处理不准确、鲁棒性差，易受毛发、光照条件和拍摄角度等因素的影响，仅能粗略判断疑似皮肤缺陷位置，无法确定皮肤缺陷的类型(比如区分各种色斑)，仅作为美容产品的推销手段，无法为皮肤缺陷的评估和治疗提供科学严谨的参考。

发明内容

有鉴于此，本发明提供一种基于深度学习的检测面部皮肤片状缺陷的方法及装置，能够解决现有技术的无法为皮肤缺陷的评估和治疗提供科学严谨参考的技术问题。

为实现上述目的，根据本发明的一个方面，提供了一种基于深度学习的检测面部皮肤片状缺陷的方法，包括：获取已标注面部皮肤片状缺陷的样本图像；从所述样本图像中提取预设尺寸的阴性图像块样本以及预设片状缺陷标签对应的阳性图像块样本；构建面部皮肤片状缺陷分类任务的卷积神经网络，然后利用由所述阴性图像块样本和所述阳性图像块样本组成的训练集进行训练，得到分类模型；将待测图像切割成所述预设尺寸的测试图像块后输入所述分类模型，得到各个所述测试图像块对应的分类标签以及分类置信概率；根据所有所述测试图像块对应的分类标签以及分类置信概率，在所述待测图像上标出所述预设片状缺陷的位置。

可选地，所述预设片状缺陷标签为以下的一种或多种的组合：真皮斑、老年斑、雀斑、黄褐斑、过敏潮红、红血丝。

可选地，还包括：对所述样本图像和所述待测图像进行预处理，其中，所述预处理包括：提取有效皮肤区域；和/或，进行亮度均一化。

可选地，还包括：获取所述阴性图像样本块对应位置信息，以及获取所述阳性图像块样本对应位置信息；将所述阴性图像样本块对应位置信息和所述阳性图像块样本对应位置信息插入所述卷积神经网络的全连接层。

可选地，所述预设尺寸为32*32至256*256。

为实现上述目的，根据本发明的另一个方面，还提出一种基于深度学习的检测面部皮肤缺陷的装置，包括：获取模块，用于获取已标注面部皮肤片状缺陷的样本图像；采样模块，用于从所述样本图像中提取预设尺寸的阴性图像块样本以及预设片状缺陷标签对应的阳性图像块样本；建模模块，用于构建面部皮肤片状缺陷分类任务的卷积神经网络，然后利用由所述阴性图像块样本和所述阳性图像块样本组成的训练集进行训练，得到分类模型；分类模块，用于将待测图像切割成所述预设尺寸的测试图像块后输入所述分类模型，得到各个所述测试图像块对应的分类标签以及分类置信概率；整合模块，用于根据所有所述测试图像块对应的分类标签以及分类置信概率，在所述待测图像上标出所述预设片状缺陷的位置。

可选地，所述预设片状缺陷标签为以下的一种或多种的组合：真皮斑、老年斑、雀斑、黄褐斑、过敏潮红、红血丝。

可选地，还包括：预处理模块，用于对所述样本图像和所述待测图像进行预处理，其中，所述预处理包括：提取有效皮肤区域；和/或，进行亮度均一化。

可选地，还包括：定位模块，用于获取所述阴性图像样本块对应位置信息，以及获取所述阳性图像块样本对应位置信息；所述建模模块还用于：将所述阴性图像样本块对应位置信息和所述阳性图像块样本对应位置信息插入所述卷积神经网络的全连接层。

可选地，所述预设尺寸为32*32至256*256。

根据本发明的技术方案，能够基于神经网络和深度学习技术来检测面部皮肤片状缺陷，至少具有如下有益效果：(1)大幅提升了算法的准确性，降低了误报和漏报；(2)能够识别缺陷是否存在以及存在的位置，并能够进一步确认缺陷种类；(3)算法简便明晰，模型训练完成后在测试应用阶段对硬件要求低；(4)智能化程度高，具有自主学习特性，无需人工确定特征因素；(5)可应用范围广，受毛发、光照条件和拍摄角度等因素的影响小。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的基于深度学习的检测面部皮肤缺陷的方法的流程示意图；

图2是根据本发明实施例的基于深度学习的检测面部皮肤缺陷的装置的结构示意图。

图3是本发明的一个具体实施例的原始的样本图像。

图4是本发明的一个具体实施例的预处理后的的样本图像。

图5是本发明的一个具体实施例的从正常皮肤区域中提取阴性图像块样本的示意图。

图6是本发明的一个具体实施例的从缺陷皮肤区域中提取阳性图像块样本的示意图。

图7是图5中的某一个的阴性图像块样本的放大图。

图8是图6中的某一个雀斑阳性图像块样本的放大图。

图9是本发明的一个具体实施例的训练模型过程采用的神经网络的示意图。

图10是本发明的一个具体实施例的测试图像经过预处理和网格化后的结果。

图11是图10对应的面部皮肤片状缺陷检测结果。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

为使本领域技术人员更好地理解，下面详细介绍下不同类型面部皮肤片状缺陷的相关知识。

(一)雀斑

雀斑为淡褐色至黑色斑点，针尖至米粒大，圆形或椭圆形，疏密不定，呈片状群簇对称分布。损害好发于面部，特别是鼻梁及眼眶上，可累及颈部和手背，偶见于胸、背和四肢。夏季日晒后，损害颜色加深、加大，数目增多，冬季减轻。原生态的雀斑边缘清晰，规整。使用淡斑技术、产品后的雀斑变得比较散、浅、不规则。

(二)老年斑

老年斑医学上称其为“老年性色素斑”“脂溢性角化”。大小，多少不一，非对称性斑点，大的斑点直径可达2至3厘米，除了面部外，手、小腿、背、躯干上也会见到。老年人所长易突出于皮肤表面，角质化现象非常明显。老年斑是细胞进入了衰老阶段的一种先兆斑。年轻人所长老年斑平于皮肤表面，有着规则的表面，颜色较多为深褐色，一般单侧分布。典型“未老先衰”斑种。

(三)真皮斑

俗称是长在肉里的斑、用任何产品无法淡化的斑。这种斑常见于见于中青年女性，病理检查显示，真皮上部散布细长的梭形黑色素。分部在双侧颧部及下眼睑，上眼睑外侧、鼻根及前额，形状为圆形，卵圆形或多角形斑，边界清楚，颜色多为黄褐色、青褐和黑褐色，颧部褐青色痣，皮损表现为双侧颧部对称分布的灰黑色斑点。

(四)黄褐斑

主要表现为颜面两颊口周、前额、鼻侧、下颌角、眉弓、颞部、(个别患者可波及整个面部)对称性，淡褐色、甚至呈淡黑色之色素沉着斑，大小不一，形状不规则，边界清楚，黄褐斑按成因不同又分“肝斑”“妊娠斑”“晒斑”，形状不同成为“蝴蝶斑”“胡子斑”等。黄褐斑是由于组织细胞间微细循环受瘀阻，细胞溶解死亡黑色素增多形成的色素沉着过度性皮肤病。和身体健康息息相关。在青春期至绝经期均可发生，中青年女性多见，也见于未婚、未孕女性或男性。病程慢性，无明显自觉症状。好发于日晒部位，日晒后加重。夏重冬轻。

(五)过敏潮红

过敏潮红从外观上来看是呈大面积的形状不规则的局部发红现象，面部红白不一、斑驳陆离。部分情况是伴随丘疹、鳞屑和脱皮。过敏潮红现象通常在特定食物、花粉等外界刺激下出现，隔离过敏原之后会缓解。但部分长期过敏人群的面部也会留下顽固的红色斑块。

(六)红血丝

红血丝主要是因为面部角质层薄弱导致毛细血管位置更容易接触和感知到外界环境变化，从而造成毛细血管扩展而引起的面部现象。面部红血丝患者面部看上去比一般正常肤色红。人们常称高原脸或红脸蛋或是烂苹果，有的仅仅是两侧颧部发红，边界呈圆形，一般呈丝线状排列。这种皮肤薄而敏感，过冷、过热、情绪激动时脸色更红。

由上可知，上述六种类型面部皮肤片状缺陷的外观各不相同。实际上它们的成因也不同，对应的治疗方法和治疗药物也有所不同。如果检测分类错误，会导致治疗失败。因此需要提出一种客观可靠的检测面部皮肤片状缺陷的方法和装置。

图1是根据本发明实施例的基于深度学习的检测面部皮肤片状缺陷的方法的流程示意图。如图1所示，该方法可以包括如下的步骤S1至步骤S5。

步骤S1：获取已标注面部皮肤片状缺陷的样本图像。标注工作可以由人工完成的，即在图片中圈出预设片状缺陷标签对应的位置。预设片状缺陷标签可以为以下的一种或多种的组合：真皮斑、老年斑、雀斑、黄褐斑、过敏潮红、红血丝等等。

步骤S2：从样本图像中提取预设尺寸的阴性图像块样本以及预设片状缺陷标签对应的阳性图像块样本。

需要说明的是，面部皮肤片状缺陷通常覆盖较大面积皮肤区域，形状不规则且边缘不明显，或由小尺寸缺陷呈群簇分布形成(如雀斑)，因此将其切分为较小预设尺寸图像块。图像块尺寸越小、数量越多，对皮肤片状缺陷区域的信息提取越有效，测试时对边缘的拟合越精细。可选地，预设尺寸跟整幅的样本图像的尺寸有关，如果样本图像较大则图像块样本预设尺寸可以相应增大，如果样本图像较小则图像块样本预设尺寸可以相应减小。通常地，预设尺寸在32*32到256*256之间，以64*64为最常用尺寸。确定预设尺寸之后，就可以从样本图像的正常皮肤区域中提取阴性图像块样本，以及从样本图像的缺陷皮肤区域中提取预设片状缺陷标签对应的阳性图像块样本。

步骤S3：构建面部皮肤片状缺陷分类任务的卷积神经网络，然后利用由阴性图像块样本和阳性图像块样本组成的训练集进行训练，得到分类模型。

本发明的核心就是基于深度学习卷积神经网络的自动分类模型。该模型为层状结构，主要包括数据层(data layer)，卷积层(convolutional layer)，批次均一化层(batchnormalization layer)，激活层(activation layer)，池化层(pooling layer)，丢弃层(dropout layer)，全连接层(fully connected layer)和损失层(loss layer)。本发明提出的算法可以使用了5至10个卷积层和1至5个全连接层，每个卷积层后连接1个均一化层和1个激活层。卷积层划分为若干组，每组后连接1个池化层。最后一个池化层后接丢弃层和全连接层。最后1个全连接层输出1个判断皮肤缺陷类型的实数，其后连接1个损失层，计算模型预测的类别与真实类别之间的偏差。该偏差将会逐层回传到网络模型中，每层的模型参数依据该偏差值的大小进行调整。调整后的网络模型重新处理皮肤图像块，计算得出的偏差再次用于修正模型参数，如此循环，直至偏差降至可接受范围。至此，深度学习网络的训练完成。步骤S2得到的阴性图像块样本和阳性图像块样本是在模型的第一个卷积层的输入的。优选地，在卷积操作之间使用跳层连接，即，将某一次卷积操作得到的特征图与2-3层之前卷积操作得到的特征图对齐相加，作为输入进入下一个卷积模块，这样每层特征图包含上2-3层的特征信息，可以提高卷积神经网络模型的训练效率和检测准确率。

步骤S4：将待测图像切割成预设尺寸的测试图像块后输入分类模型，得到各个测试图像块对应的分类标签以及分类置信概率。

需要说明的是，样本图像和待测图像的切割尺寸应该一致。因此测试图像块的建议尺寸范围也是32*32到256*256之间。待测图像分割完毕后，遍历地将所有测试图像块输入模型以得到当前图像块的分类结果。

步骤S5：根据所有测试图像块对应的分类标签以及分类置信概率，在待测图像上标出预设片状缺陷的位置。

对于每个图像块，每个分类标签都有其对应的分类置信概率，选择分类置信概率最大的一个分类标签作为该图像块的标签，映射到待测图像的对应位置。遍历处理所有测试图像块后，得到待测图像上预设片状缺陷的位置、形状和范围。

由上可知，本发明实施例的基于深度学习的检测面部皮肤片状缺陷的方法，至少具有如下有益效果：(1)大幅提升了算法的准确性，降低了漏报；(2)能够识别缺陷是否存在，并能够进一步确认缺陷种类；(3)算法简便明晰，模型训练完成后在测试应用阶段对硬件要求低；(4)智能化程度高，具有自主学习特性，无需人工确定特征因素；(5)可应用范围广，受毛发、光照条件和拍摄角度等因素的影响小。

为了提高检测的准确率，还可以对样本图像和待测图像进行预处理。预处理可以包括：提取有效皮肤区域，和/或，进行亮度均一化。具体细节如下：(1)提取有效皮肤区域。去除包括背景和五官区域的无效区域，仅保留常规皮肤区域。具体地，可以先确定人脸位置，去除人脸以外的背景区域，再在人脸内提取定义眉毛、眼睛、鼻子、嘴巴等轮廓的位置关键点，然后剔除眉、眼、嘴区域，仅保留有参考价值的常规皮肤区域。这样可以滤除无效数据，减少计算成本，提高效率。(2)进行亮度均一化。由于面部并不是平坦的，额头、鼻子等位置可能有高光，脸颊，鼻翼可能有阴影，所以需要进行亮度均一化操作。具体地，先预设图像块亮度目标均值，然后对原始图像块进行中值滤波模糊处理获得模糊图像块，然后将原始图像块和模糊图像块分别作色彩空间转换，转换至Lab色彩空间，接着计算模糊图像块L通道(亮度通道)均值与亮度目标均值的差值。将上一步计算的差值加在原始图像块L通道，最后将原始图像块转换至RGB色彩空间，获得亮度均一化后的图像块。

在本发明的检测方法的一个实施例中，还包括如下步骤：获取所述阴性图像样本块对应位置信息，以及获取所述阳性图像块样本对应位置信息；将所述阴性图像样本块对应位置信息和所述阳性图像块样本对应位置信息插入所述卷积神经网络的全连接层。例如：可以将面部划分为额、颞、眉、上睑、眼、颊、鼻、嘴、上颌、下颌等位置。然后记录下各个图像块样本对应的位置信息。比如某个雀斑阳性图像块样本位于颊部。训练模型时，也将“颊部”位置信息输入到全连接层中。由于不同的片状缺陷高发的位置不同(例如雀斑高发于脸颊位置)，所以将缺陷位置信息引入模型，有利于提高检测准确率。

可选地，本发明的检测面部皮肤片状缺陷的方法还可以在模型训练过程中进行数据取样操作和数据增强操作，使得样本数据更加丰富和优化。(1)数据取样：训练数据集内各类别数据的分布可能并不均匀。深度学习模型每一次训练时，需从训练数据集中随机抽取数据形成训练数据批次。在形成训练数据批次的时候，各类别数据被选中的概率与各类别数据数量成反比，即数据量越小的类别被选取的概率越高，数据量越大的类别被选取的概率越低。经此差异性取样操作后，进入模型的数据类别分布应大致均匀，使少数类别也可以被模型充分学习。(2)数据增强：为降低过拟合风险，增加数据量，在每个训练数据批次形成后进行数据增强处理，即按照一定概率，对每张图像进行翻转，旋转和放大操作，在保留关键特征的基础上，人为扩充数据量。

图2是根据本发明实施例的基于深度学习的检测面部皮肤片状缺陷的装置的结构示意图。如图2所示，该装置可以包括获取模块100、采样模块200、建模模块300、分类模块400和整合模块500。

获取模块100用于获取已标注面部皮肤片状缺陷的样本图像。标注工作可以由人工完成的，即在图片中圈出预设片状缺陷标签对应的位置。预设片状缺陷标签可以为以下的一种或多种的组合：真皮斑、老年斑、雀斑、黄褐斑、过敏潮红、红血丝等等。

采样模块200用于从样本图像中提取预设尺寸的阴性图像块样本以及预设片状缺陷标签对应的阳性图像块样本。需要说明的是，面部皮肤片状缺陷通常覆盖较大面积皮肤区域，形状不规则且边缘不明显，或由小尺寸缺陷呈群簇分布形成(如雀斑)，因此将其切分为较小预设尺寸图像块。图像块尺寸越小、数量越多，对皮肤片状缺陷区域的信息提取越有效，测试时对边缘的拟合越精细。可选地，预设尺寸跟整幅的样本图像的尺寸有关，如果样本图像较大则图像块样本预设尺寸可以相应增大，如果样本图像较小则图像块样本预设尺寸可以相应地减小。通常地，预设尺寸在32*32到256*256之间，以64*64为最常用尺寸。确定预设尺寸之后，就可以从样本图像的正常皮肤区域中提取阴性图像块样本，以及从样本图像的缺陷皮肤区域中提取预设片状缺陷标签对应的阳性图像块样本。

建模模块300用于构建面部皮肤片状缺陷分类任务的卷积神经网络，然后利用由阴性图像块样本和阳性图像块样本组成的训练集进行训练，得到分类模型。本发明的核心就是该建模模块300中的基于深度学习卷积神经网络的自动分类模型。该模型为层状结构，主要包括数据层(data layer)，卷积层(convolutional layer)，批次均一化层(batchnormalization layer)，激活层(activation layer)，池化层(pooling layer)，丢弃层(dropout layer)，全连接层(fully connected layer)和损失层(loss layer)。本发明提出的算法可以使用了5至10个卷积层和1至5个全连接层，每个卷积层后连接1个均一化层和1个激活层。卷积层划分为若干组，每组后连接1个池化层。最后一个池化层后接丢弃层和全连接层。最后1个全连接层输出1个判断皮肤缺陷类型的实数，其后连接1个损失层，计算模型预测的类别与真实类别之间的偏差。该偏差将会逐层回传到网络模型中，每层的模型参数依据该偏差值的大小进行调整。调整后的网络模型重新处理皮肤图像块，计算得出的偏差再次用于修正模型参数，如此循环，直至偏差降至可接受范围。至此，深度学习网络的训练完成。采样模块200得到的阴性图像块样本和阳性图像块样本是在模型的第一个卷积层的输入的。优选地，在卷积操作之间使用跳层连接，即，将某一次卷积操作得到的特征图与2-3层之前卷积操作得到的特征图对齐相加，作为输入进入下一个卷积模块，这样每层特征图包含上2-3层的特征信息，可以提高卷积神经网络模型的训练效率和检测准确率。

分类模块400用于将待测图像切割成预设尺寸的测试图像块后输入分类模型，得到各个测试图像块对应的分类标签以及分类置信概率。需要说明的是，样本图像和待测图像的切割尺寸应该一致。因此测试图像块的建议尺寸范围也是32*32到256*256之间。待测图像分割完毕后，然后遍历地将所有测试图像块输入模型以得到当前图像块的分类结果。

整合模块500用于根据所有测试图像块对应的分类标签以及分类置信概率，在待测图像上标出预设片状缺陷的位置。具体地说，对于每个图像块，每个分类标签都有其对应的分类置信概率，选择分类置信概率最大的一个分类标签作为该图像块的标签，映射到待测图像的对应位置。遍历处理所有测试图像块后，得到待测图像上预设片状缺陷的位置、形状和范围。

由上可知，本发明实施例的基于深度学习的检测面部皮肤片状缺陷的装置，能够基于神经网络和深度学习技术来检测面部皮肤片状缺陷，至少具有如下有益效果：(1)大幅提升了算法的准确性，降低了误报和漏报；(2)能够识别缺陷是否存在以及存在的位置，并能够进一步确认缺陷种类；(3)算法简便明晰，模型训练完成后在测试应用阶段对硬件要求低；(4)智能化程度高，具有自主学习特性，无需人工确定特征因素；(5)可应用范围广，受毛发、光照条件和拍摄角度等因素的影响小。

为了提高检测的准确率，本发明的检测面部皮肤片状缺陷的装置还可以包括预处理模块。该预处理模块用于对样本图像和待测图像进行预处理，其中，预处理包括：提取有效皮肤区域；和/或，进行亮度均一化。预处理的具体细节如下：(1)提取皮肤区域。去除包括背景和五官区域的无效区域，仅保留常规皮肤区域。具体地，可以先确定人脸位置，去除人脸以外的背景区域，再在人脸内提取定义眉毛、眼睛、鼻子、嘴巴等轮廓的位置关键点，然后剔除眉、眼、嘴区域，仅保留有参考价值的常规皮肤区域。这样可以滤除无效数据，减少计算成本，提高效率。(2)进行亮度均一化。由于面部并不是平坦的，额头、鼻子等位置可能有高光，脸颊，鼻翼可能有阴影，所以需要进行亮度平均操作。具体地，先预设图像块亮度目标均值，然后对原始图像块进行中值滤波模糊处理获得模糊图像块，然后将原始图像块和模糊图像块分别作色彩空间转换，转换至Lab色彩空间，接着计算模糊图像块L通道(亮度通道)均值与亮度目标均值的差值。将上一步计算的差值加在原始图像块L通道，最后将原始图像块转换至RGB色彩空间，获得亮度均一化后的图像块。

可选地，本发明的检测面部皮肤片状缺陷的装置还可以包括定位模块。该定位模块用于获取阴性图像样本块对应位置信息，以及获取阳性图像块样本对应位置信息；建模模块还用于：将阴性图像样本块对应位置信息和阳性图像块样本对应位置信息插入卷积神经网络的全连接层。例如：可以将面部划分为额、颞、眉、上睑、眼、颊、鼻、嘴、上颌、下颌等位置。然后记录下各个图像块样本对应的位置信息。比如某个雀斑阳性图像块样本位于颊部。训练模型时，也将“颊部”位置信息输入到全连接层中。由于不同的片状缺陷高发的位置不同(例如雀斑高发于脸颊位置)，所以将缺陷位置信息引入模型，有利于提高检测准确率。

可选地，本发明的检测面部皮肤片状缺陷的装置还可以包括数据优化模块，该数据优化模块用于进行数据取样操作和数据增强操作，使得样本数据更加丰富和优化。(1)数据取样：训练数据集内各类别数据的分布可能并不均匀。深度学习模型每一次训练时，需从训练数据集中随机抽取数据形成训练数据批次。在形成训练数据批次的时候，各类别数据被选中的概率与各类别数据数量成反比，即数据量越小的类别被选取的概率越高，数据量越大的类别被选取的概率越低。经此差异性取样操作后，进入模型的数据类别分布应大致均匀，使少数类别也可以被模型充分学习。(2)数据增强：为降低过拟合风险，增加数据量，在每个训练数据批次形成后进行数据增强处理，即按照一定概率，对每张图像进行翻转，旋转和放大操作，在保留关键特征的基础上，人为扩充数据量。

为使本领域技术人员更好地理解，下面结合附图列举一个详细的实施例进行说明。

首先，获得如图3所示的已标定的面部皮肤照片(标注记号暂时做隐藏处理)，即原始的样本图像示例图。然后提取有效皮肤区域并且进行亮度均一化，得到如图4所示的预处理结果。

接着，在从正常皮肤区域中提取尺寸为64*64的阴性图像块样本(如图5所示)，以及从缺陷皮肤区域中提取尺寸为64*64的预设片状缺陷标签(例如雀斑标签)对应的阳性图像块样本(如图6所示)。图7为图5中的某一个的阴性图像块样本的放大图，图8为图6中的某一个雀斑阳性图像块样本的放大图。

然后，利用上面得到的阴性样本和阳性样本组成训练集，然后按照图9所示的神经网络进行模型训练，得到面部皮肤片状缺陷分类模型。图中所示卷积模块数量x取值范围为2到3，所示池化模块数量y取值范围为3到4，全连接模块数量z取值范围为2到3。

然后将测试图片进行同样的预处理并且进行网格化，单个网格大小为64*64(与前面的样本图像块的尺寸一致)，如图10所示。遍历地将所有的测试图像块输入面部皮肤片状缺陷分类模型，可以得到各个测试图像块对应的面部皮肤片状缺陷概率。

最后整合所有的测试图像块的概率数据，得到各预设皮肤片状缺陷标签类别的热力分布图。图11展示图10所示待测图片对应的真皮斑检测结果。从真皮斑的热力分布情况可以看出，该测试图像中的真皮斑大致位于脸颊，最大概率位置的置信率大于99％。

以上结合具体实施例描述了本发明的基本原理，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种基于深度学习的检测面部皮肤片状缺陷的方法，其特征在于，包括：

获取已标注面部皮肤片状缺陷的样本图像；

从所述样本图像中提取预设尺寸的阴性图像块样本以及预设片状缺陷标签对应的阳性图像块样本；

构建面部皮肤片状缺陷分类任务的卷积神经网络，然后利用由所述阴性图像块样本和所述阳性图像块样本组成的训练集进行训练，得到分类模型；

将待测图像切割成所述预设尺寸的测试图像块后输入所述分类模型，得到各个所述测试图像块对应的分类标签以及分类置信概率；

根据所有所述测试图像块对应的分类标签以及分类置信概率，在所述待测图像上标出所述预设片状缺陷的位置。

2.根据权利要求1所述的方法，其特征在于，所述预设片状缺陷标签为以下的一种或多种的组合：真皮斑、老年斑、雀斑、黄褐斑、过敏潮红、红血丝。

3.根据权利要求1所述的方法，其特征在于，还包括：

对所述样本图像和所述待测图像进行预处理，

其中，所述预处理包括：提取有效皮肤区域；和/或，进行亮度均一化。

4.根据权利要求1所述的方法，其特征在于，还包括：

获取所述阴性图像样本块对应位置信息，以及获取所述阳性图像块样本对应位置信息；

将所述阴性图像样本块对应位置信息和所述阳性图像块样本对应位置信息插入所述卷积神经网络的全连接层。

5.根据权利要求1所述的方法，其特征在于，所述预设尺寸为32*32至256*256。

6.一种基于深度学习的检测面部皮肤缺陷的装置，其特征在于，包括：

获取模块，用于获取已标注面部皮肤片状缺陷的样本图像；

采样模块，用于从所述样本图像中提取预设尺寸的阴性图像块样本以及预设片状缺陷标签对应的阳性图像块样本；

建模模块，用于构建面部皮肤片状缺陷分类任务的卷积神经网络，然后利用由所述阴性图像块样本和所述阳性图像块样本组成的训练集进行训练，得到分类模型；

分类模块，用于将待测图像切割成所述预设尺寸的测试图像块后输入所述分类模型，得到各个所述测试图像块对应的分类标签以及分类置信概率；

整合模块，用于根据所有所述测试图像块对应的分类标签以及分类置信概率，在所述待测图像上标出所述预设片状缺陷的位置。

7.根据权利要求6所述的装置，其特征在于，所述预设片状缺陷标签为以下的一种或多种的组合：真皮斑、老年斑、雀斑、黄褐斑、过敏潮红、红血丝。

8.根据权利要求6所述的装置，其特征在于，还包括：

预处理模块，用于对所述样本图像和所述待测图像进行预处理，

其中，所述预处理包括：提取有效皮肤区域；和/或，进行亮度均一化。

9.根据权利要求6所述的装置，其特征在于，还包括：

定位模块，用于获取所述阴性图像样本块对应位置信息，以及获取所述阳性图像块样本对应位置信息；

所述建模模块还用于：将所述阴性图像样本块对应位置信息和所述阳性图像块样本对应位置信息插入所述卷积神经网络的全连接层。

10.根据权利要求6所述的装置，其特征在于，所述预设尺寸为32*32至256*256。