CN112967285A - 一种基于深度学习的黄褐斑图像识别方法、系统和装置 - Google Patents

Abstract

本发明公开一种基于深度学习的黄褐斑图像识别方法、系统和装置，属于计算机图像处理技术领域。针对现有技术中存在的黄褐斑的识别和分析均依赖人工经验进行，主观性较强，识别效率低等问题，本发明通过计算机自动读取患者上传的面部皮肤图像，利用人工智能人脸特征点识别模型检测出面部图像的人脸轮廓以及每个特征点的位置坐标，然后通过计算机程序对面部图像区域进行划分，再通过已经训练好的黄褐斑区域检测和黄褐斑区域分割深度学习模型对黄褐斑区域进行检测和分割，利用计算机分别计算每个区域的黄褐斑面积占比以及色度值，最后通过改良MASI评价方式去计算黄褐斑评价得分，本发明可辅助医生评价黄褐斑病情严重程度，准确度高适合广泛应用。

Description

一种基于深度学习的黄褐斑图像识别方法、系统和装置

技术领域

本发明涉及计算机图像处理技术领域，更具体地说，涉及一种基于深度学习的黄褐斑识别图像方法、系统和装置。

背景技术

黄褐斑（melasma）是一种色素增加性皮肤疾病，主要表现为面部对称性分布的黄褐色斑片，多见于女性。其发病与日晒、妊娠、长期口服避孕药等有关。随着人们对自身皮肤的重视，越来越多的人需要通过现代医学手段去改善黄褐斑。

现有技术中对于黄褐斑的检查和严重程度的评价主要依靠皮肤病专业医生的经验判断，通过人工观察的方式估算黄褐斑在面部分布分面积占比、黄褐斑颜色的色度级别和黄褐斑的色度均一性级别，然后通过国际常用的改良MASI评分计算公式去计算黄褐斑评分来评价黄褐斑患者的面部黄褐斑严重程度。使用人工识别黄褐斑带有较强的主观性、模糊性，诊察结果与医生的经验密切相关，对黄褐斑的诊断需要大量的皮肤病专业知识以及很多的临床经验。因此，传统的依靠医生临床经验判断的方法已难以满足黄褐斑精确诊断的需求。

随着计算机技术的发展，深度学习与计算机图像处理已在医疗领域有了广泛的应用，并极大的推动了医疗技术的进步。如中国专利申请一种基于聚类算法的面部黄褐斑区域自动分割方法，申请号CN201911040694.0，公开日2020年02月04日，公开一种基于聚类算法的面部黄褐斑区域自动分割方法，通过聚类算法根据阈值进行黄褐斑区域的分割，计算黄褐斑区域的总面积，得到黄褐斑面积占比，为后续黄褐斑诊断和治疗做辅助。又如中国专利申请一种基于黑色素提取的面部黄褐斑区域自动分割方法，申请号CN201911035496.5，公开日2020年02月14日，公开一种基于黑色素提取的面部黄褐斑区域自动分割方法，根据识别的面部特征点信息裁剪出需要进行黄褐斑分割的人脸皮肤区域，对裁剪出来的人脸皮肤区域图像进行黑色素色沉区域提取，计算黄褐斑区域的纵面的，得到黄褐斑区域面积占比，但是以上方法仅仅是在已知黄褐斑的区域基础上做出的具体对黄褐斑的提取工作，无法高效率的对黄褐斑区域进行识别和定位判断，具有一定的局限性。

发明内容

1.要解决的技术问题

针对现有技术中存在的黄褐斑的识别和分析均依赖人工经验进行，主观性较强，识别效率低等问题，本发明提供一种基于深度学习的黄褐斑图像识别方法和系统，它可以实现科学精准的评价黄褐斑严重程度，不依赖于医生的判断，在没有专业医生的情况下依靠设备就可以自动完成黄褐斑的识别和评价分析，识别准确率高效率高，适合广泛应用。

2.技术方案

本发明的目的通过以下技术方案实现。

一种基于深度学习的黄褐斑图像识别方法，包括：采集面部图像信息，对采集的面部图像进行处理，获取人脸图像，对获取到的人脸图像进行区域分割；

对分割后的区域人脸图像输入深度学习神经网络模型检测黄褐斑区域，分割出黄褐斑区域中的黄褐斑图像，计算分割出黄褐斑图像的色度值，进而计算黄褐斑图像面积及严重程度评分；

所述深度学习神经网络模型包括用于检测黄褐斑区域的第一深度学习神经网络模型和用于分割黄褐斑图像的第二深度学习神经网络模型，第一深度学习神经网络模型输入的数据为分割后的区域人脸图像，输出检测到并标注的黄褐斑区域人脸图像至第二深度学习神经网络模型，第二深度学习神经网络模型输出黄褐斑区域的黄褐斑图像分割结果图。

更进一步的，黄褐斑区域检测时，第一深度学习神经网络模型由预处理层将输入的区域人脸图像大小调整为固定值，将调整后人脸图像划分为n*n个网络，每个网络尺寸相同；

使用第一深度学习神经网络模型对每个网格进行识别，检测是否为黄褐斑图像，以对应网格的中心点为中心随机生成m个不同尺寸矩形区域的预选框，计算预选框中图像数据特征值，将预选框图像和数据计算特征值与第一深度学习神经网络模型特征值权重文件中的特征值匹配计算置信度，选择每个网格预选框中置信度最高的作为初始检测结果，将该区域人脸图像上所有重合度大于设定值的初始检测结果合并生成黄褐斑区域检测结果，n、m均为大于零的整数。

更进一步的，黄褐斑区域分割时，第二深度学习神经网络模型由预处理层将输入的黄褐斑区域图像大小调整为固定值，对调整后黄褐斑区域图像进行下采样后得到特征图，提取特征图的特征值，将提取的特征值与训练生成的第二深度学习神经网络模型权重文件记录的黄褐斑区域特征值进行匹配度计算，选择匹配度最高的特征值进行上采样，生成黄褐斑图像分割效果图。

更进一步的，深度学习模型的构建方法是构建数据库，将数据库的图像数据加载至深度学习神经网络模型进行训练，对训练后达到的模型进行性能检测，对未满足性能要求的模型重新训练，直至训练出满足性能要求的深度学习神经网络模型；

更进一步的，深度学习神经网络模型输出的图像数据包括标注文件，第一深度学习神经网络输出图像的标注文件包括黄褐斑区域标注框中心点横坐标、标注框中心点纵坐标、标注框宽度和标注框高度，第二深度学习神经网络输出图像的标注文件为二值化掩膜图像。

更进一步的，构建第一深度学习神经网络模型的第一数据库包括若干黄褐斑患者左侧面部图像、右侧面部图像和正面图像，构建第二深度学习神经网络模型的第二数据库包括若干黄褐斑皮损区域图像。

更进一步的，分割出黄褐斑图像的色度值计算时，将第二深度学习神经网络输出图像的原始二值化掩膜图像膨胀迭代，用膨胀后的二值化掩膜图像与原始二值化掩膜图像做差，设定该差值为正常皮肤区域的二值化掩膜图像，计算正常皮肤区域的二值化掩膜图像和原始二值化掩膜图像掩膜区域的Lab色彩空间的像素平均值，将该平均值输入CIEDE2000色差计算公式中，得到黄褐斑图像色度值。

更进一步的，面部图像信息采集时，分别在UV光光源、标准白光光源、平行偏振光光源和交叉偏振光光源下，采集左侧面部图像、右侧面部图像和正面图像。对采集的面部图像信息使用人脸特征点检测模型，获取人脸图像，将人脸图像分割为左侧面颊区域、右侧面颊区域、前额区域和下颚区域。本发明使用智能皮肤图像采集设备拍摄患者面部图像，对测试者进行面部图像采集时，每一次均需采集测试者面部分别在四种光源下，每种光源对应三个角度的图像，即四张正脸面面部图像、四张左侧四十五度面部图像、四张右侧四十五度面部图像，拍摄需保证面部清洁无遮挡，通过该智能图像采集设备采集的图像面部位置角度标准统一，且采集的图像中面部皮肤区域占整张图像的面积占比在80%以上。

一种基于深度学习的黄褐斑图像识别系统，使用所述的一种基于深度学习的黄褐斑图像识别方法，系统包括图像采集模块和图像处理模块，图像采集模块采集人脸的左侧面、右侧面和正面面部图像信息，发送至图像处理模块进行图像处理。

图像处理模块包括黄褐斑区域检测模型、黄褐斑区域分割模型和黄褐斑色度值计算模型；黄褐斑区域检测模型用于在区域人脸图像中检测出黄褐斑区域，黄褐斑区域分割模型用于在人脸图像中检测出的黄褐斑区域分割出黄褐斑图像，黄褐斑色度值计算模型用于对黄褐斑区域分割模型分割出的黄褐斑图像进行色度值计算。

一种基于深度学习的黄褐斑图像识别装置，设有所述的一种基于深度学习的黄褐斑图像识别系统，所述装置包括配合用于控制图像采集时的光源单元和滤光片单元，用于采集面部图像的采集单元和控制单元；

光源单元包括交叉偏振光光源、平行偏振光光源、标准白光光源和UV光光源；滤光片单元包括交叉偏振光滤光片、平行偏振光光片和UV光滤光片；采集单元包括导轨、限位传感器、导轨步进电机和相机；控制单元包括驱动控制板、工控机和I/O设备。所述I/O设备为显示屏、鼠标、键盘等。导轨和导轨电机的设置是相机拍摄更稳定，限位传感器用于设定具体的拍摄角度，结果更准确。

本发明提供一种科学客观精确的识别和评价黄褐斑严重程度的方法，通过该方法为黄褐斑区域诊断提供客观、稳定的评价标准，避免不同医生判断的主观性与模糊性造成的诊断误差，不依赖于医生的专业知识和临床经验，使患者可以在没有专业医生的情况下依靠设备自动完成黄褐斑严重程度的评价。

3.有益效果

相比于现有技术，本发明的优点在于：

本发明采用计算机视觉进行面部黄褐斑的识别和评价，相对于现有技术基于聚类方式分割黄褐斑图像和基于黑色素提取的方法分割黄褐斑图像等技术方法，本发明实现对黄褐斑的区域的定位以及识别，并且准确率在95%以上。

本发明的识别检测方法进行黄褐斑区域的提取，适应性强，且对于图像的拍摄光源要求较低。识别评价时候使用符合临床医学的科学的评价计分方法对黄褐斑图像进行精准评价，不依赖专业医生，使黄褐斑图像检测诊断实现自动化，可以提高黄褐斑图像评价的效率，并方便缺乏医疗资源地区的百姓进行疾病诊断，具有重要意义。

附图说明

图1为本发明系统结构示意图；

图2为本发明的面部图像区域说明示意图；

图3为本发明系统架构示意图；

图4为本发明黄褐斑评价流程示意图；

图5为本发明黄褐斑区域检测模型数据标注流程示意图；

图6为本发明黄褐斑区域检测模型检测结果示意图；

图7为本发明黄褐斑区域分割模型数据标注流程示意图；

图8为本发明黄褐斑区域分割模型分割结果示意图；

图9为本发明黄褐斑色度评价示意图。

具体实施方式

下面结合说明书附图和具体的实施例，对本发明作详细描述。

实施例1

本实施例公开一种基于深度学习的黄褐斑图像识别系统，如图3所示，所述系统包括图像采集模块和图像处理模块，图像采集模块采集人脸的左侧面、右侧面和正面面部图像信息，发送至图像处理模块进行图像处理，图像处理模块对图像采集模块采集的图像数据进行检测、分割、计算等数据处理，输出黄褐斑评价结果。

图像处理模块包括黄褐斑区域检测模型、黄褐斑区域分割模型和黄褐斑色度值计算模型；黄褐斑区域检测模型用于在区域人脸图像中检测出黄褐斑区域，黄褐斑区域分割模型用于在人脸图像中检测出的黄褐斑区域分割出黄褐斑图像，黄褐斑色度值计算模型用于对黄褐斑区域分割模型分割出的黄褐斑图像进行色度值计算。

图像获取模块的硬件实现包括光源单元、滤光片单元、采集单元和控制单元。如图1所示，光源单元包括交叉偏振光光源、平行偏振光光源、标准白光光源和UV光光源；滤光片单元包括交叉偏振光滤光片、平行偏振光光片和UV光滤光片；采集单元包括弧形导轨、光电限位传感器、导轨步进电机和单反相机；控制单元包括驱动控制板、工控机、显示器、键盘和数据等I/O设备。

电源对采集单元和控制单元供电，控制单元中的工控机对系统进行控制，包括部署操作系统、运行图像采集、分析软件、存储数据、控制单反相机拍照同时进行数据传输、控制驱动控制板。工控机可以连接外设设备显示器、鼠标、键盘，操作人员通过外设设备进行设备的日常操作和维护。采集单元使用半圆圆弧形导轨为导轨步进电机的运行轨道，弧形导轨的圆弧角度范围为0度至180度；采集单元中的导轨步进电机用于承载单反相机，带动单反相机进行运动。光电限位传感器在半圆圆弧形导轨两端各设有一个，用于检测相机是否运行到导轨端口极限位置，防止相机脱轨。

滤光片单元切换导轨步进电机与UV光滤光片、平行偏振光滤光片、交叉偏振光滤光片均连接，同时还连接单反相机，用于单反相机采集数据时滤光片的切换。驱动控制板对光源单元、滤光片单元和采集单元进行控制。具体地，控制光源单元中UV光光源、标准白光光源、平行偏振光光源和交叉偏振光光源的开启和关闭以及各开启光源的亮度；控制导轨步进电机转动角度从而实现控制相机在半圆圆弧形导轨上运行的轨迹；控制滤光片切换电机从而实现滤光镜片的切换。本实施例所述图像采集模块实现全自动采集患者多角度多光源的人面部图像，提供高质量高还原度的照片，采集图中角度范围为患者面对方向从左侧到右侧180度角的范围，采集图像时光源种类包括：UV光、标准白光、平行偏振光和交叉偏振光。

图像采集模块工作时，设备操作人员只需要点击拍照按钮，设备就可以按照顺序自动采集UV光光源、标准白光光源、平行偏振光光源和交叉偏振光光源下左侧面、正面、右侧面三个角度，共计十二张面部图像，智能的采集到测试者面部图像。然后将图像数据输入至图像处理模块进行处理分析，程序会自动给出测试者面部黄褐斑图像的评价得分，辅助医生进行治疗和判断。一般来说，左侧面和右侧面角度设定为45度，通过该智能图像采集设备采集的图像面部位置角度标准统一，采集的图像中面部皮肤区域在整张图像的面积占比在80%以上，便于图像处理模块的数据处理。

实施例2

本实施例基于实施例1公开的基于深度学习的黄褐斑识别系统，具体描述该系统的检测评价方法。如图4所示，检测评价面部黄褐斑图像时，先进行图像数据采集，通过人脸特征点检测模型进行人脸检测，然后分为四个区域图像；构建黄褐斑区域检测模型对区域图像进行黄褐斑区域检测，构建黄褐斑区域分割模型对检测到的黄褐斑区域分割出黄褐斑，构建黄褐斑色度值计算模型计算黄褐斑色度，根据区域图像的黄褐斑色度和面积占比计算黄褐斑图像评价得分，对面部黄褐斑病情进行评估。

使用人脸特征点检测模型对输入计算机的左侧面、正面和右侧面三个角度的图形进行人脸检测。人脸特征点检测模型检测到面部的轮廓点以及测试者眼睛、鼻子、嘴巴的位置点坐标信息，通过对应坐标信息的点进行面部图像区域的划分和提取，面部区域如图2所示，分为左侧面图像的左侧面颊区域、右侧面图像的右侧面颊区域、正面图像的前额区域和正面图像的下颚区域。本实施例使用的人脸特征点检测模型为通用技术的人脸特征点检测模型，较常用的如DAN-Deep Alignment Network人脸特征点检测模型、2D and 3D Facealignment 人脸特征点检测模型、dlib-68特征点检测算法等，此处不展开描述。

采集到的人脸图像进行区域分割后，使用黄褐斑区域检测模型对提取的图像进行黄褐斑区域检测，进而进行评估。黄褐斑区域检测模型检测并定位出黄褐斑图像的区域以及坐标，具体方法是先获取人脸特征点检测模型提取后分割的四块区域面部图像，经过人脸特征点检测模型检测进而分割后的图像信息去除原始采集图像上面部皮肤区域之外的其他区域的信息干扰，利于后续的检测评估，使黄褐斑区域检测模型的检测更加稳定，提高检测准确率。

黄褐斑区域检测模型是使用深度学习方法建立的用来检测黄褐斑区域的模型，用于检测并定位出图像上黄褐斑的区域以及坐标。黄褐斑区域检测模型的构建过程先准备大量的包括黄褐斑患者正面、左边面和右侧面的照片数据库，本例中定义为第一数据库，对第一数据库的图像数据进行黄褐斑区域标注，准备并搭建用于目标检测的深度学习神经网络模型，即本实施例所述黄褐斑区域检测模型，将图像数据加载进选择好的深度学习神经网络模型进行训练，得到训练结果，对训练好的模型进行性能测试，如果该模型不能满足性能要求，调整模型训练参数，重新进行模型训练，直到训练出满足性能要求的黄褐斑区域检测模型。

面部图像进行黄褐斑区域标注方式任意，本实施例通过如label image的标注软件在图像进行标框标注，如图5所示黄褐斑区域监测模型数据标注流程示意图所示，标注后会形成标注文件，标注文件包括内容有标注框中心点横坐标x、标注框中心点纵坐标y、标注框宽度w和标注框高度h，所述标注框中心点就是标注框对角线交点。

构建的深度学习神经网络模型可以是yolo-V3、yolo-V4、yolo-V5、EfficientDet等模型。在黄褐斑区域检测模型训练开始时，根据模型的检测需求设置参数，在模型中我们的模型检测类别为二，指的是黄褐斑区域和非黄褐斑区域，然后需要根据计算机的计算能力选择适合的图像输入大小以及同时输入训练的图像数据的数量。

本实施例中选择的模型参数为图像输入大小为618*618像素，同时一次加载进模型训练的图像数量为六张，还包括一些图像尺度变换、色彩变换、角度变换、学习速率（和模型训练速度相关的参数）、损失值（模型训练精度相关）等参数需要根据模型上次训练后的结果进行分析后做相关调整，训练完成后会生成一个记录黄褐斑区域检测模型特征值的权重文件，即第一模型文件。

在对构建的黄褐斑区域检测模型进行性能测试时，首先准备若干例独立与训练数据的测试样本数据，然后同样按照训练时的标注流程标注黄褐斑区域，使用训练好的模型对该数据进行检测测试，最后将模型检测结果和标注结果进行一致性分析统计，若模型测试结果和测试数据标注结果的一致性大于95%，视为该检测模型符合要求。本实施例在检测模型测试时使用三百例测试数据，实际应用中可使用任意值，一般不低于三百，测试数据样本个数越多，模型准确度越高。

黄褐斑区域检测模型使用深度学习方法建立，用来检测黄褐斑区域，检测并定位出面部图像上黄褐斑的区域以及坐标。如图6所示黄褐斑区域检测模型检测结果示意图，黄褐斑区域检测模型检测出的黄褐斑区域为矩形标记框中部分。

面部数据处理进行黄褐斑区域标注时，构建好的黄褐斑区域检测模型的预处理层将输入的面部图像大小统一缩放为固定值，如618*618（图像像素值尺寸）大小。接着检测模型会将面部图像分割为6*6个网格，每个网格大小为103*103的像素值尺寸，黄褐斑区域检测模型预测每个网格的类别，即该网格对应区域的类别是否是黄褐斑图像，同时模型会以该网格的中心点为中心随机生成5个不同尺寸矩形区域的预选框，每个预选框都包含宽度w，高度h，中心点横坐标x；中心点纵坐标y四个位置信息，以及一个置信度值。预选框的置信度值根据模型训练过程中生成的第一模型文件记录的特征值计算，第一模型文件中记录的特征值为训练数据中提取的真实黄褐斑标注框的数据经过五次下采样，十二层卷积计算层处理后推理出的黄褐斑区域特征值。

预选框的内图像数据同样需要五次下采样，十二层卷积计算层处理后推理出一个预测框的特征值，根据该特征值与第一模型文件中记录的特征值进行匹配度计算可以计算出该预测框的置信度（范围为0%至100%）。将预测结果和专业医生的判断结果进行对比，经过大量的统计得出置信度在50%以上的预测框区域和专业医生标注区域判断得出结果一致性在95%以上。对于每个网格都会取五个预选框去计算置信度，然后选取每个网格的置信度最高的预选框作为检测结果，最后将该图像上所有的重合度在50%以上的检测结果进行合并生成最终的检测结果。

使用黄褐斑区域分割模型对检测模型检测到的黄褐斑区域进行分割，得到黄褐斑区域的边界轮廓形状以及黄褐斑图像在所述面部区域图像的面积占比。

黄褐斑区域分割模型构建时先准备大量包括黄褐斑皮损区域的照片数据库，本例中定义为第二数据库，对第二数据库的图像数据进行黄褐斑区域标注，该标注由专业医生进行，标注产生的标注文件为二值化的掩膜图像，因为二值化图像可以有效地对图像信息进行去噪，同时二值化图像数据结构更简单，占用内存小，方便后续的模型读取以及数据计算等操作。使用D-LinkNet、U-Net、U-Net++、Deeplab、DeeplabV3+等模型构建用于图像语义分割的深度学习神经网络模型，即黄褐斑区域分割模型。将第二数据库中标注好的图像数据加载至选择好的深度学习神经网络模型进行训练，得到训练结果。对训练好的黄褐斑区域分割模型进行性能测试，如果不能满足性能要求，调整模型训练的参数重新进行模型的训练，直到训练出符合要求的黄褐斑区域分割模型。

与检测模型构建时类似，通过如label me、Photoshop标注软件在图像上进行描边标注或者抠图标注，需沿着黄褐斑的边缘区域进行描点标注，或者将整个黄褐斑的皮损区域使用抠图软件提取出来，具体分割效果如图7和图8所示，图7所示为人工进行标注过程，以及生成第二标注文件和二值化mask图像示意图，图8所示为通过本实施例黄褐斑区域分割模型分割的黄褐斑区域效果图。

黄褐斑区域分割模型训练开始时，根据模型需求设置参数，在该模型中模型检测类别为二，分别为黄褐斑区域和非黄褐斑区域，根据计算机的计算能力选择适合的图像输入大小以及同时输入训练的图像数据的数量。本实施例中选择的参数为图像输入大小为128*128的像素尺寸大小，同时一次加载进模型训练的图像数量为四张。还有一些图像尺度变换、色彩变换、角度变换、学习速率（和模型训练速度相关的参数）、IOU值以及mIOU值（模型训练精度相关，IOU值为模型训练时自我验证的预测区域和实际医生标注黄褐斑区域的重合度，mIOU为模型训练过程中IOU值的平均值）等参数需要根据模型上次训练后的结果进行分析后做相关调整。训练完成后会生成一个记录黄褐斑区域分割模型特征值的权重文件，即第二模型文件。

与黄褐斑区域检测模型测试方式类似，准备若干例独立与训练数据的测试样本数据，然后同样按照训练时的标注流程标注黄褐斑区域，使用训练好的模型对该数据进行分割测试，最后将模型分割结果和标注结果进行一致性分析统计，若模型分割结果和测试数据标注结果的mIOU大于85%，视为该分割模型符合要求。本实施例在分割模型测试时使用三百例测试数据，实际应用中可使用任意值，一般不低于三百，测试数据样本个数越多，模型准确度越高。黄褐斑区域分割模型需要对图像的每个采样到的像素点进行类别预测然后生成最终的预测结果，所以分割模型对于计算机的算力消耗更大，相比于检测模型难度也更高，这里85%以上的准确率已经基本符合医生的要求。

在进行黄褐斑区域分割时，将检测到的黄褐斑区域图像加载进黄褐斑区域分割模型，分割模型将图像大小统一缩放为128*128的像素尺寸，然后分割模型会对图像数据进行四层的下采样层进行数据采样，最终采样得到的特征图为8*8大小的特征图，再进行特征值的提取，将提取后的特征值与训练生成的第二模型文件记录的黄褐斑区域特征值进行匹配度计算，按照第二模型文件中匹配度高的特征值进行四层的上采样计算，生成128*128大小的黄褐斑分割结果图。

使用黄褐斑区域色度计算模型对黄褐斑区域分割模型分割出来的黄褐斑区域进行色度值的计算，用于后续的黄褐斑评价。黄褐斑区域色度计算模型构建时使用黄褐斑区域分割模型构建时的第二数据库，在黄褐斑区域分割模型对第二数据库的图像数据处理基础上增加色度值标注，通过计算机读取标注的原图像和对应的二值化掩膜图像，如图9所示，掩膜图像中的白色区域表示原图像的黄褐斑病灶区域，黑色区域表示正常区域。由于CIED2000色差计算公式需要获取正常皮肤的区域并计算其色度，所以将二值化掩膜图像膨胀迭代至少三次，将膨胀后的掩膜图像减去原来的掩膜图像作为正常皮肤区域的掩膜，计算两块掩膜区域的Lab色彩空间的像素平均值，将该平均值输入CIEDE2000色差计算公式中，得出的结果即为黄褐斑区域色度评价分值，该值越大，说明黄褐斑区域皮肤色度和正常皮肤的差距越大，表明黄褐斑越严重。

使用改良黄褐斑面积及严重程度评分MASI（Melasma Area Severity Index）计算公式对黄褐斑区域进行评价得分的计算。改良MASI评分是根据分区评分，然后根据各区域所占比例求和。将面部分为四个区域，F表示前额区域，MR表示右侧面颊区域，ML表示左侧面颊区域，C表示下颚区域，黄褐斑评价计算公式为：

。

其中，A 指黄褐斑皮损面积占比，D指色度评分，黄褐斑皮损颜色按四级分为轻微、轻度、中度和重度，每个变量的下标表示区域，上述公式中，

表示前额区域黄褐斑图像皮损面积占比，

表示前额区域黄褐斑图像颜色深度，

表示右侧面颊区域黄褐斑图像皮损面积占比，

表示右侧面颊区域黄褐斑图像颜色深度，

表示左侧面颊区域黄褐斑图像皮损面积占比，

表示左侧面颊区域黄褐斑图像颜色深度，

表示下颚区域黄褐斑图像皮损面积占比，

表示下颚区域黄褐斑图像颜色深度。黄褐斑评价分值越高表示黄褐斑病变越严重，黄褐斑图像严重程度根据三个变量评定。具体评分细则如表1所示：

表1

本发明构建通过深度学习模型构建黄褐斑区域检测模型和黄褐斑区域分割模型，通过人工智能模型算法利用计算机实现黄褐斑图像检测，实现对黄褐斑区域的准确定位及识别，准确率在95%以上，图像数据采集时设置不同的光源和滤光片进行不同光线下的图像采集，适应性强，本发明系统及方法为黄褐斑区域的识别和判断提供客观、稳定的评价标准，基于人工智能模型进行评估克服人为主观原因产生的误差，使用简单可靠性高，适合广泛推广。

以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (10)

1.一种基于深度学习的黄褐斑图像识别方法，其特征在于，所述方法包括：采集面部图像信息，对采集的面部图像进行处理，获取人脸图像，对获取到的人脸图像进行区域分割；

对分割后的区域人脸图像输入深度学习神经网络模型检测黄褐斑区域，分割出黄褐斑区域中的黄褐斑图像，计算分割出黄褐斑图像的色度值，进而计算黄褐斑图像面积及严重程度评分；

所述深度学习神经网络模型包括用于检测黄褐斑区域的第一深度学习神经网络模型和用于分割黄褐斑图像的第二深度学习神经网络模型，第一深度学习神经网络模型输入的数据为分割后的区域人脸图像，输出检测到并标注的黄褐斑区域人脸图像至第二深度学习神经网络模型，第二深度学习神经网络模型输出黄褐斑区域的黄褐斑图像分割结果图。

2.根据权利要求1所述的一种基于深度学习的黄褐斑图像识别方法，其特征在于，黄褐斑区域检测时，第一深度学习神经网络模型由预处理层将输入的区域人脸图像大小调整为固定值，将调整后人脸图像划分为n*n个网络，每个网络尺寸相同；

使用第一深度学习神经网络模型对每个网格进行识别，检测是否为黄褐斑图像，以对应网格的中心点为中心随机生成m个不同尺寸矩形区域的预选框，计算预选框中图像数据特征值，将预选框图像和数据计算特征值与第一深度学习神经网络模型特征值权重文件中的特征值匹配计算置信度，选择每个网格预选框中置信度最高的作为初始检测结果，将该区域人脸图像上所有重合度大于设定值的初始检测结果合并生成黄褐斑区域检测结果，n、m均为大于零的整数。

3.根据权利要求1所述的一种基于深度学习的黄褐斑图像识别方法，其特征在于，黄褐斑区域分割时，第二深度学习神经网络模型由预处理层将输入的黄褐斑区域图像大小调整为固定值，对调整后黄褐斑区域图像进行下采样后得到特征图，提取特征图的特征值，将提取的特征值与训练生成的第二深度学习神经网络模型权重文件记录的黄褐斑区域特征值进行匹配度计算，选择匹配度最高的特征值进行上采样，生成黄褐斑分割效果图。

4.根据权利要求2或3所述的一种基于深度学习的黄褐斑图像识别方法，其特征在于，深度学习模型的构建方法是构建数据库，将数据库的图像数据加载至深度学习神经网络模型进行训练，对训练后达到的模型进行性能检测，对未满足性能要求的模型重新训练，直至训练出满足性能要求的深度学习神经网络模型。

5.根据权利要求4所述的一种基于深度学习的黄褐斑图像识别方法，其特征在于，深度学习神经网络模型输出的图像数据包括标注文件，第一深度学习神经网络输出图像的标注文件包括黄褐斑区域标注框中心点横坐标、标注框中心点纵坐标、标注框宽度和标注框高度，第二深度学习神经网络输出图像的标注文件为二值化掩膜图像。

6.根据权利要求4所述的一种基于深度学习的黄褐斑图像识别方法，其特征在于，构建第一深度学习神经网络模型的第一数据库包括若干黄褐斑患者左侧面部图像、右侧面部图像和正面图像，构建第二深度学习神经网络模型的第二数据库包括若干黄褐斑皮损区域图像。

7.根据权利要求5所述的一种基于深度学习的黄褐斑识别图像方法，其特征在于，分割出黄褐斑图像的色度值计算时，将第二深度学习神经网络输出图像的原始二值化掩膜图像膨胀迭代，用膨胀后的二值化掩膜图像与原始二值化掩膜图像做差，设定该差值为正常皮肤区域的二值化掩膜图像，计算正常皮肤区域的二值化掩膜图像和原始二值化掩膜图像掩膜区域的Lab色彩空间的像素平均值，将该平均值输入CIEDE2000色差计算公式中，得到黄褐斑图像色度值。

8.根据权利要求1所述的一种基于深度学习的黄褐斑图像识别方法，其特征在于，面部图像信息采集时，分别在UV光光源、标准白光光源、平行偏振光光源和交叉偏振光光源下，采集左侧面部图像、右侧面部图像和正面图像；对采集的面部图像信息使用人脸特征点检测模型，获取人脸图像，将人脸图像分割为左侧面颊区域、右侧面颊区域、前额区域和下颚区域。

9.一种基于深度学习的黄褐斑图像识别系统，其特征在于，所述系统使用如权利要求1-8任意一项所述的一种基于深度学习的黄褐斑图像识别方法，系统包括图像采集模块和图像处理模块，图像采集模块采集人脸的左侧面、右侧面和正面面部图像信息，发送至图像处理模块进行图像处理；图像处理模块包括黄褐斑区域检测模型、黄褐斑区域分割模型和黄褐斑色度值计算模型；黄褐斑区域检测模型用于在区域人脸图像中检测出黄褐斑区域，黄褐斑区域分割模型用于在人脸图像中检测出的黄褐斑区域分割出黄褐斑图像，黄褐斑色度值计算模型用于对黄褐斑区域分割模型分割出的黄褐斑图像进行色度值计算。

10.一种基于深度学习的黄褐斑图像识别装置，其特征在于，设有如权利要求9所述的一种基于深度学习的黄褐斑图像识别系统，所述装置包括配合用于控制图像采集时的光源单元和滤光片单元，用于采集面部图像的采集单元和控制单元；

光源单元包括交叉偏振光光源、平行偏振光光源、标准白光光源和UV光光源；滤光片单元包括交叉偏振光滤光片、平行偏振光光片和UV光滤光片；采集单元包括导轨、限位传感器、导轨步进电机和相机；控制单元包括驱动控制板、工控机和I/O设备。

Images