CN110472605B - 一种基于深度学习人脸分区的皮肤问题分类方法 - Google Patents

Abstract

本发明公开了一种基于深度学习人脸分区的皮肤问题分类方法，所述方法包括：采集多张人脸图像，按照额头区A_H、左眶区A_EL、右眶区A_ER、鼻梁区A_N、左脸颊区A_CL、右脸颊区A_CR、下巴区A_J等7个分区标注人脸，形成人脸分区标注数据集；在人脸分区标注数据集上训练深度学习实例分割模型，使分区分类交叉熵L_CrossEntropy、分区外框定位准确函数L_Detect、分区像素分类准确率L_Mask三个偏差函数具有最小值；使用训练完成的实例分割模型分割人脸区域，并确认各分区中存在皮肤问题；根据区域先验知识分类皮肤问题，给出对应的方案。该方法实现了用于人脸分区的皮肤问题分类，适用性好，在保证实时性的前提下，提供了智能皮肤问题分区分类及方案。

Description

一种基于深度学习人脸分区的皮肤问题分类方法

技术领域

本发明涉及图像处理领域，尤其涉及一种基于深度学习人脸分区的皮肤问题分类的图像处理方法。

背景技术

随着美容美肤行业的不断发展，人们对健康美的追求逐渐提升，人脸皮肤各区域的皮肤问题对应着不同的健康问题，所以如何针对不同人脸分区来提供皮肤问题分类成为一些关键的技术。目前国内的人脸皮肤分区分类技术并不成熟，主要依靠医师的主观评判，分区没有统一标准，不能很好地准确定位人脸分区位置。鉴于上述困扰，十分有必要设计一种人脸分区的皮肤问题分类方法。

现有的专利并未涉及关于具体人脸分区及皮肤分区分类的方法，如CN101162500A提出了分区式人脸识别方法，但涉及领域为人脸识别，且并未详细描述分区标准；如CN107239671A提出了一种皮肤状态的管理方法、装置和系统，涉及的皮肤管理标准分区则为皮肤检测数值对的取值区间而非人脸分区。

1)、“分区式人脸识别方法”，专利号CN101162500A。该发明公开了一种分区式人脸识别方法，首先预建包含一个或多个人脸各区域特征数据的人脸特征数据库，然后对待识别的人脸进行分区，并提取经分区后的人脸各区域的特征数据，再设定需进行比对的区域，接着根据所设定的需要进行比对的区域将相应的区域特征数据与所述人脸特征数据库内的对应数据进行比对并计算出待识别的人脸与所述人脸特征数据库的人脸的相似度，以识别人脸。该方法提及了一种人脸分区方法，但主要用于人脸识别，且并未详细描述分区标准。

2)、“一种皮肤状态的管理方法、装置和系统”，专利号CN107239671A。该发明提供一种皮肤状态的管理方法、装置和系统，该方法包括：获取用户的皮肤管理项的检测值，然后从预先配置的数据库中，获取皮肤管理项的检测值所属的皮肤管理项的标准分区对应的皮肤改善方案，其中在数据库中皮肤管理项的取值区间划分为多个标准分区，最后输出皮肤改善方案。该方法通过检测皮肤表面含水量、脂肪含量、蛋白质含量及抗氧化数值提供皮肤管理选项，所述标准分区为所述皮肤检测数值的取值区间而非人脸分区。

发明内容

为解决上述技术问题，本发明的目的是提供一种基于深度学习人脸分区的皮肤问题分类方法，以提供了智能皮肤问题分区分类及方案，提高人脸皮肤问题分类的效率和适用性。

本发明的目的通过以下的技术方案来实现：

一种基于深度学习人脸分区的皮肤问题分类方法，包括：

人脸分区及标注、训练深度学习实例分割模型、分割人脸区域、根据区域先验知识分类皮肤问题；具体方法如下：

A采集多张人脸图像，按照额头区A_H、左眶区A_EL、右眶区A_ER、鼻梁区A_N、左脸颊区A_CL、右脸颊区A_CR与下巴区A_J7个分区标注人脸，形成人脸分区标注数据集；

B在人脸分区标注数据集上训练深度学习实例分割模型，使分区分类交叉熵L_CrossEntropy、分区外框定位准确函数L_Detect、分区像素分类准确率L_Mask三个偏差函数具有最小值；

C使用训练完成的实例分割模型分割人脸区域，并确认各分区中存在皮肤问题；

D根据区域先验知识分类皮肤问题，给出对应的方案。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：该方法实现了用于人脸分区的皮肤问题分类，适用性好，在保证实时性的前提下，提供了智能皮肤问题分区分类及方案。

附图说明

图1是基于深度学习人脸分区的皮肤问题分类方法工作流程图；

图2是人脸分区示意图；

图3是人脸皮肤问题分类示意图；

图4是基于深度学习人脸分区的皮肤问题分类方法程序框架。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。

如图1所示，为基于深度学习人脸分区的皮肤问题分类方法工作流程，包括如下步骤：

步骤10采集多张人脸图像，按照额头区A_H、左眶区A_EL、右眶区A_ER、鼻梁区A_N、左脸颊区A_CL、右脸颊区A_CR、下巴区A_J7个分区标注人脸，形成人脸分区标注数据集；

步骤20在人脸分区标注数据集上训练深度学习实例分割模型，使分区分类交叉熵L_CrossEntropy、分区外框定位准确函数L_Detect、分区像素分类准确率L_Mask三个偏差函数具有最小值；

步骤30使用训练完成的实例分割模型分割人脸区域，并确认各分区中存在皮肤问题；

步骤40根据区域先验知识分类皮肤问题，给出对应的方案。

如图2所示为人脸分区示意图，各分区包括：额头区A_H、左眶区A_EL、右眶区A_ER、鼻梁区A_N、左脸颊区A_CL、右脸颊区A_CR、下巴区A_J

额头区A_H与左眶区A_EL分界线l_HCL为左侧眉毛外点P_eyebrowOL延长线，其中l_HCL与人脸中轴线L_face垂直，并以左侧眉毛外点P_eyebrowOL为起点，有：

l_HCL⊥L_face，P_eyebrowOL∈l_HCL

额头区A_H与右眶区A_ER分界线l_HCR为右侧眉毛外点P_eyebrowOR沿延长线，其中l_HCR与人脸中轴线L_face垂直，并以右侧眉毛外点P_eyebrowOR为起点。有：

l_HCR⊥L_face，P_eyebrowOR∈l_HCR

额头区A_H与左眶区A_EL分界线l_HEL为左侧眉毛上边缘L_eyebrowL；

额头区A_H与右眶区A_ER分界线l_HER为左侧眉毛上边缘L_eyebrowR；

左眶区A_EL与左脸颊区A_CL分界线l_HAL为左侧眼角外点P_canthusL延长线，其中l_HAL与人脸中轴线L_face垂直，并以左侧眉毛外点P_canthusL为起点，有：

l_HAL⊥L_face，P_canthusL∈l_HAL

右眶区A_ER与右脸颊区A_CR分界线l_HAR为右侧眼角外点P_canthusR延长线，其中l_HAR与人脸中轴线L_face垂直，并以右侧眉毛外点P_canthusR为起点。有：

l_HAR⊥L_face，P_canthusR∈l_HAR

下巴区A_J与左脸颊区A_CL分界线l_CJL为嘴左侧点P_mouthL延长线，其中l_CJL与人脸中轴线L_face垂直，并以嘴左侧点P_mouthL为起点，有：

l_CJL⊥L_face，P_mouthL∈l_CJL

下巴区A_J与右脸颊区A_CR分界线l_CJR为嘴右侧点P_mouthR延长线，其中l_CJR与人脸中轴线L_face垂直，并以嘴右侧点P_mouthR为起点，有：

l_CJR⊥L_face，P_mouthR∈l_CJR

如图3所示为人脸皮肤问题分类示意图，经过识别皮肤问题所在的区域，根据区域先验知识分类皮肤问题，给出对应的皮肤问题分析结果及方案。

如图4基于深度学习人脸分区的皮肤问题分类方法程序框架所示，上述步骤10具体包括：

采集多张人脸图像，并按照额头区A_H、左眶区A_EL、右眶区A_ER、鼻梁区A_N、左脸颊区A_CL、右脸颊区A_CR、下巴区A_J等7个分区标注人脸，标注完成后，通过程序将标注结果转化为二值图像，形成人脸分区标注数据集。

如图4基于深度学习人脸分区的皮肤问题分类方法程序框架所示，上述步骤20具体包括：

将标注的数据集输入，通过区域生成网络逐层处理，生成目标区域的候选框，将生成的目标框分类筛选，处理检测目标，并迭代训练深度学习实例分割模型，使分区分类交叉熵L_CrossEntropy、分区外框定位准确函数L_Detect、分区像素分类准确率L_Mask三个偏差函数具有最小值，生成训练好的网络模型。

所述分区分类交叉熵L_Cls、分区外框定位准确函数L_Detect、分区像素分类准确率L_Mask三个偏差函数分别为：

设标注后图像区域的响应概率

类别u，各类别预测的框格t^u、各类别实际范围v，各类别的区域编码k_m×n。多任务损失函数L、及分区分类交叉熵L_Cls、分区外框定位准确函数L_Detect、分区像素分类准确率L_Mask可以由方程组计算得到：

式中

如图4基于深度学习人脸分区的皮肤问题分类方法程序框架所示，上述步骤30具体包括：

调用训练好的网络模型，输入人脸图像，调用训练好的网络模型，处理、生成并分类概率图像，分割人脸区域得到额头区A_H、左眶区A_EL、右眶区A_ER、鼻梁区A_N、左脸颊区A_CL、右脸颊区A_CR、下巴区A_J等7个分区，并记为{A_{face_1},A_{face_2},A_{face_3},A_{face_4},A_{face_5},A_{face_6},A_{face_7}}；对于检测到的N_a个痤疮问题区域记为{A_{acne_1},A_{acne_2},A_{acne_3}...A_{acne_Na}}N_s、个色斑问题区域记为{A_{stain_1},A_{stain_2},A_{stain_3}...,A_{stain_Ns}}。

通过判断交集迭代计算得到这些皮肤问题处于人脸分区中。

如图4基于深度学习人脸分区的皮肤问题分类方法程序框架所示，上述步骤40具体包括：

识别出区域皮肤问题后，通过调用皮肤问题知识库，根据区域先验知识分类皮肤问题，并根据不同分区的皮肤问题提供对应的方案，具体如表1皮肤问题所在区域原因分类及方案推荐表所示：

表1

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (6)

1.一种基于深度学习人脸分区的皮肤问题分类方法，其特征在于，所述方法包括：人脸分区及标注、训练深度学习实例分割模型、分割人脸区域、根据区域先验知识分类皮肤问题；具体方法如下：

A采集多张人脸图像，按照额头区A_H、左眶区A_EL、右眶区A_ER、鼻梁区A_N、左脸颊区A_CL、右脸颊区A_CR与下巴区A_J7个分区标注人脸，形成人脸分区标注数据集；

B在人脸分区标注数据集上训练深度学习实例分割模型，使分区分类交叉熵L_CrossEntropy、分区外框定位准确函数L_Detect、分区像素分类准确率L_Mask三个偏差函数具有最小值；

C使用训练完成的实例分割模型分割人脸区域，并确认各分区中存在皮肤问题；

D根据区域先验知识分类皮肤问题，给出对应的分类方案；

所述B中分区分类交叉熵L_Cls、分区外框定位准确函数L_Detect、分区像素分类准确率L_Mask三个偏差函数分别为：

设标注后图像区域的响应概率

类别u，各类别预测的框格t^u、各类别实际范围v，各类别的区域编码k_m×n，多任务损失函数L、及分区分类交叉熵L_Cls、分区外框定位准确函数L_Detect、分区像素分类准确率L_Mask可以由方程组计算得到：

式中

2.如权利要求1所述的基于深度学习人脸分区的皮肤问题分类方法，其特征在于，所述步骤A中额头区与左眶区分界线l_HCL、额头区与右眶区分界线l_HCR分别为：

额头区与左眶区分界线l_HCL为左侧眉毛外点P_eyebrowOL延长线，其中l_HCL与人脸中轴线L_face垂直，并以左侧眉毛外点P_eyebrowOL为起点，有：

l_HCL⊥L_face，P_eyebrowOL∈l_HCL

额头区与右眶区分界线l_HCR为右侧眉毛外点P_eyebrowOR沿延长线，其中l_HCR与人脸中轴线L_face垂直，并以右侧眉毛外点P_eyebrowOR为起点，有：

l_HCR⊥L_face，P_eyebrowOR∈l_HCR。

3.如权利要求1所述的基于深度学习人脸分区的皮肤问题分类方法，其特征在于，所述步骤A中额头区与左眶区分界线l_HEL、额头区与右眶区分界线l_HER分别为：

额头区与左眶区分界线l_HEL为左侧眉毛上边缘L_eyebrowL；

额头区与右眶区分界线l_HER为左侧眉毛上边缘L_eyebrowR。

4.如权利要求1所述的基于深度学习人脸分区的皮肤问题分类方法，其特征在于，所述步骤A中左眶区与左脸颊区分界线l_HAL、右眶区与右脸颊区分界线l_HAR分别为：

左眶区与左脸颊区分界线l_HAL为左侧眼角外点P_canthusL延长线，其中l_HAL与人脸中轴线L_face垂直，并以左侧眉毛外点P_canthusL为起点，有：

l_HAL⊥L_face，P_canthusL∈l_HAL

右眶区与右脸颊区分界线l_HAR为右侧眼角外点P_canthusR延长线，其中l_HAR与人脸中轴线L_face垂直，并以右侧眉毛外点P_canthusR为起点，有：

l_HAR⊥L_face，P_canthusR∈l_HAR。

5.如权利要求1所述的基于深度学习人脸分区的皮肤问题分类方法，其特征在于，所述步骤A中下巴区与左脸颊区分界线l_CJL、下巴区与右脸颊区l_CJR分界线分别为：

下巴区与左脸颊区分界线l_CJL为嘴左侧点P_mouthL延长线，其中l_CJL与人脸中轴线L_face垂直，并以嘴左侧点P_mouthL为起点，有：

l_CJL⊥L_face，P_mouthL∈l_CJL

下巴区与右脸颊区分界线l_CJR为嘴右侧点P_mouthR延长线，其中l_CJR与人脸中轴线L_face垂直，并以嘴右侧点P_mouthR为起点，有：

l_CJR⊥L_face，P_mouthR∈l_CJR。

6.如权利要求1所述的基于深度学习人脸分区的皮肤问题分类方法，其特征在于，所述步骤C中使用训练完成的实例分割模型分割人脸区域，并确认各分区中存在皮肤问题方法具体为；

使用训练完成的实例分割模型分割人脸区域得到额头区A_H、左眶区A_EL、右眶区A_ER、鼻梁区A_N、左脸颊区A_CL、右脸颊区A_CR、下巴区A_J7个分区，并记为{A_{face_1},A_{face_2},A_{face_3},A_{face_4},A_{face_5},A_{face_6},A_{face_7}}；对于检测到的N_a个痤疮问题区域记为

个色斑问题区域记为

通过判断交集迭代计算得到这些皮肤问题处于人脸分区中：

Images