CN106529429B - 一种基于图像识别的面部皮肤分析系统 - Google Patents

Abstract

本发明公开了一种基于图像识别的面部皮肤分析系统。提出了一种图像识别的面部分析系统，能够对皮肤的情况做出一系列的测评并给出总体的评价，主要包括：人脸检测分割模块，美白度检测模块，粗糙度检测模块，色斑量检测模块和综合评判模块。首先输入检测图像，通过分类器进行正脸检测、区域定位和分割；然后将分割获得的图像进行肤色亮暗和红润情况分析；通过灰度共生矩阵，获取特征指标量化检测区域的粗糙度；使用类似分水岭的方法和计算区域截面积之和来分析色斑量；最后根据所有的检测结果进行综合评判。通过技术手段来量化产品使用效果的好坏，实现品质的把控，对化妆品生产厂家来说具有很大的经济价值，同时这也将带来更好的经济效应。

Description

一种基于图像识别的面部皮肤分析系统

技术领域

本发明涉及图像处理领域，特别是涉及一种面部特征值的分析检测与评价。

背景技术

随着科学技术的提升和人们生活质量的提高，人们拍照的使用频率逐渐上升。另外，皮肤质量作为人体生理健康状况的一面镜子，越来越受到人们的重视，人们越来越关注面部皮肤的美容及护理，也希望能方便快捷地评价自己的皮肤状况。

目前国内的人体皮肤表面状态评价方法一般采用目视主观的判断方法。这种方法虽然简单直观，但是也存在弊端：第一，目视这种方法存在很大的主观性，缺乏客观分析。不同的人对于同一块皮肤有着不同判断，在不同情况下同一个人也会有不同的判断。第二，“参考标准”不同，标准的不同导致判断存在误差。第三，细微的变化肉眼无法察觉，仅仅凭目视无法分辨。目前对于社会上存在的大部分美容产品，其改善效果通常需要一定的时间才能看出来。在这缓慢变化的期间内，肉眼很难观察到皮肤的细微变化。在国外，由于高新技术的发展，采用激光扫描或共聚焦显微镜，结合计算机图像分析识别技术的方法，对皮肤表面结构进行研究，能够对皮肤表面结构进行精细分析和重现皮肤的三维结构。对于这些检测皮肤的分析设备，由于价格昂贵，且检测视野相对较小，导致在实际应用中存在相对的局限性。国际上广泛采用的硅胶复膜制备的皮纹样本的方法，通过专用设备，检测皮纹在斜射光下形成的阴影面积，获得皮肤粗糙度的情况。但该方法操作极其麻烦，只有专业的医院或是美容院才会采用，而且不仅耗时，费用也大大的提升。

基于计算机视觉与人工智能算法，从人脸检测技术与五官定位技术出发，通过图像分析与图像理解技术实现对化妆品使用效果的高精度量化评估，实现对面部皮肤区域的提取与分区，通过图像分析技术计算皮肤的美白度、红润度、量化粗糙度、准确提取色斑区域并估算含量，最终以分值的形式输出高精度的量化评价指标。输出的评估报告能够更加直观地让人们清楚地认识到皮肤变化情况。

发明内容

本发明主要解决的技术问题是提供一种基于图像识别的面部皮肤分析系统方法，能够让人们进一步了解自身皮肤特征以及使用某些产品后的效果。

为解决上述问题，能够更好的了解皮肤特征，本发明采用的一个技术方案是：提供一种基于图像识别的面部皮肤分析系统；包括：

1.人脸检测分割模块：通过设备使用分析技术对人脸进行皮肤检测以及分块，实现面部皮肤区域的提取与分割，然后将输入图像的RGB信息进行归一化，包括：

(1)检测部分：将输入图像转换成灰度图，然后通过归一化颜色空间和光滑滤波进行图像增强，将Opencv中已经训练好的adboost分类器用于检测正脸。对人脸检测的结果进行滤波，同时在使用了眼睛(eye)检测和面部(face)检测的分类器后，统计face的矩形区域内全包含关系的eye数目，如果数目小于1，那么说明该脸部不存在，即有可能是误检。

(2)分割部分：通过对图像进行分块，设定一个阈值描述face矩形区域中各个线性维度上的块数，表示在宽和高的方向上都要存在设定值的块数。利用分块的位置distance以及分块中颜色值的均值和标准差信息计算相关参数factor_1进行分割，所述result的结果如果为真，则确定为分割区域，否则不是。所述的分块的位置distance以及分块中颜色值的均值和标准差信息计算相关参数factor_1由以下两个公式获得：

其中：x_b，y_b为分块中心的坐标，x_f，y_f为检测脸部中心坐标；DiaLen为face矩形的对角线长度，1.2为高度的扩展系数；

Std_B，Std_G，Std_R分别为蓝色、绿色、红色各通道标准差；μ_B，μ_G，μ_R为蓝色、绿色、红色各通道均值。

result＝(factor_1-0.3)*0.3+((1-distance)-0.55)*0.7

最后result的数值和默认设定阈值0.3做大小比较，把result的数值与0.3比较，若结果大于0.3，则判定结果为真，确定为分割区域，如果不是，则重新检测。

2.美白度检测模块：将检测区域图像由RGB模型转换到CIE-Lab颜色模型，并对转换后的CIE-Lab模型求取各个分量的均值，通过以下公式获取个体类型角(ITA)、色度角(Hab)作为肤色指标，个体类型角(ITA)检测肤色的亮暗度，色度角(Hab)检测皮肤的红润度：

其中对应为X-Y-Z坐标系中X分量的平均值，对应为X-Y-Z坐标系中Y分量的平均值，对应为X-Y-Z坐标系中Z分量的平均值。

皮肤亮暗分级标准分类如下：

个体类型角范围	ITA＞55	55＞ITA＞41	41＞ITA＞28	28＞ITA＞10	10＞ITA
						皮肤亮暗分级标准	非常白	比较白	一般白	比较黑	非常黑

美白度检测模块中个体类型角(ITA)检测判定结果以连续的双精度浮点数的数值0-100.0000分形式输出，同时也分五个等级：非常白、比较白、一般白、比较黑、非常黑；红润度(Hab)检测判定结果以连续的双精度浮点数的数值0-100.0000分形式输出，值越大说明皮肤越红，反之皮肤越黄。

3.粗糙度检测模块：依据公式获取图像某一块灰度的平均值并计算图像分块像素的标准差。其中公式：

式中Gray(x，y)为图像分块像素点(x，y)的灰度，M，N分别表示图像分块的大小。通过上述两个参数，Mean和Roughness可以初步判断皮肤的褶皱情况。然后将灰度转换后的图像，计算灰度共生矩阵，获取角二阶矩、相关性、熵和附加的深度指标这四个纹理特征指标结合获取的灰度平均值进行判定纹理来量化粗糙度，选定阈值范围，通过计算，判断皮肤的褶皱纹理。粗糙度检测模块检测判定结果以连续的双精度浮点数的数值0-100.0000分形式输出，同时也分五个等级：非常光滑、光滑、比较光滑、比较粗糙、非常粗糙。

4.色斑量检测模块：首先使用类似分水岭的方法获得皮肤区域图像由色斑引起的凹坑，再通过计算其截面积之和求得色斑面积占比，获得色斑量。按如下步骤进行：

(1)将人脸检测分割得到的结果进行灰度化和滤波处理；

(2)将灰度化和滤波处理后的图像m与灰度化的分割图gray作差值计算，得到色斑区域由下式获得：

area_Seban＝m-gray

(3)获取的色斑区域进行特定的阈值处理，即设定将所有阈值以下的数值置为0，阈值以上的不变，本系统中设定的阈值数值为6。然后，计算色斑区域面积占比，其公式如下：

式中score为最后输出结果；area_Seban(x，y)为检测到的色斑区域面积，x，y是检测到的色斑区域所在位置坐标；area_Mask(i，j)为检测区域的面积，i，j是包含色斑的检测区域位置坐标。

(4)进行拉伸处理，输出皮肤色斑评分，其公式如下：

本系统中色斑量检测模块检测判定结果以连续的双精度浮点数的数值0-100.0000分形式输出，同时也分分为五个等级：无色斑、少量色斑、较多色斑、大量色斑、巨多色斑。

本发明有如下有益效果：

(1)本发明相比直观的皮肤检测，在皮肤处理过程中时间短，迅速，效率高，误差低；

(2)能够统计处理并保存最终用户使用某种产品在使用过程中的年龄、性别、肤质、日常监控数据、使用的化妆品时效等大数据。对于拓展产品系列力求产品多元化的化妆品生产厂家具有很大的利用价值。

(3)本发明的研究积极响应了国家关于产业转型的重大举措，通过机器客观量化的评价算法解决了当前国内美白度检测方法仅使用比色卡进行主观判断时的低精度和容易受人眼视觉主观性影响等问题；相对国外昂贵价格的设备，本发明的设备实现更加节省成本，功能的实现比较简单，普及方便，有很好的应用。通过技术的手段量化化妆品使用效果好坏程度，对未来使用效果的经验预测，实现品质的把控，带来更好的经济效应。

附图说明

图1为一种基于图像识别的面部皮肤分析系统的流程图；

图2为一种基于图像识别的面部皮肤分析系统实例1实验原图和结果；

图3为一种基于图像识别的面部皮肤分析系统实例2实验原图和结果；

具体实施方式

本发明实施例包括：

一种基于图像识别的面部皮肤分析系统，包括：对面部皮肤区域进行提取并计算皮肤美白度红润度、量化粗糙度、准确提取色斑区域并估算含量。所述的分析方法，其中：

1.人脸检测分割模块：

(1)检测部分：将输入图像转换成灰度图，然后通过归一化颜色空间和光滑滤波进行图像增强，将Opencv中已经训练好的adboost分类器用于检测正脸。对人脸检测的结果加入滤波，同时在使用了眼睛(eye)检测和面部(face)检测的分类器后，统计face的矩形区域内全包含关系的eye数目，如果数目小于1，那么说明该脸部不存在，即有可能是误检。

(2)分割部分：提取面部区域分别利用分块的位置以及分块中颜色值的均值和标准差信息计算相关参数。分为参数distance和参数factor_1，两个参数将用于计算分割阈值。首先计算分块中心到脸部矩形中心的欧式距离，再将其归一化处理，将distance和factor_1结合起来对皮肤进行分割。通过对图像进行分块，设定一个阈值来描述face矩形区域中每个线性维度上的块数，利用分块的位置distance以及分块中颜色值的均值和标准差信息计算相关参数factor_1进行分割，所述result结果如果为真，则确定为分割区域，否则不是。所述的分块的位置distance以及分块中颜色值的均值和标准差信息计算相关参数factor_1和最后的结果result由以下三个公式获得：

result＝(factor_1-0.3)*0.3+((1-distance)-0.55)*0.7

其中：x_b，y_b为分块中心的坐标，x_f，y_f为检测脸部中心坐标；DiaLen为face矩形的对角线长度，1.2为高度的扩展系数；Std_B，Std_G，Std_R分别为蓝色、绿色、红色各通道标准差；μ_B，μ_G，μ_R为蓝色、绿色、红色各通道均值；最后result的数值和默认设定阈值0.3做大小比较，把result的数值与0.3比较，若结果大于0.3，则判定结果为真，确定为分割区域，如果不是，则重新检测。

2.美白度检测模块：

美白度分析采用CIE-Lab系统，这是个均匀色彩空间，由RGB三基色转换而来的，空间中任意两点间的距离代表了人眼感觉到的色差大小。将图像有原来的RGB颜色模型通过三刺激值，由XYZ模型转换到CIE-Lab颜色模型，通过计算个体类型角ITA色度角Hab和来作为肤色指标；通过以下公式获取个体类型角(ITA)和色度角(Hab)作为美白度肤色指标，个体类型角(ITA)检测肤色的亮暗度，色度角(Hab)检测皮肤的红润度：

其中对应为X-Y-Z坐标系中X分量的平均值，对应为X-Y-Z坐标系中Y分量的平均值，对应为X-Y-Z坐标系中Z分量的平均值。

皮肤亮暗分级标准分类如下：

个体类型角范围	ITA＞55	55＞ITA＞41	41＞ITA＞28	28＞ITA＞10	10＞ITA
						皮肤亮暗分级标准	非常白	比较白	一般白	比较黑	非常黑

美白度检测模块中个体类型角(ITA)检测判定结果以连续的双精度浮点数的数值0-100.0000分形式输出，同时也分五个等级：非常白、比较白、一般白、比较黑、非常黑；红润度(Hab)检测判定结果以连续的双精度浮点数的数值0-100.0000分形式输出，值越大说明皮肤越红，反之皮肤越黄。

最终根据输出数值进行检测评价，美白度检测模块，ITA检测判定结果以连续的双精度浮点数的数值0-100.0000分形式输出，同时也分五个等级：非常白、比较白、一般白、比较黑、非常黑；Hab检测判定结果以连续的双精度浮点数的数值0-100.0000分形式输出，值越大说明皮肤越红，反之皮肤越黄。

3.粗糙度检测模块：

粗糙度检测模块通过计算图像的特征指标进行判断。首先将原图像由RGB彩图转化为灰度图像，皮肤粗糙度检测模块利用图像某区域的平均灰度值和相应区域灰度值的标准差，初步判断皮肤的褶皱情况，然后图像进行灰度转换，通过灰度共生矩阵，将灰度空间级数量化成0～63个等级，从不同角度获取计算角二阶矩、相关性、熵和附加的深度指标这四个纹理特征指标进行判定，按如下步骤包括：

步骤1，求取图像的共生矩阵，分别从0度、45度、90度和135度四个方向上求取，并作归一化处理，取得平均共生矩阵；

步骤2，步骤1中获得的平均共生矩阵，通过公式，计算角二阶矩、相关性、熵和附加的深度指标这四个特征指标。其中：

(1)角二阶矩：

(2)相关性：

(3)熵：

(4)附加的深度指标：

其中其中元素(i，j)的值表示一个灰度为i，另一个灰度为j的设定距离的像素对在角的方向上出现的次数。

步骤3，相关性CORRLN和深度DEPTH来表示地表征皱纹的深度信息，设定阈值判断皱纹是否存在：大于阈值存在皱纹，小于阈值则没有；角二阶矩ASM和熵ENT来表示纹理的密度信息；当皱纹存在，ASM和熵ENT的值来判断皱纹的密度：ASM小、ENT大，皱纹密度大，反之密度小；通过深度DEPTH来判断皱纹的深浅：DEPTH数值大，皱纹深，DEPTH数值小，皱纹浅。

步骤4，根据步骤3中获得特征指标以连续的双精度浮点数的数值0-100.0000分形式输出，同时也分为五个评价等级：非常光滑、光滑、比较光滑、比较粗糙、非常粗糙。

4.色斑量检测模块：

色斑量的分析，首先使用类似分水岭的方法获得皮肤区域图像由色斑引起的凹坑，再通过计算其截面积之和求得色斑面积占比获得色斑量。在本系统中我们检测斑点考虑了深色斑点(黑头)，和浅色斑点(与皮肤颜色接近，诸如粉刺等类型)，首先将RGB颜色模型转为HSI模型，利用H(色度)S(饱和度)I(亮度)分量对图像分别进行X和Y上的投影来确认图像中斑点的大概位置，然后根据深色斑点和浅色斑点的特性进行自适应检测，并加入形态学的腐蚀和膨胀算法，对检测的结果进行过滤和修正，从而对色斑含量做出测评。

色斑量检测模块按如下步骤进行：

(1)将人脸检测分割得到的结果进行灰度化和滤波处理；

(2)将灰度化和滤波处理后的图像m与灰度化的分割图gray作差值计算，得到色斑区域由下式获得：

area_Seban＝m-gray

(3)获取的色斑区域进行特定的阈值处理，将设定阈值以下的数值重置为0，阈值数值以上的保持不变，本系统中设定的阈值数值为6，即获得由色斑引起的凹坑所占区域，然后，计算色斑区域面积占比，公式如下：

式中score为最后输出结果；area_Seban(x，y)为检测到的色斑区域面积，x，y是检测到的色斑区域所在位置坐标；area_Mask(i，j)为检测区域的面积，i，j是包含色斑的检测区域位置坐标。

(4)进行拉伸处理，输出皮肤色斑评分，其公式如下：

5.检测结果分析：

最终皮肤的评分标准分为以下几个等级：肤质很好、肤质较好、肤质一般、肤质较差、肤质很差，其中参数指标的等级以及总体评价如下：

(1)美白度：非常白、比较白、一般白、比较黑、非常黑；

(2)粗糙度：非常光滑、光滑、比较光滑、比较粗糙、非常粗糙；

(3)色斑量：无色斑、少量色斑、较多色斑、大量色斑、巨多色斑；

6检测结果实例：

所示结果实例中，实例1为一张肤色一般白，皮肤枯黄，有较多色斑的图片；

所示结果实例中，实例2为一张肤色非常白，皮肤红润，无色斑的图片；

所示结果实例中，实例3为一张肤色比较白，皮肤红润，有较多色斑的图片。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，均同理包括在本发明的专利保护范围内。

Claims (2)

1.一种基于图像识别的面部皮肤分析系统，其特征在于五个模块，包括：

(1)人脸检测分割模块，输入需要进行皮肤检测的部分，区域定位，获取需要处理的区域：

在对人脸图像进行分块的时候，将分块的位置distance以及利用分块中颜色值的均值和标准差信息计算得到的相关参数factor_1结合起来对皮肤进行分割；所述的分块的位置distance、分块中利用颜色值的均值、标准差信息计算的相关参数factor_1和皮肤分割结果由以下三个公式获得：

式中DiaLen为人脸矩形的对角线长度，1.2为高度的扩展系数，x_b，y_b为分块中心的坐标，x_f，y_f为检测区域脸部中心坐标；

式中Std_B，Std_G，Std_R分别为蓝色、绿色、红色各通道标准差；μ_B，μ_G，μ_R分别为蓝色、绿色、红色各通道均值；

result＝(factor_1-0.3)*0.3+((1-distance)-0.55)*0.7

然后将式中result和设定阈值0.3做比较，若大于0.3，则结果判定为真，确定为分割区域，否则不是，重新检测；

(2)美白度检测模块，对所获得的图像进行肤色分析计算皮肤美白度和红润度；

(3)粗糙度检测模块，通过计算公式对所获取的图像进行量化粗糙度分析，获取图像粗糙度情况；

(4)色斑量检测模块，对所获取的区域进行色斑量的分析；

色斑量检测模块步骤如下：

1)将人脸检测分割得到的结果进行灰度化和滤波处理；

2)对分割后的图像进行灰度化得到灰度图gray，再对灰度图gray进行滤波处理得到图像m，凸显原图像中的色斑区域，将图像m与图像gray作差值计算，色斑区域由下式获得：

area_Seban＝m-gray

3)对获取的色斑区域进行特定的阈值处理，将设定阈值以下的像素灰度值重置为0，阈值以上的像素灰度值保持不变，即获得由色斑引起的凹坑所占区域，计算色斑区域面积占比获得色斑量，公式如下：

式中score为最后输出结果；area_Seban(x，y)为检测到色斑区域的面积，x，y是检测到的色斑区域内的像素位置坐标；area_Mask(i，j)为检测区域的面积，i，j是包含色斑的检测区域内的像素位置坐标；

(5)评价指标模块，对检测的各个参数指标进行定量和定性的评判。

2.根据权利要求1所述的一种基于图像识别的面部皮肤分析系统，其特征在于，所述参数指标的以连续的双精度浮点数的数值0-100.0000分形式输出，同时也分为以下五个等级包括：

(1)美白度：非常白、比较白、一般白、比较黑、非常黑；

(2)粗糙度：非常光滑、光滑、比较光滑、比较粗糙、非常粗糙；

(3)色斑量：无色斑、少量色斑、较多色斑、大量色斑、巨多色斑；

(4)最终输出评分标准：肤质很好、肤质较好、肤质一般、肤质较差、肤质很差。