CN111524080A

CN111524080A - 脸部皮肤特征的识别方法、终端及计算机设备

Info

Publication number: CN111524080A
Application number: CN202010323126.8A
Authority: CN
Inventors: 杨坤
Original assignee: Hangzhou Yaolingyao Intelligent Technology Co ltd
Current assignee: Hechutu (Shanghai) Intelligent Technology Co.,Ltd.
Priority date: 2020-04-22
Filing date: 2020-04-22
Publication date: 2020-08-11

Abstract

本发明提供的一种脸部皮肤特征的识别方法，其应用于对人的脸部皮肤进行识别并分析出特征以利于皮肤管理，具体的包括了脸部图像采集，图像预处理，图像质量判断，图像特征检测几个步骤。其中在图像质量判断步骤中分为脸部遮挡区和非遮挡区的概率计算以获取初步的脸部图像的截取，进一步的再对非遮挡区的图像进行进一步的图割处理以获取精准的脸部皮肤的图片。依据本方法，能够一次完成对人脸部区域精确识别，提升了获取脸部图像并进行识别分析的效率。

Description

脸部皮肤特征的识别方法、终端及计算机设备

技术领域

本发明涉及计算机技术领域，具体涉及一种通过执行相应的步骤能够将人脸部的特征进行识别的方法，并执行该方法的计算机设备，应用方法和执行该方法的计算机设备的终端，通过如上方法、计算机设备和终端所组成的系统能够识别人脸部皮肤的特征，并依据对特征的分析给出报告以利针对皮肤进行管理如化妆品护理的选择提供可信的依据等。

背景技术

随着人们的生活水平日益提高，对自身的形象管理也是越发的重视。其中对脸部皮肤的护理是形象管理非常重要的部分。皮肤管理首先是需要了解脸部皮肤的存在的问题检测。

目前，人脸皮肤质量检测是一项专业性较强的技术，主要存在于美容院皮肤疾病诊断、化妆品效果分析等领域，由于经济社会的发展和人们生活水平的提高，对于皮肤状态的实时检测已是一种趋势。然而现有的皮肤检测基本都依赖于专业级的皮肤检测设备，这类设备使用较为麻烦，需要在专业人士的指导下使用，且价格昂贵。

这类仪器目前市面有很多，如美国的VISIA,荷兰的OBSERV,中国的微美薇和魔镜仪等。他们的特点都是需要标准化地对采样环境进行控制，从而得到比较满意的图片，才能进行准确的检测。在这种设备中，最重要的因素莫过于光源了。主要通过光的反射和散射。在皮肤表面，一部分光线直接被反射，一部分光线被皮肤表面的角质层反射，还有一部分被表皮和真皮层的各种物质散射掉了，因此这类仪器对于皮肤的检测很大程度来自于不同光源给出的信息。不同波长的光源，其穿透皮肤的能力以及在皮肤上不同层面的作用都是不一样的。譬如色素就对UV比较敏感，应用UV能够更好地“看到”皮肤上的色素。在VISIA中，就应用了白光(偏振)、棕色光、红光和UV光来进行照射和拍摄。因此，在这些仪器当中，不但需要提供特定波长的光源，还需要定制能捕捉这些波长光源的镜头。

另外，现有的皮肤检测设备通常只能单独对脸部某一区域进行检测，在对脸部全部区域进行检测时，通常需要皮肤检测设备进行多次检测或者让被检测者不停地将需要检测的区域调整从而正对着皮肤检测设备，导致皮肤检测次数多、时间长、效率低。

现有技术中有采用机器学习的方法对脸部图像进行学习和分析提升对脸部皮肤的检测效率。在这个过程中非常重要的是对人的脸部进行识别以及特征的定位。具体的在公布号为 CN104392211的发明专利中记载了通过对图片上的像素点的三原色分量进行计算获取脸部的皮肤区和非皮肤区的概率。上述原理是对图像的皮肤识别的技术方案中常规的技术原理。该专利中特别的是创建了皮肤肤色模型并提供了代码，其功能是适应光线暗淡时对图像中脸部的识别率。优点在于在较暗的环境下有较高的识别率，缺点是识别精度不高，原因在于图片上脸部区域较大，上述方法仅仅笼统的对肤色的差别进行识别而没有将图像分割造成对皮肤区域上的某些肤质特征如红斑、细纹等进行精确的识别。

申请人根据所学以及研究，提供一种方法对人的脸部图像进行识别并进行精确的图割和算法计算以获取脸部图像，并应用机器学习识别人脸部的多种皮肤特征，并根据这些皮肤特征给出皮肤报告以利于护理等情况。

发明内容

为解决上述技术问题，本发明提供了脸部皮肤特征的识别方法，其目的是,提供一种能够精确识别图片中人脸部分并对人脸部分上的特征进行识别的方法，更进一步的提供一种计算机设备其中的处理单元能够实现上述脸部特征的识别方法的步骤，更进一步提供一种装置其能够在人使用镜子观察脸部的时候就能够对脸部拍照并完成皮肤特征识别方法的步骤。一种脸部皮肤特征的识别方法，

脸部图像采集，获取人的脸部的原始图像；

图像预处理，通过计算机算法对脸部的原始图像进行处理获得脸部的处理后图像；

图像质量判断，对脸部的处理后图像进行质量判断获得脸部的质量判断后图像；

图像特征检测，对脸部的质量判断后图像进行特征检测。

进一步的，所述的图像预处理具体方法为：

图像的光线补偿，计算机识别原始图像中的红色、绿色和蓝色三种颜色的颜色分量的平均值分别计为avgR、avgG和avgB，同时设定一个原始图像的平均灰度值avgGray，调整原始图像中的红色、绿色和蓝色三种颜色分量使得颜色分量的平均值近似于原始图像的平均灰度值 avgGray；

图像的灰度调整，将脸部的原始图像含有亮度和色彩的彩色图像转换成仅含有灰度的灰度图像，在灰度图像中划分成若干个直方图，设置灰度阈值，对每一个直方图内的灰度均值与灰度阈值进行比较，当某个直方图的灰度均值超出了灰度阈值则将超出部分平均分配给其他的直方图内最终使得全部的直方图的灰度值均衡；

图像的几何校正，对原始图像的像素元的位置与标准图像的像素元的位置对比，使得原始图像的像素元的位置近似于标准图像的像素元的位置；

图像的增强，设置亮度阈值，对灰度图像的直方图的亮度均值与亮度阈值进行对比，当某个直方图的亮度均值超出了亮度均值则将超出部分平均分配给其他的直方图内最终使得全部的直方图的亮度均衡；

图像的滤波，用于增强灰度图像中的某些图像特征或者去除灰度图像中一些图像特征部分；

图像的锐化，通过增强滤波后的图像特征的的高频分量来减少图像中的模糊，增强图像细节边缘和轮廓。

进一步的，通过以下方法对脸部的处理后图像的成像质量进行图像质量判断，

对图像模糊度的质量判断，将灰度图像的图像灰度值带入拉普拉斯方差算法计算得出图像模糊量，设定模糊阈值，模糊量与该模糊阈值比较后得出图像是否模糊的判断；

脸部光照失真的质量判断，将灰度图像与不失真的标准人脸图像进行对比，通过脸图像质量评价公式计算获取一个脸部图像质量数值，依据该数值得出脸部光照是否失真的质量判断。进一步的，通过以下方法对图像特征检测：

圈定图像特征，选取图像中若干个脸部特征作为标记特征，将圈定的标记特征输入卷积神经网络算法，具体为：

将包含全部标记特征的脸部图像输入卷积神经网络算法中的第一层，将每一个标记特征限定于一个粗略的图像范围内，把每一个标记特征的粗略图像剪裁出来获取粗略图片；

将剪裁出来的图片再次输入卷积神经网络算法中的第二层，将每一个标记特征进一步的限定于较为准确的图像范围内，把每一个标记特征较为准确的图像剪裁出来获取准确图片；

将准确图片再次输入卷积神经网络算法的第三层，并对准确图片中的每一个标记特征的像素点定位并输出二维的像素坐标值。

进一步的，还包括人脸完整度的质量判断，以灰度图像中某一个图像特征为中心，按照扇形辐射人的脸部图像区域，并将该扇形的脸部图像区域划分成为若干个区域；对每个区域按照到中心的距离划分成若干个区块，对每个区块进行完整性检测。

进一步的，以脸部的嘴部为圆心，按照角度将人脸划分为若干个扇形区域；对每一个扇形区域内按照离圆心距离由远及近划分为若干个区块；对每一个扇形区域内的每一个区块按照离圆心由远及近的顺序计算预测区块是否为遮挡区块，计算预测方法为：

记扇形区域的个数为N个，并标记为1,2，…，i，…，N；

记每个扇形区域内区块的个数为M个,并标记为1,2,…，j，…，M；

记S(i，j)表示一个具体的在i扇区内的第j个区块；

记x表示为S(i，j)区块内一个具体的像素点，Ix表示该像素点的颜色向量， Ix＝(Rx,Gx,Bx)T，其中Rx表示三原色中红色的亮度数值，Gx表示三原色中绿色的亮度数值， Bx表示三原色中蓝色的亮度数值，T表示标号向量；

记lx＝1表示x属于头发表示被遮挡，lx＝0表示x属于皮肤表示没有被遮挡；

对每个扇区由外向内的顺序将每个区块的像素点的三原色的亮度值输入发色模型中计算获得P(lx＝1)值，P(lx＝1)表示像素点属于头发表示被遮挡的概率，设定遮挡概率的阈值，当像素点P(lx＝1)值大于阈值表示该像素点是属于头发区域表示被遮挡；

对区块内的所有像素点进行P(lx＝1)值计算，当超过一定数量的像素点属于头发区域表示被遮挡时判定该区块为遮挡区块，否则为非遮挡区块。

进一步的，对一个扇区内的第一个非遮挡区块进行精细的图割以将非遮挡区块中的脸部区域划分出来，具体为:

记X定义为精割块S的像素点，用Ix表示像素点的颜色向量，

Ix＝(Rx,Gx,Bx)T，LX＝(l1,l2,…,lm)T表示标号向量，其中m表示精割块S中的像素点数，并且lx＝1表示x属于头发，lx＝0表示x属于皮肤，将一个像素是头发的概率表示为P(lx＝1)，定义如下能量函数：

E(L)＝C(L)+αB(L) (1)

其中，α用以权衡两项的重要性；E(L)这个方程是自行定义的一种判断L具有计算机可量化的、有数学意义的表达式，通过该方程规定了各项之间的关系。C(L)表示像素点的预测概率；B(L)是平滑项表示对像素块分析的特征名称，用以描述相邻像素标号互异时的惩罚代价，任意精割块S中像素的最终的标号向量L*X，通过使式(1)达到最小值来获得式(1)中的第一项C(L)定义为：

C(L)＝lnx∑x∈Xc(lx) (2)

其中，nx表示精割块S中像素点的数量,c(lx)表示发色模型对像素点x的预测概率。

式(1)中第二项中的B(L)定义为：

其中，np表示像素点p的相邻点的个数，σ表示图像的平均平滑度。

一种计算机设备，包括存储器、处理器以及存储在存储器上并可以在处理器上运行的计算机程序，所述的处理器执行程序是实现上述脸部皮肤特征的识别方法的步骤。

如上这个基本算法可以在不同规模的像素面里进行AI训练学习和识别，不同规模的像素面指图片的大小，或者一张图片中不同的局部。AI有训练和识别两种模式：训练模式：通过大量图片素材，人工标记好大量的结果标签(比如：一张图片中有人脸的部分，会标记人脸，人脸中会标记五官)，然后给AI不断读取图片和对应的标签，AI就不断调整对某种特征识别的参数。

本方法会形成对每种特征识别的阈值，最终AI会记录大量这种阈值，形成了参数表。在识别模式：当AI训练过后，积累了大量参数，并趋于稳定，就可以用AI进行识别新的图片，比如识别某个图片中的鼻子，AI会调用之前训练的参数来判断，哪一部分像素群是代表鼻子，然后就输出结果。

一种用于识别脸部皮肤特征的终端，包括镜体，用于观察脸部皮肤的状态；成像装置用于对人脸部成像；包括存储器、处理器以及存储在存储器上并可以在处理器上运行的计算机程序，所述的处理器执行程序是实现上述所述的脸部皮肤特征的识别方法的步骤。

基于以上方法，我们就复制了很多这样的AI程序，组成了一个大程序，来完成目的。其中，包含识别人脸、头发、五官、法令纹、鱼尾纹、色斑等，同时也会标记出来其程度有多大。所以整个步骤依次是：先识别整个图片中人脸，然后追踪人脸的部分，再调用识别五官、法令纹、鱼尾纹等部分，第三步就是根据对应的特征进行皮肤质量的识别，完成一个完整的皮肤测评数据，最后一步，是我们预先根据医学知识对各个皮肤的不同情况的分析描述和建议描述做成参数，存储在设备内，程序根据测评数据自动寻找匹配分析和建议描述的参数，最终形成报告文档，显示在镜子上和app等显示端上。

一种用于识别脸部皮肤特征的系统，包括权用于识别脸部皮肤特征的终端，在识别脸部皮肤特征之后，所述的系统能够根据皮肤特征进行数据分析，并结合数据分析的情况给出具体的脸部皮肤特征的分析报告。

本发明提供的一种脸部皮肤特征的识别方法，其有益效果在于，其应用于对人的脸部皮肤进行识别并分析出特征以利于皮肤管理，具体的包括了脸部图像采集，图像预处理，图像质量判断，图像特征检测几个步骤。其中在图像质量判断步骤中分为脸部遮挡区和非遮挡区的概率计算以获取初步的脸部图像的截取，进一步的再对非遮挡区的图像进行进一步的图割处理以获取精准的脸部皮肤的图片。这样一来摒除传统的只依据皮肤肤色模型进行一次计算概率而获取脸部皮肤的粗略方法牺牲精度的方法。而对脸部划分为遮挡区和非遮挡区，即全部被非皮肤所遮盖的区域(遮挡区)和非皮肤与皮肤混合的区域(遮挡区)两个部分，并利用图割的方法对遮挡区进行精细的划分以将皮肤区域再次划出，这样一来能够最大精度的获取人的脸部图片。依据本方法，能够一次完成对人脸部区域精确识别，提升了获取脸部图像并进行识别分析的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

附图1为本发明实施例一脸部皮肤特征的识别方法的原理流程图；

附图2为本发明实施例二终端设备的结构示意图；

附图3为本发明实施例三用于识别脸部皮肤特征的系统的原理流程图；

附图4为本发明实施例三种模型训练的模块结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例一:

一种脸部皮肤特征的识别方法，如图1所示为其实现步骤的原理图，具体的包括：

对脸部图像的采集步骤，需要使用到基本的硬件设备如处理器、存储器及摄像头。启动采集功能后，摄像头在数秒内连续捕捉人脸图像。这些捕捉的图像就是原始图像。

基于计算机算法的人脸识别步骤主要有有：图像预处理、图像质量判断、图像特征检测等，通过以上逐步最终获取完整的只包括人脸部皮肤的完整脸部图像，并将完整脸部图像数据导入对皮肤状态的分析的算法中，最终服务于人脸肤质检测特征分析。

在本实施例中图像预处理的步骤描述如下：

主要包括人脸图像的光线补偿、直方图均衡化、灰度化、几何校正、图像增强、归一化、滤波以及锐化等。

·光线补偿

由于图像的色彩信息经常受到光源、采集设备的色彩的偏差等因素的影响从而导致整体上色彩向某一方向移动，便是我们经常所见的偏冷，照片偏黄等现象。为了便于图像的处理抵消这种整个图像中存在看色彩偏差，利于后续图像处理的开展，需要对图像进行光线补偿。本实施例GrayWorld色彩均衡算法或者基于参考白的算法调整原始图像进行光线补偿以调整色彩偏差。

GrayWorld色彩均衡算法：基于“灰度世界假设”，即对于一幅有着大量色彩变化的图像，其R、G、B三个颜色分量各自的平均值均近似于同一个灰度值。首先分别计算原始图像三个颜色分量的平均值avgR、avgG、avgB和原始图像的平均灰度值avgGray，然后分别调整每个像素的R、G、B值，使得调整后图像的三个颜色分量的平均值都近似于平均灰度值avgGray。

参考白的算法：把原始图像中像素的亮度按照由高到低的顺序来排列，提取排列前5％的像素，若这些像素的数目足够多(例如：大于100)，就将它们的亮度作为/参考白0(Reference white),将其色彩的R、G、B分量值都调整为最大的255，整幅图像其他像素的色彩分量也按照这个尺度变化。使非参考白的部分像素的RGB值也有相应提高，从而保证光照能够尽可能小的影响图像。

·直方图均衡化

对图像进行非线性拉伸，重新分配图像像素值，使一定灰度范围内的像素数量大致相同。完成后所述的原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布。

·图像灰度化

将原始图像中含有亮度和色彩的彩色图像变化成灰度图像，其目的是使得原始图像中不含色彩信息的图像另RGB色彩分量全部相等。

·几何校正

对原始图像中中像元点的位置和基准图像对应的像元尽量保持在同一个位置，减少误差，目的是使得原始图像上物体的几何位置、形状、大小、尺寸、方位等特征与其对应的实际物体的特征保持近似一致。

·图像增强

使用OpenCV函数EqualizeHist对直方图进行均衡化，其目的是改善图像中前景和后景亮度的对比度，其目的是能够对曝光过度或者曝光不足照片中更好的细节。

·归一化

通过一系列变换(即利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响)，将待处理的原始图像转换成相应的唯一标准形式(该标准形式图像对平移、旋转、缩放等仿射变换具有不变特性。其目的是原始图像在经历一些处理后会得到多种副本图像，这些图像在经过相同参数的图像归一化处理后能够得到相同形式的标准图像。

·滤波

在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，是图像预处理中不可缺少的操作，其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。图像滤波既可以在实域进行，也可以在频域进行。可以更改或者增强图像。通过滤波，可以强调一些特征或者去除图像中一些不需要的部分。滤波是一个邻域操作算子，利用给定像素周围的像素的值决定此像素的最终的输出值。

·锐化

锐化是通过增强高频分量来减少图像中的模糊，增强图像细节边缘和轮廓，增强灰度反差，便于后期对目标的识别和处理。锐化处理在增强图像边缘的同时也增加了图像的噪声。方法通常有微分法和高通滤波法。

本实施例中图像质量判断的步骤描述如下：

将由图像预处理完毕后的采集到的人脸图像，基于一系列字段和对应阈值，进行质量检测的判断，以保障该图像符合后续业务操作的要求。

质量判断主要从三个方面进行检测：图像模糊度、脸部光照范围、人脸完整度。

·图像模糊度

造成图像的模糊有2个原因,一种是目标快速移动,二是摄像头本身抖动，此时采集到的图像可能存在模糊失真的情况，当失真度超过一定阈值时将影响后续的处理。采用OpenCV及拉普拉斯算子来计算图片中的模糊量,也就是拉普拉斯方差算法(Variance ofthe Laplacian)。

首先，将图片中的某一通道(但一般用灰度值)用下面的拉普拉斯掩模做卷积运算。然后计算方差(即标准差的平方)。如果某图片方差低于预先定义的阈值，那么该图片就可以被认为是模糊的。高于阈值，就不是模糊的。这种方法凑效的原因就在于拉普拉斯算子定义本身。它被用来测量图片的二阶导数，突出图片中强度快速变化的区域，和Sobel以及Scharr 算子十分相似。并且，和以上算子一样，拉普拉斯算子也经常用于边缘检测。此外，此算法基于以下假设：如果图片具有较高方差，那么它就有较广的频响范围，代表着正常，聚焦准确的图片。但是如果图片具有有较小方差，那么它就有较窄的频响范围，意味着图片中的边缘数量很少。主要代码如下：

import cv2

imagePath＝'./data/y1.jpg'

image＝cv2.imread(imagePath)

gray＝cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)

print('y1 blur:',cv2.Laplacian(gray,cv2.CV_64F).var())

y1 blur:418.203306267

·脸部光照失真

一般来说，人脸图像存在光照失真主要由其自身几何特性和人脸局部特征之间的关系如鼻子、眼睛等而影响。从全局和局部的角度来看，失真类型包括局部光照失真和全局光照失真。全局光照失真即易受光照强度影响，因光照强度不适中导致人脸图像整体过亮或者偏暗；局部光照失真即在拍摄人脸图像时光照方向并非正面光照，加上人脸自身的三维形状非凸性，使得所获取到的人脸图像表现出光照不均匀、局部区域变亮局部区域存在阴影。不论是人脸图像存在光照全局失真还是局部失真，都不可避免的存在光照是否对称或光照强度分布是否均匀适中的问题。Zhou Wang和Alan C.Bovik等人于2002年提出了一个通用图像质量指标(UQI)。该指标可以适用于各种图像的光照质量评价。基于UQI的评价方法为全参考评价， UQI主要从相关损失、光照失真和对比度失真三个方面比较参考图像和失真图像的差异。在人脸图像质量评价中，参考图像即为不失真的标准人脸图像，而失真图像即因光照变化导致图像降质的待评价人脸图像。

设X x i N＝＝{1,2,,}i Λ和Y y i N＝＝{1,2,,}iΛ分别代表参考的标准人脸图像和待评价的测试人脸图像，UQI指标的计算公式如下所示。

·人脸完整度

在人脸图像处理过程中，人脸图像的遮挡经常出现，如头发、口罩、围巾等，遮挡对人脸识别有很大的影响。在产品的使用场景中，一般不会出现戴口罩和围巾的情况，但是头发遮挡不可避免。因此这里只针对头发遮挡进行处理。主要分为两个部分：发色模型的建立和发型遮挡区域的在线检测。

·发色模型建立

大致步骤如下：对发色和肤色RGB样本数据，利用人工神经网络进行发色和肤色训练学习，得到一个发色模型。给定一个像素点的RGB值，可以通过该模型粗略评估其是头发的概率。

·发型遮挡区域的检测

步骤如下：给定一幅图像，以嘴部中心为圆心，将给定的人脸区域按照角度划分为若干扇形；对于每个扇形，按照半径长度平均划分为相等数量的区块；然后，对于每个扇形区块，按照距离圆心的距离，由远及近进行粗略检测。对于一个扇区，取发色区块的下一个(离圆心更近的)区块进行精细分割。

·结合发色模型和发型特征的遮挡检测

发型特征包括：长度、体积、发色等。对于解决发型遮挡的检测问题，可以利用发色、发际线等特征。本方法基于BP人工神经网络，将发色模型和发型特征进行有机结合，对人脸的面部发型遮挡区域进行检测。

BP神经网络是人工神经网络的一种，它是采用误差反向传播的多层前馈神经网络。其中， 3层的BP网络包括一个输入层、一个隐含层、一个输出层。

三层BP神经网路的基本思想是采用信号的正向传播和误差的反向传播。在正向传播中，从输入层传入的数据，依次在各隐含层进行处理，最终到达输出层。如果输出值与期望输出不同，则将输出层的误差作为调整信号进行反向传播，根据误差不断调整权值和阈值，最终得到网络可以接受的精度并输出。头发的颜色与皮肤的颜色往往有比较明显的区别，利用发色能够有效提高面部发型遮挡区域检测的正确率。

给定输入图像和发型区域，以嘴部位置的中心区域为圆心，将嘴部以上的区域以每10°划分为一个扇形，共18个径长不等的扇形(以下简称为扇区)，按照逆时针方向记为S1～S18。对任意的扇形区域Si，按照径长平均分为10个区块(以下简称为区块)，按照离圆心的距离由远及近依次标记为Si,1～Si,10。

随后进行粗略检测。将X＝{xij:xij∈S}定义为区块S的像素点，用Ix表示一个像素点的颜色向量，Ix＝(Rx,Gx,Bx)T；LX＝(l1,l2,…,lm)T表示标号向量，其中m表示区块S中的像素点数，并且lx＝1表示x属于头发，lx＝0表示x属于皮肤。将一个像素是头发的概率表示为P(lx＝1)，简单地，P(lx＝1)＝ax，其中，ax是ANN发色模型的输出值。对于人脸区域的每个扇形，首先对最外层区块(S1,1,S2,1,…,S18,1)进行检测。区块Si,1中的像素点x，将其RGB值作为ANN发色模型的输入，得到输出值ax。当该点的预测为头发概率大于给定阈值时，则认为该像素点属于头发区域。如果区块Si,1中的像素大部分都判定为头发区域时，则认为该区块Si,1属于头发区域，记为预测遮挡块。对所有的扇区，由远及近地进行区块的检测，直到区块不再是预测遮挡块为止。每个扇区中第一个不是预测遮挡块的区块称为精细分割块(以下简称精割块)，放到下一步进行图割处理。

接着精细分割。经过上一步的粗略检测得到了若干个精割块，下一步是在此范围内进行精细的分割。将X＝{xij:xij∈S}定义为精割块S的像素点，用Ix表示像素点的颜色向量， Ix＝(Rx,Gx,Bx)T；LX＝(l1,l2,…,lm)T表示标号向量，其中m表示精割块S中的像素点数，并且lx＝1表示x属于头发，lx＝0表示x属于皮肤。将一个像素是头发的概率表示为P(lx＝1)。

定义如下能量函数：

E(L)＝C(L)+αB(L) (1)

其中，α用以权衡两项的重要性；C(L)表示像素点的预测概率；B(L)是平滑项，用以描述相邻像素标号互异时的惩罚代价。任意精割块S中像素的最终的标号向量L*X，通过使式 (1)达到最小值来获得。式(1)中的第一项C(L)定义为：

C(L)＝1nx∑x∈Xc(lx) (2)

式(1)中第二项中的B(L)定义为：

其中，np表示像素点p的相邻点的个数，σ表示图像的平均平滑度。式(4)采用8邻域系统，选择像素点的相邻点。由于精割块的形状大小不同，进行了均值化处理。

最后进行优化处理：首先，将精割块S中的像素按照ANN预测的发色程度按照从小到大排列；然后，将区块内所有像素的区块起始标号都置为1，按照发色的概率从小到大排序依次将像素标号置为0；最后，分别计算能量函数的值。选取使能量函数达到最小值时的标号向量作为最优解。

本实施例中图像特征检测的步骤描述如下：

图像特征检测在实际中主要用于人脸识别的预处理，即在图像中准确标定出人脸的位置和大小。

·特征点定位

在人脸相关的领域内,面部特征点定位作为人脸图像分析问题的一个关键步骤,为后续的人脸识别、姿态估计、表情分析、人脸动画等提供了技术保证。

在本实施例中假设我们要定位出5个人脸特征点：眼睛×2、鼻子、嘴角×2，从粗定位到精定位的过程如下：

level1，把人脸图片裁剪出来，裁剪到包含完整的人脸即可，我们需要使得输入CNN的图片范围越小越好，然后输入CNN中(我们只需要保证要定位的5个特征点包含在里面就可以了)。网络的第一层次CNN模型目标就是要定位出包含这5个特征点的最小包围盒，缩小搜索范围。模型的输出为包含五个特征点的bonding box，预测出bounding box后，把它裁剪出来。

Level2，采用CNN，粗定位出这五个特征点，大体的搜索到各个点的位置，精度还有待提高。这一层次，又称之为网络特征点的初始定位层，很粗糙的一个定位。然后根据我们CNN 的粗定位点作为中心，进行裁剪出一个小的矩形区域，进一步缩小搜索范围。模型的输出为预测出五个特征点的初始位置，预测出来之后进行裁剪，把各个特征点的一个小区域范围中的图片裁剪出来。

Level3，精定位。分别设计5个CNN模型，用于输入上面的5个特征点所对应的图片区域，然后用于分别定位，找到正确点的坐标。各个部位的CNN模型参数是不共享的，也就是各自独立工作，5个CNN用于分别定位5个点。每个CNN的输出是两个神经元(因为一个CNN，只定位1个特征点，一个特征点，包含了(x，y)两维)。本层次CNN模型输出：各个特征点的精定位位置。

·人脸对齐、仿射变换

采用OpenCV对人脸图像进行仿射变换。仿射变换的功能是从二维坐标到二维坐标之间的线性变换，且保持二维图形的“平直性”和“平行性”(直线之间的相对位置关系保持不变，平行线经仿射变换后依然为平行线，且直线上点的位置顺序不会发生变化)。非共线的三对对应点确定一个唯一的仿射变换。仿射变换可以通过一系列的原子变换的复合来实现，包括平移，缩放，翻转，旋转和剪切。

主要代码如下：

实施例二：

如图2所示一种用于识别脸部皮肤特征的终端，包括镜体，用于观察脸部皮肤的状态；成像装置用于对人脸部成像；包括存储器、处理器以及存储在存储器上并可以在处理器上运行的计算机程序。在本实施例中所述的镜体包括镜面玻璃1，显示屏2以及智能硬件3，其中所述的所述的智能硬件3上设置有摄像头4用于对人的脸部成像，在所述的智能硬件上集成有包括存储器、处理器硬件以及能够完成包括实施例一种的全部或者部分步骤的计算机程序。所述的显示器上能够显示出经过处理器硬件完成程序步骤后，将具体信息显示在所述的显示屏上。

实施例三：

如图3所示一种用于识别脸部皮肤特征的系统，其应用实施例一种的识别脸部皮肤特征的方法，或者应用实施例二中的终端。在识别脸部皮肤特征之后，所述的系统能够根据皮肤特征进行数据分析，并结合数据分析的情况给出具体的脸部皮肤特征的分析报告。

根据识别脸部皮肤特征的方法步骤所获取的图像信息后获取人脸的皮肤质量状况的数据，将这些数据输入到Tensorflow中建立识别模型。模型训练的目的是让电脑知道，这个脸的面部皮肤状态特征是什么，例如是单眼皮还是双眼皮，双眼皮的类型，是否有眼袋、黑眼圈，是否有鱼尾纹等，从而可以在采集到的人脸图像中识别。

具体方法为采用深度学习库keras来训练自己的人脸皮肤状态模型。Keras是由纯python 编写的基于theano/tensorflow的深度学习框架。Keras是一个高层神经网络API，支持快速实验，能够把你的idea迅速转换为结果，如果有如下需求，可以优先选择Keras。具体的数据结构层如图4所示。

里使用了keras的Tensorflow版，同时，为了验证其它深度学习库的效率和准确率，还使用了Theano，利用CNN——卷积神经网络来训练人脸皮肤状态模型。

主要代码如下：

训练程序建立了一个包含4个卷积层的神经网络(CNN)，程序利用这个网络训练人脸皮肤状态模型，并将最终训练结果保存到硬盘上。

4、皮肤分析

调用之前的训练结果模型，进行最终皮肤分析。

主要代码如下：

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种脸部皮肤特征的识别方法，其特征在于，

脸部图像采集，获取人的脸部的原始图像；

图像特征检测，对脸部的质量判断后图像进行特征检测。

2.根据权利要求1所述的一种脸部皮肤特征的识别方法，其特征在于，所述的图像预处理具体方法为：

图像的光线补偿，计算机识别原始图像中的红色、绿色和蓝色三种颜色的颜色分量的平均值分别计为avgR、avgG和avgB，同时设定一个原始图像的平均灰度值avgGray，调整原始图像中的红色、绿色和蓝色三种颜色分量使得颜色分量的平均值近似于原始图像的平均灰度值avgGray；

3.根据权利要求2所述的一种脸部皮肤特征的识别方法，其特征在于，通过以下方法对脸部的处理后图像的成像质量进行图像质量判断，

脸部光照失真的质量判断，将灰度图像与不失真的标准人脸图像进行对比，通过脸图像质量评价公式计算获取一个脸部图像质量数值，依据该数值得出脸部光照是否失真的质量判断。

4.根据权利要求1至3任一所述的一种脸部皮肤特征的识别方法，其特征在于，通过以下方法对图像特征检测：

将剪裁出来的图片再次输入卷积神经网络算法中的第二层，将每一个标记特征进一步的限定于较为准确的图像范围内，把每一个标记特征较为准确的图像剪裁出来获取准确图片；将准确图片再次输入卷积神经网络算法的第三层，并对准确图片中的每一个标记特征的像素点定位并输出二维的像素坐标值。

5.根据权利要求2或者3所述的一种脸部皮肤特征的识别方法，其特征在于，还包括人脸完整度的质量判断，以灰度图像中某一个图像特征为中心，按照扇形辐射人的脸部图像区域，并将该扇形的脸部图像区域划分成为若干个区域；对每个区域按照到中心的距离划分成若干个区块，对每个区块进行完整性检测。

6.根据权利要求5所述的一种脸部皮肤特征的识别方法，其特征在于，以脸部的嘴部为圆心，按照角度将人脸划分为若干个扇形区域；对每一个扇形区域内按照离圆心距离由远及近划分为若干个区块；对每一个扇形区域内的每一个区块按照离圆心由远及近的顺序计算预测区块是否为遮挡区块，计算预测方法为：

记扇形区域的个数为N个，并标记为1,2，…，i，…，N；

记S(i，j)表示一个具体的在i扇区内的第j个区块；

记x表示为S(i，j)区块内一个具体的像素点，Ix表示该像素点的颜色向量，Ix＝(Rx,Gx,Bx)T，其中Rx表示三原色中红色的亮度数值，Gx表示三原色中绿色的亮度数值，Bx表示三原色中蓝色的亮度数值，T表示标号向量；

7.根据权利要求6所述的一种脸部皮肤特征的识别方法，其特征在于，对一个扇区内的第一个非遮挡区块进行精细的图割以将非遮挡区块中的脸部区域划分出来，具体为：

记X定义为精割块S的像素点，用Ix表示像素点的颜色向量，

Ix＝(Rx，Gx，Bx)T，LX＝(11，12，…，1m)T表示标号向量，其中m表示精割块S中的像素点数，并且lx＝1表示x属于头发，lx＝0表示x属于皮肤，将一个像素是头发的概率表示为P(lx＝1)，定义如下能量函数E(L)：

E(L)＝C(L)+αB(L) (1)

其中，α用以权衡两项的重要性；C(L)表示像素点的预测概率；B(L)是平滑项，任意精割块S中像素的最终的标号向量L*X，通过使式(1)达到最小值来获得式(1)中的第一项C(L)定义为：

C(L)＝lnx∑x∈Xc(lx) (2)

其中，nx表示精割块S中像素点的数量，c(lx)表示发色模型对像素点x的预测概率。

式(1)中第二项中的B(L)定义为：

8.一种计算机设备，包括存储器、处理器以及存储在存储器上并可以在处理器上运行的计算机程序，其特征在于，所述的处理器执行程序是实现权利要求1至7任一一种所述的脸部皮肤特征的识别方法的步骤。

9.一种用于识别脸部皮肤特征的终端，包括镜体，用于观察脸部皮肤的状态；成像装置用于对人脸部成像；存储器、处理器以及存储在存储器上并可以在处理器上运行的计算机程序，其特征在于，所述的处理器执行程序是实现权利要求1至7所述的任一一种脸部皮肤特征的识别方法的步骤。

10.一种用于识别脸部皮肤特征的系统，包括权利要求9所述的一种用于识别脸部皮肤特征的终端，其特征在于，在识别脸部皮肤特征之后，所述的系统能够根据皮肤特征进行数据分析，并结合数据分析的情况给出具体的脸部皮肤特征的分析报告。