CN109190535A - 一种基于深度学习的人脸面部肤色分析方法和系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的人脸面部肤色分析方法和系统，包括：步骤S1，获取人脸图像，依据人脸图像识别出对应的用户身份；步骤S2，依据人脸图像，提取脸颊、嘴唇以及眼部的色彩特征向量；步骤S3，从人脸图像中分割出包含舌体的图像，从舌体图像中提取舌苔和苔质的色彩特征向量；步骤S4，建立用户身份与其对应的脸颊、嘴唇、眼部、舌苔、舌质部位的颜色特征向量之间的对应关系，形成肤色特征库。本发明利用人脸识别技术进行身份验证，分析人脸部和舌体肤色，建立人脸的色彩特征库，以备及时了解人体的健康情况。

Description

一种基于深度学习的人脸面部肤色分析方法和系统

技术领域

本发明涉及图像与视频分析技术领域，具体涉及一种基于深度学习的人脸面部肤色分析方法。

背景技术

随着国家经济的发展，人民生活水平逐渐提高，同时也更加关注个人健康情况，可是由于对医学知识的匮乏，不能以及时应对身体出现的病变，导致病情恶化，造成了很多不可挽回的损失。

随着社会发展，人们的压力也越来越大，经常出现加班猝死或者开车过度疲劳出现的一些交通安全情况，给社会和家庭造成了很大的损失。其实很多疾病在爆发之前都会有许多的征兆，会在面部等地方显现，如果能够及时发现，有很大的可能性能够痊愈，至少能够得到控制。虽然现在社会上有一些简单的家中常备的心跳、血压等测量仪器可以一定程度上反映身体的健康状况，但是还远远不足以满足需求，我们需要更多的工具，采用更普遍的方法让人们对自身的健康情况有个清晰的了解。

深度学习是近十年来人工智能领域取得的最重要的突破之一。它在语音识别、自然语言处理、计算机视觉、图像与视频分析等诸多领域都取得了巨大成功。深度学习的实质，是通过构建具有多隐层的神经网络模型和训练数据，来学习出有用的特征。在进行图像识别时，对图像信息的处理是分层的，逐层抽象地表现出图像的特征信息。

发明内容

本发明的目的在于克服现有技术中的不足，提出了一种基于深度学习的人脸面部肤色分析方法和系统，利用人脸识别技术进行身份验证，分析人脸部和舌体肤色，建立人脸的色彩特征库，以备及时了解人体的健康情况。

为解决上述技术问题，本发明提供了一种基于深度学习的人脸面部肤色分析方法，其特征是，包括：

步骤S1，获取人脸图像，依据人脸图像识别出对应的用户身份；

步骤S2，依据人脸图像，提取脸颊、嘴唇以及眼部的色彩特征向量；

步骤S3，从人脸图像中分割出包含舌体的图像，从舌体图像中提取舌苔和苔质的色彩特征向量；

步骤S4，建立用户身份与其对应的脸颊、嘴唇、眼部、舌苔、舌质部位的颜色特征向量之间的对应关系，形成肤色特征库。

优选的，步骤S1中，依据人脸图像识别用户身份的具体过程为：

(1)建立用户特征库：收集用户的人脸图像，从人脸图像中提取人脸特征向量，并将人脸特征向量和对应的用户身份保存形成用户特征库；

(2)人脸检测模型训练：训练基于多个hog；级联构成的人脸检测器，再训练ERT级联回归树，以进行人脸回归；

(3)人脸关键点检测：先计算出平均脸将多个图像中人脸对齐；

(4)人脸特征提取模块：基于标准对其人脸图像，利用深度学习网络模型caffe，提取人脸特征向量。

(5)从用户特征库中，查找与识别出的人脸特征向量最相似的人脸特征向量，用户特征库中此人脸特征向量对应的用户身份即是此人脸图像对应的用户。

优选的，最相似的判断依据是，识别出的人脸特征向量与用户特征库中保存的用户人脸特征向量之间的余弦相似度。

优选的，步骤S2中，提取脸颊、嘴唇以及眼部的色彩特征向量具体如下：

(1)提取人脸关键点：从人脸图像中提取出人脸中关键点的坐标位置；

(2)分割人脸：根据提取的关键点坐标对人脸进行分割，提取脸颊以及嘴唇的特征，以人眼部纵坐标作为上边界，嘴角纵坐标作为下边界，以左右脸颊的横坐标作为左右边界得到脸颊特征，以嘴唇周边的关键点得到嘴唇的特征，以眼周关键点为界限，提取眼部特征；

(3)色彩模型分析：采用RGB色彩模型对脸颊、嘴唇以及眼部，提取各部位的RGB三个分量，形成色彩特征向量。

优选的，步骤S3中，采用caffe中的YOLO网络训练物体检测模型，利用物体检测模型从人脸图像中分割出包含舌体的图像。

优选的，步骤S3中，从舌体图像中提取舌苔和苔质的色彩特征向量具体步骤包括：

舌苔与舌质分离：采用基于彩色特征组合的彩色图像分割方法，将舌体图像中舌头的舌苔与苔质进行分离；

色彩分析：采用RGB模型对舌苔和舌质进一步色彩分析，提取各部位的RGB三个分量，形成色彩特征向量。

相应的，本发明的一种基于深度学习的人脸面部肤色分析系统，其特征是，包括：

身份识别模块，用于获取人脸图像，依据人脸图像识别出对应的用户身份；

面部肤色识别模块，用于依据人脸图像，提取脸颊、嘴唇以及眼部的色彩特征向量；

舌体肤色识别模块，用于从人脸图像中分割出包含舌体的图像，从舌体图像中提取舌苔和苔质的色彩特征向量；

肤色特征库建立模块，用于建立用户身份与其对应的脸颊、嘴唇、眼部、舌苔、舌质部位的颜色特征向量之间的对应关系，形成肤色特征库。

与现有技术相比，本发明所达到的有益效果是：

1)采用基于深度学习的人脸识别算法进行身份验证，能够很好的保护用户的隐私，使用户的健康数据不易被有心人士盗取；

2)提取人脸关键点，分割人脸，对人脸各部分肤色分块存储，能有效的提取人脸的肤色特征；

3)通过深度学习物体检测模型提取舌体，舌质分离，提取舌体肤色信息，完善人面部肤色信息，建立完整的色彩特征库；

4)通过对特征库的分析能及时了解人体的健康状况。

附图说明

图1是本发明方法流程图；

图2是人脸识别算法流程图；

图3是人脸面部肤色分析流程图；

图4是舌体分析流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明的一种基于深度学习的人脸面部肤色分析方法，参见图1所示，包括以下步骤：

步骤S1，获取人脸图像，依据人脸图像识别出对应的用户身份。

依据人脸图像识别出对应的个人身份也就是身份验证的过程，参见图2所示，依据人脸图像进行身份验证的具体过程为：

(1)建立用户特征库：收集用户的人脸图像，从人脸图像中提取人脸特征向量，并将人脸特征向量和对应的用户身份保存形成用户特征库。

(2)人脸检测模型训练：训练基于多个hog(方向梯度直方图)级联构成的人脸检测器，再训练ERT级联回归树，以进行人脸回归。

(3)人脸关键点检测：为了将多个图像中人脸对齐，先计算出平均脸，即标准对齐人脸。具体过程为将待对齐人脸的眼睛、鼻子、嘴巴共计五个人脸关键点的坐标调到和平均脸相对应的同一个位置。而这一过程需要进行平移、缩放、翻转、旋转等一系列的变换，称为二维仿射变换。

仿射变换是空间直角坐标变换的一种，它是一种二维坐标到二维坐标之间的线性变换，保持二维图形的“平直性”(straightness，即变换后直线还是直线不会打弯，圆弧还是圆弧)和“平行性”(parallelism，即保持二维图形间的相对位置关系不变，平行线还是平行线，相交直线的交角不变)。仿射变换可以通过一系列的原子变换的复合来实现，包括：平移(Translation)、缩放(Scale)、翻转(Flip)、旋转(Rotation)。

(4)人脸特征提取模块：把标准对其人脸图像缩放到最小边长度>224像素；然后在缩放后的图像上随机提取224*224像素构成片段图像；输入到深度学习网络模型caffe中，提取人脸特征向量。

本发明采用的深度学习网络模型为8个卷积层，3个全连接层，共计11层；其中5阶段卷积特征提取，每层的卷积个数从首阶段的64个开始，每个阶段增长一倍，直到达到最高的512个，然后保持。

将提取224*224像素片段图像通过深度学习网络模型，得到1024维的人脸特征向量。将1024维的人脸特征向量与用户特征库中保存的用户人脸特征向量通过余弦相似度进行比对。余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫"余弦相似性"。n维向量X与Y的余弦距离公式为：

其中，θ是X与Y向量的夹角，x_i是向量X的第i个值，y_i是向量Y的第i个值。

从用户特征库中，查找与识别出的人脸特征向量最相似的人脸特征向量，用户特征库中此人脸特征向量对应的用户身份即是此人脸图像对应的用户。

步骤S2，依据人脸图像，提取脸颊、嘴唇以及眼部的色彩特征向量。

参见图3所示，人脸面部肤色分析具体如下：

(1)提取人脸关键点：从人脸图像中提取出人脸中关键点(68个点)的坐标位置；

(2)分割人脸：根据提取的关键点坐标对人脸进行分割，提取脸颊以及嘴唇的特征，以人眼部纵坐标作为上边界，嘴角纵坐标作为下边界，以左右脸颊的横坐标作为左右边界得到面部特征(包括鼻子)，以嘴唇周边的关键点得到嘴唇的特征，以眼周关键点为界限，提取眼部特征。

(3)色彩模型分析：采用RGB色彩模型对脸颊、嘴唇以及眼部进一步的分析，提取各部位的RGB三个分量，形成色彩特征向量。

步骤S3，从人脸图像中分割出包含舌体的图像，从舌体图像中提取舌苔和苔质的色彩特征向量。

参见图4所示，具体步骤包括：

(1)训练模型：采用caffe中的YOLO网络训练物体检测模型，利用物体检测模型从人脸图像中分割出包含舌体的图像。

(2)舌苔与舌质分离：采用基于彩色特征组合的彩色图像分割方法，将舌体图像中舌头的舌苔与苔质进行分离。

(3)色彩分析：采用RGB模型对舌苔和舌质进一步色彩分析，提取各部位的RGB三个分量，形成色彩特征向量。

步骤S4，建立用户身份与其对应的脸颊、嘴唇、眼部、舌苔、舌质部位的颜色特征向量之间的对应关系，形成肤色特征库。

将获得的面部肤色，眼色，唇色，舌色，苔色作为肤色特征库，以供中医医生进行判断用户的病情。

相应的，基于与上述方法相同的发明构思，本发明的一种基于深度学习的人脸面部肤色分析系统，其特征是，包括：

身份识别模块，用于获取人脸图像，依据人脸图像识别出对应的用户身份；

面部肤色识别模块，用于依据人脸图像，提取脸颊、嘴唇以及眼部的色彩特征向量；

舌体肤色识别模块，用于从人脸图像中分割出包含舌体的图像，从舌体图像中提取舌苔和苔质的色彩特征向量；

肤色特征库建立模块，用于建立用户身份与其对应的脸颊、嘴唇、眼部、舌苔、舌质部位的颜色特征向量之间的对应关系，形成肤色特征库。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (8)

1.一种基于深度学习的人脸面部肤色分析方法，其特征是，包括：

步骤S1，获取人脸图像，依据人脸图像识别出对应的用户身份；

步骤S2，依据人脸图像，提取脸颊、嘴唇以及眼部的色彩特征向量；

步骤S3，从人脸图像中分割出包含舌体的图像，从舌体图像中提取舌苔和苔质的色彩特征向量；

步骤S4，建立用户身份与其对应的脸颊、嘴唇、眼部、舌苔、舌质部位的颜色特征向量之间的对应关系，形成肤色特征库。

2.根据权利要求1所述的一种基于深度学习的人脸面部肤色分析方法，其特征是，步骤S1中，依据人脸图像识别用户身份的具体过程为：

(1)建立用户特征库：收集用户的人脸图像，从人脸图像中提取人脸特征向量，并将人脸特征向量和对应的用户身份保存形成用户特征库；

(2)人脸检测模型训练：训练基于多个hog；级联构成的人脸检测器，再训练ERT级联回归树，以进行人脸回归；

(3)人脸关键点检测：先计算出平均脸将多个图像中人脸对齐；

(4)人脸特征提取模块：基于标准对其人脸图像，利用深度学习网络模型caffe，提取人脸特征向量。

3.(5)从用户特征库中，查找与识别出的人脸特征向量最相似的人脸特征向量，用户特征库中此人脸特征向量对应的用户身份即是此人脸图像对应的用户。

4.根据权利要求2所述的一种基于深度学习的人脸面部肤色分析方法，其特征是，最相似的判断依据是，识别出的人脸特征向量与用户特征库中保存的用户人脸特征向量之间的余弦相似度。

5.根据权利要求1所述的一种基于深度学习的人脸面部肤色分析方法，其特征是，步骤S2中，提取脸颊、嘴唇以及眼部的色彩特征向量具体如下：

(1)提取人脸关键点：从人脸图像中提取出人脸中关键点的坐标位置；

(2)分割人脸：根据提取的关键点坐标对人脸进行分割，提取脸颊以及嘴唇的特征，以人眼部纵坐标作为上边界，嘴角纵坐标作为下边界，以左右脸颊的横坐标作为左右边界得到脸颊特征，以嘴唇周边的关键点得到嘴唇的特征，以眼周关键点为界限，提取眼部特征；

(3)色彩模型分析：采用RGB色彩模型对脸颊、嘴唇以及眼部，提取各部位的RGB三个分量，形成色彩特征向量。

6.根据权利要求1所述的一种基于深度学习的人脸面部肤色分析方法，其特征是，步骤S3中，采用caffe中的YOLO网络训练物体检测模型，利用物体检测模型从人脸图像中分割出包含舌体的图像。

7.根据权利要求5所述的一种基于深度学习的人脸面部肤色分析方法，其特征是，步骤S3中，从舌体图像中提取舌苔和苔质的色彩特征向量具体步骤包括：

舌苔与舌质分离：采用基于彩色特征组合的彩色图像分割方法，将舌体图像中舌头的舌苔与苔质进行分离；

色彩分析：采用RGB模型对舌苔和舌质进一步色彩分析，提取各部位的RGB三个分量，形成色彩特征向量。

8.基于权利要求1-6任一项所述方法的一种基于深度学习的人脸面部肤色分析系统，其特征是，包括：

身份识别模块，用于获取人脸图像，依据人脸图像识别出对应的用户身份；

面部肤色识别模块，用于依据人脸图像，提取脸颊、嘴唇以及眼部的色彩特征向量；

舌体肤色识别模块，用于从人脸图像中分割出包含舌体的图像，从舌体图像中提取舌苔和苔质的色彩特征向量；

肤色特征库建立模块，用于建立用户身份与其对应的脸颊、嘴唇、眼部、舌苔、舌质部位的颜色特征向量之间的对应关系，形成肤色特征库。