CN109948476B - 一种基于计算机视觉的人脸皮肤检测系统及其实现方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的人脸皮肤检测系统及其实现方法，系统包括用于引导用户至指定位置从而获取对应用户合适大小的人脸皮肤图像，并展示最后人脸皮肤的检测结果的前端系统；用于对人脸皮肤图像做预处理，并基于人脸皮肤图像对对应用户的人脸皮肤进行分类和问题检测的服务端系统；用于接收服务器系统中人脸皮肤分类和问题检测的结果并保存的移动端系统；方法首先通过视频引导用户至指定位置，通过摄像头采集预设大小的人脸照片，并将人脸照片传输到服务器端；然后由服务器对人脸照片做预处理，并对预处理后的人脸照片进行人脸皮肤检测，并记录保存记录结果；最后移动端系统通过移动网络访问服务器以获取用户的皮肤检测结果以及历史记录。

Description

一种基于计算机视觉的人脸皮肤检测系统及其实现方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于计算机视觉的人脸皮肤检测系统及其实现方法。

背景技术

人脸部皮肤的肤质情况复杂，因人而异。目前已知的共有五种肤质，分别是中性肤质，干性肤质，油性肤质，混合性肤质，敏感性肤质。目前还缺乏专门的图像识别手段能够识别这五种肤质。

人脸部常常会有不同类型的皮肤问题，或是皮肤特征。常见的皮肤问题有:痤疮，毛孔粗大、皱纹、过敏等。这些皮肤问题多为后天形成，可通过一定的护肤手段加以消除，恢复美观。但目前还缺乏专门的图像识别手段能将其正确地识别出来。

皮肤检测系统广泛应用于美容行业，可以辅助检测用户皮肤状况，将肤质、肤龄以及皮肤的常见皮肤问题用电子显示图检测出结果，可以更加直观了解用户的皮肤情况。但是，目前的皮肤检测系统(如皮测仪)进行皮肤检测过程比较复杂，皮肤检测的等待时间较长，无法进行快速地实施皮肤问题检测。

发明内容

针对上述现有技术中皮肤检测过程繁杂、检测时间过长的问题，本发明于提出一种基于计算机视觉的人脸皮肤检测系统及其实现方法，本发明可快速地根据人脸的皮肤图像进行一系列的检测，具体技术方案如下：

一种基于计算机视觉的人脸皮肤检测方法，所述方法包括：

S1、通过视频引导用户到达摄像头前的指定位置，通过摄像头采集预设大小的人脸照片，并将所述人脸照片传输到服务器端；

S2、由所述服务器对所述人脸照片做预处理，并对预处理后的所述人脸照片进行人脸皮肤检测，并记录保存记录结果；

S3、移动端系统通过移动网络访问服务器获取所述记录结果和历史记录。

进一步的，步骤S1中包括：

S11、通过所述摄像头的实时视频，检测到人脸的初始位置，并通过所述实时视频引导用户从初始位置调整到指定位置；

S12、设定所述指定位置的人脸大小和位置的比例关系，并判断获取的当前用户的人脸大小和位置是否与所述指定位置的设置是否合适，若不合适，则重复步骤S12，否则，转到步骤S13

S13、通过所述摄像头采集当前用户人脸的实时图像，并对所述实时图像进行模糊度检查。

进一步的，步骤S2包括：

S21、所述服务器基于采集得到的当前用户对应的所述实时图像最大人脸位置裁剪；

S22、对裁剪后的所述实时图像基于dlib进行人脸指定关键点的检测；

S23、基于S22的检测结果对裁剪后的所述实时图像进行抠图处理，得到去除人脸隐私信息的抠图图像，并通过贝塞尔曲线的平滑对所述抠图图像做平滑处理；

S24、通过小波分析方法将平滑处理后的所述抠图图像的图像特征进行特征分解得到特征图像。

进一步的，步骤S3中包括：

S31、将所述特征图像的色彩空间转换为Lab空间，并分离Lab空间下的所述特征图像，对所述特征图像的亮度L的像素值进行升序排序；

S32、设定肤色值的区间为(1,100)，按照指定比例将所述像素值的排序序列中间1/3的平均值作为当前用户的肤色值检测结果；

S33、基于深度神经网络皮肤进行皮肤问题检测和分类：

S331、采集指定数目不同皮肤问题面部样本作为样本库，并设定每种皮肤问题的特征数量；

S332、基于所述深度神经网络对所述样本库中的面部样本进行训练，得到不同种类皮肤问题的分类参数并保存；

S333、将所述特征图像输入到所述深度神经网络中，获取所述特征图像对应的用户的人脸存在的图像类型即皮肤问题；

S34、根据所述实时图像的检测结果获得对应用户人脸皮肤的综合评分。

另一方面，提供一种基于计算机视觉的人脸皮肤检测系统，适用于上述的基于计算机视觉的人脸皮肤检测方法，所述系统包括：

前端系统，用于引导用户至指定位置从而获取对应用户合适大小的人脸皮肤图像，并展示最后的人脸皮肤的检测结果；

服务端系统，用于对所述人脸皮肤图像做预处理，并基于所述人脸皮肤图像对对应用户的人脸皮肤进行分类和问题检测；

移动端系统，用于接收所述服务器系统中所述人脸皮肤分类和问题检测的结果并保存。

与现有技术相比，本发明的基于计算机视觉的人脸皮肤检测系统及其实现方法的有益效果为：本发明通过将前端系统、服务器系统和移动端系统结合形成整个的皮肤检测系统，通过前端系统采集人脸的图像照片，由服务器系统对图像照片进行相对应的预处理并根据预处理的结果给出对皮肤检测的结果，最后将检测结果发送至移动端系统，从移动端系统实时了解得到检测结果，同时服务器系统根据实际的检测结果会发送对应的皮肤管理方式至客户端，供客户参考保养，具有检测快速有效，且对皮肤的检测准确率良好的效果。

附图说明

图1为本发明实施例中所述基于计算机视觉的人脸皮肤检测系统的结构组成框图示意；

图2为本发明实施例中前端系统对人脸图像采集前的调整过程图示意；

图3(a)～3(f)为本发明实施例中所述服务器端对前端系统采集得到人脸照片的预处理过程图示意；

图4为本发明实施例中人脸皮肤肤色的计算方法演示图示意；

图5为本发明实施例中人脸皮肤问题的检测结果示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

参阅图1，在本发明实施例中，首先提供了一种基于计算机视觉的人脸皮肤检测系统，系统包括：用于引导用户至指定位置从而获取对应用户合适大小的人脸皮肤图像，并展示最后的人脸皮肤的检测结果的前端系统，用于对人脸皮肤图像做预处理，并基于人脸皮肤图像对对应用户的人脸皮肤进行分类和问题检测的服务端系统，以及用于接收服务器系统中人脸皮肤分类和问题检测的结果并保存的移动端系统。

其中，前端系统中包括前端引导模块和图像采集模块，前端引导模块用于引导用户至合适的位置，具体的，前端引导模块通过人脸检测确定人脸的位置和大小，并将所获取的相关信息与期望的人脸位置和大小进行比较来估算用户的位置，并对用户进行引导；由于人脸的大小和用户距离摄像头的距离成反比，通过判断人脸的大小来判定用户的距离，而通过人脸位置距离中心的点的距离来确定用户是否处于视频的中心；在用户将人脸调整至合适位置后通过图像采集模块采集指定大小的人脸图像照片，并传递至服务端系统；优选的图像采集模块为摄像机等具备拍照功能的摄像设备，具体设计成何种设备可根据实际情况进行选择，本发明在此并不进行限制和固定。

服务端系统包括图像预处理模块、皮肤综合状况检测模块和皮肤问题检测与分类模块，服务端系统在接收到图像采集模块采集的人脸图像后，经由图像预处理模块对人脸图像进行预处理：首先，根据检测到的人脸位置进行人脸检测，去除周边环境对皮肤检测的影响；然后，基于人脸特征点检测，去除人脸的隐私部位(如：眼睛、嘴巴等)以及影响皮肤检测的特殊部位(如：眉毛、鼻孔等)；同时，利用了贝塞尔曲线对裁剪掉的部位的边缘进行平滑处理，保证整个图像的整洁和美观；随后，对平滑处理后的图像进行灰度化处理，以消除光线对于皮肤状况检测的影响；最后，对灰度化处理过的图像进行小波转换，实现对不同粒度下皮肤问题特征的凸显，从而方便实现下述对皮肤问题的进一步分类操作。

经过预处理的图片传递至皮肤综合检测模块和皮肤问题检测与分类模块，实现对皮肤的分类和检测操作；具体的，分类和检测操作基于预处理后的人脸皮肤图像进行处理，本发明主要对皮肤的肤质状况、肤龄以及肤色等问题进行计算和展示；其中，皮肤问题检测和分类模块基于深度学习网络模型进行检测和分类，基于深度学习网络模型的图像检测和分类为常规技术手段，因此本发明通过皮肤拍摄成图片进行皮肤问题检测和分类可实现，具体实现过程可参阅深度学习网络模型对图像的分类和检测技术的材料，本发明在此不再进行赘述：通过标准的Inception-V4模型来对图像进行特征提取，并基于SSD(Single ShotMultiBox Detector)算法来检测和分类人脸皮肤的异常问题。

终端系统上设置有结果展示模块，包括前端概要结果展示模块和移动端详细结果展示模块，具体通过显示屏显示人脸图像及文字的方式来实现对用户的人脸皮肤的检测结果展示。

参阅图2、图3(a)～3(f)以及图4和图5，在本发明实施例中，还提供了应用于上述基于计算机视觉的人脸皮肤检测系统的检测方法，方法的详细检测过程包括如下步骤：

S1、通过视频引导用户到达摄像头前的指定位置，通过摄像头采集预设大小的人脸照片，并将人脸照片传输到服务器端：

S11、通过摄像头的实时视频，检测到人脸的初始位置，并通过实时视频引导用户从初始位置调整到指定位置；

S12、设定指定位置的人脸大小和位置的比例关系，并判断获取的当前用户的人脸大小和位置是否与指定位置的设置是否合适，若不合适，则重复步骤S12，否则，转到步骤S13；

S13、通过摄像头采集当前用户人脸的实时图像，并对实时图像进行模糊度检查；其中，在实际操作过程中，如果所采集照片由于动态等原因导致模糊，将重新采集照片，直到采集到清晰照片为止。

S2、由服务器对人脸照片做预处理，并对预处理后的人脸照片进行人脸皮肤检测，并记录保存记录结果：

S21、服务器基于采集得到的当前用户对应的实时图像将最大人脸位置裁剪；

S22、对裁剪后的实时图像基于dlib进行人脸指定关键点的检测；结合图3(c)，本实施例以对人脸图像进行68个面部特征点减小检测为例进行说明；当然，此仅为本发明的较佳实施例，并不对在其他实施例中特征点的提取数量进行限制和固定；

S23、基于S22的检测结果对裁剪后的实时图像进行抠图处理，得到抠图图像，并通过贝塞尔曲线的平滑对抠图图像做平滑处理；具体的，通过抠图处理以实现人脸五官从图像中去除得到如图3(d)所示的图像，只保留对人脸皮肤问题检测所需要的皮肤部位，并通过贝塞尔曲线的平滑做平滑处理，得到更加整洁的人脸皮肤问题检测图片，保证在皮肤问题检测过程中不会因为杂质的干扰而影响检测结果，即提升皮肤问题的检测准确率。

S24、通过小波分析方法将平滑处理后的抠图图像的图像特征进行特征分解得到特征图像，通过小波分析处理的结果具体可结合图3(e)；同时，通过小波分析处理后可以通过人脸图像提取人脸面部的大部分异常结构，为了区分不同类型的异常结构情况，本发明通过不同异常结构在不通过光谱颜色展示下具有不同的效果，进行不同类型的光谱变换，具体可参阅图3(f)。

S3、移动端系统通过移动网络访问服务器获取皮肤检测的记录结果和历史记录：

S31、将特征图像的色彩空间转换为Lab空间，并分离Lab空间下的特征图像，对特征图像的亮度L的像素值进行升序排序；因为Lab色彩空间中的数值描述正常视力的人能够看到的所有颜色，相比RGB空间，它弥补了RGB色彩模型分布不均的缺点；本发明在将特征图像的色彩空间转换为Lab空间，还需分离Lab色彩空间下的图像，具体的，取其亮度L的像素值进行升序排序，然后取序列中前1/10的平均值作为亮度最大值Light_Max，取整个序列的平均值作为亮度平均值Light_Mean；如果该亮度序列满足值Light_Max大于85且Light_Max-Light_Mean>12,或者满足Light_Max-Light_Mean>15,则评判该人脸肤质为油性皮肤；如果满足75<Light_Max<85且10<Light_Max-Light_Mean<12或者12<Light_Max-Light_Mean<15,则评判该人脸肤质为中性偏油皮肤；如果满足7<Light_Max-Light_Mean<10,则评判该人脸肤质为中性偏干皮肤；如果满足Light_Max-Light_Mean<7，则评判该人脸肤质为干性皮肤；如果满足其余情况，则评判该人脸肤质为中性皮肤，具体可通过以下计算公式进行计算：

Mean(Sort(L)[0:(length(L)/10)])Lmax-Mean(L)

and Mean(Sort(L)[0:(length(L)/10)])Lmax

or Mean(Sort(L)[0:(length(L)/10)])Lmax-Mean(L)

参阅图4，根据肤质评价计算公式可得：

skinType＝Mean(Sort(L)[0:1183/10])-Mean(L)＝14

andMean(Sort(L)[0:(length(L)/10)])Lmax-Mean(L)Mean(Sort(L)[0:1183/10])＝90

根据上述公式计算所得结果，评价肤质为油性皮肤。

根据下图4中肤色评价计算公式可得：

skinColor＝Mean(Sort(L)[1183/3:2*1183/3])＝68

根据上述公式计算所得结果，其在50～70段之间，评价肤色为自然

S32、设定肤色值的区间为(1,100)，按照指定比例将像素值的排序序列中间1/3的平均值作为当前用户的肤色值检测结果，优选的，本实施例将区间(1,100)按照1:2:4:2:1比例分成5个区间，分别对应透白、白皙、小麦、暗沉、黝黑五种肤色；此可根据实际操作进行源代码的变化来变化比例和与比例对应的肤色。

S33、基于深度神经网络皮肤进行皮肤问题检测和分类：

S331、采集指定数目不同皮肤问题面部样本作为样本库，并设定每种皮肤问题的特征数量，例如，采集200个面部皮肤问题的样本，每个皮肤问题的总特征至少包含1000个，将这些将这些特征的位置信息(量化成不同的标记)、像素面积、特征形状(长宽比)、特征颜色四维特征组成一个数组，建立一个5*1000*4的空间作为样本库；

S332、基于深度神经网络对样本库中的面部样本进行训练，得到不同种类皮肤问题的分类参数并保存；

S333、将特征图像输入到深度神经网络中，获取特征图像对应的用户的人脸存在的图像类型即皮肤问题；

S34、根据实时图像的检测结果获得对应用户人脸皮肤的综合评分。

在本发明实施例中，终端系统会保存指定用户每一次的皮肤情况检测结果，这样，本发明中服务端系统即可根据指定客户历史的检测结果和当前的检测结果，发送皮肤变化情况报告给用户，提醒用户皮肤的具体变化，并对此采取对应的措施进行改善，提升用户体验。

与现有技术相比，本发明的基于计算机视觉的人脸皮肤检测系统及其实现方法的有益效果为：本发明通过将前端系统、服务器系统和移动端系统结合形成整个的皮肤检测系统，通过前端系统采集人脸的图像照片，由服务器系统对图像照片进行相对应的预处理并根据预处理的结果给出对皮肤检测的结果，最后将检测结果发送至移动端系统，从移动端系统实时了解得到检测结果，同时服务器系统根据实际的检测结果会发送对应的皮肤管理方式至客户端，供客户参考保养，具有检测快速有效，且对皮肤的检测准确率良好的效果。

以上仅为本发明的较佳实施例，但并不限制本发明的专利范围，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。

Claims (3)

1.一种基于计算机视觉的人脸皮肤检测方法，其特征在于，所述方法包括：

S1、通过视频引导用户到达摄像头前的指定位置，通过摄像头采集预设大小的人脸照片，并将所述人脸照片传输到服务器端；

S2、由所述服务器对所述人脸照片做预处理，并对预处理后的所述人脸照片进行人脸皮肤检测，并记录保存记录结果；

步骤S2包括：

S21、所述服务器基于采集得到的当前用户对应的实时图像将最大人脸位置裁剪；

S22、对裁剪后的所述实时图像基于dlib进行人脸指定关键点的检测；

S23、基于S22的检测结果对裁剪后的所述实时图像进行抠图处理，得到去除人脸隐私信息的抠图图像，并通过贝塞尔曲线的平滑对所述抠图图像做平滑处理；

S24、通过小波分析方法将平滑处理后的所述抠图图像的图像特征进行特征分解得到特征图像；

S25、将所述特征图像的色彩空间转换为Lab空间，并分离Lab空间下的所述特征图像，对所述特征图像的亮度L的像素值进行升序排序；

S26、设定肤色值的区间为(1,100)，按照指定比例将所述像素值的排序序列中间1/3的平均值作为当前用户的肤色值检测结果；

S27、基于深度神经网络皮肤进行皮肤问题检测和分类：

S271、采集指定数目不同皮肤问题面部样本作为样本库，并设定每种皮肤问题的特征数量；

S272、基于所述深度神经网络对所述样本库中的面部样本进行训练，得到不同种类皮肤问题的分类参数并保存；

S273、将所述特征图像输入到所述深度神经网络中，获取所述特征图像对应的用户的人脸存在的图像类型即皮肤问题；

S28、根据所述实时图像的检测结果获得对应用户人脸皮肤的综合评分；

S3、移动端系统通过移动网络访问服务器获取所述记录结果和历史记录。

2.如权利要求1所述的基于计算机视觉的人脸皮肤检测方法，其特征在于，步骤S1中包括：

S11、通过所述摄像头的实时视频，检测到人脸的初始位置，并通过所述实时视频引导用户从初始位置调整到指定位置；

S12、设定所述指定位置的人脸大小和位置的比例关系，并判断获取的当前用户的人脸大小和位置是否与所述指定位置的设置是否合适，若不合适，则重复步骤S12，否则，转到步骤S13；

S13、通过所述摄像头采集当前用户人脸的实时图像，并对所述实时图像进行模糊度检查。

3.一种基于计算机视觉的人脸皮肤检测系统，适用于权利要求1～2任一项所述的基于计算机视觉的人脸皮肤检测方法，其特征在于，所述系统包括：

前端系统，用于引导用户至指定位置从而获取对应用户合适大小的人脸皮肤图像，并展示最后的人脸皮肤的检测结果；

服务端系统，用于对所述人脸皮肤图像做预处理，并基于所述人脸皮肤图像对对应用户的人脸皮肤进行分类和问题检测；

移动端系统，用于接收所述服务器系统中人脸皮肤分类和问题检测的结果并保存。

Images