CN109730637A - 一种人脸面部图像定量分析系统及方法 - Google Patents

Abstract

本发明提供了一种人脸面部图像定量分析系统，包括：多光谱图像采集模块，用于采集人脸皮肤图像；云端服务器，用于接收多光谱图像采集模块采集到的人脸皮肤图像信息，并对其进行肤质检测及评估分析，得到分析报告；图像显示模块，用于显示多光谱图像采集模块采集到的人脸皮肤图像信息以及云端服务器得到的分析报告；其中，云端服务器内包含肤质年龄预测模块、肤质检测模块以及肤质评估分析模块，肤质年龄预测模块用于预测肌肤的年龄；肤质检测模块用于对肤质进行检测；肤质评估分析模块用于对肤质进行评估分析。本发明可以对人脸面部的肤质做出正确细致的评估分析。

Description

一种人脸面部图像定量分析系统及方法

技术领域

本发明属于肤质检测技术领域，具体涉及一种人脸面部图像定量分析系统及方法。

背景技术

人脸的肤质好坏是评价一个人美与健康的重要依据。随着时代的进步，人们对自己的容貌愈发重视，皮肤护理成为热点话题。拥有光滑亮洁的皮肤不仅对自己的健康有益，而且能提高自身的整体形象，在人际交往和日常生活中也有着至关重要的作用。由于人工智能的快速发展，自动化、智能化的人脸图像定量分析技术受到了美容院、皮肤研究机构、皮肤医疗机构等的广泛关注。

人脸皮肤评测系统一般包含两大部分：第一部分为多光谱光学成像部分，不仅可以检测已经暴露在肌肤表面的问题,还能够通过定量分析将隐藏在皮肤基底层的问题呈现出来；第二部分为检测与评估分析部分，可以精确、定量地诊断皮肤情况，并提供精确、清楚、易懂的皮肤诊断报告。它的出现使皮肤治疗告别了以往单凭肉眼和医生经验判断的历史，因此，研究、设计、开发一种人脸面部图像皮肤定量分析系统具有重要意义。站在科学研究的角度，它不仅可用于医疗大数据分析研究还可用于皮肤医疗诊断研究；站在实际应用的角度，它可以帮助皮肤科医生全面了解以肉眼无法透视的皮肤深层状况；根据分析结果，针对皮肤特征提出最佳个性治疗解决方案；还可实现全程电脑数控记录，保存电子病历档案，实现跨时期不同检测图片的细致对比分析，对治疗方案的功效做出客观科学的评价。

发明内容

鉴于上述技术问题，本发明的目的在于提供一种人脸面部图像定量分析系统及方法，可以对人脸面部的肤质做出正确细致的评估分析。

为了达到上述目的，本发明所采用的技术方案如下：

根据本发明的一个方面，提供了一种人脸面部图像定量分析系统，包括：

多光谱图像采集模块，用于采集人脸皮肤图像；

云端服务器，用于接收多光谱图像采集模块采集到的人脸皮肤图像信息，并对其进行肤质检测及评估分析，得到分析报告；

图像显示模块，用于显示多光谱图像采集模块采集到的人脸皮肤图像信息以及云端服务器得到的分析报告；其中，

云端服务器内包含肤质年龄预测模块、肤质检测模块以及肤质评估分析模块，肤质年龄预测模块用于预测肌肤的年龄；肤质检测模块用于对肤质进行检测；肤质评估分析模块用于对肤质进行评估分析。

在本发明的某些实施例中，多光谱图像采集模块的光谱模式包括：日光模式、交叉偏振光模式、平行偏振光模式、紫外线模式、伍德光模式。

在本发明的某些实施例中，肤质年龄预测模块采用同源连续性原理同时提取人脸图像的全局形状特征和局部纹理特征，利用卷积神经网络的非线性映射能力，采用深度学习方法对人脸老化过程进行分段建模。

在本发明的某些实施例中，肤质检测模块的检测对象包括：色斑、毛孔、粗糙度、皱纹以及粉刺。

在本发明的某些实施例中，肤质评估分析模块采用神经网络模型进行肤质评分。

在本发明的某些实施例中，多光谱图像采集模块与云端服务器之间采用无线传输方式。

在本发明的某些实施例中，多光谱图像采集模块包括微距摄像头、辅助灯光模块和微控制器模块。

根据本发明的另一个方面，还提供了一种上述的人脸面部图像定量分析系统的分析方法，包括以下步骤：

S1、采集人脸皮肤图像，将采集到的人脸皮肤图像信息进行显示，并传输给云端服务器；

S2、云端服务器接收采集到的人脸皮肤图像信息，并利用多种图像处理算法对其进行肤质检测及评估分析，并将分析结果呈现在显示设备上；其中，多种图像处理算法包括肤质年龄预测算法、肤质检测算法及肤质评估分析算法。

在本发明的某些实施例中，肤质年龄预测算法采用人脸二层结构模型表示人脸图像，分别为整体层和细节层，整体层包括脸形、肤色和五官位置，细节层包括额头、两眼外眼角区域、两眼眼袋区域，鼻翼两侧脸颊区域和上嘴唇区域。

在本发明的某些实施例中，肤质检测算法对色斑、毛孔、粗糙度、皱纹、粉刺5种皮肤问题进行位置和数量的检测。

从上述技术方案可以看出，本发明一种人脸面部图像定量分析系统及方法至少具有以下有益效果：利用本发明可以对人脸面部的皮肤做出正确细致的肤质评估分析，为人脸面部皮肤的美容或者治疗提供可靠的数据支撑。另外，本发明利用云端服务器及其包含的肤质检测算法对皮肤图像信息进行处理，提高了处理速度，软硬件交互友好、快捷、简单。

附图说明

图1为本发明实施例人脸面部图像定量分析系统的组成框图。

图2为本发明实施例频谱S₁及S₂示意图。

图3为本发明实施例基于神经网络模型的肤质检测示意图。

图4为本发明实施例人脸面部图像定量分析方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

在本发明的实施例中，提供了一种人脸面部图像定量分析系统。如图1所示，本发明人脸面部图像定量分析系统包括：多光谱图像采集模块、云端服务器、图像显示模块；其中，云端服务器内包含肤质年龄预测模块、肤质检测模块以及肤质评估分析模块。

多光谱图像采集模块用于采集人脸皮肤图像；云端服务器用于接收多光谱图像采集模块采集到的人脸皮肤图像信息，并对其进行肤质检测及评估分析，得到分析报告；图像显示模块用于显示多光谱图像采集模块采集到的人脸皮肤图像信息以及云端服务器得到的分析报告。

肤质年龄预测模块用于预测肌肤的年龄；肤质检测模块用于对肤质进行检测；肤质评估分析模块用于对肤质进行评估分析。

多光谱图像采集模块包括微距摄像头，辅助灯光模块，微控制器模块等，将采集到的人脸皮肤图像信息显示在屏幕(图像显示模块)上，并通过无线传输给云端服务器。其中集成了5种光谱人脸面部图像获取功能：

(1)日光模式：是日常照镜子时看到的皮肤，从各个方向向面部提供散射而柔和的光线，均匀照亮面部所有细节，不会产生阴影，亦不会显现出特殊的皮肤状况。日光模式可以让用户与其他光线模式进行皮肤状况的对照分析。

(2)交叉偏振光模式：让用户能清楚的审视皮肤表层下面的状况。血管或皮肤色素问题可以立刻显现出来，一目了然。在交叉偏振模式中，皮肤的表面光滑部位会被抑制，以便检视皮表下方。此模式能协助诊断色素或血管相关的真皮肌肤状况。

(3)平行偏振光：可提高肌肤表面纹理的显影清晰度。切换至此模式后可加强细节辨识度，清楚的观察肌肤平整度、细纹与皱纹。

(4)True UV(紫外光)模式：可以得到更清晰的、反差更强的、细节更明显的用户肌肤影像。

(5)伍德光：在医学领域应用于确诊皮肤病，在白癜风医院，伍德光设备必不可少。它也是诊断黄褐斑的最佳光源，在该光源下可以检测出皮肤的油性、干性、混合性等问题。

云端服务器用于接收来自多光谱图像采集模块的人脸皮肤图像信息，并利用多种图像处理算法对其进行肤质检测及评估分析，并将分析结果呈现在显示设备上。云端服务器集成了肤质年龄预测模块、肤质检测模块及肤质评估分析模块。另外，云端服务器中还存储有搭建的皮肤图像数据库。

下面详细介绍肤质年龄预测模块、肤质检测模块及肤质评估分析模块。

一、肤质年龄预测模块

本模块采用基于同源连续性的肌肤年龄预测算法。人脸肌肤的老化是一个缓慢的、连续的、不可避免的过程，历经少年、青年、中年、老年各个年龄段，每个阶段的变化具有不同的规律，而不是从少年直接线性地变换至中年或老年。因此，老化过程的模拟也应遵循上述自然规律，这种自然规律符合“同源连续性原理”。

为了使人脸老化建模更符合上述“同源连续性”的规律，本实施例拟同时提取人脸图像的全局形状特征和局部纹理特征，利用卷积神经网络(CNN，Convolutional NeuralNetworks)的非线性映射能力，采用深度学习方法对人脸老化过程进行分段建模。具体的技术路线如下：

第一，采用一种人脸二层结构模型表示人脸图像，以年龄段t中的人像I_t为例，按照层次模型表示为:

I_t＝(I_f,t,I_p,t)

其中，I_f,t为人像的整体层，包括脸形、肤色、五官位置等全局特征；I_p,t为细节层，分别为额头、两眼外眼角区域、两眼眼袋区域，鼻翼两侧脸颊区域、上嘴唇区域。在年龄段t中的所有人像均按层次模型进行表示，建立包含子块图像的人像子库G_t：

G_t＝∑(I_f,t,I_p,t),i＝i,2,…n

其中，G_t为年龄段t的图像集合，包含整体层和细节层的子块图像。对子块图像可按如下方法进行更进一步的分解，以提取子块图像的形状和纹理矢量信息：

I_i,f,t＝{S_i,f,t,T_i,f,t}

I_i,p,t＝{S_i,p,t,T_i,p,t}

其中，S_i,f,t和T_i,f,t分别为全局图像I_i,f,t的形状和纹理矢量，S_i,p,t和T_i,p,t分别为I_i,p,t局部五官图像的形状和纹理矢量。

其中，将样本库按照前述年龄段的划分分成若干个区间。将样本图像应用平移、缩放、旋转、Procrustesi算法、三角形坐标系等迭代对齐至相应年龄段的平均形状，可获得与形状无关的全局与局部纹理矢量(T_i,f,t,T_i,p,t)。

第二，以无监督判别投影与形象认知规律为理论基础，采用一种仿生不相关空间局部保持鉴别分析算法对特征向量进行特征提取。算法首先根据人类形象认知的特性构建了一种新的相似系数表示方法，然后结合不相关空间概念，确保矢量空间具有不相关性，最后给出了基于奇异值分解的矢量空间求解方法。

第三，根据人脸老化“同源连续性”规律，采用一种分段非线性的老化过程建模方法，符合人脸衰老的自然规律；此外，老化过程的模拟根据人脸的层次结构，分别进行整体层的全局老化过程模拟和细节层的局部五官及相应纹理的老化过程模拟，将整体层信息和细节层信息进行很好的融合。

每个年龄段的老化建模均采用卷积神经网络(CNN)实现。卷积网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。最终模型能够很好的预测出肤质的年龄。

二、肤质检测模块

本模块对色斑、毛孔、粗糙度、皱纹、粉刺5种皮肤问题进行位置和数量的检测。

A、色斑检测

1)小波同态滤波

a、对图像进行滤波后，进行两次小波分解，得到HL₂,LH₂,HH₂,LL₂(第二次小波分解后产生的小波系数)；

b、对LL₂作线性均衡调整：

LL₂＝(r1-r2)(k(x-m)+m)

其中，x表示小波系数，m表示LL₂上的小波系数的平均值，对比度调节因子k满足0≤k≤1；并作小波分解，得到HL₃,LH₃,HH₃,LL₃(第三次小波分解后产生的小波系数)；r1、r2均表示同态滤波参数，分别表示高频增益和低频增益。

c、依次对1～3层高频系数作加权滤波处理：

其中j代表分解级数，2^j代表相应的分辨率，K_c称为截止系数，W_h和W_v分别称为水平权系数和垂直权系数，对于LH_j,W_h＝0,W_v＝1；对于HL_j,W_h＝1,W_v＝0；对于HH_j,W_h＝1,W_v＝1；对于LL_j,W_h＝0,W_v＝0；

d、逆序重构，得到恢复图像。

2)增强对比度

经过上一步骤之后，部分图像的低频信息被削弱，然而考虑许多色斑与周围肤色的界限不清楚，经过预处理之后的边界更加模糊，因此需要通过增强图像对比度来突出色斑，使检测效果更显著。采用高低帽变换和灰度拉伸的方法；

高低帽变换能将图像中的亮暗目标从背景中有效地分离出来，原图加上高帽图，再减去低帽图，能使图像中亮、暗区域的差值更大，突出一些原本不明显的色斑。

经过上述变换之后，图像像素的灰度范围比较集中，采用灰度拉伸来提高灰度级的动态范围，让图像的亮度更加均匀，色斑更加突出。

最后再采用一种视觉仿生的图像增强方法提升图像的对比度，该方法主要包括全局自适应亮度调节、局部对比度增强和颜色恢复三个部分。即全局亮度调节主要用来增强暗区域的亮度和压缩图像的动态范围；局部对比度增强利用当前点与其邻域像素的双边滤波输出之间的关系，调节当前点的亮度，以增强图像局部对比度；再通过一种简单的线性颜色恢复算法恢复图像色彩。

3)动态阈值分割

经过上述步骤之后，色斑和肤色的色差拉大，采用动态阈值分割技术来提取色斑，具体操作是：将图像按32*32进行分块之后计算每一块的灰度均值，各像素与此均值的差值大于某个给定阈值的像素即为色斑。

4)开闭运算

对图像先后进行开和闭运算，消除噪声杂点，使得色斑的提取更精确。

B、毛孔检测

1)选取B颜色通道

在许多阈值分割算法中，为了便于处理，通常把彩色图像转为灰度图像或者取某一颜色通道转为单通道图像，这种做法有利于减少图像处理的计算量和所需的存储空间，所以选取图像RGB颜色空间中的B通道，相较于R和G通道具有较高的对比度。

2)均值滤波

设对图像f均值滤波后得到图像f′，均值滤波窗口为9*9，则图像f′第i行，第j列的像素值为：

其中k＝9，f_mn是图像f中第m行，第n列的像素值。

3)动态阈值分割

在基于灰度特征的阈值分割过程中，由于存在照度不均的问题，使得为图像整体的分割选取合适的阈值非常困难。OTSU算法也称最大类间差法，被认为是图像分割中阈值选取的最佳算法，计算简单，不受图像亮度和对比度的影响，因此在数字图像处理上得到了广泛的应用。

记T为前景与背景的分割阈值，前景点数占图像比例为w₀，平均灰度为u₀；背景点数占图像比例为w₁，平均灰度为u₁，前景和背景图像的方差为：

g＝w₀*w₁*(u₀-u₁)²

当方差g最大时，可以认为此时前景和背景差异最大，此时的灰度T是最佳阈值。

4)形态学处理

利用数学形态学中的腐蚀与膨胀对图像进行后处理，以方便对检测出的毛孔进行标注。腐蚀是一种消除边界点，使边界点向内部收缩的过程，可以用来消除小且无意义的物体。膨胀是将与物体接触的所有背景点合并到该物体中，使边界向外部扩张的过程，可以用来填充物体中的空洞。

C、粗糙度检测

1)计算有效可计算范围内每个点的2^k邻域内的平均灰度值：

2)对于每个像素，计算其在垂直方向和水平方向上不重合邻域的平均灰度差。其垂直方向的差值计算公式为：

E_k,h(x,y)＝|A_k(x+2^k-1,y)-A_k(x-2^k-1,y)|

水平方向的差值计算公式为：

E_k,v(x,y)＝|A_k(x+2^k-1,y)-A_k(x-2^k-1,y)|

对于每个像素，计算最佳尺寸参数k以确保E值达到最大(任意方向)：

S_best(x,y)＝2^k

E_k＝E_max＝max(E₁,E₂,...,E_L)

3)计算整幅图像的平均S值以表征图像的粗糙度：

其中，m，n分别表示图像的宽和高。

D、皱纹检测

1)对皮肤图像f(x,y)进行离散傅里叶变换，得到图像频域的实部和虚部，分别记为R(u,v)和I(u,v)，进行移频处理，使频谱图像对称；

2)计算频谱幅度值矩阵A(M*N)，并将其进行归一化得到矩阵A′：

其中，A'_ij表示矩阵A′第i行，第j列的元素值，min(A)和max(A)分别表示矩阵A中最小和最大的元素值；

3)设定阈值t，将小于t的幅度值均设为零，保留纹理的方向信息；

4)分别计算频谱图第一、二象限的幅度值总和，记为C₁和C₂，计算二者幅度比r₁：

其中，

5)如图2所示，计算图2中S₁及S₂区域的幅度值总和，记为C′₁和C′₂，计算二者幅度比r₂：

其中，

6)将r₁及r₂作为皮肤皱纹的特征。

E、粉刺检测

1)将输入的彩色RGB图像转换成灰度图像；

2)找到各个区域内灰度的最大值；

3)利用求得的最大值对灰度图像的各个区域进行归一化处理；

4)将彩色RGB图像转换到HSV颜色空间；

5)提取出HSV颜色空间中的V通道，并对其进行归一化；

6)利用归一化后的V通道减去归一化后的灰度图，得到粉刺的ROI区域；

7)对ROI区域进行阈值处理，得到检测出粉刺区域的二值图像。

三、肤质评估分析模块

本模块基于深度神经网络技术进行肤质评分，具体包括：

1)设计神经网络结构，由肤质检测结果得到更为准确的肤质检测结果及不同皮肤指标得分和综合皮肤评分；

2)构造多层神经网络模仿人类的视觉原理，较低层识别图像的初级特征(如各种边缘等底层特征)，较高层识别图像的高级特征(如物体的形状、类别等)，通过多个层级的组合得到能够较好表示图像信息的特征，根据构建的多层神经网络结构能够逐步获得表征人脸各种肤质指标的多维特征；

3)构建的皮肤数据库中包含不同皮肤指标的目标区域及每个指标评测得分和综合肤质评测得分，遵循由粗到细的法则进行不同肤质检测，首先利用3种不同的光谱模式图像利用上述算法得到肤质检测的粗略结果，然后利用构建的数据库中所标注的不同皮肤指标对应的目标区域，对肤质检测算法中的相关阈值和参数进行调整，从而得到较为准确的肤质检测结果；

4)将数据库中图像和以上肤质检测结果作为神经网络的输入，训练神经网络逐渐优化网络参数，从而保证构建的多层神经网络能够精确的检测不同肤质问题出现的区域；

5)根据肤质检测结果，构建各个肤质指标检测结果和相应皮肤指标得分之间的关系模型，并且设计各个皮肤指标合理的综合策略从而得到综合皮肤评测的预测值；

6)在应用时，对被测者采集3种光谱模式皮肤图像，通过调整阈值和相关参数的肤质检测算法得到每种皮肤指标较为准确的检测结果，之后利用训练得到的模型，同时完成多任务预测，得到更精确的皮肤检测结果并且得到不同皮肤指标预测分值和综合皮肤评测分值。算法示意如图3所示。

如图4所示，在本发明的实施例中，还提供了一种人脸面部图像定量分析方法，包括以下步骤：

S1、采集人脸皮肤图像，将采集到的人脸皮肤图像信息进行显示，并传输给云端服务器；

S2、云端服务器接收采集到的人脸皮肤图像信息，并利用多种图像处理算法对其进行肤质检测及评估分析，并将分析结果呈现在显示设备上；其中，多种图像处理算法包括肤质年龄预测算法、肤质检测算法及肤质评估分析算法。

至此，已经结合附图对本实施例进行了详细描述。依据以上描述，本领域技术人员应当对本发明一种人脸面部图像定量分析系统及方法有了清楚的认识。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人脸面部图像定量分析系统，其特征在于，包括：

多光谱图像采集模块，用于采集人脸皮肤图像；

云端服务器，用于接收多光谱图像采集模块采集到的人脸皮肤图像信息，并对其进行肤质检测及评估分析，得到分析报告；

图像显示模块，用于显示多光谱图像采集模块采集到的人脸皮肤图像信息以及云端服务器得到的分析报告；其中，

云端服务器内包含肤质年龄预测模块、肤质检测模块以及肤质评估分析模块，肤质年龄预测模块用于预测肌肤的年龄；肤质检测模块用于对肤质进行检测；肤质评估分析模块用于对肤质进行评估分析。

2.根据权利要求1所述的人脸面部图像定量分析系统，其特征在于，多光谱图像采集模块的光谱模式包括：日光模式、交叉偏振光模式、平行偏振光模式、紫外线模式、伍德光模式。

3.根据权利要求1所述的人脸面部图像定量分析系统，其特征在于，肤质年龄预测模块采用同源连续性原理同时提取人脸图像的全局形状特征和局部纹理特征，利用卷积神经网络的非线性映射能力，采用深度学习方法对人脸老化过程进行分段建模。

4.根据权利要求3所述的人脸面部图像定量分析系统，其特征在于，肤质检测模块的检测对象包括：色斑、毛孔、粗糙度、皱纹以及粉刺。

5.根据权利要求4所述的人脸面部图像定量分析系统，其特征在于，肤质评估分析模块采用神经网络模型进行肤质评分。

6.根据权利要求1所述的人脸面部图像定量分析系统，其特征在于，多光谱图像采集模块与云端服务器之间采用无线传输方式。

7.根据权利要求1所述的人脸面部图像定量分析系统，其特征在于，多光谱图像采集模块包括微距摄像头、辅助灯光模块和微控制器模块。

8.一种权利要求1-7任一项所述的人脸面部图像定量分析系统的分析方法，其特征在于，包括以下步骤：

S1、采集人脸皮肤图像，将采集到的人脸皮肤图像信息进行显示，并传输给云端服务器；

S2、云端服务器接收采集到的人脸皮肤图像信息，并利用多种图像处理算法对其进行肤质检测及评估分析，并将分析结果呈现在显示设备上；其中，多种图像处理算法包括肤质年龄预测算法、肤质检测算法及肤质评估分析算法。

9.根据权利要求8所述的分析方法，其特征在于，肤质年龄预测算法采用人脸二层结构模型表示人脸图像，分别为整体层和细节层，整体层包括脸形、肤色和五官位置，细节层包括额头、两眼外眼角区域、两眼眼袋区域，鼻翼两侧脸颊区域和上嘴唇区域。

10.根据权利要求9所述的分析方法，其特征在于，肤质检测算法对色斑、毛孔、粗糙度、皱纹、粉刺5种皮肤问题进行位置和数量的检测。