CN106780311B - 一种结合皮肤粗糙度的快速人脸图像美化方法 - Google Patents

Abstract

本发明涉及一种结合皮肤粗糙度的快速人脸图像美化方法，包括：对人脸图像从RGB色彩空间转化为YCbCr色度空间，提取亮度分量、蓝色色度分量和红色色度分量图；结合蓝色色度分量和红色色度分量直方图，求出肤色椭圆模型的椭圆心和长短半径，根据肤色相似性，计算肤色软阈值图；结合肤色软阈值图，对亮度分量进行处理得局部肤色方差图，以局部肤色方差图作为平滑参数平滑亮度分量图，对平滑亮度分量图进行高斯模糊，再结合亮度分量图进行线性混合得到平滑图；以肤色软阈值图作为权重，将亮度分量图和平滑图进行融合得到融合图，再将融合图进行曲线美白得到最终的美化图。本发明利用肤色相似度和粗糙度，祛除肤色瑕疵的同时保留肤质，整体美化效果显著。

Description

一种结合皮肤粗糙度的快速人脸图像美化方法

技术领域

本发明涉及图像处理领域，特别是一种结合皮肤粗糙度的快速人脸图像美化方法。

背景技术

近年来，随着数码相机或智能手机摄影技术日益成熟，成像的分辨率越来越高，更清楚地显示出人脸皮肤中的细节部分如雀斑、皱纹、痘痘等，这些影响着人脸图像的美感。随着审美观念不断提高，对显示图像质量和美感度的要求也越来越高，人们希望展现出美丽的人脸图像，因此人脸图像的快速美化技术在数码相机、移动终端、广告业、视频会议等多媒体中有广泛的应用及实用价值。

目前，人脸美化技术已成为数字图像处理和机器视觉领域的研究热点，对于人脸美化技术，已有许多学者对此进行了大量的研究，并取得了较好的美化效果。研究人员主要从两个方向来研究人脸图像美化这一问题：基于图像平滑的方向和基于框架模型的方向。其中，图像平滑方向的人脸美化方法并不考虑肤色区域和背景细节信息，而是针对整张人脸图像本身，通过平滑图像，降低图像锐度，从而使人脸图像光滑美丽，以改善图像视觉美感效果。图像平滑算法可以在现有的成熟图像美化的方法上，在结合肤色检测与分割，实现快速人脸美化操作，其操作简单且快速，因此早期的研究者多数基于这个方向研究人脸美化的方法。基础图像平滑美化算法包括高斯平滑和边缘感知平滑美化算法等。基于框架模型的方向是效果符合人们审美的标准：平滑度、肤质感和白皙度而提出的相应的人脸美化框架模型；通过肤色信息大致检测出肤色区域，对肤色区域进行平滑、融合、美白等一系列操作得到美化人脸图像，但是由于参数设置较多，较难针对大部分人脸图像，具有较高时间复杂度，难以达到实时自动美化人脸图像和视频。基于框架模型的图像美化算法主要包括基于人脸五官定位的美化、基于贝叶斯皮肤分割的美化、基于双指数滤波的美化和基于混合高斯模型的美化等方法。

发明内容

本发明目的在于克服以往美化算法处理人脸瑕疵图像的不足，肤色纹理信息的损失，以及背景信息的丢失，利用肤色粗糙度和肤色相似度人脸图像的特点，提出一种结合皮肤粗糙度的快速人脸图像美化方法，该方法简单高效，能很好地进行平滑、保留肤质和美白人脸图像，而不损失非肤色细节，提高人脸图像的美化质量(平滑、肤质和白皙)和主观视觉美感效果。

本发明解决其技术问题所采用的技术方案是：

一种结合皮肤粗糙度的快速人脸图像美化方法，充分利用肤色相似度和粗糙度，祛除肤色瑕疵的同时保留肤质，达到肤色不失真，肤色白皙自然，使整体美化效果显著，方法包括：

步骤1)对输入的彩色人脸图像I(x,y)利用自适应色度分量椭圆模型和肤色相似性估计肤色软阈值图像I_skin(x,y)：

1.1)从RGB色彩空间转换为YCbCr对色空间的转化公式：

将人脸图像I(x,y)从RGB色彩空间转化为YCbCr色度空间，得到人脸图像I(x,y)的亮度分量I_Y(x,y)、蓝色色度分量I_Cb(x,y)和红色色度分量I_Cr(x,y)；

1.2)肤色椭圆模型公式：其中(ec_b,ec_r)是椭圆心坐标，a和b分别是椭圆长半轴和短半轴，θ是肤色椭圆模型坐标的旋转角，其值为经验值,I'_Cb和I'_Cr是经过旋转后的蓝色色度分量和红色色度分量,I_Cb和I_Cr是蓝色色度分量和红色色度分量,Cx,Cy,k₁和k₂为预设定的控制参数；

1.3)分别计算蓝色色度分量I_Cb(x,y)和红色色度分量I_Cr(x,y)的直方图为H_Cb(x)和H_Cr(x)，根据直方图H_Cb(x)和H_Cr(x)的重心计算椭圆心坐标(ec_b,ec_r)和椭圆长短半轴a和b,结合肤色相似性，经指数函数映射到[0 1]区间得肤色软阈值图I_skin(x,y),公式为:其中σ是预设定的调节肤色相似性参数，I_skin(x,y)值的范围为[0 1]。

步骤2)利用肤色粗糙特性对自适应肤质保留平滑人脸图像得到平滑图：

2.1)对人脸图像I(x,y)的亮度分量I_Y(x,y)进行局部方差计算得局部肤色方差图I_Yvar(x,y)，公式为：其中是局部均值，N是局部方差滤波的窗口大小，由肤色软阈值图计算得到，公式：其中floor()为向下取整数的操作，sum()为像素值求和操作，k₃为预设定的控制参数；

2.2)预先定义高斯滤波器为gaussfilter(r,σ_G),则：其中 是预设高斯标准方差,r是预设定高斯滤波半径；

2.3)预先定义快速全局平滑滤波器为FGS(σ_c,λ),能量函数其中p和q是空间位置点，N(p)为p的四邻域，λ为预置平滑控制参数，f是输入图像，g是引导图像，f_p是在p位置点的输入图像的像素值，为权重函数,g_p和g_q分别是在p和q位置点的引导图像的像素值，σ_c＝mean(I_skin(x,y)*I_Yvar(x,y))为预置边缘保留控制参数，其中mean()是求均值的操作，用最小加权二乘法求使能量函数最小的解则得到输出图像u，u_p和u_q分别是在p和q位置点的输出图像的像素值；

2.4)对图像做快速全局平滑滤波FGS(σ_c,λ)，用原图减去快速全局平滑滤后的图，再通过高斯滤波和线性混合，得到肤色纹理保留的平滑图像I_smooth(x,y)，则肤色纹理保留的平滑计算公式：其中I_Y是亮度分量图像，是卷积运算符，α是融合比例参数，其取值范围[0 2]。

步骤3)利用肤色软阈值图像将人脸图像和平滑图进行融合得到融合图，再将融合图像进行美白处理得到美化图像：

3.1)利用肤色软阈值图像I_skin(x,y)将人脸图像I(x,y)和平滑图I_smooth(x,y)进行融合，得到融合图I_blend(x,y)：I_blend(x,y)＝(1-I_skin(x,y))*I(x,y)+I_skin(x,y)*I_smooth(x,y)；

3.2)将融合图像I_blend(x,y)进行log曲线美白处理,得到美化图像I_Yen(x,y)，则公式为其中log()是对数操作运算符，β是美白调节参数，则β＝1-mean(I_skin(x,y)*I(x,y))/256,其中mean()是求均值的操作；

3.3)从转YCbCr对色空间换为RGB色彩空间的转化公式：

3.4)将美化图像I_Yen(x,y),蓝色色度分量I_Cb(x,y)和红色色度分量I_Cr(x,y)由YCbCr空间转换成RGB空间，得到最终RGB空间的人脸美化图像I_en(x,y)。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

1、利用具有边缘感知的快速全局平滑滤波和高斯滤波进行线性混合，能够祛除脸部瑕疵且保留肤色原有纹理信息。

2、通过肤色椭圆模型和肤色相似性的特性，计算出肤色软阈值图像，自适应融合平滑后的图像和原始图像，保留了非肤色区域细节信息。

3、利用肤色亮度信息自适应调整log曲线参数，从而美白人脸图像，具有自适应性，适用于大部分彩色人脸图像。

4、计算简单高效，只平滑处理YCbCr空间的Y亮度通道，达到与RGB空间分别处理R、G和B三通道一样的色彩效果。

附图说明

图1为本发明的一种实现处理流程示意图；

图2为待处理的人脸图像例图；

图3为肤色软阈值图像；

图4为平滑人脸图像；

图5为融合人脸图像；

图6为美化人脸图像。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

本发明提供一种结合皮肤粗糙度和肤色相似性的快速人脸图像美化方法，首先对人脸图像从RGB色彩空间转化为YCbCr色度空间，分别提取亮度分量、蓝色色度分量和红色色度分量图；其次结合蓝色色度分量和红色色度分量直方图，自适应求出肤色椭圆模型的椭圆心和长短半径，根据肤色相似性，经指数函数得肤色软阈值图；然后根据肤色软阈值图，对亮度分量进行局部方差处理得局部肤色方差图，以局部肤色方差图作为快速全局平滑滤波器的平滑参数，平滑亮度分量图，对平滑亮度分量图进行高斯模糊，再结合亮度分量图进行线性混合得到平滑图；最后以肤色软阈值图作为权重将亮度分量图和平滑图进行融合得到融合图，再将融合图进行log曲线美白处理得到最终的美化图。

首先预先定义如下变量以便于算法描述：

人脸图像：I

像素值：i

像素坐标：(x,y)

颜色分量：R,G,B,Y,Cb,Cr

先定义整幅图像的尺寸为：imageSize，imageSize＝Height*Width其中Height为图像的高，Width为图像的宽。

预先定义直方图计算公式：Hist(i)＝n_i,其中，n_i对应图像像素i的像素数，分别计算出H_Cb(i)≠0第一个和最后一个像素值为i_bs和i_be,和H_Cr(i)≠0第一个和最后一个像素值为i_rs和i_re。

预先定义直方图的重心计算公式：则椭圆心坐标和椭圆长短半轴a＝(i_bs+i_be)/4和b＝(i_rs+i_re)/4，其中H_Cb(i)和H_Cb(i)分别是蓝色色度分量和红色色度分量的直方图。

预先定义高斯滤波器为gaussfilter(r,σ_G),则：其中 是预设高斯标准方差,r是预设定高斯滤波半径；

预先定义快速全局平滑滤波器为FGS(σ_c,λ),求解最小能量函数其中p和q是空间位置点，N(p)为p的四邻域，λ为预置平滑控制参数，f是输入图像，g是引导图像，u是用最小加权二乘法求使能量函数最小的解得到输出图像，f_p是在p位置点的输入图像的像素值，u_p和u_q分别是在p和q位置点的输出图像的像素值，ω_p,q(g)是权重函数，则g_p和g_q分别是在p和q位置点的引导图像的像素值，σ_c是预置的边缘控制参数，根据局部肤色方差图和肤色软阈值图得到，故σ_c＝mean(I_skin(x,y)*I_Yvar(x,y))，其中mean()是求均值的操作，根据加权最小二乘法，令J(u)的梯度为0，得到一个基于大的稀疏矩阵线性公式：(E+λL)u＝f，解得u＝(E+λL)^-1f其中，是L拉普拉斯矩阵，则

肤色纹理保留平滑公式推导，对图像I_Y做快速全局平滑滤波FGS(σ_c,λ)，用原图I_Y减去快速全局平滑滤后的图，公式为：再对I_high进行高斯滤波与线性混合，得到肤色纹理保留的平滑图I_smooth(x,y)(参见图4所示)，公式如下：

进一步简化得：

把公式代入，最终得到肤色纹理保留的平滑公式：

其中为卷积运算符，是α预置的参数取值范围[0 2]。

参数r，是高斯滤波半径,取值范围为0.5≤r≤2.5，这里r＝1.5。

参数σ，是预设定的调节肤色相似性参数，取值范围为0.5≤σ≤3，实际取值σ＝1。

参数σ_G，是高斯标准方差,取值范围为r/10≤σ_G≤r，默认取σ_G＝r/3。

参数Cx，可调控制参数,取值范围为85≤Cx≤135，默认取Cx＝109.38。

参数Cy，可调控制参数,取值范围为135≤Cy≤180，默认取Cy＝152.02。

参数k₁：可调控制参数，范围1≤k₁≤2，实际值根据图像性质具体决定。

参数k₂：可调控制参数，k₂＝0.8k₁,实际值根据具体决定。

参数k₃:可调控制参数，范围1≤k₃≤2，实际值根据图像性质具体决定。

参数σ_c：是预置边缘保留控制参数，实际值根据图像性质具体决定。

参数λ：为预置平滑控制参数，实际值根据图像性质具体决定,默认取λ＝30。

参数α：融合比例参数，其取值范围[1 2]，默认取α＝2。

参照图所示，本发明一种结合皮肤粗糙度的快速人脸图像美化方法，具体包括如下步骤：

1)对输入的彩色人脸图像I(x,y)(参见图2所示)从RGB色彩空间转换到YCbCr对色空间，再利用自适应色度分量肤色椭圆模型和肤色相似性估计肤色软阈值图像I_skin(x,y)(参见图3所示)：

1.1)将人脸图像I(x,y)从RGB色彩空间转化为YCbCr色度空间，其中从RGB色彩空间转换为YCbCr对色空间的转化公式为：

得到人脸图像I(x,y)的YCbCr色度空间中的亮度分量I_Y(x,y)、蓝色色度分量I_Cb(x,y)和红色色度分量I_Cr(x,y)；

1.2)根据色度分量的直方图和直方图的重心计算肤色椭圆心坐标

和椭圆长短半轴a＝(i_bs+i_be)/4和b＝(i_rs+i_re)/4，其中i_bs和i_be为H_Cb(i)≠0时第一个和最后一个像素值,i_rs和i_re为H_Cr(i)≠0第一个和最后一个像素值，H_Cb(i)和H_Cb(i)分别是蓝色色度分量和红色色度分量的直方图；

1.3)结合肤色椭圆模型公式： 肤色软阈值图其中θ是肤色椭圆模型坐标的旋转角，其值为经验值,I'_Cb和I'_Cr是经过旋转后的蓝色色度分量和红色色度分量,I_Cb和I_Cr是蓝色色度分量和红色色度分量,Cx，Cy，k₁和k₂为预设定的控制参数,σ是预设定的调节肤色相似性参数，越大相似性越差，本发明默认取值为σ＝1。

2)利用肤色粗糙特性，对亮度分量进行局部方差处理得局部肤色方差图，以局部肤色方差图作为快速全局平滑滤波器的平滑参数，平滑亮度分量图，对平滑亮度分量图进行高斯模糊，再结合亮度分量图进行线性混合，得到自适应肤质保留平滑人脸图像：

2.1)对人脸图像I(x,y)的亮度分量I_Y(x,y)进行局部方差计算，得局部肤色方差图其中是局部均值，N是局部方差滤波的窗口大小，由肤色软阈值图计算得到，公式：其中floor()为向下取整数的操作，sum()为像素值求和操作，k₃为预设定的控制参数，默认取值为k₃＝1.5；

2.2)根据局部肤色方差图I_Yvar(x,y)和肤色软阈值图I_skin(x,y)，计算出快速全局平滑滤波FGS(σ_c,λ)中的预置的边缘控制参数σ_c＝mean(I_skin(x,y)*I_Yvar(x,y))，λ为预置平滑控制参数，本发明实验取值为λ＝30；

2.3)根据肤色纹理保留的平滑计算出肤色纹理保留的平滑图像其中I_Y是亮度分量图像，是卷积运算符，α是融合比例参数，其取值范围[0 2]，本发明实验取值为α＝2。

3)利用肤色软阈值图像将人脸图像和平滑图进行融合得到融合图，再将融合图像进行美白处理得到美化图像：

3.1)利用肤色软阈值图像I_skin(x,y)将人脸图像I(x,y)和平滑图I_smooth(x,y)进行融合，得到融合图I_blend(x,y)(参见图5所示)：I_blend(x,y)＝(1-I_skin(x,y))*I(x,y)+I_skin(x,y)*I_smooth(x,y)；

3.2)将融合图像I_blend(x,y)进行log曲线美白处理,得到美化图像I_Yen(x,y)，则公式为其中log()是对数操作运算符，β是美白调节参数，则β＝1-mean(I_skin(x,y)*I(x,y))/256,其中mean()是求均值的操作；

3.3)从转YCbCr对色空间换为RGB色彩空间的转化公式：

3.4)将美化图像I_Yen(x,y),蓝色色度分量I_Cb(x,y)和红色色度分量I_Cr(x,y)由YCbCr空间转换成RGB空间，得到最终RGB空间的人脸美化图像I_en(x,y)(参见图6所示)。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (1)

1.一种结合皮肤粗糙度的快速人脸图像美化方法，其特征在于，包括：

步骤1)对输入的彩色人脸图像I(x,y)利用自适应色度分量椭圆模型和肤色相似性估计肤色软阈值图像I_skin(x,y)；其中，(x,y)表示人脸图像的像素坐标；

步骤2)利用肤色粗糙特性自适应肤质保留平滑人脸图像得到平滑图I_smooth(x,y)；

步骤3)利用肤色软阈值图像I_skin(x,y)将人脸图像I(x,y)和平滑图I_smooth(x,y)进行融合得到融合图I_blend(x,y)，再将融合图像I_blend(x,y)进行美白处理得到美化图像I_en(x,y)；

所述步骤1)包括:

1.1)从RGB色彩空间转换为YCbCr色度空间的转化公式：

将人脸图像I(x,y)从RGB色彩空间转化为YCbCr色度空间，得到人脸图像I(x,y)的亮度分量I_Y(x,y)、蓝色色度分量I_Cb(x,y)和红色色度分量I_Cr(x,y)；

1.2)肤色椭圆模型公式：其中(ec_b,ec_r)是椭圆心坐标，a和b分别是椭圆长半轴和短半轴，θ是肤色椭圆模型坐标的旋转角，其值为经验值,I'_Cb和I'_Cr是经过旋转后的蓝色色度分量和红色色度分量，I_Cb和I_Cr是蓝色色度分量和红色色度分量,Cx,Cy,k₁和k₂为预设定的控制参数；

1.3)分别计算蓝色色度分量I_Cb(x,y)和红色色度分量I_Cr(x,y)的直方图H_Cb(x)和H_Cr(x)，根据直方图H_Cb(x)和H_Cr(x)的重心计算椭圆心坐标(ec_b,ec_r)和椭圆长短半轴a和b,结合肤色相似性，经指数函数映射到[0，1]区间得肤色软阈值图I_skin(x,y),公式为:其中σ是预设定的调节肤色相似性参数，I_skin(x,y)值的范围为[0，1]；

所述步骤2)包括：

2.1)对人脸图像I(x,y)的亮度分量I_Y(x,y)进行局部方差计算得局部肤色方差图I_Yvar(x,y)，公式为：其中是局部均值，N是局部方差滤波的窗口大小，由肤色软阈值图计算得到，公式：其中floor()为向下取整数的操作，sum()为像素值求和操作，k₃为预设定的控制参数；

2.2)预先定义高斯滤波器为gaussfilter(r,σ_G),则：其中是预设的高斯滤波器方差,r是预设的高斯滤波半径；

2.3)预先定义快速全局平滑滤波器为FGS(σ_c,λ),能量函数其中p和q是空间位置点，N(p)为p的四邻域，λ为预置平滑控制参数，f是输入图像，g是引导图像，f_p是在p位置点的输入图像的像素值，为权重函数,g_p和g_q分别是在p和q位置点的引导图像的像素值，σ_c＝mean(I_skin(x,y)*I_Yvar(x,y))为预置边缘保留控制参数，其中mean()是求均值的操作，用最小加权二乘法求使能量函数最小的解则得到输出图像u，u_p和u_q分别是在p和q位置点的输出图像的像素值；

2.4)对图像做快速全局平滑滤波FGS(σ_c,λ)，用原图减去快速全局平滑滤波 后的图，再通过高斯滤波和线性混合，得到肤色纹理保留的平滑图像I_smooth(x,y)，则肤色纹理保留的平滑计算公式：其中I_Y是亮度分量图像，是卷积运算符，α是融合比例参数，其取值范围[0，2]；

所述步骤3)包括：

3.1)利用肤色软阈值图像I_skin(x,y)将人脸图像I(x,y)和平滑图I_smooth(x,y)进行融合，得到融合图I_blend(x,y)：I_blend(x,y)＝(1-I_skin(x,y))*I(x,y)+I_skin(x,y)*I_smooth(x,y)；

3.2)将融合图像I_blend(x,y)进行log曲线美白处理,得到美化图像I_Yen(x,y)，则公式为其中log()是对数操作运算符，β是美白调节参数，则β＝1-mean(I_skin(x,y)*I(x,y))/256,其中mean()是求均值的操作；

3.3)从YCbCr色度空间换为RGB色彩空间的转化公式：

3.4)将美化图像I_Yen(x,y),蓝色色度分量I_Cb(x,y)和红色色度分量I_Cr(x,y)由YCbCr空间转换成RGB空间，得到最终RGB空间的人脸美化图像I_en(x,y)。