CN108346128B - 一种美颜磨皮的方法和装置 - Google Patents

Abstract

本发明提供了一种美颜磨皮的方法和装置。其中，所述方法包括：对原始图像中的每个像素点进行横向双边滤波，得到初步磨皮的第一图像，并对原始图像中的每个像素点进行肤色检测，确定出肤色像素点，对肤色像素点判断插值系数，确定出原始图像占比小会使得图像模糊的像素点，对会使得图像模糊的像素点计算像素点的梯度值，并判断所述像素点的梯度值的大小，从而确定出边界像素点，对非边界像素点对应的第一图像中的像素点进行纵向滤波处理后，对第二图像做插值从而得到磨皮后图像。在本发明实施例中，对原始图像像素点筛选，只对肤色区域中的插值系数大的非边界像素点进行最终磨皮处理，在保证肤色面部细节，肤色过渡平滑的同时提高了磨皮效率。

Description

一种美颜磨皮的方法和装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种美颜磨皮的方法和装置。

背景技术

在对图像或者视频的后期处理软件及移动终端APP中，用户通常会对图片中的肤色进行磨皮，以期让图像或视频中的人物的面部皮肤显得光滑圆润的效果。在现有的磨皮算法中，比较常见的算法如双边滤波，使用双边滤波算法虽然能使图像达到磨皮的效果，但其通常导致肤色的过渡不平滑，易使得图片中的人物肤色产生斑块。而使用高斯模糊与边缘检测配合使用，虽然不会产生斑块效果，但图像会产生一定程度的失真，即细节得不到保留。同时，在现有的磨皮算法中，通常对图像的整体进行磨皮，使得一些用户并不需要磨皮的背景图像也被磨皮，加大了CPU/GPU的工作量，也使得磨皮的效率低下。

发明内容

本发明提供了一种美颜磨皮的方法和装置，以实现在保证肤色面部细节，肤色过渡平滑的前提下同时提高效率。

本发明提供了一种美颜磨皮的方法，包括：

对原始图像中的每个像素点进行横向双边滤波，得到初步磨皮的第一图像；

对原始图像中的每个像素点进行肤色检测，判断所述像素点是否为肤色像素点；

若所述像素点为非肤色像素点，则将所述像素点输出至第二图像中为所述像素点分配的位置，所述分配的位置与所述像素点在原始图像中的位置相同；

若所述像素点为肤色像素点，则判断所述像素点的插值系数是否小于最佳磨皮插值系数；

若所述像素点的插值系数小于最佳磨皮插值系数，则将所述像素点输出至所述第二图像中为所述像素点分配的像素点位置；

若所述像素点的插值系数大于最佳磨皮插值系数，则计算所述像素点的梯度值，并判断所述像素点的梯度值是否小于标准梯度值；

若所述像素点的梯度值大于标准梯度值，则将所述像素点输出至所述第二图像中为所述像素点分配的像素点位置；

若所述像素点的梯度值小于标准梯度值，则将与所述像素点对应的所述第一图像中的像素点进行纵向双边滤波，将所述纵向双边滤波后的像素点输出至第二图像中为所述像素点分配的像素点位置；

对所述第二图像中的像素点进行插值计算，得到高分辨率的像素点；

基于所述高分辨率的像素点，输出最终磨皮后的图像。

优选地，所述对原始图像中的每个像素点进行横向双边滤波，得到初步磨皮的第一图像，包括：

获取原始图像的像素点的灰度值；

基于获取的所述灰度值，对所述像素点的灰度值进行横向双边滤波计算，得到所述像素点横向双边滤波后的灰度值；

基于所述横向双边滤波后的灰度值，得到初步磨皮的第一图像。

优选地，所述基于获取的所述灰度值，对所述像素点的灰度值进行横向双边滤波计算，得到所述像素点横向双边滤波后的灰度值，包括：

根据公式对所述像素点进行横向双边滤波计算：

其中，f_r＝1-min{||I_g(x_i)-I_g(x)||*n，1.0}，W_p为滤波系数，x为所述像素点的坐标值，x_i为所述像素点的左右像素点的坐标值，g_s(||x_i-x||)为高斯函数，I_g(x_i)为所述像素点的左右像素点的灰度值，I_g(x)为所述像素点的灰度值，n为归一化参数且取值较小，I^filtered(x)为所述像素点进行横向双边滤波后的灰度值。

优选地，所述对原始图像中的每个像素点进行肤色检测，判断所述像素点是否为肤色像素点，包括：

获得像素点在YUV空间中的U，V分量的坐标，得到所述像素点的坐标(u，v)；

基于所述像素点的坐标(u，v)，过所述像素点的坐标(u，v)作与U轴平行的水平线，所述水平线与旋转后的肤色区域的线性函数交于两个坐标点，所述两个坐标点的坐标值分别记为点M(u_m，v_m)，N(u_n，v_n)；

计算所述像素点的肤色值K为：

K(u，v)＝(u-u_m)/(u_n-u_m)；

当肤色值K＝0时，所述像素点为非肤色像素点；当肤色值K≠0时，所述像素点为肤色像素点。

优选地，所述若所述像素点的插值系数大于最佳磨皮插值系数，则计算所述像素点的梯度值，包括：

通过采用Sobel边缘检测法计算得到所述像素的梯度值grad。

优选地，所述若所述像素点的梯度值小于标准梯度值，则将与所述像素点对应的所述第一图像中的像素点进行纵向双边滤波，包括：

根据公式对所述像素点对应的所述第一图像中的像素点进行纵向双边滤波计算：

其中，f_r＝1-min||I_g(x_j)-I_g(x′)||*n，1.0}，W_p为滤波系数，x′为所述第一图像中的像素点的坐标值，x_j为所述第一图像中的像素点的上下像素点的坐标值，g_s(||x_j-x′||)为高斯函数，I_g(x_j)为所述第一图像中的像素点的上下像素点的灰度值，I_g(x′)为所述第一图像中的像素点的灰度值，n为归一化参数且取值较小，I^filtered′(x′)为所述第一图像中的像素点进行纵向双边滤波后的灰度值。

优选地，所述对所述第二图像中的像素点进行插值计算，得到高分辨率的像素点，包括：

根据c_i＝m×c_i+(1-m)×a_i进行插值计算，其中，a_i为所述原始图像的像素点的像素值，c_i为所述第二图像中的像素点的像素值，m为所述像素点的插值系数。

本发明提供了一种美颜磨皮的装置，包括：

横向双边滤波模块，用于对原始图像中的每个像素点进行横向双边滤波，得到初步磨皮的第一图像；

肤色检测模块，用于对原始图像中的每个像素点进行肤色检测，判断所述像素点是否为肤色像素点；若所述像素点为非肤色像素点，则将所述像素点输出至第二图像中为所述像素点分配的位置，所述分配的位置与所述像素点在原始图像中的位置相同；

插值系数比对模块，用于若所述像素点为肤色像素点，则判断所述像素点的插值系数是否小于最佳磨皮插值系数；若所述像素点的插值系数小于最佳磨皮插值系数，则将所述像素点输出至所述第二图像中为所述像素点分配的像素点位置；

梯度值比对模块，用于若所述像素点的插值系数大于最佳磨皮插值系数，则计算所述像素点的梯度值，并判断所述像素点的梯度值是否小于标准梯度值；若所述像素点的梯度值大于标准梯度值，则将所述像素点输出至所述第二图像中为所述像素点分配的像素点位置；

纵向双边滤波模块，用于若所述像素点的梯度值小于标准梯度值，则将与所述像素点对应的所述第一图像中的像素点进行纵向双边滤波，将所述纵向双边滤波后的像素点输出至第二图像中为所述像素点分配的像素点位置；

插值计算模块，用于对所述第二图像中的像素点进行插值计算，得到高分辨率的像素点；

输出模块，用于基于所述高分辨率的像素点，输出最终磨皮后的图像。

优选地，所述横向双边滤波模块，包括：

灰度值获取子模块，用于获取原始图像的像素点的灰度值；

横向滤波子模块，用于基于获取的所述灰度值，对所述像素点的灰度值进行横向双边滤波计算，得到所述像素点横向双边滤波后的灰度值；

第一图像生成子模块，用于基于所述横向双边滤波后的灰度值，得到初步磨皮的第一图像。

优选地，所述肤色检测模块，包括：

坐标获取模块，用于获得像素点在YUV空间中的U，V分量的坐标，得到所述像素点的坐标(u，v)；

交点坐标获取模块，用于基于所述像素点的坐标(u，v)，过所述像素点的坐标(u，u)作与U轴平行的水平线，所述水平线与旋转后的肤色区域的线性函数交于两个坐标点，所述两个坐标点的坐标值分别记为点M(u_m，v_m)，N(u_n，v_n)；

肤色值计算模块，用于计算所述像素点的肤色值；

肤色值判断模块，用于当肤色值等于0时，所述像素点为非肤色像素点；当肤色值不等于0时，所述像素点为肤色像素点。

与现有技术相比，本申请包括以下优点：

在本申请实施例中，通过对原始图像进行初步横向双边滤波处理后，就对原始图像的像素点进行筛选，对非肤色区域的像素点，所使用的插值系数小的像素点，边界像素点均不进行最终磨皮处理，从而只对肤色区域中的插值系数大的非边界像素点进行最终磨皮处理，减少CPU/GPU的工作量，大大提高对图像磨皮的效率。同时，保留边界像素点以及所使用的插值系数小的像素点，对其不进行最终磨皮处理，使得细节得到很好的保留。最后，在使用纵向双边滤波或横向双边滤波中，选取较小的n值，避免了图像斑块的出现，保证了肤色的过渡平滑。

附图说明

图1示出了本发明实施例一的一种美颜磨皮的方法的流程图；

图2示出了本发明实施例的归一化UV空间肤色分布图；

图3示出了本发明实施例的旋转后肤色区域分布图；

图4示出了本发明实施例二的一种美颜磨皮的方法的流程图；

图5示出了本发明实施例三的一种美颜磨皮的装置的结构框图；

图6示出了本发明实施例的美颜磨皮后的效果对比图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

实施例一

参照图1，示出了本发明实施例一的一种美颜磨皮的方法的流程图，具体可以包括如下步骤：

步骤101，对原始图像中的每个像素点进行横向双边滤波，得到初步磨皮的第一图像。

在本发明实施例中，首先对原始图像中的每个像素点进行横向双边滤波。双边滤波是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折中处理，同时考虑空间信息和灰度相似性。在传统双边滤波中，标准的双边滤波公式为：

在上述传统公式中，W_p为滤波系数，x为像素点的坐标值，x′_i为像素点的周围(即上下左右)像素点的坐标值，gs(||x′_i-x||)为高斯函数，I_g(x′_i)为像素点的周围像素点的灰度值，I_g(x)为像素点的灰度值，n为归一化参数且取值较大，I^filtered″(x)为像素点进行双边滤波后的灰度值，||I_g(x′_i)-I_g(x)||和||x′_i-x||表示进行范数运算。在传统双边滤波中，可针对像素点的周边像素，即像素点的上下左右像素各像素的灰度值代入上述公式求和，从而获得像素点的灰度值。但传统的双边滤波算法容易导致图像出现斑块。在本申请中，对图像中的像素点进行滤波时，因部分像素点没有滤波的必要性(如背景像素点等)，故对原始图像的像素点不一次进行双边滤波，而是对其先进行横向双边滤波，初步对原始图像磨皮，使图像初步显示光滑。

所以，在本申请实施例中，在对原始图像的像素点横向双边滤波时，对函数f_r重新定义：

令f_r＝1-min{||I_g(x_i)-I_g(x)||*n.1.0}，

即采用的横向双边滤波公式为：

其中，W_p为滤波系数，x为所述像素点的坐标值，x_i为所述像素点的左右像素点的坐标值，g_s(||x_i-x||)为高斯函数，I_g(x_i)为所述像素点的左右像素点的灰度值，I_g(x)为所述像素点的灰度值，n为归一化参数且取值较小，I^filtered(x)为所述像素点进行横向双边滤波后的灰度值，*表示两者相乘，|| ||表示范数运算。

其中，在对原始图像的像素值进行横向双边滤波时，在采用上述公式计算是，只针对所述像素点，以及像素点左右的像素点进行相关计算，而对所述像素点的上下像素点不进行相关运算。同时，在本申请实施例中，归一化参数n值取一个较小的数值，n值取值越小，磨皮后的图像出现斑块的效果也越不明显，具体归一化参数n值取多少，可根据实际情况设定。

最后，在本申请实施例中，使用的g_s高斯函数为双边滤波算法中的高斯函数，但在传统双边滤波算法中，需要每次计算高斯函数，消耗cpu/GPU的计算资源，使得磨皮效率降低。而在本申请实施例中，因一定大小的图像区域内像素之间的距离是有限的离散值，所以对于特定的高斯模板，预先计算出每个距离所对应的高斯分布值。在对原始图像的像素点进行横向双边滤波时，直接使用预先计算的高斯分布值即可，从而节省了对图片磨皮的效率。

此处需要说明的是，在获得初步磨皮的第一图像后，将所述第一图像暂时放置以备后续步骤继续使用。

步骤102，对原始图像中的每个像素点进行肤色检测，判断所述像素点是否为肤色像素点。

在本申请实施例中，在对原始图像进行磨皮时，由于用不并不希望图像的背景也被磨皮，同时也为了节省计算资源，提高磨皮效率。在本申请中，对原始图像中的每个像素点进行肤色检测，判断出所述像素点是否为肤色像素点，若为肤色像素点，则可对肤色像素点进行后续的磨皮步骤，若为非肤色像素点(如背景像素点)，则对其无需进行磨皮处理。

步骤103，若所述像素点为非肤色像素点，则将所述像素点输出至第二图像中为所述像素点分配的位置，所述分配的位置与所述像素点在原始图像中的位置相同。

在本申请实施例中，若对原始图像经过肤色检测后的像素点为非肤色像素点，则可将此像素点直接输出至第二图像中为所述像素点分配的位置。此处需要说明的是，第二图像可看做为一个空白的图像，为所述像素点分配位置时，分配的位置与所述像素点在原始图像中的位置相同。例如，原始图像中的第一行的首位像素点经过肤色检测后为非肤色像素点，则将所述像素点直接输出至第二图像中的第一行的首位像素点的位置。

步骤104，若所述像素点为肤色像素点，则判断所述像素点的插值系数是否小于最佳磨皮插值系数。

在本申请实施例中，为了实现对原始图像细节的保留，不希望原始图像的细节在磨皮后消失，故就需要将肤色像素点中具有细节的像素点挑选出来，对此类具有细节的像素点不进行后续磨皮处理。而在判断像素点是否为具有细节的像素点，就需要看像素点所使用的插值系数。而插值系数的大小决定了最终磨皮后的图像和原始图像所占的比例，若插值系数越大，最终磨皮后的图像所占的比例大，即图像的细节得不到保留。若插值系数较小，则原始图像所占的比例就比较大，使得大部分的图像细节得到很好的保留。

所以，在本申请中，需要将所使用的插值系数小的肤色像素点挑选出来，由于此类像素点的细节能够得到很好的保留，故对此类像素点就无需进行后续磨皮处理，节省了计算资源，提高磨皮效率的同时又保留了肤色的细节。

步骤105，若所述像素点的插值系数小于最佳磨皮插值系数，则将所述像素点输出至所述第二图像中为所述像素点分配的像素点位置。

在本申请实施例中，最佳磨皮插值系数即最终生成的磨皮后的图像和原始图像所占的比例最佳，既能使得图片磨皮后的效果最佳，同时也保留了大部分的细节。在本申请中，最佳磨皮插值系数取值为0.6，即若肤色像素点的插值系数小于0.6，则说明此像素点可以很好的保留细节，无需进行后续处理，将此类像素点直接输出至第二图像中为其分配的像素点位置即可。

步骤106，若所述像素点的插值系数大于最佳磨皮插值系数，则计算所述像素点的梯度值，并判断所述像素点的梯度值是否小于标准梯度值。

若肤色像素点所使用的插值系数大于0.6，则此类像素点在最终磨皮后，磨皮后的图像所占的比例较大，同时，在前述步骤中使用了较小的n值，就会使得图像中的弱边被忽略，图像就会出现模糊。而对于图像的边界区域(如鼻子和脸部的连接部分，眼睛和脸连接的边界区域)就会导致边界区域不清。所以，就需要对像素点进行边缘检测，即继续找出边界区域的像素点，对边界区域的像素点不进行后续磨皮处理，使其保留，从而使得图像再最终生成磨皮图像后，边界清晰。同时也降低了计算资源，提高了磨皮的效率。

在本申请实施例中，若要判断像素点是否为边界像素点，就需要计算像素点的梯度值。若像素点的梯度值大，则说明此像素点为边界像素点，对此像素点不进行后续处理，若像素点的梯度值小，就说明此像素点不为边界像素点，(例如不是鼻子与面部连接的区域)，对此像素点进行最终的磨皮处理。本申请中使用sobel边缘检测方案来计算像素点的梯度值，也可使用其它算法计算像素点的梯度值，本申请对此不做限制。

步骤107，若所述像素点的梯度值大于标准梯度值，则将所述像素点输出至所述第二图像中为所述像素点分配的像素点位置。

由于本申请计算像素点的梯度值采用的是sobel边缘检测方案，则其标准梯度值为0.15，标准梯度值即找出像素点为边界像素点的最准确梯度值。此处需要说明的是，若使用其它算法计算梯度值，则也具有对应的标准梯度值，在本申请中对标准梯度值的取值不做限制。

若像素点的梯度值大于0.15，则说明此像素为边界像素点，直接输出至第二图像中为其分配的像素点位置即可。

步骤108，若所述像素点的梯度值小于标准梯度值，则将与所述像素点对应的所述第一图像中的像素点进行纵向双边滤波，将所述纵向双边滤波后的像素点输出至第二图像中为所述像素点分配的像素点位置。

若像素点的梯度值小于0.15，说明此像素点不是边界像素点，则对其进行最终磨皮处理。在前述步骤101中，对原始图像的像素点进行了横向双边滤波，得到了初步磨皮的第一图像。此处，则找出所述像素点在第一图像中对应的像素点，对第一图像中对应的像素点进行纵向双边滤波，即完成最终的磨皮处理。

对所述像素点对应的第一图像中的像素点进行纵向双边滤波的方法为：

其中，f_r＝1-min{||I_g(x_j)-I_g(x′)||*n，1.0}，W_p为滤波系数，x′为所述第一图像中的像素点的坐标值，x_j为所述第一图像中的像素点的上下像素点的坐标值，g_s(||x_j-x′||)为高斯函数，I_g(x_j)为所述第一图像中的像素点的上下像素点的灰度值，I_g(x′)为所述第一图像中的像素点的灰度值，n为归一化参数且取值较小，I^filtered′(x′)为所述第一图像中的像素点进行纵向双边滤波后的灰度值。

其中，在对所述像素点对应的第一图像中的像素点进行横向双边滤波时，在采用上述公式计算是，只针对所述像素点对应的第一图像中的像素点，以及所述像素点对应的第一图像中的像素点上下的像素点进行求和计算，而时所述像素点对应的第一图像中的像素点的左右像素点不进行相关运算。同时理，归一化参数n值取一个较小的数值，n值取值越小，磨皮后的图像出现斑块的效果也越不明显，具体归一化参数n值取多少，可根据实际情况设定。

最后，同理，使用的g_s高斯函数为双边滤波算法中的高斯函数，但在传统双边滤波算法中，需要每次计算高斯函数，消耗cpu/GPU的计算资源，使得磨皮效率降低。因此，预先计算出每个距离所对应的高斯分布值。在对所述像素点对应的第一图像中的像素点进行纵向双边滤波时，直接使用预先计算的高斯分布值即可，从而节省了对图片磨皮的效率。

在进行纵向双边滤波后，将纵向双边滤波后的像素点输出至第二图像中为所述像素点分配的像素点位置。由此，经过前述步骤，相关需要磨皮的像素点以完成磨皮，此处得到了完整的第二图像。

步骤109，对所述第二图像中的像素点进行插值计算，得到高分辨率的像素点。

为了保证磨皮后的图像有一个好的呈现效果，就需要对第二图像中的像素点进行插值计算，插值计算就是从低分辨率图像生成高分辨率图像的过程，用以恢复图像中丢失的信息。

根据c_i＝m×c_i+(1-m)×a_i进行插值计算，其中，a_i为原始图像的像素点的像素值，c_i为第二图像中的像素点的像素值，m为像素点的插值系数。

步骤110，基于所述高分辨率的像素点，输出最终磨皮后的图像。

通过插值系数得到高分辨率的像素点后，即完成了对图像磨皮的最终处理。如图6示出了本发明实施例的美颜磨皮后的效果对比图。可以看出磨皮效果加，同时细节也得到很好的保留，数次对像素点的筛选也节省了计算资源，磨皮效率提高。

在本申请实施例中，通过对原始图像进行初步横向双边滤波处理后，就对原始图像的像素点进行筛选，对非肤色区域的像素点，所使用的插值系数小的像素点，边界像素点均不进行最终磨皮处理，从而只对肤色区域中的插值系数大的非边界像素点进行最终磨皮处理，减少CPU/GPU的工作量，大大提高对图像磨皮的效率。同时，保留边界像素点以及所使用的插值系数小的像素点，对其不进行最终磨皮处理，使得细节得到很好的保留。最后，在使用纵向双边滤波或横向双边滤波中，选取较小的n值，避免了图像斑块的出现，保证了肤色的过渡平滑。

实施例二

参照图4，示出了本发明实施例二的一种美颜磨皮的方法的流程图，具体可以包括如下步骤：

步骤401，对原始图像中的每个像素点进行横向双边滤波，得到初步磨皮的第一图像。

上述步骤401包括如下几个子步骤：

子步骤4011，获取原始图像的像素点的灰度值。

子步骤4012，基于获取的所述灰度值，对所述像素点的灰度值进行横向双边滤波计算，得到所述像素点横向双边滤波后的灰度值。

根据公式对所述像素点进行横向双边滤波计算：

其中，f_r＝1-min{||I_g(x_i)-I_g(x)||*n，1.0}，W_p为滤波系数，x为所述像素点的坐标值，x_i为所述像素点的左右像素点的坐标值，g_s(||x_i-x||)为高斯函数，I_g(x_i)为所述像素点的左右像素点的灰度值，I_g(x)为所述像素点的灰度值，n为归一化参数且取值较小，I^filtered(x)为所述像素点进行横向双边滤波后的灰度值。

在对原始图像的像素值进行横向双边滤波时，在采用上述公式计算，只针对所述像素点，以及像素点左右的像素点进行相关计算，而对所述像素点的上下像素点不进行相关运算。同时，在本申请实施例中，归一化参数n值取一个较小的数值，n值取值越小，磨皮后的图像出现斑块的效果也越不明显，具体归一化参数n值取多少，可根据实际情况设定。

最后，在本申请实施例中，使用的g_s高斯函数为双边滤波算法中的高斯函数，但在传统双边滤波算法中，需要每次计算高斯函数，消耗cpu/GPU的计算资源，使得磨皮效率降低。而在本申请实施例中，因一定大小的图像区域内像素之间的距离是有限的离散值，所以对于特定的高斯模板，预先计算出每个距离所对应的高斯分布值。在对原始图像的像素点进行横向双边滤波时，直接使用预先计算的高斯分布值即可，从而节省了对图片磨皮的效率。

子步骤4013，基于所述横向双边滤波后的灰度值，得到初步磨皮的第一图像。

通过横向双边滤波公式计算出所有原始图像的像素点的横向双边滤波后的灰度值后，即得到了第一图像。

步骤402，对原始图像中的每个像素点进行肤色检测，判断所述像素点是否为肤色像素点。

如图2所示，为统计出来的归一化UV空间肤色分布。由于人类的肤色在YUV空间内是服从一定规律的，所以可将其规律找出来，经测量肤色分布在一个以原点为中心，角度为60度的扇形区域内。如图2所示，若像素点的UV分量落在图2中的黑色区域内，则此像素点为肤色像素点；若像素点的UV分量落在图2中的黑色区域外，则此像素点为非肤色像素点。此处需要说明的是，由于不同光线下肤色的Y分量不同，所以对Y分量不予考虑，而上述方式计算麻烦，本申请实施例对此方式做如下处理。

参照图2，以原点为中心，以黑色区域的0°及60°为两个边界，从原点做出两条射线，一条射线以黑色区域的0°为基准，另一条射线以黑色区域的60°为基准。由此可知，在两个射线的夹角内为肤色区域，在夹角外为非肤色区域。同时，为了保证后续步骤对边界像素点的重点关注，本申请实施例划分出了边界过渡区域(例如鼻子和人脸连接的周边区域)，以黑色区域的10°和50°为两个边界，从原点再次做出两条射线，一条射线以黑色区域的10°为基准，另一条射线以黑色区域的50°为基准。可知，在此次做出的两条射线与前述所做出的两个射线之间的区域，即为肤色的边界过渡区域。

将划分的射线旋转至UV坐标上，即可得到图3中所示的旋转后的肤色区域。如图3所示，用肤色值K(key)值确定出原始图像的像素点是否属于肤色像素点。当肤色值K等于0时，像素点为非肤色像素点，当K不等于0时，像素点为肤色像素点。其中，当K在0至1之间时，像素点是边界像素点，对此类像素点可在后续步骤进行边缘检测计算梯度值时重点关注；当K为1时，即为肤色像素点。

上述步骤402包括如下几个子步骤：

子步骤4021，获得像素点在YUV空间中的U，V分量的坐标，得到所述像素点的坐标(u，v)。

以下举例说明本申请实施例中对原始图像的像素点进行肤色检测的方法。

如图4所示，设像素点P为原始图像中的一个像素点，对此像素点进行肤色检测。首先，获得像素点P在YUV空间中的U，V分量坐标，从而可获知像素点P的坐标值为(u，v)，以此坐标值将像素点P标注在UV坐标上。

子步骤4022，基于所述像素点的坐标(u，v)，过所述像素点的坐标(u，v)作与U轴平行的水平线，所述水平线与旋转后的肤色区域的线性函数交于两个坐标点，所述两个坐标点的坐标值分别记为点M(u_m，v_m)，N(u_n，v_n)。

由前述说明可知，对图2的归一化UV空间肤色分布中通过射线划分出了不同的区域，并将其旋转得到图3，则可获知两次画射线时所分别对应的线性函数关系式。令第一次绘制射线所对应的线性函数关系式为第一线性函数关系，第二次绘制射线时所对应的线性函数关系式为第二线性函数关系。

过P像素点的坐标作与U轴水平的平行线(即图3中的m，n之间的连线)，水平线与第一线性函数关系交于点M(u_m，v_m)，与第二线性函数关系交于点N(u_n，v_n)。

子步骤4023，计算所述像素点的肤色值K为：

K(u，v)＝(u-u_m)/(u_n-u_m)

由上述步骤4023将得到的像素点的坐标与两个交点的坐标代入上述公式计算，即得到所述像素点的肤色值。

子步骤4024，当肤色值K＝0时，所述像素点为非肤色像素点；当肤色值K≠0时，所述像素点为肤色像素点。

此处需要说明的是，划分K在0与1之间的区域是为了在后续确定边界像素点时对此区域的像素点重点关注。

步骤403，若所述像素点为非肤色像素点，则将所述像素点输出至第二图像中为所述像素点分配的位置，所述分配的位置与所述像素点在原始图像中的位置相同。

步骤404，若所述像素点为肤色像素点，则判断所述像素点的插值系数是否小于最佳磨皮插值系数。

在此步骤中判断像素点的插值系数是否小于最佳磨皮插值系数，即判断出最终生成的磨皮后的图像和原始图像所占的比例。插值系数越大，原始图像所占比例越大，图像的大部分细节得到很好的保留，对此类像素点不必进行边缘检测(即计算梯度值)。

步骤405，若所述像素点的插值系数小于最佳磨皮插值系数，则将所述像素点输出至所述第二图像中为所述像素点分配的像素点位置。

步骤406，若所述像素点的插值系数大于最佳磨皮插值系数，则计算所述像素点的梯度值，并判断所述像素点的梯度值是否小于标准梯度值。

通过采用Sobel边缘检测法计算得到所述像素的梯度值grad。在此步骤中通过计算像素点的梯度值，并判断梯度值是否小于标准梯度值，从而确定出像素点是否为边界像素点，对于边界像素点，由于保留了很好的细节，不再进行后续磨皮处理。

步骤407，若所述像素点的梯度值大于标准梯度值，则将所述像素点输出至所述第二图像中为所述像素点分配的像素点位置。

步骤408，若所述像素点的梯度值小于标准梯度值，则将与所述像素点对应的所述第一图像中的像素点进行纵向双边滤波，将所述纵向双边滤波后的像素点输出至第二图像中为所述像素点分配的像素点位置。

对所述像素点对应的所述第一图像中的像素点进行纵向双边滤波计算：

其中，f_r＝1-min{||I_g(x_j)-I_g(x′)||*n，1.0}，W_p为滤波系数，x′为所述第一图像中的像素点的坐标值，x_j为所述第一图像中的像素点的上下像素点的坐标值，g_s(||x_j-x′||)为高斯函数，I_g(x_j)为所述第一图像中的像素点的上下像素点的灰度值，I_g(x′)为所述第一图像中的像素点的灰度值，n为归一化参数且取值较小，I^filtered′(x′)为所述第一图像中的像素点进行纵向双边滤波后的灰度值。

其中，在对所述像素点对应的第一图像中的像素点进行横向双边滤波时，在采用上述公式计算是，只针对所述像素点对应的第一图像中的像素点，以及所述像素点对应的第一图像中的像素点上下的像素点进行求和计算，而对所述像素点对应的第一图像中的像素点的左右像素点不进行相关运算。同时理，归一化参数n值取一个较小的数值，n值取值越小，磨皮后的图像出现斑块的效果也越不明显，具体归一化参数n值取多少，可根据实际情况设定。

最后，使用的g_s高斯函数为双边滤波算法中的高斯函数，但在传统双边滤波算法中，需要每次计算高斯函数，消耗cpu/GPU的计算资源，使得磨皮效率降低。因此，预先计算出每个距离所对应的高斯分布值。在对所述像素点对应的第一图像中的像素点进行纵向双边滤波时，直接使用预先计算的高斯分布值即可，从而节省了对图片磨皮的效率。

在进行纵向双边滤波后，将纵向双边滤波后的像素点输出至第二图像中为所述像素点分配的像素点位置。由此，经过前述步骤，相关需要磨皮的像素点以完成磨皮，此处得到了完整的第二图像。

步骤409，对所述第二图像中的像素点进行插值计算，得到高分辨率的像素点。

根据c_i＝m×c_i+(1-m)×a_i进行插值计算，其中，a_i为所述原始图像的像素点的像素值，c_i为所述第二图像中的像素点的像素值，m为所述像素点的插值系数。

上述步骤403至步骤409的详细实施方式，请参照实施例1，在此不再赘述。

步骤410，基于所述高分辨率的像素点，输出最终磨皮后的图像。

如图6示出了本发明实施例的美颜磨皮后的效果对比图。可以看出磨皮效果加，同时细节也得到很好的保留，数次对像素点的筛选也节省了计算资源，磨皮效率提高。

在本申请实施例中，通过对原始图像进行初步横向双边滤波处理后，就对原始图像的像素点进行筛选，对非肤色区域的像素点，所使用的插值系数小的像素点，边界像素点均不进行最终磨皮处理，从而只对肤色区域中的插值系数大的非边界像素点进行最终磨皮处理，减少CPU/GPU的工作量，大大提高对图像磨皮的效率。同时，保留边界像素点以及所使用的插值系数小的像素点，对其不进行最终磨皮处理，使得细节得到很好的保留。最后，在使用纵向双边滤波或横向双边滤波中，选取较小的n值，避免了图像斑块的出现，保证了肤色的过渡平滑。

实施例三

参照图5，示出了本发明实施例三的一种美颜磨皮的装置的结构框图，具体可以包括：

横向双边滤波模块501，用于对原始图像中的每个像素点进行横向双边滤波，得到初步磨皮的第一图像；

肤色检测模块502，用于对原始图像中的每个像素点进行肤色检测，判断所述像素点是否为肤色像素点；若所述像素点为非肤色像素点，则将所述像素点输出至第二图像中为所述像素点分配的位置，所述分配的位置与所述像素点在原始图像中的位置相同；

插值系数比对模块503，用于若所述像素点为肤色像素点，则判断所述像素点的插值系数是否小于最佳磨皮插值系数；若所述像素点的插值系数小于最佳磨皮插值系数，则将所述像素点输出至所述第二图像中为所述像素点分配的像素点位置

梯度值比对模块504，用于若所述像素点的插值系数大于最佳磨皮插值系数，则计算所述像素点的梯度值，并判断所述像素点的梯度值是否小于标准梯度值；若所述像素点的梯度值大于标准梯度值，则将所述像素点输出至所述第二图像中为所述像素点分配的像素点位置；

纵向双边滤波模块505，用于若所述像素点的梯度值小于标准梯度值，则将与所述像素点对应的所述第一图像中的像素点进行纵向双边滤波，将所述纵向双边滤波后的像素点输出至第二图像中为所述像素点分配的像素点位置；

插值计算模块506，用于对所述第二图像中的像素点进行插值计算，得到高分辨率的像素点；

输出模块507，用于基于所述高分辨率的像素点，输出最终磨皮后的图像。

其中，横向双边滤波模块501，包括如下子模块：

灰度值获取子模块5011，用于获取原始图像的像素点的灰度值；

横向滤波子模块5012，用于基于获取的所述灰度值，对所述像素点的灰度值进行横向双边滤波计算，得到所述像素点横向双边滤波后的灰度值；

第一图像生成子模块5013，用于基于所述横向双边滤波后的灰度值，得到初步磨皮的第一图像。

其中，肤色检测模块502，包括如下子模块：

坐标获取模块5021，用于获得像素点在YUV空间中的U，V分量的坐标，得到所述像素点的坐标(u，v)；

交点坐标获取模块5022，用于基于所述像素点的坐标(u，v)，过所述像素点的坐标(u，v)作与U轴平行的水平线，所述水平线与旋转后的肤色区域的线性函数交于两个坐标点，所述两个坐标点的坐标值分别记为点M(u_m，v_m)，N(u_n，v_n)；

肤色值计算模块5023，用于计算所述像素点的肤色值；

肤色值判断模块5024，用于当肤色值等于0时，所述像素点为非肤色像素点；当肤色值不等于0时，所述像素点为肤色像素点。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种美颜磨皮的方法和装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种美颜磨皮的方法，其特征在于，所述方法包括：

对原始图像中的每个像素点进行横向双边滤波，得到初步磨皮的第一图像；

对原始图像中的每个像素点进行肤色检测，判断所述像素点是否为肤色像素点；

若所述像素点为非肤色像素点，则将所述像素点输出至第二图像中为所述像素点分配的位置，所述分配的位置与所述像素点在原始图像中的位置相同；

若所述像素点为肤色像素点，则判断所述像素点的插值系数是否小于最佳磨皮插值系数；其中，所述最佳磨皮插值系数为最终磨皮后的图像与所述原始图像所占的比例，所述最佳磨皮插 值系数取值为0.6；

若所述像素点的插值系数小于最佳磨皮插值系数，则将所述像素点输出至所述第二图像中为所述像素点分配的像素点位置；

若所述像素点的插值系数大于最佳磨皮插值系数，则计算所述像素点的梯度值，并判断所述像素点的梯度值是否小于标准梯度值；其中，所述标准梯度值为能区分出所述像素点是否为边界像素点的梯度值，所述标准梯度值为0.15；

若所述像素点的梯度值大于标准梯度值，则将所述像素点输出至所述第二图像中为所述像素点分配的像素点位置；

若所述像素点的梯度值小于标准梯度值，则将与所述像素点对应的所述第一图像中的像素点进行纵向双边滤波，将所述纵向双边滤波后的像素点输出至第二图像中为所述像素点分配的像素点位置；

对所述第二图像中的像素点进行插值计算，得到高分辨率的像素点；

基于所述高分辨率的像素点，输出最终磨皮后的图像；

其中，所述横向双边滤波通过以下方式计算：

其中，f_r＝1-min{||I_g(x_i)-I_g(x)||*n，1.0}，W_p为滤波系数，x为所述像素点的坐标值，x_i为所述像素点的左像素点、或右像素点的坐标值，g_s(||x_i-x||)为高斯函数，I_g(x_i)为所述像素点的左像素点、或右像素点的灰度值，I_g(x)为所述像素点的灰度值，n为归一化参数且取值较小，I^filtered(x)为所述像素点进行横向双边滤波后的灰度值；其中，n根据磨皮后的图像的斑块程度确定；

其中，所述纵向双边滤波通过以下方式计算：

其中，f_r＝1-min{||I_g(x_j)-I_g(x′)||*n，1.0}，W_p为滤波系数，x′为所述第一图像中的像素点的坐标值，x_j为所述第一图像中的像素点的上像素点、或下像素点的坐标值，g_s(||x_j-x′||)为高斯函数，I_g(x_j)为所述第一图像中的像素点的上像素点、或下像素点的灰度值，I_g(x′)为所述第一图像中的像素点的灰度值，n为归一化参数且取值较小，I^filtered′(x′)为所述第一图像中的像素点进行纵向双边滤波后的灰度值；其中，n根据磨皮后的图像的斑块程度确定。

2.根据权利要求1所述的方法，其特征在于，所述对原始图像中的每个像素点进行横向双边滤波，得到初步磨皮的第一图像，包括：

获取原始图像的像素点的灰度值；

基于获取的所述灰度值，对所述像素点的灰度值进行横向双边滤波计算，得到所述像素点横向双边滤波后的灰度值；

基于所述横向双边滤波后的灰度值，得到初步磨皮的第一图像。

3.根据权利要求1所述的方法，其特征在于，所述对原始图像中的每个像素点进行肤色检测，判断所述像素点是否为肤色像素点，包括：

获得像素点在YUV空间中的U,V分量的坐标，得到所述像素点的坐标(u，v)；

基于所述像素点的坐标(u，v)，过所述像素点的坐标(u，v)作与U轴平行的水平线，所述水平线与旋转后的肤色区域的线性函数交于两个坐标点，所述两个坐标点的坐标值分别记为点M(u_m，v_m)，N(u_n，v_n)；

计算所述像素点的肤色值K为：

K(u，v)＝(u-u_m)/(u_n-u_m)；

当肤色值K＝0时，所述像素点为非肤色像素点；当肤色值K≠0时，所述像素点为肤色像素点。

4.根据权利要求1所述的方法，其特征在于，所述若所述像素点的插值系数大于最佳磨皮插值系数，则计算所述像素点的梯度值，包括：

通过采用Sobel边缘检测法计算得到所述像素的梯度值grad。

5.根据权利要求1所述的方法，其特征在于，所述对所述第二图像中的像素点进行插值计算，得到高分辨率的像素点，包括：

根据c_i＝m×c_i+(1-m)×a_i进行插值计算，其中，a_i为所述原始图像的像素点的像素值，c_i为所述第二图像中的像素点的像素值，m为所述像素点的插值系数。

6.一种美颜磨皮的装置，其特征在于，所述装置包括：

横向双边滤波模块，用于对原始图像中的每个像素点进行横向双边滤波，得到初步磨皮的第一图像；

肤色检测模块，用于对原始图像中的每个像素点进行肤色检测，判断所述像素点是否为肤色像素点；若所述像素点为非肤色像素点，则将所述像素点输出至第二图像中为所述像素点分配的位置，所述分配的位置与所述像素点在原始图像中的位置相同；

插值系数比对模块，用于若所述像素点为肤色像素点，则判断所述像素点的插值系数是否小于最佳磨皮插值系数；若所述像素点的插值系数小于最佳磨皮插值系数，则将所述像素点输出至所述第二图像中为所述像素点分配的像素点位置；其中，所述最佳磨皮插值系数为最终磨皮后的图像与所述原始图像所占的比例，所述最佳磨皮插 值系数取值为0.6；

梯度值比对模块，用于若所述像素点的插值系数大于最佳磨皮插值系数，则计算所述像素点的梯度值，并判断所述像素点的梯度值是否小于标准梯度值；若所述像素点的梯度值大于标准梯度值，则将所述像素点输出至所述第二图像中为所述像素点分配的像素点位置；其中，所述标准梯度值为能区分出所述像素点是否为边界像素点的梯度值，所述标准梯度值为0.15；

纵向双边滤波模块，用于若所述像素点的梯度值小于标准梯度值，则将与所述像素点对应的所述第一图像中的像素点进行纵向双边滤波，将所述纵向双边滤波后的像素点输出至第二图像中为所述像素点分配的像素点位置；

插值计算模块，用于对所述第二图像中的像素点进行插值计算，得到高分辨率的像素点；

输出模块，用于基于所述高分辨率的像素点，输出最终磨皮后的图像；

其中，所述横向双边滤波通过以下方式计算：

其中，f_r＝1-min{||I_g(x_i)-I_g(x)||*n，1.0}，W_p为滤波系数，x为所述像素点的坐标值，x_i为所述像素点的左像素点、或右像素点的坐标值，g_s(||x_i-x||)为高斯函数，I_g(x_i)为所述像素点的左像素点、或右像素点的灰度值，I_g(x)为所述像素点的灰度值，n为归一化参数且取值较小，I^filtered(x)为所述像素点进行横向双边滤波后的灰度值；其中，n根据磨皮后的图像的斑块程度确定；

其中，所述纵向双边滤波通过以下方式计算：

其中，f_r＝1-min{||I_g(x_j)-I_g(x′)||*n，1.0}，W_p为滤波系数，x′为所述第一图像中的像素点的坐标值，x_j为所述第一图像中的像素点的上像素点、或下像素点的坐标值，g_s(||x_j-x′||)为高斯函数，I_g(x_j)为所述第一图像中的像素点的上像素点、或下像素点的灰度值，I_g(x′)为所述第一图像中的像素点的灰度值，n为归一化参数且取值较小，I^filtered′(x′)为所述第一图像中的像素点进行纵向双边滤波后的灰度值；其中，n根据磨皮后的图像的斑块程度确定。

7.根据权利要求6所述的装置，其特征在于，所述横向双边滤波模块，包括：

灰度值获取子模块，用于获取原始图像的像素点的灰度值；

横向滤波子模块，用于基于获取的所述灰度值，对所述像素点的灰度值进行横向双边滤波计算，得到所述像素点横向双边滤波后的灰度值；

第一图像生成子模块，用于基于所述横向双边滤波后的灰度值，得到初步磨皮的第一图像。

8.根据权利要求6所述的装置，其特征在于，所述肤色检测模块，包括：

坐标获取模块，用于获得像素点在YUV空间中的U,V分量的坐标，得到所述像素点的坐标(u，v)；

交点坐标获取模块，用于基于所述像素点的坐标(u，v)，过所述像素点的坐标(u，v)作与U轴平行的水平线，所述水平线与旋转后的肤色区域的线性函数交于两个坐标点，所述两个坐标点的坐标值分别记为点M(u_m，v_m)，N(u_n，v_n)；

肤色值计算模块，用于计算所述像素点的肤色值；

肤色值判断模块，用于当肤色值等于0时，所述像素点为非肤色像素点；当肤色值不等于0时，所述像素点为肤色像素点。

Images