CN114240743A - 一种基于高反差磨皮的人脸图像的美肤方法 - Google Patents
一种基于高反差磨皮的人脸图像的美肤方法 Download PDFInfo
- Publication number
- CN114240743A CN114240743A CN202111561470.1A CN202111561470A CN114240743A CN 114240743 A CN114240743 A CN 114240743A CN 202111561470 A CN202111561470 A CN 202111561470A CN 114240743 A CN114240743 A CN 114240743A
- Authority
- CN
- China
- Prior art keywords
- image
- skin
- pixel
- max
- follows
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000002087 whitening effect Effects 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims description 41
- 238000001914 filtration Methods 0.000 claims description 35
- 238000012549 training Methods 0.000 claims description 34
- 230000002146 bilateral effect Effects 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 16
- 238000005286 illumination Methods 0.000 claims description 16
- 230000036555 skin type Effects 0.000 claims description 15
- 239000000126 substance Substances 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 8
- 238000005498 polishing Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 238000002156 mixing Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 27
- 238000009966 trimming Methods 0.000 abstract description 6
- 239000003921 oil Substances 0.000 description 40
- 230000037303 wrinkles Effects 0.000 description 21
- 210000001061 forehead Anatomy 0.000 description 13
- 239000011148 porous material Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 8
- 206010040844 Skin exfoliation Diseases 0.000 description 7
- 230000003796 beauty Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000000227 grinding Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 208000002874 Acne Vulgaris Diseases 0.000 description 3
- 206010000496 acne Diseases 0.000 description 3
- 210000000746 body region Anatomy 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 239000004519 grease Substances 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 206010048245 Yellow skin Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 239000000295 fuel oil Substances 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 206010039792 Seborrhoea Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000037311 normal skin Effects 0.000 description 1
- 230000037312 oily skin Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于高反差磨皮的人脸图像的美肤方法，包括如下步骤：S1：获取人脸原图像S，采用高反差磨皮算子对人脸原图像进行磨皮处理，得到图像B；S2：将图像B输入去油光算子中去油光得到图像C；S3：将图像C输入美白算子得到进行美白处理得到最终美肤后的图像D，并输出图像D。本发明方法是针对人体皮肤进行精确修调，通过这种自动修调的方式，可以大大减轻修图师的工作量，而且修调后的照片品质效果较好。
Description
技术领域
本发明涉及美颜方法，特别涉及一种基于高反差磨皮的人脸图像的美肤方法。
背景技术
随着近年来硬件技术的快速迭代，无论是数码相机，还是智能手机，拍照功能不断提高，成像像素越来越大，拍摄的人像清晰度越来越高，由此带来的人脸皮肤的斑点、痘印、皱纹等瑕疵内容也会被拍摄下来。针对这一问题，在人像美颜领域，需要对人脸皮肤进行磨皮操作，有效地去除人像图片中的噪点、黑点、瑕疵，实现脸部光滑、质感、柔化。需要对黝黑、偏黄的皮肤进行美白操作，使皮肤变得白皙、红润。
基于数字图像处理的皮肤的美颜算法包括磨皮算法、美白算法等。Arakawa等提出一种基于非线性滤波器，去除面部皮肤皱纹和斑点的磨皮算法，比较了简单滤波器和扩展滤波器对皮肤处理的效果，简单滤波器可以去除粗糙度和小斑点，扩展滤波器可以去除较大的斑点。 Lee C等基于人脸检测和人脸对齐技术，分割出人脸和颈部区域，应用平滑过滤器，对皮肤进行了增强。Liang L等使用区域感知掩模提取皮肤区域，通过边缘保持算子将皮肤分为三层，分别是平滑层、照明层和颜色层，通过调整参数完成皮肤的美化。VelusamyS等提出由皮肤瑕疵数量和纹理粗糙程度引导属性感知动态平滑过滤器，通过小波带处理恢复皮肤纹理，美颜效果好。S Liu等利用深度学习将美妆分为两个步骤，妆容推荐和妆容迁移，通过调整每个化妆品的权重，可以调整妆容的程度。
市面上常见的美颜软件和工具，有些是需要进行人工干预，调节磨皮、美白等功能的参数，有些是使用针对所有输入的照片都使用同样的参数。这样导致的问题是①需要人工参与的工具或软件，无法自动完成批量的图片美颜处理；②对不同的照片，无法根据拍照的场景、光影结构、肤质状况进行针对性的修调；③对于同一张图，如果进行重复操作，这张图片会被进行反复的磨皮和美白，导致效果越来越“假”，质感越来越差。
发明内容
针对现有技术存在的上述问题，本发明要解决的技术问题是：对图片处理效果好，磨皮和美白后的图片质感好。
为解决上述技术问题，本发明采用如下技术方案：一种基于高反差磨皮的人脸图像的美肤方法，包括如下步骤：
S1：获取人脸原图像S，采用高反差磨皮算子对人脸原图像进行磨皮处理，得到图像B；
S2：将图像B输入去油光算子中去油光得到图像C；
S3：将图像C输入美白算子得到进行美白处理得到最终美肤后的图像D，并输出图像D。
1.作为优选，所述S1中高反差磨皮算子对人脸原图像S进行磨皮处理的过程如下：
S11：对人脸原图像S进行保边滤波得到图像A；
S12：对图像A和人脸原图像S进行高反差计算得到图像F,计算公式如下：
B＝S-Gauss(S,r1)+128 (1-1)；
S13：对图像F以半径r2进行高斯模糊得到图像H；
S14：对图像H和图像S进行线性光图层混合计算，得到图像E，图层的线性光混合计算公式1-2如下:
E＝2*C+S-256 (1-2)；
S15：对图像A进行皮肤检测和人脸检测，得到皮肤掩码图像M；
S16：根据图像F，将图像A和图像E进行融合，得到图像G，融合的公式1-3如下：
G＝A*(1-M)+M*E (1-3)；
S17：根据参数r3将图像G和图像S进行融合，得到最终的输出图像B，融合公式1-4如下：
B＝S*(1-r3)+G*r3 (1-4)。
作为优选，所述S13对图像F以半径r2进行高斯模糊得到图像H的过程如下：
S131：将所述图像F分成RGB三个通道的灰度图像；
S132：对S131得到三个灰度图像中的所有像素点分别采用公式1-5进行高斯滤波：
其中，(x,y)表示窗口内的点坐标，σ表示的是人为设定的一个参数值；
S133：将通过S132高斯滤波得到的三个通道的图进行迭代得到图像H。
作为优选，所述S15图像A进行皮肤检测和人脸检测，得到人脸的皮肤掩码图像M的过程如下：
S151：建立皮肤分割模型，该模型包括用于提取图像特征骨干网络，用于生成掩模图的生成器和用于判定生成掩模图准确性的判别器；
采用U-NET++作为皮肤分割模型，采用ResNet-101作为骨干网络；
获取多张人脸原始图像，并对人脸原始图像进行标记，将每个人脸原始图像中的人体区域标注出来得到的一号掩模图作为一号训练样本，将一号训练样本中的皮肤部分标注出来得到的二号掩模图作为二号训练样本；
S152：初始化皮肤分割模型参数；
S153：将每个一号训练样本输入骨干网络中，得到对应的多个不同尺度的特征图；
S154：将每个一号训练样本对应的多个不同尺度的特征图输入生成器中，得到每个一号训练样本的一号预测掩模图；
S155：将每个一号训练样本的一号预测掩模图和一号掩模图输入判别器，得到预测准确率，当准确率到达设定准确率阈值时，得到次优皮肤分割模型并执行下一步，否则更新皮肤分割模型的参数并返回S153；
S156：将每个二号训练样本输入次优皮肤分割模型中的骨干网络中，得到对应的多个不同尺度的特征图；
S157：将每个二号训练样本对应的多个不同尺度的特征图输入次优皮肤分割模型中的生成器中，得到每个二号训练样本的二号预测掩模图；
S158：将每个二号训练样本的二号预测掩模图和二号掩模图输入次优皮肤分割模型中的判别器，得到预测准确率，当准确率到达设定准确率阈值时，得到最优皮肤分割模型并执行下一步，否则更新皮肤分割模型的参数并返回S156；
S159：将图像A输入最优皮肤分割模型得到皮肤掩码图像M。
作为优选，所述S2中油光算子对图像B去油光的过程如下：
S21：对图像B进行肤质分类，确定图像B的油光等级；
油光等级分类为四级油光、三级油光、二级油光和一级油光，给每个油光等级依次赋值；
S22：计算图像B每个像素点处的最大色度σmax，并将图像B存储为灰度图像I；
S23：计算图像B每个像素点处近似漫反射色度的最大值λmax，并将其存储为灰度图像II；
S24：使用灰度图像II作为引导图像，对图像灰度图像I应用联合双边滤波器，将滤波后的图像存储为预处理图像；
S25：计算预处理图像中的每个像素p的σmax(p)，比较
和σmax，取最大值如公式2-17 所示：
S26：重复步骤S24和S25，直到每个像素的
则执行下一步；
S27：确定预处理图像中每个像素点p的σmax(p)所选的RGB中通道，每个像素点p的所选通道的像素为σmax(p)×255，然后将每个像素点p未选择的两个通道的像素与所选通道的像素进行迭代得到预处理后图像；
S28：对预处理后图像进行肤质分类确定油光等级，当预处理后图像的油光等级低于S21 中图像B的油光等级且不大于预设油光等级阈值时，将预处理后图像作为图像C输出，否则返回步骤S22，并用预处理后图像更新图像B。
作为优选，所述S22中计算图像B每个像素点处的最大色度σmax的过程如下：
RGB颜色空间下的反射光颜色J表示为漫反射值JD和镜面反射值JS颜色的线性组合，公式为2-5：
J＝JD+JS (2-5)；
将色度定义为颜色分量σc的分数，公式为2-6：
其中，c∈{r，g，b}，Jc表示反射光颜色；
漫反射色度Λc和照明色度Гc定义如下公式2-7和公式2-8：
其中，
表示漫反射分量，
表示漫反射分量；
根据上述公式，将反射光颜色Jc定义为公式2-9：
其中，u表示图层，u可以为r层或g层或b层，
表示图层u中漫反射分量，
表示图层u中漫反射分量；
设照明色度使用白色估计，输入图像B被归一化为
和
Γr，Γg和Γb分别表示r，g，b图层的照明色度，
和
分别表示r，g，b图层的镜面反射值；
那么根据上一个公式漫反射组件如公式2-10所示：
其中，
表示第c个图层的漫反射值；
最大色度被定义为公式2-11：
σmax＝max(σr，σg，σb) (2-11)；
其中，σr，σg，σb分别表示r，g和b图层的最大颜色分量；
最大漫反射色度被定义为公式2-12：
Λmax＝max(Λr，Λg，Λb) (2-12)；
其中，Λr，Λg，Λb分别表示r，g和b图层的最大漫反射色度；
漫反射分量可以被Λmax表示为公式2-13：
Λmax的取值范围在
作为优选，所述S22中计算图像B每个像素点处近似漫反射色度的最大值λmax的过程如下：
令σmin＝min(σr，σg，σb)，使用λc来估计Λc，计算公式2-14如下：
λc为中间变量，没有实际含义；
近似漫反射色度λc和真是漫反射色度Λc之间的关系描述为1)和2)。
1)对于任意的两个像素p和q，如果Λc(p)＝Λc(q)，那么λc(p)＝λc(q)
2)对于任意的两个像素p和q，如果λc(p)＝λc(q)，那么仅当Λmin(p)＝Λmin(q)时，Λc(p)＝Λc(q)
近似漫反射色度的最大值为公式2-15：
其中，λr，λg，λb分别表示r，g和b图层的计算变量不具有实际含义；
使用近似漫反射最大色度值作为平滑参数，滤波后的最大色度σmax计算公式2-16如下：
其中，
表示对像素点p的计算变量不具有实际含义，
和
是典型的高斯分布的空间和距离加权函数。
作为优选，所述S24中灰度图像II作为引导图像，对图像灰度图像I应用联合双边滤波器滤波的过程如下：
其中，ID(i，j)表示的是坐标为(i，j)的像素点经过联合双边滤波后的像素值，(k，l)表示滤波窗口中其他点的像素坐标，
表示的是中心点的像素值，
表示的是其余节点的像素值，w(j，j，k，l)是高斯分布空间函数和像素强度相似度的高斯函数相乘的一个参数；
联合双边滤波器定义如下：
作为优选，所述S3中美白算子对图像C美白的过程如下：
S31：对图像C进行肤质分类，肤色等级分为四级、三级、二级、一级四个分类，给每个肤色等级依次赋值β＝3、2、1、0；
S32：将图像C的R、G、B通道的像素值进行逐层归一化，归一化方式为：
其中f(x，y)表示的是输入图像C各像素点处的像素值，得到w(x，y)∈[0，1]表示输出的图像C′，输出图像C′共有R、G、B三层；
S33：对输入图像C′采用如下公式进行增强，如公式3-2：
其中，w(x，y)是输入图像C′，v(x，y)是美白后的输出图像D，β是控制美白程度的参数。
相对于现有技术，本发明至少具有如下优点：
1.目前市面上大部分自动修调照片的方式都是对整张照片进行的，而本发明方法是针对人体皮肤进行精确修调，通过这种自动修调的方式，可以大大减轻修图师的工作量，而且修调后的照片品质效果较好。
2.高反差磨皮算法是利用滤波器较好的柔化干燥、粗糙的皮肤。高反差磨皮相较于其他磨皮方式具有很好的保边的磨皮效果，虽然过程较为复杂，但随着gpu和cpu算力的提高，此磨皮方法的速度也会随之提高，因此，高反差磨皮方法具有较好的应用效果，适合于人脸图像的精致修调，而且也不会存在失真、虚假的效果，适合投入应用之中。
附图说明
图1为本发明方法的流程框图。
图2为皮肤分割模型的结构示意图。
图3为人脸多边形外框和感兴趣区域示意图。
图4为肤色分级示意图。
图5为油光分级示意图。
图6为皱纹分级示意图。
图7为毛孔分级示意图。
图8为本发明方法的流程框图。
图9a是人脸原图。
图9b是去油光算子处理后的图。
图10为美白参数曲线对比图。
图11a是人脸原图。
图11b是美白算子处理后的图。
图12a是人脸原图。
图12b是美白算子处理后的图。
图13为美颜前后肤质打分对比。
具体实施方式
下面对本发明作进一步详细说明。
一种基于高反差磨皮的人脸图像的美肤方法，包括如下步骤：
S1：获取人脸原图像S，采用高反差磨皮算子对人脸原图像进行磨皮处理，得到图像B；
S2：将图像B输入去油光算子中去油光得到图像C；
S3：将图像C输入美白算子得到进行美白处理得到最终美肤后的图像D，并输出图像D。具体的，所述S1中高反差磨皮算子对人脸原图像S进行磨皮处理的过程如下：
S11：对人脸原图像S进行保边滤波得到图像A；
S12：对图像A和人脸原图像S进行高反差计算得到图像F，计算公式如下：
B＝S-Gauss(S，r1)+128 (1-1)；
S13：对图像F以半径r2进行高斯模糊得到图像H；半径参数的默认值为3。
S14：对图像H和图像S进行线性光图层混合计算，得到图像E，图层的线性光混合计算公式1-2如下：
E＝2*C+S-256 (1-2)；
S15：对图像A进行皮肤检测和人脸检测，得到皮肤掩码图像M；
S16：根据图像F，将图像A和图像E进行融合，得到图像G，融合的公式1-3如下：
G＝A*(1-M)+M*E (1-3)；
S17：根据参数r3将图像G和图像S进行融合，得到最终的输出图像B，融合公式1-4如下：
B＝S*(1-r3)+G*r3 (1-4)；
具体的，S11中对人脸原图像S进行保边滤波得到图像A时可以采用任何现有的滤波方法进行比如表面滤波，半径参数为r1；
自然图像都存在噪声，比如由于光照、环境等影响造成人脸上某一很小部分突兀的像素点，而噪声和边缘(边缘就是比如说皮肤和眼睛的交界处，边缘部分像素差异较大)在某些方面表现相似，一般的滤波器无法区分噪声和边缘，于是对其统一处理，因此很多情况下，滤波的同时，边缘也被处理模糊掉了。保边滤波器是指在滤波过程中能够有效的保留图像中的边缘信息的一类滤波器。
本发明采用双边滤波器，是双边滤波器一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折衷处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。双边滤波器能够做到在平滑去噪的同时还能够很好的保存边缘。双边滤波的计算公式如下：
其中I′(i，j)表示I′点经过双边滤波后的像素值，其中(i，j)表示其坐标，此坐标一般为(0，0)，因为要以此点为中心，构成半径为r1的正方形，半径为r1指的是像素原点向外拓展的值，故正方形边长为2r1+1，其中f′(k，l)为除I点之外正方形中其他点的像素值，w′(i，j，k，l)＝wr* ws，wr为像素值相似度高斯函数，ws为空间临近高斯函数。经过双边滤波，就能有效地达到去除S图(原图)中噪声同时保存边缘像素的作用(作用有限)。方便后期进行高反差计算和皮肤检测。
具体的，所述对人脸原图像S进行保边滤波得到图像A的过程如下：
由于对皮肤进行模糊处理，弱化人脸的细节、五官、边缘、轮廓等，普通的滤波器处理之后，图像会显得过于“假”，丢失质感。双边滤波可以边缘保留，因此在磨皮算法中，在弱化皮肤瑕疵、斑点的同时，还可以保留肤质的质感，使得输出图像的观感比较细腻。公式定义为1-6：
Ifiltered(x)表示经过双边滤波后的点的像素值，xi的是图片中的像素点，I(xi)表示的是此像素点的像素值(又称像素亮度值，因为需要对彩色图片的R、G、B三层分别进行此双边滤波操作，每一层为灰度图像，取值范围0-255)，Ω表示的是以某一中心点，半径为r的正方形所组成的点的平面集合，fr表示的是范围核I(x)表示的是中心点的像素值。
举例如下：在R、G、B构成的彩色图片中，随机提取一层进行运算(灰度图像)，此处假设双边滤波的半径为1，即构成一个3*3的正方形，如表1：
其中(*)表示的是坐标，对应x和y，其下数值代表图像的像素值(强度)
根据公式1-6计算坐标(i，j)点的双边滤波后的像素值(ps：计算哪个点的双边滤波后的像素值就以哪个点为中心做出半径为1的正方形，其坐标设置为(0，0))即我们现在要计算坐标为(0，0)点的像素。
根据公式1-7计算出w1(i，j，k，l)，此处i和j对应于(0，0)点，k和l对应于此正方形中其他部分的坐标值。σd为自己手动设置的值，I1(i，j)即I1(0，0)即为中心点的像素值(强度)，同理，I1(k，l)表示此正方形中其他点的像素值(强度)σr同样也为手动设置的值：
根据公式1-8将对应点的像素值*对应点的w1(j，j，k，l)相加(此处共9个点，原点自身带入公式即可得到其像素值为原来的值，与其他8个点双边滤波后的值相加即可)即可得到该点双边滤波后的像素值(强度)。
归一化函数Wp定义为公式1-9：
Wp＝gs*fr (1-12)
设定图像中正在进行去噪的像素的坐标为(i，j)，使用的周围像素之一的坐标是(k，l)，假设范围核和空间核是高斯核函数，为像素(k，l)赋值的用于去噪像素(i，j)的权重公式1-13如下：
其中，σd和σr是平滑参数，I2(i，j)和I2(k，l)分别是像素(i，j)和像素(k，l)的强度，在计算权重之后，再将其归一化，公式1-14为：
其中，I3(i，j)是像素(i，j)的去噪强度。
在实验过程中验证发现，虽然基于双边滤波器的磨皮算法效果很好，但是当皮肤的皱纹、痘印等瑕疵比较严重时，需要增大滤波器的参数，而当强度参数过大时，算法速度会受到较大影响。因此下文将提出基于改进的lee滤波器实现磨皮算法。
具体的，所述S13对图像F以半径r2进行高斯模糊得到图像H的过程如下：
高斯模糊即高斯滤波，高斯滤波就是将(灰度)图像和一个高斯核进行卷积操作，理论上，高斯分布在所有定义域上都有非负值，这就需要一个无限大的卷积核。在实际的计算过程中，卷积核是固定大小的，只需要将待计算的“中心点”作为原点，将周围的点按照正态分布函数分配权重，计算加权平均值，得到最终的值，这个过程就是二维高斯核的卷积过程如果原图是彩色图片，可以对RGB三个通道分别做高斯滤波。
S131：将所述图像F分成RGB三个通道的灰度图像；
S132：对S131得到三个灰度图像中的所有像素点分别采用公式1-5进行高斯滤波：
其中，(x，y)表示窗口内的点坐标，σ表示的是人为设定的一个参数值(超参数)。
S133：将通过S132高斯滤波得到的三个通道的图进行迭代得到图像H。
具体实施时，半径r2＝3，故应该设计边长为2*3+1的正方形，但是为了举例说明，下面设r2＝1的正方形，即一个3*3的九宫格，用于阐述高斯模糊的过程其位置信息如九宫格中所示，中心点的坐标信息为(0，0)。
表1
| (-1，1) | (0，1) | (1，1) |
| (-1，0) | (0，0) | (1，0) |
| (-1，-1) | (0，-1) | (1，-1) |
将表格中每个点的坐标信息带入上述公式对应的x，y中，并人为设定σ＝1.5，计算后的信息如表2所示：
表2
| 0.0453 | 0.0566 | 0.0453 |
| 0.0566 | 0.0707 | 0.0566 |
| 0.0453 | 0.0566 | 0.0453 |
之后进行归一化处理，具体操作方式是求出此矩阵的总和为0.4783，然后再将该矩阵的 9个值分别除以0.4783，得到最终的卷积核(权重矩阵)。
表3
| 0.0947 | 0.1183 | 0.0947 |
| 0.1183 | 0.1478 | 0.1183 |
| 0.0947 | 0.1183 | 0.0947 |
通过上述步骤计算出了高斯核，基于该高斯核便可进行高斯滤波操作。假设现有9个像素点，灰度值(0-255)如表4所示：
表4
| 14 | 15 | 16 |
| 24 | 25 | 26 |
| 34 | 35 | 36 |
每个像素点的值乘以相高斯核中对应的权重值，得到最终的分布值。假设图片的像素值如表5所述：
表5
高斯核对应相乘像素点的值如表6所示.
表6
| 1.3258 | 1.7745 | 1.5152 |
| 2.8392 | 3.6950 | 3.0758 |
| 3.2198 | 4.1405 | 3.4092 |
对图片中所有的像素点重复这个过程，即每个像素点都将得到9个高斯滤波值，将其相加，就得到了高斯滤波后的图像。
原文中采用的高斯半径为3，故高斯核应为7*7的正方形，采用同样的方法即可得到高斯滤波后的图像。
具体的，所述S15图像A进行皮肤检测和人脸检测，得到人脸的皮肤掩码图像M的过程如下：
S151：建立皮肤分割模型，该模型包括用于提取图像特征骨干网络，用于生成掩模图的生成器和用于判定生成掩模图准确性的判别器；
采用U-NET++作为皮肤分割模型，采用ResNet-101作为骨干网络；
获取多张人脸原始图像，并对人脸原始图像进行标记，将每个人脸原始图像中的人体区域标注出来得到的一号掩模图作为一号训练样本，将一号训练样本中的皮肤部分标注出来得到的二号掩模图作为二号训练样本。
第一次掩模图：采用1000张人像照片，制作人体区域的掩模图，人体区域包含了头发、衣服、皮肤等，设置颜色为白色R＝G＝B＝255，非人体的区域颜色设置为R＝G＝B＝0。第二次的掩模图采用相同的1000张人像照片，对数据集进行了掩模制作，将皮肤区域的颜色标记为R＝G＝B＝255，非皮肤区域的颜色标记为R＝G＝B＝0。
S152：初始化皮肤分割模型参数。
S153：将每个一号训练样本输入骨干网络中，得到对应的多个不同尺度的特征图；(每个特征图中均包括多个特征，例如1号训练样本中的内容、颜色、梯度和纹理)。
S154：将每个一号训练样本对应的多个不同尺度的特征图输入生成器中，得到每个一号训练样本的一号预测掩模图。
S155：将每个一号训练样本的一号预测掩模图和一号掩模图输入判别器，得到预测准确率，当准确率到达设定准确率阈值时，得到次优皮肤分割模型并执行下一步，否则更新皮肤分割模型的参数并返回S153。
S156：将每个二号训练样本输入次优皮肤分割模型中的骨干网络中，得到对应的多个不同尺度的特征图；
S157：将每个二号训练样本对应的多个不同尺度的特征图输入次优皮肤分割模型中的生成器中，得到每个二号训练样本的二号预测掩模图；
S158：将每个二号训练样本的二号预测掩模图和二号掩模图输入次优皮肤分割模型中的判别器，得到预测准确率，当准确率到达设定准确率阈值时，得到最优皮肤分割模型并执行下一步，否则更新皮肤分割模型的参数并返回S156；
分割算法用时用秒为单位来表示，用时越短，分割速度越快。分割准确率的评价指标使用交并比(Intersection overUnion，IoU)，其计算公式为3.1
其中|·|表示集合的像素数量，A表示预测所得掩模图的集合，B表示实际掩模图的集合。IoU指标的取值范围都是[0，1]，当取值越接近于1时，说明两个集合的重合率越高，准确率越高。
S159：将图像A输入最优皮肤分割模型得到皮肤掩码图像M。
在人像照片后期处理领域中，由于人物受光照、环境、相机曝光、角度、摄影师水平等多方面影响，皮肤图像边界模糊、梯度复杂、背景干扰大，因此传统的图像分割算法准确率不高、稳定性低。经过对比分析，发现深度学习中的U-Net++模型对于图像分割的强大能力，适用于人体皮肤图像分割任务。
本发明提出皮肤分割模型即U-Net++模型进行人像皮肤分割的方法，该模型一种高效、准确、实用的算法。既可以有效避免相似颜色背景和相似结构特征的干扰，也可以完整的扣出图像中的人体皮肤部分，生成对应的掩模图和皮肤图层，为后续的美肤模型提供输入。
U-Net++的骨干网络使用ResNet101，模型的结构如图2所示，输入人像照片，如此结构中的图像A，经过U-Net++模型的学习和训练，输出皮肤掩码图像M。
磨皮需要既满足淡化痣、痘印、瑕疵、斑点等功能，又要保留脸部的细节、五官的轮廓、阴影与光照的对比，弱化美颜处理的痕迹。因此在Photoshop软件的商业修图中，采用了改进的表面滤波这种保边效果好、质感精细的方法。
具体的，所述S2中油光算子对图像B去油光的过程如下：
S21：对图像B进行肤质分类，确定图像B的油光等级；
油光等级分类为四级油光、三级油光、二级油光和一级油光，给每个油光等级依次赋值；
S22：计算图像B每个像素点处的最大色度σmax，并将图像B存储为灰度图像I；
S23：计算图像B每个像素点处近似漫反射色度的最大值λmax，并将其存储为灰度图像II；
例如：一般彩色图像有R G B三层每层有个像素值(0-255)比如说某点像素值为(1， 2，5)那么
将这个值存下来，当作灰度图(灰度图只有一层，故这个值可以当作一个像素点的值，即上述得到了图像B，同理，根据λmax的公式
仍旧取上述点为例得到λmax为
将这个值存下来作为灰度图的一个像素点。
S24：使用灰度图像II作为引导图像，对图像灰度图像I应用联合双边滤波器，将滤波后的图像存储为预处理图像；
S25：计算预处理图像中的每个像素p的σmax(p)，比较
和σmax，取最大值如公式2-17 所示：
S26：重复步骤S24和S25，直到每个像素的
则执行下一步；
S27：确定预处理图像中每个像素点p的σmax(p)所选的RGB中通道，每个像素点p的所选通道的像素为σmax(p)×255，然后将每个像素点p未选择的两个通道的像素与所选通道的像素进行迭代得到预处理后图像；此处带入计算的预处理图像是灰度图，预处理图像是迭代不断更新出的σmax(p)×255+其他两个通道的像素构成了三层RGB彩色图像，例如，像素点 p的σmax(p)选择的是R通道，则像素点p在R通道的像素为σmax(p)×255，然后将像素点p在G通道和B通道的像素与R通道的像素σmax(p)×255进行迭代，对所有像素点p都重复前述操作则得到的三层RGB彩色图像，即预处理后图像。
S28：对预处理后图像进行肤质分类确定油光等级，当预处理后图像的油光等级低于S21 中图像B的油光等级且不大于预设油光等级阈值时，将预处理后图像作为图像C输出，否则返回步骤S22，并用预处理后图像更新图像B。
具体的，所述S22中计算图像B每个像素点处的最大色度σmax的过程如下：
RGB颜色空间下的反射光颜色J表示为漫反射值JD和镜面反射值JS颜色的线性组合，公式为2-5：
J＝JD+JS (2-5)；
将色度定义为颜色分量σc的分数，公式为2-6：
其中，c∈{r，g，b}，Jc表示反射光颜色；
漫反射色度Λc和照明色度Γc定义如下公式2-7和公式2-8：
其中，
表示漫反射分量，
表示漫反射分量；
根据上述公式，将反射光颜色Jc定义为公式2-9：
其中，u表示图层，u可以为r层或g层或b层，
表示图层u中漫反射分量，
表示图层u中漫反射分量；
设照明色度使用白色估计，输入图像B被归一化为
和
Γr，Γg和Γb分别表示r，g，b图层的照明色度，
和
分别表示r，g，b图层的镜面反射值；
那么根据上一个公式漫反射组件如公式2-10所示：
其中，
表示第c个图层的漫反射值；
最大色度被定义为公式2-11：
σmax＝max(σr，σg，σb) (2-11)；
其中，σr，σg，σb分别表示r，g和b图层的最大颜色分量；
最大漫反射色度被定义为公式2-12：
Λmax＝max(Λr，Λg，Λb) (2-12)；
其中，Λr，Λg，Λb分别表示r，g和b图层的最大漫反射色度；
漫反射分量可以被Λmax表示为公式2-13：
Λmax的取值范围在
具体的，所述S22中计算图像B每个像素点处近似漫反射色度的最大值λmax的过程如下：
令σmin＝min(σr，σg，σb)，使用λc来估计Λc，计算公式2-14如下：
λc为中间变量，没有实际含义；
近似漫反射色度λc和真是漫反射色度Λc之间的关系描述为1)和2)。
1)对于任意的两个像素p和q，如果Λc(p)＝Λc(q)，那么λc(p)＝λc(q)
2)对于任意的两个像素p和q，如果λc(p)＝λc(q)，那么仅当Amin(p)＝Amin(q)时，Λc(p)＝Λc(q)
近似漫反射色度的最大值为公式2-15：
其中，λr，λg，λb分别表示r，g和b图层的计算变量不具有实际含义；
使用近似漫反射最大色度值作为平滑参数，滤波后的最大色度σmax计算公式2-16如下：
其中，
表示对像素点p的计算变量不具有实际含义，
和
是典型的高斯分布的空间和距离加权函数。。
具体的，所述S24中灰度图像II作为引导图像，对图像灰度图像I应用联合双边滤波器
滤波的过程如下：
其中，ID(i，j)表示的是坐标为(i，j)的像素点经过联合双边滤波后的像素值，(k，l)表示滤波窗口中其他点的像素坐标，
表示的是中心点的像素值，
表示的是其余节点的像素值，w(j，j，k，l)是高斯分布空间函数和像素强度相似度的高斯函数相乘的一个参数。
联合双边滤波器定义如下：
此联合双边滤波器在对σmax这副灰度图不断地迭代更新(算法中在不断的迭代)
最终求的一个符合算法流程的σmax值构成的灰度图，由σmax＝max(σr，σg，σb)的定义如下，可见σmax的值为0-1之间的小数，而且来自于r g b通道中色度值比值最大的一个通道，而对于整张图来说，每个点的r g b像素值都是变化的所以对于整张图来说相当于同时对 rgb通道的σ值进行计算经过迭代后我们得到了一张由σmax构成的灰度图，将σmax乘以255+ 对应此像素点剩下的两个通道的像素就得到了去除高光后的图像C。
取一张人脸图像作为效果测试，该皮肤的油光分级是三级级，因此设置去油光参数为2，图9a和图9b展示了人脸原图和去油光算子处理之后的效果。左图是原图，右图是去油光算子处理后的图。从图9a和图9b可以看出，本发明提出的基于去除镜面高光的算法实现的去油光算子，对额头、左脸颊区域的皮肤反光和油光消除效果明显。
具体的，所述S3中美白算子对图像C美白的过程如下：
S31：对图像C进行肤质分类，肤色等级分为四级、三级、二级、一级四个分类，给每个肤色等级依次赋值β＝3、2、1、0；
S32：将图像C的R、G、B通道的像素值进行逐层归一化，归一化方式为：
其中f(x，y)表示的是输入图像C各像素点处的像素值，得到w(x，y)∈[0，1]表示输出的图像C′，输出图像C′共有R、G、B三层；
S33：对输入图像C′采用如下公式进行增强，如公式3-2：
其中，w(x，y)是输入图像C′，v(x，y)是美白后的输出图像D，β是控制美白程度的参数。当β分别取1，2，3时，该算法对亮度分量的调节效果如图10所示。将该参数映射到肤色的分类结果。当分类是四级时，β的值为3；当分类是三级时，β的值为2；当分类是二级时，β的值为1；当分类是一级时，β的值为0，不带入计算。
对美白算子效果的实验与分析：
实验结果分为三个部分，首先通过抽样对比，展示皮肤美化前后对比图的差异。然后通过定义算法作用率来验证整体算法的有效性。最后通过专业人士的盲测评分来验证算法是否达到专业人像后期处理的质量。
①抽样对比
分别取一张女士和一张男士的人脸作为展示，图11a和图12a是原图，图11b和图12b 是处理后的图，可以看出磨皮、美白、去油光等算子组成的美肤模型对图的处理效果明显，对肤质观感的提升较大。
②算法作用率
测试集共包含145张人脸信息，美颜前后的不同指标分类数据量对比如表4.1所示。对每个肤质的指标，定义美颜后一级分类数量/总数来表征算法的作用率，如公式4.18所示，即算法对当前数据集作用后达到美肤效果的比例。算法作用率可直接量化本发明提出的模型所实现的效果，是否能满足于自动美肤修图的目标和要求。
其中，p是算法的作用率，Count1是一级分类的图片数量，Counti是一级、二级、三级、四级分类的图片总数量。
表7测试集美肤算法作用率
从表3可以看出，美白、去油光、磨皮算法对肤色、油光、皱纹和毛孔四个指标的处理，分别达到了97.24％，97.93％，96.55％，95.17％，说明本发明提出的基于深度学习的皮肤分割、肤质分类和美肤算法对皮肤美化效果明显，适用于大规模场景下的自动美肤处理任务。
③专业盲测
为了进一步验证本发明整体算法的效果，邀请专业修图师对本测试集的原图和美颜后的图进行盲测打分，打分前去掉所有图片的标注，仅剩下打乱的数字编号，打分后根据编号统计分数。
评分的标准是皮肤美化程度、纹理保留程度、肤色白皙程度、瑕疵消除程度。评分结果如下图13所示。
如图13所示，以10分制对145张人脸皮肤肤质进行打分，原图平均得分7.79，美肤后的图平均得分9.09。原图由于摄影师水平、光照阴影、皮肤状况等因素，呈现出分数波动大、普遍评分低的情况。美肤后的图评分高，且分布均匀，说明算法对肤质的分类准确，指导美肤算法的参数无偏差，美肤算法效果好。
基于自评结果和专业修图师的盲测打分，证明本发明在磨皮效果、纹理保留、美白效果、油光去除等方面，取得了明显的效果。
人脸原图像进行肤质分类的方法为：
在人脸原图像中定义多个特征点，将所有特征点依次连接形成的多边形，得到的掩模为完整的人脸区域，定义为Mpoints，人体全身的皮肤区域掩模为Mhuman，人脸皮肤区域的掩模图为Mface，
Mface＝Mpoints∩Mhuman (3-3)；
使用OpenCV提供的基于TensorFlow的深度神经网络人脸检测算法和AdrianBulat提出的人脸对齐算法，得到对齐的81个特征点。以人脸最外边框的点依次连接形成多边形，得到的掩模为完整的人脸区域，定义为Mpoints，如图3的外框多边形所示。
人脸由于头发、眼镜、饰品、灯光阴影等因素的影响，会导致肤质的分类不准确，因此在关键点定位分割的基础上，需要与全身皮肤分割的结果求交集，得到最终的人脸皮肤区域。
S32：人脸皮肤区域的掩模图上按肤色、油光、皱纹、毛孔进行四个维度的分类，具体如下
人体皮肤的肤质是多种多样的，可按肤色、油光、皱纹、毛孔四个维度分为多个类型。在美颜的任务中，首先要进行皮肤肤质类型的判断，然后确定处理不同瑕疵的算法的参数。
肤色：目前人体肤色相关的研究主要集中于医疗诊断、人脸比对、表情识别等领域，本发明提出的将肤色进行等级细分是为了更好的确定美颜算法的参数，与标准的肤色分级标准有所区别。人像摄影中，由于光照、拍摄设备、拍摄参数等区别，同一个人的肤色也会呈现不同的结果。因此本发明是基于图像反映的明暗和颜色对肤色进行分类，而非人体本身。
肤色等级分为四级、三级、二级、一级四个分类，给每个肤色等级依次赋值1，2，3，0。四级肤色偏黑是指由于肤色本身黝黑或者拍摄时灯光阴影原因导致的肤色偏黑，三级肤色偏黄是指由于肤色本身偏黄、环境光照或白平衡设置等原因导致的肤色偏黄，二级肤色偏白是指皮肤本身白皙或拍摄过曝等原因导致的皮肤偏白，一级肤色正常是指无需调整的肤色类型，如图4所示。
油光等级分类为四级油光、三级油光、二级油光和一级油光，给每个油光等级依次赋值 1，2，3，0。
人像摄影中，人脸高光区域是指在Lab颜色空间下，L均值最高的区域。根据高光区域的L值，可判断该照片的曝光程度，通常分为欠曝、正常和过曝。在后期修调的过程中，对于欠曝和过曝的照片，需要分别进行提亮和压高光的操作。
由于油性皮肤分泌油脂，在成像过程中油脂反光，造成人脸高光区域反光的现象，因此高光区域常常伴随着油光区域出现。通过对油光等级的分类，确定去油光算法的参数。
四级油光是指油脂分泌多，人像反光程度高；一级油光是指皮肤少量油脂分泌，人像无反光现象，如图5所示。
皱纹等级分为四级、三级、二级、一级，给每个皱纹等级依次赋值1，2，3，0。
人由于处于不同年龄阶段，皱纹会呈现不同的等级分类。国内外提出很多基于计算机视觉的皱纹定量测定方法，其受图像拍摄时光照、阴影、分辨率等影响较大，检测效果不稳定。磨皮算法重点处理的就是皮肤中的皱纹，因此皱纹的分级正确性直接决定了磨皮算法的效果。四级表征了皱纹最多、纹理最深、程度最终的等级，一级表征了皱纹很少、纹理很淡、程度最低的等级，如图6所示。
毛孔等级分为四级、三级、二级、一级，给每个毛孔等级依次赋值1，2，3，0。
粗糙的皮肤，也是磨皮算法重点处理的内容。皮肤毛孔的多少、大小，反应了皮肤是否光滑、细腻。不同的人的皮肤状况差异很大，将皮肤按粗糙程度分为四级、三级、二级、一级。四级表征了粗糙、毛孔明显的等级，一级表征了光滑、细腻的等级，如图7所示。
S33：在人脸原图像中，选取人脸的额头、左脸颊、右脸颊、下巴四个部位作为感兴趣区域，设置每个区域划分为肤色、油光、皱纹和毛孔的权重，然后采用如下公式计算四个部位的等级赋值，σ的值等于该等级赋值：
其中，
γ＝1，2，3，4分别表示肤色在额头、左脸颊、右脸颊和下巴四个区域的权重，
γ＝1，2，3，4分别表示油光在额头、左脸颊、右脸颊和下巴四个区域的权重，
γ＝1，2，3，4 分别表示皱纹在额头、左脸颊、右脸颊和下巴四个区域的权重，
γ＝1，2，3，4分别表示毛孔在额头、左脸颊、右脸颊和下巴四个区域的权重。
在人像照片中，检测到人脸矩形框和对齐人脸关键点之后，选取感兴趣的区域，根据上述肤质分类的指标，最终确定美颜算法的参数。
在对皮肤进行按指标分类时，人脸不同区域的肤质分类权重是不同的，额头高光区域通常是油光较重、肤色较亮的区域，脸颊通常是油光较重，皱纹较重的区域，下巴通常是油光较轻，皱纹也较轻的区域。为了始终能够选取到不受光照阴影、拍摄角度等因素影响分类正确性的皮肤区域，本发明选取人脸的额头、左脸颊、右脸颊、下巴四个部位作为感兴趣区域，在对四个区域进行指标计算的时候，根据经验设置如下表8的权重矩阵。
表8脸部感兴趣区域肤质指标权重表
| 额头 | 左脸 | 右脸 | 下巴 | |
| 肤色 | 0.35 | 0.25 | 0.25 | 0.15 |
| 油光 | 0.4 | 0.2 | 0.2 | 0.1 |
| 皱纹 | 0.2 | 0.3 | 0.3 | 0.2 |
| 毛孔 | 0.2 | 0.3 | 0.3 | 0.2 |
人脸的额头、左脸颊、右脸颊、下巴四个部位作为感兴趣区域可以通过如下方式提取：
人脸关键点的表示公式为Loci＝(xi，yi)，i＝1，2，...，81，其中xi，yi分别表示点的横纵坐标，具体的区域表示如下表9所示。
表9人脸关键点对应的区域
| 关键点范围 | 人脸区域 |
| Loc<sub>1</sub>～Loc<sub>17</sub> | 脸颊边缘 |
| Loc<sub>18</sub>～Loc<sub>22</sub> | 左侧眉毛 |
| Loc<sub>23</sub>～Loc<sub>27</sub> | 右侧眉毛 |
| Loc<sub>28</sub>～Loc<sub>36</sub> | 鼻子 |
| Loc<sub>37</sub>～Loc<sub>42</sub> | 左侧眼睛 |
| Loc<sub>43</sub>～Loc<sub>48</sub> | 右侧眼睛 |
| Loc<sub>49</sub>～Loc<sub>68</sub> | 嘴巴 |
| Loc<sub>69</sub>～Loc<sub>81</sub> | 额头 |
在人脸的肤质分类任务中，如果将整个区域作为输入，则会受姿态、阴影等的干扰，因此提出划分四个感兴趣区域(Region of Interest，ROI)，示意图如图3所示。设定Rectilx，Rectily，Rectirx，Rectiry，i＝1，2，3，4依次为四个ROI矩形区域的左上角所在关键点横轴位置，左上角所在关键点纵轴位置，右下角所在关键点横轴位置，右下角所在关键点纵轴位置，i＝1，2，3，4分别代表额头、左脸颊、右脸颊、下颌。
额头区域的左上角和右下角的关键点位置分别是： (Rect1lx，Rect1ly)＝(x21，max(y71，y72，y81))，(Rect1rx，Rect1ry)＝(x24，min(y21，y24))。
左脸颊区域的左上角和右下角的关键点位置分别是：(Rect2lx，Rect2ly)＝(x37，y29)， (Rect2rx，Rect2ry)＝(x32，y32)。
右脸颊区域的左上角和右下角的关键点位置分别是：(Rect3lx，Rect3ly)＝(x36，y29)， (Rect3rx，Rect3ry)＝(x46，y32)。
下颌区域的左上角和右下角的关键点位置分别是： (Rect4lx，Rect4ly)＝(x8，max(y57，y58，y59))，(Rect4rx，Rect4ry)＝(x10，min(y8，y9，y10))。
四个区域的示意图如图3的内框矩形所示。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.一种基于高反差磨皮的人脸图像的美肤方法，其特征在于：包括如下步骤：
S1：获取人脸原图像S，采用高反差磨皮算子对人脸原图像进行磨皮处理，得到图像B；
S2：将图像B输入去油光算子中去油光得到图像C；
S3：将图像C输入美白算子得到进行美白处理得到最终美肤后的图像D，并输出图像D。
2.如权利要求1所述基于高反差磨皮的人脸图像的美肤方法，其特征在于，所述S1中高反差磨皮算子对人脸原图像S进行磨皮处理的过程如下：
S11：对人脸原图像S进行保边滤波得到图像A；
S12：对图像A和人脸原图像S进行高反差计算得到图像F,计算公式如下：
B＝S-Gauss(S,r1)+128 (1-1)；
S13：对图像F以半径r2进行高斯模糊得到图像H；
S14：对图像H和图像S进行线性光图层混合计算，得到图像E，图层的线性光混合计算公式1-2如下:
E＝2*C+S-256 (1-2)；
S15：对图像A进行皮肤检测和人脸检测，得到皮肤掩码图像M；
S16：根据图像F，将图像A和图像E进行融合，得到图像G，融合的公式1-3如下：
G＝A*(1-M)+M*E (1-3)；
S17：根据参数r3将图像G和图像S进行融合，得到最终的输出图像B，融合公式1-4如下：
B＝S*(1-r3)+G*r3 (1-4)。
3.如权利要求2所述基于高反差磨皮的人脸图像的美肤方法，其特征在于，所述S13对图像F以半径r2进行高斯模糊得到图像H的过程如下：
S131：将所述图像F分成RGB三个通道的灰度图像；
S132：对S131得到三个灰度图像中的所有像素点分别采用公式1-5进行高斯滤波：
其中，(x,y)表示窗口内的点坐标，σ表示的是人为设定的一个参数值；
S133：将通过S132高斯滤波得到的三个通道的图进行迭代得到图像H。
4.如权利要求2所述基于高反差磨皮的人脸图像的美肤方法，其特征在于，所述S15图像A进行皮肤检测和人脸检测，得到人脸的皮肤掩码图像M的过程如下：
S151：建立皮肤分割模型，该模型包括用于提取图像特征骨干网络，用于生成掩模图的生成器和用于判定生成掩模图准确性的判别器；
采用U-NET++作为皮肤分割模型，采用ResNet-101作为骨干网络；
获取多张人脸原始图像，并对人脸原始图像进行标记，将每个人脸原始图像中的人体区域标注出来得到的一号掩模图作为一号训练样本，将一号训练样本中的皮肤部分标注出来得到的二号掩模图作为二号训练样本；
S152：初始化皮肤分割模型参数；
S153：将每个一号训练样本输入骨干网络中，得到对应的多个不同尺度的特征图；
S154：将每个一号训练样本对应的多个不同尺度的特征图输入生成器中，得到每个一号训练样本的一号预测掩模图；
S155：将每个一号训练样本的一号预测掩模图和一号掩模图输入判别器，得到预测准确率，当准确率到达设定准确率阈值时，得到次优皮肤分割模型并执行下一步，否则更新皮肤分割模型的参数并返回S153；
S156：将每个二号训练样本输入次优皮肤分割模型中的骨干网络中，得到对应的多个不同尺度的特征图；
S157：将每个二号训练样本对应的多个不同尺度的特征图输入次优皮肤分割模型中的生成器中，得到每个二号训练样本的二号预测掩模图；
S158：将每个二号训练样本的二号预测掩模图和二号掩模图输入次优皮肤分割模型中的判别器，得到预测准确率，当准确率到达设定准确率阈值时，得到最优皮肤分割模型并执行下一步，否则更新皮肤分割模型的参数并返回S156；
S159：将图像A输入最优皮肤分割模型得到皮肤掩码图像M。
5.如权利要求4所述的基于高反差磨皮的人脸图像的美肤方法，其特征在于：所述S2中油光算子对图像B去油光的过程如下：
S21:对图像B进行肤质分类，确定图像B的油光等级；
油光等级分类为四级油光、三级油光、二级油光和一级油光，给每个油光等级依次赋值；
S22:计算图像B每个像素点处的最大色度σmax，并将图像B存储为灰度图像Ⅰ；
S23:计算图像B每个像素点处近似漫反射色度的最大值λmax，并将其存储为灰度图像Ⅱ；
S24:使用灰度图像Ⅱ作为引导图像，对图像灰度图像Ⅰ应用联合双边滤波器，将滤波后的图像存储为预处理图像；
S25:计算预处理图像中的每个像素p的σmax(p)，比较
和σmax，取最大值如公式2-17所示：
S26:重复步骤S24和S25，直到每个像素的
则执行下一步；
S27:确定预处理图像中每个像素点p的σmax(p)所选的RGB中通道，每个像素点p的所选通道的像素为σmax(p)×255，然后将每个像素点p未选择的两个通道的像素与所选通道的像素进行迭代得到预处理后图像；
S28:对预处理后图像进行肤质分类确定油光等级，当预处理后图像的油光等级低于S21中图像B的油光等级且不大于预设油光等级阈值时，将预处理后图像作为图像C输出，否则返回步骤S22，并用预处理后图像更新图像B。
6.如权利要求5所述的基于高反差磨皮的人脸图像的美肤方法，其特征在于：所述S22中计算图像B每个像素点处的最大色度σmax的过程如下：
RGB颜色空间下的反射光颜色J表示为漫反射值JD和镜面反射值JS颜色的线性组合，公式为2-5：
J＝JD+JS (2-5)；
将色度定义为颜色分量σc的分数，公式为2-6：
其中，c∈{r,g,b}，Jc表示反射光颜色；
漫反射色度Λc和照明色度Γc定义如下公式2-7和公式2-8：
其中，
表示漫反射分量，
表示漫反射分量；
根据上述公式，将反射光颜色Jc定义为公式2-9：
其中，u表示图层，u可以为r层或g层或b层，
表示图层u中漫反射分量，
表示图层u中漫反射分量；
设照明色度使用白色估计，输入图像B被归一化为
和
Γr，Γg和Γb分别表示r，g，b图层的照明色度，
和
分别表示r，g，b图层的镜面反射值；
那么根据上一个公式漫反射组件如公式2-10所示：
其中，
表示第c个图层的漫反射值；
最大色度被定义为公式2-11：
σmax＝max(σr,σg,σb) (2-11)；
其中，σr,σg,σb分别表示r，g和b图层的最大颜色分量；
最大漫反射色度被定义为公式2-12：
Λmax＝max(Λr,Λg,Λb) (2-12)；
其中，Λr,Λg,Λb分别表示r，g和b图层的最大漫反射色度；
漫反射分量可以被Λmax表示为公式2-13：
Λmax的取值范围在
7.如权利要求5所述的基于高反差磨皮的人脸图像的美肤方法，其特征在于：所述S22中计算图像B每个像素点处近似漫反射色度的最大值λmax的过程如下：
令σmin＝min(σr,σg,σb)，使用λc来估计Λc，计算公式2-14如下：
λc为中间变量，没有实际含义；
近似漫反射色度λc和真是漫反射色度Λc之间的关系描述为1)和2)。
1)对于任意的两个像素p和q，如果Λc(p)＝Λc(q)，那么λc(p)＝λc(q)
2)对于任意的两个像素p和q，如果λc(p)＝λc(q)，那么仅当Λmin(p)＝Λmin(q)时，Λc(p)＝Λc(q)
近似漫反射色度的最大值为公式2-15：
其中，λr,λg,λb分别表示r，g和b图层的计算变量不具有实际含义；
使用近似漫反射最大色度值作为平滑参数，滤波后的最大色度σmax计算公式2-16如下：
其中，
表示对像素点p的计算变量不具有实际含义，
和
是典型的高斯分布的空间和距离加权函数。
8.如权利要求7所述的基于高反差磨皮的人脸图像的美肤方法，其特征在于：所述S24中灰度图像Ⅱ作为引导图像，对图像灰度图像Ⅰ应用联合双边滤波器滤波的过程如下：
其中，ID(i,j)表示的是坐标为(i，j)的像素点经过联合双边滤波后的像素值，(k,l)表示滤波窗口中其他点的像素坐标，
表示的是中心点的像素值，
表示的是其余节点的像素值，w(j,j,k,l)是高斯分布空间函数和像素强度相似度的高斯函数相乘的一个参数；
联合双边滤波器定义如下：
9.如权利要求1或8所述的基于高反差磨皮的人脸图像的美肤方法，其特征在于：所述S3中美白算子对图像C美白的过程如下：
S31：对图像C进行肤质分类，肤色等级分为四级、三级、二级、一级四个分类，给每个肤色等级依次赋值β＝3、2、1、0；
S32：将图像C的R、G、B通道的像素值进行逐层归一化，归一化方式为：
其中f(x,y)表示的是输入图像C各像素点处的像素值，得到w(x,y)∈[0,1]表示输出的图像C′，输出图像C′共有R、G、B三层；
S33：对输入图像C′采用如下公式进行增强，如公式3-2：
其中，w(x,y)是输入图像C′，v(x,y)是美白后的输出图像D，β是控制美白程度的参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111561470.1A CN114240743A (zh) | 2021-12-15 | 2021-12-15 | 一种基于高反差磨皮的人脸图像的美肤方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111561470.1A CN114240743A (zh) | 2021-12-15 | 2021-12-15 | 一种基于高反差磨皮的人脸图像的美肤方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114240743A true CN114240743A (zh) | 2022-03-25 |
Family
ID=80759102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111561470.1A Pending CN114240743A (zh) | 2021-12-15 | 2021-12-15 | 一种基于高反差磨皮的人脸图像的美肤方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114240743A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115050065A (zh) * | 2022-04-26 | 2022-09-13 | 杭州缦图摄影有限公司 | 一种基于曲线的皮肤滤镜建模方法 |
| CN115050065B (zh) * | 2022-04-26 | 2024-05-31 | 杭州海马体摄影有限公司 | 一种基于曲线的皮肤滤镜建模方法 |
-
2021
- 2021-12-15 CN CN202111561470.1A patent/CN114240743A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115050065A (zh) * | 2022-04-26 | 2022-09-13 | 杭州缦图摄影有限公司 | 一种基于曲线的皮肤滤镜建模方法 |
| CN115050065B (zh) * | 2022-04-26 | 2024-05-31 | 杭州海马体摄影有限公司 | 一种基于曲线的皮肤滤镜建模方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10304166B2 (en) | Eye beautification under inaccurate localization | |
| US7636485B2 (en) | Method and system for enhancing portrait images that are processed in a batch mode | |
| US9111132B2 (en) | Image processing device, image processing method, and control program | |
| WO2022161009A1 (zh) | 图像处理方法及装置、存储介质、终端 | |
| US20030007687A1 (en) | Correction of "red-eye" effects in images | |
| US20100026833A1 (en) | Automatic face and skin beautification using face detection | |
| CN111524080A (zh) | 脸部皮肤特征的识别方法、终端及计算机设备 | |
| CN104794693B (zh) | 一种人脸关键区域自动检测蒙版的人像优化方法 | |
| CN108932493A (zh) | 一种面部皮肤质量评价方法 | |
| CN105139404A (zh) | 一种可检测拍摄质量的证照相机及拍摄质量检测方法 | |
| CN113344836B (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
| CN114155569B (zh) | 一种化妆进度检测方法、装置、设备及存储介质 | |
| CN114240743A (zh) | 一种基于高反差磨皮的人脸图像的美肤方法 | |
| CN114202483B (zh) | 一种基于改进的加性lee滤波磨皮方法 | |
| CN114187207A (zh) | 基于加性lee滤波磨皮的人脸图像的美肤方法 | |
| CN114202482A (zh) | 一种人脸图像去油光的方法 | |
| Choudhury et al. | Perceptually motivated automatic color contrast enhancement based on color constancy estimation | |
| CN114219739A (zh) | 一种高反差磨皮算法 | |
| CN114627003A (zh) | 人脸图像的眼部脂肪去除方法、系统、设备及存储介质 | |
| Samuelsson | Classification of Skin Pixels in Images: Using feature recognition and threshold segmentation | |
| Kamble | Foundation Makeup Shade Recommendation using Computer Vision Based on Skin Tone Recognition | |
| Ciuc et al. | Objective measures for quality assessment of automatic skin enhancement algorithms | |
| CN116612036A (zh) | 一种基于Unity实现人像磨皮和美白的方法 | |
| CN114757892A (zh) | 基于人工智能的透视材料缺陷检测方法与系统 | |
| CN115909466A (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |