CN114219739A - 一种高反差磨皮算法 - Google Patents

一种高反差磨皮算法 Download PDF

Info

Publication number
CN114219739A
CN114219739A CN202111539882.5A CN202111539882A CN114219739A CN 114219739 A CN114219739 A CN 114219739A CN 202111539882 A CN202111539882 A CN 202111539882A CN 114219739 A CN114219739 A CN 114219739A
Authority
CN
China
Prior art keywords
image
skin
pixel
training sample
segmentation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111539882.5A
Other languages
English (en)
Inventor
何鑫
杨梦宁
李小斌
汪涵
李亚涛
向刚
陈开润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Mihong Technology Co ltd
Original Assignee
Chongqing Mihong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Mihong Technology Co ltd filed Critical Chongqing Mihong Technology Co ltd
Priority to CN202111539882.5A priority Critical patent/CN114219739A/zh
Publication of CN114219739A publication Critical patent/CN114219739A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种高反差磨皮算法，S1获取人脸原图像S，对人脸原图像S进行保边滤波得到图像A；S2对图像A和人脸原图像S进行高反差计算得到图像F；S3对图像F以半径r2进行高斯模糊得到图像H；S4对图像H和图像S进行线性光图层混合计算，得到图像E；S5对图像A进行皮肤检测和人脸检测，得到皮肤掩码图像M；S6根据图像F，将图像A和图像E进行融合，得到图像G；S7根据参数r3将图像G和图像S进行融合，得到最终的输出图像D输出。高反差磨皮算法是利用滤波器较好的柔化干燥、粗糙的皮肤，具有较好的应用效果，适合于人脸图像的精致修调，而且也不会存在失真、虚假的效果，适合投入应用之中。

Description

一种高反差磨皮算法
技术领域
本发明涉及美颜方法，特别涉及一种高反差磨皮算法。
背景技术
随着经济的发展，生活水平的进步，摄影行业的规模持续增长，其中的人像摄影主要包括婚纱摄影、儿童摄影、全家福等，市场需求量增长趋势明显。人像摄影的后期影像处理，主要针对的是人脸和人体皮肤的美化。大规模的影楼照片和个人照片需要专业的、快速的、参数自适应的自动美肤算法进行处理。
现在市面上商业或开源的美颜磨皮算法或者模型存在一些弊端，磨皮过度导致皮肤失真，纹理无保留，或者模型过于复杂，商用效果较差。
人像磨皮算法的主要理论基础有两点，皮肤斑点区域的颜色减淡和皮肤斑点区域的滤波。基于这两点，人像磨皮算法可分为以下几种：通用磨皮算法、通道磨皮算法、细节叠加磨皮算法等。
通用磨皮算法是最基础的磨皮算法，其风格属于光滑型。通道磨皮算法起源于PhotoShop中的磨皮操作，是基于人像蓝色通道计算的一种磨皮算法，其原理是对皮肤的暗斑区域进行调亮，使得暗斑颜色简单，从而达到暗斑小时的近似磨皮的效果，其风格属于自然光滑型。细节叠加磨皮是使用双重尺度的保边滤波依次叠加细节信息的磨皮方法，该方法在大半径平滑图像之上叠加不同的细节信息，以达到磨皮的需求。
上述技术所涉及的具体磨皮算法要么所需时间过长，要么具体效果不佳。如表面模糊算法，虽然效果略优于高斯滤波磨皮算法，具有良好的保边作用，但其所需要的时间过长，因为表面模糊算法需要对图像的RGB三个分量分别进行计算，对于三层分量中的每一个像素点都要计算其卷积矩阵。高斯滤波算法虽然速度略快于表面模糊算法，但高斯滤波算法会将一些边界区域的皮肤同样进行模糊，不具有良好的保边作用。
发明内容
针对现有技术存在的上述问题，本发明要解决的技术问题是：如何确保图像在磨皮去噪的同时具有很好的保真效果。
为解决上述技术问题，本发明采用如下技术方案：一种高反差磨皮算法，包括如下步骤：
S1：获取人脸原图像S，对人脸原图像S进行保边滤波得到图像A；
S2：对图像A和人脸原图像S进行高反差计算得到图像F，计算公式如下：
B＝S-Gauss(S，r1)+128 (1-1)；
S3：对图像F以半径r2进行高斯模糊得到图像H；
S4：对图像H和图像S进行线性光图层混合计算，得到图像E，图层的线性光混合计算公式1-2如下：
E＝2*C+S-256 (1-2)；
S5：对图像A进行皮肤检测和人脸检测，得到皮肤掩码图像M；
S6：根据图像F，将图像A和图像E进行融合，得到图像G，融合的公式1-3如下：
G＝A*(1-M)+M*E (1-3)；
S7：根据参数r3将图像G和图像S进行融合，得到最终的输出图像D，融合公式1-4如下：
D＝S*(1-r3)+G*r3 (1-4)。
作为改进，所述S中所述对人脸原图像S采用双边滤波对人脸原图像S进行保边滤波，具体过程如下：
根据公式1-15弱化皮肤瑕疵和斑点：
Figure BDA0003413671530000021
Ifiltered(x)表示经过双边滤波后的点的像素值，xi的是图片中的像素点，I(xi)表示的是此像素点的像素值，Ω表示的是以一中心点，半径为r的正方形所组成的点的平面集合，fr表示的是范围核I(x)表示的是中心点的像素值；
根据公式1-6计算坐标(i，j)点的双边滤波后的像素值：
Figure BDA0003413671530000022
根据公式1-7计算出w1(i，j，k，l)，此处i和j对应于(0，0)点，k和1对应于此正方形中其他部分的坐标值，σd为手动设置的值，I1(i，j)即I1(0，0)即为中心点的像素值，I1(k，l)表示此正方形中其他点的像素值，σr为手动设置的值：
Figure BDA0003413671530000023
根据公式1-8将对应点的像素值对应点的w1(j，j，k，l)相加即可得到该点双边滤波后的像素值：
Figure BDA0003413671530000031
归一化函数Wp定义为公式1-9：
Figure BDA0003413671530000037
使用空间接近度和强度差来赋值给权重Wp；
Figure BDA0003413671530000032
Figure BDA0003413671530000033
Wp＝gs*fr (1-12)；
其中gs为空间接近度的空间核，fr为强度差的范围核；
设定图像中正在进行去噪的像素的坐标为(i，j)，使用的周围像素之一的坐标是(k，l)，设范围核和空间核是高斯核函数，为像素(k，l)赋值的用于去噪像素(i，j)的权重公式1-13如下：
Figure BDA0003413671530000034
其中，σd和σr是平滑参数，I2(i，j)和I2(k，l)分别是像素(i，j)和像素(k，l)的强度，在计算权重之后，再将其归一化，公式1-14为：
Figure BDA0003413671530000035
其中，I3(i，j)是像素(i，j)的去噪强度。
作为改进，所述S3对图像F以半径r2进行高斯模糊得到图像H的过程如下：
S31：将所述图像F分成RGB三个通道的灰度图像；
S32：对S31得到三个灰度图像中的所有像素点分别采用公式1-5进行高斯滤波：
Figure BDA0003413671530000036
其中，(x，y)表示窗口内的点坐标，σ表示的是人为设定的一个参数值；
S33：将通过S32高斯滤波得到的三个通道的图进行迭代得到图像H。
作为改进，所述S5图像A进行皮肤检测和人脸检测，得到人脸的皮肤掩码图像M的过程如下：
S51：建立皮肤分割模型，该模型包括用于提取图像特征骨干网络，用于生成掩模图的生成器和用于判定生成掩模图准确性的判别器；
采用U-NET++作为皮肤分割模型，采用ResNet-101作为骨干网络；
获取多张人脸原始图像，并对人脸原始图像进行标记，将每个人脸原始图像中的人体区域标注出来得到的一号掩模图作为一号训练样本，将一号训练样本中的皮肤部分标注出来得到的二号掩模图作为二号训练样本；
S52：初始化皮肤分割模型参数；
S53：将每个一号训练样本输入骨干网络中，得到对应的多个不同尺度的特征图；
S54：将每个一号训练样本对应的多个不同尺度的特征图输入生成器中，得到每个一号训练样本的一号预测掩模图；
S55：将每个一号训练样本的一号预测掩模图和一号掩模图输入判别器，得到预测准确率，当准确率到达设定准确率阈值时，得到次优皮肤分割模型并执行下一步，否则更新皮肤分割模型的参数并返回S53；
S56：将每个二号训练样本输入次优皮肤分割模型中的骨干网络中，得到对应的多个不同尺度的特征图；
S57：将每个二号训练样本对应的多个不同尺度的特征图输入次优皮肤分割模型中的生成器中，得到每个二号训练样本的二号预测掩模图；
S58：将每个二号训练样本的二号预测掩模图和二号掩模图输入次优皮肤分割模型中的判别器，得到预测准确率，当准确率到达设定准确率阈值时，得到最优皮肤分割模型并执行下一步，否则更新皮肤分割模型的参数并返回S56；
S59：将图像A输入最优皮肤分割模型得到皮肤掩码图像M。
高反差磨皮算法是利用滤波器较好的柔化干燥、粗糙的皮肤。高反差磨皮相较于其他磨皮方式具有很好的保边的磨皮效果，虽然过程较为复杂，但随着gpu和cpu算力的提高，此磨皮方法的速度也会随之提高，因此，高反差磨皮方法具有较好的应用效果，适合于人脸图像的精致修调，而且也不会存在失真、虚假的效果，适合投入应用之中。
附图说明
图1为基于高反差磨皮的流程图。
图2为皮肤分割模型的结构示意图。
具体实施方式
下面对本发明作进一步详细说明。
参见图1和图2，一种高反差磨皮算法，包括如下步骤：
S1：获取人脸原图像S，对人脸原图像S进行保边滤波得到图像A；
S2：对图像A和人脸原图像S进行高反差计算得到图像F，计算公式如下：
B＝S-Gauss(S，r1)+128 (1-1)；
S3：对图像F以半径r2进行高斯模糊得到；半径参数的默认值为3。
S4：对图像H和图像S进行线性光图层混合计算，得到图像E，图层的线性光混合计算公式1-2如下：
E＝2*C+S-256 (1-2)；
S5：对图像A进行皮肤检测和人脸检测，得到皮肤掩码图像M；
S6：根据图像F，将图像A和图像E进行融合，得到图像G，融合的公式1-3如下：
G＝A*(1-M)+M*E (1-3)；
S7：根据参数r3将图像G和图像S进行融合，得到最终的输出图像D，融合公式1-4如下：
D＝S*(1-r3)+G*r3 (1-4)；
具体的，S1中对人脸原图像S进行保边滤波得到图像A时可以采用任何现有的滤波方法进行比如表面滤波，半径参数为r1；
自然图像都存在噪声，比如由于光照、环境等影响造成人脸上某一很小部分突兀的像素点，而噪声和边缘(边缘就是比如说皮肤和眼睛的交界处，边缘部分像素差异较大)在某些方面表现相似，一般的滤波器无法区分噪声和边缘，于是对其统一处理，因此很多情况下，滤波的同时，边缘也被处理模糊掉了。保边滤波器是指在滤波过程中能够有效的保留图像中的边缘信息的一类滤波器。
本发明采用双边滤波器，是双边滤波器一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折衷处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。双边滤波器能够做到在平滑去噪的同时还能够很好的保存边缘。双边滤波的计算公式如下：
Figure BDA0003413671530000051
其中I′(i，j)表示I′点经过双边滤波后的像素值，其中(i，j)表示其坐标，此坐标一般为(0，0)，因为要以此点为中心，构成半径为r1的正方形，半径为r1指的是像素原点向外拓展的值，故正方形边长为2r1+1，其中f′(k，l)为除I点之外正方形中其他点的像素值，w′(i，j，k，l)＝wr*ws，wr为像素值相似度高斯函数，ws为空间临近高斯函数。经过双边滤波，就能有效地达到去除S图(原图)中噪声同时保存边缘像素的作用(作用有限)。方便后期进行高反差计算和皮肤检测。
具体的，所述对人脸原图像S进行保边滤波得到图像A的过程如下：
由于对皮肤进行模糊处理，弱化人脸的细节、五官、边缘、轮廓等，普通的滤波器处理之后，图像会显得过于“假”，丢失质感。双边滤波可以边缘保留，因此在磨皮算法中，在弱化皮肤瑕疵、斑点的同时，还可以保留肤质的质感，使得输出图像的观感比较细腻。公式定义为1-6：
Figure BDA0003413671530000061
Ifiltered(x)表示经过双边滤波后的点的像素值，xi的是图片中的像素点，I(xi)表示的是此像素点的像素值(又称像素亮度值，因为需要对彩色图片的R、G、B三层分别进行此双边滤波操作，每一层为灰度图像，取值范围0-255)，Ω表示的是以某一中心点，半径为r的正方形所组成的点的平面集合，fr表示的是范围核I(x)表示的是中心点的像素值。
举例如下：在R、G、B构成的彩色图片中，随机提取一层进行运算(灰度图像)，此处假设双边滤波的半径为1，即构成一个3*3的正方形，如表1：
Figure BDA0003413671530000062
其中(*)表示的是坐标，对应x和y，其下数值代表图像的像素值(强度)
根据公式1-6计算坐标(i，j)点的双边滤波后的像素值(pS1：计算哪个点的双边滤波后的像素值就以哪个点为中心做出半径为1的正方形，其坐标设置为(0，0))即我们现在要计算坐标为(0，0)点的像素。
Figure BDA0003413671530000063
根据公式1-7计算出w1(i，j，k，l)，此处i和j对应于(0，0)点，k和1对应于此正方形中其他部分的坐标值。σd为自己手动设置的值，I1(i，j)即I1(0，0)即为中心点的像素值(强度)，同理，I1(k，l)表示此正方形中其他点的像素值(强度)σr同样也为手动设置的值：
Figure BDA0003413671530000064
根据公式1-8将对应点的像素值*对应点的w1(j，j，k，l)相加(此处共9个点，原点自身带入公式即可得到其像素值为原来的值，与其他8个点双边滤波后的值相加即可)即可得到该点双边滤波后的像素值(强度)。
Figure BDA0003413671530000071
归一化函数Wp定义为公式1-9：
Figure BDA0003413671530000077
使用空间接近度(空间核gs)和强度差(范围核fr)来赋值给权重Wp。
Figure BDA0003413671530000072
Figure BDA0003413671530000073
Wp＝gs*fr (1-12)；
设定图像中正在进行去噪的像素的坐标为(i，j)，使用的周围像素之一的坐标是(k，l)，假设范围核和空间核是高斯核函数，为像素(k，l)赋值的用于去噪像素(i，j)的权重公式1-13如下：
Figure BDA0003413671530000074
其中，σd和σr是平滑参数，I2(i，j)和I2(k，l)分别是像素(i，j)和像素(k，l)的强度，在计算权重之后，再将其归一化，公式1-14为：
Figure BDA0003413671530000075
其中，I3(i，j)是像素(i，j)的去噪强度。
在实验过程中验证发现，虽然基于双边滤波器的磨皮算法效果很好，但是当皮肤的皱纹、痘印等瑕疵比较严重时，需要增大滤波器的参数，而当强度参数过大时，算法速度会受到较大影响。因此下文将提出基于改进的lee滤波器实现磨皮算法。
具体的，所述S3对图像F以半径r2进行高斯模糊得到图像H的过程如下：
高斯模糊即高斯滤波，高斯滤波就是将(灰度)图像和一个高斯核进行卷积操作，理论上，高斯分布在所有定义域上都有非负值，这就需要一个无限大的卷积核。在实际的计算过程中，卷积核是固定大小的，只需要将待计算的“中心点”作为原点，将周围的点按照正态分布函数分配权重，计算加权平均值，得到最终的值，这个过程就是二维高斯核的卷积过程如果原图是彩色图片，可以对RGB三个通道分别做高斯滤波。
S31：将所述图像F分成RGB三个通道的灰度图像；
S32：对S31得到三个灰度图像中的所有像素点分别采用公式1-7进行高斯滤波：
Figure BDA0003413671530000076
其中，(x,y)表示窗口内的点坐标，σ表示的是人为设定的一个参数值(超参数)。
S33：将通过S32高斯滤波得到的三个通道的图进行迭代得到图像H。
具体实施时，半径r2＝3，故应该设计边长为2*3+1的正方形，但是为了举例说明，下面设r2＝1的正方形，即一个3*3的九宫格，用于阐述高斯模糊的过程其位置信息如九宫格中所示，中心点的坐标信息为(0,0)。
表1
(-1,1) (0,1) (1,1)
(-1,0) (0,0) (1,0)
(-1,-1) (0,-1) (1,-1)
将表格中每个点的坐标信息带入上述公式对应的x,y中，并人为设定σ＝1.5，计算后的信息如表2所示：
表2
0.0453 0.0566 0.0453
0.0566 0.0707 0.0566
0.0453 0.0566 0.0453
之后进行归一化处理，具体操作方式是求出此矩阵的总和为0.4783，然后再将该矩阵的9个值分别除以0.4783，得到最终的卷积核(权重矩阵)。
表3
0.0947 0.1183 0.0947
0.1183 0.1478 0.1183
0.0947 0.1183 0.0947
通过上述步骤计算出了高斯核，基于该高斯核便可进行高斯滤波操作。假设现有9个像素点，灰度值(0-255)如表4所示：
表4
14 15 16
24 25 26
34 35 36
每个像素点的值乘以相高斯核中对应的权重值，得到最终的分布值。假设图片的像素值如表5所示：
表5
14*0.0947 15*0.1183 16*0.0947
24*0.1183 25*0.1478 26*0.1183
34*0.0947 35*0.1183 36*0.0947
高斯核对应相乘像素点的值如表6所示：
表6
1.3258 1.7745 1.5152
2.8392 3.6950 3.0758
3.2198 4.1405 3.4092
对图片中所有的像素点重复这个过程，即每个像素点都将得到9个高斯滤波值，将其相加，就得到了高斯滤波后的图像。
原文中采用的高斯半径为3，故高斯核应为7*7的正方形，采用同样的方法即可得到高斯滤波后的图像。
具体的，所述S5图像A进行皮肤检测和人脸检测，得到人脸的皮肤掩码图像M的过程如下：
S51：建立皮肤分割模型，该模型包括用于提取图像特征骨干网络，用于生成掩模图的生成器和用于判定生成掩模图准确性的判别器；
采用U-NET++作为皮肤分割模型，采用ResNet-101作为骨干网络；
获取多张人脸原始图像，并对人脸原始图像进行标记，将每个人脸原始图像中的人体区域标注出来得到的一号掩模图作为一号训练样本，将一号训练样本中的皮肤部分标注出来得到的二号掩模图作为二号训练样本。
第一次掩模图：采用1000张人像照片，制作人体区域的掩模图，人体区域包含了头发、衣服、皮肤等，设置颜色为白色R＝G＝B＝255，非人体的区域颜色设置为R＝G＝B＝0。第二次的掩模图采用相同的1000张人像照片，对数据集进行了掩模制作，将皮肤区域的颜色标记为R＝G＝B＝255，非皮肤区域的颜色标记为R＝G＝B＝0。
S52：初始化皮肤分割模型参数。
S53：将每个一号训练样本输入骨干网络中，得到对应的多个不同尺度的特征图；(每个特征图中均包括多个特征，例如1号训练样本中的内容、颜色、梯度和纹理)。
S54：将每个一号训练样本对应的多个不同尺度的特征图输入生成器中，得到每个一号训练样本的一号预测掩模图。
S55：将每个一号训练样本的一号预测掩模图和一号掩模图输入判别器，得到预测准确率，当准确率到达设定准确率阈值时，得到次优皮肤分割模型并执行下一步，否则更新皮肤分割模型的参数并返回S53。
S56：将每个二号训练样本输入次优皮肤分割模型中的骨干网络中，得到对应的多个不同尺度的特征图；
S57：将每个二号训练样本对应的多个不同尺度的特征图输入次优皮肤分割模型中的生成器中，得到每个二号训练样本的二号预测掩模图；
S58：将每个二号训练样本的二号预测掩模图和二号掩模图输入次优皮肤分割模型中的判别器，得到预测准确率，当准确率到达设定准确率阈值时，得到最优皮肤分割模型并执行下一步，否则更新皮肤分割模型的参数并返回S56；
分割算法用时用秒为单位来表示，用时越短，分割速度越快。分割准确率的评价指标使用交并比(Intersection over Union，IoU)，其计算公式为3.1
Figure BDA0003413671530000101
其中|·|表示集合的像素数量，A表示预测所得掩模图的集合，B表示实际掩模图的集合。IoU指标的取值范围都是[0，1]，当取值越接近于1时，说明两个集合的重合率越高，准确率越高。
S59：将图像A输入最优皮肤分割模型得到皮肤掩码图像M。
在人像照片后期处理领域中，由于人物受光照、环境、相机曝光、角度、摄影师水平等多方面影响，皮肤图像边界模糊、梯度复杂、背景干扰大，因此传统的图像分割算法准确率不高、稳定性低。经过对比分析，发现深度学习中的U-Net++模型对于图像分割的强大能力，适用于人体皮肤图像分割任务。
本发明提出皮肤分割模型即U-Net++模型进行人像皮肤分割的方法，该模型一种高效、准确、实用的算法。既可以有效避免相似颜色背景和相似结构特征的干扰，也可以完整的扣出图像中的人体皮肤部分，生成对应的掩模图和皮肤图层，为后续的美肤模型提供输入。
U-Net++的骨干网络使用ResNet101，模型的结构如图2所示，输入人像照片，如此结构中的图像A，经过U-Net++模型的学习和训练，输出皮肤掩码图像M。
磨皮需要既满足淡化痣、痘印、瑕疵、斑点等功能，又要保留脸部的细节、五官的轮廓、阴影与光照的对比，弱化美颜处理的痕迹。因此在Photoshop软件的商业修图中，采用了改进的表面滤波这种保边效果好、质感精细的方法。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种高反差磨皮算法，其特征在于：包括如下步骤：
S1：获取人脸原图像S，对人脸原图像S进行保边滤波得到图像A；
S2：对图像A和人脸原图像S进行高反差计算得到图像F，计算公式如下：
B＝S-Gauss(S，r1)+128 (1-1)；
S3：对图像F以半径r2进行高斯模糊得到图像H；
S4：对图像H和图像S进行线性光图层混合计算，得到图像E，图层的线性光混合计算公式1-2如下：
E＝2*C+S-256 (1-2)；
S5：对图像A进行皮肤检测和人脸检测，得到皮肤掩码图像M；
S6：根据图像F，将图像A和图像E进行融合，得到图像G，融合的公式1-3如下：
G＝A*(1-M)+M*E (1-3)；
S7：根据参数r3将图像G和图像S进行融合，得到最终的输出图像D，融合公式1-4如下：
D＝S*(1-r3)+G*r3 (1-4)。
2.如权利要求2所述一种高反差磨皮算法，其特征在于，所述S中所述对人脸原图像S采用双边滤波对人脸原图像S进行保边滤波，具体过程如下：
根据公式1-15弱化皮肤瑕疵和斑点：
Figure FDA0003413671520000011
Ifiltered(x)表示经过双边滤波后的点的像素值，xi的是图片中的像素点，I(xi)表示的是此像素点的像素值，Ω表示的是以一中心点，半径为r的正方形所组成的点的平面集合，fr表示的是范围核I(x)表示的是中心点的像素值；
根据公式1-6计算坐标(i，j)点的双边滤波后的像素值：
Figure FDA0003413671520000012
根据公式1-7计算出w1(i，j，k，l)，此处i和j对应于(0，0)点，k和l对应于此正方形中其他部分的坐标值，σd为手动设置的值，I1(i，j)即I1(0，0)即为中心点的像素值，I1(k，l)表示此正方形中其他点的像素值，σr为手动设置的值：
Figure FDA0003413671520000013
根据公式1-8将对应点的像素值对应点的w1(j，j，k，l)相加即可得到该点双边滤波后的像素值：
Figure FDA0003413671520000021
归一化函数Wp定义为公式1-9：
Figure FDA0003413671520000022
使用空间接近度和强度差来赋值给权重Wp；
Figure FDA0003413671520000023
Figure FDA0003413671520000024
Wp＝gs*fr (1-12)；
其中gs为空间接近度的空间核，fr为强度差的范围核；
设定图像中正在进行去噪的像素的坐标为(i，j)，使用的周围像素之一的坐标是(k，l)，设范围核和空间核是高斯核函数，为像素(k，l)赋值的用于去噪像素(i，j)的权重公式1-13如下：
Figure FDA0003413671520000025
其中，σd和σr是平滑参数，I2(i，j)和I2(k，l)分别是像素(i，j)和像素(k，l)的强度，在计算权重之后，再将其归一化，公式1-14为：
Figure FDA0003413671520000026
其中，I3(i，j)是像素(i，j)的去噪强度。
3.如权利要求1或2所述一种高反差磨皮算法，其特征在于，所述S3对图像F以半径r2进行高斯模糊得到图像H的过程如下：
S31：将所述图像F分成RGB三个通道的灰度图像；
S32：对S31得到三个灰度图像中的所有像素点分别采用公式1-5进行高斯滤波：
Figure FDA0003413671520000027
其中，(x，y)表示窗口内的点坐标，σ表示的是人为设定的一个参数值；
S33：将通过S32高斯滤波得到的三个通道的图进行迭代得到图像H。
4.如权利要求3所述一种高反差磨皮算法，其特征在于，所述S5图像A进行皮肤检测和人脸检测，得到人脸的皮肤掩码图像M的过程如下：
S51：建立皮肤分割模型，该模型包括用于提取图像特征骨干网络，用于生成掩模图的生成器和用于判定生成掩模图准确性的判别器；
采用U-NET++作为皮肤分割模型，采用ResNet-101作为骨干网络；
获取多张人脸原始图像，并对人脸原始图像进行标记，将每个人脸原始图像中的人体区域标注出来得到的一号掩模图作为一号训练样本，将一号训练样本中的皮肤部分标注出来得到的二号掩模图作为二号训练样本；
S52：初始化皮肤分割模型参数；
S53：将每个一号训练样本输入骨干网络中，得到对应的多个不同尺度的特征图；
S54：将每个一号训练样本对应的多个不同尺度的特征图输入生成器中，得到每个一号训练样本的一号预测掩模图；
S55：将每个一号训练样本的一号预测掩模图和一号掩模图输入判别器，得到预测准确率，当准确率到达设定准确率阈值时，得到次优皮肤分割模型并执行下一步，否则更新皮肤分割模型的参数并返回S53；
S56：将每个二号训练样本输入次优皮肤分割模型中的骨干网络中，得到对应的多个不同尺度的特征图；
S57：将每个二号训练样本对应的多个不同尺度的特征图输入次优皮肤分割模型中的生成器中，得到每个二号训练样本的二号预测掩模图；
S58：将每个二号训练样本的二号预测掩模图和二号掩模图输入次优皮肤分割模型中的判别器，得到预测准确率，当准确率到达设定准确率阈值时，得到最优皮肤分割模型并执行下一步，否则更新皮肤分割模型的参数并返回S56；
S59：将图像A输入最优皮肤分割模型得到皮肤掩码图像M。
CN202111539882.5A 2021-12-15 2021-12-15 一种高反差磨皮算法 Pending CN114219739A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111539882.5A CN114219739A (zh) 2021-12-15 2021-12-15 一种高反差磨皮算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111539882.5A CN114219739A (zh) 2021-12-15 2021-12-15 一种高反差磨皮算法

Publications (1)

Publication Number Publication Date
CN114219739A true CN114219739A (zh) 2022-03-22

Family

ID=80702721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111539882.5A Pending CN114219739A (zh) 2021-12-15 2021-12-15 一种高反差磨皮算法

Country Status (1)

Country Link
CN (1) CN114219739A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116579946A (zh) * 2023-05-24 2023-08-11 深圳市闪剪智能科技有限公司 图像轮廓保留的高斯模糊方法以及相关装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116579946A (zh) * 2023-05-24 2023-08-11 深圳市闪剪智能科技有限公司 图像轮廓保留的高斯模糊方法以及相关装置

Similar Documents

Publication Publication Date Title
Wang et al. Single image dehazing based on the physical model and MSRCR algorithm
CN101587593B (zh) 一种基于真实图像素描风格化的方法
CN104252698B (zh) 一种基于半逆法的快速单幅图像去雾算法
CN109712095B (zh) 一种快速边缘保留的人脸美化方法
CN106709964B (zh) 基于梯度修正和多向纹理提取的素描画生成方法及装置
WO2022088976A1 (zh) 图像处理方法及装置
CN108510500A (zh) 一种基于人脸肤色检测的虚拟人物形象的头发图层处理方法及系统
Tang et al. A local flatness based variational approach to retinex
CN107516302A (zh) 一种基于OpenCV的混合图像增强的方法
Semmo et al. Image stylization by oil paint filtering using color palettes
Yin et al. Multiscale fusion algorithm for underwater image enhancement based on color preservation
CN108711160A (zh) 一种基于hsi增强性模型的目标分割方法
Zang et al. Artistic preprocessing for painterly rendering and image stylization
CN114219739A (zh) 一种高反差磨皮算法
CN104168402A (zh) 一种视频帧图像去雾方法及装置
Han et al. Low contrast image enhancement using convolutional neural network with simple reflection model
Cong et al. Selective image abstraction
CN114240743B (zh) 一种基于高反差磨皮的人脸图像的美肤方法
Lee et al. Ramp distribution-based contrast enhancement techniques and over-contrast measure
CN116993614A (zh) 精细天空分割和透射率融合图像去雾方法
CN113012067B (zh) 基于Retinex理论和端到端深度网络的水下图像复原方法
CN109934190B (zh) 基于变形高斯核函数的自适应强光人脸图像纹理恢复方法
Rezaei Artistic rendering of human portraits paying attention to facial features
Akai et al. Low-Artifact and Fast Backlit Image Enhancement Method Based on Suppression of Lightness Order Error
Lin et al. Research on the illumination robust of target recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination