CN110223260A - 一种人脸自动磨皮的图像处理方法 - Google Patents

一种人脸自动磨皮的图像处理方法 Download PDF

Info

Publication number
CN110223260A
CN110223260A CN201910533604.5A CN201910533604A CN110223260A CN 110223260 A CN110223260 A CN 110223260A CN 201910533604 A CN201910533604 A CN 201910533604A CN 110223260 A CN110223260 A CN 110223260A
Authority
CN
China
Prior art keywords
skin
colour
image
face
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910533604.5A
Other languages
English (en)
Inventor
张智森
温泉
黄章进
李明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Face-Changing Intelligent Technology Co Ltd
Original Assignee
Anhui Face-Changing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Face-Changing Intelligent Technology Co Ltd filed Critical Anhui Face-Changing Intelligent Technology Co Ltd
Priority to CN201910533604.5A priority Critical patent/CN110223260A/zh
Publication of CN110223260A publication Critical patent/CN110223260A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸自动磨皮的图像处理方法,包括以下步骤:(1)对图像进行人脸识别,获取人脸特征点;(2)对特征点进行拟合获取人脸区域;(3)对人脸区域进行均值计算,获取平均肤色;(4)根据平均肤色计算出肤色相似度图,利用归一化后的肤色相似度图融合步骤(3)中获取的平滑轮廓;(5)对图像进行全局平滑滤波,获取平滑后图片。本发明采用卷积神经网络的方法获取包围五官的特征点位置,将特征点利用薄板样条曲线插值算法连成一个封闭的脸部轮廓曲线,可准确获取脸部轮廓曲线;使用一种自适应估计肤色相似区域的肤色椭圆模型方法并通过结合色度通道统计信息与椭圆聚类信息的调参方法进行调参,可准确获取平均肤色。

Description

一种人脸自动磨皮的图像处理方法
技术领域
本发明主要涉及图像处理技术领域,具体涉及一种人脸自动磨皮的图像处理方法。
背景技术
目前有很多用于人脸磨皮的算法和软件,但是未采用薄板样条曲线插值算法,脸部轮廓曲线不准确;未通过使用一种自适应估计肤色相似区域的方法,并精确调参,故难以获取准确的平均肤色。
发明内容
本发明目的就是为了弥补已有技术的缺陷,提供一种人脸自动磨皮的图像处理方法。
本发明是通过以下技术方案实现的:
一种人脸自动磨皮的图像处理方法,其特征在于,包括以下步骤:
(1)对图像进行人脸识别,获取人脸特征点;
(2)通过对步骤(1)获取的特征点进行拟合获取人脸区域;
(3)对步骤(2)获取的人脸区域进行均值计算,获取平均肤色;
(4)根据平均肤色计算出肤色相似度图,利用归一化后的肤色相似度图融合步骤(3)中获取的平滑轮廓;
(5)对图像进行全局平滑滤波,获取平滑后图片。
步骤(1)所述的获取人脸特征点的方法,是通过卷积神经网络的方法进行特征点位置的定位,并获取包围五官的特征点位置。
步骤(2)所述的获取人脸区域的方法,是将眉毛特征点和脸部轮廓特征点利用薄板样条曲线插值算法连成-个封闭的脸部轮廓曲线。
步骤(3)所述的获取平均肤色过程具体为:
(3.1)根据步骤(2)中获取到的脸部轮廓曲线的区域生成黑白轮廓图,其中,脸部区域用白色表示,其他区域用黑色表示;
(3.2)对该轮廓图统计肤色均值信息,为了更好的保留非肤色区域的细节,结合肤色相似性,使用一种自适应估计肤色相似区域的肤色椭圆模型方法;
(3.3)为了获得更高精度的肤色模型,通过结合色度通道统计信息与椭圆聚类信息的调参方法进行调参。
所述一种自适应估计肤色相似区域的肤色椭圆模型方法的具体步骤为:
建立肤色椭圆模型
其中,Icb和Icr分别是在YCbCr空间上的蓝色和红色色度分量;cx和cy分别是Icb和Icr的中心值;(ecb,ecr)是旋转后的肤色椭圆心坐标,ra和rb分别是旋转后的椭圆长和短半轴,θ是肤色椭圆模型坐标的旋转角,I′cb和I′cr是经过旋转后的蓝色和红色色度分量;
利用肤色相似度信息,可得到连续肤色相似度图为:
其中σs是相似度参数,用于控制肤色相似程度;k1和k2为控制椭圆半径参数;
默认参数设置:
cx=109.38,cy=152.02,ecb=2.41,ra=25.39,rb=14.03,θ=2.53。
步骤(4)所述的根据平均肤色计算出肤色相似度图,利用归一化后的肤色相似度图融合步骤(3)中获取的平滑轮廓,具体步骤为:
(4.1)为了得到Icb和Icr色度通道直方图的分布情况,先将人脸图像转换为YCbCr亮度和色度空间,为了减少人脸瑕疵的影响,对Icb和Icr色度通道进行形态学处理,得到相应色度通道归一化直方图Hcb(x)和Hcr(x);
(4.2)结合色度通道统计信息和椭圆聚类信息,皮肤在色度通道粗略分布的范围为76≤cb≤127和132≤cr≤173,再利用计算重心公式求出相应直方图Hcb(x)和Hcr(x)在该范围内的重心值:
(4.3)利用色度通道肤色分布特性,计算出椭圆的长短半径分别为:
ra=0.7×(cx-76)+0.3×(127-cx)和
rb=0.3×(cy-132)+0.7×(173-cy);
(4.4)在实验处理中,控制椭圆半径参数为k1=1.22和k2=1.20,相似度参数θs=0.71,椭圆心坐标ecb=1.60,ecr=2.41,旋转角θ=2.53°;
(4.5)为了尽量减少非皮肤区域信息的丢失,需要对平滑图像和原图进行肤色融合,直接在归一化连续肤色相似度图Isskin上对原图和肤质保留平滑后的图进行肤色相似通道融合,融合公式为:
I′=(1-Isskin).×Isrc+Isskin.×Ismooth
其中,Isrc为原始人脸图像,Ismooth是肤质保留图像,I′是融合后的图像,·×是点乘操作符。
步骤(5)所述的对图像进行全局平滑滤波,具体步骤为:
平滑图像采用高斯全局滤波:
其中,Isrc为原始人脸图像,α为肤质保留权重,用于控制肤色保留的程度,其取值范围为[0,2];σc为值域参数,控制保留边缘强度;λc为平滑权重,控制图像空域平滑程度;rG是高斯滤波半径;σG是高斯标准差,控制图像模糊程度;为卷积运算符;Ismooth是肤质保留图像。
本发明的优点是:
本发明采用卷积神经网络的方法获取包围五官的特征点位置,将特征点利用薄板样条曲线插值算法连成一个封闭的脸部轮廓曲线,可准确获取脸部轮廓曲线;使用一种自适应估计肤色相似区域的肤色椭圆模型方法来获取平均肤色;且为了获得更高精度的肤色模型,通过结合色度通道统计信息与椭圆聚类信息的调参方法进行调参,可准确获取平均肤色。
具体实施方式
一种人脸自动磨皮的图像处理方法,包括以下步骤:
(1)对图像进行人脸识别,获取人脸特征点;
(2)通过对步骤(1)获取的特征点进行拟合获取人脸区域;
(3)对步骤(2)获取的人脸区域进行均值计算,获取平均肤色;
(4)根据平均肤色计算出肤色相似度图,利用归一化后的肤色相似度图融合步骤(3)中获取的平滑轮廓;
(5)对图像进行全局平滑滤波,获取平滑后图片。
步骤(1)所述的获取人脸特征点的方法,是通过卷积神经网络的方法进行特征点位置的定位,并获取包围五官的特征点位置。
步骤(2)所述的获取人脸区域的方法,是将眉毛特征点和脸部轮廓特征点利用薄板样条曲线插值算法连成一个封闭的脸部轮廓曲线。
步骤(3)所述的获取平均肤色过程具体为:
(3.1)根据步骤(2)中获取到的脸部轮廓曲线的区域生成黑白轮廓图,其中,脸部区域用白色表示,其他区域用黑色表示;
(3.2)对该轮廓图统计肤色均值信息,为了更好的保留非肤色区域的细节,结合肤色相似性,使用一种自适应估计肤色相似区域的肤色椭圆模型方法;
(3.3)为了获得更高精度的肤色模型,通过结合色度通道统计信息与椭圆聚类信息的调参方法进行调参。
所述一种自适应估计肤色相似区域的肤色椭圆模型方法的具体步骤为:
建立肤色椭圆模型
其中,Icb和Icr分别是在YCbCr空间上的蓝色和红色色度分量;cx和cy分别是Icb和Icr的中心值;(ecb,ecr)是旋转后的肤色椭圆心坐标,ra和rb分别是旋转后的椭圆长和短半轴,θ是肤色椭圆模型坐标的旋转角,I′cb和I′cr是经过旋转后的蓝色和红色色度分量;
利用肤色相似度信息,可得到连续肤色相似度图为:
其中σs是相似度参数,用于控制肤色相似程度;k1和k2为控制椭圆半径参数;默认参数设置:
cx=109.38,cy=152.02,ecb=2.41,ra=25.39,rb=14.03,θ=2.53。
步骤(4)所述的根据平均肤色计算出肤色相似度图,利用归一化后的肤色相似度图融合步骤(3)中获取的平滑轮廓,具体步骤为:
(4.1)为了得到Icb和Icr色度通道直方图的分布情况,先将人脸图像转换为YCbCr亮度和色度空间,为了减少人脸瑕疵的影响,对Icb和Icr色度通道进行形态学处理,得到相应色度通道归一化直方图Hcb(x)和Hcr(x);
(4.2)结合色度通道统计信息和椭圆聚类信息,皮肤在色度通道粗略分布的范围为76≤cb≤127和132≤cr≤173,再利用计算重心公式求出相应直方图Hcb(x)和Hcr(x)在该范围内的重心值:
(4.3)利用色度通道肤色分布特性,计算出椭圆的长短半径分别为:
ra=0.7×(cx-76)+0.3×(127-cx)和
rb=0.3×(cy-132)+0.7×(173-cy);
(4.4)在实验处理中,控制椭圆半径参数为k1=1.22和k2=1.20,相似度参数θs=0.71,椭圆心坐标ecb=1.60,ecr=2.41,旋转角θ=2.53°;
(4.5)为了尽量减少非皮肤区域信息的丢失,需要对平滑图像和原图进行肤色融合,直接在归一化连续肤色相似度图Isskin上对原图和肤质保留平滑后的图进行肤色相似通道融合,融合公式为:
I′=(1-Isskin).×Isrc+Isskin.×Ismooth
其中,Isrc为原始人脸图像,Ismooth是肤质保留图像,I′是融合后的图像,R×是点乘操作符。
步骤(5)所述的对图像进行全局平滑滤波,具体步骤为:
平滑图像采用高斯全局滤波:
其中,Isrc为原始人脸图像,α为肤质保留权重,用于控制肤色保留的程度,其取值范围为[0,2];σc为值域参数,控制保留边缘强度;λc为平滑权重,控制图像空域平滑程度;rG是高斯滤波半径;σG是高斯标准差,控制图像模糊程度;为卷积运算符;Ismooth是肤质保留图像。

Claims (7)

1.一种人脸自动磨皮的图像处理方法,其特征在于,包括以下步骤:
(1)对图像进行人脸识别,获取人脸特征点;
(2)通过对步骤(1)获取的特征点进行拟合获取人脸区域;
(3)对步骤(2)获取的人脸区域进行均值计算,获取平均肤色;
(4)根据平均肤色计算出肤色相似度图,利用归一化后的肤色相似度图融合步骤(3)中获取的平滑轮廓;
(5)对图像进行全局平滑滤波,获取平滑后图片。
2.根据权利要求1所述的一种人脸自动磨皮的图像处理方法,其特征在于,步骤(1)所述的获取人脸特征点的方法,是通过卷积神经网络的方法进行特征点位置的定位,并获取包围五官的特征点位置。
3.根据权利要求1所述的一种人脸自动磨皮的图像处理方法,其特征在于,步骤(2)所述的获取人脸区域的方法,是将眉毛特征点和脸部轮廓特征点利用薄板样条曲线插值算法连成一个封闭的脸部轮廓曲线。
4.根据权利要求3所述的一种人脸自动磨皮的图像处理方法,其特征在于,步骤(3)所述的获取平均肤色过程具体为:
(3.1)根据步骤(2)中获取到的脸部轮廓曲线的区域生成黑白轮廓图,其中,脸部区域用白色表示,其他区域用黑色表示;
(3.2)对该轮廓图统计肤色均值信息,为了更好的保留非肤色区域的细节,结合肤色相似性,使用一种自适应估计肤色相似区域的肤色椭圆模型方法;
(3.3)为了获得更高精度的肤色模型,通过结合色度通道统计信息与椭圆聚类信息的调参方法进行调参。
5.根据权利要求4所述的一种人脸自动磨皮的图像处理方法,其特征在于,所述一种自适应估计肤色相似区域的肤色椭圆模型方法的具体步骤为:
建立肤色椭圆模型
其中,Icb和Icr分别是在YCbCr空间上的蓝色和红色色度分量;cx和cy分别是Icb和Icr的中心值;(ecb,ecr)是旋转后的肤色椭圆心坐标,ra和rb分别是旋转后的椭圆长和短半轴,θ是肤色椭圆模型坐标的旋转角,I′cb和I′cr是经过旋转后的蓝色和红色色度分量;
利用肤色相似度信息,可得到连续肤色相似度图为:
其中σs是相似度参数,用于控制肤色相似程度;k1和k2为控制椭圆半径参数;默认参数设置:
cx=109.38,cy=152.02,ecb=2.41,ra=25.39,rb=14.03,θ=2.53。
6.根据权利要求5所述的一种人脸自动磨皮的图像处理方法,其特征在于,步骤(4)所述的根据平均肤色计算出肤色相似度图,利用归一化后的肤色相似度图融合步骤(3)中获取的平滑轮廓,具体步骤为:
(4.1)为了得到Icb和Icr色度通道直方图的分布情况,先将人脸图像转换为YCbCr亮度和色度空间,为了减少人脸瑕疵的影响,对Icb和Icr色度通道进行形态学处理,得到相应色度通道归一化直方图Hcb(x)和Hcr(x);
(4.2)结合色度通道统计信息和椭圆聚类信息,皮肤在色度通道粗略分布的范围为76≤cb≤127和132≤cr≤173,再利用计算重心公式求出相应直方图Hcb(x)和Hcr(x)在该范围内的重心值:
(4.3)利用色度通道肤色分布特性,计算出椭圆的长短半径分别为:
ra=0.7×(cx-76)+0.3×(127-cx)和
rb=0.3×(cy-132)+0.7×(173-cy);
(4.4)在实验处理中,控制椭圆半径参数为k1=1.22和k2=1.20,相似度参数θs=0.71,椭圆心坐标ecb=1.60,ecr=2.41,旋转角θ=2.53°;
(4.5)为了尽量减少非皮肤区域信息的丢失,需要对平滑图像和原图进行肤色融合,直接在归一化连续肤色相似度图Isskin上对原图和肤质保留平滑后的图进行肤色相似通道融合,融合公式为:
I′=(1-Isskin).×Isrc+Isskin.×Ismooth
其中,Isrc为原始人脸图像,Ismooth是肤质保留图像,I′是融合后的图像,·×是点乘操作符。
7.根据权利要求6所述的一种人脸自动磨皮的图像处理方法,其特征在于,步骤(5)所述的对图像进行全局平滑滤波,具体步骤为:
平滑图像采用高斯全局滤波:
其中,Isrc为原始人脸图像,α为肤质保留权重,用于控制肤色保留的程度,其取值范围为[0,2];σc为值域参数,控制保留边缘强度;λc为平滑权重,控制图像空域平滑程度;rG是高斯滤波半径;σG是高斯标准差,控制图像模糊程度;为卷积运算符;Ismooth是肤质保留图像。
CN201910533604.5A 2019-06-19 2019-06-19 一种人脸自动磨皮的图像处理方法 Pending CN110223260A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910533604.5A CN110223260A (zh) 2019-06-19 2019-06-19 一种人脸自动磨皮的图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910533604.5A CN110223260A (zh) 2019-06-19 2019-06-19 一种人脸自动磨皮的图像处理方法

Publications (1)

Publication Number Publication Date
CN110223260A true CN110223260A (zh) 2019-09-10

Family

ID=67814031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910533604.5A Pending CN110223260A (zh) 2019-06-19 2019-06-19 一种人脸自动磨皮的图像处理方法

Country Status (1)

Country Link
CN (1) CN110223260A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100177981A1 (en) * 2009-01-12 2010-07-15 Arcsoft Hangzhou Co., Ltd. Face image processing method
CN102254327A (zh) * 2011-07-29 2011-11-23 西南交通大学 数码照片中的人脸自动分割方法
CN106156730A (zh) * 2016-06-30 2016-11-23 腾讯科技(深圳)有限公司 一种人脸图像的合成方法和装置
CN106709886A (zh) * 2017-01-04 2017-05-24 竹间智能科技(上海)有限公司 自动修图方法及装置
CN107369133A (zh) * 2016-05-13 2017-11-21 炬芯(珠海)科技有限公司 一种人脸图像美化方法和装置
CN108932493A (zh) * 2018-06-29 2018-12-04 东北大学 一种面部皮肤质量评价方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100177981A1 (en) * 2009-01-12 2010-07-15 Arcsoft Hangzhou Co., Ltd. Face image processing method
CN102254327A (zh) * 2011-07-29 2011-11-23 西南交通大学 数码照片中的人脸自动分割方法
CN107369133A (zh) * 2016-05-13 2017-11-21 炬芯(珠海)科技有限公司 一种人脸图像美化方法和装置
CN106156730A (zh) * 2016-06-30 2016-11-23 腾讯科技(深圳)有限公司 一种人脸图像的合成方法和装置
CN106709886A (zh) * 2017-01-04 2017-05-24 竹间智能科技(上海)有限公司 自动修图方法及装置
CN108932493A (zh) * 2018-06-29 2018-12-04 东北大学 一种面部皮肤质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
汤秋艳等: "一种基于肤色分割的彩色图像人脸检测方法", 《沈阳理工大学学报》 *
邱佳梁等: "肤色纹理保留实时人脸美化算法", 《计算机辅助设计与图形学学报》 *

Similar Documents

Publication Publication Date Title
CN106780311B (zh) 一种结合皮肤粗糙度的快速人脸图像美化方法
Sun et al. Face detection based on color and local symmetry information
CN110807351A (zh) 一种基于人脸识别的智能化车载疲劳检测系统、方法及装置
CN106920274A (zh) 移动端2d关键点快速转换为3d融合变形的人脸建模方法
CN107730444A (zh) 图像处理方法、装置、可读存储介质和计算机设备
CN106326823B (zh) 一种获取图片中头像的方法和系统
CN104318262A (zh) 通过人脸照片更换皮肤的方法及系统
CN102254327B (zh) 数码照片中的人脸自动分割方法
CN110276727B (zh) 一种面向色觉障碍的彩色图像颜色增强方法
CN106485222A (zh) 一种基于肤色分层的人脸检测方法
CN101377813B (zh) 复杂场景中单个人脸的实时跟踪方法
CN106127709A (zh) 一种低照度彩色眼底图像判断方法与增强方法
CN109712095A (zh) 一种快速边缘保留的人脸美化方法
CN103440633B (zh) 一种数字图像自动祛除斑点的方法
CN102306384A (zh) 一种基于单幅图像的颜色恒常性处理方法
CN107087104B (zh) 面部区域的影像处理方法以及使用此方法的电子装置
CN108427918A (zh) 基于图像处理技术的人脸隐私保护方法
CN104537372A (zh) 一种具备区域感知特性的人脸图像蒙板自动生成方法
CN108805826B (zh) 改善去雾效果的方法
CN110223260A (zh) 一种人脸自动磨皮的图像处理方法
CN111275644A (zh) 一种基于Retinex算法的水下图像增强方法和装置
CN108230271A (zh) 一种基于人脸检测和五官定位的数字图像中人脸粉底上妆方法
CN110223253A (zh) 一种基于图像增强的去雾方法
CN109523472A (zh) Retinex彩色图像增强方法、计算机视觉处理系统
CN109214367A (zh) 一种基于视觉注意机制的人脸检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190910