CN111047517B - 肤色调节方法及装置、可读存储介质 - Google Patents
肤色调节方法及装置、可读存储介质 Download PDFInfo
- Publication number
- CN111047517B CN111047517B CN201811185217.9A CN201811185217A CN111047517B CN 111047517 B CN111047517 B CN 111047517B CN 201811185217 A CN201811185217 A CN 201811185217A CN 111047517 B CN111047517 B CN 111047517B
- Authority
- CN
- China
- Prior art keywords
- skin color
- skin
- template
- image
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013507 mapping Methods 0.000 claims abstract description 67
- 238000001914 filtration Methods 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 45
- 230000008569 process Effects 0.000 claims description 11
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 8
- 230000001105 regulatory effect Effects 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 4
- 230000008859 change Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
一种肤色调节方法及装置、可读存储介质,所述肤色调节方法包括:对图像进行人脸识别,从识别出的人脸图像中选取模板图像;根据所述模板图像,计算得到肤色概率模板;根据所述模板图像和参考肤色,得到肤色映射曲线;根据所述肤色概率模板和所述肤色映射曲线,对所述识别出的人脸图像进行肤色调节,得到肤色调节后的人脸图像。采用上述方案,能够高效地在人脸图像上对皮肤区域进行肤色调节,提高人脸肤色美感。
Description
技术领域
本发明属于图像处理技术领域,特别涉及一种肤色调节方法及装置、可读存储介质。
背景技术
在图像处理领域中,肤色调节是常用的处理方式之一。比如,将肤色调节用于相机拍照美颜、人像视频美妆处理等。
目前,有部分软件提供肤色调节的功能,同时也存在一些问题:自动化程度不够,进行肤色调节时需要人工协助,比如需要人工框选皮肤区域等;肤色调节不能根据原图像的光照和颜色变化而自适应变化;肤色调节在皮肤边缘出现颜色分层现象,或者肤色调节对全图进行处理,造成非皮肤区域背景颜色的改变。
发明内容
本发明实施例解决的是肤色调节的自动化程度较低的问题。
为解决上述技术问题,本发明实施例提供一种肤色调节方法,肤色调节方法包括:对图像进行人脸识别,从识别出的人脸图像中选取模板图像;根据所述模板图像,计算得到肤色概率模板;根据所述模板图像和参考肤色,得到肤色映射曲线;根据所述肤色概率模板和所述肤色映射曲线,对所述识别出的人脸图像进行肤色调节,得到肤色调节后的人脸图像。
可选的,所述对图像进行人脸识别,从识别出的人脸图像中选取模板图像,包括:从所述人脸图像中识别出眼睛和嘴唇的位置;根据所述眼睛和嘴唇的位置,选取所述眼睛和嘴唇之间的图像作为所述模板图像。
可选的,所述根据所述眼睛和嘴唇的位置,选取所述眼睛和嘴唇之间的图像作为所述模板图像,包括:根据所述眼睛和嘴唇的位置,计算两眼之间的距离、眼嘴之间的距离和人脸中心点位置;根据所述人脸中心点位置、两眼之间的距离、眼嘴之间的距离和人脸旋转角度,计算所述模板图像在所述人脸图像中的位置。
可选的,所述根据所述眼睛和嘴唇的位置,计算两眼之间的距离、眼嘴之间的距离和人脸中心点位置,包括:采用如下公式分别计算所述人脸中心点位置、两眼之间的距离和眼嘴之间的距离: (Xfc,Yfc)=((Xer+Xel+Xmr+Xml)/4,(Yer+Yel+Ymr+Yml)/4);其中,eDist为所述两眼之间的距离,(Xel,Yel)为左眼中心的坐标,(Xer,Yer)为右眼中心的坐标,(Xml,Yml)为左嘴角的坐标,(Xmr,Ymr)为右嘴角的坐标,emDist为所述眼嘴之间的距离,(Xfc,Yfc)为所述人脸中心点位置坐标。
可选的,所述根据所述人脸中心点位置、两眼之间的距离、眼嘴之间的距离和人脸旋转角度,计算所述模板图像在所述人脸图像中的位置,包括:采用如下公式计算所述模板图像在所述人脸图像中的位置:
(Xs,Ys,Ws,Hs)=(Xfc-Rx,Yfc-Ry,2*Rx,2*Ry);其中,faceSize=Max(eDist,emDist),
,faceSize为所述模板图像自适应的尺寸,eDist为所述两眼之间的距离,emDist为所述眼嘴之间的距离,roll为所述人脸旋转角度,else为其他所述人脸旋转角度,(Rx,Ry)为根据所述人脸旋转角度的自适应人脸宽度,(Xs,Ys)为所述模板图像的左上角坐标,(Ws,Hs)为所述模板图像的宽度和高度,(Xfc,Yfc)为所述人脸中心点位置坐标。
可选的,所述根据所述模板图像,计算得到肤色概率模板,包括:获取所述模板图像的YUV数据;根据所述模板图像的YUV数据,计算所述模板图像的肤色均值和差分均值;根据所述肤色均值和所述差分均值计算所述肤色概率模板。
可选的,所述根据所述模板图像的YUV数据,计算所述模板图像的肤色均值和差分均值,包括:采用如下公式分别计算所述模板图像的肤色均值和差分均值:其中,YM为所述肤色均值,UVdiff为所述肤色差分均值,Yi、Ui、Vi为所述模板图像的像素点的YUV数据,Y为灰阶值,U为影像色彩,V为饱和度,N为所述模板图像的像素点的数量。
可选的,所述根据所述肤色均值和所述差分均值计算所述肤色概率模板,包括:采用如下公式计算所述肤色概率模板:SPi=Yδ*UVδ;其中,UVδ=1-||Ui-Vi|-UVdiff|/180,Yδ=1-|Yi-YM|/255,SPi为所述肤色概率模板,UVδ、Yδ为Y、UV两通道的肤色概率,YM为所述肤色均值,UVdiff为所述肤色差分均值,Yi、Ui、Vi为所述模板图像的像素点的YUV数据。
可选的,所述根据所述肤色均值和所述差分均值计算所述肤色概率模板,包括:获取所述人脸图像中眼嘴之间的距离;根据所述人脸图像中眼嘴之间的距离,计算均值滤波的模糊半径;根据所述均值滤波的模糊半径,对所述肤色概率模板进行均值滤波处理,得到均值滤波后的肤色概率模板。
可选的,所述对所述肤色概率模板进行均值滤波处理,得到均值滤波后的肤色概率模板,包括:采用如下公式计算均值滤波后的肤色概率模板:其中,Blurradius=Max(5,emDist/20),M=(2*Blurradius+1)2,Blurradius为均值滤波的模糊半径,emDist为眼嘴之间的距离,M为均值滤波核的像素个数,SPSi为所述均值滤波后的肤色概率模板,SPi为所述肤色概率模板。
可选的,所述根据所述模板图像和参考肤色,得到肤色映射曲线,包括:获取所述模板图像的肤色均值以及所述模板图像的像素点的数量,将所述模板图像的肤色均值转化为RGB颜色空间值;根据所述肤色均值和所述参考肤色,得到等亮度下的目标肤色,并根据预设的肤色调节等级对所述等亮度下的目标肤色进行调整;根据所述肤色均值的RGB颜色空间值和所述调整后的等亮度下的目标肤色,得到所述肤色映射曲线。
可选的,所述获取所述模板图像的肤色均值以及所述模板图像的像素点的数量,将所述模板图像的肤色均值转化为RGB颜色空间值,包括:采用如下公式计算所述模板图像的肤色均值的RGB颜色空间值:
RM=YM+1.402*(UM-128);GM=YM-0.34414*(VM-128)-0.71414*(UM-128);BM=YM+1.772*(VM-128);其中,(YM,UM,VM)为所述模板图像的肤色均值,N为所述模板图像的像素点数量,(Yi,Ui,Vi)为所述模板图像的像素点的YUV数据,RM、GM、BM为所述肤色均值的RGB颜色空间值。
可选的,所述根据所述肤色均值和所述参考肤色,得到等亮度下的目标肤色,并根据预设的肤色调节等级对所述等亮度下的目标肤色进行调整,包括:采用如下公式计算所述调整后的等亮度下的目标肤色:
RD=α*RT+(1-α)*RM;GD=α*GT+(1-α)*GM;BD=α*BT+(1-α)*BM;其中,YR=0.299*RR+0.587*GR+0.114*BR,α=skinLevel/10,YR为所述目标肤色的亮度,RM、GM、BM为所述肤色均值的RGB颜色空间值,(RR,GR,BR)为所述参考肤色,(RT,GT,BT)为所述等亮度下的目标肤色,(RD,GD,BD)为所述调整后的等亮度下的目标肤色,skinLevel为预设的肤色调节等级,α为所述预设的肤色调节等级的系数。
可选的,所述根据所述肤色均值的RGB颜色空间值和所述调整后的等亮度下的目标肤色,得到所述肤色映射曲线,包括:以所述肤色均值的RGB颜色空间值为贝塞尔曲线控制点横坐标,以所述调整后的等亮度下的目标肤色为贝塞尔曲线控制点纵坐标,分别拟合R通道对应的贝塞尔曲线、G通道对应的贝塞尔曲线以及B通道对应的贝塞尔曲线;将所述R通道对应的贝塞尔曲线、所述G通道对应的贝塞尔曲线以及所述B通道对应的贝塞尔曲线作为所述肤色映射曲线。
可选的,所述根据所述肤色概率模板和所述肤色映射曲线,对所述识别出的人脸图像进行肤色调节,得到肤色调节后的人脸图像,包括:根据所述肤色概率模板和所述肤色映射曲线,得到所述肤色调节后的人脸图像对应的RGB颜色空间值;根据所述肤色调节后的人脸图像的RGB颜色空间值,转换至肤色调节后的人脸图像的YUV颜色空间值,得到所述肤色调节后的人脸图像。
可选的,所述根据所述肤色概率模板和所述肤色映射曲线,得到所述肤色调节后的人脸图像对应的RGB颜色空间值,包括:采用如下公式计算所述肤色调节后的人脸图像对应的RGB颜色空间值:
Rnew=Rs*(1-SPSi)+fR(Rs)*SPSi;Gnew=Gs*(1-SPSi)+fG(Gs)*SPSi;Bnew=Bs*(1-SPSi)+fB(Bs)*SPSi;其中,Rnew、Gnew、Bnew为所述肤色调节后的人脸图像对应的RGB颜色空间值,fR(Rs)、fG(Gs)、fB(Bs)为所述肤色映射曲线,Rs、Gs、Bs为所述肤色映射曲线的自变量,SPSi为所述肤色概率模板。
可选的,所述根据所述肤色调节后的人脸图像的RGB颜色空间值,转换至肤色调节后的人脸图像的YUV颜色空间值,得到所述肤色调节后的人脸图像,包括:采用如下公式计算所述肤色调节后的人脸图像的YUV颜色空间值:
Ynew=0.299*Rnew+0.589*Gnew+0.114*Bnew;
Unew=-0.1687*Rnew-0.3313*Gnew+0.5*Bnew+128;
Vnew=0.5*Rnew-0.4187*Gnew-0.0813*Bnew+128;其中,Ynew、Unew、Vnew为所述肤色调节后的人脸图像的YUV颜色空间,Rnew、Gnew、Bnew为所述肤色调节后的人脸图像的RGB颜色空间值。
为解决上述技术问题,本发明实施例还公开了一种肤色调节装置,肤色调节装置包括:识别单元,用于对图像进行人脸识别,从识别出的人脸图像中选取模板图像;处理单元,用于根据所述模板图像,计算得到肤色概率模板;根据所述模板图像和参考肤色,得到肤色映射曲线;调节单元,用于根据所述肤色概率模板和所述肤色映射曲线,对所述识别出的人脸图像进行肤色调节,得到肤色调节后的人脸图像。
可选的,所述识别单元,用于:从所述人脸图像中识别出眼睛和嘴唇的位置;根据所述眼睛和嘴唇的位置,选取所述眼睛和嘴唇之间的图像作为所述模板图像。
可选的,所述识别单元,用于:根据所述眼睛和嘴唇的位置,计算两眼之间的距离、眼嘴之间的距离和人脸中心点位置;根据所述人脸中心点位置、两眼之间的距离、眼嘴之间的距离和人脸旋转角度,计算所述模板图像在所述人脸图像中的位置。
可选的,所述识别单元,用于根据所述眼睛和嘴唇的位置,计算两眼之间的距离、眼嘴之间的距离和人脸中心点位置,采用如下公式分别计算所述人脸中心点位置、两眼之间的距离和眼嘴之间的距离:
(Xfc,Yfc)=((Xer+Xel+Xmr+Xml)/4,(Yer+Yel+Ymr+Yml)/4);其中,eDist为所述两眼之间的距离,(Xel,Yel)为左眼中心的坐标,(Xer,Yer)为右眼中心的坐标,(Xml,Yml)为左嘴角的坐标,(Xmr,Ymr)为右嘴角的坐标,emDist为所述眼嘴之间的距离,(Xfc,Yfc)为所述人脸中心点位置坐标。
可选的,所述识别单元,用于根据所述人脸中心点位置、两眼之间的距离、眼嘴之间的距离和人脸旋转角度,计算所述模板图像在所述人脸图像中的位置,采用如下公式计算所述模板图像在所述人脸图像中的位置:
(Xs,Ys,Ws,Hs)=(Xfc-Rx,Yfc-Ry,2*Rx,2*Ry);其中,faceSize=Max(eDist,emDist),
faceSize为所述模板图像自适应的尺寸,eDist为所述两眼之间的距离,emDist为所述眼嘴之间的距离,roll为所述人脸旋转角度,else为其他所述人脸旋转角度,(Rx,Ry)为根据所述人脸旋转角度的自适应人脸宽度,(Xs,Ys)为所述模板图像的左上角坐标,(Ws,Hs)为所述模板图像的宽度和高度,(Xfc,Yfc)为所述人脸中心点位置坐标。
可选的,所述处理单元,用于获取所述模板图像的YUV数据;根据所述模板图像的YUV数据,计算所述模板图像的肤色均值和差分均值;根据所述肤色均值和所述差分均值计算所述肤色概率模板。
可选的,所述处理单元,用于所述根据所述模板图像的YUV数据,计算所述模板图像的肤色均值和差分均值,采用如下公式分别计算所述肤色均值和差分均值:其中,YM为所述肤色均值,UVdiff为所述肤色差分均值,Yi、Ui、Vi为所述模板图像的像素点的YUV数据,Y为灰阶值,U为影像色彩,V为饱和度,N为所述模板图像的像素点的数量。
可选的,所述处理单元,用于所述根据所述肤色均值和所述差分均值计算所述肤色概率模板,采用如下公式计算所述肤色概率模板:SPi=Yδ*UVδ;其中,UVδ=1-||Ui-Vi|-UVdiff|/180,Yδ=1-|Yi-YM|/255,UVδ、Yδ为Y、UV两通道的肤色概率,SPi为所述肤色概率模板,YM为所述肤色均值,UVdiff为所述肤色差分均值,Yi、Ui、Vi为所述模板图像的像素点的YUV数据。
可选的,所述处理单元,用于获取所述人脸图像中眼嘴之间的距离;根据所述人脸图像中眼嘴之间的距离,计算均值滤波的模糊半径;根据所述均值滤波的模糊半径,对所述肤色概率模板进行均值滤波处理,得到均值滤波后的肤色概率模板。
可选的,所述处理单元,用于对所述肤色概率模板进行均值滤波处理,得到均值滤波后的肤色概率模板,采用如下公式计算均值滤波后的肤色概率模板:其中,Blurradius=Max(5,emDist/20),M=(2*Blurradius+1)2,Blurradius为均值滤波的模糊半径,emDist为眼嘴之间的距离,M为均值滤波核的像素个数,SPSi为所述均值滤波后的肤色概率模板,SPi为所述肤色概率模板。
可选的,,所述处理单元,用于获取所述模板图像的肤色均值以及所述模板图像的像素点的数量,将所述模板图像的肤色均值转化为RGB颜色空间值;根据所述肤色均值和所述参考肤色,得到等亮度下的目标肤色,并根据预设的肤色调节等级对所述等亮度下的目标肤色进行调整;根据所述肤色均值的RGB颜色空间值和所述调整后的等亮度下的目标肤色,得到所述肤色映射曲线。
可选的,所述处理单元,用于获取所述模板图像的肤色均值以及所述模板图像的像素点的数量,将所述模板图像的肤色均值转化为RGB颜色空间值,采用如下公式计算所述模板图像的肤色均值的RGB颜色空间值:
RM=YM+1.402*(UM-128);GM=YM-0.34414*(VM-128)-0.71414*(UM-128);BM=YM+1.772*(VM-128);其中,(YM,UM,VM)为所述模板图像的肤色均值,N为所述模板图像的像素点数量,(Yi,Ui,Vi)为所述模板图像的像素点的YUV数据,RM、GM、BM为所述肤色均值的RGB颜色空间值。
可选的,所述处理单元,用于根据所述肤色均值和所述参考肤色,得到等亮度下的目标肤色,并根据预设的肤色调节等级对所述等亮度下的目标肤色进行调整,采用如下公式计算所述调整后的等亮度下的目标肤色:
RD=α*RT+(1-α)*RM;GD=α*GT+(1-α)*GM;BD=α*BT+(1-α)*BM;其中,YR=0.299*RR+0.587*GR+0.114*BR,α=skinLevel/10,YR为所述目标肤色的亮度,RM、GM、BM为所述肤色均值的RGB颜色空间值,(RR,GR,BR)为所述参考肤色,(RT,GT,BT)为所述等亮度下的目标肤色,(RD,GD,BD)为所述调整后的等亮度下的目标肤色,skinLevel为预设的肤色调节等级,α为所述预设的肤色调节等级的系数。
可选的,所述处理单元,用于以所述肤色均值的RGB颜色空间值为贝塞尔曲线控制点横坐标,以所述调整后的等亮度下的目标肤色为贝塞尔曲线控制点纵坐标,分别拟合R通道对应的贝塞尔曲线、G通道对应的贝塞尔曲线以及B通道对应的贝塞尔曲线;将所述R通道对应的贝塞尔曲线、所述G通道对应的贝塞尔曲线以及所述B通道对应的贝塞尔曲线作为所述肤色映射曲线。
可选的,所述调节单元,用于根据所述肤色概率模板和所述肤色映射曲线,得到所述肤色调节后的人脸图像对应的RGB颜色空间值;根据所述肤色调节后的人脸图像的RGB颜色空间值,转换至肤色调节后的人脸图像的YUV颜色空间值,得到所述肤色调节后的人脸图像。
可选的,所述调节单元,用于根据所述肤色概率模板和所述肤色映射曲线,得到所述肤色调节后的人脸图像对应的RGB颜色空间值,采用如下公式计算所述肤色调节后的人脸图像对应的RGB颜色空间值:
Rnew=Rs*(1-SPSi)+fR(Rs)*SPSi;Gnew=Gs*(1-SPSi)+fG(Gs)*SPSi;Bnew=Bs*(1-SPSi)+fB(Bs)*SPSi;其中,Rnew、Gnew、Bnew为所述肤色调节后的人脸图像对应的RGB颜色空间值,fR(Rs)、fG(Gs)、fB(Bs)为所述肤色映射曲线,Rs、Gs、Bs为所述肤色映射曲线的自变量,SPSi为所述肤色概率模板。
可选的,所述调节单元,用于根据所述肤色调节后的人脸图像的RGB颜色空间值,转换至肤色调节后的人脸图像的YUV颜色空间值,得到所述肤色调节后的人脸图像,采用如下公式计算所述肤色调节后的人脸图像的YUV颜色空间值:Ynew=0.299*Rnew+0.589*Gnew+0.114*Bnew;
Unew=-0.1687*Rnew-0.3313*Gnew+0.5*Bnew+128;
Vnew=0.5*Rnew-0.4187*Gnew-0.0813*Bnew+128;其中,Ynew、Unew、Vnew为所述肤色调节后的人脸图像的YUV颜色空间,Rnew、Gnew、Bnew为所述肤色调节后的人脸图像的RGB颜色空间值。
本发明实施例还公开了一种可读存储介质,其上存储有计算机指令,所述计算机指令运行时执行上述任一种所述的肤色调节的方法的步骤。
本发明实施例还提供了一种肤色调节装置,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机指令,所述处理器运行所述计算机指令时执行上述任一种所述的肤色调节的方法的步骤。
与现有技术相比,本发明实施例的技术方案具有以下有益效果:
根据所述模板图像和参考肤色,得到肤色映射曲线,从而根据所述肤色概率模板和所述肤色映射曲线,对所述识别出的人脸图像进行肤色调节,得到肤色调节后的人脸图像。在对人脸图像进行肤色调节的过程中,无需用户手动选择肤色调节的区域,能够自动对人脸图像上的皮肤区域进行肤色调节。
进一步,为用户提供不同的肤色调节等级供用户选择,以满足不同用户的肤色调节需求。
附图说明
图1是本发明实施例一种肤色调节方法的流程图;
图2是本发明实施例一种肤色调节装置的结构示意图。
具体实施方式
现有技术中,提供肤色调节功能的方法存在自动化程度不够,进行肤色调节时需要人工协助的问题、肤色调节不能根据原图像的光照和颜色变化而自适应变化的问题以及肤色调节在皮肤边缘出现颜色分层现象,或者肤色调节对全图进行处理,造成非皮肤区域背景颜色的改变的问题。
本发明实施例中,根据所述模板图像和参考肤色,得到肤色映射曲线,从而根据所述肤色概率模板和所述肤色映射曲线,对所述识别出的人脸图像进行肤色调节,得到肤色调节后的人脸图像。所在对人脸图像进行肤色调节的过程中,无需用户手动选择肤色调节的区域,能够自动对人脸图像上的皮肤区域进行肤色调节。
为使本发明的上述目的、特征和有益效果能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
本发明实施例提供了一种肤色调节方法,参照图1,以下通过具体步骤进行详细说明。
本发明实施例中提供的肤色调节方法可以应用于静态人像,也可以应用于动态视频。
步骤S101,对图像进行人脸识别,从识别出的人脸图像中选取模板图像。
在具体实施中,可以从所述人脸图像中识别出眼睛和嘴唇的位置;之后,根据所述眼睛和嘴唇的位置,选取所述眼睛和嘴唇之间的图像作为模板图像。
可以理解的是,在实际应用中,也可以选取人脸图像中的其他部分区域图像作为模板图像,只要能满足选取的模板图像与人脸图像的肤色有一致性即可,本发明在此不作赘述。
在具体实施中,选取眼睛和嘴唇之间的图像作为模板图像,而非采用整体人脸图像,可以降低肤色调节方法中的计算量,提高肤色调节的速度。
在具体实施中,可以根据所述眼睛和嘴唇的位置,计算两眼之间的距离、眼嘴之间的距离和人脸中心点位置;之后,根据所述人脸中心点位置、两眼之间的距离、眼嘴之间的距离和人脸旋转角度,计算所述模板图像在所述人脸图像中的位置。
在本发明实施例中,可以采用如下公式(1)、(2)、(3)分别计算所述人脸中心点位置、两眼之间的距离和眼嘴之间的距离:
(Xfc,Yfc)=((Xer+Xel+Xmr+Xml)/4,(Yer+Yel+Ymr+Yml)/4); (3)
其中,eDist为所述两眼之间的距离,(Xel,Yel)为左眼中心的坐标,(Xer,Yer)为右眼中心的坐标,(Xml,Yml)为左嘴角的坐标,(Xmr,Ymr)为右嘴角的坐标,emDist为所述眼嘴之间的距离,(Xfc,Yfc)为所述人脸中心点位置坐标。
在具体实施中,可以根据人脸中心点位置、两眼之间的距离、眼嘴之间的距离和人脸旋转角度,计算所述模板图像在所述人脸图像中的位置,可以采用如下公式(4)、(5)、(6)计算所述模板图像在所述人脸图像中的位置:
faceSize=Max(eDist,emDist); (4)
(Xs,Ys,Ws,Hs)=(Xfc-Rx,Yfc-Ry,2*Rx,2*Ry); (6)
其中,faceSize为所述模板图像自适应的尺寸,eDist为所述两眼之间的距离,emDist为所述眼嘴之间的距离,roll为所述人脸旋转角度,else为其他所述人脸旋转角度,(Rx,Ry)为根据所述人脸旋转角度的自适应人脸宽度,(Xs,Ys)为所述模板图像的左上角坐标,(Ws,Hs)为所述模板图像的宽度和高度,(Xfc,Yfc)为所述人脸中心点位置坐标。
在具体实施中,由于人脸图像在图像通常存在一定的旋转角度,即在采集人脸图像时,人脸并不一定正向面对图像采集设备,可以存在一定的倾斜角度。因此,可以根据图像中人脸图像不同的旋转角度,计算模板图像对应的大小和位置,即模板图像可以根据人脸旋转角度自适应调整,进而得到更精确的模板图像数据。
步骤S102,根据所述模板图像,计算得到肤色概率模板。
在具体实施中,可以获取所述模板图像对应的YUV数据;之后,根据所述模板图像对应的YUV数据,计算所述模板图像的肤色均值和差分均值;最后,根据所述肤色均值和所述差分均值计算所述肤色概率模板。
在本发明实施例中,选取模板图像的YUV数据进行肤色均值和差分均值计算,而非采用整体人脸图像的YUV数据进行肤色均值和差分均值计算,可以降低计算量,提高之后计算所述肤色概率模板的速度。
在实际应用中可知,YUV是一种颜色编码方法,常使用在各个视频处理组件中。在采用YUV对照片或视频编码时,考虑到人类的感知能力,允许降低色度的带宽。YUV是编译颜色空间(color space)的种类。“Y”表示明亮度(灰阶值),“U”表示色度(影像色彩),“V”表示浓度(饱和度)。现今,YUV已经在电脑系统上广泛使用。YUV分成两种存储格式:紧缩格式(packed formats):将Y、U、V值存储成宏像素数组,和RGB的存放方式类似;平面格式(planar formats):将Y、U、V的三个分量分别存放在不同的矩阵中。
RGB色彩模式是工业界的一种颜色标准,是通过对红(Red)、绿(Green)、蓝(Blue)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的。RGB即是代表红、绿、蓝三个通道的颜色,这个标准几乎包括了人类视力所能感知的所有颜色,是目前运用最广的颜色系统之一。
在具体实施中,可以根据所述模板图像的YUV数据,计算所述模板图像的肤色均值和差分均值,采用如下公式(7)、(8)分别计算所述肤色均值和差分均值:
其中,YM为所述肤色均值,UVdiff为所述肤色差分均值,Yi、Ui、Vi为所述模板图像的像素点的YUV数据,Y为灰阶值,U为影像色彩,V为饱和度,N为所述模板图像的像素点的数量。
在具体实施中,可以根据所述肤色均值和所述差分均值计算所述肤色概率模板,采用如下公式(9)、(10)、(11)计算所述肤色概率模板:
UVδ=1-||Ui-Vi|-UVdiff|/180; (9)
Yδ=1-|Yi-YM|/255; (10)
SPi=Yδ*UVδ; (11)
其中,UVδ、Yδ为Y、UV两通道的肤色概率,SPi为所述肤色概率模板,YM为所述肤色均值,UVdiff为所述肤色差分均值,Yi、Ui、Vi为所述模板图像的像素点的YUV数据。
本发明实施例中,采用肤色概率模板进行肤色调节,相比较于现有技术中直接采用预设的肤色模型,无需提前收集并统计不同肤色的皮肤颜色信息,大大降低了工作量;同时,避免了肤色受背景光照、色温的影响,进而保证了肤色调节方法可以适用于不同的现实场景中。
在具体实施中,可以获取所述人脸图像中眼嘴之间的距离;之后,根据所述人脸图像中眼嘴之间的距离,计算均值滤波的模糊半径;最后,根据所述均值滤波的模糊半径,对所述肤色概率模板进行均值滤波处理,得到均值滤波后的肤色概率模板。采用如下公式(12)、(13)、(14)计算均值滤波后的肤色概率模板:
Blurradius=Max(5,emDist/20); (12)
M=(2*Blurradius+1)2; (13)
其中,Blurradius为均值滤波的模糊半径,emDist为眼嘴之间的距离,M为均值滤波核的像素个数,SPSi为所述均值滤波后的肤色概率模板,SPi为所述肤色概率模板。
本发明实施例中,将得到的肤色概率模板进行均值滤波处理,采用均值滤波算法对肤色概率模板进行图像去噪,能够使肤色调节过程更加平滑,结合后续所得到的肤色映射曲线进行肤色调节,避免了肤色调节中的颜色分层的情况。
步骤S103,根据所述模板图像和参考肤色,得到肤色映射曲线。
在具体实施中,可以获取所述模板图像的肤色均值以及所述模板图像的像素点的数量,将所述模板图像的肤色均值转化为RGB颜色空间值;根据所述肤色均值和所述参考肤色,得到等亮度下的目标肤色,并根据预设的肤色调节等级对所述等亮度下的目标肤色进行调整;根据所述肤色均值的RGB颜色空间值和所述调整后的等亮度下的目标肤色,得到所述肤色映射曲线。
在本发明实施例中,采用所述模板图像的肤色均值,能够保证所述肤色均值根据人脸图像的光照和颜色变化而自适应变化。同时,结合所述参考肤色,得到等亮度下的目标肤色,保证了肤色调节过程中的自适应变化,提高了肤色调节的自动化程度。
在本发明实施例中,预设了的肤色调节等级对所述等亮度下的目标肤色进行调整,即预设的不同模式的肤色供用户选择,再根据用户选择的肤色调节等级对所述等亮度下的目标肤色进行调整,可以满足不同用户的肤色调节需求。
在本发明实施例中,采用所述肤色映射曲线,而非预设的肤色模板进行肤色调节,可以保证肤色调节的平滑程度。因此,避免了肤色调节中平滑过度,导致肤色调节不自然的情况。
在具体实施中,可以获取所述模板图像的肤色均值以及所述模板图像的像素点的数量,将所述模板图像的肤色均值转化为RGB颜色空间值,采用如下公式(15)、(16)、(17)、(18)计算所述模板图像的肤色均值的RGB颜色空间值:
RM=YM+1.402*(UM-128); (16)
GM=YM-0.34414*(VM-128)-0.71414*(UM-128); (17)
BM=YM+1.772*(VM-128); (18)
其中,(YM,UM,VM)为所述模板图像的肤色均值,N为所述模板图像的像素点数量,(Yi,Ui,Vi)为所述模板图像的像素点的YUV数据,RM、GM、BM为所述肤色均值的RGB颜色空间值。
在具体实施中,可以根据所述肤色均值和所述参考肤色,得到等亮度下的目标肤色,并根据预设的肤色调节等级对所述等亮度下的目标肤色进行调整,采用如下公式(19)、(20)、(21)、(22)、(23)、(24)计算所述调整后的等亮度下的目标肤色:
YR=0.299*RR+0.587*GR+0.114*BR; (19)
RD=α*RT+(1-α)*RM; (22)
GD=α*GT+(1-α)*GM; (23)
BD=α*BT+(1-α)*BM; (24)
α=skinLevel/10; (25)
其中,YR为所述目标肤色的亮度,RM、GM、BM为所述肤色均值的RGB颜色空间值,(RR,GR,BR)为所述参考肤色,(RT,GT,BT)为所述等亮度下的目标肤色,(RD,GD,BD)为所述调整后的等亮度下的目标肤色,skinLevel为预设的肤色调节等级,α为所述预设的肤色调节等级的系数。
在具体实施中,可以以所述肤色均值的RGB颜色空间值为贝塞尔曲线控制点横坐标,以所述调整后的等亮度下的目标肤色为贝塞尔曲线控制点纵坐标,分别拟合R通道对应的贝塞尔曲线、G通道对应的贝塞尔曲线以及B通道对应的贝塞尔曲线;将所述R通道对应的贝塞尔曲线、所述G通道对应的贝塞尔曲线以及所述B通道对应的贝塞尔曲线作为所述肤色映射曲线。
贝塞尔曲线,又称贝兹曲线或贝济埃曲线,是应用于二维图形应用程序的数学曲线。一般的矢量图形软件通过它来精确画出曲线,贝塞尔曲线由线段与节点组成,节点是可拖动的支点,线段像可伸缩的皮筋。贝塞尔曲线就是这样的一条曲线,它是依据四个位置任意的点坐标绘制出的一条光滑曲线。在历史上,研究贝塞尔曲线的人最初是按照已知曲线参数方程来确定四个点的思路设计出这种矢量曲线绘制法。贝塞尔曲线的有趣之处更在于它的“皮筋效应”,也就是说,随着点有规律地移动,曲线将产生皮筋伸引一样的变换,带来视觉上的冲击。贝塞尔曲线是计算机图形学中相当重要的参数曲线,在一些比较成熟的位图软件中也有贝塞尔曲线工具。
步骤S104,根据所述肤色概率模板和所述肤色映射曲线,对所述识别出的人脸图像进行肤色调节,得到肤色调节后的人脸图像。
在具体实施中,采用肤色映射曲线来获得肤色调节后的人脸图像,即每个像素点的目标肤色都是根据该曲线获得,可以提高肤色调节的处理速度。例如在移动设备上,不会因设备硬件的局限性导致肤色调节的速度过慢;又例如在高清图像的处理上,不会因高清人脸图像的数据量较大而导致肤色调节的速度过慢,因此可以提升肤色调节过程的用户体验。
在本发明一实施例中,对所述肤色概率模板进行均值滤波处理后,再与所述肤色映射曲线结合,对对所述识别出的人脸图像进行肤色调节,得到肤色调节后的人脸图像。上述方法采用均值滤波算法对肤色概率模板进行图像去噪,再结合三条贝塞尔曲线作为RGB三通道的肤色映射曲线,可以使人脸图像的颜色平滑,避免了人脸图像的颜色出现分层等现象,以至于人脸图像在肤色调节后不够自然。
在具体实施中,可以根据所述肤色概率模板和所述肤色映射曲线,得到所述肤色调节后的人脸图像对应的RGB颜色空间值;之后,根据所述肤色调节后的人脸图像的RGB颜色空间值,转换至肤色调节后的人脸图像的YUV颜色空间值,得到所述肤色调节后的人脸图像。
在具体实施中,可以根据所述肤色概率模板和所述肤色映射曲线,得到所述肤色调节后的人脸图像对应的RGB颜色空间值,采用如下公式(26)、(27)、(28)计算所述肤色调节后的人脸图像对应的RGB颜色空间值:
Rnew=Rs*(1-SPSi)+fR(Rs)*SPSi; (26)
Gnew=Gs*(1-SPSi)+fG(Gs)*SPSi; (27)
Bnew=Bs*(1-SPSi)+fB(Bs)*SPSi; (28)
其中,Rnew、Gnew、Bnew为所述肤色调节后的人脸图像对应的RGB颜色空间值,fR(Rs)、fG(Gs)、fB(Bs)为所述肤色映射曲线,Rs、Gs、Bs为所述肤色映射曲线的自变量,SPSi为所述肤色概率模板。
在具体实施中,可以根据所述肤色调节后的人脸图像的RGB颜色空间值,转换至肤色调节后的人脸图像的YUV颜色空间值,得到所述肤色调节后的人脸图像,采用如下公式(29)、(30)、(31)计算所述肤色调节后的人脸图像的YUV颜色空间值:
Ynew=0.299*Rnew+0.589*Gnew+0.114*Bnew; (29)
Unew=-0.1687*Rnew-0.3313*Gnew+0.5*Bnew+128; (30)
Vnew=0.5*Rnew-0.4187*Gnew-0.0813*Bnew+128; (31)
其中,Rnew、Gnew、Bnew为所述肤色调节后的人脸图像的RGB颜色空间值,Ynew、Unew、Vnew为所述肤色调节后的人脸图像的YUV颜色空间,即肤色调节后的人脸图像。
根据所述模板图像和参考肤色,得到肤色映射曲线,从而根据所述肤色概率模板和所述肤色映射曲线,对所述识别出的人脸图像进行肤色调节,得到肤色调节后的人脸图像。在对人脸图像进行肤色调节的过程中,无需用户手动选择肤色调节的区域,能够自动对人脸图像上的皮肤区域进行肤色调节。
进一步,提供了预设的肤色调节等级供用户选择,以满足不同用户不同的肤色调节需求。
参照图2,本发明实施例还提供了一种肤色调节装置20,包括:识别单元201、处理单元202和调节单元203。
其中,所述别单元201,用于对图像进行人脸识别,从识别出的人脸图像中选取模板图像;
所述处理单元202,用于根据所述模板图像,计算得到肤色概率模板;根据所述模板图像和参考肤色,得到肤色映射曲线;
所述调节单元203,用于根据所述肤色概率模板和所述肤色映射曲线,对所述识别出的人脸图像进行肤色调节,得到肤色调节后的人脸图像。
在具体实施中,所述识别单元201,可以用于:从所述人脸图像中识别出眼睛和嘴唇的位置;根据所述眼睛和嘴唇的位置,选取所述眼睛和嘴唇之间的图像作为所述模板图像。
在具体实施中,所述识别单元201,可以用于:根据所述眼睛和嘴唇的位置,计算两眼之间的距离、眼嘴之间的距离和人脸中心点位置;根据所述人脸中心点位置、两眼之间的距离、眼嘴之间的距离和人脸旋转角度,计算所述模板图像在所述人脸图像中的位置。
在具体实施中,所述识别单元201,可以用于根据所述眼睛和嘴唇的位置,计算两眼之间的距离、眼嘴之间的距离和人脸中心点位置,采用如下公式分别计算所述人脸中心点位置、两眼之间的距离和眼嘴之间的距离:
(Xfc,Yfc)=((Xer+Xel+Xmr+Xml)/4,(Yer+Yel+Ymr+Yml)/4);其中,eDist为所述两眼之间的距离,(Xel,Yel)为左眼中心的坐标,(Xer,Yer)为右眼中心的坐标,(Xml,Yml)为左嘴角的坐标,(Xmr,Ymr)为右嘴角的坐标,emDist为所述眼嘴之间的距离,(Xfc,Yfc)为所述人脸中心点位置坐标。
在具体实施中,所述识别单元201,可以用于根据所述人脸中心点位置、两眼之间的距离、眼嘴之间的距离和人脸旋转角度,计算所述模板图像在所述人脸图像中的位置,采用如下公式计算所述模板图像在所述人脸图像中的位置:faceSize=Max(eDist,emDist);
(Xs,Ys,Ws,Hs)=(Xfc-Rx,Yfc-Ry,2*Rx,2*Ry);其中,faceSize为所述模板图像自适应的尺寸,eDist为所述两眼之间的距离,emDist为所述眼嘴之间的距离,roll为所述人脸旋转角度,else为其他所述人脸旋转角度,(Rx,Ry)为根据所述人脸旋转角度的自适应人脸宽度,(Xs,Ys)为所述模板图像的左上角坐标,(Ws,Hs)为所述模板图像的宽度和高度,(Xfc,Yfc)为所述人脸中心点位置坐标。
在具体实施中,所述处理单元202,可以用于获取所述模板图像的YUV数据;根据所述模板图像的YUV数据,计算所述模板图像的肤色均值和差分均值;根据所述肤色均值和所述差分均值计算所述肤色概率模板。
在具体实施中,所述处理单元202,可以用于所述根据所述模板图像的YUV数据,计算所述模板图像的肤色均值和差分均值,采用如下公式分别计算所述肤色均值和差分均值:其中,YM为所述肤色均值,UVdiff为所述肤色差分均值,Yi、Ui、Vi为所述模板图像的像素点的YUV数据,Y为灰阶值,U为影像色彩,V为饱和度,N为所述模板图像的像素点的数量。
在具体实施中,所述处理单元202,可以用于所述根据所述肤色均值和所述差分均值计算所述肤色概率模板,采用如下公式计算所述肤色概率模板:UVδ=1-||Ui-Vi|-UVdiff|/180;Yδ=1-|Yi-YM|/255;SPi=Yδ*UVδ;其中,UVδ、Yδ为Y、UV两通道的肤色概率,SPi为所述肤色概率模板,YM为所述肤色均值,UVdiff为所述肤色差分均值,Yi、Ui、Vi为所述模板图像的像素点的YUV数据。
在具体实施中,所述处理单元202,可以用于获取所述人脸图像中眼嘴之间的距离;根据所述人脸图像中眼嘴之间的距离,计算均值滤波的模糊半径;根据所述均值滤波的模糊半径,对所述肤色概率模板进行均值滤波处理,得到均值滤波后的肤色概率模板。
在具体实施中,所述处理单元202,可以用于对所述肤色概率模板进行均值滤波处理,得到均值滤波后的肤色概率模板,采用如下公式计算均值滤波后的肤色概率模板:Blurradius=Max(5,emDist/20);M=(2*Blurradius+1)2;其中,Blurradius为均值滤波的模糊半径,emDist为眼嘴之间的距离,M为均值滤波核的像素个数,SPSi为所述均值滤波后的肤色概率模板,SPi为所述肤色概率模板。
在具体实施中,所述处理单元202,可以用于获取所述模板图像的肤色均值以及所述模板图像的像素点的数量,将所述模板图像的肤色均值转化为RGB颜色空间值;根据所述肤色均值和所述参考肤色,得到等亮度下的目标肤色,并根据预设的肤色调节等级对所述等亮度下的目标肤色进行调整;根据所述肤色均值的RGB颜色空间值和所述调整后的等亮度下的目标肤色,得到所述肤色映射曲线。
在具体实施中,所述处理单元202,可以用于获取所述模板图像的肤色均值以及所述模板图像的像素点的数量,将所述模板图像的肤色均值转化为RGB颜色空间值,采用如下公式计算所述模板图像的肤色均值的RGB颜色空间值:RM=YM+1.402*(UM-128);GM=YM-0.34414*(VM-128)-0.71414*(UM-128);BM=YM+1.772*(VM-128);其中,(YM,UM,VM)为所述模板图像的肤色均值,N为所述模板图像的像素点数量,(Yi,Ui,Vi)为所述模板图像的像素点的YUV数据,RM、GM、BM为所述肤色均值的RGB颜色空间值。
在具体实施中,所述处理单元202,可以用于根据所述肤色均值和所述参考肤色,得到等亮度下的目标肤色,并根据预设的肤色调节等级对所述等亮度下的目标肤色进行调整,采用如下公式计算所述调整后的等亮度下的目标肤色:YR=0.299*RR+0.587*GR+0.114*BR;RD=α*RT+(1-α)*RM;GD=α*GT+(1-α)*GM;BD=α*BT+(1-α)*BM;α=skinLevel/10;其中,YR为所述目标肤色的亮度,RM、GM、BM为所述肤色均值的RGB颜色空间值,(RR,GR,BR)为所述参考肤色,(RT,GT,BT)为所述等亮度下的目标肤色,(RD,GD,BD)为所述调整后的等亮度下的目标肤色,skinLevel为预设的肤色调节等级,α为所述预设的肤色调节等级的系数。
在具体实施中,所述处理单元202,可以用于以所述肤色均值的RGB颜色空间值为贝塞尔曲线控制点横坐标,以所述调整后的等亮度下的目标肤色为贝塞尔曲线控制点纵坐标,分别拟合R通道对应的贝塞尔曲线、G通道对应的贝塞尔曲线以及B通道对应的贝塞尔曲线;将所述R通道对应的贝塞尔曲线、所述G通道对应的贝塞尔曲线以及所述B通道对应的贝塞尔曲线作为所述肤色映射曲线。
在具体实施中,所述调节单元203,可以用于根据所述肤色概率模板和所述肤色映射曲线,得到所述肤色调节后的人脸图像对应的RGB颜色空间值;根据所述肤色调节后的人脸图像的RGB颜色空间值,转换至肤色调节后的人脸图像的YUV颜色空间值,得到所述肤色调节后的人脸图像。
在具体实施中,所述调节单元203,可以用于根据所述肤色概率模板和所述肤色映射曲线,得到所述肤色调节后的人脸图像对应的RGB颜色空间值,采用如下公式计算所述肤色调节后的人脸图像对应的RGB颜色空间值:
Rnew=Rs*(1-SPSi)+fR(Rs)*SPSi;Gnew=Gs*(1-SPSi)+fG(Gs)*SPSi;
Bnew=Bs*(1-SPSi)+fB(Bs)*SPSi;其中,Rnew、Gnew、Bnew为所述肤色调节后的人脸图像对应的RGB颜色空间值,fR(Rs)、fG(Gs)、fB(Bs)为所述肤色映射曲线,Rs、Gs、Bs为所述肤色映射曲线的自变量,SPSi为所述肤色概率模板。
在具体实施中,所述调节单元203,可以用于根据所述肤色调节后的人脸图像的RGB颜色空间值,转换至肤色调节后的人脸图像的YUV颜色空间值,得到所述肤色调节后的人脸图像,采用如下公式计算所述肤色调节后的人脸图像的YUV颜色空间值:Ynew=0.299*Rnew+0.589*Gnew+0.114*Bnew;
Unew=-0.1687*Rnew-0.3313*Gnew+0.5*Bnew+128;
Vnew=0.5*Rnew-0.4187*Gnew-0.0813*Bnew+128;其中,Ynew、Unew、Vnew为所述肤色调节后的人脸图像的YUV颜色空间,Rnew、Gnew、Bnew为所述肤色调节后的人脸图像的RGB颜色空间值。
本发明实施例还提供了一种可读存储介质,计算机可读存储介质为非易失性存储介质或非瞬态存储介质,其上存储有计算机指令,所述计算机指令运行时执行本发明上述实施例中提供的所述的肤色调节方法的步骤。
本发明实施例还提供了一种肤色调节装置,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机指令,所述处理器运行所示计算机指令时,执行本发明上述实施例中提供的所述的肤色调节方法的步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于任一计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (32)
1.一种肤色调节方法,其特征在于,包括:
对图像进行人脸识别,从识别出的人脸图像中选取模板图像;
根据所述模板图像,计算得到肤色概率模板;
根据所述模板图像和参考肤色,得到肤色映射曲线,包括:获取所述模板图像的肤色均值以及所述模板图像的像素点的数量,将所述模板图像的肤色均值转化为RGB颜色空间值;根据所述肤色均值和所述参考肤色,得到等亮度下的目标肤色,并根据预设的肤色调节等级对所述等亮度下的目标肤色进行调整;根据所述肤色均值的RGB颜色空间值和所述调整后的等亮度下的目标肤色,得到所述肤色映射曲线;所述根据所述肤色均值的RGB颜色空间值和所述调整后的等亮度下的目标肤色,得到所述肤色映射曲线,包括:以所述肤色均值的RGB颜色空间值为贝塞尔曲线控制点横坐标,以所述调整后的等亮度下的目标肤色为贝塞尔曲线控制点纵坐标,分别拟合R通道对应的贝塞尔曲线、G通道对应的贝塞尔曲线以及B通道对应的贝塞尔曲线;将所述R通道对应的贝塞尔曲线、所述G通道对应的贝塞尔曲线以及所述B通道对应的贝塞尔曲线作为所述肤色映射曲线;
根据所述肤色概率模板和所述肤色映射曲线,对所述识别出的人脸图像进行肤色调节,得到肤色调节后的人脸图像。
2.如权利要求1所述的肤色调节方法,其特征在于,所述对图像进行人脸识别,从识别出的人脸图像中选取模板图像,包括:
从所述人脸图像中识别出眼睛和嘴唇的位置;
根据所述眼睛和嘴唇的位置,选取所述眼睛和嘴唇之间的图像作为所述模板图像。
3.如权利要求2所述的肤色调节方法,其特征在于,所述根据所述眼睛和嘴唇的位置,选取所述眼睛和嘴唇之间的图像作为所述模板图像,包括:
根据所述眼睛和嘴唇的位置,计算两眼之间的距离、眼嘴之间的距离和人脸中心点位置;
根据所述人脸中心点位置、两眼之间的距离、眼嘴之间的距离和人脸旋转角度,计算所述模板图像在所述人脸图像中的位置。
5.如权利要求3所述的肤色调节方法,其特征在于,所述根据所述人脸中心点位置、两眼之间的距离、眼嘴之间的距离和人脸旋转角度,计算所述模板图像在所述人脸图像中的位置,包括:
采用如下公式计算所述模板图像在所述人脸图像中的位置:
(Xs,Ys,Ws,Hs)=(Xfc-Rx,Yfc-Ry,2*Rx,2*Ry);
其中,faceSize=Max(eDist,emDist),
faceSize为所述模板图像自适应的尺寸,eDist为所述两眼之间的距离,emDist为所述眼嘴之间的距离,roll为所述人脸旋转角度,else为其他所述人脸旋转角度,(Rx,Ry)为根据所述人脸旋转角度的自适应人脸宽度,(Xs,Ys)为所述模板图像的左上角坐标,(Ws,Hs)为所述模板图像的宽度和高度,(Xfc,Yfc)为所述人脸中心点位置坐标。
6.如权利要求1所述的肤色调节方法,其特征在于,所述根据所述模板图像,计算得到肤色概率模板,包括:
获取所述模板图像的YUV数据;
根据所述模板图像的YUV数据,计算所述模板图像的肤色均值和差分均值;根据所述肤色均值和所述差分均值计算所述肤色概率模板。
8.如权利要求6所述的肤色调节方法,其特征在于,所述根据所述肤色均值和所述差分均值计算所述肤色概率模板,包括:
采用如下公式计算所述肤色概率模板:
SPi=Yδ*UVδ;
其中,UVδ=1-||Ui-Vi|-UVdiff|/180,Yδ=1-|Yi-YM|/255,SPi为所述肤色概率模板,UVδ、Yδ为Y、UV两通道的肤色概率,YM为所述肤色均值,UVdiff为所述肤色差分均值,Yi、Ui、Vi为所述模板图像的像素点的YUV数据。
9.如权利要求6所述的肤色调节方法,其特征在于,所述根据所述肤色均值和所述差分均值计算所述肤色概率模板,包括:
获取所述人脸图像中眼嘴之间的距离;
根据所述人脸图像中眼嘴之间的距离,计算均值滤波的模糊半径;
根据所述均值滤波的模糊半径,对所述肤色概率模板进行均值滤波处理,得到均值滤波后的肤色概率模板。
12.如权利要求1所述的肤色调节方法,其特征在于,所述根据所述肤色均值和所述参考肤色,得到等亮度下的目标肤色,并根据预设的肤色调节等级对所述等亮度下的目标肤色进行调整,包括:
采用如下公式计算所述调整后的等亮度下的目标肤色:
RD=α*RT+(1-α)*RM;
GD=α*GT+(1-α)*GM;
BD=α*BT+(1-α)*BM;
13.如权利要求1所述的肤色调节方法,其特征在于,所述根据所述肤色概率模板和所述肤色映射曲线,对所述识别出的人脸图像进行肤色调节,得到肤色调节后的人脸图像,包括:
根据所述肤色概率模板和所述肤色映射曲线,得到所述肤色调节后的人脸图像对应的RGB颜色空间值;
根据所述肤色调节后的人脸图像的RGB颜色空间值,转换至肤色调节后的人脸图像的YUV颜色空间值,得到所述肤色调节后的人脸图像。
14.如权利要求13所述的肤色调节方法,其特征在于,所述根据所述肤色概率模板和所述肤色映射曲线,得到所述肤色调节后的人脸图像对应的RGB颜色空间值,包括:
采用如下公式计算所述肤色调节后的人脸图像对应的RGB颜色空间值:
Rnew=Rs*(1-SPSi)+fR(Rs)*SPSi;
Gnew=Gs*(1-SPSi)+fG(Gs)*SPSi;
Bnew=Bs*(1-SPSi)+fB(Bs)*SPSi;
其中,Rnew、Gnew、Bnew为所述肤色调节后的人脸图像对应的RGB颜色空间值,fR(Rs)、fG(Gs)、fB(Bs)为所述肤色映射曲线,Rs、Gs、Bs为所述肤色映射曲线的自变量,SPSi为所述肤色概率模板。
15.如权利要求13所述的肤色调节方法,其特征在于,所述根据所述肤色调节后的人脸图像的RGB颜色空间值,转换至肤色调节后的人脸图像的YUV颜色空间值,得到所述肤色调节后的人脸图像,包括:
采用如下公式计算所述肤色调节后的人脸图像的YUV颜色空间值:
Ynew=0.299*Rnew+0.589*Gnew+0.114*Bnew;
Unew=-0.1687*Rnew-0.3313*Gnew+0.5*Bnew+128;
Vnew=0.5*Rnew-0.4187*Gnew-0.0813*Bnew+128;
其中,Ynew、Unew、Vnew为所述肤色调节后的人脸图像的YUV颜色空间,Rnew、Gnew、Bnew为所述肤色调节后的人脸图像的RGB颜色空间值。
16.一种肤色调节装置,其特征在于,包括:
识别单元,用于对图像进行人脸识别,从识别出的人脸图像中选取模板图像;处理单元,用于根据所述模板图像,计算得到肤色概率模板;根据所述模板图像和参考肤色,得到肤色映射曲线,包括:获取所述模板图像的肤色均值以及所述模板图像的像素点的数量,将所述模板图像的肤色均值转化为RGB颜色空间值;根据所述肤色均值和所述参考肤色,得到等亮度下的目标肤色,并根据预设的肤色调节等级对所述等亮度下的目标肤色进行调整;根据所述肤色均值的RGB颜色空间值和所述调整后的等亮度下的目标肤色,得到所述肤色映射曲线;所述根据所述肤色均值的RGB颜色空间值和所述调整后的等亮度下的目标肤色,得到所述肤色映射曲线,包括:以所述肤色均值的RGB颜色空间值为贝塞尔曲线控制点横坐标,以所述调整后的等亮度下的目标肤色为贝塞尔曲线控制点纵坐标,分别拟合R通道对应的贝塞尔曲线、G通道对应的贝塞尔曲线以及B通道对应的贝塞尔曲线;将所述R通道对应的贝塞尔曲线、所述G通道对应的贝塞尔曲线以及所述B通道对应的贝塞尔曲线作为所述肤色映射曲线;
调节单元,用于根据所述肤色概率模板和所述肤色映射曲线,对所述识别出的人脸图像进行肤色调节,得到肤色调节后的人脸图像。
17.如权利要求16所述的肤色调节装置,其特征在于,所述识别单元,用于:从所述人脸图像中识别出眼睛和嘴唇的位置;根据所述眼睛和嘴唇的位置,选取所述眼睛和嘴唇之间的图像作为所述模板图像。
18.如权利要求17所述的肤色调节装置,其特征在于,所述识别单元,用于:根据所述眼睛和嘴唇的位置,计算两眼之间的距离、眼嘴之间的距离和人脸中心点位置;根据所述人脸中心点位置、两眼之间的距离、眼嘴之间的距离和人脸旋转角度,计算所述模板图像在所述人脸图像中的位置。
20.如权利要求18所述的肤色调节装置,其特征在于,所述识别单元,用于根据所述人脸中心点位置、两眼之间的距离、眼嘴之间的距离和人脸旋转角度,计算所述模板图像在所述人脸图像中的位置,采用如下公式计算所述模板图像在所述人脸图像中的位置:
(Xs,Ys,Ws,Hs)=(Xfc-Rx,Yfc-Ry,2*Rx,2*Ry);
其中,faceSize=Max(eDist,emDist),
faceSize为所述模板图像自适应的尺寸,eDist为所述两眼之间的距离,emDist为所述眼嘴之间的距离,roll为所述人脸旋转角度,else为其他所述人脸旋转角度,(Rx,Ry)为根据所述人脸旋转角度的自适应人脸宽度,(Xs,Ys)为所述模板图像的左上角坐标,(Ws,Hs)为所述模板图像的宽度和高度,(Xfc,Yfc)为所述人脸中心点位置坐标。
21.如权利要求16所述的肤色调节装置,其特征在于,所述处理单元,用于获取所述模板图像的YUV数据;根据所述模板图像的YUV数据,计算所述模板图像的肤色均值和差分均值;根据所述肤色均值和所述差分均值计算所述肤色概率模板。
23.如权利要求21所述的肤色调节装置,其特征在于,所述处理单元,用于所述根据所述肤色均值和所述差分均值计算所述肤色概率模板,采用如下公式计算所述肤色概率模板:
SPi=Yδ*UVδ;
其中,UVδ=1-||Ui-Vi|-UVdiff|/180,Yδ=1-|Yi-YM|/255,UVδ、Yδ为Y、UV两通道的肤色概率,SPi为所述肤色概率模板,YM为所述肤色均值,UVdiff为所述肤色差分均值,Yi、Ui、Vi为所述模板图像的像素点的YUV数据。
24.如权利要求21所述的肤色调节装置,其特征在于,所述处理单元,用于获取所述人脸图像中眼嘴之间的距离;根据所述人脸图像中眼嘴之间的距离,计算均值滤波的模糊半径;根据所述均值滤波的模糊半径,对所述肤色概率模板进行均值滤波处理,得到均值滤波后的肤色概率模板。
27.如权利要求16所述肤色调节装置,其特征在于,所述处理单元,用于根据所述肤色均值和所述参考肤色,得到等亮度下的目标肤色,并根据预设的肤色调节等级对所述等亮度下的目标肤色进行调整,采用如下公式计算所述调整后的等亮度下的目标肤色:
RD=α*RT+(1-α)*RM;
GD=α*GT+(1-α)*GM;
BD=α*BT+(1-α)*BM;
28.如权利要求16所述的肤色调节装置,其特征在于,所述调节单元,用于根据所述肤色概率模板和所述肤色映射曲线,得到所述肤色调节后的人脸图像对应的RGB颜色空间值;根据所述肤色调节后的人脸图像的RGB颜色空间值,转换至肤色调节后的人脸图像的YUV颜色空间值,得到所述肤色调节后的人脸图像。
29.如权利要求28所述的肤色调节装置,其特征在于,所述调节单元,用于根据所述肤色概率模板和所述肤色映射曲线,得到所述肤色调节后的人脸图像对应的RGB颜色空间值,采用如下公式计算所述肤色调节后的人脸图像对应的RGB颜色空间值:
Rnew=Rs*(1-SPSi)+fR(Rs)*SPSi;
Gnew=Gs*(1-SPSi)+fG(Gs)*SPSi;
Bnew=Bs*(1-SPSi)+fB(Bs)*SPSi;
其中,Rnew、Gnew、Bnew为所述肤色调节后的人脸图像对应的RGB颜色空间值,fR(Rs)、fG(Gs)、fB(Bs)为所述肤色映射曲线,Rs、Gs、Bs为所述肤色映射曲线的自变量,SPSi为所述肤色概率模板。
30.如权利要求28所述的肤色调节装置,其特征在于,所述调节单元,用于根据所述肤色调节后的人脸图像的RGB颜色空间值,转换至肤色调节后的人脸图像的YUV颜色空间值,得到所述肤色调节后的人脸图像,采用如下公式计算所述肤色调节后的人脸图像的YUV颜色空间值:
Ynew=0.299*Rnew+0.589*Gnew+0.114*Bnew;
Unew=-0.1687*Rnew-0.3313*Gnew+0.5*Bnew+128;
Vnew=0.5*Rnew-0.4187*Gnew-0.0813*Bnew+128;
其中,Ynew、Unew、Vnew为所述肤色调节后的人脸图像的YUV颜色空间,Rnew、Gnew、Bnew为所述肤色调节后的人脸图像的RGB颜色空间值。
31.一种可读存储介质,计算机可读存储介质为非易失性存储介质或非瞬态存储介质,其上存储有计算机指令,其特征在于,所述计算机指令被处理器运行时执行权利要求1至15中任一项所述的肤色调节方法的步骤。
32.一种肤色调节装置,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机指令,其特征在于,所述处理器运行所述计算机指令时执行权利要求1至15任一项所述的肤色调节方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811185217.9A CN111047517B (zh) | 2018-10-11 | 2018-10-11 | 肤色调节方法及装置、可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811185217.9A CN111047517B (zh) | 2018-10-11 | 2018-10-11 | 肤色调节方法及装置、可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111047517A CN111047517A (zh) | 2020-04-21 |
CN111047517B true CN111047517B (zh) | 2022-09-30 |
Family
ID=70229044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811185217.9A Active CN111047517B (zh) | 2018-10-11 | 2018-10-11 | 肤色调节方法及装置、可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111047517B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112712569B (zh) * | 2020-12-25 | 2023-12-12 | 百果园技术(新加坡)有限公司 | 一种肤色检测方法、装置、移动终端和存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101743520B1 (ko) * | 2011-04-09 | 2017-06-08 | 에스프린팅솔루션 주식회사 | 색상 변환 장치 및 그 방법 |
CN103455790B (zh) * | 2013-06-24 | 2017-10-13 | 厦门美图网科技有限公司 | 一种基于肤色模型的皮肤识别方法 |
CN104156915A (zh) * | 2014-07-23 | 2014-11-19 | 小米科技有限责任公司 | 肤色调整方法和装置 |
CN106570909B (zh) * | 2016-11-02 | 2020-01-17 | 华为技术有限公司 | 一种肤色检测方法、装置及终端 |
CN107038715B (zh) * | 2017-03-21 | 2022-03-08 | 腾讯科技(深圳)有限公司 | 一种图像处理方法及装置 |
-
2018
- 2018-10-11 CN CN201811185217.9A patent/CN111047517B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111047517A (zh) | 2020-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106780311B (zh) | 一种结合皮肤粗糙度的快速人脸图像美化方法 | |
JP4870617B2 (ja) | 画像データの自動マッピング方法及び画像処理デバイス | |
US8538147B2 (en) | Methods and appartuses for restoring color and enhancing electronic images | |
US9639965B2 (en) | Adjusting color attribute of an image in a non-uniform way | |
CN112884637B (zh) | 特效生成方法、装置、设备及存储介质 | |
JP4870618B2 (ja) | 画像データの自動マッピング方法及び画像処理デバイス | |
US20140079319A1 (en) | Methods for enhancing images and apparatuses using the same | |
CN102663741B (zh) | 对彩色数字图像进行视觉立体感知增强的方法及系统 | |
CN111066026B (zh) | 用于向图像数据提供虚拟光调节的技术 | |
CN113344836B (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
CN111047517B (zh) | 肤色调节方法及装置、可读存储介质 | |
US9092889B2 (en) | Image processing apparatus, image processing method, and program storage medium | |
CN110782400A (zh) | 一种自适应的光照均匀实现方法和装置 | |
JP6711020B2 (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
CN111402354B (zh) | 适用于光学穿透式头戴显示器的颜色对比增强绘制方法、装置以及系统 | |
US9858654B2 (en) | Image manipulation | |
CN113610723B (zh) | 图像处理方法及相关装置 | |
JP2012510201A (ja) | デジタル画像における記憶色の修正 | |
CN112614471B (zh) | 色调映射方法及系统 | |
CN114596213A (zh) | 一种图像处理方法及装置 | |
US20240046532A1 (en) | Techniques for Reducing Distractions in an Image | |
KR102606373B1 (ko) | 영상에서 검출되는 얼굴의 랜드마크를 조절하기 위한 방법 및 장치 | |
KR102214439B1 (ko) | 저전력 모드를 위한 영상 처리 방법 및 장치 | |
Wu et al. | A Comprehensive and Practical Image Enhancement Method | |
CN117152805A (zh) | 图像处理方法及装置、计算设备、存储介质和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |