CN106296572A - 一种基于部件的人脸编辑与美化方法 - Google Patents
一种基于部件的人脸编辑与美化方法 Download PDFInfo
- Publication number
- CN106296572A CN106296572A CN201610619015.5A CN201610619015A CN106296572A CN 106296572 A CN106296572 A CN 106296572A CN 201610619015 A CN201610619015 A CN 201610619015A CN 106296572 A CN106296572 A CN 106296572A
- Authority
- CN
- China
- Prior art keywords
- face
- parts
- source
- target
- characteristic point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 230000001815 facial effect Effects 0.000 claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 238000002372 labelling Methods 0.000 claims abstract description 12
- 210000002837 heart atrium Anatomy 0.000 claims abstract 2
- 230000029052 metamorphosis Effects 0.000 claims description 11
- 230000007704 transition Effects 0.000 claims description 8
- 210000004709 eyebrow Anatomy 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims 1
- 230000001568 sexual effect Effects 0.000 claims 1
- 230000003796 beauty Effects 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- JZCCFEFSEZPSOG-UHFFFAOYSA-L copper(II) sulfate pentahydrate Chemical compound O.O.O.O.O.[Cu+2].[O-]S([O-])(=O)=O JZCCFEFSEZPSOG-UHFFFAOYSA-L 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于部件的人脸编辑与美化方法,该方法首先预处理目标人脸并标记源人脸全部部件的特征点;随后对不需要变换的部件,将其在源人脸中的特征点坐标赋值给目标人脸相应部件,并对需要变换的部件,标记其在目标人脸中的特征点;然后对两张人脸全部部件的特征点坐标加权平均得到变换图全部部件的特征点坐标,权重不同,得到的变换图不同;接着对两张人脸及变换图进行三角剖分,并利用像素点坐标与三角形三个顶点的关系计算出源人脸以及目标人脸所有像素点在变换图上对应的位置;随后使用线性插值技术得到源人脸与目标人脸的变形图;最后将源人脸与目标人脸的变形图进行组合便可得到部件变换后的人脸图像。
Description
技术领域
本发明涉及一种基于部件的人脸编辑与美化方法,属于计算机视觉技术和多媒体技术领域。
背景技术
近年来,人们越来越重视容貌的美丑,整形美容学科迅速发展。但人脸整容存在很大的风险性,医生不知整容后的结果到底是什么样的,而通过对人脸进行虚拟的不同程度的部件整形,可以解决上述问题。
在人脸图像变形方面,目前比较成熟的是人脸图像网格方法,这种方法包括三角剖分法。三角剖分方法的思路是在源图像和目标图像上标注若干对应的特征点,按照特征点把整张图像分割成若干块三角形区域。为了避免剖分出形状不优的三角形,Delaunay三角剖分通常为人们所使用。然而与部件渐变最为密切相关的是人脸局部变形的工作,这种工作前人做的并不多。最为相关的是陈粟等人的工作。在他们的工作里,首先在局部变形区域内确定特征点和影响半径,然后计算出区域像素点几何位置的变化,最后使用双线性插值原理进行灰度赋值。
进一步,利用人脸变形的思想来实现人脸的美化,最具代表性的是Zhao提出的对人脸图像进行轮廓变形处理的方法。该方法利用薄板样条和移动最小二乘算法对人脸图像进行轮廓的变形处理。
发明内容
本发明所要解决的技术问题是:提供一种基于部件的人脸编辑与美化方法,计算复杂度低,占用空间小,美化效果显著且自然。
本发明为解决上述技术问题采用以下技术方案:
步骤1,选取待部件渐变的源人脸与拥有目标部件(例如嘴唇)的目标人脸;
步骤2,重新调整目标人脸图片大小,使两张人脸图片大小相同,并根据待渐变的部件(例如嘴唇),平移目标人脸使其相应部件与源人脸待渐变部件的位置大致相同;
步骤3,标记源人脸的部件特征点,包括嘴唇,鼻子,下巴,两个眼睛,另外也对两个眉毛进行标记;
步骤4,标记目标人脸的目标部件(例如嘴唇),并将步骤3得到的源人脸部件特征点中不需要渐变的全部部件特征点坐标赋值给目标人脸相应部件;
步骤5,将步骤3得到的源人脸全部部件的特征点坐标与步骤4得到的目标人脸全部部件的特征点坐标加权平均得到部件变换图全部部件的特征点坐标,权重不同将使得变换图不同。
步骤6,根据全部部件的特征点分别对源人脸、目标人脸及步骤5得到的部件变换图进行三角剖分;
步骤7,计算步骤6得到的三角剖分后的变换图中每个像素点与三角形(像素点在三角形内部,包括边上)三个顶点间的线性关系,并分别计算源人脸、目标人脸中所有像素点在部件变换图上对应的位置后分别对源人脸与目标人脸进行双线性插值,得到源人脸变形图与目标人脸变形图;
步骤8,根据待渐变的部件(例如嘴唇),对步骤7得到的源人脸变形图与目标人脸变形图进行组合得到部件(例如嘴唇)变换后的人脸。
优选的,步骤2所述平移目标人脸所遵循的准则为:对于某一部件,在源人脸与目标人脸中选取某个点,平移目标人脸使得这两个点位置相同。
优选的,步骤3所述利用监督下降的方法(SDM)标记特征点,包括:嘴唇(12个),鼻子(17个),下巴(7个),眼睛(32个),眉毛(10个)。
优选的,步骤6所述三角剖分利用Delaunay方法。
优选的,步骤8所述源人脸变形图与目标人脸变形图组合的方法为:对于待渐变部件(例如嘴唇),将源人脸与目标人脸相应部件(例如嘴唇)中的所有像素的像素值以步骤3中的权重进行加权相加后赋值给部件变换图,同时将源人脸中待渐变部件以外的所有像素的像素值赋值给部件变换图。
有益效果
1、本发明基于部件的人脸编辑与美化方法,针对人脸单独的部件(如嘴唇)进行渐变的过程,保留了源人脸的原有的大部分特点,在整容行业有可观的应用前景。
2、本发明基于部件的人脸编辑与美化方法,根据待渐变的部件(例如嘴唇),平移目标人脸使其相应部件与源人脸待渐变部件的位置大致相同,提高了变换后部件位置与源人脸其它部件间的协调性。
3、本发明基于部件的人脸编辑与美化方法,在部件渐变过程中,只是简单地改变源人脸中待渐变部件特征点位置,保持其它部件特征点位置不变,降低了人脸局部变形算法的复杂度,节省了时间。
附图说明
图1是本发明基于部件的人脸编辑与美化方法的整体流程图。
具体实施方式
以下结合附图详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
如图1所示,为本发明基于部件的人脸编辑与美化方法的整体流程图,包括以下步骤:
步骤1、人脸选取
选取待部件渐变的源人脸与拥有目标部件(例如嘴唇)的目标人脸,分别记为A,B。
步骤2、目标人脸预处理
重新调整目标人脸图像B的大小,使A,B两张图像大小相同,并根据待渐变的部件(例如嘴唇),平移目标人脸使其相应部件与源人脸待渐变部件的位置大致相同。
步骤3、源人脸部件特征点标记
利用SDM方法标记源人脸A的部件特征点,包括嘴唇、鼻子、下巴、两个眼睛和两个眉毛,它们的坐标分别记为Az,Ab,Al,Ay,Am,并记A全部部件的特征点坐标为At(At=Az+Ab+Al+Ay+Am)。
步骤4、目标人脸部件特征点赋值及标记
以嘴唇渐变为例,利用SDM方法标记目标人脸B的嘴唇,并将步骤3得到的源人脸部件特征点中除嘴唇外的全部部件特征点坐标赋值给目标人脸相应部件,具体方法如下式:
Bt=Bz+At-Az (1)
其中,Bz表示标记的目标人脸嘴唇特征点坐标;Bt表示目标人脸全部部件的特征点坐标。
步骤5、变换图部件特征点计算
将步骤3得到的源人脸全部部件的特征点坐标At与步骤4得到的目标人脸全部的部件特征点坐标Bt加权相加得到部件变换图(记为C)全部部件的特征点坐标,具体方法如下式:
Ct=(1-α)At+αBt (2)
其中,Ct表示变换图全部部件的特征点坐标;α∈[0,1],表示目标人脸B的部件特征点坐标对变换图C部件特征点坐标的贡献率。
步骤6、三角剖分
根据全部部件的特征点分别对源人脸、目标人脸及步骤5得到的部件变换图进行基于Delaunay方法的三角剖分。
步骤7、线性关系计算及源人脸与目标人脸的变形
计算步骤6得到的三角剖分后的变换图C中每个像素点与三角形(像素点在三角形内部,包括边上)三个顶点间的线性关系,并计算源人脸与目标人脸变形后的结果图,具体方法如下:
设三角形P是源人脸A上的一个三角形,其三个顶点分别为P1,P2,P3;三角形Q与P对应的目标人脸B上的三角形;三角形M是P到Q变换过程中变换图C上的三角形,其对应的三个顶点分别为M1,M2,M3。对于三角形M内(或M上)的一点Mκ(表示第κ个像素点),将这点与三角形三个顶点表示成线性关系:
Mκ1=ωκ1*M11+ωκ2*M21+ωκ3*M31
Mκ2=ωκ1*M12+ωκ2*M22+ωκ3*M32 (3)
其中,Mκ1,Mκ2表示第κ个像素点的横坐标与纵坐标值;M11,M21,M31表示三个顶点M1,M2,M3的横坐标值;M12,M22,M32表示三个顶点M1,M2,M3的纵坐标值;ωκ1,ωκ2,ωκ3是三项权重系数,它们可以通过下式求解:
ωκ3=1-ωκ1-ωκ2 (4)
设源图A中坐标与C中的Mκ像素点坐标相等的点为Pκ,则其变换后的坐标为:
P'κ1=ωκ1*P11+ωκ2*P21+ωκ3*P31
P'κ2=ωκ1*P12+ωκ2*P22+ωκ3*P32 (5)
其中,P11,P21,P31表示三个顶点P1,P2,P3的横坐标值;P12,P22,P32表示三个顶点P1,P2,P3的纵坐标值;P'κ1,P'κ2表示像素点Pκ变换后的点P'κ的横坐标值和纵坐标值。
按照式(4)(5),可求得源图A与目标图B的所有像素点变换后的坐标,然后分别利用双线性插值,求得A变形后的结果图A',B变形后的结果图B'。
步骤8、部件变换图的生成
根据待渐变的部件(例如嘴唇),对步骤7得到的源人脸变形图A'与目标人脸变形图B'进行组合得到部件(例如嘴唇)变换后的人脸C,具体方法如下式;
C=A'em+(1-α)A'm+αB'm (6)
其中,α来源于步骤5;A'em表示将步骤7得到的人脸变形图A'嘴唇部分赋值为0其余部分不变的图;A'm表示将步骤7得到的人脸变形图A'嘴唇以外的部分赋值为0而嘴唇部分不变的图;B'm表示将步骤7得到的目标人脸变形图B'嘴唇以外的部分赋值为0而嘴唇部分不变的图。
以上实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明保护范围之内。
Claims (5)
1.一种基于部件的人脸编辑与美化方法,其特征在于,包括以下步骤:
步骤1,选取待部件渐变的源人脸与拥有目标部件的目标人脸;
步骤2,重新调整目标人脸图片大小,使两张人脸图片大小相同,并根据待渐变的部件,平移目标人脸使其相应部件与源人脸待渐变部件的位置相同;
步骤3,标记源人脸的部件特征点,包括嘴唇,鼻子,下巴,两个眼睛,另外对两个眉毛进行标记;
步骤4,标记目标人脸的目标部件,并将步骤3得到的源人脸部件特征点中不需要渐变的全部部件特征点坐标赋值给目标人脸相应部件;
步骤5,将步骤3得到的源人脸全部部件的特征点坐标与步骤4得到的目标人脸全部部件的特征点坐标加权平均得到部件变换图全部部件的特征点坐标,权重不同将使得变换图不同。
步骤6,根据全部部件的特征点分别对源人脸、目标人脸及步骤5得到的部件变换图进行三角剖分;
步骤7,计算步骤6得到的三角剖分后的变换图中每个像素点与三角形三个顶点间的线性关系,并分别计算源人脸、目标人脸中所有像素点在部件变换图上对应的位置后分别对源人脸与目标人脸进行双线性插值,得到源人脸变形图与目标人脸变形图;
步骤8,根据待渐变的部件,对步骤7得到的源人脸变形图与目标人脸变形图进行组合得到部件变换后的人脸。
2.如权利要求1所述的方法,其特征在于,步骤2所述平移目标人脸所遵循的准则为:对于某一部件,在源人脸与目标人脸中选取某个点,平移目标人脸使得这两个点位置相同。
3.如权利要求1所述的方法,其特征在于:步骤3所述利用监督下降的方法(SDM)标记特征点,包括:嘴唇12个,鼻子17个,下巴7个,眼睛32个,眉毛10个。
4.如权利要求1所述的方法,其特征在于:步骤6所述三角剖分利用Delaunay方法。
5.如权利要求1所述的方法,其特征在于:步骤8所述源人脸变形图与目标人脸变形图组合的方法为:对于待渐变部件,将源人脸与目标人脸相应部件中的所有像素的像素值以步骤3中的权重进行加权相加后赋值给部件变换图,同时将源人脸中待渐变部件以外的所有像素的像素值赋值给部件变换图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610619015.5A CN106296572A (zh) | 2016-08-01 | 2016-08-01 | 一种基于部件的人脸编辑与美化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610619015.5A CN106296572A (zh) | 2016-08-01 | 2016-08-01 | 一种基于部件的人脸编辑与美化方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106296572A true CN106296572A (zh) | 2017-01-04 |
Family
ID=57663755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610619015.5A Pending CN106296572A (zh) | 2016-08-01 | 2016-08-01 | 一种基于部件的人脸编辑与美化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106296572A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107657590A (zh) * | 2017-09-01 | 2018-02-02 | 北京小米移动软件有限公司 | 图片处理方法及装置 |
CN107833177A (zh) * | 2017-10-31 | 2018-03-23 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
CN110705346A (zh) * | 2019-08-22 | 2020-01-17 | 杭州趣维科技有限公司 | 一种大尺度人脸变形方法 |
CN112150387A (zh) * | 2020-09-30 | 2020-12-29 | 广州光锥元信息科技有限公司 | 对照片中的人像增强五官立体感的方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105447823A (zh) * | 2014-08-07 | 2016-03-30 | 联想(北京)有限公司 | 一种图像处理方法及一种电子设备 |
CN105469017A (zh) * | 2014-06-26 | 2016-04-06 | 小米科技有限责任公司 | 人脸图像处理方法及装置 |
CN105528763A (zh) * | 2015-11-30 | 2016-04-27 | 华南理工大学 | 一种基于多重网格近似算法的自适应区域感知蒙板生成方法 |
CN105719248A (zh) * | 2016-01-14 | 2016-06-29 | 深圳市商汤科技有限公司 | 一种实时的人脸变形方法及其系统 |
-
2016
- 2016-08-01 CN CN201610619015.5A patent/CN106296572A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105469017A (zh) * | 2014-06-26 | 2016-04-06 | 小米科技有限责任公司 | 人脸图像处理方法及装置 |
CN105447823A (zh) * | 2014-08-07 | 2016-03-30 | 联想(北京)有限公司 | 一种图像处理方法及一种电子设备 |
CN105528763A (zh) * | 2015-11-30 | 2016-04-27 | 华南理工大学 | 一种基于多重网格近似算法的自适应区域感知蒙板生成方法 |
CN105719248A (zh) * | 2016-01-14 | 2016-06-29 | 深圳市商汤科技有限公司 | 一种实时的人脸变形方法及其系统 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107657590A (zh) * | 2017-09-01 | 2018-02-02 | 北京小米移动软件有限公司 | 图片处理方法及装置 |
CN107657590B (zh) * | 2017-09-01 | 2021-01-15 | 北京小米移动软件有限公司 | 图片处理方法、装置及存储介质 |
CN107833177A (zh) * | 2017-10-31 | 2018-03-23 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
CN110705346A (zh) * | 2019-08-22 | 2020-01-17 | 杭州趣维科技有限公司 | 一种大尺度人脸变形方法 |
CN112150387A (zh) * | 2020-09-30 | 2020-12-29 | 广州光锥元信息科技有限公司 | 对照片中的人像增强五官立体感的方法及装置 |
CN112150387B (zh) * | 2020-09-30 | 2024-04-26 | 广州光锥元信息科技有限公司 | 对照片中的人像增强五官立体感的方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103927727B (zh) | 一种标量图像转化为矢量图的方法 | |
CN106296572A (zh) | 一种基于部件的人脸编辑与美化方法 | |
CN103824253B (zh) | 一种基于图像局部精确变形的人物五官变形方法 | |
CN108805090B (zh) | 一种基于平面网格模型的虚拟试妆方法 | |
CN103268623B (zh) | 一种基于频域分析的静态人脸表情合成方法 | |
CN106023063A (zh) | 一种视频移植换脸的方法 | |
Nöllenburg et al. | Morphing polylines: A step towards continuous generalization | |
CN109801380A (zh) | 一种虚拟试衣的方法、装置、存储介质及计算机设备 | |
CN105469407A (zh) | 一种基于改进的引导滤波器的人脸图像图层分解方法 | |
CN104992402A (zh) | 一种美颜处理方法及装置 | |
CN102486868A (zh) | 一种基于平均脸的美丽人脸合成方法 | |
CN103810739A (zh) | 一种图像文字变形动画的生成方法 | |
CN105913416A (zh) | 一种自动分割三维人脸模型区域的方法 | |
CN104331868B (zh) | 一种图像边缘的优化方法 | |
CN108492247A (zh) | 一种基于网格变形的眼妆贴图方法 | |
CN103810729B (zh) | 一种基于等高线的光栅图像矢量化方法 | |
CN106570909A (zh) | 一种肤色检测方法、装置及终端 | |
CN103971394A (zh) | 人脸动画合成方法 | |
CN103578092A (zh) | 一种多聚焦图像融合方法 | |
CN104809457A (zh) | 一种基于区域化隐函数特征的三维人脸识别方法及系统 | |
CN109410119A (zh) | 面具图像变形方法及其系统 | |
CN105894446A (zh) | 一种视频中的自动脸部轮廓修饰方法 | |
CN102609964A (zh) | 肖像剪纸的生成方法 | |
CN110264396A (zh) | 视频人脸替换方法、系统及计算机可读存储介质 | |
CN108596992B (zh) | 一种快速实时的唇彩化妆方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170104 |
|
WD01 | Invention patent application deemed withdrawn after publication |