CN101655985B - 多种风格人脸卡通样本的统一参数化方法 - Google Patents
多种风格人脸卡通样本的统一参数化方法 Download PDFInfo
- Publication number
- CN101655985B CN101655985B CN2009100238466A CN200910023846A CN101655985B CN 101655985 B CN101655985 B CN 101655985B CN 2009100238466 A CN2009100238466 A CN 2009100238466A CN 200910023846 A CN200910023846 A CN 200910023846A CN 101655985 B CN101655985 B CN 101655985B
- Authority
- CN
- China
- Prior art keywords
- face
- cartoon
- drafting
- sample
- people
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种多种风格人脸卡通样本的统一参数化方法。该方法分层表示人脸卡通画样本的构图和绘制,通过绘制实体布局参数(PaintingStyle parameters)--PSP定义卡通画样本的构图,绘制实体参数(PaintingEntity Parameters)--PEP定义卡通画的绘制方法。这种统一的参数化数据组织架构,使绘制算法可以完全根据真实人脸几何特征,学习人脸卡通画样本的构图和绘制方法,通过绘制实体布局的序贯优化计算和绘制实体的变形转移,自动生成特定人脸对象的个性化人脸卡通画。并且使计算机可以自动学习不同艺术风格的卡通画绘制方法,具有很好的可扩展性和数据独立性。
Description
技术领域
本发明属于计算机视觉和图形图像处理领域,特别涉及一种多种风格人脸卡通样本的统一参数化方法。
背景技术
将人类艺术家绘制的人脸卡通画样本参数化,构成人脸卡通样本空间,输入人脸通过学习卡通样本的绘制方法,可以自动合成指定风格的人脸卡通画。
但是,艺术家所绘制人脸卡通画风格是不完全相同的,不同风格的卡通画绘制方法是有差异的,作为人脸卡通画自动合成的基础,如何构建能满足不同风格卡通样本的统一参数化人脸卡通样本空间,将直接关系到人脸卡通画绘制算法的生成效果和适用范围。
发明内容
本发明的目的在于提供一种多种风格人脸卡通样本的统一参数化方法,对输入人脸图像,可以自动建立卡通人脸参数模型,人脸卡通画绘制引擎可以自动生成输入人脸的人脸卡通画。
为达到上述目的,本发明采用的技术方案是:
1)建立人脸卡通画样本的参数化模型
人脸卡通画样本的参数化模型是将绘制的人脸卡通画样本分为参考形状层和绘制式样层,记为Sample={R,P};
参考形状层将人脸对象分为整体结构和五官形状,记为R=(M,S),M表示人脸整体结构,记录五官、配饰物的位置信息;S表示组成人脸对象的部件集,由人脸五官包括左眉、右眉、左眼、右眼、鼻子、嘴巴和脸型的几何形状特征定义;
绘制式样层是将人脸对象对应的卡通画分为绘制实体布局和绘制实体集,记为P=(L,E),L记录人脸卡通画的绘制实体布局,表示卡通画的构图和整体风格,E表示人脸卡通画的绘制实体集,与人脸对象的部件集元素一一对应,定义每个部件的绘制形状、绘制元素和绘制规则;
2)人脸卡通画样本的部件化
将一幅需要绘制的人脸卡通画样本分成七个局部部件:脸庞、左眉毛、右眉毛、左眼、右眼、鼻子和嘴巴做为参考形状,每个部件对应参数化模型中的一个参考形状层的参数和绘制式样层的参数,即在人脸卡通画样本的参数化模型中选取一个与参考形状最匹配的局部部件样本;
3)特定人脸绘制实体布局的序贯优化计算
(1)利用输入人脸几何特征计算每个五官部件的位置(x,y,w,h,θ),按照平均人脸绘制实体布局参数,估计一个初始值Lestimate,将选取的每一个局部部件样本放置在相应的位置;
(2)设输入的人脸对象参考形状的整体结构Mface是人脸卡通样本空间所有样本整体结构的线性组合 式中,N为样本库中样本个数,系数ak是样本权重并且满足 求解出系数ak,利用系数ak和对应绘制式样的绘制实体布局{Lk,k=1...N}求得输入人脸绘制实体布局的理想值
(3)将Lestimate向Loptimal迭代优化直到收敛,得到输入人脸的绘制实体布局Lface;
4)特定人脸绘制实体的变形转移计算
给定特定人脸五官几何特征 和选择的五官部件样本的绘制实体形状特征 在特征点之间存在一一对应关系,采用薄板样条变换找到一个非刚性映射f(x,y)=(f1(x,y),f2(x,y))T,代价函数为ETPS(f),
给定一个λ,min(ETPS(f))存在唯一解:
(2)
其中U(r)=r2 ln r,λ用于调整非刚性映射f的扭曲程度,通过最小化ETPS(f)求解系数a11,a12,a13,a21,a22,a23,w1i,w2i,得到样本绘制实体形状与特定人脸五官几何特征之间的映射关系f,将f作为五官匹配得到的样本Eshape optimal的变形函数,即 变形后得到的绘制实体形状Eshape cp按照整体布局Lface中确定的五官大小和位置参数,得到特定人脸Iface的绘制式样Pface=(Lface,Eface)。
本发明的人脸卡通画的绘制实体布局是记录样本中各绘制实体的位置,将卡通画样本分为7个绘制实体:脸型、左眉、右眉、左眼、右眼、鼻子和嘴巴,每个绘制实体的位置由5个参数(x,y,w,h,θ)决定,它们分别是部件中心点坐标(x,y),部件宽度w、高度h和倾斜角θ;
所说的人脸卡通画的绘制实体集中的每个绘制实体对应人脸对象部件集中的一个五官部件,绘制实体集定义部件样本的绘制实体形状、绘制元素和绘制属性,记为PEP=(绘制实体形状,绘制元素,绘制属性),绘制实体形状描述绘制实体的几何形状;绘制实体有两类基本的绘制元素:线条元素和区域元素,线条元素按照绘制风格用来勾画人脸轮廓,区域元素定义绘制实体所表现的有界区域;线条元素的绘制属性包括:线条模型、线条颜色,区域元素的绘制属性包括区域填充纹理模型、区域绘制颜色。
本发明针对多种风格人脸卡通画样本的参数化和卡通画,对不同绘制风格的人脸卡通样本进行统一参数化组织的方法。利用统一参数化人脸卡通样本空间,绘制算法可自动学习指定风格人脸卡通画样本的绘制方法,合成指定绘制风格的人脸卡通画。而不同风格人脸卡通画的生成只需要同一个绘制算法就可以完成,绘制算法对卡通样本绘制风格具有数据独立性。
附图说明
图1是本发明人脸卡通画样本参数的分层定义图;
图2是本发明人脸卡通画样本绘制实体的位置参数定义图;
图3是本发明自动合成的人脸卡通画;
图4是本发明自动合成不同配饰物(眼镜、发型)的人脸卡通画;
图5是本发明相同绘制引擎自动合成的不同绘制风格的人脸卡通画。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明包括以下步骤:
1)建立人脸卡通画样本的参数化模型
参见图1,人脸卡通画样本的参数化模型是将绘制的人脸卡通画样本分为参考形状层和绘制式样层,记为Sample={R,P};
参考形状层将人脸对象分为整体结构和五官形状,记为R=(M,S),M表示人脸整体结构,记录五官、配饰物的位置信息;S表示组成人脸对象的部件集,由人脸五官包括左眉、右眉、左眼、右眼、鼻子、嘴巴和脸型的几何形状特征定义;
绘制式样层是将人脸对象对应的卡通画分为绘制实体布局和绘制实体集,记为P=(L,E),L记录人脸卡通画的绘制实体布局,表示卡通画的构图和整体风格,E表示人脸卡通画的绘制实体集,与人脸对象的部件集元素一一对应,定义每个部件的绘制形状、绘制元素和绘制规则;
人脸卡通画的绘制实体布局是记录样本中各绘制实体的位置,将卡通画样本分为7个绘制实体:脸型、左眉、右眉、左眼、右眼、鼻子和嘴巴,每个绘制实体的位置由5个参数(x,y,w,h,θ)决定,它们分别是部件中心点坐标(x,y),部件宽度w、高度h和倾斜角θ(参见图2)。
人脸卡通画的绘制实体集中的每个绘制实体对应人脸对象部件集中的一个五官部件,绘制实体集定义部件样本的绘制实体形状、绘制元素和绘制属性,记为PEP=(绘制实体形状,绘制元素,绘制属性),绘制实体形状描述绘制实体的几何形状;绘制实体有两类基本的绘制元素:线条元素和区域元素,线条元素按照绘制风格用来勾画人脸轮廓,区域元素定义绘制实体所表现的有界区域;线条元素的绘制属性包括:线条模型、线条颜色,区域元素的绘制属性包括区域填充纹理模型、区域绘制颜色。这些绘制属性参数综合定义绘制元素的绘制方法。
卡通画绘制算法将绘制实体根据实体布局的位置参数自动合成人脸卡通画。
2)人脸卡通画样本的部件化
理论上讲,样本数量越多,计算机自动学习得到的结果将越精细,但实际上不可能收集到所有人脸的卡通画样本。根据人脸分类学研究结果,人脸卡通样本部件化可以达到用有限数量样本获得理想绘制的学习效果。
将一幅需要绘制的人脸卡通画样本分成七个局部部件:脸庞、左眉毛、右眉毛、左眼、右眼、鼻子和嘴巴做为参考形状,每个部件对应参数化模型中的一个参考形状层的参数和绘制式样层的参数,即在人脸卡通画样本的参数化模型中选取一个与参考形状最匹配的局部部件样本,不同类型的部件样本可以任意组合构成一幅完整的人脸卡通画。
3)特定人脸绘制实体布局的序贯优化计算
对一个输入人脸Iface,卡通人脸参数建模就是利用从输入人脸获得的几何特征,自动计算该人脸对象的参考形状Rface=(Mface,Sface)和它的绘制式样Pface=(Lface,Eface)。
对输入人脸绘制实体布局的计算采用优化贯序方法,即先优化眼睛结构,然后根据眼睛确定眉毛、鼻子和嘴巴。按照人脸五官部件相对位置的约束关系,为输入人脸对象的对应绘制实体位置参数建立一组优化方程,得到一个全局最优的绘制实体布局。
已知输入人脸对象的几何特征,人脸卡通样本空间中N个典型样本的参考形状参数和绘制式样参数,为了求得对应卡通人脸参数模型的绘制实体布局Lface,采取以下的计算步骤:
(1)利用输入人脸几何特征计算每个五官部件的位置(x,y,w,h,θ),按照平均人脸绘制实体布局参数,估计一个初始值Lestimate,将选取的每一个局部部件样本放置在相应的位置;
(2)设输入的人脸对象参考形状的整体结构Mface是人脸卡通样本空间所有样本整体结构的线性组合 N为样本库中样本个数,系数ak是样本权重并且满足 求解出系数ak,利用系数ak和对应绘制式样的绘制实体布局{Lk,k=1...N}求得输入人脸绘制实体布局的理想值
(3)将Lestimate向Loptimal迭代优化直到收敛,得到输入人脸的绘制实体布局Lface;
4)特定人脸绘制实体的变形转移计算
给定特定人脸五官几何特征 和选择的五官部件样本的绘制实体形状特征 在特征点之间存在一一对应关系,薄板样条变换可以找到一个非刚性映射f(x,y)=(f1(x,y),f2(x,y))T,代价函数为ETPS(f)。
给定一个λ,min(ETPS(f))存在唯一解:
(2)
其中U(r)=r2 ln r,λ用于调整非刚性映射f的扭曲程度,通过最小化ETPS(f)求解系数a11,a12,a13,a21,a22,a23,w1i,w2i,得到样本绘制实体形状与特定人脸五官几何特征之间的映射关系f。将f作为各器官匹配得到的样本Eshape optimal的变形函数,即
变形后得到的绘制实体形状Eshape cp按照整体布局Lface中确定的五官大小和位置参数,得到特定人脸Iface的绘制式样Pface=(Lface,Eface)。
对特定的人脸对象,在对样本空间中选择得到的各五官部件样本的绘制实体形状进行局部变形时,不考虑绘制实体布局,直接对各部件的绘制实体单独进行变形转移。这种单部件的局部变形转移可以避免器官变形产生的相互影响。
统一参数化人脸卡通画样本空间应具有如下特点:
1、Bottom-Up组织方式。将一张人脸卡通画拆分成局部部件样本,每个局部样本具有代表性,可以用于人脸卡通画重组。在实际使用中,这种bottom-up组织方式可以把不同部件自由组合,利用有限样本提高样本空间的适用范围;
2、可学习性。除了对卡通画样本构图和绘制方法的参数化,样本空间具有从人脸几何特征到卡通人脸的映射关系,使自动学习卡通绘制成为可能;
3、可替换性。在统一参数化框架下,更换不同风格的样本参数能实现特定风格卡通画的生成。换言之,样本参数对卡通画绘制算法具有数据独立性;
4、可扩展性。参照人脸生理结构和艺术家的绘制顺序,将人脸各部件分别在独立的层次上绘制,可以方便样本空间添加新的绘制元素和绘制风格。
使用多种风格人脸卡通画样本的统一参数化方法,对输入人脸图像,可以自动建立卡通人脸参数模型,人脸卡通画绘制引擎可以自动生成输入人脸的人脸卡通画。图3是根据输入人脸图像,自动合成绘制的两幅人脸卡通画,所生成的结果在细节上能够充分反映真实人脸的个性特征。比如脸型消瘦、嘴巴的张合状态表现细节,都使得所生成的人脸卡通画容易被接受。图4是更多的人脸卡通画生成结果,可以看出,生成的写实人脸卡通画保持了原有人脸五官的特征,并具有特定的艺术风格和较丰富的表现力。图5是两种艺术风格的人脸卡通画,它们由相同的绘制算法合成,选择不同绘制风格的样本。证明本发明方法的有效性。
Claims (3)
1.一种多种风格人脸卡通样本的统一参数化方法,其特征在于:
1)建立人脸卡通画样本的参数化模型
人脸卡通画样本的参数化模型是将绘制的人脸卡通画样本分为参考形状层和绘制式样层,记为Sample={R,P};
参考形状层将人脸对象分为整体结构和五官形状,记为R=(M,S),M表示人脸整体结构,记录五官、配饰物的位置信息;S表示组成人脸对象的部件集,由人脸五官包括左眉、右眉、左眼、右眼、鼻子、嘴巴和脸型的几何形状特征定义;
绘制式样层是将人脸对象对应的卡通画分为绘制实体布局和绘制实体集,记为P=(L,E),L记录人脸卡通画的绘制实体布局,表示卡通画的构图和整体风格,E表示人脸卡通画的绘制实体集,与人脸对象的部件集元素一一对应,定义每个部件的绘制形状、绘制元素和绘制规则;
2)人脸卡通画样本的部件化
将一幅需要绘制的人脸卡通画样本分成七个局部部件:脸庞、左眉毛、右眉毛、左眼、右眼、鼻子和嘴巴做为参考形状,每个部件对应参数化模型中的一个参考形状层的参数和绘制式样层的参数,即在人脸卡通画样本的参数化模型中选取一个与参考形状最匹配的局部部件样本;
3)特定人脸绘制实体布局的序贯优化计算
(1)利用输入人脸几何特征计算每个五官部件的位置(x,y,w,h,θ),按照平均人脸绘制实体布局参数,估计一个初始值Lestimate,将选取的每一个局部部件样本放置在相应的位置;
(2)设输入的人脸对象参考形状的整体结构Mface是人脸卡通样本空间所有样本整体结构的线性组合式中,N为样本库中样本个数,系数ak是样本权重并且满足求解出系数ak,利用系数ak和对应绘制式样的绘制实体布局{Lk,k=1...N的自然数}求得输入人脸绘制实体布局的理想值
(3)将Lestimate向Loptimal迭代优化直到收敛,得到输入人脸的绘制实体布局Lface;
4)特定人脸绘制实体的变形转移计算
给定特定人脸五官几何特征和选择的五官部件样本的绘制实体形状特征在特征点之间存在一一对应关系,采用薄板样条变换找到一个非刚性映射f(x,y)=(f1(x,y),f2(x,y))T,代价函数为ETPS(f),
给定一个λ,min(ETPS(f))存在唯一解:
2.根据权利要求1所述的多种风格人脸卡通样本的统一参数化方法,其特征在于:所说的人脸卡通画的绘制实体布局是记录样本中各绘制实体的位置,将卡通画样本分为7个绘制实体:脸型、左眉、右眉、左眼、右眼、鼻子和嘴巴,每个绘制实体的位置由5个参数(x,y,w,h,θ)决定,它们分别是部件中心点坐标(x,y),部件宽度w、高度h和倾斜角θ。
3.根据权利要求1所述的多种风格人脸卡通样本的统一参数化方法,其特征在于:所说的人脸卡通画的绘制实体集中的每个绘制实体对应人脸对象部件集中的一个五官部件,绘制实体集定义部件样本的绘制实体形状、绘制元素和绘制属性,记为PEP=(绘制实体形状,绘制元素,绘制属性),绘制实体形状描述绘制实体的几何形状;绘制实体有两类基本的绘制元素:线条元素和区域元素,线条元素按照绘制风格用来勾画人脸轮廓,区域元素定义绘制实体所表现的有界区域;线条元素的绘制属性包括:线条模型、线条颜色,区域元素的绘制属性包括区域填充纹理模型、区域绘制颜色。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009100238466A CN101655985B (zh) | 2009-09-09 | 2009-09-09 | 多种风格人脸卡通样本的统一参数化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009100238466A CN101655985B (zh) | 2009-09-09 | 2009-09-09 | 多种风格人脸卡通样本的统一参数化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101655985A CN101655985A (zh) | 2010-02-24 |
CN101655985B true CN101655985B (zh) | 2011-07-27 |
Family
ID=41710255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009100238466A Expired - Fee Related CN101655985B (zh) | 2009-09-09 | 2009-09-09 | 多种风格人脸卡通样本的统一参数化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101655985B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915634B (zh) * | 2015-02-16 | 2019-01-01 | 百度在线网络技术(北京)有限公司 | 基于人脸识别技术的图像生成方法和装置 |
CN104715447B (zh) * | 2015-03-02 | 2019-08-30 | 百度在线网络技术(北京)有限公司 | 图像合成方法和装置 |
CN105139450B (zh) * | 2015-09-11 | 2018-03-13 | 重庆邮电大学 | 一种基于人脸模拟的三维虚拟人物构建方法及系统 |
CN106920212A (zh) * | 2015-12-24 | 2017-07-04 | 掌赢信息科技(上海)有限公司 | 一种发送风格化视频的方法及电子设备 |
-
2009
- 2009-09-09 CN CN2009100238466A patent/CN101655985B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN101655985A (zh) | 2010-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101751689B (zh) | 一种三维人脸重建方法 | |
Liao et al. | Automatic caricature generation by analyzing facial features | |
CN108288072A (zh) | 一种基于生成对抗网络的面部表情合成方法 | |
CN110415308B (zh) | 一种基于循环空间转换网络的人脸漫画生成方法 | |
CN103035022B (zh) | 基于特征点的人脸表情合成方法 | |
CN101159064A (zh) | 画像生成系统以及按照图像生成画像的方法 | |
CN101944238A (zh) | 基于拉普拉斯变换的数据驱动人脸表情合成方法 | |
WO2007146069A2 (en) | A sketch-based design system, apparatus, and method for the construction and modification of three-dimensional geometry | |
CN103065360A (zh) | 一种发型效果图的生成方法及系统 | |
CN101556699A (zh) | 一种基于脸型的人脸衰老图像合成方法 | |
CN102542593A (zh) | 一种基于视频解译的交互式视频风格化渲染方法 | |
CN101655985B (zh) | 多种风格人脸卡通样本的统一参数化方法 | |
CN106780713A (zh) | 一种基于单幅照片的三维人脸建模方法及系统 | |
WO2022197428A1 (en) | Methods and systems for constructing facial position map | |
CN101493953A (zh) | 一种交互式三维卡通人脸生成方法及装置 | |
CN116583878A (zh) | 用于个性化3d头部模型变形的方法和系统 | |
CN102999321B (zh) | 毛笔电子画刷设置装置和毛笔电子画刷 | |
CN117157673A (zh) | 用于形成个性化的3d头部和面部模型的方法和系统 | |
CN103093488A (zh) | 一种虚拟发型插值及渐变动画生成方法 | |
Tong et al. | Sketch generation with drawing process guided by vector flow and grayscale | |
CN115760552A (zh) | 基于图像妆容迁移网络的人脸图像妆容迁移方法及系统 | |
CN102637304A (zh) | 基于gpu的几何表面上各向同性/异性纹理合成方法 | |
Kang et al. | Emotional design of bamboo chair based on deep convolution neural network and deep convolution generative adversarial network | |
CN102792337A (zh) | 用于生成数字图片的方法、装置和计算机可读介质 | |
Ma et al. | Application of virtual reality technology in the exhibition system of clothing museum |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110727 Termination date: 20190909 |