CN110443872A - 一种具备动态纹理细节的表情合成方法 - Google Patents
一种具备动态纹理细节的表情合成方法 Download PDFInfo
- Publication number
- CN110443872A CN110443872A CN201910663194.6A CN201910663194A CN110443872A CN 110443872 A CN110443872 A CN 110443872A CN 201910663194 A CN201910663194 A CN 201910663194A CN 110443872 A CN110443872 A CN 110443872A
- Authority
- CN
- China
- Prior art keywords
- expression
- faceform
- skeleton point
- wrinkle
- displacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 24
- 230000014509 gene expression Effects 0.000 claims abstract description 170
- 230000037303 wrinkles Effects 0.000 claims abstract description 86
- 238000006073 displacement reaction Methods 0.000 claims abstract description 67
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 30
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 30
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 14
- 230000008859 change Effects 0.000 claims abstract description 11
- 230000001815 facial effect Effects 0.000 claims description 21
- 230000000875 corresponding effect Effects 0.000 claims description 15
- 210000000988 bone and bone Anatomy 0.000 claims description 10
- 230000002596 correlated effect Effects 0.000 claims description 6
- 206010053238 Amimia Diseases 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 210000001097 facial muscle Anatomy 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 abstract description 11
- 238000000034 method Methods 0.000 abstract description 7
- 206010040954 Skin wrinkling Diseases 0.000 description 71
- 210000004709 eyebrow Anatomy 0.000 description 6
- 210000001061 forehead Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003387 muscular Effects 0.000 description 2
- 240000006409 Acacia auriculiformis Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000010189 synthetic method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种具备动态纹理细节的表情合成方法，能够提高三维人脸表情真实度。所述方法包括：获取目标对象的人脸模型，以及合成不同表情时，骨骼点移动的位移量；利用皱纹法线贴图，为人脸模型增加皱纹；获取需要合成的目标表情，根据需要合成的目标表情及确定的合成不同表情时骨骼点需要移动的位移量，移动骨骼点位置，初步合成目标表情；根据骨骼点的位移量，改变人脸模型皱纹的显隐以及深浅，得到具有皱纹纹理的目标表情。本发明涉及人脸识别领域。
Description
技术领域
本发明涉及人脸识别领域，特别是指一种具备动态纹理细节的表情合成方法。
背景技术
人脸作为个体识别的重要特征，是人体上最具有表达力的部分，在人类的交流中，它传递着极为广泛的信息，如情感、心理状态等。通过人脸表情可以观察人的情感状态，进而还可以推断出人的生理状态。
随着计算机技术的快速发展，表情合成技术在图形图像处理、计算机辅助设计以及人机交互等领域受到越来越多研究人员的关注，它在游戏娱乐、虚拟现实应用、远程虚拟会议、虚拟角色交互、电影制作等方面有着重要的用途。
随着技术的进步，让越来越多的人把关注点放在了基于三维人脸模型的表情合成上。三维人脸表情合成的实质是人脸模型网格面片的变化。通过建模技术得到人脸在三维空间中的模型、人脸上各个网格的数据，且在不同的表情下，人脸各网格的数据是不相同的；例如，当人们在皱眉时，眉头处的网格会更紧密一些，相对应的额头上远离眉头位置的网格会比较疏松。因此人脸变化的根本原因，是组成人脸模型的各个网格数据发生了变化。
人脸是由若干肌肉以及人脸表面皮肤组成的，表情的产生依赖于肌肉，但由于皮肤的特性，人做出各种表情时会产生皱纹，如眉毛抬起时，会带动着抬头纹的产生。但是，现在的三维表情合成方法(例如，融合变形、三层肌肉模型模拟)将重心放在了如何通过更改模型合成不同的表情，忽略了人脸的自然性，导致合成的人脸表情缺少真实度。
发明内容
本发明要解决的技术问题是提供一种具备动态纹理细节的表情合成方法，以解决现有技术所存在的三维表情合成方法合成的人脸表情缺少真实度的问题。
为解决上述技术问题，本发明实施例提供一种具备动态纹理细节的表情合成方法，包括：
获取目标对象的人脸模型，以及合成不同表情时，骨骼点移动的位移量；
利用皱纹法线贴图，为人脸模型增加皱纹；
获取需要合成的目标表情，根据需要合成的目标表情及确定的合成不同表情时骨骼点需要移动的位移量，移动骨骼点位置，初步合成目标表情；
根据骨骼点的位移量，改变人脸模型皱纹的显隐以及深浅，得到具有皱纹纹理的目标表情。
进一步地，所述人脸模型为产生目标表情用的无表情人脸模型；
所述人脸模型由若干个三角形网格面片构成，是表面结构不具备实体；
所述获取目标对象的人脸模型，以及合成不同表情时，骨骼点移动的位移量包括：
构建目标对象的人脸模型以及68个骨骼点，其中，68个骨骼点为驱动所述人脸模型网格变换的模型点，每一骨骼点对应68个人脸特征点中的一点；
为所述人脸模型赋予人脸贴图；
根据赋予人脸贴图后的人脸模型，确定合成不同表情时，骨骼点移动的位移量。
进一步地，68个骨骼点对应的位置与人脸模型上特征点的位置相一致，当某一骨骼点进行移动时，其对应的特征点移动，并影响周围其他特征点的位置及人脸模型上周围网格的形变，产生表情。
进一步地，所述根据赋予人脸贴图后的人脸模型，确定合成不同表情时，骨骼点移动的位移量包括：
基于赋予人脸贴图后的人脸模型，根据面部编码系统，确定合成不同表情时，骨骼点移动的位移量，其中，所述面部编码系统基于赋予人脸贴图后的人脸模型上的人脸特征点将面部分为若干运动单元，每个运动单元描述一组面部肌肉运动，通过不同运动单元的组合实现某种表情。
进一步地，所述人脸模型上各点法线方向的分量n与皱纹法线贴图上像素的分量p之间的对应关系为：n＝2*p-1。
进一步地，所述获取需要合成的目标表情，根据需要合成的目标表情及确定的合成不同表情时骨骼点需要移动的位移量，移动骨骼点位置，初步合成目标表情包括：
获取需要合成的目标表情；
根据需要合成的目标表情及确定的合成不同表情时骨骼点需要移动的位移量，移动骨骼点位置，使人脸模型发生形变；
获取随机因子，将获取的随机因子与骨骼点的位移量进行运算，自动调整骨骼点的位置，初步合成目标表情，其中，随机因子用于使合成的目标表情自然并具有差异性。
进一步地，骨骼点的移动方向应与所述目标表情在面部编码系统中运动单元的移动方向相一致。
进一步地，骨骼点的移动范围在预设的阈值内，其中，所述阈值与人脸模型大小的关系为正相关；所述阈值与表情种类的关系体现在面部编码系统中，对该表情的运动单元组合上，运动单元对表情的影响越大，阈值越大，运动单元对表情的影响越小，阈值越小。
进一步地，所述目标表情为确切存在或者人脸可做出的表情；
所述目标表情为单一的表情或多种表情叠加后的表情。
进一步地，骨骼点位移量与皱纹关系满足：
骨骼点的位移带动皱纹的位移，皱纹位移量与人脸模型的形变量相一致，且皱纹在人脸模型上的相对位置不变；
皱纹的深浅与骨骼点的位移量成正相关；
皱纹的显隐与真实表情下，人脸皱纹的显隐一致。
本发明的上述技术方案的有益效果如下：
上述方案中，获取目标对象的人脸模型，以及合成不同表情时，骨骼点移动的位移量；利用皱纹法线贴图，为人脸模型增加皱纹；获取需要合成的目标表情，根据需要合成的目标表情及确定的合成不同表情时骨骼点需要移动的位移量，移动骨骼点位置，初步合成目标表情；根据骨骼点的位移量，改变人脸模型皱纹的显隐以及深浅，得到具有皱纹纹理的目标表情。这样，在初步合成的目标表情的基础上，增加了对皱纹的处理，使产生的表情具有皱纹纹理细节，更具有真实度，从而达到提高三维人脸表情真实度的目的。
附图说明
图1为本发明实施例提供的具备动态纹理细节的表情合成方法的流程示意图；
图2为本发明实施例提供的三维人脸模型网格结构示意图；
图3为本发明实施例提供的人脸特征点的示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的三维表情合成方法合成的人脸表情缺少真实度的问题，提供一种具备动态纹理细节的表情合成方法。
如图1所示，本发明实施例提供的具备动态纹理细节的表情合成方法，包括：
S101，获取目标对象的人脸模型，以及合成不同表情时，骨骼点移动的位移量；
S102，利用皱纹法线贴图，为人脸模型增加皱纹；
S103，获取需要合成的目标表情，根据需要合成的目标表情及确定的合成不同表情时骨骼点需要移动的位移量，移动骨骼点位置，初步合成目标表情；
S104，根据骨骼点的位移量，改变人脸模型皱纹的显隐以及深浅，得到具有皱纹纹理的目标表情。
本发明实施例所述的具备动态纹理细节的表情合成方法，获取目标对象的人脸模型，以及合成不同表情时，骨骼点移动的位移量；利用皱纹法线贴图，为人脸模型增加皱纹；获取需要合成的目标表情，根据需要合成的目标表情及确定的合成不同表情时骨骼点需要移动的位移量，移动骨骼点位置，初步合成目标表情；根据骨骼点的位移量，改变人脸模型皱纹的显隐以及深浅，得到具有皱纹纹理的目标表情。这样，在初步合成的目标表情的基础上，增加了对皱纹的处理，使产生的表情具有皱纹纹理细节，更具有真实度，从而达到提高三维人脸表情真实度的目的。
为了更好地理解本发明实施例所述的具备动态纹理细节的表情合成方法，对其进行详细说明，所述方法具体可以包括以下步骤：
S101，获取目标对象的人脸模型，以及合成不同表情时，骨骼点移动的位移量；具体可以包括以下步骤：
S1011，构建目标对象的人脸模型以及68个骨骼点，其中，68个骨骼点为驱动所述人脸模型网格变换的模型点，每一骨骼点对应68个人脸特征点中的一点；本实施例中，构建的人脸模型是基于三维空间坐标系构建的目标对象的面部模型，如图2所示，其中，所述目标对象可以为具有表情的人或类人对象，不局限于真实的人，可以是与人脸具有相同特征的虚拟人物等，但是不可为与人脸特征点具有差异的对象。为了方便描述，本实施例中采用的人脸模型为真人人脸模型。
如图2所示，所述人脸模型由若干个三角形网格面片构成，是表面结构不具备实体；且每个网格面片由三个顶点组成，每个顶点在该三维空间坐标系中均有自己的位置坐标。
本实施例中，所述人脸模型为产生目标表情用的无表情人脸模型，即：该人脸模型为中性脸模型，不具备任何表情，此处的不具备任何表情应是客观的无表情，不具有主观性。任意观察者对该人脸模型进行观察时，均无法从该人脸模型上观察到任何表情。
本实施例中，如图3所示，68个骨骼点为驱动所述人脸模型网格变换的模型点，每一模型点对应68个人脸特征点中的一点。所述骨骼点对人脸模型的影响体现在骨骼点的移动，将对骨骼点周围的人脸模型网格产生影响，人脸模型的网格变化导致人脸模型的形状产生相应变化，从而产生表情。
本实施例中，68个骨骼点对应的位置与人脸模型上特征点的位置相一致，即当某一骨骼点进行移动时，会直接影响其对应的特征点移动，进而间接影响周围其他特征点的位置及人脸模型上周围网格的形变，从而产生表情。
本实施例所述的具备动态纹理细节的表情合成方法是一种采用双层人脸模型骨骼变动的方法，其外层为人脸网格层，用于表现人脸模型的形状，内层为骨骼层，其通过内层少量骨骼点的变化，带动骨骼点周围外层人脸网格的变化。骨骼点的选取与人脸68个特征点相一致，这样既可以保证骨骼点数目不会太多，影响合成方法所占用的资源量，又可以保证能够控制所有人脸相关面片的移动，做出任意表情。
S1012，为所述人脸模型赋予人脸贴图；
本实施例中，所述人脸贴图可以是真实人脸贴图，也可以是仿真的虚拟人物人脸贴图，若是仿真的虚拟人物人脸贴图，应存在该虚拟人物的皱纹法线贴图或该虚拟人物的皱纹纹理与通用皱纹纹理相似图。
本实施例中，因为采用的是真人人脸模型，因此贴图也采用真实人脸贴图。
S1013，根据赋予人脸贴图后的人脸模型，确定合成不同表情时，骨骼点移动的位移量。
本实施例中，基于赋予人脸贴图后的人脸模型，根据面部编码系统，确定合成不同表情时，骨骼点移动的位移量(该位移量也可称为：权重)。
本实施例中，所述面部编码系统为一种基于解剖学的测量系统，用于通过描述面部肌肉的运动来识别和标记面部表情，所述面部编码系统能够客观地测量面部表情，而不为这些肌肉运动分配任何情感意义。所述面部编码系统将面部表情分解为最小的可辨别动作，称为动作单元，一个动作单元可以可靠地与另一个运动单元分开，并且每个运动单元与一个或多个肌肉运动相关联。每个运动单元都会使面部在外观上产生明显的变化，例如眉毛抬起。
本实施例中，所述面部编码系统基于赋予人脸贴图后的人脸模型上的人脸特征点将面部分为若干运动单元，每个运动单元描述一组面部肌肉运动，通过不同运动单元的组合实现某种表情。
本实施例中，通过面部编码系统定义的产生不同表情时运动单元的移动方式，计算得到相应表情时各个骨骼点的位移量，其中，所述骨骼点的位移量是目标表情下人脸模型的骨骼点位置与初始无表情下人脸模型的骨骼点位置之间的偏移量。为了保证后续步骤合成表情时，表情包含的每个运动单元都有对应的骨骼点进行移动，应尽可能多的记录不同运动单元及其影响的骨骼点。以眉毛抬起为例，其对应的是眉毛周围的骨骼点向上移动，其他骨骼点则保持不动，位移量的大小可通过实验的方式取得，如此一来，当某个表情中出现了眉毛抬起这一运动单元时，便可以直接通过调整眉毛周围的骨骼点向上移动来完成。
S102，利用皱纹法线贴图，为人脸模型增加皱纹；
本实施例中，人脸的皱纹具有相似性，由于通用的皱纹法线贴图包含了人脸绝大多数主要皱纹，因此，所述皱纹法线贴图可以为人脸模型通用的皱纹法线贴图。但是，在具体实施过程中，为了进一步增强皱纹的真实性，可以获得该人脸模型对应的皱纹法线贴图，为人脸模型赋予更具个人特色的皱纹。
本实施例中，根据获得的皱纹法线贴图，可以通过基本光照模型进行计算，使人脸模型产生皱纹，其中，所述人脸模型上各点法线方向的分量n与皱纹法线贴图上像素的分量p之间的对应关系为：n＝2*p-1，其中，p的范围为[0,1]，n的范围为[-1,1]。
另需要说明的是：所述皱纹法线贴图不局限于整张，可以将整张皱纹法线贴图分为面部各个部分的局部皱纹法线贴图，最终可以显示出面部各个部位的皱纹即可。
S103，获取需要合成的目标表情，根据需要合成的目标表情及确定的合成不同表情时骨骼点需要移动的位移量，移动骨骼点位置，初步合成目标表情；具体可以包括以下步骤：
S1031，获取需要合成的目标表情；
S1032，根据需要合成的目标表情及确定的合成不同表情时骨骼点需要移动的位移量，移动骨骼点位置，使人脸模型发生形变；
在本实施例中，S1032需满足以下4个规则：
第一规则：骨骼点移动方向应与所述目标表情在面部编码系统中运动单元的移动方向相一致，不可出现矛盾，仅可以在幅度上有差异；其中，所述的移动方向相一致，指大体方向上的一致，不是绝对的一致，面部编码系统并没有定义位移量以及三维人脸模型下，各运动单元位移的准确方位；所述的幅度上有差异，指位移量可以大些或小些，无特定值。
在本实施例中，以微笑表情为例，微笑时相关的骨骼点都在嘴附近，其他骨骼点不应移动，嘴角附近的骨骼点应向两边以及向上移动，越远离嘴角的嘴部区域骨骼点，移动的位移量应越小。
第二规则：骨骼点的移动范围具有阈值，即：骨骼点的移动范围在预设的阈值内，其中，阈值与所述人脸模型的大小以及所述表情的种类有关，具体的：
1)所述阈值与人脸模型大小的关系为正相关，以人脸左右为x轴，上下为y轴，则人脸模型的大小可由左耳根到右耳根的x差值以及下巴到额头的y差值确定，骨骼点在x轴以及y轴上移动范围应与所述x差值以及y差值成一定比例；以微笑表情为例，以面部左右方向为x轴，上下方向为y轴，则在合成微笑表情时，嘴角附近的骨骼点移动时，x的范围应限制在眼角x坐标的范围内，y的值应小于鼻子最下端的y值；而如果以皱眉表情为例，则嘴角附近的骨骼点移动时，应保持在极小的一个范围内，甚至不应移动。
2)阈值与表情种类的关系体现在面部编码系统中，对该表情的运动单元组合上，运动单元对表情的影响越大，阈值应越大，运动单元对表情的影响越小，阈值应越小。
需要说明的是：在确定目标表情和人脸模型的大小后，阈值应为确定值。
第三规则：为了保证合成的目标表情的真实性以及自然性，所述目标表情应为确切存在或者人脸可做出的表情，可由面部编码系统中的运动单元组合产生。
第四规则：所述目标表情可为一种常规表情或多种表情叠加后的表情，但需满足，多种表情不矛盾并且其在面部编码系统中运动单元的移动方式也各不矛盾。
本实施例中，所述的多种表情不矛盾，是指正常人可以在做出一种表情的同时，做出其他种表情，例如，皱眉和微笑是两种不矛盾的表情，而皱眉和放松眉头是两种矛盾的表情。
为了保证表情的正常合成，所述目标表情如果是由多种表情叠加，则需要保证不同表情间，对运动单元移动的影响不是截然相反的。若多个表情对同一运动单元有不同方向的影响，其骨骼点的运动方向将是多方叠加的结果。
本实施例中，通过上述四个规则选定表情并且移动骨骼点后，使人脸模型发生形变，从而合成基础的目标表情，接着还需执行S1043，以初步合成目标表情。
S1033，获取随机因子，将获取的随机因子与骨骼点的位移量进行运算，自动调整骨骼点的位置，初步合成目标表情，其中，随机因子用于使合成的目标表情自然并具有差异性。
本实施例中，在合成基础的目标表情后，还需获取随机因子，通过获取的随机因子，自动、细微调整骨骼点的位置，使产生的表情看起来更自然并具有差异性，以微笑表情为例，若想要增大微笑幅度，则用获得的随机因子与骨骼点的位移量进行运算，扩大位移量，所述运算不局限于线性运算；若想要减小微笑幅度，则取该随机因子进行反向运算即可。
本实施例中，所述随机因子可以对骨骼点的位置产生细微影响，且对各骨骼点位置的影响各不相同，所述差异性为相同表情在不同人脸模型上的表现具有差异性。
本实施例中，所述随机因子及其对骨骼点的影响程度应满足以下条件：
第一条件：随机因子可手动或自动调整(由实验结果确定)，其对各个骨骼点的影响各不相同，但整体趋势应相同，同为放大表情幅度或缩小表情幅度。
第二条件：随机因子对不同骨骼点位移的影响是不同的，对于相对稳定的骨骼点，如微笑表情时下嘴唇中间的骨骼点，随机因子的影响应是较小的，甚至可以为零；对于相对不稳定的骨骼点，如微笑时嘴角附近的骨骼点，随机因子的影响应是较大的，但不可过大，否则会影响表情的自然性。
第三条件：随机因子为0时，表示对骨骼点不造成影响，大于0表示对骨骼点的影响趋向于放大表情幅度的方向，小于0表示对骨骼点的影响趋向于缩小表情幅度的方向。
S104，根据骨骼点的位移量，改变人脸模型皱纹的显隐以及深浅，得到具有皱纹纹理的目标表情。
本实施例中，所述皱纹为通过皱纹法线贴图产生的人脸模型皱纹。骨骼点的位移量代表着人脸模型的改变程度，骨骼点位移量大的位置，往往代表着表情特征的主要体现区域，这个区域的皱纹是最为明显的。因此，可以先建立骨骼点的位移量与不同区域皱纹显隐以及深浅的映射，对于不同区域的皱纹，骨骼点的位移量与其的映射也不相同，例如，嘴部区域的骨骼点应只与嘴唇、脸颊附近的皱纹建立映射，与额头的抬头纹、眼角的鱼尾纹不应建立映射；然后。根据建立的映射关系及本次合成目标表情的骨骼点位移量，改变不同区域的皱纹显隐以及深浅，使合成的目标表情具有皱纹纹理，更具有真实性，更自然些。
本申请中，骨骼点的位移量与皱纹关系应满足如下关系：
1)骨骼点的位移应带动皱纹的位移，皱纹位移量应与人脸模型的形变量相一致，且皱纹在人脸模型上的相对位置不变；
2)皱纹的深浅应与骨骼点的位移量成正相关，即骨骼点的位移量越大，皱纹阴影越深；
3)皱纹的显隐应符合生物学以及人体解剖学的基本知识，与真实表情下，人脸皱纹的显隐一致。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种具备动态纹理细节的表情合成方法，其特征在于，包括：
获取目标对象的人脸模型，以及合成不同表情时，骨骼点移动的位移量；
利用皱纹法线贴图，为人脸模型增加皱纹；
获取需要合成的目标表情，根据需要合成的目标表情及确定的合成不同表情时骨骼点需要移动的位移量，移动骨骼点位置，初步合成目标表情；
根据骨骼点的位移量，改变人脸模型皱纹的显隐以及深浅，得到具有皱纹纹理的目标表情。
2.根据权利要求1所述的具备动态纹理细节的表情合成方法，其特征在于，所述人脸模型为产生目标表情用的无表情人脸模型；
所述人脸模型由若干个三角形网格面片构成，是表面结构不具备实体；
所述获取目标对象的人脸模型，以及合成不同表情时，骨骼点移动的位移量包括：
构建目标对象的人脸模型以及68个骨骼点，其中，68个骨骼点为驱动所述人脸模型网格变换的模型点，每一骨骼点对应68个人脸特征点中的一点；
为所述人脸模型赋予人脸贴图；
根据赋予人脸贴图后的人脸模型，确定合成不同表情时，骨骼点移动的位移量。
3.根据权利要求2所述的具备动态纹理细节的表情合成方法，其特征在于，68个骨骼点对应的位置与人脸模型上特征点的位置相一致，当某一骨骼点进行移动时，其对应的特征点移动，并影响周围其他特征点的位置及人脸模型上周围网格的形变，产生表情。
4.根据权利要求2所述的具备动态纹理细节的表情合成方法，其特征在于，所述根据赋予人脸贴图后的人脸模型，确定合成不同表情时，骨骼点移动的位移量包括：
基于赋予人脸贴图后的人脸模型，根据面部编码系统，确定合成不同表情时，骨骼点移动的位移量，其中，所述面部编码系统基于赋予人脸贴图后的人脸模型上的人脸特征点将面部分为若干运动单元，每个运动单元描述一组面部肌肉运动，通过不同运动单元的组合实现某种表情。
5.根据权利要求1所述的具备动态纹理细节的表情合成方法，其特征在于，所述人脸模型上各点法线方向的分量n与皱纹法线贴图上像素的分量p之间的对应关系为：n＝2*p-1。
6.根据权利要求1所述的具备动态纹理细节的表情合成方法，其特征在于，所述获取需要合成的目标表情，根据需要合成的目标表情及确定的合成不同表情时骨骼点需要移动的位移量，移动骨骼点位置，初步合成目标表情包括：
获取需要合成的目标表情；
根据需要合成的目标表情及确定的合成不同表情时骨骼点需要移动的位移量，移动骨骼点位置，使人脸模型发生形变；
获取随机因子，将获取的随机因子与骨骼点的位移量进行运算，自动调整骨骼点的位置，初步合成目标表情，其中，随机因子用于使合成的目标表情自然并具有差异性。
7.根据权利要求6所述的具备动态纹理细节的表情合成方法，其特征在于，骨骼点的移动方向应与所述目标表情在面部编码系统中运动单元的移动方向相一致。
8.根据权利要求6所述的具备动态纹理细节的表情合成方法，其特征在于，骨骼点的移动范围在预设的阈值内，其中，所述阈值与人脸模型大小的关系为正相关；所述阈值与表情种类的关系体现在面部编码系统中，对该表情的运动单元组合上，运动单元对表情的影响越大，阈值越大，运动单元对表情的影响越小，阈值越小。
9.根据权利要求1所述的具备动态纹理细节的表情合成方法，其特征在于，所述目标表情为确切存在或者人脸可做出的表情；
所述目标表情为单一的表情或多种表情叠加后的表情。
10.根据权利要求1所述的具备动态纹理细节的表情合成方法，其特征在于，骨骼点位移量与皱纹关系满足：
骨骼点的位移带动皱纹的位移，皱纹位移量与人脸模型的形变量相一致，且皱纹在人脸模型上的相对位置不变；
皱纹的深浅与骨骼点的位移量成正相关；
皱纹的显隐与真实表情下，人脸皱纹的显隐一致。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910663194.6A CN110443872B (zh) | 2019-07-22 | 2019-07-22 | 一种具备动态纹理细节的表情合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910663194.6A CN110443872B (zh) | 2019-07-22 | 2019-07-22 | 一种具备动态纹理细节的表情合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110443872A true CN110443872A (zh) | 2019-11-12 |
| CN110443872B CN110443872B (zh) | 2021-04-02 |
Family
ID=68431154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910663194.6A Active CN110443872B (zh) | 2019-07-22 | 2019-07-22 | 一种具备动态纹理细节的表情合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110443872B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192201A (zh) * | 2020-04-08 | 2020-05-22 | 腾讯科技（深圳）有限公司 | 一种生成人脸图像及其模型训练的方法、装置及电子设备 |
| CN111443852A (zh) * | 2020-03-25 | 2020-07-24 | 北京百度网讯科技有限公司 | 一种数字人动作的控制方法、装置、电子设备及存储介质 |
| CN111489426A (zh) * | 2020-04-09 | 2020-08-04 | 腾讯科技（深圳）有限公司 | 表情生成方法、装置、设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101187990A (zh) * | 2007-12-14 | 2008-05-28 | 华南理工大学 | 一种会话机器人系统 |
| KR20120012879A (ko) * | 2010-08-03 | 2012-02-13 | 이용범 | 일체형 모형 인형 |
| CN107578469A (zh) * | 2017-09-08 | 2018-01-12 | 明利 | 一种基于单张照片的3d人体建模方法及装置 |
| CN108288299A (zh) * | 2017-01-10 | 2018-07-17 | 北京佳士乐动漫科技有限公司 | 一种表情数据驱动三维形象表情的方法及系统 |
| CN108447111A (zh) * | 2018-03-05 | 2018-08-24 | 网易（杭州）网络有限公司 | 法线贴图的处理方法、装置、存储介质、处理器及终端 |
| CN109064548A (zh) * | 2018-07-03 | 2018-12-21 | 百度在线网络技术（北京）有限公司 | 视频生成方法、装置、设备及存储介质 |
| CN109215102A (zh) * | 2017-06-29 | 2019-01-15 | 连（普雷）株式会社 | 影像处理方法及系统 |
-
2019
- 2019-07-22 CN CN201910663194.6A patent/CN110443872B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101187990A (zh) * | 2007-12-14 | 2008-05-28 | 华南理工大学 | 一种会话机器人系统 |
| KR20120012879A (ko) * | 2010-08-03 | 2012-02-13 | 이용범 | 일체형 모형 인형 |
| CN108288299A (zh) * | 2017-01-10 | 2018-07-17 | 北京佳士乐动漫科技有限公司 | 一种表情数据驱动三维形象表情的方法及系统 |
| CN109215102A (zh) * | 2017-06-29 | 2019-01-15 | 连（普雷）株式会社 | 影像处理方法及系统 |
| CN107578469A (zh) * | 2017-09-08 | 2018-01-12 | 明利 | 一种基于单张照片的3d人体建模方法及装置 |
| CN108447111A (zh) * | 2018-03-05 | 2018-08-24 | 网易（杭州）网络有限公司 | 法线贴图的处理方法、装置、存储介质、处理器及终端 |
| CN109064548A (zh) * | 2018-07-03 | 2018-12-21 | 百度在线网络技术（北京）有限公司 | 视频生成方法、装置、设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 戴振龙 等: "基于MPEG-4的人脸表情图像变形研究", 《中国图象图形学报》 * |
| 王忠民 等: "基于特征脸-灰度变换融合的人脸识别方法", 《小型微型计算机系统》 * |
| 蔡锐涛: "交互式人脸表情动画系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111443852A (zh) * | 2020-03-25 | 2020-07-24 | 北京百度网讯科技有限公司 | 一种数字人动作的控制方法、装置、电子设备及存储介质 |
| CN111192201A (zh) * | 2020-04-08 | 2020-05-22 | 腾讯科技（深圳）有限公司 | 一种生成人脸图像及其模型训练的方法、装置及电子设备 |
| CN111489426A (zh) * | 2020-04-09 | 2020-08-04 | 腾讯科技（深圳）有限公司 | 表情生成方法、装置、设备和存储介质 |
| CN111489426B (zh) * | 2020-04-09 | 2023-08-22 | 腾讯科技（深圳）有限公司 | 表情生成方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110443872B (zh) | 2021-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101324961B (zh) | 计算机虚拟世界中人脸部三维贴图方法 | |
| Sifakis et al. | Simulating speech with a physics-based facial muscle model | |
| US7804997B2 (en) | Method and system for a three dimensional facial recognition system | |
| CN113269872A (zh) | 基于三维人脸重构和视频关键帧优化的合成视频生成方法 | |
| CN110443872A (zh) | 一种具备动态纹理细节的表情合成方法 | |
| CN103208133A (zh) | 一种图像中人脸胖瘦的调整方法 | |
| CN104463938A (zh) | 三维虚拟试妆方法和装置 | |
| CN101149840A (zh) | 一种复杂表情仿真系统及其实现方法 | |
| CN111950430A (zh) | 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 | |
| KR101116838B1 (ko) | 개인성향을 반영한 과장표정 생성방법 | |
| Pelachaud et al. | Final report to NSF of the standards for facial animation workshop | |
| CN111489426A (zh) | 表情生成方法、装置、设备和存储介质 | |
| Roughley et al. | The affordances of 3D and 4D digital technologies for computerized facial depiction | |
| JP2022505746A (ja) | デジタルキャラクタブレンディング及び生成のシステム及び方法 | |
| CN102800121B (zh) | 一种交互编辑虚拟人群场景中虚拟个体的方法 | |
| CN110163957A (zh) | 一种基于唯美人脸程序的表情生成系统 | |
| Sheng et al. | PDE-based facial animation: making the complex simple | |
| KR100366210B1 (ko) | 인간의 얼굴 모델을 생성하는 모델러 제작방법 및 기록매체 | |
| JP7202045B1 (ja) | ３次元アバター生成装置、３次元アバター生成方法及び３次元アバター生成プログラム | |
| Helzle et al. | Digital Albert Einstein, a case study | |
| CN115526966B (zh) | 一种用调度五官部件实现虚拟人物表情展现的方法 | |
| KR20060067242A (ko) | 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 및 그방법 | |
| Yu et al. | A vivid visual emotion synthesis system: From face to hair | |
| 高木佐恵子 et al. | Modification technique of 3D facial models for improving beauty | |
| Drahoš | Photo-realistic head model for real-time animation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240102 Address after: Room 102, Building 2, Youyou Industrial Park (Sanya), Yazhou Bay Science and Technology City, Yazhou District, Sanya City, Hainan Province, 572025 Patentee after: Zhuoshi Future(Beijing)Technology Co.,Ltd. Address before: 100083 No. 30, Haidian District, Beijing, Xueyuan Road Patentee before: University OF SCIENCE AND TECHNOLOGY BEIJING |