CN109410298B - 一种虚拟模型的制作方法及表情变化方法 - Google Patents
一种虚拟模型的制作方法及表情变化方法 Download PDFInfo
- Publication number
- CN109410298B CN109410298B CN201811300775.5A CN201811300775A CN109410298B CN 109410298 B CN109410298 B CN 109410298B CN 201811300775 A CN201811300775 A CN 201811300775A CN 109410298 B CN109410298 B CN 109410298B
- Authority
- CN
- China
- Prior art keywords
- model
- virtual model
- face
- expression
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 16
- 230000000694 effects Effects 0.000 claims abstract description 9
- 230000001815 facial effect Effects 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000004020 luminiscence type Methods 0.000 claims description 4
- 238000012821 model calculation Methods 0.000 claims description 2
- 210000001061 forehead Anatomy 0.000 description 25
- 210000001508 eye Anatomy 0.000 description 21
- 210000004709 eyebrow Anatomy 0.000 description 12
- 241001465754 Metazoa Species 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000036548 skin texture Effects 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000019612 pigmentation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Abstract
本申请公开了一种虚拟模型的制作方法及表情变化方法，其中，虚拟模型的制作方法包括如下步骤：设置第一虚拟模型，并在第一虚拟模型上建立脸部模型；获取用户脸部图像，并使用户脸部图像与第一虚拟模型进行贴合，构建完成第二虚拟模型。本申请具有可以使用真人图像参与构建三维模型，并且构建的三维模型的表情能够进行变换，还能够参与动画片录制和播放的技术效果。
Description
技术领域
本申请涉及人机交互技术领域，尤其涉及一种虚拟模型的制作方法及表情变化方法。
背景技术
随着科技的发展，电脑和手机中随处可见的电影、卡通电影、游戏等使人们产生了一种在一定程度上可以将自己的真实容貌与二维卡通人物或三维虚拟人物结合成一个新的虚拟模型的需求。目前，现有的解决方式是预先为用户拍摄一张相片，然后将用户的头像扣出来直接粘贴到二维卡通人物或是三维虚拟人物头部位置形成新的虚拟模型，该虚拟模型粘贴的头像位置和表情等均是固定的，头像上脸部的器官无法根据需要进行活动，实现虚拟模型的表情变化。
发明内容
本申请的目的在于提供一种虚拟模型的制作方法及表情变化方法，具有可以使用真人图像参与构建三维模型，并且构建的三维模型的表情能够进行变换，还能够参与动画片录制和播放的技术效果。
为达到上述目的，本申请提供一种虚拟模型的制作方法，包括如下步骤：设置第一虚拟模型，并在第一虚拟模型上建立脸部模型；获取用户脸部图像，并使用户脸部图像与第一虚拟模型进行贴合，构建完成第二虚拟模型。
优选的，第二虚拟模型通过调整自身各个特征值点的坐标位置进行表情变化。
优选的，使用户脸部图像与第一虚拟模型进行贴合，构建完成第二虚拟模型的方法如下：获取脸部模型的第一三角形列表和用户脸部图像的第二三角形列表；利用第一三角形列表和第二三角形列表将用户脸部图像与第一虚拟模型的脸部模型进行对齐；对齐后，制作真人皮肤模型，并利用真人皮肤模型与初步贴图后的脸部模型进行融合，完成第二虚拟模型的构建。
优选的，获取脸部模型的第一三角形列表，方法如下：设置脸部模型的特征点；利用脸部模型的特征点获取第一三角形列表，并保存。
优选的，获取用户脸部图像的第二三角形列表，方法如下：获取用户脸部图像的特征点；根据用户脸部图像的特征点获取第二三角形列表，并保存。
本申请还提供一种虚拟模型的表情变化方法，适用于上述的虚拟模型的制作方法制作的第二虚拟模型，方法如下：建立表情库；使第二虚拟模型的特征点依据表情库中的每个图像的特征点的坐标进行调整，完成虚拟模型的表情变化。
优选的，建立表情库的方法为：预先对一个人的多种表情进行录制，并将多个表情分别保存为一帧表情图像；利用Dlib库提供的人脸特征点检测功能对每一帧表情图像进行检测，并计算出每帧表情图像的特征点；根据计算出的每帧表情图像的特征点，获取每帧表情图像的三角形列表，并保存。
本申请实现的有益效果如下：具有可以使用真人图像参与构建三维模型，并且构建的三维模型的表情能够进行变换，还能够参与动画片录制和播放的技术效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为虚拟模型的制作方法一种实施例的流程图；
图2为使用户脸部图像与第一虚拟模型进行贴合，构建完成第二虚拟模型的方法的流程图；
图3为获取第一虚拟模块上脸部模型的第一三角形列表的方法的流程图；
图4为获取用户脸部图像的第二三角形列表的方法的流程图；
图5为虚拟模型的表情变化方法的一种实施例的流程图；
图6为本申请实施例提供的脸部模型的特征点示意图；
图7为图6脸部模型特征点对应的三角形列表示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供一种虚拟模型的制作方法，如图1所示，具体步骤如下：
S110：设置第一虚拟模型，并在第一虚拟模型上建立脸部模型。
具体的，在电子设备的屏幕上设置一个第一虚拟模型，该第一虚拟模型可以为二维模型或三维模型，本实例优选为三维模型。该第一虚拟模型可以为人物、动物、植物、怪兽、物体或任意形状等形态的模型，可以设置于电影、电视剧、卡通动画片、游戏、主持人菜单页面等场景中。该电子设备为电脑，但不仅限于电脑，还可以为手机、平板、电视机或机器人等。设定好第一虚拟模型后，在设定的第一虚拟模型上建立脸部模型，并在脸部模型上设置多个特征点。该脸部模型可以设置在第一虚拟模型的任何位置上。优选的，若第一虚拟模型自身具有脸部，则脸部模型建立在第一虚拟模型的脸部位置。
S120：获取用户脸部图像，并使用户脸部图像与第一虚拟模型进行贴合，构建完成第二虚拟模型。
具体的，用户脸部图像为通过摄像头拍摄的照片，该拍摄的照片可以预先存入电子设备，也可以实时拍摄。
进一步的，如图2所示，使用户脸部图像与第一虚拟模型进行贴合，构建完成第二虚拟模型的方法如下：
S210：获取脸部模型的第一三角形列表和用户脸部图像的第二三角形列表。
进一步的，如图3所示，获取第一虚拟模块上脸部模型的第一三角形列表，方法如下：
S310：设置脸部模型的特征点。
进一步的，脸部模型上的特征点设置为多个，多个特征点分为多个轮廓特征点。
具体的，如图6和图7所示，作为一个实施例，脸部模型标注的特征点为84个，多个轮廓特征点包括第一下部轮廓特征点，第一下部轮廓特征点包括从脸部模型右耳上端经过下颚至左耳上端的下半脸部轮廓区域上的所有特征点(特征点0-16)；第一额头轮廓特征点，第一额头轮廓特征点包括额头区域上的所有特征点(特征点65-83)；第一眼部轮廓特征点，第一眼部轮廓特征点包括第一左眼轮廓特征点(特征点42-47)和第一右眼特征轮廓点(特征点36-41)；第一眉毛轮廓特征点包括第一左眉毛轮廓特征点(特征点22-26)和第一右眉毛轮廓特征点(特征点17-21)；第一鼻子轮廓特征点(特征点31-35)；第一嘴巴轮廓特征点(特征点48-64)，该特征点(特征点0-84)可以模拟人脸表情。
S320：利用脸部模型的特征点获取第一三角形列表，并保存。
具体的，利用Delaunay三角剖分算法对第一下部轮廓特征点(特征点0-16)、第一眼部轮廓特征点(特征点36-47)、第一眉毛轮廓特征点(特征点17-26)、第一鼻子轮廓特征点(特征点31-35)和第一嘴巴轮廓特征点(特征点48-64)构建第一三角网，并保存第一三角形网的第一三角形列表。
进一步的，如图4所示，获取用户脸部图像的第二三角形列表，方法如下：
S410：获取用户脸部图像的特征点。
具体的，利用Dlib库提供的人脸特征点检测功能对获取的用户脸部图像进行检测，并计算出该用户脸部图像的特征点。
进一步的，用户脸部图像上的特征点设置为多个，多个特征点分为多个轮廓特征点。
具体的，作为另一个实施例，用户脸部图像上计算出的特征点为84个，多个轮廓特征点包括第二下部轮廓特征点，第二下部轮廓特征点包括从脸部模型右耳上端经过下颚至左耳上端的下半脸部轮廓区域上的所有特征点(特征点0'-16')；第二眼部轮廓特征点，第二眼部轮廓特征点包括第二左眼轮廓特征点(特征点42'-47')和第二右眼特征轮廓点(特征点36'-41')；第二眉毛轮廓特征点包括第二左眉毛轮廓特征点(特征点22'-26')和第二右眉毛轮廓特征点(特征点17'-21')；第二鼻子轮廓特征点(特征点31'-35')；第二嘴巴轮廓特征点(特征点48'-64')。由于Dlib库提供的人脸特征点检测功能无法计算第二额头轮廓特征点，该第二额头轮廓特征点包括额头区域上的所有特征点(特征点65'-83')；故本申请根据正常人的额头部分的弧度特征计算第二额头轮廓特征点。
进一步的，第二额头轮廓特征点的计算方法具体如下：
S510：根据第二眼部轮廓特征点的特征点位置信息获取双眼眼球的特征点的位置信息。
具体的，左眼球位置：索引从特征点36'到41'的坐标点的平均值；右眼球位置：索引从特征点42'到47'的坐标点的平均值。
S520：获取图像的大小。
具体的，图像大小是包含整张人脸图的用户脸部图像(即预先或实时拍摄的照片)的大小。
S530：计算人脸宽度。
具体的，人脸宽度＝sqrt(索引为特征点0'的坐标点-索引为特征点16'的坐标点)，其中，sqrt为平方根函数。
S540：计算脸部中心点坐标。
具体的，脸部中心点坐标＝(左眼球位置-右眼球位置)/2。
S550：计算脸部向上的向量。
具体的，脸部向上的向量＝Normalize(脸部中心点坐标-索引为特征点8'的坐标)，Normalize是取其单位向量函数。
S560：计算额头顶部点。
具体的，额头顶部点＝脸部中心点坐标-脸部向上的向量×人脸宽度。
S570：计算额头顶部左边点。
具体的，额头顶部左边点＝额头顶部点-(脸部中心点坐标-索引为特征点0'的坐标)。
S580：计算额头顶部右边点。
具体的，额头顶部右边点＝额头顶部点-(脸部中心点坐标-索引为特征点0'的点。
S590：使用贝赛尔算法，获得第二额头轮廓特征点：
B(t)＝P0(1-t)3+3P1t(1-t)2+3P2t2(1-t)+P3t3,t∈[0,1]，
其中，P0为特征点0'的坐标，P1为上述顶部左边点的坐标，P2为上述顶部右边点的坐标，P3为特征点16'的坐标；t为0-1的值；B(t)为使用贝赛尔曲线原理计算得出的曲线，即本申请的第二额头轮廓特征点。
具体的，将索引为特征点0'→顶部左边点→顶部右边点→索引为特征点16'之间计算得出一条曲线，在该曲线上得出的索引为特征点65'到特征点83'的坐标点，该特征点65'到特征点83'形成即为计算得到的第二额头轮廓特征点。
请继续参见图4，S420：根据用户脸部图像的特征点获取第二三角形列表，并保存。
具体的，利用Delaunay三角剖分算法对第二下部轮廓特征点(特征点0'-16')、第二眼部轮廓特征点(36'-47')、第二眉毛轮廓特征点(17'-26')、第二鼻子轮廓特征点(特征点31'-35')和第二嘴巴轮廓特征点(特征点48'-64')构建第二三角形网，并获取第二三角形网的三角形列表。
请继续参见图2，S220：利用第一三角形列表和第二三角形列表将用户脸部图像与第一虚拟模型的脸部模型进行对齐。
具体的，将第一三角形列表与第二三角形列表一一对应，使用户脸部图像与第一虚拟模型的脸部模型对齐。优选的，通过双眼位置对齐的方式使用户脸部图像与第一虚拟模型的脸部模型对齐，对齐时，双眼与下颚方向与脸部模型一致。然后使用脸部皮肤融合半透明图像对用户脸部图像中的人脸进行抠图，得到抠像区域。再将模型的顶点在前视图空间内进行交换，对齐到抠像区域用户脸部图像的三角形顶点坐标中，完成对脸部模型的初步贴图。
S230：对齐后，制作真人皮肤模型，并利用真人皮肤模型与初步贴图后的脸部模型进行融合，完成第二虚拟模型的构建。
进一步的，制作真人皮肤模型包括制作皮肤模型和皮肤图。制作真人皮肤模型，并利用真人皮肤模型与初步贴图后的脸部模型进行融合的方法具体如下：
2310：制作皮肤模型。
具体的，美术人员利用photoshop等现有软件对初步贴图后的脸部模型的皮肤进行去纹理和半透明处理，其中，去纹理具体可以是将眼球部分的纹理和脸部大部分纹理去掉。去纹理和半透明处理后得到模型皮肤材质处理图片。然后，将该模型皮肤材质处理图片贴合至第一虚拟模型上，得到皮肤模型。
2320：通过真人皮肤图片生成皮肤图。
具体的，真人皮肤图片是用户脸部图像中真人脸部的部分图片，是可以代表真人皮肤(皮肤颜色或皮肤质感)的部分图片。具体可以是在真实图片中真人脸部抠出来一块制作皮肤图。优选的，抠取较为平整，光线或颜色变化小的部位，如从真实图片中的真人额头上抠出来一块真人皮肤图片，然后对抠出的真人皮肤图片进行边缘逐渐透明值处理，将边缘逐渐透明值处理的真人皮肤图片进行平铺操作，填满整个皮肤融合材质图片，填充的时候优选自动随机旋转，最终生成一张皮肤图。
2330：通过皮肤图和皮肤模型生成真人皮肤模型。
具体的，叠加皮肤图和皮肤模型，具体可以是在3D中的着色器内逐像素叠加计算。例如，可以通过公式：真人皮肤模型＝人脸贴图模型UV*细节参数*背景参数*皮肤图的皮肤材质参数；其中，细节参数为5、背景参数为2，逐像素叠加计算得到真人皮肤模型。当然根据需要细节参数和背景参数也不限定为本申请实施例中所设置的数值。
在上述公式中，肤图的皮肤材质参数即是上述获得皮肤图中的参数，例如，皮肤颜色、色素沉积状况等。
另外，在上述公式中，人脸贴图模型UV是使用三维坐标计算人脸贴图模型获得的。UV是三维模型的一种坐标系统，是贴图影射到模型表面的依据。完整的说，应该是UVW。U和V分别是图片在显示器水平、垂直方向上的坐标，取值一般都是0～1，也就是(水平方向的第U个像素/图片宽度，垂直方向的第V个像素/图片高度)，W的方向垂直于显示器表面。
2340：将初步贴图后的脸部模型与真人皮肤模型进行融合。
然后，将初步贴图后的脸部模型与真人皮肤模型进行融合得到第二虚拟模型，具体可以是将初步贴图后的脸部模型与真人皮肤模型进行叠加计算，或者可以是其他计算，只要能够将初步贴图后的脸部模型与真人皮肤模型中的参数进行融合即可。
接着，进行最终输出模型计算，具体如下：
3310：计算过滤值；
过滤值＝(1–模型皮肤材质的Alpha通道)*(人脸贴图的Alpha通道)，其中Alpha通道为材质的透明通道。模型皮肤材质是描述皮肤模型中皮肤的参数，人脸贴图是初步贴图后的脸部模型中的用户脸部图像。
3320：通过过滤值输出真人皮肤模型或融合模型；
具体通过函数Lerp进行计算输出。其中，函数Lerp为Lerp(真人皮肤模型,融合模型,过滤值)，Lerp是混合函数，其结果取决于过滤值，如果过滤值是0则输出的是真人皮肤模型，如果是1则输出的是融合模型。
其中，函数Lerp的具体形式是Lerp(A,B,L)＝A*(1-L)+B*L，A、B、L是函数Lerp的自变量，在本申请中代表的含义分别为真人皮肤模型,融合模型,过滤值。
接下来，对最终输出模型增加自发光。由于真实图片在照相时就已经存在了光照的效果，所以在上述处理中仅贴上人脸图片之后真实的光照效果并没有消失，因此需要稍微提高一些自身亮度作为对光照的补偿。可以通过公式：自发光模型＝最终输出模型*照亮参数，其中照亮参数设置成0.5。
最后，对自发光模型添加场景光照效果，然后进行第二虚拟模型的输出。
进一步的，输出的第二虚拟模型通过调整自身各个特征值点的坐标位置进行表情变化。
如图5所示，一种虚拟模型的表情变化方法，适用于上述的虚拟模型的制作方法制作的第二虚拟模型，方法如下：
S610：建立表情库。
具体的，建立表情库的方法为：
S710：工作人员预先对一个人的多种表情进行录制，并将多个表情分别保存为一帧表情图像。
S720：利用Dlib库提供的人脸特征点检测功能对每一帧表情图像进行检测，并计算出每帧表情图像的特征点。
进一步的，每帧表情图像上的特征点设置为多个，多个特征点分为多个轮廓特征点。
具体的，作为一个实施例，每帧表情图像上计算出的特征点为84个，多个轮廓特征点包括第三下部轮廓特征点，第三下部轮廓特征点包括从脸部模型右耳上端经过下颚至左耳上端的下半脸部轮廓区域上的所有特征点(特征点0”-16”)；第三眼部轮廓特征点，第三眼部轮廓特征点包括第三左眼轮廓特征点(特征点42”-47”)和第三右眼特征轮廓点(特征点36”-41”)；第三眉毛轮廓特征点包括第三左眉毛轮廓特征点(特征点22”-26”)和第三右眉毛轮廓特征点(特征点17”-21”)；第三鼻子轮廓特征点(特征点31”-35”)；第三嘴巴轮廓特征点(特征点48”-64”)。由于Dlib库提供的人脸特征点检测功能无法计算第三额头轮廓特征点，该第三额头轮廓特征点包括额头区域上的所有特征点(特征点65”-83”)；故本申请根据正常人的额头部分的弧度特征计算第三额头轮廓特征点。
S730：根据计算出的每帧表情图像的特征点，获取每帧表情图像的三角形列表，并保存。
具体的，利用Delaunay三角剖分算法对第三下部轮廓特征点(特征点0”-16”)、第三眼部轮廓特征点(36”-47”)、第三眉毛轮廓特征点(17”-26”)、第三鼻子轮廓特征点(特征点31”-35”)和第三嘴巴轮廓特征点(特征点48”-64”)构建第三三角形网，并获取第三三角形网的三角形列表。每一帧表情图像的特征点的坐标为固定值。
S620：使第二虚拟模型的特征点依据表情库中表情图像的特征点的坐标进行调整，完成虚拟模型的表情变化。
可选的，作为一个实施例，设F(i)为一个正常表情的所有特征点的坐标数据，T(i)为一个微笑表情的所有特征点的坐标数据，则由正常表情变换为微笑表情的目标特征点集合D(i)为：D(i)＝[T(i)-F(i)]×b+F(i)。其中，b是从正常表情F过度到微笑表情T的插值，可以是0到1之间的任意值。如果b是0，则是正常表情F，如果b是1，则是微笑表情T。
进一步的，利用用户脸部图像与第一虚拟模型制作的第二虚拟模型的嘴巴轮廓为闭合状态，当该第二虚拟模型依据表情库中的表情图像的特征点的坐标进行调整时，第二虚拟模型的嘴巴轮廓被调整为张开状态，该张开区域由牙齿模型进行填充。
进一步的，利用用户脸部图像与第一虚拟模型制作的第二虚拟模型的眼睛轮廓为睁眼状态，当该第二虚拟模型依据表情库中的表情图像的特征点的坐标进行调整时，第二虚拟模型的眼睛轮廓被调整为闭合状态，该闭合区域由眼睑模型进行填充。
本申请实施例提供的一种虚拟模型的制作方法及表情变化方法可以应用于不同的场景，例如：
示例1：如果基础模型是一个人物模型，则在三维人脸融合之后，用户在三维游戏、三维动画、各种三维相关的内容中看到的是一张自己的脸，并且这个模型可以随着美术人员的设定进行各种动作的播放。
示例2：如果拍摄的是一系列变化的图，比如一个人从严肃的表情切换到笑脸表情的过程的序列图，则模型可通过这些连续的表情图片来生成不同片段的表情变化，如果每秒达到30帧的计算速率，则整个模型会实时生成不同表情之间的切换过程。如果将这些序列图片保存下来，在今后播放这段图片并融合到三维模型之后就可以得到与播放真人表情一样的效果。
示例3：如果表情变化过程中，将这些特征点之间的关系记录下来，然后对另一张脸的特征点进行相等比例动态调整，可以得出一个人在说话或者做出各种表情和脸部的过程中，另一个三维模型和人也会做出同样的表情和脸部动作。
示例4：如果将人脸融合到一张动物头像三维模型上时，这个人会变成一个小动物，看上去像小动物但是脸是自己的脸。如果将这个动物制作成的动画片，使用三维播放软件等工具进行播放并录制成mp4之后，这个人将得到由自己扮演的一段动画片。
本申请实现的有益效果如下：具有可以使用真人图像参与构建三维模型，并且构建的三维模型的表情能够进行变换，还能够参与动画片录制和播放的技术效果。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (6)
1.一种虚拟模型的制作方法，其特征在于，包括如下步骤：
设置第一虚拟模型，并在第一虚拟模型上建立脸部模型；
获取用户脸部图像，并使用户脸部图像与第一虚拟模型进行贴合，构建完成第二虚拟模型；
其中，使用户脸部图像与第一虚拟模型进行贴合，构建完成第二虚拟模型的方法如下：
获取脸部模型的第一三角形列表和用户脸部图像的第二三角形列表；
利用第一三角形列表和第二三角形列表将用户脸部图像与第一虚拟模型的脸部模型进行对齐；
对齐后，制作真人皮肤模型，并利用真人皮肤模型与初步贴图后的脸部模型进行融合，完成融合后，获得第二虚拟模型；
对第二虚拟模型进行最终输出模型计算，获得最终输出模型；
通过自发光模型对最终输出模型增加自发光，并对自发光模型添加场景光照效果，获得输出的第二虚拟模型；
其中，进行最终输出模型计算，获得最终输出模型的子步骤如下：
计算过滤值，过滤值＝(1–模型皮肤材质的Alpha通道)*(人脸贴图的Alpha通道)，其中Alpha通道为材质的透明通道；
通过混合函数Lerp和过滤值输出真人皮肤模型或融合模型，获得最终输出模型，混合函数Lerp(A,B,L)＝A*(1-L)+B*L，A为真人皮肤模型，B为融合模型，L为过滤值。
2.根据权利要求1所述的虚拟模型的制作方法，其特征在于，所述第二虚拟模型通过调整自身各个特征值点的坐标位置进行表情变化。
3.根据权利要求2所述的虚拟模型的制作方法，其特征在于，获取脸部模型的第一三角形列表，方法如下：
设置脸部模型的特征点；
利用脸部模型的特征点获取第一三角形列表，并保存。
4.根据权利要求1所述的虚拟模型的制作方法，其特征在于，获取用户脸部图像的第二三角形列表，方法如下：
获取用户脸部图像的特征点；
根据用户脸部图像的特征点获取第二三角形列表，并保存。
5.一种虚拟模型的表情变化方法，其特征在于，适用于权利要求1-4任一项所述的虚拟模型的制作方法制作的第二虚拟模型，方法如下：
建立表情库；
使第二虚拟模型的特征点依据表情库中的每个图像的特征点的坐标进行调整，完成虚拟模型的表情变化。
6.根据权利要求5所述的虚拟模型的表情变化方法，其特征在于，建立表情库的方法为：
预先对一个人的多种表情进行录制，并将多个表情分别保存为一帧表情图像；
利用Dlib库提供的人脸特征点检测功能对每一帧表情图像进行检测，并计算出每帧表情图像的特征点；
根据计算出的每帧表情图像的特征点，获取每帧表情图像的三角形列表，并保存。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811300775.5A CN109410298B (zh) | 2018-11-02 | 2018-11-02 | 一种虚拟模型的制作方法及表情变化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811300775.5A CN109410298B (zh) | 2018-11-02 | 2018-11-02 | 一种虚拟模型的制作方法及表情变化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109410298A CN109410298A (zh) | 2019-03-01 |
| CN109410298B true CN109410298B (zh) | 2023-11-17 |
Family
ID=65471194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811300775.5A Active CN109410298B (zh) | 2018-11-02 | 2018-11-02 | 一种虚拟模型的制作方法及表情变化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109410298B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109920422A (zh) * | 2019-03-15 | 2019-06-21 | 百度国际科技（深圳）有限公司 | 语音交互方法及装置、车载语音交互设备及存储介质 |
| CN110189404B (zh) * | 2019-05-31 | 2023-04-07 | 重庆大学 | 基于真实人脸图像的虚拟面部建模方法 |
| CN110363107A (zh) * | 2019-06-26 | 2019-10-22 | 成都品果科技有限公司 | 人脸额头点位快速扩展方法、装置、储存介质和处理器 |
| CN110728271B (zh) * | 2019-12-19 | 2020-04-07 | 恒信东方文化股份有限公司 | 一种针对人脸识别生成人物表情的方法 |
| CN113436301B (zh) * | 2020-03-20 | 2024-04-09 | 华为技术有限公司 | 拟人化3d模型生成的方法和装置 |
| CN111445561B (zh) * | 2020-03-25 | 2023-11-17 | 北京百度网讯科技有限公司 | 虚拟对象的处理方法、装置、设备及存储介质 |
| CN111614925B (zh) * | 2020-05-20 | 2022-04-26 | 广州视源电子科技股份有限公司 | 人物图像处理方法、装置、相应终端及存储介质 |
| CN111739155A (zh) * | 2020-06-24 | 2020-10-02 | 网易（杭州）网络有限公司 | 虚拟角色捏脸方法、装置和终端设备 |
| CN112085835B (zh) * | 2020-08-31 | 2024-03-22 | 腾讯科技（深圳）有限公司 | 三维卡通人脸生成方法、装置、电子设备及存储介质 |
| CN112330529A (zh) * | 2020-11-03 | 2021-02-05 | 上海镱可思多媒体科技有限公司 | 基于Dlid的人脸老化方法、系统以及终端 |
| CN113870401B (zh) * | 2021-12-06 | 2022-02-25 | 腾讯科技（深圳）有限公司 | 表情生成方法、装置、设备、介质和计算机程序产品 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016011834A1 (zh) * | 2014-07-23 | 2016-01-28 | 邢小月 | 一种图像处理方法及系统 |
| CN105654537A (zh) * | 2015-12-30 | 2016-06-08 | 中国科学院自动化研究所 | 一种实现与虚拟角色实时互动的表情克隆方法及装置 |
| CN106372333A (zh) * | 2016-08-31 | 2017-02-01 | 北京维盛视通科技有限公司 | 基于人脸模型的服装展示方法及装置 |
| CN106780713A (zh) * | 2016-11-11 | 2017-05-31 | 吴怀宇 | 一种基于单幅照片的三维人脸建模方法及系统 |
| CN107154069A (zh) * | 2017-05-11 | 2017-09-12 | 上海微漫网络科技有限公司 | 一种基于虚拟角色的数据处理方法及系统 |
| CN107330371A (zh) * | 2017-06-02 | 2017-11-07 | 深圳奥比中光科技有限公司 | 3d脸部模型的脸部表情的获取方法、装置和存储装置 |
| CN107610239A (zh) * | 2017-09-14 | 2018-01-19 | 广州帕克西软件开发有限公司 | 一种脸谱的虚拟试戴方法及装置 |
| WO2018076437A1 (zh) * | 2016-10-25 | 2018-05-03 | 宇龙计算机通信科技(深圳)有限公司 | 一种人脸贴图方法及装置 |
-
2018
- 2018-11-02 CN CN201811300775.5A patent/CN109410298B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016011834A1 (zh) * | 2014-07-23 | 2016-01-28 | 邢小月 | 一种图像处理方法及系统 |
| CN105654537A (zh) * | 2015-12-30 | 2016-06-08 | 中国科学院自动化研究所 | 一种实现与虚拟角色实时互动的表情克隆方法及装置 |
| CN106372333A (zh) * | 2016-08-31 | 2017-02-01 | 北京维盛视通科技有限公司 | 基于人脸模型的服装展示方法及装置 |
| WO2018076437A1 (zh) * | 2016-10-25 | 2018-05-03 | 宇龙计算机通信科技(深圳)有限公司 | 一种人脸贴图方法及装置 |
| CN106780713A (zh) * | 2016-11-11 | 2017-05-31 | 吴怀宇 | 一种基于单幅照片的三维人脸建模方法及系统 |
| CN107154069A (zh) * | 2017-05-11 | 2017-09-12 | 上海微漫网络科技有限公司 | 一种基于虚拟角色的数据处理方法及系统 |
| CN107330371A (zh) * | 2017-06-02 | 2017-11-07 | 深圳奥比中光科技有限公司 | 3d脸部模型的脸部表情的获取方法、装置和存储装置 |
| CN107610239A (zh) * | 2017-09-14 | 2018-01-19 | 广州帕克西软件开发有限公司 | 一种脸谱的虚拟试戴方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 一种基于人脸表情识别的软件自动换肤技术研究;陈海峰;《微电子学与计算机》;20100205(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109410298A (zh) | 2019-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109410298B (zh) | 一种虚拟模型的制作方法及表情变化方法 | |
| US10089522B2 (en) | Head-mounted display with facial expression detecting capability | |
| EP3096208B1 (en) | Image processing for head mounted display devices | |
| US8698796B2 (en) | Image processing apparatus, image processing method, and program | |
| CN101324961B (zh) | 计算机虚拟世界中人脸部三维贴图方法 | |
| CN101055647B (zh) | 用于处理图像的方法、装置 | |
| CN109377557B (zh) | 基于单帧人脸图像的实时三维人脸重建方法 | |
| CN108765272A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| JP2004506276A (ja) | ３次元顔モデリングシステム及びモデリング方法 | |
| US7567251B2 (en) | Techniques for creating facial animation using a face mesh | |
| CN105938627A (zh) | 用于人脸虚拟整形的处理方法和系统 | |
| CN101968892A (zh) | 根据一张人脸照片自动调整三维人脸模型的方法 | |
| JP2010154422A (ja) | 画像処理装置 | |
| CN112669447A (zh) | 一种模型头像创建方法、装置、电子设备和存储介质 | |
| CN104581119B (zh) | 一种3d图像的显示方法和一种头戴设备 | |
| WO2018080849A1 (en) | Simulating depth of field | |
| CN108762508A (zh) | 一种基于vr体验舱的人体与虚拟人合成系统及方法 | |
| CN112348937A (zh) | 人脸图像处理方法及电子设备 | |
| CN104318602A (zh) | 人物全身动作的动画制作方法 | |
| JP2012120080A (ja) | 立体写真撮影装置 | |
| CN110853147B (zh) | 一种三维人脸变换的方法 | |
| ES2284391B1 (es) | Procedimiento para la generacion de imagenes de animacion sintetica. | |
| Tiddeman et al. | Transformation of dynamic facial image sequences using static 2D prototypes | |
| CN112561784A (zh) | 图像合成方法、装置、电子设备及存储介质 | |
| Huang et al. | A process for the semi-automated generation of life-sized, interactive 3D character models for holographic projection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |