CN115908656A - 三维表情模拟方法、装置及存储介质、电子设备和计算机程序产品 - Google Patents
三维表情模拟方法、装置及存储介质、电子设备和计算机程序产品 Download PDFInfo
- Publication number
- CN115908656A CN115908656A CN202211423788.8A CN202211423788A CN115908656A CN 115908656 A CN115908656 A CN 115908656A CN 202211423788 A CN202211423788 A CN 202211423788A CN 115908656 A CN115908656 A CN 115908656A
- Authority
- CN
- China
- Prior art keywords
- expression
- basic
- offset
- skeleton
- neutral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 404
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000004088 simulation Methods 0.000 title claims abstract description 33
- 238000004590 computer program Methods 0.000 title claims abstract description 18
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 127
- 230000007935 neutral effect Effects 0.000 claims abstract description 111
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 abstract description 15
- 230000000694 effects Effects 0.000 abstract description 11
- 230000004927 fusion Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 210000000887 face Anatomy 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种三维表情模拟方法、装置及存储介质、电子设备和计算机程序产品，属于计算机动画技术领域；为中立表情和所有基础表情配置骨骼并进行蒙皮处理，然后计算中立表情的骨骼位置移动到任一基础表情的骨骼位置时骨骼的偏移量；根据偏移量和对应的权重系数得到任一基础表情的加权偏移量；根据加权偏移量得到任一骨骼的目标偏移量，根据目标偏移量，对中立表情的骨骼进行移动，得到模拟表情。本发明技术方案为基础表情和中立表情配置了骨骼，以骨骼的移动替代了传统的顶点坐标的加权融合，由于骨骼移动更符合真实表情的变化，因此相比于顶点坐标的加权求和，骨骼移动得到的模拟表情具有动态效果更好，真实性更高的优点。
Description
技术领域
本发明涉及计算机动画技术领域，特别地，涉及一种三维表情模拟方法、装置及存储介质、电子设备和计算机程序产品。
背景技术
现阶段三维表情模拟是由真实表情得到数字人的模拟表情，常见的方法就是使用Blendshape。一个Blendshape代表一个基础表情(如，张嘴、微笑、闭左眼、左嘴角上扬等)。一般一个基础表情是由中立表情(无张嘴等动作的表情，中立表情本质为初始的一个表情，实际使用过程中可以由用户自己定义)改动一处区域得到的，模拟的表情是由中立表情上结合多个Blendshape(基础表情)得到。
现有加权求和方法为，预先定义好中立表情和Blendshape(基础表情)，然后将中立表情和Blendshape存储在网格体(mesh)内，得到各个Blendshape的顶点坐标，根据权重系数对所有的Blendshape的顶点坐标进行加权求和得到最终的顶点坐标，然后由中立表情的顶点坐标移动到最终的顶点坐标以模拟表情。但是仅根据顶点坐标的线性加权求和得到的模拟表情动态效果较差，真实性较低。
发明内容
为了克服现有技术的不足，本发明提供一种三维表情模拟方法、装置及存储介质、电子设备和计算机程序产品，以解决现有加权求和方法仅根据根据顶点坐标的线性加权求和得到的模拟表情动态效果较差，真实性较低的问题。
本发明解决其技术问题所采用的技术方案是：
第一方面，提供了一种三维表情模拟方法，包括：
为中立表情和所有的基础表情分别配置骨骼，为所述中立表情配置的骨骼和为任一所述基础表情配置的骨骼为同一套骨骼，对所有骨骼进行蒙皮处理；并计算蒙皮后所述中立表情的骨骼位置移动到任一所述基础表情的骨骼位置时骨骼的偏移量；
获取任一所述基础表情在构成待模拟的三维表情时的权重系数，根据任一所述基础表情对应的偏移量乘以和所述基础表情的权重系数得到所述基础表情的骨骼的加权偏移量；
将所有基础表情中同一骨骼的各加权偏移量相加得到任一骨骼的目标偏移量；
根据所述目标偏移量，对所述中立表情对应的骨骼进行移动，得到模拟表情。
进一步地，所述计算蒙皮后所述中立表情的骨骼位置移动到任一所述基础表情的骨骼位置时骨骼的偏移量，包括：
获取所述中立表情对应的骨骼中任一骨骼中心点的第一坐标以及获取同一坐标系下所述基础表情对应的骨骼中同一骨骼中心点的第二坐标，将所述第二坐标与所述第一坐标的差值作为所述骨骼的平移偏移量；
获取所述中立表情对应的骨骼中任一骨骼的第一欧拉角以及获取同一坐标系下所述基础表情对应的骨骼中同一骨骼的第二欧拉角；根据所述第一欧拉角和所述第二欧拉角得到所述骨骼的旋转偏移量；
将所述平移偏移量和所述旋转偏移量作为所述骨骼的偏移量。
进一步地，所述根据所述第一欧拉角和所述第二欧拉角得到所述骨骼的旋转偏移量，包括：
将所述第一欧拉角与所述第二欧拉角的差值作为旋转偏移量；或者，
将所述第一欧拉角转换为第一四元数，并将所述第二欧拉角转换为第二四元数，将所述第一四元数与所述第二四元数的差值作为旋转偏移量。
进一步地，所述对所有骨骼进行蒙皮处理，包括：
获取组成所述中立表情或组成任一所述基础表情的多个顶点；
将所述多个顶点与所述骨骼进行绑定，以使所述骨骼移动时带动与所述骨骼绑定的多个顶点移动。
进一步地，所述获取任一所述基础表情在构成待模拟的三维表情时的权重系数，包括：
确定所述待模拟的三维表情与所述中立表情不同的区域在人脸上所在的目标位置；
计算所述待模拟的三维表情的目标位置的表情图片与任一基础表情的目标位置的表情图片的相似度；
将所述相似度作为所述基础表情的权重系数。
进一步地，所述根据任一所述基础表情对应的偏移量和所述基础表情的权重系数得到所述基础表情的骨骼的加权偏移量，包括：
对于任一基础表情，计算所述基础表情对应的偏移量与所述基础表情的权重系数的乘积；
将所述乘积作为所述基础表情的骨骼的加权偏移量。
第二方面，提供了一种三维表情模拟装置，包括：
骨骼配置及蒙皮模块，用于为中立表情和所有的基础表情分别配置骨骼，为所述中立表情配置的骨骼和为任一所述基础表情配置的骨骼为同一套骨骼，对所有骨骼进行蒙皮处理；并计算蒙皮后所述中立表情的骨骼位置移动到任一所述基础表情的骨骼位置时骨骼的偏移量；
加权偏移量计算模块，用于获取任一所述基础表情在构成待模拟的三维表情时的权重系数，根据任一所述基础表情对应的偏移量和所述基础表情的权重系数得到所述基础表情的骨骼的加权偏移量；
目标偏移量计算模块，用于将所有基础表情中同一骨骼的各加权偏移量相加得到任一骨骼的目标偏移量；
骨骼移动模块，用于根据所述目标偏移量，对所述中立表情对应的骨骼进行移动，得到模拟表情。
第三方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质可读存储介质，其上存储有计算机程序，当所述计算机程序被运行时执行如第一方面提供的技术方案中任一项所述的三维表情模拟方法。
第四方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面提供的技术方案中任一项所述的三维表情模拟方法。
第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第一方面提供的技术方案中任一项所述的三维表情模拟方法。
本发明提供的技术方案可以包括以下有益效果：
本发明技术方案提供的一种三维表情模拟方法、装置及存储介质、电子设备和计算机程序产品，首先为中立表情和所有的基础表情分别配置骨骼，然后对配置的骨骼进行蒙皮处理，蒙皮后骨骼与中立表情或基础表情绑定；计算中立表情的骨骼位置移动到任一基础表情的骨骼位置时骨骼的偏移量；然后根据偏移量和对应的权重系数得到任一基础表情的加权偏移量；将所有基础表情中同一骨骼的各加权偏移量相加得到任一骨骼的目标偏移量，根据目标偏移量，对中立表情的骨骼进行移动，得到模拟表情。本发明技术方案为基础表情和中立表情配置了同一套骨骼，以骨骼的移动替代了传统的顶点坐标的加权融合，由于骨骼移动更符合真实表情的变化，因此相比于顶点坐标的加权求和，骨骼移动得到的模拟表情具有动态效果更好，真实性更高的优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种三维表情模拟方法流程图；
图2是本发明实施例提供的一种具体的三维表情模型方法流程图；
图3是本发明实施例提供的一种三维表情模拟装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图和实施例对本发明的技术方案进行详细的描述说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
首先需要说明的是，本申请中提到的骨骼，是指在骨骼动画中模型(在本申请中指表情)的骨架结构，在骨骼动画中模型具有互相连接的“骨骼”组成的骨架结构，通过改变骨骼的朝向和位置来为模型生成动画，其中，骨骼动画是模型动画的一种。
参照图1，本发明实施例提供了一种三维表情模拟方法，包括：
S11：为中立表情和所有的基础表情分别配置骨骼，为中立表情配置的骨骼和为任一基础表情配置的骨骼为同一套骨骼，对所有骨骼进行蒙皮处理；并计算蒙皮后中立表情的骨骼位置移动到任一基础表情的骨骼位置时骨骼的偏移量；
S12：获取任一基础表情在构成待模拟的三维表情时的权重系数，根据任一基础表情对应的偏移量乘以和基础表情的权重系数得到基础表情的骨骼的加权偏移量；
S13：将所有基础表情中同一骨骼的各加权偏移量相加得到任一骨骼的目标偏移量；
S14：根据目标偏移量，对中立表情对应的骨骼进行移动，得到模拟表情。
本发明实施例中，为中立表情和所有的基础表情分别配置骨骼，然后对配置的骨骼进行蒙皮处理，蒙皮后骨骼与中立表情或基础表情绑定；计算中立表情的骨骼位置移动到任一基础表情的骨骼位置时骨骼的偏移量；然后根据偏移量和对应的权重系数得到任一基础表情的加权偏移量；将所有基础表情中同一骨骼的各加权偏移量相加得到任一骨骼的目标偏移量，根据目标偏移量，对中立表情的骨骼进行移动，得到模拟表情。本发明技术方案为基础表情和中立表情配置了同一套骨骼，以骨骼的移动替代了传统的顶点坐标的加权融合，由于骨骼移动更符合真实表情的变化，因此相比于顶点坐标的加权求和，骨骼移动得到的模拟表情具有动态效果更好，真实性更高的优点。
作为对上述实施例的进一步说明，本发明提供一种具体的三维表情模拟方法，如图2所示，包括：
S21：为中立表情和所有的基础表情分别配置骨骼，为中立表情配置的骨骼和为任一基础表情配置的骨骼为同一套骨骼，对所有骨骼进行蒙皮处理；并计算蒙皮后中立表情的骨骼位置移动到任一基础表情的骨骼位置时骨骼的偏移量，每个基础表情由中立表情改动至少一处区域的顶点坐标得到；
优选的，基础表情为Blendshape。需要说明的是，中立表情和基础表情是由用户提前定义的表情，中立表情为初始的表情，而基础表情为修改中立表情某一区域的顶点坐标后得到，如中立表情为面无表情的表情时，基础表情可以为张嘴的表情、闭左眼的表情或左嘴角上扬的表情。中立表情和基础表情存储在网格中，中立表情和基础表情在网格中表现为多个顶点的集合。由于传统的表情模拟方法采用的加权融合方法仅使用顶点的坐标进行加权融合，因此现有的中立表情和基础表情仅是由顶点组成，而没有必要构建与顶点绑定的骨骼。
而本发明实施例中为中立表情和基础表情配置骨骼，可以为中立表情和基础表情新构建一套骨骼，新构建的骨骼更贴合中立表情和基础表情，其中构建骨骼可以采用如maya、adobe animate等软件进行构建。需要说明的是，由于基础表情是由中立表情得到的，因此为中立表情和基础表情构建的骨骼应为同一套骨骼，采用同一套骨骼时，才可以根据骨骼移动来实现表情的变化。若不是同一套骨骼，因为骨骼不对应，后续骨骼的偏移量无法计算。
但是在实际处理过程中，为中立表情和基础表情新构建骨骼耗费时间太长，大大增加了模拟成本，因此本发明实施例采用一套标准骨骼，该标准骨骼为基于其他人脸构建的骨骼，该标准骨骼已进行了蒙皮，只不过标准骨骼所表示的人脸与待模拟的三维表情的人脸不同。因此需要首先参照待配置骨骼的中立表情或基础表情所代表的人脸和表情，移动标准骨骼(如增加或减少每块骨骼的距离)，使标准骨骼的表示的人脸与中立表情或基础表情代表的人脸以及表情相同，然后将人脸以及表情相同时的骨骼配置给中立表情或基础表情，之后进行蒙皮。这样需要模拟多个人脸的表情时，无需每次构建一个新的骨骼，提高了表情模拟的效率，降低了模拟成本。
作为本发明实施例的一种可选的实现方式，对骨骼进行蒙皮，包括：获取组成中立表情或组成任一基础表情的多个顶点；将多个顶点与骨骼进行绑定，以使骨骼移动时带动与骨骼绑定的多个顶点移动。蒙皮后，只要移动骨骼，与骨骼绑定的所有顶点都会随骨骼移动，这样通过移动骨骼就可以实现表情的改变，由于骨骼移动更符合实际表情变化，因此通过移动骨骼，能够得到动态效果更好的模拟表情。其中，将多个顶点与骨骼进行绑定是指：配置任一顶点与任一骨骼的移动权重，其中移动权重表征当该骨骼向任一方向移动定值时，该顶点向相应方向移动的距离的大小，具体的移动权重值根据实际需要设置或由软件自动设置。
由于每一个Blendshape的骨骼变换都是基于中立表情开始变换的(即从中立表情的骨骼状态出发，对骨骼进行一定的平移或旋转)；因此需要计算蒙皮后中立表情的骨骼位置移动到任一基础表情的骨骼位置时骨骼的偏移量；偏移量包括平移偏移量和旋转偏移量，具体的，包括步骤S22和步骤S23。
S22：获取中立表情对应的骨骼中任一骨骼中心点的第一坐标以及获取同一坐标系下基础表情对应的骨骼中同一骨骼中心点的第二坐标，将第二坐标与第一坐标的差值作为骨骼的平移偏移量；
S23：获取中立表情对应的骨骼中任一骨骼的第一欧拉角以及获取同一坐标系下基础表情对应的骨骼中同一骨骼的第二欧拉角；根据第一欧拉角和第二欧拉角得到骨骼的旋转偏移量。
其中，根据第一欧拉角和第二欧拉角得到骨骼的旋转偏移量的一种可选实现方式为：直接将第一欧拉角与第二欧拉角的差值作为旋转偏移量。但是由于欧拉角在旋转时可能产生万向锁现象，导致旋转无法到目标位置。因此另一种可选实现方式中可以将第一欧拉角转换为第一四元数A，并将第二欧拉角转换为第二四元数B，将第一四元数A与第二四元数B的差值作为旋转偏移量，即旋转偏移量＝A·inv(B)，其中inv(B)是B的共轭四元数。通过将欧拉角转换为四元数计算旋转偏移量，可以避免万向锁现象；只需要一个4维的四元数就可以执行绕任意过原点的向量的旋转，方便快捷，效率更高。
示例性，任一欧拉角(p，r，y)转换为四元数Q(a，b，c，d)的公式为：
a＝cos(p/2)*cos(r/2)*cos(y/2)-sin(p/2)*sin(r/2)*sin(y/2)；
b＝cos(r/2)*cos(y/2)*sin(p/2)-cos(p/2)*sin(r/2)*sin(y/2)；
c＝cos(p/2)*cos(y/2)*sin(r/2)-sin(p/2)*cos(r/2)*sin(y/2)；
d＝cos(p/2)*cos(r/2)*sin(y/2)-sin(p/2)*sin(r/2)*cos(y/2)。
其中，旋转顺序为：先绕Z轴旋转，再绕X轴旋转，最后绕Y轴旋转，p为绕X轴旋转的角度，r为绕Y轴旋转的角度，y为绕Z轴旋转的角度，其中四元数Q＝a+bi+cj+dk,i、j和k为虚数单位，而且它们有如下的关系：i2＝j2＝k2＝-1，i°＝j°＝k°＝1。
S24：由于待模拟的三维表情中某一区域的表情可能与基础表情的表情不完全相同，如三维表情为半张嘴，而基础表情为张嘴，因此不能直接由基础表情得到模拟表情，需要由待模拟的三维表情确定任一基础表情的权重系数。
作为本发明实施例一种可选的实现方式，首先确定待模拟的三维表情与中立表情不同的区域在人脸上所在的目标位置；计算待模拟的三维表情的目标位置的表情图片与任一基础表情的目标位置的表情图片的相似度；将相似度作为基础表情的权重系数。
示例性的，若待模拟的三维表情与中立表情的不同区域在于眼部和嘴部，则选择合适的方框确定眼部或嘴部的不同区域。方框可以是预设多个不同大小的方框，然后确定一个能够完全包括眼部(或嘴部)不同区域的方框，或者直接根据不同区域的高度和宽度生成一个方框。
可以理解的是，由于眼部和嘴部相距较远，分别采用一个方框确定不同区域；若相距较近的不同区域，可以采用一个方框，也可以采用多个方框，将所有方框在人脸对应的位置作为目标位置(可以在人脸构建坐标，进而以坐标表示方框位置)，之后选取任一基础表情在目标位置的表情图片，将该表情图片与待模拟的三维表情在目标区域的表情图片进行相似度对比，得到的相似度即为权重系数。
作为本发明实施例另一种可选的实现方式，将待模拟的三维表情输入到预训练的识别模型中，由预训练的识别模型输出任一基础表情在构成待模拟的三维表情时的相似度，其中识别模型的训练为采用大量的带批注的训练样本对初始模型进行训练。
S25：将任一基础表情对应的偏移量乘以基础表情的权重系数得到基础表情的骨骼的加权偏移量。平移偏移量和旋转偏移量分别乘以权重系数即可。
S26：将所有目标基础表情中同一骨骼的各加权偏移量相加得到任一骨骼的目标偏移量。此时平移偏移量和旋转偏移量也是分别加和，得到最终的目标偏移量包括目标平移偏移量和目标旋转偏移量。
S27：根据目标偏移量，对中立表情对应的骨骼进行移动，得到模拟表情。骨骼移动时，也是平移和旋转分别进行。中立表情的骨骼移动目标偏移量后得到模拟表情的骨骼，由于在S21中已经为中立表情进行了蒙皮处理，当中立表情的骨骼移动目标偏移量后得到的骨骼对应的表情即为模拟表情。
本发明实施例提供的具体的三维表情模拟方法，通过对中立表情和基础表情配置骨骼，并对骨骼进行蒙皮处理，将通过中立表情顶点坐标变化得到模拟表情的方式替换为了通过中立表情的骨骼移动的方式得到模拟表情。由于骨骼移动更符合真实表情的变化，因此相比于顶点坐标的加权求和，骨骼移动得到的模拟表情具有动态效果更好，真实性更高的优点。
本发明实施例提供一种三维表情模拟装置，如图3所示，包括：
骨骼配置及蒙皮模块31，用于为中立表情和所有的基础表情分别配置骨骼，为中立表情配置的骨骼和为任一基础表情配置的骨骼为同一套骨骼，对所有骨骼进行蒙皮处理；并计算蒙皮后中立表情的骨骼位置移动到任一基础表情的骨骼位置时骨骼的偏移量，每个基础表情由中立表情改动至少一处区域的顶点坐标得到；基础表情为Blendshape。骨骼配置及蒙皮模块31对骨骼进行蒙皮处理，包括：骨骼配置及蒙皮模块31获取组成中立表情或组成任一基础表情的多个顶点；将多个顶点与骨骼进行绑定，以使骨骼移动时带动与骨骼绑定的多个顶点移动。
骨骼配置及蒙皮模块31还计算蒙皮后中立表情的骨骼位置移动到任一基础表情的骨骼位置时骨骼的偏移量；具体的，骨骼配置及蒙皮模块31获取中立表情对应的骨骼中任一骨骼中心点的第一坐标以及获取同一坐标系下基础表情对应的骨骼中同一骨骼中心点的第二坐标，将第二坐标与第一坐标的差值作为骨骼的平移偏移量；获取中立表情对应的骨骼中任一骨骼的第一欧拉角以及获取同一坐标系下基础表情对应的骨骼中同一骨骼的第二欧拉角；根据第一欧拉角和第二欧拉角得到骨骼的旋转偏移量；将平移偏移量和旋转偏移量作为骨骼的偏移量。
其中，根据第一欧拉角和第二欧拉角得到骨骼的旋转偏移量，包括：将第一欧拉角与第二欧拉角的差值作为旋转偏移量；或者，将第一欧拉角转换为第一四元数，并将第二欧拉角转换为第二四元数，将第一四元数与第二四元数的差值作为旋转偏移量。
加权偏移量计算模块32，用于由待模拟三维表情确定任一基础表情的权重系数，将任一基础表情对应的偏移量乘以基础表情的权重系数得到基础表情的骨骼的加权偏移量；其中，加权偏移量计算模块32确定待模拟的三维表情与中立表情不同的区域在人脸上所在的目标位置；计算待模拟的三维表情的目标位置的表情图片与任一基础表情的目标位置的表情图片的相似度；将相似度作为基础表情的权重系数。
目标偏移量计算模块33，用于将所有目标基础表情下同一骨骼的加权偏移量相加得到任一骨骼的目标偏移量。
骨骼移动模块34，用于根据目标偏移量，对中立表情对应的骨骼进行移动，得到模拟表情。
本发明实施例提供的三维表情模拟装置，骨骼配置及蒙皮模块为中立表情和所有的基础表情分别配置骨骼，为中立表情配置的骨骼和为任一基础表情配置的骨骼为同一套骨骼，对所有骨骼进行蒙皮处理；并计算蒙皮后中立表情的骨骼位置移动到任一基础表情的骨骼位置时骨骼的偏移量；加权偏移量计算模块获取任一基础表情在构成待模拟的三维表情时的权重系数，根据任一基础表情对应的偏移量和基础表情的权重系数得到基础表情的骨骼的加权偏移量；目标偏移量计算模块将所有基础表情中同一骨骼的各加权偏移量相加得到任一骨骼的目标偏移量；骨骼移动模块根据目标偏移量，对中立表情对应的骨骼进行移动，得到模拟表情。本发明实施例提供的装置通过为中立表情和基础表情配置骨骼，并对骨骼进行蒙皮处理，将通过中立表情顶点坐标变化得到模拟表情的方式替换为了通过中立表情的骨骼移动的方式得到模拟表情。由于骨骼移动更符合真实表情的变化，因此相比于顶点坐标的加权求和，骨骼移动得到的模拟表情具有动态效果更好，真实性更高的优点。
本发明提供一种存储有计算机指令的非瞬时计算机可读存储介质可读存储介质，其上存储有计算机程序，当计算机程序被运行时执行上述实施例提供的三维表情模拟方法的步骤。
本发明实施例提供的可读存储介质，能够通过为中立表情和基础表情配置骨骼，并对骨骼进行蒙皮处理，将通过中立表情顶点坐标变化得到模拟表情的方式替换为了通过中立表情的骨骼移动的方式得到模拟表情。由于骨骼移动更符合真实表情的变化，因此相比于顶点坐标的加权求和，骨骼移动得到的模拟表情具有动态效果更好，真实性更高的优点。
本发明提供一种电子设备，包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施例提供的三维表情模拟方法。
本发明实施例提供的电子设备，通过存储器存储处理器的可执行指令，当处理器执行该可执行指令时，能够通过为中立表情和基础表情配置骨骼，并对骨骼进行蒙皮处理，将通过中立表情顶点坐标变化得到模拟表情的方式替换为了通过中立表情的骨骼移动的方式得到模拟表情。由于骨骼移动更符合真实表情的变化，因此相比于顶点坐标的加权求和，骨骼移动得到的模拟表情具有动态效果更好，真实性更高的优点。
本发明提供一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述实施例提供的三维表情模拟方法。本发明实施例提供的计算机程序产品，能够通过为中立表情和基础表情配置骨骼，并对骨骼进行蒙皮处理，将通过中立表情顶点坐标变化得到模拟表情的方式替换为了通过中立表情的骨骼移动的方式得到模拟表情。由于骨骼移动更符合真实表情的变化，因此相比于顶点坐标的加权求和，骨骼移动得到的模拟表情具有动态效果更好，真实性更高的优点。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种三维表情模拟方法，其特征在于，包括：
为中立表情和所有的基础表情分别配置骨骼，为所述中立表情配置的骨骼和为任一所述基础表情配置的骨骼为同一套骨骼，对所有骨骼进行蒙皮处理；并计算蒙皮后所述中立表情的骨骼位置移动到任一所述基础表情的骨骼位置时骨骼的偏移量；
获取任一所述基础表情在构成待模拟的三维表情时的权重系数，根据任一所述基础表情对应的偏移量和所述基础表情的权重系数得到所述基础表情的骨骼的加权偏移量；
将所有基础表情中同一骨骼的各加权偏移量相加得到任一骨骼的目标偏移量；
根据所述目标偏移量，对所述中立表情对应的骨骼进行移动，得到模拟表情。
2.根据权利要求1所述的方法，其特征在于，所述计算蒙皮后所述中立表情的骨骼位置移动到任一所述基础表情的骨骼位置时骨骼的偏移量，包括：
获取所述中立表情对应的骨骼中任一骨骼中心点的第一坐标以及获取同一坐标系下所述基础表情对应的骨骼中同一骨骼中心点的第二坐标，将所述第二坐标与所述第一坐标的差值作为所述骨骼的平移偏移量；
获取所述中立表情对应的骨骼中任一骨骼的第一欧拉角以及获取同一坐标系下所述基础表情对应的骨骼中同一骨骼的第二欧拉角；根据所述第一欧拉角和所述第二欧拉角得到所述骨骼的旋转偏移量；
将所述平移偏移量和所述旋转偏移量作为所述骨骼的偏移量。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一欧拉角和所述第二欧拉角得到所述骨骼的旋转偏移量，包括：
将所述第一欧拉角与所述第二欧拉角的差值作为旋转偏移量；或者，
将所述第一欧拉角转换为第一四元数，并将所述第二欧拉角转换为第二四元数，将所述第一四元数与所述第二四元数的差值作为旋转偏移量。
4.根据权利要求1所述的方法，其特征在于，所述对所有骨骼进行蒙皮处理，包括：
获取组成所述中立表情或组成任一所述基础表情的多个顶点；
将所述多个顶点与所述骨骼进行绑定，以使所述骨骼移动时带动与所述骨骼绑定的多个顶点移动。
5.根据权利要求1所述的方法，其特征在于，所述获取任一所述基础表情在构成待模拟的三维表情时的权重系数，包括：
确定所述待模拟的三维表情与所述中立表情不同的区域在人脸上所在的目标位置；
计算所述待模拟的三维表情的目标位置的表情图片与任一基础表情的目标位置的表情图片的相似度；
将所述相似度作为所述基础表情的权重系数。
6.根据权利要求1所述的方法，其特征在于，所述根据任一所述基础表情对应的偏移量和所述基础表情的权重系数得到所述基础表情的骨骼的加权偏移量，包括：
对于任一基础表情，计算所述基础表情对应的偏移量与所述基础表情的权重系数的乘积；
将所述乘积作为所述基础表情的骨骼的加权偏移量。
7.一种三维表情模拟装置，其特征在于，包括：
骨骼配置及蒙皮模块，用于为中立表情和所有的基础表情分别配置骨骼，为所述中立表情配置的骨骼和为任一所述基础表情配置的骨骼为同一套骨骼，对所有骨骼进行蒙皮处理；并计算蒙皮后所述中立表情的骨骼位置移动到任一所述基础表情的骨骼位置时骨骼的偏移量；
加权偏移量计算模块，用于获取任一所述基础表情在构成待模拟的三维表情时的权重系数，根据任一所述基础表情对应的偏移量和所述基础表情的权重系数得到所述基础表情的骨骼的加权偏移量；
目标偏移量计算模块，用于将所有基础表情中同一骨骼的各加权偏移量相加得到任一骨骼的目标偏移量；
骨骼移动模块，用于根据所述目标偏移量，对所述中立表情对应的骨骼进行移动，得到模拟表情。
8.一种存储有计算机指令的非瞬时计算机可读存储介质可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被运行时执行如权利要求1-6任一项所述的三维表情模拟方法。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的三维表情模拟方法。
10.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的三维表情模拟方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211423788.8A CN115908656A (zh) | 2022-11-14 | 2022-11-14 | 三维表情模拟方法、装置及存储介质、电子设备和计算机程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211423788.8A CN115908656A (zh) | 2022-11-14 | 2022-11-14 | 三维表情模拟方法、装置及存储介质、电子设备和计算机程序产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115908656A true CN115908656A (zh) | 2023-04-04 |
Family
ID=86487240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211423788.8A Pending CN115908656A (zh) | 2022-11-14 | 2022-11-14 | 三维表情模拟方法、装置及存储介质、电子设备和计算机程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115908656A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152382A (zh) * | 2023-10-30 | 2023-12-01 | 海马云（天津）信息技术有限公司 | 虚拟数字人面部表情计算方法和装置 |
-
2022
- 2022-11-14 CN CN202211423788.8A patent/CN115908656A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152382A (zh) * | 2023-10-30 | 2023-12-01 | 海马云（天津）信息技术有限公司 | 虚拟数字人面部表情计算方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9240067B2 (en) | Animation of photo-images via fitting of combined models | |
| JP5639646B2 (ja) | スケルトン・データーのゲーム・アバターへのリアル・タイム・リターゲティング | |
| CN108335345B (zh) | 面部动画模型的控制方法及装置、计算设备 | |
| WO2021225868A1 (en) | Fast and deep facial deformations | |
| US20130107003A1 (en) | Apparatus and method for reconstructing outward appearance of dynamic object and automatically skinning dynamic object | |
| CN103854306A (zh) | 一种高真实感的动态表情建模方法 | |
| JP2014517413A (ja) | 仮想環境におけるオブジェクトの制御 | |
| CN109903393B (zh) | 基于深度学习的新视角场景合成方法和装置 | |
| EP4176412A1 (en) | Generating an animation rig for use in animating a computer-generated character based on facial scans of an actor and a muscle model | |
| CN112950769A (zh) | 三维人体重建方法、装置、设备及存储介质 | |
| CN115908656A (zh) | 三维表情模拟方法、装置及存储介质、电子设备和计算机程序产品 | |
| WO2022060230A1 (en) | Systems and methods for building a pseudo-muscle topology of a live actor in computer animation | |
| JP2008033522A (ja) | プログラム、情報記憶媒体、及び画像生成システム | |
| CN115661307B (zh) | 服装动画生成方法及装置 | |
| KR20240055025A (ko) | 실용 3d 에셋을 위한 추론된 골격 구조 | |
| Mao et al. | A sketch-based approach to human body modelling | |
| US20230079478A1 (en) | Face mesh deformation with detailed wrinkles | |
| JP4244352B2 (ja) | 画像生成装置、画像生成方法、ならびに、プログラム | |
| JP4287479B2 (ja) | 画像生成装置、画像生成方法、ならびに、プログラム | |
| EP3518183A1 (en) | Dynamic contour volume deformation | |
| CN113781611B (zh) | 一种动画制作方法、装置、电子设备及存储介质 | |
| JP4361878B2 (ja) | 統計力学的モデリングの方法と装置 | |
| Ciucanu et al. | E-StopMotion: digitizing stop motion for enhanced animation and games | |
| Wang et al. | Example-driven animation synthesis | |
| Lewis et al. | A Region-of-Influence Measure for Automatic Skinning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |