CN117152382A - 虚拟数字人面部表情计算方法和装置 - Google Patents
虚拟数字人面部表情计算方法和装置 Download PDFInfo
- Publication number
- CN117152382A CN117152382A CN202311415363.7A CN202311415363A CN117152382A CN 117152382 A CN117152382 A CN 117152382A CN 202311415363 A CN202311415363 A CN 202311415363A CN 117152382 A CN117152382 A CN 117152382A
- Authority
- CN
- China
- Prior art keywords
- control
- skeleton
- virtual digital
- expression
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 41
- 238000004364 calculation method Methods 0.000 title claims abstract description 24
- 230000014509 gene expression Effects 0.000 claims abstract description 125
- 238000006073 displacement reaction Methods 0.000 claims abstract description 85
- 238000000034 method Methods 0.000 claims abstract description 21
- 210000000988 bone and bone Anatomy 0.000 claims description 105
- 230000033001 locomotion Effects 0.000 claims description 37
- 210000001061 forehead Anatomy 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 2
- 230000001815 facial effect Effects 0.000 abstract description 17
- 230000015654 memory Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000001943 fluorescence-activated cell sorting Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Abstract
本申请提供了一种虚拟数字人面部表情计算方法和装置、电子设备及存储介质，方法包括：确定虚拟数字人的目标表情，并确定用于形成所述目标表情的基表情；对于每一个基表情，确定该基表情对应的控制骨骼的位移数据以及控制权重，基于各个基表情对应的控制骨骼的位移数据驱动相应的控制骨骼移动，使所述相应的控制骨骼所控制的面部网格顶点移动目标位移，通过该方案能够丰富虚拟数字人做出的表情，使虚拟数字人能够做出更加生动且真实的表情，从而与写实角色的风格相匹配。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种虚拟数字人面部表情计算方法和装置、电子设备及存储介质。
背景技术
随着计算机图像（Computer Graphics，CG）技术的不断进步和市场对CG产品质量要求的不断提高，对虚拟数字人的表情呈现提出了新的要求。
目前，为了让数字人显示想要的面部表情，可以采用变换模型（blendshape）的方式。但是这种方式只能达到卡通级别的真实度，更高级的影视级别真实度表情的实现，只能依赖于对真人的扫描和一比一的还原和复刻。这种真实度较低的表情绑定方式后来由苹果公司的开发者总结为由52个blendshape表情肌组成的基础面部表情肌并广泛应用于非专业级的实时面部表情捕捉系统。但是这样的绑定方式也存在弊端，那就是：表情丰富度不够，无法与写实角色的风格相匹配。
有鉴于此，如何提供一种虚拟数字人面部表情计算方案，能够丰富虚拟数字人做出的表情，使虚拟数字人能够做出更加生动且真实的表情，从而与写实角色的风格相匹配，成为亟待解决的技术问题。
发明内容
综上，本申请实施例提供一种虚拟数字人面部表情计算方法和装置、电子设备及存储介质，能够丰富虚拟数字人做出的表情，使虚拟数字人能够做出更加生动且真实的表情，从而与写实角色的风格相匹配。
第一方面，本申请实施例提供了一种虚拟数字人面部表情计算方法，包括：
确定虚拟数字人的目标表情，并确定用于形成所述目标表情的基表情，其中，所述基表情的数量为多个；
对于每一个基表情，确定该基表情对应的控制骨骼的位移数据以及控制权重，基于各个基表情对应的控制骨骼的位移数据驱动相应的控制骨骼移动，使所述相应的控制骨骼所控制的面部网格顶点移动目标位移，其中，虚拟数字人的面部网格划分为多个网格区域，每一个基表情由一个网格区域的面部网格顶点运动形成，每一个网格区域均设置有多个控制骨骼，每一个控制骨骼控制对应网格区域的至少一个面部网格顶点的移动，所述目标位移基于所述相应的控制骨骼的位移数据以及控制权重确定。
第二方面，本申请实施例还提供了一种虚拟数字人面部表情计算装置，包括：
确定模块，用于确定虚拟数字人的目标表情，并确定用于形成所述目标表情的基表情，其中，所述基表情的数量为多个；
驱动模块，用于对于每一个基表情，确定该基表情对应的控制骨骼的位移数据以及控制权重，基于各个基表情对应的控制骨骼的位移数据驱动相应的控制骨骼移动，使所述相应的控制骨骼所控制的面部网格顶点移动目标位移，其中，虚拟数字人的面部网格划分为多个网格区域，每一个基表情由一个网格区域的面部网格顶点运动形成，每一个网格区域均设置有多个控制骨骼，每一个控制骨骼控制对应网格区域的至少一个面部网格顶点的移动，所述目标位移基于所述相应的控制骨骼的位移数据以及控制权重确定。
第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面所述的虚拟数字人面部表情计算方法的步骤。
第四方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面所述的虚拟数字人面部表情计算方法的步骤。
综上，本申请实施例提供的虚拟数字人面部表情计算和装置、电子设备及存储介质，首先对虚拟数字人的面部网格划分为多个网格区域，对每一个网格区域均设置有多个控制骨骼，并设置每一个控制骨骼只能控制对应网格区域的至少一个面部网格顶点移动，在此基础上，通过对虚拟数字人的目标表情进行基表情划分，将做出各个基表情所需的控制骨骼运动数据作用于控制骨骼，使得控制骨骼带动所控制的面部网格顶点进行运动，使得虚拟数字人能够做出目标表情，通过该方案，一方面能够丰富虚拟数字人做出的表情，使虚拟数字人能够做出更加生动且真实的表情，从而与写实角色的风格相匹配，另一方面，由于网格区域的控制骨骼的运动互不影响，这就使得一个网格区域的控制骨骼的运动不会带动其它网格区域的面部网格顶点的运动，从而能够减少虚拟数字人表情的计算量。
附图说明
图1为本申请实施例提供的一种虚拟数字人面部表情计算方法的流程示意图；
图2为本申请实施例提供的一种虚拟数字人面部表情计算装置的结构示意图；
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
参照图1所示，为本申请实施例提供的一种虚拟数字人面部表情计算方法，包括：
S10、确定虚拟数字人的目标表情，并确定用于形成所述目标表情的基表情，其中，所述基表情的数量为多个；
本实施例中，需要说明的是，步骤S10的执行主体可以为云服务器。虚拟数字人的面部网格划分为多个网格区域，每一个网格区域包括多个面片，在划分时可以基于人体解剖学的肌肉结构确定各个网格区域所包含的面片，所有的网格区域组成虚拟数字人的面部网格。在网格区域划分之后，可以搭建虚拟数字人的骨骼系统，骨骼系统包括多个控制骨骼，具体来说，可以以自然脸（也即无任何表情）的虚拟数字人的面部网格的网格区域上（指的是面部网格表面，不是面部网格形成的三维模型的内部和外部）的多个位置为初始位置构建控制骨骼，并确定各个控制骨骼所绑定的面部网格顶点，其中，每一个控制骨骼只能绑定一个网格区域的至少一个面部网格顶点，控制骨骼移动时会带动所绑定的面部网格顶点移动（面部网格顶点的移动基于控制骨骼的控制权重移动）。比如，假设控制骨骼A绑定了面部网格顶点a，控制骨骼A的控制权重为0.8，如果控制骨骼A移动的位移为S，则面部网格顶点a移动的位移为S×0.8。每一个基表情由一个网格区域的面部网格顶点运动形成。每一个基表情为对应网格区域的最基础的表情，每一个网格区域的基表情的数量可以根据需要设置。为了使虚拟数字人表达出准确的口型形态，可以在嘴部网格区域增加基表情的设置数量。每一个目标表情均可以由各个网格区域的至少一个基表情叠加得到。在具体实施时，可以基于面部表情编码系统FACS预先设置多个基表情，并通过对基表情进行叠加得到多个复杂表情。在需要控制虚拟数字人做出目标表情时，可以从多个复杂表情中确定一个复杂表情作为目标表情，则用于形成目标表情的基表情即为得到目标表情所进行叠加的基表情。
S11、对于每一个基表情，确定该基表情对应的控制骨骼的位移数据以及控制权重，基于各个基表情对应的控制骨骼的位移数据驱动相应的控制骨骼移动，使所述相应的控制骨骼所控制的面部网格顶点移动目标位移，其中，虚拟数字人的面部网格划分为多个网格区域，每一个基表情由一个网格区域的面部网格顶点运动形成，每一个网格区域均设置有多个控制骨骼，每一个控制骨骼控制对应网格区域的至少一个面部网格顶点的移动，所述目标位移基于所述相应的控制骨骼的位移数据以及控制权重确定。
本实施例中，需要说明的是，步骤S11的执行主体可以为云服务器。在步骤S11执行之前，对于预先设置的多个基表情中的每一个基表情，需要确定虚拟数字人从无任何表情到做出该基表情的过程中该基表情对应的控制骨骼（基表情对应的控制骨骼可以是构建的所有控制骨骼中，从无任何表情到做出基表情的过程中发生移动的至少一个控制骨骼）的位移数据以及控制权重，其中，无任何表情时各个控制骨骼存在初始位置，将做出该基表情时各个控制骨骼的位置作为终点位置，基于这两类位置可以确定出各个控制骨骼的位移数据。而控制权重指的是直接绑定面部网格顶点的控制骨骼的控制权重。则步骤S11执行时，可以确定用于形成目标表情的每一个基表情对应的控制骨骼的位移数据以及控制权重，基于位移数据控制相应的控制骨骼移动，以带动相应的控制骨骼所绑定的面部网格顶点移动（面部网格顶点移动的位移=相应的控制骨骼移动的位移×控制权重），也就是说网格顶点的移动是用于形成目标表情的各个基表情对应的多套运动的叠加，其中，每一套运动指的是从无任何表情到做出一个基表情时面部网格顶点的运动。举例来说，假设目标表情为表情Q，用于形成表情Q的基表情有3个，分别为基表情1、基表情2和基表情3。其中，基表情1对应的控制骨骼有控制骨骼A、控制骨骼B和控制骨骼C，控制骨骼A、控制骨骼B和控制骨骼C的位移数据分别为S1、S2和S3（即从无任何表情到做出基表情1的过程中，控制骨骼A、控制骨骼B和控制骨骼C从初始位置移动的位移分别为S1、S2和S3，其它控制骨骼未发生移动）；基表情2对应的控制骨骼有控制骨骼A和控制骨骼B，控制骨骼A和控制骨骼B的位移数据分别为S4和S5（即从无任何表情到做出基表情2的过程中，控制骨骼A和控制骨骼B从初始位置移动的位移分别为S4和S5，其它控制骨骼未发生移动）；基表情3对应的控制骨骼有控制骨骼C，控制骨骼C的位移数据为S6（即从无任何表情到做出基表情3的过程中，控制骨骼C从初始位置移动的位移为S6，其它控制骨骼未发生移动）。控制骨骼A绑定面部网格顶点a，控制权重为0.8；控制骨骼B绑定面部网格顶点a，控制权重为0.2；控制骨骼C绑定面部网格顶点b，控制权重为1。则在执行步骤S11时，需要驱动控制骨骼A、控制骨骼B和控制骨骼C分别移动的位移为（S1＋S4）、（S2＋S5）和（S3＋S6），此时面部网格顶点a会在控制骨骼A和控制骨骼B的带动下移动，移动的位移为S1×0.8＋S2×0.2＋S4×0.8＋S5×0.2，面部网格顶点b会在控制骨骼C的带动下移动，移动的位移为S3＋S6，即面部网格顶点a从初始位置移动的位移为S1×0.8＋S2×0.2＋S4×0.8＋S5×0.2，面部网格顶点b从初始位置移动的位移为S3＋S6，其它面部网格顶点的位移不发生变化（即始终处于初始位置）。之后云服务器可以将虚拟数字人做出的表情渲染出来推流到用户终端显示。需要说明的是，执行步骤S11后虚拟数字人做出的表情与目标表情高度相似，而为了进一步提高虚拟数字人做出的表情与目标表情的相似度，可以对步骤S11中移动的面部网格顶点的移动位移进行修正。
本申请实施例提供的虚拟数字人面部表情计算方法，首先对虚拟数字人的面部网格划分为多个网格区域，对每一个网格区域均设置有多个控制骨骼，并设置每一个控制骨骼只能控制对应网格区域的至少一个面部网格顶点移动，在此基础上，通过对虚拟数字人的目标表情进行基表情划分，将做出各个基表情所需的控制骨骼运动数据作用于控制骨骼，使得控制骨骼带动所控制的面部网格顶点进行运动，使得虚拟数字人能够做出目标表情，通过该方案，一方面能够丰富虚拟数字人做出的表情，使虚拟数字人能够做出更加生动且真实的表情，从而与写实角色的风格相匹配，另一方面，由于网格区域的控制骨骼的运动互不影响，这就使得一个网格区域的控制骨骼的运动不会带动其它网格区域的面部网格顶点的运动，从而能够减少虚拟数字人表情的计算量。
在前述方法实施例的基础上，在所述确定该基表情对应的控制骨骼的位移数据以及控制权重之前，还可以包括：
获取用于控制虚拟数字人面部表情的多个控制骨骼的初始位置，以及虚拟数字人做出各个基表情时所述控制骨骼的终点位置，其中，每一个控制骨骼的初始位置为虚拟数字人无表情时该控制骨骼的位置；
基于所述初始位置和终点位置，并采用线性蒙皮分解SSDR算法计算所述多个控制骨骼所控制的面部网格顶点以及控制权重，其中，控制同一个面部网格顶点的所有控制骨骼的控制权重的和为1；
该基表情对应的控制骨骼的位移数据根据该控制骨骼的初始位置和虚拟数字人做出该基表情时该控制骨骼的终点位置确定。
本实施例中，需要说明的是，在步骤S11执行之前，需要确定出各个控制骨骼所控制的面部网格顶点以及控制权重，具体过程包括：确定虚拟数字人无表情时各个控制骨骼的初始位置、虚拟数字人做出各个基表情时各个控制骨骼的终点位置（虚拟数字人做出某个基表情时某个控制骨骼的终点位置为虚拟数字人做出该基表情时该控制骨骼的位置），以及各个控制骨骼的初始绑定关系，并指定各个控制骨骼的控制区域（指控制骨骼控制的是哪个网格区域的面部网格顶点）；基于前述确定的数据及限定条件，利用SSDR算法计算出各个控制骨骼所控制的面部网格顶点（经过SSDR算法计算出的每个控制骨骼所控制的面部网格顶点为该控制骨骼的控制区域的面部网格顶点）以及控制权重。其中，在确定各个控制骨骼的初始绑定关系时，可以基于控制骨骼和面部网格顶点的距离进行确定，比如将面部网格顶点与与其距离最近的控制骨骼进行绑定，将对应的绑定关系作为初始绑定关系。在前述数据及限定条件确定的情况下，利用SSDR算法计算出各个控制骨骼所控制的面部网格顶点以及控制权重属于现有技术，此处不再赘述。需要说明的是，对于任一个面部网格顶点，控制该面部网格顶点的各个控制骨骼的控制权重的和为1。
在前述方法实施例的基础上，在所述采用线性蒙皮分解SSDR算法计算所述多个控制骨骼所控制的面部网格顶点以及控制权重之后，还可以包括：
在所述控制骨骼的基础上增加父骨骼，确定所述父骨骼控制的控制骨骼/父骨骼，并计算虚拟数字人做出各个基表情时移动的父骨骼和控制骨骼的位移数据；
其中，所述确定该基表情对应的控制骨骼的位移数据，包括：
确定虚拟数字人做出该基表情时发生移动的父骨骼和控制骨骼中至少一个骨骼的位移数据。
本实施例中，需要说明的是，为了减少虚拟数字人面部表情的计算量，可以在前述控制骨骼的基础上，新增控制骨骼的父骨骼。具体实施时，可以确定出父骨骼的数量以及控制的控制骨骼，并基于在虚拟数字人无表情时控制骨骼的初始位置确定父骨骼的初始位置（父骨骼的初始位置位于面部网格形成的三维模型的内部）。则虚拟数字人在做出各个基表情时，发生移动的各个控制骨骼的位移数据可以拆分成父骨骼的位移数据和父骨骼控制的控制骨骼的位移数据，而控制权重为最底层控制骨骼的控制权重，保持不变。举例来说，假设控制骨骼D和控制骨骼E绑定面部网格顶点c，绑定权重分别为0.6和0.4，控制骨骼F绑定面部网格顶点d，绑定权重为1，在做某个基表情时，控制骨骼D、控制骨骼E和控制骨骼F分别移动了位移S7、（S7＋S8）和（S7＋S9），此时面部网格顶点c移动的位移为S7＋S8×0.4，面部网格顶点d移动的位移为S7＋S9，则对控制骨骼D、控制骨骼E和控制骨骼F设置了一个父骨骼G后，可以将控制骨骼D、控制骨骼E和控制骨骼F的位移拆分成父骨骼G、控制骨骼D、控制骨骼E和控制骨骼F的位移，拆分后父骨骼G、控制骨骼D、控制骨骼E和控制骨骼F的位移分别为S7、0、S8和S9。此时，父骨骼G移动位移S7，带动控制骨骼D、控制骨骼E和控制骨骼F移动位移S7，控制骨骼D除了父骨骼G的带动外不再做额外移动，控制骨骼E除了在父骨骼G带动下移动位移S7外，还会再移动位移S8，控制骨骼F除了在父骨骼G带动下移动位移S7外，还会再移动位移S9，而面部网格顶点c仍然由控制骨骼D和控制骨骼E带动移动，控制权重保持不变，面部网格顶点c的位移为S7＋S8×0.4，面部网格顶点d仍然由控制骨骼F带动移动，控制权重保持不变，面部网格顶点d的位移为S7＋S9。这样，对于预先设置的多个基表情中的每一个基表情，均可以将虚拟数字人做出该基表情的过程中发生移动的各个控制骨骼的位移重新拆分成父骨骼及父骨骼控制的控制骨骼的位移。则需要虚拟数字人做出目标表情时，叠加的是形成目标表情的各个基表情对应的拆分后的父骨骼及父骨骼控制的控制骨骼的移动。需要说明的是，父骨骼和控制骨骼的层级关系可以根据需要设置，具体来说，可以设置控制骨骼的父骨骼，或者设置控制骨骼的父骨骼的父骨骼等。需要说明的是，在步骤S11执行前，可以先判断是否需要虚拟数字人展示面部表情的细节，如果虚拟摄像头距离虚拟数字人的距离较近（即需要虚拟数字人展示面部表情的细节），则可以在步骤S11执行时，叠加所有的骨骼移动（即不仅相应的父骨骼会进行移动，相应的父骨骼控制的控制骨骼也会进行额外移动）；而如果虚拟摄像头距离虚拟数字人的距离较远（即不需要虚拟数字人展示面部表情的细节），则可以在步骤S11执行时，只叠加相应的父骨骼移动，不让父骨骼控制的控制骨骼进行额外移动（即相应的父骨骼控制的控制骨骼只在相应的父骨骼的带动下移动，本身不进行额外移动）。
在前述方法实施例的基础上，所述多个网格区域可以包括以下至少一项：
前额左侧区域；前额中间区域；前额右侧区域；
左眼区域；右眼区域；
脸颊左侧区域；脸颊右侧区域；左耳区域；右耳区域；
鼻子左侧区域；鼻子右侧区域；
上嘴唇左侧区域；上嘴唇中间区域；上嘴唇右侧区域；
下嘴唇左侧区域；下嘴唇中间区域；下嘴唇右侧区域；
下颌区域。
本实施例中，需要说明的是，网格区域的划分并不限于前述的18个区域，可以根据需要进行相应增加或减少。
参照图2所示，为本申请实施例提供的一种虚拟数字人面部表情计算装置，包括：
确定模块20，用于确定虚拟数字人的目标表情，并确定用于形成所述目标表情的基表情，其中，所述基表情的数量为多个；
驱动模块21，用于对于每一个基表情，确定该基表情对应的控制骨骼的位移数据以及控制权重，基于各个基表情对应的控制骨骼的位移数据驱动相应的控制骨骼移动，使所述相应的控制骨骼所控制的面部网格顶点移动目标位移，其中，虚拟数字人的面部网格划分为多个网格区域，每一个基表情由一个网格区域的面部网格顶点运动形成，每一个网格区域均设置有多个控制骨骼，每一个控制骨骼控制对应网格区域的至少一个面部网格顶点的移动，所述目标位移基于所述相应的控制骨骼的位移数据以及控制权重确定。
本申请实施例提供的虚拟数字人面部表情计算装置，首先对虚拟数字人的面部网格划分为多个网格区域，对每一个网格区域均设置有多个控制骨骼，并设置每一个控制骨骼只能控制对应网格区域的至少一个面部网格顶点移动，在此基础上，通过对虚拟数字人的目标表情进行基表情划分，将做出各个基表情所需的控制骨骼运动数据作用于控制骨骼，使得控制骨骼带动所控制的面部网格顶点进行运动，使得虚拟数字人能够做出目标表情，通过该方案，一方面能够丰富虚拟数字人做出的表情，使虚拟数字人能够做出更加生动且真实的表情，从而与写实角色的风格相匹配，另一方面，由于网格区域的控制骨骼的运动互不影响，这就使得一个网格区域的控制骨骼的运动不会带动其它网格区域的面部网格顶点的运动，从而能够减少虚拟数字人表情的计算量。
在前述装置实施例的基础上，所述装置还可以包括：
获取模块，用于在所述驱动模块工作之前，获取用于控制虚拟数字人面部表情的多个控制骨骼的初始位置，以及虚拟数字人做出各个基表情时所述控制骨骼的终点位置，其中，每一个控制骨骼的初始位置为虚拟数字人无表情时该控制骨骼的位置；
第一计算模块，用于基于所述初始位置和终点位置，并采用线性蒙皮分解SSDR算法计算所述多个控制骨骼所控制的面部网格顶点以及控制权重，其中，控制同一个面部网格顶点的所有控制骨骼的控制权重的和为1；
该基表情对应的控制骨骼的位移数据根据该控制骨骼的初始位置和虚拟数字人做出该基表情时该控制骨骼的终点位置确定。
在前述装置实施例的基础上，所述装置还可以包括：
第二计算模块，用于在所述第一计算模块工作之后，在所述控制骨骼的基础上增加父骨骼，确定所述父骨骼控制的控制骨骼/父骨骼，并计算虚拟数字人做出各个基表情时移动的父骨骼和控制骨骼的位移数据；
其中，所述驱动模块，具体可以用于：
确定虚拟数字人做出该基表情时发生移动的父骨骼和控制骨骼中至少一个骨骼的位移数据。
在前述装置实施例的基础上，所述多个网格区域可以包括以下至少一项：
前额左侧区域；前额中间区域；前额右侧区域；
左眼区域；右眼区域；
脸颊左侧区域；脸颊右侧区域；左耳区域；右耳区域；
鼻子左侧区域；鼻子右侧区域；
上嘴唇左侧区域；上嘴唇中间区域；上嘴唇右侧区域；
下嘴唇左侧区域；下嘴唇中间区域；下嘴唇右侧区域；
下颌区域。
本申请实施例提供的虚拟数字人面部表情计算装置，其实现过程与本申请实施例提供的虚拟数字人面部表情计算方法一致，所能达到的效果也与本申请实施例提供的虚拟数字人面部表情计算方法相同，在此不再赘述。
如图3所示，本申请实施例提供的一种电子设备，包括：处理器30、存储器31和总线32，所述存储器31存储有所述处理器30可执行的机器可读指令，当电子设备运行时，所述处理器30与所述存储器31之间通过总线32通信，所述处理器30执行所述机器可读指令，以执行如上述虚拟数字人面部表情计算方法的步骤。
具体地，上述存储器31和处理器30能够为通用的存储器和处理器，这里不做具体限定，当处理器30运行存储器31存储的计算机程序时，能够执行上述虚拟数字人面部表情计算方法。
对应于上述虚拟数字人面部表情计算方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述虚拟数字人面部表情计算方法的步骤。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种虚拟数字人面部表情计算方法，其特征在于，包括：
确定虚拟数字人的目标表情，并确定用于形成所述目标表情的基表情，其中，所述基表情的数量为多个；
对于每一个基表情，确定该基表情对应的控制骨骼的位移数据以及控制权重，基于各个基表情对应的控制骨骼的位移数据驱动相应的控制骨骼移动，使所述相应的控制骨骼所控制的面部网格顶点移动目标位移，其中，虚拟数字人的面部网格划分为多个网格区域，每一个基表情由一个网格区域的面部网格顶点运动形成，每一个网格区域均设置有多个控制骨骼，每一个控制骨骼控制对应网格区域的至少一个面部网格顶点的移动，所述目标位移基于所述相应的控制骨骼的位移数据以及控制权重确定。
2.根据权利要求1所述的方法，其特征在于，在所述确定该基表情对应的控制骨骼的位移数据以及控制权重之前，还包括：
获取用于控制虚拟数字人面部表情的多个控制骨骼的初始位置，以及虚拟数字人做出各个基表情时所述控制骨骼的终点位置，其中，每一个控制骨骼的初始位置为虚拟数字人无表情时该控制骨骼的位置；
基于所述初始位置和终点位置，并采用线性蒙皮分解SSDR算法计算所述多个控制骨骼所控制的面部网格顶点以及控制权重，其中，控制同一个面部网格顶点的所有控制骨骼的控制权重的和为1；
该基表情对应的控制骨骼的位移数据根据该控制骨骼的初始位置和虚拟数字人做出该基表情时该控制骨骼的终点位置确定。
3.根据权利要求2所述的方法，其特征在于，在所述采用线性蒙皮分解SSDR算法计算所述多个控制骨骼所控制的面部网格顶点以及控制权重之后，还包括：
在所述控制骨骼的基础上增加父骨骼，确定所述父骨骼控制的控制骨骼/父骨骼，并计算虚拟数字人做出各个基表情时移动的父骨骼和控制骨骼的位移数据；
其中，所述确定该基表情对应的控制骨骼的位移数据，包括：
确定虚拟数字人做出该基表情时发生移动的父骨骼和控制骨骼中至少一个骨骼的位移数据。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述多个网格区域包括以下至少一项：
前额左侧区域；前额中间区域；前额右侧区域；
左眼区域；右眼区域；
脸颊左侧区域；脸颊右侧区域；左耳区域；右耳区域；
鼻子左侧区域；鼻子右侧区域；
上嘴唇左侧区域；上嘴唇中间区域；上嘴唇右侧区域；
下嘴唇左侧区域；下嘴唇中间区域；下嘴唇右侧区域；
下颌区域。
5.一种虚拟数字人面部表情计算装置，其特征在于，所述装置包括：
确定模块，用于确定虚拟数字人的目标表情，并确定用于形成所述目标表情的基表情，其中，所述基表情的数量为多个；
驱动模块，用于对于每一个基表情，确定该基表情对应的控制骨骼的位移数据以及控制权重，基于各个基表情对应的控制骨骼的位移数据驱动相应的控制骨骼移动，使所述相应的控制骨骼所控制的面部网格顶点移动目标位移，其中，虚拟数字人的面部网格划分为多个网格区域，每一个基表情由一个网格区域的面部网格顶点运动形成，每一个网格区域均设置有多个控制骨骼，每一个控制骨骼控制对应网格区域的至少一个面部网格顶点的移动，所述目标位移基于所述相应的控制骨骼的位移数据以及控制权重确定。
6.根据权利要求5所述的装置，其特征在于，还包括：
获取模块，用于在所述驱动模块工作之前，获取用于控制虚拟数字人面部表情的多个控制骨骼的初始位置，以及虚拟数字人做出各个基表情时所述控制骨骼的终点位置，其中，每一个控制骨骼的初始位置为虚拟数字人无表情时该控制骨骼的位置；
第一计算模块，用于基于所述初始位置和终点位置，并采用线性蒙皮分解SSDR算法计算所述多个控制骨骼所控制的面部网格顶点以及控制权重，其中，控制同一个面部网格顶点的所有控制骨骼的控制权重的和为1；
该基表情对应的控制骨骼的位移数据根据该控制骨骼的初始位置和虚拟数字人做出该基表情时该控制骨骼的终点位置确定。
7.根据权利要求6所述的装置，其特征在于，还包括：
第二计算模块，用于在所述第一计算模块工作之后，在所述控制骨骼的基础上增加父骨骼，确定所述父骨骼控制的控制骨骼/父骨骼，并计算虚拟数字人做出各个基表情时移动的父骨骼和控制骨骼的位移数据；
其中，所述驱动模块，具体用于：
确定虚拟数字人做出该基表情时发生移动的父骨骼和控制骨骼中至少一个骨骼的位移数据。
8.根据权利要求5至7任一项所述的装置，其特征在于，所述多个网格区域包括以下至少一项：
前额左侧区域；前额中间区域；前额右侧区域；
左眼区域；右眼区域；
脸颊左侧区域；脸颊右侧区域；左耳区域；右耳区域；
鼻子左侧区域；鼻子右侧区域；
上嘴唇左侧区域；上嘴唇中间区域；上嘴唇右侧区域；
下嘴唇左侧区域；下嘴唇中间区域；下嘴唇右侧区域；
下颌区域。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至4任一项所述的虚拟数字人面部表情计算方法的步骤。
10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至4任一项所述的虚拟数字人面部表情计算方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311415363.7A CN117152382A (zh) | 2023-10-30 | 2023-10-30 | 虚拟数字人面部表情计算方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311415363.7A CN117152382A (zh) | 2023-10-30 | 2023-10-30 | 虚拟数字人面部表情计算方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117152382A true CN117152382A (zh) | 2023-12-01 |
Family
ID=88884744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311415363.7A Pending CN117152382A (zh) | 2023-10-30 | 2023-10-30 | 虚拟数字人面部表情计算方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117152382A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104021584A (zh) * | 2014-06-25 | 2014-09-03 | 无锡梵天信息技术股份有限公司 | 一种骨骼蒙皮动画的实现方法 |
| CN110135226A (zh) * | 2018-02-09 | 2019-08-16 | 腾讯科技（深圳）有限公司 | 表情动画数据处理方法、装置、计算机设备和存储介质 |
| CN110570499A (zh) * | 2019-09-09 | 2019-12-13 | 珠海金山网络游戏科技有限公司 | 一种表情生成方法、装置、计算设备及存储介质 |
| CN112419436A (zh) * | 2020-11-11 | 2021-02-26 | 广州市大湾区虚拟现实研究院 | 一种超逼真虚拟人快速重建的方法及系统 |
| CN113610981A (zh) * | 2021-08-04 | 2021-11-05 | 广州虎牙科技有限公司 | 脸部模型生成方法、交互方法及相关装置 |
| CN113744374A (zh) * | 2021-09-03 | 2021-12-03 | 浙江大学 | 一种基于表情驱动的3d虚拟形象生成方法 |
| CN113760101A (zh) * | 2021-09-23 | 2021-12-07 | 北京字跳网络技术有限公司 | 一种虚拟角色控制方法、装置、计算机设备以及存储介质 |
| CN115393482A (zh) * | 2022-08-08 | 2022-11-25 | 网易（杭州）网络有限公司 | 一种表情动画重定向方法、装置及电子设备 |
| CN115546365A (zh) * | 2022-10-21 | 2022-12-30 | 新华智云科技有限公司 | 一种虚拟人驱动方法及系统 |
| CN115661310A (zh) * | 2022-12-22 | 2023-01-31 | 海马云（天津）信息技术有限公司 | 虚拟数字人表情逼近方法、装置、存储介质、电子设备 |
| CN115908656A (zh) * | 2022-11-14 | 2023-04-04 | 北京奇艺世纪科技有限公司 | 三维表情模拟方法、装置及存储介质、电子设备和计算机程序产品 |
| US20230316623A1 (en) * | 2021-12-06 | 2023-10-05 | Tencent Technology (Shenzhen) Company Limited | Expression generation method and apparatus, device, and medium |
-
2023
- 2023-10-30 CN CN202311415363.7A patent/CN117152382A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104021584A (zh) * | 2014-06-25 | 2014-09-03 | 无锡梵天信息技术股份有限公司 | 一种骨骼蒙皮动画的实现方法 |
| CN110135226A (zh) * | 2018-02-09 | 2019-08-16 | 腾讯科技（深圳）有限公司 | 表情动画数据处理方法、装置、计算机设备和存储介质 |
| CN110570499A (zh) * | 2019-09-09 | 2019-12-13 | 珠海金山网络游戏科技有限公司 | 一种表情生成方法、装置、计算设备及存储介质 |
| CN112419436A (zh) * | 2020-11-11 | 2021-02-26 | 广州市大湾区虚拟现实研究院 | 一种超逼真虚拟人快速重建的方法及系统 |
| CN113610981A (zh) * | 2021-08-04 | 2021-11-05 | 广州虎牙科技有限公司 | 脸部模型生成方法、交互方法及相关装置 |
| CN113744374A (zh) * | 2021-09-03 | 2021-12-03 | 浙江大学 | 一种基于表情驱动的3d虚拟形象生成方法 |
| CN113760101A (zh) * | 2021-09-23 | 2021-12-07 | 北京字跳网络技术有限公司 | 一种虚拟角色控制方法、装置、计算机设备以及存储介质 |
| US20230316623A1 (en) * | 2021-12-06 | 2023-10-05 | Tencent Technology (Shenzhen) Company Limited | Expression generation method and apparatus, device, and medium |
| CN115393482A (zh) * | 2022-08-08 | 2022-11-25 | 网易（杭州）网络有限公司 | 一种表情动画重定向方法、装置及电子设备 |
| CN115546365A (zh) * | 2022-10-21 | 2022-12-30 | 新华智云科技有限公司 | 一种虚拟人驱动方法及系统 |
| CN115908656A (zh) * | 2022-11-14 | 2023-04-04 | 北京奇艺世纪科技有限公司 | 三维表情模拟方法、装置及存储介质、电子设备和计算机程序产品 |
| CN115661310A (zh) * | 2022-12-22 | 2023-01-31 | 海马云（天津）信息技术有限公司 | 虚拟数字人表情逼近方法、装置、存储介质、电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020228385A1 (zh) | 虚拟对象的变形处理方法、装置、设备及存储介质 | |
| TWI748432B (zh) | 三維局部人體模型的生成方法、裝置、設備及電腦可讀儲存介質 | |
| EP3751521A1 (en) | Expression animation data processing method, computer device and storage medium | |
| CN106023288B (zh) | 一种基于图像的动态替身构造方法 | |
| US7379071B2 (en) | Geometry-driven feature point-based image synthesis | |
| CN115943436A (zh) | 快速和深度脸部变形 | |
| US8180613B1 (en) | Wrinkles on fabric software | |
| KR102264803B1 (ko) | 이미지에서 캐릭터를 추출하여 캐릭터 애니메이션을 생성하는 방법 및 이를 이용한 장치 | |
| JP4842242B2 (ja) | キャラクタアニメーション時の皮膚のしわのリアルタイム表現方法及び装置 | |
| CN110443872B (zh) | 一种具备动态纹理细节的表情合成方法 | |
| CN112530005A (zh) | 一种三维模型直线结构识别与自动修复方法 | |
| JP6818219B1 (ja) | ３次元アバター生成装置、３次元アバター生成方法及び３次元アバター生成プログラム | |
| CN114026524B (zh) | 用于动画化人脸的方法、系统、以及计算机可读介质 | |
| JP5920858B1 (ja) | プログラム、情報処理装置、深度定義方法及び記録媒体 | |
| CN117152382A (zh) | 虚拟数字人面部表情计算方法和装置 | |
| CN102855652B (zh) | 基于测地距的径向基函数人脸表情重定向与动画方法 | |
| JP2023540434A (ja) | 操作順序変形エンジンを用いたコンピュータアニメーションのためのシステム及び方法 | |
| CN115023742A (zh) | 具有详细褶皱的面部网格变形 | |
| Van Wyk | Virtual human modelling and animation for real-time sign language visualisation | |
| Han et al. | Customizing blendshapes to capture facial details | |
| Bancroft et al. | Mica: a photoreal character for spatial computing | |
| JP7076861B1 (ja) | ３次元アバター生成装置、３次元アバター生成方法及び３次元アバター生成プログラム | |
| CN115908664B (zh) | 人机交互的动画生成方法、装置、计算机设备、存储介质 | |
| Jiang et al. | Animating arbitrary topology 3D facial model using the MPEG-4 FaceDefTables | |
| CN115861500B (zh) | 2d模型碰撞体生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |