CN113223127A - 虚拟对象的表情生成方法、应用程序、设备及存储介质 - Google Patents
虚拟对象的表情生成方法、应用程序、设备及存储介质 Download PDFInfo
- Publication number
- CN113223127A CN113223127A CN202110560384.2A CN202110560384A CN113223127A CN 113223127 A CN113223127 A CN 113223127A CN 202110560384 A CN202110560384 A CN 202110560384A CN 113223127 A CN113223127 A CN 113223127A
- Authority
- CN
- China
- Prior art keywords
- expression base
- neutral
- expression
- component
- neutral expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 363
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 230000007935 neutral effect Effects 0.000 claims abstract description 181
- 230000001815 facial effect Effects 0.000 claims abstract description 90
- 238000004590 computer program Methods 0.000 claims description 11
- 210000004209 hair Anatomy 0.000 claims description 7
- 210000001508 eye Anatomy 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 20
- 238000004519 manufacturing process Methods 0.000 description 9
- 210000004709 eyebrow Anatomy 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000000515 tooth Anatomy 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 210000000720 eyelash Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供一种虚拟对象的表情生成方法、应用程序、电子设备以及计算机可读存储介质，所述方法包括：获取包括若干具有不同表情的表情基模板以及中立表情基模板的标准模板组、待生成表情的虚拟对象的中立表情基以及所述中立表情基模板的面部区域与组件的连接关系，所述中立表情基模板和所述中立表情基带有组件，所述组件为面部区域的非皮肤部分；基于所述连接关系，将所述中立表情基模板以及所述中立表情基上各自的组件与各自的面部区域绑定；根据组件与面部区域绑定的中立表情基以及包含组件与面部区域绑定的中立表情基模板的标准模板组，生成带有组件的第一表情。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种虚拟对象的表情生成方法、应用程序、电子设备及计算机可读存储介质。
背景技术
面部变形(Blendshape)是一种常用的面部表情动画合成方法，通过将事先定义好的一组可涵盖大多数表情细节的表情基，进行线性融合，得到新的表情，已广泛应用于三维动画、电影制作等领域。
然而，面部变形通常只考虑面部区域，并没有考虑眼睛、牙齿、毛发等组件。相关技术中，在获得新的表情基之后，还需要美工将这些组件手动放置到新的表情基中，并需经仔细调整以使融合后的表情更为自然。在整个人头的表情基制作中，组件的制作时间占了40％至80％。因此，组件的制作成为限制表情基制作速度的瓶颈。
发明内容
为克服相关技术中所存在的组件的制作成为限制表情基制作速度的瓶颈的问题，本申请提供了一种虚拟对象的表情生成方法、应用程序、电子设备及计算机可读存储介质。
根据本申请实施例的第一方面，提供一种虚拟对象的表情生成方法，所述方法包括：获取包括若干具有不同表情的表情基模板以及中立表情基模板的标准模板组、待生成表情的虚拟对象的中立表情基以及所述中立表情基模板的面部区域与组件的连接关系，所述中立表情基模板和所述中立表情基带有组件，所述组件为面部区域的非皮肤部分；基于所述连接关系，将所述中立表情基模板以及所述中立表情基上各自的组件与各自的面部区域绑定；根据组件与面部区域绑定的中立表情基以及包含组件与面部区域绑定的中立表情基模板的标准模板组，生成带有组件的第一表情。
根据本申请实施例的第二方面，提供一种应用程序，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本申请实施例第一方面所述的方法。
根据本申请实施例的第三方面，提供一种电子设备，所述电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例第一方面所述的方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例第一方面所述的方法。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例所提供的虚拟对象的表情生成方法中，由于获取了所述标准模板组中的中立表情基模板的面部区域与组件的连接关系，故基于所述连接关系，能够将所述中立表情基模板上的组件与面部区域绑定，以及将所述待生成表情的虚拟对象的中立表情基上的组件与面部区域绑定，从而实现了在中立表情基模板以及中立表情基上，将组件与面部区域关联起来。这样，在根据将组件与面部区域绑定了的标准模板组和虚拟对象的中立表情基为所述虚拟对象生成具有不同表情的表情基的过程中，就可以实现组件跟随面部区域的自动调整，进而获得所述虚拟对象带有组件的表情基，即所述第一表情。由于本申请实施例所提供的虚拟对象的表情生成方法，可以自动为虚拟对象生成带有组件的表情基，进而能够克服相关技术中，需要美工手动对所述组件进行调整，限制表情基制作的速度的缺陷。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。
图1是本申请根据一示例性实施例示出的一种为虚拟对象获得表情的原理示意图。
图2A是本申请根据一示例性实施例示出的标准模板组的示意图。
图2B是本申请根据一示例性实施例示出的基于标准模板组所生成的一套表情基的示意图。
图3是本申请根据一示例性实施例示出的一个带有眉毛的表情基示意图。
图4是本申请根据一示例性实施例示出的一种虚拟对象的表情生成方法的流程图。
图5是本申请根据一示例性实施例示出的一种将中立表情基模板以及中立表情基上各自的组件与各自的面部区域绑定的具体流程示意图。
图6是本申请根据一示例性实施例示出的一种包含组件的中立表情基模板的示意图。
图7A是本申请根据一示例性实施例示出的一种组件与面部区域绑定前的中立表情基模板的局部放大示意图。
图7B是本申请根据一示例性实施例示出的一种组件与面部区域绑定后的中立表情基模板的局部放大示意图。
图8是本申请根据一示例性实施例示出的另一种将中立表情基模板以及中立表情基上各自的组件与各自的面部区域绑定的具体流程示意图。
图9是本申请根据一示例性实施例示出的一种散点集的三角剖分问题的示意图。
图10是本申请根据一示例性实施例示出的一种生成带有组件的第一表情的流程示意图。
图11是本申请根据一示例性实施例示出的一种为虚拟对象生成更丰富的表情的流程示意图。
图12是本申请根据一示例性实施例示出的一种用于为虚拟对象生成表情的电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在三维动画、电影制作、虚拟现实以及增强现实等领域，通常存在对虚拟对象生成不同的表情的需求。面部变形(Blend shape)是一种常用的面部表情动画合成方法。该方法的核心原理来源于面部动作编码系统(Facial Action Coding System)，该理论认为人的表情可拆分成局部元表情，即每个表情，均可由若干个局部元表情线性叠加而形成。因此，该方法通过将实现定义好的一组可涵盖大多数表情细节的表情基，进行线性融合，插值得到一个新的表情。用数学表达式表示则为：
其中，f为一个新的表情；b0为中立表情基，即自然状态下的表情状态，不带有“喜”、“怒”、“哀”等任何表情；bk为预先定义好的带有表情的表情基，不同的bk代表着不同的表情；wk为权重系数，用于以所述中立表情基为基础，对其他带有不同表情的表情基bk与所述中立表情基b0的差值进行如上述公式(1)的插值融合，从而为虚拟对象获得新的表情。
基于上述分析可知，对于一个虚拟对象而言，可以基于包括中立表情基的多个表情基以及权重系数，获得新的表情，其对应的原理示意图如图1所示，其中，f、bk以及wk的意义同上。
相关技术中，存在基于一个已有角色的标准模板组以及另外一个新角色的中立表情基，自动为所述新角色生成不同表情的方法，其中，所述标准模板组包括若干表情基模板，所述若干表情基模板包括中立表情基模板以及具有不同表情的表情基模板。所采用的技术手段是：将已有角色的标准模板组中所包含的表情基的表情动作迁移到新角色，从而得到新角色的若干表情基。
结合图2A和图2B进行说明。图2A为已有角色的标准模板组，包含着一个中立表情基模板201以及多个具有不同表情的表情基模板。图2B是基于一个新角色的中立表情基203，基于已有角色的标准模板组，为所述新角色所生成的一套表情基。202和203为其中一对带有对应表情的表情基模板和表情基。将已有角色的标准模板组中所包含的表情基模板的表情动作迁移到新角色，通过以下方式完成：先确定标准模板组中，带有表情的表情基模板，例如202，相对于中立表情基模板201的形变量，然后对新角色的中立表情基进行对应的形变，进而获得带有对应表情如204的表情基。
相关技术中，这种直接将已有角色的标准模板组中所包含的表情基的表情动作迁移到新角色，从而得到新角色的若干表情基的方式，虽然能够获得新角色的表情基。但是，这些方法通常只考虑面部区域，并没有考虑眼睛、牙齿、毛发等组件。而大部分所制作的虚拟对象，为了呈现出来的效果更加真实，通常需要加入所述组件。相关技术中，通常在制作完面部表情基之后，由美工将这些组件手动放置到每个表情基中，并经仔细调整以使融合后的表情没有异常。在这些组件中，由于眼球、口腔等近似刚体形状，所以相对比较容易调整。而睫毛、眉毛等可形变的组件，调整的难度相对较大，进行调整更为耗时。如图3所示，给出了一个带有眉毛的表情基示意图，其中，301为其中的虚拟对象的眉毛。在整个人头的表情基的制作过程中，这些组件的制作时间占40％至80％。因此，这些组件的后期加入以及调整，成为了限制表情基制作效率的瓶颈。
为了克服相关技术中所存在的上述技术问题，本申请实施例提供了一种虚拟对象的表情生成方法，如图4所示，所述方法包括：
步骤401，获取包括若干具有不同表情的表情基模板以及中立表情基模板的表情模板组、待生成表情的虚拟对象的中立表情基以及所述中立表情基模板的面部区域与组件的连接关系，所述中立表情基模板和所述中立表情基带有组件，所述组件为面部区域的非皮肤部分；
步骤402，基于所述连接关系，将所述中立表情基模板以及所述中立表情基上各自的组件与各自的面部区域绑定；
步骤403，根据组件与面部区域绑定的中立表情基以及包含组件与面部区域绑定的中立表情基模板的标准模板组，生成带有组件的第一表情。
其中，所述标准模板组，即类似于图2A所示的一系列表情基模板，不同的地方在于，所述中立表情基模板带有组件。所述包含带有组件的中立表情基模板的标准模板组，可以通过美工制作获得，也可以从其他开源网站获取，还可以是在图2A所示的不带组件的标准模板组上，通过美工后期手工为所述中立表情基模板加入组件并调整等方式获取，本申请实施例对此不做限制。
所述待生成表情的虚拟对象的中立表情基，也带有组件，即可以是带有组件的图2B所示的新角色的中立表情基。所述待生成表情的虚拟对象的带有组件的中立表情基，可以是从其他地方获取的虚拟对象的中立表情基，通过美工后期加入组件获取，也可以是直接从其他地方所获取的带有组件的虚拟对象的中立表情基，还可以是美工制作的，本申请实施例对所述待生成表情的虚拟对象的带有组件的中立表情基的获取方式不做限制。
所述待生成表情的虚拟对象的中立表情基以及所述中立表情基模板的面部区域与组件的连接关系，可以是从用户处获取，例如，用户在所述中立表情基模板上指定组件与面部区域的连接，也可以是从其他预存有所述连接关系的设备处获取，当然，也可以是执行本申请实施例所述的虚拟对象的表情生成方法的设备或者装置，基于预先的处理所获取的，本申请实施例对所述连接关系的获取方式以及获取来源不做限制。
所述中立表情基模板的面部区域与组件的连接关系，可以以各种形式表示。例如，所述连接关系可以是以映射表的形式表示，该映射表包含着所述中立表情基模板的面部区域上的关键点与组件上的关键点的映射关系。又例如，所述连接关系可以以拓扑表示，所述面部区域和所述组件上的关键点可以以元素的形式在拓扑中表示，拓扑元素之间的连接关系即为所述中立表情基模板的面部区域与组件的连接关系。此外，所述连接关系还可以是用户在所述表情基上用几何图案指定所述组件与所述面部区域的连接，那么，所述几何图案就表征着所述中立表情基模板的面部区域与组件的连接关系。当然，所述连接关系还可以以其他形式来表示，本申请实施例对此不做限制。
步骤402，将所述中立表情基模板以及所述中立表情基上各自的组件与各自的面部区域绑定，以及步骤403，生成带有组件的第一表情，可以基于多种方式来实现，后文将详细介绍。
基于上述实施例可以看到，在本申请实施例所提供的虚拟对象的表情生成方法中，由于获取了所述标准模板组中的中立表情基模板的面部区域与组件的连接关系，故基于所述连接关系，能够将所述中立表情基模板上的组件与面部区域绑定，以及将所述待生成表情的虚拟对象的中立表情基上的组件与面部区域绑定，从而实现了在中立表情基模板以及中立表情基上，将组件与面部区域关联起来。这样，在根据将组件与面部区域绑定了的标准模板组和虚拟对象的中立表情基为所述虚拟对象生成具有不同表情的表情基的过程中，就可以实现组件跟随面部区域的自动调整，进而获得所述虚拟对象带有组件的表情基，即所述第一表情。由于本申请实施例所提供的虚拟对象的表情生成方法，可以自动为虚拟对象生成带有组件的表情基，进而能够克服相关技术中，需要美工手动对所述组件进行调整，限制表情基制作的速度的缺陷。
上述实施例已经介绍，所述组件，为面部区域的非皮肤部分。在一些实施例中，所述组件至少包括：眼睛、牙齿、毛发等等。所述毛发包括眉毛、头发、睫毛、汗毛等等，本申请实施例对此不做限制。
当然，所述组件除了包括虚拟对象自身的器官或者组织，还可以包括并非属于所述虚拟对象自身的器官或者组织但是却位于所述虚拟对象的面部的部分，例如位于所述虚拟对象面部的贴纸、装饰物等等，本申请实施例对此不做限制。
对于步骤402，基于所获取的所述中立表情基模板的面部区域与组件的连接关系，将所述中立表情基模板以及所述中立表情基上各自的组件与各自的面部区域绑定，可以基于多种方式来实现，以下进行详细介绍。
在一些实施例中，所述绑定，可以如图5所示，通过以下方式实现：
步骤501，基于所述连接关系，在所述中立表情基模板上建立所述组件与所述面部区域的第一几何连接；
步骤502，基于所述第一几何连接，在所述中立表情基上，建立与所述第一几何连接对应的第二几何连接。
前文已经介绍，所述连接关系可以以多种形式表示。这里，以所述连接关系是用户在所述表情基上用几何图案指定所述组件与所述面部区域的连接，即所述几何图案表征着所述中立表情基模板的面部区域与组件的连接关系为例，结合图6所示的包含组件的中立表情基模板以及如图7A和如图7B所示的对绑定区域的局部放大示意图，对所述绑定进行原理说明。
图6中的左图，为在所述中立表情基模板中，所述组件与所述面部区域未绑定的示意图，图6中的右图，为基于所获取的所述中立表情基模板的面部区域与组件的连接关系，将所述组件与面部区域绑定后的示意图。在图6中，601为所述中立表情基模板，602为组件，这里以所述组件为眉毛进行示例性说明，603为进行了绑定的所述面部区域的局部区域。
如图6的右图所示，用户可以在所述中立表情基模板上，在所述组件602与所述中立表情基模板的面部区域603上指定对应的线段，所指定的线段表征着所指定的部分之间存在着连接关系。如图7A和图7B所示，给出了图6的面部区域603在将组件与面部区域绑定前与绑定后的放大示意图。在图7A和图7B中，701为所述中立表情基模板，702为组件，703为用户所指定的与所述组件对应的线段，704为用户所指定的与目标面部区域所对应的线段。在获取了用户所指定的703以及704之后，实际上就获取了以几何图案表征的所述中立表情基模板的面部区域与组件的连接关系。基于该连接关系，可以如图7B所示，在所述中立表情基模板上建立所述组件与所述面部区域的第一几何连接。所述第一几何连接的建立，可以是在线段703以及704上，选定一定数量的关键点，然后，对所述多个关键点建立几何连接。所述关键点的选定，可以是随机选定，也可以是基于预设的规则进行选定，本申请实施例对此不做限制。所述几何连接可以是三角形、四边形等等的多边形连接，当然，还可以是其他的几何连接，本申请实施例对此不做限制。在图7B中，给出了所述几何连接为四边形的示意图。
基于所述连接关系，在所述中立表情基模板上建立所述组件与所述面部区域的第一几何连接之后，由于虚拟对象的中立表情基与所述标准模板组中的中立表情基模板具有对应关系，所述对应关系可以参考相关技术来确定，例如所述对应关系可以基于嘴巴、眼角等关键部位确定，本申请实施例在此不做赘述。故基于所述第一几何关系，可以将所述中立表情基模板上的第一几何连接，复制到所述虚拟对象的中立表情基上，进而在所述虚拟对象的中立表情基建立与所述第一几何连接对应的第二几何连接，从而实现在虚拟对象的中立表情基上，将其组件与面部区域绑定。
通过上述实施例可以看到，通过先基于所获取的连接关系，在所述中立表情基模板上建立所述组件与所述面部区域的第一几何连接，然后将所述第一几何连接复制至所述虚拟对象的中立表情基上，进而在所述虚拟对象的中立表情基上建立与所述第一几何连接所对应的第二几何连接，能够基于所获取的有限信息，快速将所述中立表情基模板以及中立表情基的组件与对应的面部区域绑定，简单有效，且易于实现，为后续为所述虚拟对象生成第一表情奠定基础。
在一些实施例中，所述绑定，还可以如图8所示，通过以下方式实现：
步骤801，获取所述中立表情基的面部区域与组件的连接关系；
步骤802，基于所述中立表情基模板的面部区域与组件的连接关系，在所述中立表情基模板上建立所述组件与所述面部区域的第一几何连接；
步骤803，基于所述中立表情基的面部区域与组件的连接关系，在所述中立表情基上建立所述组件与所述面部区域之间建立第二几何连接。
在此实施例中，所述中立表情基模板的面部区域与组件的绑定，同上一实施例所示类似，可以基于在步骤401所获取的所述中立表情基模板的面部区域与组件的连接关系，通过在所述中立表情基模板上建立所述组件与所述面部区域的第一几何连接来实现。
而对于虚拟对象的中立表情基的面部区域与组件的绑定，可以通过获取所述中立表情基的面部区域与组件的连接关系，然后类似于基于所述中立表情基模板的组件与面部区域的绑定，通过根据所述中立表情基的面部区域与组件的连接关系，在所述中立表情基上建立所述组件与所述面部区域的第二几何连接。
所述获取所述中立表情基的面部区域与组件的连接关系，可以与所述中立表情基模板的面部区域与组件的连接关系的获取方式相同，所述连接关系的表示形式也可以同所述中立表情基模板的相同，本申请实施例在此不做限制。
所述获取中立表情基的面部区域与组件的连接关系的时机，可以是在获取所述中立表情基模板的面部区域与组件的连接关系的同时，也获取所述中立表情基的所述连接关系，还可以是在对所述中立表情基模板进行组件与其面部区域的绑定之后，在需要对所述中立表情基进行组件与其面部区域的绑定之前，获取所述连接关系，本申请实施例对此不做限制。
通过上述实施例可以看到，通过基于所获取的虚拟对象的中立表情基的连接关系，在所述中立表情基上建立所述组件与所述面部区域的第二几何连接，从而能够考虑所述虚拟对象中立表情基自身的特点，为所述中立表情基将自身的组件与自身的面部区域绑定，避免因所述中立表情基模板与所述虚拟对象的中立表情基的差异较大，所导致的中立表情基的组件与面部区域出现较大的偏差，例如所述眉毛应该与眼睑上方一点点绑定，由于偏差太大，所述中立表情基中将眉毛与额头区域进行了绑定。
当然，本领域技术人员应当理解，上述各个将所述中立表情基模板以及中立表情基上各自的组件与各自的面部区域绑定的实施例，仅以所获取的连接关系是用户在所述表情基上用几何图案指定所述组件与所述面部区域的连接为例进行了说明，当所述连接关系为其他形式时，可以类似于上述实施例所述，相应地根据所获取的其他形式的连接关系，将组件与面部区域绑定。例如，当所述连接关系是以映射表的形式表示的，即该映射表中包含着所述中立表情基模板的面部区域上的关键点与组件上的关键点的映射关系，那么，可以根据所述面部区域以及所述组件上的关键点，在所述中立表情基模板以及所述中立表情基上，创建位于所述面部区域以及组件位置处的连段，然后基于关键点的映射关系，为所述中立表情基模板以及所述中立表情基创建相对应的几何连接，该过程类似于上文所述的实施例，本申请在此不做赘述。当所述连接关系以拓扑表示，几何连接的创建也类似于上述实施例所述，本申请实施例在此也不做赘述。
前文已经介绍，在进行组件与面部区域的绑定过程中，所述创建的几何连接可以为如三角形、四边形、五边形等等的多边形连接。在一些实施例中，所创建的几何连接，可以为三角形连接，所述三角形连接的创建基于Delaunay三角剖分实现。
Delaunay三角剖分是Delaunay提出的将空间点连接为三角形，使得所有三角形最小角最大的一个技术。如何把一个散点集合剖分成不均匀的三角形网络，这就是散点集的三角剖分问题，散点集的三角剖分，对数值分析以及图形学来说，都是极为重要的一项预处理技术。该问题图示如图9所示，其中，左图为散点集合，右图为对所述散点集合剖分成不均匀的三角形网络的结构示意图。Delaunay三角剖分根据“最小角最大”和“空外接圆”准则来实现散点集之间的三角关系的建立。关于这两个准则的相关内容，可以参考相关技术，本申请实施例在此不做赘述。
在本申请所提供的虚拟对象的表情生成方法中，在将所述中立表情基模板以及中立表情基上的组件与面部区域通过几何连接实现绑定的过程中，基于所获取的连接关系，本质上可以获得所述组件以及所述面部区域所对应的多个关键点。例如，当所述连接关系是用户在所述表情基上用几何图案指定所述组件与所述面部区域的连接，那么，可以在所述几何图案上选定一些点作为表征所述组件与面部区域的位置的关键点。又例如，当所述连接关系是以映射表的形式表示时，那么该映射表中就包含着所述组件与所述面部区域上的关键点。当有了这些关键点之后，这些关键点所构成的其实就是所提及的“散点集合”。对所述组件以及所述面部区域建立三角形连接，实际上就将问题转换为了“如何把一个散点集合剖分成不均匀的三角形网络”的问题。
故基于组件与面部区域的连接关系，对所述组件以及面部区域建立三角形连接，就可以采用Delaunay三角剖分来实现。关于Delaunay三角剖分，有许多相关的算法，例如翻边算法、包括Lawson算法以及Bowyer-Watson算法等的逐点插入算法、分割合并算法、等等。以Lawson算法为例，其基本原理为：首先建立一个大的三角形或多边形，把所有数据点包围起来，向其中插入一点，该点与包含它的三角形三个顶点相连，形成三个新的三角形，然后逐个对它们进行空外接圆检测，同时用预先设计的局部优化过程进行优化，即通过交换对角线的方法来保证所形成的三角网为Delaunay三角网。其他实现三角剖分的算法可以参考相关技术，本申请实施例在此不做限制。当然，所述三角形连接的创建，还可以基于其他基于Delaunay三角剖分所确定的算法来实现，本申请实施例对所述三角形连接的具体创建算法不做限制。
通过上述实施例可以看到，对于前文各个实施例所述的几何连接，采用基于Delaunay三角剖分创建三角形连接的方式来实现，能够应用基于Delaunay三角剖分的多种算法，可选择范围大、性能稳定可靠，易于实现。
当然，本领域技术人员应当理解，所述几何连接当然还可以是其他多边形连接，所述多边形连接的具体实现，可以是应用已有的多边形连接技术来实现，也可以是开发人员自己所创建的多边形连接技术来实现，本申请实施例对此不做限制。
在实现了基于所述连接关系，将所述中立表情基模板以及所述中立表情基上各自的组件与各自的面部区域绑定之后，就可以进行步骤403，根据组件与面部区域绑定的中立表情基以及包含组件与面部区域绑定的中立表情基模板的标准模板组，生成带有组件的第一表情。
在一些实施例中，所述生成带有组件的第一表情，如图10所示，包括：
步骤1001，根据所述组件与面部区域绑定的中立表情基模板，将所述标准模板组中的具有表情的表情基模板的面部区域与各自的组件绑定；
步骤1002，确定每个具有表情的表情基模板相对于所述中立表情基模板的形变量；
步骤1003，根据所述形变量，对所述中立表情基进行调整，获得与所述具有表情的表情基模板对应的带有组件的第一表情。
由于标准模板组中的不同表情基模板，属于同一个对象。故步骤1001，可以基于中立表情基模板中组件与面部区域的绑定关系，在标准模板组中的其他具有表情的表情基模板组上，对应地将组件与面部区域绑定。所述对应可以是基于多个对应关键点来实现，本申请实施例对此不做限制。
经过步骤1001，就获得了目标标准模板组，在该目标标准模板组中，每个表情基模板的面部区域与组件都是绑定的。那么，可以基于形变迁移(Deformation Transfer)的思想，确定每个具有表情的表情基模板相对于所述中立表情基模板的形变量，进而将所述形变量迁移至所述虚拟对象组件与面部区域绑定的中立表情基中，对所述虚拟对象组件与面部区域绑定的中立表情基进行调整，获得与标准模板组中的具有表情的表情基模板对应的具有表情的表情基，即步骤403中所述的第一表情。由于在所有的表情基模板以及所述虚拟对象的中立表情基中，组件与面部区域是绑定的，故将所述形变量进行迁移时，不仅迁移的面部区域的形变量，与面部区域绑定的组件的形变量也能够自动迁移，进而实现对所述虚拟对象的中立表情基的组件和面部区域的同时调整，获得带有组件的第一表情。
当然，本领域技术人员应当理解，除了可以基于上述的形变迁移思想，获得带有组件的第一表情，也可以基于训练好的深度学习模型，从标准模板组中学习中立表情基模板与具有不同表情的表情基模板之间的内在关系，将所述虚拟对象的中立表情基输入至所述训练好的深度学习模型，获得所述虚拟对象具有不同表情的表情基，也即所述第一表情。又或者基于其他的算法来实现带有组件的第一表情的生成，本申请实施例对此不做限制。
通过上述各个实施例可以看到，在本申请实施例所提供的虚拟对象的表情生成方法中，由于获取了所述标准模板组中的中立表情基模板的面部区域与组件的连接关系，故基于所述连接关系，能够将所述中立表情基模板上的组件与面部区域绑定，以及将所述待生成表情的虚拟对象的中立表情基上的组件与面部区域绑定，从而实现了在中立表情基模板以及中立表情基上，将组件与面部区域关联起来。这样，在根据将组件与面部区域绑定了的标准模板组和虚拟对象的中立表情基为所述虚拟对象生成具有不同表情的表情基的过程中，就可以实现组件跟随面部区域的自动调整，进而获得所述虚拟对象带有组件的表情基，即所述第一表情。由于本申请实施例所提供的虚拟对象的表情生成方法，可以自动为虚拟对象生成带有组件的表情基，进而能够克服相关技术中，需要美工手动对所述组件进行调整，限制表情基制作的速度的缺陷。
在一些实施例中，步骤403所生成的组件的第一表情的数量为多个，即在步骤403中，为所述虚拟对象所生成的表情基的数量为多个，本申请实施例所提供的虚拟对象的表情生成方法，如图11所示，还包括：
步骤1101，获取权重序列，所述权重序列用于对多个表情基进行融合生成表情；
步骤1102，基于所述权重序列，对多个所述带有组件的第一表情进行融合，获得所述虚拟对象的第二表情。
在为所述虚拟对象获取了带有组件且具有不同表情的表情基之后，还可以如上述实施例所述，应用前文所述的面部变形方法，基于所获取的权重序列，对所述表情基进行插值融合，为所述虚拟对象生成更多种类的表情。所述面部变形的基本原理及相关内容，已在前文中进行了详细介绍，这里不做赘述。
通过上述实施例可以看到，当为所述虚拟对象生成了多个第一表情之后，获取权重序列为所述虚拟对象生成更多的表情，能够为动画制作、虚拟现实、增强现实等提供更多的素材，增强观众和用户的使用体验，且能够提高所述第一表情的应用场景和应用范围。
当然，除了基于本申请实施例所提供的虚拟对象的表情生成方法为所述虚拟对象提供更丰富的表情，所述第一表情还可以被应用到其他场景中，本申请实施例对此不作限制。
此外，与本申请上述实施例所提供的一种虚拟对象的表情生成方法相对应，本申请实施例还提供了一种软件产品，即一种应用程序，所述应用程序包括计算机/指令，所述计算机程序/指令被处理器执行时，实现本申请实施例所提供的上述各个方法实施例。关于所述应用程序的相关内容，可以参考前文方法各实施例，本申请在此不做赘述。
与前述方法的实施例相对应，本申请还提供了一种电子设备，图12为本申请所提供的一种示例性电子设备的结构示意图。
如图12所示，本实施例提供的一种电子设备1200，包括：处理器1201、存储器1202及存储在存储器1202上并可在处理器1201上运行的计算机程序，所述处理器执行所述程序时实现本申请前文的方法。该电子设备中的处理器1201可以是一个或多个，图12中以一个处理器1201为例，所述处理器可以包括GPU和CPU。所述电子设备中的处理器1201和存储器1202可以通过通信总线或其他方式连接，图12中以通过通信总线1203连接为例。
本实施例中电子设备的处理器1201中集成了上述实施例提供的所述应用程序。此外，该电子设备中的存储器1202作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块。处理器1201通过运行存储在存储器1202中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述各个方法实施例。
存储器1202可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器1202可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器1202可进一步包括相对于处理器1201远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器1201通过运行存储在存储器1202中的程序，从而执行各种功能应用以及数据处理，实现本申请实施例提供的方法。
此外，本申请还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前文所述的任一方法。
所述计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CDROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述计算机可读存储介质的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑申请及实践这里申请的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (10)
1.一种虚拟对象的表情生成方法，其特征在于，所述方法包括：
获取包括若干具有不同表情的表情基模板以及中立表情基模板的标准模板组、待生成表情的虚拟对象的中立表情基以及所述中立表情基模板的面部区域与组件的连接关系，所述中立表情基模板和所述中立表情基带有组件，所述组件为面部区域的非皮肤部分；
基于所述连接关系，将所述中立表情基模板以及所述中立表情基上各自的组件与各自的面部区域绑定；
根据组件与面部区域绑定的中立表情基以及包含组件与面部区域绑定的中立表情基模板的标准模板组，生成带有组件的第一表情。
2.根据权利要求1所述的方法，其特征在于，所述组件至少包括：眼睛、牙齿、毛发。
3.根据权利要求1所述的方法，其特征在于，所述基于所述连接关系，将所述中立表情基模板以及所述中立表情基上各自的组件与各自的面部区域绑定，包括：
基于所述连接关系，在所述中立表情基模板上建立所述组件与所述面部区域的第一几何连接；
基于所述第一几何连接，在所述中立表情基上，建立与所述第一几何连接对应的第二几何连接。
4.根据权利要求1所述的方法，其特征在于，所述基于所述连接关系，将所述中立表情基模板以及所述中立表情基上各自的组件与各自的面部区域绑定，包括：
获取所述中立表情基的面部区域与组件的连接关系；
基于所述中立表情基模板的面部区域与组件的连接关系，在所述中立表情基模板上建立所述组件与所述面部区域的第一几何连接；
基于所述中立表情基的面部区域与组件的连接关系，在所述中立表情基上建立所述组件与所述面部区域之间建立第二几何连接。
5.根据权利要求3至4任一所述的方法，其特征在于，所述几何连接为三角形连接，所述几何连接的建立基于Delaunay三角剖分实现。
6.根据权利要求1所述的方法，其特征在于，所述生成带有组件的第一表情，包括：
根据所述组件与面部区域绑定的中立表情基模板，将所述标准模板组中的具有表情的表情基模板的面部区域与各自的组件绑定；
确定每个具有表情的表情基模板相对于所述中立表情基模板的形变量；
根据所述形变量，对所述中立表情基进行调整，获得与所述具有表情的表情基模板对应的带有组件的第一表情。
7.根据权利要求6所述的方法，其特征在于，所生成的带有组件的第一表情为多个，所述方法还包括：
获取权重序列，所述权重序列用于对多个表情基进行融合生成表情；
基于所述权重序列，对多个所述带有组件的第一表情进行融合，获得第二表情。
8.一种应用程序，其特征在于，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1-7任一项所述的方法。
9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110560384.2A CN113223127A (zh) | 2021-05-21 | 2021-05-21 | 虚拟对象的表情生成方法、应用程序、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110560384.2A CN113223127A (zh) | 2021-05-21 | 2021-05-21 | 虚拟对象的表情生成方法、应用程序、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113223127A true CN113223127A (zh) | 2021-08-06 |
Family
ID=77097860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110560384.2A Pending CN113223127A (zh) | 2021-05-21 | 2021-05-21 | 虚拟对象的表情生成方法、应用程序、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113223127A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109961496A (zh) * | 2019-02-22 | 2019-07-02 | 厦门美图之家科技有限公司 | 表情驱动方法及表情驱动装置 |
| CN110163054A (zh) * | 2018-08-03 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种人脸三维图像生成方法和装置 |
| CN111325846A (zh) * | 2020-02-13 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 表情基确定方法、虚拟形象驱动方法、装置及介质 |
| KR20210040555A (ko) * | 2019-10-04 | 2021-04-14 | 주식회사 케이티 | 베이시스 모델에 기초하여 가상 캐릭터의 표정을 모사하는 장치, 방법 및 컴퓨터 프로그램 |
-
2021
- 2021-05-21 CN CN202110560384.2A patent/CN113223127A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163054A (zh) * | 2018-08-03 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种人脸三维图像生成方法和装置 |
| CN109961496A (zh) * | 2019-02-22 | 2019-07-02 | 厦门美图之家科技有限公司 | 表情驱动方法及表情驱动装置 |
| KR20210040555A (ko) * | 2019-10-04 | 2021-04-14 | 주식회사 케이티 | 베이시스 모델에 기초하여 가상 캐릭터의 표정을 모사하는 장치, 방법 및 컴퓨터 프로그램 |
| CN111325846A (zh) * | 2020-02-13 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 表情基确定方法、虚拟形象驱动方法、装置及介质 |
Non-Patent Citations (2)
| Title |
|---|
| MICHAËL GILBERT 等: ""FACSHuman, a software program for creating experimental material by modeling 3D facial expressions"", 《BEHAVIOR RESEARCH METHODS》, 6 April 2021 (2021-04-06), pages 2252 - 2272, XP037589506, DOI: 10.3758/s13428-021-01559-9 * |
| 冯静怡: ""基于web的三维虚拟形象生成与控制方法研究"", 《中国优秀硕士学位论文全文数据库》, 15 May 2021 (2021-05-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10860838B1 (en) | Universal facial expression translation and character rendering system | |
| CN111127304B (zh) | 跨域图像转换 | |
| KR102627802B1 (ko) | 가상 형상 생성 모델의 트레이닝 방법 및 가상 형상 생성 방법 | |
| CN108961369B (zh) | 生成3d动画的方法和装置 | |
| CN110766776B (zh) | 生成表情动画的方法及装置 | |
| Kort | Computer aided inbetweening | |
| US12002160B2 (en) | Avatar generation method, apparatus and device, and medium | |
| CN108897567B (zh) | 基于Unity的软件加载文件的方法、装置、设备及存储介质 | |
| Yu | Modeling realistic virtual hairstyles | |
| CA2772530C (en) | Hair meshes | |
| WO2024120032A1 (zh) | 虚拟对象的毛发处理方法、装置、设备、存储介质及程序产品 | |
| CN110624244B (zh) | 游戏中脸部模型的编辑方法、装置和终端设备 | |
| JP6340313B2 (ja) | モデリングシステム、モデリングプログラム、及びモデリング方法 | |
| CN115147559B (zh) | 基于神经隐式函数的三维人体参数化表示方法及装置 | |
| Onizuka et al. | Landmark-guided deformation transfer of template facial expressions for automatic generation of avatar blendshapes | |
| CN107221024B (zh) | 虚拟对象毛发处理方法及装置、存储介质、电子设备 | |
| CN113936086B (zh) | 毛发模型的生成方法、装置、电子设备以及存储介质 | |
| CN113223126A (zh) | 虚拟对象的表情生成方法、应用程序、设备及存储介质 | |
| US20230342942A1 (en) | Image data processing method, method and apparatus for constructing digital virtual human, device, storage medium, and computer program product | |
| CN113223127A (zh) | 虚拟对象的表情生成方法、应用程序、设备及存储介质 | |
| CN115359171B (zh) | 虚拟形象处理方法、装置、电子设备和存储介质 | |
| CN113223128B (zh) | 用于生成图像的方法和装置 | |
| KR102652652B1 (ko) | 아바타 생성 장치 및 방법 | |
| Lazor et al. | Automation of the Avatar Animation Process in FBX File Format. | |
| WO2023169023A1 (zh) | 表情模型的生成方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |