CN116524165B - 三维表情模型的迁移方法、装置、设备和存储介质 - Google Patents
三维表情模型的迁移方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN116524165B CN116524165B CN202310621031.8A CN202310621031A CN116524165B CN 116524165 B CN116524165 B CN 116524165B CN 202310621031 A CN202310621031 A CN 202310621031A CN 116524165 B CN116524165 B CN 116524165B
- Authority
- CN
- China
- Prior art keywords
- model
- expression model
- target
- grid
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 295
- 238000013508 migration Methods 0.000 title claims abstract description 67
- 230000005012 migration Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000001179 sorption measurement Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 230000003190 augmentative effect Effects 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种三维表情模型的迁移方法、装置、设备和存储介质，涉及人工智能技术领域，具体为增强现实、虚拟现实、计算机视觉、深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景。该三维表情模型的迁移方法包括：获取模板对象的三维表情模型和目标对象的源表情模型；对所述基准表情模型和所述源表情模型进行对齐处理，以生成对齐网格模型；基于所述基准表情模型和形变表情模型，获取所述对齐网格模型对应的形变网格模型；基于所述形变网格模型，获取所述源表情模型对应的目标表情模型。本公开可以提升目标表情模型的精准度。
Description
技术领域
本公开涉及人工智能技术领域，具体为增强现实、虚拟现实、计算机视觉、深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景，尤其涉及一种三维表情模型的迁移方法、装置、设备和存储介质。
背景技术
随着人工智能技术的发展，三维(3D)虚拟数字人得以广泛应用，如虚拟主播、虚拟客服、虚拟助理、虚拟教师、虚拟偶像等。
针对三维虚拟数字人的面部，可以基于三维混合形状(Blend Shape，BS)模型进行驱动。该方式下，需要先获取一组三维BS模型，通过调整这些三维BS模型的权重，实现表情变换。针对目标对象的三维BS模型，可以利用模板对象的三维BS模型得到目标对象的三维BS模型，该过程可以称为三维BS模型迁移。
为此，需要解决三维BS模型的迁移问题。
发明内容
本公开提供了一种三维表情模型的迁移方法、装置、设备和存储介质。
根据本公开的一方面，提供了一种三维表情模型的迁移方法，包括：获取模板对象的三维表情模型和目标对象的源表情模型；其中，所述三维表情模型包括：基准表情模型和形变表情模型，且，所述源表情模型与所述基准表情模型具有不同的拓扑结构；对所述基准表情模型和所述源表情模型进行对齐处理，以生成对齐网格模型；其中，所述对齐网格模型与所述基准表情模型具有相同的拓扑结构，且所述对齐网格模型与所述源表情模型具有相同的外形；基于所述基准表情模型和形变表情模型，获取所述对齐网格模型对应的形变网格模型；基于所述形变网格模型，获取所述源表情模型对应的目标表情模型。
根据本公开的另一方面，提供了一种三维表情模型的迁移装置，包括：第一获取模块，用于获取模板对象的三维表情模型和目标对象的源表情模型；其中，所述三维表情模型包括：基准表情模型和形变表情模型，且，所述源表情模型与所述基准表情模型具有不同的拓扑结构；对齐模块，用于对所述基准表情模型和所述源表情模型进行对齐处理，以生成对齐网格模型；其中，所述对齐网格模型与所述基准表情模型具有相同的拓扑结构，且所述对齐网格模型与所述源表情模型具有相同的外形；第二获取模块，用于基于所述基准表情模型和形变表情模型，获取所述对齐网格模型对应的形变网格模型；第三获取模块，用于基于所述形变网格模型，获取所述源表情模型对应的目标表情模型。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。
根据本公开的技术方案，可以提升目标表情模型的精准度。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的示意图；
图2是根据本公开实施例提供的外形相同且拓扑结构不同的两个正方体的示意图；
图3是根据本公开实施例提供的应用场景的示意图；
图4是根据本公开实施例提供的三维表情模型的迁移方法的整体架构的示意图；
图5是根据本公开第二实施例的示意图；
图6是根据本公开第三实施例的示意图；
图7是用来实现本公开实施例的三维表情模型的迁移方法的电子设备的示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
相关技术中，可以采用形变迁移(Deformation Transfer，DT)算法，基于模板对象的三维BS模型得到目标对象的三维BS模型。
但是，在目标对象与模板对象的拓扑结构不同时，上述方式存在精准度不足的问题。
为了提升目标表情模型的精准度，本公开提供如下实施例。
图1是根据本公开第一实施例的示意图。本实施例提供一种三维表情模型的迁移方法，该方法包括：
101、获取模板对象的三维表情模型和目标对象的源表情模型；其中，所述三维表情模型包括：基准表情模型和形变表情模型，且，所述源表情模型与所述基准表情模型具有不同的拓扑结构。
102、对所述基准表情模型和所述源表情模型进行对齐处理，以生成对齐网格模型；其中，所述对齐网格模型与所述基准表情模型具有相同的拓扑结构，且所述对齐网格模型与所述源表情模型具有相同的外形。
103、基于所述基准表情模型和形变表情模型，获取所述对齐网格模型对应的形变网格模型。
104、基于所述形变网格模型，获取所述源表情模型对应的目标表情模型。
其中，以三维虚拟数字人为例，模板对象可以称为模板人物，目标对象可以称为目标人物，模板人物是预设的通用人物，目标人物是待生成的具有个性化特点的人物，目标人物不同，相应的虚拟形象是不同的。
三维表情模型可以具体为三维BS模型。
针对模板人物，制作人员可以制作该模板人物的一组三维表情模型，如三维BS模型，该组三维BS模型包括：基准表情模型和形变表情模型，其中，基准表情模型是指无表情模型，形变表情模型是指具有表情的模型，基准表情模型通常是一个，形变表情模型可以是多个，例如，一个形变表情模型是微笑的表情模型，另一个形变表情模型是皱眉的表情模型等。
针对目标对象，目标对象也可以具备一组三维表情模型(三维BS模型)，具体也可以包括无表情模型和有表情模型。为了区分，目标对象的无表情模型可以称为源表情模型，目标对象的有表情模型可以称为目标表情模型。源表情模型是预先生成的，例如是制作人员制作的，或者基于目标对象的图像生成的。
目标表情模型也可以由制作人员制作，但存在工作量大、精准度不足、受限于人工经验等问题。为了解决人工制作导致的问题，可以采用三维表情模型迁移的方式，即，基于模板人物的形变表情模型获得目标人物的目标表情模型，实现三维表情模型的迁移，通过三维表情模型的迁移，可以使得目标人物具有与模板人物相同的表情。
相关技术中，可以基于DT算法进行三维表情模型迁移，但是，在模板人物与目标人物的拓扑结构不同时，会存在精准度不足的问题。
三维表情模型是一种三维网格模型，由多个网格(mesh)构成。每个网格是一个多边形，例如，三角形或四边形，以三角形为例，每个网格可以包括三个顶点(vertex)。为此，三维表情模型是由顶点组成的，是一组顶点的集合。
拓扑结构，用于表征模型的结构，针对两个模型，这两个模型的外形相同，但拓扑结构可能不同。例如，如图2所示，针对外形相同的第一正方体201和第二正方体202，由于布线的不同，这两个正方体虽然外形相同，但具有不同的拓扑结构。
针对三维网格模型，其是由网格组成的，若两个三维网格模型的拓扑结构相同，可以称这两个三维网格模型是同拓扑的，反之，若两个三维网格模型的拓扑结构不同，可以称这两个三维网格模型是跨拓扑的。
同拓扑的两个三维网格模型的顶点数目、每个网格包括的顶点和网格连接顺序等都是一致的。
在模板对象的基准表情模型与目标对象的源表情模型的拓扑结构不同(跨拓扑)时，模型间的顶点对应关系是未知的，若直接基于DT算法进行三维表情模型迁移，需要先确定上述的顶点对应关系，但目前算法都无法精确找到该顶点对应关系，从而导致生成的目标表情模型的精准度是不足的。
为此，本实施例中，可以对源表情模型和基准表情模型进行对齐处理，得到的模型可以称为对齐网格模型，该对齐网格模型与基准表情模型具有相同的拓扑结构，与源表情模型具有相同的外形。
由于对齐网格模型与基准表情模型具有相同的拓扑结构，在同拓扑场景下，模型间的顶点对应关系是已知且准确的，可以利用迁移算法(如DT算法)进行模型迁移。
为了区分，将形变表情模型迁移到对齐网格模型上得到的表情模型可以称为形变网格模型。进而，可以基于形变网格模型得到源表情模型对应的目标表情模型。
本实施例中，通过获取对齐网格模型，由于对齐网格模型与基准表情模型具有相同的拓扑结构，可以在同拓扑下进行形变迁移，获得准确的形变网格模型，进而基于准确的形变网格模型可以获得精准的目标表情模型，提升目标表情模型的精准度。
为了更好地理解本公开实施例，对本公开实施例可以适用的应用场景进行说明。
图3是本公开实施例提供的应用场景的示意图。该场景下包括：用户终端301和服务器302，用户终端301可以包括：个人电脑(Personal Computer，PC)、手机、平板电脑、笔记本电脑、智能穿戴设备等。服务器302可以是云端服务器或者本地服务器，用户终端301与服务器302可以采用通信网络进行通信，通信网络例如包括有线网络和/或无线网络。
服务器302内可以预先获取模板对象的三维表情模型和目标对象的源表情模型，该三维表情模型包括：基准表情模型和形变表情模型，服务器对形变表情模型进行迁移处理后，得到目标对象的目标表情模型，该目标表情模型可以通过用户终端301进行显示。
针对三维表情模型的迁移，其整体架构可以如图4所示。参见图4，模板对象的三维表情模型(包括基准表情模型401和形变表情模型402)以及目标对象的源表情模型403是已知的，最终需要获取的三维表情模型是目标对象的目标表情模型404。
为了获得目标表情模型404，可以基于源表情模型403和基准表情模型401获得对齐网格模型405，例如，可以采用重拓扑的方式，对源表情模型403进行重拓扑处理，以获得对齐网格模型405。对齐网格模型405与源表情模型403具有相同的外形，且与基准表情模型401具有相同的拓扑结构。由于对齐网格模型405与基准表情模型401具有相同的拓扑结构，可以采用同拓扑迁移，基于形变表情模型402获得形变网格模型406。
获得形变网格模型406后，可以对形变网格模型406进行网格细分处理，以获得细分网格模型(图中未示出)。其中，细分网格模型是顶点密度较高的模型，例如，形变网格模型包括几万个顶点，而细分网格模型可以包括上亿个顶点。
三维网格模型可以用顶点集合表示，如X＝{Vi，i＝1,2,...N}，其中，X是一个三维网格模型，N是该模型X包括的顶点数量，Vi是第i个顶点。
假设源表情模型包括N1个顶点，细分网格模型包括N2个顶点，N1<N2，获得细分网格模型后，可以在N2个顶点中找到与N1个顶点(源顶点)对应的顶点作为目标顶点。
假设源表情模型对应的源顶点集合用A表示，获得细分网格模型后，可以采用点吸附算法等，在细分网格模型中查找源顶点对应的目标顶点，目标顶点集合可以用B表示。该过程可以称为一致性过程，执行该一致性过程的模块可以称为一致性模块，即采用一致性模块，可以在细分网格模型中找到与源顶点集合A对应的目标顶点集合B。
由于三维表情模型是顶点集合，获得目标顶点集合B后，可以将B作为目标表情模型。或者，还可以预设一些约束条件，如布线刚性和平滑约束条件，基于该约束条件对目标顶点集合B进行调整，得到调整后的顶点集合B’，B’符合预设的约束条件，将B’作为目标表情模型。基于目标顶点集合B获得目标表情模型的过程可以称为一致性映射。
另外，由于形变表情模型可以为多个，如图4所示，以三个形变表情模型为例，每个形变表情模型对应一种表情，则三维表情模型迁移时，可以是对应每个表情进行转换。例如，形变表情模型、形变网格模型和目标表情模型的数量是相同的，基于第一表情的形变表情模型获得第一表情的形变网格模型，再基于第一表情的形变网格模型获得第一表情的目标表情模型；基于第二表情的形变表情模型获得第二表情的形变网格模型，再基于第二表情的形变网格模型获得第二表情的目标表情模型；依次类推。
结合上述的应用场景，本公开还提供了如下的实施例。
图5是根据本公开第二实施例的示意图，本实施例提供了一种三维表情模型的迁移方法，该方法包括：
501、获取模板对象的三维表情模型和目标对象的源表情模型；其中，所述三维表情模型包括：基准表情模型和形变表情模型，且，所述源表情模型与所述基准表情模型具有不同的拓扑结构。
502、基于所述基准表情模型的拓扑结构，对所述源表情模型进行重拓扑处理，以生成对齐网格模型；其中，所述对齐网格模型与所述基准表情模型具有相同的拓扑结构，且所述对齐网格模型与所述源表情模型具有相同的外形。
其中，重拓扑是指改变源表情模型的拓扑结构。通过重拓扑，可以获得与基准表情模型的拓扑结构一致的对齐网格模型。具体可以采用重拓扑相关算法进行重拓扑处理。
本实施例中，通过对源表情模型进行重拓扑处理，可以获得与基准表情模型的拓扑结构一致的对齐网格模型，便于后续进行同拓扑迁移，提升三维表情迁移过程的准确度。
503、基于所述基准表情模型和形变表情模型，获取所述对齐网格模型对应的形变网格模型。
由于基准表情模型和对齐网格模型是同拓扑的，因此，可以进行同拓扑迁移，如采用DT算法，线性迁移(Linear Transfer，LT)算法、分块迁移(Patch Transfer，PT)算法等，基于形变表情模型获得形变网格模型。
具体可以包括：
基于所述基准表情模型和形变表情模型，确定形变迁移参数；
基于所述形变迁移参数，对所述对齐网格模型进行变换处理，以生成所述形变网格模型。
以DT算法为例，基于DT算法，可以构建迁移后顶点的位置坐标(假设用Vi’表示)与迁移前顶点的位置坐标(假设用Vi表示)之间的变换关系，Vi’＝f(Vi；Q,d)，即，Vi’可以基于Vi和形变迁移参数(Q和d)得到。
由于基准表情模型和形变表情模型是已知的，将形变表情模型的顶点位置坐标作为Vi’，将基准表情模型的顶点位置坐标作为Vi，可以计算出形变迁移参数Q和d；之后，对齐网格模型也是已知的，将对齐网格模型的顶点位置坐标作为新的Vi，由于形变迁移参数Q和d已经计算得到，基于新的Vi，以及Q和d，可以获得新的Vi’，新的Vi’是形变网格模型的顶点位置坐标，从而可以获得形变网格模型。
本实施例中，通过确定形变迁移参数，以及基于形变迁移参数获得形变网格模型，可以高效地获得形变网格模型。
504、基于所述形变网格模型，获取细分网格模型。
其中，所述源表情模型包括：第一数量的源顶点；其中，所述细分网格模型包括：第二数量的网格顶点，且所述第二数量大于所述第一数量。
具体地，可以基于网格细分算法，对所述形变网格模型进行网格细分处理，以生成所述细分网格模型。
本实施例中，通过网格细分处理，可以获得网格数量较多的细分网格模型，便于后续顶点查询。
505、在所述第二数量的网格顶点中，确定与所述第一数量的源顶点对应的第一数量的目标顶点。
具体地，可以基于点吸附算法，在所述第二数量的网格顶点中，确定所述第一数量的目标顶点。
本实施例中，基于点吸附算法进行目标顶点查询，可以简便高效地获得目标顶点。
506、基于所述第一数量的目标顶点，获取所述源表情模型对应的目标表情模型。
其中，可以将所述第一数量的目标顶点组成的集合，作为所述目标表情模型；或者，基于预设规则，对所述第一数量的目标顶点进行调整，以获得第一数量的调整后的目标顶点，将所述第一数量的调整后的目标顶点组成的集合，作为所述目标表情模型。
获取目标顶点后，可以将目标顶点组成的集合作为目标表情模型，或者，也可以基于预设规则(如布线刚性和平滑约束条件)对目标顶点进行调整，将调整后的目标顶点组成的集合作为目标表情模型。
例如，源表情模型的顶点集合用A表示，通过点吸附算法，可以在细分网格模型中找到与A对应的目标顶点集合B，获得目标顶点集合B后，可以将B作为目标表情模型。或者，基于预设规则(如布线刚性和平滑约束条件)，对B进行调整得到B’，将B’作为目标表情模型。
本实施例中，通过将第一数量的目标顶点组成的集合作为目标表情模型，或者，对目标顶点进行调整，将调整后的目标顶点组成的集合作为目标表情模型，可以提升目标表情模型的准确度。
本实施例中，通过对形变网格模型进行网格细分处理，得到细分网格模型，由于细分网格模型的网格数量较多，可以在细分网格模型中准确找到与源表情模型的源顶点对应的目标顶点，提升目标顶点的准确度，进而基于目标顶点获取目标表情模型，可以提升目标表情模型的准确度。
图6是根据本公开第四实施例的示意图。本实施例提供一种三维表情模型的迁移装置，如图6所示，该装置600包括：第一获取模块601、对齐模块602、第二获取模块603和第三获取模块604。
第一获取模块601用于获取模板对象的三维表情模型和目标对象的源表情模型；其中，所述三维表情模型包括：基准表情模型和形变表情模型，且，所述源表情模型与所述基准表情模型具有不同的拓扑结构；对齐模块602用于对所述基准表情模型和所述源表情模型进行对齐处理，以生成对齐网格模型；其中，所述对齐网格模型与所述基准表情模型具有相同的拓扑结构，且所述对齐网格模型与所述源表情模型具有相同的外形；第二获取模块603用于基于所述基准表情模型和形变表情模型，获取所述对齐网格模型对应的形变网格模型；第三获取模块604用于基于所述形变网格模型，获取所述源表情模型对应的目标表情模型。
本实施例中，通过获取对齐网格模型，由于对齐网格模型与基准表情模型具有相同的拓扑结构，可以在同拓扑下进行形变迁移，获得准确的形变网格模型，进而基于准确的形变网格模型可以获得精准的目标表情模型，提升目标表情模型的精准度。
一些实施例中，所述对齐模块602进一步用于：基于所述基准表情模型的拓扑结构，对所述源表情模型进行重拓扑处理，以生成所述对齐网格模型。
本实施例中，通过对源表情模型进行重拓扑处理，可以获得与基准表情模型的拓扑结构一致的对齐网格模型，便于后续进行同拓扑迁移，提升三维表情迁移过程的准确度。
一些实施例中，所述第二获取模块603进一步用于：基于所述基准表情模型和形变表情模型，确定形变迁移参数；基于所述形变迁移参数，对所述对齐网格模型进行变换处理，以生成所述形变网格模型。
本实施例中，通过确定形变迁移参数，以及基于形变迁移参数获得形变网格模型，可以高效地获得形变网格模型。
一些实施例中，所述源表情模型包括：第一数量的源顶点；所述第三获取模块604进一步用于：基于所述形变网格模型，获取细分网格模型；其中，所述细分网格模型包括：第二数量的网格顶点，且所述第二数量大于所述第一数量；在所述第二数量的网格顶点中，确定与所述第一数量的源顶点对应的第一数量的目标顶点；基于所述第一数量的目标顶点，获取所述源表情模型对应的目标表情模型。
本实施例中，通过对形变网格模型进行网格细分处理，得到细分网格模型，由于细分网格模型的网格数量较多，可以在细分网格模型中准确找到与源表情模型的源顶点对应的目标顶点，提升目标顶点的准确度，进而基于目标顶点获取目标表情模型，可以提升目标表情模型的准确度。
一些实施例中，所述第三获取模块604进一步用于：基于网格细分算法，对所述形变网格模型进行网格细分处理，以生成所述细分网格模型。
本实施例中，通过网格细分处理，可以获得网格数量较多的细分网格模型，便于后续顶点查询。
一些实施例中，所述第三获取模块604进一步用于：基于点吸附算法，在所述第二数量的网格顶点中，确定所述第一数量的目标顶点。
本实施例中，基于点吸附算法进行目标顶点查询，可以简便高效地获得目标顶点。
一些实施例中，所述第三获取模块604进一步用于：将所述第一数量的目标顶点组成的集合，作为所述目标表情模型；或者，基于预设规则，对所述第一数量的目标顶点进行调整，以获得第一数量的调整后的目标顶点，将所述第一数量的调整后的目标顶点组成的集合，作为所述目标表情模型。
本实施例中，通过将第一数量的目标顶点组成的集合作为目标表情模型，或者，对目标顶点进行调整，将调整后的目标顶点组成的集合作为目标表情模型，可以提升目标表情模型的准确度。
可以理解的是，本公开实施例中，不同实施例中的相同或相似内容可以相互参考。
可以理解的是，本公开实施例中的“第一”、“第二”等只是用于区分，不表示重要程度高低、时序先后等。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备700旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储电子设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
电子设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如三维表情模型的迁移方法。例如，在一些实施例中，三维表情模型的迁移方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的三维表情模型的迁移方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行三维表情模型的迁移方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (14)
1.一种三维表情模型的迁移方法，包括：
获取模板对象的三维表情模型和目标对象的源表情模型；其中，所述三维表情模型包括：基准表情模型和形变表情模型，且，所述源表情模型与所述基准表情模型具有不同的拓扑结构；
对所述基准表情模型和所述源表情模型进行对齐处理，以生成对齐网格模型；其中，所述对齐网格模型与所述基准表情模型具有相同的拓扑结构，且所述对齐网格模型与所述源表情模型具有相同的外形；
基于所述基准表情模型和形变表情模型，获取所述对齐网格模型对应的形变网格模型；
基于所述形变网格模型，获取所述源表情模型对应的目标表情模型；
所述源表情模型包括：第一数量的源顶点；
所述基于所述形变网格模型，获取所述源表情模型对应的目标表情模型，包括：
基于所述形变网格模型，获取细分网格模型；其中，所述细分网格模型包括：第二数量的网格顶点，且所述第二数量大于所述第一数量；
在所述第二数量的网格顶点中，确定与所述第一数量的源顶点对应的第一数量的目标顶点；
基于所述第一数量的目标顶点，获取所述源表情模型对应的目标表情模型。
2.根据权利要求1所述的方法，其中，所述对所述基准表情模型和所述源表情模型进行对齐处理，以生成对齐网格模型，包括：
基于所述基准表情模型的拓扑结构，对所述源表情模型进行重拓扑处理，以生成所述对齐网格模型。
3.根据权利要求1所述的方法，其中，所述基于所述基准表情模型和形变表情模型，获取所述对齐网格模型对应的形变网格模型，包括：
基于所述基准表情模型和形变表情模型，确定形变迁移参数；
基于所述形变迁移参数，对所述对齐网格模型进行变换处理，以生成所述形变网格模型。
4.根据权利要求1所述的方法，其中，所述基于所述形变网格模型，获取细分网格模型，包括：
基于网格细分算法，对所述形变网格模型进行网格细分处理，以生成所述细分网格模型。
5.根据权利要求1所述的方法，其中，所述在所述第二数量的网格顶点中，确定与所述第一数量的源顶点对应的第一数量的目标顶点，包括：
基于点吸附算法，在所述第二数量的网格顶点中，确定所述第一数量的目标顶点。
6.根据权利要求1所述的方法，其中，所述基于所述第一数量的目标顶点，获取所述源表情模型对应的目标表情模型，包括：
将所述第一数量的目标顶点组成的集合，作为所述目标表情模型；
或者，
基于预设规则，对所述第一数量的目标顶点进行调整，以获得第一数量的调整后的目标顶点，将所述第一数量的调整后的目标顶点组成的集合，作为所述目标表情模型。
7.一种三维表情模型的迁移装置，包括：
第一获取模块，用于获取模板对象的三维表情模型和目标对象的源表情模型；其中，所述三维表情模型包括：基准表情模型和形变表情模型，且，所述源表情模型与所述基准表情模型具有不同的拓扑结构；
对齐模块，用于对所述基准表情模型和所述源表情模型进行对齐处理，以生成对齐网格模型；其中，所述对齐网格模型与所述基准表情模型具有相同的拓扑结构，且所述对齐网格模型与所述源表情模型具有相同的外形；
第二获取模块，用于基于所述基准表情模型和形变表情模型，获取所述对齐网格模型对应的形变网格模型；
第三获取模块，用于基于所述形变网格模型，获取所述源表情模型对应的目标表情模型；
所述源表情模型包括：第一数量的源顶点；
所述第三获取模块进一步用于：
基于所述形变网格模型，获取细分网格模型；其中，所述细分网格模型包括：第二数量的网格顶点，且所述第二数量大于所述第一数量；
在所述第二数量的网格顶点中，确定与所述第一数量的源顶点对应的第一数量的目标顶点；
基于所述第一数量的目标顶点，获取所述源表情模型对应的目标表情模型。
8.根据权利要求7所述的装置，其中，所述对齐模块进一步用于：
基于所述基准表情模型的拓扑结构，对所述源表情模型进行重拓扑处理，以生成所述对齐网格模型。
9.根据权利要求7所述的装置，其中，所述第二获取模块进一步用于：
基于所述基准表情模型和形变表情模型，确定形变迁移参数；
基于所述形变迁移参数，对所述对齐网格模型进行变换处理，以生成所述形变网格模型。
10.根据权利要求7所述的装置，其中，所述第三获取模块进一步用于：
基于网格细分算法，对所述形变网格模型进行网格细分处理，以生成所述细分网格模型。
11.根据权利要求7所述的装置，其中，所述第三获取模块进一步用于：
基于点吸附算法，在所述第二数量的网格顶点中，确定所述第一数量的目标顶点。
12.根据权利要求7所述的装置，其中，所述第三获取模块进一步用于：
将所述第一数量的目标顶点组成的集合，作为所述目标表情模型；或者，
基于预设规则，对所述第一数量的目标顶点进行调整，以获得第一数量的调整后的目标顶点，将所述第一数量的调整后的目标顶点组成的集合，作为所述目标表情模型。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310621031.8A CN116524165B (zh) | 2023-05-29 | 2023-05-29 | 三维表情模型的迁移方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310621031.8A CN116524165B (zh) | 2023-05-29 | 2023-05-29 | 三维表情模型的迁移方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116524165A CN116524165A (zh) | 2023-08-01 |
| CN116524165B true CN116524165B (zh) | 2024-01-19 |
Family
ID=87394202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310621031.8A Active CN116524165B (zh) | 2023-05-29 | 2023-05-29 | 三维表情模型的迁移方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116524165B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274528A (zh) * | 2023-08-31 | 2023-12-22 | 北京百度网讯科技有限公司 | 三维网格数据的获取方法、装置、电子设备与可读存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200005964A (ko) * | 2018-07-09 | 2020-01-17 | 에스케이텔레콤 주식회사 | 얼굴 영상 처리 방법 및 장치 |
| CN110866864A (zh) * | 2018-08-27 | 2020-03-06 | 阿里巴巴集团控股有限公司 | 人脸姿态估计/三维人脸重构方法、装置及电子设备 |
| CN115049799A (zh) * | 2022-06-14 | 2022-09-13 | 北京百度网讯科技有限公司 | 3d模型和虚拟形象的生成方法和装置 |
| CN115330848A (zh) * | 2022-03-31 | 2022-11-11 | 奥丁信息科技有限公司 | 用于三维面部重建的人脸表情迁移方法、装置和系统 |
| CN115409933A (zh) * | 2022-10-28 | 2022-11-29 | 北京百度网讯科技有限公司 | 多风格纹理贴图生成方法及其装置 |
| CN115457171A (zh) * | 2022-08-18 | 2022-12-09 | 北京理工大学 | 一种采用基表情空间变换的高效表情迁移方法 |
| CN115512012A (zh) * | 2022-09-23 | 2022-12-23 | 网易（杭州）网络有限公司 | 一种骨骼重映射方法、装置、计算机设备及存储介质 |
| CN115546361A (zh) * | 2021-06-30 | 2022-12-30 | 腾讯科技（深圳）有限公司 | 三维卡通形象处理方法、装置、计算机设备和存储介质 |
| CN115564642A (zh) * | 2022-12-05 | 2023-01-03 | 腾讯科技（深圳）有限公司 | 图像变换方法、装置、电子设备、存储介质及程序产品 |
-
2023
- 2023-05-29 CN CN202310621031.8A patent/CN116524165B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200005964A (ko) * | 2018-07-09 | 2020-01-17 | 에스케이텔레콤 주식회사 | 얼굴 영상 처리 방법 및 장치 |
| CN110866864A (zh) * | 2018-08-27 | 2020-03-06 | 阿里巴巴集团控股有限公司 | 人脸姿态估计/三维人脸重构方法、装置及电子设备 |
| CN115546361A (zh) * | 2021-06-30 | 2022-12-30 | 腾讯科技（深圳）有限公司 | 三维卡通形象处理方法、装置、计算机设备和存储介质 |
| CN115330848A (zh) * | 2022-03-31 | 2022-11-11 | 奥丁信息科技有限公司 | 用于三维面部重建的人脸表情迁移方法、装置和系统 |
| CN115049799A (zh) * | 2022-06-14 | 2022-09-13 | 北京百度网讯科技有限公司 | 3d模型和虚拟形象的生成方法和装置 |
| CN115457171A (zh) * | 2022-08-18 | 2022-12-09 | 北京理工大学 | 一种采用基表情空间变换的高效表情迁移方法 |
| CN115512012A (zh) * | 2022-09-23 | 2022-12-23 | 网易（杭州）网络有限公司 | 一种骨骼重映射方法、装置、计算机设备及存储介质 |
| CN115409933A (zh) * | 2022-10-28 | 2022-11-29 | 北京百度网讯科技有限公司 | 多风格纹理贴图生成方法及其装置 |
| CN115564642A (zh) * | 2022-12-05 | 2023-01-03 | 腾讯科技（深圳）有限公司 | 图像变换方法、装置、电子设备、存储介质及程序产品 |
Non-Patent Citations (1)
| Title |
|---|
| 表情数据库无关的人脸表情转移;吕培;徐明亮;谢蕾;周兵;;计算机辅助设计与图形学学报(第01期);68-74 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116524165A (zh) | 2023-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112862933B (zh) | 用于优化模型的方法、装置、设备以及存储介质 | |
| CN113095336B (zh) | 关键点检测模型的训练方法和检测目标对象关键点的方法 | |
| CN112652036B (zh) | 道路数据的处理方法、装置、设备及存储介质 | |
| CN113343803A (zh) | 模型训练方法、装置、设备和存储介质 | |
| CN115147265B (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
| CN114792355B (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
| JP2023143742A (ja) | ポイントクラウド処理モデルのトレーニング方法、ポイントクラウドインスタンス分割方法および装置 | |
| CN116524165B (zh) | 三维表情模型的迁移方法、装置、设备和存储介质 | |
| JP2023076820A (ja) | 画像処理方法、装置、電子機器、及び記憶媒体 | |
| CN115797565A (zh) | 三维重建模型训练方法、三维重建方法、装置及电子设备 | |
| CN115761130A (zh) | 三维场景快速构建方法、装置、电子设备以及存储介质 | |
| CN114998433A (zh) | 位姿计算方法、装置、存储介质以及电子设备 | |
| CN112784102B (zh) | 视频检索方法、装置和电子设备 | |
| US9135749B2 (en) | Method and apparatus for processing three-dimensional model data | |
| CN114266937A (zh) | 模型训练、图像处理方法，装置，设备以及存储介质 | |
| CN113344213A (zh) | 知识蒸馏方法、装置、电子设备及计算机可读存储介质 | |
| CN112862934A (zh) | 用于处理动画的方法、装置、设备、介质和产品 | |
| EP4086853A2 (en) | Method and apparatus for generating object model, electronic device and storage medium | |
| EP4155670A1 (en) | Intersection vertex height value acquisition method and apparatus, electronic device and storage medium | |
| CN114581586A (zh) | 一种模型基底的生成方法、装置、电子设备及存储介质 | |
| CN113361719A (zh) | 基于图像处理模型的增量学习方法和图像处理方法 | |
| CN113570067A (zh) | 分布式系统的同步方法、装置及程序产品 | |
| CN113313049A (zh) | 超参数的确定方法、装置、设备、存储介质以及计算机程序产品 | |
| CN114037814B (zh) | 数据处理方法、装置、电子设备和介质 | |
| CN115730681B (zh) | 模型训练方法、装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |