CN114926581A - 二维到三维人脸表情迁移方法、电子装置及存储介质 - Google Patents

二维到三维人脸表情迁移方法、电子装置及存储介质 Download PDF

Info

Publication number
CN114926581A
CN114926581A CN202210430797.3A CN202210430797A CN114926581A CN 114926581 A CN114926581 A CN 114926581A CN 202210430797 A CN202210430797 A CN 202210430797A CN 114926581 A CN114926581 A CN 114926581A
Authority
CN
China
Prior art keywords
dimensional
face
expression
virtual
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210430797.3A
Other languages
English (en)
Inventor
白泽琛
陈辉
姚乃明
王宏安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Software of CAS
Original Assignee
Institute of Software of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Software of CAS filed Critical Institute of Software of CAS
Priority to CN202210430797.3A priority Critical patent/CN114926581A/zh
Publication of CN114926581A publication Critical patent/CN114926581A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种二维到三维人脸表情迁移方法、电子装置及存储介质，属于计算机视觉领域。该方法包括：获取真实交互场景下的二维人脸图像作为源表情表示，虚拟交互场景下的三维人脸形变模型作为目标三维人脸表情表示；为二维人脸图像提取人脸三维参数；基于人脸三维参数中的表情参数，通过融合变形系数估计模型获取目标表情的融合变形系数；依据所得目标表情融合变形系数驱动三维人脸模型生成目标表情表示。本发明能够有效提取人脸表情相关参数，缓解人脸表情从二维空间到三维空间的跨维度难题；将表情参数变换至目标融合变形系数，保证了该方法的广泛适用性。本方法可实现准确、快速的人脸表情迁移，可用于提升动画师在进行三维人脸建模与创作过程中的工作效率。

Description

二维到三维人脸表情迁移方法、电子装置及存储介质
技术领域
本发明属于计算机视觉和三维建模的相关技术领域，特别涉及一种二维到三维人脸表情迁移方法、电子装置及存储介质。
背景技术
人脸形象在日常生活中起着至关重要的作用，它反映了每个人的基本身份特征。同时，丰富的面部表情能够传递一个人的情感和精神状态，表达十分丰富的社会文化意义。在虚拟环境中，如果虚拟人能够准确地模仿人类的面部表情，将会大大缩短虚拟人和真实人类之间的距离。随着元宇宙等新概念的提出，虚拟现实和人工智能成为未来技术发展的两大基石。人们希望在计算机模拟的虚拟环境中，能够可以像真实人类一样同虚拟人进行交流与互动。在实现这一目标过程中，赋予虚拟人更加丰富的表情是非常重要的一步。丰富的面部表情可以极大地提升虚拟人的真实度和表现力，给予用户更为沉浸的体验，让交互行为更有意义。
目前，在绝大多数虚拟现实应用中，三维虚拟人的表情建模与动画创作需要依赖三维动画设计师手工完成。具体来讲，设计师需要首先为三维虚拟人创作一组基于模型形变的融合变形表情基模型来表现面部肌肉运动。在创作表情动画过程中，设计师需要手动设定一组融合变形系数，然后反复观察、评估和调整这一套系数对应的表情效果。这种试错的方式需要消耗极大的时间和精力，创作效率极受限制。其中，融合变形(blendshape)是对三维模型的单个网格变形以实现大量预定义形状和任何数量之间组合的技术。
人脸表情迁移技术能够将已有表情从现有模型迁移到新模型上，为模型创建新的面部表情动画。该技术降低了为新模型制作表情动画的时间成本，大大提升了制作效率，为高真实感人脸表情动画的合成提供了新的思路。相比于三维人脸表情，二维的人脸表情图像具有分布范围广、资源丰富的特点。将二维人脸表情迁移到三维人脸模型上，是一项非常具有现实意义的技术，同时也是一个非常富有挑战的问题。
目前二维到三维人脸表情迁移相关的发明研究还相对较少，与该问题密切相关的一个任务是基于二维真实人脸图像的三维游戏角色自动生成。
中国专利申请CN201811556498.4(CN109636886A)中提供了一种图像的处理方法和相关装置，该方法将真实场景人脸作为第一面部图像，将基于捏脸参数渲染得到的虚拟场景人脸作为第二面部图像，通过度量第一面部图像和第二面部图像之间的相似度，对捏脸参数进行多次调整，从而实现捏脸参数估计的目标。该方法需要多轮次的迭代式操作，实用性欠佳。
中国专利申请CN201911014108.5(CN110717977A)中提供了一种游戏角色面部处理方法和相关装置，该方法首先获取真实人脸图像的身份信息和内容特征信息，并基于这些信息预测目标捏脸参数，并渲染生成虚拟图像。该方法通过最小化真实人脸图像和渲染虚拟图像之间的身份信息以及内容特征信息的差异来进行优化。该方法得到弊端在于，往往需要多张人脸图像才能达到比较好的效果。
这类方法对于二维到三维人脸表情迁移有一定启发和借鉴意义，但他们共同的弊端在于，捏脸过程中的身份信息和表情信息耦合在一起，无法实现灵活的人脸表情迁移。然而在实际的人脸表情迁移应用中，往往要求固定三维人脸模型的身份信息，只需要迁移表情信息。
基于以上背景，构建一套可操作性强、适用范围广的二维到三维人脸表情迁移方法及装置，是目前该领域亟需解决的问题。
发明内容
为了克服上述现有技术的不足，本发明提供了一种二维到三维人脸表情迁移的方法及电子装置，以计算机视觉技术与人工智能领域深度学习技术作为技术基础，将人脸表情从真实场景下的二维图像迁移到虚拟的三维人脸形变模型，极大的减轻了设计师制作虚拟人脸表情和动画的人工负担。
为了达到上述目的，本发明的技术方法包括：
一种二维到三维人脸表情迁移方法，包括以下步骤：
获取真实交互场景下的二维人脸图像，作为源表情表示；获取虚拟交互场景下的三维人脸形变模型，作为目标三维人脸表情表示；
采用预先训练的人脸三维参数提取模型，对所述二维人脸图像进行人脸三维参数提取；所述人脸三维参数包括身份参数、表情参数、相机参数；
将所述二维人脸图像对应的所述表情参数输入一个预先训练的融合变形系数估计模型，获得融合变形系数；
将所述融合变形系数输入三维建模软件，驱动所述三维人脸形变模型，获得目标三维人脸表情表示，具有与所述二维人脸图像一致的表情。
可选地，所述三维人脸形变模型包括一组能够表达基本面部肌肉运动的融合变形表情基模型。
可选地，所述人脸三维参数提取模型是一种神经网络模型，采用如下方式训练得到：
采集真实样本训练集，所述真实样本训练集包含多张真实交互场景内的人脸图像；
获取三维重建渲染器，所述三维重建渲染器以可微分的方式基于三维参数进行三维重建、渲染、投影；
采用所述真实样本训练集和所述三维重建渲染器，训练得到所述人脸三维参数提取模型。
可选地，采用所述真实样本训练集和所述三维重建渲染器，训练得到所述人脸三维参数提取模型，包括：
将所述真实样本训练集中的多张真实人脸图像输入待训练的人脸三维参数提取模型，获得各人脸图像对应的人脸三维参数；
根据所述各人脸图像对应的人脸三维参数，进行三维重建，获得三维人脸重建结果；
根据所述三维人脸重建结果，获得对应二维人脸投影图像；
根据所述真实人脸图像、所述二维人脸投影图像、以及预设的损失函数，对所述人脸三维参数提取模型的神经网络参数进行迭代优化，得到所述人脸三维参数提取模型。
可选地，所述融合变形系数估计模型是一种神经网络模型，采用如下方式训练得到：
采集虚拟样本训练集，所述虚拟样本训练集包含多组部分随机生成的融合变形系数，以及与之对应的虚拟交互场景内的虚拟人脸图像与虚拟人脸表情参数；
采用所述虚拟样本训练集，训练得到所述融合变形系数估计模型。
可选地，所述虚拟样本训练集中所述多组部分随机生成的融合变形系数的获取方式包括：
完全随机生成多组融合变形系数；
根据人类生理学和肌肉运动等先验知识，制定形变规则库；
使用所述形变规则库，对所述完全随机生成的多组融合变形系数中不合理的融合变形系数进行过滤，获得所述多组部分随机生成的融合变形系数。
可选地，所述虚拟人脸图像与虚拟人脸表情参数的获取方式包括：
将所述部分随机生成的融合变形系数输入三维建模软件，驱动所述三维人脸形变模型，并使用三维建模软件的渲染功能，获得所述虚拟人脸图像；
将所述虚拟人脸图像输入所述预先训练的人脸三维参数提取模型，获得所述虚拟人脸表情参数。
可选地，采用所述虚拟样本训练集，训练得到所述融合变形系数估计模型，包括：
将所述虚拟人脸表情参数输入待训练的融合变形系数估计模型，获得预估的虚拟人脸融合变形系数；
根据所述部分随机生成的融合变形系数、所述预估的虚拟人脸融合变形系数、预设的损失函数，对所述待训练的融合变形系数估计模型的神经网络参数进行迭代优化，得到所述融合变形系数估计模型。
一种存储介质，所述存储介质中存储有计算机程序和数据，其中，所述计算机程序和数据被设置为运行时执行上述所述的方法。
一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序和数据，所述处理器被设置为运行所述计算机程序和数据以执行上述所述的方法。
本发明的有益效果是：
1、本发明以计算机视觉技术与人工智能领域深度学习技术作为基础，将人脸表情从真实场景下的二维图像迁移到虚拟场景下的三维人脸形变模型，极大的提升了动画师在进行三维人脸建模与创作过程中的工作效率；
2、本发明对于源表情表示无特殊格式或数量要求，仅需单张二维人脸图像即可，考虑到二维人脸图像的广泛性，这一特性极大的提升了该方法的实用性，拓宽了应用范围；
3、本发明通过借助人脸三维参数提取，将二维人脸图像在三维空间中进行参数化表示，这一做法有效的缓解人脸表情从二维空间到三维空间的跨维度难题；
4、本发明通过借助人脸三维参数提取，可以有效的对身份、表情和姿态等信息进行解耦，从而使模型关注到人脸表情上，实现更准确、有效的表情迁移。
附图说明
图1是本发明一种二维到三维人脸表情迁移方法的结构示意图。
图2是构建图1中人脸三维参数提取模型的细节流程说明图。
图3是获取虚拟样本训练集的细节流程说明图。
图4是构建图1中融合变形系数估计模型的细节流程说明图。
图5是本发明所实现的由二维到三维的人脸表情迁移效果图。
具体实施方式
下面结合附图对本发明作具体说明。应该指出，所描述的实施例仅是为了说明的目的，而不是对本发明范围的限制。
本发明公开了一种二维到三维人脸表情迁移方法，该方法的结构示意图如图1所示。
该方法能够基于真实交互场景下的二维人脸图像作为源表情表示，来预测估计一组融合变形系数，使之能够在虚拟场景下的三维人脸形变模型中复现源表情。该方法对源表情无格式、数量等特殊需求，仅需要单张二维人脸图像即可完成人脸表情迁移任务。
在本发明的一个实施例中，真实场景为现实世界的场景，二维人脸图像即为现实世界中任意人拍摄的面部图像，虚拟场景为计算机内的虚拟三维空间，例如三维建模软件中的空间，三维人脸形变模型包含50个融合变形表情基模型，用于表达基本面部肌肉运动。在获取到真实场景二维人脸图像后，采用预先训练的人脸三维参数提取模型，对该二维人脸图像进行人脸三维参数提取。之后，将其中的表情参数输入融合变形系数估计模型，获得目标表情融合变形系数。最后，将目标融合变形系数输入三维建模软件，驱动三维人脸形变模型，获得目标三维人脸表情表示，具有与二维人脸图像一致的表情
1.一种人脸三维参数提取模型
该模型旨在将二维人脸图像在三维空间中进行参数化的表示。该模型的具体结构在图2中展示。
在该实施例中，人脸三维参数提取模型采用深度残差神经网络进行实现，人脸三维参数包括身份参数、表情参数和相机参数三部分。其中身份参数还可细分为形状和纹理两部分，表情参数即本实施例中所重点关注的部分，相机参数还可以细分为角度和光照两部分。这一系列参数可以作为二维人脸图像在三维空间中的参数化表示。基于这些参数，可以对人脸进行三维重建与渲染。
在该实施例中，人脸三维参数提取模型的深度残差神经网络中的权重为待优化项。该模型的优化过程为，基于大规模真实场景人脸图像数据集，模型首先预测人脸图像的人脸三维参数，然后基于该人脸三维参数对人脸进行三维重建。之后，以投影的方式从人脸三维重建的结果中获取二维人脸图像。通过对真实场景人脸图像和重建后投影的人脸图像的相似度进行对比度量，计算得到联合损失，之后通过梯度反向传播算法，将该损失量转化为梯度向量反向传播回到模型各个层，模型中的权重基于反向回传到的梯度向量，对自身数值进行调整。
在该实施例中，损失函数共包括三项：
1)图像损失：Lphoto＝||I-I′||2
2)关键点损失：
Figure BDA0003610349620000051
3)感知损失：
Figure BDA0003610349620000052
其中，I和I′分别表示真实场景人脸图像和重建投影人脸图像，qn和q′ n分别代表真实场景人脸图像和重建投影人脸图像的各自的人脸关键点，N代表关键点数量，f代表人脸图像感知网络模型，<>表示向量内积，||||2表示均方误差，||||表示向量模长。
在该实施例中，N的数值为68，f采用的是基于大规模人脸图像预训练的VGG深度神经网络。
在该实施例中，通过有权重的相加各项损失函数的方式来计算总体的损失函数。三项的权重分别为1.9，1.6e-3，0.2。
2.构建虚拟样本训练集
针对具有不同融合变形拓扑结构的三维人脸形变模型，需要为之构建个性化的虚拟样本训练集。这一部分的具体流程在图3中展示。
在该实施例中，虚拟样本训练集包括多组部分随机生成的融合变形系数，以及与之对应的虚拟交互场景内的虚拟人脸图像与虚拟人脸表情参数。
在该实施例中，在获取部分随机生成的融合变形系数的过程中，针对每一个样本而言，首先对样本中每一个融合变形随机生成一个0～1之间的数值，即获得完全随机生成的融合变形系数。然而，这种生成方式往往会导致一些非法的数值组合。例如，一个人的嘴角几乎不可能同时既向上又向下运动，意味着嘴角上扬和嘴角下撇这两个融合变形的系数不应同时出现比较大的数值。针对个性化的三维人脸形变模型，依据人类的先验知识和模型中具体融合变形的拓扑结构，可以制定出一套诸如此类的形变规则，构建形变规则库，用于过滤非法的数值组合。经过形变规则库的筛选后，可以得到一套合理的融合变形系数，即为部分随机生成的融合变形系数。
在该实施例中，关于获取虚拟人脸图像，在三维建模软件(Maya)中使用了正对三维人脸形变模型的摄像头，基于上述部分随机生成的融合变形系数，驱动三维人脸形变模型生成相应表情，并采用Maya内置的渲染功能，获取虚拟人脸图像。
在该实施例中，关于获取虚拟人脸表情参数，基于训练好的人脸三维参数提取模型，对虚拟人脸图像提取人脸三维参数，并保存其中的表情参数。
在该实施例中，虚拟样本训练集包含以上三部分。在具体应用中，可以将每一个样本视为一个三元组，即每个样本都包含一组融合变形系数，一张虚拟人脸图像，以及一组虚拟人脸表情参数。
3.一种融合变形系数估计模型
该模型将人脸三维参数中的表情参数变换至虚拟场景下的三维人脸形变模型的目标表情融合变形系数。该模型的具体细节在图4中展示。
在该实施例中，融合变形系数估计模型采用自主设计的神经网络实现。具体来讲，其中包含两层全连接层以及一个激活函数层，用于实现非线性变换的操作。此外，考虑到融合变形系数的数值一定是介于0～1的范围之间，模型最后一层额外设置一个截断层将上一层输出的范围之外的数值进行截断操作。例如，第二层全连接层输出的数值为1.1，则在截断层，该数值会被置为1.0。这样的操作确保了整个模型输出的融合变形系数在数值范围是合法的。
在该实施例中，融合变形系数估计模型中全连接层的权重为待优化项。该模型的训练优化基于上述构建的虚拟样本训练集进行。融合变形系数估计模型旨在建立数据集中虚拟人脸表情参数和融合变形系数之间的映射关系。优化过程为，通过计算模型预测估计的融合变形系数和数据集中原有的部分随机生成融合变形系数之间的差异，得到损失量，然后通过梯度反向传播算法，优化融合变形系数估计模型中的权重。
在该实施例中，该模型的损失函数为所述两组融合变形系数之间的均方误差。
由上述实施例可知，该实施例将真实场景下二维人脸图像首先映射到三维空间中，使用人脸三维参数进行参数化表示，然后将其中的表情参数变换至三维人脸形变模型的目标表情融合变形系数，再基于模型估计得到的融合变形系数驱动三维人脸形变模型生成表情，从而实现了从二维到三维的人脸表情迁移。
本申请的实验数据包括两部分，表1是本发明在该实施例中的误差结果，以及不同模型结构所带来的结果之间的对比。数值代表预测时的融合变形系数和生成时的融合变形系数之间的平均绝对误差，反映了所述方法对于三维人脸表情融合变形系数预测的准确程度。如表1所示，本发明通过对比不同网络结构和超参数设定，探索得到一套误差较低的设定，即在模型中同时使用LeakyReLU激活函数和Clamp截断层。
表1
网络结构 隐层结点数 平均绝对误差
Linear->ReLU->Linear 256 0.09
Linear->ReLU->Linear 100 0.10
Linear->ReLU->Linear 384 0.09
Linear->LeakyReLU->Linear 256 0.09
Linear->ReLU->Linear->Clamp 256 0.08
Linear->LeakyReLU->Linear->Clamp 256 0.07
图5为本发明的定量实验结果效果图。图片分为三列，每一列的例子中，左侧为真实场景下采集的人脸图像，右侧为基于本发明提出的方法，从二维到三维进行人脸表情迁移之后的结果。通过对比可以观察到，右侧的经过表情迁移后的三维人脸形变模型能够生动的重现左侧真实人脸上的表情，无关性别，无关年龄，无关姿态，验证了本发明提出方法的有效性，并且具有很强的鲁棒性。
本发明的另一实施例提供一种存储介质(如ROM/RAM、磁盘、光盘)，所述存储介质中存储有计算机程序和数据，其中，所述计算机程序和数据被设置为运行时执行上述所述的方法。
本发明的另一实施例提供一种电子装置(计算机、服务器、智能手机等)，包括存储器和处理器，所述存储器中存储有计算机程序和数据，所述处理器被设置为运行所述计算机程序和数据以执行上述所述的方法。
以上实施仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (10)

1.一种二维到三维人脸表情迁移方法，其特征在于，包括以下步骤：
获取真实交互场景下的二维人脸图像，作为源表情表示；获取虚拟交互场景下的三维人脸形变模型，作为目标三维人脸表情表示；
采用预先训练的人脸三维参数提取模型，对所述二维人脸图像进行人脸三维参数提取；所述人脸三维参数包括身份参数、表情参数、相机参数；
将所述二维人脸图像对应的所述表情参数输入一个预先训练的融合变形系数估计模型，获得融合变形系数；
将所述融合变形系数输入三维建模软件，驱动所述三维人脸形变模型，获得目标三维人脸表情表示，具有与所述二维人脸图像一致的表情。
2.如权利要求1所述的方法，其特征在于，所述三维人脸形变模型包括一组能够表达基本面部肌肉运动的融合变形表情基模型。
3.如权利要求1所述的方法，其特征在于，所述人脸三维参数提取模型是一种神经网络模型，采用如下方式训练得到：
采集真实样本训练集，所述真实样本训练集包含多张真实交互场景内的人脸图像；
获取三维重建渲染器，所述三维重建渲染器能够以可微分的方式基于三维参数进行三维重建、渲染、投影；
采用所述真实样本训练集和所述三维重建渲染器，训练得到所述人脸三维参数提取模型。
4.如权利要求3所述的方法，其特征在于，采用所述真实样本训练集和所述三维重建渲染器，训练得到所述人脸三维参数提取模型，包括：
将所述真实样本训练集中的多张真实人脸图像输入待训练的人脸三维参数提取模型，获得各人脸图像对应的人脸三维参数；
根据所述各人脸图像对应的人脸三维参数，进行三维重建，获得三维人脸重建结果；
根据所述三维人脸重建结果，获得对应二维人脸投影图像；
根据所述真实人脸图像、所述二维人脸投影图像、以及预设的损失函数，对所述人脸三维参数提取模型的神经网络参数进行迭代优化，得到所述人脸三维参数提取模型。
5.如权利要求1所述的方法，其特征在于，所述融合变形系数估计模型是一种神经网络模型，采用如下方式训练得到：
采集虚拟样本训练集，所述虚拟样本训练集包含多组部分随机生成的融合变形系数，以及与之对应的虚拟交互场景内的虚拟人脸图像与虚拟人脸表情参数；
采用所述虚拟样本训练集，训练得到所述融合变形系数估计模型。
6.如权利要求5所述的方法，其特征在于，所述虚拟样本训练集中所述多组部分随机生成的融合变形系数的获取方式包括：
完全随机生成多组融合变形系数；
根据人类生理学和肌肉运动的先验知识，制定形变规则库；
使用所述形变规则库，对所述完全随机生成的多组融合变形系数中不合理的融合变形系数进行过滤，获得所述多组部分随机生成的融合变形系数。
7.如权利要求5所述的方法，其特征在于，所述虚拟人脸图像与虚拟人脸表情参数的获取方式包括：
将所述部分随机生成的融合变形系数输入三维建模软件，驱动所述三维人脸形变模型，并使用三维建模软件的渲染功能，获得所述虚拟人脸图像；
将所述虚拟人脸图像输入所述预先训练的人脸三维参数提取模型，获得所述虚拟人脸表情参数。
8.如权利要求5所述的方法，其特征在于，采用所述虚拟样本训练集，训练得到所述融合变形系数估计模型，包括：
将所述虚拟人脸表情参数输入待训练的融合变形系数估计模型，获得预估的虚拟人脸融合变形系数；
根据所述部分随机生成的融合变形系数、所述预估的虚拟人脸融合变形系数、预设的损失函数，对所述待训练的融合变形系数估计模型的神经网络参数进行迭代优化，得到所述融合变形系数估计模型。
9.一种存储介质，所述存储介质中存储有计算机程序和数据，其中，所述计算机程序和数据被设置为运行时执行权利要求1-8中任一项所述的方法。
10.一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序和数据，所述处理器被设置为运行所述计算机程序和数据以执行如权利要求1-8中任一项所述的方法。
CN202210430797.3A 2022-04-22 2022-04-22 二维到三维人脸表情迁移方法、电子装置及存储介质 Pending CN114926581A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210430797.3A CN114926581A (zh) 2022-04-22 2022-04-22 二维到三维人脸表情迁移方法、电子装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210430797.3A CN114926581A (zh) 2022-04-22 2022-04-22 二维到三维人脸表情迁移方法、电子装置及存储介质

Publications (1)

Publication Number Publication Date
CN114926581A true CN114926581A (zh) 2022-08-19

Family

ID=82807259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210430797.3A Pending CN114926581A (zh) 2022-04-22 2022-04-22 二维到三维人脸表情迁移方法、电子装置及存储介质

Country Status (1)

Country Link
CN (1) CN114926581A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115346262A (zh) * 2022-08-23 2022-11-15 北京字跳网络技术有限公司 一种表情驱动参数的确定方法、装置、设备及存储介质
CN116310146A (zh) * 2023-05-16 2023-06-23 北京邃芒科技有限公司 人脸图像重演方法、系统、电子设备、存储介质
CN116612211A (zh) * 2023-05-08 2023-08-18 山东省人工智能研究院 一种基于gan和3d系数重建的人脸图像身份合成方法
CN117876550A (zh) * 2024-03-11 2024-04-12 国网电商科技有限公司 一种基于大数据的虚拟数字人渲染方法、系统及终端设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115346262A (zh) * 2022-08-23 2022-11-15 北京字跳网络技术有限公司 一种表情驱动参数的确定方法、装置、设备及存储介质
CN116612211A (zh) * 2023-05-08 2023-08-18 山东省人工智能研究院 一种基于gan和3d系数重建的人脸图像身份合成方法
CN116612211B (zh) * 2023-05-08 2024-02-02 山东省人工智能研究院 一种基于gan和3d系数重建的人脸图像身份合成方法
CN116310146A (zh) * 2023-05-16 2023-06-23 北京邃芒科技有限公司 人脸图像重演方法、系统、电子设备、存储介质
CN116310146B (zh) * 2023-05-16 2023-10-27 北京邃芒科技有限公司 人脸图像重演方法、系统、电子设备、存储介质
CN117876550A (zh) * 2024-03-11 2024-04-12 国网电商科技有限公司 一种基于大数据的虚拟数字人渲染方法、系统及终端设备
CN117876550B (zh) * 2024-03-11 2024-05-14 国网电商科技有限公司 一种基于大数据的虚拟数字人渲染方法、系统及终端设备

Similar Documents

Publication Publication Date Title
CN114926581A (zh) 二维到三维人脸表情迁移方法、电子装置及存储介质
US11741668B2 (en) Template based generation of 3D object meshes from 2D images
CN111325851B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
WO2021184933A1 (zh) 一种人体三维模型重建方法
CN111369681A (zh) 三维模型的重构方法、装置、设备及存储介质
Wang et al. Rewriting geometric rules of a GAN.
US11514638B2 (en) 3D asset generation from 2D images
CN113822982A (zh) 一种人体三维模型构建方法、装置、电子设备及存储介质
KR20230004837A (ko) 생성형 비선형 인간 형상 모형
JP2023545189A (ja) 画像処理方法、装置、及び電子機器
Zhao et al. Computer-aided graphic design for virtual reality-oriented 3D animation scenes
CN114202615A (zh) 人脸表情的重建方法、装置、设备和存储介质
Wu et al. 3D film animation image acquisition and feature processing based on the latest virtual reconstruction technology
CN117218300B (zh) 三维模型的构建方法、三维构建模型的训练方法及装置
CN116385667B (zh) 三维模型的重建方法、纹理重构模型的训练方法以及装置
Li The influence of digital twins on the methods of film and television creation
Song et al. Sparse rig parameter optimization for character animation
US11715247B1 (en) Generating a facial rig for use in animating a computer-generated character based on facial scans and muscle models of multiple live actors
Escobar et al. An Attention Economy Theme Park
Nie et al. Reconstructing and editing fluids using the adaptive multilayer external force guiding model
Zhan et al. High-Quality Graphic Rendering and Synthesis of Design Graphics Using Generating Adversarial Networks
CN117456128A (zh) 三维重建方法、装置、设备及存储介质
Wang et al. Animation Design Based on Anatomically Constrained Neural Networks
Pei et al. Tissue map based craniofacial reconstruction and facial deformation using rbf network
Deng Realistic image generation in virtual reality using deep learning techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination