CN113989443A - 一种虚拟人脸图像重建方法及相关装置 - Google Patents

一种虚拟人脸图像重建方法及相关装置 Download PDF

Info

Publication number
CN113989443A
CN113989443A CN202111487936.8A CN202111487936A CN113989443A CN 113989443 A CN113989443 A CN 113989443A CN 202111487936 A CN202111487936 A CN 202111487936A CN 113989443 A CN113989443 A CN 113989443A
Authority
CN
China
Prior art keywords
face
face image
virtual
preset
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111487936.8A
Other languages
English (en)
Inventor
张晓晔
梁俊韬
陈禹明
郑培文
杨英仪
吴勇
赖嘉骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Southern Power Grid Power Technology Co Ltd
Original Assignee
China Southern Power Grid Power Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Southern Power Grid Power Technology Co Ltd filed Critical China Southern Power Grid Power Technology Co Ltd
Priority to CN202111487936.8A priority Critical patent/CN113989443A/zh
Publication of CN113989443A publication Critical patent/CN113989443A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种虚拟人脸图像重建方法及相关装置，方法包括：获取目标二维人脸图像和对应的初始化三维人脸参数；将初始化三维人脸参数输入至预设人脸模拟引擎中进行渲染，得到虚拟人脸图像；基于预设人脸识别模型根据目标二维人脸图像和虚拟人脸图像进行身份校验，得到第一损失值；基于预设人脸语义分割模型根据目标二维人脸图像和虚拟人脸图像进行人脸特征校验，得到第二损失值；根据第一损失值和第二损失值对初始化三维人脸参数进行优化，得到更新三维人脸参数，并返回渲染的步骤，直至迭代收敛，得到优化虚拟人脸图像。本申请能够解决现有人脸重建技术中的渲染不可微，导致渲染引擎无法优化的技术问题。

Description

一种虚拟人脸图像重建方法及相关装置
技术领域
本申请涉及人脸图像处理技术领域，尤其涉及一种虚拟人脸图像重建方法及相关装置。
背景技术
近年来，随着智能电网的动态特性日渐复杂，数字孪生技术得到广泛的应用。其中，对人员状况的实时描述也是当中的一个重要环节。而人脸作为最能代表个人的生物特征，如何将用户的人脸进行一个高精度的虚拟化重建也是智能电网数字孪生的一个研究热点问题。
目前，有使用通用引擎来进行三维人脸的渲染以及重建，但该引擎的渲染过程是不可微的，无法优化引擎生成的三维人脸。
发明内容
本申请提供了一种虚拟人脸图像重建方法及相关装置，用于解决现有人脸重建技术中的渲染不可微，导致渲染引擎无法优化的技术问题。
有鉴于此，本申请第一方面提供了一种虚拟人脸图像重建方法，包括：
获取目标二维人脸图像和对应的初始化三维人脸参数；
将所述初始化三维人脸参数输入至预设人脸模拟引擎中进行渲染，得到虚拟人脸图像；
基于预设人脸识别模型根据所述目标二维人脸图像和所述虚拟人脸图像进行身份校验，得到第一损失值；
基于预设人脸语义分割模型根据所述目标二维人脸图像和所述虚拟人脸图像进行人脸特征校验，得到第二损失值；
根据所述第一损失值和所述第二损失值对所述初始化三维人脸参数进行优化，得到更新三维人脸参数，并返回所述将所述初始化三维人脸参数输入至预设人脸模拟引擎中进行渲染的步骤，直至迭代收敛，得到优化虚拟人脸图像。
优选地，所述将所述初始化三维人脸参数输入至预设人脸模拟引擎中进行渲染，得到虚拟人脸图像，之前还包括：
获取单目人脸图像对应的随机三维参数；
将所述随机三维参数输入初始模拟引擎中进行渲染，得到初始虚拟人脸图像；
将所述初始虚拟人脸图像与预设真实人脸图像进行预设像素级损失计算，得到优化损失值，所述预设真实人脸图像通过通用引擎根据所述随机三维参数渲染得到；
通过所述优化损失值优化所述初始模拟引擎的网络参数，得到预设人脸模拟引擎。
优选地，所述预设人脸识别模型的身份验证损失函数为：
L1＝1-cos(FR(G(α)),FR(I))
其中，cos为计算两个目标之间的余弦距离，FR(·)表示人脸识别网络的卷积计算函数，I为所述目标二维人脸图像，G(α)为所述虚拟人脸图像。
优选地，所述预设人脸语义分割模型的人脸特征验证损失函数为：
L2＝||ω(G(α))FS(G(α))-ω(I)FS(I)||1
其中，ω(·)为所述预设人脸语义分割模型中的权值计算，FS(·)表示所述预设人脸语义分割模型的卷积计算函数。
本申请第二方面提供了一种虚拟人脸图像重建装置，包括：
目标获取模块，用于获取目标二维人脸图像和对应的初始化三维人脸参数；
图像渲染模块，用于将所述初始化三维人脸参数输入至预设人脸模拟引擎中进行渲染，得到虚拟人脸图像；
第一校验模块，用于基于预设人脸识别模型根据所述目标二维人脸图像和所述虚拟人脸图像进行身份校验，得到第一损失值；
第二校验模块，用于基于预设人脸语义分割模型根据所述目标二维人脸图像和所述虚拟人脸图像进行人脸特征校验，得到第二损失值；
优化迭代模块，用于根据所述第一损失值和所述第二损失值对所述初始化三维人脸参数进行优化，得到更新三维人脸参数，并返回所述将所述初始化三维人脸参数输入至预设人脸模拟引擎中进行渲染的步骤，直至迭代收敛，得到优化虚拟人脸图像。
优选地，还包括：
参数获取模块，用于获取单目人脸图像对应的随机三维参数；
训练渲染模块，用于将所述随机三维参数输入初始模拟引擎中进行渲染，得到初始虚拟人脸图像；
损失计算模块，用于将所述初始虚拟人脸图像与预设真实人脸图像进行预设像素级损失计算，得到优化损失值，所述预设真实人脸图像通过通用引擎根据所述随机三维参数渲染得到；
引擎优化模块，用于通过所述优化损失值优化所述初始模拟引擎的网络参数，得到预设人脸模拟引擎。
优选地，所述预设人脸识别模型的身份验证损失函数为：
L1＝1-cos(FR(G(α)),FR(I))
其中，cos为计算两个目标之间的余弦距离，FR(·)表示人脸识别网络的卷积计算函数，I为所述目标二维人脸图像，G(α)为所述虚拟人脸图像。
优选地，所述预设人脸语义分割模型的人脸特征验证损失函数为：
L2＝||ω(G(α))FS(G(α))-ω(I)FS(I)||1
其中，ω(·)为所述预设人脸语义分割模型中的权值计算，FS(·)表示所述预设人脸语义分割模型的卷积计算函数。
本申请第三方面提供了一种虚拟人脸图像重建设备，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面所述的虚拟人脸图像重建方法。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所述的虚拟人脸图像重建方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请中，提供了一种虚拟人脸图像重建方法，包括：获取目标二维人脸图像和对应的初始化三维人脸参数；将初始化三维人脸参数输入至预设人脸模拟引擎中进行渲染，得到虚拟人脸图像；基于预设人脸识别模型根据目标二维人脸图像和虚拟人脸图像进行身份校验，得到第一损失值；基于预设人脸语义分割模型根据目标二维人脸图像和虚拟人脸图像进行人脸特征校验，得到第二损失值；根据第一损失值和第二损失值对初始化三维人脸参数进行优化，得到更新三维人脸参数，并返回将初始化三维人脸参数输入至预设人脸模拟引擎中进行渲染的步骤，直至迭代收敛，得到优化虚拟人脸图像。
本申请提供的虚拟人脸图像重建方法，通过基于神经网络的各种模型对模拟引擎渲染出来的虚拟人脸图像进行验证，不仅包括全局身份验证，还包括局部的人脸特征验证，根据生成的损失值综合更新初始化三维人脸参数，通过优化迭代的方式不断优化虚拟人脸的渲染性能，进而提高虚拟人脸图像重建的可靠性和准确性。因此，本申请能够解决现有人脸重建技术中的渲染不可微，导致渲染引擎无法优化的技术问题。
附图说明
图1为本申请实施例提供的一种虚拟人脸图像重建方法的流程示意图；
图2为本申请实施例提供的一种虚拟人脸图像重建装置的结构示意图；
图3为本申请实施例提供的虚拟人脸优化简要流程示意图；
图4为本申请实施例提供的预设人脸模拟引擎训练过程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，请参阅图1，本申请提供的一种虚拟人脸图像重建方法的实施例，包括：
步骤101、获取目标二维人脸图像和对应的初始化三维人脸参数。
将目标二维人脸图像输入3DMM(3D Morphable Model)中进行处理，就可以获取到对应的初始化三维人脸参数，可以记作α0。目标二维人脸图像为2D的单目图像。3DMM模型的表达式为：
Figure BDA0003397311620000051
其中，S为三维人脸形状，
Figure BDA0003397311620000052
为平均三维人脸形状，G为人脸形状基，α为对应人脸形状基的系数，所以α可以代表三维人脸参数。
步骤102、将初始化三维人脸参数输入至预设人脸模拟引擎中进行渲染，得到虚拟人脸图像。
请参阅图3，将初始化三维人脸参数α0输入预设人脸模拟引擎中进行渲染处理，即可得到虚拟化的人脸图像，此时的虚拟人脸图像与真实图像的相似度可能没那么高，需要通过不断的渲染优化操作不断完善图像，才能得到高精度的虚拟人脸图像。
进一步地，步骤102，之前还包括：
获取单目人脸图像对应的随机三维参数；
将随机三维参数输入初始模拟引擎中进行渲染，得到初始虚拟人脸图像；
将初始虚拟人脸图像与预设真实人脸图像进行预设像素级损失计算，得到优化损失值，预设真实人脸图像通过通用引擎根据随机三维参数渲染得到；
通过优化损失值优化初始模拟引擎的网络参数，得到预设人脸模拟引擎。
请参阅图4，预设人脸模拟引擎也是预先训练得到的，是一个初步优化后的模型，主要训练的参数也是三维人脸参数α，得到的结果则是二维虚拟人脸图像G(α)；优化初始模拟引擎的方式是将得到的初始虚拟人脸图像与真实人脸图像进行损失计算，通过损失值优化初始模拟引擎的网络参数。损失计算是基于像素级的误差计算，而模拟引擎则是基于卷积神经网络的模型。
可以理解的是，预设真实人脸图像也是根据相同的随机三维参数，通过通用引擎渲染得到的，是作为参照标准的虚拟人脸图像。预设像素级损失可以根据实际需要进行设计，具体机制在此不作赘述。
步骤103、基于预设人脸识别模型根据目标二维人脸图像和虚拟人脸图像进行身份校验，得到第一损失值。
进一步地，预设人脸识别模型的身份验证损失函数为：
L1＝1-cos(FR(G(α)),FR(I))
其中，cos为计算两个目标之间的余弦距离，FR(·)表示人脸识别网络的卷积计算函数，I为目标二维人脸图像，G(α)为虚拟人脸图像。
预设人脸识别模型可以是基于Light CNN-29 v2网络，也可以选取其他卷积神经网络模型，具体的不作限定。该模型主要是提取输入的两类图像的256维人脸嵌入特征，计算这些特征之间的余弦距离，以此作为相似性表达参数，也就是判定两张图像是否属于同一个身份，即同一个人。
步骤104、基于预设人脸语义分割模型根据目标二维人脸图像和虚拟人脸图像进行人脸特征校验，得到第二损失值。
进一步地，预设人脸语义分割模型的人脸特征验证损失函数为：
L2＝||ω(G(α))FS(G(α))-ω(I)FS(I)||1
其中，ω(·)为预设人脸语义分割模型中的权值计算，FS(·)表示预设人脸语义分割模型的卷积计算函数。
预设人脸语义分割模型可以选取Resnet-50网络，同样也可以根据实际需要选取其他的网络模型，在此不作限定。该模型主要是提取两类图像的人脸语义特征的位置敏感性，利用分割结果提高关键部位的权重值；从人脸局部特征进行验证分析，验证两类人脸属于同一个人。
步骤105、根据第一损失值和第二损失值对初始化三维人脸参数进行优化，得到更新三维人脸参数，并返回将初始化三维人脸参数输入至预设人脸模拟引擎中进行渲染的步骤，直至迭代收敛，得到优化虚拟人脸图像。
基于两种损失值对初始化三维人脸参数进行优化，可以进一步提升渲染后得到的虚拟人脸图像的精确性，即与真实人脸图像更加接近，更相似。迭代次数可以根据实际情况设定，在此不作赘述。
本申请实施例提供的虚拟人脸图像重建方法，通过基于神经网络的各种模型对模拟引擎渲染出来的虚拟人脸图像进行验证，不仅包括全局身份验证，还包括局部的人脸特征验证，根据生成的损失值综合更新初始化三维人脸参数，通过优化迭代的方式不断优化虚拟人脸的渲染性能，进而提高虚拟人脸图像重建的可靠性和准确性。因此，本申请实施例能够解决现有人脸重建技术中的渲染不可微，导致渲染引擎无法优化的技术问题。
为了便于理解，请参阅图2，本申请提供了一种虚拟人脸图像重建装置的实施例，包括：
目标获取模块201，用于获取目标二维人脸图像和对应的初始化三维人脸参数；
图像渲染模块202，用于将初始化三维人脸参数输入至预设人脸模拟引擎中进行渲染，得到虚拟人脸图像；
第一校验模块203，用于基于预设人脸识别模型根据目标二维人脸图像和虚拟人脸图像进行身份校验，得到第一损失值；
第二校验模块204，用于基于预设人脸语义分割模型根据目标二维人脸图像和虚拟人脸图像进行人脸特征校验，得到第二损失值；
优化迭代模块205，用于根据第一损失值和第二损失值对初始化三维人脸参数进行优化，得到更新三维人脸参数，并返回将初始化三维人脸参数输入至预设人脸模拟引擎中进行渲染的步骤，直至迭代收敛，得到优化虚拟人脸图像。
进一步地，还包括：
参数获取模块206，用于获取单目人脸图像对应的随机三维参数；
训练渲染模块207，用于将随机三维参数输入初始模拟引擎中进行渲染，得到初始虚拟人脸图像；
损失计算模块208，用于将初始虚拟人脸图像与预设真实人脸图像进行预设像素级损失计算，得到优化损失值，预设真实人脸图像通过通用引擎根据随机三维参数渲染得到；
引擎优化模块209，用于通过优化损失值优化初始模拟引擎的网络参数，得到预设人脸模拟引擎。
进一步地，预设人脸识别模型的身份验证损失函数为：
L1＝1-cos(FR(G(α)),FR(I))
其中，cos为计算两个目标之间的余弦距离，FR(·)表示人脸识别网络的卷积计算函数，I为目标二维人脸图像，G(α)为虚拟人脸图像。
进一步地，预设人脸语义分割模型的人脸特征验证损失函数为：
L2＝||ω(G(α))FS(G(α))-ω(I)FS(I)||1
其中，ω(·)为预设人脸语义分割模型中的权值计算，FS(·)表示预设人脸语义分割模型的卷积计算函数。
本申请还提供了一种虚拟人脸图像重建设备，设备包括处理器以及存储器；
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行上述方法实施例中的虚拟人脸图像重建方法。
本申请还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行上述方法实施例中的虚拟人脸图像重建方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：RandomAccess Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种虚拟人脸图像重建方法，其特征在于，包括：
获取目标二维人脸图像和对应的初始化三维人脸参数；
将所述初始化三维人脸参数输入至预设人脸模拟引擎中进行渲染，得到虚拟人脸图像；
基于预设人脸识别模型根据所述目标二维人脸图像和所述虚拟人脸图像进行身份校验，得到第一损失值；
基于预设人脸语义分割模型根据所述目标二维人脸图像和所述虚拟人脸图像进行人脸特征校验，得到第二损失值；
根据所述第一损失值和所述第二损失值对所述初始化三维人脸参数进行优化，得到更新三维人脸参数，并返回所述将所述初始化三维人脸参数输入至预设人脸模拟引擎中进行渲染的步骤，直至迭代收敛，得到优化虚拟人脸图像。
2.根据权利要求1所述的虚拟人脸图像重建方法，其特征在于，所述将所述初始化三维人脸参数输入至预设人脸模拟引擎中进行渲染，得到虚拟人脸图像，之前还包括：
获取单目人脸图像对应的随机三维参数；
将所述随机三维参数输入初始模拟引擎中进行渲染，得到初始虚拟人脸图像；
将所述初始虚拟人脸图像与预设真实人脸图像进行预设像素级损失计算，得到优化损失值，所述预设真实人脸图像通过通用引擎根据所述随机三维参数渲染得到；
通过所述优化损失值优化所述初始模拟引擎的网络参数，得到预设人脸模拟引擎。
3.根据权利要求1所述的虚拟人脸图像重建方法，其特征在于，所述预设人脸识别模型的身份验证损失函数为：
L1＝1-cos(FR(G(α)),FR(I))
其中，cos为计算两个目标之间的余弦距离，FR(·)表示人脸识别网络的卷积计算函数，I为所述目标二维人脸图像，G(α)为所述虚拟人脸图像。
4.根据权利要求3所述的虚拟人脸图像重建方法，其特征在于，所述预设人脸语义分割模型的人脸特征验证损失函数为：
L2＝||ω(G(α))FS(G(α))-ω(I)FS(I)||1
其中，ω(·)为所述预设人脸语义分割模型中的权值计算，FS(·)表示所述预设人脸语义分割模型的卷积计算函数。
5.一种虚拟人脸图像重建装置，其特征在于，包括：
目标获取模块，用于获取目标二维人脸图像和对应的初始化三维人脸参数；
图像渲染模块，用于将所述初始化三维人脸参数输入至预设人脸模拟引擎中进行渲染，得到虚拟人脸图像；
第一校验模块，用于基于预设人脸识别模型根据所述目标二维人脸图像和所述虚拟人脸图像进行身份校验，得到第一损失值；
第二校验模块，用于基于预设人脸语义分割模型根据所述目标二维人脸图像和所述虚拟人脸图像进行人脸特征校验，得到第二损失值；
优化迭代模块，用于根据所述第一损失值和所述第二损失值对所述初始化三维人脸参数进行优化，得到更新三维人脸参数，并返回所述将所述初始化三维人脸参数输入至预设人脸模拟引擎中进行渲染的步骤，直至迭代收敛，得到优化虚拟人脸图像。
6.根据权利要求5所述的虚拟人脸图像重建装置，其特征在于，还包括：
参数获取模块，用于获取单目人脸图像对应的随机三维参数；
训练渲染模块，用于将所述随机三维参数输入初始模拟引擎中进行渲染，得到初始虚拟人脸图像；
损失计算模块，用于将所述初始虚拟人脸图像与预设真实人脸图像进行预设像素级损失计算，得到优化损失值，所述预设真实人脸图像通过通用引擎根据所述随机三维参数渲染得到；
引擎优化模块，用于通过所述优化损失值优化所述初始模拟引擎的网络参数，得到预设人脸模拟引擎。
7.根据权利要求5所述的虚拟人脸图像重建装置，其特征在于，所述预设人脸识别模型的身份验证损失函数为：
L1＝1-cos(FR(G(α)),FR(I))
其中，cos为计算两个目标之间的余弦距离，FR(·)表示人脸识别网络的卷积计算函数，I为所述目标二维人脸图像，G(α)为所述虚拟人脸图像。
8.根据权利要求7所述的虚拟人脸图像重建装置，其特征在于，所述预设人脸语义分割模型的人脸特征验证损失函数为：
L2＝||ω(G(α))FS(G(α))-ω(I)FS(I)||1
其中，ω(·)为所述预设人脸语义分割模型中的权值计算，FS(·)表示所述预设人脸语义分割模型的卷积计算函数。
9.一种虚拟人脸图像重建设备，其特征在于，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-4任一项所述的虚拟人脸图像重建方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-4任一项所述的虚拟人脸图像重建方法。
CN202111487936.8A 2021-12-07 2021-12-07 一种虚拟人脸图像重建方法及相关装置 Pending CN113989443A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111487936.8A CN113989443A (zh) 2021-12-07 2021-12-07 一种虚拟人脸图像重建方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111487936.8A CN113989443A (zh) 2021-12-07 2021-12-07 一种虚拟人脸图像重建方法及相关装置

Publications (1)

Publication Number Publication Date
CN113989443A true CN113989443A (zh) 2022-01-28

Family

ID=79733444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111487936.8A Pending CN113989443A (zh) 2021-12-07 2021-12-07 一种虚拟人脸图像重建方法及相关装置

Country Status (1)

Country Link
CN (1) CN113989443A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206035A (zh) * 2023-01-12 2023-06-02 北京百度网讯科技有限公司 人脸重建方法、装置、电子设备以及存储介质
CN116778562A (zh) * 2023-08-22 2023-09-19 中移(苏州)软件技术有限公司 面部验证方法、装置、电子设备及可读储存介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206035A (zh) * 2023-01-12 2023-06-02 北京百度网讯科技有限公司 人脸重建方法、装置、电子设备以及存储介质
CN116206035B (zh) * 2023-01-12 2023-12-01 北京百度网讯科技有限公司 人脸重建方法、装置、电子设备以及存储介质
CN116778562A (zh) * 2023-08-22 2023-09-19 中移(苏州)软件技术有限公司 面部验证方法、装置、电子设备及可读储存介质
CN116778562B (zh) * 2023-08-22 2024-05-28 中移(苏州)软件技术有限公司 面部验证方法、装置、电子设备及可读储存介质

Similar Documents

Publication Publication Date Title
US11462031B2 (en) Systems and methods for performing a 3D match search in a 3D database based on 3D primitives and a connectivity graph
CN111369681B (zh) 三维模型的重构方法、装置、设备及存储介质
CN116109798B (zh) 图像数据处理方法、装置、设备及介质
CN113989443A (zh) 一种虚拟人脸图像重建方法及相关装置
Halit et al. Multiscale motion saliency for keyframe extraction from motion capture sequences
KR102476016B1 (ko) 안구 위치 정보 확정 방법 및 장치
CN106447762B (zh) 基于光场信息的三维重建方法及系统
CN114758337B (zh) 一种语义实例重建方法、装置、设备及介质
CN110458924B (zh) 一种三维脸部模型建立方法、装置和电子设备
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN114298997B (zh) 一种伪造图片检测方法、装置及存储介质
CN111862278A (zh) 一种动画获得方法、装置、电子设备及存储介质
CN111738087B (zh) 一种游戏角色面部模型的生成方法和装置
CN117011449A (zh) 三维面部模型的重构方法和装置、存储介质及电子设备
CN115965839A (zh) 图像识别方法、存储介质及设备
CN113569809A (zh) 一种图像处理方法、设备及计算机可读存储介质
KR101821065B1 (ko) 3차원 기하 표현 방법 및 장치
CN116433852B (zh) 数据处理方法、装置、设备及存储介质
CN116091675B (zh) 一种图像处理方法、装置、设备及存储介质
JP7435907B2 (ja) 画像マッチング装置、制御方法、及びプログラム
WO2024114321A1 (zh) 图像数据处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品
KR20110006030A (ko) 모델 학습 기반의 실시간 영상 모델링 방법 및 그 장치
CN118154739A (zh) 一种基于图像的三维人-物体交互元素预测方法
CN116958404A (zh) 面部图像生成方法、装置、计算机设备、存储介质及产品
CN117726746A (zh) 三维人体重建方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination