CN116664746B - 人脸重建方法及装置、计算机可读存储介质、终端 - Google Patents

人脸重建方法及装置、计算机可读存储介质、终端 Download PDF

Info

Publication number
CN116664746B
CN116664746B CN202310620674.0A CN202310620674A CN116664746B CN 116664746 B CN116664746 B CN 116664746B CN 202310620674 A CN202310620674 A CN 202310620674A CN 116664746 B CN116664746 B CN 116664746B
Authority
CN
China
Prior art keywords
matrix
optimized
face
rendered
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310620674.0A
Other languages
English (en)
Other versions
CN116664746A (zh
Inventor
虞钉钉
徐清
王晓梅
沈伟林
沈旭立
曹培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huayuan Computing Technology Shanghai Co ltd
Original Assignee
Huayuan Computing Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huayuan Computing Technology Shanghai Co ltd filed Critical Huayuan Computing Technology Shanghai Co ltd
Priority to CN202310620674.0A priority Critical patent/CN116664746B/zh
Publication of CN116664746A publication Critical patent/CN116664746A/zh
Application granted granted Critical
Publication of CN116664746B publication Critical patent/CN116664746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种人脸重建方法及装置、计算机可读存储介质、终端，所述方法包括：分别对原始人脸图像及其深度图像进行特征提取，得到人脸特征矩阵以及深度图特征矩阵；对所述人脸特征矩阵以及所述深度图特征矩阵进行拼接处理，得到融合特征矩阵；将所述融合特征矩阵输入预测模型，得到优化形状矩阵和优化表情矩阵；基于所述优化形状矩阵和所述优化表情矩阵，对初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，以确定优化纹理矩阵和优化光照控制矩阵。采用上述方案有助于改进人脸重建的效果。

Description

人脸重建方法及装置、计算机可读存储介质、终端
技术领域
本发明涉及人脸重建技术领域，尤其涉及一种人脸重建方法及装置、计算机可读存储介质、终端。
背景技术
当前，人脸重建技术逐渐成为计算机视觉领域的核心技术。该技术主要利用三维人脸重建技术，基于被测对象的单张或多张人脸图像重建出其三维人脸模型。三维重建技术在多种领域中得到广泛应用，比如在医学领域，通过三维重建技术完成肺部重建，可以帮助医生了解肺部病变的位置以及严重程度；又比如在测绘领域，通过三维重建技术可以精确重建出相应的实地场景等。
现有技术中，通常根据被测对象的多张二维平面人脸图像(例如，RGB图像)进行特征提取，并基于提取的人脸特征数据重建人脸的三维模型。但由于人脸具有极其复杂的几何形状，在利用现有的RGB摄像模组进行人脸图像采集过程中，只能捕捉被测人脸从三维空间投射至二维平面所形成的二维平面图像信息。因此，如果仅依赖于二维平面人脸图像中包含的信息进行三维人脸重建，将导致人脸重建的精度与效果不佳。
发明内容
本发明实施例解决的技术问题是如何改进人脸重建的效果。
为解决上述技术问题，本发明实施例提供一种人脸重建方法，包括以下步骤：分别对原始人脸图像及其深度图像进行特征提取，得到人脸特征矩阵以及深度图特征矩阵；对所述人脸特征矩阵以及所述深度图特征矩阵进行拼接处理，得到融合特征矩阵；将所述融合特征矩阵输入预测模型，得到优化形状矩阵和优化表情矩阵；基于所述优化形状矩阵和所述优化表情矩阵，对初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，以确定优化纹理矩阵和优化光照控制矩阵。
可选的，对所述人脸特征矩阵以及所述深度图特征矩阵进行拼接处理，包括：将所述深度图特征矩阵中的深度特征编码整体拼接至所述人脸特征矩阵的预设位置。
可选的，所述预设位置为所述深度图特征矩阵中最后一个深度特征编码的后一位置。
可选的，基于所述优化形状矩阵和所述优化表情矩阵，对初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，以确定优化纹理矩阵和优化光照控制矩阵，包括：基于所述优化形状矩阵和优化表情矩阵，确定待渲染人脸模型；根据所述原始人脸图像和所述待渲染人脸模型，确定仿射变换矩阵；基于所述待渲染人脸模型和所述仿射变换矩阵，构建第一损失函数；采用梯度优化算法以及所述第一损失函数，对所述初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，直至所述第一损失函数收敛或迭代次数达到第一预设次数，停止迭代并得到所述优化纹理矩阵和优化光照控制矩阵。
可选的，每次迭代中，基于下述过程确定当前次迭代后所述第一损失函数的函数值：采用当前次迭代优化的纹理矩阵和光照控制矩阵对所述待渲染人脸模型进行可微渲染，并采用所述仿射变换矩阵对渲染结果进行仿射变换，得到渲染图像；确定所述渲染图像和所述原始人脸图像的像素差值的绝对值之和，记为第一损失值；确定当前次迭代优化的纹理矩阵和光照控制矩阵的L2范数值，记为第二损失值；采用所述第一损失值与所述第二损失值的加权求和结果，作为当前次迭代后所述第一损失函数的函数值。
可选的，所述第一损失函数采用下述公式表示：
其中，θ表示当前次迭代优化的纹理矩阵，δ表示当前次迭代优化的光照控制矩阵，P表示所述仿射变换矩阵，α表示所述优化形状矩阵，γ表示所述优化表情矩阵，Im表示当前次迭代中得到的渲染图像的第m个像素的像素值，表示所述原始人脸图像的第m个像素的像素值，M表示像素数量，L2()表示L2范数计算函数，ω1和ω2分别表示第一权重值和第二权重值。
可选的，基于所述优化形状矩阵和优化表情矩阵，确定待渲染人脸模型，包括：确定所述优化形状矩阵与通用形状矩阵的乘积，记为第一矩阵乘积；确定所述优化表情矩阵与通用表情矩阵的乘积，记为第二矩阵乘积；对所述第一矩阵乘积、所述第二矩阵乘积以及平均形状矩阵进行求和，以确定所述待渲染人脸模型。
可选的，采用下述公式，确定所述待渲染人脸模型：
其中，G(α,γ)表示所述待渲染人脸模型，α表示所述优化形状矩阵，S表示所述通用形状矩阵，γ表示所述优化表情矩阵，E表示所述通用表情矩阵，表示所述平均形状矩阵。
可选的，根据所述原始人脸图像和所述待渲染人脸模型，确定仿射变换矩阵，包括：从所述原始人脸图像中提取多个第一关键点，基于提取的第一关键点从所述待渲染人脸模型中确定多个第二关键点，所述第一关键点与所述第二关键点一一对应；基于所述多个第一关键点与所述多个第二关键点，确定所述仿射变换矩阵。
可选的，在确定所述仿射变换矩阵之后，以及在基于所述待渲染人脸模型和所述仿射变换矩阵，构建第一损失函数之前，所述方法还包括：固定所述优化形状矩阵不变，对所述仿射变换矩阵和所述优化表情矩阵进行多次迭代更新，以确定更新后的仿射变换矩阵和更新后的待渲染人脸模型；其中，每次迭代过程中，当前次迭代使用的优化表情矩阵基于前一次迭代得到的仿射变换矩阵确定，当前次的迭代得到的仿射变换矩阵基于当前次迭代使用的优化表情矩阵确定。
可选的，在将所述融合特征矩阵输入预测模型之前，所述方法还包括：确定多张样本人脸图像，每张样本人脸图像具有预构建的第二损失函数；对所述多张样本人脸图像的各个预构建的第二损失函数进行加权运算，以构建第三损失函数；采用所述第三损失函数，将所述多张样本人脸图像输入预设的初始化预测模型进行迭代训练，直至所述第三损失函数收敛或迭代次数达到第二预设次数，停止迭代并得到所述预测模型。
可选的，每次迭代中，基于下述过程确定当前次迭代后所述第三损失函数的函数值：对于输入的每张样本人脸图像，基于当前优化的预测模型确定形状矩阵和表情矩阵；根据所述形状矩阵和所述表情矩阵，确定该张样本人脸图像的当前人脸预测矩阵；对所述当前人脸预测矩阵中的各个元素与该张样本人脸图像的人脸标注矩阵的对应元素之间的差值进行加权求和，得到该张样本人脸图像对应的第二损失函数的当前函数值；采用所述多张样本人脸图像各自对应的第二损失函数的当前函数值的加权求和结果，作为当前次迭代后所述第三损失函数的函数值。
可选的，所述第二损失函数采用下述公式表示：
其中，(l2)j表示第j张样本人脸图像对应的第二损失函数，j表示样本人脸图像的序号，α表示每次迭代过程中基于当前优化的预测模型确定的形状矩阵，γ表示每次迭代过程中基于当前优化的预测模型确定的表情矩阵，Gi(α,γ)表示每次迭代过程中当前人脸预测矩阵中的第i个元素，用于表示样本人脸图像的人脸标注矩阵中的第i元素，N表示矩阵元素个数，qi表示第i个元素差值的权重值；
所述第三损失函数采用下述公式表示：
其中，L3表示所述第三损失函数，pj表示第j张样本人脸图像的第二损失函数的权重值，J表示样本人脸图像的总数。
可选的，在确定优化纹理矩阵和优化光照控制矩阵之后，所述方法还包括：根据所述优化形状矩阵和所述优化表情矩阵，确定待渲染人脸模型；采用所述优化纹理矩阵和所述优化光照控制矩阵，对所述待渲染人脸模型进行可微渲染，以得到人脸重建模型。
本发明实施例还提供一种人脸重建装置，包括：特征提取模块，用于分别对原始人脸图像及其深度图像进行特征提取，得到人脸特征矩阵以及深度图特征矩阵；矩阵拼接模块，用于对所述人脸特征矩阵以及所述深度图特征矩阵进行拼接处理，得到融合特征矩阵；第一重建系数确定模块，用于将所述融合特征矩阵输入预测模型，得到优化形状矩阵和优化表情矩阵；第二重建系数确定模块，用于基于所述优化形状矩阵和所述优化表情矩阵，对初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，以确定优化纹理矩阵和优化光照控制矩阵。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述人脸重建方法的步骤。
本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述人脸重建方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明实施例提供一种人脸重建方法，分别对原始人脸图像及其深度图像进行特征提取，得到人脸特征矩阵以及深度图特征矩阵；对所述人脸特征矩阵以及所述深度图特征矩阵进行拼接处理，得到融合特征矩阵；将所述融合特征矩阵输入预测模型，得到优化形状矩阵和优化表情矩阵；基于所述优化形状矩阵和所述优化表情矩阵，对初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，以确定优化纹理矩阵和优化光照控制矩阵。
在本发明实施例中，不仅利用从原始人脸图像提取的像素特征信息，还利用原始人脸图像中包含的深度信息，然后基于两种特征的融合结果进行人脸重建。由于深度信息中包含图像采集设备至真实人脸的各点间的距离(深度)数据，可以直观反映真实人脸的可见表面的几何形状，因此，相较于仅依赖于原始人脸图像进行人脸重建，采用本实施方案有助于提高人脸重建的精度，改进人脸重建的效果。
进一步，对所述人脸特征矩阵以及所述深度图特征矩阵进行拼接处理，包括：将所述深度图特征矩阵中的深度特征编码整体拼接至所述人脸特征矩阵的预设位置。相较于分散式拼接或随机拼接的方式，本实施方案通过将深度图特征矩阵整体地拼接至人脸特征矩阵，有利于完整地保留这两个矩阵中各自包含的原始特征信息，使得后续重建得到人脸模型更加符合真实人脸的特征。
进一步，本发明实施例中，在采用梯度优化算法以及所述第一损失函数，对所述初始化纹理矩阵和初始化光照控制矩阵进行迭代优化的过程中，所述第一损失函数包括两部分损失：一部分是渲染得到的渲染图像和所述原始人脸图像的像素差值的绝对值之和，另一部分是迭代更新的纹理矩阵和光照控制矩阵的L2范数值。其中，第一部分损失可以使得优化纹理矩阵和优化光照控制矩阵渲染出的人脸模型更加符合真实的人脸特征，避免两者差距过大的情况出现，而第二部分损失采用L2范数可以避免过拟合问题，提升模型的泛化能力。因此，相较于采用单一损失，本实施方案通过在每次迭代中采用前述两部分损失的加权求和结果确定损失函数值，有助于获得更好的迭代优化效果，获得精度更高的优化纹理矩阵和优化光照控制矩阵。
进一步，根据所述原始人脸图像和所述待渲染人脸模型，确定仿射变换矩阵，包括：从所述原始人脸图像中提取多个第一关键点，基于提取的第一关键点从所述待渲染人脸模型中确定多个第二关键点，所述第一关键点与所述第二关键点一一对应；基于所述多个第一关键点与所述多个第二关键点，确定所述仿射变换矩阵。通过关键点确定仿射变换矩阵，相较于基于原始人脸图像的全部像素点以及所述待渲染人脸模型的全部顶点确定仿射变换矩阵，可以大幅减少运算数据量，提高运算效率。
进一步，在对初始化预测模型进行迭代训练的过程中，采用的第三损失函数是对每张样本人脸图像对应的第二损失函数进行加权运算得到的。一方面，对于所述第二损失函数而言，每次迭代中，每张样本对应的第二损失函数的函数值是对当前人脸预测矩阵中的各个元素与该张样本人脸图像的人脸标注矩阵的对应元素之间的差值进行加权求和的结果。由此，可以结合实际场景需求，对不同的人脸区域或部位对应的元素设置适当权重值(例如，对于重点关注区域设置更大权重值)。另一方面，对于所述第三损失函数而言，也可以结合不同样本人脸图像中的人脸质量以及实际场景需求，对不同的样本人脸图像设置适当权重值。由此，通过采用双层损失函数结构以及各自的参数权重设置，有助于提高模型训练的精细化程度，改进模型训练效果。
附图说明
图1是本发明实施例中一种人脸重建方法的流程图；
图2是图1中步骤S14的一种具体实施方式的流程图；
图3是本发明实施例中另一种人脸重建方法的部分流程图；
图4是本发明实施例中又一种人脸重建方法的流程图；
图5是本发明实施例中一种人脸重建装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细说明。
参照图1，图1是本发明实施例中一种人脸重建方法的流程图。所述方法可以包括步骤S11至步骤S14：
步骤S11：分别对原始人脸图像及其深度图像进行特征提取，得到人脸特征矩阵以及深度图特征矩阵；
步骤S12：对所述人脸特征矩阵以及所述深度图特征矩阵进行拼接处理，得到融合特征矩阵；
步骤S13：将所述融合特征矩阵输入预测模型，得到优化形状矩阵和优化表情矩阵；
步骤S14：基于所述优化形状矩阵和所述优化表情矩阵，对初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，以确定优化纹理矩阵和优化光照控制矩阵。
在步骤S11的具体实施中，可以将所述原始人脸图像输入预训练的人脸识别模型，将所述预训练的人脸识别模型的输出结果作为所述人脸特征矩阵；以及可以将所述深度图像输入预训练的神经网络模型，将所述预训练的神经网络模型的输出结果作为所述深度图特征矩阵。
其中，所述预训练的人脸识别模型可以是采用大量的样本人脸图像及其人脸特征标注数据(例如，对每张样本人脸图像进行标注的人脸特征矩阵，也称为样本人脸图像的标签)，对预设的初始化人脸识别模型进行训练得到的模型。所述预训练的神经网络模型可以是采用大量的样本人脸图像的深度图像及其深度图特征标注数据(例如，对每张深度图像进行标注的深度图特征矩阵，也称为深度图像的标签)，对预设的初始化神经网络模型进行训练得到的模型。
其中，所述原始人脸图像可以是RGB图像或处于其他色彩空间的人脸图像。所述原始人脸图像的深度图像，可以是根据所述原始人脸图像中各个像素的深度信息确定的二维图像，具体而言，其是采用所述原始人脸图像中各个像素的深度值作为像素值得到的图像。所述深度图像中包含图像采集设备至真实人脸的各点间的距离(深度)数据，可以直观反映真实人脸的可见表面的几何形状。
在步骤S12的具体实施中，对所述人脸特征矩阵以及所述深度图特征矩阵进行拼接处理，得到融合特征矩阵。其中，所述拼接处理，具体指的是将其中一矩阵的编码添加至另一矩阵中，得到新的矩阵，该新的矩阵包含了参与拼接的各个原始矩阵的信息。
进一步地，所述步骤S12具体可以包括：将所述深度图特征矩阵中的深度特征编码整体拼接至所述人脸特征矩阵的预设位置。
或者，也可以将所述人脸特征矩阵的人脸特征编码，整体拼接至所述深度图特征矩阵的预设位置。
在具体实施中，所述深度图特征矩阵和所述人脸特征矩阵可以是包含单行多列的编码或多行单列的编码的向量形式，或者，也可以是包含多个特征维度的矩阵形式。
非限制性地，所述预设位置可以是所述深度图特征矩阵中最后一个深度特征编码的后一位置。
在本发明实施例中，进行矩阵拼接时，通过将其中一矩阵完整地拼接至另一矩阵，相较于分散式拼接或随机拼接的方式，有利于减少拼接出错概率，提高拼接效率。进一步，通过将其中一矩阵拼接至另一矩阵的最后一个深度特征编码的后一位置，相较于从矩阵的中间编码位置插入，可以避免原矩阵中的编码位置及顺序被打乱，完整、全面地保留原矩阵中的原始特征信息，使得后续重建得到人脸模型更加符合真实人脸的特征。
需要指出的是，在具体实施中，关于矩阵拼接的方式及拼接位置不限于上述描述的方案，还可以结合不同场景需求，采取其他适当方式处理。
在步骤S13的具体实施中，所述预测模型可以是现有的可以输出形状矩阵和表情矩阵的常规模型，或者，也可以是采用多张样本人脸图像对预设的初始化预测模型进行训练后得到的优化预测模型。其中，关于模型训练方法可以参照图3所示实施例中描述的方案，此处不赘述。
在步骤S14的具体实施中，基于所述优化形状矩阵和所述优化表情矩阵，对初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，以确定优化纹理矩阵和优化光照控制矩阵。
在本发明实施例中，不仅利用从原始人脸图像提取的像素特征信息，还利用原始人脸图像中包含的深度信息，然后基于两种特征的融合结果进行人脸重建。由于深度信息中包含图像采集设备至真实人脸的各点间的距离(深度)数据，可以直观反映真实人脸的可见表面的几何形状，因此，相较于仅依赖于原始人脸图像进行人脸重建，采用本实施方案有助于提高人脸重建的精度，改进人脸重建效果。
参照图2，图2是图1中步骤S14的一种具体实施方式的流程图。所述步骤S14具体可以包括步骤S21至步骤S24。
在步骤S21中，基于所述优化形状矩阵和优化表情矩阵，确定待渲染人脸模型。
其中，所述待渲染模型可以是可变性人脸模型(3D Morphable FaceModel，3DMM)。
进一步地，所述步骤S21具体可以包括：确定所述优化形状矩阵与通用形状矩阵的乘积，记为第一矩阵乘积；确定所述优化表情矩阵与通用表情矩阵的乘积，记为第二矩阵乘积；对所述第一矩阵乘积、所述第二矩阵乘积以及平均形状矩阵进行求和，以确定所述待渲染人脸模型。
其中，所述通用形状矩阵、通用表情矩阵均可以采用现有公开的可以表征大多数人脸的形状特征、表情特征的矩阵。所述平均形状矩阵可以采用有公开的矩阵，或者，也可以是预先获得的多个形状矩阵的平均运算结果。
需要指出的是，在不同的应用场景中，采用的通用形状矩阵、通用表情矩阵以及平均形状矩阵可以不同。例如，对于儿童的人脸重建，所述通用形状矩阵、通用表情矩阵以及平均形状矩阵应采用可表征大多数儿童人脸的表情、形状特征的矩阵。
更进一步地，可以采用下述公式，确定所述待渲染人脸模型：
其中，G(α,γ)表示所述待渲染人脸模型，α表示所述优化形状矩阵，S表示所述通用形状矩阵，γ表示所述优化表情矩阵，E表示所述通用表情矩阵，表示所述平均形状矩阵。
在步骤S22中，根据所述原始人脸图像和所述待渲染人脸模型，确定仿射变换矩阵。
其中，所述仿射变换矩阵可以用于表示所述原始人脸图像所处的图像坐标系(通常为二维空间坐标系)与所述待渲染人脸模型所处的模型坐标系(通常为三维空间坐标系)之间的映射关系。
进一步地，所述步骤S22可以包括：从所述原始人脸图像中提取多个第一关键点，基于提取的第一关键点从所述待渲染人脸模型中确定多个第二关键点，所述第一关键点与所述第二关键点一一对应；基于所述多个第一关键点与所述多个第二关键点，确定所述仿射变换矩阵。
在具体实施中，关于基于关键点确定两个空间坐标系之间的映射关系的方法可以是现有常规方法，此处不赘述。
在本发明实施例中，通过提取的若干关键点确定仿射变换矩阵，相较于基于原始人脸图像的全部像素点以及所述待渲染人脸模型的全部顶点确定仿射变换矩阵，可以大幅减少运算数据量，提高运算效率。
在步骤S23中，基于所述待渲染人脸模型和所述仿射变换矩阵，构建第一损失函数。
在步骤S24中，采用梯度优化算法以及所述第一损失函数，对所述初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，直至所述第一损失函数收敛或迭代次数达到第一预设次数，停止迭代并得到所述优化纹理矩阵和优化光照控制矩阵。
进一步地，每次迭代中，基于下述过程确定当前次迭代后所述第一损失函数的函数值：采用当前次迭代优化的纹理矩阵和光照控制矩阵对所述待渲染人脸模型进行可微渲染，并采用所述仿射变换矩阵对渲染结果进行仿射变换，得到渲染图像；确定所述渲染图像和所述原始人脸图像的像素差值的绝对值之和，记为第一损失值；确定当前次迭代优化的纹理矩阵和光照控制矩阵的L2范数值，记为第二损失值；采用所述第一损失值与所述第二损失值的加权求和结果，作为当前次迭代后所述第一损失函数的函数值。
具体地，在每次迭代中，当前次迭代优化的纹理矩阵和光照控制矩阵，具体可以根据所采取的梯度优化算法中设置的梯度值，对前一次迭代中的纹理矩阵和光照控制矩阵进行梯度更新而获得。
具体地，在确定所述渲染图像和所述原始人脸图像的像素差值的绝对值之和的过程中，可以从所述渲染图像和所述原始人脸图像中选取至少一部分像素(例如，对图像划分区域，每个区域中选取部分像素)参与运算，以降低运算开销，提高效率。
更进一步地，所述第一损失函数采用下述公式表示：
其中，θ表示当前次迭代优化的纹理矩阵，δ表示当前次迭代优化的光照控制矩阵，P表示所述仿射变换矩阵，α表示所述优化形状矩阵，γ表示所述优化表情矩阵，Im表示当前次迭代中得到的渲染图像的第m个像素的像素值，表示所述原始人脸图像的第m个像素的像素值，M表示像素数量，L2()表示L2范数计算函数，ω1和ω2分别表示第一权重值和第二权重值。
需要指出的是，由于所述渲染图像和所述原始人脸图像的各个像素通常具有多个色彩通道，例如，对于RGB图像而言，每个像素均具有红色(Red)、绿色(Green)、蓝色(Blue)三个色彩通道，因此，在实际应用中，在确定所述第一损失值的过程中，对于具有多个色彩通道的图像，可以对每个色彩通道分别采用上述第一损失函数表达式中的第一部分损失表达式，计算损失值(记为第一子损失值)，然后将各个色彩通道的第一子损失值的求和结果，作为所述第一损失值。
在本发明实施例中，采用两部分损失的加权求和结果作为迭代优化纹理矩阵和光照控制矩阵过程中的实际损失。其中一部分是渲染得到的渲染图像和所述原始人脸图像的像素差值的绝对值之和，可以使得优化纹理矩阵和优化光照控制矩阵渲染出的人脸模型更加符合真实的人脸特征，避免两者差距过大的情况出现；另一部分是迭代更新的纹理矩阵和光照控制矩阵的L2范数值，由于采用L2范数可以避免过拟合问题，提升模型的泛化能力。因此，相较于采用单一损失，采用本实施方案，有助于获得更好的迭代优化效果，获得精度更高的优化纹理矩阵和优化光照控制矩阵。
需要指出的是，除了采用上述过程进行迭代优化，还可以采用其他适当的迭代优化算法及相应的损失函数对初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，例如，坐标下降算法、牛顿迭代法等。
进一步地，在上述步骤S22之后，以及在所述步骤S23之前，本实施例所述方法还可以包括：固定所述优化形状矩阵不变，对所述仿射变换矩阵和所述优化表情矩阵进行多次迭代更新，以确定更新后的仿射变换矩阵和更新后的待渲染人脸模型；其中，每次迭代过程中，当前次迭代使用的优化表情矩阵基于前一次迭代得到的仿射变换矩阵确定，当前次的迭代得到的仿射变换矩阵基于当前次迭代使用的优化表情矩阵确定。
具体而言，进行多次迭代更新的过程如下：在首次迭代中，直接采用所述步骤S23中确定的仿射变换矩阵(该矩阵本身是一个近似结果)或者对所述步骤S23中确定的仿射变换矩阵进行预处理(例如，去噪处理、参数微调处理)后的矩阵，作为首次迭代得到的的仿射变换矩阵(或称为首次更新的仿射变换矩阵)；然后根据首次更新的仿射变换矩阵和所述原始人脸图像，确定首次更新的待渲染人脸模型；再根据该首次更新的待渲染人脸模型和固定不变的所述优化形状矩阵，确定首次更新的优化表情矩阵；
在后续的每次迭代中，参照前述首次迭代过程执行，具体而言，可以基于前一次更新的仿射变换矩阵和所述原始人脸图像，确定当前次更新的待渲染人脸模型；再根据当前次更新的待渲染模型和固定不变的所述优化形状矩阵，确定当前次更新的优化表情矩阵。
在具体实施中，迭代的次数可以运算效率、运算结果的精度要求以及结合实际场景需求进行适当设置，非限制性地，迭代的次数可以在区间[5,10]中选取适当数值。
在本发明实施例中，通过采用上述迭代更新过程，可以得到更新后的优化表情矩阵和更新后的待渲染人脸模型，相较于所述步骤S21中确定的待渲染人脸模型和所述步骤S22中确定仿射变换矩阵更加优化，然后可以将更新后的优化表情矩阵和更新后的待渲染人脸模型应用于后续对所述初始化纹理矩阵和初始化光照控制矩阵进行迭代优化的过程。由此，可以进一步改进后续迭代优化的效果，提高所获得的优化纹理矩阵和优化光照控制矩阵的精度。
参照图3，图3是本发明实施例中另一种人脸重建方法的部分流程图。所述另一种人脸重建方法可以包括图1所示实施例中的步骤S11至步骤S14，还可以包括步骤S31至步骤S33。其中，所述步骤S31至步骤S33可以在步骤S13之前执行。
在步骤S31中，确定多张样本人脸图像，每张样本人脸图像具有预构建的第二损失函数。
在步骤S32中，对所述多张样本人脸图像的各个预构建的第二损失函数进行加权运算，以构建第三损失函数。
在步骤S33中，采用所述第三损失函数，将所述多张样本人脸图像输入预设的初始化预测模型进行迭代训练，直至所述第三损失函数收敛或迭代次数达到第二预设次数，停止迭代并得到所述预测模型。
进一步地，每次迭代中，基于下述过程确定当前次迭代后所述第三损失函数的函数值：对于输入的每张样本人脸图像，基于当前优化的预测模型确定形状矩阵和表情矩阵；根据所述形状矩阵和所述表情矩阵，确定该张样本人脸图像的当前人脸预测矩阵；对所述当前人脸预测矩阵中的各个元素与该张样本人脸图像的人脸标注矩阵的对应元素之间的差值进行加权求和，得到该张样本人脸图像对应的第二损失函数的当前函数值；采用所述多张样本人脸图像各自对应的第二损失函数的当前函数值的加权求和结果，作为当前次迭代后所述第三损失函数的函数值。
更进一步地，所述第二损失函数采用下述公式表示：
其中，(l2)j表示第j张样本人脸图像对应的第二损失函数，j表示样本人脸图像的序号，α表示每次迭代过程中基于当前优化的预测模型确定的形状矩阵，γ表示每次迭代过程中基于当前优化的预测模型确定的表情矩阵，Gi(α,γ)表示每次迭代过程中当前人脸预测矩阵(或称为预测的人脸模型)中的第i个元素，用于表示样本人脸图像的人脸标注矩阵中的第i元素，N表示矩阵元素个数，qi表示第i个元素差值的权重值；
所述第三损失函数采用下述公式表示：
其中，L3表示所述第三损失函数，pj表示第j张样本人脸图像的第二损失函数的权重值，J表示样本人脸图像的总数。
需要指出的是，在实际应用中，由于参与运算的矩阵通常是多维度矩阵，矩阵中的每个元素也是多维度的，在确定所述第二损失函数的函数值的过程中，可以在矩阵的每个维度上，分别采用上述第二损失函数的表达式计算损失值(记为第二子损失值)，然后将各个维度的第二子损失值的求和结果，作为所述第二损失函数的函数值。
在本发明实施例中，一方面，对于所述第二损失函数而言，每次迭代中，每张样本对应的第二损失函数的函数值，是对当前人脸预测矩阵中的各个元素与该张样本人脸图像的人脸标注矩阵的对应元素之间的差值进行加权求和的结果。由此，可以结合实际场景需求，对不同的人脸区域或部位对应的元素设置适当权重值(例如，对于重点关注区域设置更大权重值)。另一方面，对于所述第三损失函数而言，也可以结合不同样本人脸图像中的人脸质量以及实际场景需求，对不同的样本人脸图像设置适当权重值。由此，通过采用双层损失函数结构以及对各自的参数权重的适当设置，有助于提高模型训练的精细化程度，改进模型训练效果。
参照图4，图4是本发明实施例中又一种人脸重建方法的流程图。图4所示实施例与图1所示实施例的区别在于，图4所示实施例包括图1所示实施例中的步骤S11至步骤S14，还可以包括步骤S41至步骤S42。其中，步骤S41至步骤S42在步骤S14之后执行。
在步骤S41中，根据所述优化形状矩阵和所述优化表情矩阵，确定待渲染人脸模型。
在具体实施中，关于所述待渲染人脸模型的确定方案，可以参照图2所示实施例中步骤S21的详细描述，此处不再赘述。
在步骤S42中，采用所述优化纹理矩阵和所述优化光照控制矩阵，对所述待渲染人脸模型进行可微渲染，以得到人脸重建模型。
其中，渲染得到的所述人脸重建模型可以是三维人脸重建模型。
图5是本发明实施例中一种人脸重建装置的结构示意图。所述人脸重建装置可以包括：
特征提取模块51，用于分别对原始人脸图像及其深度图像进行特征提取，得到人脸特征矩阵以及深度图特征矩阵；
矩阵拼接模块52，用于对所述人脸特征矩阵以及所述深度图特征矩阵进行拼接处理，得到融合特征矩阵；
第一重建系数确定模块53，用于将所述融合特征矩阵输入预测模型，得到优化形状矩阵和优化表情矩阵；
第二重建系数确定模块54，用于基于所述优化形状矩阵和所述优化表情矩阵，对初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，以确定优化纹理矩阵和优化光照控制矩阵。
关于该人脸重建装置的原理、具体实现和有益效果请参照前文及图1至图4示出的关于人脸重建方法的相关描述，此处不再赘述。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述图1至图4示出的人脸重建方法的步骤。所述计算机可读存储介质可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器，还可以包括光盘、机械硬盘、固态硬盘等。
具体地，在本发明实施例中，所述处理器可以为中央处理单元(centralprocessing unit，简称CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，简称DSP)、专用集成电路(application specificintegrated circuit，简称ASIC)、现成可编程门阵列(field programmable gate array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，简称ROM)、可编程只读存储器(programmable ROM，简称PROM)、可擦除可编程只读存储器(erasable PROM，简称EPROM)、电可擦除可编程只读存储器(electricallyEPROM，简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(random accessmemory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，简称RAM)可用，例如静态随机存取存储器(staticRAM，简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronousDRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(doubledata rate SDRAM，简称DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，简称ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，简称DR RAM)。
本发明实施例还提供了一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述图1至图4示出的人脸重建方法的步骤。所述终端可以包括但不限于手机、计算机、平板电脑等终端设备，还可以为服务器、云平台等。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。
本申请实施例中出现的“多个”是指两个或两个以上。
本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。
需要指出的是，本实施例中各个步骤的序号并不代表对各个步骤的执行顺序的限定。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (14)

1.一种人脸重建方法，其特征在于，包括：
分别对原始人脸图像及其深度图像进行特征提取，得到人脸特征矩阵以及深度图特征矩阵；
对所述人脸特征矩阵以及所述深度图特征矩阵进行拼接处理，得到融合特征矩阵；
将所述融合特征矩阵输入预测模型，得到优化形状矩阵和优化表情矩阵；基于所述优化形状矩阵和所述优化表情矩阵，对初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，以确定优化纹理矩阵和优化光照控制矩阵；
在确定优化纹理矩阵和优化光照控制矩阵之后，所述方法还包括：
根据所述优化形状矩阵和所述优化表情矩阵，确定待渲染人脸模型；采用所述优化纹理矩阵和所述优化光照控制矩阵，对所述待渲染人脸模型进行可微渲染，以得到人脸重建模型；
其中，基于所述优化形状矩阵和所述优化表情矩阵，对初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，以确定优化纹理矩阵和优化光照控制矩阵，包括：
基于所述优化形状矩阵和优化表情矩阵，确定待渲染人脸模型；根据所述原始人脸图像和所述待渲染人脸模型，确定仿射变换矩阵；基于所述待渲染人脸模型和所述仿射变换矩阵，构建第一损失函数；采用梯度优化算法以及所述第一损失函数，对所述初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，直至所述第一损失函数收敛或迭代次数达到第一预设次数，停止迭代并得到所述优化纹理矩阵和优化光照控制矩阵；
其中，每次迭代中，基于下述过程确定当前次迭代后所述第一损失函数的函数值：
采用当前次迭代优化的纹理矩阵和光照控制矩阵对所述待渲染人脸模型进行可微渲染，并采用所述仿射变换矩阵对渲染结果进行仿射变换，得到渲染图像；确定所述渲染图像和所述原始人脸图像的像素差值的绝对值之和，记为第一损失值；确定当前次迭代优化的纹理矩阵和光照控制矩阵的L2范数值，记为第二损失值；采用所述第一损失值与所述第二损失值的加权求和结果，作为当前次迭代后所述第一损失函数的函数值。
2.根据权利要求1所述的方法，其特征在于，对所述人脸特征矩阵以及所述深度图特征矩阵进行拼接处理，包括：
将所述深度图特征矩阵中的深度特征编码整体拼接至所述人脸特征矩阵的预设位置；
或者，将所述人脸特征矩阵的人脸特征编码，整体拼接至所述深度图特征矩阵的预设位置。
3.根据权利要求2所述的方法，其特征在于，所述深度图特征矩阵的预设位置为所述深度图特征矩阵中最后一个深度特征编码的后一位置。
4.根据权利要求1所述的方法，其特征在于，所述第一损失函数采用下述公式表示：
其中，θ表示当前次迭代优化的纹理矩阵，δ表示当前次迭代优化的光照控制矩阵，P表示所述仿射变换矩阵，α表示所述优化形状矩阵，γ表示所述优化表情矩阵，Im表示当前次迭代中得到的渲染图像的第m个像素的像素值，表示所述原始人脸图像的第m个像素的像素值，M表示像素数量，L2()表示L2范数计算函数，ω1和ω2分别表示第一权重值和第二权重值。
5.根据权利要求1所述的方法，基于所述优化形状矩阵和优化表情矩阵，确定待渲染人脸模型，包括：
确定所述优化形状矩阵与通用形状矩阵的乘积，记为第一矩阵乘积；
确定所述优化表情矩阵与通用表情矩阵的乘积，记为第二矩阵乘积；
对所述第一矩阵乘积、所述第二矩阵乘积以及平均形状矩阵进行求和，以确定所述待渲染人脸模型。
6.根据权利要求5所述的方法，其特征在于，采用下述公式，确定所述待渲染人脸模型：
其中，G(α,γ)表示所述待渲染人脸模型，α表示所述优化形状矩阵，S表示所述通用形状矩阵，γ表示所述优化表情矩阵，E表示所述通用表情矩阵，表示所述平均形状矩阵。
7.根据权利要求1所述的方法，其特征在于，根据所述原始人脸图像和所述待渲染人脸模型，确定仿射变换矩阵，包括：
从所述原始人脸图像中提取多个第一关键点，基于提取的第一关键点从所述待渲染人脸模型中确定多个第二关键点，所述第一关键点与所述第二关键点一一对应；
基于所述多个第一关键点与所述多个第二关键点，确定所述仿射变换矩阵。
8.根据权利要求1或7所述的方法，其特征在于，在确定所述仿射变换矩阵之后，以及在基于所述待渲染人脸模型和所述仿射变换矩阵，构建第一损失函数之前，所述方法还包括：
固定所述优化形状矩阵不变，对所述仿射变换矩阵和所述优化表情矩阵进行多次迭代更新，以确定更新后的仿射变换矩阵和更新后的待渲染人脸模型；
其中，每次迭代过程中，当前次迭代使用的优化表情矩阵基于前一次迭代得到的仿射变换矩阵确定，当前次的迭代得到的仿射变换矩阵基于当前次迭代使用的优化表情矩阵确定。
9.根据权利要求1所述的方法，其特征在于，在将所述融合特征矩阵输入预测模型之前，所述方法还包括：
确定多张样本人脸图像，每张样本人脸图像具有预构建的第二损失函数；对所述多张样本人脸图像的各个预构建的第二损失函数进行加权运算，以构建第三损失函数；
采用所述第三损失函数，将所述多张样本人脸图像输入预设的初始化预测模型进行迭代训练，直至所述第三损失函数收敛或迭代次数达到第二预设次数，停止迭代并得到所述预测模型。
10.根据权利要求9所述的方法，其特征在于，每次迭代中，基于下述过程确定当前次迭代后所述第三损失函数的函数值：
对于输入的每张样本人脸图像，基于当前优化的预测模型确定形状矩阵和表情矩阵；
根据所述形状矩阵和所述表情矩阵，确定该张样本人脸图像的当前人脸预测矩阵；
对所述当前人脸预测矩阵中的各个元素与该张样本人脸图像的人脸标注矩阵的对应元素之间的差值进行加权求和，得到该张样本人脸图像对应的第二损失函数的当前函数值；
采用所述多张样本人脸图像各自对应的第二损失函数的当前函数值的加权求和结果，作为当前次迭代后所述第三损失函数的函数值。
11.根据权利要求9或10所述的方法，其特征在于，
所述第二损失函数采用下述公式表示：
其中，(l2)j表示第j张样本人脸图像对应的第二损失函数，j表示样本人脸图像的序号，α表示每次迭代过程中基于当前优化的预测模型确定的形状矩阵，γ表示每次迭代过程中基于当前优化的预测模型确定的表情矩阵，Gi(α,γ)表示每次迭代过程中当前人脸预测矩阵中的第i个元素，用于表示样本人脸图像的人脸标注矩阵中的第i元素，N表示矩阵元素个数，qi表示第i个元素差值的权重值；
所述第三损失函数采用下述公式表示：
其中，L3表示所述第三损失函数，pj表示第j张样本人脸图像的第二损失函数的权重值，J表示样本人脸图像的总数。
12.一种人脸重建装置，其特征在于，包括：
特征提取模块，用于分别对原始人脸图像及其深度图像进行特征提取，得到人脸特征矩阵以及深度图特征矩阵；
矩阵拼接模块，用于对所述人脸特征矩阵以及所述深度图特征矩阵进行拼接处理，得到融合特征矩阵；
第一重建系数确定模块，用于将所述融合特征矩阵输入预测模型，得到优化形状矩阵和优化表情矩阵；
第二重建系数确定模块，用于基于所述优化形状矩阵和所述优化表情矩阵，对初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，以确定优化纹理矩阵和优化光照控制矩阵；
在确定优化纹理矩阵和优化光照控制矩阵之后，所述人脸重建装置还执行：根据所述优化形状矩阵和所述优化表情矩阵，确定待渲染人脸模型；
采用所述优化纹理矩阵和所述优化光照控制矩阵，对所述待渲染人脸模型进行可微渲染，以得到人脸重建模型；
其中，所述第二重建系数确定模块还执行：
基于所述优化形状矩阵和优化表情矩阵，确定待渲染人脸模型；根据所述原始人脸图像和所述待渲染人脸模型，确定仿射变换矩阵；基于所述待渲染人脸模型和所述仿射变换矩阵，构建第一损失函数；采用梯度优化算法以及所述第一损失函数，对所述初始化纹理矩阵和初始化光照控制矩阵进行迭代优化，直至所述第一损失函数收敛或迭代次数达到第一预设次数，停止迭代并得到所述优化纹理矩阵和优化光照控制矩阵；
其中，所述第二重建系数确定模块基于下述过程确定当前次迭代后所述第一损失函数的函数值：
采用当前次迭代优化的纹理矩阵和光照控制矩阵对所述待渲染人脸模型进行可微渲染，并采用所述仿射变换矩阵对渲染结果进行仿射变换，得到渲染图像；确定所述渲染图像和所述原始人脸图像的像素差值的绝对值之和，记为第一损失值；确定当前次迭代优化的纹理矩阵和光照控制矩阵的L2范数值，记为第二损失值；采用所述第一损失值与所述第二损失值的加权求和结果，作为当前次迭代后所述第一损失函数的函数值。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至11任一项所述人脸重建方法的步骤。
14.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至11任一项所述人脸重建方法的步骤。
CN202310620674.0A 2023-05-29 2023-05-29 人脸重建方法及装置、计算机可读存储介质、终端 Active CN116664746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310620674.0A CN116664746B (zh) 2023-05-29 2023-05-29 人脸重建方法及装置、计算机可读存储介质、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310620674.0A CN116664746B (zh) 2023-05-29 2023-05-29 人脸重建方法及装置、计算机可读存储介质、终端

Publications (2)

Publication Number Publication Date
CN116664746A CN116664746A (zh) 2023-08-29
CN116664746B true CN116664746B (zh) 2024-04-02

Family

ID=87720135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310620674.0A Active CN116664746B (zh) 2023-05-29 2023-05-29 人脸重建方法及装置、计算机可读存储介质、终端

Country Status (1)

Country Link
CN (1) CN116664746B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557749A (zh) * 2016-11-18 2017-04-05 深圳市唯特视科技有限公司 一种基于三维形变人脸模型用于安防的人脸识别方法
CN108154550A (zh) * 2017-11-29 2018-06-12 深圳奥比中光科技有限公司 基于rgbd相机的人脸实时三维重建方法
CN113723317A (zh) * 2021-09-01 2021-11-30 京东科技控股股份有限公司 3d人脸的重建方法、装置、电子设备和存储介质
CN114821750A (zh) * 2022-05-31 2022-07-29 北京影数科技有限公司 一种基于三维人脸重建的面部动捕方法及系统
WO2023050992A1 (zh) * 2021-09-30 2023-04-06 广州视源电子科技股份有限公司 用于人脸重建的网络训练方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557749A (zh) * 2016-11-18 2017-04-05 深圳市唯特视科技有限公司 一种基于三维形变人脸模型用于安防的人脸识别方法
CN108154550A (zh) * 2017-11-29 2018-06-12 深圳奥比中光科技有限公司 基于rgbd相机的人脸实时三维重建方法
CN113723317A (zh) * 2021-09-01 2021-11-30 京东科技控股股份有限公司 3d人脸的重建方法、装置、电子设备和存储介质
WO2023050992A1 (zh) * 2021-09-30 2023-04-06 广州视源电子科技股份有限公司 用于人脸重建的网络训练方法、装置、设备及存储介质
CN114821750A (zh) * 2022-05-31 2022-07-29 北京影数科技有限公司 一种基于三维人脸重建的面部动捕方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Expression-Aware Face Reconstruction via a Dual-Stream Network;Xiaoyu Chai 等;IEEE Transactions on Multimedia;全文 *

Also Published As

Publication number Publication date
CN116664746A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
EP3920146A1 (en) Method for training smpl parameter prediction model, computer device, and storage medium
CN111598993B (zh) 基于多视角成像技术的三维数据重建方法、装置
CN111369681A (zh) 三维模型的重构方法、装置、设备及存储介质
JP7327140B2 (ja) 画像処理方法及び情報処理装置
KR20190059594A (ko) 디스패리티 추정 장치 및 방법
CN111444744A (zh) 活体检测方法、装置以及存储介质
JP7452698B2 (ja) 画像間の空間的関係をラベリングする強化学習モデル
JP2023545190A (ja) 画像の視線補正方法、装置、電子機器、及びコンピュータプログラム
US20230394693A1 (en) Method for training depth estimation model, training apparatus, and electronic device applying the method
CN114556422A (zh) 来自双相机与双像素的联合深度预测
CN109784353B (zh) 一种处理器实现的方法、设备和存储介质
KR102592668B1 (ko) 안면 인식 방법 및 디바이스
CN114332125A (zh) 点云重建方法、装置、电子设备和存储介质
CN114429518B (zh) 人脸模型重建方法、装置、设备和存储介质
CN115564639A (zh) 背景虚化方法、装置、计算机设备和存储介质
CN117372604B (zh) 一种3d人脸模型生成方法、装置、设备及可读存储介质
CN113436269B (zh) 图像稠密立体匹配方法、装置和计算机设备
CN110335228B (zh) 一种图像视差的确定方法、装置及系统
CN117635444A (zh) 基于辐射差和空间距离的深度补全方法、装置和设备
US20230401737A1 (en) Method for training depth estimation model, training apparatus, and electronic device applying the method
CN117409149A (zh) 基于立体约束的光束法平差方程的三维建模方法及系统
WO2024041058A1 (zh) 一种随访病例数据的处理方法、装置、设备及存储介质
US12073534B2 (en) Image restoration method and device
US20120038785A1 (en) Method for producing high resolution image
CN116664746B (zh) 人脸重建方法及装置、计算机可读存储介质、终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant