CN114419255A - 融合真实人脸的三维人头模型生成方法、装置、电子设备及存储介质 - Google Patents

融合真实人脸的三维人头模型生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114419255A
CN114419255A CN202210058130.5A CN202210058130A CN114419255A CN 114419255 A CN114419255 A CN 114419255A CN 202210058130 A CN202210058130 A CN 202210058130A CN 114419255 A CN114419255 A CN 114419255A
Authority
CN
China
Prior art keywords
dimensional
face
head
human
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210058130.5A
Other languages
English (en)
Inventor
尹逊刚
李宁
秦剑锋
杜先鹏
孙立斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Xiaoyou Intelligent Technology Co ltd
Original Assignee
Suzhou Xiaoyou Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Xiaoyou Intelligent Technology Co ltd filed Critical Suzhou Xiaoyou Intelligent Technology Co ltd
Priority to CN202210058130.5A priority Critical patent/CN114419255A/zh
Publication of CN114419255A publication Critical patent/CN114419255A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种融合真实人脸的三维人头模型生成方法、装置、电子设备及存储介质，获取三维扫描仪扫描的真实人脸的人脸扫描数据和预先构建的三维人头模型的全头模型数据；根据所述人脸扫描数据和全头模型数据将所述三维真实人脸与所述三维人头模型进行配准，确定所述三维人头模型中的目标人脸区域；将所述目标人脸区域向所述真实人脸进行拟合变换，得到具有真实人脸形状的三维人头模型；将所述三维真实人脸纹理映射至拟合后的目标人脸区域，得到融合真实人脸的三维人头模型。本发明方案能够在无需人工参与的情况下将三维人脸补全成完整的三维人头模型，生成的三维人头模型的人脸区域具有极强的真实感，适用于脸型和头型差异较大情况下的人脸补全。

Description

融合真实人脸的三维人头模型生成方法、装置、电子设备及存 储介质
技术领域
本发明涉及图像处理和计算机视觉技术领域，尤其涉及一种融合真实人脸的三维人头模型生成方法、装置、电子设备及存储介质。
背景技术
随着人工智能以及计算机视觉技术的快速发展，我们能够越来越方便地获得三维人脸数据。如何将三维人脸补全，使之成为一个完整的全头模型，或者赋予三维人脸不同的3D头型，一直是一个开放性的问题。将三维人脸补全成完整的三维人头模型，在医疗美容、虚拟现实、人脸检测与识别等众多领域有重要作用。
当前的人脸补全算法，主要有以下几种方法：
网格编辑算法。网格编辑算法采用的是自由曲面变形技术和基于微分的网格变形技术。自由曲面变形技术一般是控制网格变形或者控制顶点变形，该方法虽然简单高效，但这种方法容易丢失网格的局部细节。基于微分的网格变形方法能够保留三角网格的局部几何细节，但这些方法需要三维建模师进行繁琐的手工操作。
基于三维网格结构的人脸补全算法。这类方法是根据网格结构进行的网格层面的补全。首先检测出空洞边界，之后利用最小二乘网格、径向基函数隐式曲面或者牛顿插值等方法进行孔洞的补全。这可以方法一般适用于较小网格孔洞的补全，在应用于全人头补全时，由于缺少大部分的人头信息，这种方法并不能较好地完成任务，甚至无法工作。
基于统计模型的三维人脸补全算法。这类方法是通过构建三维全头模型数据库，如FacewareHouse、FaceScape等。利用这些数据进行统计学习，再用学习出来的模型(三维可变形模型3DMM)重建全头模型，从而实现三维人脸的补全。通过统计模型进行人脸补全的方法会丢失人脸和人头的细节，很难应用到实际场景中。
在以上的方法中，网格编辑算法，需要繁杂的手工操作，而三维人脸补全的效果依赖于操作者的操作水平。基于三维网格结构的三维人脸补全算法，无法实现孔洞过大时的三维人脸补全，比如当只有人脸模型时，无法实现三维人脸补全成全头模型的任务。基于统计模型的三维人脸补全算法，缺少人脸和人头区域的细节，需要预先做大量的模型训练，而且计算量大。
发明内容
本发明提供一种融合真实人脸的三维人头模型生成方法、装置、电子设备及存储介质，将构建的三维人头模型与真实人脸扫描数据进行融合，生成具有真实人脸形状和人脸纹理的三维人头模型，在无需人工参与的情况下实现了将三维人脸补全成完整的三维人头模型。
第一方面，本发明提供一种融合真实人脸的三维人头模型生成方法，包括以下步骤：
S1、获取三维扫描仪扫描的真实人脸的人脸扫描数据和预先构建的三维人头模型的全头模型数据；
S2、根据所述人脸扫描数据和全头模型数据将所述三维真实人脸与所述三维人头模型进行配准，确定所述三维人头模型中的目标人脸区域；
S3、将所述目标人脸区域向所述真实人脸进行拟合变换，得到具有真实人脸形状的三维人头模型；
S4、将所述三维真实人脸纹理映射至拟合后的目标人脸区域，得到融合真实人脸的三维人头模型。
优选的，所述人脸扫描数据包括三维人脸网格和人脸纹理图，所述全头模型数据包括三维全头网格和全头纹理图；
相应的，所述步骤S2包括以下步骤：
S201、利用Dlib算法和预先训练好的特征检测模型提取所述人脸纹理图中的68个二维人脸特征点，并根据所述三维扫描仪的内参数矩阵计算所述三维人脸网格中对应的68个三维人脸特征点；
S202、从所述三维全头网格中选取68个人脸特征点；
S203、根据所述三维人脸网格中的68个三维人脸特征点与所述三维全头网格中的68个人脸特征点的对应关系将所述三维人脸网格与所述三维全头网格进行配准，确定所述三维全头网格中的目标人脸区域。
优选的，所述步骤S3包括以下步骤：
S301、针对所述三维人脸网格的每个网格顶点，计算所述网格顶点与所述三维全头网格中的目标人脸区域的网格顶点之间的距离，并将距离小于预设距离阈值的所述三维全头网格的网格顶点作为匹配点，得到多组匹配点对；
S302、计算所述多组匹配点对之间的仿射变换矩阵，并对所述仿射变换矩阵进行迭代优化；
S303、根据优化后的仿射变换矩阵将所述全头网格中的目标人脸区域的网格顶点进行拟合变换，得到具有真实人脸形状的三维全头网格。
优选的，所述对所述仿射变换矩阵进行迭代优化包括以下步骤：
S3021、设置变换权重系数以及损失函数；其中，所述变换权重系数用于与所述仿射变换矩阵每个元素相乘，以控制网格顶点拟合变换的速率，所述损失函数如下：
E(X)＝Ed(X)+αEs(X)，
其中，E(X)为总损失项，Ed(X)为距离损失项，α为刚性变换损失项权重，X为所有网格顶点的仿射变换矩阵，
Figure BDA0003477237660000031
为刚性变换损失项，Wi和Sj分别为匹配的三维人脸网格的每个网格顶点和全头网格中的目标人脸区域的网格顶点，G＝diag(1,1,1,γ)为权重矩阵，γ为平衡旋转和平移的参数；
S3022、通过迭代求解损失函数最小值对所述仿射变换矩阵进行优化，具体过程以下：
在迭代开始时，设置较高的变换权重系数和刚性变换损失项权重，在迭代过程中，控制变换权重系数和刚性变换损失项权重按照预设比例逐渐减小，直至收敛。收敛的条件为达到设定的最大迭代次数或者前后两次变换的误差比率小于设定的比率。
优选的，所述步骤S4包括以下步骤：
S401、利用人脸检测算法对所述全头纹理图进行人脸检测确定所述全头纹理图中的人脸区域，将所述人脸纹理图对所述全头纹理图中的人脸区域进行替换，并利用泊松融合算法对替换后的全头纹理图的接缝处进行图像融合处理得到具有真实人脸纹理的全头纹理图；
S402、将所述具有真实人脸纹理的全头纹理图贴附至所述具有真实人脸形状的三维全头网格，得到具有真实人脸纹理的三维人头模型；
S403、根据所述人脸纹理图中的68个二维人脸特征点和所述三维全头网格中的68个人脸特征点的对应关系计算投影变换矩阵；
S404、利用所述投影变换矩阵对所述具有真实人脸纹理的三维人头模型的人脸区域进行变换，得到融合真实人脸的三维人头模型。
第二方面，本发明提供一种融合真实人脸的三维人头模型生成装置，包括：
获取模块，用于获取三维扫描仪扫描的真实人脸的三维人脸扫描数据和预先构建的三维人头模型的全头模型数据；
配准模块，用于根据所述三维人脸扫描数据和全头模型数据将所述三维真实人脸与所述三维人头模型进行配准，确定所述三维人头模型中的目标人脸区域；
拟合变换模块，用于将所述目标人脸区域向所述真实人脸进行拟合变换，得到具有真实人脸形状的三维人头模型；
纹理映射模块，用于将所述三维真实人脸纹理映射至拟合后的目标人脸区域，得到融合真实人脸的三维人头模型。
第三方面，本发明提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行第一方面任一项所述的融合真实人脸的三维人头模型生成方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述的融合真实人脸的三维人头模型生成方法。
本发明提供的一种融合真实人脸的三维人头模型生成方法、装置、电子设备及存储介质，获取三维扫描仪扫描的真实人脸的人脸扫描数据和预先构建的三维人头模型的全头模型数据；根据所述人脸扫描数据和全头模型数据将所述三维真实人脸与所述三维人头模型进行配准，确定所述三维人头模型中的目标人脸区域；将所述目标人脸区域向所述真实人脸进行拟合变换，得到具有真实人脸形状的三维人头模型；将所述三维真实人脸纹理映射至拟合后的目标人脸区域，得到融合真实人脸的三维人头模型。与现有技术相比，本申请能够在无需人工参与的情况下将三维人脸补全成完整的三维人头模型，生成的三维人头模型的人脸区域具有极强的真实感，适用于脸型和头型差异较大情况下的人脸补全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例一提供的一种融合真实人脸的三维人头模型生成方法的流程示意图；
图2为本公开实施例二提供的一种融合真实人脸的三维人头模型生成装置的结构示意图；
图3为本公开实施例三提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下将对本申请提供的融合真实人脸的三维人头模型生成方法、装置、电子设备及存储介质进行进一步说明：
实施例一
图1为本公开实施例一提供的一种融合真实人脸的三维人头模型生成方法的流程示意图。如图1所示，本公开实施例提供的一种融合真实人脸的三维人头模型生成方法，包括以下步骤：
S1、获取三维扫描仪扫描的真实人脸的人脸扫描数据和预先构建的三维人头模型的全头模型数据；
其中，人脸扫描数据是利用三维扫描仪对目标真实人脸进行扫描得到的，全头模型数据是利用三维建模软件构建的虚拟人头模型。
本实施例中，人脸扫描数据包括三维人脸网格和人脸纹理图，分别表示真实人脸的几何形状信息和纹理信息，全头模型数据包括三维全头网格和全头纹理图，分别表示三维人头模型的几何形状信息和纹理信息。
S2、根据所述人脸扫描数据和全头模型数据将所述三维真实人脸与所述三维人头模型进行配准，确定所述三维人头模型中的目标人脸区域；
本实施例中，可根据特征点的对应关系提取三维人头模型上的人脸区域作为目标人脸区域，以将目标人脸区域向真实人脸拟合，使得目标人脸区域的几何形状接近真实人脸的几何形状。可确定三维人脸网格中的68个三维人脸特征点和三维全头网格中的68个人脸特征点，并根据特征点位置的对应关系将三维人脸网格与三维全头网格进行配准确定出三维全头网格中的目标人脸区域。
在一种可能的实施方式中，步骤S2具体包括：S201、利用Dlib算法和预先训练好的特征检测模型提取所述人脸纹理图中的68个二维人脸特征点，并根据所述三维扫描仪的内参数矩阵计算所述三维人脸网格中对应的68个三维人脸特征点；S202、从所述三维全头网格中选取68个人脸特征点；S203、根据所述三维人脸网格中的68个三维人脸特征点与所述三维全头网格中的68个人脸特征点的对应关系将所述三维人脸网格与所述三维全头网格进行配准，确定所述三维全头网格中的目标人脸区域。
具体来说，在三维全头网格的人脸区域选取68个人脸特征点，人脸特征点包含人眼、眉毛、鼻梁、鼻尖、嘴唇等区域，调用Dlib算法以及人脸68个特征点检测模型，提取人脸纹理图中的68个人脸特征点，然后根据三维扫描仪的内参数矩阵，计算出对应的三维人脸网格中的68个三维人脸特征点，主要计算过程如下：
(1)从人脸纹理图中提取的68个人脸特征点集合为F＝[f1,f2...f68]，每个特征点的图像坐标表示为fi＝(ui,vi)，i＝1,2,...,68；
(2)设三维人脸网格的所有三维坐标点为W＝[w1,w2...,wn]，每个点的三维坐标为wi＝(xi,yi,zi),i＝1,2,...,n，依据公式一和公式二，将三维人脸网格的三维坐标点投影至二维：
Figure BDA0003477237660000071
Figure BDA0003477237660000072
其中，K为三维扫描仪的内参数矩阵，
Figure BDA0003477237660000073
为三维人脸网格的三维坐标点坐标的转置。
(3)通过公式一的逆运算，计算68个人脸特征点的图像坐标对应的三维坐标，得到68个三维人脸特征点集合为M＝[m1,m2,...,m68],mi＝[xi,yi,zi]。M＝(m1,m2,……m68)，每个人脸特征点的三维坐标为mi＝(xi,yi,zi),i＝1,2,…,68。
S3、将所述目标人脸区域向所述真实人脸进行拟合变换，得到具有真实人脸形状的三维人头模型；
本实施例中，在三维人脸网格中确定了目标人脸区域后，将目标人脸区域进行拟合变换，以将目标人脸区域的几何形状变换为真实人脸的几何形状，可在目标人脸区域中确定与三维人脸网格的每个网格顶点相匹配的网格顶点得到多组匹配点对，并根据多组匹配点对的三维坐标计算仿射变换矩阵，利用仿射变换矩阵对目标人脸区域的三维坐标进行拟合变换。
在一种可能的实施方式中，步骤S3具体包括：S301、针对所述三维人脸网格的每个网格顶点，计算所述网格顶点与所述三维全头网格中的目标人脸区域的网格顶点之间的距离，并将距离小于预设距离阈值的所述三维全头网格的网格顶点作为匹配点，得到多组匹配点对；S302、计算所述多组匹配点对之间的仿射变换矩阵，并对所述仿射变换矩阵进行迭代优化；S303、根据优化后的仿射变换矩阵将所述全头网格中的目标人脸区域的网格顶点进行拟合变换，得到具有真实人脸形状的三维全头网格。
其中，对所述仿射变换矩阵进行迭代优化包括以下步骤：
S3021、设置变换权重系数以及损失函数；其中，所述变换权重系数用于与所述仿射变换矩阵每个元素相乘，以控制网格顶点拟合变换的速率，所述损失函数如公式三和公式四所示：
E(X)＝Ed(X)+αEs(X) 公式三
Figure BDA0003477237660000081
其中，E(X)为总损失项，Ed(X)为距离损失项，Es(X)为刚性变换损失项，α为刚性变换损失项权重，X为所有网格顶点的仿射变换矩阵，wi和sj分别为匹配的三维人脸网格的每个网格顶点和全头网格中的目标人脸区域的网格顶点，G＝diag(1,1,1,γ)为权重矩阵，γ为平衡旋转和平移的参数；
S3022、通过迭代求解损失函数最小值对所述仿射变换矩阵进行优化，具体过程以下：
在迭代开始时，设置较高的变换权重系数K和刚性变换损失项权重α，在迭代过程中，控制变换权重系数K和刚性变换损失项权重α按照预设比例逐渐减小，直至收敛。收敛的条件为达到设定的最大迭代次数或者前后两次变换的误差比率小于设定的比率。
初始设置较大的变换权重系数K和刚性变换损失项权重α，有利于加快三维人头模型的人脸区域的拟合变换速率，后期通过迭代减少变换权重系数K和刚性变换损失项权重α，有利于三维人头模型的细节变化。
S4、将所述三维真实人脸纹理映射至拟合后的目标人脸区域，得到融合真实人脸的三维人头模型。
本实施例中，三维人头模型的人脸区域经过拟合变换后，其人脸区域的网格形状已经接近真实人脸形状，进一步的需要对拟合变换后的三维人头模型进行纹理重映射，以使三维人头模型的人脸区域具有真实人脸纹理。
在一种可能的实施方式中，步骤S4具体包括：S401、利用人脸检测算法对所述全头纹理图进行人脸检测确定所述全头纹理图中的人脸区域，将所述人脸纹理图对所述全头纹理图中的人脸区域进行替换，并利用泊松融合算法对替换后的全头纹理图的接缝处进行图像融合处理得到具有真实人脸纹理的全头纹理图；S402、将所述具有真实人脸纹理的全头纹理图贴附至所述具有真实人脸形状的三维全头网格，得到具有真实人脸纹理的三维人头模型；S403、根据所述人脸纹理图中的68个二维人脸特征点和所述三维全头网格中的68个人脸特征点的对应关系计算投影变换矩阵；S404、利用所述投影变换矩阵对所述具有真实人脸纹理的三维人头模型的人脸区域进行变换，得到融合真实人脸的三维人头模型。
具体来说，获取全头纹理图及真实人脸纹理图，基于OpenCV进行人脸检测，将真实人脸纹理图交换到全头纹理图的人脸区域，对于人脸接缝处，采用泊松融合算法对接缝处的纹理色差进行处理；利用具有真实人脸纹理的全头纹理图对三维全头网格进行纹理贴图，但将具有真实人脸纹理的全头纹理图直接进行纹理贴图无法获得较好的结果，需要进一步的对三维全头网格和纹理图进行重映射计算，主要过程如下：
(1)获取之前提取的人脸纹理图中的68个二维人脸特征点和三维全头网格中的68个人脸特征点；
(2)将人脸纹理图中的68个二维人脸特征点和三维全头网格中的68个人脸特征点保持一一对应，即三维鼻尖对应二维鼻尖，三维眼球点对应二维眼球点，依次类推；
(3)根据人脸纹理图中的68个二维人脸特征点和三维全头网格中的68个人脸特征点的对应关系，计算投影变换矩阵Mr；
(4)将投影变换矩阵Mr作用于三维人头模型的人脸区域；
(5)对完成纹理重映射后的三维人头模型进行网格平滑和全局纹理平滑处理，最终得到具有真实人脸模型的全人头三维模型。
实施例二
对应于上文实施例一的一种融合真实人脸的三维人头模型生成方法，图2为本公开实施例二提供的一种融合真实人脸的三维人头模型生成装置的结构示意图。为了便于说明，仅示出了与本公开实施例相关的部分。参照图2，所述融合真实人脸的三维人头模型生成装置包括：
获取模块61，用于获取三维扫描仪扫描的真实人脸的三维人脸扫描数据和预先构建的三维人头模型的全头模型数据；
配准模块62，用于根据所述三维人脸扫描数据和全头模型数据将所述三维真实人脸与所述三维人头模型进行配准，确定所述三维人头模型中的目标人脸区域；
拟合变换模块63，用于将所述目标人脸区域向所述真实人脸进行拟合变换，得到具有真实人脸形状的三维人头模型；
纹理映射模块64，用于将所述三维真实人脸纹理映射至拟合后的目标人脸区域，得到融合真实人脸的三维人头模型。
可选的，所述人脸扫描数据包括三维人脸网格和人脸纹理图，所述全头模型数据包括三维全头网格和全头纹理图；
相应的，所述配准模块61，具体用于：
利用Dlib算法和预先训练好的特征检测模型提取所述人脸纹理图中的68个二维人脸特征点，并根据所述三维扫描仪的内参数矩阵计算所述三维人脸网格中对应的68个三维人脸特征点；
从所述三维全头网格中选取68个人脸特征点；
根据所述三维人脸网格中的68个三维人脸特征点与所述三维全头网格中的68个人脸特征点的对应关系将所述三维人脸网格与所述三维全头网格进行配准，确定所述三维全头网格中的目标人脸区域。
可选的，所述拟合变换模块62，具体用于：
针对所述三维人脸网格的每个网格顶点，计算所述网格顶点与所述三维全头网格中的目标人脸区域的网格顶点之间的距离，并将距离小于预设距离阈值的所述三维全头网格的网格顶点作为匹配点，得到多组匹配点对；
计算所述多组匹配点对之间的仿射变换矩阵，并对所述仿射变换矩阵进行迭代优化；
根据优化后的仿射变换矩阵将所述全头网格中的目标人脸区域的网格顶点进行拟合变换，得到具有真实人脸形状的三维全头网格。
进一步的，所述拟合变换模块63，具体还用于：
设置变换权重系数以及损失函数；其中，所述变换权重系数用于与所述仿射变换矩阵每个元素相乘，以控制网格顶点拟合变换的速率，所述损失函数以下：
E(X)＝Ed(X)+αEs(X)，
其中，E(X)为总损失项，Ed(X)为距离损失项，α为刚性变换损失项权重，X为所有网格顶点的仿射变换矩阵，
Figure BDA0003477237660000101
为刚性变换损失项，Wi和Sj分别为匹配的三维人脸网格的每个网格顶点和全头网格中的目标人脸区域的网格顶点，G＝diag(1,1,1,γ)为权重矩阵，γ为平衡旋转和平移的参数；
通过迭代求解损失函数最小值对所述仿射变换矩阵进行优化，具体过程以下：
在迭代开始时，设置较高的变换权重系数和刚性变换损失项权重，在迭代过程中，控制变换权重系数和刚性变换损失项权重按照预设比例逐渐减小，直至收敛。收敛的条件为达到设定的最大迭代次数或者前后两次变换的误差比率小于设定的比率。
可选的，所述纹理映射模块64，具体用于：
利用人脸检测算法对所述全头纹理图进行人脸检测确定所述全头纹理图中的人脸区域，将所述人脸纹理图对所述全头纹理图中的人脸区域进行替换，并利用泊松融合算法对替换后的全头纹理图的接缝处进行图像融合处理得到具有真实人脸纹理的全头纹理图；
将所述具有真实人脸纹理的全头纹理图贴附至所述具有真实人脸形状的三维全头网格，得到具有真实人脸纹理的三维人头模型；
根据所述人脸纹理图中的68个二维人脸特征点和所述三维全头网格中的68个人脸特征点的对应关系计算投影变换矩阵；
利用所述投影变换矩阵对所述具有真实人脸纹理的三维人头模型的人脸区域进行变换，得到融合真实人脸的三维人头模型。
实施例三
图3为本公开实施例提供的一种电子设备的结构示意图，如图3所示，本实施例的电子设备70可以包括：存储器71、处理器72。
存储器71，用于存储计算机程序(如实现上述一种融合真实人脸的三维人头模型生成方法的应用程序、功能模块等)、计算机指令等；
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器71中。并且上述的计算机程序、计算机指令等可以被处理器72调用。
处理器72，用于执行存储器71存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
存储器71和处理器72可以是独立结构，也可以是集成在一起的集成结构。当存储器71和处理器72是独立结构时，存储器71、处理器72可以通过总线73耦合连接。
本实施例的一种电子设备可以执行图2所示方法中的技术方案，其具体实现过程和技术原理参见图2所示方法中的相关描述，此处不再赘述。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。
其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些端口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以本发明权利要求的保护范围为准。

Claims (8)

1.一种融合真实人脸的三维人头模型生成方法，其特征在于，包括以下步骤：
S1、获取三维扫描仪扫描的真实人脸的人脸扫描数据和预先构建的三维人头模型的全头模型数据；
S2、根据所述人脸扫描数据和全头模型数据将所述三维真实人脸与所述三维人头模型进行配准，确定所述三维人头模型中的目标人脸区域；
S3、将所述目标人脸区域向所述真实人脸进行拟合变换，得到具有真实人脸形状的三维人头模型；
S4、将所述三维真实人脸纹理映射至拟合后的目标人脸区域，得到融合真实人脸的三维人头模型。
2.根据权利要求1所述的融合真实人脸的三维人头模型生成方法，其特征在于，所述人脸扫描数据包括三维人脸网格和人脸纹理图，所述全头模型数据包括三维全头网格和全头纹理图；
相应的，所述步骤S2包括以下步骤：
S201、利用Dlib算法和预先训练好的特征检测模型提取所述人脸纹理图中的68个二维人脸特征点，并根据所述三维扫描仪的内参数矩阵计算所述三维人脸网格中对应的68个三维人脸特征点；
S202、从所述三维全头网格中选取68个人脸特征点；
S203、根据所述三维人脸网格中的68个三维人脸特征点与所述三维全头网格中的68个人脸特征点的对应关系将所述三维人脸网格与所述三维全头网格进行配准，确定所述三维全头网格中的目标人脸区域。
3.根据权利要求1所述的融合真实人脸的三维人头模型生成方法，其特征在于，所述步骤S3包括以下步骤：
S301、针对所述三维人脸网格的每个网格顶点，计算所述网格顶点与所述三维全头网格中的目标人脸区域的网格顶点之间的距离，并将距离小于预设距离阈值的所述三维全头网格的网格顶点作为匹配点，得到多组匹配点对；
S302、计算所述多组匹配点对之间的仿射变换矩阵，并对所述仿射变换矩阵进行迭代优化；
S303、根据优化后的仿射变换矩阵将所述全头网格中的目标人脸区域的网格顶点进行拟合变换，得到具有真实人脸形状的三维全头网格。
4.根据权利要求3所述的融合真实人脸的三维人头模型生成方法，其特征在于，所述对所述仿射变换矩阵进行迭代优化包括以下步骤：
S3021、设置变换权重系数以及损失函数；其中，所述变换权重系数用于与所述仿射变换矩阵每个元素相乘，以控制网格顶点拟合变换的速率，所述损失函数如下：
E(X)＝Ed(X)+αEs(X)，
其中，E(X)为总损失项，Ed(X)为距离损失项，α为刚性变换损失项权重，X为所有网格顶点的仿射变换矩阵，
Figure FDA0003477237650000021
为刚性变换损失项，Wi和Sj分别为匹配的三维人脸网格的每个网格顶点和全头网格中的目标人脸区域的网格顶点，G＝diag(1,1,1,γ)为权重矩阵，γ为平衡旋转和平移的参数；
S3022、通过迭代求解损失函数最小值对所述仿射变换矩阵进行优化，具体过程以下：
在迭代开始时，设置较高的变换权重系数和刚性变换损失项权重，在迭代过程中，控制变换权重系数和刚性变换损失项权重按照预设比例逐渐减小，直至收敛。收敛的条件为达到设定的最大迭代次数或者前后两次变换的误差比率小于设定的比率。
5.根据权利要求4所述的融合真实人脸的三维人头模型生成方法，其特征在于，所述步骤S4包括以下步骤：
S401、利用人脸检测算法对所述全头纹理图进行人脸检测确定所述全头纹理图中的人脸区域，将所述人脸纹理图对所述全头纹理图中的人脸区域进行替换，并利用泊松融合算法对替换后的全头纹理图的接缝处进行图像融合处理得到具有真实人脸纹理的全头纹理图；
S402、将所述具有真实人脸纹理的全头纹理图贴附至所述具有真实人脸形状的三维全头网格，得到具有真实人脸纹理的三维人头模型；
S403、根据所述人脸纹理图中的68个二维人脸特征点和所述三维全头网格中的68个人脸特征点的对应关系计算投影变换矩阵；
S404、利用所述投影变换矩阵对所述具有真实人脸纹理的三维人头模型的人脸区域进行变换，得到融合真实人脸的三维人头模型。
6.一种融合真实人脸的三维人头模型生成装置，其特征在于，包括：
获取模块，用于获取三维扫描仪扫描的真实人脸的三维人脸扫描数据和预先构建的三维人头模型的全头模型数据；
配准模块，用于根据所述三维人脸扫描数据和全头模型数据将所述三维真实人脸与所述三维人头模型进行配准，确定所述三维人头模型中的目标人脸区域；
拟合变换模块，用于将所述目标人脸区域向所述真实人脸进行拟合变换，得到具有真实人脸形状的三维人头模型；
纹理映射模块，用于将所述三维真实人脸纹理映射至拟合后的目标人脸区域，得到融合真实人脸的三维人头模型。
7.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-5任一项所述的融合真实人脸的三维人头模型生成方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-5任一项所述的融合真实人脸的三维人头模型生成方法。
CN202210058130.5A 2022-01-19 2022-01-19 融合真实人脸的三维人头模型生成方法、装置、电子设备及存储介质 Pending CN114419255A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210058130.5A CN114419255A (zh) 2022-01-19 2022-01-19 融合真实人脸的三维人头模型生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210058130.5A CN114419255A (zh) 2022-01-19 2022-01-19 融合真实人脸的三维人头模型生成方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114419255A true CN114419255A (zh) 2022-04-29

Family

ID=81273210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210058130.5A Pending CN114419255A (zh) 2022-01-19 2022-01-19 融合真实人脸的三维人头模型生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114419255A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294301A (zh) * 2022-08-11 2022-11-04 广州沃佳科技有限公司 基于人脸图像的头部模型构建方法、装置、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294301A (zh) * 2022-08-11 2022-11-04 广州沃佳科技有限公司 基于人脸图像的头部模型构建方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN112002014B (zh) 面向精细结构的三维人脸重建方法、系统、装置
US6434278B1 (en) Generating three-dimensional models of objects defined by two-dimensional image data
CN112927357B (zh) 一种基于动态图网络的3d物体重建方法
Stoll et al. Fast articulated motion tracking using a sums of gaussians body model
CN109147025B (zh) 一种面向rgbd三维重建的纹理生成方法
WO2024103890A1 (zh) 模型构建方法、重建方法、装置、电子设备及非易失性可读存储介质
Leizea et al. Real-time deformation, registration and tracking of solids based on physical simulation
CN112330813A (zh) 一种基于单目深度摄像头的着装下三维人体模型重建方法
CN112699791A (zh) 虚拟对象的脸部生成方法、装置、设备和可读存储介质
Shum et al. An integral approach to free-form object modeling
CN111260765B (zh) 一种显微手术术野的动态三维重建方法
CN114419255A (zh) 融合真实人脸的三维人头模型生成方法、装置、电子设备及存储介质
de Bruin et al. Improving triangle mesh quality with surfacenets
CN107590858A (zh) 基于ar技术的医学样品展示方法和计算机设备、存储介质
De Araújo et al. Curvature dependent polygonization of implicit surfaces
CN115972202B (zh) 控制机械臂操作的方法、机器人、设备、介质和产品
CN112381952A (zh) 一种基于多相机的面部轮廓点云模型重构方法及装置
Huysmans et al. Automatic construction of correspondences for tubular surfaces
Kirschner et al. Construction of groupwise consistent shape parameterizations by propagation
Metaxas et al. Efficient shape representation using deformable models with locally adaptive finite elements
CN115375816A (zh) 可微渲染方法、装置、电子设备及存储介质
CN115049764A (zh) Smpl参数预测模型的训练方法、装置、设备及介质
CN114820899A (zh) 一种基于多视角渲染的姿态估计方法和装置
Ilic et al. Using dirichlet free form deformation to fit deformable models to noisy 3-D data
CN113554745B (zh) 一种基于图像的三维人脸重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination