CN115294301B - 基于人脸图像的头部模型构建方法、装置、设备及介质 - Google Patents

基于人脸图像的头部模型构建方法、装置、设备及介质 Download PDF

Info

Publication number
CN115294301B
CN115294301B CN202210962723.4A CN202210962723A CN115294301B CN 115294301 B CN115294301 B CN 115294301B CN 202210962723 A CN202210962723 A CN 202210962723A CN 115294301 B CN115294301 B CN 115294301B
Authority
CN
China
Prior art keywords
face
image
dimensional
initial
head model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210962723.4A
Other languages
English (en)
Other versions
CN115294301A (zh
Inventor
朱鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Wojia Technology Co ltd
Original Assignee
Guangzhou Wojia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Wojia Technology Co ltd filed Critical Guangzhou Wojia Technology Co ltd
Priority to CN202210962723.4A priority Critical patent/CN115294301B/zh
Publication of CN115294301A publication Critical patent/CN115294301A/zh
Application granted granted Critical
Publication of CN115294301B publication Critical patent/CN115294301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于人脸图像的头部模型构建方法、装置、设备及介质，本发明能够基于二维图像自动生成完整的三维头部模型，无需人工操作，相比于软件建模和仪器采集建模，效率更高，成本更低，且在建模后，无需进行后期修正，其精度更高，适用于大规模应用与推广。

Description

基于人脸图像的头部模型构建方法、装置、设备及介质
技术领域
本发明属于三维模型构建技术领域，具体涉及一种基于人脸图像的头部模型构建方法、装置、设备及介质。
背景技术
目前，重建目标头部三维模型的方法层出不穷，主要包括软件建模、仪器采集建模以及基于图像算法的建模方法等，其中，软件建模作为最早的三维建模手段，现在仍然广泛地应用在电影和动漫等行业，3DMax就是其中的典型代表；仪器采集建模则是基于三维成像仪器进行建模，如基于结构光和激光仪器的三维成像仪，而基于图像算法的建模技术，则是指通过若干幅二维图像，来重建图像中的三维结构，常见的包括Structure From Motion(简称SFM)、Shape from Shading(简称SFS)和三维可变形人脸模型(3DMM)等算法。
但是，前述建模技术存在以下不足：(1)软件建模多用于电影场景，需使用人工，建模时间较长；(2)仪器采集虽然速度更快，但是设备成本较高，并且扫描得到的三维模型多需要后期修正才可以使用；(3)基于图像算法的建模技术虽然生成速度较快，但大多只有人的面部，想要拓展至整个头部，则需要人工的建模参与，无法自动重建完整的头部；因此，提供一种高效、成本低且可以重建完整的头部的模型构建方法迫在眉睫。
发明内容
本发明的目的是提供一种基于人脸图像的头部模型构建方法、装置、设备及介质，以解决现有建模技术所存在的时间长、成本高以及无法自动重建完整头部的问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，提供了一种基于人脸图像的头部模型构建方法，包括：
获取用于构建三维头部模型的人脸图像，并对所述人脸图像进行人脸检测，得到人脸区域图像以及人脸关键点信息；
将人脸区域图像输入至人脸特征模型中进行特征提取，得到人脸区域图像的形状特征；
获取初始三维人脸图像，并基于所述形状特征，调整所述初始三维人脸图像中的面部特征，以便基于调整后的初始三维人脸图像，得到所述人脸区域图像的深度信息；
获取初始三维头部模型，并基于所述深度信息，调整所述初始三维头部模型，得到调整后的初始三维头部模型，其中，所述初始三维头部模型是基于所述初始三维人脸图像得到的；
利用所述人脸关键点信息，对所述调整后的初始三维头部模型进行纹理处理，以在处理完成后，得到所述人脸图像对应的三维头部模型。
基于上述公开的内容，本发明先对人脸图像进行人脸检测，得到人脸区域图像以及人脸关键信息，然后利用人脸特征模型，提取人脸区域图像的形状特征，该特征用于表征人脸的各种三维形状，如胖、瘦以及人脸三维高度等，由此，即可基于形状特征，对预设的初始三维人脸图像进行面部特征调整，从而得到人脸区域图像对应的三维人脸图像，以便基于调整后的三维人脸图像得到人脸区域图像的深度信息，接着，即可利用深度信息，对预设的初始三维头部模型进行模型调整，从而得到调整后的初始三维头部模型，此时，则完成了人脸图像对应头部模型的三维部分的构建，最后，只需对人脸图像对应头部模型的二维部分进行构建(也就是纹理部分的构建)，构建完成后，则可得出完整的三维头部模型，即利用人脸关键点信息，对调整后的初始三维头部模型进行纹理处理，处理完成后，即可得到人脸图像对应的三维头部模型。
通过上述设计，本发明能够基于二维图像自动生成完整的三维头部模型，无需人工操作，相比于软件建模和仪器采集建模，效率更高，成本更低，且在建模后，无需进行后期修正，其精度更高，适用于大规模应用与推广。
在一个可能的设计中，所述形状特征包括形状参数矩阵，其中，所述形状参数矩阵中的各个行向量分别用于表征人脸区域图像的一种人脸三维形状参数；
相应的，基于所述形状特征，调整所述初始三维人脸图像中的面部特征，包括：
为初始三维人脸图像对应的每种人脸三维形状参数分别配置一BlendShape调整组件；
基于所述形状参数矩阵，得到所述形状参数矩阵中每个行向量的特征值，并将每个行向量的特征值，作为所述人脸区域图像中与每个行向量对应的人脸三维形状参数的标定值；
基于各个人脸三维形状参数的标定值，调整人脸三维形状参数对应的BlendShape调整组件的参数值，以在调整完成后，得到所述调整后的初始三维人脸图像。
在一个可能的设计中，所述人脸关键点信息包括人脸关键点坐标，所述深度信息包括所述人脸区域图像中各个像素点的空间坐标；
相应的，基于所述深度信息，调整所述初始三维头部模型，得到调整后的初始三维头部模型，包括：
获取所述初始三维头部模型中的各个人脸特征点；
基于所述人脸关键点坐标，从所述深度信息中，筛选出人脸关键点对应的空间坐标；
基于人脸关键点的空间坐标，对各个人脸特征点进行坐标调整，得到调整后的三维模型；
对调整后的三维模型进行网格平滑处理，得到所述调整后的初始三维头部模型。
基于上述公开的内容，本发明公开了调整初始三维头部模型的具体过程，即通过人脸关键点坐标，在深度信息中，得到人脸关键点的空间坐标，然后，在初始三维头部模型中，匹配出各个人脸关键点对应的人脸特征点，接着，将人脸特征点的坐标更改为与之对应的人脸关键点的空间坐标，从而完成初始三维头部模型的深度信息的调整，最后，再对调整后的三维模型进行网格平滑处理，以避免模型中各个人脸特征点在变换后，连接处的凹凸不平，由此，可达到更为精确的模型调整。
在一个可能的设计中，利用所述人脸关键点信息，对所述调整后的初始三维头部模型进行纹理处理，包括：
获取所述初始三维头部模型的UV贴图，其中，所述UV贴图中预设有多个标签点，所述多个标签点中的每个标签点用于表征所述UV贴图中人脸的关键点，且标签点的数量与人脸图像区域中人脸关键点的数量相同，表征的人脸位置相同；
根据所述人脸关键点信息，在所述人脸区域图像中确定出人脸关键点；
对所述人脸区域图像中的各个人脸关键点进行三角剖分处理，得到以各个人脸关键点为端点组成的原始三角形区域，以及对所述UV贴图中的各个标签点进行三角剖分处理，得到以各个标签点为端点组成的目标三角形区域；
基于所述目标三角形区域，对各个原始三角形区域进行仿射变换处理，以在仿射变换处理完成后，得到调整后的人脸区域图像；
将所述调整后的人脸区域图像与所述UV贴图进行图像融合，得到融合UV图像；
对所述融合UV图像进行肤色校正，得到肤色校正后的UV贴图；
将所述肤色校正后的UV贴图融合至所述调整后的初始三维头部模型中，得到所述人脸图像对应的三维头部模型。
基于上述公开的内容，本发明公开了纹理处理的具体过程，即先对人脸区域图像中的各个人脸关键点和初始三维头部模型的UV贴图中的各个标签点进行三角剖分处理，得到多个原始三角形区域以及目标三角形区域，然后，即可利用目标三角形区域，对各个原始三角形区域进行仿射变换，变换完成后，即可得到调整后的人脸区域图像，其次，再将调整后的人脸区域图像与UV贴图进行图像融合，并对融合后的图像进行肤色校正，肤色校正后，即可完成三维头部模型的纹理构建；最后，将肤色校正后的UV贴图融合至调整后的初始三维头部模型中，即可得到完整的三维头部模型。
在一个可能的设计中，所述人脸关键点信息包括人脸关键点的序号，且所述UV贴图中的每个标签点设置有标号；
相应的，基于所述目标三角形区域，对各个原始三角形区域进行仿射变换处理，包括：
对于第i个原始三角形区域，将所述第i个原始三角形区域中三个端点对应的人脸关键点的序号，作为匹配序号；
基于所述匹配序号，从各个目标三角形区域中，筛选目标序号与所述匹配序号相同的目标三角形区域，作为标定三角形区域，其中，任一目标序号是由任一目标三角形的三个端点对应的标签点的标号组成的；
将第i个原始三角形区域向标定三角形区域进行仿射变换，得到变换后的三角形区域；
判断所述变换后的三角形区域是否大于所述第i个原始三角形区域；
若是，则对所述变换后的三角形区域中的空洞像素点进行像素点填充，以在填充完成后得到调整后的第i个原始三角形区域，其中，所述空洞像素点为变换后的三角形区域中除去目标像素点以外的所有像素点，且目标像素点为所述第i个原始三角形区域中的像素点；
当i从1循环至n时，得到n个调整后的原始三角形区域，以便利用n个调整后的原始三角形区域，得到所述调整后的人脸区域图像，n为原始三角形区域的总个数。
基于上述公开的内容，本发明公开了仿射变换的具体过程，即先利用各个人脸关键点的序号以及各个标签点的标号，来实现原始三角形区域与目标三角形区域的一一匹配，也就是目标三角形区域中三个端点的标号，与原始三角形区域中三个端点的序号相同的，则作为标定三角形区域，然后，将原始三角形区域向对应的标定三角形进行仿射变换，变换完成后，则可得到调整后的三角形区域；同时，由于变换后的三角形区域相比于原区域会增大或变小，因此，对于增大的三角形区域，则需要进行像素点填充，而对于减少的区域，则需要进行像素点删除，即仅保留变换后的三角形区域内的像素点；最后，经过前述操作后，即可得到调整后的人脸区域图像。
在一个可能的设计中，对所述变换后的三角形区域中的空洞像素点进行像素点填充，包括：
基于所述第i个原始三角形区域中三个端点的坐标，得到所述第i个原始三角形区域的最小外接矩形；以及
基于所述标定三角形区域中三个端点的坐标，得到所述标定三角形的最小外接矩形；
根据所述第i个原始三角形区域的最小外接矩形和所述标定三角形的最小外接矩形，得到像素点缩放因子；
获取各个空洞像素点在x轴正方向和x轴负方向上的第一相邻像素点，以及在y轴正方向和y轴负方向上的第二相邻像素点；
利用所述缩放因子、各个空洞像素点的第一相邻像素点以及第二相邻像素点，计算得到各个空洞像素点的像素值；
按照各个空洞像素点的像素值，对各个空洞像素点进行像素填充，以在填充完成后，得到调整后的第i个原始三角形区域。
基于上述公开的内容，本发明公开了像素点填充的具体过程，即先利用原始三角形区域和其对应的标定三角形区域的端点坐标，来得出各自对应的最小外接矩形，然后，利用两最小外接矩形的长度和宽度，来得出两个像素点缩放因子，接着，再获取各个空洞像素点在x轴正负方向和y轴正负方向上的相邻像素点的像素值(也就是上下左右相邻的像素点)，最后，利用像素点缩放因子，以及4个相邻像素点的像素值，即可得出各个空洞像素点的像素值，而按照得出的像素值进行像素填充，则可得到调整后的人脸区域图像。
在一个可能的设计中，在获取用于构建三维头部模型的人脸图像前，所述方法还包括：
获取多张人脸样本区域图像，并对所述多张人脸样本区域图像中的每张人脸样本区域图像进行PCA降维处理，以得到每张人脸样本区域图像对应的样本形状特征；
将每张人脸样本区域图像对应的样本形状特征，作为每张人脸样本区域图像的标注信息；
以每张人脸样本区域图像以及每张人脸样本区域图像的标注信息为输入，每张人脸样本区域图像的形状特征为输出，训练深度神经网络，以在训练完成后，得到所述人脸特征模型，其中，所述人脸特征模型的损失函数为所述形状特征与所述样本形状特征的均方误差。
第二方面，提供了一种基于人脸图像的头部模型构建装置，包括：
获取单元，用于获取用于构建三维头部模型的人脸图像，并对所述人脸图像进行人脸检测，得到人脸区域图像以及人脸关键点信息；
特征提取单元，用于将人脸区域图像输入至人脸特征模型中进行特征提取，得到人脸区域图像的形状特征；
调整单元，用于获取初始三维人脸图像，并基于所述形状特征，调整初始三维人脸图像中的面部特征，以便基于调整后的初始三维人脸图像，得到人脸区域图像的深度信息；
调整单元，还用于获取初始三维头部模型，并基于所述深度信息，调整所述初始三维头部模型，得到调整后的初始三维头部模型，其中，所述初始三维头部模型是基于所述初始三维人脸图像得到的；
纹理处理单元，用于利用所述人脸关键点信息，对所述调整后的初始三维头部模型进行纹理处理，以在处理完成后，得到所述人脸图像对应的三维头部模型。
第三方面，提供了另一种基于人脸图像的头部模型构建装置，以系统为电子设备为例，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意一种可能设计的所述基于人脸图像的头部模型构建方法。
第四方面，提供了一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意一种可能设计的所述基于人脸图像的头部模型构建方法。
第五方面，提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面中任意一种可能设计的所述基于人脸图像的头部模型构建方法。
附图说明
图1为本发明实施例提供的基于人脸图像的头部模型构建方法的步骤流程图；
图2为本发明实施例提供的基于人脸图像的头部模型构建装置的结构示意图；
图3为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。
应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
实施例
参见图1所示，本实施例第一方面所提供的基于人脸图像的头部模型构建方法，可基于人脸的二维图像自动生成完整的三维头部模型，而无需人工操作，因此，相比于软件建模和仪器采集建模，效率更高，成本更低，同时，本发明在建模后，无需进行后期修正，其精度更高；其中，本实施第一方面所提供的方法可以但不限于在建模终端侧运行，而举例建模终端可以但不限于是个人电脑(personal computer，PC)、平板电脑、智能手机和/或个人数字助理(personal digital assistant，PDA)等，可以理解的，前述执行主体并不构成对本申请实施例的限定，相应的，本方法的运行步骤可以但不限于如下述步骤S1～S5所示。
S1.获取用于构建三维头部模型的人脸图像，并对所述人脸图像进行人脸检测，得到人脸区域图像以及人脸关键点信息；具体应用时，可以但不限于使用训练后的神经网络进行人脸检测，得到人脸区域图像以及人脸关键点信息，其中，举例训练后的神经网络可以但不限于为MTCNN(Multi-task convolutional neural network，多任务卷积神经网络)网络，即利用MTCNN网络进行人脸区域检测，并将检测框检测到的人脸区域作为人脸区域图像，同时，举例人脸关键信息可以但不限于包括68个人脸关键点的坐标以及序号，而人脸关键点则可以但不限于包括：眉毛、眼睛、鼻子、嘴巴和脸部轮廓等。
在得到人脸图像的人脸区域图像后，即可基于人脸区域图像进行头部模型的构建，其中，在本实施例中，先进行人脸区域图像对应头部模型的三维部分的构建，然后再对构建的三维头部模型进行二维纹理的构建，最后，二者相融合，即可得到人脸图像对应的三维头部模型；可选的，举例三维部分的构建如下述步骤S2～S4所示。
S2.将人脸区域图像输入至人脸特征模型中进行特征提取，得到人脸区域图像的形状特征；具体应用时，形状特征用于表征人脸的各种三维形状，如胖、瘦以及三维高度等等，而通过调整形状特征的参数，则可实现三维人脸图像的深度信息的调整，因此，本实施例则是基于形状特征来构建人脸区域图像中二维人脸对应的三维形态。
同时，举例人脸特征模型为训练后的深度神经网络，如CNN(ConvolutionalNeural Networks，卷积神经网络)网络和RNN(Recurrent Neural Networks，循环神经网络)网络等，其中，举例人脸特征模型对应神经网络的训练过程可以但不限于包括如下步骤S01～S03。
S01.获取多张人脸样本区域图像，并对所述多张人脸样本区域图像中的每张人脸样本区域图像进行PCA降维处理，以得到每张人脸样本区域图像对应的样本形状特征；具体应用时，PCA降维处理是求解图像的协方差矩阵的特征向量的过程，其结果是协方差矩阵中特征值最大的前k位的特征向量，其中，以任一人脸样本区域图像为例，来具体阐述PCA降维处理的具体过程，如下述步骤S01a～S01e所示。
S01a.对于任一人脸样本区域图像，利用任一人脸样本区域图像中各个点云数据的三维坐标，按列组成3行m列的点云矩阵；具体应用时，举例矩阵的第一行表示三维坐标中的横坐标，第二行表示三维坐标中的纵坐标，而第三行则表示三维坐标中的z轴坐标。
S01b.将点云矩阵中的每一行进行零均值化，得到均值化点云矩阵；具体应用时，对于点云矩阵中的任一行，则是计算任一行中所有元素的总和的平均值，然后用每个元素减去该平均值，计算完毕后，则可完成任一行的零均值化；当然，其余两行的零均值化处理过程与前述举例一致，于此不再赘述。
S01c.计算均值化点云矩阵的协方差矩阵；具体实施时，举例可以但不限于按照如下公式来计算得出均值化点云矩阵的协方差矩阵：
Figure GDA0004115458280000071
上述式中，C表示协方差矩阵，m表示任一人脸样本区域图像中的点云总个数，X表示均值化点云矩阵，XT表示均值化点云矩阵的转置矩阵。
在得到均值化点云矩阵的协方差矩阵后，即可求解协方差矩阵的特征向量和特征值，从而根据特征值，来得出任一人脸样本区域图像的样本形状特征，如下述步骤S01d和步骤S01e所示。
S01d.计算协方差矩阵的特征值和特征向量。
S01e.按照特征值从高到低的顺序对特征向量排序，并选取排序前k位(如100)的特征向量组成一个k行的形状参数矩阵，以便利用形状参数矩阵组成任一人脸样本图像的样本形状特征。
经过前述S01a～S01e，即可得到每张人脸样本区域图像的样本形状特征，从而为后续模型的训练提供数据基础；在本实施例中，由于形状参数矩阵中每一行为一特征向量，因此，每一行的特征向量则对应人脸的一种三维形状参数，对应在人脸上，则表示为胖、瘦等。
在得到每张人脸样本区域图像的形状特征后，即可利用每张人脸样本区域图像和对应的样本形状特征，来训练深度神经网络，以便在训练完成后，得到人脸特征模型，其中，训练过程如下述步骤S02和步骤S03所示。
S02.将每张人脸样本区域图像对应的样本形状特征，作为每张人脸样本区域图像的标注信息。
S03.以每张人脸样本区域图像以及每张人脸样本区域图像的标注信息为输入，每张人脸样本区域图像的形状特征为输出，训练深度神经网络，以在训练完成后，得到所述人脸特征模型，其中，所述人脸特征模型的损失函数为所述形状特征与所述样本形状特征的均方误差；具体应用时，则是将每张人脸样本区域图像输入至深度神经网络中，从而输出每张人脸样本区域图像的形状参数矩阵，而该参数矩阵则作为该人脸样本区域图像的形状特征；同时，在训练时，人脸样本区域图像的标准信息，则作为验证集，也一起输入至模型中，其用来判断模型输出的形状特征是否合理，具体训练时，则是计算形状参数与对应样本形状参数之间的均方误差(实质为形状参数矩阵与样本形状参数矩阵之间的均方误差)，来判定模型是否收敛，即将均方误差作为损失函数，在每次训练时，基于损失函数来反向梯度传播调整模型的网络权重，直至损失函数值达到预设值，或不再变化时为止，此时，即可结束模型训练，从而得到人脸特征模型。
基于前述阐述，即可得知人脸特征模型的具体训练过程，因此，在实际应用时，只需将步骤S1中的人脸区域图像输入至人脸模型中，即可得到人脸区域图像的形状参数矩阵，也就是形状特征。
在得到人脸区域图像的形状特征后，即可基于形状特征来构建三维头部模型，具体实施时，本实施例是预先构建一初始三维人脸图像以及基于初始三维人脸图像，来构建一初始三维头部模型，然后利用步骤S2中提取的形状特征，来调整该初始三维人脸图像，得到人脸区域图像中人脸对应的三维形态，以便基于三维形态来得到该人脸对应的深度信息，最后，基于该深度信息，来调整三维头部模型，即可完成人脸部分的三维建模；可选的，前述构建过程如下述步骤S3和步骤S4所示。
S3.获取初始三维人脸图像，并基于所述形状特征，调整所述初始三维人脸图像中的面部特征，以便基于调整后的初始三维人脸图像，得到所述人脸区域图像的深度信息；具体应用时，初始三维人脸图像由建模人员预先存储至建模终端中，使用时调用即可，同时，由于前述就已说明形状特征包括一形状参数矩阵，且形状参数矩阵中每一行代表一特征向量，而每个特征向量则用于表征人脸的三维形状参数，因此，即可基于形状参数矩阵中的每个行向量，来调整初始三维人脸图像中各个三维形状参数，从而实现面部特征的调整，其中，调整过程可以但不限于包括如下步骤S31～S33所示。
S31.为初始三维人脸图像对应的每种人脸三维形状参数分别配置一BlendShape调整组件；在本实施例中，BlendShape调整组件为三维建模软件常用的形状融合变形器，其用于进行模型的三维形状调整，通常设置有一个最大值和最小值，因此，即可在最大值和最小值中选取不同的值，来得到模型不同的三维形状；而在本实施例中，则是为初始三维人脸图像中的每种人脸三维特征参数均配置一BlendShape调整组件，并基于形状参数矩阵来得出各个人脸三维特征参数的调整值，也就是标定值，从而来实现初始三维人脸中面部特征的调整。
S32.基于所述形状参数矩阵，得到所述形状参数矩阵中每个行向量的特征值，并将每个行向量的特征值，作为所述人脸区域图像中与每个行向量对应的人脸三维形状参数的标定值。
S3.基于各个人脸三维形状参数的标定值，调整人脸三维形状参数对应的BlendShape调整组件的参数值，以在调整完成后，得到所述调整后的初始三维人脸图像。
在具体应用时，由于前述就已说明，形状参数矩阵中每个行向量是按照特征值的大小顺序来排序的，因此，每个行向量的特征值，则作为对应人脸三维形状参数的标定值，而将每种人脸三维形状参数对应的参数值，调整为对应的标定值，即可完成初始三维人脸图像中面部特征的调整；如假设人脸三维形状参数A表示的是人脸胖度，其在形状参数矩阵对应的行向量的特征值为0.5，那么则将人脸三维形状参数的BlendShape调整组件的参数调整为0.5，调整完成后，即可完成人脸胖度的调整，当然，其余各个三维形状参数对应的调整过程与前述举例相同，于此不再赘述。
在完成初始三维人脸图像中面部特征的调整后，就相当于得到了人脸区域图像中人脸的三维形态，此时，即可基于调整的初始三维人脸图像，来得出人脸区域图像中人脸转换为三维形态后的深度信息，在本实施例中，人脸的深度信息则可以但不限于包括人脸中各个像素点的空间坐标。
在得到人脸区域图像中人脸的深度信息后，即可基于该深度信息来调整预设的初始三维头部模型，从而得到调整后的初始三维头部模型，其中，调整过程如下述步骤S4所示。
S4.获取初始三维头部模型，并基于所述深度信息，调整所述初始三维头部模型，得到调整后的初始三维头部模型，其中，所述初始三维头部模型是基于所述初始三维人脸图像得到的；具体应用时，则是利用初始三维人脸图像进行拓展，如利用三维建模软件(如3dmax)来拓展得到初始三维头部模型，然后将其预设至建模终端中，而建模终端则可基于人脸关键点信息来得出人脸关键点的空间坐标，然后，在初始三维头部模型中查找出与人脸关键点表示位置相同的像素点，并将查找出的像素点的坐标更改为与之对应的人脸关键点的空间坐标，更改完成后，即可得到调整后的初始三维头部模型。
由于前述就已阐述，人脸关键信息包括人脸关键点的坐标(即在人脸区域图像中的二维坐标)，因此，即可在深度信息的基础上，得出其空间坐标，以便基于空间坐标来完成初始三维头部模型的调整，如下述步骤S41～S44所示。
S41.获取所述初始三维头部模型中的各个人脸特征点；具体应用时，可以但不限于在构建初始三维头部模型时，就预设多个人脸特征点，且预设的人脸特征点在人脸中表征的位置，与人脸关键点表征的位置相同。
在得到初始三维头部模型中各个人脸特征点后，即可基于深度信息，得出人脸关键点对应的空间坐标，如下述步骤S42所示。
S42.基于所述人脸关键点坐标，从所述深度信息中，筛选出人脸关键点对应的空间坐标；具体应用时，可基于人脸关键点的二维坐标，从深度信息的空间坐标中，匹配出x轴坐标与y轴坐标与二维坐标相同的空间坐标，作为人脸关键点的空间坐标；另外，由于在步骤S3中进行面部特征调整时，同一关键点在二维形态下以及三维形态下，对应的x轴坐标以及y轴坐标可能会发生变化，因此，为提高模型调整精度，还可预先为人脸关键点设置序号，因此，即可基于序号，从深度信息中，查找出序号相同的像素点，从而作为人脸关键点，当然，其对应的空间坐标，则作为人脸关键点的空间坐标。
在得到人脸关键点的空间坐标后，即可对各个人脸特征点进行坐标调整，以便得到调整后的三维模型，如下述步骤S43所示。
S43.基于人脸关键点的空间坐标，对各个人脸特征点进行坐标调整，得到调整后的三维模型；具体应用时，可为初始三维头部模型中的各个特征点也设置序号，由于各个特征点与人脸关键点表征位置相同，因此，即可将同一序号的特征点和人脸关键点进行匹配，从而完成坐标的调整。
另外，在本实施例中，还可使用另一方法来实现初始三维头部模型的调整，如下所示：
可为初始三维头部模型中的人脸区域中的每个点设置序号(即构成模型中构成人脸区域的点)，同时，为初始三维人脸图像中的每个点也设置相同序号(即初始三维头部模型中面部点与初始三维人脸图像中的点为一一对应关系)，因此，基于序号，即可将初始三维人脸图像中各个点的坐标，赋予给初始三维头部模型中人脸区域的每个点，从而完成初始三维头部模型的调整。
在进行坐标的调整后，从理论上就完成了初始三维头部模型形状的改变，但是，为了进一步的提高模型调整精度，本实施例还设置有平滑处理步骤，如下述步骤S44所示。
S44.对调整后的三维模型进行网格平滑处理，得到所述调整后的初始三维头部模型；具体应用时，网格平滑处理可避免模型中各个人脸特征点在变换后，连接处的凹凸不平，从而保证模型的平滑度，以达到更为精确的模型调整。
经过步骤S4后，即可完成了人脸图像对应模型的三维部分的构建，此时，只需再构建得到人脸的纹理部分，即可得到完整三维头部模型，其中，纹理构建过程如下述步骤S5所示。
S5.利用所述人脸关键点信息，对所述调整后的初始三维头部模型进行纹理处理，以在处理完成后，得到所述人脸图像对应的三维头部模型；具体应用时，本实施例是利用顶点映射、图像变换以及肤色校正，来生成初始三维头部模型的完整纹理，其中，具体构建构成如下述步骤S51～S57所示。
S51.获取所述初始三维头部模型的UV贴图，其中，所述UV贴图中预设有多个标签点，所述多个标签点中的每个标签点用于表征所述UV贴图中人脸的关键点，且标签点的数量与人脸图像区域中人脸关键点的数量相同，表征的人脸位置相同；具体应用时，UV贴图也是预设至建模终端，其可以但不限于借助三维建模软件来得出，同时，UV贴图中的标签点代表着贴图中人脸的关键点，也就是特征点，其与人脸区域图像中的人脸关键点表示位置相同，因此，即可基于标定点和人脸关键点，来实现人脸区图像与UV贴图中关键点的映射，如下述步骤S52和步骤S53所示。
S52.根据所述人脸关键点信息，在所述人脸区域图像中确定出人脸关键点；由于前述就已阐述人脸关键点信息中包括人脸关键点坐标，因此，基于坐标，即可在人脸区域图像中确定出人脸关键点。
在得到人脸区域图像中的人脸关键点后，即可基于人脸关键点和UV贴图中的标签点，来进行图像变换，如下述步骤S53和步骤S54所示。
S53.对所述人脸区域图像中的各个人脸关键点进行三角剖分处理，得到以各个人脸关键点为端点组成的原始三角形区域，以及对所述UV贴图中的各个标签点进行三角剖分处理，得到以各个标签点为端点组成的目标三角形区域；具体应用时，三角剖分过程为三维建模中的常用技术，其是利用各个人脸关键点组成点集，而该点集的一个三角剖分面是一个平面图，该平面图满足以下条件：每条边上不包含点集中的点，没有相交边，平面图中所有的面都是三角面，且所有三角面的合集是点集的凸包，因此，人脸关键点组成的点集，则对应有多个顶点为人脸关键点的三角边，而前述各个三角面则为原始三角形区域；同理，对于UV贴图中的各个标签点的三角剖分处理过程也是同样的原理，于此不再赘述。
在得到各个人脸关键点对应的原始三角形区域，以及各个标签点对应的目标三角形区域后，即可基于目标三角形区域，对原始三角形区域进行仿射变换，以便完成人脸区域图像的形变处理，如下述步骤S54所示。
S54.基于所述目标三角形区域，对各个原始三角形区域进行仿射变换处理，以在仿射变换处理完成后，得到调整后的人脸区域图像；具体应用时，前述就已说明人脸关键点信息包括各个人脸关键点的序号，且UV贴图中的各个标签点也设置有标号，因此，即可基于目标三角形区域中各个端点对应标签点的标号，以及各个原始三角形区域中各个端点对应人脸关键点的序号，来实现原始三角形区域与目标三角形区域的一一匹配，从而实现原始三角形区域向对应目标三角形区域的仿射变换，其中，仿射变换过程如下述步骤S541～S546所示。
S541.对于第i个原始三角形区域，将所述第i个原始三角形区域中三个端点对应的人脸关键点的序号，作为匹配序号。
S542.基于所述匹配序号，从各个目标三角形区域中，筛选目标序号与所述匹配序号相同的目标三角形区域，作为标定三角形区域，其中，任一目标序号是由任一目标三角形的三个端点对应的标签点的标号组成的。
下述以一个实例来阐述前述匹配过程，假设，第一个原始三角形区域中的三个端点对应的人脸关键点的序号为1、5和10，那么匹配序号则作为1、5和10，因此，则需要在各个目标三角形区域中，筛选出端点对应的标号为1、5和10的目标三角形区域，以此来作为标定三角形区域；当然，其余各个原始三角形区域与目标三角形区域的匹配原理与前述举例相同，于此不再赘述。
在完成原始三角形区域与目标三角形区域的一一匹配后，即可将原始三角形区域向其对应的目标三角形区域进行仿射变换，以完成对应原始三角形区域的图像调整，如下述步骤S543所示。
S543.将第i个原始三角形区域向标定三角形区域进行仿射变换，得到变换后的三角形区域；具体应用时，仿射变换为图像坐标空间转换的常用技术，其是将一个图像进行一次线性变换和一次平移，从而变换到另一个空间的操作。
由于仿射变换得到的图像区域，相比于原始区域，存在增大或减小的情况，因此，在仿射变换后，还需进行相应的图像处理，如进行像素点填充或删除，以便在处理后，得到最终的调整图像，其中，图像处理过程如下述步骤S544和步骤S545所示。
S544.判断所述变换后的三角形区域是否大于所述第i个原始三角形区域。
S545.若是，则对所述变换后的三角形区域中的空洞像素点进行像素点填充，以在填充完成后得到调整后的第i个原始三角形区域，其中，所述空洞像素点为变换后的三角形区域中除去目标像素点以外的所有像素点，且目标像素点为所述第i个原始三角形区域中的像素点；在具体应用时，变换后的三角形区域大于第i个原始三角形区域，则说明变换后区域增大，此时，则需要进行像素点填充，而若小于第i个原始三角形区域，则说明变换后，区域减少，此时，则需要进行像素点删除，即仅保留变换后的三角形区域内的像素点。
在本实施例中，假设第i个原始三角形区域中存在300个像素点，而经过仿射变换得到的三角形区域中有600个像素点，那么，除了第i个原始三角形区域中的300个像素点，多余出的300个像素点则作为空洞像素点，而这些空洞像素点的像素值是未知的，因此，则需要对空洞像素点进行像素填充，其中，像素点填充过程可以但不限于如下述步骤S545a～S545f所示。
S545a.基于所述第i个原始三角形区域中三个端点的坐标，得到所述第i个原始三角形区域的最小外接矩形；以及
S545b.基于所述标定三角形区域中三个端点的坐标，得到所述标定三角形的最小外接矩形；具体应用时，以第i个原始三角形区域的最小外接矩形为例，来阐述最小外接矩形的构建过程，即以第i个原始三角形区域的三个端点中的最大横坐标、最小横坐标、最大纵坐标和最小纵坐标来得出矩形的长度和宽度，也就是最大横坐标与最小横坐标之间的差值作为矩形长度，最大纵坐标与最小纵坐标之间的差值作为矩形宽度，从而来构建得到第i个原始三角形区域的最小外接矩形，当然，其矩形的任一端点，可为第i个原始三角形区域上的任一端点。
在构建出第i个原始三角形区域的最小外接矩形以及标定三角形区域的最小外接矩形后，即可基于两个矩形，来得出像素点缩放因子，如下述步骤S545c所示。
S545c.根据所述第i个原始三角形区域的最小外接矩形和所述标定三角形的最小外接矩形，得到像素点缩放因子；具体应用时，则是两个最小外接矩形的长度之比作为第一像素点缩放因子，两个最小外接矩形的宽度之比，作为第二像素点缩放因子。
在得到像素点缩放因子后，即可获取各个空洞像素点在长度和宽度方向上相邻的像素点，从而利用相邻像素点与像素点缩放因子的比例加权，来得出对应空洞像素点的像素值，如下述步骤S545d和步骤S545e所示。
S545d.获取各个空洞像素点在x轴正方向和x轴负方向上的第一相邻像素点，以及在y轴正方向和y轴负方向上的第二相邻像素点；在本实施例中，x轴方向为人脸区域图像的长度方向，y轴方向为人脸区域图像的宽度方向。
S54e.利用所述缩放因子、各个空洞像素点的第一相邻像素点以及第二相邻像素点，计算得到各个空洞像素点的像素值；具体应用时，x轴正负方向为长度方向，其对应的第一相邻像素点使用第一像素点缩放因子，而y轴正负方向为宽度方向，其对应的第二相邻像素点则使用第二像素点缩放因子，因此，空洞像素点的像素值计算公式为：
H＝w1*x1+w1*x2+w2*y1+w2*y2，其中，H为空洞像素点的像素值，w1和w2分别表示第一像素点缩放因子和第二像素点缩放因子，x1和x2表示空洞像素点在x轴正方向和x轴负方向上的第一相邻像素点，y1和y2表示空洞像素点在y轴正方向和y轴负方向上的第二相邻像素点。
在得出各个空洞像素点的像素值后，即可对各个空洞像素点进行像素调整，以便得到调整后的图像区域，如下述步骤S545f所示。
S545f.按照各个空洞像素点的像素值，对各个空洞像素点进行像素填充，以在填充完成后，得到调整后的第i个原始三角形区域。
在完成第i个原始三角形区域的仿射变换后，即可重复前述仿射变换步骤，从而完成所有原始三角形区域的仿射变换，以便将所有原始三角形区域进行调整，从而得到调整后的人脸区域图像，如下述步骤S546所示。
S546.当i从1循环至n时，得到n个调整后的原始三角形区域，以便利用n个调整后的原始三角形区域，得到所述调整后的人脸区域图像，其中，n为原始三角形区域的总个数。
在完成人脸区域图像对应UV贴图的仿射变换后，即可将调整后的人脸区域图像与UV贴图进行融合，得到融合UV图像，如下述步骤S55所示。
S55.将所述调整后的人脸区域图像与所述UV贴图进行图像融合，得到融合UV图像；具体应用时，举例可以但不限于使用泊松融合算法进行图像融合。
S56.对所述融合UV图像进行肤色校正，得到肤色校正后的UV贴图；具体应用时，举例肤色校正可以但不限于如下步骤S561～S563所示。
S561.提取人脸区域图像的灰度直方图，以及融合UV图像的灰度直方图。
S562.计算人脸区域图像的灰度直方图中各个灰度阶，与融合UV图像的灰度直方图中对应灰度阶的灰度差的绝对值，得到多个灰度差值；具体应用时，如人脸区域图像的灰度直方图中的第一阶灰度的灰度值255，UV图像的灰度直方图中第一灰度阶的灰度值200，那么二者间的灰度差值则为55，当然，其余不同灰度阶的灰度差值计算原理与前述举例相同，于此不再赘述。
S563.在多个灰度差值中，取最小的灰度差值，作为修正值。
S564.将修正值所属的灰度阶对应的灰度值，作为修正灰度，并根据修正灰度修正融合UV图像的灰度直方图，以在修正完毕后，得到肤色校正后的UV贴图；若最小的灰度差值为55，那么则将55所属的灰度阶对应的灰度值作为修正灰度，来修正融合UV图像的灰度直方图，当然，其余最小灰度差值对应的灰度调整原理与前述举例相同，因此不再赘述。
在得到肤色校正后的UV贴图后，将其融合至调整后的初始三维头部模型中，即可得到完整的三维头部模型，如下述步骤S57所示。
S57.将所述肤色校正后的UV贴图融合至所述调整后的初始三维头部模型中，得到所述人脸图像对应的三维头部模型。
由此经过前述步骤S1～S5及其各个子步骤对前述头部模型构建方法的详细描述，本发明能够基于二维图像自动生成完整的三维头部模型，无需人工操作，相比于软件建模和仪器采集建模，效率更高，成本更低，且在建模后，无需进行后期修正，其精度更高，适用于大规模应用与推广。
如图2所示，本实施例第二方面提供了一种实现实施例第一方面中所述的基于人脸图像的头部模型构建方法的硬件装置，包括：
获取单元，用于获取用于构建三维头部模型的人脸图像，并对所述人脸图像进行人脸检测，得到人脸区域图像以及人脸关键点信息。
特征提取单元，用于将人脸区域图像输入至人脸特征模型中进行特征提取，得到人脸区域图像的形状特征。
调整单元，用于获取初始三维人脸图像，并基于所述形状特征，调整初始三维人脸图像中的面部特征，以便基于调整后的初始三维人脸图像，得到人脸区域图像的深度信息。
调整单元，还用于获取初始三维头部模型，并基于所述深度信息，调整所述初始三维头部模型，得到调整后的初始三维头部模型，其中，所述初始三维头部模型是基于所述初始三维人脸图像得到的。
纹理处理单元，用于利用所述人脸关键点信息，对所述调整后的初始三维头部模型进行纹理处理，以在处理完成后，得到所述人脸图像对应的三维头部模型。
本实施例提供的装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
如图3所示，本实施例第三方面提供了另一种基于人脸图像的头部模型构建装置，以装置为电子设备为例，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如实施例第一方面所述的基于人脸图像的头部模型构建方法。
具体举例的，所述存储器可以但不限于包括随机存取存储器(random accessmemory，RAM)、只读存储器(Read Only Memory，ROM)、闪存(Flash Memory)、先进先出存储器(First Input First Output，FIFO)和/或先进后出存储器(First In Last Out，FILO)等等；具体地，处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现，同时，处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
在一些实施例中，处理器可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制，例如，所述处理器可以不限于采用型号为STM32F105系列的微处理器、精简指令集计算机(reduced instruction setcomputer,RISC)微处理器、X86等架构处理器或集成嵌入式神经网络处理器(neural-network processing units，NPU)的处理器；所述收发器可以但不限于为无线保真(WIFI)无线收发器、蓝牙无线收发器、通用分组无线服务技术(General Packet Radio Service，GPRS)无线收发器、紫蜂协议(基于IEEE802.15.4标准的低功耗局域网协议，ZigBee)无线收发器、3G收发器、4G收发器和/或5G收发器等。此外，所述装置还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例提供的电子设备的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
本实施例第四方面提供了一种存储包含有实施例第一方面所述的基于人脸图像的头部模型构建方法的指令的存储介质，即所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面所述的基于人脸图像的头部模型构建方法。
其中，所述存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例提供的存储介质的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如实施例第一方面所述的基于人脸图像的头部模型构建方法，其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于人脸图像的头部模型构建方法，其特征在于，包括：
获取用于构建三维头部模型的人脸图像，并对所述人脸图像进行人脸检测，得到人脸区域图像以及人脸关键点信息；
将人脸区域图像输入至人脸特征模型中进行特征提取，得到人脸区域图像的形状特征；
获取初始三维人脸图像，并基于所述形状特征，调整所述初始三维人脸图像中的面部特征，以便基于调整后的初始三维人脸图像，得到所述人脸区域图像的深度信息；
获取初始三维头部模型，并基于所述深度信息，调整所述初始三维头部模型，得到调整后的初始三维头部模型，其中，所述初始三维头部模型是基于所述初始三维人脸图像得到的；
利用所述人脸关键点信息，对所述调整后的初始三维头部模型进行纹理处理，以在处理完成后，得到所述人脸图像对应的三维头部模型；
所述形状特征包括形状参数矩阵，其中，所述形状参数矩阵中的各个行向量分别用于表征人脸区域图像的一种人脸三维形状参数；
相应的，基于所述形状特征，调整所述初始三维人脸图像中的面部特征，包括：
为初始三维人脸图像对应的每种人脸三维形状参数分别配置一BlendShape调整组件；
基于所述形状参数矩阵，得到所述形状参数矩阵中每个行向量的特征值，并将每个行向量的特征值，作为所述人脸区域图像中与每个行向量对应的人脸三维形状参数的标定值；
基于各个人脸三维形状参数的标定值，调整人脸三维形状参数对应的BlendShape调整组件的参数值，以在调整完成后，得到所述调整后的初始三维人脸图像。
2.如权利要求1所述的方法，其特征在于，所述人脸关键点信息包括人脸关键点坐标，所述深度信息包括所述人脸区域图像中各个像素点的空间坐标；
相应的，基于所述深度信息，调整所述初始三维头部模型，得到调整后的初始三维头部模型，包括：
获取所述初始三维头部模型中的各个人脸特征点；
基于所述人脸关键点坐标，从所述深度信息中，筛选出人脸关键点对应的空间坐标；
基于人脸关键点的空间坐标，对各个人脸特征点进行坐标调整，得到调整后的三维模型；
对调整后的三维模型进行网格平滑处理，得到所述调整后的初始三维头部模型。
3.如权利要求1所述的方法，其特征在于，利用所述人脸关键点信息，对所述调整后的初始三维头部模型进行纹理处理，包括：
获取所述初始三维头部模型的UV贴图，其中，所述UV贴图中预设有多个标签点，所述多个标签点中的每个标签点用于表征所述UV贴图中人脸的关键点，且标签点的数量与人脸图像区域中人脸关键点的数量相同，表征的人脸位置相同；
根据所述人脸关键点信息，在所述人脸区域图像中确定出人脸关键点；
对所述人脸区域图像中的各个人脸关键点进行三角剖分处理，得到以各个人脸关键点为端点组成的原始三角形区域，以及对所述UV贴图中的各个标签点进行三角剖分处理，得到以各个标签点为端点组成的目标三角形区域；
基于所述目标三角形区域，对各个原始三角形区域进行仿射变换处理，以在仿射变换处理完成后，得到调整后的人脸区域图像；
将所述调整后的人脸区域图像与所述UV贴图进行图像融合，得到融合UV图像；
对所述融合UV图像进行肤色校正，得到肤色校正后的UV贴图；
将所述肤色校正后的UV贴图融合至所述调整后的初始三维头部模型中，得到所述人脸图像对应的三维头部模型。
4.如权利要求3所述的方法，其特征在于，所述人脸关键点信息包括人脸关键点的序号，且所述UV贴图中的每个标签点设置有标号；
相应的，基于所述目标三角形区域，对各个原始三角形区域进行仿射变换处理，包括：
对于第i个原始三角形区域，将所述第i个原始三角形区域中三个端点对应的人脸关键点的序号，作为匹配序号；
基于所述匹配序号，从各个目标三角形区域中，筛选目标序号与所述匹配序号相同的目标三角形区域，作为标定三角形区域，其中，任一目标序号是由任一目标三角形的三个端点对应的标签点的标号组成的；
将第i个原始三角形区域向标定三角形区域进行仿射变换，得到变换后的三角形区域；
判断所述变换后的三角形区域是否大于所述第i个原始三角形区域；
若是，则对所述变换后的三角形区域中的空洞像素点进行像素点填充，以在填充完成后得到调整后的第i个原始三角形区域，其中，所述空洞像素点为变换后的三角形区域中除去目标像素点以外的所有像素点，且目标像素点为所述第i个原始三角形区域中的像素点；
当i从1循环至n时，得到n个调整后的原始三角形区域，以便利用n个调整后的原始三角形区域，得到所述调整后的人脸区域图像，其中，n为原始三角形区域的总个数。
5. 如权利要求4所述的方法，其特征在于，对所述变换后的三角形区域中的空洞像素点进行像素点填充，包括：
基于所述第i个原始三角形区域中三个端点的坐标，得到所述第i个原始三角形区域的最小外接矩形；以及
基于所述标定三角形区域中三个端点的坐标，得到所述标定三角形的最小外接矩形；
根据所述第i个原始三角形区域的最小外接矩形和所述标定三角形的最小外接矩形，得到像素点缩放因子；
获取各个空洞像素点在x轴正方向和x轴负方向上的第一相邻像素点，以及在y轴正方向和y轴负方向上的第二相邻像素点；
利用所述缩放因子、各个空洞像素点的第一相邻像素点以及第二相邻像素点，计算得到各个空洞像素点的像素值；
按照各个空洞像素点的像素值，对各个空洞像素点进行像素填充，以在填充完成后，得到调整后的第i个原始三角形区域。
6.如权利要求1所述的方法，其特征在于，在获取用于构建三维头部模型的人脸图像前，所述方法还包括：
获取多张人脸样本区域图像，并对所述多张人脸样本区域图像中的每张人脸样本区域图像进行PCA降维处理，以得到每张人脸样本区域图像对应的样本形状特征；
将每张人脸样本区域图像对应的样本形状特征，作为每张人脸样本区域图像的标注信息；
以每张人脸样本区域图像以及每张人脸样本区域图像的标注信息为输入，每张人脸样本区域图像的形状特征为输出，训练深度神经网络，以在训练完成后，得到所述人脸特征模型，其中，所述人脸特征模型的损失函数为所述形状特征与所述样本形状特征的均方误差。
7.一种基于人脸图像的头部模型构建装置，其特征在于，包括：
获取单元，用于获取用于构建三维头部模型的人脸图像，并对所述人脸图像进行人脸检测，得到人脸区域图像以及人脸关键点信息；
特征提取单元，用于将人脸区域图像输入至人脸特征模型中进行特征提取，得到人脸区域图像的形状特征；
调整单元，用于获取初始三维人脸图像，并基于所述形状特征，调整初始三维人脸图像中的面部特征，以便基于调整后的初始三维人脸图像，得到人脸区域图像的深度信息；
调整单元，还用于获取初始三维头部模型，并基于所述深度信息，调整所述初始三维头部模型，得到调整后的初始三维头部模型，其中，所述初始三维头部模型是基于所述初始三维人脸图像得到的；
纹理处理单元，用于利用所述人脸关键点信息，对所述调整后的初始三维头部模型进行纹理处理，以在处理完成后，得到所述人脸图像对应的三维头部模型；
所述形状特征包括形状参数矩阵，其中，所述形状参数矩阵中的各个行向量分别用于表征人脸区域图像的一种人脸三维形状参数；
相应的，基于所述形状特征，调整所述初始三维人脸图像中的面部特征，包括：
为初始三维人脸图像对应的每种人脸三维形状参数分别配置一BlendShape调整组件；
基于所述形状参数矩阵，得到所述形状参数矩阵中每个行向量的特征值，并将每个行向量的特征值，作为所述人脸区域图像中与每个行向量对应的人脸三维形状参数的标定值；
基于各个人脸三维形状参数的标定值，调整人脸三维形状参数对应的BlendShape调整组件的参数值，以在调整完成后，得到所述调整后的初始三维人脸图像。
8.一种电子设备，其特征在于，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～6任意一项所述的基于人脸图像的头部模型构建方法。
9.一种存储介质，其特征在于，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～6任意一项所述的基于人脸图像的头部模型构建方法。
CN202210962723.4A 2022-08-11 2022-08-11 基于人脸图像的头部模型构建方法、装置、设备及介质 Active CN115294301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210962723.4A CN115294301B (zh) 2022-08-11 2022-08-11 基于人脸图像的头部模型构建方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210962723.4A CN115294301B (zh) 2022-08-11 2022-08-11 基于人脸图像的头部模型构建方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN115294301A CN115294301A (zh) 2022-11-04
CN115294301B true CN115294301B (zh) 2023-05-16

Family

ID=83827528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210962723.4A Active CN115294301B (zh) 2022-08-11 2022-08-11 基于人脸图像的头部模型构建方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115294301B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228763B (zh) * 2023-05-08 2023-07-21 成都睿瞳科技有限责任公司 用于眼镜打印的图像处理方法及系统
CN117523136B (zh) * 2023-11-13 2024-05-14 书行科技(北京)有限公司 人脸点位对应关系处理方法、人脸重建方法、装置及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200823689A (en) * 2006-11-21 2008-06-01 Jing-Jing Fang Method of three-dimensional digital human model construction from two photos and obtaining anthropometry information

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376599A (zh) * 2014-12-11 2015-02-25 苏州丽多网络科技有限公司 一种简便的三维头部模型生成系统
CN107452049B (zh) * 2016-05-30 2020-09-15 腾讯科技（深圳）有限公司 一种三维头部建模方法及装置
US10540817B2 (en) * 2017-03-03 2020-01-21 Augray Pvt. Ltd. System and method for creating a full head 3D morphable model
CN110443885B (zh) * 2019-07-18 2022-05-03 西北工业大学 基于随机人脸图像的三维人头脸模型重建方法
CN110751717A (zh) * 2019-09-10 2020-02-04 平安科技（深圳）有限公司 虚拟头部模型构建方法、装置、计算机设备及存储介质
CN111739167B (zh) * 2020-06-16 2023-10-03 北京百度网讯科技有限公司 3d人头重建方法、装置、设备和介质
CN112669447B (zh) * 2020-12-30 2023-06-30 网易（杭州）网络有限公司 一种模型头像创建方法、装置、电子设备和存储介质
CN114419255A (zh) * 2022-01-19 2022-04-29 苏州小优智能科技有限公司 融合真实人脸的三维人头模型生成方法、装置、电子设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200823689A (en) * 2006-11-21 2008-06-01 Jing-Jing Fang Method of three-dimensional digital human model construction from two photos and obtaining anthropometry information

Also Published As

Publication number Publication date
CN115294301A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN115294301B (zh) 基于人脸图像的头部模型构建方法、装置、设备及介质
CN109325437B (zh) 图像处理方法、装置和系统
US10726599B2 (en) Realistic augmentation of images and videos with graphics
CN112819947A (zh) 三维人脸的重建方法、装置、电子设备以及存储介质
CN104899563A (zh) 一种二维人脸关键特征点定位方法及系统
CN104574432B (zh) 一种自动多视角人脸自拍图像的三维人脸重建方法及系统
CN109829476B (zh) 基于yolo的端到端三维物体检测方法
CN108345843B (zh) 一种基于混合深度回归网络的头部姿态估计方法
CN112784736A (zh) 一种多模态特征融合的人物交互行为识别方法
CN107564049A (zh) 人脸模型重建方法、装置以及存储介质、计算机设备
US10019840B2 (en) 3D model enhancement
CN112836680A (zh) 一种基于视觉的人脸表情识别方法
CN113420643A (zh) 基于深度可分离空洞卷积的轻量级水下目标检测方法
CN111274944A (zh) 一种基于单张图像的三维人脸重建方法
CN103955906A (zh) 基于蝙蝠算法的Criminisi图像修复方法
CN108596992B (zh) 一种快速实时的唇彩化妆方法
KR20230085931A (ko) 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템
CN109448093B (zh) 一种风格图像生成方法及装置
CN116883588A (zh) 一种大场景下的三维点云快速稠密重建方法及系统
CN109741358B (zh) 基于自适应超图学习的超像素分割方法
CN111080754B (zh) 一种头部肢体特征点连线的人物动画制作方法及装置
CN115797591B (zh) 一种虚拟建筑模型生成方法及系统
CN113610015B (zh) 基于端到端快速阶梯网络的姿态估计方法、装置及介质
CN114648724B (zh) 一种基于生成对抗网络的轻量化高效目标分割与计数方法
CN114862716A (zh) 人脸图像的图像增强方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant