CN117788720A - 一种生成用户人脸模型的方法、存储介质及终端 - Google Patents

Abstract

本发明属于涉及计算机领域，具体涉及一种生成用户人脸模型的方法、存储介质及终端，该方法包括：建立男女的预制脸模型；获取用户人脸图像的性别所对应的预制脸模型；获取用户人脸与预制脸模型图像的脸部特征属性的关键点数据的特征偏差值；获取特征偏差值的映射值K；根据映射值K调整预制脸模型的脸部特征属性的控制骨骼头部的目标坐标参数生成用户脸模型。提高了用户人脸模型生成的效率。

Description

一种生成用户人脸模型的方法、存储介质及终端

技术领域

本发明属于涉及计算机领域，具体涉及一种用户人脸模型生成的方法、存储介质及终端。

背景技术

在元宇宙、XR、虚拟社交等应用场景中，用户对于个性化的角色造型提出了新的需求，目前的脸部模型个性化定制技术主要通过手动调整脸部骨骼与更换脸部网格模型两种方式来进行，对于不同的用户，需要对于生成对应的不同脸部模型，因此需要耗费大量的人力和硬件资源。

发明内容

为解决现有技术中的不足，本发明提出了一种用户人脸模型生成的方法、终端，可以提高用户人脸模型生成的效率。

为了达到上述目的，本发明采用的技术方案是一种生成用户人脸模型的方法，其特征在于，

S1.建立男女的预制脸模型；

S2.获取用户人脸图像的性别所对应的预制脸模型；

S3.获取用户人脸与预制脸模型图像的脸部特征属性的关键点数据的特征偏差值；

S4.获取特征偏差值的映射值K；

S5.根据映射值K调整预制脸模型的脸部特征属性的控制骨骼头部的目标坐标参数生成用户脸模型。

优选的，脸部特征属性包括：眼睛长度、眼睛大小、鼻子高度、嘴巴长度、嘴巴大小、下巴长度、脸颊宽度。

优选的，步骤3中：

S31.将用户脸数据关键点按宽度方式进行归一化处理；

S32.分别获取用户脸和预制脸模型的脸部特征属性的关键点的距离和；

S33.计算用户脸与预制脸模型的脸部特征属性的关键点的距离和的偏差值。

优选的，步骤S4中：

根据脸部特征属性的特征偏差值正态概率分布规律，当特征偏差值超过u+3σ时，映射值K为10；当特征偏差值小于u-3σ时，K为-10；

当特征偏差值在[u-3σ，u+3σ]，映射值K通过特征偏差值线性映射获取，其映射值K的范围为[-10，10]，其中σ为正态分布的标准差，u为正态分布的平均值。

优选的，步骤S5中：

如果K等于0，则用户人脸模型的特征属性的控制骨骼头部坐标P（PX，Py，Pz）不变；

如果K大于0，则用户人脸模型的特征属性的控制骨骼头部坐标P为：

Px=k*(Hx-Wx)/(10-k)+Wx,

Py=k*(Hy-Wy)/(10-k)+Wy，

Pz=k*(Hz-Wz)/(10-k)+Wz，

如果K小于0，则用户人脸模型的特征属性的控制骨骼头部坐标P为：

Px=(k+10)*(Wx-Vx)/k+Vx,

Py=(k+10)*(Wy-Vy)/k+Vy，

Pz=(k+10)*(Wz-Vz)/k+Vz，

W(Wx,Wy,Wz)、V（Vx,Vy,Vz）、H(Hx,Hy,Hz)为标定坐标。

优选的，其特征在于，

V、H控制骨骼头部坐标的标定方法分别为:手动拖动预制脸模型的特征属性的控制骨骼向模型表面内、外移动，使模型不产生错误的最大形变的坐标。

本发明还提供了一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行所述任意一项所述的一种生成用户人脸模型的方法。

本发明还提供了一种终端，其特征在于，包括：一个或多个处理器，存储器，显示装置以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序用于执行所述任意一项所述的一种生成用户人脸模型的。

与现有技术相比，本申请的优点如下：

对于不同用户的人脸模型只需调整预制脸模型的控制骨骼头部坐标，提高了用户人脸模型生成的效率。

在调整预制脸模型的控制骨骼的基础上，加入了分类模型与人脸检测模型的应用，提高了用户脸模型生成的准确度。

通过对于预制脸模型的控制骨骼头部坐标提前标定，防止生成的用户人脸模型失真。

附图说明

图1本发明流程图。

图2 本发明预制脸模型数据与用户上传的用户脸模型数据。

图3 本发明脸颊宽度特征偏差的映射值K概率的正态分布图。

具体实施方式

以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。

下面结合说明书附图对本申请实施例作进一步详细描述。

本实施例提供了一种生成用户人脸模型的方法，如图1所示，包括以下步骤：

由于男女脸部特征属性具有较大差别，如果用户脸模型的生成基于同一预制脸模型，并且用户脸与预制脸模型的性别不相对应，那么生成的脸模型与用户实际的脸相差较大。因此为了获得准确的用户脸模型，考虑在对应的性别的预制脸模型的基础上进行控制骨骼调整。

S1 建立男女预制脸模型

按照平均脸型进行人物建模，建立男女各一套预制脸模型。包括：

建立预制脸模型的控制骨骼结构，从模型的骨骼root节点开始引出head节点，从head节点引出脸部特征属性的控制骨骼，脸部特征属性包括：眼睛长度、眼睛大小、鼻子高度、嘴巴长度、嘴巴大小、下巴长度、脸颊宽度。每一个脸部特征属性通过若干的控制骨骼控制，以脸颊宽度为例，右脸颊通过两根控制骨骼进行控制。

将预制脸模型网格进行蒙皮绑定然后倒入三维引擎中，生成男女各一套绑定好的预制脸部模型。

然后对预制脸模型进行拍照，并将照片输入通过81点人脸检测模型，获取预制脸模型数据。

S2.获取用户人脸图像的性别所对应的预制脸模型

用户通过前端网页上传脸部照片，并将该照片输入FairFace模型，判断其性别，然后根据性别选择对应性别的预制脸模型进行处理。

最后将用户照片输入81点人脸检测模型中，获取用户脸模型数据。

S3 获取当前人脸与预制脸模型图像脸部属性的特征关键点数据的特征偏差值；

由于现实中拍摄的照片可大可小，所以我们首先对得到的用户脸模型数据进行归一化处理，避免了同一个人脸的不同大小照片影响获取到的特征偏差值不一致。

S31.将用户脸数据关键点按宽度方式进行归一化处理；

如图2所示，A、B分别为通过81点人脸检测模型获取的预制脸模型数据与用户上传的用户脸模型数据，图中1-81号点即为脸部特征属性的关键点。

采取统一宽度的方式，进行归一化处理。计算1号点到8号点与其在宽度方向对应的17号点到10号点所对应的横坐标差值平方和，设预制脸与用户脸部数据1-81号点的坐标分别设为Xan与Xbn，n为点的号数。将预制脸的横坐标与用户的横坐标差值平方和相比，得到如下归一化比例系数Pr：

将用户上传脸部数据与该归一化比例系数相乘，即得到归一化的用户脸部数据。

S32.分别获取用户脸和预制脸模型的脸部特征属性的关键点的距离和；

以脸部特征属性脸颊宽度为例，分别计算预制脸部模型图像与用户图像脸部数据点1到点17，点2到点16,点3到点15...点7到点11的距离和AL与BL。

S33.计算用户脸与预制脸模型的脸部特征属性的关键点的距离和的偏差值D（即特征偏差值）：

D=AL-BL

S4. 获取特征偏差值的映射值K；

为了使特征偏差值的映射能够覆盖绝大部分脸型，并且能够过滤掉由于硬件和环境造成的误差较大的偏差值，需要对脸部特征属性关键点的距离和偏差值进行映射处理。

为了提高用户人脸模型生成的鲁棒性，在实际应用特征偏差值之前，首先对人脸的各个图像脸部特征属性关键点距离和的特征偏差值的范围进行处理，通过计算多张人脸的各个脸部图像的脸部特征属性关键点的特征偏差值的分布数据，根据统计其概率密度函数符合正态分布，因此使用使用正态分布曲线来拟合图像脸部特征属性关键点特征偏差值的分布数据。

控制骨骼如果根据各个脸部特征属性的正态分布规律，取其中3σ值作为控制骨骼调节量的最大值，即当特征偏差值超过u+3σ时，其中σ为正态分布的标准差，u为正态分布的平均值，映射值K为10，当特征偏差值小于u-3σ时，K的取值为-10，这样可以避免异常脸部模型出现。

当特征偏差值在[u-3σ，u+3σ]，特征偏差值通过线性映射，其映射值K的范围为[-10，10]。

如图3所示，为脸颊宽度特征偏差的映射值K的概率正态分布，柱状图为真实的分布，曲线为正态分布拟合后的函数曲线。

S5. 根据映射值K调整预制脸模型的控制骨骼的目标坐标参数生成用户人脸模型。

S51 获取预制脸模型的脸部特征属性的控制骨骼头部的标定坐标

如果控制骨骼头部的坐标移动幅度过大，会造成生成的用户人脸模型异常，严重失真。因此，首先确定预制脸模型各个脸部特征属性的控制骨骼头部的初始位置坐标W(Wx,Wy,Wz)，然后建模人员通过手动拖动脸部特征属性的控制骨骼，分别向预制脸部模型表面内、外移动，使模型不产生错误的最大形变的位置即为控制骨骼头部移动向预制脸部模型表面收窄的标定坐标V（Vx,Vy,Vz），向外最大拉伸标定坐标H(Hx,Hy,Hz)。因此通过对于预制脸模型的控制骨骼头部坐标提前标定，防止生成的用户人脸模型失真。

S52 根据映射值K计算预制脸模型脸部特征属性的控制骨骼头部目标坐标位置

如果K等于0，则用户人脸模型的特征属性的控制骨骼头部坐标P（Px，Py，Pz）不变；

如果K大于0，则用户人脸模型的特征属性的控制骨骼头部坐标P为：

Px=k*(Hx-Wx)/(10-k)+Wx,

Py=k*(Hy-Wy)/(10-k)+Wy，

Pz=k*(Hz-Wz)/(10-k)+Wz，

如果K小于0，则用户人脸模型的特征属性的控制骨骼头部坐标P为：

Px=(k+10)*(Wx-Vx)/k+Vx,

Py=(k+10)*(Wy-Vy)/k+Vy，

Pz=(k+10)*(Wz-Vz)/k+Vz，

S53 根据用户人脸模型的特征属性的控制骨骼头部坐标设置预制脸模型的脸部特征属性的控制骨骼头部坐标参数，当预制脸模型的脸部特征属性的控制骨骼头部坐标调整完成时，相应的生成用户人脸模型。

本发明实施例提供一种计算机可读存储介质，存储有能够被处理器加载并执行一种生成用户人脸模型的方法的计算机程序。

计算机存储介质例如包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

基于同一发明构思，本发明实施例还提供一种终端，包括：一个或多个处理器，存储器，显示装置以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序用于执行的一种生成用户人脸模型的方法。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种生成用户人脸模型的方法，其特征在于，

S1.建立男女的预制脸模型；

S2.获取用户人脸图像的性别所对应的预制脸模型；

S3.获取用户人脸与预制脸模型图像的脸部特征属性的关键点数据的特征偏差值；

S4.获取特征偏差值的映射值K；

S5.根据映射值K调整预制脸模型的脸部特征属性的控制骨骼头部的目标坐标参数生成用户脸模型。

2.根据权利要求1所述的一种生成用户人脸模型的方法，其特征在于，

脸部特征属性包括：眼睛长度、眼睛大小、鼻子高度、嘴巴长度、嘴巴大小、下巴长度、脸颊宽度。

3.根据权利要求1所述的一种生成用户人脸模型的方法，其特征在于，步骤3中：

S31.将用户脸数据关键点按宽度方式进行归一化处理；

S32.分别获取用户脸和预制脸模型的脸部特征属性的关键点的距离和；

S33.计算用户脸与预制脸模型的脸部特征属性的关键点的距离和的偏差值。

4.根据权利要求1所述的一种生成用户人脸模型的方法，其特征在于，步骤S4中：

根据脸部特征属性的特征偏差值正态概率分布规律，当特征偏差值超过u+3σ时，映射值K为10；当特征偏差值小于u-3σ时，K为-10；

当特征偏差值在[u-3σ，u+3σ]，映射值K通过特征偏差值线性映射获取，其映射值K的范围为[-10，10]，其中σ为正态分布的标准差，u为正态分布的平均值。

5.根据权利要求1所述的一种生成用户人脸模型的方法，其特征在于，步骤S5中：

如果K等于0，则用户人脸模型的特征属性的控制骨骼头部坐标P（P_X，Py，Pz）不变；

如果K大于0，则用户人脸模型的特征属性的控制骨骼头部坐标P为：

Px=k*(Hx-Wx)/(10-k)+Wx,

Py=k*(Hy-Wy)/(10-k)+Wy，

Pz=k*(Hz-Wz)/(10-k)+Wz，

如果K小于0，则用户人脸模型的特征属性的控制骨骼头部坐标P为：

Px=(k+10)*(Wx-Vx)/k+Vx,

Py=(k+10)*(Wy-Vy)/k+Vy，

Pz=(k+10)*(Wz-Vz)/k+Vz，

W(Wx,Wy,Wz)、V（Vx,Vy,Vz）、H(Hx,Hy,Hz)为标定坐标。

6.根据权利要求5所述的一种生成用户人脸模型的方法，其特征在于，

V、H控制骨骼头部坐标的标定方法分别为:手动拖动预制脸模型的特征属性的控制骨骼向模型表面内、外移动，使模型不产生错误的最大形变的坐标。

7.一种计算机可读存储介质，其特征在于，

存储有能够被处理器加载并执行如权利要求1至6中任意一项所述的一种生成用户人脸模型的方法。

8.一种终端，其特征在于，包括：

一个或多个处理器，存储器，显示装置以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序用于执行权利要求1至6中任意一项所述的一种生成用户人脸模型的方法。