CN112669447A - 一种模型头像创建方法、装置、电子设备和存储介质 - Google Patents
一种模型头像创建方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112669447A CN112669447A CN202011606349.1A CN202011606349A CN112669447A CN 112669447 A CN112669447 A CN 112669447A CN 202011606349 A CN202011606349 A CN 202011606349A CN 112669447 A CN112669447 A CN 112669447A
- Authority
- CN
- China
- Prior art keywords
- texture
- face
- dimensional
- image
- source image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本申请提供了一种模型头像创建方法、装置、电子设备和存储介质，其中，该方法包括：根据目标源图像，得到所述目标源图像的第一人脸Mesh，根据第一人脸Mesh的第二关键点在三维坐标系上的坐标对目标头部三维网格模型的第三人脸Mesh中对应的第三关键点进行移动，并根据第三关键点的移动值，对目标头部三维网格模型中的第一非关键点进行迁移，根据第三人脸Mesh，对目标源图像中的皮肤部分进行二维贴图展开，得到二维纹理贴图；将二维纹理贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型，通过上述方法可以将源图像的人脸移植到头部三维模型上。
Description
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种模型头像创建方法、装置、电子设备和存储介质。
背景技术
随着图像技术的发展，目前出现了图像换脸技术，即：可以将一张图像(源图像)上的人脸移植到另一张图像(目标图像)上，从而使得到的新图像具有源图像的人脸和目标图像中除了人脸部分之外的其他身体特征，现有的图像换脸技术是通过3DMM(3D MorphableModel，三维人脸可变形模型)技术生成的，即：通过3DMM技术得到源图像的人脸Mesh(人脸区域的三角网格，是一种三维结构)，然后将该人脸Mesh变换为二维人脸图像后投影到目标图像的脸部区域。
但是对于头部三维模型的换脸，由于头部三维模型的人脸Mesh的拓扑结构与通过3DMM技术得到的人脸Mesh的拓扑结构是不同的，因此上述换脸技术并不能应用到头部三维模型的换脸中，头部三维模型的换脸技术是目前亟需解决的问题。
发明内容
有鉴于此，本申请实施例提供了一种模型头像创建方法、装置、电子设备和存储介质，以将源图像的人脸移植到头部三维模型上。
第一方面，本申请实施例提供了一种模型头像创建方法，包括：
根据目标源图像，得到所述目标源图像的三维人脸可变形模型3DMM的第一人脸Mesh，其中，所述目标源图像为包括人脸部分的二维图像；
根据为标准3DMM的第二人脸Mesh设定的第一关键点，确定所述第一人脸Mesh中对应位置上的第二关键点；
对于每个所述第二关键点，将第三人脸Mesh中与该第二关键点对应的第三关键点移动至该第二关键点在三维坐标系的坐标上，其中，所述第三人脸Mesh为目标头部三维网格模型的3DMM的人脸Mesh，所述第三人脸Mesh的拓扑结构包括多个顶点，所述多个顶点由所述第三关键点和第一非关键点构成；
根据各所述第三关键点的移动值，对所述目标头部三维网格模型中的所述第一非关键点进行迁移，得到待贴图的头部三维网格模型；
根据所述第三人脸Mesh，对所述目标源图像中的皮肤部分进行二维贴图展开，得到二维纹理贴图；
将所述二维纹理贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型。
可选地，所述根据目标源图像，得到所述目标源图像的3DMM的第一人脸Mesh，包括：
将所述目标源图像输入到形状重建器中，得到所述目标源图像的3DMM系数，其中，所述3DMM系数包括：所述目标源图像的人脸身份系数和所述目标源图像的人脸表情系数；
将所述3DMM系数输入到3DMM公式中，得到所述第一人脸Mesh。
可选地，所述将所述二维纹理贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型，包括：
通过泊松融合方法，将所述二维纹理贴图融合到头部模板纹理贴图上，得到纹理融合贴图，其中，所述头部模板纹理贴图为包括耳朵和额头以上部位的头部贴图；
将所述纹理融合贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型。
可选地，在将所述二维纹理贴图融合到头部模板纹理贴图上之前，所述方法还包括：
计算所述目标源图像中的皮肤部分的第一像素平均值，以将所述第一像素平均值作为第一肤色值；
将所述头部模板纹理贴图的肤色调整为所述第一肤色值对应的肤色。
可选地，所述将所述纹理融合贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型，包括：
将所述目标源图像输入到训练好的图像编码器中，得到所述目标源图像的第一图像隐层特征；
将所述纹理融合贴图输入到训练好的纹理编码器中，得到所述纹理融合贴图的第一纹理隐层特征；
对所述第一图像隐层特征和所述第一纹理隐层特征进行向量拼接，得到第一拼接隐层特征；
将所述第一拼接隐层特征输入到训练好的纹理解码器中，得到去除高光、阴影和杂质的第一优化纹理贴图；
将所述第一优化纹理贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型。
可选地，所述目标头部三维网格模型包括三维游戏中待创建的虚拟角色的头部三维网格模型。
可选地，所述方法还包括：
根据样本源图像，得到所述样本源图像的3DMM的第四人脸Mesh和所述样本源图像的人脸姿态系数，以及将所述样本源图像输入到待训练的图像编码器中，得到所述样本源图像的第二图像隐层特征，其中，所述样本源图像为包括人脸部分的二维图像；
根据所述第一关键点，确定所述第四人脸Mesh中对应位置上的第四关键点；
对于每个所述第四关键点，将第五人脸Mesh中与该第四关键点对应的第五关键点移动至该第四关键点在所述三维坐标系的坐标上，其中，所述第五人脸Mesh为样本头部三维网格模型的3DMM的人脸Mesh，所述第五人脸Mesh的拓扑结构包括多个顶点，所述多个顶点由所述第五关键点和第二非关键点构成；
根据各所述第五关键点的移动值，对所述样本头部三维网格模型中的所述第二非关键点进行迁移，得到待贴图的样本头部三维网格模型；
将所述第二图像隐层特征输入到待训练的光照预测器中，得到所述样本源图像的光照系数；
根据所述第五人脸Mesh，在所述头部模板纹理贴图上对所述样本源图像中的皮肤部分进行二维贴图展开，得到样本纹理融合贴图；
将所述样本纹理融合贴图输入到待训练的纹理编码器中，得到第二纹理隐层特征；
对所述第二图像隐层特征和所述第二纹理隐层特征进行向量拼接，得到第二拼接隐层特征；
将所述第二拼接隐层特征输入到待训练的纹理解码器中，得到去除高光、阴影和杂质的第二优化纹理贴图；
根据所述人脸姿态系数，对待贴图的样本头部三维网格模型的姿态进行调整；
将所述第二优化纹理贴图加载到调整后的待贴图的样本头部三维网格模型上，得到覆盖有人脸贴图的样本头部三维网格模型；
通过渲染器，使用所述光照系数对覆盖有人脸贴图的样本头部三维网格模型进行渲染，得到样本二维人脸图像；
根据所述样本源图像、所述样本二维人脸图像、所述第二优化纹理贴图和为所述样本源图像设定的目标人脸纹理贴图，计算图像对感知损失值、逐像素损失值、肤色损失值、图像对抗损失值和纹理对抗损失值；
根据所述感知损失值、所述逐像素损失值、所述肤色损失值、所述图像对抗损失值和所述纹理对抗损失值，对所述待训练的图像编码器、所述待训练的光照预测器、所述待训练的纹理编码器和所述待训练的纹理解码器进行训练，得到所述训练好的图像编码器、所述训练好的光照预测器、所述训练好的纹理编码器和所述训练好的纹理解码器。
可选地，所述根据样本源图像，得到所述样本源图像的3DMM的第四人脸Mesh和所述样本源图像的人脸姿态系数，包括：
将所述样本源图像输入到形状重建器中，分别得到所述样本源图像的样本3DMM系数和所述人脸姿态系数，其中，所述样本3DMM系数包括：所述样本源图像的人脸身份系数和所述样本源图像的人脸表情系数，所述人脸姿态系数包括所述样本源图像分别在X轴上的旋转角度、在Y轴上的旋转角度和在Z轴上的旋转角度，以及以所述样本源图像的中心点和三维坐标系的原点重合后，所述第四关键点在所述三维坐标系中的坐标；
将所述样本3DMM系数输入到3DMM公式中，得到所述第四人脸Mesh。
可选地，在根据所述第五人脸Mesh，在所述头部模板纹理贴图上对所述样本源图像中的皮肤部分进行二维贴图展开之前，所述方法还包括：
计算所述样本源图像中的皮肤部分的第二像素平均值，以将所述第二像素平均值作为第二肤色值；
将所述头部模板纹理贴图的肤色调整为所述第二肤色值对应的肤色。
可选地，所述目标人脸纹理贴图是通过对所述样本纹理融合贴图中的高光、阴影和杂质进行去除后筛选得到。
可选地，所述根据所述样本源图像、所述样本二维人脸图像、所述第二优化纹理贴图和为所述样本源图像设定的目标人脸纹理贴图，计算图像对感知损失值、逐像素损失值、肤色损失值、图像对抗损失值和纹理对抗损失值，包括：
通过以下的感知损失函数计算所述感知损失值：
通过以下的逐像素损失函数计算所述逐像素损失值：
通过以下的肤色损失函数计算所述肤色损失值：
通过以下的对抗损失函数计算所述图像对抗损失值和所述纹理对抗损失值：
其中，x表示所述样本源图像，x′表示所述样本二维人脸图像，F(x)表示提取的所述样本源图像的特征向量，F(x′)表示提取的所述样本二维人脸图像的特征向量，Mproj表示三维人脸Mesh在二维图像中能够投影到的区域，Mface表示所述样本源图像的脸部区域，Muv表示所述样本二维人脸图像的皮肤部分，xi表示所述样本二维人脸图像的皮肤部分的各像素的像素值，
表示所述像素值的平均值，当D为纹理判别器时，Ladv(t，t′)表示所述纹理对抗损失函数，此时t表示所述目标人脸纹理贴图，t′表示所述第二优化纹理贴图，当D为图像判别器时，Ladv(t，t′)表示所述图像对抗损失函数，此时t表示所述样本源图像，t′表示所述样本二维人脸图像。
可选地，所述根据所述感知损失值、所述逐像素损失值、所述肤色损失值、所述图像对抗损失值和所述纹理对抗损失值，对所述待训练的图像编码器、所述待训练的光照预测器、所述待训练的纹理编码器和所述待训练的纹理解码器进行训练，得到所述训练好的图像编码器、所述训练好的光照预测器、所述训练好的纹理编码器和所述训练好的纹理解码器，包括：
分别判断所述感知损失值、所述逐像素损失值和所述肤色损失值是否都小于各自对应的阈值；
如果都小于，则得到所述训练好的图像编码器、所述训练好的光照预测器、所述训练好的纹理编码器和所述训练好的纹理解码器；
如果存在至少一个不小于对应的阈值时，则根据所述感知损失值、所述逐像素损失值、所述肤色损失值、所述图像对抗损失值和所述纹理对抗损失值之和，分别对所述待训练的图像编码器、所述待训练的光照预测器、所述待训练的纹理编码器、所述待训练的纹理解码器、所述纹理判别器和所述图像判别器进行反向传播训练，并使用训练后的图像编码器、光照预测器、纹理编码器、纹理解码器、纹理判别器和图像判别器得到图像对感知损失值、逐像素损失值、肤色损失值、图像对抗损失值和纹理对抗损失值，直至得到的感知损失值、逐像素损失值和肤色损失值均小于各自对应的阈值为止。
第二方面，本申请实施例提供了一种模型头像创建装置，包括：
三维网格模型构建单元，用于根据目标源图像，得到所述目标源图像的三维人脸可变形模型3DMM的第一人脸Mesh，其中，所述目标源图像为包括人脸部分的二维图像；以及，用于根据为标准3DMM的第二人脸Mesh设定的第一关键点，确定所述第一人脸Mesh中对应位置上的第二关键点；以及，用于对于每个所述第二关键点，将第三人脸Mesh中与该第二关键点对应的第三关键点移动至该第二关键点在三维坐标系的坐标上，其中，所述第三人脸Mesh为目标头部三维网格模型的3DMM的人脸Mesh，所述第三人脸Mesh的拓扑结构包括多个顶点，所述多个顶点由所述第三关键点和第一非关键点构成；以及，用于根据各所述第三关键点的移动值，对所述目标头部三维网格模型中的所述第一非关键点进行迁移，得到待贴图的头部三维网格模型；
纹理贴图单元，用于根据所述第三人脸Mesh，对所述目标源图像中的皮肤部分进行二维贴图展开，得到二维纹理贴图；
加载单元，用于将所述二维纹理贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型。
可选地，所述三维网格模型构建单元用于根据目标源图像，得到所述目标源图像的3DMM的第一人脸Mesh时，包括：
将所述目标源图像输入到形状重建器中，得到所述目标源图像的3DMM系数，其中，所述3DMM系数包括：所述目标源图像的人脸身份系数和所述目标源图像的人脸表情系数；
将所述3DMM系数输入到3DMM公式中，得到所述第一人脸Mesh。
可选地，所述三维网格模型构建单元用于将所述二维纹理贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型时，包括：
通过泊松融合方法，将所述二维纹理贴图融合到头部模板纹理贴图上，得到纹理融合贴图，其中，所述头部模板纹理贴图为包括耳朵和额头以上部位的头部贴图；
将所述纹理融合贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型。
可选地，所述三维网格模型构建单元，还用于：
在将所述二维纹理贴图融合到头部模板纹理贴图上之前，计算所述目标源图像中的皮肤部分的第一像素平均值，以将所述第一像素平均值作为第一肤色值；
将所述头部模板纹理贴图的肤色调整为所述第一肤色值对应的肤色。
可选地，所述三维网格模型构建单元用于将所述纹理融合贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型时，包括：
将所述目标源图像输入到训练好的图像编码器中，得到所述目标源图像的第一图像隐层特征；
将所述纹理融合贴图输入到训练好的纹理编码器中，得到所述纹理融合贴图的第一纹理隐层特征；
对所述第一图像隐层特征和所述第一纹理隐层特征进行向量拼接，得到第一拼接隐层特征；
将所述第一拼接隐层特征输入到训练好的纹理解码器中，得到去除高光、阴影和杂质的第一优化纹理贴图；
将所述第一优化纹理贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型。
可选地，所述目标头部三维网格模型包括三维游戏中待创建的虚拟角色的头部三维网格模型。
可选地，所述装置还包括：
训练单元，用于根据样本源图像，得到所述样本源图像的3DMM的第四人脸Mesh和所述样本源图像的人脸姿态系数，以及将所述样本源图像输入到待训练的图像编码器中，得到所述样本源图像的第二图像隐层特征，其中，所述样本源图像为包括人脸部分的二维图像；以及，用于根据所述第一关键点，确定所述第四人脸Mesh中对应位置上的第四关键点；以及，用于对于每个所述第四关键点，将第五人脸Mesh中与该第四关键点对应的第五关键点移动至该第四关键点在所述三维坐标系的坐标上，其中，所述第五人脸Mesh为样本头部三维网格模型的3DMM的人脸Mesh，所述第五人脸Mesh的拓扑结构包括多个顶点，所述多个顶点由所述第五关键点和第二非关键点构成；以及，用于根据各所述第五关键点的移动值，对所述样本头部三维网格模型中的所述第二非关键点进行迁移，得到待贴图的样本头部三维网格模型；以及，将所述第二图像隐层特征输入到待训练的光照预测器中，得到所述样本源图像的光照系数；以及，根据所述第五人脸Mesh，在所述头部模板纹理贴图上对所述样本源图像中的皮肤部分进行二维贴图展开，得到样本纹理融合贴图；以及，将所述样本纹理融合贴图输入到待训练的纹理编码器中，得到第二纹理隐层特征；以及，对所述第二图像隐层特征和所述第二纹理隐层特征进行向量拼接，得到第二拼接隐层特征；以及，将所述第二拼接隐层特征输入到待训练的纹理解码器中，得到去除高光、阴影和杂质的第二优化纹理贴图；以及，根据所述人脸姿态系数，对待贴图的样本头部三维网格模型的姿态进行调整；以及，将所述第二优化纹理贴图加载到调整后的待贴图的样本头部三维网格模型上，得到覆盖有人脸贴图的样本头部三维网格模型；以及，通过渲染器，使用所述光照系数对覆盖有人脸贴图的样本头部三维网格模型进行渲染，得到样本二维人脸图像；以及，根据所述样本源图像、所述样本二维人脸图像、所述第二优化纹理贴图和为所述样本源图像设定的目标人脸纹理贴图，计算图像对感知损失值、逐像素损失值、肤色损失值、图像对抗损失值和纹理对抗损失值；以及，根据所述感知损失值、所述逐像素损失值、所述肤色损失值、所述图像对抗损失值和所述纹理对抗损失值，对所述待训练的图像编码器、所述待训练的光照预测器、所述待训练的纹理编码器和所述待训练的纹理解码器进行训练，得到所述训练好的图像编码器、所述训练好的光照预测器、所述训练好的纹理编码器和所述训练好的纹理解码器。
可选地，所述训练单元在用于根据样本源图像，得到所述样本源图像的3DMM的第四人脸Mesh和所述样本源图像的人脸姿态系数时，包括：
将所述样本源图像输入到形状重建器中，分别得到所述样本源图像的样本3DMM系数和所述人脸姿态系数，其中，所述样本3DMM系数包括：所述样本源图像的人脸身份系数和所述样本源图像的人脸表情系数，所述人脸姿态系数包括所述样本源图像分别在X轴上的旋转角度、在Y轴上的旋转角度和在Z轴上的旋转角度，以及以所述样本源图像的中心点和三维坐标系的原点重合后，所述第四关键点在所述三维坐标系中的坐标；
将所述样本3DMM系数输入到3DMM公式中，得到所述第四人脸Mesh。
可选地，所述训练单元，还用于：
在根据所述第五人脸Mesh，在所述头部模板纹理贴图上对所述样本源图像中的皮肤部分进行二维贴图展开之前，计算所述样本源图像中的皮肤部分的第二像素平均值，以将所述第二像素平均值作为第二肤色值；
将所述头部模板纹理贴图的肤色调整为所述第二肤色值对应的肤色。
可选地，所述目标人脸纹理贴图是通过对所述样本纹理融合贴图中的高光、阴影和杂质进行去除后筛选得到。
可选地，所述训练单元在用于根据所述样本源图像、所述样本二维人脸图像、所述第二优化纹理贴图和为所述样本源图像设定的目标人脸纹理贴图，计算图像对感知损失值、逐像素损失值、肤色损失值、图像对抗损失值和纹理对抗损失值时，包括：
通过以下的感知损失函数计算所述感知损失值：
通过以下的逐像素损失函数计算所述逐像素损失值：
通过以下的肤色损失函数计算所述肤色损失值：
通过以下的对抗损失函数计算所述图像对抗损失值和所述纹理对抗损失值：
其中，x表示所述样本源图像，x′表示所述样本二维人脸图像，F(x)表示提取的所述样本源图像的特征向量，F(x′)表示提取的所述样本二维人脸图像的特征向量，Mproj表示三维人脸Mesh在二维图像中能够投影到的区域，Mface表示所述样本源图像的脸部区域，Muv表示所述样本二维人脸图像的皮肤部分，xi表示所述样本二维人脸图像的皮肤部分的各像素的像素值，
表示所述像素值的平均值，当D为纹理判别器时，Ladv(t，t′)表示所述纹理对抗损失函数，此时t表示所述目标人脸纹理贴图，t′表示所述第二优化纹理贴图，当D为图像判别器时，Ladv(t，t′)表示所述图像对抗损失函数，此时t表示所述样本源图像，t′表示所述样本二维人脸图像。
可选地，所述训练单元用于根据所述感知损失值、所述逐像素损失值、所述肤色损失值、所述图像对抗损失值和所述纹理对抗损失值，对所述待训练的图像编码器、所述待训练的光照预测器、所述待训练的纹理编码器和所述待训练的纹理解码器进行训练，得到所述训练好的图像编码器、所述训练好的光照预测器、所述训练好的纹理编码器和所述训练好的纹理解码器时，包括：
分别判断所述感知损失值、所述逐像素损失值和所述肤色损失值是否都小于各自对应的阈值；
如果都小于，则得到所述训练好的图像编码器、所述训练好的光照预测器、所述训练好的纹理编码器和所述训练好的纹理解码器；
如果存在至少一个不小于对应的阈值时，则根据所述感知损失值、所述逐像素损失值、所述肤色损失值、所述图像对抗损失值和所述纹理对抗损失值之和，分别对所述待训练的图像编码器、所述待训练的光照预测器、所述待训练的纹理编码器、所述待训练的纹理解码器、所述纹理判别器和所述图像判别器进行反向传播训练，并使用训练后的图像编码器、光照预测器、纹理编码器、纹理解码器、纹理判别器和图像判别器得到图像对感知损失值、逐像素损失值、肤色损失值、图像对抗损失值和纹理对抗损失值，直至得到的感知损失值、逐像素损失值和肤色损失值均小于各自对应的阈值为止。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面中任一项所述的模型头像创建方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面中任一项所述的模型头像创建方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
在本申请中，在得到目标源图像的3DMM的第一人脸Mesh后，可以通过第一人脸Mesh确定目标源图像的三维人脸，由于目标头部三维网格模型的人脸部分也是三维结构的，为了能够将第一人脸Mesh移植到目标头部三维网格模型上，可以预先建立一个标准3DMM的第二人脸Mesh，并设定第二人脸Mesh中的第一关键点，然后确定各第二关键点在三维坐标系中的坐标，并将目标头部三维网格模型的3DMM的人脸Mesh中与各第二关键点对应的第三关键点移动至对应的坐标上，此时目标头部三维网格模型的人脸部分的形状变换成了源图像的人脸部分的形状，然后根据各第三关键点的移动至对目标头部三维网格模型的3DMM的人脸Mesh中的第一非关键点进行迁移，以使第一非关键点完成适应性的调整，从而使得到的待贴图的头部三维网格模型中各部分的比例相对合适，为了使头部三维网格模型具有目标源图像的皮肤纹理，还需要根据第三人脸Mesh对目标源图像中的皮肤部分进行二维贴图展开，得到二维纹理贴图，然后将得到的二维纹理贴图加载到待贴图的头部三维网格模型上，此时得到的覆盖有人脸贴图的头部三维网格模型的人脸部分与目标源图像的人脸部分不仅形状上相同，还具有与目标源图像的人脸部分相同的皮肤纹理，因此通过上述方法可以将源图像的人脸移植到头部三维模型上，并且通过上述方法可以使头部三维模型生成的人脸具有更高的自由度。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例一提供的一种模型头像创建方法的流程示意图；
图2为本申请实施例一提供的另一种模型头像创建方法的流程示意图；
图3为本申请实施例一提供的另一种模型头像创建方法的流程示意图；
图4为本申请实施例一提供的一种纹理融合贴图的示意图；
图5为本申请实施例一提供的一种头部三维网格模型的示意图；
图6为本申请实施例一提供的另一种模型头像创建方法的流程示意图；
图7为本申请实施例一提供的另一种模型头像创建方法的流程示意图；
图8为本申请实施例一提供的另一种模型头像创建方法的流程示意图；
图9为本申请实施例一提供的另一种模型头像创建方法的流程示意图；
图10为本申请实施例一提供的另一种模型头像创建方法的流程示意图；
图11为本申请实施例一提供的另一种模型头像创建方法的流程示意图；
图12为本申请实施例二提供的一种模型头像创建装置的结构示意图；
图13为本申请实施例二提供的另一种模型头像创建装置的结构示意图；
图14为本申请实施例三提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要提前说明的是，本申请中的人脸Mesh是由三角网格构成的，它是由在三维空间中的顶点及三个顶点间的三角面片组成，每个顶点除了位置坐标以外，还可以包含颜色、法线等信息。
实施例一
图1为本申请实施例一提供的一种模型头像创建方法的流程示意图，如图1所述，该方法包括以下步骤：
步骤101、根据目标源图像，得到所述目标源图像的3DMM的第一人脸Mesh，其中，所述目标源图像为包括人脸部分的二维图像。
需要说明的是，目标源图像可以是真实人物的照片，如：某一明星的照片，还可以是卡通人物的图片等，关于具体的目标源图像可以根据实际需要进行设定，在此不做具体限定。
步骤102、根据为标准3DMM的第二人脸Mesh设定的第一关键点，确定所述第一人脸Mesh中对应位置上的第二关键点。
具体的，可以预先设定一个标准人脸，该标准人脸的3DMM的Mesh可以作为标准3DMM的第二人脸Mesh，并且将第二人脸Mesh中的特定顶点作为第一关键点，例如：可以将第二人脸Mesh中的构成眼睛的顶点、构成眉毛的顶点、构成鼻子的顶点、构成嘴唇的顶点、构成脸部外围一圈的顶点、构成脸颊的订单，以及构成脸部中轴线的顶点作为第一关键点，关于第一关键点的具体位置和数量可以根据实际需要进行设定，在此不做具体限定。
在得到第一人脸Mesh后可以确定目标源图像的人脸的三维形状和各顶点，为了得到第一人脸Mesh中构成人脸的关键点，可以根据第一关键点在第二人脸Mesh中的位置，将第一人脸Mesh中对应位置上的关键点作为第二关键点，通过第二关键点可以确定目标源图像中人脸的大概轮廓。
步骤103、对于每个所述第二关键点，将第三人脸Mesh中与该第二关键点对应的第三关键点移动至该第二关键点在三维坐标系的坐标上，其中，所述第三人脸Mesh为目标头部三维网格模型的3DMM的人脸Mesh，所述第三人脸Mesh的拓扑结构包括多个顶点，所述多个顶点由所述第三关键点和第一非关键点构成。
具体的，为了使目标头部三维网格模型与目标源图像具有相同的人脸轮廓(即：形状)，可以参照第二关键点在三维坐标系中的坐标对目标头部三维网格模型的3DMM的人脸Mesh中对应位置上的顶点(即：第三关键点)进行移动，例如：第二关键点包括若干个，其中一个第二关键点为人中所在位置上的关键点，以目标源图像的人脸部分的中心位置为原点构建三维坐标系，然后确定人中所在位置上的关键点在构建的三维坐标系中的坐标，然后将目标头部三维网格模型中人中所在位置上的第三关键点移动至该坐标上，在将目标头部三维网格模型中所有与第二关键点对应的第三关键点按照上述方法移动后，目标头部三维网格模型的人脸部分与目标源图像的人脸部分具有相同的形状，例如：具有相同形状的眼睛、鼻子、眉毛、嘴唇、脸颊等，并且上述部分在目标头部三维网格模型的人脸部分上的分布情况也与目标源图像的人脸部分上的分布情况相同，此时目标头部三维网格模型的人脸部分的形状变换成了源图像的人脸部分的形状。
步骤104、根据各所述第三关键点的移动值，对所述目标头部三维网格模型中的所述第一非关键点进行迁移，得到待贴图的头部三维网格模型。
具体的，目标头部三维网格模型的第三人脸Mesh中不仅包括作为第三关键点的顶点，还包括作为第一非关键点的顶点，为了使作为第一非关键点的顶点能够适应性的进行调整，以使头部三维网格模型中各部分的比例相对合适，需要根据各第三关键点的移动值对作为第一非关键点的顶点进行迁移，如：通过特定的Mesh形变算法对作为第一非关键点的顶点进行迁移，从而得到待贴图的头部三维网格模型。
步骤105、根据所述第三人脸Mesh，对所述目标源图像中的皮肤部分进行二维贴图展开，得到二维纹理贴图。
步骤106、将所述二维纹理贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型。
具体的，得到的待贴图的头部三维网格模型只是完成了形状的迁移，为了能够使头部三维网格模型覆盖有与目标源图像相同的皮肤纹理，需要依据第三人脸Mesh对目标源图像中的皮肤部分进行二维贴图展开，即：在对目标源图像的人脸皮肤部分进行展开使需要按照第三人脸Mesh进行展开，以保证展开的二维纹理贴图能够较好的贴合到待贴图的头部三维网格模型上，在得到二维纹理贴图后，将该二维纹理贴图加载到待贴图的头部三维网格模型上，此时得到的覆盖有人脸贴图的头部三维网格模型的人脸部分与目标源图像的人脸部分不仅形状上相同，还具有与目标源图像的人脸部分相同的皮肤纹理，因此通过上述方法可以将源图像的人脸移植到头部三维模型上。
并且，通过上述方法可以将任意图像上的人脸移植到头部三维模型上，例如：可以将真实人物的人脸或者是将卡通人物的人脸移植到头部三维模型上，从而使头部三维模型生成的人脸具有更高的自由度，以三维游戏中的头部三维模型为例，玩家可以将自己的人脸移植到创建的虚拟角色上，使得玩家可以更加自由的创建虚拟角色，并且通过上述方法玩家可以不用对创建的虚拟角色的人脸进行过多操作，从而摆脱捏脸参数的限制，进而有利于节省捏脸过程中所消耗的时长。
在一个可行的实施方案中，图2为本申请实施例一提供的另一种模型头像创建方法的流程示意图，如图2所示，在执行步骤101时，可以通过以下步骤实现：
步骤201、将所述目标源图像输入到形状重建器中，得到所述目标源图像的3DMM系数，其中，所述3DMM系数包括：所述目标源图像的人脸身份系数和所述目标源图像的人脸表情系数。
步骤202、将所述3DMM系数输入到3DMM公式中，得到所述第一人脸Mesh。
具体的，形状重建器是一个由一系列卷积层构成的卷积神经网络，在将目标源图像输入到形状重建器中后，得到由目标源图像的人脸身份系数和目标源图像的人脸表情系数构成的3DMM系数，其中，人脸身份系数可以表示胖、瘦等人脸形状，人脸的表情系数可以表示眨眼、笑和哭等表情，然后将3DMM系数输入到3DMM公式中得到第一人脸Mesh，其中，3DMM公式可以为：S＝Smean+ciIbase+ceEbase，其中，Smean表示平均人脸形状和纹理，ci表示人脸身份系数，Ibase表示人脸身份的PCA(Principal Components Analysis，主成分分析)基，ce表示人脸表情系数，Ebase表示人脸表情的PCA基。
在一个可行的实施方案中，图3为本申请实施例一提供的另一种模型头像创建方法的流程示意图，如图3所示，在执行步骤106时，可以通过以下步骤实现：
步骤301、通过泊松融合方法，将所述二维纹理贴图融合到头部模板纹理贴图上，得到纹理融合贴图，其中，所述头部模板纹理贴图为包括耳朵和额头以上部位的头部贴图。
步骤302、将所述纹理融合贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型。
具体的，二维纹理贴图中仅包括人脸部分，对于头部三维网格模型而言，如果仅将二维纹理贴图加载到头部三维网格模型上后，头部三维网格模型的耳朵和额头以上的部位是没有皮肤纹理的，因此为了使加载后的头部三维网格模型更佳逼真，需要将二维纹理贴图融合到头部模板纹理贴图上，然后将得到纹理融合贴图加载到待贴图的头部三维网格模型上，从而使头部三维网格模型的耳朵和额头以上的部分覆盖有皮肤纹理。
需要说明的是，头部模板纹理贴图中额头以上部位包括头顶部分，头顶部分可以设置有头发或者是光头，图4为本申请实施例一提供的一种纹理融合贴图的示意图，图5为本申请实施例一提供的一种头部三维网格模型的示意图，在将图4所示的纹理融合贴图加载到如图5所示的头部三维网格模型上后，可以使头部三维网格模型的皮肤部分覆盖上纹理，头顶覆盖有头发，从而使生成的覆盖有人脸贴图的头部三维网格模型更加逼真。
在一个可行的实施方案中，图6为本申请实施例一提供的另一种模型头像创建方法的流程示意图，如图6所示，在执行步骤302之前，该方法还包括以下步骤：
步骤601、计算所述目标源图像中的皮肤部分的第一像素平均值，以将所述第一像素平均值作为第一肤色值。
步骤602、将所述头部模板纹理贴图的肤色调整为所述第一肤色值对应的肤色。
具体的，为了使头部模板纹理贴图具有与目标源图像相似的肤色，在得到纹理融合贴图后，或者是在得到纹理融合贴图前对头部模板纹理贴图的肤色进行调整，在对头部模板纹理贴图的肤色进行调整时，可以先计算目标源图像中的皮肤部分的第一像素平均值，然后将头部模板纹理贴图的肤色调整为第一像素平均值对应的颜色，此时可以使头部模板纹理贴图具有与目标源图像相似的肤色。
在一个可行的实施方案中，图7为本申请实施例一提供的另一种模型头像创建方法的流程示意图，如图7所示，在执行步骤302时，可以通过以下步骤实现：
步骤701、将所述目标源图像输入到训练好的图像编码器中，得到所述目标源图像的第一图像隐层特征。
步骤702、将所述纹理融合贴图输入到训练好的纹理编码器中，得到所述纹理融合贴图的第一纹理隐层特征。
步骤703、对所述第一图像隐层特征和所述第一纹理隐层特征进行向量拼接，得到第一拼接隐层特征。
步骤704、将所述第一拼接隐层特征输入到训练好的纹理解码器中，得到去除高光、阴影和杂质的第一优化纹理贴图。
步骤705、将所述第一优化纹理贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型。
具体的，目标源图像中不仅包括纹理特征还包括肤色和肤色亮暗等图像特征，由于已经得到纹理融合贴图，此时需要将目标源图像中的图像特征添加到纹理融合贴图中就可以是纹理融合贴图具有与目标源图像相同的皮肤，因此，需要得到用于表示目标源图像的图像特征的第一图像隐层特征，以及用于表示纹理融合贴图的纹理特征的第一纹理隐层特征，然后对第一图像隐层特征和第一纹理隐层特征进行向量拼接，得到第一拼接隐层特征，该第一拼接隐层特征所表示的皮肤不仅与目标源图像具有相同的皮肤纹理，还具有与目标源图像相同的肤色，同时所表示的皮肤的亮暗程度也与目标源图像的皮肤相同，但是由于第一拼接隐层特征中还具有目标源图像中对皮肤造成影响的特征，如：杂质(例如：在获得目标源图像的纹理贴图后，如果目标源图像的人脸上有遮挡物，如：眼镜、头发等，则得到的纹理贴图会受到遮挡物产生的杂质的影响)、高光和阴影，为了去除第一拼接隐层特征包括这些特征，将第一拼接隐层特征输入到训练好的纹理解码器，从而得到去除高光、阴影和杂质的第一优化纹理贴图，然后将第一优化后的纹理贴图加载到待贴图的头部三维网格模型，从而可以使得到覆盖有人脸贴图的头部三维网格模型不仅具有与目标源图像相同的皮肤纹理、肤色和皮肤亮暗，还避免了遮挡物对覆盖有人脸贴图的头部三维网格模型的影响，使得生成的覆盖有人脸贴图的头部三维网格模型具有更好的显示效果。
在一个可行的实施方案中，所述目标头部三维网格模型包括三维游戏中待创建的虚拟角色的头部三维网格模型。
具体的，上述实现方案可以应用在三维游戏中，例如：在三维游戏中创建虚拟角色时，玩家可以选择一个目标源图像，然后将该目标源图像中的人脸移植到创建的虚拟角色上，这样可以无需玩家对虚拟角色进行捏脸操作就能完成虚拟角色的创建，有利于较少创建虚拟角色时消耗的时长，以及有利于减少创建虚拟角色时玩家的操作数量。
需要说明的是，目标源图像可以是包括真实人物的人脸图像，或者可以是虚拟人物的人脸图像，如：卡通人物的人脸图像。
在一个可行的实施方案中，图8为本申请实施例一提供的另一种模型头像创建方法的流程示意图，如图8所示，该方法还包括以下步骤：
步骤801、根据样本源图像，得到所述样本源图像的3DMM的第四人脸Mesh和所述样本源图像的人脸姿态系数，以及将所述样本源图像输入到待训练的图像编码器中，得到所述样本源图像的第二图像隐层特征，其中，所述样本源图像为包括人脸部分的二维图像。
具体的，得到的样本源图像中的人物的人脸可能是具有一定角度(即：有一定程度的侧脸)的，为了能够使样本头部三维网格模型的人脸也能有同样的角度，需要获取样本源图像的人脸姿态系数，以便根据该人脸姿态系数对样本头部三维网格模型的人脸角度进行调节。
关于步骤801中其他内容的相关解释可参考上述实施例中相关内容的详细说明，在此不再详细说明。
步骤802、根据所述第一关键点，确定所述第四人脸Mesh中对应位置上的第四关键点。
步骤803、对于每个所述第四关键点，将第五人脸Mesh中与该第四关键点对应的第五关键点移动至该第四关键点在所述三维坐标系的坐标上，其中，所述第五人脸Mesh为样本头部三维网格模型的3DMM的人脸Mesh，所述第五人脸Mesh的拓扑结构包括多个顶点，所述多个顶点由所述第五关键点和第二非关键点构成。
步骤804、根据各所述第五关键点的移动值，对所述样本头部三维网格模型中的所述第二非关键点进行迁移，得到待贴图的样本头部三维网格模型。
关于步骤802-步骤804的详细解释可参考图1所示内容中的相关说明，在此不再详细说明。
步骤805、将所述第二图像隐层特征输入到待训练的光照预测器中，得到所述样本源图像的光照系数。
具体的，由于在第二图像隐层特征中包括样本源图像内的光照信息，如：光照方向和光照强度，为了进行后续处理，需要通过光照预测器预测样本源图像的光照系数。
步骤806、根据所述第五人脸Mesh，在所述头部模板纹理贴图上对所述样本源图像中的皮肤部分进行二维贴图展开，得到样本纹理融合贴图。
关于得到样本纹理融合贴图的具体实现方式可参考上述实施例中有关纹理融合贴图的得到方式，在此不再一一赘述。
步骤807、将所述样本纹理融合贴图输入到待训练的纹理编码器中，得到第二纹理隐层特征。
步骤808、对所述第二图像隐层特征和所述第二纹理隐层特征进行向量拼接，得到第二拼接隐层特征。
步骤809、将所述第二拼接隐层特征输入到待训练的纹理解码器中，得到去除高光、阴影和杂质的第二优化纹理贴图。
关于步骤806-步骤809的详细解释可参考上述实施例中相关内容的详细说明，在此不再详细说明。
步骤810、根据所述人脸姿态系数，对待贴图的样本头部三维网格模型的姿态进行调整。
步骤811、将所述第二优化纹理贴图加载到调整后的待贴图的样本头部三维网格模型上，得到覆盖有人脸贴图的样本头部三维网格模型。
步骤812、通过渲染器，使用所述光照系数对覆盖有人脸贴图的样本头部三维网格模型进行渲染，得到样本二维人脸图像。
具体的，通过步骤801-步骤804可以得到待贴图的样本头部三维网格模型和样本源图像的人脸姿态系数，通过步骤805可以得到样本源图像的光照系数，通过步骤806-步骤809可以得到去除高光、阴影和杂质的第二优化纹理贴图，此时的第二优化纹理贴图中不仅包括样本源图像的纹理，还包括样本源图像的皮肤细节内容，如：肤色、肤色亮暗等细节，为了能够将第二优化纹理贴图加载到待贴图的样本头部三维网格模型上，需要先根据人脸姿态系数对待贴图的样本头部三维网格模型的姿态进行调整，以使待贴图的样本头部三维网格模型与样本源图像具有相同的偏转角度，然后将第二优化纹理贴图加载到调整后的待贴图的样本头部三维网格模型上，从而得到覆盖有人脸贴图的样本头部三维网格模型，此时得到的覆盖有人脸贴图的样本头部三维网格模型的人脸部分不仅与样本源图像具有相同的皮肤纹理，还具有与样本源图像相同的皮肤细节肤色、肤色亮暗等细节，为了能够使覆盖有人脸贴图的样本头部三维网格模型具有与样本源图像相同的光照信息，需要将光照系数和覆盖有人脸贴图的样本头部三维网格模型输入到渲染器中，以使渲染器使用光照系数对覆盖有人脸贴图的样本头部三维网格模型进行渲染，得到样本二维人脸图像，此时得到的样本二维人脸图像为样本头部三维网格模型在完成人脸移植后的二维图像。
步骤813、根据所述样本源图像、所述样本二维人脸图像、所述第二优化纹理贴图和为所述样本源图像设定的目标人脸纹理贴图，计算图像对感知损失值、逐像素损失值、肤色损失值、图像对抗损失值和纹理对抗损失值。
步骤814、根据所述感知损失值、所述逐像素损失值、所述肤色损失值、所述图像对抗损失值和所述纹理对抗损失值，对所述待训练的图像编码器、所述待训练的光照预测器、所述待训练的纹理编码器和所述待训练的纹理解码器进行训练，得到所述训练好的图像编码器、所述训练好的光照预测器、所述训练好的纹理编码器和所述训练好的纹理解码器。
具体的，在得到样本源图像、样本二维人脸图像、第二优化纹理贴图和为样本源图像设定的目标人脸纹理贴图后，为了能够使待训练的图像编码器、待训练的光照预测器、待训练的纹理编码器和待训练的纹理解码器得到更好的处理结果，需要计算图像对感知损失值、逐像素损失值、肤色损失值、图像对抗损失值和纹理对抗损失值，然后利用得到的图像对感知损失值、逐像素损失值、肤色损失值、图像对抗损失值和纹理对抗损失值分别对待训练的图像编码器、待训练的光照预测器、待训练的纹理编码器和待训练的纹理解码器进行训练，以便得到训练好的图像编码器、训练好的光照预测器、训练好的纹理编码器和训练好的纹理解码器，在完成训练后，可以使用训练好的图像编码器、训练好的纹理编码器和训练好的纹理解码器来将目标源图像的头像移植到目标头部三维网格模型上，从而得到覆盖有人脸贴图的头部三维网格模型。
其中，为样本源图像设定的目标人脸纹理贴图为将高光、阴影和杂质等去除之后品相较好的纹理融合贴图。
在一个可行的实施方案中，图9为本申请实施例一提供的另一种模型头像创建方法的流程示意图，如图9所示，在执行步骤801中根据样本源图像，得到所述样本源图像的3DMM的第四人脸Mesh和所述样本源图像的人脸姿态系数的步骤时，可以通过以下步骤实现：
步骤901、将所述样本源图像输入到形状重建器中，分别得到所述样本源图像的样本3DMM系数和所述人脸姿态系数，其中，所述样本3DMM系数包括：所述样本源图像的人脸身份系数和所述样本源图像的人脸表情系数，所述人脸姿态系数包括所述样本源图像分别在X轴上的旋转角度、在Y轴上的旋转角度和在Z轴上的旋转角度，以及以所述样本源图像的中心点和三维坐标系的原点重合后，所述第四关键点在所述三维坐标系中的坐标。
步骤902、将所述样本3DMM系数输入到3DMM公式中，得到所述第四人脸Mesh。
具体的，在计算人脸姿态系数时，以样本源图像的中心点为原点构建三维坐标系，然后确定样本源图像中的人脸分别在X轴上的旋转角度、在Y轴上的旋转角度和在Z轴上的旋转角度，通过上述三个旋转角度可以确定人脸的朝向，以及确定样本源图像中的各第四关键点在三维坐标系中的坐标，通过各第四关键点在三维坐标系中的坐标可以确定人脸的位置，通过上述两种信息可以对样本头部三维网格模型进行调节，以使样本头部三维网格模型具有与样本源图像相同的人脸姿态。
关于得到第四人脸Mesh的具体解释可参考上述实施例中第一人脸Mesh的得到方式的详细说明，在此不再详细说明。
在一个可行的实施方案中，图10为本申请实施例一提供的另一种模型头像创建方法的流程示意图，如图10所示，在执行步骤806之前，该方法还包括以下步骤：
步骤1001、计算所述样本源图像中的皮肤部分的第二像素平均值，以将所述第二像素平均值作为第二肤色值。
步骤1002、将所述头部模板纹理贴图的肤色调整为所述第二肤色值对应的肤色。
关于图10中有关肤色调整的详细说明可参考上述实施例中有关肤色调整的原理介绍，在此不再详细说明。
在一个可行的实施方案中，所述目标人脸纹理贴图是通过对所述样本纹理融合贴图中的高光、阴影和杂质进行去除后筛选得到。
具体的，在通过步骤801和步骤806的方式得到样本纹理融合贴图后可以通过图像编辑工具将样本纹理融合贴图中的高光、阴影和杂质进行去除，然后从编辑后的图像中选择遮挡物和头发对图像影响较小的图像作为目标人脸纹理贴图。
在一个可行的实施方案中，在执行步骤813时，可以通过以下方式实现：
通过以下的感知损失函数计算所述感知损失值：
通过以下的逐像素损失函数计算所述逐像素损失值：
通过以下的肤色损失函数计算所述肤色损失值：
通过以下的对抗损失函数计算所述图像对抗损失值和所述纹理对抗损失值：
其中，x表示所述样本源图像，x′表示所述样本二维人脸图像，F(x)表示提取的所述样本源图像的特征向量，F(x′)表示提取的所述样本二维人脸图像的特征向量，Mproj表示三维人脸Mesh在二维图像中能够投影到的区域，Mface表示所述样本源图像的脸部区域，Muv表示所述样本二维人脸图像的皮肤部分，xi表示所述样本二维人脸图像的皮肤部分的各像素的像素值，
表示所述像素值的平均值，当D为纹理判别器时，Ladv(t，t′)表示所述纹理对抗损失函数，此时t表示所述目标人脸纹理贴图，t′表示所述第二优化纹理贴图，当D为图像判别器时，Ladv(t，t′)表示所述图像对抗损失函数，此时t表示所述样本源图像，t′表示所述样本二维人脸图像。
具体的，为了提高生成结果的真实性，引入了图像判别器和纹理判别器，在训练阶段，当D为纹理判别器时，D(t)为将目标人脸纹理贴图作为输入，纹理判别器输出的矢量值，D(t′)为将第二优化纹理贴图作为输入，纹理判别器输出的矢量值，当D为图像判别器时，D(t)为将样本源图像作为输入，图像判别器输出的矢量值，D(t′)为将样本二维人脸图像作为输入，图像判别器输出的矢量值，通过对抗网络来确定第二优化纹理贴图作和目标人脸纹理贴图的相似程度，以及样本二维人脸图像和样本源图像的相似程度，从而得到纹理对抗损失值和图像对抗损失值。
在一个可行的实施方案中，图11为本申请实施例一提供的另一种模型头像创建方法的流程示意图，如图11所示，在执行步骤814时，可以通过以下步骤实现：
步骤1101、分别判断所述感知损失值、所述逐像素损失值和所述肤色损失值是否都小于各自对应的阈值，如果都小于，则得到所述训练好的图像编码器、所述训练好的光照预测器、所述训练好的纹理编码器和所述训练好的纹理解码器，此时训练结束，如果存在至少一个不小于对应的阈值时，则执行步骤1102。
步骤1102、如果存在至少一个不小于对应的阈值时，则根据所述感知损失值、所述逐像素损失值、所述肤色损失值、所述图像对抗损失值和所述纹理对抗损失值之和，分别对所述待训练的图像编码器、所述待训练的光照预测器、所述待训练的纹理编码器、所述待训练的纹理解码器、所述纹理判别器和所述图像判别器进行反向传播训练，并使用训练后的图像编码器、光照预测器、纹理编码器、纹理解码器、纹理判别器和图像判别器得到图像对感知损失值、逐像素损失值、肤色损失值、图像对抗损失值和纹理对抗损失值，直至得到的感知损失值、逐像素损失值和肤色损失值均小于各自对应的阈值为止。
具体的，在得到感知损失值、逐像素损失值和肤色损失值，可以判断感知损失值是否小于第一阈值，逐像素损失值是否小于第二阈值，肤色损失值是否小于第三阈值，当上述三个损失值均小于各自对应的阈值时，表示待训练的图像编码器、待训练的纹理编码器、待训练的光照预测器和待训练的纹理解码器训练完毕，并且可以使用训练好的图像编码器、纹理编码器和纹理解码器将输入的目标源图像的人脸移植到目标头部三维网格模型上，从而使目标头部三维网格模型具有与目标源图像相同的人脸。
当感知损失值不小于第一阈值、逐像素损失值不小于第二阈值和/或肤色损失值不小于第三阈值时，表示待训练的图像编码器、待训练的纹理编码器、待训练的光照预测器和待训练的纹理解码器仍需要继续进行训练，此时需要先计算本次训练得到的感知损失值、逐像素损失值、肤色损失值、图像对抗损失值和纹理对抗损失值之和，然后根据得到的和值对待训练的图像编码器、待训练的光照预测器、待训练的纹理编码器、待训练的纹理解码器、纹理判别器和图像判别器进行反向传播训练，然后使用本次训练得到的图像编码器、光照预测器、纹理编码器、纹理解码器、纹理判别器和图像判别器按照步骤801-步骤813的方式得到感知损失值、逐像素损失值、肤色损失值、图像对抗损失值和纹理对抗损失值，然后再判断新得到的感知损失值、逐像素损失值和肤色损失值知否都小于各自对应的阈值，如果都小于，则可以得到训练好的图像编码器、光照预测器、纹理编码器、纹理解码器，并且可以使用训练好的图像编码器、纹理编码器和纹理解码器将输入的目标源图像的人脸移植到目标头部三维网格模型上，从而使目标头部三维网格模型具有与目标源图像相同的人脸，如果感知损失值、逐像素损失值和肤色损失值中有至少一个不小于其对应的阈值，则继续使用感知损失值、逐像素损失值、肤色损失值、图像对抗损失值和纹理对抗损失值之和对当前的图像编码器、光照预测器、纹理编码器、纹理解码器、纹理判别器和图像判别器进行反向传播训练，然后再使用当前训练得到的图像编码器、光照预测器、纹理编码器、纹理解码器、纹理判别器和图像判别器按照步骤801-步骤813的方式得到感知损失值、逐像素损失值、肤色损失值、图像对抗损失值和纹理对抗损失值，直至得到的感知损失值、逐像素损失值和肤色损失值均小于各自对应的阈值为止，则训练结束。
实施例二
图12为本申请实施例二提供的一种模型头像创建装置的结构示意图，如图12所示，该装置包括：
三维网格模型构建单元1201，用于根据目标源图像，得到所述目标源图像的三维人脸可变形模型3DMM的第一人脸Mesh，其中，所述目标源图像为包括人脸部分的二维图像；以及，用于根据为标准3DMM的第二人脸Mesh设定的第一关键点，确定所述第一人脸Mesh中对应位置上的第二关键点；以及，用于对于每个所述第二关键点，将第三人脸Mesh中与该第二关键点对应的第三关键点移动至该第二关键点在三维坐标系的坐标上，其中，所述第三人脸Mesh为目标头部三维网格模型的3DMM的人脸Mesh，所述第三人脸Mesh的拓扑结构包括多个顶点，所述多个顶点由所述第三关键点和第一非关键点构成；以及，用于根据各所述第三关键点的移动值，对所述目标头部三维网格模型中的所述第一非关键点进行迁移，得到待贴图的头部三维网格模型；
纹理贴图单元1202，用于根据所述第三人脸Mesh，对所述目标源图像中的皮肤部分进行二维贴图展开，得到二维纹理贴图；
加载单元1203，用于将所述二维纹理贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型。
在一个可行的实施方案中，所述三维网格模型构建单元1201用于根据目标源图像，得到所述目标源图像的3DMM的第一人脸Mesh时，包括：
将所述目标源图像输入到形状重建器中，得到所述目标源图像的3DMM系数，其中，所述3DMM系数包括：所述目标源图像的人脸身份系数和所述目标源图像的人脸表情系数；
将所述3DMM系数输入到3DMM公式中，得到所述第一人脸Mesh。
在一个可行的实施方案中，所述三维网格模型构建单元1201用于将所述二维纹理贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型时，包括：
通过泊松融合方法，将所述二维纹理贴图融合到头部模板纹理贴图上，得到纹理融合贴图，其中，所述头部模板纹理贴图为包括耳朵和额头以上部位的头部贴图；
将所述纹理融合贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型。
在一个可行的实施方案中，所述三维网格模型构建单元1201，还用于：
在将所述二维纹理贴图融合到头部模板纹理贴图上之前，计算所述目标源图像中的皮肤部分的第一像素平均值，以将所述第一像素平均值作为第一肤色值；
将所述头部模板纹理贴图的肤色调整为所述第一肤色值对应的肤色。
在一个可行的实施方案中，所述三维网格模型构建单元1201用于将所述纹理融合贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型时，包括：
将所述目标源图像输入到训练好的图像编码器中，得到所述目标源图像的第一图像隐层特征；
将所述纹理融合贴图输入到训练好的纹理编码器中，得到所述纹理融合贴图的第一纹理隐层特征；
对所述第一图像隐层特征和所述第一纹理隐层特征进行向量拼接，得到第一拼接隐层特征；
将所述第一拼接隐层特征输入到训练好的纹理解码器中，得到去除高光、阴影和杂质的第一优化纹理贴图；
将所述第一优化纹理贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型。
在一个可行的实施方案中，所述目标头部三维网格模型包括三维游戏中待创建的虚拟角色的头部三维网格模型。
在一个可行的实施方案中，图13为本申请实施例二提供的另一种模型头像创建装置的结构示意图，如图13所示，所述装置还包括：
训练单元1204，用于根据样本源图像，得到所述样本源图像的3DMM的第四人脸Mesh和所述样本源图像的人脸姿态系数，以及将所述样本源图像输入到待训练的图像编码器中，得到所述样本源图像的第二图像隐层特征，其中，所述样本源图像为包括人脸部分的二维图像；以及，用于根据所述第一关键点，确定所述第四人脸Mesh中对应位置上的第四关键点；以及，用于对于每个所述第四关键点，将第五人脸Mesh中与该第四关键点对应的第五关键点移动至该第四关键点在所述三维坐标系的坐标上，其中，所述第五人脸Mesh为样本头部三维网格模型的3DMM的人脸Mesh，所述第五人脸Mesh的拓扑结构包括多个顶点，所述多个顶点由所述第五关键点和第二非关键点构成；以及，用于根据各所述第五关键点的移动值，对所述样本头部三维网格模型中的所述第二非关键点进行迁移，得到待贴图的样本头部三维网格模型；以及，将所述第二图像隐层特征输入到待训练的光照预测器中，得到所述样本源图像的光照系数；以及，根据所述第五人脸Mesh，在所述头部模板纹理贴图上对所述样本源图像中的皮肤部分进行二维贴图展开，得到样本纹理融合贴图；以及，将所述样本纹理融合贴图输入到待训练的纹理编码器中，得到第二纹理隐层特征；以及，对所述第二图像隐层特征和所述第二纹理隐层特征进行向量拼接，得到第二拼接隐层特征；以及，将所述第二拼接隐层特征输入到待训练的纹理解码器中，得到去除高光、阴影和杂质的第二优化纹理贴图；以及，根据所述人脸姿态系数，对待贴图的样本头部三维网格模型的姿态进行调整；以及，将所述第二优化纹理贴图加载到调整后的待贴图的样本头部三维网格模型上，得到覆盖有人脸贴图的样本头部三维网格模型；以及，通过渲染器，使用所述光照系数对覆盖有人脸贴图的样本头部三维网格模型进行渲染，得到样本二维人脸图像；以及，根据所述样本源图像、所述样本二维人脸图像、所述第二优化纹理贴图和为所述样本源图像设定的目标人脸纹理贴图，计算图像对感知损失值、逐像素损失值、肤色损失值、图像对抗损失值和纹理对抗损失值；以及，根据所述感知损失值、所述逐像素损失值、所述肤色损失值、所述图像对抗损失值和所述纹理对抗损失值，对所述待训练的图像编码器、所述待训练的光照预测器、所述待训练的纹理编码器和所述待训练的纹理解码器进行训练，得到所述训练好的图像编码器、所述训练好的光照预测器、所述训练好的纹理编码器和所述训练好的纹理解码器。
在一个可行的实施方案中，所述训练单元1204在用于根据样本源图像，得到所述样本源图像的3DMM的第四人脸Mesh和所述样本源图像的人脸姿态系数时，包括：
将所述样本源图像输入到形状重建器中，分别得到所述样本源图像的样本3DMM系数和所述人脸姿态系数，其中，所述样本3DMM系数包括：所述样本源图像的人脸身份系数和所述样本源图像的人脸表情系数，所述人脸姿态系数包括所述样本源图像分别在X轴上的旋转角度、在Y轴上的旋转角度和在Z轴上的旋转角度，以及以所述样本源图像的中心点和三维坐标系的原点重合后，所述第四关键点在所述三维坐标系中的坐标；
将所述样本3DMM系数输入到3DMM公式中，得到所述第四人脸Mesh。
在一个可行的实施方案中，所述训练单元1204，还用于：
在根据所述第五人脸Mesh，在所述头部模板纹理贴图上对所述样本源图像中的皮肤部分进行二维贴图展开之前，计算所述样本源图像中的皮肤部分的第二像素平均值，以将所述第二像素平均值作为第二肤色值；
将所述头部模板纹理贴图的肤色调整为所述第二肤色值对应的肤色。
在一个可行的实施方案中，所述目标人脸纹理贴图是通过对所述样本纹理融合贴图中的高光、阴影和杂质进行去除后筛选得到。
在一个可行的实施方案中，所述训练单元1204在用于根据所述样本源图像、所述样本二维人脸图像、所述第二优化纹理贴图和为所述样本源图像设定的目标人脸纹理贴图，计算图像对感知损失值、逐像素损失值、肤色损失值、图像对抗损失值和纹理对抗损失值时，包括：
通过以下的感知损失函数计算所述感知损失值：
通过以下的逐像素损失函数计算所述逐像素损失值：
通过以下的肤色损失函数计算所述肤色损失值：
通过以下的对抗损失函数计算所述图像对抗损失值和所述纹理对抗损失值：
其中，x表示所述样本源图像，x′表示所述样本二维人脸图像，F(x)表示提取的所述样本源图像的特征向量，F(x′)表示提取的所述样本二维人脸图像的特征向量，Mproj表示三维人脸Mesh在二维图像中能够投影到的区域，Mface表示所述样本源图像的脸部区域，Muv表示所述样本二维人脸图像的皮肤部分，xi表示所述样本二维人脸图像的皮肤部分的各像素的像素值，
表示所述像素值的平均值，当D为纹理判别器时，Ladv(t，t′)表示所述纹理对抗损失函数，此时t表示所述目标人脸纹理贴图，t′表示所述第二优化纹理贴图，当D为图像判别器时，Ladv(t，t′)表示所述图像对抗损失函数，此时t表示所述样本源图像，t′表示所述样本二维人脸图像。
在一个可行的实施方案中，所述训练单元1204用于根据所述感知损失值、所述逐像素损失值、所述肤色损失值、所述图像对抗损失值和所述纹理对抗损失值，对所述待训练的图像编码器、所述待训练的光照预测器、所述待训练的纹理编码器和所述待训练的纹理解码器进行训练，得到所述训练好的图像编码器、所述训练好的光照预测器、所述训练好的纹理编码器和所述训练好的纹理解码器时，包括：
分别判断所述感知损失值、所述逐像素损失值和所述肤色损失值是否都小于各自对应的阈值；
如果都小于，则得到所述训练好的图像编码器、所述训练好的光照预测器、所述训练好的纹理编码器和所述训练好的纹理解码器；
如果存在至少一个不小于对应的阈值时，则根据所述感知损失值、所述逐像素损失值、所述肤色损失值、所述图像对抗损失值和所述纹理对抗损失值之和，分别对所述待训练的图像编码器、所述待训练的光照预测器、所述待训练的纹理编码器、所述待训练的纹理解码器、所述纹理判别器和所述图像判别器进行反向传播训练，并使用训练后的图像编码器、光照预测器、纹理编码器、纹理解码器、纹理判别器和图像判别器得到图像对感知损失值、逐像素损失值、肤色损失值、图像对抗损失值和纹理对抗损失值，直至得到的感知损失值、逐像素损失值和肤色损失值均小于各自对应的阈值为止。
关于实施例二的相关解释可参考实施例一的详细说明，在此不再详细说明。
实施例三
图14为本申请实施例三提供的一种电子设备的结构示意图，包括：处理器1401、存储介质1402和总线1403，所述存储介质1402存储有所述处理器1401可执行的机器可读指令，当电子设备运行上述的模型头像创建方法时，所述处理器1401与所述存储介质1402之间通过总线1403通信，所述处理器1401执行所述机器可读指令，以执行实施例一中所述的方法步骤。
实施例四
本申请实施例四还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行实施例一中所述的方法步骤。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (15)
1.一种模型头像创建方法，其特征在于，包括：
根据目标源图像，得到所述目标源图像的三维人脸可变形模型3DMM的第一人脸Mesh，其中，所述目标源图像为包括人脸部分的二维图像；
根据为标准3DMM的第二人脸Mesh设定的第一关键点，确定所述第一人脸Mesh中对应位置上的第二关键点；
对于每个所述第二关键点，将第三人脸Mesh中与该第二关键点对应的第三关键点移动至该第二关键点在三维坐标系的坐标上，其中，所述第三人脸Mesh为目标头部三维网格模型的3DMM的人脸Mesh，所述第三人脸Mesh的拓扑结构包括多个顶点，所述多个顶点由所述第三关键点和第一非关键点构成；
根据各所述第三关键点的移动值，对所述目标头部三维网格模型中的所述第一非关键点进行迁移，得到待贴图的头部三维网格模型；
根据所述第三人脸Mesh，对所述目标源图像中的皮肤部分进行二维贴图展开，得到二维纹理贴图；
将所述二维纹理贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型。
2.如权利要求1所述的方法，其特征在于，所述根据目标源图像，得到所述目标源图像的3DMM的第一人脸Mesh，包括：
将所述目标源图像输入到形状重建器中，得到所述目标源图像的3DMM系数，其中，所述3DMM系数包括：所述目标源图像的人脸身份系数和所述目标源图像的人脸表情系数；
将所述3DMM系数输入到3DMM公式中，得到所述第一人脸Mesh。
3.如权利要求1所述的方法，其特征在于，所述将所述二维纹理贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型，包括：
通过泊松融合方法，将所述二维纹理贴图融合到头部模板纹理贴图上，得到纹理融合贴图，其中，所述头部模板纹理贴图为包括耳朵和额头以上部位的头部贴图；
将所述纹理融合贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型。
4.如权利要求3所述的方法，其特征在于，在将所述二维纹理贴图融合到头部模板纹理贴图上之前，所述方法还包括：
计算所述目标源图像中的皮肤部分的第一像素平均值，以将所述第一像素平均值作为第一肤色值；
将所述头部模板纹理贴图的肤色调整为所述第一肤色值对应的肤色。
5.如权利要求3所述的方法，其特征在于，所述将所述纹理融合贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型，包括：
将所述目标源图像输入到训练好的图像编码器中，得到所述目标源图像的第一图像隐层特征；
将所述纹理融合贴图输入到训练好的纹理编码器中，得到所述纹理融合贴图的第一纹理隐层特征；
对所述第一图像隐层特征和所述第一纹理隐层特征进行向量拼接，得到第一拼接隐层特征；
将所述第一拼接隐层特征输入到训练好的纹理解码器中，得到去除高光、阴影和杂质的第一优化纹理贴图；
将所述第一优化纹理贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型。
6.如权利要求1所述的方法，其特征在于，所述目标头部三维网格模型包括三维游戏中待创建的虚拟角色的头部三维网格模型。
7.如权利要求5所述的方法，其特征在于，所述方法还包括：
根据样本源图像，得到所述样本源图像的3DMM的第四人脸Mesh和所述样本源图像的人脸姿态系数，以及将所述样本源图像输入到待训练的图像编码器中，得到所述样本源图像的第二图像隐层特征，其中，所述样本源图像为包括人脸部分的二维图像；
根据所述第一关键点，确定所述第四人脸Mesh中对应位置上的第四关键点；
对于每个所述第四关键点，将第五人脸Mesh中与该第四关键点对应的第五关键点移动至该第四关键点在所述三维坐标系的坐标上，其中，所述第五人脸Mesh为样本头部三维网格模型的3DMM的人脸Mesh，所述第五人脸Mesh的拓扑结构包括多个顶点，所述多个顶点由所述第五关键点和第二非关键点构成；
根据各所述第五关键点的移动值，对所述样本头部三维网格模型中的所述第二非关键点进行迁移，得到待贴图的样本头部三维网格模型；
将所述第二图像隐层特征输入到待训练的光照预测器中，得到所述样本源图像的光照系数；
根据所述第五人脸Mesh，在所述头部模板纹理贴图上对所述样本源图像中的皮肤部分进行二维贴图展开，得到样本纹理融合贴图；
将所述样本纹理融合贴图输入到待训练的纹理编码器中，得到第二纹理隐层特征；
对所述第二图像隐层特征和所述第二纹理隐层特征进行向量拼接，得到第二拼接隐层特征；
将所述第二拼接隐层特征输入到待训练的纹理解码器中，得到去除高光、阴影和杂质的第二优化纹理贴图；
根据所述人脸姿态系数，对待贴图的样本头部三维网格模型的姿态进行调整；
将所述第二优化纹理贴图加载到调整后的待贴图的样本头部三维网格模型上，得到覆盖有人脸贴图的样本头部三维网格模型；
通过渲染器，使用所述光照系数对覆盖有人脸贴图的样本头部三维网格模型进行渲染，得到样本二维人脸图像；
根据所述样本源图像、所述样本二维人脸图像、所述第二优化纹理贴图和为所述样本源图像设定的目标人脸纹理贴图，计算图像对感知损失值、逐像素损失值、肤色损失值、图像对抗损失值和纹理对抗损失值；
根据所述感知损失值、所述逐像素损失值、所述肤色损失值、所述图像对抗损失值和所述纹理对抗损失值，对所述待训练的图像编码器、所述待训练的光照预测器、所述待训练的纹理编码器和所述待训练的纹理解码器进行训练，得到所述训练好的图像编码器、所述训练好的光照预测器、所述训练好的纹理编码器和所述训练好的纹理解码器。
8.如权利要求7所述的方法，其特征在于，所述根据样本源图像，得到所述样本源图像的3DMM的第四人脸Mesh和所述样本源图像的人脸姿态系数，包括：
将所述样本源图像输入到形状重建器中，分别得到所述样本源图像的样本3DMM系数和所述人脸姿态系数，其中，所述样本3DMM系数包括：所述样本源图像的人脸身份系数和所述样本源图像的人脸表情系数，所述人脸姿态系数包括所述样本源图像分别在X轴上的旋转角度、在Y轴上的旋转角度和在Z轴上的旋转角度，以及以所述样本源图像的中心点和三维坐标系的原点重合后，所述第四关键点在所述三维坐标系中的坐标；
将所述样本3DMM系数输入到3DMM公式中，得到所述第四人脸Mesh。
9.如权利要求7所述的方法，其特征在于，在根据所述第五人脸Mesh，在所述头部模板纹理贴图上对所述样本源图像中的皮肤部分进行二维贴图展开之前，所述方法还包括：
计算所述样本源图像中的皮肤部分的第二像素平均值，以将所述第二像素平均值作为第二肤色值；
将所述头部模板纹理贴图的肤色调整为所述第二肤色值对应的肤色。
10.如权利要求7所述的方法，其特征在于，所述目标人脸纹理贴图是通过对所述样本纹理融合贴图中的高光、阴影和杂质进行去除后筛选得到。
11.如权利要求7所述的方法，其特征在于，所述根据所述样本源图像、所述样本二维人脸图像、所述第二优化纹理贴图和为所述样本源图像设定的目标人脸纹理贴图，计算图像对感知损失值、逐像素损失值、肤色损失值、图像对抗损失值和纹理对抗损失值，包括：
通过以下的感知损失函数计算所述感知损失值：
通过以下的逐像素损失函数计算所述逐像素损失值：
通过以下的肤色损失函数计算所述肤色损失值：
通过以下的对抗损失函数计算所述图像对抗损失值和所述纹理对抗损失值：
其中，x表示所述样本源图像，x′表示所述样本二维人脸图像，F(x)表示提取的所述样本源图像的特征向量，F(x′)表示提取的所述样本二维人脸图像的特征向量，Mproj表示三维人脸Mesh在二维图像中能够投影到的区域，Mface表示所述样本源图像的脸部区域，Muv表示所述样本二维人脸图像的皮肤部分，xi表示所述样本二维人脸图像的皮肤部分的各像素的像素值，
表示所述像素值的平均值，当D为纹理判别器时，Ladv(t，t′)表示所述纹理对抗损失函数，此时t表示所述目标人脸纹理贴图，t′表示所述第二优化纹理贴图，当D为图像判别器时，Ladv(t，t′)表示所述图像对抗损失函数，此时t表示所述样本源图像，t′表示所述样本二维人脸图像。
12.如权利要求11所述的方法，其特征在于，所述根据所述感知损失值、所述逐像素损失值、所述肤色损失值、所述图像对抗损失值和所述纹理对抗损失值，对所述待训练的图像编码器、所述待训练的光照预测器、所述待训练的纹理编码器和所述待训练的纹理解码器进行训练，得到所述训练好的图像编码器、所述训练好的光照预测器、所述训练好的纹理编码器和所述训练好的纹理解码器，包括：
分别判断所述感知损失值、所述逐像素损失值和所述肤色损失值是否都小于各自对应的阈值；
如果都小于，则得到所述训练好的图像编码器、所述训练好的光照预测器、所述训练好的纹理编码器和所述训练好的纹理解码器；
如果存在至少一个不小于对应的阈值时，则根据所述感知损失值、所述逐像素损失值、所述肤色损失值、所述图像对抗损失值和所述纹理对抗损失值之和，分别对所述待训练的图像编码器、所述待训练的光照预测器、所述待训练的纹理编码器、所述待训练的纹理解码器、所述纹理判别器和所述图像判别器进行反向传播训练，并使用训练后的图像编码器、光照预测器、纹理编码器、纹理解码器、纹理判别器和图像判别器得到图像对感知损失值、逐像素损失值、肤色损失值、图像对抗损失值和纹理对抗损失值，直至得到的感知损失值、逐像素损失值和肤色损失值均小于各自对应的阈值为止。
13.一种模型头像创建装置，其特征在于，包括：
三维网格模型构建单元，用于根据目标源图像，得到所述目标源图像的三维人脸可变形模型3DMM的第一人脸Mesh，其中，所述目标源图像为包括人脸部分的二维图像；以及，用于根据为标准3DMM的第二人脸Mesh设定的第一关键点，确定所述第一人脸Mesh中对应位置上的第二关键点；以及，用于对于每个所述第二关键点，将第三人脸Mesh中与该第二关键点对应的第三关键点移动至该第二关键点在三维坐标系的坐标上，其中，所述第三人脸Mesh为目标头部三维网格模型的3DMM的人脸Mesh，所述第三人脸Mesh的拓扑结构包括多个顶点，所述多个顶点由所述第三关键点和第一非关键点构成；以及，用于根据各所述第三关键点的移动值，对所述目标头部三维网格模型中的所述第一非关键点进行迁移，得到待贴图的头部三维网格模型；
纹理贴图单元，用于根据所述第三人脸Mesh，对所述目标源图像中的皮肤部分进行二维贴图展开，得到二维纹理贴图；
加载单元，用于将所述二维纹理贴图加载到所述待贴图的头部三维网格模型上，得到覆盖有人脸贴图的头部三维网格模型。
14.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至12中任一项所述的模型头像创建方法的步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至12中任一项所述的模型头像创建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011606349.1A CN112669447B (zh) | 2020-12-30 | 2020-12-30 | 一种模型头像创建方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011606349.1A CN112669447B (zh) | 2020-12-30 | 2020-12-30 | 一种模型头像创建方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112669447A true CN112669447A (zh) | 2021-04-16 |
| CN112669447B CN112669447B (zh) | 2023-06-30 |
Family
ID=75410737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011606349.1A Active CN112669447B (zh) | 2020-12-30 | 2020-12-30 | 一种模型头像创建方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112669447B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113609960A (zh) * | 2021-08-03 | 2021-11-05 | 北京奇艺世纪科技有限公司 | 一种目标图片的人脸驱动方法及装置 |
| CN113808277A (zh) * | 2021-11-05 | 2021-12-17 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及相关装置 |
| CN114241102A (zh) * | 2021-11-11 | 2022-03-25 | 清华大学 | 基于参数化模型的人脸细节重建和编辑方法及装置 |
| TWI779784B (zh) * | 2021-08-19 | 2022-10-01 | 中華電信股份有限公司 | 特徵解析系統、方法及其電腦可讀媒介 |
| CN115294301A (zh) * | 2022-08-11 | 2022-11-04 | 广州沃佳科技有限公司 | 基于人脸图像的头部模型构建方法、装置、设备及介质 |
| CN115661322A (zh) * | 2022-09-26 | 2023-01-31 | 北京百度网讯科技有限公司 | 人脸纹理图像的生成方法、装置 |
| CN116030201A (zh) * | 2023-03-28 | 2023-04-28 | 美众(天津)科技有限公司 | 多颜色发型演示图像的生成方法、装置、终端及存储介质 |
| CN116109798A (zh) * | 2023-04-04 | 2023-05-12 | 腾讯科技（深圳）有限公司 | 图像数据处理方法、装置、设备及介质 |
| KR102585090B1 (ko) * | 2023-03-02 | 2023-10-06 | 천유진 | 뉴럴 네트워크를 이용하여 웹툰과 연동된 게임을 사용자 단말에게 제공하는 방법 및 장치 |
| CN117115295A (zh) * | 2023-09-28 | 2023-11-24 | 北京数字力场科技有限公司 | 人脸纹理生成方法、电子设备及计算机存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000063919A (ko) * | 2000-08-10 | 2000-11-06 | 김재성 | 3차원 얼굴 모델링 시스템 및 모델링 방법 |
| KR20150107063A (ko) * | 2014-03-13 | 2015-09-23 | 손우람 | 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템 |
| US20170024921A1 (en) * | 2015-07-23 | 2017-01-26 | Disney Enterprises, Inc. | Real-time high-quality facial performance capture |
| CN107146199A (zh) * | 2017-05-02 | 2017-09-08 | 厦门美图之家科技有限公司 | 一种人脸图像的融合方法、装置及计算设备 |
| CN108765351A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN109255831A (zh) * | 2018-09-21 | 2019-01-22 | 南京大学 | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 |
| CN110675489A (zh) * | 2019-09-25 | 2020-01-10 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
| CN111861872A (zh) * | 2020-07-20 | 2020-10-30 | 广州市百果园信息技术有限公司 | 图像换脸方法、视频换脸方法、装置、设备和存储介质 |
| CN111882643A (zh) * | 2020-08-10 | 2020-11-03 | 网易（杭州）网络有限公司 | 三维人脸构建方法、装置和电子设备 |
-
2020
- 2020-12-30 CN CN202011606349.1A patent/CN112669447B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000063919A (ko) * | 2000-08-10 | 2000-11-06 | 김재성 | 3차원 얼굴 모델링 시스템 및 모델링 방법 |
| KR20150107063A (ko) * | 2014-03-13 | 2015-09-23 | 손우람 | 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템 |
| US20170024921A1 (en) * | 2015-07-23 | 2017-01-26 | Disney Enterprises, Inc. | Real-time high-quality facial performance capture |
| CN107146199A (zh) * | 2017-05-02 | 2017-09-08 | 厦门美图之家科技有限公司 | 一种人脸图像的融合方法、装置及计算设备 |
| CN108765351A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN109255831A (zh) * | 2018-09-21 | 2019-01-22 | 南京大学 | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 |
| CN110675489A (zh) * | 2019-09-25 | 2020-01-10 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
| CN111861872A (zh) * | 2020-07-20 | 2020-10-30 | 广州市百果园信息技术有限公司 | 图像换脸方法、视频换脸方法、装置、设备和存储介质 |
| CN111882643A (zh) * | 2020-08-10 | 2020-11-03 | 网易（杭州）网络有限公司 | 三维人脸构建方法、装置和电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| 陆炎;张和东;刘利刚;: "基于深度相机的三维人脸迁移", 中国科学:信息科学, no. 03, pages 20 - 32 * |
| 高翔;黄法秀;刘春平;陈虎;: "3DMM与GAN结合的实时人脸表情迁移方法", 计算机应用与软件, no. 04, pages 125 - 132 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113609960A (zh) * | 2021-08-03 | 2021-11-05 | 北京奇艺世纪科技有限公司 | 一种目标图片的人脸驱动方法及装置 |
| TWI779784B (zh) * | 2021-08-19 | 2022-10-01 | 中華電信股份有限公司 | 特徵解析系統、方法及其電腦可讀媒介 |
| CN113808277B (zh) * | 2021-11-05 | 2023-07-18 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及相关装置 |
| CN113808277A (zh) * | 2021-11-05 | 2021-12-17 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及相关装置 |
| CN114241102A (zh) * | 2021-11-11 | 2022-03-25 | 清华大学 | 基于参数化模型的人脸细节重建和编辑方法及装置 |
| CN114241102B (zh) * | 2021-11-11 | 2024-04-19 | 清华大学 | 基于参数化模型的人脸细节重建和编辑方法 |
| CN115294301A (zh) * | 2022-08-11 | 2022-11-04 | 广州沃佳科技有限公司 | 基于人脸图像的头部模型构建方法、装置、设备及介质 |
| CN115661322A (zh) * | 2022-09-26 | 2023-01-31 | 北京百度网讯科技有限公司 | 人脸纹理图像的生成方法、装置 |
| CN115661322B (zh) * | 2022-09-26 | 2023-09-22 | 北京百度网讯科技有限公司 | 人脸纹理图像的生成方法、装置 |
| KR102585090B1 (ko) * | 2023-03-02 | 2023-10-06 | 천유진 | 뉴럴 네트워크를 이용하여 웹툰과 연동된 게임을 사용자 단말에게 제공하는 방법 및 장치 |
| CN116030201A (zh) * | 2023-03-28 | 2023-04-28 | 美众(天津)科技有限公司 | 多颜色发型演示图像的生成方法、装置、终端及存储介质 |
| CN116109798A (zh) * | 2023-04-04 | 2023-05-12 | 腾讯科技（深圳）有限公司 | 图像数据处理方法、装置、设备及介质 |
| CN116109798B (zh) * | 2023-04-04 | 2023-06-09 | 腾讯科技（深圳）有限公司 | 图像数据处理方法、装置、设备及介质 |
| CN117115295A (zh) * | 2023-09-28 | 2023-11-24 | 北京数字力场科技有限公司 | 人脸纹理生成方法、电子设备及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112669447B (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112669447A (zh) | 一种模型头像创建方法、装置、电子设备和存储介质 | |
| US11423556B2 (en) | Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional | |
| CN110807836B (zh) | 三维人脸模型的生成方法、装置、设备及介质 | |
| CN101055647B (zh) | 用于处理图像的方法、装置 | |
| KR101514327B1 (ko) | 얼굴 아바타 생성 장치 및 방법 | |
| US20200082595A1 (en) | Image processing apparatus, image processing system, and image processing method as well as program | |
| CN113628327B (zh) | 一种头部三维重建方法及设备 | |
| JP2000113217A (ja) | 顔イメ―ジから開始して３ｄ顔モデルを作る方法 | |
| CN111008927B (zh) | 一种人脸替换方法、存储介质及终端设备 | |
| JP2024500896A (ja) | ３ｄ頭部変形モデルを生成するための方法、システム及び方法 | |
| JP7462120B2 (ja) | ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム | |
| CN116997933A (zh) | 用于构造面部位置图的方法和系统 | |
| CN112257657A (zh) | 脸部图像融合方法及装置、存储介质、电子设备 | |
| KR101165017B1 (ko) | ３차원 아바타 생성 시스템 및 방법 | |
| KR20230110787A (ko) | 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들 | |
| US20220237751A1 (en) | Techniques for enhancing skin renders using neural network projection for rendering completion | |
| KR20060108271A (ko) | 디지털 패션 디자인용 실사 기반 가상 드레이핑 시뮬레이션방법 | |
| CN113870404B (zh) | 一种3d模型的皮肤渲染方法及显示设备 | |
| KR20010084996A (ko) | 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기 | |
| CN115082640A (zh) | 基于单张图像的3d人脸模型纹理重建方法及设备 | |
| CN110853147A (zh) | 一种三维人脸变换的方法 | |
| Harvey et al. | Transcending dimensions: 3D to 2D and 2D to 3D | |
| CN117726725A (zh) | 一种3d宠物角色生成控制方法及相关设备 | |
| CN117078827A (zh) | 一种纹理贴图的生成方法、装置及设备 | |
| Högström | Selfie to Avatar-Creating a 3D Model of a Face from Front and Side View Photos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |