CN113538682B - 模型训练、头部重建方法、电子设备及存储介质 - Google Patents

Abstract

本发明实施例涉及图像处理领域，公开了一种模型训练、头部重建方法、电子设备及存储介质，其中模型训练方法包括：获取待重建头部模型的先验信息，所述先验信息至少包括：人脸区域先验、头部语义先验和头发区域先验中的至少一种信息；训练隐式神经渲染网络估计所述头部模型的头部几何形状，并基于移动立方体算法对所述头部几何形状进行可微渲染，得到所述头部模型；其中，训练所述隐式神经渲染网络时的损失函数基于人脸区域损失、头部语义损失、头发区域损失和光度一致性损失中的至少一种信息构成。该训练方法能够有效提高重建的头部模型的鲁棒性和精度。

Description

模型训练、头部重建方法、电子设备及存储介质

技术领域

本发明涉及图像处理领域，特别涉及一种模型训练、头部重建方法、电子设备及存储介质。

背景技术

在计算机视觉和图形学中，恢复包括完整的面部和头发区域的三维头部模型仍然是一个具有挑战性的问题。能够在少量照片、没有专业设备的情况下恢复出纹理清晰且模型尺寸准确的人头三维模型，难度非常大。

目前，业内普遍采用的多角度立体视觉(Multi-View Stereo，MVS)方法，无论是基于优化策略还是基于深度学习技术，都存在着头部结构不清晰、头发区域不准确等低频几何结构问题。

发明内容

本发明实施方式的目的在于提供一种模型训练、头部重建方法、电子设备及存储介质，能够有效提高重建的头部模型的鲁棒性和精度。

为解决上述技术问题，本发明的实施方式提供了一种模型训练方法，包括：

获取待重建头部模型的先验信息，所述先验信息至少包括：人脸区域先验、头部语义先验和头发区域先验中的至少一种信息；

训练隐式神经渲染网络估计所述头部模型的头部几何形状，并基于移动立方体算法对所述头部几何形状进行可微渲染，得到所述头部模型；

其中，训练所述隐式神经渲染网络时的损失函数基于人脸区域损失、头部语义损失、头发区域损失和光度一致性损失中的至少一种信息构成。

本发明的实施方式还提供了一种头部重建方法，包括：采用如上所述的模型训练方法训练形成的头部模型，对输入的同一头部的多视图图像进行处理，得到所述头部的三维模型。

本发明的实施方式还提供了一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的模型训练方法，或者所述的头部重建方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的模型训练方法，或者所述的头部重建方法。

本发明实施方式相对于现有技术而言，通过将隐式可微渲染网络与头部先验相结合，从多张多视图图像中重建出一个高保真度的头部模型。为了实现来自稀疏输入的密集重建和减轻噪声，本方案中的神经网络结构，利用人脸区域先验、头部语义先验、头发区域先验以及光度一致性作为约束，以提高重建头部模型的鲁棒性和精度。

附图说明

图1是根据本发明实施方式的模型训练方法的具体流程图；

图2是根据本发明实施方式的人脸区域先验信息的获取方法的具体流程图；

图3是根据本发明实施方式的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的一实施方式涉及一种模型训练方法，如图1所示，本实施例提供的模型训练方法，包括如下步骤。

步骤101：获取待重建头部模型的先验信息，所述先验信息至少包括：人脸区域先验、头部语义先验和头发区域先验中的至少一种信息。

由于隐式表示的灵活性和可微渲染的真实性，使得二者相结合能够有效地重建一个场景。但是，这些方法在人的头部重建场景中效果不佳。第一个原因是，由于头发区域的纹理相对简单和高度复杂的结构，几何重建要困难得多。其次，由于图像输入相对较少，光照条件不同，重建结果往往包含较大的噪声。

为此，本实施例引入了多种头部建模的先验信息，这些先验信息可在后续训练隐式神经渲染网络中作为损失项对模型进行约束。该先验信息至少包括：人脸区域先验、头部语义先验和头发区域先验中的至少一种信息。

以下将对各先验信息的获取过程分别进行阐述。

1.人脸区域先验信息。

如图2所示，获取人脸区域先验信息的方法包括如下步骤。

步骤201：采用三维可变形模型，生成参数化的模板，模板包括用于描述人脸的几何模型和光照模型。

具体地，采用三维可变形模型(3DMM)，生成一个参数化的模板作为先验知识，该模板包括几何模型(G)和光照模型(A)。其表达方式如下：

其中：

为均值几何模型和均值光照模型、B_id、B_exp、B_alb为对应的主成分分析(Principal Component Analysis，PCA)基，分别为：身份基、表情基、光照基。α_id、α_exp、α_alb为对应的待求解参数，分别为：身份系数、表情系数、光照系数。

步骤202：构建相机模型。

具体地，采用标准透视投影将三维空间中的一个点投影到图像平面上，可以描述为：

q＝n(RV+t)…………………………(3)

其中：V是空间的三维点集；q是三维点集V在相机坐标系下的投影点；n为投影矩阵；R为旋转矩阵；t为平移矩阵；R、t为对应的待求解参数。

步骤203：基于给定的多视图图像，采用光度一致性逆渲染方法，对几何模型、光照模型以及相机模型中的训练参数进行评估，得到评估结果对应的几何模型、光照模型以及相机模型作为人脸区域先验信息。

其中，本实施例中使用球谐波模型作为光照模型。

具体地，利用上述3DMM模型生成的几何模型，以及相机模型，给定N个多视图图像(同一头部)作为输入，采用基于优化的MVS光度一致性逆渲染方法来估计3个3DMM模型参数(α_id、α_exp、α_alb)、球谐波系数(γ)和相机模型参数(R_j,t_j)。其中球谐波模型如下：

I(n_i,a_i|γ)＝a_i·(γ*φ(n_i))…………………………(4)

其中：I表示预测的光度信息，n_i是当前视图所对应的几何模型中的点的法向；a_i是颜色空间中的点的反照率，对应前述光照模型中的A；φ(n_i)是基于顶点法向计算出来的球谐波函数，γ球谐波系数，用于模拟全局光照。

即，本步骤中，在进行训练参数评估时，可通过如下步骤实现。

步骤1，构建光度预测模型，并将光度预测模型的待训练参数加入到待评估的训练参数中。

其中，上述式(4)为光度预测模型，该光度预测模型中的待训练参数为球谐波系数(γ)，将该球谐波系数(γ)与模型参数(α_id、α_exp、α_alb)和相机模型参数(R_j,t_j)一同作为待评估的训练参数。

步骤2，针对待评估的训练参数构建优化方程，优化方程中包括光度一致性项、关键点项和正则化项。

具体地，基于待求解参数

构建优化方程：

其中，

为权重系数；E_photo是光度一致性项，E_land是关键点项，E_reg是正则化项。具体如下。

其中，M^j表示当前视图j下的人脸区域覆盖的所有像素。

和I^j分别表示实际的光度信息和预测的光度信息。其中F表示矩阵的F范数。

其中，

和V_i分别表示当前视图上的关键点和重建的几何模型的关键点；R^j、t^j分别是第j张视图的旋转矩阵和平移矩阵。其中下角标2表示矩阵的L2范数。

E_reg为正则项，此处略。

步骤3，将给定的多视图图像输入到待评估的训练参数所在各模型中，基于优化方程对训练参数进行评估。

经过上面步骤完成了人脸部分的重建，输出了人脸区域先验模型。

2.头部语义先验信息。

具体地，采用预设的人脸解析模型对给定的多视图图像中的人头进行二维语义分割，得到头部语义分割信息作为头部语义先验信息。

具体地，从多视图的肖像图像中提取了头部的语义分割信息，包括头发、面部、眼睛、眉毛、鼻子和嘴唇等信息。

3.头发区域先验信息。

对头部语义分割信息中的头发面罩，采用定向滤波器检测像素方向信息；将像素方向信息上的三维曲面的弯曲方向作为头发区域先验信息。

具体地，首先，对于上一步二维语义分割出来的头发面罩，采用一系列定向滤波器来检测其像素方向信息，其中滤波器核被设计用来检测头发的角度的方向。然后，以像素方向信息作为给定点，在给定点上的三维曲面的弯曲度可以用主曲率来描述，而弯曲方向可以用相应的主方向来描述。给定一个点

其法向量n可以通过计算方法。

其中：

表示预测出来的头发区域的模型对应的曲面。β为训练出来的表示模型形状的参数。

以上分别得到了待重建头部模型的三种先验信息：人脸区域先验、头部语义先验和头发区域先验信息。

步骤102：训练隐式神经渲染网络估计所述头部模型的头部几何形状，并基于移动立方体算法对所述头部几何形状进行可微渲染，得到所述头部模型。

其中，训练所述隐式神经渲染网络时的损失函数基于人脸区域损失、头部语义损失、头发区域损失和光度一致性损失中的至少一种信息构成。

具体地，本步骤中可通过构建多层感知器(Multilayer Perceptron，MLP)来隐式表达头部几何形成，以预测正则空间中点的符号距离(SDF)。然后对预测的符号距离场进行移动立方体(marchingcube)算法计算，实现对头部几何形状进行可微渲染，得到头部模型。

本步骤可包括如下步骤过程。

步骤1，构建第一多层感知器隐式表达头部模型的头部几何形状，预测正则空间中点的符号距离，得到第一多层感知器的第一训练参数。

具体地，通过构建一个多层感知器(第一多层感知器)，记录为函数f，隐式地表达头部几何形状，以预测正则空间中点的符号距离(SDF)。在此表示下，头部几何形状表示为神经网络的函数f：

其中：

表示符号距离场SDF生成的预测模型对应的曲面，x表示符号距离场(SDF)，β为待训练参数，即理解为头部几何形状表示参数。

步骤2，构建第二多层感知器隐式表达头部几何形状上的点的光度值，预测正则空间中点的符号距离，得到第二多层感知器的第二训练参数。

具体地，为了实现头部几何形状的可微渲染，本实施例使用另一个具有可训练参数ζ的多层感知器(第二多层感知器)以预测头部几何图形上的点的光照信息。用函数g表示。参数ζ理解为一组低维度的光照表示参数，具体如下公式：

其中：p表示视图上的一个像素点；v_p表示观察方向，即：在相机视角下该像素点的观察点到真实点的射线方向；

表示该射线在SDF场中与上述曲面

的第一个交点；

表示该像素点对应的法线方向。

其中，上述第一训练参数和第二训练参数为上述隐式神经渲染网络的训练参数。

本实施例中，训练隐式神经渲染网络时的损失函数基于人脸区域损失、头部语义损失、头发区域损失和光度一致性损失中的至少一种信息构成。以下将分别对个损失项进行说明。

1.人脸区域损失。

在通过前述步骤获得人脸区域先验信息后，可设置一个面部前验项，用于约束生成的模型与人脸先验模型之间的误差，如下：

其中，V_i为当前视角下人脸区域先验上点的集合。f(x|β)为当前视角下预测的人脸模型。

2.头部语义损失。

采用头部语义分割图(分割图简称“mask”)，通过约束重建三维模型投影到二维图片上的轮廓与真实头部各语义二维输入mask的轮廓，提高头部各语义信息重建精度。例如：脸部、鼻子、嘴巴、眼睛等。其中二维输出的mask轮廓可参考上述步骤中有关头部语义先验信息的获取过程。

其中，α为一常数系数，

为语义分割图中的一个像素，O_p表示二维图像上的头部语义对应的点，S_p表示三维模型对应语义信息重投影后在二维图像上的点，CE表示交叉熵损失Loss。

3.头发区域损失。

参考上述步骤中有关头发区域先验信息的获取过程，得到的头发方向信息，估计检测到的头发方向和三维方向投影的头发方向的接近程度。

其中，

为头发分割图，

为头发分割图中的一个像素，d_p和

分别表示头发区域先验中检测的头发方向和三维模型重投影后的头发方向。

4.光度一致性损失。

对于自监督信号的生成，采用光度一致性项，用等式惩罚输入图像和渲染图像之间的偏差。

其中，

为语义分割图中的一个像素，I_in(p)和

分别表示输入图片的光度值和渲染图像的光度值。β，ζ为待训练参数。

通过以上步骤我们可以优化出一个通过β，ζ表示的头部三维模型，将该参数作用于隐式表示网络即可生成一个精度满足要求的三维的头部模型。

与相关技术相比，本实施例通过将隐式可微渲染网络与头部先验相结合，从多张多视图图像中重建出一个高保真度的头部模型。为了实现来自稀疏输入的密集重建和减轻噪声，本方案中的神经网络结构，利用人脸区域先验、头部语义先验、头发区域先验以及光度一致性作为约束，以提高重建头部模型的鲁棒性和精度。

本方案采用预先引导的隐式神经网络结构，能够从较少的多视点的头像视图中重建一个高质量的三维头部模型。

本方案引入了三种不同的头部先验，以提高重建的精度和鲁棒性。人脸区域先验为隐式空间提供了人脸区域的初始几何信息。头部语义先验有助于保持头部的几何结构，而头发区域先验提高了头发区域的几何精度。

本方案采用一种基于曲率的方法直接从隐式神经表示直接计算三维方向场，从而利用二维头发方向的指导。

本发明的另一实施方式涉及一种头部重建方法，包括：采用上述模型训练方法训练形成的头部模型，对输入的同一头部的多视图图像进行处理，得到头部的三维模型。

本发明的另一实施方式涉及一种电子设备，如图3所示，包括至少一个处理器302；以及，与至少一个处理器302通信连接的存储器；其中，存储器301存储有可被至少一个处理器302执行的指令，指令被至少一个处理器302执行，以使至少一个处理器302能够执行上述任一方法实施例。

其中，存储器301和处理器302采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器302和存储器301的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器302处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器302。

处理器302负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器301可以被用于存储处理器302在执行操作时所使用的数据。

本发明的另一实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (12)

1.一种模型训练方法，其特征在于，包括：

获取待重建头部模型的先验信息，所述先验信息至少包括：人脸区域先验、头部语义先验和头发区域先验中的至少一种信息；

训练隐式神经渲染网络估计所述头部模型的头部几何形状，并基于移动立方体算法对所述头部几何形状进行可微渲染，得到所述头部模型；

其中，训练所述隐式神经渲染网络时的损失函数基于人脸区域损失、头部语义损失、头发区域损失和光度一致性损失中的至少一种信息构成；

所述训练隐式神经渲染网络估计所述头部模型的头部几何形状，并基于移动立方体算法对所述头部几何形状进行可微渲染，重建出所述头部模型，包括：

构建第一多层感知器隐式表达所述头部模型的头部几何形状，预测正则空间中点的符号距离，得到所述第一多层感知器的第一训练参数；

构建第二多层感知器隐式表达所述头部几何形状上的点的光度值，预测正则空间中点的符号距离，得到所述第二多层感知器的第二训练参数；

其中，所述第一训练参数和所述第二训练参数为所述隐式神经渲染网络的训练参数。

2.根据权利要求1所述的方法，其特征在于，获取人脸区域先验信息包括：

采用三维可变形模型，生成参数化的模板，所述模板包括用于描述人脸的几何模型和光照模型；

构建相机模型；

基于给定的多视图图像，采用光度一致性逆渲染方法，对所述几何模型、所述光照模型以及所述相机模型中的训练参数进行评估，得到评估结果对应的所述几何模型、光照模型以及相机模型作为所述人脸区域先验信息。

3.根据权利要求2所述的方法，其特征在于，所述基于给定的多视图图像，采用光度一致性逆渲染方法，对所述几何模型、所述光照模型以及所述相机模型中的训练参数进行评估包括：

构建光度预测模型，并将所述光度预测模型的待训练参数加入到待评估的训练参数中；

针对所述待评估的训练参数构建优化方程，所述优化方程中包括光度一致性项、关键点项和正则化项；

将所述给定的多视图图像输入到所述待评估的训练参数所在各模型中，基于所述优化方程对所述训练参数进行评估。

4.根据权利要求1所述的方法，其特征在于，获取头部语义先验信息包括：

采用预设的人脸解析模型对给定的多视图图像中的人头进行二维语义分割，得到头部语义分割信息作为头部语义先验信息。

5.根据权利要求4所述的方法，其特征在于，获取头发区域先验信息包括：

对所述头部语义分割信息中的头发面罩，采用定向滤波器检测像素方向信息；

将所述像素方向信息上的三维曲面的弯曲方向作为头发区域先验信息。

6.根据权利要求1所述的方法，其特征在于，所述人脸区域损失通过如下公式计算：

其中，V_i为当前视角下人脸区域先验上点的集合，f(x|β)为当前视角下预测的人脸模型。

7.根据权利要求1所述的方法，其特征在于，所述头部语义损失通过如下公式计算：

其中，α为一常数系数，

为语义分割图中的一个像素，O_p表示二维图像上的头部语义对应的点，S_p表示三维模型对应语义信息重投影后在二维图像上的点，CE表示交叉熵。

8.根据权利要求1所述的方法，其特征在于，所述头发区域损失通过如下公式计算：

其中，

为头发分割图，

为头发分割图中的一个像素，d_p和

分别表示头发区域先验中检测的头发方向和三维模型重投影后的头发方向。

9.根据权利要求1所述的方法，其特征在于，所述光度一致性损失通过如下公式计算：

其中，

为语义分割图中的一个像素，I_in(p)和

分别表示输入图片的光度值和渲染图像的光度值；β,ζ为待训练参数。

10.一种头部重建方法，其特征在于，包括：

采用权利要求1-9中任一项所述的模型训练方法训练形成的头部模型，对输入的同一头部的多视图图像进行处理，得到所述头部的三维模型。

11.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至9中任一项所述的模型训练方法，或者如权利要求10中所述的头部重建方法。

12.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的模型训练方法，或者如权利要求10中所述的头部重建方法。

Images