CN115797567B - 一种衣物三维驱动模型的建立方法、装置、设备及介质 - Google Patents

Abstract

本发明涉及一种衣物三维驱动模型的建立方法、装置、设备及介质，该方法包括：针对单个采集对象，构建人体的衣物数据集；采用衣物数据集，优化给定的衣物模版生成模型；采用物理参数训练中优化后的给定的衣物模版生成模型并给定衣物三维模型预测网络；采用二阶梯度优化方法优化所述物理参数；重复步骤，得到最终的物理参数和最终的衣物三维模型预测网络；将不同姿态的数据集加入最终的物理参数和最终的衣物三维模型预测网络，得到最终预测网络；给定不同动态姿态序列训练所述最终预测网络，生成衣物三维驱动模型。本发明通过优化三维数据集中的人体衣物物理参数，使得重建结果在物理特性上符合三维采集数据。

Description

一种衣物三维驱动模型的建立方法、装置、设备及介质

技术领域

本发明属于计算机视觉技术领域，具体涉及一种衣物三维驱动模型的建立方法、装置、设备及介质。

背景技术

三维重建是计算机视觉中非常重要的领域，具有广泛的研究和产学结合前景。三维重建方面的成果在数字人领域已经有了非常多的应用。而关于人体三维服装物理参数优化和重建领域，由于很难在现有的虚拟三维框架中引入现实精细布料物理测量，因此是人体三维重建领域的一个较难的课题。现有的人体衣物三维技术大部分手动固定物理参数，或是不引入物理仿真模块直接进行三维预测，没有将物理参数优化和衣物三维重建进行较好的结合。因此，现有衣物三维驱动训练框架只能对虚拟生成的衣物模版进行固定虚拟物理参数下的仿真，或是只能用神经网络拟合现有采集数据，无法恢复现实数据的物理特性，从而构建基于现实采集数据的高真实感物理驱动模型。

发明内容

为了克服现有技术存在的问题，本发明提供一种衣物三维驱动模型的建立方法、装置、设备及介质，用于克服目前存在的缺陷。

一种衣物三维驱动模型的建立方法，包括以下步骤：

步骤S1、针对单个采集对象，构建人体的包括不同姿态的数据集和衣物数据集；

步骤S2、采用S1中所述衣物数据集，优化给定的衣物模版生成模型；

步骤S3、采用物理参数训练S2中优化后的给定的衣物模版生成模型并给定衣物三维模型预测网络；

步骤S4、采用二阶梯度优化方法优化所述物理参数；

步骤S5、重复S3、S4步骤，得到最终的物理参数和最终的衣物三维模型预测网络；

步骤S6、将步骤S1中不同姿态的数据集加入最终的物理参数和最终的衣物三维模型预测网络，得到最终预测网络；

步骤S7、给定不同动态姿态序列训练所述最终预测网络，生成衣物三维驱动模型。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S1具体包括：通过同步采集的多台RGB相机，对人体的不同姿态进行采集，并采集不同姿态下的所着衣物，形成姿态数据集和衣物数据集。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S2包括通过图形学渲染掩膜的方式，通过均匀采样在给定的衣物模版生成模型的衣物模版参数γ所在的空间中采样300组参数γ₁，γ₂，..·，-γ₃₀₀，并通过S1的人体姿态数据集包括的标准姿态β_T，生成对应的衣物三维模版G(γ₁，β_T)，G(γ₂，β_T ^),..，G(γ₃₀₀，β_T)，其中G是给定的衣物模版生成模型，

对G(γ₁，β_T)，G(^γ ₂，β_T)，...，G(γ₃₀₀，β_T)进行图形学渲染得到渲染掩膜^M(γ₁)，M(γ₂)，...，M(γ₃₀₀)，对于所述标准姿态β_T进行二维分割得到真实掩膜M_T，并通过下式γ_i＝argmin_i(IOU(M(γ_i)，M_T))得到γ_i，从而得到衣物三维模版G(γ_i，β_T)，其中IOU⁽M(γ_i)^，M_T ⁾是对应某_一渲染掩膜M(γi)与真实掩膜M_T的I0U匹配度量，i＝1，2，...300，argmin()为最小值函数。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式_，s3包括_：给定物理参数(p_stvk，p_bend)训练所述衣物三维模版G(γ_i，β_T)，p_stk和p_bend分别表示人体所着衣物在拉伸和弯曲情况下的局部变形程度_；给定姿态β下的三维衣物预测网络为Net_anim。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S4包括：构建关于p_stvk和p_bend的损失函数E_anim(p_stvk，p_bend)并设定三维衣物预测网络的初始最优解为求取损失函数关于所述最优解的一阶梯度为：

由一阶梯度构建物理参数优化损失函数为

E_param＝^||g₁₁ ^||2，β为s1的人体姿态数据集中的某_一姿态_。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S5包括重复S3、S4步骤，其中重复S3步骤时固定物理参数，(p_stv'k，p_bend)，重复s4步骤时固定衣物_三维模型预测网络Net_anim的网络权重_，重复迭代优化物理参数(p_stvk，p_bend)和模型预测网络Net_anim，直到物理参数优化收敛，得到优化后的物理参数和衣物三维模型预测网络/>其中N为迭代次数。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S7包括：对步骤S6中训练获得的最终预测网络给定不同动态姿态序列(α₁，α₂,---，α_t)，t为正整数，生成相应的衣物三维驱动模型/>

本发明还提供了一种衣物三维驱动模型的建立装置，所述装置包括：采集模块，用于针对单个采集对象，构建人体的包括不同姿态的数据集和衣物数据集；

第一优化模块，采用所述衣物数据集，优化给定的衣物模版生成模型；

训练给定模块，采用物理参数训练优化后的给定的衣物模版生成模型并给定衣物三维模型预测网络；

第二优化模块，采用二阶梯度优化方法优化所述物理参数；

重复模块，重复训练给定模块和第二优化模块的操作，得到最终的物理参数和最终的衣物三维模型预测网络；

第一生成模块，用于将不同姿态的数据集加入最终的物理参数和最终的衣物三维模型预测网络，得到最终预测网络；

第二生成模块，用于给定不同动态姿态序列训练所述最终预测网络，生成衣物三维驱动模型。

本发明还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现本发明所述的方法。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现本发明所述的方法。

本发明的有益效果

与现有技术相比，本发明有如下有益效果：

本发明解决了从现实衣物采集数据中获取衣物物理参数，以对所采集衣物进行物理高真实感动态驱动的技术。该方法生成的高真实感物理驱动模型能够满足对采集对象的拟真三维数字人建模需求，使得三维驱动和建模结果与现实采集数据尽可能物理特性和三维特性一致。

附图说明

图1为本发明的方法流程示意图。

具体实施方式

为了更好的理解本发明的技术方案，本发明内容包括但不限于下文中的具体实施方式，相似的技术和方法都应该视为本发明保护的范畴之内。为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

应当明确，本发明所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，本发明提供了一种衣物三维驱动模型的建立方法，包括以下步骤：

步骤S1、针对单个采集对象，构建人体的包括不同姿态的数据集和衣物数据集；

步骤S2、采用S1中所述衣物数据集，优化给定的衣物模版生成模型；

步骤S3、采用物理参数训练S2中优化后的给定的衣物模版生成模型并给定衣物三维模型预测网络；

步骤S4、采用二阶梯度优化方法优化所述物理参数；

步骤S5、重复S3、S4步骤，得到最终的物理参数和最终的衣物三维模型预测网络；

步骤S6、将步骤S1中不同姿态的数据集加入最终的物理参数和最终的衣物三维模型预测网络，得到最终预测网络；

步骤S7、给定不同动态姿态序列训练所述最终预测网络，生成衣物三维驱动模型。

本发明基于二阶梯度网络优化实现衣物物理参数优化，结合衣物三维模型预测网络实现给定数据集输入的衣物三维驱动模型的真实感驱动和重建。具体步骤如下：

步骤S1、针对单个采集对象，通过多个高精度RGB相机进行人体不同姿态下穿着的衣物数据的采集和关于该采集结果的整体三维三角面片重建模型，其中三维重建方法采用现有的多视角立体匹配方法，并通过给定人体模版T(β)进行姿态拟合，输出是_一个三维模型，其中β为输入的_一系列任意人体姿态信息_，拟合能量函数E_pose如下：

其中v为人体模版T(β)的三维顶点_，scan为三维三角面片重建模型结果的三维重建结果，V_nnn(scan)为该采集结果中距离v最近的顶点_。该能量函数E_pose用于优化输入的系列任意人体姿态信息β，目的是通过该拟合优化求解使得得到的姿态β与三维三角面片重建模型结果尽可能_一致，就是用E-pose优化求解得到包括β的人体姿态数据集.

通过三维模型重建和姿态拟合，从而构建不同姿态下高精度三维数据集，数据集信息包括人体姿态和对应的人体衣物，即数据集包括人体姿态数据集和衣物数据集。

步骤S2、采用S1中的衣物数据集来优化给定的衣物模版生成模型及衣物模版参数γ，方法是通过均匀采样在参数γ所在的空间中采样300组参数γ₁ ^，γ₂ ^，...，γ₃₀₀ ^，并通过S1的人体姿态数据集中包括的标准姿态β_T，生成对应的衣物三维模版G(γ1，β_T)^，G(γ₂，β_T)，...，G(γ_300，β_T)，其中G是给定的衣物模版生成模型，γ为该给定的衣物模版生成模型中的衣物模版参数。

对上述每个采样参数对应的衣物三维模版，即^G(γ₁，β_T ^)，G(γ₂，β_T)_,..，G(γ_300，β_T)，通过图形学渲染方法_，渲染掩膜M(γ₁),M(γ₂)，...，M(γ₃₀₀)。对于S1的人体姿态数据集包括的标准姿态β_T，通过现有的二维分割方法得到数据真实掩膜M_T。并通过掩膜I 0U匹配方法，获得最接近的掩膜：

γ_i＝argmi_ni(IOU(M(γ_i)，M_T))

其中IOU(M(γ_i)，M_T)是对应某_一渲染掩膜与真实掩膜M_T的IOU匹配度量。从而确定衣物模版_参数γ＝γ_i，其中i为使得IOU(M(γ_i)，M_T)值最小的对应的i，i＝1，2，...300，argminn(()为最小值函数_，得到Y_i后，从而得到衣物三维模版G(γ_i，β_T)。该方法可以让衣物的模版参数对应的衣物三维模版与S1中采集数据中的衣物数据尽可能一致。

步骤S3_、基于初始物理参数(p_stk，p_bend)，其中p_stvk是St.Venant-Kirchhoff物理模型的参数，p_bend是该物理模型局部弯曲度的衡量参数，通过物理约束和数据集三维约束，训练S2中优化得到的衣物三维模版G(γ_i，β_T)，给定S1中人体姿态下基于门控循环单元神经网络的衣物三维模型预测网络Net_anim，即该三维模型预测网络Net_animm由_一个现有的标准的全连接网络和门控循环单元神经网络连接构成。其中，物理约束包括有限元StVK参数p_stvk和弯曲参数p_bend，这两个参数分别用来描述衣物在拉伸和弯曲情况下的局部变形程度，通过St.Venant-Kirchhoff物理模型构建的能量描述公式E_phy's(p_stvk，p_bennd)作为物理损失函数_，从而使得训练得到的衣物三维模型预测网络结果在动态驱动下更符合物理特性。

同时，基于S1中采集和重建得到的数据集输入，构建数据集三维约束损失函数：

E_3d＝chamfer(scan_β，Net_anim(β))

其中scan_β为步骤s1中优化求解得到人体姿态数据集中的β对应的三维模型scan_β，Net_anim(β)是步骤S1中优化求解得到人体姿态数据集中的β下的三维衣物预测网络Net_anim的输出结果_，cHam^fer为三维模型与三维衣物预测网络Net_anim的输出结果之间的倒角距离_。

通过损失函数E_anim＝E_phys(p_stvk，pb_endd)+E_3d，优化三维衣物预测网络Net_animm，实现衣物驱动网络的生成。该方法能够帮助获取初始的符合一定物理特性、又符合观测的网络生成结果。

步骤S4、固定步骤S3中衣物三维模型预测网络的网络权重，利用网络的二阶梯度优化方法，在S1优化求解得到人体姿态数据集中的β下，假定网络输出/>为对应最优解，求取损失函数E_anim关于上述最优解的_一阶梯度_：

其中grad为给定损失函数和网络输出的求取梯度。

构建物理参数优化损失函数：

E_paramm＝^||g₁ ^||2，E_param表示物理参数优化损失函数_。

其中优化步骤中g₁为关于物理参数(p_stvk,p_bendd)的梯度_，即^EE_anim为关于物理参数(p_stvk，p_bend)的_二阶梯度_。通过深度学习方法优化E_paramm，即得到第_一轮基于_二阶梯度网络优化的物理参数该步骤能够使得在给定最优解情况下，尽可能学到输入数据的物理特性。

步骤S5、重复S3、S4步骤，其中重复S3步骤时固定物理参数，(p_stvk，_pbend)，重复S4步骤时固定衣物三维模型预测网络Net_anim的网络权重_，重复迭代优化物理参数(pstvk，p_bend)和模型预测网络Net_anim，直到物理参数优化收敛_，得到优化后的物理参数和衣物三维模型预测网络/>其中N为迭代至物理参数优化收敛的次数。从而实现基于二阶梯度网络优化的三维衣物物理参数优化。该步骤可以使得衣物三维模型预测网络在拟合S1优化求解得到人体姿态数据集的同时，尽可能符合该拟合结果的物理最优值，从而使得物理参数尽可能符合观测。

步骤S6、用步骤S5中优化的物理参数加入随机生成的任意人体姿态数据，通过步骤S3中的Ea_nim＝E_phys(p_stvk，p_bendd)+E_3d优化s1的优化求解得到人体姿态数据集中的β下三维衣物模型预测网络/>生成的衣物模型，以及优化随机生成的姿态下三维衣物模型预测网络/>生成的衣物模型，该随机生成的姿态与人体数据集中的β不同，两部分姿态下同时采用三维衣物模型预测网络生成相同的一套衣物模型，该方法能够既让网络预测结果尽可能接近S1数据集采集三维结果，又让任意人体姿态下的结果符合物理特性，网络优化后得到/>

步骤S7、通过步骤S6中训练的最终预测网络给定不同动态姿态序列(α_为'α₂，---，α_t)，t为正整数，这些动态序列可以为S1中的优化求解得到人体姿态数据集中提取，也可以由三维模型驱动设计人员自行设计，生成相应的衣物三维驱动模型从而实现符合数据集观测约束、符合数据集中物理特性约束的衣物三维动态驱动重建。该步骤可以用于驱动训练好的三维模型预测网络，从而帮助实现对S1采集对象的高真实感数字人驱动。

本发明还提供了一种衣物三维驱动模型的建立装置，包括：采集模块，用于针对单个采集对象，构建人体的包括不同姿态的数据集和衣物数据集；

第一优化模块，采用所述衣物数据集，优化给定的衣物模版生成模型；

训练给定模块，采用物理参数训练优化后的给定的衣物模版生成模型并给定衣物三维模型预测网络；

第二优化模块，采用二阶梯度优化方法优化所述物理参数；

重复模块，重复训练给定模块和第二优化模块的操作，得到最终的物理参数和最终的衣物三维模型预测网络；

第一生成模块，用于将不同姿态的数据集加入最终的物理参数和最终的衣物三维模型预测网络，得到最终预测网络；

第二生成模块，用于给定不同动态姿态序列训练所述最终预测网络，生成衣物三维驱动模型。

本发明还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现本发明所述的方法。

本发明还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现本发明所述的方法。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求书的保护范围内。

Claims (8)

1.一种衣物三维驱动模型的建立方法，其特征在于，包括以下步骤：

步骤S1、针对单个采集对象，构建人体的包括不同姿态的数据集和衣物数据集；

步骤S2、采用S1中所述衣物数据集，优化给定的衣物模版生成模型，包括：通过图形学渲染掩膜的方式，通过均匀采样在给定的衣物模版生成模型的衣物模版参数γ所在的空间中采样300组参数γ₁，γ₂，...，γ₃₀₀，并通过S1的人体姿态数据集包括的标准姿态β_T，生成对应的衣物三维模版G(γ₁，β_T)，G(γ₂，β_T)，...,G(γ₃₀₀，β_T)，其中G是给定的衣物模版生成模型，

对G(γ₁，β_T)，G(γ₂，β_T)，...，G(γ₃₀₀，β_T)进行图形学渲染得到渲染掩膜M(γ₁)，M(γ₂)，...，M(γ₃₀₀)，对于所述标准姿态β_T进行二维分割得到真实掩膜M_T，并通过下式γ_i＝argmin_i(IOU(M(γ_i)，M_T))得到γ_i，从而得到衣物三维模版G(γ_i，β_T)，其中IOU(M(γ_i)，M_T)为对应某一渲染掩膜M(γ_i)与真实掩膜M_T的IOU匹配度量，i＝1，2，...300，arg min()为最小值函数；

步骤S3、采用物理参数训练S2中优化后的给定的衣物模版生成模型并给定衣物三维模型预测网络；

步骤S4、采用二阶梯度优化方法优化所述物理参数，包括：构建关于p_stvk和p_bend的损失函数E_anim(p_stvk，p_bend)，并设定三维衣物预测网络的初始最优解为求取损失函数关于所述最优解的一阶梯度为：

由一阶梯度构建物理参数优化损失函数为：E_param＝||g₁||²，β为S1的人体姿态数据集中的某一姿态，E_param表示物理参数优化损失函数；

步骤S5、重复S3、S4步骤，得到最终的物理参数和最终的衣物三维模型预测网络；

步骤S6、将步骤S1中不同姿态的数据集加入最终的物理参数和最终的衣物三维模型预测网络，得到最终预测网络；

步骤S7、给定不同动态姿态序列训练所述最终预测网络，生成衣物三维驱动模型。

2.根据权利要求1所述的衣物三维驱动模型的建立方法，其特征在于，所述S1具体包括：通过同步采集的多台RGB相机，对人体的不同姿态进行采集，并采集不同姿态下的所着衣物，形成姿态数据集和衣物数据集。

3.根据权利要求1所述的衣物三维驱动模型的建立方法，其特征在于，S3包括：给定物理参数(p_stvk，p_bend)训练所述衣物三维模版G(γ_i，β_T)，p_stvk和p_bend分别表示人体所着衣物在拉伸和弯曲情况下的局部变形程度；给定姿态β下的三维衣物预测网络为Net_anim。

4.根据权利要求1所述的衣物三维驱动模型的建立方法，其特征在于，所述S5包括重复S3、S4步骤，其中重复S3步骤时固定物理参数，(p_stvk，p_bend)，重复S4步骤时固定衣物三维模型预测网络Net_anim的网络权重，重复迭代优化物理参数(p_stvk,p_bend)和模型预测网络Net_anim，直到物理参数优化收敛，得到优化后的物理参数和衣物三维模型预测网络/>其中N为迭代次数。

5.根据权利要求1所述的衣物三维驱动模型的建立方法，其特征在于，所述S7包括：对步骤S6中训练获得的最终预测网络给定不同动态姿态序列(α₁，α₂，…，α_t)，t为正整数，生成相应的衣物三维驱动模型/>

6.一种衣物三维驱动模型的建立装置，其特征在于，所述装置包括：采集模块，用于针对单个采集对象，构建人体的包括不同姿态的数据集和衣物数据集；

第一优化模块，采用所述衣物数据集，优化给定的衣物模版生成模型，包括：通过图形学渲染掩膜的方式，通过均匀采样在给定的衣物模版生成模型的衣物模版参数γ所在的空间中采样300组参数γ₁，γ₂，...，γ₃₀₀，并通过S1的人体姿态数据集包括的标准姿态β_T，生成对应的衣物三维模版G(γ₁，β_T)，G(γ₂，β_T)，...，G(γ₃₀₀，β_T)，其中G是给定的衣物模版生成模型，

对G(γ₁，β_T)，G(γ₂，β_T)，...，G(γ₃₀₀，β_T)进行图形学渲染得到渲染掩膜M(γ₁)，M(γ₂)，...，M(γ₃₀₀)，对于所述标准姿态β_T进行二维分割得到真实掩膜M_T，并通过下式γ_i＝argmin_i(IOU(M(γ_i)，M_T))得到γ_i，从而得到衣物三维模版G(γ_i，β_T)，其中IOU(M(γ_i)，M_T)为对应某一渲染掩膜M(γ_i)与真实掩膜M_T的IOU匹配度量，i＝1，2，...300，arg min()为最小值函数；

训练给定模块，采用物理参数训练优化后的给定的衣物模版生成模型并给定衣物三维模型预测网络；

第二优化模块，采用二阶梯度优化方法优化所述物理参数，包括：构建关于p_stvk和p_bend的损失函数E_anim(p_stvk，p_bend)，并设定三维衣物预测网络的初始最优解为求取损失函数关于所述最优解的一阶梯度为：

由一阶梯度构建物理参数优化损失函数为：E_param＝||g₁||²，β为s1的人体姿态数据集中的某一姿态，E_param表示物理参数优化损失函数；

重复模块，重复训练给定模块和第二优化模块的操作，得到最终的物理参数和最终的衣物三维模型预测网络；

第一生成模块，用于将不同姿态的数据集加入最终的物理参数和最终的衣物三维模型预测网络，得到最终预测网络；

第二生成模块，用于给定不同动态姿态序列训练所述最终预测网络，生成衣物三维驱动模型。

7.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至5任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上述权利要求1至5任一项所述的方法。