CN117649283B - 一种虚拟试衣系统和虚拟试衣方法 - Google Patents

Abstract

本发明涉及深度学习技术领域，公开了一种虚拟试衣系统和虚拟试衣方法，包括：采集使用者的正面全身可见光图像和正面全身红外线图像；对采集的正面全身可见光图像识别获得使用者的人体骨架图；从数据库中提取与使用者的人体骨架图最相似的历史人体骨架图；提取历史人体骨架图对应的三维模型和正面全身红外线图像，提取与该三维模型和使用者选择的衣服效果对应的贴图数据；在提取的三维模型上标记贴图的面边界；将提取的三维模型和全身红外线图像输入贴图校正模型；重新生成三维模型，根据新的三维模型的面边界来重新进行贴图来生成展示模型；本发明能够通过模型微调来获得真实的试衣效果。

Description

一种虚拟试衣系统和虚拟试衣方法

技术领域

本发明涉及深度学习技术领域，更具体地说，它涉及一种虚拟试衣系统和虚拟试衣方法。

背景技术

公布号为CN112652061A的中国专利公开了一种基于Kinect的网络虚拟试衣系统，其预先建立骨架模型，然后通过服装模型的蒙皮算法来得到展示模型，通过识别使用者骨架来与预先建模的模型骨架进行绑定来驱动预先建模的模型的动作来实现动作同步，然后再通过模型展示来生成用于展示的图片或图片组合的视频，替换头部来获得与使用者相符的展示图片或图片组合的视频，由于预先建模的骨架模型无法与不同使用者的身形进行匹配，导致展示效果与使用者真实的试衣效果存在很大偏差，而采用服装模型的蒙皮算法也很难得到接近真实的展示效果。

发明内容

本发明提供一种虚拟试衣系统和虚拟试衣方法，解决相关技术中预先建模的骨架模型无法与不同使用者的身形进行匹配，导致展示效果与使用者真实的试衣效果存在很大偏差，而采用服装模型的蒙皮算法也很难得到接近真实的展示效果的技术问题。

本发明提供了一种虚拟试衣方法，包括以下步骤：

步骤101，采集使用者的正面全身可见光图像和正面全身红外线图像；

步骤102，对采集的正面全身可见光图像识别获得使用者的人体骨架图；

步骤103，从数据库中提取与使用者的人体骨架图最相似的历史人体骨架图；

步骤104，提取历史人体骨架图对应的三维模型和正面全身红外线图像，提取与该三维模型和使用者选择的衣服效果对应的贴图数据；在提取的三维模型上标记贴图的面边界；

步骤105，将提取的三维模型和全身红外线图像输入贴图校正模型，贴图校正模型包括卷积层、第一特征生成层、特征累加层、生成层和参数层，其中卷积层输入使用者的正面全身红外线图像和历史人体骨架图对应的正面全身红外线图像，然后输出图像特征，图像特征输入第一特征生成层，输出第一特征，第一特征与历史人体骨架图对应的三维模型的点云的点特征拼接生成第二特征；

第二特征和表示三维模型的点云的点的连接关系的点邻接矩阵输入生成层，生成层输出对应于每个点的第三特征，第三特征输入参数层，输出第四特征向量，第四特征向量的三个分量分别表示点的新的三维坐标；

步骤106，根据贴图校正模型输出的点的新的三维坐标来重新生成三维模型，根据新的三维模型的面边界来重新进行贴图来生成展示模型。

在本发明的至少一个实施例中，稳定性像元提取模块的计算公式如下：

H⁰＝X⁽¹⁾

u^(t)＝σ(W_uG[X⁽¹⁾]+W_uG[H^(t-1)]+b_u)

r^(t)＝σ(W_rG[X⁽¹⁾]+W_rG[H^(t-1)]+b_r)

C^(t)＝tanh(W_cG[X⁽¹⁾]+W_cG[r^(t)⊙H^(t-1)]+b_c)

H^(t)＝(1-u^(t))⊙C^(t)+u^(t)⊙H^(t-1)

其中，W_u、W_r、W_c表示第二、三、四权重参数，b_u、b_r、b_c表示第二、三、四偏置参数，⊙表示点积，其中I为单位矩阵，/>表示/>的度矩阵，A为点邻接矩阵，X⁽¹⁾表示第二特征矩阵，其第i个行向量表示第i个点的第二特征，H^(t)表示第t个时间步的中间特征矩阵，其第i个行向量表示第i个点的中间特征，t的最大值为M，H^(m)的第i个行向量表示第i个点的第三特征。

在本发明的至少一个实施例中，选择人体骨架图的一个关键点作为基点将两个需要计算相似度的人体骨架图叠合，然后计算两个人体骨架图的对应的关键点的欧氏距离的均值，该均值越小两个人体骨架图的相似度越大。

在本发明的至少一个实施例中，第一特征生成层的计算公式如下：

T₁＝σ(T_mapW_t+b_t)

其中T₁表示第一特征，T_map表示图像特征输入第一特征生成层时其行向量按顺序拼接的向量，W_t表示第一权重参数，b_t表示第一偏置参数。

在本发明的至少一个实施例中，贴图数据包括材质和模型面边界，模型面边界用于对三维模型的表面进行区分，每个被区分的表面映射一个贴图材质，通过贴图数据能够完成三维模型的贴图来达到使用者选择的衣服效果，一个三维模型对应于每个衣服效果均存在对应的一个贴图数据。

在本发明的至少一个实施例中，点邻接矩阵的第i行第j列的元素表示第i个和第j个点的欧氏距离，如果第i个和第j个点的欧氏距离小于设定的距离阈值，则点邻接矩阵的第i行第j列的元素为1，否则为0。

在本发明的至少一个实施例中，第i个和第j个点的欧氏距离是在三维坐标系内的欧氏距离。

在本发明的至少一个实施例中，第i个和第j个点的欧氏距离是第i个和第j个点的点特征的欧氏距离。

本发明提供了一种虚拟试衣系统，包括：

图像采集模块，采集使用者的正面全身可见光图像和正面全身红外线图像；

骨架识别模块，对采集的正面全身可见光图像识别获得使用者的人体骨架图；

数据提取模块，从数据库中提取与使用者的人体骨架图最相似的历史人体骨架图；

贴图提取模块，提取历史人体骨架图对应的三维模型和正面全身红外线图像，提取与该三维模型和使用者选择的衣服效果对应的贴图数据；在提取的三维模型上标记贴图的面边界；

模型校正模块，将提取的三维模型和全身红外线图像输入贴图校正模型，贴图校正模型包括卷积层、第一特征生成层、特征累加层、生成层和参数层，其中卷积层输入使用者的正面全身红外线图像和历史人体骨架图对应的正面全身红外线图像，然后输出图像特征，图像特征输入第一特征生成层，输出第一特征，第一特征与历史人体骨架图对应的三维模型的点云的点特征拼接生成第二特征；

第二特征和表示三维模型的点云的点的连接关系的点邻接矩阵输入生成层，生成层输出对应于每个点的第三特征，第三特征输入参数层，输出第四特征向量，第四特征向量的三个分量分别表示点的新的三维坐标；

模型展示模块，根据贴图校正模型输出的点的新的三维坐标来重新生成三维模型，根据新的三维模型的面边界来重新进行贴图来生成展示模型。

本发明提供了一种计算机存储介质，所述计算机存储介质包括用于执行前述的一种虚拟试衣方法的机器可执行指令，该机器可执行指令由处理器运行。

本发明的有益效果在于：本发明能够基于深度学习来微调预先建模的贴图的形态和贴图边界，由于是采用完整实体人体模型以及精细贴图进行展示，并且符合使用者的身形，能够得到接近真实的展示效果。

附图说明

图1是本发明的一种虚拟试衣方法的流程图；

图2是本发明的一种虚拟试衣系统的模块示意图。

具体实施方式

现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，可以在不脱离本说明书内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其他例子中也可以进行组合。

在本发明的一个实施例中提供一种虚拟试衣方法，如图1所示，包括以下步骤：

步骤101，采集使用者的正面全身可见光图像和正面全身红外线图像；

步骤102，对采集的正面全身可见光图像识别获得使用者的人体骨架图；

可以采用openpose、Alphapose/RMPE等算法完成人体骨架图提取。

步骤103，从数据库中提取与使用者的人体骨架图最相似的历史人体骨架图；

选择人体骨架图的一个关键点作为基点将两个需要计算相似度的人体骨架图叠合，然后计算两个人体骨架图的对应的关键点的欧氏距离的均值，该均值越小两个人体骨架图的相似度越大。

步骤104，提取历史人体骨架图对应的三维模型和正面全身红外线图像，提取与该三维模型和使用者选择的衣服效果对应的贴图数据；在提取的三维模型上标记贴图的面边界；

步骤105，将提取的三维模型和全身红外线图像输入贴图校正模型，贴图校正模型包括卷积层、第一特征生成层、特征累加层、生成层和参数层，其中卷积层输入使用者的正面全身红外线图像和历史人体骨架图对应的正面全身红外线图像，然后输出图像特征，图像特征输入第一特征生成层，输出第一特征，第一特征与历史人体骨架图对应的三维模型的点云的点特征拼接生成第二特征；

第二特征和表示三维模型的点云的点的连接关系的点邻接矩阵输入生成层，生成层输出对应于每个点的第三特征，第三特征输入参数层，输出第四特征向量，第四特征向量的三个分量分别表示点的新的三维坐标。

步骤106，根据贴图校正模型输出的点的新的三维坐标来重新生成三维模型，根据新的三维模型的面边界来重新进行贴图来生成展示模型。

稳定性像元提取模块的计算公式如下：

H⁰＝X⁽¹⁾

u^(t)＝σ(W_uG[X⁽¹⁾]+W_uG[H^(t-1)]+b_u)

r^(t)＝σ(W_rG[X⁽¹⁾]+W_rG[H^(t-1)]+b_r)

C^(t)＝tanh(W_cG[X⁽¹⁾]+W_cG[r^(t)⊙H^(t-1)]+b_c)

H^(t)＝(1-u^(t))⊙C^(t)+u^(t)⊙H^(t-1)

其中，W_u、W_r、W_c表示第二、三、四权重参数，b_u、b_r、b_c表示第二、三、四偏置参数，⊙表示点积，其中I为单位矩阵，/>表示/>的度矩阵，A为点邻接矩阵，X⁽¹⁾表示第二特征矩阵，其第i个行向量表示第i个点的第二特征，H^(t)表示第t个时间步的中间特征矩阵，其第i个行向量表示第i个点的中间特征。t的最大值为M，M的缺省值为3，H^(m)的第i个行向量表示第i个点的第三特征。

例如

在本发明的一个实施例中，稳定性像元提取模块的计算公式如下：其中H表示第三特征矩阵，W_s表示第五权重参数，b_s表示第五偏置参数。

在本发明的一个实施例中，图像特征为矩阵形式的特征，图像特征输入第一特征生成层时其行向量按顺序拼接。

第一特征生成层的计算公式如下：

T₁＝σ(T_mapW_t+b_t)

其中T₁表示第一特征，T_map表示图像特征输入第一特征生成层时其行向量按顺序拼接的向量，W_t表示第一权重参数，b_t表示第一偏置参数。

在本发明的一个实施例中，点邻接矩阵的第i行第j列的元素表示第i个和第j个点的欧氏距离，如果第i个和第j个点的欧氏距离小于设定的距离阈值，则点邻接矩阵的第i行第j列的元素为1，否则为0。

在本发明的一个实施例中，第i个和第j个点的欧氏距离是在三维坐标系内的欧氏距离。

在本发明的一个实施例中，第i个和第j个点的欧氏距离是第i个和第j个点的点特征的欧氏距离。

在本发明的一个实施例中，贴图数据包括材质和模型面边界，模型面边界用于对三维模型的表面进行区分，每个被区分的表面映射一个贴图材质，通过贴图数据能够完成三维模型的贴图来达到使用者选择的衣服效果，由于不同的衣服效果主要在于贴图的区别，因此在数据库中，一个三维模型对应于每个衣服效果均存在对应的一个贴图数据。

在本发明的一个实施例中，一种虚拟试衣方法还包括基于展示模型来生成展示图片的步骤。

在本发明的一个实施例中，一种虚拟试衣方法还包括基于展示模型来生成包含与使用者姿态变化同步的动作模型来进行展示的步骤。

由于贴图已经匹配展示模型，在基于使用者姿态来改变展示模型的步骤中不再需要重新执行前述的步骤101-106。另一方面人体骨架结构是相同的，通过使用者姿态的变化来改变已建模的人体模型的姿态为常规技术手段，在此不做赘述，识别使用者姿态变化的方法在前面已作说明。

在本发明的一个实施例中提供一种虚拟试衣系统，如图2所示，包括：

图像采集模块101，采集使用者的正面全身可见光图像和正面全身红外线图像；

骨架识别模块102，对采集的正面全身可见光图像识别获得使用者的人体骨架图；

可以采用openpose、Alphapose/RMPE等算法完成人体骨架图提取。

数据提取模块103，从数据库中提取与使用者的人体骨架图最相似的历史人体骨架图；

贴图提取模块104，提取历史人体骨架图对应的三维模型和正面全身红外线图像，提取与该三维模型和使用者选择的衣服效果对应的贴图数据；在提取的三维模型上标记贴图的面边界；

模型校正模块105，将提取的三维模型和全身红外线图像输入贴图校正模型，贴图校正模型包括卷积层、第一特征生成层、特征累加层、生成层和参数层，其中卷积层输入使用者的正面全身红外线图像和历史人体骨架图对应的正面全身红外线图像，然后输出图像特征，图像特征输入第一特征生成层，输出第一特征，第一特征与历史人体骨架图对应的三维模型的点云的点特征拼接生成第二特征；

第二特征和表示三维模型的点云的点的连接关系的点邻接矩阵输入生成层，生成层输出对应于每个点的第三特征，第三特征输入参数层，输出第四特征向量，第四特征向量的三个分量分别表示点的新的三维坐标。

模型展示模块106，根据贴图校正模型输出的点的新的三维坐标来重新生成三维模型，根据新的三维模型的面边界来重新进行贴图来生成展示模型。

在本发明的一个实施例中提供一种计算机存储介质，所述计算机存储介质包括用于执行前述的一种虚拟试衣方法的机器可执行指令，该机器可执行指令由处理器运行。

上面对本实施例的实施例进行了描述，但是本实施例并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本实施例的启示下，还可做出很多形式，均属于本实施例的保护之内。

Claims (10)

1.一种虚拟试衣方法，其特征在于，包括以下步骤：

步骤101，采集使用者的正面全身可见光图像和正面全身红外线图像；

步骤102，对采集的正面全身可见光图像识别获得使用者的人体骨架图；

步骤103，从数据库中提取与使用者的人体骨架图最相似的历史人体骨架图；

步骤104，提取历史人体骨架图对应的三维模型和正面全身红外线图像，提取与该三维模型和使用者选择的衣服效果对应的贴图数据；在提取的三维模型上标记贴图的面边界；

步骤105，将提取的三维模型和全身红外线图像输入贴图校正模型，贴图校正模型包括卷积层、第一特征生成层、特征累加层、生成层和参数层，其中卷积层输入使用者的正面全身红外线图像和历史人体骨架图对应的正面全身红外线图像，然后输出图像特征，图像特征输入第一特征生成层，输出第一特征，第一特征与历史人体骨架图对应的三维模型的点云的点特征拼接生成第二特征；

第二特征和表示三维模型的点云的点的连接关系的点邻接矩阵输入生成层，生成层输出对应于每个点的第三特征，第三特征输入参数层，输出第四特征向量，第四特征向量的三个分量分别表示点的新的三维坐标；

步骤106，根据贴图校正模型输出的点的新的三维坐标来重新生成三维模型，根据新的三维模型的面边界来重新进行贴图来生成展示模型。

2.根据权利要求1所述的一种虚拟试衣方法，其特征在于，稳定性像元提取模块的计算公式如下：

H⁰＝X⁽¹⁾

u^(t)＝σ(W_uG[X⁽¹⁾]+W_uG[H^(t-1)]+b_u)

r^(t)＝σ(W_rG[x⁽¹⁾]+W_rG[H^(t-1)]+b_r)

C^(t)＝tanh(W_cG[X⁽¹⁾]+W_cG[r^(t)☉H^(t-1)]+b_c)

H^(t)＝(1-u^(t))☉C^(t)+u^(t)☉H^(t-1)

其中，W_u、W_r、W_c表示第二、三、四权重参数，b_u、b_r、b_c表示第二、三、四偏置参数，⊙表示点积，其中I为单位矩阵，/>表示/>的度矩阵，A为点邻接矩阵，X⁽¹⁾表示第二特征矩阵，其第i个行向量表示第i个点的第二特征，H^(t)表示第t个时间步的中间特征矩阵，其第i个行向量表示第i个点的中间特征，t的最大值为M，H^(m)的第i个行向量表示第i个点的第三特征。

3.根据权利要求1所述的一种虚拟试衣方法，其特征在于，选择人体骨架图的一个关键点作为基点将两个需要计算相似度的人体骨架图叠合，然后计算两个人体骨架图的对应的关键点的欧氏距离的均值，该均值越小两个人体骨架图的相似度越大。

4.根据权利要求3所述的一种虚拟试衣方法，其特征在于，第一特征生成层的计算公式如下：

T₁＝σ(T_mapW_t+b_t)

其中T₁表示第一特征，T_map表示图像特征输入第一特征生成层时其行向量按顺序拼接的向量，W_t表示第一权重参数，b_t表示第一偏置参数。

5.根据权利要求1所述的一种虚拟试衣方法，其特征在于，贴图数据包括材质和模型面边界，模型面边界用于对三维模型的表面进行区分，每个被区分的表面映射一个贴图材质，通过贴图数据能够完成三维模型的贴图来达到使用者选择的衣服效果，一个三维模型对应于每个衣服效果均存在对应的一个贴图数据。

6.根据权利要求1所述的一种虚拟试衣方法，其特征在于，点邻接矩阵的第i行第j列的元素表示第i个和第j个点的欧氏距离，如果第i个和第j个点的欧氏距离小于设定的距离阈值，则点邻接矩阵的第i行第j列的元素为1，否则为0。

7.根据权利要求6所述的一种虚拟试衣方法，其特征在于，第i个和第j个点的欧氏距离是在三维坐标系内的欧氏距离。

8.根据权利要求6所述的一种虚拟试衣方法，其特征在于，第i个和第j个点的欧氏距离是第i个和第j个点的点特征的欧氏距离。

9.一种计算机存储介质，其特征在于，所述计算机存储介质包括用于执行如权利要求1-8任一所述的一种虚拟试衣方法的机器可执行指令，该机器可执行指令由处理器运行。

10.一种虚拟试衣系统，其特征在于，包括：

图像采集模块，采集使用者的正面全身可见光图像和正面全身红外线图像；

骨架识别模块，对采集的正面全身可见光图像识别获得使用者的人体骨架图；

数据提取模块，从数据库中提取与使用者的人体骨架图最相似的历史人体骨架图；

贴图提取模块，提取历史人体骨架图对应的三维模型和正面全身红外线图像，提取与该三维模型和使用者选择的衣服效果对应的贴图数据；在提取的三维模型上标记贴图的面边界；

模型校正模块，将提取的三维模型和全身红外线图像输入贴图校正模型，贴图校正模型包括卷积层、第一特征生成层、特征累加层、生成层和参数层，其中卷积层输入使用者的正面全身红外线图像和历史人体骨架图对应的正面全身红外线图像，然后输出图像特征，图像特征输入第一特征生成层，输出第一特征，第一特征与历史人体骨架图对应的三维模型的点云的点特征拼接生成第二特征；

第二特征和表示三维模型的点云的点的连接关系的点邻接矩阵输入生成层，生成层输出对应于每个点的第三特征，第三特征输入参数层，输出第四特征向量，第四特征向量的三个分量分别表示点的新的三维坐标；

模型展示模块，根据贴图校正模型输出的点的新的三维坐标来重新生成三维模型，根据新的三维模型的面边界来重新进行贴图来生成展示模型。