CN109377564B - 基于单目深度相机的虚拟试衣方法及装置 - Google Patents

Abstract

本发明公开了一种基于单目深度相机的虚拟试衣方法及装置，其中，方法包括以下步骤：步骤S1：通过深度相机获取RGB‑D图像，并获取点云；步骤S2：获取点云到人体模型表面的平均距离作为能量，以得到最优参数；步骤S3：将RGB‑D图像I中的RGB通道输入预先训练的神经网络，得到RGB‑D图像中每个像素的类别，并结合深度通道得到点云中每个点的类别；步骤S4：获取当前用户的人体模型，以完成虚拟试衣。该方法通过集数据、重建人体与服装、对服装建模、迁移服装模型到新的人体模型上，以实现完整的虚拟试衣流程，并使用消费级深度相机进行虚拟试衣，从而可以实现以相对较低的成本进行虚拟试衣，简单易实现。

Description

基于单目深度相机的虚拟试衣方法及装置

技术领域

本发明涉及计算机图形学与计算机视觉技术领域，特别涉及一种基于单目深度相机的虚拟试衣方法及装置。

背景技术

人体与服装的三维重建是当前计算机图形学和计算机视觉领域的研究热点，在网络购物、电影制作、安全保卫等领域有着广泛的应用。最近出现了一些利用工业级高精度三维扫描仪获取人体与服装三维模型的系统，但由于高昂的成本与复杂的设置，难以在生产环境中被普遍采用。另一方面，随着技术的发展，深度相机正在逐渐走进大众生活，凭借其经济的价格与良好的精度得到了越来越广泛的应用。如何使用深度相机来对人体与服装进行三维重建，并进行虚拟试衣，成为了一个具有广阔应用前景的问题。

目前的单目深度相机可以提供RGB-D四个通道的信息，即：红、蓝、绿三种颜色，以及物体表面和相机之间的距离(又称为深度)。每个像素都对应真实世界的一个点。由于目前深度相机的分辨率普遍不高(以微软公司的Kinect二代为例，分辨率为512*424)，再加上物体面与面之间的遮挡关系，深度相机提供的数据相对比较稀疏。

发明内容

本申请是基于发明人对以下问题的认识和发现做出的：

随着网络购物的普及，如何能够模拟出服装穿在消费者身上的效果逐渐成为了一项重要的研究课题。近来出现了一些使用工业高精度三维扫描仪对人体与服装进行三维重建、进而实现虚拟试衣的系统，但是需要的设备成本非常高昂，难以满足广大商家和普通消费者的需求。

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于单目深度相机的虚拟试衣方法，该方法可以实现以相对较低的成本进行虚拟试衣，简单易实现。

本发明的另一个目的在于提出一种基于单目深度相机的虚拟试衣系统。

为达到上述目的，本发明一方面实施例提出了一种基于单目深度相机的虚拟试衣方法，包括以下步骤：步骤S1：通过深度相机获取RGB-D图像，并获取点云；步骤S2：获取所述点云到人体模型表面的平均距离作为能量，以得到最优参数；步骤S3：将所述RGB-D图像I中的RGB通道输入预先训练的神经网络，得到所述RGB-D图像中每个像素的类别，并结合深度通道得到所述点云中每个点的类别；步骤S4：获取当前用户的人体模型，以完成虚拟试衣。

本发明实施例的基于单目深度相机的虚拟试衣方法，通过集数据、重建人体与服装、对服装建模、迁移服装模型到新的人体模型上，以实现完整的虚拟试衣流程，并使用消费级深度相机进行虚拟试衣，从而可以实现以相对较低的成本进行虚拟试衣，简单易实现。

另外，根据本发明上述实施例的基于单目深度相机的虚拟试衣方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述步骤S1进一步包括：根据相机内参将彩色图像和深度图像对齐，并获取预设分辨率为的多通道图像，以得到点云P。

进一步地，在本发明的一个实施例中，所述步骤S2进一步包括：优化所述人体模型的参数在所述能量最小时，获取所述最优参数。

进一步地，在本发明的一个实施例中，所述步骤S3进一步包括：根据所述点云中每个点的类别得到所述人体模型的每个顶点的类别，其中，提取所述人体模型中被标记为属于上衣类别的部分，以得到服装基础模型；记录所述点云中每个点到所述服装基础模型的距离。

进一步地，在本发明的一个实施例中，所述步骤S4进一步包括：获取所述当前人体模型中属于服装的部分；在所述当前人体模型中属于服装的部分加上所述距离，以得到上衣穿在新模型上的点云，并进行着色。

为达到上述目的，本发明另一方面实施例提出了一种基于单目深度相机的虚拟试衣系统，包括：第一获取模块，用于通过深度相机获取RGB-D图像，并获取点云；第二获取模块，用于获取所述点云到人体模型表面的平均距离作为能量，以得到最优参数；处理模块，用于将所述RGB-D图像I中的RGB通道输入预先训练的神经网络，得到所述RGB-D图像中每个像素的类别，并结合深度通道得到所述点云中每个点的类别；第三获取模块，用于获取当前用户的人体模型，以完成虚拟试衣。

本发明实施例的基于单目深度相机的虚拟试衣系统，通过集数据、重建人体与服装、对服装建模、迁移服装模型到新的人体模型上，以实现完整的虚拟试衣流程，并使用消费级深度相机进行虚拟试衣，从而可以实现以相对较低的成本进行虚拟试衣，简单易实现。

另外，根据本发明上述实施例的基于单目深度相机的虚拟试衣系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述第一获取模块进一步用于根据相机内参将彩色图像和深度图像对齐，并获取预设分辨率为的多通道图像，以得到点云P。

进一步地，在本发明的一个实施例中，所述第一获取模块进一步用于优化所述人体模型的参数在所述能量最小时，获取所述最优参数。

进一步地，在本发明的一个实施例中，所述处理模块进一步用于根据所述点云中每个点的类别得到所述人体模型的每个顶点的类别，其中，提取所述人体模型中被标记为属于上衣类别的部分，以得到服装基础模型，并记录所述点云中每个点到所述服装基础模型的距离。

进一步地，在本发明的一个实施例中，所述第三获取模块进一步用于获取所述当前人体模型中属于服装的部分，并在所述当前人体模型中属于服装的部分加上所述距离，以得到上衣穿在新模型上的点云，并进行着色。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于单目深度相机的虚拟试衣方法的流程图；

图2为根据本发明一个实施例的基于单目深度相机的虚拟试衣系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于单目深度相机的虚拟试衣方法及装置，首先将参照附图描述根据本发明实施例提出的基于单目深度相机的虚拟试衣方法。

图1是本发明一个实施例的基于单目深度相机的虚拟试衣方法的流程图。

如图1所示，该基于单目深度相机的虚拟试衣方法包括以下步骤：

步骤S1：通过深度相机获取RGB-D图像，并获取点云。

可以理解的是，本发明实施例以Kinect 2作为深度相机为例，针对上衣进行建模，比如，本发明实施例使用Kinect 2拍摄RGB-D图像。

进一步地，在本发明的一个实施例中，步骤S1进一步包括：根据相机内参将彩色图像和深度图像对齐，并获取预设分辨率为的多通道图像，以得到点云P。

例如，本发明实施例根据相机内参将彩色图像和深度图像对齐，获得分辨率为512*424的4通道图像I，进而得到点云P。

步骤S2：获取点云到人体模型表面的平均距离作为能量，以得到最优参数。

进一步地，在本发明的一个实施例中，步骤S2进一步包括：优化人体模型的参数在能量最小时，获取最优参数。

可以理解的是，本发明实施例计算P到人体模型H表面的平均距离作为能量E，优化参数β使E尽量小，得到最优解β。

具体而言，从深度相机数据重建人体，具体包括：

根据深度相机获取的RGB-D图像，结合深度相机的内参，可以计算出每个像素在真实世界中的位置点。全部像素对应的点被统称为点云，记为P。还需要一个预先求出的基础人体三维模型H，这个模型由参数β控制，通过调整参数β，可以驱动模型改变姿势或身材。定义能量E为点云中的点P到模型表面的距离之和，使用迭代最近点(ICP)算法和随机梯度下降对参数β进行迭代优化，使得E达到最小，对应的β就是人体模型的参数，H(β)就是重建出的人体模型。

步骤S3：将RGB-D图像I中的RGB通道输入预先训练的神经网络，得到RGB-D图像中每个像素的类别，并结合深度通道得到点云中每个点的类别。

进一步地，在本发明的一个实施例中，步骤S3进一步包括：根据点云中每个点的类别得到人体模型的每个顶点的类别，其中，提取人体模型中被标记为属于上衣类别的部分，以得到服装基础模型；记录点云中每个点到服装基础模型的距离。

可以理解的是，将步骤S1得到的图像I中的RGB通道输入预先训练的神经网络，得到I中每个像素的类别，结合深度D通道就得到了点云P中每个点的类别。在步骤S2中人体模型H(β)已经和点云P拟合，根据P中每个点的类别，可以得到人体模型H(β)的各个顶点的类别，也就将H(β)进行了分割。将H(β)中被标记为属于上衣类别的部分提取出来，得到服装基础模型M。同时，由于H(β)和P之间一定存在微小偏差，记录P中每个点到M的距离，记为O。

具体而言，(1)分割人体与服装，具体包括：

根据步骤S1和S2得到的人体模型还包含了服装，接下来使用机器学习对人体和服装进行分离，以便对服装进行单独建模。首先使用特定数据集训练出一个卷积神经网络，这个网络接收彩色图片作为输入，输出为图片中每个像素对应的类别，如衣服、裙子、裤子、皮肤。将深度相机获取的彩色图片输入到神经网络中，就能够得到每个像素的类别，再根据深度相机的内参将上述分割结果映射到三维空间的点云中，就得到了点云中每个点的分类。最后将点云的分类再映射到之前拟合的三维模型H中，就可以对三维模型H进行分割，得到各个服装对应的三维模型M。M是H的一部分，并具有相同的拓扑结构。

(2)服装建模，具体包括：

通过之前的步骤，可以得到服装对应的点云与三维模型。由于三维模型较为平滑，点云和三维模型之间会有一定的间距，将这组间距保存下来，记为O。将服装模型定义为由三维模型M与间距O组成的二元组。其中，M表示了服装的基本形状，O表示了服装的细节褶皱。

步骤S4：获取当前用户的人体模型，以完成虚拟试衣。

进一步地，在本发明的一个实施例中，步骤S4进一步包括：获取当前人体模型中属于服装的部分；在当前人体模型中属于服装的部分加上距离，以得到上衣穿在新模型上的点云，并进行着色。

可以理解的是，对于一个新的消费者，首先按照步骤S1和S2得到他的人体模型H‘。由于服装模型M是从人体模型H的一部分，对于新的人体模型H‘，可以找到其中属于服装的部分M’。在M‘的基础上加上偏移量O，就得到了上衣穿在新模型上的点云，据此再进行着色，就完成了虚拟试衣。

具体而言，服装迁移，具体包括：

虚拟试衣实际上就是将服装模型迁移到用户的人体模型上。首先，可以使用前面介绍的方法借助深度相机得出用户的三维人体模型H‘，进而可以得到对应的服装模型M’，在M‘的基础上增加细节褶皱O，就完成了服装的迁移。

根据本发明实施例提出的基于单目深度相机的虚拟试衣方法，通过集数据、重建人体与服装、对服装建模、迁移服装模型到新的人体模型上，以实现完整的虚拟试衣流程，并使用消费级深度相机进行虚拟试衣，从而可以实现以相对较低的成本进行虚拟试衣，简单易实现。

其次参照附图描述根据本发明实施例提出的基于单目深度相机的虚拟试衣系统。

图2是本发明一个实施例的基于单目深度相机的虚拟试衣系统的结构示意图。

如图2所示，该基于单目深度相机的虚拟试衣系统10包括：第一获取模块100、第二获取模块200、处理模块300和第三获取模块400。

其中，第一获取模块100用于通过深度相机获取RGB-D图像，并获取点云。第二获取模块200用于获取点云到人体模型表面的平均距离作为能量，以得到最优参数。处理模块300用于将RGB-D图像I中的RGB通道输入预先训练的神经网络，得到RGB-D图像中每个像素的类别，并结合深度通道得到点云中每个点的类别。第三获取模块400用于获取当前用户的人体模型，以完成虚拟试衣。本发明实施例的系统10通过集数据、重建人体与服装、对服装建模、迁移服装模型到新的人体模型上，以实现完整的虚拟试衣流程，并使用消费级深度相机进行虚拟试衣，从而可以实现以相对较低的成本进行虚拟试衣，简单易实现。

进一步地，在本发明的一个实施例中，第一获取模块100进一步用于根据相机内参将彩色图像和深度图像对齐，并获取预设分辨率为的多通道图像，以得到点云P。

进一步地，在本发明的一个实施例中，第一获取模块100进一步用于优化人体模型的参数在能量最小时，获取最优参数。

进一步地，在本发明的一个实施例中，处理模块300进一步用于根据点云中每个点的类别得到人体模型的每个顶点的类别，其中，提取人体模型中被标记为属于上衣类别的部分，以得到服装基础模型，并记录点云中每个点到服装基础模型的距离。

进一步地，在本发明的一个实施例中，第三获取模块400进一步用于获取当前人体模型中属于服装的部分，并在当前人体模型中属于服装的部分加上距离，以得到上衣穿在新模型上的点云，并进行着色。

需要说明的是，前述对基于单目深度相机的虚拟试衣方法实施例的解释说明也适用于该实施例的基于单目深度相机的虚拟试衣系统，此处不再赘述。

根据本发明实施例提出的基于单目深度相机的虚拟试衣系统，通过集数据、重建人体与服装、对服装建模、迁移服装模型到新的人体模型上，以实现完整的虚拟试衣流程，并使用消费级深度相机进行虚拟试衣，从而可以实现以相对较低的成本进行虚拟试衣，简单易实现。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种基于单目深度相机的虚拟试衣方法，其特征在于，包括以下步骤：

步骤S1：通过深度相机获取RGB-D图像，并获取点云；

步骤S2：获取所述点云到人体模型表面的平均距离作为能量，以得到最优参数；步骤S2进一步包括：

优化所述人体模型的参数，将所述能量最小时，所述人体模型对应的参数作为所述最优参数；

步骤S3：将所述RGB-D图像I中的RGB通道输入预先训练的神经网络，得到所述RGB-D图像中每个像素的类别，并结合深度通道得到所述点云中每个点的类别；

所述步骤S3进一步包括：

根据所述点云中每个点的类别得到所述人体模型的每个顶点的类别，其中，提取所述人体模型中被标记为属于上衣类别的部分，以得到服装基础模型；

记录所述点云中每个点到所述服装基础模型的距离；以及

步骤S4：获取当前用户的人体模型，以完成虚拟试衣；步骤S4进一步包括：

获取所述当前人体模型中属于服装的部分；

在所述当前人体模型中属于服装的部分加上所述距离，以得到上衣穿在所述当前人体模型上的点云，并进行着色。

2.根据权利要求1所述的基于单目深度相机的虚拟试衣方法，其特征在于，所述步骤S1进一步包括：

根据相机内参将彩色图像和深度图像对齐，并获取预设分辨率的多通道图像，以得到点云P。

3.一种基于单目深度相机的虚拟试衣系统，其特征在于，包括：

第一获取模块，用于通过深度相机获取RGB-D图像，并获取点云；

第二获取模块，用于获取所述点云到人体模型表面的平均距离作为能量，以得到最优参数；所述第一获取模块进一步用于优化所述人体模型的参数，将所述能量最小时，所述人体模型对应的参数作为所述最优参数；

处理模块，用于将所述RGB-D图像I中的RGB通道输入预先训练的神经网络，得到所述RGB-D图像中每个像素的类别，并结合深度通道得到所述点云中每个点的类别；所述处理模块进一步用于根据所述点云中每个点的类别得到所述人体模型的每个顶点的类别，其中，提取所述人体模型中被标记为属于上衣类别的部分，以得到服装基础模型，并记录所述点云中每个点到所述服装基础模型的距离；以及

第三获取模块，用于获取当前用户的人体模型，以完成虚拟试衣；

所述第三获取模块进一步用于获取所述当前人体模型中属于服装的部分，并在所述当前人体模型中属于服装的部分加上所述距离，以得到上衣穿在所述当前人体模型上的点云，并进行着色。

4.根据权利要求3所述的基于单目深度相机的虚拟试衣系统，其特征在于，所述第一获取模块进一步用于根据相机内参将彩色图像和深度图像对齐，并获取预设分辨率的多通道图像，以得到点云P。

Images