CN110189202A - 一种三维虚拟试衣方法及系统 - Google Patents

Abstract

本发明公开一种虚拟试衣方法及系统，包括获取拍摄有试衣者全身的三维图像视频以及试衣者的身高、体重信息；对所述视频中的人体特征点进行识别，针对视频中的人体特征点识别自动提取所述视频的关键帧图像；根据所述关键帧图像提取试衣者的人体特征点数据，并根据试衣者提供的身高、体重信息构建试衣者的人体三维模型，将关键帧图像中的人体特征点贴图匹配到所述人体三维模型；本发明根据试衣者拍摄的视频及提供的身高、体重信息作为参考以此构建试衣者的人体三维模型，能够真实模拟试衣者的身形并能够还原试衣者的外貌特征，再根据人体三维模型自动匹配最符合人体特征点的衣服，实现最贴合试衣者外形的虚拟试衣。

Description

一种三维虚拟试衣方法及系统

技术领域

本发明涉及虚拟现实技术领域，特别是涉及一种三维虚拟试衣方法及系统。

背景技术

随着人们生活水平的不断提高，人们对自己所穿服装的关注程度逐渐加大，尤其是女士更为明显。形式多样的服装大多吊挂在服装橱柜中，以满足人们储藏服装、随时挑选服装进行穿着的需要。

在面对服装橱柜中以及网络上展示的多款服装时，人们通常会将柜橱中的逐个挑选并穿着到自己身上，以在试衣镜面前来观察所挑选服装与自身的搭配情况，这样不仅会占用大量的时间来挑选、穿着服装，而且一旦人们在耽误大量时间挑选穿着服装后，仍然没有选中自己钟意的服装，无疑会给人们的心情带来很大的沮丧感。

而由于网购的便捷性和选择的丰富性，消费者都习惯在网上购物。但在购买服装时，由于没有办法试衣，消费者往往并不清楚该服装的尺寸，颜色和剪裁是否适合自己而容易地发生需要退还/更换的情况。

现有的方法主要是在消费者的自拍照上直接贴上衣服的二维图像。该方法存在以下的不足之处：由于各消费者的体型不同，同一衣服穿在不同的体型上会有不同的效果。而该方法忽略了体型对于衣服的影响，不能够还原衣服在消费者身上的真实效果，所以不能很好地给消费者反馈。

而对于现有的一些通过建立模型的方式进行虚拟试衣的方法，相较于用户的体型仍有偏差，使得试衣体验不能完全真实的反应用户的穿着效果。

发明内容

为解决上述技术问题，本发明提出一种三维虚拟试衣方法，包括下述步骤：

S10，获取拍摄有试衣者全身的三维图像视频以及试衣者的身高、体重信息；

S20，对所述视频中的人体特征点进行识别，针对视频中的人体特征点识别自动提取所述视频的关键帧图像；

S30，根据所述关键帧图像提取试衣者的人体特征点数据，并根据试衣者提供的身高、体重信息构建试衣者的人体三维模型，将关键帧图像中的人体特征点贴图匹配到所述人体三维模型；

S40，根据所述人体三维模型自动匹配最符合所述人体特征点的衣服。

作为优选的，步骤S10中的所述试衣者的三维图像视频可以是试衣者通过相机预先拍摄，也可以是根据应用程序进行实时拍摄，在实时拍摄时应用程序会开启语音提示试衣者的拍摄角度及拍摄动作。

作为优选的，步骤S20中所述人体特征点至少包括肤色、发型、五官、肢体、身体轮廓，针对人体特征点自动提取视频中能够准确表达所述人体特征的图像质量高的关键帧图像，所述关键帧图像至少包括试衣者前、后、左、右四个面的图像。

作为优选的，步骤S30具体包括下述步骤：

S31，针对关键帧图像选取试衣者的原点坐标，提取人体特征点相对原点坐标的相对坐标，并在关键帧图像上进行标记；

S32，根据多张关键帧图像选取的原点坐标、相对坐标以及试衣者提供的身高、体重信息对人体特征点进行人体建模位置选取；

S33，通过所述人体建模位置选取建立相应的网格模型，并建立人体网格三维模型及其特征向量；

S34，将所述关键帧图像中的人体特征点对应坐标标记选取贴图到建立的人体网格三维模型相应坐标处；

S35，贴图完成得到人体三维模型。

作为优选的，步骤S30中在对人体特征点的选取时，需要对试衣者所穿衣服的所占空间位置进行剔除，具体包括下述方法：

根据多张关键帧图像识别提取衣服的数据，至少包括衣服的厚度、长度、颜色，根据提取的衣服数据建立所述衣服的网格模型，并获取所述衣服的形变特征向量；

获取所述人体三维模型的特征向量和所述衣服的形变特征向量之间的关系；

以此建立试衣者被所穿衣服遮挡的肢体部分的虚拟坐标。

作为优选的，步骤S40具体方法如下：

根据人体三维模型的尺寸自动筛选匹配数据库中尺寸最为符合的衣服；

在尺寸条件符合的情况下，至少还可以通过试衣者的发型、肤色条件进行筛选；

数据库中的衣服预先通过录入数据进行建模获得。

作为优选的，所述方法还包括：

试衣者可以自行选择数据库中的衣服进行换装，根据试衣者的人体三维模型会匹配所选取衣服最为合适的尺寸进行换装，并评估所选衣服的合适程度，并根据试衣者的肤色和发型为试衣者推荐最为合适的衣服颜色。

本发明还提出一种三维虚拟试衣系统，包括数据录入模块、图像处理模块、数字建模模块、数据存储模块，所述数据录入模块包括视频录入单元、图像录入单元以及文字录入单元，所述视频录入单元用于获取所述试衣者的三维图像视频，所述图像录入单元用于获取衣服的图像信息，所述文字录入单元用于录入至少包含试衣者的身高、体重信息，以及衣服的尺寸信息；

所述图像处理模块用于对所述数据录入模块的视频及图像信息进行识别处理；

所述数字建模模块用于对所述图像处理模块识别处理得到的数据进行数字建模；

所述数据存储模块用于对所述数据录入模块、图像处理模块、数字建模模块的数据进行存储。

作为优选的，所述图像处理模块用于对所述视频录入单元录入的视频信息中的人体特征点进行识别，并针对视频中的人体特征点识别自动提取所述视频的关键帧图像；

所述数字建模模块用于根据图像处理模块所提取的关键帧图像提取试衣者的人体特征点数据，构建试衣者的人体三维模型，并将关键帧图像中的人体特征点贴图匹配到所述人体三维模型。

作为优选的，所述系统还包括信息收发模块以及云端服务器，所述信息收发模块用于把所述数据存储模块中存储的所述数据录入模块、图像处理模块、数字建模模块的数据收发至所述云端服务器中进行处理。

与现有技术相比，本发明的有益效果是：

本发明通过获取包含试衣者全身的三维图像视频以及身高、体重信息，对视频信息进行人体特征点的识别并提取视频中的关键帧图像，根据关键帧图像获取试衣者的人体特征点数据，并根据试衣者提供的身高、体重信息作为参考以此构建试衣者的人体三维模型，能够真实模拟试衣者的身形并将关键帧图像中的人体特征点贴图匹配到人体三维模型，从而还原试衣者的外貌特征，再根据人体三维模型自动匹配最符合人体特征点的衣服，实现最贴合试衣者外形的虚拟试衣。

附图说明

图1为本发明三维虚拟试衣方法的流程图；

图2为本发明三维虚拟试衣系统的连接框图；

图中：10、数据录入模块；11、视频录入单元；12、图像录入单元；13、文字录入单元；20、图像处理模块；30、数字建模模块；40、数据存储模块；50、信息收发模块；60、云端服务器。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参阅图1，为解决上述技术问题，本发明提出一种三维虚拟试衣方法，包括下述步骤：

S10，获取拍摄有试衣者全身的三维图像视频以及试衣者的身高、体重信息；三维图像视频至少拍摄有试衣者前、后、左、右四个面的视频图像，以便于在后续构建人体三维模型时对特征点的提取，在本实施例中，步骤S10中的试衣者的三维图像视频可以是试衣者通过相机预先拍摄，也可以是根据应用程序进行实时拍摄，在实时拍摄时应用程序会开启语音提示试衣者的拍摄角度及拍摄动作，以保证视频拍摄的有效性，便于人体特征点的提取。也可以是其他获取方法。

S20，对视频中的人体特征点进行识别，针对视频中的人体特征点识别自动提取视频的关键帧图像；在本实施例中，步骤S20中人体特征点至少包括肤色、发型、五官、肢体、身体轮廓，对视频中的这些人体特征点进行识别，并针对人体特征点自动提取视频中能够准确表达人体特征的图像质量高的关键帧图像，必要时可以对关键帧图像利用超分辨率算法提高关键帧图像的图像质量，关键帧图像至少包括试衣者前、后、左、右四个面的图像，以准确表达特征点的在长宽高方向上的表达。

S30，根据关键帧图像提取试衣者的人体特征点数据，并根据试衣者提供的身高、体重信息构建试衣者的人体三维模型，将关键帧图像中的人体特征点贴图匹配到人体三维模型；

在本实施例中，步骤S30具体包括下述步骤：

S31，针对关键帧图像选取试衣者的原点坐标，提取人体特征点相对原点坐标的相对坐标，并在关键帧图像上进行标记；原点坐标的选取可以是针对人体拍摄位置选取某一个点，可以是以脚与地面接触的某个点，也可以是头顶的某个点，可以就实际图像情况进行选取，但针对多张不同关键帧图像的原点选取位置应一致，以此实现多张不同方向、不同角度下人体特征点的一致性，便于建立其之间的联系。针对原点坐标的建立，选取各个人体特征点相对于原点坐标的位置坐标，并在关键帧图像上对特征点标记相应的坐标；

S32，根据多张关键帧图像选取的原点坐标、相对坐标以及试衣者提供的身高、体重信息对人体特征点进行人体建模位置选取；结合多张关键帧图像的关于同一个人体特征点的位置标记，建立不同角度、不同方向的人体特征点之间的联系，实现人体特征点基于原点坐标的定位距离，再根据试衣者提供的身高、体重信息作为参考，计算得到人体特征点的平均坐标位置，并通过计算仿真模拟选取得到人体特征点的建模位置坐标；以此解决现有技术中存在的因为拍摄角度问题导致模拟出来的虚拟身形与试衣者的实际身形不一致的情况；

S33，通过人体建模位置选取建立相应的网格模型，并建立人体网格三维模型及其特征向量；

S34，将关键帧图像中的人体特征点对应坐标标记选取贴图到建立的人体网格三维模型相应坐标处；通过在关键帧图像中对人体特征点的坐标位置标记，通过图像处理对特征点进行抠图，并贴合到建立的人体网格三维模型的相应坐标处，在实际贴图运算中，对关键帧图像上的人体特征像素点进行跟踪提取，匹配人体网格三维模型的对应坐标进行贴合。

S35，贴图完成得到人体三维模型。

在本实施例中，步骤S30中在对人体特征点的选取时，需要对试衣者所穿衣服的所占空间位置进行剔除，具体包括下述方法：

根据多张关键帧图像识别提取衣服的数据，至少包括衣服的厚度、长度、颜色，根据提取的衣服数据建立衣服的网格模型，并获取衣服的形变特征向量；

获取人体三维模型的特征向量和衣服的形变特征向量之间的关系；

以此建立试衣者被所穿衣服遮挡的肢体部分的虚拟坐标，根据虚拟坐标建立被衣服遮挡肢体的相对原点坐标的位置坐标，避免因衣服遮挡导致试衣者身形模型建立不准确。

S40，根据人体三维模型自动匹配最符合人体特征点的衣服。

在本实施例中，步骤S40具体方法如下：

根据人体三维模型的尺寸自动筛选匹配数据库中尺寸最为符合的衣服；

在尺寸条件符合的情况下，至少还可以通过试衣者的发型、肤色条件进行筛选；

数据库中的衣服预先通过录入数据进行建模获得。

在本实施例中，三维虚拟试衣方法还包括：

试衣者可以自行选择数据库中的衣服进行换装，根据试衣者的人体三维模型会匹配所选取衣服最为合适的尺寸进行换装，并评估所选衣服的合适程度，并根据试衣者的肤色和发型为试衣者推荐最为合适的衣服颜色。

通过此方法能够真实模拟试衣者的身形并将关键帧图像中的人体特征点贴图匹配到人体三维模型，从而还原试衣者的外貌特征，再根据人体三维模型自动匹配最符合人体特征点的衣服，实现最贴合试衣者外形的虚拟试衣。

实施例2

请参阅图2，本发明还提出一种三维虚拟试衣系统，应用于实施例1所提出的一种三维虚拟试衣方法，包括数据录入模块10、图像处理模块20、数字建模模块30、数据存储模块40，所述数据录入模块10包括视频录入单元11、图像录入单元12以及文字录入单元13，所述视频录入单元11用于获取所述试衣者的三维图像视频，所述图像录入单元12用于获取衣服的图像信息，文字录入单元13用于录入至少包含试衣者的身高、体重信息，以及衣服的尺寸信息；

图像处理模块20用于对数据录入模块10的视频及图像信息进行识别处理；

数字建模模块30用于对所述图像处理模块20识别处理得到的数据进行数字建模；

数据存储模块40用于对数据录入模块10、图像处理模块20、数字建模模块30的数据进行存储。

在本实施例中，图像处理模块20用于对视频录入单元11录入的视频信息中的人体特征点进行识别，并针对视频中的人体特征点识别自动提取视频的关键帧图像；

数字建模模块30用于根据图像处理模块20所提取的关键帧图像提取试衣者的人体特征点数据，构建试衣者的人体三维模型，并将关键帧图像中的人体特征点贴图匹配到人体三维模型。

在本实施例中，系统还包括信息收发模块50以及云端服务器60，信息收发模块50用于把数据存储模块40中存储的所述数据录入模块10、图像处理模块20、数字建模模块30的数据收发至云端服务器60中进行处理，当数字建模运算量大时，可以转由云端服务器60进行处理，同时也可以方便试衣者通过云端服务器60查看存储的历史信息。

本发明通过获取包含试衣者全身的三维图像视频以及身高、体重信息，对视频信息进行人体特征点的识别并提取视频中的关键帧图像，根据关键帧图像获取试衣者的人体特征点数据，并根据试衣者提供的身高、体重信息作为参考以此构建试衣者的人体三维模型，能够真实模拟试衣者的身形并将关键帧图像中的人体特征点贴图匹配到人体三维模型，从而还原试衣者的外貌特征，再根据人体三维模型自动匹配最符合人体特征点的衣服，实现最贴合试衣者外形的虚拟试衣。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种三维虚拟试衣方法，其特征在于，所述方法包括下述步骤：

S10，获取拍摄有试衣者全身的三维图像视频以及试衣者的身高、体重信息；

S20，对所述视频中的人体特征点进行识别，针对视频中的人体特征点识别自动提取所述视频的关键帧图像；

S30，根据所述关键帧图像提取试衣者的人体特征点数据，并根据试衣者提供的身高、体重信息构建试衣者的人体三维模型，将关键帧图像中的人体特征点贴图匹配到所述人体三维模型；

S40，根据所述人体三维模型自动匹配最符合所述人体特征点的衣服。

2.根据权利要求1所述的三维虚拟试衣方法，其特征在于，所述步骤S10中的所述试衣者的三维图像视频可以是试衣者通过相机预先拍摄，也可以是根据应用程序进行实时拍摄，在实时拍摄时应用程序会开启语音提示试衣者的拍摄角度及拍摄动作。

3.根据权利要求1所述的三维虚拟试衣方法，其特征在于，所述步骤S20中所述人体特征点至少包括肤色、发型、五官、肢体、身体轮廓，针对人体特征点自动提取视频中能够准确表达所述人体特征的图像质量高的关键帧图像，所述关键帧图像至少包括试衣者前、后、左、右四个面的图像。

4.根据权利要求1所述的三维虚拟试衣方法，其特征在于，所述步骤S30具体包括下述步骤：

S31，针对关键帧图像选取试衣者的原点坐标，提取人体特征点相对原点坐标的相对坐标，并在关键帧图像上进行标记；

S32，根据多张关键帧图像选取的原点坐标、相对坐标以及试衣者提供的身高、体重信息对人体特征点进行人体建模位置选取；

S33，通过所述人体建模位置选取建立相应的网格模型，并建立人体网格三维模型及其特征向量；

S34，将所述关键帧图像中的人体特征点对应坐标标记选取贴图到建立的人体网格三维模型相应坐标处；

S35，贴图完成得到人体三维模型。

5.根据权利要求4所述的三维虚拟试衣方法，其特征在于，所述步骤S30中在对人体特征点的选取时，需要对试衣者所穿衣服的所占空间位置进行剔除，具体包括下述方法：

根据多张关键帧图像识别提取衣服的数据，至少包括衣服的厚度、长度、颜色，根据提取的衣服数据建立所述衣服的网格模型，并获取所述衣服的形变特征向量；

获取所述人体三维模型的特征向量和所述衣服的形变特征向量之间的关系；

以此建立试衣者被所穿衣服遮挡的肢体部分的虚拟坐标。

6.根据权利要求1所述的三维虚拟试衣方法，其特征在于，所述步骤S40具体方法如下：

根据人体三维模型的尺寸自动筛选匹配数据库中尺寸最为符合的衣服；

在尺寸条件符合的情况下，至少还可以通过试衣者的发型、肤色条件进行筛选；

数据库中的衣服预先通过录入数据进行建模获得。

7.根据权利要求6所述的三维虚拟试衣方法，其特征在于，所述方法还包括：

试衣者可以自行选择数据库中的衣服进行换装，根据试衣者的人体三维模型会匹配所选取衣服最为合适的尺寸进行换装，并评估所选衣服的合适程度，并根据试衣者的肤色和发型为试衣者推荐最为合适的衣服颜色。

8.一种三维虚拟试衣系统，其特征在于，包括数据录入模块、图像处理模块、数字建模模块、数据存储模块，所述数据录入模块包括视频录入单元、图像录入单元以及文字录入单元，所述视频录入单元用于获取所述试衣者的三维图像视频，所述图像录入单元用于获取衣服的图像信息，所述文字录入单元用于录入至少包含试衣者的身高、体重信息，以及衣服的尺寸信息；

所述图像处理模块用于对所述数据录入模块的视频及图像信息进行识别处理；

所述数字建模模块用于对所述图像处理模块识别处理得到的数据进行数字建模；

所述数据存储模块用于对所述数据录入模块、图像处理模块、数字建模模块的数据进行存储。

9.根据权利要求8所述的一种三维虚拟试衣系统，其特征在于，所述图像处理模块用于对所述视频录入单元录入的视频信息中的人体特征点进行识别，并针对视频中的人体特征点识别自动提取所述视频的关键帧图像；

所述数字建模模块用于根据图像处理模块所提取的关键帧图像提取试衣者的人体特征点数据，构建试衣者的人体三维模型，并将关键帧图像中的人体特征点贴图匹配到所述人体三维模型。

10.根据权利要求8所述的一种三维虚拟试衣系统，其特征在于，所述系统还包括信息收发模块以及云端服务器，所述信息收发模块用于把所述数据存储模块中存储的所述数据录入模块、图像处理模块、数字建模模块的数据收发至所述云端服务器中进行处理。