CN109740529A - 一种基于神经网络绘图的虚拟试衣方法 - Google Patents
一种基于神经网络绘图的虚拟试衣方法 Download PDFInfo
- Publication number
- CN109740529A CN109740529A CN201811653104.7A CN201811653104A CN109740529A CN 109740529 A CN109740529 A CN 109740529A CN 201811653104 A CN201811653104 A CN 201811653104A CN 109740529 A CN109740529 A CN 109740529A
- Authority
- CN
- China
- Prior art keywords
- neural network
- clothing
- image
- data
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Analysis (AREA)
Abstract
一种基于神经网络绘图的虚拟试衣方法，包括如下步骤：(1)对训练的数据样本进行收集和处理；(2)处理单人物和单衣物的图像样本；(3)校验训练样本数据；(4)神经网络进行训练；(5)得到对应衣物的虚拟试衣模型。本发明中使用了数字图像到数字图像的直接虚拟试衣方法，将中间绘制步骤交由神经网络进行推断，相比于基于图像的合成和拼接的方式更具真实性和参考性；采用的神经网络的模型训练和使用方法简单，不需要通过各种复杂的处理和合成，适用范围更广泛；相比于3D建模的方法，本发明可以节省因为3D建模中消耗的资源和时间，拥有更高的效率；对运行设备的要求程度比3D建模的更低。
Description
技术领域
本发明涉及虚拟试衣技术领域，具体涉及一种基于神经网络绘图的虚拟试衣方法。
背景技术
虚拟试衣技术指的是在数字图像或者3D模型中利用相关的处理技术对图像或者模型中的人体衣物进行处理，以达到更换服饰的视觉效果。目前虚拟试衣的方式基本分为图像衣物更换处理和基于3D建模的衣物更换处理。
在数字图像的虚拟试衣中，通常做法是利用数字图像拼接、合成、特效处理结合得到最终的效果图。如将从一幅包含特定衣物的图像中提取衣物以拼接到目标人体图像中，通过数字图像的颜色混合和滤镜特效处理使得其过度自然和合理。这种做法基于图像的拼接合成，得到的效果是极其有限的，因为真实的世界中人体与衣物之间有各种尺寸匹配、比例等之间的关系，使用这种方法也无法拟合人体多姿态下的衣物合成效果。
使用3D建模的方式则更为高效和获得更佳的拟合效果，例如通过扫描人体的比例数据或者手动输入这些数据，根据不同人体的比例数据对该人体进行3D模型建立。同时建立衣物的3D模型，利用人体比例数据和衣物的比例数据进行计算，在3D世界坐标系中匹配衣物与人体之间的关系，达到虚拟试衣的效果。这种方案比基于数字图像的合成方法在效果上有更佳真实的效果，并且对于真实穿衣也有一定的模拟参考度。但是使用3D建模的方式，一方面建立3D模型会耗费很多CPU时间，另外在3D模型的混合处理以及效果渲染中对硬件要求也很高，限定了其应用的范畴。并且3D建模的方式总是很难真实的反应与现实世界中的各种光照效果和场景变化的穿衣复杂性，在真实性上会大打折扣。
随着深度学习的不断深入发展，其神经网络的解决方法应用的范畴也越来越广泛。本发明基于神经网络的方式构造一种更好和更直观的虚拟试衣解决方案。
发明内容
基于此，本发明在于克服现有技术的缺陷，提供一种基于神经网络绘图的虚拟试衣方法，相比于基于图像的合成和拼接的方式更具真实性和参考性。
为实现上述目的，本发明可以通过以下技术方案予以实现：
一种基于神经网络绘图的虚拟试衣方法，包括如下步骤：
(1)对训练的数据样本进行收集和处理：在神经网络训练前，先对训练的数据样本进行收集和处理，其中包含试衣效果图、单任务图像、单衣物图像的数据样本收集和处理；
(2)处理单人物和单衣物的图像样本：根据步骤(1)中得到的神经网络训练数据样本中，处理单人物和单衣物的图像样本，使得对应的图像中仅有效的包含其中人体部分或者衣物部分，其他区域的图像数据值均值为0；
(3)校验训练样本数据：针对每件衣物进行训练特定的卷积神经网络模型，纯卷积神经网络指的是在该神经网络结构中不包含全连接神经网络层；并校验训练样本数据，使输出层的输出结果和输入层的输入保持一致；
(4)神经网络进行训练：根据步骤(2)中处理后的数据，对步骤(3)中构建的神经网络进行训练，得到神经网络模型文件；
(5)得到对应衣物的虚拟试衣模型：在使用阶段输入与步骤(2)中处理方式一致的单人物图像与对应衣物的图像数据，则通过神经网络计算得到最终的试衣效果图。
进一步地，步骤(1)中，所述试衣效果图指的是在训练神经网络过程中，作为监督学习的目标让神经网络进行学习的标签数据；针对一件衣物的模型，其试衣效果图是指人物在真实世界中穿上该衣物进行拍摄的照片。
进一步地，步骤(1)中，所述单人物图像是指在该类图像中只能包含单个人物，并且该人物应该与对应的试衣效果图中的人物在姿态动作上应该保持一致；在训练的过程中将会作为其中一个样本进行输入神经网络训练处理。
进一步地，步骤(1)中，所述单衣物图像是指在该类图像中只能包含单件衣物，并且该衣物应该与对应的试衣效果图的衣物应该是一致的；在训练神经网络的过程中该类图片将会以其中一个样本的方式输入到神经网络中训练处理。
进一步地，步骤(3)中，卷积神经网络有效的提取数字图像中的相关特征，通过权重和偏置与图像像素之间的运算得到最终的结果。
进一步地，步骤(4)中，所述输入层的输入为样本数据中的单人物图像组合和单衣物图像组合，作为监督学习的标签数据则为其对应的试衣效果图。
进一步地，步骤(4)中，训练的神经网络模型文件仅仅是对于一件衣物有效的模型，不同的衣物试衣效果需要训练不同的神经网络模型。
进一步地，所述虚拟试衣的场景是在单张数字图像中，该数字图像要求为服从RGB颜色空间分布的数字图像。
本发明的有益效果是：
1、本发明中使用了数字图像到数字图像的直接虚拟试衣方法，将中间绘制步骤交由神经网络进行推断，相比于基于图像的合成和拼接的方式更具真实性和参考性；
2、本发明采用的神经网络的模型训练和使用方法简单，不需要通过各种复杂的处理和合成，适用范围更广泛；
3、相比于3D建模的方法，本发明可以节省因为3D建模中消耗的资源和时间，拥有更高的效率；对运行设备的要求程度比3D建模的更低。
附图说明
图1为本发明实施例神经网络的模型训练的流程图；
图2为本发明实施例神经网络的模型使用流程图(虚拟试衣流程)。
具体实施方式
为了使本发明专利的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明专利进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明专利，并不用于限定本发明专利。
实施例：
如图1、图2所示，一种基于神经网络绘图的虚拟试衣方法，包括如下步骤：
(1)对训练的数据样本进行收集和处理：在神经网络训练前，先对训练的数据样本进行收集和处理，其中包含了3类数据样本的收集；
①试衣效果图：试衣效果图指的是在训练神经网络过程中，作为监督学习的目标让神经网络进行学习的标签数据；针对一件衣物的模型，其试衣效果图是指人物在真实世界中穿上该衣物进行拍摄的照片。
②单人物图像：在该类图像中只能包含单个人物，并且该人物应该与对应的试衣效果图中的人物在姿态动作上应该保持一致；在训练的过程中将会作为其中一个样本进行输入神经网络训练处理。
③单衣物图像：在该类图像中只能包含单件衣物，并且该衣物应该与对应的试衣效果图的衣物应该是一致的；在训练神经网络的过程中该类图片将会以其中一个样本的方式输入到神经网络中训练处理。
以上3中数字图像样本数据供收集n组，那么训练样本的基数即为n组包含上面3种图像的数据样本。
(2)处理单人物和单衣物的图像样本：根据步骤(1)中得到的神经网络训练数据样本中，处理单人物和单衣物的图像样本，使得对应的图像中仅有效的包含其中人体部分或者衣物部分，其他区域的图像数据值均值为0；这样确保在训练阶段有效的减少因为图像中的不必要复杂背景等因素影响神经网络的学习能力，从而导致整体效果下降。
(3)校验训练样本数据：针对每件衣物进行训练特定的卷积神经网络模型。具体地说，是针对每件衣服都4.构建一个纯卷积神经网络，纯卷积神经网络指的是在该神经网络结构中不包含全连接神经网络层；并校验训练样本数据，使输出层的输出结果和输入层的输入保持一致；如输入层是一个256x 256的RGB序列图像数据，则神经网络输出层的结果也为256x 256的RGB序列图像数据；在这样的神经网络结构中，其过程相当于利用其进行对最终效果的绘制。具体地，卷积神经网络有效的提取数字图像中的相关特征，通过权重和偏置与图像像素之间的运算得到最终的结果。
(4)神经网络进行训练：根据步骤(2)中处理后的数据，对步骤(3)中构建的神经网络进行训练，得到神经网络模型文件；具体地说，步骤(3)中的神经网络的输入为样本数据中的单人物图像组合和单衣物图像组合，作为监督学习的标签数据则为其对应的试衣效果图；根据这样的数据对步骤(3)中构建的神经网络进行训练，得到神经网络模型文件。
(5)步骤(4)中训练的神经网络模型文件仅仅是对于一件衣物有效的模型，不同的衣物试衣效果需要训练不同的神经网络模型。
(6)得到对应衣物的虚拟试衣模型：在使用阶段输入与步骤(2)中处理方式一致的单人物图像与对应衣物的图像数据，则通过神经网络计算得到最终的试衣效果图。
具体地，本实施例中用神经网络中的卷积神经网络进行对虚拟试衣的实现。在本发明中虚拟试衣的场景是在单张数字图像中，该数字图像要求为服从RGB颜色空间分布的数字图像。卷积神经网络能够有效的提取数字图像中的相关特征，通过权重和偏置与图像像素之间的运算得到最终的结果。
注：神经网络通常用来解决对于某些数据的分类、推断、预测等应用，通过不同维度之间的数据特征以及监督学习的方法使得最终得到的神经网络模型能够拟合特定应用场景下数据推测。
本发明的有益效果是：
1、本发明中使用了数字图像到数字图像的直接虚拟试衣方法，将中间绘制步骤交由神经网络进行推断，相比于基于图像的合成和拼接的方式更具真实性和参考性；
2、本发明采用的神经网络的模型训练和使用方法简单，不需要通过各种复杂的处理和合成，适用范围更广泛；
3、相比于3D建模的方法，本发明可以节省因为3D建模中消耗的资源和时间，拥有更高的效率；对运行设备的要求程度比3D建模的更低。
以上所述实施例及其他图例仅表达了本发明的一种实施方式，只是在于说明而不是限制本发明。对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。因此，本发明的保护范围应以所附权利要求为准。
Claims (8)
1.一种基于神经网络绘图的虚拟试衣方法，其特征在于，包括如下步骤：
(1)对训练的数据样本进行收集和处理：在神经网络训练前，先对训练的数据样本进行收集和处理，其中包含试衣效果图、单任务图像、单衣物图像的数据样本收集和处理；
(2)处理单人物和单衣物的图像样本：根据步骤(1)中得到的神经网络训练数据样本中，处理单人物和单衣物的图像样本，使得对应的图像中仅有效的包含其中人体部分或者衣物部分，其他区域的图像数据值均值为0；
(3)校验训练样本数据：针对每件衣物进行训练特定的卷积神经网络模型，纯卷积神经网络指的是在该神经网络结构中不包含全连接神经网络层；并校验训练样本数据，使输出层的输出结果和输入层的输入保持一致；
(4)神经网络进行训练：根据步骤(2)中处理后的数据，对步骤(3)中构建的神经网络进行训练，得到神经网络模型文件；
(5)得到对应衣物的虚拟试衣模型：在使用阶段输入与步骤(2)中处理方式一致的单人物图像与对应衣物的图像数据，则通过神经网络计算得到最终的试衣效果图。
2.根据权利要求1所述的一种基于神经网络绘图的虚拟试衣方法，其特征在于：步骤(1)中，所述试衣效果图指的是在训练神经网络过程中，作为监督学习的目标让神经网络进行学习的标签数据；针对一件衣物的模型，其试衣效果图是指人物在真实世界中穿上该衣物进行拍摄的照片。
3.根据权利要求1所述的一种基于神经网络绘图的虚拟试衣方法，其特征在于：步骤(1)中，所述单人物图像是指在该类图像中只能包含单个人物，并且该人物应该与对应的试衣效果图中的人物在姿态动作上应该保持一致；在训练的过程中将会作为其中一个样本进行输入神经网络训练处理。
4.根据权利要求1所述的一种基于神经网络绘图的虚拟试衣方法，其特征在于：步骤(1)中，所述单衣物图像是指在该类图像中只能包含单件衣物，并且该衣物应该与对应的试衣效果图的衣物应该是一致的；在训练神经网络的过程中该类图片将会以其中一个样本的方式输入到神经网络中训练处理。
5.根据权利要求1所述的一种基于神经网络绘图的虚拟试衣方法，其特征在于：步骤(3)中，卷积神经网络有效的提取数字图像中的相关特征，通过权重和偏置与图像像素之间的运算得到最终的结果。
6.根据权利要求1所述的一种基于神经网络绘图的虚拟试衣方法，其特征在于：步骤(4)中，所述输入层的输入为样本数据中的单人物图像组合和单衣物图像组合，作为监督学习的标签数据则为其对应的试衣效果图。
7.根据权利要求1所述的一种基于神经网络绘图的虚拟试衣方法，其特征在于：步骤(4)中，训练的神经网络模型文件仅仅是对于一件衣物有效的模型，不同的衣物试衣效果需要训练不同的神经网络模型。
8.根据权利要求1所述的一种基于神经网络绘图的虚拟试衣方法，其特征在于：所述虚拟试衣的场景是在单张数字图像中，该数字图像要求为服从RGB颜色空间分布的数字图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811653104.7A CN109740529A (zh) | 2018-12-29 | 2018-12-29 | 一种基于神经网络绘图的虚拟试衣方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811653104.7A CN109740529A (zh) | 2018-12-29 | 2018-12-29 | 一种基于神经网络绘图的虚拟试衣方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109740529A true CN109740529A (zh) | 2019-05-10 |
Family
ID=66362990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811653104.7A Withdrawn CN109740529A (zh) | 2018-12-29 | 2018-12-29 | 一种基于神经网络绘图的虚拟试衣方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109740529A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110852941A (zh) * | 2019-11-05 | 2020-02-28 | 中山大学 | 一种基于神经网络的二维虚拟试衣方法 |
| CN111787242A (zh) * | 2019-07-17 | 2020-10-16 | 北京京东尚科信息技术有限公司 | 用于虚拟试衣的方法和装置 |
| CN112884638A (zh) * | 2021-02-02 | 2021-06-01 | 北京东方国信科技股份有限公司 | 虚拟试衣方法及装置 |
| CN114663552A (zh) * | 2022-05-25 | 2022-06-24 | 武汉纺织大学 | 一种基于2d图像的虚拟试衣方法 |
-
2018
- 2018-12-29 CN CN201811653104.7A patent/CN109740529A/zh not_active Withdrawn
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111787242A (zh) * | 2019-07-17 | 2020-10-16 | 北京京东尚科信息技术有限公司 | 用于虚拟试衣的方法和装置 |
| CN111787242B (zh) * | 2019-07-17 | 2021-12-07 | 北京京东尚科信息技术有限公司 | 用于虚拟试衣的方法和装置 |
| US11935167B2 (en) | 2019-07-17 | 2024-03-19 | Reling Jingdong Shangke Information Technology Co., Ltd. | Method and apparatus for virtual fitting |
| CN110852941A (zh) * | 2019-11-05 | 2020-02-28 | 中山大学 | 一种基于神经网络的二维虚拟试衣方法 |
| CN110852941B (zh) * | 2019-11-05 | 2023-08-01 | 中山大学 | 一种基于神经网络的二维虚拟试衣方法 |
| CN112884638A (zh) * | 2021-02-02 | 2021-06-01 | 北京东方国信科技股份有限公司 | 虚拟试衣方法及装置 |
| CN112884638B (zh) * | 2021-02-02 | 2024-08-20 | 北京东方国信科技股份有限公司 | 虚拟试衣方法及装置 |
| CN114663552A (zh) * | 2022-05-25 | 2022-06-24 | 武汉纺织大学 | 一种基于2d图像的虚拟试衣方法 |
| CN114663552B (zh) * | 2022-05-25 | 2022-08-16 | 武汉纺织大学 | 一种基于2d图像的虚拟试衣方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109740529A (zh) | 一种基于神经网络绘图的虚拟试衣方法 | |
| Choutas et al. | Accurate 3D body shape regression using metric and semantic attributes | |
| CN105069746B (zh) | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统 | |
| CN105574827B (zh) | 一种图像去雾的方法、装置 | |
| CN109376582A (zh) | 一种基于生成对抗网络的交互式人脸卡通方法 | |
| CN107292813A (zh) | 一种基于生成对抗网络的多姿态人脸生成方法 | |
| CN107563381A (zh) | 基于全卷积网络的多特征融合的目标检测方法 | |
| CN106326939A (zh) | 卷积神经网络的参数优化方法及系统 | |
| CN103914699A (zh) | 一种基于色彩空间的自动唇彩的图像增强的方法 | |
| CN107993238A (zh) | 一种基于注意力模型的头肩部分图像分割方法及装置 | |
| CN107886061A (zh) | 基于多模态深度玻尔兹曼机的人体行为识别方法及系统 | |
| CN106127702A (zh) | 一种基于深度学习的图像去雾算法 | |
| CN110310319A (zh) | 光照分离的单视角人体服装几何细节重建方法及装置 | |
| CN109558806A (zh) | 高分遥感图像变化的检测方法和系统 | |
| CN107390573A (zh) | 基于手势控制的智能轮椅系统及控制方法 | |
| CN107343225B (zh) | 在视频图像中展示业务对象的方法、装置和终端设备 | |
| CN109559358A (zh) | 一种基于卷积自编码的图像样本升采样方法 | |
| CN106780434A (zh) | 水下图像视觉质量评价方法 | |
| CN108803874A (zh) | 一种基于机器视觉的人机行为交互方法 | |
| CN105160346B (zh) | 一种基于纹理和分布特征的舌苔腐腻识别方法 | |
| CN107748798A (zh) | 一种基于多层视觉表达和深度网络的手绘图像检索方法 | |
| CN110334719A (zh) | 一种提取遥感影像中建筑物图像的方法及系统 | |
| CN101894263A (zh) | 基于水平集和局部敏感判别映射的植物物种计算机辅助分类系统及分类方法 | |
| CN107301626A (zh) | 一种适合移动设备拍摄图像的磨皮算法 | |
| CN107154058A (zh) | 一种引导使用者还原魔方的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190510 |
|
| WW01 | Invention patent application withdrawn after publication |