CN108734787A - 一种基于多姿态和部位分解的图片合成虚拟试衣方法 - Google Patents
一种基于多姿态和部位分解的图片合成虚拟试衣方法 Download PDFInfo
- Publication number
- CN108734787A CN108734787A CN201810450365.2A CN201810450365A CN108734787A CN 108734787 A CN108734787 A CN 108734787A CN 201810450365 A CN201810450365 A CN 201810450365A CN 108734787 A CN108734787 A CN 108734787A
- Authority
- CN
- China
- Prior art keywords
- picture
- clothing
- human body
- pose
- fit method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/16—Cloth
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种基于多姿态和部位分解的图片合成虚拟试衣方法，使用多姿态和部位的分解来进行合成，能够更真实的达到虚拟试衣的效果，而不是单纯的将整张衣物图片进行简单的合成。相对于3D建模的方法，本方法拥有更加高的执行效率，可以实现在普通的移动终端中进行实习情况下的体验；并且免去了3D建模的复杂工作程序，大大增强实用性和简便性。
Description
技术领域
本发明涉及一种基于多姿态和部位分解的图片合成虚拟试衣方法。
背景技术
随着虚拟技术的普遍和实现，越来越多的物品提供了虚拟实现的方案。在虚拟试衣领域中现在普遍存在两种可行的方案，一种是基于图片的拼接技术，就是将衣物的图片通过合成的方法拼接到人体位置中达到目的。这种方法实现的效果生硬，只是简单的图片拼接合成，对于虚拟试衣没有实用性的体验和参考价值。另一种方法是通过3D建模的方案进行实现，通过对人体3D建模和衣物进行3D建模，通过3D物体渲染的方法实现试衣的视觉效果。这种方法能够达到较好的试衣效果和吻合程度。不过该方法由于需要3D建模和3D物体渲染，会消耗较多的资源，特别是在移动设备终端(如手机、相机等)中每创建和渲染一次均需要消耗大量的软件系统资源。另外由于每个衣物均需要建模，在衣物添加上面增大了适用的难度。
发明内容
针对上述问题，本发明的首要目的是提供一种基于多姿态和部位分解的图片合成虚拟试衣方法。
为解决上述技术问题，本发明所采用的技术方案是：
一种基于多姿态和部位分解的图片合成虚拟试衣方法，包括以下步骤：
1)针对衣物进行多角度拍摄采集衣物图片，以备后续使用；
2)相机采集到需要进行虚拟试衣的全身人体的照片，调用人体识别系统对人体进行定位，并返回人体每个部位的定位信息和关键点，以此来对人体部位进行基本划分；
3)调用人体姿态预测系统，对步骤2)中的人体照片进行部位姿态的预测；
4)以单个部位为基础对步骤1)中的对应部位和对应姿态的图片进行处理；
5)将步骤4)中部位图片利用图片合成的方法合成到步骤2)中的照片中；
6)计算图片合成后每个部位对应衣物的衔接情况，利用每个部位的坐标信息和衣物部位的大小来计算每个部位中的衣物是否已经充分的衔接；
7)修复步骤6)中计算得到的衔接不连贯的地方；
8)完成处理，得到虚拟试衣的效果。
本发明提供基于多姿态和部位分解的图片合成虚拟试衣方法使用多姿态和部位的分解来进行合成，能够更真实的达到虚拟试衣的效果，而不是单纯的将整张衣物图片进行简单的合成。相对于3D建模的方法，本方法拥有更加高的执行效率，可以实现在普通的移动终端中进行实习情况下的体验；并且免去了3D建模的复杂工作程序，大大增强实用性和简便性。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例部位结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
结合图1所示，一种基于多姿态和部位分解的图片合成虚拟试衣方法，详细的实现如下。
1.针对衣物(单件)进行多角度拍摄采集衣物图片。详细的实施方法是将衣物穿在指定的模特身上，在光线充足的环境中对附表1中的每个部位进行衣物图片的采集。其中每个部位均需要采集每种姿态(如该部位的伸展姿态，弯曲姿态，旋转姿态等)下的素材图片并根据姿态的不同进行分类和标号，以备后续使用。
2.相机采集到需要进行虚拟试衣的全身人体的照片，调用人体识别系统对人体进行定位，并返回人体每个部位的定位信息和关键点，以此来对人体部位进行基本划分。
3.调用人体姿态预测系统，对步骤(2)中的人体照片进行部位姿态的预测，部位按照附表1中的进行确定。
4.以单个部位为基础对步骤(1)中的对应部位和对应姿态的图片进行处理(如尺寸大小的缩放，旋转，翻转等)。
5.将步骤(4)中部位图片利用图片合成的方法合成到步骤(2)中的照片中。
6.计算图片合成后每个部位对应衣物的衔接情况。主要是利用每个部位的坐标信息和衣物部位的大小来计算每个部位中的衣物是否已经充分的衔接。
7.修复步骤(6)中计算得到的衔接不连贯的地方。在该缺失衔接的位置使用两边衣物的像素利用《An Image Inpainting Technique Based On the Fast MarchingMethod》(J.Graphics Tools,vol.9,no.1,pp.25-36,2004)论文中的方法进行修复。
8.完成处理，得到虚拟试衣的效果。
本方法的主要优点对比：本方法使用多姿态和部位的分解来进行合成，能够更真实的达到虚拟试衣的效果，而不是单纯的将整张衣物图片进行简单的合成。相对于3D建模的方法，本方法拥有更加高的执行效率，可以实现在普通的移动终端中进行实习情况下的体验；并且免去了3D建模的复杂工作程序，大大增强实用性和简便性。
附表1.人体部位划分
| 部位 | 说明 |
| 颈部 | 颈部位置 |
| 上胸部 | 胸至颈部位置 |
| 上腹部 | 胸部至腰部位置 |
| 腰腹部 | 下腹部和腰部 |
| 右肩部 | 右肩部和部位上臂 |
| 左肩部 | 左肩部和部位上臂 |
| 右上臂 | 右手上臂 |
| 左上臂 | 左手上臂 |
| 右肘关节部 | 右手肘关节部位 |
| 左肘关节部 | 左手肘关节部位 |
| 右小臂部 | 右手小臂部分 |
| 左小臂部 | 左手小臂部分 |
| 右大腿部 | 右大腿部分 |
| 左大腿部 | 左大腿部分 |
| 右膝盖部 | 右脚膝盖部分 |
| 左膝盖部 | 左脚膝盖部分 |
| 右小腿部 | 右脚小腿部分 |
| 左小腿部 | 左脚小腿部分 |
| 右跟腱部 | 右脚跟腱部分 |
| 左跟腱部 | 左脚跟腱部分 |
| 右脚部 | 右脚 |
| 左脚部 | 左脚 |
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于多姿态和部位分解的图片合成虚拟试衣方法，其特征在于包括以下步骤：
1)针对衣物进行多角度拍摄采集衣物图片，以备后续使用；
2)相机采集到需要进行虚拟试衣的全身人体的照片，调用人体识别系统对人体进行定位，并返回人体每个部位的定位信息和关键点，以此来对人体部位进行基本划分；
3)调用人体姿态预测系统，对步骤2)中的人体照片进行部位姿态的预测；
4)以单个部位为基础对步骤1)中的对应部位和对应姿态的图片进行处理；
5)将步骤4)中部位图片利用图片合成的方法合成到步骤2)中的照片中；
6)计算图片合成后每个部位对应衣物的衔接情况，利用每个部位的坐标信息和衣物部位的大小来计算每个部位中的衣物是否已经充分的衔接；
7)修复步骤6)中计算得到的衔接不连贯的地方；
8)完成处理，得到虚拟试衣的效果。
2.根据权利要求1所述的一种基于多姿态和部位分解的图片合成虚拟试衣方法，其特征在于：
所述步骤1)中，是将衣物穿在指定的模特身上，对每个部位进行衣物图片的采集，其中每个部位均需要采集每种姿态下的素材图片并根据姿态的不同进行分类和标号。
3.根据权利要求1所述的一种基于多姿态和部位分解的图片合成虚拟试衣方法，其特征在于：
所述步骤4)中的处理包括缩放、旋转、翻转。
4.根据权利要求1所述的一种基于多姿态和部位分解的图片合成虚拟试衣方法，其特征在于：
所述步骤7)中的修复是将衔接不连贯的地方使用两边衣物的像素进行修复。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810450365.2A CN108734787A (zh) | 2018-05-11 | 2018-05-11 | 一种基于多姿态和部位分解的图片合成虚拟试衣方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810450365.2A CN108734787A (zh) | 2018-05-11 | 2018-05-11 | 一种基于多姿态和部位分解的图片合成虚拟试衣方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108734787A true CN108734787A (zh) | 2018-11-02 |
Family
ID=63937275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810450365.2A Withdrawn CN108734787A (zh) | 2018-05-11 | 2018-05-11 | 一种基于多姿态和部位分解的图片合成虚拟试衣方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108734787A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021008166A1 (zh) * | 2019-07-17 | 2021-01-21 | 北京京东尚科信息技术有限公司 | 用于虚拟试衣的方法和装置 |
-
2018
- 2018-05-11 CN CN201810450365.2A patent/CN108734787A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021008166A1 (zh) * | 2019-07-17 | 2021-01-21 | 北京京东尚科信息技术有限公司 | 用于虚拟试衣的方法和装置 |
| US11935167B2 (en) | 2019-07-17 | 2024-03-19 | Reling Jingdong Shangke Information Technology Co., Ltd. | Method and apparatus for virtual fitting |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599540B (zh) | 多视点相机下的实时三维人体体型与姿态重建方法及装置 | |
| US9940727B2 (en) | Three-dimensional modeling from wide baseline range scans | |
| CN107564080B (zh) | 一种人脸图像的替换系统 | |
| KR101711736B1 (ko) | 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법 | |
| US8922547B2 (en) | 3D model shape transformation method and apparatus | |
| CN107610202B (zh) | 人脸图像替换方法、设备及存储介质 | |
| WO2012077286A1 (ja) | 物体検出装置および物体検出方法 | |
| CN111932678B (zh) | 多视点实时人体运动、手势、表情、纹理重建系统 | |
| CN107688391A (zh) | 一种基于单目视觉的手势识别方法和装置 | |
| CN103578135A (zh) | 虚拟影像与真实场景相结合的舞台交互集成系统及实现方法 | |
| CN110096925A (zh) | 人脸表情图像的增强方法、获取方法和装置 | |
| TW202133151A (zh) | 圖像處理方法、裝置、電腦設備及存儲介質 | |
| CN104167016A (zh) | 一种基于rgb彩色与深度图像的三维运动重建方法 | |
| Xu et al. | 3d virtual garment modeling from rgb images | |
| CN108170166A (zh) | 机器人的跟随控制方法及其智能装置 | |
| JP2015028702A (ja) | 情報処理装置、情報処理方法およびプログラム | |
| CN203630822U (zh) | 虚拟影像与真实场景相结合的舞台交互集成系统 | |
| KR20210068336A (ko) | 객체 동작 기반의 애니메이션을 생성하는 장치 및 방법 | |
| CN108734787A (zh) | 一种基于多姿态和部位分解的图片合成虚拟试衣方法 | |
| JP2022512262A (ja) | 画像処理方法及び装置、画像処理機器並びに記憶媒体 | |
| KR20200078258A (ko) | 관절 모델 정합 장치 및 방법 | |
| CN108027647A (zh) | 用于与虚拟对象交互的方法和设备 | |
| CN114529653A (zh) | 一种图像生成方法、装置、设备和存储介质 | |
| CN110175629B (zh) | 一种人体动作相似度计算方法及装置 | |
| CN111402362B (zh) | 虚拟服装的调整方法、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20181102 |