CN112884638A - 虚拟试衣方法及装置 - Google Patents
虚拟试衣方法及装置 Download PDFInfo
- Publication number
- CN112884638A CN112884638A CN202110146096.2A CN202110146096A CN112884638A CN 112884638 A CN112884638 A CN 112884638A CN 202110146096 A CN202110146096 A CN 202110146096A CN 112884638 A CN112884638 A CN 112884638A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- fitted
- original
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000000007 visual effect Effects 0.000 claims abstract description 116
- 239000013589 supplement Substances 0.000 claims abstract description 46
- 230000000694 effects Effects 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims description 55
- 238000000605 extraction Methods 0.000 claims description 35
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 6
- 230000001502 supplementing effect Effects 0.000 claims description 6
- 230000009469 supplementation Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 description 11
- 230000001815 facial effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种虚拟试衣方法及装置，其方法包括：根据待试衣对象原始视角的原始图像，获取待试衣对象的三维模型，并基于待试衣对象的三维模型，获取待试衣对象多个目标视角的模型图像；根据原始图像，分别对每一模型图像进行细节补充，获得待试衣对象多个目标视角的补全图像；对于每一目标视角，将每一目标视角的补全图像和每一目标视角的待试衣物图像输入虚拟试衣模型，获取待试衣对象每一目标视角的虚拟试衣效果图像。本发明提供的虚拟试衣方法及装置，能基于一张待试衣对象的原始图像，获取待试衣对象多个目标视角的虚拟试衣效果图，能快速、低成本以及全面的展示待试衣对象的试衣效果，能实现更简单的多视角虚拟试衣。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种虚拟试衣方法及装置。
背景技术
虚拟试衣是指不需要用户真正换装，而是通过计算机视觉技术就能生成参考人像在指定姿态下试穿指定衣服的图像，实现用户虚拟试穿衣服效果。虚拟试衣技术的出现给用户提供了方便快捷的试衣体验，使得人们的传统试衣方式发生了极大的变化，用户无需真正换装就可以体验到潮流与时尚，可以帮助提高用户挑选与购买服装的效率，提高用户的购物体验。
现有技术中，通过基于深度学习的神经网络模型，可以将一张图片中的服装，渲染至一张待试衣对象的图片上，从而实现对待试衣对象的虚拟试衣。但是，仅通过待试衣对象单一视角的试衣效果图难以体现待试衣对象虚拟试衣时的临场感和真实感，且难以贴近实际试穿衣服的效果。若想要通过现有技术获取待试衣对象更多视角的虚拟试衣效果图，则需要获取待试衣对象多个视角的图片，并分别将对应视角的服装渲染至每一张待试衣对象的图片上，从而可以获取待试衣对象多个视角的虚拟试衣效果图，多视角的虚拟试衣过程较繁琐。
发明内容
本发明提供一种虚拟试衣方法及装置用以解决现有技术中多视角的虚拟试衣过程较繁琐的缺陷，实现更简单的多视角虚拟试衣。
本发明提供一种虚拟试衣方法，包括：根据待试衣对象原始视角的原始图像，获取所述待试衣对象的三维模型，并基于所述待试衣对象的三维模型，获取所述待试衣对象多个目标视角的模型图像；
根据所述原始图像，分别对每一所述模型图像进行细节补充，获得所述待试衣对象所述多个目标视角的补全图像；
对于每一目标视角，将所述每一目标视角的所述补全图像和所述每一目标视角的待试衣物图像输入虚拟试衣模型，获取所述待试衣对象所述每一目标视角的虚拟试衣效果图像；
其中，所述虚拟试衣模型是基于多个样本图像组及所述样本图像组对应的标签进行训练后得到的；每一所述样本图像组包括第一人物样本训练视角的图像和衣物样本所述训练视角的图像；所述样本图像组对应的标签为所述第一人物样本试穿所述衣物样本所述训练视角的图像。
根据本发明提供的一种虚拟试衣方法，所述根据所述原始图像，分别对每一所述模型图像进行细节补充，获得所述待试衣对象所述多个目标视角的补全图像，具体包括：
对于每一目标视角，将所述原始图像和所述每一目标视角的模型图像输入细节补充模型，获取所述待试衣对象所述每一目标视角的补全图像；
其中，所述细节补充模型是基于第二人物样本所述原始视角的图像及预先获取的所述第二人物样本的图像对应的标签进行训练后得到的。
根据本发明提供的一种虚拟试衣方法，所述对于每一目标视角，将所述原始图像和所述每一目标视角的模型图像输入细节补充模型，获得所述待试衣对象所述每一目标视角的补全图像，具体包括：
对于每一目标视角，将所述原始图像分别输入所述细节补充模型中的第一特征提取子模型和第二特征提取子模型，获取所述原始图像的全局原始特征和区域原始特征，并将所述每一目标视角的所述模型图像分别输入所述第一特征提取子模型和所述第二特征提取子模型，获取所述每一目标视角的所述模型图像的全局模型特征和区域模型特征；
将所述原始图像的所述全局原始特征、区域原始特征与所述每一目标视角的所述模型图像的全局模型特征和区域模型特征输入所述细节补充模型中的细节补充子模型，获取所述待试衣对象所述每一目标视角的补全图像。
根据本发明提供的一种虚拟试衣方法，所述第一特征提取子模型，包括：顺次连接的多个卷积单元和一个全连接单元；所述第二特征提取子模型，包括顺次连接的多个卷积单元和一个全连接单元。
根据本发明提供的一种虚拟试衣方法，所述根据待试衣对象原始视角的原始图像，获取所述待试衣对象的三维模型，具体包括：
将所述原始图像输入建模模型，获取所述待试衣对象的三维模型；
其中，所述建模模型是基于第三人物样本的样本图像和所述第三人物样本对应的三维模型进行训练后得到的。
根据本发明提供的一种虚拟试衣方法，所述建模模型，为PIFuHD模型。
根据本发明提供的一种虚拟试衣方法，所述虚拟试衣模型，为ACFPN模型。
本发明还提供一种虚拟试衣装置，包括：
图像处理模块，用于根据待试衣对象原始视角的原始图像，获取所述待试衣对象多个目标视角的模型图像；其中，所述多个目标视角包括与所述原始视角相同的目标视角；
细节补充模块，用于根据所述原始图像，分别对每一所述模型图像进行细节补充，获得所述待试衣对象所述多个目标视角的补全图像；
虚拟试衣模块，用于对于每一目标视角，将所述每一目标视角的所述补全图像和所述每一目标视角的待试衣物图像输入虚拟试衣模型，获取所述待试衣对象所述每一目标视角的虚拟试衣效果图像；
其中，所述虚拟试衣模型是基于样本图像组及所述样本图像组对应的标签进行训练后得到的；每一所述样本图像组包括第一人物样本训练视角的图像和衣物样本所述训练视角的图像；所述样本图像组对应的标签为所述第一人物样本试穿所述衣物样本所述训练视角的图像。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述虚拟试衣方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述虚拟试衣方法的步骤。
本发明提供的虚拟试衣方法及装置，基于待试衣对象的原始图像，获取待试衣对象多个目标视角的补全图像，并分别将每一目标视角的补全图像和每一目标视角的待试衣物输入训练好的虚拟试衣模型，获取待试衣对象多个目标视角的虚拟试衣效果图像，能基于一张待试衣对象的原始图像，获取待试衣对象多个目标视角的虚拟试衣效果图，能快速、低成本以及全面的展示待试衣对象的试衣效果，能实现更简单的多视角虚拟试衣。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的虚拟试衣方法的流程示意图；
图2是本发明提供的虚拟试衣方法中细节补充的流程示意图；
图3是本发明提供的虚拟试衣装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
图1是本发明提供的虚拟试衣方法的流程示意图。下面结合图1描述本发明的虚拟试衣方法。如图1所示，该方法包括：步骤101、根据待试衣对象原始视角的原始图像，获取待试衣对象的三维模型，并基于待试衣对象的三维模型，获取待试衣对象多个目标视角的模型图像。
具体地，待试衣对象可以指需要虚拟试衣的人物。
本发明实施例中，视角可以指观察待试衣对象的方向。根据观察待试衣对象的方向的不同，可以分为正面视角、侧面视角和背面视角。
待试衣对象某一视角的图像可以指从待试衣对象的某一方向观察待试衣对象，获得的待试衣对象的图像。例如：待试衣对象的正面视角的图像，指从待试衣对象的正前方观察待试衣对象，获得的待试衣对象正面的图像；待试衣对象的背面视角的图像，指从待试衣对象的正后方观察待试衣对象，获得的待试衣对象背面的图像；待试衣对象的侧面视角的图像，指从待试衣对象的侧方观察待试衣对象，获得的待试衣对象侧面的图像。
需要说明的是，根据观察角度的不同，待试衣对象可以有多个侧面视角的图像，例如：待试衣对象的侧面视角的图像，可以是从待试衣对象右侧且与待试衣对象正前方夹角为45°的方向观察待试衣对象，获得的待试衣对象右侧面的图像；还可以是从待试衣对象左侧且与待试衣对象正前方夹角为30°的方向观察待试衣对象，获得的待试衣对象左侧面的图像。可以根据实际需求确定待试衣对象的侧面视角的图像中具体的观察角度，待试衣对象的侧面视角的图像中具体观察角度在本发明实施例中不作限定。
待试衣对象原始视角的原始图像可以是拍摄的待试衣对象的全身照片，还可以是通过其他方式获取的待试衣对象的全身照片。其中，原始视角可以指基于原始图像，观察待试衣对象的方向。例如：若待试衣对象原始视角的原始图像为待试衣对象正面的全身照片，则原始视角为从待试衣对象的正前方；若待试衣对象原始视角的原始图像为待试衣对象待试衣对象侧面的全身照片，则原始视角为从待试衣对象某侧与待试衣对象正前方呈某一夹角的方向。待试衣对象原始视角的原始图像可以较好的反映待试衣对象的面部特征、体型特征以及其他特征。
基于2D-3D转换技术，根据待试衣对象原始视角的原始图像，可以获取待试衣对象的三维模型。
具体地，根据待试衣对象原始视角的原始图像，可以基于立体视觉经验，从待试衣对象原始视角的原始图像中提取待试衣对象的相关深度信息。基于上述待试衣对象的深度信息，结合待试衣对象原始视角的原始图像，可以获取待试衣对象的三维模型。
待试衣对象目标视角的模型图像，可以指从目标视角观察该待试衣对象的三维模型，获得的该待试衣对象的三维模型的图像。其中，目标视角可以根据实际需求确定。例如：若需要获取待试衣对象正面视角、背面视角和侧面视角的虚拟试衣效果图像，则目标视角为待试衣对象的三维模型的正前方、正后方和侧方。需要说明的是，多个目标视角中可以包括与原始视角相同的目标视角。
获取待试衣对象的三维模型后，根据待试衣对象的三维模型，可以获取待试衣对象每一目标视角的模型图像。待试衣对象任一目标视角的模型图像与待试衣对象的原始图像相似度较高。
具体地，可以根据所需的目标视角，在待试衣对象的三维模型目标视角对应的方向上，通过拍照或屏幕截取等方式，获取待试衣对象的三维模型在该方向上的图像，从而可以获取待试衣对象每一目标视角的模型图像。
需要说明的是，若待试衣对象原始视角的原始图像为待试衣对象背面视角的原始图像，则根据待试衣对象原始视角的原始图像，获取的待试衣对象的三维模型，难以准确的反映待试衣对象正面的相关特征，根据该三维模型获取的待试衣对象任一目标视角的模型图像，与待试衣对象的相似度较低，进而将会影响待试衣对象虚拟试衣的效果。因此，待试衣对象原始视角的原始图像不为待试衣对象背面视角的原始图像。
步骤102、根据原始图像，分别对每一模型图像进行细节补充，获得待试衣对象多个目标视角的补全图像。
通常情况下，仅根据一张待试衣对象原始视角的原始图像，获取的待试衣对象的三维模型缺乏细节信息。缺乏上述细节信息的待试衣对象的三维模型与真实的待试衣对象之间的相似度不高，使得待试衣对象多个目标视角的模型图像难以完整的体现待试衣对象的面部相关特征和体态相关特征，从而影响待试衣对象虚拟试衣的效果。
需要说明的是，待试衣对象的三维模型缺乏的细节信息，可以包括但不限于待试衣对象的面部相关特征、发型相关特征和体态相关特征等。
根据待试衣对象的原始图像，可以获取待试衣对象的细节特征。根据上述待试衣对象的细节特征，分别对每一模型图像进行细节补充，可以获得待试衣对象多个目标视角的补全图像。通过待试衣对象多个目标视角的补全图像可以更完整的体现待试衣对象的面部相关特征和体态相关特征。
步骤103、对于每一目标视角，将每一目标视角的补全图像和每一目标视角的待试衣物图像输入虚拟试衣模型，获取待试衣对象每一目标视角的虚拟试衣效果图像。
其中，虚拟试衣模型是基于多个样本图像组及样本图像组对应的标签进行训练后得到的；每一样本图像组包括第一人物样本训练视角的图像和衣物样本训练视角的图像；样本图像组对应的标签为第一人物样本试穿衣物样本训练视角的图像。
具体地，待试衣物可以指待试衣对象想要试穿的衣物。待试衣物图像可以指待试衣物的图像。
待试衣对象任一目标视角的虚拟试衣效果图像，可以指待试衣对象实现虚拟试衣后该目标视角的效果图像。根据待试衣对象多个目标视角的虚拟试衣效果图像，使得待试衣对象无需真正换装，就可以从多个所需的观察方向，观察待试衣对象穿上待试衣物后的试衣效果。
对于任一目标视角，将该目标视角的补全图像和该目标视角的待试衣物图像输入训练好的虚拟试衣模型，可以获取该目标视角待试衣对象的虚拟试衣效果图像。
需要说明的是，训练视角为在对虚拟试衣模型进行训练时，基于第一人物样本图像、衣物样本图像或第一人物样本试穿衣物样本的图像，观察第一人物样本、衣物样本或第一人物样本试穿衣物样本的方向。例如：若第一人物样本训练视角的图像为第一人物样本正面的图像，则训练视角为该第一人物样本的正前方；若衣物样本训练视角的图像为衣物样本背面的图像，则训练视角为该衣物样本的正后方。第一人物样本的训练视角、衣物样本的训练视角或第一人物样本试穿衣物样本后的训练视角可以包括但不限于待试衣对象的所有目标视角。
任一样本图像组中包括的第一人物样本的图像与衣物样本的图像具有相同的视角，该视角称为训练视角。该衣物样本的图像对应的标签，为该第一人物样本试穿该衣物样本的图像，且该第一人物样本试穿该衣物样本的图像与该第一人物样本的图像和该衣物样本的图像的训练视角相同。
基于样本图像组和样本图像组对应的标签对虚拟试衣模型进行训练，可以获得训练好的虚拟试衣模型。
本发明实施例基于待试衣对象的原始图像，获取待试衣对象多个目标视角的补全图像，并分别将每一目标视角的补全图像和每一目标视角的待试衣物输入训练好的虚拟试衣模型，获取待试衣对象多个目标视角的虚拟试衣效果图像，能基于一张待试衣对象的原始图像，获取待试衣对象多个目标视角的虚拟试衣效果图，能快速、低成本以及全面的展示待试衣对象的试衣效果，能实现更简单的多视角虚拟试衣。
图2是本发明提供的虚拟试衣方法中细节补充的流程示意图。下面结合图2描述本发明的虚拟试衣方法中细节补充的具体过程。如图2所示，根据原始图像，分别对每一模型图像进行细节补充，获得待试衣对象多个目标视角的补全图像，具体包括：对于每一目标视角，将原始图像和每一目标视角的模型图像输入细节补充模型201，获取待试衣对象每一目标视角的补全图像。
其中，细节补充模型201是基于第二人物样本原始视角的图像及预先获取的第二人物样本的图像对应的标签进行训练后得到的。
具体地，对于任一目标视角，将原始图像和该目标视角的模型图像输入已训练好的细节补充模型201。已训练好的细节补充模型201可以根据原始图像，提取待试衣对象的细节特征，并根据上述待试衣对象的细节特征，对该目标视角的模型图像进行细节补充，输出已完成细节补充的待试衣对象该目标视角的补全图像。
需要说明的是，第二人物样本的图像对应的标签是根据第二人物样本预先获取的。
第二人物样本的图像可以是第二人物样本不为背面视角的图像，可以较好的反映第二人物样本的面部特征、体型特征以及其他特征。
根据第二人物样本的图像，可以获取包含该第二人物样本的三维模型的标签图像，将上述标签图像作为该第二人物样本的图像对应的标签。
需要说明的是，上述第二人物样本的图像的视角与该第二人物样本的图像对应的的标签的视角相同，并且可以与原始视角相同。
需要说明的是，对细节补充模型进行训练时，可以通过Sigmoid激活函数输出的结果，判断细节补充模型201是否已经训练好。
本发明实施例通过将原始图像和每一目标视角的模型图像输入已训练好的细节补充模型，获取待试衣对象每一目标视角的补全图像，能通过对每一目标视角的模型图像进行细节补充，使得获取的待试衣对象多个视角的虚拟试衣效果图像更贴近于实际换装效果，能增加待试衣对象虚拟试衣时的真实感。
基于上述各实施例的内容，对于每一目标视角，将原始图像和每一目标视角的模型图像输入细节补充模型，获得待试衣对象每一目标视角的补全图像，具体包括：对于每一目标视角，将原始图像分别输入细节补充模型中的第一特征提取子模型和第二特征提取子模型，获取原始图像的全局原始特征和区域原始特征，并将每一目标视角的模型图像分别输入第一特征提取子模型和第二特征提取子模型，获取每一目标视角的模型图像的全局模型特征和区域模型特征。
需要说明的是，本发明实施例中的细节补充模型是基于生成对抗网络模型(Generative Adversarial Networks，GAN)构建的。
具体地，对于任一目标视角，将原始图像分别输入细节补充模型201中的第一特征提取子模型202和第二特征提取子模型203，并将该目标视角的模型图像分别输入第一特征提取子模型202和第二特征提取子模型203。
将原始图像输入第一特征提取子模型202后，可以获取原始图像的全局原始特征。将上述目标视角的模型图像输入第一特征提取子模型202后，可以获取该目标视角的模型图像的全局模型特征。
其中，原始图像的全局原始特征，可以指原始图像中待试衣对象的全局特征，例如：原始图像中待试衣对象的面部特征、体态特征或发型特征等。上述目标视角的模型图像的全局模型特征，可以指该目标视角的模型图像中，待试衣对象的三维模型的全局特征，例如：该目标视角的待试衣对象的三维模型的面部特征、体态特征或发型特征等。
将原始图像输入第二特征提取子模型203后，可以获得原始图像的区域原始特征。将上述目标视角的模型图像输入第二特征提取子模型203后，可以获取该目标视角的模型图像的区域模型特征。
其中，原始图像中包括的区域原始特征，可以指原始图像中待试衣对象的区域特征，例如：待试衣对象面部区域的特征或头发区域的特征等。上述目标视角的模型图像中包括的区域模型特征，可以指该目标视角的模型图像中，待试衣对象的三维模型的区域特征，例如：该目标视角的待试衣对象的三维模型的面部区域的特征或头发区域的特征等。
需要说明的是，原始图像的区域原始特征与任一目标视角的模型图像的区域模型特征存在对应关系。
将原始图像的全局原始特征、区域原始特征与每一目标视角的模型图像的全局模型特征和区域模型特征输入细节补充模型201中的细节补充子模型203，获取待试衣对象每一目标视角的补全图像。
细节补充子模型203可以根据原始图像的区域原始特征与任一目标视角的模型图像的区域模型特征之间的对应关系，将原始图像的全局原始特征、区域原始特征与任一目标视角的模型图像的全局模型特征和区域模型特征进行特征拼接，获取待试衣对象该目标视角的补全图像。
具体地，细节补充子模型203可以通过Concat层将输入的原始图像的全局原始特征、区域原始特征与任一目标视角的模型图像的全局模型特征和区域模型特征在像素维度上进行拼接，并可以通过对上述拼接结果应用ReLU激活函数，获得待试衣对象该目标视角的补全图像。
本发明实施例通过获取原始图像的全局原始特征和区域原始特征，和每一目标视角的模型图像的全局模型特征和区域模型特征后，将全局原始特征和区域原始特征与每一目标视角的模型图像的全局模型特征和区域模型特征进行特征拼接，获取待试衣对象每一目标视角的补全图像，能基于GAN网络模型构建的细节补充网络模型，对每一目标视角的模型图像进行细节补充，使得获取的待试衣对象多个视角的虚拟试衣效果图像更贴近于实际换装效果，能增加待试衣对象虚拟试衣时的真实感。
基于上述各实施例的内容，第一特征提取子模型202，包括：顺次连接的多个卷积单元205和一个全连接单元206；第二特征提取子模型203，包括顺次连接的多个卷积单元和一个全连接单元。
具体地，第一特征提取子模型202可以包括顺次连接的多个卷积单元205，原始图像或任一目标视角的建模图像输入第一个卷积单元205后，任一卷积单元205的输入为上一卷积单元205的输出。
第一特征提取子模型202中卷积单元205的数量以及每一卷积单元205中卷积核的大小和卷积核的数量可以根据实际情况确定。例如：如图2所示，第一特征提取子模型202中可以包括6个卷积单元205，原始图像或任一目标视角的建模图像输入第一个卷积单元205后，将进行卷积核为(5*5)卷积核个数为64个的卷积计算。第一个卷积单元205的输出作为第二个卷积单元205的输入，将进行卷积核为(5*5)卷积核个数为128个的卷积计算。第二个卷积单元205的输出作为第三个卷积单元205的输入，将进行卷积核为(5*5)卷积核个数为256个的卷积计算。以此类推，输入第四个卷积单元205、第五个卷积单元205和第六个卷积单元205，将分别进行三次卷积核为(5*5)卷积核个数为512个的卷积计算，获得原始图像中包括的全局原始特征和该目标视角的建模图像中的全局模型特征。
第一特征提取子模型202中依次连接的多个卷积单元205中的最后一个卷积单元205的输出，将输入全连接单元206。全连接单元206可以综合通过卷积单元205获取的所有特征，获取原始图像的全局原始特征和任一目标视角的模型图像的全局模型特征。
第二特征提取子模型203可以包括顺次连接的多个卷积单元205，原始图像或任一目标视角的建模图像输入第一个卷积单元205后，任一卷积单元205的输入为上一卷积单元205的输出。
第二特征提取子模型203中卷积单元205的数量及每一卷积单元205中卷积核的大小和卷积核的数量可以根据实际情况确定。例如：如图2所示，第二特征提取子模型203中可以包括5个卷积单元205，原始图像或任一目标视角的建模图像输入第一个卷积单元205后，将进行卷积核为(5*5)卷积核个数为64个的卷积计算，并对卷积计算的结果依次应用BatchNorm激活函数和Leaky ReLU激活函数。第一个卷积单元205的输出作为第二个卷积单元205的输入，将进行卷积核为(5*5)卷积核个数为128个的卷积计算。第二个卷积单元205的输出作为第三个卷积单元205的输入，将进行卷积核为(5*5)卷积核个数为256个的卷积计算。以此类推，输入第四个卷积单元205和第五个卷积单元205，将分别进行两次卷积核为(5*5)卷积核个数为512个的卷积计算，获得原始图像中包括的区域原始特征和该目标视角的建模图像中的区域模型特征。
本发明实施例通过将原始图像和每一目标视角的模型图像分别输入第一特征提取子模型中顺次连接的多个卷积单元和一个全连接单元，以及第二特征提取子模型中顺次连接的多个卷积单元和一个全连接单元，进行多次卷积计算，能更准确的获取原始图像中包括的全局原始特征和区域原始特征，以及每一目标视角的模型图像中包括的全局模型特征和区域模型特征。
基于上述各实施例的内容，根据待试衣对象原始视角的原始图像，获取待试衣对象的三维模型，具体包括：将原始图像输入建模模型，获取待试衣对象的三维模型。
其中，建模模型是基于第三人物样本的样本图像和第三人物样本对应的三维模型进行训练后得到的。
基于第三人物样本的样本图像和第三人物样本对应的三维模型对建模模型进行训练，获取的训练好的建模模型，可以基于人物的二维图像，建立人物对应的三维模型。
具体地，将待试衣对象的原始图像输入已训练好的建模模型，已训练好的建模模型可以基于待试衣对象的原始图像，获取待试衣对象的三维模型。
本发明实施例通过将原始图像输入训练好的建模模型，获取待试衣对象的三维模型，能基于获取的待试衣对象的三维模型，获取待试衣对象多个目标视角的模型图像，能为获取待试衣对象多个目标视角的虚拟试衣效果图像提供数据基础。
基于上述各实施例的内容，建模模型，为PIFuHD模型。
PIFuHD，全称为Pixel-Aligned Implicit Function forHigh-Resolution 3DHuman Digitization(高分辨率3D人形数字化像素对齐隐式函数)。PIFuHD模型可以基于深度神经网络，对输入图像进行降采样，并将其输入到PIFu的低细节“course”基础层，然后通过一个全新的独立网络，创建3D模型。PIFuHD模型的原理涉及端到端可训练的由粗到精的框架，进行隐式曲面学习，重建高分辨率的立体的穿戴服饰的人体模型。
本发明实施例中，将原始图像输入训练好的PIFuHD模型，可以输入待试衣对象的三维模型。
本发明实施例通过将待试衣对象的原始图像输入PIFuHD模型，通过PIFuHD模型获取的待试衣对象的三维模型准确性更高，计算速度更快，能为获取待试衣对象多个目标视角的虚拟试衣效果图像提供数据基础。
基于上述各实施例的内容，虚拟试衣模型，为ACFPN模型。
ACFPN，全称为Adaptive Content Generating and PreservingNetwork(自适应内容生成保留网络)。ACFPN模型可以自适应的判断输入图像中哪些部分是应该保留的，在人物肢体与衣服有遮挡的情况下建模，降低了生成结果中的伪影以及模糊细节。并可以通过引入仿射变换的共线性等性质，在对待试衣物变形过程中，使得待试衣物中的Logo和花纹不易扭曲变形。
ACGPN模型首先可以预测样本图像的语义布局，然后根据预测的语义布局自适应地确定内容的生成或保存。ACGPN模型可以包括三个功能模块。
第一功能模块是语义生成模块(Semantic Generation Module，SGM),SGM模块使用身体部位和衣服的语义分割来逐步生成暴露的身体部位的蒙版(即合成的身体部位蒙版)和变形衣服区域的蒙版。
第二功能模块是衣服变形模块(Clothes Warping Module，CWM)，CWM模块可以用于根据生成的语义布局对衣服进行变形操作，除了基于薄板样条的方法以外，CWM模块还对变形优化目标引入了二阶差分约束，以使变形过程更加稳定，尤其是对于质地复杂的衣服。
第三功能模块是内容融合模块(Content Fusion Module，CFM模块)，CFM模块可以整合合成的人体部位蒙版、变形的服装图像和原始人体部位图像的信息，以自适应地确定合成图像中不同人体部位的生成或保存。
对于任一目标视角，将该目标视角的补全图像和该目标视角的待试衣图像输入训练好的ACGPN模型，可以获取该目标视角待试衣对象的虚拟试衣效果图像。
本发明实施例通过将每一目标视角的补全图像和每一目标视角的待试衣物图像输入ACFPN模型，获取待试衣对象每一目标视角的虚拟试衣效果图像，基于ACFPN模型能更好的保留待试衣物的细节，获取的待试衣对象每一目标视角的虚拟试衣效果图像更贴近于实际换装效果，能提高待试衣对象虚拟试衣时的临场感和真实感。
图3是本发明提供的虚拟试衣装置的结构示意图。下面结合图3对本发明提供的虚拟试衣装置进行描述，下文描述的虚拟试衣装置与上文描述的虚拟试衣方法可相互对应参照。如图3所示，该装置包括：图像处理模块301、细节补充模块302和虚拟试衣模块303，其中：
图像处理模块301，用于根据待试衣对象原始视角的原始图像，获取待试衣对象的三维模型，并基于待试衣对象的三维模型，获取待试衣对象多个目标视角的模型图像。
细节补充模块302，用于根据原始图像，分别对每一模型图像进行细节补充，获得待试衣对象多个目标视角的补全图像。
虚拟试衣模块303，用于对于每一目标视角，将每一目标视角的补全图像和每一目标视角的待试衣物图像输入虚拟试衣模型，获取待试衣对象每一目标视角的虚拟试衣效果图像。
其中，虚拟试衣模型是基于多个样本图像组及样本图像组对应的标签进行训练后得到的；每一样本图像组包括第一人物样本训练视角的图像和衣物样本训练视角的图像；样本图像组对应的标签为第一人物样本试穿衣物样本训练视角的图像。
具体地，图像处理模块301、细节补充模块302和虚拟试衣模块303电连接。
图像处理模块301可以基于2D-3D转换技术，根据待试衣对象原始视角的原始图像，可以获取待试衣对象的三维模型。
具体地，根据待试衣对象原始视角的原始图像，可以基于立体视觉经验，从待试衣对象原始视角的原始图像中提取待试衣对象的相关深度信息。基于上述待试衣对象的深度信息，结合待试衣对象原始视角的原始图像，可以获取待试衣对象的三维模型。
获取待试衣对象的三维模型后，根据待试衣对象的三维模型，可以获取待试衣对象每一目标视角的模型图像。
具体地，可以在待试衣对象的三维模型的任一预设方向上，通过拍照或屏幕截取等方式，获取待试衣对象的三维模型在该预设方向上的图像，从而可以获取待试衣对象每一目标视角的模型图像。
通常情况下，仅根据一张待试衣对象原始视角的原始图像，获取的待试衣对象的三维模型缺乏细节信息。缺乏上述细节信息的待试衣对象的三维模型与真实的待试衣对象之间的相似度不高，使得待试衣对象多个目标视角的模型图像难以完整的体现待试衣对象的面部相关特征和体态相关特征，从而影响待试衣对象虚拟试衣的效果。
需要说明的是，待试衣对象的三维模型缺乏的细节信息，可以包括但不限于待试衣对象的面部相关特征、发型相关特征和体态相关特征等。
细节补充模块302可以根据待试衣对象的原始图像，可以获取待试衣对象的细节特征。根据上述待试衣对象的细节特征，分别对每一模型图像进行细节补充，可以获得待试衣对象多个目标视角的补全图像。通过待试衣对象多个目标视角的补全图像可以更完整的体现待试衣对象的面部相关特征和体态相关特征。
对于任一目标视角，虚拟试衣模块303可以将该目标视角的补全图像和该目标视角的待试衣物图像输入训练好的虚拟试衣模型，可以获取该目标视角待试衣对象的虚拟试衣效果图像。
本发明实施例基于待试衣对象的原始图像，获取待试衣对象多个目标视角的补全图像，并分别将每一目标视角的补全图像和每一目标视角的待试衣物输入训练好的虚拟试衣模型，获取待试衣对象多个目标视角的虚拟试衣效果图像，能基于一张待试衣对象的原始图像，获取待试衣对象多个目标视角的虚拟试衣效果图，能快速、低成本以及全面的展示待试衣对象的试衣效果，能实现更简单的多视角虚拟试衣。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行虚拟试衣方法，该方法包括：根据待试衣对象原始视角的原始图像，获取待试衣对象的三维模型，并基于待试衣对象的三维模型，获取待试衣对象多个目标视角的模型图像；根据原始图像，分别对每一模型图像进行细节补充，获得待试衣对象多个目标视角的补全图像；对于每一目标视角，将每一目标视角的补全图像和每一目标视角的待试衣物图像输入虚拟试衣模型，获取待试衣对象每一目标视角的虚拟试衣效果图像；其中，虚拟试衣模型是基于多个样本图像组及样本图像组对应的标签进行训练后得到的；每一样本图像组包括第一人物样本训练视角的图像和衣物样本训练视角的图像；样本图像组对应的标签为第一人物样本试穿衣物样本训练视角的图像。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法所提供的虚拟试衣方法，该方法包括：根据待试衣对象原始视角的原始图像，获取待试衣对象的三维模型，并基于待试衣对象的三维模型，获取待试衣对象多个目标视角的模型图像；根据原始图像，分别对每一模型图像进行细节补充，获得待试衣对象多个目标视角的补全图像；对于每一目标视角，将每一目标视角的补全图像和每一目标视角的待试衣物图像输入虚拟试衣模型，获取待试衣对象每一目标视角的虚拟试衣效果图像；其中，虚拟试衣模型是基于多个样本图像组及样本图像组对应的标签进行训练后得到的；每一样本图像组包括第一人物样本训练视角的图像和衣物样本训练视角的图像；样本图像组对应的标签为第一人物样本试穿衣物样本训练视角的图像。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的虚拟试衣方法，该方法包括：根据待试衣对象原始视角的原始图像，获取待试衣对象的三维模型，并基于待试衣对象的三维模型，获取待试衣对象多个目标视角的模型图像；根据原始图像，分别对每一模型图像进行细节补充，获得待试衣对象多个目标视角的补全图像；对于每一目标视角，将每一目标视角的补全图像和每一目标视角的待试衣物图像输入虚拟试衣模型，获取待试衣对象每一目标视角的虚拟试衣效果图像；其中，虚拟试衣模型是基于多个样本图像组及样本图像组对应的标签进行训练后得到的；每一样本图像组包括第一人物样本训练视角的图像和衣物样本训练视角的图像；样本图像组对应的标签为第一人物样本试穿衣物样本训练视角的图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种虚拟试衣方法，其特征在于，包括：
根据待试衣对象原始视角的原始图像，获取所述待试衣对象的三维模型，并基于所述待试衣对象的三维模型，获取所述待试衣对象多个目标视角的模型图像；
根据所述原始图像，分别对每一所述模型图像进行细节补充，获得所述待试衣对象所述多个目标视角的补全图像；
对于每一目标视角，将所述每一目标视角的所述补全图像和所述每一目标视角的待试衣物图像输入虚拟试衣模型，获取所述待试衣对象所述每一目标视角的虚拟试衣效果图像；
其中，所述虚拟试衣模型是基于多个样本图像组及所述样本图像组对应的标签进行训练后得到的；每一所述样本图像组包括第一人物样本训练视角的图像和衣物样本所述训练视角的图像；所述样本图像组对应的标签为所述第一人物样本试穿所述衣物样本所述训练视角的图像。
2.根据权利要求1所述的虚拟试衣方法，其特征在于，所述根据所述原始图像，分别对每一所述模型图像进行细节补充，获得所述待试衣对象所述多个目标视角的补全图像，具体包括：
对于每一目标视角，将所述原始图像和所述每一目标视角的模型图像输入细节补充模型，获取所述待试衣对象所述每一目标视角的补全图像；
其中，所述细节补充模型是基于第二人物样本所述原始视角的图像及预先获取的所述第二人物样本的图像对应的标签进行训练后得到的。
3.根据权利要求2所述的虚拟试衣方法，其特征在于，所述对于每一目标视角，将所述原始图像和所述每一目标视角的模型图像输入细节补充模型，获得所述待试衣对象所述每一目标视角的补全图像，具体包括：
对于每一目标视角，将所述原始图像分别输入所述细节补充模型中的第一特征提取子模型和第二特征提取子模型，获取所述原始图像的全局原始特征和区域原始特征，并将所述每一目标视角的所述模型图像分别输入所述第一特征提取子模型和所述第二特征提取子模型，获取所述每一目标视角的所述模型图像的全局模型特征和区域模型特征；
将所述原始图像的所述全局原始特征、区域原始特征与所述每一目标视角的所述模型图像的全局模型特征和区域模型特征输入所述细节补充模型中的细节补充子模型，获取所述待试衣对象所述每一目标视角的补全图像。
4.根据权利要求3所述的虚拟试衣方法，其特征在于，所述第一特征提取子模型，包括：顺次连接的多个卷积单元和一个全连接单元；所述第二特征提取子模型，包括顺次连接的多个卷积单元和一个全连接单元。
5.根据权利要求1所述的虚拟试衣方法，其特征在于，所述根据待试衣对象原始视角的原始图像，获取所述待试衣对象的三维模型，具体包括：
将所述原始图像输入建模模型，获取所述待试衣对象的三维模型；
其中，所述建模模型是基于第三人物样本的样本图像和所述第三人物样本对应的三维模型进行训练后得到的。
6.根据权利要求5所述的虚拟试衣方法，其特征在于，所述建模模型，为PIFuHD模型。
7.根据权利要求1至6任一所述的虚拟试衣方法，其特征在于，所述虚拟试衣模型，为ACFPN模型。
8.一种虚拟试衣装置，其特征在于，包括：
图像处理模块，用于根据待试衣对象原始视角的原始图像，获取所述待试衣对象多个目标视角的模型图像；其中，所述多个目标视角包括与所述原始视角相同的目标视角；
细节补充模块，用于根据所述原始图像，分别对每一所述模型图像进行细节补充，获得所述待试衣对象所述多个目标视角的补全图像；
虚拟试衣模块，用于对于每一目标视角，将所述每一目标视角的所述补全图像和所述每一目标视角的待试衣物图像输入虚拟试衣模型，获取所述待试衣对象所述每一目标视角的虚拟试衣效果图像；
其中，所述虚拟试衣模型是基于样本图像组及所述样本图像组对应的标签进行训练后得到的；每一所述样本图像组包括第一人物样本训练视角的图像和衣物样本所述训练视角的图像；所述样本图像组对应的标签为所述第一人物样本试穿所述衣物样本所述训练视角的图像。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述虚拟试衣方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述虚拟试衣方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110146096.2A CN112884638A (zh) | 2021-02-02 | 2021-02-02 | 虚拟试衣方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110146096.2A CN112884638A (zh) | 2021-02-02 | 2021-02-02 | 虚拟试衣方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112884638A true CN112884638A (zh) | 2021-06-01 |
Family
ID=76056787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110146096.2A Pending CN112884638A (zh) | 2021-02-02 | 2021-02-02 | 虚拟试衣方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112884638A (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000063919A (ko) * | 2000-08-10 | 2000-11-06 | 김재성 | 3차원 얼굴 모델링 시스템 및 모델링 방법 |
| WO2015188685A1 (zh) * | 2014-06-12 | 2015-12-17 | 深圳奥比中光科技有限公司 | 基于深度相机的人体模型获取方法及网络虚拟试衣系统 |
| WO2016000304A1 (zh) * | 2014-06-30 | 2016-01-07 | 京东方科技集团股份有限公司 | 一种虚拟试衣方法及虚拟试衣系统 |
| CN108537191A (zh) * | 2018-04-17 | 2018-09-14 | 广州云从信息科技有限公司 | 一种基于结构光摄像头的三维人脸识别方法 |
| CN108765295A (zh) * | 2018-06-12 | 2018-11-06 | 腾讯科技（深圳）有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN109740529A (zh) * | 2018-12-29 | 2019-05-10 | 广州二元科技有限公司 | 一种基于神经网络绘图的虚拟试衣方法 |
| CN110096156A (zh) * | 2019-05-13 | 2019-08-06 | 东北大学 | 基于2d图像的虚拟换装方法 |
| CN110175897A (zh) * | 2019-06-03 | 2019-08-27 | 广东元一科技实业有限公司 | 一种3d合成试衣方法和系统 |
| CN110335343A (zh) * | 2019-06-13 | 2019-10-15 | 清华大学 | 基于rgbd单视角图像人体三维重建方法及装置 |
| CN111161398A (zh) * | 2019-12-06 | 2020-05-15 | 苏州智加科技有限公司 | 一种图像生成方法、装置、设备及存储介质 |
| CN111508079A (zh) * | 2020-04-22 | 2020-08-07 | 深圳追一科技有限公司 | 虚拟服饰试穿方法、装置、终端设备及存储介质 |
| CN111612887A (zh) * | 2020-04-30 | 2020-09-01 | 北京的卢深视科技有限公司 | 一种人体测量方法和装置 |
| CN111738940A (zh) * | 2020-06-02 | 2020-10-02 | 大连理工大学 | 一种基于自注意力机制模范生成对抗网络的人脸图像眼部补全方法 |
| CN111862296A (zh) * | 2019-04-24 | 2020-10-30 | 京东方科技集团股份有限公司 | 三维重建方法及装置、系统、模型训练方法、存储介质 |
| CN111881716A (zh) * | 2020-06-05 | 2020-11-03 | 东北林业大学 | 一种基于多视角生成对抗网络的行人重识别方法 |
| CN111968165A (zh) * | 2020-08-19 | 2020-11-20 | 北京拙河科技有限公司 | 动态人体三维模型补全方法、装置、设备和介质 |
-
2021
- 2021-02-02 CN CN202110146096.2A patent/CN112884638A/zh active Pending
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000063919A (ko) * | 2000-08-10 | 2000-11-06 | 김재성 | 3차원 얼굴 모델링 시스템 및 모델링 방법 |
| WO2015188685A1 (zh) * | 2014-06-12 | 2015-12-17 | 深圳奥比中光科技有限公司 | 基于深度相机的人体模型获取方法及网络虚拟试衣系统 |
| WO2016000304A1 (zh) * | 2014-06-30 | 2016-01-07 | 京东方科技集团股份有限公司 | 一种虚拟试衣方法及虚拟试衣系统 |
| CN108537191A (zh) * | 2018-04-17 | 2018-09-14 | 广州云从信息科技有限公司 | 一种基于结构光摄像头的三维人脸识别方法 |
| CN108765295A (zh) * | 2018-06-12 | 2018-11-06 | 腾讯科技（深圳）有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN109740529A (zh) * | 2018-12-29 | 2019-05-10 | 广州二元科技有限公司 | 一种基于神经网络绘图的虚拟试衣方法 |
| CN111862296A (zh) * | 2019-04-24 | 2020-10-30 | 京东方科技集团股份有限公司 | 三维重建方法及装置、系统、模型训练方法、存储介质 |
| CN110096156A (zh) * | 2019-05-13 | 2019-08-06 | 东北大学 | 基于2d图像的虚拟换装方法 |
| CN110175897A (zh) * | 2019-06-03 | 2019-08-27 | 广东元一科技实业有限公司 | 一种3d合成试衣方法和系统 |
| CN110335343A (zh) * | 2019-06-13 | 2019-10-15 | 清华大学 | 基于rgbd单视角图像人体三维重建方法及装置 |
| CN111161398A (zh) * | 2019-12-06 | 2020-05-15 | 苏州智加科技有限公司 | 一种图像生成方法、装置、设备及存储介质 |
| CN111508079A (zh) * | 2020-04-22 | 2020-08-07 | 深圳追一科技有限公司 | 虚拟服饰试穿方法、装置、终端设备及存储介质 |
| CN111612887A (zh) * | 2020-04-30 | 2020-09-01 | 北京的卢深视科技有限公司 | 一种人体测量方法和装置 |
| CN111738940A (zh) * | 2020-06-02 | 2020-10-02 | 大连理工大学 | 一种基于自注意力机制模范生成对抗网络的人脸图像眼部补全方法 |
| CN111881716A (zh) * | 2020-06-05 | 2020-11-03 | 东北林业大学 | 一种基于多视角生成对抗网络的行人重识别方法 |
| CN111968165A (zh) * | 2020-08-19 | 2020-11-20 | 北京拙河科技有限公司 | 动态人体三维模型补全方法、装置、设备和介质 |
Non-Patent Citations (6)
| Title |
|---|
| DAVIDE MARELLI ET AL.: "A Web Application for Glasses Virtual Try-on in 3D Space", 2019 IEEE 23RD INTERNATIONAL SYMPOSIUM ON CONSUMER TECHNOLOGIES (ISCT), pages 299 - 303 * |
| HAN YANG等: "Towards Photo-Realistic Virtual Try-On by Adaptively Generating Preserving Image Content", 2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR), pages 7850 - 7859 * |
| SHUNSUKE SAITO 等: "PIFuHD:Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D human Digition", THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR)，2020, pages 84 - 93 * |
| 冀俭俭 等: "基于生成对抗网络的分级联合图像补全方法", 图学学报, vol. 40, no. 6, pages 1009 - 1016 * |
| 时澄 等: "生成式对抗网络在图像补全中的应用", 计算机科学与探索, pages 1402 - 1410 * |
| 程颖: "基于生成对抗网络图像补全的研究与实现", CNKI优秀硕士学位论文全文库，信息科技辑, no. 2020, pages 18 - 27 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Flynn et al. | Deepview: View synthesis with learned gradient descent | |
| US10839581B2 (en) | Computer-implemented method for generating composite image, apparatus for generating composite image, and computer-program product | |
| Rematas et al. | Novel views of objects from a single image | |
| Zhao et al. | M3d-vton: A monocular-to-3d virtual try-on network | |
| US9147207B2 (en) | System and method for generating image data for on-line shopping | |
| Fyffe et al. | Multi‐view stereo on consistent face topology | |
| CN113012293B (zh) | 石刻模型构建方法、装置、设备及存储介质 | |
| CN113366491B (zh) | 眼球追踪方法、装置及存储介质 | |
| Rogez et al. | Image-based synthesis for deep 3D human pose estimation | |
| CN111462300A (zh) | 衣物物理模型驱动的实时人体动态三维重建方法及系统 | |
| CN113421328B (zh) | 一种三维人体虚拟化重建方法及装置 | |
| KR20130089649A (ko) | 3차원 이미지에서 컨텐츠를 검열하는 방법 및 장치 | |
| JP2011159329A (ja) | 自動３ｄモデリングシステム及び方法 | |
| CN114450719A (zh) | 人体模型重建方法、重建系统及存储介质 | |
| Svitov et al. | Dinar: Diffusion inpainting of neural textures for one-shot human avatars | |
| Li et al. | Animated 3D human avatars from a single image with GAN-based texture inference | |
| US20200118333A1 (en) | Automated costume augmentation using shape estimation | |
| CN113436058B (zh) | 一种人物虚拟换衣方法、终端设备及存储介质 | |
| Jinka et al. | Sharp: Shape-aware reconstruction of people in loose clothing | |
| Hu et al. | Cloth texture preserving image-based 3D virtual try-on | |
| Rotger Moll et al. | Detailed 3D face reconstruction from a single RGB image | |
| Khan et al. | Towards monocular neural facial depth estimation: Past, present, and future | |
| Zhan et al. | Real-time 3D face modeling based on 3D face imaging | |
| CN117173012A (zh) | 无监督的多视角图像生成方法、装置、设备及存储介质 | |
| CN115761143A (zh) | 一种基于2d图像的3d虚拟换装模型生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |