CN111882380A - 一种虚拟试衣的方法、装置、系统及电子设备 - Google Patents
一种虚拟试衣的方法、装置、系统及电子设备 Download PDFInfo
- Publication number
- CN111882380A CN111882380A CN202010615527.0A CN202010615527A CN111882380A CN 111882380 A CN111882380 A CN 111882380A CN 202010615527 A CN202010615527 A CN 202010615527A CN 111882380 A CN111882380 A CN 111882380A
- Authority
- CN
- China
- Prior art keywords
- image
- target object
- clothing
- target
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Social Psychology (AREA)
- Development Economics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种虚拟试衣的方法、装置、系统及电子设备,属于虚拟试衣技术领域,该方法包括:获取目标对象的第一图像;根据所述第一图像,获取所述目标对象的三维图像以及所述目标对象的运动姿态;根据所述目标对象的运动姿态与多个服装样本之间的匹配关系,确定目标服装样本;将所述目标服装样本和所述三维图像进行合成,显示合成后的试衣图像。上述方案,能够减小虚拟试衣过程中的服装变形、运动渲染等算法的工作量,还能改善虚拟试衣、服装变形等过程中的服装失真效果。
Description
技术领域
本申请属于虚拟试衣技术领域,具体涉及一种虚拟试衣的方法、装置、系统及电子设备。
背景技术
随着中国服装电子商务的迅速发展,网上服装销售量迅速增长,其销售比重在整个服装销售中越来越高。与传统的服装销售模式相比,网上服装销售拥有许多不可比拟的优越性。一方面,商场里的衣服琳琅满目,往往不方便一一试穿而做出选择,因而找到合适自己的衣服不是一件易事。另一方面,商场的试衣间往往有限,尤其节假日时试衣间门口往往排着长龙,影响购买者的试衣欲望和购买想法。因此,快速、真实的虚拟试衣技术呼之欲出,逐渐成为企业和研究机构的研发热点。
目前主流的虚拟试衣的方法分为两大类:二维(2Dimensional,2D)、三维(3Dimensional,3D)虚拟试衣。其中,2D试衣通常是先检测人在图像中的位置,然后把服装覆盖到原图上。这种方法快速直接,但是缺乏三维空间信息,只能使用人物正面图像,既不真实,也有很大的限制。而在3D试衣中,一般会有人体和服装的几何模型,通常会根据物理规则,模拟人体-服装间的相互作用,得到更为真实的试衣效果,但是此过程十分消耗计算资源,很难做到既快又真实。
发明内容
本申请实施例的目的是提供一种虚拟试衣的方法、装置、系统及电子设备,能够解决现有的虚拟试衣过程算法消耗计算资源,很难做到既快又真实的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种虚拟试衣的方法,该方法包括:
获取目标对象的第一图像;
根据所述第一图像,获取所述目标对象的三维图像以及所述目标对象的运动姿态;
根据所述目标对象的运动姿态与多个服装样本之间的匹配关系,确定目标服装样本;
将所述目标服装样本和所述三维图像进行合成,显示合成后的试衣图像。
可选的,所述根据所述第一图像,获取所述目标对象的三维图像以及所述目标对象的运动姿态,包括:
根据所述目标对象的第一图像,构建关于所述目标对象的三维图像;
根据所述三维图像和/或所述第一图像,获取所述目标对象的运动姿态。
可选的,所述根据所述第一图像,获取所述目标对象的三维图像以及所述目标对象的运动姿态,包括:
根据所述目标对象的第一图像,获取所述第一图像中的特征点数据;
根据所述特征点数据,获取所述目标对象的运动姿态,并构建关于所述目标对象的三维图像。
可选的,在所述根据所述目标对象的运动姿态与多个服装样本之间的匹配关系,确定目标服装样本的步骤中:
在所述目标服装样本的数量为一个的情况下,所述目标服装样本包括:所述多个服装样本中与所述运动姿态匹配程度最高的第一服装样本;
在所述目标服装样本的数量为多个的情况下,所述目标服装样本包括:所述第一服装样本,以及所述多个服装样本中与所述第一服装样本的运动方位差在第一预设范围内的服装样本。
可选的,所述运动姿态包括:姿态角度和运动方向中的至少一项。
可选的,所述将所述目标服装样本和所述三维图像进行合成,显示合成后的虚拟试衣图像,包括:
将所述目标服装样本和所述三维图像进行虚拟缝合,获取缝合图像;
将所述缝合图像与所述目标服装样本进行服装变形和运动渲染处理,获取并显示试衣图像。
第二方面,本申请实施例提供了一种虚拟试衣的装置,包括:
第一获取模块,用于获取目标对象的第一图像;
第二获取模块,用于根据所述第一图像,获取所述目标对象的三维图像以及所述目标对象的运动姿态;
第一处理模块,用于根据所述目标对象的运动姿态与多个服装样本之间的匹配关系,确定目标服装样本;
第二处理模块,用于将所述目标服装样本和所述三维图像进行合成,显示合成后的试衣图像。
第三方面,本申请实施例提供了一种虚拟试衣的系统,包括:三维人体重构模块、姿态检测模块、服装样本库、虚拟缝合模块、变形渲染模块;所述三维人体重构模块分别与所述姿态检测模块及所述虚拟缝合模块连接,所述姿态检测模块通过所述服装样本库与所述虚拟缝合模块连接,所述虚拟缝合模块与所述服装样本库分别与所述变形渲染模块连接;
其中,所述三维人体重构模块根据目标对象的第一图像获取所述目标对象的三维图像,所述姿态检测模块获取所述目标对象的运动姿态,所述服装样本库根据所述目标对象的运动姿态获取目标服装样本,所述虚拟缝合模块将所述目标服装样本与所述三维图像进行虚拟缝合,获取缝合图像,所述变形渲染模块将所述缝合图像与所述目标服装样本进行服装变形和运动渲染处理,获取并显示试衣图像。
第四方面,本申请实施例提供了一种电子设备,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如上所述的虚拟试衣的方法的步骤。
第五方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如上所述的虚拟试衣的方法的步骤。
在本申请实施例中,通过获取目标对象的第一图像,根据所述第一图像,获取所述目标对象的三维图像以及所述目标对象的运动姿态,并根据所述目标对象的运动姿态与多个服装样本之间的匹配关系,确定目标服装样本,将所述目标服装样本和所述三维图像进行合成,显示合成后的试衣图像,能够减小虚拟试衣过程中的服装变形、运动渲染等算法的工作量,还能改善虚拟试衣、服装变形等过程中的服装失真效果。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是本申请实施例的虚拟试衣的系统结构示意图;
图2是本申请实施例的虚拟试衣的方法流程图;
图3是本申请实施例的三维人体重构的处理流程图;
图4是本申请实施例的虚拟试衣的装置的结构示意图;
图5是本申请实施例的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
现有的3D虚拟试衣系统,通过一个或多个摄像头,同时采集人体的二维图像并进行三维重构恢复出立体的人体形状。之后,再将服装样本库中的服装样本进行服装变形、运动渲染等算法贴合到人体表面,最终达到虚拟试衣效果。
现有的3D虚拟试衣系统基本可以实现让用户有虚拟的试穿衣服的效果,但在逼真效果上还存在服装失真、用户体验真实度低的缺点。其主要原因是:单一的服装样本需要根据试衣者的身体摆动、旋转,经过复杂的服装变形算法生成对应角度及运动姿态下的新的服装效果。这使得虚拟试衣阶段的算法复杂度高、延迟大,且无法达到高精度的服装模拟,从而导致服装失真或展示效果恶化。
因此,本申请实施例提供了一种虚拟试衣的方法、装置、系统及电子设备,能够解决现有的虚拟试衣过程算法消耗计算资源,很难做到既快又真实的问题,可以减小虚拟试衣过程中的服装变形、运动渲染等算法的工作量,还能改善虚拟试衣、服装变形等过程中的服装失真效果。
如图1所示,本申请实施例提供了一种虚拟试衣的系统,包括:三维人体重构模块11、姿态检测模块12、服装样本库13、虚拟缝合模块14、变形渲染模块15;所述三维人体重构模块11分别与所述姿态检测模块12及所述虚拟缝合模块14连接,所述姿态检测模块12通过所述服装样本库13与所述虚拟缝合模块14连接,所述虚拟缝合模块14与所述服装样本库13分别与所述变形渲染模块15连接;
其中,所述三维人体重构模块11根据目标对象的第一图像获取所述目标对象的三维图像,所述姿态检测模块12获取所述目标对象的运动姿态,所述服装样本库13根据所述目标对象的运动姿态获取目标服装样本,所述虚拟缝合模块14将所述目标服装样本与所述三维图像进行虚拟缝合,获取缝合图像,所述变形渲染模块15将所述缝合图像与所述目标服装样本进行服装变形和运动渲染处理,获取并显示试衣图像。
具体的,所述三维人体重构模块11可以根据所述目标对象的第一图像构建关于所述目标对象的三维图像,所述姿态检测模块12根据所述三维图像和/或所述第一图像,获取所述目标对象的运动姿态。或者,所述所述三维人体重构模块11根据所述目标对象的第一图像,获取所述第一图像中的特征点数据,并根据所述第一图像中的特征点数据构建关于所述目标对象的三维图像,在构建三维图像的过程中,所述姿态检测模块12可以处于工作状态,根据所述所述第一图像中的特征点数据,获取所述目标对象的运动姿态,能够进一步减少虚拟试衣过程的复杂程度。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的虚拟试衣的方法进行详细地说明。
如图2所示,本申请实施例提供了一种虚拟试衣的方法,该方法具体包括:
步骤101,获取目标对象的第一图像。
具体的,所述第一图像为多个二维图像,可以通过单摄像头或者多摄像头同时采集目标对象的多个二维图像。
需要说明的是,目标对象为需要采集人体二维图像的用户,所述第一图像为通过摄像头采集的用户的二维人体图像。
步骤102,根据所述第一图像,获取所述目标对象的三维图像以及所述目标对象的运动姿态。
具体的,根据所述目标对象的多个第一图像,获取所述目标图像的三维图像。并且,可以根据单幅图像或连续多幅图像的运动检测算法检测并获取所述目标对象的运动姿态。其中,上述单幅图像或连续多幅图像中的图像可以为第一图像,也可以为三维图像,也可以为第一图像构建三维图像过程中的中间图像数据,在此不做具体限定。
可选的,所述运动姿态包括但不限于:姿态角度和运动方向中的至少一项。
具体的,所述运动姿态可以包括人体的姿态角度、人体的运动方向(或者为人体的运动趋势的方向)等,在此不做具体限定。
步骤103,根据所述目标对象的运动姿态与多个服装样本之间的匹配关系,确定目标服装样本。
具体的,所述服装样本库中包括有多套服装,每一套服装都具有多个服装样本,每一套服装的服装样本包括多个不同角度或不同方向等样本。在检测并获取到所述目标对象的姿态角度和/或运动方向等运动姿态的情况下,将获取到的所述目标对象的姿态角度和/或运动方向等运动姿态发送至所述服装样本库。
具体的,获取所述目标对象的运动姿态与所述服装样本库中的多个服装样本之间的匹配关系,根据所述目标对象的运动姿态与多个服装样本之间的匹配关系,在所述服装样本库中选择一个或多个服装样本为目标服装样本。
步骤104,将所述目标服装样本和所述三维图像进行合成,显示合成后的试衣图像。
具体的,在确定所述目标服装样本之后,可以将所述目标服装样本与所述三维图像进行合成处理,从而获取合成处理后的虚拟试衣图像并显示所述试衣图像,用户可以根据虚拟试衣图像获取不同类型服装的试穿效果,提高用户试穿体验。
在本申请实施例中,通过获取目标对象的第一图像,根据所述第一图像,获取所述目标对象的三维图像以及所述目标对象的运动姿态,并根据所述目标对象的运动姿态与多个服装样本之间的匹配关系,确定目标服装样本,将所述目标服装样本和所述三维图像进行合成,显示合成后的试衣图像,能够减小虚拟试衣过程中的服装变形、运动渲染等算法的工作量,还能改善虚拟试衣、服装变形等过程中的服装失真效果。
可选的,所述步骤102,具体可以采用如下第一方式获取目标对象的运动姿态:
根据所述目标对象的第一图像,构建关于所述目标对象的三维图像;
根据所述三维图像和/或所述第一图像,获取所述目标对象的运动姿态。
具体的,在获取所述目标对象的第一图像之后,可以根据所述第一图像进行三维人体重构,从而可以构建出关于所述目标对象的三维图像。可以根据所述第一图像获取所述目标对象的运动姿态,如:根据连续的多个所述第一图像可以获取目标对象的运动趋势,从而获取所述目标对象的运动姿态。或者,可以根据所述三维图像获取所述目标对象的运动姿态。或者,可以根据所述三维图像以及所述第一图像获取所述目标对象的运动姿态,在此不做具体限定。
具体的,三维人体重构的方法可以采用特征识别匹配算法,也可以采用基于深度学习技术的重构算法等,在此不做具体限定。
例如:如图3所示,如果三维人体重构的方法采用深度学习技术,则基于深度学习的三维人体重构的处理流程为:
步骤201,获取训练数据集;即首先需要获取三维人体重构所需的训练数据集,所述训练数据集包括二维图像数据和三维图像数据。
步骤202,基于深度学习的三维人体重构;即根据所述训练数据集中的二维图像数据进行三维重建,即所述训练数据集中的二维图像数据通过AI模型获取重建后的三维图像。
步骤203,误差分析;即将所述重建后的三维图像与所述训练数据集中的三维图像数据进行比对,分析并计算误差。
步骤204,判断误差是否满足精度要求;即根据计算的误差与预设误差进行比对,如果所述重建后的三维图像与所述训练数据集中的三维图像数据之间的误差小于或等于所述预设误差,则误差满足精度要求,进入步骤205;如果所述重建后的三维图像与所述训练数据集中的三维图像数据之间的误差大于所述预设误差,则误差不满足精度要求,需要重新返回至步骤202。其中,所述预设误差为判定误差值是否满足精度要求的阈值,可以根据需求进行设定。
步骤205,训练过程结束,保存算法参数;即误差满足精度要求,结束训练过程,得到训练后的人工智能(Artificial Intelligence,AI)模型,即所述第一图像可以通过训练后的AI模型获取三维图像。
可选的,所述步骤102,具体可以采用如下第一方式获取目标对象的运动姿态:
根据所述目标对象的第一图像,获取所述第一图像中的特征点数据;
根据所述特征点数据,获取所述目标对象的运动姿态,并构建关于所述目标对象的三维图像。
具体的,根据所述三维人体重构算法的不同,可以加获取所述目标对象和获取所述目标对象的运动姿态的两个过程融合在一起,即根据所述第一图像进行三维人体重构的过程中的中间数据(即特征点数据)作为获取所述目标对象的运动姿态的参数。
例如:如果三维人体重构的方法采用特征点匹配算法,则三维人体重构的处理流程为:根据所述第一图像,进行三维人体重构,在三维人体重构过程中,可以得到中间数据,即图像的特征点数据(如:人体的头、手、脚等数据);根据所述特征点数据,可以获取目标对象的运动姿态。并且,根据所述图像特征点数据,可以继续人体三维重构过程,获取所述目标对象的三维图像。上述过程将三维人体重构和人体运动姿态检测结合在一起,能够进一步减少虚拟试衣过程的复杂程度。
可选的,所述步骤104,具体可以包括:
将所述目标服装样本和所述三维图像进行虚拟缝合,获取缝合图像;
将所述缝合图像与所述目标服装样本进行服装变形和运动渲染处理,获取并显示试衣图像。
具体的,在获取所述目标服装样本和三维图像的情况下,将所述目标服装样本和所述三维图像进行人体与服装的虚拟缝合(即三维图像与目标服装样本的虚拟缝合),可以得到所述目标服装样本和所述三维图像虚拟缝合之后的缝合图像。并且,将所述缝合图像与所述目标服装样本进行处理,即将所述目标服装样本进行服装变形处理,将所述缝合图像进行运动渲染处理,既可以获得虚拟试衣图像,并输出所述试衣图像,以供用户观看试衣效果。
可选的,在所述步骤103中:
在所述目标服装样本的数量为一个的情况下,所述目标服装样本包括:所述多个服装样本中与所述运动姿态匹配程度最高的第一服装样本;
在所述目标服装样本的数量为多个的情况下,所述目标服装样本包括:所述第一服装样本,以及所述多个服装样本中与所述第一服装样本的运动方位差在第一预设范围内的服装样本。
具体的,在所述目标服装样本的数量为一个的情况下,根据所述目标对象的运动姿态,在所述服装样本库中选择与所述运动姿态最匹配的第一服装样本为目标服装样本,再将所述目标服装样本和所述三维图像进行虚拟缝合,获取缝合图像,将所述缝合图像与所述目标服装样本进行服装变形和运动渲染处理,获取试衣图像,上述过程相较于现有技术减少虚拟缝合与服装变形等算法的复杂度,并且改善虚拟试衣、服装变形等过程中的服装失真效果。
具体的,在所述目标服装样本的数量为多个的情况下,根据所述目标对象的运动姿态,所述目标服装样本包括与所述运动姿态最匹配的第一服装样本,以及与所述第一服装样本的运动方位差在第一预设范围内的服装样本;再将所述目标服装样本和所述三维图像进行虚拟缝合,获取缝合图像,将所述缝合图像与所述目标服装样本进行服装变形和运动渲染处理,获取试衣图像,上述运动渲染部分可以利用多个目标服装样本进行插值算法、运动模拟等,进一步提高人体试衣时身体摆动、身体旋转等操作下的渲染效果,改善虚拟试衣、服装变形等过程中的服装失真效果。
需要说明的是,所述第一预设范围为判定所述多个服装样本中与所述第一服装样本的运动范围差是否较小的阈值,所述第一预设范围可以根据需要进行设定。
例如:多个所述目标服装样本包括正面服装样本和侧面服装样本,在上述运动渲染部分可以利用正面服装样本和侧面服装样本进行插值算法、运动模拟(如:由正面服装样本到侧面服装样本可以得知运动趋势为正面向侧面运动的方向运动),可以进一步提高人体试衣时身体摆动、身体旋转等操作下的渲染效果,改善虚拟试衣、服装变形等过程中的服装失真效果。
综上所述,本申请实施例中,根据所述第一图像,获取所述目标对象的三维图像以及所述目标对象的运动姿态,并根据所述目标对象的运动姿态与多个服装样本之间的匹配关系,确定目标服装样本,将所述目标服装样本和所述三维图像进行合成,显示合成后的试衣图像,能够减小虚拟试衣过程中的服装变形、运动渲染等算法的工作量;并且,多个目标服装样本可以进一步提高人体试衣时身体摆动、身体旋转等操作下的渲染效果,改善虚拟试衣、服装变形等过程中的服装失真效果。
如图4所示,本申请实施例提供了一种虚拟试衣的装置300,包括:
第一获取模块301,用于获取目标对象的第一图像;
第二获取模块302,用于根据所述第一图像,获取所述目标对象的三维图像以及所述目标对象的运动姿态;
第一处理模块303,用于根据所述目标对象的运动姿态与多个服装样本之间的匹配关系,确定目标服装样本;
第二处理模块304,用于将所述目标服装样本和所述三维图像进行合成,获取合成后的试衣图像。
在本申请实施例中,通过第一获取模块301获取目标对象的第一图像,第二获取模块302根据所述第一图像,获取所述目标对象的三维图像以及所述目标对象的运动姿态,第一处理模块303根据所述目标对象的运动姿态与多个服装样本之间的匹配关系,确定目标服装样本,第二处理模块304将所述目标服装样本和所述三维图像进行合成,显示合成后的试衣图像,能够减小虚拟试衣过程中的服装变形、运动渲染等算法的工作量,还能改善虚拟试衣、服装变形等过程中的服装失真效果。
可选的,所述第二获取模块,包括:
第一处理单元,用于根据所述目标对象的第一图像,构建关于所述目标对象的三维图像;
第一获取单元,用于根据所述三维图像和/或所述第一图像,获取所述目标对象的运动姿态。
可选的,所述第二获取模块,包括:
第二获取单元,用于根据所述目标对象的第一图像,获取特征点数据;
第二处理单元,用于根据所述特征点数据,获取所述目标对象的运动姿态,并构建关于所述目标对象的三维图像。
可选的,在所述第一处理模块中:
在所述目标服装样本的数量为一个的情况下,所述目标服装样本包括:所述多个服装样本中与所述运动姿态匹配程度最高的第一服装样本;
在所述目标服装样本的数量为多个的情况下,所述目标服装样本包括:所述第一服装样本,以及所述多个服装样本中与所述第一服装样本的运动方位差在第一预设范围内的服装样本。
可选的,所述运动姿态包括:姿态角度和运动方向中的至少一项。
可选的,所述第二处理模块,包括:
第四处理单元,用于将所述目标服装样本和所述三维图像进行虚拟缝合,获取缝合图像;
第五处理单元,用于将所述缝合图像与所述目标服装样本进行服装变形和运动渲染处理,获取并显示试衣图像。
综上所述,本申请实施例中,根据所述第一图像,获取所述目标对象的三维图像以及所述目标对象的运动姿态,并根据所述目标对象的运动姿态与多个服装样本之间的匹配关系,确定目标服装样本,将所述目标服装样本和所述三维图像进行合成,显示合成后的试衣图像,能够减小虚拟试衣过程中的服装变形、运动渲染等算法的工作量;并且,多个目标服装样本可以进一步提高人体试衣时身体摆动、身体旋转等操作下的渲染效果,改善虚拟试衣、服装变形等过程中的服装失真效果。
需要说明的是,该虚拟试衣的装置实施例是与上述虚拟试衣的方法相对应的装置,上述方法实施例的所有实现方式均适用于该装置实施例中,也能达到与其相同的技术效果,在此不再赘述。
本发明实施例还提供了一种电子设备,该电子设备可以是服务器。如图5所示,包括处理器501、通信接口502、存储器503和通信总线504,其中,处理器501,通信接口502,存储器503通过通信总线504完成相互间的通信。
存储器503,用于存放计算机程序。
在电子设备为控制中心时,处理器501用于执行存储器503上所存放的程序时,实现如下步骤:
获取目标对象的第一图像;
根据所述第一图像,获取所述目标对象的三维图像以及所述目标对象的运动姿态;
根据所述目标对象的运动姿态与多个服装样本之间的匹配关系,确定目标服装样本;
将所述目标服装样本和所述三维图像进行合成,显示合成后的试衣图像。
可选的,所述根据所述第一图像,获取所述目标对象的三维图像以及所述目标对象的运动姿态,包括:
根据所述目标对象的第一图像,构建关于所述目标对象的三维图像;
根据所述三维图像和/或所述第一图像,获取所述目标对象的运动姿态。
可选的,所述根据所述第一图像,获取所述目标对象的三维图像以及所述目标对象的运动姿态,包括:
根据所述目标对象的第一图像,获取所述第一图像中的特征点数据;
根据所述特征点数据,获取所述目标对象的运动姿态,并构建关于所述目标对象的三维图像。
可选的,在所述根据所述目标对象的运动姿态与多个服装样本之间的匹配关系,确定目标服装样本的步骤中:
在所述目标服装样本的数量为一个的情况下,所述目标服装样本包括:所述多个服装样本中与所述运动姿态匹配程度最高的第一服装样本;
在所述目标服装样本的数量为多个的情况下,所述目标服装样本包括:所述第一服装样本,以及所述多个服装样本中与所述第一服装样本的运动方位差在第一预设范围内的服装样本。
可选的,所述运动姿态包括:姿态角度和运动方向中的至少一项。
可选的,所述将所述目标服装样本和所述三维图像进行合成,显示合成后的试衣图像,包括:
将所述目标服装样本和所述三维图像进行虚拟缝合,获取缝合图像;
将所述缝合图像与所述目标服装样本进行服装变形和运动渲染处理,获取并显示试衣图像。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中所述的虚拟试衣的方法。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (10)
1.一种虚拟试衣的方法,其特征在于,包括:
获取目标对象的第一图像;
根据所述第一图像,获取所述目标对象的三维图像以及所述目标对象的运动姿态;
根据所述目标对象的运动姿态与多个服装样本之间的匹配关系,确定目标服装样本;
将所述目标服装样本和所述三维图像进行合成,显示合成后的试衣图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一图像,获取所述目标对象的三维图像以及所述目标对象的运动姿态,包括:
根据所述目标对象的第一图像,构建关于所述目标对象的三维图像;
根据所述三维图像和/或所述第一图像,获取所述目标对象的运动姿态。
3.根据权利要求1所述的方法,其特征在于,所述根据所述第一图像,获取所述目标对象的三维图像以及所述目标对象的运动姿态,包括:
根据所述目标对象的第一图像,获取所述第一图像中的特征点数据;
根据所述特征点数据,获取所述目标对象的运动姿态,并构建关于所述目标对象的三维图像。
4.根据权利要求1所述的方法,其特征在于,在所述根据所述目标对象的运动姿态与多个服装样本之间的匹配关系,确定目标服装样本的步骤中:
在所述目标服装样本的数量为一个的情况下,所述目标服装样本包括:所述多个服装样本中与所述运动姿态匹配程度最高的第一服装样本;
在所述目标服装样本的数量为多个的情况下,所述目标服装样本包括:所述第一服装样本,以及所述多个服装样本中与所述第一服装样本的运动方位差在第一预设范围内的服装样本。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述运动姿态包括:姿态角度和运动方向中的至少一项。
6.根据权利要求1所述的方法,其特征在于,所述将所述目标服装样本和所述三维图像进行合成,显示合成后的试衣图像,包括:
将所述目标服装样本和所述三维图像进行虚拟缝合,获取缝合图像;
将所述缝合图像与所述目标服装样本进行服装变形和运动渲染处理,获取并显示试衣图像。
7.一种虚拟试衣的装置,其特征在于,包括:
第一获取模块,用于获取目标对象的第一图像;
第二获取模块,用于根据所述第一图像,获取所述目标对象的三维图像以及所述目标对象的运动姿态;
第一处理模块,用于根据所述目标对象的运动姿态与多个服装样本之间的匹配关系,确定目标服装样本;
第二处理模块,用于将所述目标服装样本和所述三维图像进行合成,显示合成后的试衣图像。
8.一种虚拟试衣的系统,其特征在于,包括:三维人体重构模块、姿态检测模块、服装样本库、虚拟缝合模块、变形渲染模块;所述三维人体重构模块分别与所述姿态检测模块及所述虚拟缝合模块连接,所述姿态检测模块通过所述服装样本库与所述虚拟缝合模块连接,所述虚拟缝合模块与所述服装样本库分别与所述变形渲染模块连接;
其中,所述三维人体重构模块根据目标对象的第一图像获取所述目标对象的三维图像,所述姿态检测模块获取所述目标对象的运动姿态,所述服装样本库根据所述目标对象的运动姿态获取目标服装样本,所述虚拟缝合模块将所述目标服装样本与所述三维图像进行虚拟缝合,获取缝合图像,所述变形渲染模块将所述缝合图像与所述目标服装样本进行服装变形和运动渲染处理,获取并显示试衣图像。
9.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-6任一项所述的虚拟试衣的方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-6任一项所述的虚拟试衣的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010615527.0A CN111882380A (zh) | 2020-06-30 | 2020-06-30 | 一种虚拟试衣的方法、装置、系统及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010615527.0A CN111882380A (zh) | 2020-06-30 | 2020-06-30 | 一种虚拟试衣的方法、装置、系统及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111882380A true CN111882380A (zh) | 2020-11-03 |
Family
ID=73157382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010615527.0A Pending CN111882380A (zh) | 2020-06-30 | 2020-06-30 | 一种虚拟试衣的方法、装置、系统及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111882380A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112598806A (zh) * | 2020-12-28 | 2021-04-02 | 深延科技(北京)有限公司 | 基于人工智能的虚拟试穿方法、装置、计算机设备及介质 |
CN113129450A (zh) * | 2021-04-21 | 2021-07-16 | 北京百度网讯科技有限公司 | 虚拟试衣方法、装置、电子设备和介质 |
CN114630012A (zh) * | 2022-03-11 | 2022-06-14 | 北京奇艺世纪科技有限公司 | 一种虚拟试衣视频生成方法、装置、电子设备及介质 |
WO2024175009A1 (zh) * | 2023-02-23 | 2024-08-29 | 北京字跳网络技术有限公司 | 用于在虚拟环境中交互的方法、装置、设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020961A (zh) * | 2012-11-26 | 2013-04-03 | 谭平 | 基于图像的虚拟服装拟合的方法和设备 |
CN103106604A (zh) * | 2013-01-23 | 2013-05-15 | 东华大学 | 基于体感技术的3d虚拟试衣方法 |
CN105427386A (zh) * | 2015-12-24 | 2016-03-23 | 南京邮电大学 | 基于输入人体姿态实时生成的服装变形方法 |
CN108510594A (zh) * | 2018-02-27 | 2018-09-07 | 吉林省行氏动漫科技有限公司 | 虚拟试衣方法、装置及终端设备 |
CN109003168A (zh) * | 2018-08-16 | 2018-12-14 | 深圳Tcl数字技术有限公司 | 虚拟试衣方法、智能电视以及计算机可读存储介质 |
-
2020
- 2020-06-30 CN CN202010615527.0A patent/CN111882380A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020961A (zh) * | 2012-11-26 | 2013-04-03 | 谭平 | 基于图像的虚拟服装拟合的方法和设备 |
CN103106604A (zh) * | 2013-01-23 | 2013-05-15 | 东华大学 | 基于体感技术的3d虚拟试衣方法 |
CN105427386A (zh) * | 2015-12-24 | 2016-03-23 | 南京邮电大学 | 基于输入人体姿态实时生成的服装变形方法 |
CN108510594A (zh) * | 2018-02-27 | 2018-09-07 | 吉林省行氏动漫科技有限公司 | 虚拟试衣方法、装置及终端设备 |
CN109003168A (zh) * | 2018-08-16 | 2018-12-14 | 深圳Tcl数字技术有限公司 | 虚拟试衣方法、智能电视以及计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
王宏等: "《数字技术与新媒体传播》", pages: 273 - 277 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112598806A (zh) * | 2020-12-28 | 2021-04-02 | 深延科技(北京)有限公司 | 基于人工智能的虚拟试穿方法、装置、计算机设备及介质 |
CN113129450A (zh) * | 2021-04-21 | 2021-07-16 | 北京百度网讯科技有限公司 | 虚拟试衣方法、装置、电子设备和介质 |
CN113129450B (zh) * | 2021-04-21 | 2024-04-05 | 北京百度网讯科技有限公司 | 虚拟试衣方法、装置、电子设备和介质 |
CN114630012A (zh) * | 2022-03-11 | 2022-06-14 | 北京奇艺世纪科技有限公司 | 一种虚拟试衣视频生成方法、装置、电子设备及介质 |
CN114630012B (zh) * | 2022-03-11 | 2024-03-12 | 北京奇艺世纪科技有限公司 | 一种虚拟试衣视频生成方法、装置、电子设备及介质 |
WO2024175009A1 (zh) * | 2023-02-23 | 2024-08-29 | 北京字跳网络技术有限公司 | 用于在虚拟环境中交互的方法、装置、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10679046B1 (en) | Machine learning systems and methods of estimating body shape from images | |
CN111882380A (zh) | 一种虚拟试衣的方法、装置、系统及电子设备 | |
Pujades et al. | The virtual caliper: rapid creation of metrically accurate avatars from 3D measurements | |
CN109859305B (zh) | 基于多角度二维人脸的三维人脸建模、识别方法及装置 | |
US11640672B2 (en) | Method and system for wireless ultra-low footprint body scanning | |
US10290136B2 (en) | Processing user selectable product images and facilitating visualization-assisted coordinated product transactions | |
US10628666B2 (en) | Cloud server body scan data system | |
US10121273B2 (en) | Real-time reconstruction of the human body and automated avatar synthesis | |
CN110926334B (zh) | 测量方法、装置、电子设备及存储介质 | |
CN109636831A (zh) | 一种估计三维人体姿态及手部信息的方法 | |
US11922593B2 (en) | Methods of estimating a bare body shape from a concealed scan of the body | |
JP7268071B2 (ja) | バーチャルアバターの生成方法及び生成装置 | |
CN111968165B (zh) | 动态人体三维模型补全方法、装置、设备和介质 | |
CN112288665A (zh) | 图像融合的方法、装置、存储介质及电子设备 | |
CN108509924B (zh) | 人体姿态的评分方法和装置 | |
CN113763440A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
GB2598452A (en) | 3D object model reconstruction from 2D images | |
CN114782661B (zh) | 下半身姿态预测模型的训练方法及装置 | |
Caliskan et al. | Multi-view consistency loss for improved single-image 3d reconstruction of clothed people | |
Alemany et al. | Three-dimensional body shape modeling and posturography | |
CN116524088B (zh) | 珠宝虚拟试戴方法、装置、计算机设备和存储介质 | |
WO2018182938A1 (en) | Method and system for wireless ultra-low footprint body scanning | |
CN112712571A (zh) | 基于视频的物体平面贴图方法、装置以及设备 | |
CN115775300B (zh) | 人体模型的重建方法、人体重建模型的训练方法及装置 | |
WO2020174488A1 (en) | Programmatic hairstyle opacity compositing for 3d rendering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |