CN102982581A - 基于图像的虚拟试穿系统和方法 - Google Patents

基于图像的虚拟试穿系统和方法 Download PDF

Info

Publication number
CN102982581A
CN102982581A CN2011102656971A CN201110265697A CN102982581A CN 102982581 A CN102982581 A CN 102982581A CN 2011102656971 A CN2011102656971 A CN 2011102656971A CN 201110265697 A CN201110265697 A CN 201110265697A CN 102982581 A CN102982581 A CN 102982581A
Authority
CN
China
Prior art keywords
trying
image
person
model
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011102656971A
Other languages
English (en)
Other versions
CN102982581B (zh
Inventor
张辉
冯雪涛
沈晓璐
林华书
金庸善
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201110265697.1A priority Critical patent/CN102982581B/zh
Priority to KR1020120086175A priority patent/KR101894299B1/ko
Publication of CN102982581A publication Critical patent/CN102982581A/zh
Application granted granted Critical
Publication of CN102982581B publication Critical patent/CN102982581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供一种基于图像的虚拟试穿系统和方法,所述系统包括:图像分解单元,用于将试穿者图像分解为不同的部位;匹配单元,用于针对由图像分解单元分解出的试穿者的各个部位,在衣物图库中存储的穿着所述试穿衣物的至少一个模特图像中搜索与所述各个部位匹配的模特对应部位;以及合成单元,用于将由匹配单元搜索到的模特对应部位与试穿者图像进行合成。根据本发明的虚拟试穿系统和方法可支持试穿者的多种体姿,实现照片级别的真实性并能够取得丰富的试穿效果。

Description

基于图像的虚拟试穿系统和方法
技术领域
本发明涉及虚拟试穿技术,尤其涉及一种以试穿者的图像为基础来达到试穿效果的虚拟试穿系统和方法。
背景技术
随着计算机图形学等信息处理技术的发展,已经研发出能够实现虚拟试穿的诸多方案。通过虚拟试穿系统,用户不必真实地穿上衣服,而仅需要将自己的影像提供给虚拟试穿系统就能够看到虚拟试穿的效果。这种虚拟试穿系统的应用十分广泛,比如,设计师可利用虚拟试穿系统来辅助服装设计,而随着网络技术的发展,对于普通顾客而言,这种虚拟试穿系统还特别适用于网络购物、虚拟社区等在线交互系统。
现有的虚拟试穿系统主要分为两类,其中,第一类为基于模型(modelbased)的虚拟试穿系统,第二类为基于图像(image based)的虚拟试穿系统。
图1是现有技术中基于模型的虚拟试穿系统的试穿效果示意图。现有的基于模型的虚拟试穿系统通常采用三维模型(因为二维模型实用价值非常小),具体说来,可根据人体三维模型和衣物三维模型,计算出穿衣后上述两个模型的相对位置关系和变形,并依据衣物的材质信息进行渲染,即实现虚拟试穿效果。例如,公开号为CN101398942A的中国专利《三维试衣仿真系统》中公开了一种对虚拟人模和衣物模型进行模拟着装的技术,其中,三维衣物数据从二维衣物数据转换而来,在进行着装模拟时,采用了基于层次剖分技术并融合了AABB包围盒检测算法。然而,由于人体和衣物的三维模型均难以获取,不仅需要昂贵的设备,采集过程也不简便,因此,基于模型的三维试穿仿真系统难以应用于普通用户。此外,由于在渲染时仅处理几何方面的问题,导致渲染结果的真实感较差,达不到照片级别的真实性,很容易看出是计算机合成的结果。
另一方面,在基于图像的虚拟试穿系统中,所使用的是人体和衣服的二维图像。具体说来,所述虚拟试穿系统可基于人体二维图像中的某些特征(如关节点位置、人体轮廓等),结合试穿者的身材数据(如,身高、体重、三围等),通过与试穿者进行频繁交互来实现将衣服拟合到人体上的效果。基于图像的虚拟试穿系统中的数据采集部分相对而言易于实现(仅需要输入普通的二维图像),并能够实现照片级别的真实性。但是现有的基于图像的虚拟试穿系统普遍存在以下缺陷:1、仅支持简单的体姿,图2示出现有技术中基于图像的虚拟试穿系统支持的典型体姿,从图2可以看出,目前的基于图像的虚拟试穿系统由于局限于单一的站姿而无法获得足够丰富的试穿效果。2、对试穿者的拍摄有严格限制,如第US6307568B1号美国专利《Virtual dressing overthe Internet》中明确限制试穿者拍摄时需要穿紧身衣服。3、需要知晓试穿者的身材数据,既不利于保护隐私,也不便于用户使用。4、需要试穿者不断与试穿系统进行交互,操作复杂且速度较慢,如第US5680528号美国专利《Digital dressing room》中就要求试穿者进行多次手动交互。
综上所述,在现有的虚拟试穿系统中,仍存在诸多应用限制,对试穿者的要求也较高,操作起来不够便利。用户难以通过现有的虚拟试穿系统进行便利的试穿,也无法获得真实度高且内容丰富的试穿效果图。
发明内容
本发明的目的在于提供能够基于图像实现良好试穿效果的虚拟试穿系统和方法,通过所述虚拟试穿系统和方法,能够自动生成生动的虚拟试穿效果,而不需要对试穿者或输入图像进行诸多约束。
根据本发明的一方面,提供一种基于图像的虚拟试穿系统,所述系统包括:图像分解单元,用于将试穿者图像分解为不同的部位;匹配单元,用于针对由图像分解单元分解出的试穿者的各个部位,在衣物图库中存储的穿着所述试穿衣物的至少一个模特图像中搜索与所述各个部位匹配的模特对应部位;以及合成单元,用于将由匹配单元搜索到的模特对应部位与试穿者图像进行合成。
图像分解单元可在试穿者图像中与试穿衣物对应的区域中,沿着用于确定试穿者各个部位的关节点来分解出所述各个部位。
图像分解单元可包括:特征提取模块,用于检测所述各个部位的关节点的三维或二维坐标;分割模块,用于沿着检测到的关节点的三维或二维坐标进行分割处理,以获取所述各个部位。
分割模块可在各个部位之间留出预定重叠部分以用于合成处理。
当存在穿着所述试穿衣物的多个模特的模特图像时,匹配单元可优先搜索与试穿者体型接近的模特的模特图像。
匹配单元可包括:部位匹配模块,用于针对试穿者的每个部位,搜索与其匹配的一个或多个候选模特对应部位;全局匹配模块,用于基于部位匹配模块搜索出的全部候选模特对应部位,确定与试穿者各个部位组成的整体相匹配的模特对应部位的组合。
部位匹配模块可将试穿者的各个部位的端点处的关节点连线的空间朝向与模特的相应部位的端点处的关节点连线的空间朝向进行匹配,将匹配差异较小的一个或多个模特对应部位选为候选模特对应部位。
全局匹配模块可确定试穿者的各个部位组成的整体与候选模特对应部位的哪种组合之间的总匹配差异最小,并将最小总匹配差异对应的那组候选模特对应部位确定为最终的模特对应部位。
当部位匹配模块选择候选模特对应部位时,可将候选模特对应部位限制为不被其它部位遮挡。
图像分解单元还可获取试穿者各个部位之间的遮挡关系,并且,全局匹配模块可将相邻的非遮挡关系的试穿者部位组装为一个新的匹配对象,然后针对所述新的匹配对象在候选模特对应部位的模特图像中搜索匹配的模特对应部位组合。
当全局匹配模块确定组装的所述新的匹配对象的匹配差异时,可对其中的每个部位的匹配差异进行求和,再从求和的值减去与所述新的匹配对象中的部位个数成预定比例的数值。
当试穿者图像是时间上连续的运动图像时,匹配单元可依据前后图像帧之间的连续性来搜索匹配的模特对应部位。
合成单元可包括:变形模块,用于依据试穿者图像的图像特征,对由匹配单元搜索到的模特对应部位进行变形;拼接模块,用于将变形模块输出的变形结果与试穿者图像中除所述与试穿衣物对应的区域之外的图像区域进行拼接或融合,以产生试穿效果图。
所述试穿者图像的图像特征包括可所述关节点和/或试穿者自身的躯体轮廓信息。
变形模块可依据试穿者和模特的关节点和躯体轮廓信息的对应关系,将模特对应部位变形到试穿者图像的空间。
拼接模块可利用由分割模块在各个部位之间留出的预定重叠部分来进行拼接或融合处理。
拼接模块可基于皮肤一致性约束或姿势约束来执行拼接或融合处理。
所述虚拟试穿系统还可包括:插值单元,用于当试穿者图像是时间上连续的运动图像时,通过对相邻图像帧的试穿效果图进行插值来获得当前图像帧的试穿效果图。
当试穿者图像是不同视角下的多幅图像时,合成单元可基于所述多幅图像对应的试穿效果图来生成三维试穿效果图。
根据本发明的另一方面,提供一种基于图像的虚拟试穿方法,所述方法包括:将试穿者图像分解为不同的部位;针对分解出的试穿者的各个部位,在衣物图库中存储的穿着所述试穿衣物的至少一个模特图像中搜索与所述各个部位匹配的模特对应部位;以及将搜索到的模特对应部位与试穿者图像进行合成。
根据本发明示例性实施例的虚拟试穿系统和方法对试穿者的输入图像没有限制,试穿者可采用随意的穿着和姿势,输入图像也可以是易于采集的普通二维图像。在根据本发明示例性实施例的虚拟试衣系统和方法中,可自动合成试穿效果图,不需要进行任何用户交互操作,也不需要获取试穿者的真实身材数据,所实现的试穿效果图可达到照片级别的真实性。
此外,根据本发明示例性实施例的虚拟试穿系统和方法有效地解决了基于图像进行虚拟试穿时经常面临的部位遮挡问题,并通过独特的部位划分、部位匹配和效果图合成处理,保证了试穿系统运行的速度和显示的效果。
附图说明
通过下面结合附图进行的对实施例的描述,本发明的上述和/或其它目的和优点将会变得更加清楚,其中:
图1是现有技术中基于模型的虚拟试穿系统的试穿效果示意图;
图2示出现有技术中基于图像的虚拟试穿系统支持的典型体姿;
图3是示出根据本发明示例性实施例的基于图像的虚拟试穿系统的框图;
图4示出根据本发明示例性实施例的试穿者图像的示图;
图5是示出根据本发明示例性实施例的基于图像的虚拟试穿方法的流程图;
图6示出根据本发明示例性实施例的用于分解出人体部位的关节点示例;
图7示出根据本发明示例性实施例的图像分解单元的示例性构造;
图8示出根据本发明示例性实施例的匹配单元的示例性构造;
图9示出根据本发明示例性实施例的合成单元的示例性构造;以及
图10示出根据本发明示例性实施例进行虚拟试穿的测试效果图。
具体实施方式
现将详细描述本发明的实施例,所述实施例的示例在附图中示出,其中,相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例,以便解释本发明。
图3是示出根据本发明示例性实施例的基于图像的虚拟试穿系统的框图。如图3所示,根据本发明示例性实施例的虚拟试穿系统包括:图像分解单元10、匹配单元20和合成单元30,其中,图像分解单元10将试穿者图像分解为不同的部位,匹配单元20针对由图像分解单元10分解出的试穿者的各个部位,在衣物图库中存储的穿着所述试穿衣物的至少一个模特图像中搜索与所述各个部位匹配的模特对应部位,然后,合成单元30将由匹配单元20搜索到的模特对应部位与试穿者图像进行合成。这里,对衣物的试穿不仅是指试穿成套的上衣、裤子或其它外套,也指对单独的上衣或裤子进行试穿,甚至还包括对鞋子等其余配件的试穿(或试戴)等,只要试穿者图像和模特图像能够实现相应的匹配和合成,即可实现试穿的效果。
根据本发明的示例性实施例,所述图像分解单元10分解的试穿者图像可以是任何能够数字化为二维点阵的图像,例如,RGB图像等。此外,深度图像或运动图像也可作为图像分解单元10进行分解的对象。图4示出根据本发明示例性实施例的试穿者图像的示图,其中,图4中的(a)为普通的RGB二维图像,图4中的(b)为深度图像。在这里,试穿者图像可不受姿势或穿着的限制,即,试穿者不必局限于图2所示的站姿,而可以作出更加多样的姿势和角度,另外,也不必穿着现有技术中要求的紧身衣,而可以穿着日常的衣服。
在本发明的示例性实施例中,提出了一种全新的试穿方案,其超出了试穿者与衣物本身两者之间的拟合,而是借助于衣物图库中存储的穿有被试穿衣物的模特图像来生成与试穿者各个部位匹配的模特对应图像,然后将匹配的模特对应图像与试穿者图像中的非衣物区域进行合成,以产生试穿者的试穿效果图。为了实现更好的匹配效果,在衣物图库中,针对每一将被试穿的衣物,可存储多个模特以不同姿势、不同视角拍摄的多幅图像,所述多个模特可以在身高体重等方面存在一定差异。也就是说,模特图像信息越丰富,匹配的效果也就越精确,适用的范围也更广泛。
以下将结合图5来说明根据本发明示例性实施例的基于图像的虚拟试穿方法的示例。
图5是示出根据本发明示例性实施例的基于图像的虚拟试穿方法的流程图。参照图5,在步骤S100,由图像分解单元10将试穿者图像分解为不同的部位。作为示例,分解得到的部位可以是诸如躯干、上臂、下臂、大腿、小腿等,这些部位属于能够体现穿着效果的关键部位,当分别确定了这些部位的试穿效果时,相应地也就确定了试穿者的整体试穿效果。作为示例,图像分解单元10可沿着能够确定上述部位的关节点来分解出各个人体部位,所述关节点可如图6所示。
图7示出根据本发明示例性实施例的图像分解单元10的示例性构造。参照图7所示的优选方式,图像分解单元10可包括特征提取模块101和分割模块102,其中,特征提取模块101用于将作为前景的试穿者本身从试穿者图像中分离出来,并在与试穿衣物对应的区域检测关节点的三维或二维坐标(这里,特征提取模块101可采用现有技术中的任何已知算法或其它算法来检测关节点坐标,本说明书不对具体算法进行赘述),此外,特征提取单元101还可从试穿者图像中检测出试穿者自身的躯体轮廓信息,作为示例,躯体轮廓信息可以是该试穿者躯体轮廓上的一些采样点信息。
在特征提取模块101提取出试穿者在与试穿衣物区域中的关节点的三维或二维坐标之后,分割模块102可沿着检测到的关节点的三维或二维坐标进行分割处理,从而得到试穿者在试穿衣物区域中的各个部位(例如试穿上衣时的躯干、上臂、下臂等,试穿长裤时的大腿、小腿等)。作为优选方式,当分割模块102分割所述部位时,可在各部位之间留出一定的重叠部分,以便在后续合成效果图时易于进行拼接处理。
应注意:图7所示的图像分解单元10的结构仅是示例性的,本发明并不受限于该具体结构。特征提取模块101和分割模块102可被合并为单个模块或者进一步划分为更多的操作模块。而且,图像分解单元10对于试穿者各个部位的划分也并不受限于参照图7所述的具体操作,任何能够将试穿者图像中的试穿者进行有效部位划分的其它方式也均可应用于本发明。
然后,在步骤S200,由匹配单元20针对由图像分解单元10在步骤S100分解出的试穿者的各个部位,在衣物图库中存储的穿着所述试穿衣物的至少一个模特图像中搜索与所述各个部位匹配的模特对应部位。这里,为了便于进行试穿者与模特之间的部位匹配,在衣物图库中,对于试穿衣物的每幅模特图像而言,该模特与试穿者对应的各个部位和每个部位的相关属性信息已经作为该幅模特图像的附加信息被一并存储。例如,当试穿者试穿一条长裤时,图像分解单元10会将试穿者图像中与长裤对应的区域划分为腰部、臀部、大腿、小腿等部位;相应地,衣物图库中穿着该长裤的模特图像的附加信息中也已经存储有关于模特的腰部、臀部、大腿、小腿等部位以及每个部位的相关属性信息。作为优选方式,为了获取模特与试穿者对应的各个部位,可按照与试穿者图像完全一致的方式对模特图像进行分割。
为了进一步提高匹配效率,当衣物图库中存储有穿着试穿衣物的多位模特的图像时,可基于身高和体重差异来优先选取体型接近的模特进行匹配。在这一处理中,不需要获知试穿者的真实体重和身高,而仅需要将试穿者图像与模特图像在统一缩放尺度下进行比对即可获知两者的差异程度,其中,高度数据可以直接从图像中测量得出,而体重数据则可通过躯体面积与高度的比值来估算。
对于本领域技术人员而言,可使用各种方式来比较试穿者的各部位与模特的各部位,从而选择与试穿者差异较小的模特对应部位。可根据实际应用的需要(例如,对精确度和运行速度的不同要求)来调整匹配的具体处理过程。以下,作为示例,将结合图8示出的根据本发明示例性实施例的匹配单元20的示例性构造来描述步骤S200进行的匹配操作。
参照图8,匹配单元20可包括部位匹配模块201和全局匹配模块202,其中,所述部位匹配模块201用于针对试穿者的每个部位,搜索与其匹配的一个或多个候选模特对应部位,而全局匹配模块202基于部位匹配模块201获得的全部候选模特对应部位,确定与试穿者各个部位组成的整体相匹配的模特对应部位的组合。
具体说来,在部位匹配模块201搜索候选模特对应部位时,所述部位匹配模块201可将试穿者某个部位的端点处的关节点连线的空间朝向与相关模特的相应部位的端点处的关节点连线的空间朝向进行比较,二者差异较小的一个或多个模特对应部位被选为候选模特对应部位。在此基础上,全局匹配模块202可确定各个试穿者部位组成的整体与候选模特对应部位的哪种组合之间的总匹配差异最小,并将最小总匹配差异对应的那组候选模特对应部位确定为最终的模特对应部位。
由于本发明的虚拟试穿系统不对试穿者的姿势进行限制,因此可能会出现人体部位互相遮挡的情况(例如,手臂可能位于躯干前方,遮挡住了部分躯干)。因此,为了进一步提高试穿的效果,可首先在对试穿者和模特进行部位分割的时候即获取指示各个部位之间是否存在遮挡关系的信息,在选择候选模特对应部位时,可限制该候选模特对应部位不应被其它部位遮挡,以优化对候选模特对应部位的选取。在此基础上,全局匹配模块202可通过组装试穿者部位的方式来进一步优化匹配结果。具体说来,全局匹配模块202可将相邻的非遮挡关系的试穿者部位组装为一个新的匹配对象,然后以该对象为基础在候选模特图像中搜索与其匹配的部位组合。作为一种优选方式,当确定上述重组对象的匹配差异时,可对组合中每个部位的匹配差异进行求和,再从求和的值减去与组合中部位个数成预定比例的数值。全局匹配模块202的上述处理是为了对来自不同模特图像的匹配结果予以惩罚,以增加匹配处理的有效性。通过上述处理,各个试穿者部位组成的整体(即,试穿衣物覆盖的区域)被全局匹配模块202划分为多个重组的匹配对象和剩余的单个部位,并依次计算对应的匹配差异,其中,总匹配差异最小的那组候选模特对应部位确定为最终的模特对应部位。
应注意:图8所示的匹配单元20的结构仅是示例性的,本发明并不受限于该具体结构。部位匹配模块201和全局匹配模块202可被合并为单个模块或者进一步划分为更多的操作模块。而且,匹配单元20针对试穿者各个部位选择匹配的模特对应部位的方式也并不受限于参照图8所述的具体操作,任何能够将试穿者图像中的各个部位有效地匹配到模特的对应部位的其它方式也均可应用于本发明。例如,如果输入的试穿者图像是时间上连续的运动图像,则匹配单元20还可依据前后图像帧之间的连续性来更加高效地搜索匹配的模特对应部位,例如,匹配单元20可根据前一帧图像的匹配结果来预测当前帧图像的匹配结果。
然后,在步骤S300,由合成单元30将由匹配单元20搜索到的模特对应部位与试穿者图像进行合成。为了实现更好的合成效果,可首先依据试穿者的图像特征,对由匹配单元20搜索到的模特对应部位进行变形,在将变形的结果与试穿者图像中的非试穿衣物区域进行拼接。
以下,作为示例,将结合图9示出的根据本发明示例性实施例的合成单元30的示例性构造来描述步骤S300进行的合成操作。
参照图9,合成单元30可包括变形模块301和拼接模块302,其中,所述变形模块301用于依据试穿者的图像特征,对由匹配单元20搜索到的模特对应部位进行变形,然后,拼接模块302将变形的结果与试穿者图像中的非试穿衣物区域进行拼接/融合,以产生试穿效果图。这里,用于进行变形的试穿者的图像特征可以是由特征提取单元101提取的关节点,还可包括从试穿者图像中检测出的试穿者自身的躯体轮廓信息,例如,该试穿者躯体轮廓上的一些采样点信息。相应地,变形模块301可依据试穿者和模特的躯体轮廓上的上述关节点和采样点的对应关系,将各个模特对应部位变形到试穿者图像的空间。
在变形模块301执行变形处理之后,拼接模块302将变形的结果与试穿者图像中的非试穿衣物区域进行拼接/融合。作为优选方式,拼接模块302可利用进行部位分割时在各部位之间预留出的重叠部分进行拼接。这里,拼接模块302可采用任何已知的拼接/融合技术来对变形结果与试穿者的非衣物区域进行拼接/融合,例如,可考虑皮肤一致性约束、姿势约束等各种条件来执行拼接处理。
应注意:图9所示的合成单元30的结构仅是示例性的,本发明并不受限于该具体结构。变形模块301和拼接模块302可被合并为单个模块或者进一步划分为更多的操作模块。而且,合成单元30对试穿衣物相应的模特匹配结果与试穿者非衣物区域进行的合成操作也并不受限于参照图9所述的具体操作,任何能够将试穿者的非衣物区域与模特图像变形结果相互拼接的其它方式也均可应用于本发明。
此外,本发明对输入的试穿者图像并无具体限制,而当输入图像是试穿者的连续视频时,根据本发明示例性实施例的虚拟试穿系统还可包括插值单元(未示出),用于通过对相邻图像帧的试衣效果图进行插值来获取当前图像帧的试衣效果图,从而能够在当前帧自身的合成效果图不够理想时,对其进行适当的弥补。而且,当输入图像是试穿者在不同视角下的多幅图像时,根据本发明示例性实施例的虚拟试穿系统可针对所述多幅图像对应的试穿效果图,合成三维试穿效果图,便于试穿者更好地查看试穿效果。例如,可通过合成单元10基于多幅试穿效果图来生成三维试穿效果图。
图10示出根据本发明示例性实施例进行虚拟试穿的测试效果图。图10中的(a)是输入的试穿者图像,图10中的(b)是衣物图库中存储的穿着试穿者想要试穿的上衣和裤子的多幅模特图像,而图10中的(c)是根据本发明示例性实施例进行虚拟试穿的合成效果图。从图10看出,根据本发明示例性实施例的虚拟试穿系统和方法对试穿者的输入图像没有限制,试穿者可采用随意的穿着和姿势,输入图像也可以是易于采集的普通二维图像。在根据本发明示例性实施例的虚拟试衣系统和方法中,可自动合成试穿效果图,不需要进行任何用户交互操作,也不需要获取试穿者的真实身材数据,所实现的试穿效果图可达到照片级别的真实性。此外,根据本发明示例性实施例的虚拟试穿系统和方法有效地解决了基于图像进行虚拟试穿时经常面临的部位遮挡问题,并通过独特的部位划分、部位匹配和效果图合成处理,保证了试穿系统运行的速度和显示的效果。
根据本发明示例性实施例的虚拟试穿系统和方法可被应用于服装设计、网络购物、虚拟社区等系统中。在上述系统中,除了根据本发明示例性实施例的虚拟试穿系统之外,还包括相应的图像采集单元、数据处理单元或显示单元等,由于这些单元均属于本发明以外的现有技术,因此,为了避免对本发明的主题造成混淆,在此不进行详细说明。
本发明的以上各个实施例仅仅是示例性的,而本发明并不受限于此。本领域技术人员应该理解:任何借助于衣物图库中存储的穿有被试穿衣物的模特图像来生成与试穿者各个部位匹配的模特对应图像,然后将匹配的模特对应图像与试穿者图像中的非衣物区域进行合成,以产生试穿者的试穿效果图的方式均落入本发明的范围之中。因此,在不脱离本发明的原理和精神的情况下,可对这些实施例进行改变,其中,本发明的范围在权利要求及其等同物中限定。

Claims (16)

1.一种基于图像的虚拟试穿系统,所述系统包括:
图像分解单元,用于将试穿者图像分解为不同的部位;
匹配单元,用于针对由图像分解单元分解出的试穿者的各个部位,在衣物图库中存储的穿着所述试穿衣物的至少一个模特图像中搜索与所述各个部位匹配的模特对应部位;以及
合成单元,用于将由匹配单元搜索到的模特对应部位与试穿者图像进行合成。
2.如权利要求1所述的系统,其中,图像分解单元在试穿者图像中与试穿衣物对应的区域中,沿着用于确定试穿者的所述各个部位的关节点来分解出所述各个部位。
3.如权利要求2所述的系统,其中,图像分解单元包括:
特征提取模块,用于检测所述各个部位的关节点的三维或二维坐标;
分割模块,用于沿着检测到的关节点的三维或二维坐标进行分割处理,以获取所述各个部位。
4.如权利要求1所述的系统,其中,当存在穿着所述试穿衣物的多个模特的模特图像时,匹配单元优先搜索与试穿者体型接近的模特的模特图像。
5.如权利要求3所述的系统,其中,匹配单元包括:
部位匹配模块,用于针对试穿者的所述各个部位,搜索与其匹配的一个或多个候选模特对应部位;
全局匹配模块,用于基于部位匹配模块搜索出的全部候选模特对应部位,确定与试穿者的所述各个部位组成的整体相匹配的模特对应部位的组合。
6.如权利要求5所述的系统,其中,部位匹配模块将试穿者的所述各个部位的端点处的关节点连线的空间朝向与模特的相应部位的端点处的关节点连线的空间朝向进行匹配,将匹配差异较小的一个或多个模特对应部位选为候选模特对应部位;全局匹配模块确定试穿者的所述各个部位组成的整体与候选模特对应部位的哪种组合之间的总匹配差异最小,并将最小总匹配差异对应的那组候选模特对应部位确定为最终的模特对应部位。
7.如权利要求6所述的系统,其中,当部位匹配模块选择候选模特对应部位时,将候选模特对应部位限制为不被其它部位遮挡。
8.如权利要求7所述的系统,其中,图像分解单元还获取试穿者的所述各个部位之间的遮挡关系,并且,全局匹配模块将相邻的非遮挡关系的试穿者的部位组装为一个新的匹配对象,然后针对所述新的匹配对象在候选模特对应部位的模特图像中搜索匹配的模特对应部位组合。
9.如权利要求8所述的系统,其中,当全局匹配模块确定组装的所述新的匹配对象的匹配差异时,对其中的每个部位的匹配差异进行求和,再从求和的值减去与所述新的匹配对象中的部位个数成预定比例的数值。
10.如权利要求9所述的系统,其中,当试穿者图像是时间上连续的运动图像时,匹配单元依据前后图像帧之间的连续性来搜索匹配的模特对应部位。
11.如权利要求3所述的系统,其中,合成单元包括:
变形模块,用于依据试穿者图像的图像特征,对由匹配单元搜索到的模特对应部位进行变形;
拼接模块,用于将变形模块输出的变形结果与试穿者图像中除所述与试穿衣物对应的区域之外的图像区域进行拼接或融合,以产生试穿效果图。
12.如权利要求11所述的系统,其中,所述试穿者图像的图像特征包括所述关节点和/或试穿者自身的躯体轮廓信息;变形模块依据试穿者和模特的关节点和躯体轮廓信息的对应关系,将模特对应部位变形到试穿者图像的空间。
13.如权利要求11所述的系统,其中,拼接模块利用由分割模块在所述各个部位之间留出的预定重叠部分来进行拼接或融合处理。
14.如权利要求1所述的系统,还包括:
插值单元,用于当试穿者图像是时间上连续的运动图像时,通过对相邻图像帧的试穿效果图进行插值来获得当前图像帧的试穿效果图。
15.如权利要求1所述的系统,其中,当试穿者图像是不同视角下的多幅图像时,合成单元基于所述多幅图像对应的试穿效果图来生成三维试穿效果图。
16.一种基于图像的虚拟试穿方法,所述方法包括:
将试穿者图像分解为不同的部位;
针对分解出的试穿者的各个部位,在衣物图库中存储的穿着所述试穿衣物的至少一个模特图像中搜索与所述各个部位匹配的模特对应部位;以及将搜索到的模特对应部位与试穿者图像行合成。
CN201110265697.1A 2011-09-05 2011-09-05 基于图像的虚拟试穿系统和方法 Active CN102982581B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201110265697.1A CN102982581B (zh) 2011-09-05 2011-09-05 基于图像的虚拟试穿系统和方法
KR1020120086175A KR101894299B1 (ko) 2011-09-05 2012-08-07 이미지 기반의 가상 드레싱 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110265697.1A CN102982581B (zh) 2011-09-05 2011-09-05 基于图像的虚拟试穿系统和方法

Publications (2)

Publication Number Publication Date
CN102982581A true CN102982581A (zh) 2013-03-20
CN102982581B CN102982581B (zh) 2017-04-05

Family

ID=47856516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110265697.1A Active CN102982581B (zh) 2011-09-05 2011-09-05 基于图像的虚拟试穿系统和方法

Country Status (2)

Country Link
KR (1) KR101894299B1 (zh)
CN (1) CN102982581B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489107A (zh) * 2013-08-16 2014-01-01 北京京东尚科信息技术有限公司 一种制作虚拟试衣模特图像的方法和装置
WO2016107259A1 (zh) * 2014-12-31 2016-07-07 努比亚技术有限公司 一种图像处理的方法及其装置
CN105844513A (zh) * 2016-04-14 2016-08-10 王春林 基于云服务的服饰试穿方法及装置
CN105894348A (zh) * 2016-03-22 2016-08-24 彭成 一种服饰试穿方法及装置
CN106072956A (zh) * 2016-06-20 2016-11-09 北京理工大学 一种服装设计方法及装置
CN106803243A (zh) * 2015-11-21 2017-06-06 周彬 一种基于虚拟实现技术的衣物试穿方法
CN107622428A (zh) * 2016-07-14 2018-01-23 幸福在线(北京)网络技术有限公司 一种实现虚拟试穿的方法及装置
CN107977885A (zh) * 2017-12-12 2018-05-01 北京小米移动软件有限公司 虚拟试穿的方法及装置
CN108876498A (zh) * 2017-05-11 2018-11-23 腾讯科技(深圳)有限公司 信息展示方法及装置
CN108886586A (zh) * 2016-03-31 2018-11-23 三星电子株式会社 用于合成图像的方法及其电子设备
CN109040602A (zh) * 2018-09-20 2018-12-18 维沃移动通信有限公司 一种图像处理方法及移动终端
CN110473296A (zh) * 2019-08-15 2019-11-19 浙江中国轻纺城网络有限公司 贴图方法和装置
CN111311359A (zh) * 2020-01-21 2020-06-19 杭州微洱网络科技有限公司 一种基于电商图像实现人形展现效果的拼图方法
WO2021008166A1 (zh) * 2019-07-17 2021-01-21 北京京东尚科信息技术有限公司 用于虚拟试衣的方法和装置
CN113288087A (zh) * 2021-06-25 2021-08-24 成都泰盟软件有限公司 一种基于生理信号的虚实联动实验系统
CN114445601A (zh) * 2022-04-08 2022-05-06 北京大甜绵白糖科技有限公司 一种图像处理方法、装置、设备和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091269A (zh) * 2014-06-30 2014-10-08 京东方科技集团股份有限公司 一种虚拟试衣方法及虚拟试衣系统
KR102195190B1 (ko) * 2018-08-29 2020-12-24 서울과학기술대학교 산학협력단 가상 의상 피팅 장치 및 방법
KR102317873B1 (ko) * 2021-04-02 2021-10-26 신형호 영상에 대한 고속 렌더링 서비스 제공 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034481A (zh) * 2007-04-06 2007-09-12 湖北莲花山计算机视觉和信息科学研究院 一种肖像画的自动生成方法
US20070233311A1 (en) * 2005-03-11 2007-10-04 Kabushiki Kaisha Toshiba Virtual clothing modeling apparatus and method
CN101159064A (zh) * 2007-11-29 2008-04-09 腾讯科技(深圳)有限公司 画像生成系统以及按照图像生成画像的方法
CN101183450A (zh) * 2006-11-14 2008-05-21 朱滨 虚拟服装真人试穿系统及其构建方法
CN101184143A (zh) * 2006-11-09 2008-05-21 松下电器产业株式会社 图像处理器和图像处理方法
CN102156810A (zh) * 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟试衣系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271508A (ja) * 1997-03-25 1998-10-09 Hitachi Ltd 動画像補間装置
KR20020051667A (ko) * 2000-12-23 2002-06-29 윤종용 가상적인 의상 착용 모습의 표현 방법 및 장치
JP3742394B2 (ja) * 2003-03-07 2006-02-01 デジタルファッション株式会社 仮想試着表示装置、仮想試着表示方法、仮想試着表示プログラム及び同プログラムを記録したコンピュータ読み取り可能な記録媒体
KR101072944B1 (ko) * 2009-08-31 2011-10-17 서울대학교산학협력단 3차원 인체 모델 생성 시스템 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070233311A1 (en) * 2005-03-11 2007-10-04 Kabushiki Kaisha Toshiba Virtual clothing modeling apparatus and method
CN101184143A (zh) * 2006-11-09 2008-05-21 松下电器产业株式会社 图像处理器和图像处理方法
CN101183450A (zh) * 2006-11-14 2008-05-21 朱滨 虚拟服装真人试穿系统及其构建方法
CN101034481A (zh) * 2007-04-06 2007-09-12 湖北莲花山计算机视觉和信息科学研究院 一种肖像画的自动生成方法
CN101159064A (zh) * 2007-11-29 2008-04-09 腾讯科技(深圳)有限公司 画像生成系统以及按照图像生成画像的方法
CN102156810A (zh) * 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟试衣系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JONG-CHUL YOON ET AL.: "Image-based Dress-up System", 《AL. ICUIMC"11 PROCEEDINGS OF THE 5TH INTERNATIONAL CONFERENCE ON UBIQUITOUS INFORMATION MANAGEMENT AND COMMUNICATION》 *
朱紫阳 等: "基于部件分解的三维服装人体建模", 《计算机工程》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489107B (zh) * 2013-08-16 2015-11-25 北京京东尚科信息技术有限公司 一种制作虚拟试衣模特图像的方法和装置
CN103489107A (zh) * 2013-08-16 2014-01-01 北京京东尚科信息技术有限公司 一种制作虚拟试衣模特图像的方法和装置
WO2016107259A1 (zh) * 2014-12-31 2016-07-07 努比亚技术有限公司 一种图像处理的方法及其装置
CN106803243A (zh) * 2015-11-21 2017-06-06 周彬 一种基于虚拟实现技术的衣物试穿方法
CN105894348A (zh) * 2016-03-22 2016-08-24 彭成 一种服饰试穿方法及装置
CN108886586B (zh) * 2016-03-31 2021-10-26 三星电子株式会社 用于合成图像的方法及其电子设备
CN108886586A (zh) * 2016-03-31 2018-11-23 三星电子株式会社 用于合成图像的方法及其电子设备
US11232512B2 (en) 2016-03-31 2022-01-25 Samsung Electronics Co., Ltd. Method and device for combining an avatar image with a portion of a user's image
CN105844513A (zh) * 2016-04-14 2016-08-10 王春林 基于云服务的服饰试穿方法及装置
CN106072956A (zh) * 2016-06-20 2016-11-09 北京理工大学 一种服装设计方法及装置
CN107622428A (zh) * 2016-07-14 2018-01-23 幸福在线(北京)网络技术有限公司 一种实现虚拟试穿的方法及装置
CN108876498A (zh) * 2017-05-11 2018-11-23 腾讯科技(深圳)有限公司 信息展示方法及装置
CN108876498B (zh) * 2017-05-11 2021-09-03 腾讯科技(深圳)有限公司 信息展示方法及装置
CN107977885A (zh) * 2017-12-12 2018-05-01 北京小米移动软件有限公司 虚拟试穿的方法及装置
CN107977885B (zh) * 2017-12-12 2021-12-14 北京小米移动软件有限公司 虚拟试穿的方法及装置
CN109040602B (zh) * 2018-09-20 2021-02-19 维沃移动通信有限公司 一种图像处理方法及移动终端
CN109040602A (zh) * 2018-09-20 2018-12-18 维沃移动通信有限公司 一种图像处理方法及移动终端
WO2021008166A1 (zh) * 2019-07-17 2021-01-21 北京京东尚科信息技术有限公司 用于虚拟试衣的方法和装置
US11935167B2 (en) 2019-07-17 2024-03-19 Reling Jingdong Shangke Information Technology Co., Ltd. Method and apparatus for virtual fitting
CN110473296A (zh) * 2019-08-15 2019-11-19 浙江中国轻纺城网络有限公司 贴图方法和装置
CN110473296B (zh) * 2019-08-15 2023-09-26 浙江中国轻纺城网络有限公司 贴图方法和装置
CN111311359A (zh) * 2020-01-21 2020-06-19 杭州微洱网络科技有限公司 一种基于电商图像实现人形展现效果的拼图方法
CN113288087A (zh) * 2021-06-25 2021-08-24 成都泰盟软件有限公司 一种基于生理信号的虚实联动实验系统
CN114445601A (zh) * 2022-04-08 2022-05-06 北京大甜绵白糖科技有限公司 一种图像处理方法、装置、设备和存储介质

Also Published As

Publication number Publication date
KR101894299B1 (ko) 2018-09-03
KR20130026380A (ko) 2013-03-13
CN102982581B (zh) 2017-04-05

Similar Documents

Publication Publication Date Title
CN102982581A (zh) 基于图像的虚拟试穿系统和方法
CN103678836B (zh) 虚拟试衣系统及方法
Li et al. Temporally coherent completion of dynamic shapes
Cheng et al. Parametric modeling of 3D human body shape—A survey
CN103116857B (zh) 一种基于体感控制的虚拟样板房漫游系统
Lin et al. Automated body feature extraction from 2D images
KR20170073623A (ko) 고속 3d 모델 피팅 및 인체 측정법
GB2535302A (en) Methods for generating a 3D virtual body model of a person combined with a 3D garment image, and related devices, systems and computer program products
Tung et al. Dynamic surface matching by geodesic mapping for 3d animation transfer
US9905047B2 (en) Method and systems for generating a three dimensional model of a subject by iteratively generating meshes
JP6373026B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
KR101499698B1 (ko) 깊이 정보 기반으로 3차원 의상 착용 모델을 제공하는 장치 및 방법
Xu et al. 3d virtual garment modeling from rgb images
CN111767817A (zh) 一种服饰搭配方法、装置、电子设备及存储介质
Yu et al. Towards robust and accurate single-view fast human motion capture
KR20150011907A (ko) 깊이 정보 기반으로 사용자의 3차원 신체 모델을 생성하는 방법 및 장치
KR101499699B1 (ko) 깊이 정보 기반으로 사용자의 3차원 신체 모델을 생성하는 방법 및 장치
CN110298917A (zh) 一种人脸重建方法及系统
CN104123655A (zh) 一种仿真试衣系统
Ma et al. Realistic modeling and animation of human body based on scanned data
Zhang et al. Dense 3D facial reconstruction from a single depth image in unconstrained environment
Fathi et al. Deformable 3D shape matching to try on virtual clothes via laplacian-beltrami descriptor
Gunatilake et al. An ICT based Solution for Virtual Garment Fitting for Online Market Place: A Review of Related Literature
CN114581288A (zh) 一种图像生成方法、装置、电子设备以及存储介质
Han et al. 3D human model reconstruction from sparse uncalibrated views

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant