CN108885794A - 在用户的真实人体模型上虚拟试穿衣服 - Google Patents

在用户的真实人体模型上虚拟试穿衣服 Download PDF

Info

Publication number
CN108885794A
CN108885794A CN201780008887.0A CN201780008887A CN108885794A CN 108885794 A CN108885794 A CN 108885794A CN 201780008887 A CN201780008887 A CN 201780008887A CN 108885794 A CN108885794 A CN 108885794A
Authority
CN
China
Prior art keywords
people
manikin
image
clothes
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780008887.0A
Other languages
English (en)
Inventor
尼廷·文斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN108885794A publication Critical patent/CN108885794A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/16Cloth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种用于生成穿着布料的人的身体模型的方法,包括:接收与人相关的用户输入,其中该用户输入包括该人的至少一个图像或照片,其中该人的至少一个图像具有该人的面部;使用人体信息来识别其他身体部位的要求;基于所识别的要求,接收至少一张其他人体部位的图像或照片;使用人体信息来一起处理该人的图像和其他人体部位的图像或照片,以生成该人的人体模型,其中该身体模型表示该人的图像/照片被作为用户输入,并且该身体模型包括该人的面部;根据该人的身体模型的形态和尺寸接收衣服的图像;以及,组合该人的身体模型和该衣服的图像以显示该人穿着衣服的身体模型。人体信息包括该人在该人的图像中的面部的朝向、该人在该人的图像中身体的朝向、该人的肤色、该人图像中所示的身体部分的类型、该人的图像中身体一个或多个身体部位的位置和几何结构、身体/身体部位形状、该人的尺寸、该人的体重、该人的身高、面部特征信息、或面部特征的附近部分、或其组合。面部特征信息包括面部、眼睛、下巴、颈部、嘴唇、鼻子或耳朵或其组合中至少一个的形状或位置中的至少一个。

Description

在用户的真实人体模型上虚拟试穿衣服
发明领域
本发明一般涉及图像处理领域,尤其涉及一种使用用户图像和虚拟穿戴衣服来生成用户的真实人体模型的方法和系统。
背景技术
到目前为止,当我们在网上购物时,衣服是以未穿戴的状态进行显示。用户不能通过仅仅看到衣服来感觉他/她将如何看待那特定的衣服的。
不过,为了提供一些体验,网上卖家已经开始显示由模型穿戴的衣服。然而,该模型具有特定的身体度量和曲线,这可能与用户的身体度量和曲线有很大不同。通过仅仅看到穿戴预定尺寸的衣服的模型,通常难以感觉到用户穿戴特定尺寸的衣服来匹配他/她的尺寸。
另外,特定尺寸的衣服在每个人身上看起来大不一样,并且其非常依赖于用户的感觉,无论他在穿戴后是否喜欢该衣服。很多时候会发生这种情况,用户选择多套服装来试穿它们以确定他是否喜欢穿戴它们。通常会发生这种情况,即使尺寸和试穿件都很好,用户仍然会拒绝特定的衣服,因为他不喜欢穿戴它。任何穿戴特定尺寸的衣服或任何其他尺寸的衣服的模型都不能提供这种体验。
在穿戴衣服之后不喜欢该衣服的原因之一是每件衣服具有不同的对比度或与特定的肤色相匹配。即使是面部特征也会改变穿戴衣服的感觉。此外,每个身体具有不同的曲线,并且特定表层上的颜色图案不同。用户身体上的不同曲线上的颜色图案的这种变化也改变了用户对衣服的喜欢和不喜欢。当用户能够在类似的身体度量、身体曲线、肤色和面部特征中拥有与看到正在穿戴的衣服相关的体验时,可以做出用户的最佳感觉。
此外,用户希望在不同类型的衣服上和不同的商店处复制他/她的穿戴体验。
为了给穿戴衣服的用户一种感觉,已知的方法很少,其中:
生成人的3D模型是耗时的事情。在生成3D模型后,3D衣服被放置在3D模型上,这给人一种不现实的感觉。
用户上传照片,并将衣料的其他图像拖拉到照片上。但是,它产生了涉及以下问题:将衣服放大-缩小到照片上,衣服的放置不精确,通常不可能在照片上放置多层衣料。另外,当使用非触摸屏介质时,这种方法对用户来说是不舒服的。
发明目的
本发明的目的是虚拟地为用户提供逼真和试穿的穿戴体验。
发明内容
本发明的目的通过权利要求1的方法、权利要求38的系统和权利要求40的计算机程序产品来实现。
根据该方法的一个实施例,该方法包括以下步骤:
接收与人相关的用户输入,其中该用户输入包括该人的至少一个图像或照片,其中该人的至少一个图像具有该人的面部;
使用人体信息来识别其他身体部分的要求;
基于识别要求接收至少一张其他人体部分的图像或照片;
使用人体信息来处理具有其他人体部分的图像或照片的人像以生成人体模型,其中该人体模型表示其图像/照片被接收作为用户输入的人,并且人体模型包括人的面部;
根据人体模型的形状和尺寸接收衣服图像;
组合人体模型和衣服图像来显示穿戴衣服的人体模型。
人体信息包括人像中人的面部方向、人像中人的身体的方向、人的肤色、人像中所示的身体部分的类型中的至少一者,人像中的一个或多个身体部分的位置和几何形状、身体/身体部分的形状、人的尺寸、人的体重、人的身高、面部特征信息或面部特征的附近部分或其组合。面部特征信息包括至少面部、眼睛、下巴、颈部、唇部、鼻子或耳朵或其组合的形状或位置中的至少一个。
根据该方法的另一个实施例,其中组合人体模型和衣服的图像来显示穿戴衣服的人体模型,其具有至少面部表情或身体运动或其组合。
根据该方法的又一实施例,其中人体信息由用户收集作为用户输入或通过分析/处理用户输入来确定。
根据该方法的一个实施例,其中人体信息是通过点击颈部或下巴或组合从用户接收的选择输入,该方法还包括:
-处理选择输入以从图像/照片中提取面部;并且处理利用其他人体部分的图像或照片处理所提取的面部以生成人体模型。
根据该方法的另一个实施例,其中通过处理人体模型和衣服图像来组合人体模型和衣服图像,以生成显示穿戴衣服的人体模型的单个图像。。
根据该方法的又一个实施例,其中该方法包括组合人体模型和图像以产生具有覆盖在人体模型上的衣服图像的场景,该人体模型显示穿戴衣料的人体模型。
根据该方法的一个实施例,其中衣服的图像是基于人体信息中的至少一个或者人体模型的参数信息或其组合通过数据库而提供,而参数信息与人体模型的形状和尺寸相关。
根据该方法的另一实施例,其中基于人体信息和参数信息中的至少一个在处理之后提供衣服的图像。
根据该方法的又一实施例,其中与人相关的用户输入还包括以下相关信息:人像中的人的面部方向中的至少一个、人像中人的身体方向、人的肤色、人像中所示的身体部分的类型、人像中一个或多个身体部分的位置和几何形状、人的身体或身体部分的形状和尺寸、人的体重、人的身高、或面部特征信息、或面部特征附近部分或其组合,其中面部特征信息包括至少面部、眼睛、下巴、颈部、唇部、鼻子、或耳朵、或其组合的形状或位置中的至少一个。
根据该方法的一个实施例,其中该方法包括处理人像以识别人像中的未露出的身体部分,之后去除至少一个未露出的身体部分,并且进一步识别适合用于未露出部分的所需的其他的人的部分。
根据该方法的另一实施例,其中至少通过以下方式识别未露出的身体部分:
-检测图像中人的肤色,或
-确定未露出的身体部分处的身体部分或其组合。
根据该方法的又一实施例,其中基于与人相关的用户输入识别未露出的身体部分,而用户输入包括将未露出的身体部分标记到人像上。
根据该方法的一个实施例,该方法包括使用人体信息处理人像,然后提取面部部分,并提供其他人体部分和处理以将颈部处的面部部分的面部与其他人体部分合并以生成人体模型。面部部分是人像的一部分,在人的肩部或颈部上方并且包围面部。
根据该方法的另一实施例,其中面部部分包括人像的背景的一些部分。
根据该方法的又一实施例,该方法包括通过处理或编辑面部部分的现有背景的一部分来生成具有新背景的面部部分。
根据该方法的一个实施例,该方法包括通过处理现有背景和其他额外图像的一部分来生成具有新背景的面部部分。
根据该方法的另一实施例,其中进一步编辑面部部分以去除人像的背景。
根据该方法的又一实施例,该方法包括通过处理人体模型和附加图像来生成具有附加背景的人体模型的图像。
根据该方法的一个实施例,其中基于与人相关的用户输入或与人相关的身体信息识别面部特征信息,基于识别的面部特征信息提取面部部分,并且将颈部处面部部分的面部与其他人体部分合并。
根据该方法的另一实施例,其中提供人像,其在360度平面中处于不同的角度或方向,并且根据人像中的方向或捕获的角度生成人体模型。
根据该方法的又一实施例,其中根据人体模型的方向提供衣服的图像,以提供对人体模型的最佳配合。
根据该方法的一个实施例,其中该方法包括接收衣服输入;
-基于衣服输入接收衣服图像。
根据该方法的另一实施例,该方法还包括:接收多于一件衣服的图像;
-提供不同层次的衣服图像;
-将人体模型与衣服的图像组合在一起,以显示穿戴衣服的人体模型。
根据该方法的又一实施例,该方法包括:
-通过选择要添加的衣服来接收添加输入以添加衣服;-通过基于添加输入并将所选布料放置在相应的层中而在特定层中添加所选布料来提供更换的衣服集-将人体模型与更换的衣服集组合在一起来显示穿戴衣服的人体模型。
根据该方法的一个实施例,该方法包括:
-通过选择要去除的衣服来接收去除输入以去除衣服;-基于去除输入从特定图层中去除所选衣服来提供可更换的衣服集
-将人体模型与更换的衣服集组合在一起来显示穿戴衣服的人体模型。
根据该方法的又一实施例,该方法包括:
-通过选择要替换的衣服来接收替换输入以替换衣服;-基于替换输入,通过从特定图层中存在的另一件衣服替换所选衣服来提供一组更换衣服;
-将人体模型与更换的衣服集组合在一起,以显示穿戴衣服的人体模型。
根据该方法的又一实施例,该方法包括基于关于肤色的人体信息或人的肤色的用户输入通过数据库提供其他人体部分的图像,或者通过基于关于肤色的人体信息或人的肤色的用户输入来处理其他人体部分。
根据该方法的一个实施例,该方法包括:
-提供与要涂抹化妆品的人体模型的身体部分相关的化妆品输入和关于化妆品涂抹于身体部分的信息;
-基于化妆品输入检测人体模型的身体部分;
-涂抹化妆品至少要:
-通过使用化妆品输入来接收与关于化妆品的信息相关的化妆品图像,并在人体模型的身体部分上处理化妆品图像,
或者,通过改变身体部分的颜色或色调,使用化妆品输入或其组合将化妆品涂抹于身体部分上。
根据该方法的又一实施例,该方法包括:
-提供面部表情输入,该输入包括面部特征、唇形和声音的移动中的至少一个,
-使用面部表情输入处理人体模型,以向人体模型提供面部表情;
人体模型
-将人体模型与衣服图像组合在一起,以显示具有面部表情的穿戴衣服的人体模型。
根据该方法的又一实施例,该方法包括:
-提供面部表情输入,该输入包括面部特征、唇形和声音的移动中的至少一个,
-使用面部表情输入处理与图像衣服组合的人体模型,以显示具有面部表情的穿戴料的人体模型。
根据该方法的一个实施例,该方法包括:
-提供与要在其中显示人体模型与衣服图像组合的人体模型的环境中提供的与照明条件相关的环境照明输入,
-通过使用衣服的图像改变人的组合人体模型的颜色、对比度、亮度、饱和度中的至少一个来使用环境照明输入来处理组合的人体模型和衣服的图像。
根据该方法的另一实施例,其中用户输入与以一个或多个方向显示人的面部的图像或照片相关,该方法包括:
-通过使用显示人的面部的人像/照片来生成人的三维面部模型;
-以不同的角度和方向生成不同角度和方向上人的面部的图像来渲染面部模型。
-使用不同方向上人的面部图像和各个方向的其他人体部分的图像来生成人体模型。
根据该方法的又一实施例,该方法包括:
-接收与身体部分相关的佩戴输入,在身体部分上佩戴时尚配饰,并且时尚配饰佩戴到人体模型的部分上;
-处理佩戴输入和至少一个人体信息以及与人相关的用户输入,并且识别穿戴时尚配饰的人体模型身体部分;
-根据佩戴输入接收配饰的图像/视频;
-处理所识别的人体模型的身体部分和配饰的图像/视频,以显示穿戴衣服和配饰的组合的人体模型。
根据该方法的一个实施例,其中至少一个接收的图像或其他人体部分的照片具有至少一部分身体部分,该部分是不适当可见或具有不同级的透明度。
根据该方法的另一实施例,其中衣服图像是透明或半透明的,并且将穿戴透明或半透明衣服的人体模型显示在显示设备上。
根据该方法的又一实施例,其中在客户端-服务器环境下将衣服图像与客户端设备处的人体模型合并,以将穿戴衣服的人体模型显示在显示设备上。
根据该方法的一个实施例,其中人体模型是具有装扮的图形模型并且产生以穿有衣料的人体模型的动画作为输出。
附图说明
图1(a)和1(b)图示了由用户提供的照片/图像、来自图像的面部检测和提取。
图2(a)和2(b)图示了放置带有一些背景的所提取的面部,该背景通过编辑和处理用户所提供图像的先前背景而生成。
图3(a)-(c)图示了利用提取的面部生成用户人体模型。
图4(a)和4(b)图示了由用户人体模型穿戴的衣服的选择并将该衣服试穿在用户人体模型上。
图5(a)和5(b)图示了针对用户的不同体形和尺寸的人体模型的选择。
图6(a)和6(b)图示了由用户提供的照片/图像、来自没有背景的图像中的面部检测和提取。
图7(a)-(c)图示了利用如图6(b)中定义的提取的面部生成用户人体模型。
图8(a)和8(b)图示了由图7(c)中生成的用户人体模型穿戴的衣服的选择以及将衣服试穿在用户人体模型上。
图9(a)和9(b)图示了针对用户的不同体形和尺寸的人体模型的选择。
图10(a)和10(b)图示了用于改变图像的形状和尺寸的思路。
图11(a)-(e)图示了其他衣服、配饰和化妆品的穿戴。例如,由用户在他/她的人体模型上虚拟佩戴眼镜、涂抹化妆品、穿戴更多衣服和鞋子。
图12(a)-(c)图示了使用第三人的身体部分生成用户的人体模型。
图13(a)和13(b)图示了由在12(c)中生成的用户人体模型穿戴连衣裙。
图14图示了由用户人体模型在不同角度和方向上穿戴连衣裙。
图15(a)-(d)图示了女孩穿戴非透明衣服、半透明衣服和衣服上明暗部效果的人体模型。
图16图示了实现本发明的系统的方框图。
图17(a)-图17(b)图示了实现本发明的系统的另一实施例的方框图。
图18(a)-(c)图示了女孩穿戴合身、紧身和宽松T恤的人体模型,并且图18(a’)-(c’)通过色谱图示了不同合身衣服的紧密度用于虚拟地获知衣服上身的紧密度。
图19(a)-(b)图示了用户面部上显示面部特征的点,其通过使用所训练模型处理图像而确定,以提取面部特征并分割用于产生面部表情的面部部分在。
图19(c)-(f)示出通过处理用户面部产生的用户面部上的不同面部表情。
图20(a)-(c)图示了正面和侧面图像以及面部展开的用户输入。
图21(a)-(b)图示了通过生成的用户面部3D模型以不同角度和方向生成的面部。
具体实施方式
通过各种说明来解释本发明。
图1(a)示出由用户提供的图像/照片。图像102示出出现在背景104中的用户101。使用图像102上应用的面部检测技术来处理图像102,以检测用户101的面部,并且提取用户101的另一面部以及去除或编辑背景104以提供如图1(b)所示的第一处理的图像103。第一处理的图像103是中间输出,并且在用户101的面部周围设置有面部部分106,其中用户周围的面部部分106具有提取的面部和一些背景104,并且在处理图像102以及去除背景和提取面部之后,图像的剩余部分被示为空的。
图2(a)示出具有提取的面部106的图像202,其具有用户面部101和一些先前的背景104。通过可选地使用先前的背景104的某些部分或通过图像处理来生成新背景204。
使用背景204进一步处理第一处理的图像103,以提供第二处理的图像203,其显示具有编辑背景205的用户101的面部。图2(b)中示出第二处理的图像203的图示。
进一步,要求用户提供他/她将要处理的他/她或其他任何人的体形或尺寸中的至少一个的输入。基于用户输入,获取人体模型304的图像301,如图3(a)所示。图像具有背景305。此后,通过将人体模型304的身体与用户101的面部合并,使用人体模型304的图像301进一步处理第二处理的图像203,以提供如图3(b)所示的第三处理的图像302。第三处理的图像302具有部件306,在该部件306,将人体模型304的身体与面部101合并。第三处理的图像302还具有存在于第二处理的图像203中的背景205。此后,进一步处理第三处理的图像302以处理合并用户101的面部与颈部处的人体模型304,以便使面部和身体无缝合并,并提供虚拟人体模型,如图3(c)所示。图3(c)示出具有用户的虚拟人体模型的最终处理的图像303,其具有面部101,身体304和背景205。
图4(a)示出连衣裙401,连衣裙401是系统生成的并且适合于人体模型304。将连衣裙401处理到最终处理的图像303上,使得连衣裙可以被虚拟人体模型适合地穿戴,这在图4(b)中图示出。
图5(a)示出图像501,图像501示出具有背景505的一个特定尺寸的人体模型503。图5(b)示出另一图像502,另一图像502示出人体模型504,人体模型504相对于人体模型503在形状和尺寸上是不同的。基于用户输入,自动生成人体模型,并且人体模型503、504是基于不同用户输入生成的示例性人体模型。这些人体模型503、504或者应该在接收到用户输入时实时生成,或者应该基于用户输入从存储人体模型的数据库中获取。存储在数据库中的每个人体模型应被映射到不同的形状和尺寸,其中映射中的形状和尺寸可以具有每个人体模型的连续范围或者应该具有预估值(怀疑原文错了,discrete value离散值)。这些人体模型可以用于生成具有不同形状和/或尺寸的用户面部的虚拟人体模型,并且之后将生成图像,从而显示所生成的穿戴衣服和配饰的虚拟模型。
图6(a)示出由用户提供的图像/照片。图像602示出出现在背景604中的用户601。使用应用在图像602上的面部检测技术来处理图像602,以检测用户601的面部,并且提取用户601的另一面部以及去除背景604以提供如图6(b)所示的第一处理的图像603。第一处理的图像603是中间输出,并且参考去除的背景604提供有具有用户601的面部的部分606和围绕用户601的面部的空白区域605。
进一步,要求用户提供他/她将要处理的他/她或其他任何人的体形或尺寸中的至少一个的输入。基于用户输入,获取人体模型704的图像701,如图7(a)所示。图像具有背景705。此后,通过将人体模型704的身体与用户601的面部合并,使用人体模型704的图像701进一步处理第一处理的图像603,以提供如图3(b)所示的第三处理的图像702。第三处理的图像702具有部件706,在该部件306,将人体模型304的身体与面部601合并。第三处理的图像702还具有存在于图像701中的背景705。此后,进一步处理第三处理的图像702以处理合并用户601的面部与颈部处的人体模型704,以便使面部和身体无缝合并,并提供虚拟人体模型,如图7(c)所示。图7(c)示出具有用户的虚拟人体模型的最终处理的图像703,其具有面部601,身体704和背景705。
图8(a)示出连衣裙801,连衣裙401是系统生成的并且适合于人体模型704。将连衣裙801处理到最终处理的图像703上,使得连衣裙可以被虚拟人体模型适合地穿戴,这在图4(b)中图示出。
图9(a)示出图像901,图像501示出具有背景905的一个特定尺寸的人体模型903。图9(b)示出另一图像902,另一图像502示出人体模型904,人体模型504相对于人体模型903在形状和尺寸上是不同的。基于用户输入,自动生成人体模型,并且人体模型903、904是基于不同用户输入生成的示例性人体模型。这些人体模型903、904或者应该在接收到用户输入时实时生成,或者应该基于用户输入从存储人体模型的数据库中获取。存储在数据库中的每个人体模型应被映射到不同的形状和尺寸,其中映射中的形状和尺寸可以具有每个人体模型的连续范围或者应该具有预估值。这些人体模型可以用于生成具有不同形状和/或尺寸的用户面部的虚拟人体模型,并且之后将生成图像,从而显示所生成的穿戴衣服和配饰的虚拟模型。
图10(a)示出具有环形形状1001的图像1002。在图像1002上示出各种节点1003,其在连接之后在环1001上绘制虚构网并且示出要被分成不同虚构片的完整环。图10(b)示出环1001的扭曲,而扭曲意味着点被映射到点。这可以在数学上基于从平面(平面的一部分)到平面的任何函数。如果函数是单射的,则可以重建原始函数。如果函数是平分,则可以对任何图像进行逆变换。在扭曲之后,环1001的形状被改变。显然,在环1001的新形状中,节点1003的位置被改变,并且连接这些节点1003的线的形状也改变。这导致环1002的形状发生本质改变。
图11(a)-(e)示出其他衣服、配饰和化妆品的虚拟模型穿戴。这些插图举例说明了由用户在他/她的虚拟模型上虚拟佩戴眼镜、涂抹化妆品、穿戴更多衣服和鞋子。图11(a)示出具有带连衣裙1103和面部1101以及背景1105的虚拟模型1104的图像1102。对于眼镜的虚拟佩戴,首先从面部1101检测眼睛,然后用眼镜的图像进行处理图像1102以产生图像1106,如图11(b)所示,其中所示的眼镜1107由虚拟模型1104佩戴。
举例来说,在唇部上涂唇膏,处理图像1106以识别虚拟模型1104的唇部1109,并且通过改变唇部颜色/对比度/色调/亮度或其他属性来进一步显示的唇膏被涂抹到虚拟模型1104上,以在唇部1109处显示化妆品,并相应地生成图像1108,如图11(c)所示。图像1110示出放大的唇部1109。
举例来说,在图层中穿戴衣服,使用另一衣服的图像1113进一步处理图像1108,以生成虚拟模型的图像1111,图像1111分层地将另一衣服1113穿戴到虚拟模型已经穿戴的衣服1103上。
为了进一步举例说明由虚拟模型穿戴鞋子,图像1111进一步用鞋子1114的图像进行处理,并生成具有穿戴鞋子1114的虚拟模型1104的图像1112。
图12(a)-(c)示出生成虚拟模型的另一方式。图12(a)示出用户提供的图像1201,图像1201示出女孩的身体1204。图12(b)示出从存储器获取的第三人的身体部分1202。处理图像1201和身体部分1202,使得身体部分1202被放置在女孩的身体1204上的适当地方,如图12(c)所示,以生成图像1203中所示的虚拟模型1205。
图13(a)-(b)图示出由在图12(c)中生成的虚拟模型1205穿戴连衣裙。图13(a)示出由虚拟模型1205穿戴的连衣裙图像1301。连衣裙图像1301连同图像1203一起被处理以产生图像1302,如图13(b)所示,其示出在适当的身体部分处穿戴连衣裙1301的虚拟模型1205。
图14图示了由用户人体模型在不同角度和方向上穿戴连衣裙。1401是通过将前方位置的用户面部与前方位置其他人的身体部分一起处理以及在前方位置处理衣服而产生的。而1402是通过处理不同方向的用户面部和相同方向的其他人的身体部分以及处理相同方向的衣服等来产生的。
图15(a)-(d)图示出女孩穿戴不透明衣服、半透明衣服以及通过改变环境照明条件衣服上明暗效果的人体模型,在环境照明条件下,通过改变组合的人体模型与衣服图像的颜色、对比度、亮度、饱和度中的至少一个,使用环境照明输入而处理组合人体模型与衣服图像。
图16是示出示例客户端设备1612的一些组件的简化方框图。作为示例而非限制,客户端设备是配备有一个或多个无线或有线通信接口的计算机。
如图16所示,客户端设备1612可以包括通信接口1602、用户接口1603、处理器1604和数据存储器1605,所有这些都可以通过系统总线,网络或其他连接机制通信地链接在一起。
通信接口1602用于允许客户端设备1612与其他设备、接入网络和/或传输网络进行通信。因此,通信接口1602可以促进电路交换和/或分组交换通信,诸如POTS通信和/或IP或其他分组通信。例如,通信接口1602可以包括芯片组和天线,该天线被布置用于与无线电接入网络或接入点进行无线通信。而且,通信接口1602可以采用有线接口的形式,诸如以太网,令牌环或USB端口。通信接口1602还可以采用无线接口的形式,诸如Wifi、蓝牙、全球定位系统(GPS)或广域无线接口(例如,WiMAX或LTE)。然而,可以在通信接口102上使用其他形式的物理层接口和其他类型的标准或专有通信协议,此外,通信接口1502可以包括多个物理通信接口(例如,Wifi接口,( )接口和广域无线接口)。
用户接口1603可以用于允许客户端设备1612与人类或非人类用户交互,诸如从用户接收输入并向用户提供输出。因此,用户接口1603可以包括输入组件,诸如辅助键盘、键盘、触敏或存在敏感面板、计算机鼠标、操纵杆、麦克风、静态相机和/或视频相机、手势传感器、基于触觉的输入设备。输入组件还包括诸如鼠标的指示设备;由传感器捕获的手势引导输入或眼睛移动或语音命令,基于红外的传感器;触摸输入;通过改变加速计和/或陀螺仪和/或具有可穿戴显示器或移动设备或移动显示器的磁力计的定位/方向接收的输入;或虚拟助手的命令。
用户接口1603还可以包括一个或多个输出组件,诸如由投影仪或其自身照明的切割成形的显示屏用于显示对象,由投影仪或其自身照明的切割成形的显示屏用于显示虚拟帮助。
用户接口1603还可以被配置为经由扬声器、扬声器插孔、音频输出端口、音频输出设备、耳机和/或现在已知或以后开发的其他类似设备生成声音输出端(一个或多个)。在一些实施例中,用户接口1603可以包括软件、电路或可以向外部用户输入/输出设备发送数据和/或从外部用户输入/输出设备接收数据的另一形式逻辑。附加地或替代地,客户端设备112可以支持经由通信接口1602或经由另一物理接口从另一设备远程访问。
处理器1604可以包括一个或多个通用处理器(例如,微处理器)和/或一个或多个专用处理器(例如,DSP、CPU、FPU、网络处理器或ASIC)。
数据存储器1605可以包括一个或多个易失性和/或非易失性存储器组件,诸如磁性、光学、闪存或有机存储,并且可以整体或部分地与处理器1604集成。数据存储器1605可以包括可移动和/或不可去除组件。
通常,处理器1604能够执行存储在数据存储器1505中的程序指令1607(例如,编译或未编译的程序逻辑和/或机器代码),以执行本文描述的各种功能。
因此,数据存储器1605可以包括非暂时性计算机可读介质,在其上存储有程序指令,该程序指令在由客户端设备1612执行时,使客户端设备1612执行本说明书和/或附图中公开的任何方法,过程或功能。通过处理器1604的执行程序指令1607可以导致处理器1604使用数据1606。
通过示例,程序指令1607可以包括操作系统1611(例如,操作系统内核、设备驱动器和/或其他模块)和安装在客户端设备1612上的一个或多个应用程序1610。类似地,数据1606可以包括操作系统数据1609和应用数据1608。操作系统数据1609可主要可访问操作系统1611,并且应用数据1608可以主要可访问应用程序1610中的一个或多个。应用数据1608可以被布置在对客户端设备1612的用户可见或隐藏的文件系统中。
所述方法包括应用数据1608包括图像数据,该图像数据包括其他人体部分的图像/照片、图像/衣服/配饰、背景图像和用于产生阴影的图像;和/或训练模型数据,该训练模型数据包括训练模型以生成面部特征/表情/动画;和/或用户信息,该用户信息包括关于人体信息的信息,该人体信息由用户作为用户输入提供或者通过处理用户输入生成提供,处理用户输入包括用户图像,它可以在下次用户被某种登录身份识别时使用,然后用户将不需要再次生成用户人体模型,但是可以从用户数据中检索它并在其上试穿衣服;和/或用户数据,该用户数据包括在处理用户图像(可在下次使用)之后生成的用户身体;和/或图形数据,该图形数据包括具有装扮的用户身体部分图像,该图像可以产生动画,该动画在与用户面部一起处理时产生具有衣服的用户人体模型,并且它可以显示动画或身体部分运动,其中人体信息包括人像中人的面部方向、人像中人的身体方向、人的肤色、人像中显示的身体部分的类型中的至少一个,人像中的一个或多个身体部分的位置和几何形状、身体/身体部分形状、人的尺寸、人的体重、人的身高、面部特征信息或面部特征的附近部分,或其组合,其中面部特征信息包括至少面部、眼睛、下巴、颈部、唇部、鼻子或耳朵或其组合的形状或位置中的至少一个。
在如图17(a)所示的一个实施例中,图像处理引擎131按照用户输入137使用图像数据132a、训练模型数据132b、用户数据132c、用户信息数据132d、图像处理库133来生成输出135。
在如图17(b)所示的另一个实施例中,有时当需要具有身体部分运动的用户身体来生成时,然后图形数据132e也被使用,因为其具有装扮的皮肤可以利用渲染引擎134产生动画以产生输出135。
为了生成穿戴衣服的人体模型,该方法包括:
接收与人相关的用户输入,其中该用户输入包括至少一个人图像/照片,其中该至少一个人图像具有人的面部;
使用人体信息来识别其他身体部分的要求;
基于识别要求接收至少一张其他人体部分的图像或照片;
使用人体信息来处理具有其他人体部分的图像或照片的人像以生成人体模型,其中该人体模型表示其图像/照片被接收作为用户输入的人,并且人体模型包括人的面部;
根据人体模型的形状和尺寸接收衣服图像;
将人体模型和衣服图像组合,以显示穿戴衣服的人体模型;
其中人体信息包括人的面部在人像中的方向、人的身体在人像中的方向、人的肤色、人像中显示的身体部分的类型、人像中的一个或多个身体部分的位置和几何形状、身体/身体部分形状、人的尺寸、人的体重、人的身高、面部特征信息或面部特征的附近部分中的至少一个或其组合,
其中面部特征信息包括至少面部、眼睛、下巴、颈部、唇部、鼻子或耳朵或其组合的形状或位置中的至少一个。
图像处理库133包括用于面部特征提取图像、面部检测、身体部分检测、表情生成/动画、图像合并/混合的库,使用用户面部的正面和侧面图像进行3d模型生成、在穿有或未穿有衣服的用户人体模型上装扮生成的库。
图像处理引擎使用数据库来产生穿有衣服的用户人体模型,而在另一个实施例中,用户人体模型在131处产生并且合并衣服图像,以在客户端设备处制作单个图像或者将具有用户人体模型的图层放入以看起来像用户模型穿戴衣服。而在另一个实施例中,生成穿有衣服的用户模型,其具有不同的面部表情和/或具有不同的身体运动和/或具有面部和/或身体运动的动画。
显示系统可以是可穿戴显示器或不可穿戴显示器或其组合。
不可穿戴显示器包括电子可视显示器,诸如LCD、LED、等离子、OLED、视频墙、盒形显示器或由不只一个电子可视显示器或基于投影仪或其组合制成的显示器。
不可穿戴显示器还包括基于佩珀尔幻象的显示器,其具有由投影仪和/或电子显示器照明的透明倾斜箔/屏幕构成的一个或多个面,其中显示相同虚拟渲染对象的不同图像的投影仪和/或电子显示器基于放置在一个地方(不同的侧面通过基于佩珀尔幻象技术的显示器的不同的面是可视的)的虚拟对象显示的幻像在佩珀尔幻象的不同面具有不同的摄像机角度。
可穿戴显示器包括头戴式显示器。头戴式显示器包括一个或两个带镜头的小型显示器和嵌入头盔的半透明镜子、眼镜或遮阳板。显示单元是小型化的并且可以包括CRT、LCD、硅基液晶(LCo)或OLED或多个微显示器以增加总分辨率和视野。
头戴式显示器还包括透视头戴式显示器或光学头戴式显示器,其具有单眼或双眼的的一个或两个显示器,其还包括基于曲面镜的显示器或基于波导的显示器。透视头戴式显示器是透明或半透明显示器,其在用户眼睛(单眼或双眼)前方显示3d模型,同时用户也可以看到他周围的环境。
头戴式显示器还包括视频透视头戴式显示器或沉浸式头戴式显示器,用于通过使用两个略微不同的透视图对相同视图进行进给渲染,而全面3D观察穿有衣服的用户人体模型,以对穿有衣服的用户人体模型进行完整的3D观察。沉浸式头戴式显示器在沉浸式的虚拟环境中显示穿有衣服的用户人体模型。
图18(a)-(c)示出穿戴合身、紧身和宽松T恤的女孩的人体模型。这是当用户想要在她的人体模型上尝试不同合身时的情况。不同合身的衣服用来产生这样的效果。
在一个实施例中,可以处理一个合身的衣服以产生其他合身的衣服,然后与用户的人体模型一起显示。图18(a)-(c)通过色谱图示出不同合身的衣服的紧密度,用来虚拟地获得衣服在身体上的紧密度。系统使用基于衣服规格信息和用户身体信息的逻辑来估算正常、紧密或宽松的合身,并通过不同的颜色显示织物的伸展度。可以实时制备这样不同光谱的图像,或者可以基于身体和衣服的不同组合存储在数据库中。
图19(a)-(b)图示了用户面部上显示面部特征的点,其通过使用所训练模型处理图像而确定,以提取面部特征并分割用于产生面部表情的面部部分而图19(c)-(f)示出通过处理用户面部产生的用户面部上的不同面部表情。
图20(a)-(b)图示出面部的正面和侧面图像的用户输入,图20(c)示出通过使用面部的正面和侧面图像制作面部的3D模型的逻辑产生的面部展开。
图21(a)-(b)图示了通过生成的用户面部3D模型以不同角度和方向生成的面部。一旦生成了面部的3D模型,那么它能够以任何角度或方向渲染来产生面部,以在相同或相似方向和/或角度上使用其他人的身体部分图像以任何角度或方向产生用户人体模型。
存在各种用于面部检测的方法,该方法基于以下中的任意一者:基于肤色分割、基于特征的检测、模板匹配或基于神经网络的检测。
例如:基于哈尔特征的Viola Jones的开创性工作通常用于许多快速面部检测的面部检测库。
哈尔特征定义如下:
让我们考虑一个术语“积分图像”,其类似于求和区域表,并包含每个位置的条目,使得(x,y)位置上的条目是该位置上方和左侧的所有像素值的总和。
其中ii(x,y)是积分图像,i(x,y)是原始图像。
积分图像允许非常快速地计算该检测器使用的特征(在该方法中使用类哈尔特征)。从灰色矩形中的像素总和中减去位于白色矩形内的像素总和。使用积分图像,只需要六个数组参考来计算两个矩形特征,八个数组参考用于三个矩形特征等,这些特征使得可以在恒定时间0(1)内计算特征。
在提取特征后,使用学习算法从大量潜在特征集中选择少量关键视觉特征集,这样的方法在使用学习算法和分类器级联的学习结果后,仅使用大量特征集中的少量重要特征集,从而制成实时面部检测系统。
在现实情况中,用户上传具有不同方向和角度的图片。对于这种情况,可以使用基于神经网络的面部检测算法,其利用卷积网络的高容量用于分类和特征提取,以学习用于从多个视图和位置检测面部的单个分类器。为了获得最终的面部检测器,使用滑动窗口方法,因为它具有较低的复杂性并且独立于诸如选择性搜索的额外模块。首先,通过重新形成层参数将完全连接的层转换成卷积层。这使得有可能在任何尺寸的图像上有效地运行卷积神经网络并获得面部分类器的热图。
一旦我们检测到面部,接下来就是准确地找到不同面部特征的位置(例如,眼角、眉毛和嘴巴、鼻尖等)。
例如:为了以计算有效的方式精确估算面部界标的位置,可以使用dlib库来提取面部特征或标志点。
一些方法是基于利用回归量的级联。回归量的级联可以定义如下:
令xi∈R2为图像I中第i个面部界标的x,y坐标。然后,矢量
表示I中所有p个面部界标的坐标。矢量S表示形状。级联中的每个回归量预测来自图像的更新矢量。在级联中学习每个回归量时,在级联的不同级别估算的特征点被初始化为平均形状,其以基本的Viola&Jones面部检测器的输出处为中心。
此后,提取的特征点可用于表达分析和生成几何驱动的真实感面部表情合成。
为了在唇部上涂抹化妆品,其需要识别面部的唇部区域。为此,在得到面部特征点之后,获得平滑的贝塞尔曲线,其捕获输入图像中的几乎整个唇部区域。此外,唇部检测基于颜色信息能够通过根据颜色的分割方法来实现,而面部特征检测方法在所有情况下都给出一些面部特征点(x,y坐标),其对于不同的光、照明、人种和面部姿势是不变的。这些点涵盖唇部区域。然而,绘制智能贝塞尔曲线将使用面部特征点来捕捉唇部的整个区域。
通常,各种人类肤色位于HSB色彩空间(色调、饱和度、亮度)的特定色调和饱和度范围内。在大多数情况下,只有亮度部分在色调和饱和度范围内针对不同的肤色而变化。在某些照明条件下,颜色是方向不变的。研究显示,尽管不同人种、年龄、性别的肤色不同,这种差异主要集中在亮度上,并且不同人种的肤色分布在去除亮度的色彩空间中聚集。尽管有RGB色彩空间,但HSV或YCbCr色彩空间用于基于肤色的分割。
图像的合并、混合或拼接是以这样的方式组合两个或更多个图像的技术,即在处理后的图像中不出现接合区域或接缝。图像混合的一种非常基本的技术是线性混合,以将两个图像组合或合并为一个图像:参数X用于两个图像的连接区域(或重叠区)。在连接区域中输出像素值:
PJoining_Region(i,j)=(1-X)*PFirst_Image(i,j)+X*PSecond_Image(i,j).
其中0<X<1,图像的剩余区域保持不变。
其他技术(诸如“泊松图像编辑(佩雷斯等人)”、“基于哈尔小波2d积分方法的图像的无缝拼接(伊万娜等人)”或“非重叠图像的对齐和拼接”(亚伊尔等人))可用于混合。
为了实现逼真的面部动画,现在使用各种技术,所述方法包括性能技术、统计外观模型或其他。为了实现性能驱动的技术方法,特征点位于由用户提供的上传图像的面部上,并且这些特征点随时间的位移用于更新多边形模型的顶点位置,或者被映射到底层基于肌肉的模型。给定面部表情的特征点位置,为了计算相应的表情图像,一种可能性是使用诸如物理模拟的某种机制来计算面部上的每个点的几何变形,然后渲染得到的表面。给定一组示例表情,您可以通过凸面组合生成逼真的面部表情。设Ei=(Gi,Ii),i=0,....,m,|为示例表达式,其中Gi表示几何形状,Ii为纹理图像。我们假设所有纹理图像Ii都是像素对齐的。设H(E0,E1,...,Em)|是这些示例的所有可能凸面组合的集合。那么,
通过将形状变化模型与纹理变化模型组合在一起来生成统计外观模型。纹理被定义为穿过图像块上的强度或颜色的图案。为了构建模型,它需要一组有注释图像的训练集,其中在每个示例上已经标记了对应点。用于将面部动画应用于角色的主要技术包括:变形目标动画、骨骼驱动动画、基于纹理的动画(2D或3D)和生理模型。

Claims (40)

1.一种用于生成穿戴衣服的人体模型的方法:所述方法包括:
-接收与人相关的用户输入,其中所述用户输入包括至少一张所述人像或照片,其中至少一张所述人像具有所述人的面部;
-使用人体信息来识别其他身体部分的要求;
-基于识别的要求接收至少一张其他人体部分的图像或照片;
-使用所述人体信息处理具有其他人体部分的所述图像或照片的所述人像,以生成所述人体模型,其中所述人体模型表示图像/照片被接收作为用户输入的那些人,并且所述人体模型包括所述人的面部;
-根据所述人体模型的形状和尺寸接收衣服图像;
-将所述人体模型和所述衣服图像组合,以显示穿戴所述衣服的所述人体模型;
其中人体信息包括所述人像中所述人的面部方向、所述人像中所述人的身体的方向、所述人的肤色、所述人像中所示的身体部分的类型中的至少一个,所述人像中的一个或多个身体部分的位置和几何形状、身体/身体部分的形状、所述人的尺寸、所述人的体重、所述人的身高、面部特征信息或面部特征的附近部分、或其组合。
其中面部特征信息包括至少面部、眼睛、下巴、颈部、唇部、鼻子或耳朵或其组合的形状或位置中的至少一个。
2.根据所述权利要求1的所述方法,其中组合所述人体模型和所述衣服的所述图像,以显示穿戴所述衣服的所述人体模型,具有至少面部表情或身体运动,或其组合。
3.根据权利要求1或2中任一项所述方法,其中所述人体信息由用户收集作为用户输入或通过分析/处理所述用户输入来确定。
4.根据权利要求3的所述方法,其中所述人体信息为通过点击颈部或下巴或组合从所述用户接收的选择输入,所述方法还包括:
-处理选择输入以从图像/照片中提取面部;并且处理利用其他人体部分的图像或照片处理所提取的面部以生成人体模型。
5.根据权利要求1至4中任一项所述的方法,其中通过处理所述人体模型和所述衣服的所述图像来组合所述人体模型和所述衣服的所述图像,以生成显示穿戴所述衣服的所述人体模型的单个图像。
6.根据权利要求1至4中任一项所述的方法,将所述方法包括所述人体模型和所述图像组合,以产生具有覆盖在所述人体模型上的所述衣服的所述图像的场景,所述人体模型显示穿戴所述衣服的所述人体模型。
7.根据权利要求1至6中任一项所述的方法,其中基于所述人体信息中的至少一个,或者所述人体模型的参数信息或其组合,从数据库提供所述衣服的所述图像,
而参数信息与人体模型的所述形状和尺寸相关。
8.根据权利要求1至7中任一项所述的方法,其中基于所述人体信息和参数信息中的至少一个在处理之后提供所述衣服的所述图像。
9.根据权利要求1至8中任一项所述的方法,其中与人相关的所述用户输入还包括与所述人像中的所述人的面部的所述方向中的至少一个相关的信息,所述人在所述图像中所述人的身体的方向、所述人的所述肤色、人在图像中所示的身体部分的所述类型、所述人在图像中的一个或多个身体部分的所述位置和所述几何形状、所述人体或身体部分的形状和尺寸、所述人的所述体重、所述人的所述身高、或面部特征信息、或面部特征附近部分、或其组合,其中面部特征信息包括至少面部、眼睛、下巴、颈部、嘴唇、鼻子、或耳朵、或其组合的形状或位置中的至少一个。
10.根据权利要求1至9中任一项所述的方法,所述方法包括:
处理所述人类的所述图像以识别所述人在所述图像中的未露出的身体部分,之后去除至少一个未露出的身体部分,并且进一步识别所述适合用于未露出部分所需的其他人类的部分。
11.根据权利要求10所述的方法,其中至少通过以下方法识别未露出的身体部分:
-检测所述图像中所述人的肤色,或
-确定未露出的身体部分处的身体部分或其组合。
12.根据权利要求10所述的方法,其中基于与所述人相关的用户输入识别未露出的身体部分,而用户输入包括将所述未露出的身体部分标记到所述人像上。
13.根据权利要求1至12中任一项所述的方法,所述方法包括:
使用所述人体信息处理所述人像,然后提取面部部分,并提供其他人体部分和处理以将颈部处的面部部分的所述面部与其他人体部分合并以生成所述人体模型,
其中所述面部部分是所述人像的一部分,其在所述人的所述肩部或颈部上方并且包围面部。
14.根据权利要求13所述的方法,其中所述面部部分包括所述人像的背景的一些部分。
15.根据权利要求14所述的方法,所述方法包括:
通过处理或编辑面部部分的现有背景的所述部分来生成具有新背景的所述面部部分。
16.根据权利要求15所述的方法,所述方法包括:
通过处理现有背景和其他额外图像的所述部分来生成具有新背景的所述面部部分。
17.根据权利要求13所述的方法,其中进一步编辑所述面部部分以去除所述人像的背景。
18.根据权利要求13或17中任一项所述的方法,所述方法包括:
通过处理所述人体模型和附加图像来生成具有附加背景的所述人体模型的图像。
19.根据权利要求13至18中任一项所述的方法,其中基于与所述人相关的所述用户输入或与所述人相关的所述身体信息进行识别面部特征信息,基于识别的面部特征信息提取所述面部部分,并且将颈部处面部部分的所述面部与其他人体部分合并。
20.根据权利要求1至19中任一项所述的方法,其中提供所述人像,其在360度平面中处于不同的角度或方向,并且根据所述人在所述图像中的所述方向或捕获的角度来生成所述人体模型。
21.根据权利要求1至20中任一项所述的方法,其中根据所述人体模型的所述方向提供所述衣服的所述图像,以提供对所述人体模型的最佳合身。
22.根据权利要求1至21中任一项所述的方法,所述方法包括:
-接收衣服输入;
-基于所述衣服输入接收衣服图像。
23.根据权利要求1至22中任一项所述的方法,所述方法包括:
-接收不只一件衣服的图像;
-将所述衣服图像一个接一个地提供给不同的图层;
-将人体模型与衣服的图像组合在一起,以显示穿戴衣服的人体模型。
24.根据权利要求23所述的方法,所述方法包括:
-通过选择要添加的衣服来接收添加输入以添加衣服;
-通过基于所述添加输入在特定图层中添加所选衣服并将所选衣服放置在相应图层中来提供更换的衣服集
-将所述人体模型与可更换的衣服集组合在一起,以显示穿戴所述衣服的所述人体模型。
25.根据权利要求23所述的方法,所述方法包括:
-通过选择要去除的衣服来接收去除输入以去除衣服;
-通过基于所述去除输入从特定图层中去除所选衣服,来提供可更换的衣服集
-将人体模型与更换的衣服集组合在一起来显示穿戴衣服的人体模型。
26.根据权利要求23所述的方法,所述方法包括:
-通过选择要去除的衣服来接收去除输入以去除衣服;
-基于所述替换输入,通过从特定图层中存在的另一件衣服替换所选衣服来提供一组可更换的衣服;
-将人体模型与更换的衣服集组合在一起,以显示穿戴衣服的人体模型。
27.根据权利要求1至26中任一项所述的方法,所述方法包括:
基于关于肤色的所述人体信息或所述人的所述肤色的所述用户输入从数据库提供其他人体部分的图像,或者通过基于关于肤色的所述人体信息或所述人的所述肤色的所述用户输入来处理所述其他人体部分。
28.根据权利要求1至27所述的方法,所述方法包括:
-提供与要涂抹化妆品的人体模型的身体部分相关的化妆品输入和关于化妆品涂抹于身体部分的信息;
-基于化妆品输入检测人体模型的身体部分;
-涂抹化妆品至少:
-通过使用化妆品输入来接收与关于化妆品的信息相关的化妆品图像,并在人体模型的身体部分上处理化妆品图像,
-或者,通过改变所述身体部分的颜色或色调,使用所述化妆品输入或其组合将所述化妆品涂抹于所述身体部分上。
29.根据权利要求1至28中任一项所述的方法,所述方法包括:
-提供面部表情输入,该输入包括面部特征、唇形和声音的移动中的至少一个,
-使用面部表情输入处理人体模型,以向人体模型提供面部表情;
人体模型
-将人体模型与衣服图像组合在一起,以显示具有面部表情的穿戴衣服的人体模型。
30.根据权利要求1至29中任一项所述的方法,所述方法包括:
-提供面部表情输入,该输入包括面部特征、唇形和声音的移动中的至少一个,
-使用面部表情输入处理与图像衣服组合的人体模型,以显示具有面部表情的穿戴料的人体模型。
31.根据权利要求1至30中任一项所述的方法,所述方法包括:
-提供与要在其中显示所述组合的人体模型与所述衣服图像的环境中提供的与照明条件相关的环境照明,
-通过使用衣服的图像改变人的组合人体模型的颜色、对比度、亮度、饱和度中的至少一个来使用环境照明输入来处理组合的人体模型和衣服的图像。
32.根据权利要求1至31中任一项所述的方法,其中所述用户输入与以一个或多个方向显示所述人的面部的所述图像或照片相关,所述方法包括:
-通过使用显示人的面部的人像/照片来生成人的三维面部模型;
-以不同的角度和方向渲染所述脸部模型,以在不同的角度和方向上生成所述人脸的所述图像。
-使用不同方向的所述人脸的所述图像和各个方向的其他人体部分的所述图像来生成所述人体模型。
33.根据权利要求1至32中任一项所述的方法,所述方法包括:
-接收与身体部分相关的佩戴输入,在身体部分上佩戴时尚配饰,并且时尚配饰佩戴到人体模型的部分上;
-处理佩戴输入和至少一个人体信息以及与人相关的用户输入,并且识别穿戴时尚配饰的人体模型身体部分;
-根据佩戴输入接收配饰的图像/视频;
-处理所识别的人体模型的身体部分和配饰的图像/视频,以显示穿戴衣服和配饰的组合的人体模型。
34.根据权利要求1至33中任一项所述的方法,其中至少一个所述接收的图像或其他人体部分的照片具有至少一部分身体部分,所述至少一部分身体部分是不适当可见或具有不同级的透明度。
35.根据前述权利要求中任一项所述的方法,其中所述衣服图像是透明或半透明的,并且将穿戴所述透明或半透明衣服的所述人体模型显示在显示设备上。
36.根据前述权利要求中任一项所述的方法,其中在客户端-服务器环境下将所述衣服图像与客户端设备处的所述人体模型合并,以将穿戴衣服的所述人体模型显示在显示设备上。
37.根据前述权利要求中任一项所述的方法,其中所述人体模型是具有装扮的图形模型并且以衣服作为输出产生人体模型的动画。
38.一种用于显示穿戴衣服的人体模型的系统,所述系统包括:
-一台或多台输入设备;
-显示设备
-存储其他人体部分的一个或多个图像的数据库,以及一个或多个衣服图像;和
-机器可读指令,所述机器可读指令在由一台或多台处理器执行时,使系统执行操作,所述操作包括:
-接收与人相关的用户输入,其中所述用户输入包括至少一张所述人像或照片,其中至少一张所述人像具有所述人的面部;
-使用人体信息来识别其他身体部分的要求;
-基于识别的要求接收至少一张其他人体部分的图像或照片;
-使用所述人体信息处理具有其他人体部分的所述图像或照片的所述人像,以生成所述人体模型,其中所述人体模型表示图像/照片被接收作为用户输入的那些人,并且所述人体模型包括所述人的面部;
-根据所述人体模型的形状和尺寸接收衣服图像;
-将所述人体模型和所述衣服的所述图像组合,以显示穿戴所述衣服的所述人体模型;其中人体信息包括所述人在所述图像中所述人的面部方向、所述人在所述图像中所述人的身体的方向、所述人的肤色、人在所述图像中显示的身体部分的类型中的至少一个,所述人在图像中的一个或多个身体部分的位置和几何形状、身体/身体部分的形状、所述人的尺寸、所述人的体重、所述人的身高、面部特征信息或面部特征的附近部分、或其组合。
其中面部特征信息包括至少面部、眼睛、下巴、颈部、唇部、鼻子或耳朵或其组合的形状或位置中的至少一个。
39.根据权利要求38所述的系统,其中所述显示设备是可穿戴显示器或不可穿戴显示器或其组合,其中所述不可穿戴显示器包括:
电子可视显示器,诸如LCD、LED、等离子、OLED、视频墙、盒形显示器或由多于一个电子可视显示器或基于投影仪或其组合制成的显示器,
-基于佩珀尔幻象的显示器,所述基于佩珀尔幻象的显示器具有由投影仪和/或电子显示器照射的透明倾斜箔/屏幕构成的一个或多个面,其中投影仪和/或电子显示器在基于佩珀尔幻象的显示器的不同面上以不同的摄像机角度显示所述人的身体模型的不同图像,其产生一种穿着衣服人的身体的错觉,通过基于佩珀尔幻象技术的显示器的不同面,放置在不同侧面可见的一个地方,其中所述可穿戴显示器包括:
-头戴式显示器,所述头戴式显示器包括一个或两个带镜头的小型显示器和嵌入头盔的半透明镜子、眼镜或遮阳板。所述显示单元为小型化,并且可以包括CRT、LCD、硅基液晶(LCo)或OLED或多个微显示器以增加总分辨率和视野,其中所述头戴式显示器包括:
-透视头戴式显示器或光学头戴式显示器,所述光学头戴式显示器具有用于单眼或双眼的一个或两个显示器,所述头戴式显示器还包括基于曲面镜的显示器或基于波导的显示器,
-视频透视头戴式显示器或沉浸头戴式显示器,所述沉浸头戴式显示器用于以两个略微不同的视角全面3D观察穿有衣服的所述人体,以对穿有衣服的所述人体进行完整的3D观察。
40.一种存储在计算机可读介质上并适于在一个或多个处理器上执行的计算机程序产品,其中所述计算机可读介质和所述一个或多个处理器适于耦合到通信网络接口,所述计算机程序产品在执行时使所述一个或多个处理器能够执行以下步骤,所述步骤包括:
-接收与人相关的用户输入,其中所述用户输入包括至少一张所述人像或照片,其中至少一张所述人像具有所述人的面部;
-使用人体信息来识别其他身体部分的要求;
-基于识别的要求接收至少一张其他人体部分的图像或照片;
-使用所述人体信息处理具有其他人体部分的所述图像或照片的所述人像,以生成所述人体模型,其中所述人体模型表示图像/照片被接收作为用户输入的那些人,并且所述人体模型包括所述人的面部;
-根据所述人体模型的形状和尺寸接收衣服图像;
-将所述人体模型和所述衣服图像组合,以显示穿戴所述衣服的所述人体模型;
其中人体信息包括所述人像中所述人的面部方向、所述人像中所述人的身体的方向、所述人的肤色、所述人像中所示的身体部分的类型中的至少一个,所述人像中的一个或多个身体部分的位置和几何形状、身体/身体部分的形状、所述人的尺寸、所述人的体重、所述人的身高、面部特征信息或面部特征的附近部分、或其组合。
其中面部特征信息包括至少面部、眼睛、下巴、颈部、唇部、鼻子或耳朵或其组合的形状或位置中的至少一个。
CN201780008887.0A 2016-01-27 2017-01-27 在用户的真实人体模型上虚拟试穿衣服 Pending CN108885794A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN3580DE2015 2016-01-27
IN3580/DEL/2015 2016-01-27
PCT/IB2017/050454 WO2017130158A1 (en) 2016-01-27 2017-01-27 Virtually trying cloths on realistic body model of user

Publications (1)

Publication Number Publication Date
CN108885794A true CN108885794A (zh) 2018-11-23

Family

ID=59397564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780008887.0A Pending CN108885794A (zh) 2016-01-27 2017-01-27 在用户的真实人体模型上虚拟试穿衣服

Country Status (6)

Country Link
US (1) US11450075B2 (zh)
EP (1) EP3408835A4 (zh)
JP (1) JP2019510297A (zh)
KR (1) KR20180108709A (zh)
CN (1) CN108885794A (zh)
WO (1) WO2017130158A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684544A (zh) * 2018-12-14 2019-04-26 维沃移动通信有限公司 一种穿搭推荐方法及终端设备
CN109784277A (zh) * 2019-01-17 2019-05-21 南京大学 一种基于智能眼镜的情绪识别方法
CN111324274A (zh) * 2018-12-13 2020-06-23 北京京东尚科信息技术有限公司 虚拟试妆方法、装置、设备及存储介质
CN112991494A (zh) * 2021-01-28 2021-06-18 腾讯科技(深圳)有限公司 图像生成方法、装置、计算机设备及计算机可读存储介质
CN113196342A (zh) * 2019-11-28 2021-07-30 试衣新 衣服的三维建模方法
CN115119054A (zh) * 2022-06-27 2022-09-27 平安银行股份有限公司 一种基于ios系统的视频虚拟着装及背景处理方法和装置
CN117237583A (zh) * 2023-11-16 2023-12-15 创云融达信息技术(天津)股份有限公司 一种基于上传头像的虚拟试穿方法和系统

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170263031A1 (en) * 2016-03-09 2017-09-14 Trendage, Inc. Body visualization system
CN109804404A (zh) * 2016-09-06 2019-05-24 耐克创新有限合伙公司 用于个性化购物的系统、平台、装置和方法
KR102294218B1 (ko) 2017-01-06 2021-08-27 나이키 이노베이트 씨.브이. 자동 쇼핑 어시스턴트를 이용한 개인화 쇼핑을 위한 시스템, 플랫폼 및 방법
US10665022B2 (en) * 2017-06-06 2020-05-26 PerfectFit Systems Pvt. Ltd. Augmented reality display system for overlaying apparel and fitness information
CN109427083B (zh) * 2017-08-17 2022-02-01 腾讯科技(深圳)有限公司 三维虚拟形象的显示方法、装置、终端及存储介质
JP6921768B2 (ja) * 2018-02-21 2021-08-18 株式会社東芝 仮想試着システム、仮想試着方法、仮想試着プログラム、および情報処理装置
CN109300013A (zh) * 2018-10-25 2019-02-01 百度在线网络技术(北京)有限公司 用于生成信息的方法和装置
EP3912136A1 (en) * 2019-01-18 2021-11-24 Snap Inc. Systems and methods for generating personalized videos with customized text messages
KR102304124B1 (ko) 2019-02-21 2021-09-24 한국전자통신연구원 학습기반 3d 모델 생성 장치 및 방법
US11699070B2 (en) 2019-03-05 2023-07-11 Samsung Electronics Co., Ltd Method and apparatus for providing rotational invariant neural networks
JPWO2020230748A1 (ja) * 2019-05-11 2021-09-27 株式会社キテミル 画像生成装置、方法、及び、プログラム、並びに、仮想試着システム
CN110321872B (zh) * 2019-07-11 2021-03-16 京东方科技集团股份有限公司 人脸表情识别方法及装置、计算机设备、可读存储介质
US11250572B2 (en) * 2019-10-21 2022-02-15 Salesforce.Com, Inc. Systems and methods of generating photorealistic garment transference in images
CN111062777B (zh) * 2019-12-10 2022-06-24 中山大学 一种可保留示例衣服细节的虚拟试穿方法及系统
CN113012042B (zh) * 2019-12-20 2023-01-20 海信集团有限公司 显示装置、虚拟合照生成方法及存储介质
WO2022006683A1 (en) * 2020-07-10 2022-01-13 Wimalasuriya Daya Karunita Tension-map based virtual fitting room systems and methods
KR102467295B1 (ko) * 2020-09-23 2022-11-16 주식회사 넥스트키 얼굴 적용 기반의 의류착용 시스템 및 그 방법
JP7434134B2 (ja) * 2020-11-04 2024-02-20 ソフトバンク株式会社 データ処理装置、プログラム、及びデータ処理方法
EP4343701A4 (en) * 2021-07-29 2024-09-18 Huawei Tech Co Ltd IMAGE GENERATING METHOD, APPARATUS AND SYSTEM, AND COMPUTER READABLE STORAGE MEDIUM
KR102710310B1 (ko) * 2021-11-09 2024-09-26 김상철 사용자가 원하는 의상 스킨이 적용된 3d 아바타를 개인 맞춤형으로 생성할 수 있는 전자 장치 및 그 동작 방법
US20240265608A1 (en) * 2023-02-02 2024-08-08 Snap Inc. Augmented reality try-on experience for friend

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110022965A1 (en) * 2009-07-23 2011-01-27 Apple Inc. Personalized shopping avatar
CN103597519A (zh) * 2011-02-17 2014-02-19 麦特尔有限公司 用于生成服装合体性可视化的虚拟身体模型的计算机实现方法和系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085411A (ja) * 2001-09-11 2003-03-20 Minolta Co Ltd 画像入出力装置
US8386486B2 (en) * 2008-07-02 2013-02-26 Palo Alto Research Center Incorporated Method for facilitating social networking based on fashion-related information
US10653962B2 (en) * 2014-08-01 2020-05-19 Ebay Inc. Generating and utilizing digital avatar data for online marketplaces

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110022965A1 (en) * 2009-07-23 2011-01-27 Apple Inc. Personalized shopping avatar
CN103597519A (zh) * 2011-02-17 2014-02-19 麦特尔有限公司 用于生成服装合体性可视化的虚拟身体模型的计算机实现方法和系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111324274A (zh) * 2018-12-13 2020-06-23 北京京东尚科信息技术有限公司 虚拟试妆方法、装置、设备及存储介质
CN109684544A (zh) * 2018-12-14 2019-04-26 维沃移动通信有限公司 一种穿搭推荐方法及终端设备
CN109784277A (zh) * 2019-01-17 2019-05-21 南京大学 一种基于智能眼镜的情绪识别方法
CN113196342A (zh) * 2019-11-28 2021-07-30 试衣新 衣服的三维建模方法
CN112991494A (zh) * 2021-01-28 2021-06-18 腾讯科技(深圳)有限公司 图像生成方法、装置、计算机设备及计算机可读存储介质
CN112991494B (zh) * 2021-01-28 2023-09-15 腾讯科技(深圳)有限公司 图像生成方法、装置、计算机设备及计算机可读存储介质
CN115119054A (zh) * 2022-06-27 2022-09-27 平安银行股份有限公司 一种基于ios系统的视频虚拟着装及背景处理方法和装置
CN117237583A (zh) * 2023-11-16 2023-12-15 创云融达信息技术(天津)股份有限公司 一种基于上传头像的虚拟试穿方法和系统
CN117237583B (zh) * 2023-11-16 2024-02-09 创云融达信息技术(天津)股份有限公司 一种基于上传头像的虚拟试穿方法和系统

Also Published As

Publication number Publication date
WO2017130158A1 (en) 2017-08-03
KR20180108709A (ko) 2018-10-04
JP2019510297A (ja) 2019-04-11
EP3408835A4 (en) 2019-12-25
US20190026954A1 (en) 2019-01-24
US11450075B2 (en) 2022-09-20
EP3408835A1 (en) 2018-12-05

Similar Documents

Publication Publication Date Title
CN108885794A (zh) 在用户的真实人体模型上虚拟试穿衣服
US20240193833A1 (en) System and method for digital makeup mirror
US11736756B2 (en) Producing realistic body movement using body images
US10777021B2 (en) Virtual representation creation of user for fit and style of apparel and accessories
CN105404392B (zh) 基于单目摄像头的虚拟穿戴方法及系统
US9959453B2 (en) Methods and systems for three-dimensional rendering of a virtual augmented replica of a product image merged with a model image of a human-body feature
Huang et al. Human-centric design personalization of 3D glasses frame in markerless augmented reality
EP2478695B1 (en) System and method for image processing and generating a body model
CN105580051B (zh) 图像捕捉反馈
WO2016011834A1 (zh) 一种图像处理方法及系统
WO2018029670A1 (en) System, device, and method of virtual dressing utilizing image processing, machine learning, and computer vision
US20200065559A1 (en) Generating a video using a video and user image or video
Li et al. In-home application (App) for 3D virtual garment fitting dressing room
US20190045270A1 (en) Intelligent Chatting on Digital Communication Network
CN113569614A (zh) 虚拟形象生成方法、装置、设备及存储介质
CN108537126A (zh) 一种人脸图像处理系统及方法
WO2020104990A1 (en) Virtually trying cloths &amp; accessories on body model
CN111767817B (zh) 一种服饰搭配方法、装置、电子设备及存储介质
WO2018005884A1 (en) System and method for digital makeup mirror
CN107680166A (zh) 一种智能定制服装的方法和装置
CN113570614A (zh) 图像处理方法、装置、设备及存储介质
Rudolph et al. TechnoSapiens: merging humans with technology in augmented reality
CN111627118A (zh) 景物画像的展示方法、展示装置、电子设备及存储介质
Li Image-based 3D reconstruction and articulation of the human body shape and its use in the creation of virtual fitting rooms
Azim 3D character and overlay image movement by human body tracking using unity.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181123

WD01 Invention patent application deemed withdrawn after publication