CN107209962A - 用于生成与3d衣服图像结合的人的3d虚拟身体模型的方法,以及相关的装置、系统和计算机程序产品 - Google Patents

用于生成与3d衣服图像结合的人的3d虚拟身体模型的方法,以及相关的装置、系统和计算机程序产品 Download PDF

Info

Publication number
CN107209962A
CN107209962A CN201580068551.4A CN201580068551A CN107209962A CN 107209962 A CN107209962 A CN 107209962A CN 201580068551 A CN201580068551 A CN 201580068551A CN 107209962 A CN107209962 A CN 107209962A
Authority
CN
China
Prior art keywords
clothes
virtual body
body models
user
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580068551.4A
Other languages
English (en)
Inventor
陈昱
尼克·马克斯
黛安娜·尼科洛娃
卢克·史密斯
雷·米列尔
乔·汤森
尼克·戴伊
罗伯·墨菲
吉姆·唐宁
爱德华·科雷
马克尔·马赫
汤姆·阿德尤拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Metail Ltd
Original Assignee
Metail Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GBGB1502806.1A external-priority patent/GB201502806D0/en
Priority claimed from GBGB1514450.4A external-priority patent/GB201514450D0/en
Application filed by Metail Ltd filed Critical Metail Ltd
Publication of CN107209962A publication Critical patent/CN107209962A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0623Item investigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/16Cloth

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)

Abstract

公开了一种用于生成与3D衣服图像结合的人的3D虚拟身体模型以及在计算装置屏幕上显示与所述3D衣服图像结合的所述人的所述3D虚拟身体模型的方法,所述计算装置包括传感器系统,所述方法包括以下步骤:(a)生成所述3D虚拟身体模型;(b)生成用于叠加在所述3D虚拟身体模型上的所述3D衣服图像;(c)将所述3D衣服图像叠加在所述3D虚拟身体模型上;(d)在所述屏幕上示出叠加在所述3D虚拟身体模型上的所述3D衣服图像;(e)使用所述传感器系统来检测位置变化,以及(f)在所述屏幕上示出响应于使用所述传感器系统检测到的所述位置变化而修改的叠加在所述3D虚拟身体模型上的所述3D衣服图像。还公开了相关的方法、装置、系统和计算机程序产品。

Description

用于生成与3D衣服图像结合的人的3D虚拟身体模型的方法, 以及相关的装置、系统和计算机程序产品
发明背景
1.发明领域
本发明的领域涉及用于生成与3D衣服图像结合的人的3D虚拟身体模型的方法,以及相关的装置、系统和计算机程序产品。
2.技术背景
在销售服装时,服装店或商店倾向于在人体模型上显示服装样本,以使得顾客可以以模仿可看到服装穿在顾客身上的情形的方式来观察服装样本。这种观察固有地是3D体验,因为观察者可以在观看穿着服装的人体模型的同时移动通过店铺或商店,或者围绕人体模型移动,以便从各个视角来观察人体模型上的衣服。从不同视角显示服装是高度合乎期望的目标:时装屋使用以猫步来回走动的模特来显示服装制品。当模特以猫步来回走动时,以3D方式自动向观察者呈现服装制品的大量视角。然而,在时装秀上使用时装模特来显示服装制品是一项耗时且昂贵的工作。
已知的是,在计算机屏幕上的3D身体模型上显示服装制品。但是,期望提供以下问题的技术解决方案:在计算机屏幕上的3D身体模型上显示服装制品不会以简单且低成本的方式复制在移动通过服装店或商店的同时、或者在围绕人体模型移动的同时、或者在观察以猫步来回走动的模特的同时观察人体模型上的服装制品的技术经验。
购买服装中存在一些方面,其中可用的选项远非理想。例如,如果用户想要决定购买什么,则她可能必须试穿各种服装制品。当穿着最后一件服装制品并且在试衣间内的镜子中观察自身时,那么用户必须根据记忆来决定这件服装制品与她已经试穿的其他服装制品相比如何。并且因为她一次只能试穿一件服饰,所以用户物理上不可能同时比较身着不同服饰的自己。用户也可能喜欢将身着服饰的自己就近与身着相同服饰或不同服饰的另一个用户(可能是对手)进行比较。但是另一个用户可能不愿意参与这种比较,或者其他用户参与这种比较可能是不切实际的。期望提供一种改善的比较服饰以及比较身着不同服饰的不同用户的方式。
已知在计算机屏幕上的3D身体模型上显示服装制品,但是因为需要相对详细的视图,并且因为在合适的3D身体模型上观察期望的服装制品可能需要许多选项,并且因为通常需要登记提供在3D身体模型上观察服装的服务,所以迄今为止,移动计算装置相对来说不适合这种任务。期望提供一种在移动计算装置上的3D身体模型上观察所选服装制品的方法,其可以克服这些问题中的至少一些。
3.相关技术讨论
以引用方式并入本文的WO2012110828A1、GB2488237A和GB2488237B公开了一种用于生成和共享与衣服图像组合的人的3D虚拟身体模型的方法,其中:
(a)根据用户数据生成3D虚拟身体模型;
(b)通过分析和处理衣服的多个2D照片来生成3D衣服图像;以及
(c)示出了叠加在3D虚拟身体模型上的3D衣服图像。还公开了一种适于或可操作来执行所述方法的系统。
EP0936593B1公开了一种系统,其提供由移动部分扇区分开的两个固定扇区、即后部扇区和前部扇区所形成的完整图像场,所述移动部分扇区由对应于骑手服装和各种骑乘配件的一个或多个元件形成。处于图像中间的移动部分扇区对整个冲压给予动态效果,从而产生宏观、动态的三维视觉感知。为了获得标记冲压的正确视野,使用扫描器来接收制作物理模型、即摩托车和骑手的一部分的三维数据。随后将供处理的三维数据以及标记冲压数据输入具有特殊软件的计算机中,然后处理所述数据以获得变形冲压的完整图像,因为所述图像得到数据库或待覆盖表面的特性。因此,将所获得的图像应用于弯曲的表面中而不会改变其视觉感知。
发明概述
根据本发明的第一方面,提供了一种用于生成与3D衣服图像结合的人的3D虚拟身体模型并且在计算装置屏幕上显示与3D衣服图像结合的人的3D虚拟身体模型的方法,所述计算装置包括传感器系统,所述方法包括以下步骤:
(a)生成3D虚拟身体模型;
(b)生成用于叠加在3D虚拟身体模型上的3D衣服图像;
(c)将3D衣服图像叠加在3D虚拟身体模型上;
(d)在屏幕上示出叠加在3D虚拟身体模型上的3D衣服图像;
(e)使用传感器系统来检测位置变化,以及
(f)在屏幕上示出响应于使用传感器系统检测到的位置变化而修改的叠加在3D虚拟身体模型上的3D衣服图像。
一个优点是,响应于修改其位置,为用户提供叠加在3D虚拟身体模型上的3D衣服的不同视图,这在技术上类似于当用户围绕人体模型移动时用户获得人体模型上的衣服的不同视图。可替代地,用户可以倾斜计算装置,并且获得技术上类似的效果。
所述方法可以是以下方法:其中在透视图中修改屏幕上所示的叠加在3D虚拟身体模型上的已修改3D衣服图像。
所述方法可以是以下方法:其中使用预呈现图像的序列来提供3D虚拟身体模型图像修改。一个优点是,减少了位置变化与提供已修改图像之间所需的计算时间。
所述方法可以是以下方法:其中3D虚拟身体模型被示出为通过使用以不同角度描绘3D虚拟身体模型的渐进图像序列来旋转。
所述方法可以是以下方法:其中位置变化是屏幕表面法线向量的倾斜。一个优点是,用户不必移动;替代地,他们可以简单地倾斜其计算装置。
所述方法可以是以下方法:其中传感器系统包括加速度计。所述方法可以是以下方法:其中传感器系统包括陀螺仪。所述方法可以是以下方法:其中传感器系统包括磁力计。
所述方法可以是以下方法:其中通过倾斜计算装置而给予用户能够围绕3D虚拟身体模型的侧面移动的感觉。
所述方法可以是以下方法:其中传感器系统包括计算装置的相机。相机可以是可见光相机。相机可以是红外相机。
所述方法可以是以下方法:其中传感器系统包括计算装置的一对立体相机。一个优点是改善了位置变化检测的精度。
所述方法可以是以下方法:其中位置变化是用户头部的移动。一个优点是,技术上用户以与他们为了从不同角度观察真实对象而将移动的方式相同或类似的方式移动。
所述方法可以是以下方法:其中使用头部跟踪器模块来检测位置变化。
所述方法可以是以下方法:其中通过用户的头部围绕计算装置移动而给予用户能够围绕3D虚拟身体模型的侧面移动的感觉。
所述方法可以是以下方法:其中屏幕上的图像和其他对象响应于用户头部移动而自动移动。
所述方法可以是以下方法:其中计算装置是移动计算装置。
所述方法可以是以下方法:其中移动计算装置是移动电话、或平板计算机或头戴式显示器。移动电话可以是智能电话。
所述方法可以是以下方法:其中移动计算装置要求用户旋转移动计算装置以便继续。一个优点是,鼓励用户以预期观察内容的格式(纵向或横向)来观察内容。
所述方法可以是以下方法:其中计算装置是台式计算机、或膝上型计算机、或智能电视或头戴式显示器。使用智能电视可包括使用主动型(遮光眼镜)3D显示器或被动型(偏光眼镜)3D显示器。
所述方法可以是以下方法:其中根据用户数据生成3D虚拟身体模型。
所述方法可以是以下方法:其中通过分析和处理衣服的一个或多个2D照片来生成3D衣服图像。
所述方法可以是以下方法:其中屏幕示出场景,在所述屏幕中,场景被设置为将3D虚拟身体模型的脚部的中点作为枢轴点,因此给予用户围绕模型移动以看到不同角度的印象。
所述方法可以是以下方法:其中场景由至少三个图像组成:3D身体模型、远侧背景和地板。
所述方法可以是以下方法:其中背景图像以编程方式被转换成3D几何形状。
所述方法可以是以下方法:其中背景的远侧部分独立于地板部分放置,其中远侧图像被放置为垂直平面,并且地板图像被定向成使得地板图像的顶部比地板图像的底部更深。
所述方法可以是以下方法:其中通过在地平线处划分背景图像来将背景图像和地板图像分离。
所述方法可以是以下方法:其中设置每个背景图像的深度值并将其存储在背景图像资源的元数据中。
所述方法可以是以下方法:其中在屏幕内,在框架内呈现场景以便使其与其他特征分离,并且框架对内容进行裁剪以使得在被显著放大或旋转时,场景的边缘部分不可见。
所述方法可以是以下方法:其中通过利用在两个不同旋转位置中呈现的3D虚拟身体模型图像生成左眼/右眼图像对,在3D显示装置上创建所述3D虚拟身体模型的立体视觉。
所述方法可以是以下方法:其中3D显示装置是主动型(遮光眼镜)3D显示器或被动型(偏光眼镜)3D显示器。
所述方法可以是以下方法:其中3D显示装置与智能电视一起使用。
所述方法可以是以下方法:其中提供了包括用于定制灵敏度和场景外观的各种设置的用户界面。
所述方法可以是以下方法:其中设置包括以下中的一个或多个:循环浏览可用的背景图像、循环浏览存储其图像的可用衣服、设置最大观察角、设置待显示的最大虚拟化身图像旋转、设置虚拟化身图像应旋转的增量、设置待使用的图像尺寸、在主屏幕的虚拟化身和背景部分上进行放大/缩小。
所述方法可以是以下方法:其中当3D虚拟身体模型的3D纹理化几何形状以及3D虚拟身体模型上穿着的3D衣服全部被呈现时,通过在呈现过程期间沿垂直轴施加相机视图旋转来实现利用旋转的3D虚拟身体模型生成呈现。
所述方法可以是以下方法:其中当使用2D衣服模型用于搭配时,生成旋转版本的2D衣服模型包括首先基于假设近似得出2D衣服模型的3D几何形状、执行深度计算,并且最后将对应的2D纹理移动施加到图像以便模拟3D旋转。
所述方法可以是以下方法:其中对于具有单个2D纹理轮廓图或侧影的基于2D躯干的衣服模型,通过应用以下简化来近似得出衣服的3D几何形状模型:在上身周围,衣服紧密地跟随基础身体形状的几何形状;在下身周围,衣服近似于具有变化的轴长度、以身体原点为中心的椭圆柱体。
所述方法可以是包括以下步骤的方法:根据由每个像素处的深度近似所给出的顶点点云来生成具有多个面的平滑3D网格;以及针对所需视图生成衣服的最终标准化深度图。
所述方法可以是以下方法:其中使用深度图来计算衣服纹理上的给定点为了模拟围绕垂直轴的平面外旋转在图像中需要移动的范围。
所述方法可以是以下方法:其中用户的3D身体形状模型的基础头部和颈部基本几何形状被用作近似的3D几何形状,并且执行使用2D纹理变形和变形场外推实现的根据单个2D纹理图像对头部画面(sprite)/发型的3D旋转进行建模。
根据本发明的第二方面,提供了一种计算装置,其包括屏幕、传感器系统和处理器,所述计算装置被配置来生成与3D衣服图像结合的人的3D虚拟身体模型,并且在屏幕上显示与3D衣服图像结合的人的3D虚拟身体模型,其中所述处理器:
(a)生成3D虚拟身体模型;
(b)生成用于叠加在3D虚拟身体模型上的3D衣服图像;
(c)将3D衣服图像叠加在3D虚拟身体模型上;
(d)在屏幕上示出叠加在3D虚拟身体模型上的3D衣服图像;
(e)使用传感器系统来检测位置变化,并且
(f)在屏幕上示出响应于使用传感器系统检测到的位置变化而修改的叠加在3D虚拟身体模型上的3D衣服图像。
所述计算装置可进一步被配置来执行本发明第一方面的任何方面所述的方法。
根据本发明的第三方面,提供了一种系统,其包括服务器以及与服务器通信计算装置,所述计算装置包括屏幕、传感器系统和处理器,所述服务器被配置来生成与3D衣服图像结合的人的3D虚拟身体模型,并且将与3D衣服图像结合的人的3D虚拟身体模型的图像发送到计算装置,其中所述服务器:
(a)生成3D虚拟身体模型;
(b)生成用于叠加在3D虚拟身体模型上的3D衣服图像;
(c)将3D衣服图像叠加在3D虚拟身体模型上;
(d)将叠加在所述3D虚拟身体模型上的所述3D衣服图像的图像发送到计算装置;
并且其中所述计算装置:
(e)在屏幕上示出叠加在所述3D虚拟身体模型上的所述3D衣服图像;
(f)使用传感器系统来检测位置变化,并且
(g)向所述服务器发送对响应于使用传感器系统检测到的位置变化而修改的叠加在所述3D虚拟身体模型上的所述3D衣服图像的请求;
并在其中所述服务器
(h)将响应于使用传感器系统检测到的位置变化而修改的叠加在所述3D虚拟身体模型上的所述3D衣服图像的图像发送到计算装置;
并且其中所述计算装置:
(i)在屏幕上示出响应于使用传感器系统检测到的位置变化而修改的叠加在所述3D虚拟身体模型上的3D衣服图像。
所述系统可进一步被配置来执行根据本发明第一方面的任何方面所述的方法。
根据本发明的第四方面,提供了一种可在计算装置上执行的计算机程序产品,所述计算装置包括处理器,所述计算机程序产品被配置来生成与3D衣服图像结合的人的3D虚拟身体模型,并且提供显示与3D衣服图像结合的人的3D虚拟身体模型,其中所述计算机程序产品被配置来:
(a)生成3D虚拟身体模型;
(b)生成用于叠加在3D虚拟身体模型上的3D衣服图像;
(c)将3D衣服图像叠加在3D虚拟身体模型上;
(d)提供在屏幕上显示叠加在3D虚拟身体模型上的3D衣服图像;
(e)接收使用传感器系统获得的位置变化检测,并且
(f)提供在屏幕上显示响应于使用传感器系统检测到的位置变化而修改的叠加在3D虚拟身体模型上的3D衣服图像。
所述计算机程序产品可进一步被配置来执行根据本发明第一方面的任何方面所述的方法。
根据本发明的第五方面,提供了一种用于生成其中每个3D虚拟身体模型与相应的不同3D衣服图像结合的多个3D虚拟身体模型并且在计算装置的屏幕上在单个场景中显示各自与所述相应的不同3D衣服图像结合的所述多个3D虚拟身体模型的方法,所述方法包括以下步骤:
(a)生成多个3D虚拟身体模型;
(b)生成用于叠加在多个3D虚拟身体模型上的相应的不同3D衣服图像;
(c)将相应的不同3D衣服图像叠加在多个3D虚拟身体模型上,以及
(d)在屏幕上在单个场景中示出叠加在多个3D虚拟身体模型上的相应的不同3D衣服图像。
因为提供了相应的不同3D服装图像叠加在多个3D虚拟身体模型上的场景,所以一个优点是,可以相对快速且便宜地组装这种场景,这相对于必须雇用多个模特并且让他们穿上服装以便提供等效的现实生活场景的替代方案在技术上是有利的。另一个优点是,用户可以将穿着特定服饰的自己与穿着各种其他服饰的自己进行比较,这是物理上将是不可能的,因为物理上用户一次不能对多于一件服饰进行建模。
所述方法可以是以下方法:其中多个3D虚拟身体模型属于多个相应的不同人。一个优点是,用户可以将穿着特定服饰的自己与穿着各种服饰的其社交群体中的其他用户进行比较,而不必聚集真实的人并且实际上让他们穿上所述服饰,这是这些真实的人可能无法做到或不愿意做的事情。
所述方法可以是以下方法:其中以相应的不同视角示出多个3D虚拟身体模型。
所述方法可以是以下方法:其中多个3D虚拟身体模型是至少三个3D虚拟身体模型。一个优点是一次可以比较多于两个模型。
所述方法可以是以下方法:其中使用可视化引擎来生成屏幕图像,所述可视化引擎允许对不同的3D虚拟身体模型连同在一系列身体形状上的衣服进行建模。
所述方法可以是以下方法:其中使屏幕场景中的3D虚拟身体模型以多行分布。
所述方法可以是以下方法:其中在每一行内3D虚拟身体模型均匀地隔开。
所述方法可以是以下方法:其中屏幕场景在透视图中示出3D虚拟身体模型。
所述方法可以是以下方法:其中衣服随机被分配到每个3D虚拟身体模型,或由用户输入预先确定,或作为用户的搜索的结果,或由另一用户创建,或通过算法确定。
所述方法可以是以下方法:其中一组3D虚拟身体模型的单个场景可在屏幕上滚动。所述方法可以是以下方法:其中一组3D虚拟身体模型的单个场景可在屏幕上水平滚动。
所述方法可以是以下方法:其中如果用户滚动到所述一组3D虚拟身体模型的末端,则通过重复场景来给予无缝体验。
所述方法可以是以下方法:其中可在简档或景观方面提供单个场景。
所述方法可以是以下方法:其中屏幕是触摸屏。
所述方法可以是以下方法:其中在屏幕上触摸服饰提供衣服的细节。
所述方法可以是以下方法:其中在屏幕上触摸服饰提供相关的时装表演视频。
所述方法可以是以下方法:其中场景响应于用户的手指在屏幕上水平滑动而移动。
所述方法可以是以下方法:其中通过这种操作,屏幕中的身体模型全部以预定义的速度移动,以便在透视场景中生成平移相机视图位移的效果。
所述方法可以是以下方法:其中通过在场景中对不同深度层施加不同的滑动速度来提供透视动态分层效果。
所述方法可以是以下方法:其中场景中的每个3D虚拟身体模型的水平平移与每个3D虚拟身体模型的深度成反比。
所述方法可以是以下方法:其中当用户滑动并且他们的手指从触摸屏提起时,所有层逐渐停止。
所述方法可以是以下方法:其中响应于用户在屏幕上分别垂直向下或垂直向上滑动手指,场景切换到下一楼层、即楼上或楼下。
所述方法可以是以下方法:其中在场景切换到下一楼层之后,以前在背景中的3D虚拟身体模型来到前景,而以前在前景中的3D虚拟身体模型移动到背景。
所述方法可以是以下方法:其中每个3D虚拟身体模型的质心位置在切换变换期间遵循椭圆轨迹。
所述方法可以是以下方法:其中在每个楼层中,可显示一种趋势或品牌的衣服和/或服饰。
所述方法可以是以下方法:其中相对于3D虚拟身体模型的半透明度和深度施加雾模型,以便对场景中的不同深度层的半透明度进行建模。
所述方法可以是以下方法:其中计算装置包括传感器系统,所述方法包括以下步骤
(e)使用传感器系统来检测位置变化,以及
(f)在屏幕上示出响应于使用传感器系统检测到的位置变化而修改的叠加在3D虚拟身体模型上的3D衣服图像。
所述方法可以是以下方法:其中修改是在透视图中的修改。
所述方法可以是以下方法:其中位置变化是屏幕表面法线向量的倾斜。
所述方法可以是以下方法:其中传感器系统包括加速度计。
所述方法可以是以下方法:其中传感器系统包括陀螺仪。
所述方法可以是以下方法:其中传感器系统包括磁力计。
所述方法可以是以下方法:其中传感器系统包括计算装置的相机。相机可以是可见光相机。相机可以是红外相机。
所述方法可以是以下方法:其中传感器系统包括计算装置的一对立体相机。
所述方法可以是以下方法:其中位置变化是用户头部的移动。
所述方法可以是以下方法:其中使用头部跟踪器模块来检测位置变化。
所述方法可以是以下方法:其中图像和其他对象响应于用户头部移动而自动移动。
所述方法可以是以下方法:其中计算装置是移动计算装置。
所述方法可以是以下方法:其中移动计算装置是移动电话、或平板计算机或头戴式显示器。
所述方法可以是以下方法:其中移动计算装置是移动电话,并且其中在移动电话屏幕上出现不超过3.5个3D虚拟身体模型。
所述方法可以是以下方法:其中计算装置是台式计算机、或膝上型计算机、或智能电视或头戴式显示器。使用智能电视可包括使用主动型(遮光眼镜)3D显示器或被动型(偏光眼镜)3D显示器。
所述方法可以是以下方法:其中根据用户数据生成3D虚拟身体模型。
所述方法可以是以下方法:其中通过分析和处理衣服的一个或多个2D照片来生成3D衣服图像。
所述方法可以是以下方法:其中在场景中,地板和背景是使得看起来像群在特定位置中的图像。
所述方法可以是以下方法:其中背景和地板可以由用户选择或定制以便匹配一些衣服系列。
所述方法可以是以下方法:其中背景上的照明变化包括在所显示的场景中。
所述方法可以是以下方法:其中用户可以与3D虚拟身体模型进行交互以便浏览3D虚拟身体模型。
所述方法可以是以下方法:其中选择模型允许用户在模型上看到服饰的细节。
所述方法可以是以下方法:其中用户可以在他们自己的3D虚拟身体模型上试穿服饰。
所述方法可以是以下方法:其中选择邻近3D虚拟身体模型的图标允许以下中的一个或多个:与他人共享、在社交媒体上表达喜欢、保存供以后使用以及评级。
所述方法可以是以下方法:其中3D虚拟身体模型穿着衣服并且根据以下标准中的一个或多个进行排序:最喜欢的衣服;最新款的衣服;与预定义的衣服相同类型/类别/风格/趋势的衣服;具有可用的用户优选尺寸的衣服;与预定义的衣服相同品牌/零售商的衣服;从最近访问最多的衣服到最近访问最少的衣服进行排序。
所述方法可以是以下方法:其中用户可以建立他们自己的群并且使用它来存储一衣橱的优选服饰。
所述方法可以是以下方法:其中提供可用于显示来自服饰搜索引擎的结果的用户界面。
所述方法可以是以下方法:其中所述方法包括根据本发明第一方面中的任何方面所述的方法。
根据本发明的第六方面,提供了一种计算装置,所述计算装置包括屏幕和处理器,所述计算装置被配置来生成其中每个3D虚拟身体模块与相应的不同3D衣服图像结合的多个3D虚拟身体模型,并且在计算装置的屏幕上在单个场景中显示各自与所述相应的不同3D衣服图像结合的所述多个3D虚拟身体模型,其中所述处理器:
(a)生成多个3D虚拟身体模型;
(b)生成用于叠加在多个3D虚拟身体模型上的相应的不同3D衣服图像;
(c)将相应的不同3D衣服图像叠加在多个3D虚拟身体模型上,并且
(d)在屏幕上在单个场景中示出叠加在多个3D虚拟身体模型上的相应的不同3D衣服图像。
所述计算装置可被配置来执行根据本发明第五方面的任何方面所述的方法。
根据本发明的第七方面,提供了一种服务器,所述服务器包括处理器,所述服务器被配置来生成其中每个3D虚拟身体模块与相应的不同3D衣服图像结合的多个3D虚拟身体模型,并且提供在单个场景中显示各自与所述相应的不同3D衣服图像结合的所述多个3D虚拟身体模型,其中所述处理器:
(a)生成多个3D虚拟身体模型;
(b)生成用于叠加在多个3D虚拟身体模型上的相应的不同3D衣服图像;
(c)将相应的不同3D衣服图像叠加在多个3D虚拟身体模型上,并且
(d)提供在单个场景中显示叠加在多个3D虚拟身体模型上的相应的不同3D衣服图像。
所述服务器可被配置来执行根据本发明第五方面的任何方面所述的方法。
根据本发明的第八方面,提供了一种可在计算装置上执行的计算机程序产品,所述计算装置包括处理器,所述计算机程序产品被配置来生成其中每个3D虚拟身体模型与相应的不同3D衣服图像结合的多个3D虚拟身体模型,并且提供在单个场景中显示各自与所述相应的不同3D衣服图像结合的所述多个3D虚拟身体模型,其中所述计算机程序产品被配置来:
(a)生成多个3D虚拟身体模型;
(b)生成用于叠加在多个3D虚拟身体模型上的相应的不同3D衣服图像;
(c)将相应的不同3D衣服图像叠加在多个3D虚拟身体模型上,并且
(d)提供在单个场景中显示叠加在多个3D虚拟身体模型上的相应的不同3D衣服图像。
所述计算机程序产品可被配置来执行根据本发明第五方面的任何方面所述的方法。
根据本发明的第九方面,提供了一种用于生成与3D衣服图像结合的人的3D虚拟身体模型并且在计算装置屏幕上显示与3D衣服图像结合的人的3D虚拟身体模型的方法,其中:
(a)根据用户数据生成3D虚拟身体模型;
(b)接收衣服选择;
(c)生成所选衣服的3D衣服图像,并且
(d)在屏幕上示出叠加在所述3D虚拟身体模型上的所述3D衣服图像。
所述方法可以是以下方法:其中提供衣服尺寸和合身建议,并且接收包括所选尺寸的衣服选择。
所述方法可以是以下方法:其中通过分析和处理衣服的一个或多个2D照片来生成3D衣服图像。
所述方法可以是以下方法:其中在移动计算装置上为用户提供接口,以便生成新的用户帐户或者通过社交网络登录。
所述方法可以是以下方法:其中用户可以编辑其简档。
所述方法可以是以下方法:其中用户可以选择其身高和体重。
所述方法可以是以下方法:其中用户可以选择其肤色。
所述方法可以是以下方法:其中用户可以调整其腰围和臀围。
所述方法可以是以下方法:其中所述方法包括用于生成其中每个3D虚拟身体模型与相应的不同3D衣服图像结合的多个3D虚拟身体模型并且在移动计算装置的屏幕上在单个场景中显示各自与所述相应的不同3D衣服图像结合的所述多个3D虚拟身体模型的方法,所述方法包括以下步骤:
(a)生成多个3D虚拟身体模型;
(b)生成用于叠加在多个3D虚拟身体模型上的相应的不同3D衣服图像;
(c)将相应的不同3D衣服图像叠加在多个3D虚拟身体模型上,以及
(d)在屏幕上在单个场景中示出叠加在多个3D虚拟身体模型上的相应的不同3D衣服图像。
所述方法可以是以下方法:其中为用户提供‘表达喜欢’在3D身体模型上显示的服饰的图标。
所述方法可以是以下方法:其中通过选择3D身体模型,将用户带到那个特定外观的社交视图。
所述方法可以是以下方法:其中用户可看到谁创建了那个特定服饰,并且到达创建那个特定服饰的用户的简档视图。
所述方法可以是以下方法:其中用户可对那件服饰写评论。
所述方法可以是以下方法:其中用户可‘喜欢’所述服饰。
所述方法可以是以下方法:其中用户可到达‘衣服信息’视图。
所述方法可以是以下方法:其中用户可在其自己的3D虚拟身体模型上试穿服饰。
所述方法可以是以下方法:其中因为登记了用户的3D虚拟身体模型的身体测量值,服饰被显示为其在用户的身体形状上看到的情形。
所述方法可以是以下方法:其中提供了显示不同类型的可选衣服的可滚动部分、以及显示3D虚拟身体模型正在穿戴或先前穿戴的制品的部分。
所述方法可以是以下方法:其中屏幕是触摸屏。
所述方法可以是以下方法:其中3D虚拟身体模型可被轻敲若干次,并且这样做时以连续旋转步骤进行旋转。
所述方法可以是以下方法:其中用户可选择保存外观。
所述方法可以是以下方法:其中在已经保存外观之后,用户可选择与社交网络共享所述外观。
所述方法可以是以下方法:其中用户可使用主题标签来为他们的外观创建分组和类别。
所述方法可以是以下方法:其中通过属于与所创建的新外观相同类别的3D虚拟身体模型提供了视差视图。
所述方法可以是以下方法:其中菜单显示不同的场合;选择场合显示具有属于那个特定类别的虚拟化身的视差群视图。
所述方法可以是以下方法:其中可从用户简档视图中的菜单获得视图,所述视图显示以下中一个或多个:示出用户已经创建的服饰的视差视图;以及示出用户具有的外观数量、不同服饰的喜欢数量、关注者的数量和用户正在关注的人数的统计信息。
所述方法可以是以下方法:其中选择关注者显示关注用户的所有人的列表以及返回关注他们的选项。
所述方法可以是以下方法:其中提供了一种搭配推荐机制,其向用户提供被推荐为与用户的3D虚拟身体模型正在穿戴的衣服结合的衣服列表。
所述方法可以是以下方法:其中推荐是基于增量,并且其通过一阶马尔可夫模型来近似地建模。
所述方法可以是以下方法:其中对于已经出现在搭配历史中的每个其他用户,基于当前用户和每个其他用户的相似性对每个其他用户的搭配记录频率进行加权;然后累积所有相似身体形状的权重以用于推荐。
所述方法可以是以下方法:其中使用使较旧的顶级衣服制品缓慢地过期、同时倾向于将较新的衣服制品引入推荐列表中的机制。
所述方法可以是以下方法:其中基于历史记录中的与当前衣服相似的其他衣服做出推荐。
所述方法可以是以下方法:其中针对衣服数据库中的每一件衣服计算推荐得分,并且然后基于所述衣服的推荐得分对它们进行评级以用于推荐。
所述方法可以是以下方法:其中所述方法包括根据本发明第一方面的任何方面、或根据本发明第五方面的任何方面所述的方法。
根据本发明的第十方面,提供了一种系统,其包括服务器以及与服务器通信的移动计算装置,所述计算装置包括屏幕和处理器,其中所述系统生成与3D衣服图像结合的人的3D虚拟身体模型,并且在移动计算装置的屏幕上显示与3D衣服图像结合的人的3D虚拟身体模型,其中所述服务器
(a)根据用户数据生成3D虚拟身体模型;
(b)从移动计算装置接收衣服选择;
(c)生成所选衣服的3D衣服图像,
(d)将所述3D衣服图像叠加在所述3D虚拟身体模型上,并且将叠加在所述3D虚拟身体模型上的所述3D衣服图像的图像发送到移动计算装置,
并且其中所述移动计算装置
(e)在屏幕上示出叠加在所述3D虚拟身体模型上的所述3D衣服图像。
所述系统可被配置来执行根据本发明第九方面的任何方面所述的方法。
根据本发明的第十一方面,提供了一种用于生成3D衣服图像并且在计算装置的屏幕上显示所述3D衣服图像的方法,所述方法包括以下步骤:
(a)对于具有单个2D纹理轮廓图或侧影的基于2D躯干的衣服模型,通过应用以下简化来近似得出衣服的3D几何形状模型:在上身周围,衣服紧密地跟随基础身体形状的几何形状;在下身周围,衣服近似于具有变化的轴长度、以身体原点为中心的椭圆柱体;
(b)在屏幕上示出3D衣服图像。
一个示例性实现方式是在数字媒体播放器和微控制台中,所述数字媒体播放器和微控制台是将数字视频/音频内容流式传输到高分辨率电视机的小型网络设备和娱乐装置。一个实例是Amazon Fire电视。
所述方法可以是以下方法:其中计算装置包括传感器系统,其包括以下步骤:
(c)使用传感器系统来检测位置变化,以及
(d)在屏幕上示出响应于使用传感器系统检测到的位置变化而修改的3D衣服图像。
所述方法可以是用于生成与3D衣服图像结合的人的3D虚拟身体模型的方法,其包括以下步骤:
(e)生成3D虚拟身体模型;
(f)在屏幕上示出在3D虚拟身体模型上的3D衣服图像。
所述方法可以是包括以下步骤的方法:根据由每个像素处的深度近似所给出的顶点点云来生成具有多个面的平滑3D网格;以及针对所需视图生成衣服的最终标准化深度图。
所述方法可以是以下方法:其中使用深度图来计算衣服纹理上的给定点为了模拟围绕垂直轴的平面外旋转在图像中需要移动的范围。
所述方法可以是以下方法:其中用户的3D身体形状模型的基础头部和颈部基本几何形状被用作近似的3D几何形状,并且执行使用2D纹理变形和变形场外推实现的根据单个2D纹理图像对头部画面/发型的3D旋转进行建模。
根据本发明的第十二方面,提供了一种系统,其包括服务器以及与服务器通信计算装置,所述计算装置包括屏幕、传感器系统和处理器,所述服务器被配置来生成与3D衣服图像结合的人的3D虚拟身体模型,并且将与3D衣服图像结合的人的3D虚拟身体模型的图像发送到计算装置,其中所述服务器:
(a)生成3D虚拟身体模型;
(b)生成用于叠加在3D虚拟身体模型上的3D衣服图像;
(c)将3D衣服图像叠加在3D虚拟身体模型上;
(d)将叠加在所述3D虚拟身体模型上的所述3D衣服图像的图像发送到计算装置;
并且其中所述计算装置:
(e)在屏幕上示出叠加在所述3D虚拟身体模型上的所述3D衣服图像;
(f)使用传感器系统来检测位置变化,并且
(g)向所述服务器发送对响应于使用传感器系统检测到的位置变化而修改的叠加在所述3D虚拟身体模型上的所述3D衣服图像的请求;
并且其中所述服务器
(h)将与响应于使用传感器系统检测到的位置变化而修改的叠加在3D虚拟身体模型上的3D衣服图像的图像相关的图像处理功能(或图像的参数)发送到计算装置;
并且其中所述计算装置:
(i)将图像处理功能应用于叠加在3D虚拟身体模型上的3D衣服图像的图像,并且在屏幕上示出响应于使用传感器系统检测到的位置变化而修改的叠加在3D虚拟身体模型上的3D衣服图像。
所述系统可以是被配置来执行根据本发明第一方面中的任何方面所述的方法的系统。
附图简述
现将参考以下附图通过举例来描述本发明的各方面,在附图中:
图1示出账户创建/更新过程的工作流程的实例。
图2示出创建帐户屏幕的实例。
图3示出现有用户的登录屏幕的实例。
图4示出用户已经通过社交网络注册因此姓名、电子邮件和密码自动填写的实例。
图5示出用户可以填写姓名并且选择用户名的屏幕的实例。
图6示出用户可以添加或更改其简档图片的屏幕的实例。
图7示出用户可以更改其密码的屏幕的实例。
图8示出用户已经填写了细节之后的屏幕的实例。
图9示出用于编辑用户身体模型测量值的屏幕的实例。
图10示出呈现用户身体模型测量值诸如用于保存的屏幕的实例。
图11示出提供选择具有不同肤色的模型的屏幕的实例。
图12示出用户可以在其虚拟化身上调整腰围和臀围的屏幕的实例。
图13示出保存简档和身体形状设置将用户带到‘所有场合’视图的屏幕的实例。
图14以流程图示出用户可用的不同视图的实例。
图15示出不同群屏幕的实例。
图16示出特定外观的社交视图的实例。
图17示出显示衣服价格、可买到它们的地点、以及到销售它们的在线零售商的链接的屏幕的实例。
图18示出显示产品细节的屏幕实例。
图19示出显示服饰在用户自己的虚拟化身上看起来的情形的屏幕的实例。
图20示出可包括显示不同类型的可选衣服的可滚动部分、以及显示虚拟化身正在穿戴或先前穿戴的制品的部分的屏幕的实例。
图21示出用户可选择保存外观的选项的屏幕的实例。
图22示出用户可给予外观名称与类别的屏幕的实例。
图23示出用户可共享外观的屏幕的实例。
图24示出了菜单显示不同场合、在场合上轻敲可显示具有属于那个特定类别的虚拟化身的视差群视图的屏幕的实例。
图25示出用户简档视图的屏幕的实例。
图26示出另一用户简档的示例性屏幕。
图27示出用户编辑我的简档屏幕的实例。
图28示出用于启动全新服饰的屏幕的实例。
图29示出展示‘我保存的外观’的屏幕的实例。
图30示出用于做出评论的屏幕的实例。
图31示出在滚动时显示水平视差视图的屏幕的实例。
图32示出虚拟化身可被轻敲若干次并且这样做时以连续旋转步骤进行旋转的实例。
图33示出“群”用户界面的布局的实例。所述用户界面可以在简档或景观方面中使用。
图34示出移动平台(例如iPhone 5S)上的“群”用户界面的实例。
图35示出“群”用户界面的用户流程的实例。
图36示出水平相对移动的示例性实物模型实现方式。场景包含虚拟化身的3个深度层。第一层以拖动速度移动;第二层以拖动速度/1.5移动;第三层以拖动速度/3移动。以平均英国女性(160厘米和70公斤)为准对所有呈现进行建模。
图37示出通过向左或向右滑动的场景滚动UI特征的示意性实例。
图38示出将社交网络特征(例如,评级)与“群”用户界面整合的实例。
图39示出将衣服和风格推荐特征嵌入“群”用户界面的示例性用户界面。
图40示出当将化身放置在群中时的示例性评级机制。一旦用户已经进入群,群将必须按照某种方式从开始到结束进行排序。
图41示出当用户的头部从左向右移动时观察到的整个场景旋转的缩小实例。正常使用不会使场景的边缘可见,但此处示出它们以便展示整个场景移动的范围。
图42示出由应用程序或用户界面生成的左眼/右眼视差图像对的实例。它们可用于通过3D显示装置实现的立体可视化。
图43示出主屏幕(左)和设置屏幕(右)的实例。
图44示出3D图像布局的示例性侧横截面。应注意,b、h和d是以像素尺寸给出的值。
图45示出远处垂直背景和地板图像与初始背景的示例性分离。
图46示出当使用面部跟踪模块时用于视角计算的相关尺寸的平面图。
图47示出呈现任意旋转的虚拟化身的2D纹理图像的端到端过程的实例。
图48示出围绕大腿的平面部分的实例,其中白点指示身体原点深度采样点,并且黑色椭圆线指示紧身的衣服的近似衣服几何形状的轮廓。
图49示出根据右前视图中的衣服侧影进行3D几何形状创建的实例。
图50示出在水平像素位置x和对应深度y方面的示例性椭圆方程。
图51示出复杂衣服的样本3D几何形状的实例。根据对应于每个单独身体部分的每个衣服层的衣服侧影创建近似的3D几何形状。
图52示出当不存在显式3D几何形状时,近似地对2D头部画面或2D发型图像的3D旋转进行建模的方法的实例。
详述
综述
我们介绍了用于虚拟身体形状和搭配可视化、尺寸和合身建议、以及衣服风格推荐的多个用户界面,其有助于改善用户在在线时尚和电子商务方面的体验。作为典型特征,这些用户界面:1)将通过身体形状和搭配可视化引擎呈现的一个或多个3D虚拟化身显示到具有交互式控件的布局或场景中;2)向用户提供新的交互式控件和视觉效果(例如,3D视差浏览、视差和动态透视效果、化身的立体可视化);并且3)嵌入一系列不同的推荐特征,所述推荐特征将最终增强用户参与在线时尚购买体验、有助于促进销售并且减少退货。
总的来说,公开了以下三个用户界面:
·“Wanda”用户界面
统一且紧凑的用户界面,其整合了用户的身体形状可视化、搭配、衣服尺寸和合身建议、以及社交网络和推荐特征。
·“群”用户界面
具有向用户示出的虚拟化身群的用户界面。这些人/化身可以身着不同的服饰,具有不同的身体形状,并且可以从不同的视角示出。多个视觉效果(例如,3D视差浏览)和推荐特征可与此用户界面相关联。所述用户界面例如可在台式计算机和移动平台上实现。
·动态透视用户界面
这种用户界面生成以下用户体验:其中给予用户能够围绕虚拟化身侧面移动的感觉,例如通过围绕移动电话移动他的头部,或者简单地在他手中转动电话。在一个实例中,用户界面可以用于在3D场景中生成虚拟化身的立体图像对以用于3D显示。
剩余的章节中详细说明了支持以上用户界面的特征的技术细节和基础算法。
本文档描述了可在移动电话或其他便携式计算装置上运行的应用程序。应用程序或其用户界面可允许用户进行以下操作:
·创建他们自己的模型并且注册
·浏览例如在单个群视图中布置成服饰的衣服系列
·在服饰上轻敲以便查看衣服
·在您自己的模型上试穿服饰
·在服饰上轻敲以便登记您的兴趣以供稍后购买(对于尚未出售的制品)
·查看相关的时装表演视频
·选择观察具有较旧系列的第二群视图
·适当的搭配(改变款式和编辑)
·创建和共享模型
·对服饰表达喜欢或进行评级
应用程序可连接到互联网。用户也可从桌面应用程序访问全部或一些内容。
应用程序可能会要求用户旋转移动装置(例如,从纵向到横向、或从横向到纵向)以便继续。这种步骤有利于确保用户以对于待显示的内容最适合的装置定向来观察内容。
章节1:“Wanda”用户界面
“Wanda”用户界面是统一且紧凑的用户界面,其整合了虚拟体形状可视化、搭配、衣服尺寸和合身建议、以及社交网络和推荐特征。以下详细说明了Wanda用户界面的主要示例性产品特征。
1.1账户创建/续订
用户可能必须做的第一件事是登录,诸如登录到应用程序或在用户界面中登录,并且创建用户。在图1中可以看到这个过程的工作流程的实例。用户可以注册为新用户或通过社交网络注册。例如参见图2。如果用户已经具有账户,则他们可以简单地利用其电子邮件/用户名和密码来登录。例如参见图3。首次签到将用户带到编辑简档视图。
1.2编辑简档视图
在注册之后,用户可以填写姓名并且选择用户名。例如参见图5。用户可以添加或更改其简档图片。例如参见图6。用户可以添加对他们自己的简短描述并且选择新密码。例如参见图7。如果用户已通过社交网络注册,则姓名、电子邮件和密码将自动填写。例如参见图4。在已经填写细节之后,无论是何种注册方法,屏幕都可能看起来像如图8所示的屏幕。用户还可添加其身高、体重和胸罩尺寸的测量值,它们是连接到用户的虚拟化身的重要细节。
1.3添加测量值
可在从编辑简档视图到达的单独视图中示出身高、体重和胸罩尺寸。一个实现方式参见图9。可以在可显示英尺和厘米两者之一或两者的可滚动列表中示出身高测量值。轻敲并选择适合用户的身高可以自动将用户带到下一个测量值部分。
体重可用英石和公斤示出,并且可显示在用户轻敲并选择相关体重的可滚动列表中。然后,可自动地将用户带到胸罩尺寸测量值,其可以与前两个测量值相同的方式完成。例如参见图10。
从编辑简档视图,用户可到达用于对其虚拟化身调整肤色的设置。可选择具有不同肤色的模型,其中用户可以选择最适合他们的模型。例如参见图11。为了获得进一步的准确性,用户可以在虚拟化身上调整腰围和臀围。它们的测量值可以厘米和英寸中的一个或两者示出。例如参见图12。
1.4‘所有场合’视图
当完成简档和身体形状设置时,保存简档可将用户带到‘所有场合’视图。例如,参见图13和图15的左侧。此视图是视差视图的一个版本,其用作显示系统中可用的所有内容的浏览器选项卡。对于用户可用的不同视图的实例,参见图14中的流程图。
1.5视差视图
视差视图可水平滚动,其中显示穿戴不同服饰的多个虚拟化身。图31显示在滚动时的水平视差视图的一个实现方式。
邻近虚拟化身可存在图标。用户可用的图标之一是‘喜欢’虚拟化身上显示的服饰。在一个实现方式中,这被示出为可点击的心形图标以及服饰已经接收到的‘喜欢’数量。例如参见图15。
可存在显示不同类别的群的若干种不同视差视图。从任何视差视图,可以创建新的外观,诸如通过选择创建全新的外观,或基于另一个虚拟化身的外观创建新外观。参见例如图15和图25。
1.6查看别人的外观
通过在视差视图中的虚拟化身所穿戴的服饰上轻敲,可将用户带到那个特定外观的社交视图。作为一个实现方式,参见图16。从这个视图来看,用户可以例如:
·看到谁创建了那个特定服饰,并且到达那个用户的简档视图。作为另一个用户的简档的实例,参见图26。
·对那件服饰写评论。
·对所述服饰‘表达喜欢’。
·到达‘衣服信息’视图。
·试穿服饰。
如图17所示,衣服信息视图显示例如衣服价格,在所述衣服信息视图中可以购买衣服并且具有到销售它们的在线零售商的链接。
从衣服信息视图,可以选择服装制品,其将用户带到关于那件衣服的特定视图。例如参见图18。在此视图中,不仅示出了价格和零售商,而且应用程序或用户界面也将提议其认为将最适合用户的尺寸。
如果用户选择了不同的尺寸,则应用程序或用户界面可能会告诉用户它认为衣服在胸部、腰部和臀部处配合的情形。例如,应用程序或用户界面可以说,尺寸8可具有紧密配合,尺寸10具有预期配合,并且尺寸12具有松散配合。相同的尺寸在不同的身体部分上也可能不同地配合。例如,它可能在臀部上紧密配合,但在腰部上松散配合。
用户可通过不同的方式来创建新外观。为了从社交视图创建新外观,用户可以轻敲选项来试穿服饰。例如参见图16。这可将用户带到示出服饰在用户自己的虚拟化身上看起来的情形的视图。例如参见图19。因为应用程序已经具有已登记用户的虚拟化身的身体测量值,所以服饰将被显示为它在用户的身体形状上看起来的情形。
从相同的视图,用户可通过向左滑动或通过轻敲沿着屏幕右侧显示的按钮之一来到达编辑服饰视图。
1.7编辑外观视图
从这个视图,如例如图20所示,用户看到用户的具有用户想要试穿的服饰的虚拟化身。可存在显示不同类型的可选衣服的可滚动部分,以及显示虚拟化身正在穿戴或先前穿戴的制品的部分。如果用户选择启动新的服饰,则视图和可用编辑部分将看起来相同。唯一的区别是虚拟化身正在穿戴的预先确定的衣服。对于开始全新的服饰,参见例如图28。
具有可选衣服的部分(例如,图20)允许用户将不同的服装制品彼此组合。利用简单轻敲,可以移除衣服以及将衣服添加到虚拟化身。在一个实现方式中,在衣服上两次轻敲将提供那个特定衣服的产品信息。
对于可选衣服的侧面,可能存在与衣服类别相关的选项卡,其可允许用户选择浏览何种类型的衣服,例如大衣、上衣、鞋子。
一旦用户完成了对其服饰的编辑,他们就可以从左到右滑动以便隐藏编辑视图并且更好地显示用户虚拟化身上的新编辑的服饰。例如参见图21。在虚拟化身上轻敲可使其以3D旋转,从而允许用户从不同的角度查看服饰。
虚拟化身可被轻敲若干次,并且这样做时以连续旋转步骤进行旋转,如例如图32所示。虚拟化身可被轻敲并且旋转。虚拟化身可在所有视图中被轻敲并且旋转,除了在视差群视图的实例中。
用户可选择保存外观。例如参见图21。用户可给予所述外观名称以及类别,例如,工作、聚会、假期等。图22中示出一个实例。在一个实现方式中,用户可使用主题标签来进一步为他们的外观创建分组和类别。一旦已经选择了名称和场合,就可以保存外观。这样做时,可能会与其他用户共享外观。在保存了外观之后,用户可以选择与其他社交网络共享所述外观,例如Facebook、Twitter、Google+、Pinterest和电子邮件。在一个实现方式中,在与共享选项相同的视图中,存在视差视图,其中具有与所创建的新外观属于同一类别的虚拟化身。图23中示出一个实例。
1.8菜单
在屏幕顶部存在菜单。在图24中示出菜单的一个实现方式。菜单显示不同场合;在一个场合上轻敲可显示具有属于那个特定类别的虚拟化身的视差群视图。
菜单还允许访问用户喜欢的外观,其中收集了用户喜欢的所有内容。参见例如图15的右侧。
可访问用户的作为视差视图的‘我的风格’部分,所述视图示出其他用户已经创建的并且用户正在关注的外观。同样的馈送也将示出用户自己的服饰与这些其他关注用户的服饰混合在一起。作为一个实现方式,参见图31。
1.9简档视图
从菜单可用的另一个视图是用户的简档视图。简档视图可显示以下中一个或多个:示出用户已经创建的服饰的视差视图,以及示出用户具有的外观数量、不同服饰的喜欢数量、关注者的数量和用户正在关注的人数的统计信息。图25中示出这个简档视图的一个实例。
可以轻敲显示统计信息的区域以便获得不止数字的信息。例如,在关注者上轻敲显示关注用户的所有人列表、以及返回关注他们或取消关注的选项(参见例如图25)。当在示出用户正在关注的人的统计信息选项卡上轻敲时,示出相同类型的列表。在外观数量上轻敲可显示用户创建的外观的视差视图。从那里,在一个外观上轻敲可显示另一个视图,其示出更多的衣服信息并且给予留下有关那个特定外观的评论的选项。例如参见图29和图30。如果用户停留在视差统计视图(例如,图25)中,则向上滑动将用户带到其简档视图。
在简档视图(例如,图25)中,还存在用户的简档图片和简短描述性文本;从这里,如果用户想要对其简档做出更改,则他们可以到达其编辑简档视图(参见例如图27)。
1.10搭配推荐
在与‘Wanda’用户界面相关联的情况下,我们介绍了搭配推荐机制,其向用户提供被推荐为与用户的虚拟化身正在穿戴的衣服结合的衣服列表。
·根据呈现日志建立服饰关系图
我们探索历史数据仓库(例如,呈现日志),其存储包含以下内容的成对信息的记录列表:1)可用于查找包括身体测量参数、人口统计信息等的用户属性数据的用户标识符u;以及2)所试穿的服饰组合O,其为衣服标识符集合{ga,gb,gc,….}的格式。搭配数据记录的实例给出如下:
{用户:u1,服饰:{ga,gb}};{用户:u1,服饰:{ga,gb,gc}};{用户:u2,服饰:{ga,gd}}
在搭配模型中,我们假设用户每次在虚拟化身上向当前服饰组合再添加一件衣服。推荐是基于增量,并且因此其可通过一阶马尔可夫模型来近似地建模。为了执行推荐,我们首先尝试针对历史数据中出现的所有用户建立服饰关系图列表M。M中的每个制品将采用以下格式
{{服饰:O,衣服:g}、{用户:u,频率:f}}。
通过以下算法1根据历史数据H来填充搭配关系图列表M:
1初始化M={}
2对于历史数据H中的每个记录条目(用户:u,服饰:O):
3对于服饰组合O的每个子集S(包括φ但排除O本身):
4对于O\S中的每件衣服g,
5如果具有密钥的条目{{服饰:S,衣服:g}、{用户:u,频率:f}}已经存在于M中,
6通过增量频率f+1来更新条目:{{服饰:S,衣服:g}、{用户:u,频率:f+1}}
7否则,
8将新条目{(服饰:S,衣服:g)、{用户:u,频率:1}}插入M。
算法1:伪代码用于填充用户的服饰关系图。
对于呈现历史中的所有用户重复这种填充过程,并且可以周期性地离线计算所述填充过程。
·推荐:
在推荐阶段,我们假设具有当前服饰组合O*的新用户u*试图在虚拟试衣间中挑选一件新衣服,其中新衣服已经出现在历史记录中。使用以下方程,通过将针对历史数据D中的所有现有用户u的列表M中具有相同服饰-衣服密钥(服饰O*,衣服g*)的条目的所有频率fu聚合,计算不在当前服饰O*中的任意新衣服g*的推荐得分R(g*)。
方程(1.1)中衣服g*的时间权重和用户相似性θ(u*,u)以及评级方法在以下章节中详细说明。
○通过用户相似性进行加权。
在给出已经在搭配历史中出现的每个用户u的情况下,我们基于当前用户u*和u的相似性来对用户u的搭配记录的频率进行加权。两个用户u和u’的相似性定义如下:
s(u,u′)=1/(1+d(b(u),b(u′))),(1.2)
其中b(u)是用户u的特征向量(即身体度量或测量值,诸如身高、体重、胸围、腰围、臀围、下裆长度、年龄等),并且d(.,.)是距离度量(例如,两个测量值向量的欧几里德距离)。然后,我们将所有相似身体形状的权重累积以用于推荐。
○时间加权
对于在线时尚,优选推荐更多最近可用的衣服制品。为了达到这个目的,我们也可以通过下式对网站上符合年龄t的每件衣服候选物进行加权
其中是衣服g*的现有时间,并且T是恒定的衰减窗口,通常设置为30至90天。这种机制将使较旧的顶级衣服制品缓慢地过期,并且倾向于将较新的衣服制品引入推荐列表中。如果我们恒定地设置则不对推荐应用时间加权。
○推荐历史中不存在的衣服
我们也可以推广方程(1.1)中的公式,以使得算法可以推荐从未出现在历史记录H中的新衣服g*。在这种情况下,我们可基于历史记录H中的类似于g*的其他衣服进行推荐,如以下方程(1.4)所示:
其中sg(g*,g)定义了衣服g*与历史记录H中的现有衣服g之间的相似性得分。可基于衣服图像特征的特征距离(即欧几里德距离、向量相关性等)以及元数据来计算相似性得分sg(g*,g),所述元数据可包括但不限于衣服的颜色、图案、轮廓形状、衣服类型、织物材料。
○评级机制
我们计算衣服数据库中每件衣服g的推荐得分R(g),然后基于其推荐得分对衣服进行评级。可使用两种不同的评级方法以用于生成推荐衣服列表。
1.前n个:这是一种确定性的评级方法。它将简单地推荐具有最高推荐得分的前n件衣服。
2.加权-r和加权-n:基于与推荐得分R(g)成比例的抽样概率,它将随机对n件衣服候选物进行采样而不需要更换。这种评级方法将一定的随机性引入推荐列表。
章节2:“群”用户界面
2.1用户界面概述
“群”用户界面是显示虚拟化身的集合的用户界面。在一个实例中,向用户示出一群人。这些化身在服饰组合、身体形状和视角的任何组合方面可不同。在一个实例中,这些人都穿戴不同的服饰,具有不同的身体形状,并且从不同的角度示出。可使用(例如,Metail的)可视化技术生成图像,所述可视化技术允许对不同的身体形状连同那些身体形状上的衣服进行建模。多个视觉效果和推荐特征可与此用户界面相关联。“群”用户界面可包含以下主要的示例性产品特征:
●向用户示出虚拟化身群。可使用可视化引擎来生成图像,所述可视化引擎允许对不同的化身连同在一系列身体形状上的衣服进行建模。
●虚拟化身一个接一个地以多行(通常为三行或最多三行)分布。在每一行内,虚拟化身可均匀地隔开。模型的尺寸是这样的:使得对于具有以群视图布置的虚拟化身的图像,存在透视图。
●群布局可具有所示衣服以及所示模型和身体形状的变化—例如,这个序列可以是随机的、预先手动确定的、用户搜索的结果、由另一用户创建的或由算法确定的。
●例如,随机变化的穿着衣服的化身可以是随机生成的、手动定义的、用户搜索的结果、由另一用户创建的或由算法确定的。
●如果用户滚动到模型集合的末端,则可通过重复序列来给出无缝的“无限”体验。
●可在简档或景观方面提供用户界面。
对于用户界面(UI)布局的具体实例,请参考图33。此用户界面可被实现和移植到移动平台(例如,参见图34)。图35定义了在“群”用户界面上建立的虚拟配合产品的典型的示例性用户流。
2.2关于“群”用户界面和数学模型的效果
●水平滑动效果:
用户可通过在屏幕上水平滑动其手指来探索群。通过这种操作,屏幕中的身体模型全部以预定义的速度移动,从而在透视场景中生成平移相机视图位移的效果。在所述过程中,在相机方向保持不变的同时,相机取景孔位置e和目标位置t分别从其原始位置e0和t0水平平移相同的量。
e=e0+(Δx,0,0)
t=t0+(Δx,0,0)
(2.1)
根据投影几何原理,我们可使用以下公式在这种相机变换下对虚拟化身的尺度s、身体模型的滑动速度v、以及每层i(i=0,1,2,...,L)的图像地面高度h之中的约束条件进行建模。假设zi是层i中的虚拟化身(远离相机中心)的深度,则滑动速度vi、缩放因子si,以及图像地面高度hi(i=0,1,2,...,L)由下式给出:
其中z0、v0、s0和h0分别是深度、滑动速度、缩放因子以及前景(第一)层0的地面高度。h地平线是地平线的图像地面高度,所述地平线处于无限深度。通过根据方程(2.2)将不同的滑动速度vi应用于场景中的不同深度层i(i=0,1,2,...,L),我们可以实现透视动态分层效果。图36中示出一个简单的模拟实现方式实例。当用户滑动并且他们的手指从触摸屏提起时,所有层应逐渐停止。
●观察点改变效果
当用户使移动装置向左或向右倾斜时,我们可以模拟以前景身体模型为目标的弱视图旋转的效果。在此过程中,相机取景孔位置e从其原始位置e0水平平移,而相机目标位置t保持不变,如以下方程(2.3)所示:
e=e0+(Δx,0,0)
t=t0 (2.3)
在弱透视假设下,其中平移Δx很小并且消失点接近无限,我们可以在这种相机变换下,使用以下方程(2.4)近似地对每个背景层i(i=1,2,...,L)的水平平移Δxi进行建模并且实现视图改变效果:
其中z0和zi分别是前景(第一)层和每个背景层i(i=1,2,...,L)的深度。在一个实现方式中,取景孔平移的量Δx与移动装置中的加速度计的输出成比例,相对于时间被整合了两次。
●垂直滑动效果:
当用户在屏幕上垂直滑动其手指时,我们可以在“群”用户界面产品中激活以下的“电梯效果”和/或“层交换效果”:
1.电梯效果
当用户在屏幕上滑动其手指时,将会创建电梯效果以便切换到下一楼层(楼上或楼下)。此外,在所述过程期间,将会模仿在小转动下进行向上查看/向下查看的效果。在每一楼层中,可以显示一种趋势或品牌的服装和/或服饰,例如作为推荐特征。
可基于以下单应性矩阵变换公式生成电梯效果。令K为用于呈现身体模型的3×3本征相机矩阵,并且R为3×3非本征相机旋转矩阵。单应性矩阵变换做出以下假设:目标对象(在我们的情况下为身体模型)是近似平面的。当旋转较小时,假设是有效的。对于以4d均匀坐标表示的原始身体模型图像中的任意点p,其在弱透视变换图像中的对应齐次坐标p’因此可被计算为:
p’=Hp=KR-1K-1p。 (2.5)
2.层交换效果
我们也可通过垂直滑动来实现层交换效果。在滑动之后,背景中的虚拟化身现在来到前景,而替代地前景虚拟化身现在移动到背景。针对层交换可存在动画转变。
●层的半透明度建模
我们应用雾模型,即关于虚拟化身的半透明度(α值)和深度的数学模型,以便对不同深度层的半透明度进行建模。假设cf是雾的颜色(例如,在RGBA中),并且cb是来自身体模型纹理的样本颜色。在处理之后,所处理的样本颜色c被计算为
c=fcf+(1-f)cb, (2.6)
其中f是在0与1之间的雾合成系数。对于线性距离雾模型,f由对象(即虚拟化身)的距离z确定为
我们选择z作为第一层的深度z0,所以未将附加的半透明度施加到最前部的身体模型。
●“走进群”效果:
所述效果可通过施加尺度变换和半透明度转变来实现。可使用层移动的方程(2.2)以及用于创建雾模型的方程(2.6)、(2.7)的组合来计算虚拟化身的转变。
●旋转身体模型切换效果:
这种效果使用椭圆旋转运动,使得附近的身体模型从背景切换到前景的动态过程动画化。在数学上,身体模型的质心位置p=(x,y)可在变换期间遵循椭圆轨迹。模型的尺度s和半透明颜色c的变换可与模型质心位移的正弦图案同步。结合方程(2.1)和(2.3),用于计算在变换期间模型中心位置p=(x,y)、尺度s以及半透明颜色c的参数方程可以如下:
x=x结束-(x结束-x起始)cos(πt/2),
y=y起始+(y结束-y起始)sin(πt/2),
s=s起始+(s结束-s起始)sin(πt/2),
c=c起始+(c结束-c起始)sin(πt/2),
(2.8)
其中t在0与1之间,并且t=0对应于变换的起始点且t=1对应于变换的结束点。
●背景合成
地板和背景可以是平坦的,或者是使得看起来像群在特定位置中的图像。背景和地板可由用户选择或被定制成匹配一些衣服系列,例如,当使夏季系列在“群”中可视化时使用海滩图像作为背景。还可以添加以其他对象的图像为特征的中间深度层。这包括但不限于衣服、柱子、雪、雨等。
我们还可以对背景上的照明变化进行建模:例如,从群中心的明亮到群周边的黑暗的缓慢转变。作为数学模型,光源I的强度可以与当前位置p到“群”的中心c(在相机坐标系中)之间的欧几里得距离成反比,如方程(2.9)的实例所示:
I=Imax/(1+γ||p-c||2), (2.9)
其中γ是调整光衰减的加权因子。
●其他附加的用户交互和社交网络特征
用户可以与群进行交互以便浏览它。这种交互的一些实例是:
○向左或向右滑动使群水平移动,以使得从长的滚动场景可以显示更多的化身。群可最终循环回到起点,以便给予‘无限’的经验。这些特征对于移动平台用户界面(例如参见图37)可以是特别有用的。作为布局设计的准则,当用户滚动浏览群时,身体化身的间距可使得以下约束条件适用:
-电话屏幕上出现不超过3.5个化身;
-相同屏幕空间中的化身不会处于相同视图中。
○向上或向下滑动移动到从上方或下方引入的另一个群视图。
○点击模型允许用户查看那件服饰的细节,包括但不限于能够在与用户自己的身体形状对应的模型上试穿那件服饰。
点击群中每个模型附近的图标带来其他特征,包括但不限于与他人共享、在社交媒体上表达喜欢、保存供以后使用和评级(作为实例,参见图38)。
2.3推荐机制
我们可以通过某种形式的评级推荐机制在“群”中布置这些相邻背景人物模型的衣服和服饰(作为具有推荐特征的“群”用户界面的实例,参见图39)。例如,我们可以对附近的模型进行着装,并且按照以下标准重新对它们进行排序:
●最喜欢的衣服;
●最新的衣服;
●与当前衣服相同类型/类别/风格/趋势的衣服;
●具有用户优选的可用尺寸的衣服;
●与当前衣服相同品牌/零售商的衣服;
●用户的浏览历史:例如,对于从近到远的身体模型,从最近访问最多的衣服到最近访问最少的衣服进行排序。
在图40中示出当将化身放置在群中时的评级机制的实例。
如下所述,可基于“群”用户界面中身体模型的放置来提供若干另外的推荐算法。
●基于用户属性进行评级的推荐
我们可以向用户推荐由她的朋友在社交网络上发布的那些服饰、以及由与她的身体形状相似的其他虚拟试衣间用户选择的那些服饰。
然后,评级模型可基于用户相似性度量的数学定义。令b为用户的简洁特征表示(向量)。例如,b可以是身体度量(身高和体重)和卷尺测量值(胸围、腰围、臀围等)和/或其他人口统计属性和社交网络属性的向量。两个用户之间的相似性度量m可被定义为其身体测量值的ba和bb的马氏距离:
m(ba,bb)=(ba-bb)T M(ba-bb), (2.10)
其中M是加权矩阵,其考虑测量输入的不同尺寸之间的权重和相关性。m越小,两个用户越相似。然后根据m按升序对所推荐的服饰进行评级。
●基于衣服和/或服饰的属性进行评级的推荐(也称为时尚潮流推荐)
我们可以推荐包含一件或多件衣服的流行服饰组合,其与用户所选择的当前服饰中的衣服的子集相同或非常相似。然后,我们可通过测量两个服饰组合之间的流行度和相似性来对身体模型的距离或深度进行评级。
在数学上,这可通过定义服饰的特征表示和相似性度量并且应用协同过滤来实现。为了用公式表示所述问题,我们用特征向量g表示一件衣服,所述特征向量g可包含以下信息:包括但不限于衣服类型、轮廓、图案、颜色以及其他类型的特征。服饰组合可被定义为衣服(特征向量)的集合:O={g1,g2,…gN}。两个服饰组合Oa和Ob的不相似性度量d(Oa,Ob)可被定义为对称的倒角距离:
然后基于用户选择的当前服饰O’与社交网络上发布的或存储在数据库中的每个现有服饰Oi之间的不相似性与服饰Oi的流行度pi(其可能例如与点击率ci有关)的乘积,来定义服饰评级的加权评级度量mi,如以下方程(2.12)所示:
mi=pi d(O’,Oi)=log(ci+1)d(O’,Oi) (2.12)
为了向用户推荐服饰,我们可根据所有现有服饰对应的加权评级度量按升序对它们进行评级,并且以近到远的方式将它们穿在“群”中的身体模型上。
●基于用户和衣服/服饰两者组合的属性进行评级的推荐
我们可以定义组合的评级度量m,其也考虑了用户的相似性。这可通过修改在以下方程(2.13)中使用的服饰Oi的流行度pi的定义来完成:
其中β是调整用户相似性影响的超参数,b是当前用户的用户特征,并且bij是已经试穿过服饰Oi的每个Metail用户简档j的用户特征。评级和推荐规则仍将遵循方程(2.13)。
2.4其他产品特征
源自这种“群”设计的其他产品功能可包括:
●用户可建立他们自己的群并且使用它来存储一衣橱的优选服饰。
●可根据其他用户已经制作和共享的模型来构建群。
●用户可以点击服饰,并且然后在她自己的虚拟化身上查看那件服饰。然后可以调整所述服饰并且将其重新分享回相同或不同的群视图。
●我们可以替换服饰中的一些衣服,并在“群”中显示这些新服饰。
●我们可以使用“群”用户界面来显示来自服饰搜索引擎的结果。例如,用户可通过衣服类型的组合例如上衣+裙子来搜索,然后将搜索结果显示在“群”中并且根据流行度对它们进行评级。
●用户可以探索“群”中的其他用户的兴趣简档,或者通过从一个人跳到另一个人来构建服饰的查询集。
用户交互特征
用户可以与群进行交互以便浏览它。实例如下:
●向左或向右滑动使群水平移动,以使得可以看到更多的模型。群最终循环回到起点,以便给予‘无限’的经验。
●向上或向下滑动移动到从上方或下方引入的另一个群视图。
●点击模型允许用户查看那件服饰的细节,包括但不限于能够在与用户自己的身体形状对应的模型上试穿那件服饰。
●点击群中每个模型附近的图标带来其他特征,所述特征的实例为:与他人共享、在社交媒体上表达喜欢、保存供以后使用、评级。
章节3:动态透视用户界面
3.1用户界面概述
动态透视用户界面生成了用户体验,其中通过以下方式给予用户能够围绕虚拟化身的侧面移动的感觉:围绕移动装置(例如,电话)移动用户的头部,或者简单地在用户手中转动移动装置(例如,电话),这通过头部跟踪器模块检测到,或者可以通过处理如加速度计的其他传感器的输出来识别(例如,参见图41)。更多的特征细节概述如下:
·当使用头部跟踪模块时,应用程序可以产生响应于用户的头部位置的场景,以使得其看起来像创建真实的三维情景。
·场景被设置为将虚拟化身的脚部的中点作为枢轴点,因此给予用户围绕模型移动以看到不同角度的印象。
·场景可由三个图像组成:虚拟化身、远侧背景和地板。
·将背景图像以编程方式转换成3D几何形状,以使得实现期望的3D场景移动。这也可以通过更传统的图形引擎来模拟,但是需要进一步实现响应的显示运动。
·利用用户界面,通过生成在两个不同旋转位置中呈现虚拟化身图像的左眼/右眼图像对(例如,参见图42),可以在3D显示装置上创建虚拟化身在3D场景中的立体视觉。
·应用程序或用户界面包括用于定制灵敏度和场景外观的多种设置(例如,参见图43)。
3.2场景构建
在动态透视设计中,场景本身由指示不同3D层的三个图像组成:虚拟化身、远处垂直背景和地板平面。此设置与移动平台上可用的3D透视控制库的应用程序编程接口(API)兼容,所述3D透视控制库可包括但不限于例如Amazon Euclid数据包。
作为实现方式的具体实例,可以使用Android对象的Amazon Euclid数据包来构建场景,所述Android对象允许指定3D深度,以使得图像和其他对象响应于用户头部移动而自动移动。Euclid 3D场景构建不容易允许对运动响应进行大量定制,因此必须仔细选择对象的3D几何形状以便提供所需的行为。这种行为可以用2D中的其他更简单的屏幕布局来模拟,同时响应于检测到的头部移动而仔细设计图像移动。在主应用程序屏幕中,场景被保持在一个框架内,以便使其与按钮和其他特征保持分离。框架对内容进行裁剪,以使得在显著放大或旋转时,边缘部分不可见。
3.2.1虚拟化身
由于虚拟化身的期望行为是为了使其围绕穿过模型中心的垂直轴旋转,所以移动平台上的大多数3D透视控制库都不能正确处理其运动,这是因为这些移动平台将其视为平面体,当处理预期将发生显著的移动变化的区域(如面部或手臂)时,所述平面体是较差的近似。相反,这可通过将虚拟化身图像作为静止图像放置在3D场景中的零深度处并且使用如下文章节3.3中详细说明的一系列预呈现图像来处理。
3.2.2背景
移动平台上的大多数内置3D透视控制库(例如,Amazon Euclid)在给定的深度和定向上将所有图像视为平面对象。对用户头部移动时产生的移动的观察表明,点响应于垂直或水平的头部移动在恒定深度处平移。这就是使虚拟化身无效的原因,因为它不允许进行平面外旋转。
为了实现地板和远处垂直背景(例如,地平线处的墙壁或天空)的期望效果,背景的远侧部分必须独立于地板部分放置,其中远侧图像被放置为垂直平面,并且地板图像被定向成使得图像顶部比其底部更深(也就是说,围绕作为水平屏幕方向的x轴旋转)。在数学上,它可以被建立成使得:
其中枢轴点的v=垂直坐标作为总图像高度(其被设置为对应于从图像顶部测量的虚拟化身的脚部位置;对虚拟化身图像的分析表明值应在0.9左右)的一小部分;其他变量可以如图44所示那样定义。
自动检索h和b的值作为分离的远程背景和地板图像的像素高度,所述远程背景和地板图像通过在手动确定的地平线处划分背景图像来创建,举例来说如图45所示。可以设置每个背景图像的深度值并且将其存储在图像资源的元数据中。它可对应于现实世界到背景的远侧部分的距离,例如,如以图像像素尺度所表示的。
3.3对虚拟化身的旋转进行建模
化身被示出为通过使用以不同角度描绘模型的渐进图像序列来旋转。对于有关可用于从3D模型和2D模型生成虚拟化身的这些视差图像的方法的细节,参见章节3.4。
在视差图像通过指示所描绘的旋转角度的文件后缀来编索引的情况下,可以使用用于所存储的图像角度p的以下公式来选择期望的图像:
其中:
-φ=|tan-1x/z|是头部旋转角度(其中x是相对水平的面部位置,并且Z是从面部跟踪模块检索到的从屏幕到面部的垂直距离,如图46所示),或者所述头部旋转角度可以是作为来自加速度计的输出而给出的角度(其相对于时间整合两次),或类似的,
-是与存储图像中旋转方向匹配的符号,
max是要求发生最大旋转的观察角度(也参见章节3.5.1),
-是所期望的最大旋转角度(即图像应旋转的范围);这不是实际的角度测量值,而是传递给内部视差发生器的值(通常在0与1之间),
-r是待使用的p的期望增量(这设置了旋转的粗糙度,并且对于减少滞后也是重要的,因为它决定了当头部来回移动时需要加载新图像的频率),
-||在方程(3.2)中意味着采用小于内容物的最大整数,从而导致使用r的最大允许整数倍。
在采用这个值连同衣服标识符、视图编号和图像尺寸的情况下,构建图像密钥,并使用所述密钥从可用资源中收集正确的图像,例如,如章节3.5.2中所述。
3.3.1生成用于3D显示的立体图像对
基于方程(3.2),我们可以呈现具有相同视差量p但具有相反旋转方向的视差图像对(p,-p)。这个图像对可分别被馈送到3D显示装置的左眼通道和右眼通道中以用于立体可视化的目的。可能的3D显示装置包括但不限于,例如Google纸板或基于偏振光的显示装置。图42中给出视差图像对的一个实例。
3.4生成用于旋转虚拟化身的纹理图像
图47中概述了呈现任意旋转的虚拟化身的2D纹理图像(参见章节3.3)的端到端过程的实例。一般来说,根据虚拟化身组件的3D几何形状是否可用来应用不同的呈现解决方案。这些组件包括身体形状模型、服饰中的衣服模型以及头部模型等。
·案例1:所有虚拟化身组件的3D几何形状都可用。
当整个虚拟化身的3D纹理化几何形状和化身上穿着的3D衣服模型都存在时,生成具有旋转的虚拟化身的呈现可通过在呈现过程期间沿着y轴(向上的轴)施加角度为φ的相机视图旋转来实现。呈现在标准图形呈现流水线中是直接了当的。
·案例2:虚拟化身组件的一些3D几何形状不可用。
虚拟化身的一些组件可能不具有基础的3D几何形状。例如,我们可以使用服饰的2D衣服模型,其中在特定观察点仅存在衣服的单个2D纹理图案)。生成旋转版本的2D衣服模型首先需要基于一些根本假设来近似得出2D衣服模型的3D几何形状,然后是深度计算(详见章节3.4.1),并且最终将对图像施加对应的2D纹理运动以便模拟3D旋转(详见章节3.4.2)。
3.4.1.从2D纹理图案生成3D近似衣服几何形状
在衣服数字化过程期间,以8个相机视图来拍摄每件衣服:前、右前、右、右后、后、左后、左以及左前。相邻的相机视图大致间隔45度。因此,所输入的2D衣服图像在以上8个相机视图中的一个中。根据这些图像,可以使用交互式工具(例如,Photoshop、Gimp)或现有的自动图像分割算法(例如,基于图形切割的算法)来提取2D衣服侧影。
对于具有单个2D纹理图案或侧影的基于2D躯干的衣服模型(例如,无袖连衣裙、带袖上衣或裙子),通过应用以下简化来近似得出衣服的3D几何模型:
·在上身周围,衣服紧密地跟随基础身体形状的几何形状;
·在下身周围,衣服近似于具有变化的轴长度、以身体原点为中心的椭圆柱体。在给定的高度处,椭圆体被定义为具有沿身体向前方向(即,面部指向的方向)的短轴、从衣服纹理侧影中的左侧极值横跨到右侧极值的长轴、以及预定义的纵横比α(测试指示α=0.5的值给出合乎期望的结果),如图48中大腿周围的样本高度处所描绘的。身体原点被给出为:在任何给定高度处、在对应于侧影边缘上的深度的算术平均值的深度处的身体侧影的两个水平极值(例如,图48中的两个白点)之间的中间位置,在躯干周围的区中进行采样。
在图49中给出使用上述方法根据单个2D纹理图案创建的连衣裙的3D几何形状的实例。
在所述实现方式中,我们针对从顶部开始每一行衣服图像生成这种3D几何形状,其对应于身体上的给定高度。在每一行中,根据侧影来估计左极值x和右极值x。对于数字化中的8个相机视图中的每一个,衣服椭圆体的半长轴长度s然后由下式给出:
然后,在所述行中的每个像素处的椭圆体深度d椭圆体(即距相机的垂直距离)被近似为从身体原点深度y身体减去椭圆体y坐标y椭圆体
d椭圆体=y身体-y椭圆体 (3.4)
这是因为对于大部分x,y椭圆体>0,并且与身体相比更靠近衣服(例如参见图50用于在不同相机视图中评估y椭圆体的椭圆方程)。最终衣服深度被近似为那个点处的d椭圆体和身体深度d身体的加权平均值,其权重W由下式给出:
其中b是平滑因子,即转变平缓或剧烈到何种程度,j是当前图像行指数(在顶部为0),t是预定义的阈值,其指示椭圆体应在身体上开始生效到什么范围,通常由身体模型的腰部高度定义。
通过至少一个恒定边界d边界,确保用于针对近似几何形状生成网格的最终深度低于身体的深度,因此给出为:
d=min(d身体-d边界,d身体(1-w)+d椭圆体w)。 (3.6)
以上方法可以推广到对复杂衣服模型进行建模,例如带袖上衣和裤子。在那些情况下,我们可基于对应的衣服层和身体部分,使用方程(3.4)-(3.6)和图50所示的示例性方程单独生成针对衣服的每个部分的近似几何形状。衣服层和身体部分的对应关系如下给出。
·衣服躯干部分/裙子-身体躯干;
·左(右)袖-左(右)臂;
·左(右)裤腿-左(右)腿。
图51中给出针对一条裤子的多层生成3D近似几何形状的实例。
基于重建的近似3D几何形状,我们然后可通过如章节3.4.2所述的2D纹理变形解决方案对衣服的3D旋转进行建模。
3.4.2基于近似的3D几何形状使2D纹理变形
在已经根据由先前步骤中每个像素处的深度近似所给出的顶点点云生成具有多个面的平滑3D网格的情况下,可针对所需视图生成衣服的最终标准化深度图。可使用这个深度图来计算衣服纹理上的给定点在图像中需要移动的范围,以便模拟围绕垂直轴线(屏幕坐标中的y轴)的平面外旋转。纹理像素的当前标准化位置p被设置为:
p=(px,py,pz,1), (3.7)
其中:
j是水平像素位置,w是图像像素宽度;
i是垂直像素位置,h是图像像素高度,pz是来自深度图的标准化深度;所得的结果在范围[-1,+1]内。
分别使用观察相机4×4投影P、视图V和世界变换矩阵W,其中相乘的组合WVP表示从世界坐标到图像坐标的后乘法变换;基于所需的角度来计算围绕z轴旋转的旋转矩阵R。然后,3D几何形状上的对应点的新图像坐标位置p’由下式给出:
p′=pP-1V-1W-1RWVP。 (3.8)
通过全图像尺寸标准化所得的对图像的2D变换由下式给出:
这些2D变换被存储用于整个图像上的像素采样频率,从而创建将这些标准化运动映射到像素的2D纹理变形场。
2D纹理变形场仅具有针对衣服侧影内的区的精确计算的变换,并且因此必须被外推以便在整个图像上给出平滑行为。用于给出这种光滑度的变形的外推和改变可通过如下多个不同步骤来进行:
1.限制变形,以使得意图变得重叠的任何纹理区域反而被迫折叠到单个垂直线。由于采样点之间的内插,这是不完美的,但有助于避免纹理的自相交。
2.从衣服侧影边缘将变形水平外推,使用靠近边缘的变形值的加权平均值来确保所述值在这些区域中不会显著跳跃。
3.从现在完整的行将变形垂直外推,只需将顶部行和底部行向上和向下复制到图像的顶部和底部。
4.对变形应用分布式模糊平滑化,例如通过在表达式(3.10)中使用5×5内核:
所产生的结果图像是例如图41和图42所示图像的类似物。
对于更复杂的衣服如裤子或带袖上衣,将分别针对每个单独衣服层(即,躯干、左/右袖、腿/右腿)应用以上纹理变形解决方案。
为了实现动态透视可视化系统,可以应用两种不同的方法:
1)在从客户端给出查询视差角的情况下,可视化服务器生成并发送衣服的全动态透视图像。这包括基于上述方法计算2D纹理变形场,以及然后将2D纹理变形场施加到原始2D衣服图像上以便生成动态透视图像。
2)可视化服务器只计算图像处理功能并将其发送到客户端。作为具体实例,图像处理功能可以是以上的(所有衣服层的)2D纹理变形场或用于再现变形场的参数。然后,客户端将基于所返回的图像处理功能,根据本地的原始2D衣服图像完成动态透视图像的生成。由于图像处理功能通常比完整图像紧凑得多,因此当带宽较低和/或图像具有高分辨率时,这种设计可以是更有效的并且提供更好的用户体验。
3.4.3用于2D头部画面或2D发型的3D近似几何形状和纹理变形
当不存在显式3D几何形状时,我们可以使用类似的方法近似地对2D头部画面或2D发型图像的3D旋转进行建模。为此,我们使用用户3D身体形状模型的基础头部和颈部基本几何形状作为近似的3D几何形状(例如参见图52)。这允许我们使用如以上在章节3.4.2中所述的2D纹理变形和变形场外推的方法,根据单个2D纹理图像对头部画面/发型的3D旋转进行建模。
3.5其他特征和相关设计
应注意,术语“视差”被宽泛地使用,因为它仅指代生成旋转图像所用的原理(即与观察者相距不同距离的图像部分移动不同的量)。具体地,“视差”角指示所讨论的角度与虚拟化身在图像中的旋转有关。
3.5.1设置和定制
本章节给出用于设置应用程序参数的示例用户界面。如图43所示,举例来说,多个可定制的参数可用于应用程序中或用户界面中的变更,所述参数在下表中详细说明,下表示出在应用程序或用户界面中用户可用的设置和定制。
3.5.2图像选择
在给定如章节3.5.1中所述的设置的情况下,构建资源标识符以便通过其访问所需的图像资源。图像资源可通过衣服设置、视图设置和图像尺寸设置来编索引。
无论何时初始化或更改设置,都基于可访问的图像资源来存储用于那些设置的可用视差值列表。列表按照视差值从大的负值到大的正值的逐渐增加的值进行排序。在给定输入视差值p的情况下,可以实现最近的索引搜索。在给定p的等价整数(四舍五入到小数点后2位,然后乘以100)的情况下,检查以下标准的排序:
○如果p小于第一个列表元素(最低可用视差),则使用第一个元素;
○否则,循环浏览列表直到发现大于p的视差值;
■如果发现了所述视差值,则检查p是更靠近这个较大的视差值,还是更靠近先前列表元素(其必须小于p)—使用这两者中最接近的元素,
■如果没有找到所述视差值,则使用最大的元素(列表中的最后一个元素)。
然后将p这个最接近的可用等价整数用作用于访问所需图像资源的名称构造中的最终值。
注意
在上文中,主要给出针对女性用户的实例。然而,本领域技术人员将理解,在必要时进行适当修改的情况下,这些实例也可适用于男性用户。
应当理解,以上引用的布置仅是对本发明原理的应用的说明。在不脱离本发明的精神和范围的情况下,可以设计出许多修改和替代性布置。虽然已经在附图中示出并且在上文结合目前被认为是本发明最实际且优选的实例的特征和细节完整地描述了本发明,但是对于本领域普通技术人员将明显的是,在不脱离本文所阐述的本发明的原理和概念的情况下,可以进行许多修改。

Claims (154)

1.用于生成与3D衣服图像结合的人的3D虚拟身体模型并且在计算装置屏幕上显示与所述3D衣服图像结合的所述人的所述3D虚拟身体模型的方法,所述计算装置包括传感器系统,所述方法包括以下步骤:
(a)生成所述3D虚拟身体模型;
(b)生成用于叠加在所述3D虚拟身体模型上的所述3D衣服图像;
(c)将所述3D衣服图像叠加在所述3D虚拟身体模型上;
(d)在所述屏幕上示出叠加在所述3D虚拟身体模型上的所述3D衣服图像;
(e)使用所述传感器系统来检测位置变化,以及
(f)在所述屏幕上示出响应于使用所述传感器系统检测到的所述位置变化而修改的叠加在所述3D虚拟身体模型上的所述3D衣服图像。
2.如权利要求1所述的方法,其中在透视图中修改所述屏幕上所示的叠加在所述3D虚拟身体模型上的所述已修改3D衣服图像。
3.如任何前述权利要求所述的方法,其中使用预呈现图像的序列来提供3D虚拟身体模型图像修改。
4.如任何前述权利要求所述的方法,其中所述3D虚拟身体模型被示出为通过使用以不同角度描绘所述3D虚拟身体模型的渐进图像序列来旋转。
5.如任何前述权利要求所述的方法,其中所述位置变化是所述屏幕表面法线向量的倾斜。
6.如任何前述权利要求所述的方法,其中所述传感器系统包括加速度计。
7.如任何前述权利要求所述的方法,其中所述传感器系统包括陀螺仪。
8.如任何前述权利要求所述的方法,其中所述传感器系统包括磁力计。
9.如任何前述权利要求所述的方法,其中通过倾斜所述计算装置而给予用户能够围绕所述3D虚拟身体模型的侧面移动的感觉。
10.如任何前述权利要求所述的方法,其中所述传感器系统包括所述计算装置的相机。
11.如任何前述权利要求所述的方法,其中所述传感器系统包括所述计算装置的一对立体相机。
12.如任何前述权利要求所述的方法,其中所述位置变化是用户头部的移动。
13.如权利要求12所述的方法,其中使用头部跟踪器模块来检测所述位置变化。
14.如任何前述权利要求所述的方法,其中通过所述用户的头部围绕所述计算装置移动而给予所述用户围绕所述3D虚拟身体模型的所述侧面移动的感觉。
15.如任何前述权利要求所述的方法,其中所述屏幕上的所述图像和其他对象响应于用户头部移动而自动移动。
16.如任何前述权利要求所述的方法,其中所述计算装置是移动计算装置。
17.如权利要求16所述的方法,其中所述移动计算装置是移动电话、或平板计算机或头戴式显示器。
18.如权利要求16或17所述的方法,其中所述移动计算装置要求用户旋转所述移动计算装置以便继续。
19.如权利要求1至15中任一项所述的方法,其中所述计算装置是台式计算机、或膝上型计算机、或智能电视或头戴式显示器。
20.如任何前述权利要求所述的方法,其中根据用户数据生成所述3D虚拟身体模型。
21.如任何前述权利要求所述的方法,其中通过分析和处理衣服的一个或多个2D照片来生成所述3D衣服图像。
22.如任何前述权利要求所述的方法,其中所述屏幕示出场景,在所述屏幕中,所述场景被设置为将所述3D虚拟身体模型的脚部的中点作为枢轴点,因此给予所述用户围绕所述模型移动以看到所述不同角度的印象。
23.如任何前述权利要求所述的方法,其中场景由至少三个图像组成:所述3D身体模型、远侧背景和地板。
24.如权利要求23所述的方法,其中背景图像以编程方式被转换成3D几何形状。
25.如权利要求23或24所述的方法,其中所述背景的远侧部分独立于所述地板部分放置,其中所述远侧图像被放置为垂直平面,并且所述地板图像被定向成使得所述地板图像的顶部比所述地板图像的底部更深。
26.如权利要求23至25中任一项所述的方法,其中通过在地平线处划分背景图像来将所述背景图像和地板图像分离。
27.如权利要求23至26中任一项所述的方法,其中设置每个背景图像的深度值并将其存储在所述背景图像资源的元数据中。
28.如任何前述权利要求所述的方法,其中在所述屏幕内,在框架内呈现场景以便使其与其他特征分离,并且所述框架所述内容进行裁剪以使得在被显著放大或旋转时,所述场景的边缘部分不可见。
29.如任何前述权利要求所述的方法,其中通过利用两个不同旋转位置中呈现的3D虚拟身体模型图像生成左眼/右眼图像对,在3D显示装置上创建所述3D虚拟身体模型的立体视觉。
30.如权利要求29所述的方法,其中所述3D显示装置是主动型(遮光眼镜)3D显示器或被动型(偏光眼镜)3D显示器。
31.如权利要求29或30所述的方法,其中所述3D显示装置与智能电视一起使用。
32.如任何前述权利要求所述的方法,其中提供了包括用于定制灵敏度和场景外观的各种设置的用户界面。
33.如权利要求32所述的方法,其中所述设置包括以下中的一个或多个:循环浏览可用的背景图像、循环浏览存储其图像的可用衣服、设置最大观察角、设置待显示的最大虚拟化身图像旋转、设置所述虚拟化身图像应旋转的增量、设置待使用的图像尺寸、在主屏幕的所述虚拟化身和背景部分上进行放大/缩小。
34.如任何前述权利要求所述的方法,其中当所述3D虚拟身体模型的3D纹理化几何形状以及所述3D虚拟身体模型上穿着的所述3D衣服全部被呈现时,通过在所述呈现过程期间沿所述垂直轴施加相机视图旋转来实现利用旋转的3D虚拟身体模型生成呈现。
35.如任何前述权利要求所述的方法,其中当使用2D衣服模型用于搭配时,生成旋转版本的2D衣服模型包括首先基于假设近似得出所述2D衣服模型的所述3D几何形状、执行深度计算,并且最后将对应的2D纹理移动施加到所述图像以便模拟3D旋转。
36.如任何前述权利要求所述的方法,其中对于具有单个2D纹理轮廓图或侧影的基于2D躯干的衣服模型,通过应用以下简化来近似得出所述衣服的所述3D几何形状模型:在上身周围,所述衣服紧密地跟随所述基础身体形状的几何形状;在下身周围,所述衣服近似于具有变化的轴长度、以所述身体原点为中心的椭圆柱体。
37.如任何前述权利要求所述的方法,其包括以下步骤:根据由每个像素处的深度近似所给出的顶点点云来生成具有多个面的平滑3D网格;以及针对所需视图生成所述衣服的最终标准化深度图。
38.如权利要求37所述的方法,其中使用所述深度图来计算所述衣服纹理上的给定点为了模拟围绕所述垂直轴的平面外旋转在所述图像中需要移动的范围。
39.如任何前述权利要求所述的方法,其中所述用户的3D身体形状模型的基础头部和颈部基本几何形状被用作近似的3D几何形状,并且执行使用2D纹理变形和变形场外推实现的根据单个2D纹理图像对头部画面/发型的3D旋转进行建模。
40.如任何前述权利要求所述的方法,其中将所述3D衣服图像叠加在所述3D虚拟身体模型上包括首先构成所述3D模型并且然后将其呈现给图像的情况。
41.如权利要求40所述的方法,其中呈现给图像包括使用每像素z排序。
42.计算装置,其包括屏幕、传感器系统和处理器,所述计算装置被配置来生成与3D衣服图像结合的人的3D虚拟身体模型,并且在所述屏幕上显示与所述3D衣服图像结合的所述人的所述3D虚拟身体模型,其中所述处理器:
(a)生成所述3D虚拟身体模型;
(b)生成用于叠加在所述3D虚拟身体模型上的所述3D衣服图像;
(c)将所述3D衣服图像叠加在所述3D虚拟身体模型上;
(d)在所述屏幕上示出叠加在所述3D虚拟身体模型上的所述3D衣服图像;
(e)使用所述传感器系统来检测位置变化,并且
(f)在所述屏幕上示出响应于使用所述传感器系统检测到的所述位置变化而修改的叠加在所述3D虚拟身体模型上的所述3D衣服图像。
43.如权利要求42所述的计算装置,其进一步被配置来执行如权利要求1至41中任一项所述的方法。
44.系统,其包括服务器以及与所述服务器通信计算装置,所述计算装置包括屏幕、传感器系统和处理器,所述服务器被配置来生成与3D衣服图像结合的人的3D虚拟身体模型,并且将与所述3D衣服图像结合的所述人的所述3D虚拟身体模型的图像发送到所述计算装置,其中所述服务器:
(a)生成所述3D虚拟身体模型;
(b)生成用于叠加在所述3D虚拟身体模型上的所述3D衣服图像;
(c)将所述3D衣服图像叠加在所述3D虚拟身体模型上;
(d)将叠加在所述3D虚拟身体模型上的所述3D衣服图像的图像发送到所述计算装置;
并且其中所述计算装置:
(e)在所述屏幕上示出叠加在所述3D虚拟身体模型上的所述3D衣服图像;
(f)使用所述传感器系统来检测位置变化,并且
(g)向所述服务器发送对响应于使用所述传感器系统检测到的所述位置变化而修改的叠加在所述3D虚拟身体模型上的3D衣服图像的请求;
并在其中所述服务器
(h)将响应于使用所述传感器系统检测到的所述位置变化而修改的叠加在所述3D虚拟身体模型上的所述3D衣服图像的图像发送到所述计算装置;
并且其中所述计算装置:
(i)在所述屏幕上示出响应于使用所述传感器系统检测到的所述位置变化而修改的叠加在所述3D虚拟身体模型上的所述3D衣服图像。
45.如权利要求44所述的系统,其进一步被配置来执行如权利要求1至41中任一项所述的方法。
46.可在计算装置上执行的计算机程序产品,所述计算装置包括处理器,所述计算机程序产品被配置来生成与3D衣服图像结合的人的3D虚拟身体模型,并且提供显示与所述3D衣服图像结合的所述人的所述3D虚拟身体模型,其中所述计算机程序产品被配置来:
(a)生成所述3D虚拟身体模型;
(b)生成用于叠加在所述3D虚拟身体模型上的所述3D衣服图像;
(c)将所述3D衣服图像叠加在所述3D虚拟身体模型上;
(d)提供在屏幕上显示叠加在所述3D虚拟身体模型上的所述3D衣服图像;
(e)接收使用传感器系统获得的位置变化检测,并且
(f)提供在所述屏幕上显示响应于使用所述传感器系统检测到的位置变化而修改的叠加在所述3D虚拟身体模型上的所述3D衣服图像。
47.如权利要求46所述的计算机程序产品,其进一步被配置来执行如权利要求1至41中任一项所述的方法。
48.用于生成其中每个3D虚拟身体模型与相应的不同3D衣服图像结合的多个3D虚拟身体模型并且在计算装置的屏幕上在单个场景中显示各自与所述相应的不同3D衣服图像结合的所述多个3D虚拟身体模型的方法,所述方法包括以下步骤:
(a)生成所述多个3D虚拟身体模型;
(b)生成用于叠加在所述多个3D虚拟身体模型上的所述相应的不同3D衣服图像;
(c)将所述相应的不同3D衣服图像叠加在所述多个3D虚拟身体模型上,以及
(d)在所述屏幕上在单个场景中示出叠加在所述多个3D虚拟身体模型上的所述相应的不同3D衣服图像。
49.如权利要求48所述的方法,其中所述多个3D虚拟身体模型属于多个相应的不同人。
50.如权利要求48或49所述的方法,其中以相应的不同视角示出所述多个3D虚拟身体模型。
51.如权利要求48至50中任一项所述的方法,其中所述多个3D虚拟身体模型是至少三个3D虚拟身体模型。
52.如权利要求48至50中任一项所述的方法,其中使用可视化引擎来生成屏幕图像,所述可视化引擎允许对不同的3D虚拟身体模型连同在一系列身体模型上的衣服进行建模。
53.如权利要求48至52中任一项所述的方法,其中使屏幕场景中的3D虚拟身体模型以多行分布。
54.如权利要求53所述的方法,其中在每一行内所述3D虚拟身体模型均匀地隔开。
55.如权利要求48至54中任一项所述的方法,其中所述屏幕场景在透视图中示出3D虚拟身体模型。
56.如权利要求48至55中任一项所述的方法,其中衣服随机被分配到每个3D虚拟身体模型,或由用户输入预先确定,或作为用户的搜索的结果,或由另一用户创建,或通过算法确定。
57.如权利要求48至56中任一项所述的方法,其中一组3D虚拟身体模型的单个场景可在所述屏幕上滚动。
58.如权利要求57所述的方法,其中如果所述用户滚动到所述一组3D虚拟身体模型的末端,则通过重复所述场景来给予无缝体验。
59.如权利要求48至58中任一项所述的方法,其中可在简档或景观方面提供所述单个场景。
60.如权利要求48至59中任一项所述的方法,其中所述屏幕是触摸屏。
61.如权利要求60所述的方法,其中在所述屏幕上触摸服饰提供所述衣服的细节。
62.如权利要求60或61所述的方法,其中在所述屏幕上触摸服饰提供相关的时装表演视频。
63.如权利要求60至62中任一项所述的方法,其中所述场景响应于用户的手指在所述屏幕上水平滑动而移动。
64.如权利要求63所述的方法,其中通过这种操作,所述屏幕中的所述身体模型全部以预定义的速度移动,以便在透视场景中生成平移相机视图位移的效果。
65.如权利要求63或64所述的方法,其中通过在所述场景中对不同深度层施加不同的滑动速度来提供透视动态分层效果。
66.如权利要求63至65中任一项所述的方法,其中所述场景中的每个3D虚拟身体模型的水平平移与每个3D虚拟身体模型的深度成反比。
67.如权利要求63至66中任一项所述的方法,其中当用户滑动并且他们的手指从所述触摸屏提起时,所述所有层逐渐停止。
68.如权利要求63至67中任一项所述的方法,其中响应于用户在所述屏幕上分别垂直向下或垂直向上滑动手指,所述场景切换到下一楼层、即楼上或楼下。
69.如权利要求68所述的方法,其中在所述场景切换到所述下一楼层之后,以前在所述背景中的所述3D虚拟身体模型来到前景,而以前在所述前景中的所述3D虚拟身体模型移动到所述背景。
70.如权利要求69所述的方法,其中每个3D虚拟身体模型的质心位置在所述切换变换期间遵循椭圆轨迹。
71.如权利要求68至70中任一项所述的方法,其中在每个楼层中,可显示一种趋势或品牌的衣服和/或服饰。
72.如权利要求48至71中任一项所述的方法,其中相对于所述3D虚拟身体模型的半透明度和深度施加雾模型,以便对场景中的不同深度层的半透明度进行建模。
73.如权利要求48至72中任一项所述的方法,其中所述计算装置包括传感器系统,所述方法包括以下步骤:
(e)使用所述传感器系统来检测位置变化,以及
(f)在所述屏幕上示出响应于使用所述传感器系统检测到的所述位置变化而修改的叠加在所述3D虚拟身体模型上的所述3D衣服图像。
74.如权利要求73所述的方法,其中所述修改是在透视图中的修改。
75.如权利要求73或74所述的方法,其中所述位置变化是所述屏幕表面法线向量的倾斜。
76.如权利要求73至75中任一项所述的方法,其中所述传感器系统包括加速度计。
77.如权利要求73至76中任一项所述的方法,其中所述传感器系统包括陀螺仪。
78.如权利要求73至77中任一项所述的方法,其中所述传感器系统包括磁力计。
79.如权利要求73至78中任一项所述的方法,其中所述传感器系统包括所述计算装置的相机。
80.如权利要求73至79中任一项所述的方法,其中所述传感器系统包括所述计算装置的一对立体相机。
81.如权利要求73至80中任一项所述的方法,其中所述位置变化是用户头部的移动。
82.如权利要求81所述的方法,其中使用头部跟踪器模块来检测所述位置变化。
83.如权利要求73至82中任一项所述的方法,其中所述图像和其他对象响应于用户头部移动而自动移动。
84.如权利要求48至83中任一项所述的方法,其中所述计算装置是移动计算装置。
85.如权利要求84所述的方法,其中所述移动计算装置是移动电话、或平板计算机或头戴式显示器。
86.如权利要求84所述的方法,其中所述移动计算装置是移动电话,并且其中在所述移动电话屏幕上出现不超过3.5个3D虚拟身体模型。
87.如权利要求48至83中任一项所述的方法,其中所述计算装置是台式计算机、或膝上型计算机、或智能电视或头戴式显示器。
88.如权利要求48至87中任一项所述的方法,其中根据用户数据生成所述3D虚拟身体模型。
89.如权利要求48至88中任一项所述的方法,其中通过分析和处理所述衣服的一个或多个2D照片来生成所述3D衣服图像。
90.如权利要求48至89中任一项所述的方法,其中在所述场景中,地板和背景是使得看起来像群在特定位置中的图像。
91.如权利要求48至90中任一项所述的方法,其中背景和地板可以由所述用户选择或定制以便匹配一些衣服系列。
92.如权利要求90或91所述的方法,其中所述背景上的照明变化包括在所显示的场景中。
93.如权利要求48至92中任一项所述的方法,其中用户能够与所述3D虚拟身体模型进行交互以便浏览所述3D虚拟身体模型。
94.如权利要求48至93中任一项所述的方法,其中选择模型允许所述用户在所述模型上看到所述服饰的细节。
95.如权利要求94所述的方法,其中所述用户可以在他们自己的3D虚拟身体模型上试穿所述服饰。
96.如权利要求48至95中任一项所述的方法,其中选择邻近3D虚拟身体模型的图标允许以下中的一个或多个:与他人共享、在社交媒体上表达喜欢、保存供以后使用以及评级。
97.如权利要求48至96中任一项所述的方法,其中所述3D虚拟身体模型穿着衣服并且根据以下标准中的一个或多个进行排序:最喜欢的衣服;最新款的衣服;与预定义的衣服相同类型/类别/风格/趋势的衣服;具有可用的所述用户优选尺寸的衣服;与预定义的衣服相同的品牌/零售商的衣服;从最近访问最多的衣服到最近访问最少的衣服进行排序。
98.如权利要求48至97中任一项所述的方法,其中用户可以建立他们自己的群并且使用它来存储一衣橱的优选服饰。
99.如权利要求48至98中任一项所述的方法,其中提供可用于显示来自服饰搜索引擎的结果的用户界面。
100.如权利要求48至99中任一项所述的方法,其中将所述3D衣服图像叠加在所述3D虚拟身体模型上包括首先构成所述3D模型并且然后将其呈现给图像的情况。
101.如权利要求100所述的方法,其中呈现给图像包括使用每像素z排序。
102.如权利要求48至101中任一项所述的方法,其中所述方法包括如权利要求1至41中任一项所述的方法。
103.计算装置,其包括屏幕和处理器,所述计算装置被配置来生成其中每个3D虚拟身体模型与相应的不同3D衣服图像结合的多个3D虚拟身体模型,并且在所述计算装置的所述屏幕上在单个场景中显示各自与所述相应的不同3D衣服图像结合的所述多个3D虚拟身体模型,其中所述处理器:
(a)生成所述多个3D虚拟身体模型;
(b)生成用于叠加在所述多个3D虚拟身体模型上的所述相应的不同3D衣服图像;
(c)将所述相应的不同3D衣服图像叠加在所述多个3D虚拟身体模型上,并且
(d)在所述屏幕上在单个场景中示出叠加在所述多个3D虚拟身体模型上的所述相应的不同3D衣服图像。
104.如权利要求103所述的计算装置,其被配置来执行如权利要求48至102中任一项所述的方法。
105.服务器,其包括处理器,所述服务器被配置来生成其中每个3D虚拟身体模型与相应的不同3D衣服图像结合的多个3D虚拟身体模型,并且提供在单个场景中显示各自与所述相应的不同3D衣服图像结合的所述多个3D虚拟身体模型,其中所述处理器:
(a)生成所述多个3D虚拟身体模型;
(b)生成用于叠加在所述多个3D虚拟身体模型上的所述相应的不同3D衣服图像;
(c)将所述相应的不同3D衣服图像叠加在所述多个3D虚拟身体模型上,并且
(d)提供在单个场景中显示叠加在所述多个3D虚拟身体模型上的所述相应的不同3D衣服图像。
106.如权利要求105所述的服务器,其被配置来执行如权利要求48至102中任一项所述的方法。
107.可在计算装置上执行的计算机程序产品,所述计算装置包括处理器,所述计算机程序产品被配置来生成其中每个3D虚拟身体模型与相应的不同3D衣服图像结合的多个3D虚拟身体模型,并且提供在单个场景中显示各自与所述相应的不同3D衣服图像结合的所述多个3D虚拟身体模型,其中所述计算机程序产品被配置来:
(a)生成所述多个3D虚拟身体模型;
(b)生成用于叠加在所述多个3D虚拟身体模型上的所述相应的不同3D衣服图像,以;
(c)将所述相应的不同3D衣服图像叠加在所述多个3D虚拟身体模型上,并且
(d)提供在单个场景中显示叠加在所述多个3D虚拟身体模型上的所述相应的不同3D衣服图像。
108.如权利要求107所述的计算机程序产品,其被配置来执行如权利要求48至102中任一项所述的方法。
109.用于生成与3D衣服图像结合的人的3D虚拟身体模型并且在计算装置的屏幕上显示与所述3D衣服图像结合的所述人的所述3D虚拟身体模型的方法,其中:
(a)根据用户数据生成所述3D虚拟身体模型;
(b)接收衣服选择;
(c)生成所选衣服的3D衣服图像,并且
(d)在所述屏幕上示出叠加在所述3D虚拟身体模型上的所述3D衣服图像。
110.如权利要求109所述的方法,其中提供衣服尺寸和合身建议,并且接收包括所选尺寸的所述衣服选择。
111.如权利要求109或110所述的方法,其中通过分析和处理所述衣服的一个或多个2D照片来生成所述3D衣服图像。
112.如权利要求109至111中任一项所述的方法,其中在所述移动计算装置上为用户提供接口,以便生成新的用户帐户或者通过社交网络登录。
113.如权利要求112所述的方法,其中所述用户能够编辑其简档。
114.如权利要求112或113所述的方法,其中所述用户能够选择其身高和体重。
115.如权利要求112至114中任一项所述的方法,其中所述用户能够选择其肤色。
116.如权利要求112至115中任一项所述的方法,其中所述用户能够调整其腰围和臀围。
117.如权利要求109至116中任一项所述的方法,其中所述方法包括用于生成其中每个3D虚拟身体模型与相应的不同3D衣服图像结合的多个3D虚拟身体模型并且在所述移动计算装置的所述屏幕上在单个场景中显示各自与所述相应的不同3D衣服图像结合的所述多个3D虚拟身体模型的方法,所述方法包括以下步骤:
(a)生成所述多个3D虚拟身体模型;
(b)生成用于叠加在所述多个3D虚拟身体模型上的所述相应的不同3D衣服图像;
(c)将所述相应的不同3D衣服图像叠加在所述多个3D虚拟身体模型上,以及
(d)在所述屏幕上在单个场景中示出叠加在所述多个3D虚拟身体模型上的所述相应的不同3D衣服图像。
118.如权利要求109至117中任一项所述的方法,其中为所述用户提供‘表达喜欢’在3D身体模型上显示的服饰的图标。
119.如权利要求109至118中任一项所述的方法,其中通过选择3D身体模型,将所述用户带到那个特定外观的社交视图。
120.如权利要求119所述的方法,其中所述用户能够看到谁创建了那个特定服饰,并且到达创建那个特定服饰的用户的简档视图。
121.如权利要求119或120所述的方法,其中所述用户可以对那件服饰写评论。
122.如权利要求119至121中任一项所述的方法,其中所述用户能够选择‘喜欢’所述服饰。
123.如权利要求119至122中任一项所述的方法,其中所述用户能够到达‘衣服信息’视图。
124.如权利要求119至123中任一项所述的方法,其中所述用户能够在他们自己的3D虚拟身体模型上试穿所述服饰。
125.如权利要求124所述的方法,其中因为登记了所述用户的3D虚拟身体模型的所述身体测量值,所述服饰被显示为其在所述用户的身体形状上看到的情形。
126.如权利要求109至125中任一项所述的方法,其中提供了显示不同类型的可选衣服的可滚动部分、以及显示所述3D虚拟身体模型正在穿戴或先前穿戴的制品的部分。
127.如权利要求109至126中任一项所述的方法,其中所述屏幕是触摸屏。
128.如权利要求127所述的方法,其中所述3D虚拟身体模型能够被轻敲若干次,并且这样做时以连续旋转步骤进行旋转。
129.如权利要求109至127中任一项所述的方法,其中所述用户能够选择保存外观。
130.如权利要求129所述的方法,其中在已经保存外观之后,所述用户能够选择与社交网络共享所述外观。
131.如权利要求130所述的方法,其中所述用户能够使用主题标签来为他们的外观创建分组和类别。
132.如权利要求117至131中任一项所述的方法,其中通过属于与所创建的新外观相同类别的3D虚拟身体模型提供了视差视图。
133.如权利要求117至132中任一项所述的方法,其中菜单显示不同的场合;选择场合显示具有属于那个特定类别的虚拟化身的视差群视图。
134.如权利要求117至133中任一项所述的方法,其中可从所述用户简档视图中的菜单获得视图,所述视图显示以下中一个或多个:示出所述用户已经创建的服饰的视差视图;以及示出所述用户具有的外观数量、不同服饰的喜欢数量、关注者的数量和用户正在关注的人数的统计信息。
135.如权利要求134所述的方法,其中选择关注者显示关注所述用户的所有人的列表以及返回关注他们的选项。
136.如权利要求107至135中任一项所述的方法,其中提供了一种搭配推荐机制,其向所述用户提供被推荐为与所述用户的3D虚拟身体模型正穿戴的所述衣服结合的衣服列表。
137.如权利要求136所述的方法,其中推荐是基于增量,并且其通过一阶马尔可夫模型来近似地建模。
138.如权利要求136或137所述的方法,其中对于已经出现在所述搭配历史中的每个其他用户,基于所述当前用户和每个其他用户的相似性对每个其他用户的搭配记录频率进行加权;然后累积所有相似身体形状的权重以用于推荐。
139.如权利要求136至138中任一项所述的方法,其中使用较旧的顶级衣服制品缓慢地过期、同时倾向于将较新的衣服制品引入推荐列表的机制。
140.如权利要求136至139中任一项所述的方法,其中基于历史记录中的与当前衣服相似的其他衣服做出推荐。
141.如权利要求136至140中任一项所述的方法,其中针对衣服数据库中的每一件衣服计算推荐得分,并且然后基于所述衣服的推荐得分对它们进行评级以用于推荐。
142.如权利要求107至141中任一项所述的方法,其中将所述3D衣服图像叠加在所述3D虚拟身体模型上包括首先构成所述3D模型并且然后将其呈现给图像的情况。
143.如权利要求142所述的方法,其中呈现给图像包括使用每像素z排序。
144.如权利要求107至143中任一项所述的方法,其中所述方法包括如权利要求1至41中任一项所述的方法或如权利要求48至102中任一项所述的方法。
145.系统,其包括服务器以及与所述服务器通信的移动计算装置,所述计算装置包括屏幕和处理器,其中所述系统生成与3D衣服图像结合的人的3D虚拟身体模型,并且在所述移动计算装置的所述屏幕上显示与所述3D衣服图像结合的所述人的所述3D虚拟身体模型,其中所述服务器
(a)根据用户数据生成所述3D虚拟身体模型;
(b)从所述移动计算装置接收衣服选择;
(c)生成所选衣服的3D衣服图像,
(d)将所述3D衣服图像叠加在所述3D虚拟身体模型上,并且将叠加在所述3D虚拟身体模型上的所述3D衣服图像的图像发送到所述移动计算装置,
并且其中所述移动计算装置
(e)在所述屏幕上示出叠加在所述3D虚拟身体模型上的所述3D衣服图像。
146.如权利要求145所述的系统,其被配置来执行如权利要求109至144中任一项所述的方法。
147.用于生成3D衣服图像并且在计算装置的屏幕上显示所述3D衣服图像的方法,所述方法包括以下步骤:
(a)对于具有单个2D纹理轮廓图或侧影的基于2D躯干的衣服模型,通过应用以下简化来进行近似得出所述衣服的所述3D几何形状模型:在所述上身周围,所述衣服紧密地跟随所述基础身体形状的几何形状;在所述下身周围,所述衣服近似于具有变化的轴长度、以所述身体原点为中心的椭圆柱体;
(b)在所述屏幕上示出所述3D衣服图像。
148.如权利要求147所述的方法,其中所述计算装置包括传感器系统,所述方法包括以下步骤:
(c)使用所述传感器系统来检测位置变化,以及
(d)在所述屏幕上示出响应于使用所述传感器系统检测到的所述位置变化而修改的所述3D衣服图像。
149.如权利要求147或148所述的方法,其用于生成与所述3D衣服图像结合的人的3D虚拟身体模型,所述方法包括以下步骤:
(e)生成所述3D虚拟身体模型;
(f)在所述屏幕上示出在所述3D虚拟身体模型上的所述3D衣服图像。
150.如权利要求147至149中任一项所述的方法,其包括以下步骤:根据由每个像素处的深度近似所给出的顶点点云来生成具有多个面的平滑3D网格;以及很对所需视图生成所述衣服的最终标准化深度图。
151.如权利要求150所述的方法,其中使用所述深度图来计算所述衣服纹理上的给定点为了模拟围绕所述垂直轴的平面外旋转在所述图像中需要移动的范围。
152.如权利要求147至151中任一项所述的方法,其中所述用户的3D身体形状模型的基础头部和颈部基本几何形状被用作近似的3D几何形状,并且执行使用2D纹理变形和变形场外推实现的根据单个2D纹理图像对头部画面/发型的3D旋转进行建模。
153.系统,其包括服务器以及与所述服务器通信计算装置,所述计算装置包括屏幕、传感器系统和处理器,所述服务器被配置来生成与3D衣服图像结合的人的3D虚拟身体模型,并且将与所述3D衣服图像结合的所述人的所述3D虚拟身体模型的图像发送到所述计算装置,其中所述服务器:
(a)生成所述3D虚拟身体模型;
(b)生成用于叠加在所述3D虚拟身体模型上的所述3D衣服图像;
(c)将所述3D衣服图像叠加在所述3D虚拟身体模型上;
(d)将叠加在所述3D虚拟身体模型上的所述3D衣服图像的图像发送到所述计算装置;
并且其中所述计算装置:
(e)在所述屏幕上示出叠加在所述3D虚拟身体模型上的所述3D衣服图像;
(f)使用所述传感器系统来检测位置变化,以及
(g)向所述服务器发送对响应于使用所述传感器系统检测到的所述位置变化而修改的叠加在所述3D虚拟身体模型上的3D衣服图像的请求;
并在其中所述服务器
(h)将与响应于使用所述传感器系统检测到的所述位置变化而修改的叠加在所述3D虚拟身体模型上的所述3D衣服图像的图像相关的图像处理功能(或图像的参数)发送到所述计算装置;
并且其中所述计算装置:
(i)将所述图像处理功能应用于叠加在所述3D虚拟身体模型上的所述3D衣服图像的所述图像,并且在所述屏幕上示出响应于使用所述传感器系统检测到的所述位置变化而修改的叠加在所述3D虚拟身体模型上的所述3D衣服图像。
154.如权利要求153所述的系统,其进一步被配置来执行如权利要求1至41中任一项所述的方法。
CN201580068551.4A 2014-12-16 2015-12-16 用于生成与3d衣服图像结合的人的3d虚拟身体模型的方法,以及相关的装置、系统和计算机程序产品 Pending CN107209962A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
GB201422401 2014-12-16
GB1422401.8 2014-12-16
GBGB1502806.1A GB201502806D0 (en) 2015-02-19 2015-02-19 Mobile UI
GB1502806.1 2015-02-19
GB1514450.4 2015-08-14
GBGB1514450.4A GB201514450D0 (en) 2015-08-14 2015-08-14 Mobile UI
PCT/GB2015/054042 WO2016097732A1 (en) 2014-12-16 2015-12-16 Methods for generating a 3d virtual body model of a person combined with a 3d garment image, and related devices, systems and computer program products

Publications (1)

Publication Number Publication Date
CN107209962A true CN107209962A (zh) 2017-09-26

Family

ID=55066660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580068551.4A Pending CN107209962A (zh) 2014-12-16 2015-12-16 用于生成与3d衣服图像结合的人的3d虚拟身体模型的方法,以及相关的装置、系统和计算机程序产品

Country Status (6)

Country Link
US (1) US20170352091A1 (zh)
EP (1) EP3234925A1 (zh)
KR (1) KR20170094279A (zh)
CN (1) CN107209962A (zh)
GB (2) GB2564745B (zh)
WO (1) WO2016097732A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967095A (zh) * 2017-11-24 2018-04-27 天脉聚源(北京)科技有限公司 一种图片显示方法及装置
CN108898979A (zh) * 2018-04-28 2018-11-27 深圳市奥拓电子股份有限公司 广告机互动方法、广告机互动系统及广告机
CN109035259A (zh) * 2018-07-23 2018-12-18 西安建筑科技大学 一种三维多角度试衣装置及试衣方法
CN109087402A (zh) * 2018-07-26 2018-12-25 上海莉莉丝科技股份有限公司 在3d场景的特定表面上覆盖特定表面形态的方法、系统、设备和介质
CN109636917A (zh) * 2018-11-02 2019-04-16 北京微播视界科技有限公司 三维模型的生成方法、装置、硬件装置
CN110210523A (zh) * 2019-05-13 2019-09-06 山东大学 一种基于形状图约束的模特穿着衣物图像生成方法及装置
CN110706076A (zh) * 2019-09-29 2020-01-17 浙江理工大学 一种线上线下结合可进行网络交易的虚拟试衣方法和系统
CN111602165A (zh) * 2017-11-02 2020-08-28 立体丈量有限公司 衣服模型生成和显示系统
CN112017276A (zh) * 2020-08-26 2020-12-01 北京百度网讯科技有限公司 一种三维模型构建方法、装置以及电子设备
CN113373582A (zh) * 2020-03-09 2021-09-10 相成国际股份有限公司 数字化原始图像而织成数字图像的方法
CN114339434A (zh) * 2020-09-30 2022-04-12 阿里巴巴集团控股有限公司 货品试穿效果的展示方法及装置
US11367128B2 (en) 2018-05-25 2022-06-21 Boe Technology Group Co., Ltd. Smart display apparatus and smart display method

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10248993B2 (en) * 2015-03-25 2019-04-02 Optitex Ltd. Systems and methods for generating photo-realistic images of virtual garments overlaid on visual images of photographic subjects
EP3389002A4 (en) * 2015-12-08 2018-10-17 Sony Corporation Information processing device, information processing method, and program
US9940728B2 (en) * 2015-12-15 2018-04-10 Intel Corporation Computer vision assisted item search
US20170263031A1 (en) * 2016-03-09 2017-09-14 Trendage, Inc. Body visualization system
WO2017203262A2 (en) 2016-05-25 2017-11-30 Metail Limited Method and system for predicting garment attributes using deep learning
DK179374B1 (en) * 2016-06-12 2018-05-28 Apple Inc Handwriting keyboard for monitors
US10482621B2 (en) * 2016-08-01 2019-11-19 Cognex Corporation System and method for improved scoring of 3D poses and spurious point removal in 3D image data
CN106570223A (zh) * 2016-10-19 2017-04-19 武汉布偶猫科技有限公司 一种基于Unity3D服装仿真人体碰撞球的提取
US10282772B2 (en) 2016-12-22 2019-05-07 Capital One Services, Llc Systems and methods for wardrobe management
JP6552542B2 (ja) * 2017-04-14 2019-07-31 Spiber株式会社 プログラム、記録媒体、情報処理方法、及び情報処理装置
CN107194987B (zh) * 2017-05-12 2021-12-10 西安蒜泥电子科技有限责任公司 对人体测量数据进行预测的方法
US10665022B2 (en) * 2017-06-06 2020-05-26 PerfectFit Systems Pvt. Ltd. Augmented reality display system for overlaying apparel and fitness information
CN107270829B (zh) * 2017-06-08 2020-06-19 南京华捷艾米软件科技有限公司 一种基于深度图像的人体三围测量方法
US10701247B1 (en) * 2017-10-23 2020-06-30 Meta View, Inc. Systems and methods to simulate physical objects occluding virtual objects in an interactive space
CN109993595B (zh) * 2017-12-29 2024-06-21 北京三星通信技术研究有限公司 个性化推荐商品及服务的方法、系统及设备
US11188965B2 (en) * 2017-12-29 2021-11-30 Samsung Electronics Co., Ltd. Method and apparatus for recommending customer item based on visual information
US10777021B2 (en) 2018-02-27 2020-09-15 Soul Vision Creations Private Limited Virtual representation creation of user for fit and style of apparel and accessories
CN110298911A (zh) * 2018-03-23 2019-10-01 真玫智能科技(深圳)有限公司 一种实现走秀的方法及装置
EA034853B1 (ru) * 2018-04-13 2020-03-30 Владимир Владимирович ГРИЦЮК Аппарат для автоматизированной продажи многоразовых чехлов для багажа в присутствии покупателя и способ продажи чехлов для багажа посредством указанного автомата
DK180078B1 (en) 2018-05-07 2020-03-31 Apple Inc. USER INTERFACE FOR AVATAR CREATION
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
US11301656B2 (en) 2018-09-06 2022-04-12 Prohibition X Pte Ltd Clothing having one or more printed areas disguising a shape or a size of a biological feature
CN109408653B (zh) * 2018-09-30 2022-01-28 叠境数字科技(上海)有限公司 基于多特征检索和形变的人体发型生成方法
CN109377797A (zh) * 2018-11-08 2019-02-22 北京葡萄智学科技有限公司 虚拟人物教学方法及装置
CN109615462B (zh) * 2018-11-13 2022-07-22 华为技术有限公司 控制用户数据的方法及相关装置
WO2020104990A1 (en) * 2018-11-21 2020-05-28 Vats Nitin Virtually trying cloths & accessories on body model
KR20200079581A (ko) * 2018-12-26 2020-07-06 오드컨셉 주식회사 사용자에게 스와이프 제스처를 이용한 패션 아이템 추천 서비스를 제공하는 방법
US11559097B2 (en) * 2019-03-16 2023-01-24 Short Circuit Technologies Llc System and method of ascertaining a desired fit for articles of clothing utilizing digital apparel size measurements
FI20197054A1 (fi) 2019-03-27 2020-09-28 Doop Oy Järjestelmä ja menetelmä fyysisen tuotteen esittelemiseksi asiakkaalle
US20220198780A1 (en) * 2019-04-05 2022-06-23 Sony Group Corporation Information processing apparatus, information processing method, and program
WO2021014993A1 (ja) * 2019-07-25 2021-01-28 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2021016556A1 (en) * 2019-07-25 2021-01-28 Eifle, Inc. Digital image capture and fitting methods and systems
CN114667530A (zh) * 2019-08-29 2022-06-24 利惠商业有限公司 具有服装和精加工的虚拟预览的数字陈列室
US11250572B2 (en) * 2019-10-21 2022-02-15 Salesforce.Com, Inc. Systems and methods of generating photorealistic garment transference in images
CN111323007B (zh) * 2020-02-12 2022-04-15 北京市商汤科技开发有限公司 定位方法及装置、电子设备和存储介质
KR20210123198A (ko) 2020-04-02 2021-10-13 주식회사 제이렙 증강 현실 기반의 전기 음향과 건축 음향 통합 시뮬레이션 장치
KR102199591B1 (ko) * 2020-04-02 2021-01-07 주식회사 제이렙 증강 현실 기반의 전기 음향과 건축 음향 통합 시뮬레이션 장치
USD951294S1 (en) * 2020-04-27 2022-05-10 Clo Virtual Fashion Inc. Display panel of a programmed computer system with a graphical user interface
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US11195341B1 (en) * 2020-06-29 2021-12-07 Snap Inc. Augmented reality eyewear with 3D costumes
US11715022B2 (en) * 2020-07-01 2023-08-01 International Business Machines Corporation Managing the selection and presentation sequence of visual elements
CN111930231B (zh) * 2020-07-27 2022-02-25 歌尔光学科技有限公司 交互控制方法、终端设备及存储介质
US11644685B2 (en) * 2020-08-14 2023-05-09 Meta Platforms Technologies, Llc Processing stereo images with a machine-learning model
CN112785723B (zh) * 2021-01-29 2023-04-07 哈尔滨工业大学 一种基于二维服装图像与三维人体模型的自动化服装建模方法
CN112764649B (zh) * 2021-01-29 2023-01-31 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、设备及存储介质
EP4238062A1 (en) * 2021-03-16 2023-09-06 Samsung Electronics Co., Ltd. Point-based modeling of human clothing
US20220327783A1 (en) * 2021-04-08 2022-10-13 Ostendo Technologies, Inc. Virtual Mannequin - Method and Apparatus for Online Shopping Clothes Fitting
CN113239527B (zh) * 2021-04-29 2022-12-02 广东元一科技实业有限公司 一种服装造型仿真系统及工作方法
US11714536B2 (en) * 2021-05-21 2023-08-01 Apple Inc. Avatar sticker editor user interfaces
CN113344672A (zh) * 2021-06-25 2021-09-03 钟明国 一种购物网页浏览界面3d虚拟试衣方法和系统
USD1005305S1 (en) * 2021-08-01 2023-11-21 Soubir Acharya Computing device display screen with animated graphical user interface to select clothes from a virtual closet
CN114782653B (zh) * 2022-06-23 2022-09-27 杭州彩连科技有限公司 一种自动扩充服饰设计版型的方法和系统
CN115775024B (zh) * 2022-12-09 2024-04-16 支付宝(杭州)信息技术有限公司 虚拟形象模型训练方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110298897A1 (en) * 2010-06-08 2011-12-08 Iva Sareen System and method for 3d virtual try-on of apparel on an avatar
CN103440587A (zh) * 2013-08-27 2013-12-11 刘丽君 基于网络购物的个人形象设计与产品推荐的方法
CN103597519A (zh) * 2011-02-17 2014-02-19 麦特尔有限公司 用于生成服装合体性可视化的虚拟身体模型的计算机实现方法和系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0696100A (ja) * 1992-09-09 1994-04-08 Mitsubishi Electric Corp 遠隔取引システム
US6404426B1 (en) * 1999-06-11 2002-06-11 Zenimax Media, Inc. Method and system for a computer-rendered three-dimensional mannequin
US6546309B1 (en) * 2000-06-29 2003-04-08 Kinney & Lange, P.A. Virtual fitting room
US6901379B1 (en) * 2000-07-07 2005-05-31 4-D Networks, Inc. Online shopping with virtual modeling and peer review
ES2279708B1 (es) * 2005-11-15 2008-09-16 Reyes Infografica, S.L. Metodo de generacion y utilizacion de un probador virtual de prendas de vestir, y sistema.
US8606645B1 (en) * 2012-02-02 2013-12-10 SeeMore Interactive, Inc. Method, medium, and system for an augmented reality retail application
WO2014074072A1 (en) * 2012-11-12 2014-05-15 Singapore University Of Technology And Design Clothing matching system and method
CN104346827B (zh) * 2013-07-24 2017-09-12 深圳市华创振新科技发展有限公司 一种面向普通用户的快速3d衣服建模方法
CN105069838B (zh) * 2015-07-30 2018-03-06 武汉变色龙数据科技有限公司 一种服装展示方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110298897A1 (en) * 2010-06-08 2011-12-08 Iva Sareen System and method for 3d virtual try-on of apparel on an avatar
CN103597519A (zh) * 2011-02-17 2014-02-19 麦特尔有限公司 用于生成服装合体性可视化的虚拟身体模型的计算机实现方法和系统
CN103440587A (zh) * 2013-08-27 2013-12-11 刘丽君 基于网络购物的个人形象设计与产品推荐的方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111602165A (zh) * 2017-11-02 2020-08-28 立体丈量有限公司 衣服模型生成和显示系统
CN107967095A (zh) * 2017-11-24 2018-04-27 天脉聚源(北京)科技有限公司 一种图片显示方法及装置
CN108898979A (zh) * 2018-04-28 2018-11-27 深圳市奥拓电子股份有限公司 广告机互动方法、广告机互动系统及广告机
US11367128B2 (en) 2018-05-25 2022-06-21 Boe Technology Group Co., Ltd. Smart display apparatus and smart display method
CN109035259A (zh) * 2018-07-23 2018-12-18 西安建筑科技大学 一种三维多角度试衣装置及试衣方法
CN109087402A (zh) * 2018-07-26 2018-12-25 上海莉莉丝科技股份有限公司 在3d场景的特定表面上覆盖特定表面形态的方法、系统、设备和介质
CN109636917A (zh) * 2018-11-02 2019-04-16 北京微播视界科技有限公司 三维模型的生成方法、装置、硬件装置
CN109636917B (zh) * 2018-11-02 2023-07-18 北京微播视界科技有限公司 三维模型的生成方法、装置、硬件装置
CN110210523A (zh) * 2019-05-13 2019-09-06 山东大学 一种基于形状图约束的模特穿着衣物图像生成方法及装置
CN110706076A (zh) * 2019-09-29 2020-01-17 浙江理工大学 一种线上线下结合可进行网络交易的虚拟试衣方法和系统
CN113373582A (zh) * 2020-03-09 2021-09-10 相成国际股份有限公司 数字化原始图像而织成数字图像的方法
CN112017276A (zh) * 2020-08-26 2020-12-01 北京百度网讯科技有限公司 一种三维模型构建方法、装置以及电子设备
CN112017276B (zh) * 2020-08-26 2024-01-09 北京百度网讯科技有限公司 一种三维模型构建方法、装置以及电子设备
CN114339434A (zh) * 2020-09-30 2022-04-12 阿里巴巴集团控股有限公司 货品试穿效果的展示方法及装置

Also Published As

Publication number Publication date
WO2016097732A1 (en) 2016-06-23
GB201807806D0 (en) 2018-06-27
GB2535302B (en) 2018-07-04
GB2535302A (en) 2016-08-17
KR20170094279A (ko) 2017-08-17
GB2564745A (en) 2019-01-23
GB201522234D0 (en) 2016-01-27
GB2564745B (en) 2019-08-14
EP3234925A1 (en) 2017-10-25
US20170352091A1 (en) 2017-12-07

Similar Documents

Publication Publication Date Title
CN107209962A (zh) 用于生成与3d衣服图像结合的人的3d虚拟身体模型的方法,以及相关的装置、系统和计算机程序产品
US10013713B2 (en) Computer implemented methods and systems for generating virtual body models for garment fit visualisation
US10430867B2 (en) Virtual garment carousel
US20220188897A1 (en) Methods and systems for determining body measurements and providing clothing size recommendations
US20160078663A1 (en) Cloud server body scan data system
US20120095589A1 (en) System and method for 3d shape measurements and for virtual fitting room internet service
CN107918909A (zh) 一种实体店虚拟试衣方法
CN109829794A (zh) 一种基于移动终端的虚拟试衣方法及虚拟试衣系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170926

WD01 Invention patent application deemed withdrawn after publication