CN107111833B - 快速3d模型适配和人体测量 - Google Patents

快速3d模型适配和人体测量 Download PDF

Info

Publication number
CN107111833B
CN107111833B CN201580055935.2A CN201580055935A CN107111833B CN 107111833 B CN107111833 B CN 107111833B CN 201580055935 A CN201580055935 A CN 201580055935A CN 107111833 B CN107111833 B CN 107111833B
Authority
CN
China
Prior art keywords
user
model
generated
image
physical attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580055935.2A
Other languages
English (en)
Other versions
CN107111833A (zh
Inventor
鲁宾逊·皮拉姆苏
王乔松
维格里希·贾格迪希
布莱恩·肯特·莱斯勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
eBay Inc
Original Assignee
eBay Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by eBay Inc filed Critical eBay Inc
Publication of CN107111833A publication Critical patent/CN107111833A/zh
Application granted granted Critical
Publication of CN107111833B publication Critical patent/CN107111833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41H—APPLIANCES OR METHODS FOR MAKING CLOTHES, e.g. FOR DRESS-MAKING OR FOR TAILORING, NOT OTHERWISE PROVIDED FOR
    • A41H1/00—Measuring aids or methods
    • A41H1/02—Devices for taking measurements on the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Abstract

创建了一种使用真实世界身体尺寸分布的大型合成3D身体模型数据集。模型数据集可以遵循真实世界身体参数分布。深度传感器可以集成到诸如平板电脑、手机和可穿戴设备的移动设备中。使用关节位置信息从单个正面视图深度图中提取用户的身体测量。身体测量的估计与关节位置周围的局部几何特征组合以形成鲁棒的多维特征向量。使用用户的特征向量和合成模型的特征向量来执行快速最近邻搜索，以标识最接近的匹配。所获取的模型可以用于各种应用，例如购买衣服、虚拟现实、在线游戏以及其他应用。

Description

快速3D模型适配和人体测量
相关申请
本国际申请要求于2015年10月14日递交的并且标题为“FAST 3D MODEL FITTINGAND ANTHROPOMETRICS，”的美国专利申请No.14/883,419的优先权，并且还要求于2014年10月17日递交的标题为“FAST 3D MODEL FITTING AND ANTHROPOMETRICS USING SYNTHETICDATA，”的美国临时申请No.62/065,163的优先权，通过引用的方式将这两者的全文并入本文。
技术领域
本文公开的主题内容一般地涉及使用传感器数据来选择表示感测对象的三维(3D)模型。具体地，本公开涉及与生成3D模型的集合相关并且基于传感器数据将感测对象与该集合中的一个或多个模型进行匹配的系统和方法。
背景技术
电子市场为用户提供以电子方式购买和出售包括衣服在内的物品的能力。不同的衣服制造商使用不同的尺寸标准。因此，当用户订购衣服时，它们可能合身或不合身。用户可以退回订购的物品并进行交换，这会带来麻烦或费用。
3D拍摄系统可以通过使用多个相机或通过拍摄顺序图像并且在照片之间移动个体或相机来从多个角度拍摄个体的图像。基于图像，可以生成个体的3D模型。生成图像包括一定的泄露个人隐私的风险。
附图说明
在附图中以示例而非限制的方式示出了一些实施例。
图1是示出了根据一些示例实施例的适用于使用合成数据的快速3D模型适配和人体测量的网络环境的网络图。
图2是示出了根据一些示例实施例的适用于使用合成数据的快速3D模型适配和人体测量的模型适配服务器的组件的框图。
图3是示出了根据一些示例实施例的适用于使用合成数据的快速3D模型适配和人体测量的设备的组件的框图。
图4是示出了根据一些示例实施例的用于使用合成数据的快速3D模型适配和人体测量的方法的操作的框图。
图5是示出了根据一些示例实施例的用于使用合成数据的快速3D模型适配和人体测量的人体模型中的关节位置的代表图。
图6是示出了根据一些示例实施例的用于使用合成数据的快速3D模型适配和人体测量的方法的操作的框图。
图7是图示说明了根据一些示例实施例的用于使用合成数据的快速3D模型适配和人体测量的方法的流程图。
图8是示出了根据一些示例实施例的用于使用合成数据的快速3D模型适配和人体测量的方法的结果的表格。
图9是示出了根据一些示例实施例的用于使用合成数据的快速3D模型适配和人体测量的数据库结构的框图。
图10是示出了根据一些示例实施例的机器的组件的框图，该机器能够从机器可读介质中读取指令并且执行本文讨论的任何一种或多种方法。
具体实施方式
下面的说明包括涉及使用合成数据的快速3D模型适配和人体测量的体现本公开的说明性实施例的系统、方法、技术、指令序列和计算机程序。在以下描述中，出于解释的目的，对多个具体细节进行阐述，以提供对示例实施例的透彻理解。然而，本领域技术人员将显而易见的是，本发明主题的实施例可以在没有这些具体细节的情况下实施。一般地，不必详细示出众所周知的指令实例、协议、结构和技术。
最近，消费级深度相机已被证明是实用的并迅速进入市场。这些传感器的成本约为200美元并可以在客厅方便地使用。深度传感器也可以集成到诸如平板电脑、手机和可穿戴设备的移动设备中。因此，可以从一般用户获得深度数据，并且可以估计精确的测量。然而，产生高质量的3D人体模型是挑战性的，原因在于这种传感器仅提供具有高噪声电平的低分辨率深度图(通常为320×240像素)。
通过使用真实世界身体尺寸分布创建大型合成3D人体模型数据集来解决这一挑战。模型数据集可以遵循真实世界身体参数分布。例如，与体形的分布相比，对各年龄组的男性和女性的身高分布和体重分布了解得更为准确。通过在与实际群体相同的频率分布中生成具有与已知身高和体重相对应的各种体形的模型，与随机模型分布相比提高了潜在匹配的质量。
使用关节位置信息从深度图中提取用户的身体测量。关节位置可以与实际关节(例如，踝关节、腕关节和肘关节)或其他重要的身体位置(例如，头关节处和躯干关节处)相对应。可以使用单个正面视图深度图，或者可以使用多个视图。从不同方向拍摄的用户的附加深度图可以提高对用户模型的估计的准确性。在一个示例实施例中，来自Open NaturalInteraction组的OpenNI用于报告关节位置信息。身体测量的估计与关节位置周围的局部几何特征组合以形成鲁棒的多维特征向量。使用用户的特征向量和合成模型的特征向量来执行快速最近邻搜索，以标识最接近的匹配。获取的3D模型可以被完全参数化和操纵(rig)，这使得能够生成例如标准全身测量、标记的身体部位等的数据。操纵包括例如关节层级和自由度以及关节限制等信息。通过使用操纵数据，模型可以以逼真的方式呈现姿态和动作。
通过将模型的骨架映射到关节(例如，由Microsoft KinectTM或其他来源提供的关节)，可以使获取的3D模型动起来。基于描述身体的形状和姿势参数，服装可以适配至具有逼真皱纹的模型(例如，如Li J.等人，Fitting 3D garment models onto individualhuman models，Computers and Graphics，2010年12月中所描述的)。在一些示例实施例中，根据输入数据计算用户身体的相对简单的特征，其与精确的全身映射相比的计算量较低。因此，预渲染3D模型的选择与全身映射解决方案相比节省时间和计算。所获取的模型可以用于各种应用，例如购买衣服、虚拟现实、在线游戏以及其他应用。
图1是示出了根据一些示例实施例的适用于使用合成数据的快速3D模型适配和人体测量的网络环境100的网络图。网络环境100包括电子商务服务器120和140、模型适配服务器130以及全部经由网络170彼此通信耦接的设备150A、150B和150C。设备150A、150B和150C可以被共同称为“设备150”，或者被统称为“设备150”。电子商务服务器120和140和模型适配服务器130可以是基于网络的系统110的一部分。备选地，设备150可以直接连接到模型适配服务器130，或者通过不同于网络170的本地网络连接到模型适配服务器130，其中，网络170用于连接到电子商务服务器120或140。如以下参照图8所描述的，电子商务服务器120和140、模型适配服务器130以及设备150可以均整体地或部分地实现在计算机系统中。
电子商务服务器120和140经由网络170将电子商务应用提供给其他机器(例如，用户设备150)。电子商务服务器120和140还可以直接连接到模型管理服务器130，或者与模型管理服务器130集成。在一些示例实施例中，一个电子商务服务器120和模型适配服务器130是基于网络的系统110的部分，而另一电子商务服务器(例如，电子商务服务器140)与基于网络的系统110分离。电子商务应用可以向用户提供以下方式：彼此直接购买和出售物品、从电子商务应用提供商购买物品并将物品出售给电子商务应用提供商或者以上二者。
模型适配服务器130访问预先生成的合成模型。例如，预先生成的合成模型可以存储在模型适配服务器130的存储设备上、存储在由模型适配服务器130可访问的网络存储设备上、或存储在可通过网络170访问的远程服务器上。合成模型可以由模型适配服务器130或另一机器生成。模型适配服务器130可以经由网络170或另一网络将数据提供给其他机器(例如，电子商务服务器120和140或设备150)。模型适配服务器130可以经由网络170或另一网络从其他机器(例如，电子商务服务器120和140或设备150)接收数据。
图1中还示出了用户160。用户160可以是人类用户(例如，人类)、机器用户(例如，通过软件程序配置的与设备150和模型适配服务器130交互的计算机)或者它们的任意合适组合(例如，机器辅助的人或者人监管的机器)。用户160不是网络环境100的部分，但与设备150相关联并且可以是设备150的用户。例如，设备150可以属于用户160并且是传感器、台式计算机、车载计算机、平板计算机、导航设备、便携媒体设备、游戏设备、智能电话或能够对用户160成像的传感器的任意其他设备。
在一些示例实施例中，模型适配服务器130接收关于用户的数据。例如，附接至设备150A的深度相机可以拍摄用户160的深度图像，并通过网络170将深度图像发送给模型适配服务器130。模型适配服务器130执行用户160的深度图像与预先生成的合成模型的深度轮廓之间的最接近适配匹配。基于最接近适配匹配选择模型。可以将关于模型的模型或信息发送给电子商务服务器120或140、发送给设备150A或其任意合适组合。匹配模型可用于适配、虚拟现实或其他应用。
图1中的所示的任意机器、数据库或设备可以用通过软件修改(例如，配置或编程)为专用目的计算机以执行本文针对该机器、数据库或设备描述的功能的通用目的计算机来实现。例如，以下参照图8论述能够实现本文描述的方法的任意一个或多个的计算机系统。此外，图1中示出的机器、数据库或设备的任意两个或多个可以组合到单个机器中，并且本文针对任意单个机器、数据库或设备描述的功能可以再划分到多个机器、数据库或设备中。如本文所使用的，“数据库”是数据存储资源并可以存储结构化为文本文件、表格、电子表格、关系数据库(例如，对象关系数据库)、三元组存储、分层数据存储或它们的任意合适组合。
网络170可以是支持机器、数据库和设备(例如，模型适配服务器130和设备150)之间的通信的任意网络。因此，网络170可以是有线网络、无线网络(例如，移动或蜂窝网络)、或其任意合适组合。网络170可以包括构成私有网络、公共网络(例如，互联网)或其任意合适组合的一个或多个部分。
图2是示出了根据一些示例实施例的模型适配服务器130的组件的框图。模型适配服务器130被示出为包括全都被配置为彼此通信(例如，经由总线、共享存储器或交换机)的通信模块210、生成模块220、图像处理模块230、匹配模块240和存储模块250。本文描述的任何一个或多个模块可以使用硬件(例如专用硬件组件)或硬件与软件的组合(例如，由软件配置的)来实现。此外，这些模块中的任何两个或多个模块可被合并为单一模块，且本文中针对单一模块描述的功能可以再划分到多个模块中。此外，根据各种示例实施例，本文描述为在单个机器、数据库或设备中实施的模块可以分布在多个机器、数据库或设备中。
通信模块210被配置为发送和接收数据。例如，通信模块210可以通过网络170接收传感器数据，并将接收到的数据发送给图像处理模块230。作为另一示例，匹配模块240可以标识要用于用户的模型，并且可以由通信模块210通过网络170将关于模型的信息发送给电子商务服务器120。
生成模块220被配置为生成合成模型。例如，群体的身高和体重分布可用于生成用于模型创建的参数。这些参数可以与模型生成工具一起使用，以生成具有与群体的实际身高和体重分布相对应的分布的体形的合成模型群体。
在一些示例实施例中，使用包括从身体的激光扫描生成的模型的数据集，例如来自SAE国际的美国和欧洲平民表面人体测量资源项目数据集。然而，当激光扫描遭受闭塞、噪声或配准误差时，生成的模型是不完整的，这可能会妨碍系统的性能。通过从不同方向和用不同姿态仔细扫描，可以生成更高质量的模型，例如在FAUST：Dataset and evaluationfor 3D mesh registration，Bogo等人，Proceedings IEEE Conf.计算机视觉与模式标识(2014年6月)中讨论的FAUST数据集中的高质量的模型。然而，执行扫描所需的附加关注往往限制可以有效地生成的模型的数量。
图像处理模块230被配置为接收和处理图像数据。图像数据中的每个图像可以是二维图像、三维图像、深度图像、红外图像、双目图像或其任意合适的组合。例如，可以从相机接收图像。图像处理模块230可以处理图像数据以生成图像中的人或物体的深度图。
匹配模块240被配置为使图像处理模块230标识的参数与生成模块220生成的合成模型相匹配。例如，如果用户报告他们的身高和体重，并且用户的图像显示相对于身高的肩宽和臀宽，则存在可用于选择用户的三维模型的实质信息。
存储模块250被配置为存储和获取由生成模块220、图像处理模块230和匹配模块240生成和使用的数据。例如，由生成模块220生成的模型可以由存储模块250存储以供匹配模块240获取。由匹配模块240生成的关于匹配的信息也可以由存储模块250存储。电子商务服务器120或140可以向用户请求模型(例如，通过提供用户标识符)，其可以由存储模块250从存储器获取并且使用通信模块210通过网络170发送。
图3是示出了根据一些示例实施例的设备150的组件的框图。设备150被示出为包括全都被配置为(例如，经由总线、共享存储器或交换机)彼此通信的输入模块310、相机模块320和通信模块330。本文描述的任何一个或多个模块可以使用硬件(例如机器的处理器)或硬件与软件的组合来实现。例如，本文描述的任何模块可以将处理器配置为执行本文中针对该模块描述的操作。此外，这些模块中的任何两个或多个模块可被合并为单一模块，且本文中针对单一模块描述的功能可以再划分到多个模块中。此外，根据各种示例实施例，本文描述为在单个机器、数据库或设备中实施的模块可以分布在多个机器、数据库或设备中。
输入模块310被配置为经由用户接口从用户接收输入。例如，用户可以将他们的身高、体重和性别输入到输入模块中，配置相机，选择将要适配到模型的项目等。在一些示例实施例中，基于用户的图像自动确定而不是由用户明确输入身高、体重和性别。
相机模块320被配置为捕获图像数据。例如，可以从相机接收图像，可以从红外相机接收深度图像，或者可以从双目相机接收一对图像。
通信模块330被配置为将由输入模块310或相机模块320接收的数据传送给模型适配服务器130。例如，输入模块310可以接收包含用户身高和体重的输入，并且通信模块330可以将关于用户的信息发送给模型适配机器130以存储在可由条件模块240访问的数据库中。
图4是示出了根据一些示例实施例的模型适配服务器130和设备150来执行生成合成模型的处理400的操作的流程图。
在操作410中，访问要建模的群体的年龄、性别、身高和体重分布。例如，可以从多个群体获得的在线人口普查数据中获取数据。在一些示例实施例中，访问更多或更少的分布。例如，可以考虑强壮度和种族。可以使用下表中显示的分布。每个单元格中显示的值是均值(例如，18-24岁的男性的均值身高是176.7厘米)，随后在括号中显示标准差。例如，30岁(年龄在25-44岁之间)身高163.5厘米的女性比均值高一个标准差。
Figure BDA0001270102050000081
在操作420中，基于一个或多个所访问的分布来生成模型。也就是说，可以生成模型的群体，以具有与人类群体中的分布属性相似的分布属性。因此，将生成更多具有与均值接近的值的模型，并将生成更少具有较少共同值的模型。可以使用MakeHuman生成模型，这是一个设计用于逼真的3D人体模型进行原型的开源python框架。MakeHuman包含标准的操纵(rigged)人类网格，并且可以基于特定虚拟角色的规范化属性生成逼真的人物角色。合成模型可以由Wavefront.obj文件(3D网格)、.skel骨架文件(关节位置)、BiovisionHierarchy.bvh(操纵骨架数据)文件和包含年龄、性别、身高、体重、肌肉和人种的属性的文本文件来表示。在一些示例实施例中，使用该系统用与根据实际群体生成模型相比较少的时间生成了大量具有真实世界年龄、身高、体重和性别分布的逼真的合成模型。
图5是示出了根据一些示例实施例的用于使用合成数据的快速3D模型适配和人体测量的人体模型中的关节位置的代表图。如图5所示，人体模型500包括15个关节，如下所示：
关节标签 身体位置
HE 头
NE 颈部
TO 躯干
LS 左肩
LE 左肘
LA 左手
RS 右肩
RE 右肘
RA 右手
LH 左髋
LK 左膝
LF 左脚
RH 右臀
RK 右膝
RF 右脚
图6是示出了根据一些示例实施例的模型适配服务器130和设备150来执行生成合成模型的处理600的操作的流程图。
在操作610中，通过图像处理模块230访问深度传感器数据。例如，图像处理模块230可以从相机模块320捕获的KinectTM RGB-D帧(包含红色、绿色、蓝色和深度数据)中提取人物剪影并将其转换为3D点云。
图像处理模块230可以通过使用提供人的二进制分割掩模的OpenNI以及与不同身体关节相对应的骨骼关键点来在操作620中获得关节位置。如图5所示，在OpenNI中，在3D真实世界坐标系中共有15个关节位置。关节的3D位置可以通过投影转换为成像平面上的2D坐标。
在操作630中定义用户的主轴。主轴可以被定义为{u，v，w}，其中
Figure BDA0001270102050000101
也就是说，u是从颈关节到躯干关节处的向量，通过该向量的长度归一化，v是从左肩到右肩的向量，通过该向量的长度归一化，w是u和v的叉积。因此，对于直立且直接面对相机的用户，u向量将指向下，v向量将从用户身体的左侧指向用户身体的右侧，并且w向量将从用户指向相机。
在一些示例实施例中，进行检查，确认用户几乎是直立的。例如，以下等式可用于测量u向量与从躯干关节处到直接位于两个肩关节之间的点所绘制的线平行的程度。
Figure BDA0001270102050000102
如果方程式左侧的值超过阈值ε1，则可以提示用户再次摆姿势。1在一些示例实施例中，ε1使用值0.1。
在操作640中，对身高进行估计。例如，可以通过对深度图设置阈值并将其投影到由u和v定义的二维平面上来提取用户的分割二维剪影的轮廓。然后，选择满足以下条件的轮廓上的点：
Figure BDA0001270102050000103
Pc是轮廓上的任意点，并且ε2是阈值(例如，0.1)。所得到的点位于轮廓内并大致在u上。这些点是垂直排列的，并找到顶点和底点。顶点和底点可以转换回3D真实世界坐标，并且估计的高度计算为两点之间的欧几里德距离。
在操作650中估计袖长和腿长。例如，使用3D真实世界坐标，袖长可以计算为平均值
Figure BDA0001270102050000111
类似地，腿长可以估计为平均值
Figure BDA0001270102050000112
在操作660中，估计颈(neck)围、肩(shoulder)围、胸(chest)围、腰(waist)围和臀(hip)围。为了得到颈围、肩围、胸围、腰和臀围的估计，图像处理模块230首先定义3D点x，然后计算3D点云与穿过x并垂直于u的平面之间的交线。由于OpenNI跟踪的关节被设计为对交互式游戏有帮助，而不是解剖学上精确，对OpenNI报告的原始关节位置作出一些调整，使其更接近实际的解剖位置。可以根据下面的等式来定义新的关节位置。
Figure BDA0001270102050000113
Figure BDA0001270102050000114
Figure BDA0001270102050000115
Xwaist＝TO
Figure BDA0001270102050000116
当使用单个图像的单个深度通道时，只有用户的正面视图可用。为了生成3D视图，椭圆拟合于一个或多个横截面上的点以获得全身测量。当多幅图像可用时也可以使用椭圆拟合。每个椭圆的点可以定义为点云中的点p的集合，其中点与x的垂直距离小于阈值。或者用数学项：
Figure BDA0001270102050000121
阈值ε3是小的正分数(例如，0.1)。在一些示例实施例中，实时对测量进行估计。
在操作670中，匹配模块240获取与用户数据最匹配的模型。可以使用特征向量来执行用户数据和模型集合(例如，在操作420中生成的模型集合)之间的比较。例如，特征向量可以被分成具有不同体重的三组特征：全身体形、性别和局部体形。
全身体形特征可包括身高、袖长、腿长和肩宽。这些特征反映出人体较长的维度。
性别特征可以包括两个比例，如下。
Figure BDA0001270102050000122
Figure BDA0001270102050000123
比例1是胸部周围的3D表面距离与左肩关节和右肩关节之间的欧几里德距离的比例。在所有其他方面相同的情况下，比例2趋向于对于女性较大、对于男性较小。比例2是三维地或二维地获得的臀部与腰围之间的比例。在所有其他方面相同的情况下，比例2也趋向于对于女性较大、对于男性较小。
局部体形特征组针对每个局部计算点包括一个元素。例如，Fast point featurehistograms(fpfh)for 3d registration，Rusu et al.，Robotics and Automation 3212-3217(May 2009)中描述的快速点特征直方图(FPFH)可以在每个15个关节的搜索半径为20厘米。在该示例中，495个特征存在于局部体形特征组中。
一旦创建了特征向量，匹配模块230可以执行最近邻搜索，以找出合成数据集中最接近适配匹配。在一个示例实施例中，用于50,000个合成模型的特征向量数据集的大小大约为25MB，并且在2.26GHz Intel Xeon E5507机器上完成单个查询大约需要800ms。
匹配模型可用于各种目的中的任意一种。例如，可以访问尺寸适配图，其指示哪个具体身体测量或身体测量的集合与一件衣服的特定尺寸相对应。通过从模型中读取适当的身体尺寸，可以确定用户衣服的正确尺寸。作为另一示例，如果衣服的测量是已知的，则可以生成并在匹配模型的顶部用正确的比例呈现的衣服的模型，从而允许用户看到衣服有多合身。作为另一示例，匹配模型可以被放置在游戏或虚拟现实环境中以表示用户。
图7是图示说明了根据一些示例实施例的用于使用合成数据的快速3D模型适配和人体测量的方法的流程图。图像710描绘了用户设置图像捕获系统，例如设备150。图像捕获系统捕获包括如图像720所示的深度数据的用户的图像。在所示的示例图像中，由于用户更靠近相机，因此用户以比背景中的更浅的灰色呈现。基于深度数据，标识匹配模型(例如重建的3D模型730)。使用模型数据和服装的尺寸数据，将服装适配在身体上并进行建模，从而形成了穿着衣服的模型740。
图8是示出了根据一些示例实施例的适用于使用合成数据的快速3D模型适配和人体测量的方法的结果的表格800。表800的每一行显示输入深度图、根据输入深度图生成的法线深度图、基于归一化深度图从预先生成的合成模型的集合中选择的所选3D模型、以及基于所选的3D模型和所显示的服装的尺寸信息的穿衣服的模型。法线深度图是其中根据色码表示每个像素的表面法线(即，相对于相机表示的对象的方向)的深度图的表示。
根据各种示例实施例，本文描述的一个或多个方法可以便于确定用户的3D模型。此外，本文描述的一种或多种方法可以有助于在不动态生成3D模型的情况下确定用户的3D模型。此外，本文描述的一种或多种方法可以有助于更快速地选择用户的3D模型，并且与以前的方法相比较使用较少的计算能力。
当总体来考虑这些效果时，本文描述的一个或多个方法可以消除针对某些工作量或资源的需求，该某些工作量或资源在其他情况下将在生成或选择表示用户的模型中涉及。通过本文描述的一个或多个方法，还可以减少用户在订购感兴趣物品时所付出的努力。例如，从预生成集合中准确地选择模型可以使用户能够比使用专门为用户生成的模型更快地、并且与用户猜测尺寸而没有模型辅助相比更精确地看到项目的实际适配。可以类似地减少由(例如在网络环境100中的)一个或多个机器、数据库或设备使用的计算资源。这样的计算资源的示例包括处理器循环、网络流量、存储器使用状况、数据存储容量、功耗以及冷却能力。类似地，存在用于提供对应于用户的3D模型的机器，并且本文呈现的系统和方法是对用于提供与用户对应的3D模型的技术的改进。
图9是示出了根据一些示例实施例的用于使用合成数据的快速3D模型适配和人体测量的数据库结构的框图。数据库900包括用户表910、模型表920和物品表930。在一些示例实施例中，可以在表910-930的每一个中使用附加元素的或更少的元素。
用户表910包括唯一地标识每个用户的用户标识符(“ID”)，以及用户的身高、体重和性别。如上面参考图6-8所示，关于用户的信息可用于标识用户的3D模型。可以在用户的模型ID字段中存储对于3D模型的模型表920的参考。在一些示例实施例中，例如身高、体重和性别的用户信息被用于确定模型ID，但之后被丢弃并且不存储在用户表910中。在一些示例实施例中，存储与用户的身体相关的附加用户数据字段，例如周长和宽度测量(例如胸部宽度和胸围)以及用户的一个或多个身体测量比例。在一些示例实施例中，存储附加用户数据，例如姓名、地址、电子邮件地址和偏好。
模型表920包括唯一地标识每个模型的模型ID以及该模型的高度、体重和性别。模型表920还包括每个模型的3D模型数据。例如，模型的网格的数据表示可以直接存储在模型表920中，或者可以存储包含数据的文件名。在一些示例实施例中，用于生成模型的附加数据被存储在模型表920中，例如模型的周长和宽度值以及身体测量比例。
项目表930包括唯一地标识每个项目(例如，衣服物品)的项目ID以及该项目的图像、该项目的描述以及该项目的3D模型数据。在某些示例实施例中，在商品表930中存储更少的字段。例如，当存在3D模型数据时，可以根据3D模型数据动态生成物品的图像。作为另一示例，可以存在测量信息，允许根据测量信息和项目的图像动态地生成3D模型数据。
图10是示出了根据一些示例实施例的能够从机器可读介质(例如机器可读存储介质、计算机可读存储介质或其任意适当组合)读取指令并完全或部分执行此处讨论的方法中的任意一个或多个的机器1000的组件。机器1000可以用于实现电子商务服务器120和140、模型适配服务器130和设备150。具体地，图10示出了计算机系统示例形式的机器1000的示意表示，其中，可以完全或部分执行用于使机器1000执行此处讨论的方法中的任意一个或多个的指令1024(例如软件、程序、应用、小程序、app或其他可执行代码)。在备选实施例中，机器1000作为独立设备操作或者可以连接至(例如联网直)其他机器。在联网部署中，机器800可以以服务器-客户端网络环境中的服务器机器或客户端机器的资格操作，或者作为分布式(例如对等)网络环境中的对等机器操作。机器1000可以是服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、智能电话、web设备或者能够顺序地或以其他方式执行指令1024的任何机器，所述指令1524指定该机器要采取的动作。此外，虽然仅示出了单个机器，术语“机器”还应视为包括独立或关节执行指令1024以执行此处讨论的方法中的任意一个或多个的全部或部分的机器的集合。
机器1000包括被配置为彼此经由总线1008通信的处理器1002(例如中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)、或其任意适当组合)、主存储器1004和静态存储器1006。机器1000还可以包括图形显示器1010(例如等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT)。机器1000还可以包括字母数字输入设备1012(例如键盘)、光标控制设备1014(例如鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他定位仪器)、存储单元1016、信号生成设备1018(例如，扬声器)和网络接口设备1020。
存储单元1016包括其上存储有指令1024的机器可读介质1022，所述指令1524实现此处描述的方法或功能中的任意一个或多个。指令1024还可以在机器1000执行期间完全或至少部分驻留在主存储器1004内、处理器1002内(例如处理器的高速缓存内)或两者内。因此，主存储器1004和处理器1002可以被视为机器可读介质。指令1024可以通过网络1026(例如，网络170)经由网络接口设备1020发送或接收。
如本文所使用的，术语“存储器”指能够临时或永久地存储数据的机器可读介质，并且可看作包括但不限随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存以及高速缓存存储器。尽管机器可读介质1022在示例实施例中被示为单个介质，术语“机器可读介质”应看作包括能够存储指令的单个介质或多个介质(例如，集中式或分布式数据库，或相关联的高速缓存和服务器)。术语“机器可读介质”还应看作包括任何能够存储指令的介质或多个介质的组合，所述指令供机器(例如，机器1000)执行，使得当指令被机器的一个或多个处理器(例如处理器1002)执行时使机器执行此处描述的方法中的任意一个或多个。因此，“机器可读介质”指单个存储装置或设备、以及包括多个存储装置或设备的“基于云”的存储系统或存储网络。因此，术语“机器可读机制”应看作包括但不限于采取固态存储器、光学介质、磁介质或其任意适当组合的形式的一个或多个数据仓库。
此外，机器可读介质可以是瞬时的，体现在其实现传播信号。
在该说明书中，复数实例可以实现被描述为单数实例的组件、操作或结构。虽然一个或多个方法的各个操作被示意和描述为分离的操作，但是各个操作中的一个或多个可以同时执行，并且无需按所示顺序执行操作。在示例配置中被示为分离组件的结构和功能可以被实现为组合结构或组件。类似地，被示为单个组件的结构和功能可以被实现为分离的组件。这些和其他变型、修改、添加和改进落入本主题的范围内。
某些实施例在本文中被描述为包括逻辑或多个组件、模块或机制。模块可以构成硬件模块。“硬件模块”是能够执行某些操作的有形单元，并且可以按照某种物理方式配置或布置。在各种示例实施例中，一个或多个计算机系统(例如独立的计算机系统、客户端计算机系统或服务器计算机系统)或者计算机系统的一个或多个硬件模块(例如处理器或处理器组)可由元件(例如应用或应用部分)配置为操作为执行本文描述的特定操作的硬件模块。
在一些实施例中，硬件模块可以按照机械方式、电子方式或其任意适当组合来实现。例如，硬件模块可以包括永久地被配置为执行特定操作的专用电路或逻辑。例如，硬件模块可以是专用处理器，如现场可编程门阵列(FPGA)或ASIC。硬件模块还可以包括由软件临时配置为执行特定操作的可编程逻辑或电路。例如，硬件模块可以包括通用处理器或其他可编程处理器中包含的软件。应理解：以机械方式、以专用和永久配置的电路或以临时配置的电路(例如由软件配置)实现硬件模块的决定可出于成本和时间的考虑。
因此，短语“硬件模块”应理解为涵盖有形实体，是在物理上构造、永久配置(例如硬线连接)或临时配置(例如编程)为以特定方式操作或执行本文描述的特定操作的实体。如本文所使用的，“硬件实现的模块”指硬件模块。考虑临时配置(例如编程)硬件模块的实施例，无需在任一时刻配置或实例化硬件模块中的每一个。例如，如果硬件模块包括被软件配置成为专用处理器的通用处理器，则通用处理器可以在不同时刻被配置为分别不同的专用处理器(例如包括不同的硬件模块)。因此，软件可以将处理器例如配置为在一个时刻构成特定硬件模块并在另一时刻构成不同的硬件模块。
硬件模块可以向其他硬件模块提供信息并从其他硬件模块接收信息。因此，所描述的硬件模块可以被看作通信地耦接。如果同时存在多个硬件模块，则可以通过两个或多个硬件模块之间的信号传输(例如通过适当的电路和总线)实现通信。在多个硬件模块在不同时间配置或实例化的实施例中，可以例如通过存储并获取多个硬件模块可访问的存储器结构中的信息来实现这样的硬件模块之间的通信。例如，一个硬件模块可以执行操作并在与其通信耦接的存储设备中存储该操作的输出。另一硬件模块接着可以稍后访问存储器设备，以获取并处理所存储的输出。硬件模块还可以发起与输入或输出设备的通信，并且能够对资源(例如信息的集合)进行操作。
此处描述的示例方法的各种操作可以至少部分地由临时配置(例如通过软件)或永久配置为执行相关操作的一个或多个处理器执行。无论临时还是永久配置，这样的处理器可以构成操作为执行本文描述的一个或多个操作或功能的处理器实现的模块。如本文所使用的，“处理器实现的模块”指使用一个或多个处理器实现的硬件模块。
类似地，本文描述的方法可以至少部分是处理器实现的，处理器是硬件的示例。例如，方法的至少一些操作可由一个或多个处理器或处理器实现的模块执行。此外，一个或多个处理器还可操作以支持在“云计算”环境中或作为“软件即服务”(SaaS)执行有关操作。例如，操作中的至少一些可由计算机(作为包括处理器的机器的示例)组执行，这些操作可经由网络(例如互联网)并经由一个或多个适当接口(例如应用程序接口(API))来访问。
某些操作的执行可以分布在一个或多个处理器中，并不只驻留在单个机器中，而是布置在多个机器中。在一些示例实施例中，一个或多个处理器或处理器实现的模块可以位于单个地理位置(例如在家庭环境、办公室环境或服务器群中)。在其他示例实施例中，一个或多个处理器或处理器实现的模块可以分布在多个地理位置。
本文讨论的主题的一些部分可以用算法或对数据的操作的符号表示来呈现，所述数据存储为机器存储器(例如计算机存储器)内的比特或二进制数字信号。这样的算法或符号表示是数据处理技术领域普通技术人员用来向本领域其他技术人员传达他们工作实质的技术的示例。如本文所使用的，“算法”是操作的自洽序列或导致期望结果的类似处理。在该上下文中，算法和操作涉及对物理量的物理操作。通常但非必要地，这样的量可以采取能够由机器存储、访问、传输、组合、比较或以其他方式操纵的电气、磁或光学信号的形式。有时，主要由于常见用法的原因，使用例如“数据”、“内容”、“比特”、“值”、“元素”、“符号”、“字符”、“项”、“数”、“数字”等词语来指代这样的信号是方便的。然而，这些词语仅仅是方便的标记，并且应与适当的物理量相关联。
除非另行具体说明，本文使用例如“处理”、“计算”、“运算”、“确定”、“呈现”、“显示”等词语的讨论可以指操纵或变换被表示为一个或多个存储器(例如易失性存储器、非易失性存储器或其任意组合)、寄存器或接收、存储、发送或显示信息的其他机器组件内的物理(例如电子、磁或光学)量的数据的机器(例如计算机)的动作或过程。此外，除非另行具体说明，如专利文献中常见的，本文中的术语“一”或“一个”用于包括一个或多于一个实例。最后，如本文所使用的，除非特别说明，连词“或”指非排他的“或”。
以下列举的示例定义了本文讨论的方法，机器可读介质和系统(例如，装置)的各种示例实施例：
示例1.一种方法，包括：
访问用户的图像；
由机器的处理器基于所述用户的图像，确定所述用户的身体属性；
基于用户的身体属性和模型的相应属性之间的匹配从模型的集合中选择模型；以及
使得在显示设备上呈现所选模型。
示例2.根据示例1所述的方法，还包括基于属性的群体分布来合成所述模型的集合。
示例3.根据示例1或示例2所述的方法，其中所述属性的群体分布包括每种性别的属性的均值和标准差。
示例4.根据示例1至3种任意合适的一个所述的方法，其中，作为所述用户的特征向量与所述模型的特征向量的比较的一部分，找到所述用户的身体属性与所述模型的相应属性之间的匹配，特征向量中的每一个包括身高值、体重值和性别值。
示例5.根据示例4所述的方法，其中所述特征向量中的每一个进一步包括颈围值、肩围值、胸围值、腰围值和臀围值。
示例6.根据示例1至5中任意合适的一个所述的方法，其中：
所述用户的图像包括深度图；以及
对所述用户的身体属性的确定基于所述深度图。
示例7.根据示例1至6中任意合适的一个所述的方法，其中，对所述用户的身体属性的确定包括确定所述用户的主轴。
示例8.根据示例1-7中的任意合适的一个所述的方法，还包括：
从所述用户接收对衣服物品的选择；
基于所选模型确定衣服物品的尺寸；以及
其中，所述使得在显示设备上呈现所选模型包括在所述显示设备上呈现穿着所述衣服物品的所选模型的表示。
示例9.根据示例1-8中的任意合适的一个所述的方法，还包括：
基于衣服物品的尺寸，生成穿着所述衣服物品的模型的表示。
示例10.一种系统，包括：
一个或多个处理器，被配置为执行包括以下步骤的操作：
访问用户的图像；
基于所述用户的图像，确定所述用户的身体属性；
基于用户的身体属性和模型的相应属性之间的匹配从模型的集合中选择模型；以及
使得在显示设备上呈现所选模型。
示例11.根据示例10所述的系统，其中，所述操作还包括：
基于属性的群体分布来合成所述模型的集合。
示例12.根据示例11所述的系统，其中所述属性的群体分布包括每种性别的属性的均值和标准差。
示例13.根据示例10至12种任意合适的一个所述的系统，其中，作为所述用户的特征向量与所述模型的特征向量的比较的一部分，找到所述用户的身体属性与所述模型的相应属性之间的匹配，特征向量中的每一个包括身高值、体重值和性别值。
示例14.根据示例13所述的系统，其中所述特征向量中的每一个进一步包括颈围值、肩围值、胸围值、腰围值和臀围值。
示例15.根据示例10至14中任意合适的一个所述的系统，其中：
所述用户的图像包括深度图；以及
对所述用户的身体属性的确定基于所述深度图。
示例16.根据示例10至15中任意合适的一个所述的系统，其中，对所述用户的身体属性的确定包括确定所述用户的主轴。
示例17.根据示例10至16中任意合适的一个所述的系统，其中，所述操作还包括：
从所述用户接收对衣服物品的选择；
基于所选模型确定衣服物品的尺寸；以及
其中使得在显示设备上呈现所选模型包括在所述显示设备上呈现穿着所述衣服物品的所选模型的表示。
示例18.根据示例17所述的系统，其中，所述操作还包括：
基于衣服物品的尺寸，生成穿着所述衣服物品的模型的表示。
示例19.一种机器可读介质，承载指令以执行根据示例1至9中任一个所述的方法。

Claims (19)

1.一种计算机实现的方法，包括：
访问用户的图像；
基于所述用户的图像，确定所述用户的身体属性；
从用户的图像或从用户的输入获取用户的身高、体重和性别信息；
基于用户的身体属性和预生成模型的相应属性之间的匹配从所述预生成模型的集合中选择模型，其中，作为与身体属性相关联的所述用户的特征向量与所述模型的特征向量的比较的一部分，找到所述用户的身体属性与所述模型的相应属性之间的匹配，所述特征向量中的每一个包括身高值、体重值和性别值，以及预生成模型的集合中的每个预生成模型包括模型标识符，用于用户对预生成模型的参考；以及
使得在显示设备上呈现所选模型。
2.根据权利要求1所述的方法，还包括：基于属性的群体分布来合成所述预生成模型的集合。
3.根据权利要求2所述的方法，其中，所述属性的群体分布包括每种性别的属性的均值和标准差。
4.根据权利要求1所述的方法，其中，所述特征向量中的每一个还包括：颈围值、肩围值、胸围值、腰围值和臀围值。
5.根据权利要求1所述的方法，其中：
所述用户的图像包括深度图；以及
对所述用户的身体属性的确定基于所述深度图。
6.根据权利要求1所述的方法，其中，对所述用户的身体属性的确定包括确定所述用户的主轴。
7.根据权利要求1所述的方法，还包括：
从所述用户接收对衣服物品的选择；
基于所选模型确定衣服物品的尺寸；以及
其中，所述使得在显示设备上呈现所选模型包括在所述显示设备上呈现穿着所述衣服物品的所选模型的表示。
8.根据权利要求7所述的方法，还包括：
基于所述衣服物品的尺寸，生成穿着所述衣服物品的模型的表示。
9.一种用于模型适配的系统，包括：
一个或多个处理器，被配置为执行包括以下步骤的操作：
访问用户的图像；
基于所述用户的图像，确定所述用户的身体属性；
从用户的图像或从用户的输入获取用户的身高、体重和性别信息；
基于用户的身体属性和预生成模型的相应属性之间的匹配从所述预生成模型的集合中选择模型，其中，作为与身体属性相关联的所述用户的特征向量与所述模型的特征向量的比较的一部分，找到所述用户的身体属性与所述模型的相应属性之间的匹配，所述特征向量中的每一个包括身高值、体重值和性别值，以及预生成模型的集合中的每个预生成模型包括模型标识符，用于用户对预生成模型的参考；以及
使得在显示设备上呈现所选模型。
10.根据权利要求9所述的系统，其中，所述操作还包括：
基于属性的群体分布来合成所述预生成模型的集合。
11.根据权利要求10所述的系统，其中，所述属性的群体分布包括每种性别的属性的均值和标准差。
12.根据权利要求9所述的系统，其中所述特征向量中的每一个还包括：颈围值、肩围值、胸围值、腰围值和臀围值。
13.根据权利要求9所述的系统，其中，
所述用户的图像包括深度图；以及
对所述用户的身体属性的确定基于所述深度图。
14.根据权利要求9所述的系统，其中，对所述用户的身体属性的确定包括确定所述用户的主轴。
15.根据权利要求9所述的系统，其中，所述操作还包括：
从所述用户接收对衣服物品的选择；
基于所选模型确定衣服物品的尺寸；以及
其中，所述使得在显示设备上呈现所选模型包括在所述显示设备上呈现穿着所述衣服物品的所选模型的表示。
16.根据权利要求15所述的系统，其中，所述操作还包括：
基于所述衣服物品的尺寸，生成穿着所述衣服物品的模型的表示。
17.一种非瞬时性机器可读介质，所述非瞬时性机器可读介质上实现有指令，所述指令能够由机器的处理器执行以执行包括以下各项的操作：
访问用户的图像；
基于所述用户的图像，确定所述用户的身体属性；
从用户的图像或从用户的输入获取用户的身高、体重和性别信息；
基于用户的身体属性和预生成模型的相应属性之间的匹配从所述预生成模型的集合中选择模型，其中，作为与身体属性相关联的所述用户的特征向量与所述模型的特征向量的比较的一部分，找到所述用户的身体属性与所述模型的相应属性之间的匹配，所述特征向量中的每一个包括身高值、体重值和性别值，以及预生成模型的集合中的每个预生成模型包括模型标识符，用于用户对预生成模型的参考；以及
使得在显示设备上呈现所选模型。
18.根据权利要求17所述的非瞬时性机器可读介质，其中，所述操作还包括：基于属性的群体分布来合成所述预生成模型的集合。
19.一种承载指令的机器可读介质，所述指令能够由机器的处理器执行以执行根据权利要求1至8中任一项所述的方法。
CN201580055935.2A 2014-10-17 2015-10-15 快速3d模型适配和人体测量 Active CN107111833B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462065163P 2014-10-17 2014-10-17
US62/065,163 2014-10-17
US14/883,419 2015-10-14
US14/883,419 US9928412B2 (en) 2014-10-17 2015-10-14 Method, medium, and system for fast 3D model fitting and anthropometrics
PCT/US2015/055723 WO2016061341A1 (en) 2014-10-17 2015-10-15 Fast 3d model fitting and anthropometrics

Publications (2)

Publication Number Publication Date
CN107111833A CN107111833A (zh) 2017-08-29
CN107111833B true CN107111833B (zh) 2022-09-13

Family

ID=55747338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580055935.2A Active CN107111833B (zh) 2014-10-17 2015-10-15 快速3d模型适配和人体测量

Country Status (5)

Country Link
US (3) US9928412B2 (zh)
EP (1) EP3207525A4 (zh)
KR (2) KR20170073623A (zh)
CN (1) CN107111833B (zh)
WO (1) WO2016061341A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10332176B2 (en) 2014-08-28 2019-06-25 Ebay Inc. Methods and systems for virtual fitting rooms or hybrid stores
US10529009B2 (en) 2014-06-25 2020-01-07 Ebay Inc. Digital avatars in online marketplaces
US10653962B2 (en) 2014-08-01 2020-05-19 Ebay Inc. Generating and utilizing digital avatar data for online marketplaces
US10366447B2 (en) 2014-08-30 2019-07-30 Ebay Inc. Providing a virtual shopping environment for an item
US9928412B2 (en) 2014-10-17 2018-03-27 Ebay Inc. Method, medium, and system for fast 3D model fitting and anthropometrics
US11087517B2 (en) * 2015-06-03 2021-08-10 Disney Enterprises, Inc. Sketch-based abstraction for character posing and synthesis
CN104978762B (zh) * 2015-07-13 2017-12-08 北京航空航天大学 服装三维模型生成方法及系统
WO2017030255A1 (en) * 2015-08-18 2017-02-23 Samsung Electronics Co., Ltd. Large format display apparatus and control method thereof
CN105096335B (zh) * 2015-09-17 2018-12-21 无锡天脉聚源传媒科技有限公司 一种传输评价信息的方法及装置
CN109074641B (zh) * 2016-04-28 2022-02-11 富士通株式会社 骨骼估计装置、骨骼估计方法以及骨骼估计程序
US10249100B2 (en) * 2016-08-29 2019-04-02 Physan, Inc. Method and system for progressive drape update on avatar morph for virtual fitting
CN106952333A (zh) * 2017-02-14 2017-07-14 深圳奥比中光科技有限公司 一种创建人体参数化模型的方法及系统
CN106952335B (zh) * 2017-02-14 2020-01-03 深圳奥比中光科技有限公司 建立人体模型库的方法及其系统
CN106980383A (zh) * 2017-03-31 2017-07-25 哈尔滨工业大学 一种虚拟模型展示方法、模块及基于该模块的虚拟人体解剖模型展示系统
US10776861B1 (en) * 2017-04-27 2020-09-15 Amazon Technologies, Inc. Displaying garments on 3D models of customers
EP3624059A4 (en) 2017-05-10 2020-05-27 Fujitsu Limited METHOD, DEVICE, TARGET OBJECT RECOGNITION SYSTEM, AND PROGRAM
CN107203266A (zh) * 2017-05-17 2017-09-26 东莞市华睿电子科技有限公司 一种基于vr的数据处理方法
CN107273846B (zh) * 2017-06-12 2020-08-07 江西服装学院 一种人体体型参数确定方法及装置
US10814817B2 (en) * 2017-06-15 2020-10-27 Ford Global Technologies, Llc Occupant position detection
KR101995277B1 (ko) * 2017-07-31 2019-10-02 주식회사 자이언소프트 가상신체 구현 시스템
WO2019030794A1 (ja) * 2017-08-07 2019-02-14 富士通株式会社 情報処理装置、モデルデータ作成プログラム、モデルデータ作成方法
CN111602165A (zh) * 2017-11-02 2020-08-28 立体丈量有限公司 衣服模型生成和显示系统
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
US10417802B2 (en) * 2017-12-20 2019-09-17 Binary Bubbles, Inc. System and method for creating customized characters and selectively displaying them in an augmented or virtual reality display
US10262432B1 (en) 2017-12-30 2019-04-16 Gabriel Keilholz System and method for measuring and comparing items using computer vision
US10949756B2 (en) 2018-02-01 2021-03-16 Binary Bubbles, Inc. System and method for creating and selectively modifying characters and conditionally presenting customized characters via electronic channels
CN112262363A (zh) * 2018-02-27 2021-01-22 利惠商业有限公司 激光整理设计工具
US10321728B1 (en) * 2018-04-20 2019-06-18 Bodygram, Inc. Systems and methods for full body measurements extraction
US11158121B1 (en) * 2018-05-11 2021-10-26 Facebook Technologies, Llc Systems and methods for generating accurate and realistic clothing models with wrinkles
KR102157246B1 (ko) * 2018-09-19 2020-10-23 재단법인 실감교류인체감응솔루션연구단 실제 손에 대응하는 가상 손 모델링 방법 및 이를 위한 장치
CN109522886B (zh) * 2019-01-15 2021-11-30 广州唯品会研究院有限公司 形体数据的测量方法、装置以及计算机可读存储介质
CN109766464B (zh) * 2019-01-15 2021-08-17 广州唯品会研究院有限公司 体型样本数据库的生成方法、装置及计算机可读存储介质
CN110037373B (zh) * 2019-05-30 2021-06-25 南京邮电大学 一种基于边界跟踪的人体尺寸测量方法
CN110197576B (zh) * 2019-05-30 2021-04-20 北京理工大学 一种大规模实时人体动作采集重构系统
CN110215211B (zh) * 2019-06-14 2021-10-22 成都高鹿科技有限公司 个体身高测量及分析方法、系统、可读存储介质及终端
CN110460834A (zh) * 2019-08-15 2019-11-15 绍兴市博亚服饰有限公司 一种3d智能拍照手机的相机拍照方法
CN114667530A (zh) 2019-08-29 2022-06-24 利惠商业有限公司 具有服装和精加工的虚拟预览的数字陈列室
EP4023155A4 (en) * 2019-09-01 2023-10-18 LG Electronics Inc. BODY MEASUREMENT DEVICE AND ASSOCIATED CONTROL METHOD
US11282257B2 (en) 2019-11-22 2022-03-22 Adobe Inc. Pose selection and animation of characters using video data and training techniques
US11361467B2 (en) * 2019-11-22 2022-06-14 Adobe Inc. Pose selection and animation of characters using video data and training techniques
WO2021107205A1 (ko) * 2019-11-28 2021-06-03 주식회사 지이모션 의상 모델링을 위한 바디 형상 표시 방법
KR102382633B1 (ko) * 2019-11-29 2022-04-04 오드컨셉 주식회사 패션 정보 제공 방법, 장치 및 시스템
SE545466C2 (en) * 2021-02-05 2023-09-19 Volumental AB Method and electronic arrangement for item matching for a user´s body part
US20230139841A1 (en) * 2021-10-28 2023-05-04 Phyxd Inc. System and method for evaluating patient data
CN114088204A (zh) * 2021-11-18 2022-02-25 上海交通大学 一种可穿戴核心体温测量方法和设备
CN114842147A (zh) * 2022-05-16 2022-08-02 聚好看科技股份有限公司 一种测量人体参数的方法及电子设备
FR3136876A1 (fr) * 2022-06-15 2023-12-22 Vyzion Système d’essayage digital pour vente en ligne de vêtements, procédé et programme sur la base d’un tel système.
US11893847B1 (en) 2022-09-23 2024-02-06 Amazon Technologies, Inc. Delivering items to evaluation rooms while maintaining customer privacy
CN116309940B (zh) * 2023-03-22 2023-11-24 浪潮智慧科技有限公司 一种基于动画弹窗组件的地图信息显示方法、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091269A (zh) * 2014-06-30 2014-10-08 京东方科技集团股份有限公司 一种虚拟试衣方法及虚拟试衣系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6546309B1 (en) * 2000-06-29 2003-04-08 Kinney & Lange, P.A. Virtual fitting room
US20050234782A1 (en) * 2004-04-14 2005-10-20 Schackne Raney J Clothing and model image generation, combination, display, and selection
JP2005321986A (ja) * 2004-05-07 2005-11-17 Pioneer Electronic Corp ヘアスタイル提案システム、ヘアスタイル提案方法、及びコンピュータプログラム
US8976160B2 (en) * 2005-03-01 2015-03-10 Eyesmatch Ltd User interface and authentication for a virtual mirror
BRPI0917864A2 (pt) * 2008-08-15 2015-11-24 Univ Brown aparelho e método para estimativa da forma corporal
US8487938B2 (en) 2009-01-30 2013-07-16 Microsoft Corporation Standard Gestures
WO2013189058A1 (en) 2012-06-21 2013-12-27 Microsoft Corporation Avatar construction using depth camera
US9098873B2 (en) 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
CN103155003B (zh) * 2010-10-08 2016-09-28 松下电器产业株式会社 姿势估计装置及姿势估计方法
US9251591B2 (en) * 2010-12-01 2016-02-02 Cornell University Body shape analysis method and system
CN202058151U (zh) * 2010-12-15 2011-11-30 西安天动数字科技有限公司 一种虚拟更衣系统
GB201102794D0 (en) * 2011-02-17 2011-03-30 Metail Ltd Online retail system
CN103455502A (zh) * 2012-05-30 2013-12-18 盛乐信息技术（上海）有限公司 服饰搜索方法及系统
US8633970B1 (en) * 2012-08-30 2014-01-21 Google Inc. Augmented reality with earth data
US9615788B2 (en) 2012-08-31 2017-04-11 Nuvectra Corporation Method and system of producing 2D representations of 3D pain and stimulation maps and implant models on a clinician programmer
CN103871106A (zh) 2012-12-14 2014-06-18 韩国电子通信研究院 利用人体模型的虚拟物拟合方法及虚拟物拟合服务系统
KR101707707B1 (ko) * 2012-12-14 2017-02-16 한국전자통신연구원 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템
CN103200181B (zh) * 2013-03-11 2016-03-30 刘强 一种基于用户现实身份的网络虚拟方法
CN103400274B (zh) * 2013-07-22 2016-06-08 郝芳莉 一种个性化服饰虚拟试穿戴方法
KR102184766B1 (ko) * 2013-10-17 2020-11-30 삼성전자주식회사 3차원 모델 복원 시스템 및 방법
CN103530782A (zh) * 2013-10-28 2014-01-22 浙江工商大学 基于web的网上试衣间系统
CN104091274A (zh) * 2014-07-10 2014-10-08 罗日虎 网络服装营销中服装与用户匹配的方法
US9928412B2 (en) 2014-10-17 2018-03-27 Ebay Inc. Method, medium, and system for fast 3D model fitting and anthropometrics

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091269A (zh) * 2014-06-30 2014-10-08 京东方科技集团股份有限公司 一种虚拟试衣方法及虚拟试衣系统

Also Published As

Publication number Publication date
US20180173945A1 (en) 2018-06-21
EP3207525A1 (en) 2017-08-23
EP3207525A4 (en) 2018-06-06
US20160110595A1 (en) 2016-04-21
WO2016061341A1 (en) 2016-04-21
US20220327854A1 (en) 2022-10-13
KR102346320B1 (ko) 2022-01-03
US9928412B2 (en) 2018-03-27
KR20190000907A (ko) 2019-01-03
US11403866B2 (en) 2022-08-02
KR20170073623A (ko) 2017-06-28
CN107111833A (zh) 2017-08-29

Similar Documents

Publication Publication Date Title
CN107111833B (zh) 快速3d模型适配和人体测量
US11393163B2 (en) Method and system for remote clothing selection
US10657709B2 (en) Generation of body models and measurements
US10460517B2 (en) Mobile device human body scanning and 3D model creation and analysis
US11640672B2 (en) Method and system for wireless ultra-low footprint body scanning
US10702216B2 (en) Method and system for body scanning and display of biometric data
US10628666B2 (en) Cloud server body scan data system
US10813715B1 (en) Single image mobile device human body scanning and 3D model creation and analysis
EP2686834B1 (en) Improved virtual try on simulation service
CN104679831B (zh) 一种匹配人体模型的方法及装置
US20160088284A1 (en) Method and system for determining biometrics from body surface imaging technology
CN109711472B (zh) 训练数据生成方法和装置
US11200689B1 (en) Detailed 3D estimation from a single image
Song et al. Data-driven 3-D human body customization with a mobile device
AU2017260525B2 (en) Method and system for body scanning and display of biometric data
EP3801201A1 (en) Measuring surface distances on human bodies
WO2018182938A1 (en) Method and system for wireless ultra-low footprint body scanning
Wang et al. Im2fit: Fast 3d model fitting and anthropometrics using single consumer depth camera and synthetic data
Liu et al. New anti-blur and illumination-robust combined invariant for stereo vision in human belly reconstruction
RU2805003C2 (ru) Способ и система для дистанционного выбора одежды
Saito et al. Model-based 3D human shape estimation from silhouettes for virtual fitting
US20210390727A1 (en) System and method of use of augmented reality in measuring body circumference for the use of apparel production
Samsamuddin et al. VIRTUAL CHANGING ROOM USING IMAGE PROCESSING
CN112163593A (zh) 一种快速进行人体模型匹配的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant