CN113593044B - 使服装在人的身体模型上可视化 - Google Patents

使服装在人的身体模型上可视化 Download PDF

Info

Publication number
CN113593044B
CN113593044B CN202110442289.2A CN202110442289A CN113593044B CN 113593044 B CN113593044 B CN 113593044B CN 202110442289 A CN202110442289 A CN 202110442289A CN 113593044 B CN113593044 B CN 113593044B
Authority
CN
China
Prior art keywords
person
computer
garment
scan data
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110442289.2A
Other languages
English (en)
Other versions
CN113593044A (zh
Inventor
W·威尔科克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Garment Technology Co ltd
Original Assignee
Garment Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Garment Technology Co ltd filed Critical Garment Technology Co ltd
Priority to CN202410737698.9A priority Critical patent/CN118674898A/zh
Publication of CN113593044A publication Critical patent/CN113593044A/zh
Application granted granted Critical
Publication of CN113593044B publication Critical patent/CN113593044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Radiology & Medical Imaging (AREA)

Abstract

使服装在人的身体模型上可视化。本发明涉及向人提供虚拟试衣间功能的三种计算机实现方法。这三种计算机实现方法可使人能够进行简单且高效的服装选择过程。

Description

使服装在人的身体模型上可视化
技术领域
本发明涉及使服装在人的身体模型上可视化的三种计算机实现方法。
背景技术
对于人来说，选择适宜的服装通常是困难的选择。照惯例，想要购买服装的人必须试穿许多不同尺寸的服装，以确定哪种尺寸最合适。服装的标称尺寸与服装的实际尺寸之间的关系通常取决于销售该服装的品牌。因此，想要购买服装的人通常无法信任随服装提供的尺寸信息；而相反，常常必需试穿该服装。
因此，对于希望购买服装的人来说，找到适宜服装的整个过程很耗时。现有技术中已知的典型推荐系统使用人的身高和体重来提出服装的潜在合适尺寸。然而，身高和体重都不能描述人的具体身形。提供简单的模板来供选择(各个模板皆描述身形)也由于可能未预先存储人的具体身形而导致不是最适宜的尺寸。而且，这种简单的已知模板无法考虑人的潜在移动；然而，移动会极大地影响服装的穿着舒适性和合身性。
发明内容
因此，本发明的目的是，提供向人提供改善的服装选择过程的三种计算机实现方法。
本发明的另一目的是，向人提供虚拟试衣间服务。
这些目的是通过实现独立权利要求的特征的至少一部分来实现的。按另选或有利的方式进一步开发本发明的特征在从属专利权利要求中进行了描述。
本发明涉及生成人的完全可动画化(fully animatable)身体模型以用于服装试穿目的的第一计算机实现方法，该第一计算机实现方法利用被存储在机器可读介质上或者被具体实施为电磁波的程序代码。所述第一计算机实现方法包括以下步骤：1)向所述人提供姿势指令，该姿势指令指示所述人以至少第一标称(nominal)身体姿势和第二标称身体姿势来摆姿势；2)至少接收多个第一3D点和多个第二3D点，所述多个第一3D点是基于表示所述人在处于第一实际身体姿势时的表面的第一扫描数据的，并且所述多个第二3D点是基于表示所述人在处于第二实际身体姿势时的表面的第二扫描数据的，所述至少第一实际身体姿势和第二实际身体姿势分别对应于所述至少第一标称身体姿势和第二标称身体姿势；3)分别从所述至少第一扫描数据和第二扫描数据来确定至少第一运动树(kinematictree)和第二运动树，所述至少第一运动树和第二运动树分别对应于所述至少第一实际身体姿势和第二实际身体姿势；4)在所述第一3D点中的至少一部分第一3D点与所述第二扫描的3D点中的至少一部分第二3D点之间建立一一对应关系；5)确定所述至少第一实际身体姿势与第二实际身体姿势之间的插值模型，其中，该插值模型至少取第三运动树作为输入，其中，该插值模型是受所述一一对应关系约束的；以及6)将该插值模型作为所述完全可动画化身体模型提供给计算机程序，该计算机程序被配置成提供虚拟试衣间服务。
该姿势指令告诉人们以至少两个不同的身体姿势来摆姿势。如果要使用扫描数据来得到完全可动画化身体模型，则以不同的身体姿势来摆姿势将是有益的。完全可动画化身体模型是可以按自然方式变形的身体模型，即，该完全可动画化身体模型可以模仿人的典型变形。该完全可动画化身体模型是针对以所述至少两个不同的身体姿势被扫描的人得到的。该扫描数据是关于人的表面的3D点数据和捕获信息。表面可以是人的皮肤或者人穿着的某一服装。针对至少两个不同的身体姿势来提供扫描数据。第一3D点和第二3D点可以是从原始扫描数据获得的经预处理的数据。
为了从扫描数据获得完全可动画化身体模型，从扫描数据中提取至少两个运动树，所述至少两个运动树对应于所述至少两个不同的身体姿势。运动树包括节点以及节点之间的边。可以例如利用人体的重要关节来标识所述节点，而所述边的长度例如反映肢体的长度。边之间的角度很重要，因为它们反映了人的具体身体姿势。运动树可以对应于人的骨架。各个提取的运动树皆对应于人的一个身体姿势。将各个运动树与基于扫描数据的3D点相关联，该运动树是从所述3D点提取的。由于根据本发明的完全可动画化身体模型是插值模型，因此，建立了与不同的扫描的身体姿势相对应的不同扫描数据的3D点之间的一一对应关系。例如，可以在从扫描不同的身体姿势所获得的扫描数据中标识左膝盖上的3D点。使用至少第三运动树作为插值模型的输入，并且通过3D点之间的一一对应关系来约束该插值模型，映射被学习，该映射学习在扫描的身体姿势之间进行插值。第三运动树可以等同于第一运动树或第二运动树。
如果一3D点存在于与身体姿势相对应的所述3D点中，而该对应的3D点在与不同身体姿势相对应的不同的3D点中缺失，那么可能需要使用相邻的3D点来插值出该缺失的3D点，例如通过使用对于人的表面而言自然的平滑约束。
标称身体姿势与实际身体姿势不同。即使被告知要采取哪种身体姿势，人的实际身体姿势也将会偏离标称身体姿势。为了现实起见，使用与实际身体姿势相对应的扫描数据来提取运动树是有益的。然而，特别是在大的遮挡物妨碍完全观察到人的情况下，可以将标称身体姿势信息用于引导根据扫描数据的运动树确定。
完全可动画化身体模型是具体为单个人量身定制的。因此，该模型比仅使用身高和体重作为输入参数的身体模型更逼真。
虚拟试衣间是试衣间的虚拟等同物，即，人可能希望既在虚拟试衣间中又在试衣间中确认合适的服装。虚拟试衣间优选地复制试衣间的定制体验。为了实现这种目标，可以使用人的极相近的虚拟副本。根据本发明的第一计算机实现的方法提供了这种极相近的副本，例如其中，完全可动画化身体模型还捕获了人在移动期间的表面变形。使用完全可动画化身体模型，服装与虚拟身体模型之间的交互的更逼真的可视化是可行的。虚拟试衣间服务例如可以包括针对特定人的服装的最佳尺寸确定。
在第一计算机实现方法的实施方式中，所述至少第一扫描数据和第二扫描数据是通过无标记物扫描提供的，即，在提供所述至少第一扫描数据和第二扫描数据的扫描期间，没有向人附加额外的标记物。
在扫描期间不在人身上放置任何标记物简化并加速了总体扫描过程，从而使被扫描人的总体满意度更高。
在第一计算机实现方法的另一实施方式中，所述至少第一运动树和第二运动树的确定是使用神经网络完成的，其中，对该神经网络进行训练以从扫描数据提取运动树。
在第一计算机实现方法的另一实施方式中，所述姿势指令指示所述人以与所述人的常见身体姿势相对应的至少第一标称身体姿势和第二标称身体姿势来摆姿势，其中，所述人可以自由选择所述至少第一标称身体姿势和第二标称身体姿势。
插值模型(该插值模型是所述完全可动画化身体模型)通常会示出与所扫描的身体姿势接近的更加逼真的行为。如果所评估的身体姿势与用于学习插值模型的扫描的身体姿势相距甚远，那么该插值模型会降级。因此，人可以选择被扫描的身体姿势，以确保所述完全可动画化身体模型对于被扫描人所设想的典型用例而言是逼真的。例如，由虚拟试衣间提供的自动服装试穿过程可以使用所述完全可动画化身体模型的接近被扫描人通常遇到的身体姿势的逼真行为，以提供适于被扫描人的需求的更好的试穿服装。
在第一计算机实现方法的另一实施方式中，所述至少第一扫描数据和第二扫描数据捕获处于着装状态的所述人，其中，所述人被允许自由选择所穿衣服。
例如，可以通过毫米波扫描仪来获取扫描数据。在这种情况下，该扫描数据包括被扫描人的3D皮肤表面点。在将原始扫描数据提供给第一计算机实现方法之前，可以对该原始扫描数据进行预处理。对处于着装状态的人进行扫描简化并加速了整个扫描过程，从而使被扫描人的满意度更高。
本发明还涉及确定人的最佳试穿服装的第二计算机实现方法，该第二计算机实现方法利用被存储在机器可读介质上或者被具体实施为电磁波的程序代码。所述第二计算机实现方法包括以下步骤：1)建立对存储的服装目录的访问，该服装目录包括多个3D服装数字孪生(GDT)，各个GDT与多个服装类型中的至少一个服装类型相关联；2)接收所述人的身体模型；3)经由图形用户界面从所述人接收关于选定服装类型的服装指令，该选定服装类型是所述多个服装类型之一；4)基于与该选定服装类型相关联的GDT以及所述人的身体模型，确定根据最佳试穿标准的最佳试穿服装；5)经由图形用户界面向所述人提供关于最佳试穿服装的信息；以及6)在虚拟3D环境中使最佳试穿服装在身体模型上可视化。
人们可能希望购买新服装。代替访问服装店去试穿新服装，人们可能希望加速整个选择过程。根据本发明的第二计算机实现方法能够访问存储的服装目录。所存储的服装目录包括多个3D服装数字孪生(GDT)，各个GDT皆是实际服装的高度逼真的3D模型。各个GDT皆包括足够的信息，该信息用于在将GDT放置在人的身体模型上的情况下虚拟地确定物理行为。因此，GDT例如可以包括织物信息和/或线缝信息。可以使用服装类型对所存储的服装目录中的多个GDT进行分组。服装类型例如可以是诸如裤子或衬衫的类别，或者是诸如牛仔裤的子类别，甚或是例如指定牛仔裤及其颜色的更精细的子类别。这样，可以将GDT关联至多种服装类型。
希望确认合适服装的人向提供第二计算机实现方法的计算机程序指示选定的服装类型。该指令经由图形用户界面进行。使用最佳试穿标准，从与选定服装类型相关联的GDT列表中选择使最佳试穿标准最小化的GDT。为了适应计算机程序，该最佳试穿标准提供数字输出值。向所述人指示最佳试穿GDT。在所述人的身体模型上以物理上逼真的方式模拟了最佳试穿GDT。该模拟是在虚拟3D环境(例如计算机辅助设计(CAD)程序)中向所述人显示的。
使用阈值，提供第二计算机实现方法的计算机程序可以确定与选定服装类型相关联的GDT均未能很好适合所述人。可以通过将由最佳试穿标准提供的数字输出值与该阈值进行比较来提供此类操作。该阈值可以取决于最佳试穿标准。该计算机程序可以代替地选择与选定服装类型密切相关的服装类型，并且尝试找到与该密切相关的服装类型相关联的合适的最佳试穿GDT。例如，如果所述人选择“蓝色牛仔裤”作为服装类型，那么密切相关的服装类型例如可以是“黑色牛仔裤”。如果服装类型例如是以多树(polytree)构造的，那么服装类型的紧密度可以通过多树中的距离来自动确定。
在第二计算机实现方法的实施方式中，最佳试穿标准包括至少两个子标准，其中，各个子标准皆使用身体模型的测得模型特性以及所述GDT中的与选定服装类型相关联的至少一个GDT的对应的测得服装特性，并且各个子标准皆包括用于将测得模型特性与测得服装特性进行比较的指标(metric)，该指标提供差异，其中，根据最佳试穿标准的最佳试穿服装被确定为使由子标准提供的差异的组合最小化的服装。
最佳试穿标准可以包括子标准。由于身体模型和GDT均为几何图形，因此可以针对它们执行提供数值的测量。例如，腰围是身体模型的测得模型特性。例如，在牛仔裤作为GDT的情况下，可以确定对应于腰围的测得服装特性。将各个测得模型特性与对应获得的测得服装特性进行比较，该比较提供差异值。子标准提供差异值，该差异值是数值输出。例如，如果测得模型特性是上臂的长度，并且对应的测得服装特性是T恤的袖长，那么差异值例如可以是这两项之差的绝对值。如果最佳试穿标准包括多个子标准，则总体最佳试穿标准是子标准的组合。例如，一种简单的组合是子标准的线性加权和，其中，各个子标准的权重皆衡量该子标准的总体重要性。
在第二计算机实现方法的另一实施方式中，最佳试穿标准是由所述人经由图形用户界面提供的。
“最佳试穿”的概念是高度主观的。因此，人们可以经由图形用户界面向提供第二计算机实现方法的计算机程序提供最佳试穿标准。也可以向人们提供最佳试穿标准的可能列表，并且人们可以从所提供的最佳试穿标准列表中选择最佳试穿标准。另选地，如果人们没有指定最佳试穿标准，那么可以将选定服装类型默认地自动连接至最佳试穿标准。不同的服装类型可能迎合不同的客户群，意味着服装类型可能与穿着该服装类型的具体方式明确相关联。可以将此类信息编码在默认连接至服装类型的最佳试穿标准中。
在第二计算机实现方法的另一实施方式中，使最佳试穿服装在身体模型上可视化包括虚荣(vanity)可视化功能，其中，身体模型的水平范围以及最佳试穿服装的水平范围通过虚荣可视化功能进行改变。
在使最佳试穿服装在身体模型上可视化期间，身体模型和最佳试穿服装都可以被更改，以使整个可视化更让人愉悦。例如，可以使女性的腰部区域变瘦，以及可以使男性的肩部区域变宽。
在第二计算机实现方法的另一实施方式中，向所述人提供选择比最佳试穿服装大一号或小一号的服装的选项，其中，在虚拟3D环境中使所述大一号或小一号的服装在身体模型上可视化。
可以通过验证由提供第二计算机实现方法的计算机程序所提供的服装选择来增加人的主观舒适度。可以通过查看比最佳试穿服装小一号或大一号的服装来进行验证(假设所述小一号或大一号的服装存在的话)。
在第二计算机实现方法的另一实施方式中，身体模型是通过第一计算机实现方法作为完全可动画化身体模型来提供的。
如果身体模型是刚性的，那么在身体移动期间，可能无法确定服装与身体模型之间的物理上逼真的交互，因为无法使用刚性身体模型正确地模拟身体移动。然而，可以将完全可动画化身体模型用于此类目的，这是因为可以模拟服装在移动期间的变形。
本发明还涉及使至少一件服装在人的完全可动画化身体模型上可视化的第三计算机实现方法，该第三计算机实现方法利用被存储在机器可读介质上或者被具体实施为电磁波的程序代码。所述第三计算机实现方法包括以下步骤：1)接收所述人的完全可动画化身体模型；2)经由图形用户界面接收姿势显示指令；3)接收所述至少一件服装的服装数字孪生；以及4)使服装数字孪生在完全可动画化身体模型上可视化，其中，该完全可动画化身体模型正在采用根据姿势显示指令的姿势，其中，该服装数字孪生因完全可动画化身体模型的姿势而变形，该变形至少考虑到重力、服装的织物的织物特性、以及由处于根据姿势显示指令的姿势中的完全可动画化身体模型施加在服装数字孪生上的几何约束。
经由图形用户界面接收的姿势显示指令指定了完全可动画化身体模型要以哪种姿势进行定位。GDT被放置在完全可动画化身体模型上，并且以物理上逼真的方式变形。
在第三计算机实现方法的实施方式中，该姿势显示指令是与可视化并行提供的，其中，身体扫描仪捕获所述人的姿势，其中，所捕获的姿势被提供为姿势显示指令。
身体扫描仪可以记录人(其完全可动画化身体模型对于提供第三计算机实现方法的计算机程序而言是可用的)的姿势。从所扫描的姿势中，可以提取运动树并将该运动树用作完全可动画化身体模型的输入，从而提供完全可动画化身体模型的模仿人的姿势的变形。
在第三计算机实现方法的另一实施方式中，该姿势显示指令捕获所述人的实时运动，其中，所述至少一件服装在完全可动画化身体模型上的可视化并行地跟随该实时运动。
身体扫描仪可以记录人(其完全可动画化身体模型对于提供第三计算机实现方法的计算机程序而言是可用的)的实时运动。从该实时运动中，可以提取实时运动树并将该运动树用作完全可动画化身体模型的输入，从而提供完全可动画化身体模型的模仿人的实时运动的实时变形。GDT与受实时控制的完全可动画化身体模型的交互也被实时地模拟。
在第三计算机实现方法的另一实施方式中，完全可动画化身体模型是由第一计算机实现方法提供的。
在第三计算机实现方法的另一实施方式中，服装数字孪生是由第二计算机实现方法提供的。
在第二或第三计算机实现方法的实施方式中，向所述人提供经由社交媒体共享处于着装状态的完全可动画化身体模型的选项，并且其中，所述计算机实现方法能够经由社交媒体从外部源接收反馈。
希望在常规服装店里购买新服装的人经常会有其他人陪同，以给出关于款式、看起来如何、有多合身等的评论。可以通过提供第二计算机实现方法的计算机程序和/或提供第三计算机实现方法的计算机程序来提供这样的评论功能。在虚拟试穿服装的同时，可以向人们提供与他们在社交媒体上的人脉共享虚拟穿着的服装的2D或3D图像或影片的选项，以便征求关于该服装或关于所穿服装组合的输入和反馈。
附图说明
下面，借助于附图中示意性地例示的具体示例性实施方式，仅通过示例的方式更详细地描述本发明的系统，还研究了本发明的其它优点。附图中利用相同的附图标记来标注相同的要素。详细地：
图1示出了对人进行扫描的全身扫描仪的示意性和例示性描绘图；
图2示出了对人进行扫描的全身扫描仪以及从扫描数据得到的运动树的示意性和例示性描绘图；
图3示出了使用身体模型自动选择服装尺寸的示意性和例示性描绘图；
图4示出了使用完全可动画化身体模型自动选择服装尺寸的示意性和例示性描绘图；
图5示出了使服装在处于不同的姿势的完全可动画化身体模型上可视化的示意性和例示性描绘图；以及
图6示出了计算单元和提供图形用户界面的显示器的示意性和例示性描绘图。
具体实施方式
图1示出了对人进行扫描的全身扫描仪的示意性和例示性描绘图，该场景是以俯视图示出的。将扫描仪2a、2b、2c安装在房间1(特别是试衣间)的墙壁上。在图1的示例性实施方式中，示出了三个扫描仪。然而，扫描仪的数量是任意的，并且特别是等于八。可以将扫描仪优选地配置为添加至现有的试衣间。视觉指示3向人4发信号通知在扫描期间站在哪里。例如，可以将扫描仪2a、2b、2c具体实施为毫米波扫描仪或红外扫描仪。扫描仪2a、2b、2c中的各个扫描仪输出包括3D点的扫描数据。可以对所述3D点进行预处理，该预处理例如包括降噪。从扫描数据可以提取所捕获的身形的网格。由于试衣间的大小可能会有所不同，因此，在将扫描仪2a、2b、2c安装在试衣间中之后，优选地对所述扫描仪进行校准。校准过程可以允许融合来自不同的扫描仪2a、2b、2c的捕获的数据，融合后的数据是由全身扫描仪提供的扫描数据。扫描数据包括人4的表面的3D点。扫描仪的数量以及这些扫描仪在试衣间中的位置可以优选地使得可以从所述扫描仪中的至少一个扫描仪看到人4的各个部分。扫描仪2a、2b、2c优选地在一秒钟或两秒钟内捕获人的身形。
扫描仪2a、2b、2c可以对处于着装状态的人4进行成像。毫米波扫描仪例如“透视”穿着的衣服，即，此类扫描仪可提供人4的实际表面数据。
图2示出了对人进行扫描的全身扫描仪以及从扫描数据得到的运动树的示意性和例示性描绘图，该场景是以侧视图示出的。和图1中一样，将扫描仪2d、2e安装在房间1(特别是试衣间)的墙壁上，扫描仪2d、2e对人4进行扫描。将由扫描仪2d、2e捕获的数据进行融合，该融合提供了扫描数据。基于该扫描数据，可以例如通过对扫描数据进行预处理来提取经处理的3D点。从所述3D点，获得运动树5，其中运动树5表示扫描期间人4的姿势。运动树的节点数可以是固定的，或者可以根据扫描数据而改变。例如可以使用神经网络来提取运动树5。可以优选地对人4进行无标记物扫描，即，在扫描期间没有向人4附加额外的标记物。
为了提供人4的完全可动画化身体模型，优选地以多个不同的姿势对人4进行扫描。对于各个姿势，将对应的扫描数据用于得到表示该姿势的对应运动树。与各个姿势相对应的扫描数据包括人4的表面的3D点，该表面取决于姿势。扫描期间的不同姿势优选地表示在人4的日常生活期间所遇到的常见姿势，例如，举起双臂站直、放下双臂站直等。可以将完全可动画化身体模型作为插值模型来提供。可以使用至少运动树来参数化插值模型；该插值模型优选地受对应于不同姿势的3D点之间的一一对应关系所约束。被用于建立所述一一对应关系的3D点可以是直接从全身扫描仪获得的经预处理的原始3D点。可以使用非刚性配准(例如，使用最小二乘最优目标)来获得所述一一对应关系。所提供的插值模型是如下工作的：如果将对应于被扫描姿势的运动树用作插值模型的输入，则该插值模型提供与该被扫描姿势相对应的3D点作为输出；如果将不对应于被扫描姿势的运动树用作插值模型的输入，则该插值模型提供与被用于约束该插值模型的3D点的组合相对应的3D点作为输出，其中，该具体组合至少取决于输入的运动树。所述3D点可以等效地用网格进行表示，所述网格包括三角形。
除了提供完全可动画化身体模型外，全身扫描仪还可以提供刚性身体模型。可以从捕获处于一个姿势的人4的扫描数据中提取刚性身体模型。
扫描仪2d、2e中的各个扫描仪在一些情况下(尤其是取决于该扫描仪在试衣间1中的位置)可以仅捕获人4的表面的一些部分。在这样的情况下，在建立一一对应关系之前或期间，可能需要例如使用平滑约束或其它先验知识来添加缺失的3D点。
图3示出了使用身体模型(特别是刚性身体模型)自动选择服装尺寸的示意性和例示性描绘图。人的身体模型6(准确地捕捉了人的身形的身体模型6)拥有可测量的特性。此类可测量特性的示例是腰围、臂长、肩宽等。原则上，在身体模型6上完成的提供数值输出的任何测量结果都可以被视为可测量的特性。对应的测量也可以在3D服装数字孪生(GDT)上进行。GDT是准确地表示服装的3D模型。
例如，在图3中使用其身体模型的人可能希望购买合身的短袖衫。短袖衫是服装类型。其它的服装类型例如会是长袖衫或牛仔裤。服装类型也可以是牛仔裤(例如特定品牌)的特定设计。在任何情况下，例如，将服装类型与表示该服装类型的不同尺寸的多个GDT7a、GDT 7b相关联。一旦人决定了选定的服装类型，该选定服装类型的最佳试穿尺寸就确定了，其中，使用与该选定服装类型相关联的GDT 7a、GDT 7b以及人的身体模型6来确定“最佳试穿”。
将什么标准认为是“最佳试穿的”具有高度的主观性，并且在很大程度上取决于人的偏好。例如，一些人认为紧身T恤是合意的，而另一些人则偏好宽松的T恤。因此，人可以提供定义“最佳试穿”的含义的指令。为了可由计算机程序使用，所提供的“最佳试穿”的含义必需是可以用数字表达的。可以向人提供不同的“最佳试穿”标准的列表，例如，可以从该列表中选择“最佳试穿”标准。可以使用身体模型6和与选定服装类型相关联的GDT 7a、7b两者的可测量特性的组合来表达“最佳试穿”标准。对应的最佳试穿尺寸是使“最佳试穿”标准最小化的尺寸。“最佳试穿”标准的示例可以是身体模型6与GDT 7a、GDT 7b之间的腰部、胸部以及肩部差异的加权组合。各个差异皆可以通过身体模型6的可测量特性与各个关联的GDT7a、GDT 7b的对应可测量特性之间的平方差来提供。使用这样的设置，可以自动为人确定选定服装类型的“最佳试穿”可用尺寸。
图3示出了例示性实施方式。人(其身体模型6由确定最佳试穿尺寸的计算机程序所使用)将T恤选择为服装类型。在例示性实施方式中，人选择了“紧身”作为最佳试穿标准。图3的左侧子图示出了身体模型6以及宽松的T恤模型7a，图3的右侧子图示出了身体模型6和紧身T恤模型7b。该计算机程序自动选择紧身T恤模型7b，因为与宽松的T恤模型7a相比它使“紧身”标准最小化。
在确定了选定服装类型的最佳试穿服装尺寸之后，使最佳试穿服装可视化并显示给人。对于可视化，将最佳试穿服装放在身体模型6上。
图4示出了使用完全可动画化身体模型自动选择服装尺寸的示意性和例示性描绘图。图4类似于图3，主要的区别为：在图3中，将刚性身体模型6用于选择最佳试穿服装，而在图4中，将完全可动画化身体模型6a用于该目的。为了形象地示出该差异，将完全可动画化身体模型6a与表示该完全可动画化身体模型6a的姿势的运动树5a一起显示。出于可视化的目的，通常不显示运动树5a，而是仅将其用于计算的目的。
与图3类似，从与选定服装类型相关联的可用GDT 7c、GDT 7d的列表中选择最佳试穿服装。在图4中，仅示出了完全可动画化身体模型6a的一个姿势。然而，可以使用多个姿势来评估“最佳试穿”标准，各个姿势例如对应于人(其完全可动画化身体模型6a被使用)的经常遇到的姿势。
图5示出了使服装在处于不同姿势的完全可动画化身体模型上可视化的示意性和例示性描绘图。例如，将T恤7e放置在处于第一姿势6a的完全可动画化身体模型上，以及处于第二姿势6b的完全可动画化身体模型上，其中第二姿势与第一姿势的不同之处在于手臂被举起。图5中使用的姿势仅是示例性的，即，也可以使用任何其它的姿势。该完全可动画化身体模型是人的模型。向此人示出了T恤7e在处于不同姿势的此人身上看起来如何。这样，例如，此人可以更容易地判断T恤7e是非常合身还是不合身。如果图像传感器实时跟踪此人，并且如果可以实时评估所捕获的图像传感器数据(例如，该评估提供了实时运动树)，那么可以对完全可动画化身体模型进行动画处理，以跟随此人的实时运动。
图6示出了计算单元和提供图形用户界面的显示器的示意性和例示性描绘图。计算单元7和显示器8可以位于物理上远程的位置处。计算单元7经由显示器8所提供的图形用户界面从人接收指令。此人或者不同的人的刚性身体模型或者完全可动画化身体模型被存储在计算单元7上，或者可以由计算单元7从某一外部存储装置访问。人例如可以指示计算单元7将服装数字孪生放置到刚性身体模型上或者完全可动画化身体模型上，并且渲染所得的着装身体模型，其中，所渲染的着装身体模型是经由显示器8所提供的图形用户界面来显示的。同一计算单元8或者不同计算单元也可以访问全身扫描仪，其中，计算单元8或所述不同计算单元上的计算机程序可以使用由全身扫描仪提供的扫描数据，来确定刚性身体模型或者完全可动画化身体模型。如果所述不同计算单元确定了刚性身体模型或者完全可动画化身体模型，那么可以将所述不同计算单元经由允许数据传递的网络连接至计算单元8。
尽管上面例示了本发明，但部分参照一些优选实施方式，必须明白，可以作出这些实施方式的许多修改例和不同特征的组合。所有这些修改例均落入所附权利要求的范围内。

Claims (7)

1.一种生成完全可动画化身体模型以用于服装试穿目的的计算机实现方法，所述完全可动画化身体模型是具体为单个人量身定制的，所述计算机实现方法利用被存储在机器可读介质上或者被具体实施为电磁波的程序代码，所述计算机实现方法包括以下步骤：
向所述人提供姿势指令，所述姿势指令指示所述人以至少第一标称身体姿势和第二标称身体姿势来摆姿势，
至少接收：多个第一3D点，所述第一3D点是基于表示所述人在处于第一实际身体姿势时的表面的第一扫描数据的；以及多个第二3D点，所述第二3D点是基于表示所述人在处于第二实际身体姿势时的表面的第二扫描数据的，所述第一实际身体姿势和所述第二实际身体姿势分别对应于所述第一标称身体姿势和所述第二标称身体姿势，
分别从至少所述第一扫描数据和所述第二扫描数据来确定至少第一运动树和第二运动树，所述至少第一运动树和第二运动树分别对应于至少所述第一实际身体姿势和所述第二实际身体姿势，
在所述第一3D点中的至少一部分第一3D点与所述第二3D点中的至少一部分第二3D点之间建立一一对应关系，
确定至少所述第一实际身体姿势与所述第二实际身体姿势之间的插值模型，其中，所述插值模型至少取第三运动树作为输入，其中，所述插值模型受所述一一对应关系约束，以及
将所述插值模型作为所述完全可动画化身体模型提供给计算机程序，所述计算机程序被配置成提供虚拟试衣间服务，
其中，所述虚拟试衣间服务至少包括所述人的服装的最佳尺寸的确定。
2.根据权利要求1所述的计算机实现方法，其中，至少所述第一扫描数据和所述第二扫描数据是通过无标记物扫描提供的。
3.根据权利要求1所述的计算机实现方法，其中，确定至少第一运动树和第二运动树的步骤是使用神经网络完成的，其中，所述神经网络被训练为从扫描数据提取运动树。
4.根据权利要求1所述的计算机实现方法，其中，所述姿势指令指示所述人以与所述人的常见身体姿势相对应的至少第一标称身体姿势和第二标称身体姿势来摆姿势，其中，所述人能够自由选择所述至少第一标称身体姿势和第二标称身体姿势。
5.根据权利要求1所述的计算机实现方法，其中，至少所述第一扫描数据和所述第二扫描数据捕获处于着装状态的所述人，其中，所述人被允许自由选择所穿衣服。
6.根据权利要求1所述的计算机实现方法，其中，所述扫描数据是通过毫米波扫描仪获取的。
7.根据权利要求6所述的计算机实现方法，其中，所述人是在着装状态下被扫描的，并且所述扫描数据包括被扫描人的3D皮肤表面点。
CN202110442289.2A 2020-04-30 2021-04-23 使服装在人的身体模型上可视化 Active CN113593044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410737698.9A CN118674898A (zh) 2020-04-30 2021-04-23 使服装在人的身体模型上可视化

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/863,802 US11593869B2 (en) 2020-04-30 2020-04-30 Visualization of garments on a body model of a human
US16/863,802 2020-04-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410737698.9A Division CN118674898A (zh) 2020-04-30 2021-04-23 使服装在人的身体模型上可视化

Publications (2)

Publication Number Publication Date
CN113593044A CN113593044A (zh) 2021-11-02
CN113593044B true CN113593044B (zh) 2024-06-28

Family

ID=75728605

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202410737698.9A Pending CN118674898A (zh) 2020-04-30 2021-04-23 使服装在人的身体模型上可视化
CN202110442289.2A Active CN113593044B (zh) 2020-04-30 2021-04-23 使服装在人的身体模型上可视化

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202410737698.9A Pending CN118674898A (zh) 2020-04-30 2021-04-23 使服装在人的身体模型上可视化

Country Status (3)

Country Link
US (2) US11593869B2 (zh)
EP (1) EP3913582A3 (zh)
CN (2) CN118674898A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220253923A1 (en) * 2021-02-11 2022-08-11 Sean Joseph Donnelly Virtual Fitting Room

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7328119B1 (en) * 2000-03-07 2008-02-05 Pryor Timothy R Diet and exercise planning and motivation including apparel purchases based on future appearance
US8139067B2 (en) * 2006-07-25 2012-03-20 The Board Of Trustees Of The Leland Stanford Junior University Shape completion, animation and marker-less motion capture of people, animals or characters
GB201102794D0 (en) * 2011-02-17 2011-03-30 Metail Ltd Online retail system
CN102982578B (zh) * 2012-10-31 2015-06-17 北京航空航天大学 单幅人物图像中着装人体三维模型估计方法
US9773274B2 (en) 2013-12-02 2017-09-26 Scott William Curry System and method for online virtual fitting room
US10582733B2 (en) * 2015-02-05 2020-03-10 Irla Inatura Design, Llc Methods for producing garments and garment designs
CN105006014B (zh) * 2015-02-12 2017-07-18 上海交通大学 虚拟衣物快速模拟试穿的实现方法及系统
WO2016207311A1 (en) 2015-06-24 2016-12-29 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Skinned multi-person linear model
US10796480B2 (en) * 2015-08-14 2020-10-06 Metail Limited Methods of generating personalized 3D head models or 3D body models
KR101659782B1 (ko) * 2016-03-25 2016-09-27 (주)이지스 벽면 충돌을 고려한 사용자 시점의 3차원 실내공간정보 제공방법
CN106502399B (zh) * 2016-10-31 2019-08-23 江西服装学院 虚拟试衣方法、装置及系统和三维面料材质库建立方法及装置
US10546433B2 (en) * 2017-08-03 2020-01-28 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for modeling garments using single view images
US10657709B2 (en) * 2017-10-23 2020-05-19 Fit3D, Inc. Generation of body models and measurements
CN108537888B (zh) * 2018-04-09 2020-05-12 浙江大学 一种基于骨架的快速试衣方法
US11308673B2 (en) * 2018-05-03 2022-04-19 Magic Leap, Inc. Using three-dimensional scans of a physical subject to determine positions and/or orientations of skeletal joints in the rigging for a virtual character

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Articulated body deforming from range scan data;BRETT ALLEN ET AL;ACM TRANSACTIONS ON GRAPHICS;第21卷(第3期);第612-619页 *

Also Published As

Publication number Publication date
US12112367B2 (en) 2024-10-08
EP3913582A3 (en) 2022-02-09
CN113593044A (zh) 2021-11-02
US11593869B2 (en) 2023-02-28
US20210342926A1 (en) 2021-11-04
US20220148074A1 (en) 2022-05-12
EP3913582A2 (en) 2021-11-24
CN118674898A (zh) 2024-09-20

Similar Documents

Publication Publication Date Title
CN109598798B (zh) 虚拟物拟合方法及虚拟物拟合服务系统
EP3745352B1 (en) Methods and systems for determining body measurements and providing clothing size recommendations
US8571698B2 (en) Simple techniques for three-dimensional modeling
US7149665B2 (en) System and method for simulation of virtual wear articles on virtual models
CN108475439B (zh) 三维模型生成系统、三维模型生成方法和记录介质
US9990764B2 (en) Virtual try on simulation service
EP1240623B1 (en) System and method for visualizing personal appearance
KR101707707B1 (ko) 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템
KR20180069786A (ko) 3d 신체 모델에 대한 3d 의복 모델의 이미지 파일을 생성하기 위한 방법 및 시스템
US20110298897A1 (en) System and method for 3d virtual try-on of apparel on an avatar
US20120086783A1 (en) System and method for body scanning and avatar creation
US9715759B2 (en) Reference object for three-dimensional modeling
US20220198780A1 (en) Information processing apparatus, information processing method, and program
KR20150079585A (ko) 일련의 2ｄ 이미지로부터 정확한 신체 사이즈 치수를 도출하는 시스템 및 방법
US20230248099A1 (en) Method and device for providing at least one cutting pattern for an article of clothing to be produced individually for a customer
CN113593044B (zh) 使服装在人的身体模型上可视化
Zong et al. An exploratory study of integrative approach between 3D body scanning technology and motion capture systems in the apparel industry
WO2022081745A1 (en) Real-time rendering of 3d wearable articles on human bodies for camera-supported computing devices
CN109393614B (zh) 一种量体裁衣尺寸测量的系统
Goldstein et al. Virtual prototyping: from concept to 3D design and prototyping in hours
US20240296579A1 (en) Method and system for obtaining human body size information from image data
WO2024084521A1 (en) "method and system for simulating three-dimensional apparels on three-dimensional human body"
Zhu An efficient method for accurate human model customisation based on two-view monocular photos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant