CN110662484A - 用于全身测量结果提取的系统和方法 - Google Patents

用于全身测量结果提取的系统和方法 Download PDF

Info

Publication number
CN110662484A
CN110662484A CN201980000731.7A CN201980000731A CN110662484A CN 110662484 A CN110662484 A CN 110662484A CN 201980000731 A CN201980000731 A CN 201980000731A CN 110662484 A CN110662484 A CN 110662484A
Authority
CN
China
Prior art keywords
feature
person
measurement
image
body feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980000731.7A
Other languages
English (en)
Other versions
CN110662484B (zh
Inventor
许崇仁
佐藤优
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhi Nengshenxing
Original Assignee
Zhi Nengshenxing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhi Nengshenxing filed Critical Zhi Nengshenxing
Priority to CN202210093559.8A priority Critical patent/CN114419677A/zh
Publication of CN110662484A publication Critical patent/CN110662484A/zh
Application granted granted Critical
Publication of CN110662484B publication Critical patent/CN110662484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41H—APPLIANCES OR METHODS FOR MAKING CLOTHES, e.g. FOR DRESS-MAKING OR FOR TAILORING, NOT OTHERWISE PROVIDED FOR
    • A41H1/00—Measuring aids or methods
    • A41H1/02—Devices for taking measurements on the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/048—Fuzzy inferencing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Textile Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

公开用于使用移动装置摄像机进行全身测量结果提取的系统和方法。所述方法包括以下步骤：接收一个或多个用户参数；接收含有人和背景的至少一个图像；识别与所述人相关联的一个或多个身体特征；对所述识别出的身体特征执行身体特征标注以在每个身体特征上产生与身体特征测量结果对应的标注线，所述身体特征标注利用已用标注训练数据进行训练的标注深度学习网络，所述标注训练数据包括一个或多个样本身体特征的一个或多个图像以及每个身体特征的标注线；基于所述标注的身体特征和所述一个或多个用户参数使用尺寸设定机器学习模块来从所述一个或多个标注的身体特征产生身体特征测量结果；以及通过聚合每个身体特征的所述身体特征测量结果来产生身体尺寸测量结果。

Description

用于全身测量结果提取的系统和方法
优先申请的引用
本申请要求2018年11月19日提交的标题为“Systems and methods for fullbody measurements extraction”的美国第16/195,802号和2018年4月20日提交的标题为“Systems and methods for full body measurements extraction using a 2D phonecamera”的美国第62/660,377号依照专利合作条约(PCT)所获得的优先权。
技术领域
本发明的实施方案属于自动身体测量的领域，并且明确地说涉及使用通过移动装置拍摄的像片来提取用户的身体测量结果。
发明背景
发明背景中的陈述被提供用于帮助理解本发明以及其应用和用途，并且可能不会构成现有技术。
大体上有三种方法已被试图用于从用户的图像产生或提取身体测量结果。第一种方法是使用提供深度数据的3D摄像机，诸如MICROSOFT KINECT摄像机。通过深度感测，可以建立3D身体模型以捕获身体尺寸。然而，不是每个人都能用到3D摄像机，并且因为现在没有明显地大量采用，所以目前不可设想到此类3D摄像机变成普遍的。
第二种方法是使用2D摄像机来捕获2D视频，并且使用2D至3D重建构技术来重新创建3D身体模型以捕获身体尺寸。诸如MTAILOR和3DLOOK等公司使用此类技术。在2D视频方法中，重新创建3D身体模型，并且所述方法尝试执行“点云匹配技术”来将现有的3D身体模板与预先填充到新创建的3D身体上的点云进行匹配。然而，在试图将现有模板拟合到独特用户的3D身体上时，结果可能并不准确。在模板3D身体与用户的3D身体的匹配完成之后，获得尺寸和测量结果，但是所述尺寸和测量结果一般不准确。
第三种方法是使用2D摄像机来捕获2D像片而非2D视频，并且类似于前一种方法，利用2D至3D重建构技术来捕获身体尺寸。AGISOFT，例如，已开发出从2D像片到3D模型的3D重建构的公司，使用此类技术。使用2D像片而非2D视频可能会涉及以较高分辨率捕获的像片，因此产生准确性稍高的结果，但其它的前述问题仍存在。
在使用2D视频或像片的现有方法中，产生3D身体模型，并且这些方法通常要求用户摆出特定姿势、站在与摄像机相隔特定距离处、在空白背景前面、穿上紧身衣服和/或部分裸露只穿内衣。对受控环境和显著用户分歧的此类要求是非所要的。
因此，现有技术的进展是提供一种用于从2D像片准确地提取身体测量结果的系统和方法，在所述相片中，1)用户采取任何姿势，2)用户站在任何背景类型的前面，3)像片在任何距离处拍摄以及4)用户穿着任何类型的衣服，使得每个人都可以容易地自己拍摄像片并且得益于全身测量结果提取。
本发明正是从此背景中发展而来。
发明内容
本发明涉及用于使用2D用户图像提取全身测量结果的方法和系统，所述2D用户图像是例如从移动装置摄像机取得。
更具体地说，在各种实施方案中，本发明是一种用于产生人的身体尺寸测量结果的计算机实施的方法，所述计算机实施的方法能够由硬件处理器执行，所述方法包括以下步骤：接收一个或多个用户参数；接收含有所述人和背景的至少一个图像；识别与所述人相关联的一个或多个身体特征；对所述识别出的身体特征执行身体特征标注以在每个身体特征上产生与身体特征测量结果对应的标注线，所述身体特征标注利用已用标注训练数据进行训练的标注深度学习网络，所述标注训练数据包括一个或多个样本身体特征的一个或多个图像以及每个身体特征的标注线；基于所述标注的身体特征和所述一个或多个用户参数使用尺寸设定机器学习模块来从所述一个或多个标注的身体特征产生身体特征测量结果；以及通过聚合每个身体特征的所述身体特征测量结果来产生身体尺寸测量结果。
在一个实施方案中，识别与所述人相关联的所述一个或多个身体特征的步骤包括：对所述至少一个图像执行身体分割以从所述背景识别出与所述人相关联的所述一个或多个身体特征，所述身体分割利用已用分割训练数据进行训练的分割深度学习网络，并且所述分割训练数据包括一个或多个样本人的一个或多个图像以及所述一个或多个样本人的每个身体特征的身体特征分割。
在一个实施方案中，在衣服下面提取所述身体特征分割，并且所述分割训练数据包括估计在所述衣服下面的所述人的身体的由标注者进行的身体分割。
在一个实施方案中，每个身体特征上的所述标注线包括与给定的身体特征测量结果对应的一个或多个线段，并且所述从所述一个或多个标注的身体特征产生所述身体特征测量结果利用每个身体特征上的所述标注线。
在一个实施方案中，所述至少一个图像至少包括所述人的正视图像和侧视图像，并且所述方法还包括在执行身体特征标注步骤之后进行的以下步骤：利用线标注的正视图像和侧视图像以及所述人的身高来计算至少一个标注的身体特征的至少一个周长；以及基于所述至少一个周长、所述身高和所述一个或多个用户参数利用所述尺寸设定机器学习模块从所述至少一个周长产生所述身体特征测量结果。
在一个实施方案中，所述尺寸设定机器学习模块包括随机森林算法，并且用真实数据来对所述尺寸设定机器学习模块进行训练，所述真实数据包括一个或多个样本人的一个或多个样本身体尺寸测量结果。
在一个实施方案中，所述一个或多个用户参数是选自由身高、体重、性别、年龄和人口信息组成的组。
在一个实施方案中，所述接收所述一个或多个用户参数包括通过用户装置接收所述一个或多个用户参数的用户输入。
在一个实施方案中，所述接收所述一个或多个用户参数包括接收由用户装置执行的测量。
在一个实施方案中，所述至少一个图像是选自由所述人的正视图像和所述人的侧视图像组成的组。
在一个实施方案中，所述至少一个图像还包括所述人相对于所述人的所述正视图像成45度角来拍摄的额外的图像。
在一个实施方案中，所述对所述至少一个图像执行所述身体分割还包括接收用户输入以提高所述身体分割的准确性，并且所述用户输入包括对所述身体特征的一个或多个部分的用户选择，所述一个或多个部分对应于所述人的身体的给定区域。
在一个实施方案中，所述至少一个图像包括全身着装的用户或部分着装的用户的至少一个图像，并且所述产生身体特征测量结果还包括基于所述全身着装的用户或所述部分着装的用户的所述至少一个图像产生所述身体特征测量结果。
在一个实施方案中，所述身体尺寸测量结果包括第一身体尺寸测量结果，所述方法还包括使用第二尺寸设定机器学习模块来产生第二身体尺寸测量结果，并且所述第二身体尺寸测量结果的准确性高于所述第一身体尺寸测量结果的准确性。
在另一个实施方案中，所述方法还包括：确定所述身体特征的给定的身体特征测量结果是否对应于低于预定值的置信水平；以及响应于确定所述给定的身体特征测量结果对应于低于所述预定值的置信水平，使用3D模型匹配模块对所述身体特征执行3D模型匹配以确定所述人的匹配的3D模型，其中使用一个或多个高置信度的身体特征测量结果来指导所述3D模型匹配模块，基于所述匹配的3D模型来执行身体特征测量，以及用来自所述匹配的3D模型的预计的身体特征测量结果来替代所述给定的身体特征测量结果。
在另一个实施方案中，所述方法还包括：确定所述身体特征的给定的身体特征测量结果是否对应于低于预定值的置信水平；以及响应于确定所述给定的身体特征测量结果对应于低于所述预定值的置信水平，使用骨骼检测模块对所述身体特征执行骨骼检测以确定所述人的关节位置，其中使用一个或多个高置信度的身体特征测量结果来指导所述骨骼检测模块，基于所述确定的关节位置来执行身体特征测量，以及用来自所述骨骼检测模块的预计的身体特征测量结果来替代所述给定的身体特征测量结果。
在另一个实施方案中，所述方法还包括在执行所述身体分割之前预处理所述人和所述背景的所述至少一个图像。在一个实施方案中，所述预处理至少包括对所述至少一个图像的透视校正。在一个实施方案中，所述透视校正是选自由利用所述人的头部的透视校正、利用用户装置的陀螺仪的透视校正和利用用户装置的另一个传感器的透视校正组成的组。
在另一个实施方案中，识别一个或多个身体特征的步骤还包括：产生所述人身上的所述身体特征的分割图；以及在执行身体特征标注步骤之前从所述人和所述背景裁剪所述一个或多个识别出的身体特征，并且执行身体特征标注步骤利用已用每个身体特征单独进行训练的多个标注深度学习网络。
在各种实施方案中，公开一种计算机程序产品。计算机程序可以用于产生人的身体尺寸测量结果并且可以包括其中收录有程序指令或程序代码的计算机可读存储介质，所述程序指令能够由处理器执行以使所述处理器执行以下步骤：接收一个或多个用户参数；接收含有所述人和背景的至少一个图像；识别与所述人相关联的一个或多个身体特征；对提取出的身体特征执行身体特征标注以在每个身体特征上产生与身体特征测量结果对应的标注线，所述身体特征标注利用已用标注训练数据进行训练的标注深度学习网络，其中所述标注训练数据包括一个或多个样本身体特征的一个或多个图像以及每个身体特征的标注线；基于所述标注的身体特征和所述一个或多个用户参数使用尺寸设定机器学习模块来从所述一个或多个标注的身体特征产生身体特征测量结果；以及通过聚合每个身体特征的所述身体特征测量结果来产生身体尺寸测量结果。
根据另一个实施方案，本发明是一种用于产生人的身体尺寸测量结果的计算机实施的方法，所述计算机实施的方法能够由硬件处理器执行，所述方法包括以下步骤：从用户装置接收一个或多个用户参数；从所述用户装置接收至少一个图像，所述至少一个图像含有所述人和背景；对所述至少一个图像执行身体分割以从所述背景提取与所述人相关联的一个或多个身体特征，所述身体分割利用已用分割训练数据进行训练的分割深度学习网络；对所述提取出的身体特征执行身体特征标注以在每个身体特征上标注与身体特征测量结果对应的标注线，所述身体特征标注利用已用标注训练数据进行训练的标注深度学习网络，所述标注训练数据包括一个或多个样本身体特征的一个或多个图像以及每个身体特征的标注线；基于所述标注的身体特征和所述一个或多个用户参数使用尺寸设定机器学习模块来从所述一个或多个标注的身体特征产生身体特征测量结果；以及通过聚合每个提取出的身体特征的所述身体特征测量结果来产生身体尺寸测量结果。
在一个实施方案中，所述分割训练数据包括一个或多个样本人的一个或多个图像以及所述一个或多个样本人的每个身体特征的手动确定的身体特征分割。
在一个实施方案中，在衣服下面提取所述手动确定的身体特征分割，并且所述分割训练数据包括估计在所述衣服下面的所述人的身体的由标注者进行的手动确定的身体分割。
在一个实施方案中，每个身体特征上的所述标注线包括与给定的身体特征测量结果对应的一个或多个线段，并且所述从所述一个或多个标注的身体特征产生所述身体特征测量结果利用每个身体特征上的所述标注线。
在一个实施方案中，所述至少一个图像至少包括所述人的正视图像和侧视图像，并且其中所述方法还包括在执行身体特征标注步骤之后进行的以下步骤：利用线标注的正视图像和侧视图像以及所述人的身高来计算至少一个标注的身体特征的至少一个周长；以及基于所述至少一个周长、所述身高和所述一个或多个用户参数利用所述尺寸设定机器学习模块从所述至少一个周长产生所述身体特征测量结果。
在一个实施方案中，所述尺寸设定机器学习模块包括随机森林算法，并且用真实数据来对所述尺寸设定机器学习模块进行训练，所述真实数据包括一个或多个样本人的一个或多个样本身体尺寸测量结果。
在一个实施方案中，所述一个或多个用户参数是选自由身高、体重、性别、年龄和人口信息组成的组。
在一个实施方案中，所述从所述用户装置接收所述一个或多个用户参数包括通过所述用户装置接收所述一个或多个用户参数的用户输入。
在一个实施方案中，所述从所述用户装置接收所述一个或多个用户参数包括接收由所述用户装置执行的测量。
在一个实施方案中，所述至少一个图像是选自由所述人的正视图像和所述人的侧视图像组成的组。
在一个实施方案中，所述至少一个图像还包括所述人相对于所述人的所述正视图像成45度角来拍摄的额外的图像。
在一个实施方案中，所述对所述至少一个图像执行所述身体分割还包括：接收用户输入以提高所述身体分割的准确性，并且所述用户输入包括对所述提取出的身体特征的一个或多个部分的用户选择，所述一个或多个部分对应于所述人的身体的给定区域。
在一个实施方案中，所述至少一个图像包括全身着装的用户或部分着装的用户的至少一个图像，并且所述产生身体特征测量结果还包括基于所述全身着装的用户或所述部分着装的用户的所述至少一个图像产生所述身体特征测量结果。
在一个实施方案中，所述身体尺寸测量结果包括第一身体尺寸测量结果，所述方法还包括使用第二机器学习模块来产生第二身体尺寸测量结果，并且所述第二身体尺寸测量结果的准确性高于所述第一身体尺寸测量结果的准确性。
在另一个实施方案中，所述方法还包括：确定所述提取出的身体特征的给定的身体特征测量结果是否对应于低于预定值的置信水平；以及响应于确定所述给定的身体特征测量结果对应于低于所述预定值的置信水平，使用3D模型匹配模块对所述提取出的身体特征执行3D模型匹配以确定所述人的匹配的3D模型，其中使用一个或多个高置信度的身体特征测量结果来指导所述3D模型匹配模块，基于所述匹配的3D模型来执行身体特征测量，以及用来自所述匹配的3D模型的预计的身体特征测量结果来替代所述给定的身体特征测量结果。
在另一个实施方案中，所述方法还包括：确定所述提取出的身体特征的给定的身体特征测量结果是否对应于低于预定值的置信水平；以及响应于确定所述给定的身体特征测量结果对应于低于所述预定值的置信水平，使用骨骼检测模块对所述提取出的身体特征执行骨骼检测以确定所述人的关节位置，其中使用一个或多个高置信度的身体特征测量结果来指导所述骨骼检测模块，基于所述确定的关节位置来执行身体特征测量，以及用来自所述骨骼检测模块的预计的身体特征测量结果来替代所述给定的身体特征测量结果。
在另一个实施方案中，所述方法还包括在执行所述身体分割之前预处理所述人和所述背景的所述至少一个图像，所述预处理至少包括对所述至少一个图像的透视校正，并且所述透视校正是选自由利用所述人的头部的透视校正、利用所述用户装置的陀螺仪的透视校正和利用所述用户装置的另一个传感器的透视校正组成的组。
在另一个实施方案中，一种计算机程序产品可以用于产生人的身体尺寸测量结果并且可以包括其中收录有程序指令或程序代码的计算机可读存储介质，所述程序指令能够由处理器执行以使所述处理器执行以下步骤：从用户装置接收一个或多个用户参数；从所述用户装置接收至少一个图像，所述至少一个图像含有所述人和背景；对所述至少一个图像执行身体分割以从所述背景提取与所述人相关联的一个或多个身体特征，所述身体分割利用已用分割训练数据进行训练的分割深度学习网络；对所述提取出的身体特征执行身体特征标注以在每个身体特征上画出与身体特征测量结果对应的标注线，所述身体特征标注利用已用标注训练数据进行训练的标注深度学习网络，其中所述标注训练数据包括一个或多个样本身体特征的一个或多个图像以及每个身体特征的标注线；基于所述标注的身体特征和所述一个或多个用户参数使用尺寸设定机器学习模块来从所述一个或多个标注的身体特征产生身体特征测量结果；以及通过聚合每个身体特征的所述身体特征测量结果来产生身体尺寸测量结果。
在各种实施方案中，描述一种系统，所述系统包括：存储器，所述存储器存储计算机可执行组件；硬件处理器，所述硬件处理器可操作地耦合到所述存储器并且执行存储于所述存储器中的所述计算机可执行组件，其中所述计算机可执行组件可以包括与执行前述步骤的所述处理器通信地耦合的组件。
在另一个实施方案中，本发明是一种存储可执行指令的非暂时性的计算机可读存储介质，所述可执行指令在被处理器执行时使所述处理器执行用于产生身体测量结果的过程，所述指令使所述处理器执行前述步骤。
在另一个实施方案中，本发明是一种用于使用2D电话摄像机进行全身测量结果提取的系统，所述系统包括：用户装置，所述用户装置具有2D摄像机、处理器、显示器、第一存储器；服务器，所述服务器包括第二存储器和数据仓库；所述用户装置与所述服务器之间的电信链路；以及收录在所述用户装置和所述服务器的所述第一和第二存储器上的多个计算机代码，所述多个计算机代码在被执行时使所述服务器和所述用户装置执行包括前述步骤的过程。
在另一个实施方案中，本发明是一种计算机化服务器，所述计算机化服务器包括至少一个处理器、存储器和收录在所述存储器上的多个计算机代码，所述多个计算机代码在被执行时使所述处理器执行包括前述步骤的过程。
本发明的其它方面和实施方案包括包含本文中描述的步骤的方法、过程和算法，并且还包括本文中描述的系统和服务器的操作过程和操作模式。
在结合附图阅读时，从本发明的详细描述中，本发明的其它方面和实施方案将变成显而易见的。
附图说明
本文中描述的本发明的实施方案是示例性的，而非限制性的。现在将参看附图举例描述实施方案，在附图中：
图1A示出根据本发明的一个实施方案的利用深度学习网络(DLN)和机器学习的身体测量结果确定的示例性流程图。
图1B示出根据本发明的另一个实施方案的使用深度学习网络(DLN)和机器学习的身体测量结果确定的另一个示例性流程图。
图1C示出根据本发明的另一个实施方案的使用深度学习网络(DLN)和机器学习的人体测量结果确定的详细流程图。
图1D示出根据本发明的一个实施方案的使用深度学习网络(DLN)的人体部位分割和标注的详细流程图。
图1E示出根据本发明的另一个实施方案的用于根据从深度学习网络(DLN)获得的一个或多个特征值确定身体尺寸的机器学习算法的示意图。
图2示出根据本公开的示例性实施方案的用于训练深度学习网络(DLN)和机器学习模块的示例性流程图，所述深度学习网络和所述机器学习模块与图1A的用于人体测量结果确定的流程图一起使用。
图3示出用于训练分割和标注DLN的所捕获的用户图像(正视图)的示意图，所述用户图像示出了穿着衣服的人体。
图4示出了一个示意图，所述示意图示出了手动地从背景分割在衣服下面的人体的一个或多个特征以训练分割DLN的标注者。
图5示出用于训练分割DLN的从背景分割的人体的身体特征的示意图。
图6示出一个示意图，所述示意图示出标注者手动地标注用于训练标注DLN的标注线。
图7示出根据本发明的一个实施方案的用于实施身体测量结果提取的说明性的客户端-服务器图。
图8示出根据本发明的一个实施方案的用于身体测量结果确定(示出单独的分割DLN、标注DLN和尺寸设定机器学习模块)的示例性流程图。
图9示出根据本发明的另一个实施方案的用于身体测量结果确定(示出组合的分割-标注DLN和尺寸设定机器学习模块)的另一个示例性流程图。
图10示出根据本发明的另一个实施方案的用于身体测量结果确定(示出组合的尺寸设定DLN)的另一个示例性流程图。
图11示出根据本公开的另一个说明性实施方案的用于身体测量结果确定(示出3D人模型和骨骼-关节位置模型)的另一个示例性流程图。
图12示出用于实施本发明的一个实施方案的服务器的说明性硬件架构图。
图13示出用于在客户端服务器环境中实施本发明的一个实施方案的说明性系统架构图。
图14示出本发明的使用案例的示意图，其中使用移动装置上的单个摄像机来捕获人体测量结果，示出站在正常背景前面的穿着普通衣服的人的正视图。
图15示出根据本发明的一个实施方案的示出用于捕获正视像片的用户指令的移动装置图形用户界面(GUI)的示意图。
图16示出根据本发明的一个实施方案的请求用户输入其身高(以及任选地输入其它用户参数，诸如体重、年龄、性别等)以及选择其偏好的款式类型(紧身、常规或宽松款式)的移动装置GUI的示意图。
图17示出根据本发明的一个实施方案的用于捕获正视像片的移动装置GUI的示意图。
图18示出根据本发明的一个实施方案的用于捕获正视像片的移动装置GUI的另一个示意图。
图19示出根据本发明的一个实施方案的用于捕获侧视像片的移动装置GUI的示意图。
图20示出根据本发明的一个实施方案的在所述系统处理所捕获的像片以提取身体测量结果时显示的移动装置GUI的示意图。
图21示出根据本发明的一个实施方案的在已成功提取身体测量结果时示出通知屏幕的移动装置GUI的示意图。
具体实施方式
概述
参看所提供的图式，现在详细地描述本发明的实施方案。
在以下描述中，为了阐释，陈述众多特定细节以便提供对本发明的透彻理解。然而，本领域技术人员将显而易见，本发明可以在没有这些特定细节的情况下实施。在其它情况中，使用示意图、使用案例和/或流程图来示出结构、装置、活动和方法以便避免掩盖本发明。虽然以下描述含有许多具体情况以便进行说明，但是本领域技术人员将了解，所提出的细节的许多变化和/或更改属于本发明的范围内。类似地，虽然本发明的许多特征是相对于彼此或彼此结合来进行描述，但是本领域技术人员将了解，这些特征中的许多特征可以独立于其它特征来提供。因此，在本发明的一般性不会有任何损失并且不会对本发明强加限制的情况下陈述本发明的此描述。
其他人已尝试许多不同类型的方法来从用户的图像产生或提取身体测量结果。所有这些方法通常会要求用户具有特定姿势、站在与摄像机相隔特定距离处、在空白背景前面、穿上紧身衬衣和/或部分裸露只穿内衣。对受控环境和显著用户分歧的此类要求是非所要的。
本发明通过提供一种用于从2D像片准确地提取身体测量结果的系统和方法来解决前述问题，其中1)用户采取任何姿势，2)用户站在任何背景类型的前面，3)像片在任何距离处拍摄以及4)用户穿着任何类型的衣服，使得每个人都可以容易地自己拍摄像片并且得益于全身测量结果提取。本发明的一些实施方案既不会涉及任何3D重建构或3D身体模型，它们也不需要专门的硬件摄影机。而是，使用与深度学习技术结合的先进的计算机视觉来根据从简单的移动装置摄像机提供的像片产生准确的身体测量结果，而不管用户穿着什么衣服。在本公开中，术语“2D像片摄像机”用于表示嵌入于计算装置(诸如智能电话、平板计算机、膝上型计算机或桌上型计算机)中或连接到计算装置的任何传统摄像机。
用于身体测量的深度学习网络和机器学习
图1A示出根据本公开的示例性实施方案的用于身体测量结果确定操作的示例性流程的图。在本发明的一些实施方案中，将计算机视觉技术和深度学习应用于用户的一个正视像片和一个侧视像片，外加用户的身高以及可能还外加其它用户参数(诸如体重、性别、年龄等)，并且使用一个或多个深度学习网络来产生全身测量结果，所述深度学习网络是用针对数千个样本人收集和标注的经标注的身体测量结果进行训练。在所述系统收集更多数据时，身体测量的准确性就自动地提高。在一些其它实施方案中，使用利用计算机视觉技术的透视校正、人背景减除、骨骼检测和3D模型匹配方法来改善来自深度学习方法的任何低置信度的身体测量结果。此混合方法显著地提高了身体测量结果准确性，并且增加用户对身体测量结果的满意度。在身体测量结果用于定制服装生产的情况中，所得准确性会改善客户服务并且减少所生产的定制服装的退货率。
整个过程开始于步骤101。在步骤102，获得、产生和/或测量规范化数据(一个或多个用户参数)，诸如用户的身高，以便执行规范化或缩放。在另一个实施方案中，体重也可以与身高结合使用。可以自动地确定(例如，使用计算机视觉算法或从一个或多个数据库挖掘)或根据用户(例如，用户输入)确定所述两个用户参数。在一个实施方案中，根据这些用户参数，可以计算体重指数(BMI)。BMI可以用于校准使用体重和身高进行的身体测量结果提取。额外的用户参数可以包括以下至少一者：身高、体重、性别、年龄、种族、原籍国、运动能力和/或与用户相关联的其它人口信息等。使用用户的身高来规范化或缩放正视和/或侧视像片并且提供像片中的人的已知尺寸参照。使用其它用户参数(诸如体重、BMI指数、年龄、性别等)作为传入所述系统中的额外输入以优化身体尺寸测量。在一个实施方案中，还可以从用户装置、从一个或多个第三方数据源或从服务器自动地获得其它用户参数。
在步骤104，可以接收一个或多个用户像片；例如，可以接收给定用户的至少一个正视和/或侧视像片。在另一个实施方案中，可以从用户装置(例如，移动电话、膝上型计算机、平板计算机等)获得所述像片。在另一个实施方案中，可以从数据库(例如，社交媒体数据库)获得像片。在另一个实施方案中，用户像片包括展示正视图的像片和展示用户的整个身体的侧视图的像片。在一些实施方案中，仅利用一个像片，诸如正视图，并且一个像片足以执行准确的身体测量结果提取。在其它实施方案中，利用三个或更多个像片，在一些实施方案中包括正视像片、侧视像片和以45度角拍摄的像片。如本领域普通技术人员将认识到的，用户像片的其它组合属于本发明的范围内。在一些实施方案中，可以接收用户视频，例如用户的正视图、90、180或甚至360度视图。根据用户视频，从所述视频中提取一个或多个静态帧或像片，诸如正视图、侧视图和/或45度视图，并且将所述静态帧或像片用于之后的过程中。步骤102和104在本发明的各种实施方案中可以按任何次序执行，或者所述两个步骤可以同时实施。
在一个实施方案中，如下文结合以下步骤进一步描述，所述系统可以使用像片和规范化数据来自动地计算(例如，使用一个或多个AI的算法)身体测量结果。在另一个实施方案中，为了获得更准确的结果，用户可以指示用户是穿着紧身衣服、正常的衣服还是宽松的衣服。
在一个实施方案中，可以在指定距离处(例如，远离用户的装置的摄像机约10英尺)拍摄图像。在一个实施方案中，可以在用户摆出特定姿势(例如，手臂放在预定位置、双腿与肩同宽张开、后背挺直、“A形姿势”等)的情况下拍摄图像。在另一个实施方案中，可以拍摄给定位置的多个图像(例如，正视像片和侧视像片)，并且可以确定每个位置的平均图像。可以执行这个过程以提高准确性。在另一个实施方案中，用户可以位于特定类型的背景(例如，中性色或具有预定的背景图像)前面。在一些实施方案中，用户可以位于任何类型的背景前面。在一个实施方案中，可以在类似的照明条件(例如，给定亮度、阴影和类似者)下拍摄正视像片和侧视像片。在另一个实施方案中，正视像片和侧视像片可以包括穿着正常合身的衣服(例如，不过松也不过紧)的用户的图像。可选地或另外地，取决于基于AI的算法和相关联的过程的需要，正视像片和侧视像片可以包括部分着装(例如，赤膊)或穿着不同类型的款式(例如，紧身、宽松等)的用户的图像。
在一些实施方案中，在需要时，可以对正视像片和侧视像片执行对用户的一个或多个像片(未示出于图1A中)的预处理。举例来说，所述系统可以使用OpenCV，即，一种开源机器视觉库，并且可以利用正视像片和侧视像片中的头部的特征和用户的身高作为参考来进行透视校正。以此方式，本公开的实施方案可以避免确定像身体的长度(诸如躯干长度和腿长度)的比例那样不准确的测量结果。任选地，示出摄像机相对于被拍摄的人定位于何处的透视侧面像片可以通过允许所述系统计算摄像机与用户之间的距离而得到更准确的透视校正。在一些实施方案中，所述系统可以改为使用由用户装置(或连接到用户装置的外围装置，诸如附加计算机装置)提供的陀螺仪数据来检测像片透视角度，并且基于此像片透视角度来执行透视校正。
在一些实施方案中，可以对用户的一个或多个像片执行一个或多个额外的预处理步骤(未示出于图1A中)。可以利用各种计算机视觉技术来进一步预处理所述一个或多个图像。除了透视校正之外，预处理步骤的实例可以包括对比、照明和其它图像处理技术来在进一步处理之前提高所述一个或多个图像的质量。
在步骤106，可以使用第一深度学习网络(DLN)从所述图像识别或提取身体特征，诸如人的身体部位(例如，颈部、手臂、腿等)，所述第一深度学习网络被称作分割DLN。在一个实施方案中，“深度学习”可以指根据神经网络建模的使用一连串多层的非线性处理单元来进行特征提取和变换的一类机器学习算法。在一个实施方案中，连续的层可以使用前一个层的输出作为输入。在一个实施方案中，“深度学习”中的“深度”可以指用于对数据进行变换的层的数目。在下文参看图3至图4来阐释和示出身体特征提取的实例。
在对来自真实用户的数据执行此分割步骤之前，如关于图2所描述，可以首先(例如)用穿着不同衣服在不同环境中摆姿势(例如，双手呈45度，有时被称作“A形姿势”)的人的样本像片对所述系统进行训练。在一些实施方案中，可以使用任何合适的深度学习架构，诸如深度神经网络、深度信念网络和/或递归神经网络。在另一个实施方案中，深度学习算法可以按监督(例如，分类)和/或未监督(例如，模式分析)方式来学习。另外，深度学习算法可以学习与在图像中编码的信息(例如，身体、身体部位等)的不同抽象层级对应的多个表示层级。在另一个实施方案中，所述图像(例如，正面像片和侧面像片)可以表示为像素的矩阵。举例来说，在一个实施方案中，第一表示层可以提取像素并对边缘进行编码；第二层可以构建边缘并对边缘的布置进行编码；第三层可以对鼻子和眼睛进行编码；并且第四层可以识别出所述图像含有脸部等等。
在一个实施方案中，如下文关于图2所描述，可以用分割训练数据来对分割DLN算法进行训练。在一些实施方案中，所述分割训练数据可以包括具有手动分割的身体特征的数千个样本人。在一些实施方案中，所述训练数据包括(例如)来自CAT扫描、MRI扫描等的医疗数据。在一些实施方案中，所述训练数据包括来自之前的裁缝的数据或包括来自3D身体扫描仪的3D身体扫描的3D身体测量结果和“真实”数据。在一些实施方案中，在前视像片和侧视像片未明确可用的情况下，可以使用3D身体扫描来提取大致的正视像片和/或侧视像片。在一些实施方案中，真实数据包括人类裁缝测量的数据；而在其它实施方案中，真实数据包括来自3D身体扫描的自动地提取的1D身体尺寸测量结果。在一些实施方案中，可以利用来自“SizeUSA”数据集的3D身体扫描数据，所述数据集是在约10,000个受试人(男性与女性)身上获得的3D身体扫描的商业样本。在其它实施方案中，可以利用来自“CAESAR”数据集的3D身体扫描数据，所述数据集是在约4,000个受试人身上获得的3D身体扫描的另一个商业样本并且还包括使用人类裁缝手动测量的真实数据。在其它实施方案中，利用本发明的组织可以捕获他们自己的正面像片和侧面像片以及使用人类裁缝的合适的真实数据，用于训练分割DLN。在其它实施方案中，可以通过一个或多个算法(包括一个或多个深度学习网络)来自动地产生分割训练数据，而不是由人类操作者手动地分割。
在一个实施方案(未示出于图1A中)中，使用在步骤106中产生的分割图将识别出的身体部位从人和背景的其余部分分割、分离或裁剪。所述裁剪可以是实际的或虚拟的裁剪。可以将与每个识别出的身体部位对应的图像的部分从图像的其余部分裁剪、分割或分离，并且将图像的该部分传递到标注步骤107。通过将识别出的身体部位从图像的其余部分裁剪或分离，可以用每个单独的身体部位来专门地或单独地对在标注步骤107中使用的标注DLN进行训练，从而提高准确性与可靠性。
在步骤107，可以使用一个或多个额外的深度学习网络(DLN)(例如标注DLN)来确定在步骤106识别或提取的每个身体部位的标注线。在一个实施方案中，整个身体只有一个身体特征标注DLN。在另一个实施方案中，每个身体部位都有单独的身体特征标注DLN。为每个身体部位使用单独的身体特征标注DLN的优点是身体部位测量的准确性和可靠性提高。可以用用于每个身体部位的单独和独特的数据对每个身体部位DLN单独地进行训练。每个身体部位的数据的特异性使DLN的准确性和可靠性提高，并且还提高神经网络层训练的收敛速度。在下文参看图5至图6来阐释和示出身体特征标注的实例。
在一个实施方案中，所述系统可以通过使用基于AI的算法(诸如标注DLN)来产生和提取身体特征测量结果，例如，通过首先根据从身体特征获得的信号来产生标注线。每个标注线对于每个身体特征可能是不同的并且可以不同地画出。举例来说，对于二头肌的宽度或周长，所述系统可以在二头肌位置处画出垂直于骨骼线的线；对于胸部，所述系统可以改为将两个胸点连接。根据每个身体特征的标注，如下文进一步描述，随后可以通过对在步骤102接收到的用户的身高进行规范化来获得身体特征测量结果。
在对来自真实用户的数据执行此标注步骤之前，如下文关于图2进一步描述，可以首先(例如)用穿着不同衣服在不同环境中摆姿势(例如，双手呈45度角，有时被称作“A形姿势”)的人的样本像片对所述系统进行训练。在其它实施方案中，可以通过一个或多个算法(包括一个或多个深度学习网络)来自动地产生标注训练数据，而不是由人类操作者手动地标注。关于图1B、图1C和图1D更详细地描述分割和标注DLN。
在步骤108，可以使用一个或多个机器学习算法(例如，尺寸设定机器学习(ML)算法)来估计具有在步骤107产生的标注线的每个身体部位的身体特征测量结果。在一个实施方案中，尺寸设定ML算法包括随机森林机器学习模块。在一个实施方案中，每个身体部位有单独的尺寸设定ML模块。在一些实施方案中，整个身体用一个尺寸设定ML模块。在一个实施方案中，所述系统可以使用在步骤102接收到的身高作为输入来规范化尺寸估计以确定身体特征的尺寸。为此，在一个实施方案中，标注DLN画出指示受试者身高的位置的“全身”标注线，其中有一个点表示受试者的脚底并且另一个点表示受试者的头顶。使用此“全身”标注线来按照在步骤102提供的受试者的已知身高来规范化其它标注线。换句话说，检测图像中的受试者的身高，并且将所述身高与已知实际身高一起使用以规范化所有标注线测量结果。这个过程可以被认为是使用受试者的已知身高作为标准测量结果来进行规范化的“身高参考规范化”。在另一个实施方案中，代替用户的身高或除了用户的身高之外，还可以使用已知尺寸的物体(诸如信纸或A4大小的纸或信用卡)作为规范化参考。
在另一个方案中，使用额外的用户人口数据(诸如但不限于在步骤102接收到的身高、BMI指数、性别、年龄和/或与用户相关联的其它人口信息)作为尺寸设定ML算法(诸如随机森林)的输入，关于图1E对此进行更详细的描述。
所述系统还可以使用其它算法、手段和媒介来进行每个身体特征测量。标注DLN和尺寸设定ML可以实施为一个尺寸设定DLN，所述尺寸设定DLN对每个身体特征进行标注并且执行测量；或者可以实施为两个单独的模块，即，对每个身体特征进行标注的标注DLN以及对所标注的身体特征执行测量的单独的尺寸设定ML模块。类似地，在下文关于图8至图10来描述用于实施步骤106的分割DLN、步骤107的标注DLN和步骤108的尺寸设定ML模块的各种可选架构。举例来说，图8对应于图1A中所示的架构，其中分割DLN、标注DLN和尺寸设定ML模块是单独的模块。相反地，图9对应于可选架构(未示出于图1A中)，其中分割DLN与标注DLN组合成单个标注DLN(有效地执行分割与标注)，之后跟着尺寸设定ML模块。最后，图10对应于另一个可选架构(未示出于图1A中)，其中分割DLN、标注DLN和尺寸设定ML模块全部组合到单个尺寸设定DLN中，所述尺寸设定DLN有效地执行分割、标注和尺寸测量的全部功能。
可选地，在步骤110，可以确定、获得或从步骤108中的尺寸设定ML模块接收每个身体特征测量结果的置信水平。除了输出每个身体特征的预测的身体测量结果之外，所述尺寸设定ML模块还输出每个预测的身体特征测量结果的置信水平，如下文所描述，随后利用所述置信水平来确定是否将使用任何其它方法来改善所述输出。在另一个实施方案中，所述置信水平可以是基于置信区间。明确地说，置信区间可以指根据观测数据(例如，正面像片和侧面像片的编码图像数据)的统计数据计算的一类区间估计，所述区间估计可能含有未知群体参数(例如，身体部位的测量结果)的真实值。所述区间可以具有相关联的置信水平，所述置信水平可以量化参数处于所述区间中的置信水平。更严格地说，置信水平表示含有未知群体参数的真实值的可能置信区间的频率(即，比例)。换句话说，如果使用给定置信水平根据无限个独立样本统计数据建构置信区间，那么含有参数的真实值的那些区间的比例将等于所述置信水平。在另一个实施方案中，可以在检查数据(例如，图像以及从其中提取的测量结果)之前指定置信水平。在一个实施方案中，使用95％置信水平。然而，可以使用其它置信水平，例如，90％、99％、99.5％等。
在各种实施方案中，可以基于有效性和/或最优性的确定来确定置信区间和对应的置信水平。在另一个实施方案中，有效性可以指置信区间保持的置信水平，准确地或达到良好近似。在一个实施方案中，最优性可以指置信区间应尽可能多地使用数据集中的信息(图像和所提取的特征和测量结果)的建构规则。
在步骤112，可以确定置信水平是否大于预定值。如果确定置信水平大于预定值，那么所述过程可以前进到步骤114，在所述步骤可以输出高置信度的身体特征测量结果。如果确定置信水平小于预定值，那么所述方法可以前进到步骤116或步骤118。步骤116和118是用于预测或推测深度学习方法具有低置信度的那些身体特征的估计身体特征测量结果的一种或多种任选的退却算法的例示。如下文所描述，之后将来自深度学习方法(以虚线示出)的高置信度的身体特征测量结果与来自用于低置信度的身体特征测量结果的可选退却算法的预计身体特征测量结果合成为高置信度的身体特征测量结果的完全集。如所指出，在另一个实施方案中，可以在检查数据(例如，图像以及从其中提取的测量结果)之前指定置信水平。
明确地说，在步骤116和118，可以应用其它任选模型(例如，基于AI或基于计算机视觉的模型)。在步骤116，并且根据一个任选实施方案，可以应用3D人模型匹配算法。举例来说，所述系统可以首先利用OpenCV和/或深度学习技术来从背景提取人体。随后将所提取的人体与一个或多个已知的3D人模型进行匹配以便获得身体特征测量结果。使用这种技术以及现有3D身体扫描的数据库(例如，几千个3D身体扫描的数据库)，所述系统可以将所检测到的最接近的身体与3D身体扫描的点进行匹配。使用最接近匹配3D模型，所述系统随后可以从所述3D模型提取身体特征测量结果。在下文关于图11来更详细地描述这种技术。
可选地和/或另外地，在步骤118，可以应用其它模型，诸如骨骼/关节位置模型。在一个实施方案中，可以使用OpenPose(在下文进一步讨论)，一种用于姿势检测的开源算法，来执行骨骼/关节检测。使用这种技术来获得骨骼和关节位置，在需要时，所述系统随后可以使用额外的深度学习网络(DLN)来在适当的点之间画线，所述线指示骨头中间的位置，所述位置是在用户像片的顶部画出以指示各种关键骨骼结构，从而展示各种身体部位(诸如肩部、颈部和手臂)的位置。根据这个信息，可以从适当的线获得身体特征测量结果。举例来说，可以使用将肩部与手腕连接的线来确定手臂长度。在下文关于图11来更详细地描述这种技术。
在一个实施方案中，将3D模型算法与骨骼/关节位置模型如下组合(但这种情况并未在图1A中明确地示出)。使用现有3D身体扫描的数据库，例如，几千个3D身体扫描的数据库，所述系统可以将最接近骨骼检测与3D身体扫描的骨骼点进行匹配，展示指示骨头的位置的点和线，所述位置指示各种关键骨骼结构，从而展示各种身体部位(诸如肩部、颈部和手臂)的位置。在匹配了最接近匹配3D模型之后，所述系统可以从所述3D模型提取身体特征测量结果。
在任一种或两种情况中，在步骤120、或在步骤122、或在所述两个步骤，可以推测(例如，估计)高置信度的身体特征测量结果。明确地说，可以使用与第一、较低置信度的深度学习过程(例如，在上文结合步骤108示出和描述)不同的过程来执行对高置信度的身体特征测量结果的估计。
这种方法的一个有利特征是来自步骤114的高置信度的身体特征测量结果(示出为虚线)可以用作输入来帮助校准其它模型，例如步骤116中的3D人模型算法和步骤118中的骨骼/关节位置模型。也就是说，可以使用在步骤108中获得的来自深度学习方法的高置信度的身体特征测量结果来帮助其它模型，例如，3D人模型116和/或骨骼/关节位置模型118。随后可以使用其它模型(116和/或118)来获得在步骤112被确定为具有低于预定值的置信度的那些身体特征测量结果的预计的高置信度的身体特征测量结果。之后，所述预计的高置信度的身体特征测量结果可以替代或补充来自深度学习方法的低置信度的身体特征测量结果。
另外，在步骤124，可以使用在步骤120和/或步骤122确定的高置信度的身体特征测量结果来确定高置信度的身体特征测量结果。以此方式，各种模型，也就是说，3D人模型和骨骼/关节位置模型，都可以用于进一步提高在步骤114获得的身体特征测量结果的准确性。因此，将高置信度的身体特征测量结果聚合—将来自步骤114(例如，深度学习方法)的高置信度的身体特征测量结果与来自步骤120和122(例如，其它模型)的预计的高置信度的身体特征测量结果结合。
在步骤126，将高置信度的身体特征测量结果聚合成整个人体的完整的身体测量结果，并且随后输出以供使用。明确地说，所述身体测量结果可以被输出到(例如)与基于所述测量结果来生产服装的公司相关联的用户装置和/或对应服务器。在一个实施方案中，所述输出可以呈文本消息、电子邮件、在移动应用程序或网站上的文字描述、其组合和类似者的形式。所述完整的身体测量结果随后可以用于任何目的，包括但不限于定制服装生产。本领域普通技术人员将认识到，完整的身体测量结果的输出可以用于实现准确且简单的身体测量是有用的任何目的，诸如但不限于健身、健康、购物等。
图1B示出根据本发明的另一个实施方案的用于使用深度学习网络(DLN)和机器学习进行身体测量结果确定的另一个示例性流程图。在步骤151，接收输入数据152，所述输入数据包括正面像片、侧面像片和用户参数(身高、体重、年龄、性别等)。在步骤153，应用一个或多个图像处理步骤。首先，可以执行任选的图像预处理(透视校正、人裁剪、尺寸重设定等)步骤。接下来，如关于图1D更详细地描述，对图像应用深度学习网络(DLN)154以分割并标注身体特征。接下来，如关于图1E更详细地描述，对所标注的身体特征应用尺寸设定机器学习模块(ML)156以根据标注线和所述用户参数中的一者或多者来确定身体尺寸测量结果。最后，在步骤155，输出身体尺寸测量结果(例如，16个标准身体部位尺寸)，示意性地示出为输出数据158。输出158可以包括尺寸结果(一组标准的身体尺寸测量结果，诸如颈部、肩部、袖子、身高、裤腿外缝、裤腿内缝等)并且还可以包括标注有标注线的正面像片和侧面像片。
图1C示出根据本发明的另一个实施方案的用于使用深度学习网络(DLN)和机器学习进行身体测量结果确定的详细的说明性流程图。传入身体测量过程的输入包括正面像片161、侧面像片162、身高163和其它用户参数(体重、年龄、性别等)164。在步骤165对正面像片161进行预处理，而在步骤166对侧面像片162进行预处理。先前已讨论了预处理步骤的实例，诸如透视校正、人裁剪、图像尺寸重设定等。在步骤167，将预处理后的正面像片用作DLN1(关于图1D更详细地描述的分割-标注DLN)的输入以产生正面像片161的标注线。在步骤168，将预处理后的侧面像片用作DLN 2(分割-标注DLN)的输入以类似地产生侧面像片161的标注线。从DLN 1输出来自正视图的每个身体部位的标注线169，并且从DLN 2输出来自侧视图的每个身体部位的标注线170。在步骤171，利用来自正面像片161和侧面像片162的两组标注线以及从身高输入163接收到的身高规范化参考175来计算每个身体部位的周长。在步骤172，在机器学习算法(诸如随机森林(关于图1E更详细地描述))中利用每个身体部位的周长以及从输入163和164接收到的身高和其它用户参数176来计算一个或多个身体尺寸测量结果。在步骤173，输出身体尺寸测量结果(每个标准测量的长度)。最后，身体测量过程在步骤174结束。
说明性深度学习网络和机器学习架构
图1D示出根据本发明的一个实施方案的身体部位分割和标注的详细流程图。在一个实施方案中，使用如上文所描述的使用训练数据的深度学习网络(DLN)来完成身体部位分割和标注。在一个实施方案中，使用卷积神经网络(CNN)与金字塔场景剖析网络(PSPNet)相结合来执行身体部位分割和标注以获得改善的全局和局部上下文信息。在PSPNet中，所述过程可以利用来自通过金字塔池化模块184聚合的不同尺寸的区域的全局和局部上下文信息。如图1D中所示，输入图像181首先传递通过卷积神经网络(CNN)182以获得特征图183，所述特征图将每个像素分类或分割到给定的身体部位和/或标注线中。接下来，利用金字塔池化模块184从特征图183提取全局和局部上下文信息，所述金字塔池化模块按不同的尺寸标度聚合来自图像的信息。最后，所述数据传递通过最后的卷积层185以将每个像素分类到身体部位分割线和/或标注线186中。
更详细地，根据输入图像181，首先使用CNN 182来获得特征图183，随后使用金字塔池化模块184来提取不同子区域的特征；之后通过上采样和级联层来形成最终的特征表示，所述特征表示携载局部与全局上下文信息。最后，将所述特征表示馈送到最后的卷积层185以获得最后的每像素预测。在图1D中所示的实例中，金字塔池化模块184依据四种不同的标度来组合特征。最大的标度是全局；后续的层级将特征图分割成不同的子区域。金字塔池化模块184中的不同层级的输出包括依据不同标度的特征图。在一个实施方案中，为了维持全局特征的权重，如图1D中所示，可以在每个金字塔层级之后使用卷积层来减少上下文表示的维度。接下来，对低维度的特征图进行上采样以得到与原来的特征图大小相同的特征。最后，将不同的特征层级与原来的特征图183级联以获得金字塔池化模块184的输出。在一个实施方案中，通过使用四层金字塔，如所示，池化窗口覆盖原始图像181的全部、一半和较小的部分。
在一个实施方案中，如Hengshuang Zhao等在“Pyramid Scene Parsing Network”(CVPR 2017，2016年12月4日，可在arXiv:1612.01105处获得)中所描述般实施PSPNet算法。PSPNet只是属于本发明的范围内的一个说明性深度学习网络算法，并且本发明不限于使用PSPNet。其它深度学习算法也属于本发明的范围内。举例来说，在本发明的一个实施方案中，利用卷积神经网络(CNN)来提取身体段(分割)，并且使用单独的CNN来标注每个身体段(标注)。
图1E示出根据本发明的另一个实施方案的用于根据从深度学习网络(DLN)获得的一个或多个特征值191进行身体测量结果确定的机器学习算法的示意图。在一个实施方案中，使用随机森林算法(一种说明性机器学习算法)来确定身体部位尺寸。随机森林算法使用多个决策树预测器，使得每个决策树取决于训练数据的随机子集的值，这样会将对训练数据集过拟合的概率降至最低。在一个实施方案中，如Leo Breiman在“Random Forests”(Machine Learning,45,5-32,2001,Kluwer Academic Publishers,Netherlands,可在doi.org/10.1023/A:1010933404324获得)中描述般实施所述随机森林算法。随机森林只是属于本发明的范围内的一个说明性机器学习算法，并且本发明不限于使用随机森林。其它机器学习算法，包括但不限于最近邻、决策树、支持向量机(SVM)、自适应提升、贝叶斯网络、包括深度学习网络的各种神经网络、进化算法等，属于本发明的范围内。机器学习算法的输入是特征值(x)191，如关于图1C所描述，所述特征值包括从深度学习网络获得的身体部位的周长、身高以及其它用户参数。机器学习算法的输出是尺寸测量结果(y)192的预测值。
如所指出，本文中描述的装置和系统(以及其各种组件)的实施方案可以采用人工智能(AI)来帮助使本文中描述的一个或多个特征(例如，提供身体提取、身体分割、测量结果提取以及类似者)自动化。所述组件可以采用各种基于AI的方案来实施本文中公开的各种实施方案/实例。为了允许或帮助进行本文中描述的许多确定(例如，确定、评定、推断、计算、预测、预想、估计、获得、预报、检测、计算)，本文中描述的组件可以检查其被授权存取的数据的全部或子集并且可以允许根据如经由事件和/或数据捕获的一组观测数据来推断或确定系统的状态、环境等。确定可以用于识别特定的上下文或动作，或者可以产生(例如)状态的概率分布。所述确定可以是基于概率的—也就是说，相关的状态概率分布的计算是基于对数据和事件的考虑。确定还可以指用于从一组事件和/或数据构建较高级事件的技术。
此类确定可以导致从一组观测到的事件和/或存储的事件数据建构新的事件或动作，不管所述事件是否在时间上紧密相关，并且不管所述事件和数据是来自一个还是若干个事件源和数据源。本文中描述的组件可以将各种分类(显式训练(例如，经由训练数据)以及隐式训练(例如，经由观察行为、偏好、历史信息、接收本征信息等))方案和/或系统(例如，支持向量机、神经网络、专家系统、贝叶斯信念网络、模糊逻辑、数据融合引擎等)用于结合所要求权利保护的主题执行自动化和/或所确定的动作。因此，可以使用分类方案和/或系统来自动地学习并执行许多功能、动作和/或确定。
分类器可以将输入属性向量z＝(z1,z2,z3,z4,…,zn)映射到所述输入属于一个类别的置信度，如按照f(z)＝置信度(类别)。此类分类可以采用基于概率和/或基于统计的分析(例如，将分析效用和成本纳入考虑)以确定将自动执行的动作。可以采用的分类器的另一个实例是支持向量机(SVM)。所述SVM通过寻找可能输入的空间中的超曲面而操作，其中所述超曲面试图将触发准则与非触发事件分开。直观地，这对接近训练数据但与训练数据不相同的试验数据进行分类校正。其它有向和无向模型分类方法包括(例如)朴素贝叶斯、贝叶斯网络、决策树、神经网络、模糊逻辑模块，和/或可以采用提供不同的独立模式的概率分类模型。如本文中使用的分类还包括用于形成优先级模型的统计回归。
训练深度学习网络和机器学习模块
图2示出根据本发明的示例性实施方案的用于训练在产生身体测量结果过程中使用的分割DLN、标注DLN和尺寸设定ML的示例性流程图的图。所述训练过程开始于步骤201。在步骤202，接收一个或多个像片。举例来说，可以接收给定用户的正视像片和侧视像片。在另一个实施方案中，可以从用户装置(例如，移动电话、膝上型计算机、平板计算机等)获得所述像片。在另一个实施方案中，可以从数据库(例如，社交媒体数据库)获得所述像片。在另一个实施方案中，来自所述用户的像片包括示出所述用户的整个身体的正视图的像片和示出侧视图的像片。
在步骤204，标注者可以使用人的直觉对衣服下面的身体特征(诸如身体部位)进行分割。明确地说，可以由人执行身体分割以从像片的背景提取人体，除去衣服。举例来说，人类标注者可以目视地编辑(例如，描绘出和色彩代码)像片并且指示哪些身体部位对应于所述像片的哪些部分以从背景提取人体，除去衣服。在一个实施方案中，所述像片可以包括穿着不同衣服在不同环境中摆姿势的人，其中双手呈45度(“A形姿势”)。如所指出，可以由人类标注者从背景手动地绘出准确的身体外形。人类标注者确定在任何种类的衣服下面的所拍摄的人的身体形状的能力(尤其是经验丰富并且可以提供准确且可靠的身体形状标注的熟练标注者)确保所述系统的高性能。可以在任何合适的软件平台上画出身体外形，并且可以使用周边装置(例如，智能笔)来便于标注。在另一个实施方案中，可以使用图像的打印件并且用笔/铅笔手动地分割，并且可以通过所述系统使用一种或多种基于AI的算法(例如，基于计算机视觉的算法)来扫描和识别所述被分割的打印件。另外，可以使用此类被分割的图像的至少一部分作为训练数据，所述训练数据可以在步骤208被馈入深度学习网络，使得GPU可以从穿着任何衣服在任何背景中采取A形姿势的人的外形中学习。在另一个实施方案中，所述被分割的身体特征可以(例如)根据另一个训练数据集自动地产生、根据已知的3D模型产生或使用另一种算法(包括另一种深度学习网络)以其它方式产生。训练分割DLN的方式不是对本发明的限制。在一个实施方案中，利用来自步骤204的被分割的图像来训练在图1A的步骤106中使用的分割DLN。
在步骤205，标注者随后可以使用人的直觉画出在衣服下面的每个身体特征的估计标注(测量)线。如所指出，可以由人类标注者从背景手动地画出准确的标注线。人类工作者在任何种类的衣服下面确定所拍摄的人的正确标注线的能力(尤其是经验丰富并且可以提供准确且可靠的身体形状标注的熟练标注者)确保所述系统的高性能。可以在任何合适的软件平台上画出标注线，并且可以使用周边装置(例如，智能笔)来便于标注。在另一个实施方案中，可以使用图像的打印件并且用笔/铅笔手动地标注，并且可以通过所述系统使用一种或多种基于AI的算法(例如，基于计算机视觉的算法)来扫描和识别所述被标注的打印件。另外，可以使用此类被标注的图像的至少一部分作为训练数据，所述训练数据可以在下文的步骤210被馈入深度学习网络，使得GPU可以从穿着任何衣服在任何背景中采取A形姿势的人的标注线中学习。在另一个实施方案中，所述身体特征的标注可以(例如)根据另一个训练数据集自动地确定、根据已知的3D模型产生或使用另一种算法(包括另一种深度学习网络)以其它方式产生。训练标注DLN的方式不是对本发明的限制。
诸如由上述深度学习组件使用的任何机器学习方法的起点是含有系统输入和正确结果(例如，训练数据)的多个实例的所记录的数据集。可以使用此数据集，使用本领域中已知的方法(包括但不限于标准化的机器学习方法，诸如参数分类方法、非参数方法、决策树学习、神经网络、将归纳学习与分析学习结合的方法和建模方法(诸如回归模型))来训练机器学习系统以及评估和优化已训练系统的性能。机器学习系统输出的输出的质量取决于(a)模式参数化、(b)学习机器设计和(c)训练数据库的质量。可以使用各种方法来细化和优化这些组件。举例来说，可以通过添加用于新的所记录的受试者的数据库来细化数据库。可以(例如)通过用通过服装定制的一位或多位专业人员完成定制的案例来填充数据库来提高数据库的质量。因此，所述数据库将更好地表示专业人员的知识。在一个实施方案中，所述数据库包括(例如)不合身设计的数据，这样可以帮助评估已训练系统。
在步骤206，可以接收每个身体特征的实际的人测量结果(例如，由裁缝确定或从3D身体扫描取得的1D测量)以用作真实数据。所述实际的人测量结果可以用作有效数据并且用于训练所述系统所使用的算法。举例来说，可以使用所述实际的人测量结果来最小化与机器学习算法相关联的误差函数或损失函数(均方误差、似然损失、对数损失、铰链损失等)。在一个实施方案中，利用来自步骤205的标注线和来自步骤206的真实数据来训练在图1A的步骤107和尺寸设定ML步骤108中使用的标注DLN。
在一个实施方案中，可以从用户输入(例如，传入用户装置(诸如智能电话)的输入)接收人测量结果。在另一个实施方案中，可以例如通过网站从网络(例如，因特网)接收人测量结果。举例来说，裁缝可以将一个或多个测量结果上传到网站，并且所述系统可以接收所述测量结果。如所指出，在另一个实施方案中，可以使用实际的测量结果来训练和/或提高基于AI的算法的结果(例如，深度学习算法)结果的准确性，将在下文对此进行讨论。训练分割DLN和标注DLN以及尺寸设定ML模块的方式不是对本发明的限制。
在步骤208，可以用身体分割或身体特征提取来训练分割DLN。在一个实施方案中，可以使用从步骤204获得的被标注的人体分割来训练分割DLN。举例来说，可以向分割DLN呈现带标签的数据(例如，用户的图像和相关联的实际身体分割)，并且分割DLN可以基于分割DLN的结果和实际身体分割来确定误差函数(例如，根据损失函数，如上文所讨论)。可以训练所述分割DLN以减少此误差函数的量值。
在另一个实施方案中，可以通过像保持方法等准确性估计技术来证实分割DLN，所述准确性估计技术可以将数据(例如，所有图像，包括具有对应分割的图像以及将使用分割DLN提取分割并且不具有对应的分割的图像)分成训练集和测试集(常规上是2/3训练集与1/3测试集的设计)并且可以基于测试集评估分割DLN模型的性能。在另一个实施方案中，可以使用N折交叉验证方法，其中所述方法随机地将数据分成k个子集，其中使用所述数据的k-1个实例来训练分割DLN模型，而使用第k个实例来测试分割DLN模型的预测能力。除了保持方法和交叉验证方法之外，还可以使用自助方法，所述自助方法从数据集重复抽样n个实例，可以用于评定分割DLN模型准确性。
在步骤210，可以训练用于每个身体特征的一个或多个标注DLN，或者可以训练用于整个身体的单个标注DLN。举例来说，可以训练十六个标注DLN，十六个不同的身体部位中的每一者各一个。在一个实施方案中，可以使用从步骤205获得的标注来训练标注DLN。举例来说，可以向标注DLN呈现带标签的数据(例如，具有线标注的、用户的身体特征的图像)，并且标注DLN可以基于标注DLN的结果和实际标注来确定误差函数(例如，根据损失函数，如上文所讨论)。可以训练所述标注DLN以减少此误差函数的量值。
在另一个实施方案中，可以特别地训练标注DLN以产生特定身体特征(例如，特定身体部位，诸如手臂、腿、颈部等)的标注线。在另一个实施方案中，可以连续地(例如，按分级方式，其中相关身体特征的组被一个接一个地进行训练)或同时地执行对用于每个身体特征的标注DLN的训练。在另一个实施方案中，不同的训练数据集可以用于不同的标注DLN，所述不同的标注DLN对应于不同的身体特征或身体部位。在一个实施方案中，可以存在用于十六个身体部位的多于或少于十六个DLN，例如，此取决于计算资源。在另一个实施方案中，可以至少部分地在云中执行对标注DLN的训练，将在下文对此进行描述。
此外，在步骤210，可以训练用于每个身体特征的一个或多个尺寸设定ML模块，或者可以训练用于整个身体的单个尺寸设定ML模块。在一个实施方案中，可以使用从步骤206获得的测量结果来训练所述尺寸设定ML模块。举例来说，可以向尺寸设定ML模块呈现带标签的数据(例如，标注线长度和相关联的实际测量数据)，并且尺寸设定ML模块可以基于尺寸设定ML模块的结果和实际测量结果来确定误差函数(例如，根据损失函数，如上文所讨论)。可以训练所述尺寸设定ML模块以减少此误差函数的量值。
在另一个实施方案中，可以特别地训练尺寸设定ML模块以提取特定身体特征(例如，特定身体部位，诸如手臂、腿、颈部等)的测量结果。在另一个实施方案中，可以连续地(例如，按分级方式，其中相关身体特征的组被一个接一个地进行训练)或同时地执行对用于每个身体特征的尺寸设定ML模块的训练。在另一个实施方案中，不同的训练数据集可以用于不同的尺寸设定ML模块，所述尺寸设定ML模块对应于不同的身体特征或身体部位。在一个实施方案中，可以存在用于十六个身体部位的多于或少于十六个尺寸设定ML模块，例如，此取决于计算资源。在另一个实施方案中，可以至少部分地在云中执行对尺寸设定ML模块的训练，将在下文对此进行描述。
在步骤212，可以输出将在图1A、图1B和图1C中使用的已训练的分割DLN、标注DLN和尺寸设定ML模块。明确地说，输出在步骤208中进行训练的分割DLN以在图1A中的步骤106中使用。类似地，输出在步骤210中进行训练的一个或多个标注DLN以在图1A中的步骤107中使用。最后，输出在步骤210中进行训练的尺寸设定ML模块以在图1A中的步骤108中使用。
图3至图6示出对应于图2中的过程步骤的图形用户界面(GUI)的示意图，所述过程步骤用于产生训练数据以训练分割DLN和标注DLN。图3示出用于训练分割DLN的所捕获的用户图像的示意图，所述用户图像示出了穿着衣服的人体。虽然在图3至图6中示出了特定的用户姿势，即，“A形姿势”，但是本领域普通技术者将理解，任何姿势(诸如A形姿势、双手放两侧或任何其它姿势)都属于本发明的范围内。最佳的姿势将清楚地示出与身体分开的腿和手臂。本发明的一个优点是人可以以几乎任何的合理姿势站在任何类型的背景前。人不需要站在空白背景前或为拍摄像片的地方进行特殊布置。
图4示出手动地从背景分割在衣服下面的人体的一个或多个特征以训练分割DLN的标注者或操作者的示意图。在图4中，标注者手动地标注在衣服下面的左腿的位置。人在寻找其他人和估计其在衣服下面的身体形状方面具有丰富的经验，并且此数据用于训练分割DLN以对未知的人的新像片自动地执行类似操作。图5示出在标注者已成功地标注所有身体特征之后从背景分割的人体的身体特征的示意图。此数据用于训练人分割DLN。图5提供用于在图2的步骤208中训练分割DLN的手动标注的数据。随后在图1A中的步骤106中使用在图2的步骤208中使用在图5中获得的数据进行训练的分割DLN。
图6示出手动地画出用于训练标注DLN的标注线的标注者的示意图。此数据用于训练标注DLN以自动地画出每个身体特征的标注线。图6提供用于在图2的步骤210中训练标注DLN的手动标注的数据。随后在图1A中的步骤107中使用在图2的步骤210中使用在图6中获得的数据进行训练的标注DLN。
虽然在图3至图6中仅示出正视图，但是本领域的普通技术人员将认识到，任何其它定向的视图(包括侧视图、45度视图、俯视图等)都属于本发明的范围内，这取决于所要的人体测量的类型。举例来说，在一个实施方案中，对人的侧视图类似地进行分割和标注以用于估计身体部位的周长。作为另一个实例，对于用于制造定制帽子的头部测量来说，人的头顶的俯视像片将是最佳的。类似地，对于用于对眼镜、光学器械等尺寸设定的脸部测量来说，仅正脸的像片将是最佳的。人手的正面和背面的特写像片可以用于对定制手套、用于手的定制PPE(个人保护设备)、定制指甲等尺寸设定。
在一个实施方案中，与有向监督学习类似，还可以安排人来帮助深度学习网络进行计算过程。人类标注者可以手动地调整或编辑来自分割DLN和/或标注DLN的结果以得出更准确的尺寸结果。由人类标注者对来自深度学习网络的分割图和标注图进行的调整数据可以在进入深度学习网络的反馈回环接口中使用来随着时间过去自动地改善DNL模型。
可选的深度学习网络(DLN)架构
图7示出根据本发明的一个实施方案的用于实施身体测量结果提取的说明性的客户端-服务器图。客户端侧(用户)709示出于顶部，而服务器侧703示出于底部。客户端侧通过在702处发送正面和侧面图像来开始所述过程。在接收到所述图像之后，服务器在704处检查所述图像以判断格式的正确性以及进行其它格式检查。如果在705处图像不是按照正确的格式或具有其它格式问题，诸如错误的姿势、弱对比、过远或过近、受试者不在视野中、受试者部分被遮蔽等，那么所述过程在701处向客户端返回此信息。在701处，在一个实施方案中，可以向用户显示出错消息或其它通信以使用户能够重新拍摄图像。
如果在705处所述图像是按照正确的额格式并且无其它格式问题，那么在706处预处理所述图像，使得可以通过DLN(深度学习网络)来处理所述图像。如先前更详细地描述，随后在708处通过DLN处理所述图像以确定尺寸。在710处从服务器返回尺寸结果或完整的身体测量结果。在712处，所述客户端检查所述尺寸结果。如果如在713处确定，所述尺寸结果具有任何形式问题，例如出界、过小或过大等等，那么所述过程返回到701，并且类似地显示出错消息，或者可以向用户显示其它通信以使用户能够重新拍摄图像。如果如在713处确定，尺寸结果无形式问题，那么所述过程结束，其中完整的身体测量结果准备好使用。
图8示出根据本发明的一个实施方案的用于身体测量确定(使用单独的分割DLN、标注DLN和尺寸设定ML模块)的一个示例性流程图的图。在一个实施方案中，在802处从用户接收正面和侧面图像。在804处对所述图像进行预处理。如先前所讨论，在一些实施方案中，在需要时，可以对正视和侧视像片执行对所述用户的一个或多个图像的预处理，诸如透视校正。举例来说，所述系统可以使用OpenCV，即，一种开源机器视觉库，并且可以利用正视和侧视像片中的头部的特征和用户的身高作为参考来进行透视校正。可以利用各种计算机视觉技术来对所述一个或多个图像进行进一步的预处理。除了透视校正之外，预处理步骤的实例可以包括对比、照明和其它图像处理技术以在进一步处理之前改善所述一个或多个图像的质量。
在预处理之后，如先前所讨论，在806处将预处理后的图像发送到分割DLN以产生分割图。在814处，将所述分割图与其余数据聚合。与所述分割同时，在一个实施方案中，如先前所讨论，还在808处将预处理后的图像发送到标注DLN以产生标注测量线。在814处，将所述标注图与其余数据聚合。在一个实施方案中，如先前所讨论，将所述标注图提供到尺寸设定机器学习(ML)模块810以通过测量每个标注线来产生已被分割和标注的每个身体特征的身体特征测量结果。在814处，将尺寸结果与其余数据聚合。在812处，将尺寸结果输出到一个或多个外部系统以实现各种用途。最后，在1016处将已在814处聚合的所有的聚合和结构化的数据，(1)预处理后的正面和侧面图像、(2)分割图、(3)标注图和(4)尺寸结果，存储于数据库中以进行进一步的DLN训练。
图9示出根据本发明的另一个实施方案的用于身体测量确定(使用组合的分割-标注DLN和尺寸设定ML模块)的另一个示例性流程图的图。如先前所讨论，在902处从用户接收正面和侧面图像，并且在904处对所述图像进行预处理。预处理步骤的实例可以包括透视校正、对比、照明和其它图像处理技术以在进一步处理之前改善所述一个或多个图像的质量。
在预处理之后，如先前所讨论，在918处将预处理后的图像直接发送到标注DLN以产生标注图。代替首先执行身体特征分割，在此可选实施方案中，直接在图像上画出标注线，而不需要使用经过特殊训练的组合式分割-标注DLN来将身体特征从背景显式分割，所述组合式分割-标注DLN有效地将分割DLN与标注DLN(示出于图8中的实施方案中)的特征组合到图9中所示的单个标注DLN中。实际上，通过标注DLN隐式地执行身体特征分割。在914处，将所述标注图与其余数据聚合。
在一个实施方案中，如先前所讨论，将所述标注图提供到尺寸设定机器学习(ML)模块910以通过测量每个标注线来产生已被标注的每个身体特征的身体特征测量结果。在914处，将尺寸结果与其余数据聚合。在912处，将尺寸结果输出到一个或多个外部系统以实现如本文中描述的各种用途。最后，在916处将已在914处聚合的所有的聚合和结构化的数据，(1)预处理后的正面和侧面图像、(2)标注图和(3)尺寸结果，存储于数据库中以用于进行进一步DLN训练。
图10示出根据本发明的另一个实施方案的用于身体测量确定(使用组合的尺寸设定DLN)的另一个示例性流程图的图。如先前所讨论，在1002处从用户接收正面和侧面图像，并且在1004处对所述图像进行预处理。预处理步骤的实例包括透视校正、对比、照明和其它图像处理技术以在进一步处理之前改善所述一个或多个图像的质量。
在预处理之后，如先前所讨论，在1010处将预处理后的图像直接发送到尺寸设定DLN以产生完整的身体特征测量结果。代替首先执行身体特征分割和测量线的标注，之后测量所述线，在此可选实施方案中，直接从预处理后的图像提取身体特征，而不需要使用经过特殊训练的尺寸设定DLN来将身体特征从背景显式分割(并且不需要显式画出标注线)，所述尺寸设定DLN有效地将分割DLN、标注DLN和测量机器学习模块(示出于图8中的实施方案中)的特征组合到图10中所示的单个尺寸设定DLN中。实际上，通过尺寸设定DLN来隐式执行身体特征分割和测量线的标注。
在1014处，将尺寸结果与其余数据聚合。在1012处，将尺寸结果输出到一个或多个外部系统以实现如本文中描述的各种用途。最后，在1016处将已在1014处聚合的所有的聚合和结构化的数据，(1)预处理后的正面和侧面图像和(2)尺寸结果，存储于数据库中以用于进行进一步DLN训练。
3D模型和骨骼/关节位置模型实施方案
图11示出根据本公开的示例性实施方案的用于身体测量确定操作的另一个示例性过程流程的图。所述过程开始于步骤1101。在步骤1102，可以从用户接收用户参数(例如，身高、体重、人口统计数据、运动能力和类似者)和/或可以接收由电话摄像机自动产生的参数。在额外方面中，可以自动地确定(例如，使用计算机视觉算法或从一个或多个数据库挖掘)或根据用户(例如，用户输入)确定用户参数。在另一个实施方案中，根据这些参数，可以计算体重指数(BMI)。如所指出，BMI(或上文确定的任何其它参数)可以用于校准体重对比身高。
在步骤1104，可以接收用户的图像(例如，表示用户的全身正视图和侧视图的第一图像和第二图像)，并且可以接收任选的第三图像(例如，所述正视图与所述侧视图之间的45度视图，所述45度视图可以用于提高后续算法的准确性)。在另一个实施方案中，可以从用户装置(例如，移动电话、膝上型计算机、平板计算机等)获得所述图像。在另一个实施方案中，可以从数据库(例如，社交媒体数据库)确定所述图像。在另一个实施方案中，为了获得更准确的结果，用户可以指示他或她是穿着紧身衣服、正常的衣服还是宽松的衣服。在一些任选实施方案中，如上文所描述，在需要时，可以对正视像片和侧视像片执行透视校正。
在步骤1106，可以执行人分割(例如，将人从图像的背景提取出)，并且可以将3D模型拟合到所提取出的人。此外，可以使用三维建模技术来估计三维形状。在一个实施方案中，所述系统可以利用深度学习技术和/或OpenCV来从背景提取人体，包括衣服。在对来自真实用户的数据执行此步骤之前，首先可以(例如)用穿着不同衣服在不同环境中摆姿势的人(双手呈45度(“A形姿势”))的样本像片对所述系统进行训练。
在步骤1108，可以使用骨骼检测来确定人的关节位置和姿势；另外，可以使用姿势估计算法(诸如OpenPose，即，一种开源算法)来执行所述确定以进行姿势检测。在一个实施方案中，身体姿势估计可以包括恢复关节式身体的姿势的算法和系统，所述关节式身体使用基于图像的观测数据的关节和硬质部位组成。在另一个实施方案中，OpenPose可以包括实时多人系统以在单个图像上共同地检测人体、手、脸和脚关键点(总共135个关键点)。在一个实施方案中，关键点可以指人的姿势的被估计的部位，诸如鼻子、右耳、左膝盖、右脚等。所述关键点含有位置与关键点置信度得分。OpenPose功能性的其它方面包括但不限于2D实时多人关键点身体估计。所述功能性还可以包括所述算法成为所检测的人数的运行时间不变量的能力。其功能性的另一个方面可以包括但可能不限于3D实时单人关键点检测，包括来自多个单视图的3D三角测量。
在步骤1110，可以基于估计的三维形状、关节位置和/或姿势来确定身体尺寸测量结果。在另一个实施方案中，所述系统可以使用身高、体重和/或其它参数(例如，BMI指数、年龄、性别等)的输入来确定身体部位的尺寸。在一个实施方案中，所述系统可以部分地使用Virtuoso算法，即，提供人体部位的标准DaVinci模型和身体部位的相关尺寸的算法。
另外，如上文所描述，所述系统可以通过使用基于AI的算法(诸如DLN算法)来产生和提取身体测量结果，例如，通过根据从骨骼点获得的信号来画出测量线。明确地说，所述系统可以查看一个或多个骨骼点，计算与用户的身体的边缘成角度的骨头并且在某些定向或方向上画出测量线。每个测量线对于每个身体部位可以是不同的并且可以不同地画出。所述系统还可以使用其它算法、平均值、中间值和其它资源。
另外，身体测量结果可以被输出到用户装置和/或对应服务器。在一个实施方案中，所述输出可以呈文本消息、电子邮件、在移动应用程序或网站上的文字描述、其组合和类似者的形式。
在步骤1112，可以通过使用利用训练数据的监督深度学习算法来更新身体尺寸测量结果以减少误差，所述训练数据包括在衣服下面的手动地确定的身体检测。在一些方面中，如上文所描述，可以使用任何合适的深度学习架构，诸如深度神经网络、深度信念网络和递归神经网络。在一个实施方案中，可以从标注者输入获得训练数据，如上文所描述，所述标注者输入从像片的背景提取给定像片中的人体，除去衣服。另外，可以使用此类被标注图像的至少一部分作为训练数据，所述训练数据可以被馈入深度学习网络，使得GPU可以从在任何背景中穿着衣服的人的外形中学习。简要地说，在一些实施方案中，上文描述的深度学习算法可以结合使用以提高3D模型和骨骼/关节位置方法的准确性和可靠性。
本发明的硬件、软件和云实施
如所讨论，本公开中所描述的数据(例如，像片、文字描述和类似者)可以包括存储于数据库上的数据，所述数据库存储或托管在云计算平台上。应理解，虽然本公开包括在下文对云计算的详细描述，但是本文中叙述的教导的实施不限于云计算环境。而是，本发明的实施方案能够结合现在已知或之后开发的任何其它类型的计算环境来实施。
云计算可以指用于实现对可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储、应用程序、虚拟机和服务)的共享池的方便、按需网络存取的服务提供的模型，所述可配置计算资源可以在具有最少的管理努力或与服务的提供商的交互的情况下快速地提供和释放。此云模型可以至少包括五个特性、至少三个服务模型以及至少四个部署模型。
特性可以包括以下一项或多项。按需自助服务：云消费者可以在需要时在不需要人与服务提供商交互的情况下自动地单方面地提供计算能力，诸如服务器时间和网络存储。广泛的网络接入：能力可以在网络上获得并且通过标准机构存取，这样促进了异质的瘦或胖客户端平台(例如，移动电话、膝上型计算机和PDA)对能力的使用。资源池化：将提供商的计算资源池化以使用多租户模式来服务多个消费者，其中根据需求动态地指派和重新指派不同的物理和虚拟资源。有位置独立的感觉，因为消费者通常不会控制或知道所提供的资源的确切位置但可以能够以较高的抽象层级来指定位置(例如，国家、州或数据中心)。快速弹性：能力可以是快速地并且弹性地(在一些情况中自动地)提供以快速地扩展并且可以是快速地释放以快速地缩小。对于消费者，可用于提供的能力通常看似无限的并且可以在任何时间以任何数量购买。可计量的服务：云系统通过以适合于服务类型(例如，存储、处理、带宽和活动用户账户)的某一抽象层级利用计量能力来自动地控制和优化资源使用。可以监视、控制和报告资源使用，为所利用服务的提供商与消费者提供透明度。
在另一个实施方案中，服务模型可以包括以下一项或多项。软件即服务(SaaS)：提供给消费者的能力将使用在云基础设施上运行的提供商的应用程序。所述应用程序可以通过瘦客户端接口(诸如网络浏览器)从各种客户端装置存取(例如，基于网络的电子邮件)。消费者不用管理或控制下层的云基础设施，包括网络、服务器、操作系统、存储或甚至单独的应用能力，但有限的用户特定的应用配置设置可能是例外。
平台即服务(PaaS)：提供给消费者的能力将部署到使用提供商支持的编程语言和工具创建的云基础设施的由消费者创建或获取的应用程序上。消费者不用管理或控制下层的云基础设施，包括网络、服务器、操作系统或存储，但需要控制所部署的应用程序和可能要控制应用程序托管环境配置。
基础设施即服务(IaaS)：提供给消费者的能力是提供处理、存储、网络和其它基础计算资源，其中消费者能够部署和运行任意的软件，所述软件可以包括操作系统和应用程序。所述消费者不用管理或控制下层的云基础设施，但要控制操作系统、存储、所部署的应用程序以及可能要对选择网络组件(例如，主机防火墙)进行有限的控制。
部署模型可以包括以下一项或多项。私有云：云基础设施只为某组织工作。所述云基础设施可以由所述组织或第三方管理并且可以部署在本地或部署在外部。
社区云：云基础设施被若干组织共享并且支持具有共同关心的问题(例如，任务、安全要求、策略和合规性考虑)的特定社区。所述云基础设施可以由所述组织或第三方管理并且可以部署在本地或部署在外部。
公共云：云基础设施可以被公众或大型产业集群使用并且归出售云服务的组织所拥有。
混合云：云基础设施是仍保持独特的实体但通过标准化或专利技术结合在一起的两种或两种以上云(私有云、社区云或公共云)的组合，所述标准化或专利技术实现了数据和应用程序可移植性(例如，为了实现云之间的负荷平衡而发生的云爆发)。
云计算环境是以服务为导向的，集中于无状态、低耦合、模块性和语义互操作性。云计算的关键是包括互连节点的网络的基础设施。
云计算环境可以包括一个或多个云计算节点，由云消费者使用的本地计算装置(诸如，例如，个人数字助理(PDA)或蜂窝电话、桌上型计算机、膝上型计算机和/或汽车计算机系统)可以与所述云计算节点通信。节点可以彼此通信。在一个或多个网络(诸如上文所描述的私有云、社区云、公共云或混合云或其组合)中，所述节点可以在物理上或虚拟地分组。这样允许云计算环境提供基础实施、平台和/或软件作为服务，对于所述服务，云消费者不需要在本地计算装置上维持资源。应理解，计算装置的类型意欲仅为示例性的，并且计算节点和云计算环境可以经由任何类型的网络和/或网络可寻址连接(例如，使用网络浏览器)与任何类型的计算机化装置通信。
本发明可以使用基于服务器的硬件和软件来实施。图12示出用于实施本发明的一个实施方案的服务器的说明性硬件架构图。未示出所述系统的许多组件，例如，网络接口等，以免掩盖本发明。然而，本领域的普通技术人员将了解所述系统必定会包括这些组件。用户装置是包括至少一个处理器1240的硬件，所述至少一个处理器耦合到存储器1250。所述处理器可以代表一个或多个处理器(例如，微处理器)，并且所述存储器可以代表随机存取存储器(RAM)装置，包括硬件的主存储装置以及任何补充级别的存储器，例如，高速缓冲存储器、非易失性或备用存储器(例如，可编程或快闪存储器)、只读存储器等。另外，可以认为所述存储器包括在物理上位于硬件中别处的存储器存储装置，例如，处理器中的任何高速缓冲存储器，以及用作虚拟存储器的任何存储容量，例如，如存储在大容量存储装置上。
用户装置的硬件还通常接收许多输入1210和输出1220以在外部传送信息。对于与用户的接口，硬件可以包括一个或多个用户输入装置(例如，键盘、鼠标、扫描仪、麦克风、网络摄像机等)和显示器(例如，液晶显示器(LCD)面板)。对于额外的存储，硬件还可以包括一个或多个大容量存储装置1290，例如，软盘或其它可移动磁盘驱动器、硬盘驱动器、直接存取存储装置(DASD)、光学驱动器(例如，压缩光盘(CD)驱动器、数字通用光盘(DVD)驱动器等)和/或磁带驱动器等。此外，硬件可以包括与一个或多个外部SQL数据库1230的接口以及一个或多个网络1280(例如，局域网(LAN)、广域网(WAN)、无线网络和/或因特网等)以准许与耦合到所述网络的其它组件传送信息。应了解，硬件通常包括合适的模拟和/或数字接口以彼此通信。
硬件在操作系统1270的控制下操作，并且执行由附图标记共同指示的各种计算机软件应用程序1260、组件、程序、代码、程序库、目标程序、模块等以执行上文描述的方法、过程和技术。
本发明可以在客户端服务器环境中实施。图13示出用于在客户端服务器环境中实施本发明的一个实施方案的说明性系统架构。客户端侧上的用户装置1310可以包括智能电话1312、膝上型计算机1314、桌上型PC 1316、平板计算机1318或其它装置。此类用户装置1310通过一些网络连接1320(诸如因特网)存取系统服务器1330的服务。
在本发明的一些实施方案中，在所谓的云实施中，可以实施整个系统并经由因特网将所述系统提供给终端用户和操作者。软件或硬件都将不需要安装在本地，并且将允许终端用户和操作者使用客户端上的网络浏览器或类似软件经由因特网直接接入本发明的系统，所述客户端可以是桌上型计算机、膝上型计算机、移动装置等。这样消除了对客户端侧上的定制软件安装的任何需要并且增加服务(软件即服务)提供的灵活性，并且增加用户满意度和使用简易性。设想出用于本发明的各种商业模型、收益模型和交付机制，并且所述各种商业模型、收益模型和交付机制全都被认为属于本发明的范围内。
一般来说，为了实施本发明的实施方案而执行的方法可以作为操作系统或特定应用程序、组件、程序、目标程序、模块或指令序列(被称作“计算机程序”或“计算机程序代码”)的部分来实施。所述计算机程序通常包括在各种时间在计算机中的各种存储器和存储装置中的一个或多个指令集，并且在由计算机中的一个或多个处理器读取和执行时使所述计算机进行执行包括本发明的各种方面的元件所需要的操作。此外，虽然已在全功能计算机和计算机系统的背景下描述本发明，但是本领域技术人员将了解，本发明的各种实施方案能够以各种形式作为程序产品来分发，并且不管用于实际上实施所述分发的机器或计算机可读介质的特定类型，本发明都同样适用。计算机可读介质的实例包括但不限于可记录类型的介质，诸如易失性和非易失性存储器装置、软盘和其它可移动磁盘、硬盘驱动器、光盘(例如，压缩光盘只读存储器(CD ROM)、数字通用磁盘(DVD)等)以及数字和模拟通信介质。
本发明的示例性使用案例
图14是本发明的使用案例的示意图，其中使用移动装置上的单个摄像机来捕获人体测量结果，展示站在正常背景前面的穿着普通衣服的人的正视图。图14中所示的移动装置包括至少一个摄像机、处理器、非暂时性存储介质和到服务器的通信链路。在一个实施方案中，将用户身体的一个或多个像片传输到服务器，所述服务器执行本文中描述的操作。在一个实施方案中，通过移动装置的处理器在本地分析所述用户的身体的所述一个或多个像片。所执行的操作返回一个或多个身体测量结果，所述身体测量结果可以存储在服务器上以及呈现给用户。另外，随后可以利用所述身体测量结果来实现许多目的，包括但不限于向用户出售一个或多个定制服装、定制眼镜、定制手套、定制紧身衣、定制PPE(个人保护设备)、定制帽子、定制饮食团体、定制训练、健身和锻炼例程等。在不失一般性的情况下，可以输出、传输和/或利用所述身体测量结果来实现任何目的，身体测量结果对所述目的是有用的。
最后，图15至图21示出说明性移动图形用户界面(GUI)，其中已实施本发明的一些实施方案。图15示出根据本发明的一个实施方案的示出用于捕获正视像片的用户指令的移动装置GUI的示意图。图16示出根据本发明的一个实施方案的请求用户输入其身高(以及任选地输入其它人口信息，诸如体重、年龄等)以及选择其偏好的款式类型(紧身、常规或宽松款式)的移动装置GUI的示意图。图17示出根据本发明的一个实施方案的用于捕获正视像片的移动装置GUI的示意图。图18示出根据本发明的一个实施方案的用于捕获具有以虚线示出的说明性A形姿势的正视像片的移动装置GUI的另一个示意图。图19示出根据本发明的一个实施方案的用于捕获侧视像片的移动装置GUI的示意图。图20示出根据本发明的一个实施方案的在所述系统处理像片以提取身体测量结果时显示的移动装置GUI的示意图。最后，图21示出根据本发明的一个实施方案的在已成功提取身体测量结果时示出通知屏幕的移动装置GUI的示意图。
已成功地实施本发明，导致相对于人类裁缝准确度相差不到1cm的身体测量结果。所述系统能够只使用两个像片并且实现与人类裁缝相当的准确性。所述系统不需要使用任何专门的硬件传感器、不需要用户站在任何特殊背景前、不需要特殊照明、可以用于在任何距离处并且在用户穿着任何类型的衣服的情况下拍摄的像片。结果是得到一种身体测量系统，所述身体测量系统与任何移动装置一起工作，使得任何人都可以容易地拍摄自己的像片并且得益于自动全身测量结果提取。
本领域的普通技术人员知道用户案例、结构、示意图和流程图可以按其它次序或组合来执行，但是在不脱离本发明的较广泛范围的情况下，本发明的创新概念仍保持。每个实施方案可以是独特的，并且方法/步骤可以缩短或加长、与其它活动重叠、推迟、延迟以及在一定的时间间隔之后继续，使得每个用户都适于实施本发明的方法。
虽然已参考特定的示例性实施方案描述了本发明，但是将清楚在不脱离本发明的较广泛范围的情况下，可以对这些实施方案进行各种修改和改变。因此，说明书和图式将以说明性意义而非限制性意义来看待。本领域技术人员还将显而易见，上文描述的实施方案是单个较广泛发明的特定实例，所述单个较广泛发明可以具有比所教导的任何单个描述大的范围。在不脱离本发明的范围的情况下，还可以存在对描述进行的许多更改。

Claims (60)

1.一种用于产生人的身体尺寸测量结果的计算机实施的方法，所述计算机实施的方法能够由硬件处理器执行，所述方法包括：
接收一个或多个用户参数；
接收含有所述人和背景的至少一个图像；
识别与所述人相关联的一个或多个身体特征；
对所述识别出的身体特征执行身体特征标注以在每个身体特征上产生与身体特征测量结果对应的标注线，所述身体特征标注利用已用标注训练数据进行训练的标注深度学习网络，所述标注训练数据包括一个或多个样本身体特征的一个或多个图像以及每个身体特征的标注线；
基于所述标注的身体特征和所述一个或多个用户参数使用尺寸设定机器学习模块来从所述一个或多个标注的身体特征产生身体特征测量结果；以及
通过聚合每个身体特征的所述身体特征测量结果来产生身体尺寸测量结果。
2.如权利要求1所述的方法，其中所述识别与所述人相关联的所述一个或多个身体特征包括：
对所述至少一个图像执行身体分割以从所述背景识别出与所述人相关联的所述一个或多个身体特征，
其中所述身体分割利用已用分割训练数据进行训练的分割深度学习网络，并且
其中所述分割训练数据包括一个或多个样本人的一个或多个图像以及所述一个或多个样本人的每个身体特征的身体特征分割。
3.如权利要求2所述的方法，其中在衣服下面提取所述身体特征分割，并且其中所述分割训练数据包括估计在所述衣服下面的所述人的身体的由标注者进行的身体分割。
4.如权利要求1所述的方法，
其中每个身体特征上的所述标注线包括与给定的身体特征测量结果对应的一个或多个线段，并且
其中所述从所述一个或多个标注的身体特征产生所述身体特征测量结果利用每个身体特征上的所述标注线。
5.如权利要求1所述的方法，其中所述至少一个图像至少包括所述人的正视图像和侧视图像，并且其中所述方法还包括在所述执行身体特征标注步骤之后进行的以下步骤：
利用线标注的正视图像和侧视图像以及所述人的身高来计算至少一个标注的身体特征的至少一个周长；以及
基于所述至少一个周长、所述身高和所述一个或多个用户参数利用所述尺寸设定机器学习模块从所述至少一个周长产生所述身体特征测量结果。
6.如权利要求1所述的方法，
其中所述尺寸设定机器学习模块包括随机森林算法，并且
其中用真实数据来对所述尺寸设定机器学习模块进行训练，所述真实数据包括一个或多个样本人的一个或多个样本身体尺寸测量结果。
7.如权利要求1所述的方法，其中所述一个或多个用户参数是选自由身高、体重、性别、年龄和人口信息组成的组。
8.如权利要求1所述的方法，其中所述接收所述一个或多个用户参数包括通过用户装置接收所述一个或多个用户参数的用户输入。
9.如权利要求1所述的方法，其中所述接收所述一个或多个用户参数包括接收由用户装置执行的测量。
10.如权利要求1所述的方法，其中所述至少一个图像是选自由所述人的正视图像和所述人的侧视图像组成的组。
11.如权利要求10所述的方法，其中所述至少一个图像还包括相对于所述人的所述正视图像成45度角来拍摄的所述人的额外图像。
12.如权利要求1所述的方法，
其中所述对所述至少一个图像执行所述身体分割还包括接收用户输入以提高所述身体分割的准确性，并且
其中所述用户输入包括对所述身体特征的一个或多个部分的用户选择，所述一个或多个部分对应于所述人的身体的给定区域。
13.如权利要求1所述的方法，
其中所述至少一个图像包括全身着装的用户或部分着装的用户的至少一个图像，并且
其中所述产生身体特征测量结果还包括基于所述全身着装的用户或所述部分着装的用户的所述至少一个图像产生所述身体特征测量结果。
14.如权利要求1所述的方法，
其中所述身体尺寸测量结果包括第一身体尺寸测量结果，
其中所述方法还包括使用第二尺寸设定机器学习模块来产生第二身体尺寸测量结果，并且
其中所述第二身体尺寸测量结果的准确性高于所述第一身体尺寸测量结果的准确性。
15.如权利要求1所述的方法，所述方法还包括：
确定所述身体特征的给定的身体特征测量结果是否对应于低于预定值的置信水平；以及
响应于确定所述给定的身体特征测量结果对应于低于所述预定值的置信水平，
使用3D模型匹配模块对所述身体特征执行3D模型匹配以确定所述人的匹配的3D模型，其中使用一个或多个高置信度的身体特征测量结果来指导所述3D模型匹配模块，
基于所述匹配的3D模型来执行身体特征测量，以及
用来自所述匹配的3D模型的预计的身体特征测量结果来替代所述给定的身体特征测量结果。
16.如权利要求1所述的方法，所述方法还包括：
确定所述身体特征的给定的身体特征测量结果是否对应于低于预定值的置信水平；以及
响应于确定所述给定的身体特征测量结果对应于低于所述预定值的置信水平，
使用骨骼检测模块对所述身体特征执行骨骼检测以确定所述人的关节位置，其中使用一个或多个高置信度的身体特征测量结果来指导所述骨骼检测模块，
基于所述确定的关节位置来执行身体特征测量，以及
用来自所述骨骼检测模块的预计的身体特征测量结果来替代所述给定的身体特征测量结果。
17.如权利要求1所述的方法，所述方法还包括：
在执行所述身体分割之前预处理所述人和所述背景的所述至少一个图像。
18.如权利要求17所述的方法，其中所述预处理至少包括对所述至少一个图像的透视校正。
19.如权利要求18所述的方法，其中所述透视校正是选自由利用所述人的头部的透视校正、利用用户装置的陀螺仪的透视校正和利用用户装置的另一个传感器的透视校正组成的组。
20.如权利要求1所述的方法，其中所述识别一个或多个身体特征的步骤包括：
产生所述人身上的所述身体特征的分割图；以及
在所述执行身体特征标注步骤之前从所述人和所述背景裁剪所述一个或多个识别出的身体特征，
其中所述执行身体特征标注步骤利用已用每个身体特征单独进行训练的多个标注深度学习网络。
21.一种用于产生人的身体尺寸测量结果的计算机程序产品，所述计算机程序产品包括其中收录有程序指令的非暂时性计算机可读存储介质，所述程序指令能够由处理器执行以使所述处理器：
接收一个或多个用户参数；
接收含有所述人和背景的至少一个图像；
识别与所述人相关联的一个或多个身体特征；
对提取出的身体特征执行身体特征标注以在每个身体特征上产生与身体特征测量结果对应的标注线，所述身体特征标注利用已用标注训练数据进行训练的标注深度学习网络，其中所述标注训练数据包括一个或多个样本身体特征的一个或多个图像以及每个身体特征的标注线；
基于所述标注的身体特征和所述一个或多个用户参数使用尺寸设定机器学习模块来从所述一个或多个标注的身体特征产生身体特征测量结果；以及
通过聚合每个身体特征的所述身体特征测量结果来产生身体尺寸测量结果。
22.如权利要求21所述的计算机程序产品，其中所述识别与所述人相关联的所述一个或多个身体特征包括用于进行以下操作的程序指令：
对所述至少一个图像执行身体分割以从所述背景识别出与所述人相关联的所述一个或多个身体特征，
其中所述身体分割利用已用分割训练数据进行训练的分割深度学习网络，并且
其中所述分割训练数据包括一个或多个样本人的一个或多个图像以及所述一个或多个样本人的每个身体特征的身体特征分割。
23.如权利要求22所述的计算机程序产品，其中在衣服下面提取所述身体特征分割，并且其中所述分割训练数据包括估计在所述服装下面的所述人的身体的由标注者进行的身体分割。
24.如权利要求21所述的计算机程序产品，
其中每个身体特征上的所述标注线包括与给定的身体特征测量结果对应的一个或多个线段，并且
其中所述从所述一个或多个标注的身体特征产生所述身体特征测量结果利用每个身体特征上的所述标注线。
25.如权利要求21所述的计算机程序产品，其中所述至少一个图像至少包括所述人的正视图像和侧视图像，并且其中所述程序指令还使所述处理器进行以下操作：
利用线标注的正视图像和侧视图像以及所述人的身高来计算至少一个标注的身体特征的至少一个周长；以及
基于所述至少一个周长、所述身高和所述一个或多个用户参数利用所述尺寸设定机器学习模块从所述至少一个周长产生所述身体特征测量结果。
26.如权利要求21所述的计算机程序产品，
其中所述尺寸设定机器学习模块包括随机森林算法，并且
其中用真实数据来对所述尺寸设定机器学习模块进行训练，所述真实数据包括一个或多个样本人的一个或多个样本身体尺寸测量结果。
27.如权利要求21所述的计算机程序产品，其中所述一个或多个用户参数是选自由身高、体重、性别、年龄和人口信息组成的组。
28.如权利要求21所述的计算机程序产品，其中用于接收所述一个或多个用户参数的程序代码包括用于通过用户装置接收所述一个或多个用户参数的用户输入的程序代码。
29.如权利要求21所述的计算机程序产品，其中所述用于接收所述一个或多个用户参数的所述程序代码包括用于接收由用户装置执行的测量的程序代码。
30.如权利要求21所述的计算机程序产品，其中所述至少一个图像是选自由所述人的正视图像和所述人的侧视图像组成的组。
31.如权利要求30所述的计算机程序产品，其中所述至少一个图像还包括相对于所述人的所述正视图像成45度角来拍摄的所述人的额外图像。
32.如权利要求21所述的计算机程序产品，
其中所述对所述至少一个图像执行所述身体分割还包括接收用户输入以提高所述身体分割的准确性，并且
其中所述用户输入包括对所述身体特征的一个或多个部分的用户选择，所述一个或多个部分对应于所述人的身体的给定区域。
33.如权利要求21所述的计算机程序产品，
其中所述至少一个图像包括全身着装的用户或部分着装的用户的至少一个图像，并且
其中所述产生身体特征测量结果还包括基于所述全身着装的用户或所述部分着装的用户的所述至少一个图像产生所述身体特征测量结果。
34.如权利要求21所述的计算机程序产品，
其中所述身体尺寸测量结果包括第一身体尺寸测量结果，
其中所述程序代码还包括使用第二尺寸设定机器学习模块来产生第二身体尺寸测量结果，并且
其中所述第二身体尺寸测量结果的准确性高于所述第一身体尺寸测量结果的准确性。
35.如权利要求21所述的计算机程序产品，所述计算机程序产品还包括用于进行以下操作的程序代码：
确定所述身体特征的给定的身体特征测量结果是否对应于低于预定值的置信水平；以及
响应于确定所述给定的身体特征测量结果对应于低于所述预定值的置信水平，
使用3D模型匹配模块对所述身体特征执行3D模型匹配以确定所述人的匹配的3D模型，其中使用一个或多个高置信度的身体特征测量结果来指导所述3D模型匹配模块，
基于所述匹配的3D模型来执行身体特征测量，以及
用来自所述匹配的3D模型的预计的身体特征测量结果来替代所述给定的身体特征测量结果。
36.如权利要求21所述的计算机程序产品，所述计算机程序产品还包括用于进行以下操作的程序代码：
确定所述身体特征的给定的身体特征测量结果是否对应于低于预定值的置信水平；以及
响应于确定所述给定的身体特征测量结果对应于低于所述预定值的置信水平，
使用骨骼检测模块对所述身体特征执行骨骼检测以确定所述人的关节位置，其中使用一个或多个高置信度的身体特征测量结果来指导所述骨骼检测模块，
基于所述确定的关节位置来执行身体特征测量，以及
用来自所述骨骼检测模块的预计的身体特征测量结果来替代所述给定的身体特征测量结果。
37.如权利要求21所述的计算机程序产品，所述计算机程序产品还包括用于进行以下操作的程序代码：
在执行所述身体分割之前预处理所述人和所述背景的所述至少一个图像。
38.如权利要求37所述的计算机程序产品，其中所述预处理至少包括对所述至少一个图像的透视校正。
39.如权利要求38所述的计算机程序产品，其中所述透视校正是选自由利用所述人的头部的透视校正、利用用户装置的陀螺仪的透视校正和利用用户装置的另一个传感器的透视校正组成的组。
40.如权利要求21所述的计算机程序产品，其中所述程序代码包括用于进行以下操作的额外程序代码：
产生所述人身上的所述身体特征的分割图；以及
在执行所述身体特征标注之前从所述人和所述背景裁剪所述一个或多个识别出的身体特征，
其中所述执行身体特征标注的程序代码利用已用每个身体特征单独进行训练的多个标注深度学习网络。
41.一种用于产生人的身体尺寸测量结果的计算机实施的方法，所述计算机实施的方法能够由硬件处理器执行，所述方法包括：
从用户装置接收一个或多个用户参数；
从所述用户装置接收至少一个图像，所述至少一个图像含有所述人和背景；
对所述至少一个图像执行身体分割以从所述背景提取与所述人相关联的一个或多个身体特征，所述身体分割利用已用分割训练数据进行训练的分割深度学习网络；
对所述提取出的身体特征执行身体特征标注以在每个身体特征上标注与身体特征测量结果对应的标注线，所述身体特征标注利用已用标注训练数据进行训练的标注深度学习网络，所述标注训练数据包括一个或多个样本身体特征的一个或多个图像以及每个身体特征的标注线；
基于所述标注的身体特征和所述一个或多个用户参数使用尺寸设定机器学习模块来从所述一个或多个标注的身体特征产生身体特征测量结果；以及
通过聚合每个提取出的身体特征的所述身体特征测量结果来产生身体尺寸测量结果。
42.如权利要求41所述的方法，其中所述分割训练数据包括一个或多个样本人的一个或多个图像以及所述一个或多个样本人的每个身体特征的手动确定的身体特征分割。
43.如权利要求42所述的方法，其中在衣服下面提取所述手动确定的身体特征分割，并且其中所述分割训练数据包括估计在所述服装下面的所述人的身体的由标注者进行的手动确定的身体分割。
44.如权利要求41所述的方法，
其中每个身体特征上的所述标注线包括与给定的身体特征测量结果对应的一个或多个线段，并且
其中所述从所述一个或多个标注的身体特征产生所述身体特征测量结果利用每个身体特征上的所述标注线。
45.如权利要求41所述的方法，其中所述至少一个图像至少包括所述人的正视图像和侧视图像，并且其中所述方法还包括在所述执行身体特征标注步骤之后进行的以下步骤：
利用线标注的正视图像和侧视图像以及所述人的身高来计算至少一个标注的身体特征的至少一个周长；以及
基于所述至少一个周长、所述身高和所述一个或多个用户参数利用所述尺寸设定机器学习模块从所述至少一个周长产生所述身体特征测量结果。
46.如权利要求41所述的方法，
其中所述尺寸设定机器学习模块包括随机森林算法，并且
其中用真实数据来对所述尺寸设定机器学习模块进行训练，所述真实数据包括一个或多个样本人的一个或多个样本身体尺寸测量结果。
47.如权利要求41所述的方法，其中所述一个或多个用户参数是选自由身高、体重、性别、年龄和人口信息组成的组。
48.如权利要求47所述的方法，其中所述从所述用户装置接收所述一个或多个用户参数包括通过所述用户装置接收所述一个或多个用户参数的用户输入。
49.如权利要求47所述的方法，其中所述从所述用户装置接收所述一个或多个用户参数包括接收由所述用户装置执行的测量。
50.如权利要求41所述的方法，其中所述至少一个图像是选自由所述人的正视图像和所述人的侧视图像组成的组。
51.如权利要求50所述的方法，其中所述至少一个图像还包括相对于所述人的所述正视图像成45度角来拍摄的所述人的额外图像。
52.如权利要求41所述的方法，
其中所述对所述至少一个图像执行所述身体分割还包括接收用户输入以提高所述身体分割的准确性，并且
其中所述用户输入包括对所述提取出的身体特征的一个或多个部分的用户选择，所述一个或多个部分对应于所述人的身体的给定区域。
53.如权利要求41所述的方法，
其中所述至少一个图像包括全身着装的用户或部分着装的用户的至少一个图像，并且
其中所述产生身体特征测量结果还包括基于所述全身着装的用户或所述部分着装的用户的所述至少一个图像产生所述身体特征测量结果。
54.如权利要求41所述的方法，
其中所述身体尺寸测量结果包括第一身体尺寸测量结果，
其中所述方法还包括使用第二机器学习模块来产生第二身体尺寸测量结果，并且
其中所述第二身体尺寸测量结果的准确性高于所述第一身体尺寸测量结果的准确性。
55.如权利要求41所述的方法，所述方法还包括：
确定所述提取出的身体特征的给定的身体特征测量结果是否对应于低于预定值的置信水平；以及
响应于确定所述给定的身体特征测量结果对应于低于所述预定值的置信水平，
使用3D模型匹配模块对所述提取出的身体特征执行3D模型匹配以确定所述人的匹配的3D模型，其中使用一个或多个高置信度的身体特征测量结果来指导所述3D模型匹配模块，
基于所述匹配的3D模型来执行身体特征测量，以及
用来自所述匹配的3D模型的预计的身体特征测量结果来替代所述给定的身体特征测量结果。
56.如权利要求41所述的方法，所述方法还包括：
确定所述提取出的身体特征的给定的身体特征测量结果是否对应于低于预定值的置信水平；以及
响应于确定所述给定的身体特征测量结果对应于低于所述预定值的置信水平，
使用骨骼检测模块对所述提取出的身体特征执行骨骼检测以确定所述人的关节位置，其中使用一个或多个高置信度的身体特征测量结果来指导所述骨骼检测模块，
基于所述确定的关节位置来执行身体特征测量，以及
用来自所述骨骼检测模块的预计的身体特征测量结果来替代所述给定的身体特征测量结果。
57.如权利要求41所述的方法，所述方法还包括：
在执行所述身体分割之前预处理所述人和所述背景的所述至少一个图像，
其中所述预处理至少包括对所述至少一个图像的透视校正，并且
其中所述透视校正是选自由利用所述人的头部的透视校正、利用所述用户装置的陀螺仪的透视校正和利用所述用户装置的另一个传感器的透视校正组成的组。
58.一种用于产生人的身体尺寸测量结果的计算机程序产品，所述计算机程序产品包括其中收录有程序指令的非暂时性计算机可读存储介质，所述程序指令能够由处理器执行以使所述处理器：
从用户装置接收一个或多个用户参数；
从所述用户装置接收至少一个图像，所述至少一个图像含有所述人和背景；
对所述至少一个图像执行身体分割以从所述背景提取与所述人相关联的一个或多个身体特征，所述身体分割利用已用分割训练数据进行训练的分割深度学习网络；
对所述提取出的身体特征执行身体特征标注以在每个身体特征上画出与身体特征测量结果对应的标注线，所述身体特征标注利用已用标注训练数据进行训练的标注深度学习网络，其中所述标注训练数据包括一个或多个样本身体特征的一个或多个图像以及每个身体特征的标注线；
基于所述标注的身体特征和所述一个或多个用户参数使用尺寸机器学习模块来从所述一个或多个标注的身体特征产生身体特征测量结果；以及
通过聚合每个身体特征的所述身体特征测量结果来产生身体尺寸测量结果。
59.如权利要求58所述的计算机程序产品，
其中每个身体特征上的所述标注线包括与给定的身体特征测量结果对应的一个或多个线段，并且
其中所述从所述一个或多个标注的身体特征产生所述身体特征测量结果利用每个身体特征上的所述标注线。
60.如权利要求58所述的计算机程序产品，其中所述至少一个图像至少包括所述人的正视图像和侧视图像，并且其中能够由所述处理器执行的所述程序指令还使所述处理器进行以下操作：
利用线标注的正视图像和侧视图像以及所述人的身高来计算至少一个标注的身体特征的至少一个周长；以及
基于所述至少一个周长、所述身高和所述一个或多个用户参数利用所述尺寸设定机器学习模块从所述至少一个周长产生所述身体特征测量结果。
CN201980000731.7A 2018-04-20 2019-04-15 用于全身测量结果提取的系统和方法 Active CN110662484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210093559.8A CN114419677A (zh) 2018-04-20 2019-04-15 用于全身测量结果提取的系统和方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862660377P 2018-04-20 2018-04-20
US62/660,377 2018-04-20
US16/195,802 US10321728B1 (en) 2018-04-20 2018-11-19 Systems and methods for full body measurements extraction
US16/195,802 2018-11-19
PCT/US2019/027564 WO2019204235A1 (en) 2018-04-20 2019-04-15 Systems and methods for full body measurements extraction

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210093559.8A Division CN114419677A (zh) 2018-04-20 2019-04-15 用于全身测量结果提取的系统和方法

Publications (2)

Publication Number Publication Date
CN110662484A true CN110662484A (zh) 2020-01-07
CN110662484B CN110662484B (zh) 2021-12-10

Family

ID=66825815

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210093559.8A Pending CN114419677A (zh) 2018-04-20 2019-04-15 用于全身测量结果提取的系统和方法
CN201980000731.7A Active CN110662484B (zh) 2018-04-20 2019-04-15 用于全身测量结果提取的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210093559.8A Pending CN114419677A (zh) 2018-04-20 2019-04-15 用于全身测量结果提取的系统和方法

Country Status (6)

Country Link
US (3) US10321728B1 (zh)
EP (1) EP3781022A4 (zh)
JP (2) JP6799302B2 (zh)
CN (2) CN114419677A (zh)
CA (1) CA3097712C (zh)
WO (1) WO2019204235A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111289076A (zh) * 2020-05-13 2020-06-16 成都泰盟软件有限公司 自动采集人体基础数据的人体生理实验系统
CN112783949A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 人体数据预测方法、装置、电子设备和存储介质
CN113095338A (zh) * 2021-06-10 2021-07-09 季华实验室 工业品图像的自动标注方法、装置、电子设备和存储介质
US20220078339A1 (en) * 2019-01-03 2022-03-10 Idiction Co., Ltd. Method for obtaining picture for measuring body size and body size measurement method, server, and program using same

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11568627B2 (en) 2015-11-18 2023-01-31 Adobe Inc. Utilizing interactive deep learning to select objects in digital visual media
US10192129B2 (en) 2015-11-18 2019-01-29 Adobe Systems Incorporated Utilizing interactive deep learning to select objects in digital visual media
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US10692243B2 (en) * 2017-12-03 2020-06-23 Facebook, Inc. Optimizations for dynamic object instance detection, segmentation, and structure mapping
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US10692183B2 (en) * 2018-03-29 2020-06-23 Adobe Inc. Customizable image cropping using body key points
US11244195B2 (en) 2018-05-01 2022-02-08 Adobe Inc. Iteratively applying neural networks to automatically identify pixels of salient objects portrayed in digital images
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
KR20200044198A (ko) * 2018-10-10 2020-04-29 (주)필링크아이 딥 러닝 기반의 의상 스타일 평가 방법 및 시스템
KR20210072048A (ko) 2018-10-11 2021-06-16 테슬라, 인크. 증강 데이터로 기계 모델을 훈련하기 위한 시스템 및 방법
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11138785B2 (en) * 2018-12-07 2021-10-05 Electronics And Telecommunications Research Institute Method and system for generating 3D image of character
US10489683B1 (en) 2018-12-17 2019-11-26 Bodygram, Inc. Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
US11282208B2 (en) * 2018-12-24 2022-03-22 Adobe Inc. Identifying target objects using scale-diverse segmentation neural networks
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
CN109730704B (zh) * 2018-12-29 2022-11-01 上海联影智能医疗科技有限公司 一种控制医用诊疗设备曝光的方法及系统
WO2020141800A1 (ko) * 2019-01-03 2020-07-09 주식회사 미즈 이미지를 이용하여 신체 사이즈를 측정하고, 의류 사이즈를 추천하는 방법, 서버 및 프로그램
WO2020145983A1 (en) * 2019-01-11 2020-07-16 Hewlett-Packard Development Company, L.P. Local defect determinations
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US11559097B2 (en) * 2019-03-16 2023-01-24 Short Circuit Technologies Llc System and method of ascertaining a desired fit for articles of clothing utilizing digital apparel size measurements
US11381651B2 (en) * 2019-05-29 2022-07-05 Adobe Inc. Interpretable user modeling from unstructured user data
US11423630B1 (en) 2019-06-27 2022-08-23 Amazon Technologies, Inc. Three-dimensional body composition from two-dimensional images
EP3764305A1 (en) * 2019-07-08 2021-01-13 Richemont International SA Closed loop object fitting to user member
CN114144814A (zh) * 2019-07-09 2022-03-04 贾迪安光学技术有限公司 用于测量车辆中对象的质量的系统、装置和方法
TWI696193B (zh) * 2019-07-22 2020-06-11 陳賢鴻 身形變化預測系統
US11257191B2 (en) * 2019-08-16 2022-02-22 GE Precision Healthcare LLC Systems and methods for deblurring medical images using deep neural network
US11232629B1 (en) 2019-08-30 2022-01-25 Amazon Technologies, Inc. Two-dimensional image collection for three-dimensional body composition modeling
US11903730B1 (en) * 2019-09-25 2024-02-20 Amazon Technologies, Inc. Body fat measurements from a two-dimensional image
JP7544338B2 (ja) * 2019-09-27 2024-09-04 国立大学法人 東京大学 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN110852162B (zh) * 2019-09-29 2020-10-23 深圳云天励飞技术有限公司 一种人体完整度数据标注方法、装置及终端设备
WO2021063271A1 (zh) * 2019-09-30 2021-04-08 Oppo广东移动通信有限公司 人体模型重建方法、重建系统及存储介质
JP7355588B2 (ja) * 2019-10-04 2023-10-03 エヌ・ティ・ティ・コミュニケーションズ株式会社 学習装置、学習方法、学習プログラム
FR3101989A1 (fr) * 2019-10-11 2021-04-16 Asmodine Fourniture d’une recommandation d’au moins un vetement parmi un catalogue numerique d’une pluralite de vetements
CN110866550B (zh) * 2019-11-01 2022-06-14 云南大学 卷积神经网络、金字塔条状池化方法及恶意软件分类方法
IT201900021252A1 (it) * 2019-11-15 2021-05-15 Tresarti S R L Sistema e metodo per la stima delle misure corporee di un utente, particolarmente per la produzione di abbigliamento su misura.
US11222434B2 (en) * 2019-11-21 2022-01-11 Shopify Inc. Systems and methods for measuring body size
US10769807B1 (en) * 2019-11-25 2020-09-08 Pet3D Corp System, method, and apparatus for clothing a pet
US11790438B2 (en) * 2019-12-05 2023-10-17 Fitnonce, Inc. System and method for identifying fit of apparel on a user
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
CN111292341B (zh) * 2020-02-03 2023-01-03 北京海天瑞声科技股份有限公司 图像标注方法、图像标注装置及计算机存储介质
US20230126178A1 (en) * 2020-02-13 2023-04-27 Northeastern University Light-Weight Pose Estimation Network With Multi-Scale Heatmap Fusion
JP7282704B2 (ja) * 2020-02-25 2023-05-29 エヌ・ティ・ティ・コムウェア株式会社 個体推定装置、個体推定方法、およびプログラム
KR102268801B1 (ko) * 2020-03-05 2021-06-24 (주)헬스허브 의료영상을 통한 신체 사이즈의 시계열적 변화 추정 장치 및 그 방법
CN111461017B (zh) * 2020-04-01 2024-01-19 杭州视在科技有限公司 一种用于城市级规模的餐饮后厨工作服高精度识别方法
US11367254B2 (en) * 2020-04-21 2022-06-21 Electronic Arts Inc. Systems and methods for generating a model of a character from one or more images
CN111629212B (zh) * 2020-04-30 2023-01-20 网宿科技股份有限公司 一种对视频进行转码的方法和装置
WO2021258386A1 (en) * 2020-06-26 2021-12-30 Intel Corporation Apparatus and methods for three-dimensional pose estimation
EP3951715A1 (en) * 2020-08-05 2022-02-09 Canon Kabushiki Kaisha Generation apparatus, generation method, and program
US11335004B2 (en) 2020-08-07 2022-05-17 Adobe Inc. Generating refined segmentation masks based on uncertain pixels
KR20220029247A (ko) * 2020-09-01 2022-03-08 삼성전자주식회사 전자 장치 및 이의 제어 방법
US20230316046A1 (en) * 2020-09-17 2023-10-05 Bodygram, Inc. Evaluation and training of machine learning modules without corresponding ground truth data sets
CN112401369B (zh) * 2020-11-23 2024-10-15 叠境数字科技（上海）有限公司 基于人体重建的身体参数测量方法、系统、设备、芯片及介质
US11676279B2 (en) 2020-12-18 2023-06-13 Adobe Inc. Utilizing a segmentation neural network to process initial object segmentations and object user indicators within a digital image to generate improved object segmentations
GB2602163A (en) * 2020-12-21 2022-06-22 Jonple Group Ltd System for determining body measurements from images
CN112733671A (zh) * 2020-12-31 2021-04-30 新大陆数字技术股份有限公司 行人检测方法、装置及可读存储介质
USD999225S1 (en) * 2021-01-14 2023-09-19 Beijing Zitiao Network Technology Co., Ltd. Display screen or portion thereof with an animated graphical user interface
USD999226S1 (en) * 2021-01-14 2023-09-19 Beijing Zitiao Network Technology Co., Ltd. Display screen or portion thereof with a graphical user interface
US11373352B1 (en) * 2021-03-04 2022-06-28 Meta Platforms, Inc. Motion transfer using machine-learning models
US11875510B2 (en) 2021-03-12 2024-01-16 Adobe Inc. Generating refined segmentations masks via meticulous object segmentation
JP2024530061A (ja) * 2021-03-24 2024-08-15 ボディグラム，インコーポレイテッド 深層学習ネットワークを使用したユーザ画像からの身体組成の予測
CN117881340A (zh) 2021-04-05 2024-04-12 先进健康智能有限公司 预测用户身体体积来管理医疗治疗和药物
WO2022216973A1 (en) * 2021-04-08 2022-10-13 Universal City Studios Llc Guest measurement systems and methods
JP7167241B1 (ja) * 2021-04-28 2022-11-08 ジーイー・プレシジョン・ヘルスケア・エルエルシー 学習済みモデル生成方法、処理装置、および記憶媒体
WO2022240745A1 (en) * 2021-05-11 2022-11-17 Tam Technologies, Inc. Methods and systems for representing a user
US11854146B1 (en) 2021-06-25 2023-12-26 Amazon Technologies, Inc. Three-dimensional body composition from two-dimensional images of a portion of a body
US12014469B2 (en) * 2021-07-02 2024-06-18 Viettel Group System and method for reconstructing a 3D human body from anthropometric measurements
US11961198B2 (en) * 2021-07-20 2024-04-16 Dhana Inc. System and method for improved generation of avatars for virtual try-on of garments
US11887252B1 (en) 2021-08-25 2024-01-30 Amazon Technologies, Inc. Body model composition update from two-dimensional face images
KR102625576B1 (ko) * 2021-09-14 2024-01-16 김봉건 고객 맞춤형 추천 안경 제공 시스템
US11861860B2 (en) 2021-09-29 2024-01-02 Amazon Technologies, Inc. Body dimensions from two-dimensional body images
US12020400B2 (en) 2021-10-23 2024-06-25 Adobe Inc. Upsampling and refining segmentation masks
US12062224B2 (en) * 2022-01-21 2024-08-13 Unisense Tech, Inc. Method of identifying similars in clothing images
EP4215106A1 (en) 2022-01-25 2023-07-26 Jaes Informatica Societa'Cooperativa Apparatus for the automatic detection of anthropometric measurements and for the determination of sizes of items of clothing on the basis of said measurement, and corresponding method
US20230281310A1 (en) * 2022-03-01 2023-09-07 Meta Plataforms, Inc. Systems and methods of uncertainty-aware self-supervised-learning for malware and threat detection
US12070093B1 (en) * 2022-03-11 2024-08-27 Amazon Technologies, Inc. Custom garment pattern blending based on body data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952333A (zh) * 2017-02-14 2017-07-14 深圳奥比中光科技有限公司 一种创建人体参数化模型的方法及系统
CN106999107A (zh) * 2014-12-05 2017-08-01 麦费兹克公司 身体成像
CN107111833A (zh) * 2014-10-17 2017-08-29 电子湾有限公司 快速3d模型适配和人体测量
CN107194987A (zh) * 2017-05-12 2017-09-22 西安蒜泥电子科技有限责任公司 对人体测量数据进行预测的方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5956525A (en) 1997-08-11 1999-09-21 Minsky; Jacob Method of measuring body measurements for custom apparel manufacturing
US6490534B1 (en) 2000-04-25 2002-12-03 Henry Pfister Camera measurement system
US6968075B1 (en) * 2000-05-09 2005-11-22 Chang Kurt C System and method for three-dimensional shape and size measurement
US7194327B2 (en) * 2002-07-12 2007-03-20 Peter Ar-Fu Lam Body profile coding method and apparatus useful for assisting users to select wearing apparel
US7987111B1 (en) * 2006-10-30 2011-07-26 Videomining Corporation Method and system for characterizing physical retail spaces by determining the demographic composition of people in the physical retail spaces utilizing video image analysis
US8463006B2 (en) * 2007-04-17 2013-06-11 Francine J. Prokoski System and method for using three dimensional infrared imaging to provide detailed anatomical structure maps
AU2009281762A1 (en) 2008-08-15 2010-02-18 Brown University Method and apparatus for estimating body shape
NL1037949C2 (nl) 2010-05-10 2011-11-14 Suitsupply B V Werkwijze voor het op afstand bepalen van kledingmaten.
US8908928B1 (en) 2010-05-31 2014-12-09 Andrew S. Hansen Body modeling and garment fitting using an electronic device
US8655053B1 (en) * 2010-05-31 2014-02-18 Andrew S Hansen Body modeling and garment fitting using an electronic device
WO2011156474A2 (en) 2010-06-10 2011-12-15 Brown University Parameterized model of 2d articulated human shape
US20130179288A1 (en) * 2010-11-17 2013-07-11 Upcload Gmbh Collecting and using anthropometric measurements
WO2012075298A2 (en) 2010-12-01 2012-06-07 Cornell University Body shape analysis method and system
GB201102794D0 (en) * 2011-02-17 2011-03-30 Metail Ltd Online retail system
GB201209382D0 (en) * 2012-05-25 2012-07-11 Poikos Ltd Body measurement
CN102842089A (zh) * 2012-07-18 2012-12-26 上海交通大学 基于3d真实人体模型及服装模型的网络虚拟试衣系统
KR20150079585A (ko) * 2012-09-05 2015-07-08 바디 패스 리미티드 일련의 2ｄ 이미지로부터 정확한 신체 사이즈 치수를 도출하는 시스템 및 방법
GB201215944D0 (en) 2012-09-06 2012-10-24 Univ Manchester Image processing apparatus and method for fittng a deformable shape model to an image using random forests
ITBO20120628A1 (it) 2012-11-16 2014-05-17 In Pro Di Inghirami Produzione Dist Ribuzione S P Procedimento e sistema per la realizzazione di capi di abbigliamento su misura.
US9489743B2 (en) 2013-03-13 2016-11-08 Mecommerce, Inc. Determining dimension of target object in an image using reference object
US20140277663A1 (en) 2013-03-15 2014-09-18 Neil Rohin Gupta System and Method for Creating Custom-Fit Apparel Designs
US9400925B2 (en) * 2013-11-15 2016-07-26 Facebook, Inc. Pose-aligned networks for deep attribute modeling
US10460158B2 (en) * 2014-06-19 2019-10-29 Kabushiki Kaisha Toshiba Methods and systems for generating a three dimensional representation of a human body shape
US9858719B2 (en) 2015-03-30 2018-01-02 Amazon Technologies, Inc. Blended reality systems and methods
CN106418847A (zh) * 2015-08-04 2017-02-22 王廷金 一种基于计算机视觉技术的人体三维尺寸测量方法
US9623578B1 (en) 2015-12-16 2017-04-18 Amazon Technologies, Inc. On demand apparel manufacturing
US9936754B2 (en) * 2016-04-25 2018-04-10 Original Inc. Methods of determining measurements for custom clothing manufacture
KR20180007016A (ko) * 2016-07-11 2018-01-22 김동욱 2장의 사진을 이용한 인체치수 측정 및 시스템
US10290136B2 (en) * 2016-08-10 2019-05-14 Zeekit Online Shopping Ltd Processing user selectable product images and facilitating visualization-assisted coordinated product transactions
JP2018089161A (ja) * 2016-12-05 2018-06-14 富士通株式会社 対象者認識方法、装置、システム、プログラム
US10665022B2 (en) * 2017-06-06 2020-05-26 PerfectFit Systems Pvt. Ltd. Augmented reality display system for overlaying apparel and fitness information
CN107563123A (zh) * 2017-09-27 2018-01-09 百度在线网络技术（北京）有限公司 用于标注医学图像的方法和装置
US10657709B2 (en) 2017-10-23 2020-05-19 Fit3D, Inc. Generation of body models and measurements

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107111833A (zh) * 2014-10-17 2017-08-29 电子湾有限公司 快速3d模型适配和人体测量
CN106999107A (zh) * 2014-12-05 2017-08-01 麦费兹克公司 身体成像
CN106952333A (zh) * 2017-02-14 2017-07-14 深圳奥比中光科技有限公司 一种创建人体参数化模型的方法及系统
CN107194987A (zh) * 2017-05-12 2017-09-22 西安蒜泥电子科技有限责任公司 对人体测量数据进行预测的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
THOMAS KRINNINGER: "One-Shot 3D Body-Measurement", 《MASTER’S THESIS SUBMITTED TO GRAZ UNIVERSITY OF TECHNOLOGY》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220078339A1 (en) * 2019-01-03 2022-03-10 Idiction Co., Ltd. Method for obtaining picture for measuring body size and body size measurement method, server, and program using same
CN111289076A (zh) * 2020-05-13 2020-06-16 成都泰盟软件有限公司 自动采集人体基础数据的人体生理实验系统
CN112783949A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 人体数据预测方法、装置、电子设备和存储介质
CN112783949B (zh) * 2021-01-29 2024-04-09 北京百度网讯科技有限公司 人体数据预测方法、装置、电子设备和存储介质
CN113095338A (zh) * 2021-06-10 2021-07-09 季华实验室 工业品图像的自动标注方法、装置、电子设备和存储介质
CN113095338B (zh) * 2021-06-10 2021-11-09 季华实验室 工业品图像的自动标注方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
US11497267B2 (en) 2022-11-15
JP7075085B2 (ja) 2022-05-25
CA3097712C (en) 2021-10-12
JP2021012707A (ja) 2021-02-04
US20210235802A1 (en) 2021-08-05
EP3781022A1 (en) 2021-02-24
US20190357615A1 (en) 2019-11-28
EP3781022A4 (en) 2022-01-26
US10321728B1 (en) 2019-06-18
WO2019204235A1 (en) 2019-10-24
JP2020522285A (ja) 2020-07-30
CN114419677A (zh) 2022-04-29
CA3097712A1 (en) 2019-10-24
CN110662484B (zh) 2021-12-10
US10470510B1 (en) 2019-11-12
JP6799302B2 (ja) 2020-12-16

Similar Documents

Publication Publication Date Title
CN110662484B (zh) 用于全身测量结果提取的系统和方法
US10489683B1 (en) Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
JP7575747B2 (ja) 深層学習ネットワークを使用してユーザ写真から体重を測定するシステム及び方法
US11010896B2 (en) Methods and systems for generating 3D datasets to train deep learning networks for measurements estimation
KR102290040B1 (ko) 신체 이미징
KR20220066366A (ko) 예측적 개인별 3차원 신체 모델
US11574421B2 (en) Methods and systems for predicting pressure maps of 3D objects from 2D photos using deep learning
US11507781B2 (en) Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
US11798299B2 (en) Methods and systems for generating 3D datasets to train deep learning networks for measurements estimation
KR102465453B1 (ko) 가상화장 합성 처리 인공지능 장치 및 방법
JP7579546B2 (ja) 訓練深層学習ネットワークの３ｄモデルから大量訓練データセットを自動的に生成する方法及びシステム
CN114627535B (zh) 基于双目摄像头的坐标匹配方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant