CN108269302A - 一种基于简易测量服的三维人体快速重建方法 - Google Patents

一种基于简易测量服的三维人体快速重建方法 Download PDF

Info

Publication number
CN108269302A
CN108269302A CN201810054854.6A CN201810054854A CN108269302A CN 108269302 A CN108269302 A CN 108269302A CN 201810054854 A CN201810054854 A CN 201810054854A CN 108269302 A CN108269302 A CN 108269302A
Authority
CN
China
Prior art keywords
human body
point
feature
sample
clothes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810054854.6A
Other languages
English (en)
Other versions
CN108269302B (zh
Inventor
李基拓
许豪灿
陆国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810054854.6A priority Critical patent/CN108269302B/zh
Publication of CN108269302A publication Critical patent/CN108269302A/zh
Application granted granted Critical
Publication of CN108269302B publication Critical patent/CN108269302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077—Measuring of profiles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6804—Garments; Clothes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于简易测量服的三维人体快速重建方法。针对现有人体库的各个样本人体，提取特征参数和特征曲线作为人体特征，组成人体特征库；使用PCA方法进行处理构建人体形状空间；通过神经网络建立人体特征和人体形状空间之间的映射模型；测量待测人体的特征参数，并利用简易测量服获取待测人体的特征曲线；待测人体的特征参数和特征曲线输入到映射模型中获得待测人体在人体形状空间中的各特征向量对应的特征值，再还原重建得到三维人体模型。本发明中，高空间维度的特征曲线提供了丰富的人体表面几何信息，多层神经网络准确反应了人体特征与人体形状空间之间的映射模型，提高了人体三维重建的准确性和可靠性。

Description

一种基于简易测量服的三维人体快速重建方法
技术领域
本发明涉及三维人体建模的技术领域，特别是涉及一种基于简易测量服的三维人体快速重建方法。
背景技术
三维人体重建是计算机图形学，计算机视觉等领域的重要研究方向。基于统计样本的三维人体重建，充分利用大量的样本模型和统计学习方法，快速构建人体模型，为三维动画，产品试穿戴和虚拟试衣等实际应用场景提供了基础而普遍的素材。
在计算机图形学中，通常以数以千计甚至是数以万计的空间点云或者三角网格来表示三维人体模型。PCA(Principle Component Analysis)，即主成分分析，是一种常用的统计方法，其主要思想为通过正交变换将一组可能存在相关性的变量转化为一组线性无关的变量，按照特征值的大小选取对应的特征向量，实现数据降维。人体形状空间的本质是所有个性人体形状的集合，其空间维度常以千或者是万为单位，过高的空间维度信息又限制了人体模型的实际应用范围。因而在实际工程中，常使用PCA来处理网格结构统一的人体模型，以低维度的正交子空间近似代表高维度的三维人体模型。
在日常生活中，又常以身高、体重、三围等一维特征参数来描述人体模型，但是由于缺少人体表面几何信息，即使是两个身高、体重、甚至是三围非常接近的人，在部分人体形状区域依旧会存在直观的差异，而这些差异必然无法通过一维的特征参数得以体现。
人体形状空间和人体特征之间必然存在直接关联，显然这两者是非线性相关的，但是一般而言，线性模型常被用来近似表达人体形状空间和人体特征参数之间的映射关系，这势必会影响重建得到的三维人体模型的精度。
发明内容
本发明的目的在于克服现有技术的不足，提供一种能够获取包含人体表面几何信息的高维人体特征参数的方法与装置，同时建立人体特征与人体形状空间之间的合理映射关系，快速重建得到高精度的三维人体模型。
本发明采用的技术方案为：
S1、针对现有人体库的各个样本人体，提取每个样本人体的特征参数和特征曲线作为人体特征，组成人体特征库；
样本人体是指通过使用高精度三维扫描仪扫描真实人体获得的人体点云数据。
S2、使用PCA方法对现有人体库中的各个样本人体进行处理构建人体形状空间；
S3、通过神经网络建立人体特征和人体形状空间之间的映射模型；
S4、测量待测人体的特征参数，并利用简易测量服获取待测人体的特征曲线；
S5、待测人体的特征参数和特征曲线输入到映射模型中获得待测人体在人体形状空间中的各特征向量对应的特征值，利用特征向量及其对应的特征值再还原重建得到高精度的三维人体模型。
进一步地，所述步骤S1具体包括：
S101、提取样本人体的身高、体重、三围、臂长和肩宽等一维人体特征参数；具体实施中，根据样本人体的点云数据中的点计算获得各项特征参数。
S102、提取样本人体的胸部、腰部和臀部的人体截面的轮廓曲线作为特征曲线；具体实施中，分别在胸部、腰部和臀部设定截面，取截面轮廓的数据构建特征曲线。
S103、由现有人体库的各个样本人体的特征参数和特征曲线组成人体特征库。
所述步骤S1和步骤S3中，特征参数包括身高、体重、三围、臂长和肩宽的一维人体参数；特征曲线包括胸部、腰部和臀部的人体截面的轮廓曲线。
身高、体重、三围、臂长、肩宽等一维人体特征参数在不同的人体之间必然不尽相同，因而在日常生活中常被用来描述人体形态。
胸部、腰部和臀部按照《人体测量方法》对于三围的定义，如下：胸围——平静呼吸时经乳头点的胸部水平围长；腰围——经脐部中心的水平围长，或肋最低点与髂嵴上缘两水平线间中点线的围长；臀围——臀部向后最突出部位的水平围长。
所述步骤S103中，对现有人体库的各个样本人体的特征曲线进行重采样，使得特征曲线中的点数量统一，再组件人体特征库。
所述步骤S2具体是先对现有人体库的各个样本人体进行预处理使得所有样本人体的网格结构统一，再使用PCA方法对样本人体进行处理，使得样本人体的点云数据降维后表示为互相正交的特征向量及其对应的特征值，构建人体形状空间。
所述的网格结构统一是指样本人体的点云包含有的点总数相一致且各点位置对应统一。
如图3所示，图3是人体特征库构建流程图。由步骤S102获取的人体截面特征曲线长度不一，数据量大小不一，无法直接作为人体特征参数构建与人体形状空间之间的映射模型，因而需要将各样本人体的特征曲线转化为统一的数据结构。对于每一条闭合的人体特征曲线，采用等长度或者等角度的方式进行重采样。
人体点云过高的空间维度信息限制了其实际应用范围，为了更为便捷的表达三维人体模型，对人体点云数据进行PCA操作，降低数据维度，构建低维度的人体形状空间。
进一步地，所述步骤S2的PCA方法具体包括以下步骤：
S201、计算样本人体的平均人体，对于每个样本人体均减去平均人体；
具体实施中，利用样本人体的点云数据计算每个样本人体的平均点，移动所有样本人体使得所有平均点重合，再计算所有样本人体相同位置点的平均点作为平均人体该相同位置的点。
S202、利用减去平均人体后的各个样本人体采用以下构建协方差矩阵C，表示为：
其中，xa表示样本人体的第a维数据，具体为表示样本人体某一点空间位置的三轴中的一轴的坐标值，xb表示样本人体的第b维数据，con(xa,xb)表示第a 维数据xa和第b维数据xb的协方差，n表示样本人体的点云数据的总维数；
S203、求解协方差矩阵的特征值及其特征向量；
具体实施中，特征向量互相正交，与对应的特征值共同构建人体形状空间；
S204、将特征值按照从大到小的顺序排列，选择其中最大的K个特征值对应的特征向量构成特征向量矩阵；
S205、将每个样本人体的点云数据投影到特征向量矩阵上，以特征向量及其对应的特征值表示样本人体，构建人体形状空间。
所述步骤S3是以人体特征作为神经网络的输入量，以人体形状空间作为神经网络的输出量，将各个现有人体库的各个样本人体的人体特征与人体形状空间输入神经网络进行训练，以训练后的神经网络作为映射模型。
所述的神经网络包括输入层、隐藏层和输出层的三层结构，输入层包括身高、体重、臂长等一维特征参数，胸部、腰部、臀部等特征曲线以及偏置量；隐藏层包括若干隐藏结点及偏置量；输出层包括由样本人体进行PCA操作得到的各特征向量所对应的特征值
进一步地，所述步骤S4包括：
S401、制作能紧贴人体表面的简易测量服，利用简易测量服采集人体表面几何信息；
S402、让待测人体穿着简易测量服，简易测量服上设有标记点，通过多相机从多视角同时拍摄采集，获得待测人体的各视角图像；
S403、通过图像识别获得简易测量服上的标记点作为特征采样点，利用标记点提取图像中的特征曲线段并进行拼接优化获取特征曲线。
所述的待测人体为真实的人体。具体实施中再对待测人体的特征曲线和样本人体一样进行重采样，结合测量所得的特征参数，构建待测人体特征库。
所述的简易测量服为主要由三条柔带绕置于人体上所构成的网格，柔带为长度可变的无弹性软带，柔带两端分别包含一定长度的粘扣，改变柔带可视部分的长度，以适应不同的人体，三条柔带分别水平绕置于胸部、腰部和臀部，柔带上沿长度方向等间隔设有标记点。
进一步地，所述步骤S403中，利用标记点提取图像中的特征曲线段并进行拼接优化获取特征曲线，针对胸部、腰部和臀部的每条特征曲线获得方式具体为：
S4031、首先针对每个视角的图像，构建以下能量方程，在不破坏各个视角折线段原始形状的前提下，拼接拟合各视角下特征曲线段，能量方程的表达式为：
其中，Pi表示经上述能量方程优化后的第i个特征采样点的位置，Pij表示第 i个特征采样点在第j个视角中的位置，若第j个视角中无法观测到第i个特征采样点，则令Pij＝0；在实际数据采集的过程中，受到各种外界因素的干扰，同一特征采样点在不同视角下计算得到的空间位置存在差异，表示当前迭代状态下，第i个特征采样点的位置；n表示特征采样点的总数，m表示相机所拍摄视角的总数；ωij表示第j个视角下的特征采样点Pij的权重，若第j个视角图像中包含第i个特征采样点，则ωij＝1/Dij，Dij表示第i个特征采样点和第j个视角图像中所有特征采样点的平均中心点之间的欧式距离；若第j个视角图像中不包含第i个采样点，则ωij＝0；
采用非线性优化(NLOPT)方法不断迭代求解能量方程获得更新后的第i 个特征采样点位置Pi，若当前次计算获得的能量值E1与当前次前的第100次计算时的能量值E1之差小于等于当前次计算获得的能量值E1的1％，则停止计算；
S4032、以步骤S4031最终次计算获得的更新后的第i个特征采样点位置Pi在每个视角图像中连接各个特征采样点构成一条初始特征曲线；
S4033、针对各个视角图像中的初始特征曲线，基于长度和位置约束优化特征曲线的拼接形状，构建以下约束方程：
其中，表示第k个特征采样点和第k+1个特征采样点之间的曲线的真实长度，由于柔带为无弹性的软带，柔带上的特征点等间隔均布，为已知量；Lk表示当前迭代状态下第k个特征采样点和第k+1个特征采样点之间的曲线的长度； K表示特征采样点的总数；Pi表示经过约束方程优化后的第i个特征采样点位置，表示当前迭代状态下第i个特征采样点的位置，α表示位置约束权重；
采用非线性优化(NLOPT)方法不断迭代求解约束方程再获得更新后的第 i个特征采样点位置Pi，若当前次计算获得的约束值E2与当前次前的第100次计算时的约束值E2之差小于等于当前次计算获得的约束值E2的1％，则停止计算；
S4034、以步骤S4033最终次计算获得的更新后的第i个特征采样点位置Pi作为特征曲线中的特征采样点位置的最终位置，用多项式曲线连接特征采样点构成特征曲线。
本发明的有益效果是：
本发明方法身穿简易测量服，通过多相机同时采集人体表面数据，保证了获取的人体特征参数拥有丰富的人体表面几何信息，通过神经网络准确建立人体特征和人体形状空间之间的非线性模型，有效保障了重建精度。这种重建方法成本低，精度高，速度快，为产品试穿戴，虚拟试衣等实际应用场景提供了符合要求的三维人体模型。
附图说明
图1是本发明方法的流程图；
图2是简易测量服实物效果图；
图3是人体特征库构建流程图；
图4是神经网络结构示意图；
图5是本发明的最终模型效果图；(a)表示为高精度三维扫描仪得到的结果， (b)表示本发明提出的方法得到的结果。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及实例，对本发明做出进一步详细，清楚的描述。显然，此处所描述的实施例仅用于阐述本发明的流程，并不用于限定本发明。
如图1所示，本方法的具体实施例子及其实施步骤如下：
S1、针对现有人体库的各个样本人体，提取每个样本人体的特征参数和特征曲线作为人体特征，组成人体特征库；
S101、提取样本人体的身高、体重、三围、臂长和肩宽等一维人体特征参数；具体实施中，根据样本人体的点云数据中的点计算获得各项特征参数。
S102、提取样本人体的胸部、腰部和臀部的人体截面的轮廓曲线作为特征曲线；具体实施中，分别在胸部、腰部和臀部设定截面，取截面轮廓的数据构建特征曲线。
S103、由现有人体库的各个样本人体的特征参数和特征曲线组成人体特征库。统一不同样本人体样本人体的特征曲线数据结构，具体是：对于每一条闭合的特征曲线，采用等长度或者等角度的方式进行重采样，以等角度采样为例说明，以各点的平均位置作为曲线中心点，每隔10度从中心点做一条射线，以射线与特征曲线的交点作为特征曲线的重采样点；
S104、构建人体特征库；
如图3所示，图3是人体特征库构建流程图。
S2、使用PCA方法对现有人体库中的各个样本人体进行处理以构建人体形状空间；
先对现有人体库的各个样本人体进行预处理使得所有样本人体的网格结构统一，再使用PCA方法对各个样本人体进行处理，使得样本人体的点云数据降维后表示为互相正交的特征向量及其对应的特征值，构建人体形状空间。
将各样本人体的特征曲线转化为统一的数据结构。具体是：对于每一条闭合的人体特征曲线，采用等长度或者等角度的方式进行重采样，以等角度采样举例说明，首先确定曲线中心点位置，每隔10度为单位从中心点做一条射线，以射线与人体特征曲线的点的集合为重采样点。
再对人体点云数据进行PCA操作，具体包括：
S201、计算样本人体的平均人体，对于每个样本人体均减去平均人体；
具体实施中，利用样本人体的点云数据计算每个样本人体的平均点，移动所有样本人体使得所有平均点重合，再计算所有样本人体相同位置的各对应点的平均点作为平均人体该相同位置对应的点。
S202、利用减去平均人体后的各个样本人体采用以下构建协方差矩阵C，表示为：
其中，con(xa,xb)表示变量xa和变量xb的协方差，xa表示样本人体的第a维数据，具体为表示样本人体某一点空间位置的三轴中的一轴的坐标值；
S203、求解协方差矩阵的特征值及其特征向量；
具体实施中，特征向量互相正交，与对应的特征值共同构建人体形状空间。
S204、将特征值按照从大到小的顺序排列，选择其中最大的K个特征值对应的特征向量构成特征向量矩阵；
S205、将每个样本人体的点云数据投影到特征向量矩阵上，以特征向量及其对应的特征值表示样本人体，构建人体形状空间。
S3、通过神经网络建立人体形状空间和人体特征之间的映射模型；
步骤S3是以人体特征作为神经网络的输入量，以人体形状空间作为神经网络的输出量，将各个现有人体库的各个样本人体的人体特征与人体形状空间输入神经网络进行训练，以训练后的神经网络作为映射模型。
如图4所示，图4是神经网络结构示意图。人体特征与人体形状空间均可用来描述三维人体模型，这两者之间必然存在着某种非线性关系，因而可以通过多层神经网络进行拟合，拟合目标为：最小化重建得到的三维人体模型的几何误差。
所述的神经网络包括输入层、隐藏层和输出层的三层结构，
输入层包括身高、体重、臂长等一维特征参数，胸部、腰部、臀部等特征曲线以及偏置量；具体包括：身高、体重、手臂长度、腿长，胸部、腰部、臀部等特征曲线均以8个特征采样点表示；
隐藏层包括若干隐藏节点及偏置量，具体包括：2个隐藏层，节点数量分别为57，57；
输出层包括由样本人体进行PCA操作得到的各特征向量所对应的特征值，具体为：1.对人体库中的样本人体进行PCA操作之后得到的特征向量和特征值， 2.按照特征值大小重新排列并取前14个特征向量，构建特征向量矩阵，3.各样本人体点云数据投影至特征向量矩阵上，求解对应的特征值。
S4、测量待测人体的特征参数，并利用简易测量服获取待测人体的特征曲线；
S401、制作能紧贴人体表面的简易测量服，利用简易测量服采集人体表面几何信息；
一维人体特征参数缺少人体表面几何信息，无法准确表达人体细节，因而需要通过简易测量服获取人体表面几何信息。图2为一种本发明所提及的简易测量服的一种示意版本，本发明所述的简易测量服包含但不限于：简易测量服为主要由三条柔带绕置于人体上所构成的网格，柔带为长度可变的无弹性软带，三条柔带分别水平绕置于胸部、腰部和臀部，柔带上沿长度方向等间隔设有标记点。
为提高简易测量服的可重用性，增加本发明所述的三维人体快速重建方法的适用范围，如S401所述，各测量带的空间位置及长度可调，目标人体需根据自身实际情况，调节各测量带的空间位置，以获取准确的人体特征曲线，保障重建精度。
S402、让待测人体穿着简易测量服，简易测量服上设有标记点，通过多相机从多视角同时拍摄采集，获得待测人体的各视角图像；
多相机同时采集数据，人体在旋转台上缓慢旋转一周，结合双目视觉或多目视觉的方式确定各个视角下简易测量服上采样点的空间位置。
S403、通过图像识别获得简易测量服上的标记点作为特征采样点，利用标记点提取图像中的特征曲线段并进行拼接优化获取特征曲线。
人体是非刚性物体，在数据采集的过程中，难以保证完全静止，参照S403 所述方法采集各角度特征曲线无法构成闭环，对各特征曲线段进行拼接拟合优化。
S4031、首先针对每个视角的图像，构建以下能量方程，能量方程的表达式为：
其中，Pi表示经上述能量方程优化后的第i个特征采样点的位置，Pij表示第 i个特征采样点在第j个视角中的位置，若第j个视角中无法观测到第i个特征采样点，则令Pij＝0；在实际数据采集的过程中，受到各种外界因素的干扰，同一特征采样点在不同视角下计算得到的空间位置存在差异，表示当前迭代状态下，第i个特征采样点的位置；n表示特征采样点的总数，m表示相机所拍摄视角的总数；ωij表示第j个视角下的特征采样点Pij的权重，若第j个视角图像中包含第i个特征采样点，则ωij＝1/Dij，Dij表示第i个特征采样点和第j个视角图像中所有特征采样点的平均中心点之间的欧式距离；若第j个视角图像中不包含第i个采样点，则ωij＝0；
采用非线性优化(NLOPT)方法不断迭代求解能量方程获得更新后的第i 个特征采样点位置Pi，若当前次计算获得的能量值E1与当前次前的第100次计算时的能量值E1之差小于等于当前次计算获得的能量值E1的1％，则停止计算；
S4032、以步骤S4031最终次计算获得的更新后的第i个特征采样点位置Pi在每个视角图像中连接各个特征采样点构成一条初始特征曲线；
S4033、针对各个视角图像中的初始特征曲线，构建以下约束方程：
其中，表示第k个特征采样点和第k+1个特征采样点之间的曲线的真实长度，由于柔带为无弹性的软带，柔带上的特征点等间隔均布，为已知量；Lk表示当前迭代状态下第k个特征采样点和第k+1个特征采样点之间的曲线的长度；表示第，K表示特征采样点的总数，即相机拍摄视角的总数；Pi表示经过约束方程优化后的第i个特征采样点位置，表示当前迭代状态下第i个特征采样点的位置，α表示位置约束权重；
采用非线性优化(NLOPT)方法不断迭代求解约束方程再获得更新后的第 i个特征采样点位置Pi，若当前次计算获得的约束值E2与当前次前的第100次计算时的约束值E2之差小于等于当前次计算获得的约束值E2的1％，则停止计算；
S4034、以步骤S4033最终次计算获得的更新后的第i个特征采样点位置Pi作为特征曲线中的特征采样点位置的最终位置，用多项式曲线连接特征采样点构成特征曲线。
S5、待测人体的特征参数和特征曲线输入到映射模型中获得待测人体在人体形状空间中的各特征向量所对应的特征值，利用特征向量以及对应的特征值还原重建得到高精度的三维人体模型。
结合步骤S4所获取的特征曲线及步骤S3中所建立的人体特征和人体形状空间之间的映射模型，以真实人体一维特征参数及步骤S4中获取的特征曲线作为输入，求解人体形状空间中特征向量所对应的特征值参数，通过相对低维的特征向量矩阵及其对应的特征值构建人体形状空间，表达三维人体模型。
如图5所示，图中可见采用本发明提出的方法重建得到的三维人体模型非常接近于高精度三维扫描仪扫描得到的三维人体模型，即本发明提出的方法具有较好的重建精度。
综上所述，本发明方法实施实际情况中，用户身穿简易测量服，在多相机前缓慢旋转一周，即可快速获取高精度的三维人体模型。只需要一件简易测量服和两个及以上普通相机即可，重建速度快，精度高，用户体验好，为产品试穿戴，虚拟试衣等实际应用场景提供了符合要求的三维人体模型。
以上所述，仅为本发明的具体实施方式，但本发明的实施方式并不受限于此，其他任何未背离本发明精神实质与原理的改变、修饰等置换方式，均在本发明的保护范围之内，具体以权利要求的保护范围为准。

Claims (8)

1.一种基于简易测量服的三维人体快速重建方法，所述方法包括下列步骤：
S1、针对现有人体库的各个样本人体，提取每个样本人体的特征参数和特征曲线作为人体特征，组成人体特征库；
S2、使用PCA方法对现有人体库中的各个样本人体进行处理构建人体形状空间；
S3、通过神经网络建立人体特征和人体形状空间之间的映射模型；
S4、测量待测人体的特征参数，并利用简易测量服获取待测人体的特征曲线；
S5、待测人体的特征参数和特征曲线输入到映射模型中获得待测人体在人体形状空间中的各特征向量对应的特征值，再还原重建得到三维人体模型。
2.根据权利要求1所述的一种基于简易测量服的三维人体快速重建方法，其特征在于：所述步骤S1和步骤S3中，特征参数包括身高、体重、三围、臂长和肩宽的一维人体参数；特征曲线包括胸部、腰部和臀部的人体截面的轮廓曲线。
3.根据权利要求2所述的一种基于简易测量服的三维人体快速重建方法，其特征在于：所述步骤S2具体是先对现有人体库的各个样本人体进行预处理使得所有样本人体的网格结构统一，再使用PCA方法对样本人体进行处理，使得样本人体的点云数据降维后表示为互相正交的特征向量及其对应的特征值，构建人体形状空间。
4.根据权利要求3所述的一种基于简易测量服的三维人体快速重建方法，其特征在于：所述步骤S2的PCA方法具体包括以下步骤：
S201、计算样本人体的平均人体，对于每个样本人体均减去平均人体；
S202、利用减去平均人体后的各个样本人体采用以下构建协方差矩阵C，表示为：
其中，xa表示样本人体的第a维数据，具体为表示样本人体某一点空间位置的三轴中的一轴的坐标值，xb表示样本人体的第b维数据，con(xa,xb)表示第a维数据xa和第b维数据xb的协方差，n表示样本人体的点云数据的总维数；
S203、求解协方差矩阵的特征值及其特征向量；
S204、将特征值按照从大到小的顺序排列，选择其中最大的K个特征值对应的特征向量构成特征向量矩阵；
S205、将每个样本人体的点云数据投影到特征向量矩阵上，以特征向量及其对应的特征值表示样本人体，构建人体形状空间。
5.根据权利要求1所述的一种基于简易测量服的三维人体快速重建方法，其特征在于：
所述步骤S3是以人体特征作为神经网络的输入量，以人体形状空间作为神经网络的输出量，将各个现有人体库的各个样本人体的人体特征与人体形状空间输入神经网络进行训练，以训练后的神经网络作为映射模型。
6.根据权利要求3所述的一种基于简易测量服的三维人体快速重建方法，其特征在于：所述步骤S4包括：
S401、制作能紧贴人体表面的简易测量服，利用简易测量服采集人体表面几何信息；
S402、让待测人体穿着简易测量服，简易测量服上设有标记点，通过多相机从多视角同时拍摄采集，获得待测人体的各视角图像；
S403、通过图像识别获得简易测量服上的标记点作为特征采样点，利用标记点提取图像中的特征曲线段并进行拼接优化获取特征曲线。
7.根据权利要求6所述的一种基于简易测量服的三维人体快速重建方法，其特征在于：所述的简易测量服为主要由三条柔带绕置于人体上所构成的网格，柔带为长度可变的无弹性软带，三条柔带分别水平绕置于胸部、腰部和臀部，柔带上沿长度方向等间隔设有标记点。
8.根据权利要求6所述的一种基于简易测量服的三维人体快速重建方法，其特征在于：所述步骤S403中，利用标记点提取图像中的特征曲线段并进行拼接优化获取特征曲线，针对每条特征曲线获得方式具体为：
S4031、首先针对每个视角的图像，构建以下能量方程，能量方程的表达式为：
其中，Pi表示经上述能量方程优化后的第i个特征采样点的位置，Pij表示第i个特征采样点在第j个视角中的位置，若第j个视角中无法观测到第i个特征采样点，则令Pij＝0；表示当前迭代状态下，第i个特征采样点的位置；n表示特征采样点的总数，m表示相机所拍摄视角的总数；ωij表示第j个视角下的特征采样点Pij的权重，若第j个视角图像中包含第i个特征采样点，则ωij＝1/Dij，Dij表示第i个特征采样点和第j个视角图像中所有特征采样点的平均中心点之间的欧式距离；若第j个视角图像中不包含第i个采样点，则ωij＝0；
采用非线性优化(NLOPT)方法不断迭代求解能量方程获得更新后的第i个特征采样点位置Pi，若当前次计算获得的能量值E1与当前次前的第100次计算时的能量值E1之差小于等于当前次计算获得的能量值E1的1％，则停止计算；
S4032、以步骤S4031最终次计算获得的更新后的第i个特征采样点位置Pi在每个视角图像中连接各个特征采样点构成一条初始特征曲线；
S4033、针对各个视角图像中的初始特征曲线，构建以下约束方程：
其中，表示第k个特征采样点和第k+1个特征采样点之间的曲线的真实长度，由于柔带为无弹性的软带，柔带上的特征点等间隔均布，为已知量；Lk表示当前迭代状态下第k个特征采样点和第k+1个特征采样点之间的曲线的长度；K表示特征采样点的总数；Pi表示经过约束方程优化后的第i个特征采样点位置，表示当前迭代状态下第i个特征采样点的位置，α表示位置约束权重；
采用非线性优化(NLOPT)方法不断迭代求解约束方程再获得更新后的第i个特征采样点位置Pi，若当前次计算获得的约束值E2与当前次前的第100次计算时的约束值E2之差小于等于当前次计算获得的约束值E2的1％，则停止计算；
S4034、以步骤S4033最终次计算获得的更新后的第i个特征采样点位置Pi作为特征曲线中的特征采样点位置的最终位置，用多项式曲线连接特征采样点构成特征曲线。
CN201810054854.6A 2018-01-19 2018-01-19 一种基于简易测量服的三维人体快速重建方法 Active CN108269302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810054854.6A CN108269302B (zh) 2018-01-19 2018-01-19 一种基于简易测量服的三维人体快速重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810054854.6A CN108269302B (zh) 2018-01-19 2018-01-19 一种基于简易测量服的三维人体快速重建方法

Publications (2)

Publication Number Publication Date
CN108269302A true CN108269302A (zh) 2018-07-10
CN108269302B CN108269302B (zh) 2020-08-07

Family

ID=62776160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810054854.6A Active CN108269302B (zh) 2018-01-19 2018-01-19 一种基于简易测量服的三维人体快速重建方法

Country Status (1)

Country Link
CN (1) CN108269302B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300192A (zh) * 2018-09-03 2019-02-01 常鹏 基于3d扫描的外饰虚拟体验系统及方法
CN109522886A (zh) * 2019-01-15 2019-03-26 广州唯品会研究院有限公司 形体数据的测量方法、装置以及计算机可读存储介质
CN109753489A (zh) * 2019-01-15 2019-05-14 广州唯品会研究院有限公司 体型样本数据库的生成方法、装置及计算机可读存储介质
CN109800653A (zh) * 2018-12-24 2019-05-24 重庆第二师范学院 一种基于图像分析的人体特征参数提取方法及系统
CN110378291A (zh) * 2019-07-22 2019-10-25 浙江大学 一种基于半监督学习的人体特征参数预测方法
CN110766704A (zh) * 2019-10-22 2020-02-07 深圳瀚维智能医疗科技有限公司 乳房点云分割方法、装置、存储介质及计算机设备
CN112037319A (zh) * 2020-08-19 2020-12-04 上海佑久健康科技有限公司 人体测量方法、系统及计算机可读存储介质
CN112070816A (zh) * 2020-07-29 2020-12-11 深圳瀚维智能医疗科技有限公司 人体背部三维点云重建方法、装置及计算机可读存储介质
CN113790759A (zh) * 2021-09-16 2021-12-14 滁州职业技术学院 一种多传感器融合式建筑测量机器人及其控制方法
WO2023097491A1 (zh) * 2021-11-30 2023-06-08 宁德时代新能源科技股份有限公司 机器视觉检测方法、其检测装置及其检测系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060067573A1 (en) * 2000-03-08 2006-03-30 Parr Timothy C System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
CN103955963A (zh) * 2014-04-30 2014-07-30 崔岩 一种基于 Kinect设备的数字化人体三维重建方法及系统
US9460557B1 (en) * 2016-03-07 2016-10-04 Bao Tran Systems and methods for footwear fitting
CN106355151A (zh) * 2016-08-30 2017-01-25 电子科技大学 一种基于深度置信网络的三维sar图像目标识别方法
US20170053422A1 (en) * 2015-08-17 2017-02-23 Fabien CHOJNOWSKI Mobile device human body scanning and 3d model creation and analysis
CN107016721A (zh) * 2017-03-07 2017-08-04 上海优裁信息技术有限公司 人体三维模型的建模方法
CN107341844A (zh) * 2017-06-21 2017-11-10 上海大学 一种基于多Kinect的实时三维人体绘制方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060067573A1 (en) * 2000-03-08 2006-03-30 Parr Timothy C System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
CN103955963A (zh) * 2014-04-30 2014-07-30 崔岩 一种基于 Kinect设备的数字化人体三维重建方法及系统
US20170053422A1 (en) * 2015-08-17 2017-02-23 Fabien CHOJNOWSKI Mobile device human body scanning and 3d model creation and analysis
US9460557B1 (en) * 2016-03-07 2016-10-04 Bao Tran Systems and methods for footwear fitting
CN106355151A (zh) * 2016-08-30 2017-01-25 电子科技大学 一种基于深度置信网络的三维sar图像目标识别方法
CN107016721A (zh) * 2017-03-07 2017-08-04 上海优裁信息技术有限公司 人体三维模型的建模方法
CN107341844A (zh) * 2017-06-21 2017-11-10 上海大学 一种基于多Kinect的实时三维人体绘制方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JING TONG等: "Scanning 3D Full Human Bodies Using Kinects", 《IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》 *
刘炯宙 等: "三维服装物理-几何实时混合模拟", 《计算机辅助设计与图形学学报》 *
李基拓 等: "由正交图像造型三维个性化虚拟人体模型", 《计算机辅助设计与图形学学报》 *
邓卫燕: "基于用户照片和神经网络的三维个性化人体建模方法研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300192A (zh) * 2018-09-03 2019-02-01 常鹏 基于3d扫描的外饰虚拟体验系统及方法
CN109800653A (zh) * 2018-12-24 2019-05-24 重庆第二师范学院 一种基于图像分析的人体特征参数提取方法及系统
CN109522886A (zh) * 2019-01-15 2019-03-26 广州唯品会研究院有限公司 形体数据的测量方法、装置以及计算机可读存储介质
CN109753489A (zh) * 2019-01-15 2019-05-14 广州唯品会研究院有限公司 体型样本数据库的生成方法、装置及计算机可读存储介质
CN110378291A (zh) * 2019-07-22 2019-10-25 浙江大学 一种基于半监督学习的人体特征参数预测方法
CN110378291B (zh) * 2019-07-22 2021-06-25 浙江大学 一种基于半监督学习的人体特征参数预测方法
CN110766704B (zh) * 2019-10-22 2022-03-08 深圳瀚维智能医疗科技有限公司 乳房点云分割方法、装置、存储介质及计算机设备
CN110766704A (zh) * 2019-10-22 2020-02-07 深圳瀚维智能医疗科技有限公司 乳房点云分割方法、装置、存储介质及计算机设备
CN112070816A (zh) * 2020-07-29 2020-12-11 深圳瀚维智能医疗科技有限公司 人体背部三维点云重建方法、装置及计算机可读存储介质
CN112070816B (zh) * 2020-07-29 2024-04-05 深圳瀚维智能医疗科技有限公司 用于按摩设备的人体背部三维点云重建方法、装置及计算机可读存储介质
CN112037319A (zh) * 2020-08-19 2020-12-04 上海佑久健康科技有限公司 人体测量方法、系统及计算机可读存储介质
CN113790759B (zh) * 2021-09-16 2023-09-29 滁州职业技术学院 一种多传感器融合式建筑测量机器人及其控制方法
CN113790759A (zh) * 2021-09-16 2021-12-14 滁州职业技术学院 一种多传感器融合式建筑测量机器人及其控制方法
WO2023097491A1 (zh) * 2021-11-30 2023-06-08 宁德时代新能源科技股份有限公司 机器视觉检测方法、其检测装置及其检测系统

Also Published As

Publication number Publication date
CN108269302B (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN108269302A (zh) 一种基于简易测量服的三维人体快速重建方法
CN107358648B (zh) 基于单张人脸图像的实时全自动高质量三维人脸重建方法
CN106022213B (zh) 一种基于三维骨骼信息的人体动作识别方法
CN105913487B (zh) 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法
CN103575227B (zh) 一种基于数字散斑的视觉引伸计实现方法
CN104867126B (zh) 基于点对约束和三角形网的有变化区域的合成孔径雷达图像配准方法
CN108052942B (zh) 一种飞机飞行姿态的视觉图像识别方法
CN109558879A (zh) 一种基于点线特征的视觉slam方法和装置
CN108038902A (zh) 一种面向深度相机的高精度三维重建方法和系统
CN110443840A (zh) 实物表面采样点集初始配准的优化求解方法
CN107240129A (zh) 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法
CN106997605B (zh) 一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法
CN106651942A (zh) 基于特征点的三维旋转运动检测与旋转轴定位方法
CN107767442A (zh) 一种基于Kinect和双目视觉的脚型三维重建与测量方法
CN108629835A (zh) 基于高光谱、真彩图与点云互补的室内重建方法及系统
CN109712172A (zh) 一种初始位姿测量结合目标追踪的位姿测量方法
CN106780619A (zh) 一种基于Kinect深度相机的人体尺寸测量方法
US20170053422A1 (en) Mobile device human body scanning and 3d model creation and analysis
CN109800794A (zh) 一种外观相似目标的跨相机重识别融合方法及系统
CN110047131A (zh) 一种人体三维重建的点云融合方法
CN107041585A (zh) 人体尺寸的测量方法
CN107607053B (zh) 一种基于机器视觉和三维重建技术的立木胸径测量方法
CN106295512A (zh) 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法
CN109448043A (zh) 平面约束下的立木高度提取方法
CN102222357A (zh) 基于图像分割和网格细分的脚型三维表面重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant