CN108171792A - 一种基于语义参数的人体三维模型恢复技术的方法及系统 - Google Patents

一种基于语义参数的人体三维模型恢复技术的方法及系统 Download PDF

Info

Publication number
CN108171792A
CN108171792A CN201810033998.3A CN201810033998A CN108171792A CN 108171792 A CN108171792 A CN 108171792A CN 201810033998 A CN201810033998 A CN 201810033998A CN 108171792 A CN108171792 A CN 108171792A
Authority
CN
China
Prior art keywords
model
human
semantic
parameter
technology based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810033998.3A
Other languages
English (en)
Inventor
刘岑
刘一岑
蒋念娟
吕江波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yun Zhimeng Science And Technology Ltd Of Shenzhen
Original Assignee
Yun Zhimeng Science And Technology Ltd Of Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yun Zhimeng Science And Technology Ltd Of Shenzhen filed Critical Yun Zhimeng Science And Technology Ltd Of Shenzhen
Priority to CN201810033998.3A priority Critical patent/CN108171792A/zh
Publication of CN108171792A publication Critical patent/CN108171792A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种基于语义参数的人体三维模型恢复技术的方法，包括，获取数据；恢复指定语义参数的人体三维模型。本发明提供一种基于语义参数的人体三维模型恢复技术的方法及系统，获取真实人体三维模型的成本低，难度小，可以采集到人体的真实数据，图像采集过程没有放射性物质，对身体无害(对比医学或部分安放人体采集)，不需要裸体或近似裸体的着装，保护隐私；不需要在密闭的环境完成采集测量，节省维度空间且，对被测量人员心理好。

Description

一种基于语义参数的人体三维模型恢复技术的方法及系统
技术领域
本发明涉及计算机图形学和计算机视觉技术领域，尤其涉及一种基于语义参数的人体三维模型恢复技术的方法及系统。
背景技术
随着计算机图形学等信息处理技术的发展，人体测量作为计算机图形学领域备受关注的研究点和前沿方向，它在机器人视觉、高级人机交互以及虚拟现实、虚拟试穿、虚拟社交、健身健康、人种祖源分析(基因表型)等方面得到广泛的应用和推广。
目前，根据图像的类型，人体测量可以分为两类：基于RGB图像的检测和基于深度图像的检测。前者已经取到了很大的进展，也是现在比较主流的实现方式，但是基于RGB图像容易受到光照变化、阴影、物体遮挡以及复杂背景等外在因素的干扰，使得检测性能大打折扣。深度图像作为一种新型的数据描述方式，它保存物体的空间信息，更重要的是具有保护隐私和维度小的优点。
发明内容
本发明提供一种基于语义参数的人体三维模型恢复技术的方法，包括，
获取数据；
恢复指定语义参数的人体三维模型。
进一步地，所述的获取数据，包括，获取身高、体重、肩宽、臂长、腿长、胸围、腰围、臀围、前臂围、大腿围。
进一步地，所述的人体三维模型T,
T＝{V，E，F}，
其中V为三维空间中的顶点,E为边,F为面。一组人体语义数据：
构造在模型T上对应各语义值的测量函数,其中身高可以取头顶和脚底的两个顶点计算y方向上的差值；体重可以使用三维模型的体积进行估算,人体密度大约为103kg/m3；肩宽、臂长、腿长可以用三维模型上两个顶点间的空间距离进行计算；胸围、腰围、臀围、前臂围、大腿围可以在三维模型上选取对应位置,后构造凸包进行计算：
随后在人体三维模型T上根据语义进行分割，每项语义值影响的部位各不相同，可以有重叠，并且记录各语义值的对应面：
其中因为语义值蕴含的都是身体的局部信息，因此构造了各语义值对应面的子集合，在进行三维恢复操作时，每项语义值仅直接关联其相应的面集合，便于加速收敛。最后，因为各项语义参数的改变对三维模型的改变不应该是各向同性的，比如身高的变化只应该体现在y轴上，而维度的变化只应该体现在其所在的平面上。因为基础模型是摆正的，可以简单写出语义值在各方向上的影响权重。若非如此，需要求解相应的坐标系，然后在对应坐标系上做变换，再返回到{x，y，z}空间下。对应标准模型下的权重：
进一步地，所述的恢复指定语义参数的人体三维模型，包括，
初始化；
面的形变；
点的重构；
迭代求解；
重构参数化模型；
模型验证。
进一步地，所述的初始化，包括：
假定V是由PCA求解得到的参数化模型
生成的，其中为平均人体三维模型，pK×1为系数，为第i个主成分。则可以先进行初始化操作，使得V上的各语义参数mj(T)尽可能的接近若V并非一个参数化模型，则可以跳过这一步。构造针对语义参数的能量函数
设置：
构造约束参数化模型的能量函数
其中σi为PCA中βi对应的奇异值。则可以构造优化函数
来求解p*。当前使用BFGS进行求解，设置wm＝1，wβ＝0.01。最终有初始化后的V*＝V(p*)，令T＝{V*，E，F}，一般情况下mj(T)与有5％左右的相对误差。为wβ是否为零的对比图。
进一步地，所述的面的形变，包括，
面在各方向上的形变比例。记模型各个面在各方向上的形变比例为
其中为面fi在x方向上的形变比例，其他同理。首先，构造形变的能量函数，设
rj表示了语义参数提供的形变比例指导，其中体重/体积的变化相对于边的形变比例是三次方的关系。对于若fi∈Fj，我们可以写出能量函数的子项
其中因此能量函数为
设置随后，构造保持形变比例平滑的能量函数
维持初值的能量函数
因此可以构造
进行求解。设置wr＝1，wf＝1，w1＝0.1。注意到能量函数可以写成关于R的线性方程组，因此可以构造加权最小二乘进行求解。
进一步地，所述的点的重构，包括，
根据R进行点的重构。用表示重构后的节点矩阵，可以构造关于形变的能量函数
为了保持三维模型上的表面特征，构造能量函数
其中
为L(·)的几何含义，没做归一化是在给度不同的顶点赋予不同的权重，而权重为该顶点的度。前两项能量项均描述的节点的相对关系，为了求解的稳定性，需要添加一项保证重心对齐的能量项
因此通过求解
来获得重构后的设置wv＝1000，wl＝1，wo＝1。注意到能量函数同样可以写成关于的线性方程组，因此可以构造加权最小二乘进行求解。进一步地，所述的迭代求解，包括，
在有了一组目标语义参数以及一个人体三维模型T后，反复迭代上两步直至收敛即可，优选算法如下：
deformation pipline
V←paramInit(V)
T←{V，E，F}
WHILE True：
V←vertReconsctruct(R，T)
T←{V，E，F}
break
END IF
END WHILE
进一步地，所述的重构参数化模型，包括，
若拥有批量数据的语义参数，则可以对每个个体的语义参数根据上述算法生成人体三维模型，再重新学习PCA模型进行参数化模型的修正，流程：
PCA reconstruction
FOR i：
END FOR
本发明提供一种基于语义参数的人体三维模型恢复技术的系统，包括
获取数据模块；
恢复指定语义参数的人体三维模型
本发明提供一种基于语义参数的人体三维模型恢复技术的产品，包括适用于虚拟现实、虚拟试衣、虚拟社交、服装、鞋和配饰、健身健康、人种祖源分析(基因表型)、以及非真实接触量体的图像。
有益效果
本发明提供一种基于语义参数的人体三维模型恢复技术的方法及系统，获取真实人体三维模型的成本低，难度小，可以采集到人体的真实数据，图像采集过程没有放射性物质，对身体无害(对比医学或部分安放人体采集)，不需要裸体或近似裸体的着装，保护隐私；不需要在密闭的环境完成采集测量，节省维度空间且，对被测量人员心理好。
附图说明
图1是人体三维模型示意图
图2是初始化wβ是否为零的对比示意图
图3是点的重构L(·)的几何含义示意图
1(肩宽)，2(臂长)，3(前臂围)，4(胸围)，5(腰围)，6(臀围)，7(大腿围)，8(腿长)
具体实施方式
本实施例提供一种基于语义参数的人体三维模型恢复技术的方法，包括，
获取数据；
恢复指定语义参数的人体三维模型。
优选实施例，本实施例中获取数据，包括，获取身高、体重、肩宽、臂长、腿长、胸围、腰围、臀围、前臂围、大腿围。
优选实施例，本实施例中人体三维模型T,
T＝{V，E，F}，
其中V为三维空间中的顶点,E为边,F为面。一组人体语义数据：
构造在模型T上对应各语义值的测量函数,其中身高可以取头顶和脚底的两个顶点计算y方向上的差值；体重可以使用三维模型的体积进行估算,人体密度大约为103kg/m3；肩宽、臂长、腿长可以用三维模型上两个顶点间的空间距离进行计算；胸围、腰围、臀围、前臂围、大腿围可以在三维模型上选取对应位置,后构造凸包进行计算：
随后在人体三维模型T上根据语义进行分割，每项语义值影响的部位各不相同，可以有重叠，并且记录各语义值的对应面：
其中因为语义值蕴含的都是身体的局部信息，因此构造了各语义值对应面的子集合，在进行三维恢复操作时，每项语义值仅直接关联其相应的面集合，便于加速收敛。最后，因为各项语义参数的改变对三维模型的改变不应该是各向同性的，比如身高的变化只应该体现在y轴上，而维度的变化只应该体现在其所在的平面上。因为基础模型是摆正的，可以简单写出语义值在各方向上的影响权重。若非如此，需要求解相应的坐标系，然后在对应坐标系上做变换，再返回到{x，y，z}空间下。对应标准模型下的权重：
优选实施例，本实施例中恢复指定语义参数的人体三维模型，包括，
初始化；
面的形变；
点的重构；
迭代求解；
重构参数化模型；
模型验证。
优选实施例，本实施例中初始化，包括：
假定V是由PCA求解得到的参数化模型
生成的，其中为平均人体三维模型，pK×1为系数，为第i个主成分。则可以先进行初始化操作，使得V上的各语义参数mj(T)尽可能的接近若V并非一个参数化模型，则可以跳过这一步。构造针对语义参数的能量函数
设置：
构造约束参数化模型的能量函数
其中σi为PCA中βi对应的奇异值。则可以构造优化函数
来求解p*。当前使用BFGS进行求解，设置wm＝1，wβ＝0.01。最终有初始化后的V*＝V(p*)，令T＝{V*，E，F}，一般情况下mj(T)与有5％左右的相对误差。为wβ是否为零的对比图。
优选实施例，本实施例中面的形变，包括，
面在各方向上的形变比例。记模型各个面在各方向上的形变比例为
其中为面fi在x方向上的形变比例，其他同理。首先，构造形变的能量函数，设
rj表示了语义参数提供的形变比例指导，其中体重/体积的变化相对于边的形变比例是三次方的关系。对于若fi∈Fj，我们可以写出能量函数的子项
其中因此能量函数为
设置随后，构造保持形变比例平滑的能量函数
维持初值的能量函数
因此可以构造
进行求解。设置wr＝1，wf＝1，w1＝0.1。注意到能量函数可以写成关于R的线性方程组，因此可以构造加权最小二乘进行求解。
进一步地，所述的点的重构，包括，
根据R进行点的重构。用表示重构后的节点矩阵，可以构造关于形变的能量函数
为了保持三维模型上的表面特征，构造能量函数
其中
为L(·)的几何含义，没做归一化是在给度不同的顶点赋予不同的权重，而权重为该顶点的度。前两项能量项均描述的节点的相对关系，为了求解的稳定性，需要添加一项保证重心对齐的能量项
来获得重构后的设置wv＝1000，wl＝1，wo＝1。注意到能量函数同样可以写成关于的线性方程组，因此可以构造加权最小二乘进行求解。优选实施例，本实施例中迭代求解，包括，
在有了一组目标语义参数以及一个人体三维模型T后，反复迭代上两步直至收敛即可，算法：
deformation pipline
V←paramInit(V)
T←{V，E，F}
WHILE True：
V←vertReconsctruct(R，T)
T←{V，E，F}
break
END IF
END WHILE
优选实施例，本实施例中重构参数化模型，包括，
若拥有批量数据的语义参数，则可以对每个个体的语义参数根据上述算法生成人体三维模型，再重新学习PCA模型进行参数化模型的修正，流程：
PCA reconstruction
FOR i：
END FOR
本实施例提供一种基于语义参数的人体三维模型恢复技术的系统，包括
获取数据模块；
恢复指定语义参数的人体三维模型
本实施例提供一种基于语义参数的人体三维模型恢复技术的产品，包括适用于虚拟现实、虚拟试衣、虚拟社交、服装、鞋和配饰、健身健康、人种祖源分析(基因表型)、以及非真实接触量体的图像。

Claims (11)

1.一种基于语义参数的人体三维模型恢复技术的方法，其特征在于，包括，
获取数据；
恢复指定语义参数的人体三维模型。
2.如权利要求1所述的一种基于语义参数的人体三维模型恢复技术的方法，其特征在于，所述的获取数据，包括，获取身高、体重、肩宽、臂长、腿长、胸围、腰围、臀围、前臂围、大腿围。
3.如权利要求2所述的一种基于语义参数的人体三维模型恢复技术的方法，其特征在于，所述的所示人体三维模型T，
T＝{V，E，F}，
其中V为三维空间中的顶点，E为边，F为面。一组人体语义数据：
构造在模型T上对应各语义值的测量函数，其中身高可以取头顶和脚底的两个顶点计算y方向上的差值；体重可以使用三维模型的体积进行估算，人体密度大约为103kg/m3；肩宽、臂长、腿长可以用三维模型上两个顶点间的空间距离进行计算；胸围、腰围、臀围、前臂围、大腿围可以在三维模型上选取对应位置，后构造凸包进行计算：
随后在人体三维模型T上根据语义进行分割，每项语义值影响的部位各不相同，可以有重叠，并且记录各语义值的对应面：
其中因为语义值蕴含的都是身体的局部信息，因此构造了各语义值对应面的子集合，在进行三维恢复操作时，每项语义值仅直接关联其相应的面集合，便于加速收敛。最后，因为各项语义参数的改变对三维模型的改变不应该是各向同性的，比如身高的变化只应该体现在y轴上，而维度的变化只应该体现在其所在的平面上。因为基础模型是摆正的，可以简单写出语义值在各方向上的影响权重。若非如此，需要求解相应的坐标系，然后在对应坐标系上做变换，再返回到{x，y，z}空间下。对应标准模型下的权重：
。
4.如权利要求1所述的一种基于语义参数的人体三维模型恢复技术的方法，
其特征在于，所述的恢复指定语义参数的人体三维模型，包括，
初始化；
面的形变；
点的重构；
迭代求解；
重构参数化模型；
模型验证。
5.如权利要求4所述的一种基于语义参数的人体三维模型恢复技术的方法，其特征在于，所述的初始化，包括：
假定V是由PCA求解得到的参数化模型
生成的，其中为平均人体三维模型，pK×1为系数，为第i个主成分。则可以先进行初始化操作，使得V上的各语义参数mj(T)尽可能的接近若V并非一个参数化模型，则可以跳过这一步。构造针对语义参数的能量函数
设置：
构造约束参数化模型的能量函数
其中σi为PCA中βi对应的奇异值。则可以构造优化函数
来求解p*。当前使用BFGS进行求解，设置wm＝1，wβ＝0.01。最终有初始化后的V*＝V(p*)，令T＝{V*，E，F}，一般情况下mj(T)与有5％左右的相对误差。为wβ是否为零的对比图。
6.如权利要求4所述的一种基于语义参数的人体三维模型恢复技术的方法，其特征在于，所述的面的形变，包括，
面在各方向上的形变比例。记模型各个面在各方向上的形变比例为
其中为面fi在x方向上的形变比例，其他同理。首先，构造形变的能量函数，设
rj表示了语义参数提供的形变比例指导，其中体重/体积的变化相对于边的形变比例是三次方的关系。对于若fi∈Fj，我们可以写出能量函数的子项
其中因此能量函数为
设置随后，构造保持形变比例平滑的能量函数
维持初值的能量函数
因此可以构造
进行求解。设置wr＝1，wf＝1，w1＝0.1。注意到能量函数可以写成关于R的线性方程组，因此可以构造加权最小二乘进行求解。
7.如权利要求4所述的一种基于语义参数的人体三维模型恢复技术的方法，其特征在于，所述的点的重构，包括，
根据R进行点的重构。用表示重构后的节点矩阵，可以构造关于形变的能量函数
为了保持三维模型上的表面特征，构造能量函数
其中
为L(·)的几何含义，没做归一化是在给度不同的顶点赋予不同的权重，而权重为该顶点的度。前两项能量项均描述的节点的相对关系，为了求解的稳定性，需要添加一项保证重心对齐的能量项
因此通过求解
来获得重构后的设置wv＝1000，wl＝1，wo＝1。注意到能量函数同样可以写成关于的线性方程组，因此可以构造加权最小二乘进行求解。
8.如权利要求4所述的一种基于语义参数的人体三维模型恢复技术的方法，其特征在于，所述的迭代求解，包括，
在有了一组目标语义参数以及一个人体三维模型T后，反复迭代上两步直至收敛即可，算法：
deformation pipline
V←paramInit(V)
T←{V，E，F}
WHILETrue：
V←vertReconsctruct(R，T)
T←{V，E，F}
break
END IF
END WHILE。
9.如权利要求4所述的一种基于语义参数的人体三维模型恢复技术的方法，其特征在于，所述的重构参数化模型，包括，
若拥有批量数据的语义参数，则可以对每个个体的语义参数根据上述算法生成人体三维模型，再重新学习PCA模型进行参数化模型的修正，流程：
PCA reconstruction
FOR i：
END FOR
。
10.一种基于语义参数的人体三维模型恢复技术的系统，其特征在于，包括
获取数据模块；
恢复指定语义参数的人体三维模型。
11.一种基于语义参数的人体三维模型恢复技术的产品，其特征在于，包括适用于虚拟现实、虚拟试衣、虚拟社交、服装、鞋和配饰、健身健康、人种祖源分析(基因表型)、以及非真实接触量体的图像，其特征在于，所述的基于语义参数的人体三维模型恢复技术的产品为权利要求1至10中任意一项所述的一种基于语义参数的人体三维模型恢复技术的方法及系统。
CN201810033998.3A 2018-01-15 2018-01-15 一种基于语义参数的人体三维模型恢复技术的方法及系统 Pending CN108171792A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810033998.3A CN108171792A (zh) 2018-01-15 2018-01-15 一种基于语义参数的人体三维模型恢复技术的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810033998.3A CN108171792A (zh) 2018-01-15 2018-01-15 一种基于语义参数的人体三维模型恢复技术的方法及系统

Publications (1)

Publication Number Publication Date
CN108171792A true CN108171792A (zh) 2018-06-15

Family

ID=62514290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810033998.3A Pending CN108171792A (zh) 2018-01-15 2018-01-15 一种基于语义参数的人体三维模型恢复技术的方法及系统

Country Status (1)

Country Link
CN (1) CN108171792A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419479A (zh) * 2020-11-10 2021-02-26 广州二元科技有限公司 一种基于体重身高及身体影像的体型数据计算方法
GB2602163A (en) * 2020-12-21 2022-06-22 Jonple Group Ltd System for determining body measurements from images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157372A (zh) * 2016-07-25 2016-11-23 深圳市唯特视科技有限公司 一种基于视频图像的3d人脸网格重构方法
US20170273639A1 (en) * 2014-12-05 2017-09-28 Myfiziq Limited Imaging a Body
CN107392243A (zh) * 2017-07-18 2017-11-24 重庆大学 一种基于零空间lda的语义空间监督学习的图像分类方法
CN107423730A (zh) * 2017-09-20 2017-12-01 湖南师范大学 一种基于语义折叠的人体步态行为主动检测识别系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170273639A1 (en) * 2014-12-05 2017-09-28 Myfiziq Limited Imaging a Body
CN106157372A (zh) * 2016-07-25 2016-11-23 深圳市唯特视科技有限公司 一种基于视频图像的3d人脸网格重构方法
CN107392243A (zh) * 2017-07-18 2017-11-24 重庆大学 一种基于零空间lda的语义空间监督学习的图像分类方法
CN107423730A (zh) * 2017-09-20 2017-12-01 湖南师范大学 一种基于语义折叠的人体步态行为主动检测识别系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高一荻等: "基于尺寸建立个性化人体模型的方法", 《计算机科学》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419479A (zh) * 2020-11-10 2021-02-26 广州二元科技有限公司 一种基于体重身高及身体影像的体型数据计算方法
GB2602163A (en) * 2020-12-21 2022-06-22 Jonple Group Ltd System for determining body measurements from images

Similar Documents

Publication Publication Date Title
Corazza et al. A markerless motion capture system to study musculoskeletal biomechanics: visual hull and simulated annealing approach
Delingette et al. Craniofacial surgery simulation testbed
CN105006014B (zh) 虚拟衣物快速模拟试穿的实现方法及系统
CN104008557B (zh) 一种服装与人体模型的三维匹配方法
CN108269302B (zh) 一种基于简易测量服的三维人体快速重建方法
CN101311967B (zh) 一种基于实测人群体型的虚拟人台的建立方法及虚拟人台
Gültepe et al. Real-time virtual fitting with body measurement and motion smoothing
US11357423B2 (en) Systems and methods to estimate human length
CN103948196A (zh) 人体数据的测量方法
Kozar et al. Designing an adaptive 3D body model suitable for people with limited body abilities
CN108171792A (zh) 一种基于语义参数的人体三维模型恢复技术的方法及系统
CN107680166A (zh) 一种智能定制服装的方法和装置
Jeong et al. 3D pattern construction and its application to tight-fitting garments for comfortable pressure sensation
CN107170039A (zh) 人体三维数据模型库的生成方法
Semwal et al. Mapping algorithms for real-time control of an avatar using eight sensors
Kim et al. Human modeling tools for spacesuit and hardware design and assessment
CN103699735A (zh) 一种用于装备设计与评价的智能人台建立方法
CN109118455A (zh) 一种基于现代人软组织分布的古人类头骨颅面交互复原方法
Davidson et al. Estimating subject-specific body segment parameters using a 3-dimensional modeller program
Ashdown Full body 3-D scanners
Harms et al. Does loose fitting matter? Predicting sensor performance in smart garments.
KR20140123229A (ko) 깊이 정보 기반으로 사용자의 3차원 신체 모델을 생성하는 방법 및 장치
Chakravarthi et al. Real-time human motion tracking and reconstruction using IMU sensors
Wei Optimizing 3D Virtual Fitting Mirror Using Augmented Reality Technology under Internet Plus
Jia et al. 3D personalized human modeling and deformation technology for garment CAD

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180615

RJ01 Rejection of invention patent application after publication