CN108010122A - 一种人体三维模型重建与测量的方法及系统 - Google Patents
一种人体三维模型重建与测量的方法及系统 Download PDFInfo
- Publication number
- CN108010122A CN108010122A CN201711124151.8A CN201711124151A CN108010122A CN 108010122 A CN108010122 A CN 108010122A CN 201711124151 A CN201711124151 A CN 201711124151A CN 108010122 A CN108010122 A CN 108010122A
- Authority
- CN
- China
- Prior art keywords
- model
- measurement
- human
- rebuilds
- stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 238000000513 principal component analysis Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims 1
- 230000003993 interaction Effects 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000392 somatic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
一种人体三维模型重建与测量的方法，包括：数据预处理阶段：网络训练阶段；实时运算阶段；模型重建和测量。本发明提供一种人体三维模型重建与测量的方法及系统，(1)占地面积小，只需要不到2平方米的面积。(2)所需设备成本低，只需要单个深度相机与一台2G以上显存的台式机即可。(3)计算速度快，基本可以达到交互级别，整个运算过程小于2s。
Description
技术领域
本发明涉及计算机图形学和计算机视觉技术领域，尤其涉及一种人体三维模型重建与测量的方法及系统。
背景技术
人体三维模型重建与测量是计算机图形学、计算机动画、计算机视觉、科学计算和虚拟现实、数字媒体创作等领域的共性科学问题和核心技术。
目前相关的三维重建技术可分为多相机和单相机两种，经过图像提取、相机标定、特征提取、立体匹配可恢复对象稀疏的点云模型；也可用Kinect等深度传感器直接获取物体的深度数据。在三维重建过程中，由于建模对象的微小形变和运动，导致恢复的三维模型精度降低，而目前的三维重建技术恢复的稀疏点云数据无法满足对细节要求较高的场合。
发明内容
本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。
为此，本发明的目的在于提供一种人体三维模型重建与测量的方法，包括，
数据预处理阶段：
网络训练阶段；
实时运算阶段；
模型重建和测量。
进一步地，所述的数据预处理，包括，预标记阶段和预处理学习阶段。
进一步地，所述的预标记阶段，对人体模型数据库的标准模型，标记要测量的位置信息，并通过三角形重心坐标的方法记录测量圈上面的点。
进一步地，所述的预处理学习阶段，通过人体模型数据库，以设备标定的相机参数，进行虚拟拍照，生成大量人体模型的正侧面深度图，以及基于虚拟人模型数据库的PCA分解后获取的特征值向量。
进一步地，所述的网络训练，搭建深度卷积神经网络，以正侧面深度图为输入，特征值向量为输出，进行网络训练。
进一步地，所述的人体模型数据，包括，测量标注位置标注、PCA主成分分析、虚拟拍照。
进一步地，所述的PCA主成分分析，包括，特征向量矩阵、特征值集。
进一步地，所述的虚拟拍照，包括，设备相机标定、正侧面深度图、特征值数据集。
进一步地，所述的实时运算阶段，包括，设备采集、图片预处理、深度卷积网络。
进一步地，所述的模型重建和测量，包括，
对实时运算阶段中获取的特征值向量，乘以预处理学习阶段中获取的特征向量矩阵，恢复三维模型；
根据预标记阶段中的预标记信息，恢复测量位置；
对新模型进行测量，获取测量值。
本发明的目的是提供一种人体三维模型重建与测量的系统，包括，
数据预处理模块：
网络训练模块；
实时运算模块
模型重建和测量。
本发明的目的是提供一种人体三维模型重建与测量的产品，包括适用于虚拟现实，虚拟试衣，虚拟社交，自动人体数据采集与测量，服装定制等。
有益效果：
(1)占地面积小，只需要不到2平方米的面积。
(2)所需设备成本低，只需要单个深度相机与一台2G以上显存的台式机即可。
(3)计算速度快，基本可以达到交互级别，整个运算过程小于2s。
附图说明
图1是数据预处理流程图
图2是网络训练流程图
图3是实时运算流程图
图4是深度图预处理流程图
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本实施例提供一种人体三维模型重建与测量的方法，包括，
数据预处理阶段：
网络训练阶段；
实时运算阶段；
模型重建和测量。
优选实施例，本实施例中数据预处理，包括，预标记阶段和预处理学习阶段。
优选实施例，本实施例中预标记阶段，对人体模型数据库的标准模型，标记要测量的位置信息，并通过三角形重心坐标的方法记录测量圈上面的点。
优选实施例，本实施例中预处理学习阶段，通过人体模型数据库，以设备标定的相机参数，进行虚拟拍照，生成大量人体模型的正侧面深度图，以及基于虚拟人模型数据库的PCA分解后获取的特征值向量。
优选实施例，本实施例中真实人体模型数据库：指通过三维扫描仪，在人的姿态保持A-POSE的情况下扫描的三维人体模型，并采用了标准模型进行同构后的数据集(指所有的人体模型都有一样的三维网格拓扑结构)
优选实施例，本实施例中测量标注位置：指在模型表面用一组点描述测量的信息，点组成的形状可以是圆表示维度，也可以是线表示长度。而模型表面的点一定可以用三角形重心坐标表示，这样记录点所在的三角形以及对应的重心坐标后，当模型发生形变后，依然可以恢复点所在的相对位置。
优选实施例，本实施例中在对真实设备进行进行相机标定后获取内外相机参数后，可以采用openGL在虚拟环境中对人体数据库的模型进行拍照，获取和真实拍照类似的深度图数据。
优选实施例，本实施例中网络训练，搭建深度卷积神经网络，以正侧面深度图为输入，特征值向量为输出，进行网络训练。
优选实施例，本实施例中采用caffe来完成网络训练，其中输入X 为虚拟拍照获得的正侧面深度图，输出Y为对应特征值向量，网络结构采用了5个残差模块堆叠而成(深度图预处理流程图)。
优选实施例，本实施例中人体模型数据，包括，测量标注位置标注、PCA 主成分分析、虚拟拍照。
优选实施例，本实施例中PCA主成分分析，包括，特征向量矩阵、特征值集。
优选实施例，本实施例中PCA主成分分析，由于真实人体模型数据库所有模型都为同样的拓扑结构的模型，可以采取直接对顶点数据进行PCA分析，将人体模型数据库组成如下的矩阵：
其中表示有m个模型每个模型有n个顶点，为mx3n的矩阵，进行svd分解获取特征值和特征向量。
优实施例，本实施例中虚拟拍照，包括，设备相机标定、正侧面深度图、特征值数据集。
优选实施例，本实施例中实时运算阶段，包括，设备采集、图片预处理、深度卷积网络。
优选实施例，本实施例中图片预处理的目的是从场景中将人从背景中分离出来，由于是深度图，所以可以简单的根据深度的连通性，以及地面是平面的这两个先验信息进行分割，主要包括：
模型重建：当从深度卷积网络中计算出模型的特征值向量后只需要将特征值向量乘以特征向量矩阵就可以恢复模型的顶点信息，由于模型的拓扑是保持不变的，所以恢复的模型的顶点信息加上人体模型库的标准模型的面信息就可以完整恢复人的三维网格模型；
自动测量：根据预处理阶段标注的测量标注位置，以及重建完后的模型，就可以恢复每个测量标注点的在新模型表面的位置，将恢复的标注位置连接起来算长度即为新模型的测量值。
优选实施例，本实施例中模型重建和测量，包括，
对实时运算阶段中获取的特征值向量，乘以预处理学习阶段中获取的特征向量矩阵，恢复三维模型；
根据预标记阶段中的预标记信息，恢复测量位置；
对新模型进行测量，获取测量值。
本实施例提供一种人体三维模型重建与测量的系统，包括，
数据预处理模块：
网络训练模块；
实时运算模块
模型重建和测量。
本实施例提供一种人体三维模型重建与测量的产品，包括适用于虚拟现实，虚拟试衣，虚拟社交，自动人体数据采集与测量，服装定制等。
Claims (12)
1.一种人体三维模型重建与测量的方法，其特征在于，包括，
数据预处理阶段：
网络训练阶段；
实时运算阶段；
模型重建和测量。
2.如权利要求1所述的一种人体三维模型重建与测量的方法，其特征在于，所述的数据预处理，包括，预标记阶段和预处理学习阶段。
3.如权利要求2所述的一种人体三维模型重建与测量的方法，其特征在于，所述的预标记阶段，对人体模型数据库的标准模型，标记要测量的位置信息，并通过三角形重心坐标的方法记录测量圈上面的点。
4.如权利要求2所述的一种人体三维模型重建与测量的方法，其特征在于，所述的预处理学习阶段，通过人体模型数据库，以设备标定的相机参数，进行虚拟拍照，生成大量人体模型的正侧面深度图，以及基于虚拟人模型数据库的PCA分解后获取的特征值向量。
5.如权利要求1所述的一种人体三维模型重建与测量的方法，其特征在于，所述的网络训练，搭建深度卷积神经网络，以正侧面深度图为输入，特征值向量为输出，进行网络训练。
6.如权利要求3所述的一种人体三维模型重建与测量的方法，其特征在于，所述的人体模型数据，包括，测量标注位置标注、PCA主成分分析、虚拟拍照。
7.如权利要求6所述的一种人体三维模型重建与测量的方法，其特征在于，所述的PCA主成分分析，包括，特征向量矩阵、特征值集。
8.如权利要求6所述的一种人体三维模型重建与测量的方法，其特征在于，所述的虚拟拍照，包括，设备相机标定、正侧面深度图、特征值数据集。
9.如权利要求1所述的一种人体三维模型重建与测量的方法，其特征在于，所述的实时运算阶段，包括，设备采集、图片预处理、深度卷积网络。
10.如权利要求1所述的一种人体三维模型重建与测量的方法，其特征在于，所述的模型重建和测量，包括，
对实时运算阶段中获取的特征值向量，乘以预处理学习阶段中获取的特征向量矩阵，恢复三维模型；
根据预标记阶段中的预标记信息，恢复测量位置；
对新模型进行测量，获取测量值。
11.一种人体三维模型重建与测量的系统，其特征在于，包括，
数据预处理模块：
网络训练模块；
实时运算模块
模型重建和测量。
12.一种人体三维模型重建与测量的产品，包括适用于虚拟现实，虚拟试衣，虚拟社交，自动人体数据采集与测量，服装定制等，其特征在于，所述的人体三维模型重建与测量的产品为权利要求1至11中任意一项所述的一种人体三维模型重建与测量的方法及系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711124151.8A CN108010122B (zh) | 2017-11-14 | 2017-11-14 | 一种人体三维模型重建与测量的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711124151.8A CN108010122B (zh) | 2017-11-14 | 2017-11-14 | 一种人体三维模型重建与测量的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108010122A true CN108010122A (zh) | 2018-05-08 |
| CN108010122B CN108010122B (zh) | 2022-02-11 |
Family
ID=62052407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711124151.8A Active CN108010122B (zh) | 2017-11-14 | 2017-11-14 | 一种人体三维模型重建与测量的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108010122B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108648053A (zh) * | 2018-05-10 | 2018-10-12 | 南京衣谷互联网科技有限公司 | 一种用于虚拟试衣的成像方法 |
| CN109118590A (zh) * | 2018-06-12 | 2019-01-01 | 上海中通吉网络技术有限公司 | 一种基于机器学习的3d试衣平台 |
| CN110179192A (zh) * | 2019-04-09 | 2019-08-30 | 广东元一科技实业有限公司 | 一种人体三维模型的测量系统及其测量方法 |
| CN110428493A (zh) * | 2019-07-12 | 2019-11-08 | 清华大学 | 基于网格形变的单图像人体三维重建方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104103093A (zh) * | 2014-07-10 | 2014-10-15 | 北京航空航天大学 | 一种基于深度卷积神经网络的三维网格语义标记方法 |
| CN106683182A (zh) * | 2017-01-12 | 2017-05-17 | 南京大学 | 一种权衡立体匹配和视觉外形的三维重建方法 |
| US20170161590A1 (en) * | 2015-12-07 | 2017-06-08 | Dassault Systemes | Recognition of a 3d modeled object from a 2d image |
| US20170213070A1 (en) * | 2016-01-22 | 2017-07-27 | Qualcomm Incorporated | Object-focused active three-dimensional reconstruction |
| CN107067429A (zh) * | 2017-03-17 | 2017-08-18 | 徐迪 | 基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法 |
| CN107170039A (zh) * | 2017-05-12 | 2017-09-15 | 西安蒜泥电子科技有限责任公司 | 人体三维数据模型库的生成方法 |
| CN107194987A (zh) * | 2017-05-12 | 2017-09-22 | 西安蒜泥电子科技有限责任公司 | 对人体测量数据进行预测的方法 |
-
2017
- 2017-11-14 CN CN201711124151.8A patent/CN108010122B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104103093A (zh) * | 2014-07-10 | 2014-10-15 | 北京航空航天大学 | 一种基于深度卷积神经网络的三维网格语义标记方法 |
| US20170161590A1 (en) * | 2015-12-07 | 2017-06-08 | Dassault Systemes | Recognition of a 3d modeled object from a 2d image |
| US20170213070A1 (en) * | 2016-01-22 | 2017-07-27 | Qualcomm Incorporated | Object-focused active three-dimensional reconstruction |
| CN106683182A (zh) * | 2017-01-12 | 2017-05-17 | 南京大学 | 一种权衡立体匹配和视觉外形的三维重建方法 |
| CN107067429A (zh) * | 2017-03-17 | 2017-08-18 | 徐迪 | 基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法 |
| CN107170039A (zh) * | 2017-05-12 | 2017-09-15 | 西安蒜泥电子科技有限责任公司 | 人体三维数据模型库的生成方法 |
| CN107194987A (zh) * | 2017-05-12 | 2017-09-22 | 西安蒜泥电子科技有限责任公司 | 对人体测量数据进行预测的方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108648053A (zh) * | 2018-05-10 | 2018-10-12 | 南京衣谷互联网科技有限公司 | 一种用于虚拟试衣的成像方法 |
| CN109118590A (zh) * | 2018-06-12 | 2019-01-01 | 上海中通吉网络技术有限公司 | 一种基于机器学习的3d试衣平台 |
| CN109118590B (zh) * | 2018-06-12 | 2023-06-16 | 上海中通吉网络技术有限公司 | 一种基于机器学习的3d试衣平台 |
| CN110179192A (zh) * | 2019-04-09 | 2019-08-30 | 广东元一科技实业有限公司 | 一种人体三维模型的测量系统及其测量方法 |
| CN110428493A (zh) * | 2019-07-12 | 2019-11-08 | 清华大学 | 基于网格形变的单图像人体三维重建方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108010122B (zh) | 2022-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108509848B (zh) | 三维物体的实时检测方法及系统 | |
| CN104992441B (zh) | 一种面向个性化虚拟试衣的真实人体三维建模方法 | |
| CN103021017B (zh) | 基于gpu加速的三维场景重建方法 | |
| CN109003325A (zh) | 一种三维重建的方法、介质、装置和计算设备 | |
| CN104008564B (zh) | 一种人脸表情克隆方法 | |
| CN108154550A (zh) | 基于rgbd相机的人脸实时三维重建方法 | |
| CN104794722A (zh) | 利用单个Kinect计算着装人体三维净体模型的方法 | |
| CN108010122A (zh) | 一种人体三维模型重建与测量的方法及系统 | |
| CN104346824A (zh) | 基于单张人脸图像自动合成三维表情的方法及装置 | |
| CN110728671B (zh) | 基于视觉的无纹理场景的稠密重建方法 | |
| CN113012293B (zh) | 石刻模型构建方法、装置、设备及存储介质 | |
| CN109035327B (zh) | 基于深度学习的全景相机姿态估计方法 | |
| CN104915978A (zh) | 基于体感相机Kinect的真实感动画生成方法 | |
| CN108648194A (zh) | 基于cad模型三维目标识别分割和位姿测量方法及装置 | |
| CN105243375B (zh) | 一种动作特征提取方法及装置 | |
| JP2010128742A (ja) | ３次元データ作成装置 | |
| CN113034571B (zh) | 一种基于视觉—惯性的物体三维尺寸测量方法 | |
| CN108921929A (zh) | 一种识别系统及训练方法及单张单目图像的识别方法 | |
| CN109655011A (zh) | 一种人体建模维度测量的方法及系统 | |
| EP3997670A1 (en) | Methods of estimating a bare body shape from a concealed scan of the body | |
| Wu et al. | 3D film animation image acquisition and feature processing based on the latest virtual reconstruction technology | |
| CN108010084A (zh) | 一种深度摄像机重建及自动标定的方法、系统、设备 | |
| Alemany et al. | Three-dimensional body shape modeling and posturography | |
| CN109859306A (zh) | 一种基于机器学习的从照片中提取人体模型的方法 | |
| CN109064550A (zh) | 一种人体扫描建模方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231127 Address after: Gao Lou Zhen Hong Di Cun, Rui'an City, Wenzhou City, Zhejiang Province, 325200 Patentee after: Wang Conghai Address before: 518000 floor 10, Yihua financial technology building, 2388 Houhai Avenue, Nanshan District, Shenzhen, Guangdong Patentee before: SHENZHEN CLOUDREAM INFORMATION TECHNOLOGY CO.,LTD. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240311 Address after: Building C B302, No. 515 Shaping North Road, Danzhutou Community, Nanwan Street, Longgang District, Shenzhen City, Guangdong Province, 518116 Patentee after: Shenzhen Yundongjia Technology Co.,Ltd. Country or region after: China Address before: Gao Lou Zhen Hong Di Cun, Rui'an City, Wenzhou City, Zhejiang Province, 325200 Patentee before: Wang Conghai Country or region before: China |
|
| TR01 | Transfer of patent right |