CN111462300A - 衣物物理模型驱动的实时人体动态三维重建方法及系统 - Google Patents
衣物物理模型驱动的实时人体动态三维重建方法及系统 Download PDFInfo
- Publication number
- CN111462300A CN111462300A CN202010147274.9A CN202010147274A CN111462300A CN 111462300 A CN111462300 A CN 111462300A CN 202010147274 A CN202010147274 A CN 202010147274A CN 111462300 A CN111462300 A CN 111462300A
- Authority
- CN
- China
- Prior art keywords
- human body
- clothes
- depth
- model
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000004088 simulation Methods 0.000 claims abstract description 54
- 230000011218 segmentation Effects 0.000 claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 238000013135 deep learning Methods 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 23
- 230000000875 corresponding effect Effects 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 230000035515 penetration Effects 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 6
- 239000000463 material Substances 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000037237 body shape Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- HSMPDPBYAYSOBC-UHFFFAOYSA-N khellin Chemical compound O1C(C)=CC(=O)C2=C1C(OC)=C1OC=CC1=C2OC HSMPDPBYAYSOBC-UHFFFAOYSA-N 0.000 claims description 3
- 230000000452 restraining effect Effects 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 239000002356 single layer Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 208000031872 Body Remains Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002924 energy minimization method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种衣物物理模型驱动的实时人体动态三维重建方法及系统，方法包括：使用深度相机对人体进行拍摄，获得彩色‑深度图序列；使用输入深度序列进行参数化人体模型匹配、模型表面非刚性运动跟踪以及基于深度融合的模型更新；使用彩色图像序列，基于深度学习方法进行多视角三维人体语义分割，获得不同衣物的独立几何模型，结合参数化人体模型构成多层人体模型；根据深度序列输入，使用双层人体表面进行人体运动跟踪，获得对应人体姿态信息；根据人体运动，对衣物运动进行物理仿真，结合输入深度信息，构造深度拟合外力，约束衣物物理仿真结果与深度输入相匹配。该方法求解准确高效，可以实现具有衣物精细动态细节的人体动态三维重建。
Description
技术领域
本发明涉及计算机视觉和计算机图形学技术领域，特别涉及一种衣物物理模型驱动的实时人体动态三维重建方法及系统。
背景技术
现有影视及游戏制作中的动态衣物都是由人工设定关键帧或者使用衣物物理仿真生成的，目前在工业界和学术界仍然缺少一个便捷高效的方法可以对衣物运动直接进行精细地数字化捕捉。借助于人体动态三维重建系统重建出来的人体体形信息及衣物几何信息，在衣物物理特性已知的情况下，结合物理仿真方法对衣物进行精细地运动捕捉是非常具有挑战性也非常有意义的工作。该方向一方面可以大大提高人体动态三维重建的重建效果，另一方面也可以应用到衣物的制造及虚拟试衣领域，让人们可以试穿虚拟衣物。
现有的基于单RGBD相机的4D重建算法可以实现人体的几何、运动、表面纹理甚至表面反射率的重建，但是4D重建结果仍然不够逼真。主要原因有：首先，现有方法都使用单层几何进行动态人体4D重建，使用单层几何表达人体会在拓扑上将人体本身与所穿衣物连接在一起，因此不能跟踪甚至描述衣物与人体的交互运动(比如衣物相对人体的滑动和飘动)，这种单层几何表达也导致现有方法重建出来的4D结果无法直接进行有效编辑和驱动，因此很难直接应用到例如虚拟试衣等应用中；其次，人体所穿衣物的精细运动是很难用常用的动力学链条模型或者基于稀疏均匀采样的表面非刚性变形图来进行描述的，从而导致现有重建系统常常给出过于平滑的衣物动态重建结果；最后，在单视角有限输入的条件下，现有方法尚无法重建出被遮挡区域的衣物动态变形结果。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种衣物物理模型驱动的实时人体动态三维重建方法，该方法求解准确高效，可以实现具有衣物精细动态细节的人体动态三维重建，由于该方法为实时重建方法，可以应用于诸多交互式应用中，包括虚拟试衣、全息通讯等。
本发明的另一个目的在于提出一种衣物物理模型驱动的实时人体动态三维重建系统。
为达到上述目的，本发明一方面实施例提出了一种衣物物理模型驱动的实时人体动态三维重建方法，包括：
S1，使用深度相机对人体进行拍摄，获得彩色-深度图序列；
S2，使用所述彩色-深度图序列中的输入深度序列进行参数化人体模型匹配、模型表面非刚性运动跟踪以及基于深度融合的模型更新进行双层人体表面的重建；
S3，使用所述彩色-深度图序列中的彩色图像序列，基于深度学习方法进行多视角三维人体语义分割，获得不同衣物的独立几何模型，结合参数化人体模型构成多层人体模型；
S4，根据所述输入深度序列，使用双层人体表面进行人体运动跟踪，获得对应人体姿态信息；
S5，根据所述人体姿态信息，对衣物运动进行物理仿真，结合输入深度信息，构造深度拟合外力，约束衣物物理仿真结果与深度输入相匹配，以完成具有衣物动态三维细节的人体动态三维重建。
本发明实施例的衣物物理模型驱动的实时人体动态三维重建方法，通过利用深度相机对人体进行拍摄以采集彩色深度图像序列，并使用彩色深度图像序列完成具有衣物动态三维细节的人体动态三维重建。该方法在使用较少输入(单视点采集)的情况下就可以重建出具有完整动态三维细节的衣物表面，并且可以实现实时重建的性能，求解准确鲁棒，拥有广阔的应用前景，可以在单台PC机或工作站等硬件系统上实现。
另外，根据本发明上述实施例的衣物物理模型驱动的实时人体动态三维重建方法还可以具有以下附加的技术特征：
进一步地，在本发明的实施例中，所述S2中，使用融合多视点二维语义分割结果的方法生成三维人体语义分割体，用于对三维模型中所包含的不同衣物进行语义分割，得到不同衣物的单独三维模型，在分割体融合的过程中，借助非刚性变形场，实现动态二维语义分割结果在统一坐标系下的鲁棒融合。
进一步地，在本发明的实施例中，在S3中，使用基于图像的人体语义分割方法从外表面上分割出不同的衣物表面模型。
进一步地，在本发明的实施例中，在S4中，基于迭代最近邻点的方法进行人体骨架运动跟踪，定义一个穿透能量项用于约束和消除人体内表面与深度观测的相互穿透，最终用于人体骨架运动跟踪的能量方程为：
Eskel＝λdataEdata+λinterEinter+λpriorEprior
其中，Edata为数据项，Eprior为人体运动先验项，Einter为穿透能量项，其具体定义为：
其中，
为所有被穿透的人体表面顶点vb与其对应的衣物深度观测上的最近点uc构成的对应点对的集合；
为uc对应的顶点法向；
代表沿顶点法向反方向的一个微小偏移量。
进一步地，在本发明的实施例中，在所述S5中，选择基于经典的基于力模型的质点-弹簧方法构造衣物的物理仿真模型，在质点-弹簧法中，衣物被描述成为一个由有质量的顶点和无质量的虚拟弹簧连接而成的力学系统，其中，衣物的质量体现在其几何模型的所有顶点上，几何模型上所有的边都被当作无质量的虚拟的弹簧，模拟衣物产生的内力，在每一步的仿真过程中，基于力的物理仿真方法显式计算每个衣物顶点的合力。
进一步地，在本发明的实施例中，所述S5进一步包括：
S51，仿真模型初始化：计算质点-弹簧系统的初始状态；
S52，物理仿真过程：在每次物理仿真时间步中，对于衣物网格上的每个顶点；
S53，合力计算：对每个衣物几何顶点，计算其所受的所有内力和外力的和，根据动力学基本定律计算该顶点在当前时刻的加速度，衣物的内力由不同类型的虚拟弹簧所产生，衣物所受的外力包括恒力及其它人为指定的外力；
S54，顶点位置更新：得到顶点加速度后，使用显式欧拉积分来更新各个顶点的空间位置；
S55，碰撞检测及处理：检测和处理人体与衣物、不同衣物之间及衣物自身的碰撞，关于虚拟弹簧，算法将衣物三角网格上的所有边当做拉伸弹簧，弹簧用于衣物自身表面方向的拉伸力，在两个三角面片的共同边上添加了扭转弹簧，通过对不同类型弹簧的刚性进行调整就可以对不同衣物材料进行模拟。
进一步地，在本发明的实施例中，在所述S55之后还包括：
在物理仿真框架中定义一个新的外力，该外力的大小与衣物到深度观测的距离正相关，数学定义为：
其中，P为衣物集合的任一可见顶点；uc为点P的深度图像投影坐标；ui为以uc为中心的图像邻域点集合
中的第i个相邻像素的坐标；τ(ui)为定义在uc上的图像二维高斯滤波函数；Ψ(P)为在深度拟合过程中的边界平滑权重。
为达到上述目的，本发明另一方面实施例提出了一种衣物物理模型驱动的实时人体动态三维重建系统，包括：
彩色深度相机，用于对人体进行拍摄以获得彩色深度图像序列；
双层人体表面重建模块，用于重建与当前采集对象匹配的参数化人体模型及其对应的深度观测融合模型；
多层人体表面分割模块，用于根据二维彩色图像的人体语义分割结果进行三维模型表面的语义分割，获得不同衣物的独立三维模型，并进行模型表面顶点去重和重构，以用于衣物物理仿真框架中；
人体跟踪模块，用于重建人体体态信息，获得与当前深度观测相匹配的人体姿态及体形；
衣物跟踪模块，用于对不同衣物进行物理仿真，并且通过构造深度拟合外力，约束衣物物理仿真结果与当前深度观测相匹配，进行动态三维重建。
本发明实施例的衣物物理模型驱动的实时人体动态三维重建系统，通过利用深度相机对人体进行拍摄，从而获得彩色深度图像序列作为系统输入信息，进而完成具有完整衣物动态三维细节的人体动态三维重建功能。系统搭建方便，可以使用单个相机也可以使用多个同步相机进行数据采集，实时重建出衣物完整的动态三维细节，可以应用于虚拟试衣及全息通讯等需要实时交互的领域以提升现有技术的呈现效果，可以在单台PC机或工作站上快速实现。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的衣物物理模型驱动的实时人体动态三维重建方法流程图；
图2为根据本发明一个实施例的衣物物理模型驱动的实时人体动态三维重建系统结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的衣物物理模型驱动的实时人体动态三维重建方法及系统。
首先将参照附图描述根据本发明实施例提出的衣物物理模型驱动的实时人体动态三维重建方法。
图1为根据本发明一个实施例的衣物物理模型驱动的实时人体动态三维重建方法流程图。
如图1所示，该衣物物理模型驱动的实时人体动态三维重建方法包括以下步骤：
步骤S1，使用深度相机对人体进行拍摄，获得彩色-深度图序列。
通过深度相机对人体进行拍摄以获得彩色深度图像序列作为输入信息。
步骤S2，使用彩色-深度图序列中的输入深度序列进行参数化人体模型匹配、模型表面非刚性运动跟踪以及基于深度融合的模型更新进行双层人体表面的重建。
进一步地，使用融合多视点二维语义分割结果的方法生成三维人体语义分割体，用于对三维模型中所包含的不同衣物进行语义分割，得到不同衣物的单独三维模型，在分割体融合的过程中，借助非刚性变形场，实现动态二维语义分割结果在统一坐标系下的鲁棒融合。
步骤S3，使用彩色-深度图序列中的彩色图像序列，基于深度学习方法进行多视角三维人体语义分割，获得不同衣物的独立几何模型，结合参数化人体模型构成多层人体模型。
具体地，使用基于图像的人体语义分割方法从外表面上分割出不同的衣物表面模型。由于现有人体语义分割的方法尚不能处理非常具有挑战性的情况(比如上下衣是相同颜色)，因此目前仍然需要采集对象所穿的不同衣物的颜色有相对明显的区别。关于外表面服装分割，将基于图像的2D人体语义分割方法与基于体素的信息融合方法相结合，从而可以对三维衣物模型进行自动高效的识别和分割。
为了初始化分割过程，使用基于深度学习的人体语义分割算法来获得序列第一帧的语义分割结果。随后使用K-means算法估计所穿不同衣物所包含的主要颜色，按照该颜色对随后的RGBD信息进行衣物语义分割。与此同时，将人体旋转一周的过程中的所有时刻的衣物语义分割结果融合在了一个在三维空间中均匀剖分的立方体中，称之为分割体。分割体与符号距离函数所在体空间具有相同的分辨率和尺寸。通过将2D语义信息以体融合的方式进行融合，可以获得鲁棒的三维语义分割信息，并且可以非常直接的应用于外表面的衣物分割。对于语义信息的体融合，具体地说，根据当前帧所求解的表面非刚性运动场，算法将分割体中的每一个体素投影到当前帧的RGB图像上，并且将对应像素的分割结果存储到该体素中。因此在分割体中的每个体素存储的信息为一个向量，该向量的尺寸为总的分割类别数目，而向量中的元素值为人体旋转一周后对应体素所被分配为该语义类别的次数。
为了实现鲁棒高效的衣物分割结果，将总体语义分割结果约束为三类：上衣、下衣和皮肤。为了在对外三维表面模型进行分割的时候更加的鲁棒，将每一帧所采集到的彩色图像融合到一个颜色体中，然后构造马尔科夫随机场(MRF)并使用图割法(Graph-Cut)算法对三维表面几何的语义分割进行优化。进一步地，本文在衣物分割以后将衣物的几何边界进行平滑以获得更为合理的三维衣物边界。
步骤S4，根据输入深度序列，使用双层人体表面进行人体运动跟踪，获得对应人体姿态信息。
使用基于迭代最近邻点(ICP)的方法进行人体骨架运动跟踪。为了消除外表面深度观测与内表面运动求解的歧义性，本文使用双层人体表面进行骨架运动跟踪，并且定义了一个穿透能量项用于约束和消除人体内表面与深度观测的相互穿透。最终用于人体骨架运动跟踪的能量方程为：
Eskel＝λdataEdata+λinterEinter+λpriorEprior
其中，Edata为数据项，用于衡量经过骨架驱动后的双层人体表面与当前深度观测的拟合程度，Eprior为人体运动先验项，用于约束所求解出的人体姿态满足人体运动学先验，防止产生奇异姿态。Einter为穿透能量项，其具体定义为：
其中，
为所有被穿透的人体表面顶点vb与其对应的衣物深度观测上的最近点uc构成的对应点对的集合；
为uc对应的顶点法向；
代表沿顶点法向反方向的一个微小偏移量，用于保证vb的求解对应点位于深度观测以后，从而可以对人体-深度的相互穿透进行约束。
步骤S5，根据人体姿态信息，对衣物运动进行物理仿真，结合输入深度信息，构造深度拟合外力，约束衣物物理仿真结果与深度输入相匹配，以完成具有衣物动态三维细节的人体动态三维重建。
为了使衣物物理仿真结果与深度观测相匹配，根据衣物模型与深度观测的距离构造了深度拟合外力，将外力应用于衣物物理仿真过程中，从而实现迭代深度拟合效果。
为了达到算法的实时性能，选择基于经典的基于力模型的质点-弹簧方法构造衣物的物理仿真模型。在质点-弹簧法中，衣物被描述成为一个由有质量的顶点和无质量的虚拟弹簧连接而成的力学系统。其中，衣物的质量都体现在其几何模型的所有顶点上，而几何模型上所有的边都被当作无质量的虚拟的弹簧，从而模拟衣物产生的内力。在每一步的仿真过程中，基于力的物理仿真方法显式计算每个衣物顶点的合力。具体步骤为：
仿真模型初始化：计算质点-弹簧系统的初始状态(为衣物几何模型上的每个顶点赋予质量，然后计算所有弹簧的初始伸缩状态)。
物理仿真过程：在每次物理仿真时间步中，对于衣物网格上的每个顶点；
合力计算：对每个衣物几何顶点，计算其所受的所有内力和外力的和，然后根据动力学基本定律计算该顶点在当前时刻的加速度。衣物的内力由不同类型的虚拟弹簧所产生，衣物所受的外力包括恒力(比如重力)及其它人为指定的外力；
顶点位置更新：得到顶点加速度以后，使用显式欧拉积分来更新各个顶点的空间位置；
碰撞检测及处理：检测和处理人体与衣物、不同衣物之间及衣物自身的碰撞。关于虚拟弹簧，算法将衣物三角网格上的所有边当做拉伸弹簧，这些弹簧用于衣物自身表面方向的拉伸力。并且，为了约束三角网格的弯曲形变满足衣物本身形变特性，本文在两个三角面片的共同边上添加了扭转弹簧。通过对不同类型弹簧的刚性进行调整就可以对不同衣物材料进行模拟。
为了将经过衣物仿真后的衣物拟合到当前的深度观测上，从而产生更加真实的衣物跟踪结果，将深度观测拟合的过程也构建成为一种物理过程，即模拟当前时刻的深度观测对衣物具有吸引力作用。具体形式为：在物理仿真框架中定义一个新的外力，并且该外力的大小与衣物到深度观测的距离正相关，从而保证通过该力可以将衣物拉到与当前深度观测拟合的位置。在本文中，这个新加入的外力被称为深度拟合力，该外力仅作用在衣物几何表面上，不会对人体内表面产生影响。其数学定义为：
其中，P为衣物集合的任一可见顶点；uc为点P的深度图像投影坐标；ui为以uc为中心的图像邻域点集合
中的第i个相邻像素的坐标；τ(ui)为定义在uc上的图像二维高斯滤波函数，用于融合uc所有相邻顶点所产生的力从而产生作用于uc的深度拟合力；Ψ(P)为在深度拟合过程中的边界平滑权重。
有了深度拟合力的数学定义后，就可以进行迭代深度拟合过程。具体地，在衣物物理仿真后再额外地进行一次物理仿真，但与传统仿真不同的是，本次仿真将深度拟合力加入到仿真过程中，并且在深度迭代拟合的过程中保持人体静止(即人体内表面的空间位置保持静止不动)。这种将物理仿真中所隐含的物理约束引入到深度拟合过程的方法不仅保证了系统动态重建过程中物理约束的一致性，而且起到了对深度观测中不符合物理约束的信息(比如较大的噪声)进行平滑(近似物理滤波)的作用。需要注意的一点是，迭代深度拟合过程中所产生的衣物顶点偏移不应该产生额外的速度，从而保证前后两帧的衣物仿真的连续性。为了使最终重建出的衣物表面在边界处具有平滑过渡的特性，本文首先根据仿真衣物掩膜生成二维边界平滑权重，然后使用该权重对迭代深度拟合过程中的深度拟合力进行加权。简而言之，衣物的一个可见顶点离深度观测边界越近，它所受的拟合力就应该越小。边界平滑权重的计算过程为：首先使用衣物仿真结果进行衣物掩膜渲染，并且根据仿真后的几何模型计算衣物几何顶点的可见性；然后计算衣物掩膜的距离变换函数并生成一个基于图像的二维边界平滑权重图；最终，对衣物几何上的每一个可见顶点投影到二维边界平滑权重图上对边界平滑权重进行采样。在三维衣物边界平滑权重图中，深度拟合权重由0到1的变化被映射成为几何顶点颜色值的由黑到白，从中可以看到本方法可以在深度边界处产生平滑的拟合权重，从而保证系统重建结果在边界区域的平滑过渡。
根据本发明实施例提出的衣物物理模型驱动的实时人体动态三维重建方法，利用深度相机对人体进行拍摄以采集彩色深度图像序列，并使用彩色深度图像序列完成具有衣物动态三维细节的人体动态三维重建。该方法在使用较少输入(单视点采集)的情况下就可以重建出具有完整动态三维细节的衣物表面，并且可以实现实时重建的性能，求解准确鲁棒，拥有广阔的应用前景，可以在单台PC机或工作站等硬件系统上实现。
其次参照附图描述根据本发明实施例提出的衣物物理模型驱动的实时人体动态三维重建系统。
图2为根据本发明一个实施例的衣物物理模型驱动的实时人体动态三维重建系统结构示意图。
如图2所示，该衣物物理模型驱动的实时人体动态三维重建系统200包括：彩色深度相机210、双层人体表面重建模块220、多层人体表面重建模块230、人体跟踪模块240、衣物跟踪模块250。
其中，深度相机210用于拍摄人体彩色深度图像序列。
双层人体表面重建模块220用于重建与当前采集对象匹配的参数化人体模型及其对应的深度观测融合模型。
多层人体表面重建模块230用于根据二维彩色图像的人体语义分割结果进行三维模型表面的语义分割，获得不同衣物的独立三维模型，并进行模型表面顶点去重和重构，以用于衣物物理仿真框架中。
具体地，对深度融合模型进行三维语义分割，从而获得不同衣物独立的三维模型，并且经过后处理以后，各个衣物的三维模型可以直接用于衣物物理仿真，满足衣物物理仿真对三维模型表面拓扑结构的要求。
人体跟踪模块240用于重建人体体态，使用能量最小化的方法获得与当前深度观测相匹配的人体姿态及体形。
衣物跟踪模块250用于在衣物物理仿真的框架中实现衣物动态三维重建效果，通过引入深度拟合外力，约束衣物物理仿真结果与当前深度观测相匹配，实现高精度动态三维重建。
需要说明的是，前述对衣物物理模型驱动的实时人体动态三维重建方法实施例的解释说明也适用于该实施例的系统，此处不再赘述。
根据本发明实施例提出的衣物物理模型驱动的实时人体动态三维重建系统，通过利用深度相机对人体进行拍摄，从而获得彩色深度图像序列作为系统输入信息，进而完成具有完整衣物动态三维细节的人体动态三维重建功能。系统搭建方便，可以使用单个相机也可以使用多个同步相机进行数据采集，实时重建出衣物完整的动态三维细节，可以应用于虚拟试衣及全息通讯等需要实时交互的领域以提升现有技术的呈现效果，可以在单台PC机或工作站上快速实现。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种衣物物理模型驱动的实时人体动态三维重建方法，其特征在于，包括以下步骤：
S1，使用深度相机对人体进行拍摄，获得彩色-深度图序列；
S2，使用所述彩色-深度图序列中的输入深度序列进行参数化人体模型匹配、模型表面非刚性运动跟踪以及基于深度融合的模型更新进行双层人体表面的重建；
S3，使用所述彩色-深度图序列中的彩色图像序列，基于深度学习方法进行多视角三维人体语义分割，获得不同衣物的独立几何模型，结合参数化人体模型构成多层人体模型；
S4，根据所述输入深度序列，使用双层人体表面进行人体运动跟踪，获得对应人体姿态信息；
S5，根据所述人体姿态信息，对衣物运动进行物理仿真，结合输入深度信息，构造深度拟合外力，约束衣物物理仿真结果与深度输入相匹配，以完成具有衣物动态三维细节的人体动态三维重建。
2.根据权利要求1所述的衣物物理模型驱动的实时人体动态三维重建方法，其特征在于，所述S2中，使用融合多视点二维语义分割结果的方法生成三维人体语义分割体，用于对三维模型中所包含的不同衣物进行语义分割，得到不同衣物的单独三维模型，在分割体融合的过程中，借助非刚性变形场，实现动态二维语义分割结果在统一坐标系下的鲁棒融合。
3.根据权利要求1所述的衣物物理模型驱动的实时人体动态三维重建方法，其特征在于，在S3中，使用基于图像的人体语义分割方法从外表面上分割出不同的衣物表面模型。
4.根据权利要求1所述的衣物物理模型驱动的实时人体动态三维重建方法，其特征在于，在S4中，基于迭代最近邻点的方法进行人体骨架运动跟踪，定义一个穿透能量项用于约束和消除人体内表面与深度观测的相互穿透，最终用于人体骨架运动跟踪的能量方程为：
Eskel＝λdataEdata+λinterEinter+λpriorEprior
其中，Edata为数据项，Eprior为人体运动先验项，Einter为穿透能量项，其具体定义为：
其中，
为所有被穿透的人体表面顶点vb与其对应的衣物深度观测上的最近点uc构成的对应点对的集合；
为uc对应的顶点法向；
代表沿顶点法向反方向的一个微小偏移量。
5.根据权利要求1所述的衣物物理模型驱动的实时人体动态三维重建方法，其特征在于，在所述S5中，选择基于经典的基于力模型的质点-弹簧方法构造衣物的物理仿真模型，在质点-弹簧法中，衣物被描述成为一个由有质量的顶点和无质量的虚拟弹簧连接而成的力学系统，其中，衣物的质量体现在其几何模型的所有顶点上，几何模型上所有的边都被当作无质量的虚拟的弹簧，模拟衣物产生的内力，在每一步的仿真过程中，基于力的物理仿真方法显式计算每个衣物顶点的合力。
6.根据权利要求5所述的衣物物理模型驱动的实时人体动态三维重建方法，其特征在于，所述S5进一步包括：
S51，仿真模型初始化：计算质点-弹簧系统的初始状态；
S52，物理仿真过程：在每次物理仿真时间步中，对于衣物网格上的每个顶点；
S53，合力计算：对每个衣物几何顶点，计算其所受的所有内力和外力的和，根据动力学基本定律计算该顶点在当前时刻的加速度，衣物的内力由不同类型的虚拟弹簧所产生，衣物所受的外力包括恒力及其它人为指定的外力；
S54，顶点位置更新：得到顶点加速度后，使用显式欧拉积分来更新各个顶点的空间位置；
S55，碰撞检测及处理：检测和处理人体与衣物、不同衣物之间及衣物自身的碰撞，关于虚拟弹簧，算法将衣物三角网格上的所有边当做拉伸弹簧，弹簧用于衣物自身表面方向的拉伸力，在两个三角面片的共同边上添加了扭转弹簧，通过对不同类型弹簧的刚性进行调整就可以对不同衣物材料进行模拟。
7.根据权利要求6所述的衣物物理模型驱动的实时人体动态三维重建方法，其特征在于，在所述S55之后还包括：
在物理仿真框架中定义一个新的外力，该外力的大小与衣物到深度观测的距离正相关，数学定义为：
其中，P为衣物集合的任一可见顶点；uc为点P的深度图像投影坐标；ui为以uc为中心的图像邻域点集合
中的第i个相邻像素的坐标；τ(ui)为定义在uc上的图像二维高斯滤波函数；Ψ(P)为在深度拟合过程中的边界平滑权重。
8.一种衣物物理模型驱动的实时人体动态三维重建系统，其特征在于，包括：
彩色深度相机，用于对人体进行拍摄以获得彩色深度图像序列；
双层人体表面重建模块，用于重建与当前采集对象匹配的参数化人体模型及其对应的深度观测融合模型；
多层人体表面分割模块，用于根据二维彩色图像的人体语义分割结果进行三维模型表面的语义分割，获得不同衣物的独立三维模型，并进行模型表面顶点去重和重构，以用于衣物物理仿真框架中；
人体跟踪模块，用于重建人体体态信息，获得与当前深度观测相匹配的人体姿态及体形；
衣物跟踪模块，用于对不同衣物进行物理仿真，并且通过构造深度拟合外力，约束衣物物理仿真结果与当前深度观测相匹配，进行动态三维重建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010147274.9A CN111462300A (zh) | 2020-03-05 | 2020-03-05 | 衣物物理模型驱动的实时人体动态三维重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010147274.9A CN111462300A (zh) | 2020-03-05 | 2020-03-05 | 衣物物理模型驱动的实时人体动态三维重建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111462300A true CN111462300A (zh) | 2020-07-28 |
Family
ID=71682652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010147274.9A Withdrawn CN111462300A (zh) | 2020-03-05 | 2020-03-05 | 衣物物理模型驱动的实时人体动态三维重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111462300A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968169A (zh) * | 2020-08-19 | 2020-11-20 | 北京拙河科技有限公司 | 动态人体三维重建方法、装置、设备和介质 |
| CN112837372A (zh) * | 2021-03-02 | 2021-05-25 | 浙江商汤科技开发有限公司 | 数据生成方法及装置、电子设备和存储介质 |
| CN113096249A (zh) * | 2021-03-30 | 2021-07-09 | Oppo广东移动通信有限公司 | 训练顶点重建模型的方法、图像重建方法及电子设备 |
| CN113256789A (zh) * | 2021-05-13 | 2021-08-13 | 中国民航大学 | 一种三维实时人体姿态重建方法 |
| CN113781667A (zh) * | 2021-11-10 | 2021-12-10 | 深圳大学 | 三维结构简化重建方法、装置、计算机设备和存储介质 |
| CN114049464A (zh) * | 2021-11-15 | 2022-02-15 | 聚好看科技股份有限公司 | 一种三维模型的重建方法及设备 |
| CN115761143A (zh) * | 2022-12-07 | 2023-03-07 | 武汉纺织大学 | 一种基于2d图像的3d虚拟换装模型生成方法及装置 |
| CN115797567A (zh) * | 2022-12-27 | 2023-03-14 | 北京元起点信息科技有限公司 | 一种衣物三维驱动模型的建立方法、装置、设备及介质 |
-
2020
- 2020-03-05 CN CN202010147274.9A patent/CN111462300A/zh not_active Withdrawn
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968169A (zh) * | 2020-08-19 | 2020-11-20 | 北京拙河科技有限公司 | 动态人体三维重建方法、装置、设备和介质 |
| CN111968169B (zh) * | 2020-08-19 | 2024-01-19 | 北京拙河科技有限公司 | 动态人体三维重建方法、装置、设备和介质 |
| CN112837372A (zh) * | 2021-03-02 | 2021-05-25 | 浙江商汤科技开发有限公司 | 数据生成方法及装置、电子设备和存储介质 |
| CN113096249A (zh) * | 2021-03-30 | 2021-07-09 | Oppo广东移动通信有限公司 | 训练顶点重建模型的方法、图像重建方法及电子设备 |
| CN113096249B (zh) * | 2021-03-30 | 2023-02-17 | Oppo广东移动通信有限公司 | 训练顶点重建模型的方法、图像重建方法及电子设备 |
| CN113256789A (zh) * | 2021-05-13 | 2021-08-13 | 中国民航大学 | 一种三维实时人体姿态重建方法 |
| CN113781667A (zh) * | 2021-11-10 | 2021-12-10 | 深圳大学 | 三维结构简化重建方法、装置、计算机设备和存储介质 |
| CN114049464A (zh) * | 2021-11-15 | 2022-02-15 | 聚好看科技股份有限公司 | 一种三维模型的重建方法及设备 |
| CN115761143A (zh) * | 2022-12-07 | 2023-03-07 | 武汉纺织大学 | 一种基于2d图像的3d虚拟换装模型生成方法及装置 |
| CN115761143B (zh) * | 2022-12-07 | 2023-09-19 | 武汉纺织大学 | 一种基于2d图像的3d虚拟换装模型生成方法及装置 |
| CN115797567A (zh) * | 2022-12-27 | 2023-03-14 | 北京元起点信息科技有限公司 | 一种衣物三维驱动模型的建立方法、装置、设备及介质 |
| CN115797567B (zh) * | 2022-12-27 | 2023-11-10 | 北京元起点信息科技有限公司 | 一种衣物三维驱动模型的建立方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111462300A (zh) | 衣物物理模型驱动的实时人体动态三维重建方法及系统 | |
| Yu et al. | Doublefusion: Real-time capture of human performances with inner body shapes from a single depth sensor | |
| CN109636831B (zh) | 一种估计三维人体姿态及手部信息的方法 | |
| CN106803267B (zh) | 基于Kinect的室内场景三维重建方法 | |
| Kumar et al. | Monocular dense 3d reconstruction of a complex dynamic scene from two perspective frames | |
| Kolev et al. | Turning mobile phones into 3D scanners | |
| CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
| US20170330375A1 (en) | Data Processing Method and Apparatus | |
| WO2021063271A1 (zh) | 人体模型重建方法、重建系统及存储介质 | |
| CN113421328A (zh) | 一种三维人体虚拟化重建方法及装置 | |
| CN113313828B (zh) | 基于单图片本征图像分解的三维重建方法与系统 | |
| CN113593001A (zh) | 目标对象三维重建方法、装置、计算机设备和存储介质 | |
| Tao et al. | LiDAR-NeRF: Novel lidar view synthesis via neural radiance fields | |
| CN114677479A (zh) | 一种基于深度学习的自然景观多视图三维重建方法 | |
| Zhang et al. | Detailed 3D human body reconstruction from a single image based on mesh deformation | |
| Luo et al. | Sparse RGB-D images create a real thing: A flexible voxel based 3D reconstruction pipeline for single object | |
| Li et al. | Robust 3D human motion reconstruction via dynamic template construction | |
| Freer et al. | Novel-view synthesis of human tourist photos | |
| Sinha | Multiview stereo | |
| Park et al. | A tensor voting approach for multi-view 3D scene flow estimation and refinement | |
| Chiu et al. | 360MVSNet: Deep Multi-View Stereo Network With 360deg Images for Indoor Scene Reconstruction | |
| Klose et al. | Reconstructing Shape and Motion from Asynchronous Cameras. | |
| Cushen et al. | Markerless real-time garment retexturing from monocular 3d reconstruction | |
| Alcantarilla et al. | Deformable 3D reconstruction with an object database. | |
| Ma et al. | Pattern Recognition and Computer Vision: 4th Chinese Conference, PRCV 2021, Beijing, China, October 29–November 1, 2021, Proceedings, Part II |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200728 |
|
| WW01 | Invention patent application withdrawn after publication |