CN108665537B - 联合优化人体体态与外观模型的三维重建方法及系统 - Google Patents

联合优化人体体态与外观模型的三维重建方法及系统 Download PDF

Info

Publication number
CN108665537B
CN108665537B CN201810460079.4A CN201810460079A CN108665537B CN 108665537 B CN108665537 B CN 108665537B CN 201810460079 A CN201810460079 A CN 201810460079A CN 108665537 B CN108665537 B CN 108665537B
Authority
CN
China
Prior art keywords
model
human body
vertex
motion
rigid motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810460079.4A
Other languages
English (en)
Other versions
CN108665537A (zh
Inventor
刘烨斌
戴琼海
方璐
徐枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Shenzhen Graduate School Tsinghua University
Original Assignee
Tsinghua University
Shenzhen Graduate School Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Shenzhen Graduate School Tsinghua University filed Critical Tsinghua University
Priority to CN201810460079.4A priority Critical patent/CN108665537B/zh
Publication of CN108665537A publication Critical patent/CN108665537A/zh
Priority to PCT/CN2019/086890 priority patent/WO2019219013A1/zh
Application granted granted Critical
Publication of CN108665537B publication Critical patent/CN108665537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种联合优化人体体态与外观模型的三维重建方法及系统，其中，方法包括以下步骤：对人体进行深度图拍摄，以得到单张深度图像；将单张深度图像变换为三维点云，并获取三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；根据匹配点对建立能量函数，并共同求解重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体体态模型参数；对能量函数进行求解，并根据求解结果将重建模型与三维点云进行对齐；通过深度图更新和补全对齐后的模型，以进行实时人体动态三维重建。该方法可以有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。

Description

联合优化人体体态与外观模型的三维重建方法及系统
技术领域
本发明涉及计算机视觉和计算机图形学技术领域，特别涉及一种联合优化人体体态与外观模型的三维重建方法及系统。
背景技术
人体动态三维重建是计算机图形学和计算机视觉领域的重点问题。高质量的人体对象动态三维模型，如人体，动物，人脸，人手部等，在影视娱乐、体育游戏、虚拟现实等领域有着广泛的应用前景和重要的应用价值。但是高质量三维模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列系统来实现，虽然精度较高，但是也显著存在着一些缺点：第一，扫描过程中要求对象保持绝对静止，微小的移动就会导致扫描结果存在明显的误差；第二，造假昂贵，很难普及到普通民众日常生活中，往往应用于大公司或国家统计部门。第三，速度慢，往往重建一个三维模型需要至少10分钟到数小时的时间，重建动态模型序列的代价更大。
相关技术中，动态人体重建方法集中于三个方面的研究，一是重建对象的动态外观表面，但由于外观表面丰富多样，一般需要采集复杂的设备输入，如通过多摄像机阵列进行采集重建。二是对人体体型和姿态的重建，一般经过体型和姿态进行参数化，重建的变量大大减少，现有技术在单个深度相机下可实时重建，但该类方法无法获得对象表面外观三维模型。三是逐帧动态融合表面的重建方法虽然可实现无模板的动态三维重建，但仅仅使用非刚性表面形变方法，跟踪重建的鲁棒性低。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种联合优化人体体态与外观模型的三维重建方法，该方法有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。
本发明的另一个目的在于提出一种联合优化人体体态与外观模型的三维重建系统。
为达到上述目的，本发明一方面实施例提出了一种联合优化人体体态与外观模型的三维重建方法，包括以下步骤：对人体进行深度图拍摄，以得到单张深度图像；将所述单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；根据所述匹配点对建立能量函数，并共同求解所述重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体体态模型参数；对所述能量函数进行求解，并根据求解结果将所述重建模型与所述三维点云进行对齐；通过深度图更新和补全对齐后的模型，以进行实时人体动态三维重建。
本发明实施例的联合优化人体体态与外观模型的三维重建方法，通过实时非刚性对齐的方法，逐帧地融合动态对象表面三维信息，为了实现鲁棒地跟踪，实现在无首帧关键帧三维模板条件下的鲁棒性实时人体对象的动态三维重建，从而有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。
另外，根据本发明上述实施例的联合优化人体体态与外观模型的三维重建方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述能量函数为：
Emot＝λdataEdata+λbindEbind+λregEreg+λpriorEprior，
其中，Emot为运动求解总能量项，Edata为数据项，里面包含了非刚性运动跟踪的数据项和参数化人体体态模型的数据项，Ebind为参数化人体体态和非刚性运动一致性约束项，Ereg为局部刚性运动约束项，作用于非刚性运动数据项，Epri为人体体态运动的正则项，用于约束解算出来的人体姿态的合理性，λdata、λreg、λbind和λpri分别为对应各个约束项的权重系数。
进一步地，在本发明的一个实施例中，其中，
Figure BDA0001660675670000021
Figure BDA0001660675670000022
Figure BDA0001660675670000023
Figure BDA0001660675670000024
其中，
Figure BDA0001660675670000025
和
Figure BDA0001660675670000026
分别表示经过非刚性运动驱动后的模型顶点坐标及其法向，u表示同一匹配点对中三维点云的位置坐标，P表示从重建模型和参数化人体体态模型上到三维点云观测的对应点集合，
Figure BDA0001660675670000027
和
Figure BDA0001660675670000028
分别表示经过人体体态参数驱动后的模型顶点坐标及其法向，τ1、τ2和τ3均为示性函数以决定对应点选择的模式，所述局部刚性运动约束项中，i表示模型上第i个顶点，
Figure BDA0001660675670000029
表示模型上第i个顶点周围的邻近顶点的集合，
Figure BDA00016606756700000210
和
Figure BDA00016606756700000211
分别代表已知非刚性运动对模型表面顶点xi和xj的驱动作用，
Figure BDA00016606756700000212
和
Figure BDA00016606756700000213
代表作用在xi和xj上的非刚性运动同时作用在xj上的位置变换效果，所述人体体态和非刚性运动一致性约束项中，
Figure BDA0001660675670000031
和
Figure BDA0001660675670000032
分别代表受非刚性运动驱动后的模型顶点坐标，所述人体姿态运动正则项中，
Figure BDA0001660675670000033
μj和δj分别表示高斯混合权重以及高斯模型的均值和方差。
进一步地，在本发明的一个实施例中，深度图投影公式为：
Figure BDA0001660675670000034
其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，所述
Figure BDA00016606756700000310
为深度相机内参矩阵。
进一步地，在本发明的一个实施例中，根据非刚性运动和人体体态模型参数驱动模型顶点，其中，计算公式为：
Figure BDA0001660675670000035
Figure BDA0001660675670000036
其中，
Figure BDA0001660675670000037
为作用于顶点vi的变形矩阵，包括旋转和平移两部分；
Figure BDA0001660675670000038
为该变形矩阵的旋转部分；
Figure BDA0001660675670000039
为对顶点vi有驱动作用的骨骼的集合；αi,j为第j个骨骼对第i个模型顶点的驱动作用的权重，表示该骨骼对该顶点驱动作用的强弱；Tbj为第j个骨骼自身的运动变形矩阵，rot(Tbj)为该变形矩阵的旋转部分。
为达到上述目的，本发明另一方面实施例提出了一种联合优化人体体态与外观模型的三维重建系统，包括：深度相机，用于对人体进行深度图拍摄，以得到单张深度图像；匹配模块，用于将所述单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；运动解算模块，用于根据所述匹配点对建立能量函数，并共同求解所述重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体体态模型参数；求解模块，用于对所述能量函数进行求解，并根据求解结果将所述重建模型与所述三维点云进行对齐；模型更新模块，用于通过深度图更新和补全对齐后的模型，以进行实时人体动态三维重建。
本发明实施例的联合优化人体体态与外观模型的三维重建系统，通过实时非刚性对齐的方法，逐帧地融合动态对象表面三维信息，为了实现鲁棒地跟踪，实现在无首帧关键帧三维模板条件下的鲁棒性实时人体对象的动态三维重建，从而有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。
另外，根据本发明上述实施例的联合优化人体体态与外观模型的三维重建系统还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述能量函数为：
Emot＝λdataEdata+λbindEbind+λregEreg+λpriorEprior，
其中，Emot为运动求解总能量项，Edata为数据项，里面包含了非刚性运动跟踪的数据项和参数化人体体态模型的数据项，Ebind为参数化人体体态和非刚性运动一致性约束项，Ereg为局部刚性运动约束项，作用于非刚性运动数据项，Epri为人体体态运动的正则项，用于约束解算出来的人体姿态的合理性，λdata、λreg、λbind和λpri分别为对应各个约束项的权重系数。
进一步地，在本发明的一个实施例中，其中，
Figure BDA0001660675670000041
Figure BDA0001660675670000042
Figure BDA0001660675670000043
Figure BDA0001660675670000044
其中，
Figure BDA0001660675670000045
和
Figure BDA0001660675670000046
分别表示经过非刚性运动驱动后的模型顶点坐标及其法向，u表示同一匹配点对中三维点云的位置坐标，P表示从重建模型和参数化人体体态模型上到三维点云观测的对应点集合，
Figure BDA0001660675670000047
和
Figure BDA0001660675670000048
分别表示经过人体体态参数驱动后的模型顶点坐标及其法向，τ1、τ2和τ3均为示性函数以决定对应点选择的模式，所述局部刚性运动约束项中，i表示模型上第i个顶点，
Figure BDA0001660675670000049
表示模型上第i个顶点周围的邻近顶点的集合，
Figure BDA00016606756700000410
和
Figure BDA00016606756700000411
分别代表已知非刚性运动对模型表面顶点xi和xj的驱动作用，
Figure BDA00016606756700000412
和
Figure BDA00016606756700000413
代表作用在xi和xj上的非刚性运动同时作用在xj上的位置变换效果，所述人体体态和非刚性运动一致性约束项中，
Figure BDA00016606756700000414
和
Figure BDA00016606756700000415
分别代表受非刚性运动驱动后的模型顶点坐标，所述人体姿态运动正则项中，
Figure BDA00016606756700000416
μj和δj分别表示高斯混合权重以及高斯模型的均值和方差。
进一步地，在本发明的一个实施例中，深度图投影公式为：
Figure BDA00016606756700000417
其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，所述
Figure BDA00016606756700000418
为深度相机内参矩阵。
进一步地，在本发明的一个实施例中，根据非刚性运动和人体体态模型参数驱动模型顶点，其中，计算公式为：
Figure BDA0001660675670000051
Figure BDA0001660675670000052
其中，
Figure BDA0001660675670000053
为作用于顶点vi的变形矩阵，包括旋转和平移两部分；
Figure BDA0001660675670000054
为该变形矩阵的旋转部分；
Figure BDA0001660675670000055
为对顶点vi有驱动作用的骨骼的集合；αi,j为第j个骨骼对第i个模型顶点的驱动作用的权重，表示该骨骼对该顶点驱动作用的强弱；Tbj为第j个骨骼自身的运动变形矩阵，rot(Tbj)为该变形矩阵的旋转部分。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的联合优化人体体态与外观模型的三维重建方法的流程图；
图2为根据本发明一个实施例的联合优化人体体态与外观模型的三维重建系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的联合优化人体体态与外观模型的三维重建方法及系统，首先将参照附图描述根据本发明实施例提出的联合优化人体体态与外观模型的三维重建方法。
图1是本发明一个实施例的联合优化人体体态与外观模型的三维重建方法的流程图。
如图1所示，该联合优化人体体态与外观模型的三维重建方法包括以下步骤：
在步骤S101中，对人体进行深度图拍摄，以得到单张深度图像。
例如，本发明实施例可以采用单个深度相机对目标人物进行拍摄以得到视频帧率的动态深度图像序列。也就是说，使用深度相机对动态人体进行拍摄，获得连续的单张深度图像序列。
在步骤S102中，将单张深度图像变换为三维点云，并获取三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对。
可以理解的是，获取深度相机内参矩阵，根据内参矩阵将深度图投影到三维空间中生成一组三维点云。
进一步地，在本发明的一个实施例中，深度图投影公式为：
Figure BDA0001660675670000061
其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，
Figure BDA0001660675670000062
为深度相机内参矩阵。
具体而言，获取深度相机的内参矩阵，根据内参矩阵将深度图投影到三维空间中变换为一组三维点云。其中，变换的公式为：
Figure BDA0001660675670000063
其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，
Figure BDA0001660675670000064
为深度相机内参矩阵。在获取匹配点对方面，使用相机投影公式将三维模型的顶点投影到深度图像上以获得匹配点对。
在步骤S103中，根据匹配点对建立能量函数，并共同求解重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体体态模型参数。
可以理解的是，根据匹配点对构造并解算能量函数获得非刚性运动和人体参数化体态信息。
进一步地，在本发明的一个实施例中，能量函数为：
Emot＝λdataEdata+λbindEbind+λregEreg+λpriorEprior，
其中，Emot为运动求解总能量项，Edata为数据项，里面包含了非刚性运动跟踪的数据项和参数化人体体态模型的数据项，Ebind为参数化人体体态和非刚性运动一致性约束项，Ereg为局部刚性运动约束项，作用于非刚性运动数据项，Epri为人体体态运动的正则项，用于约束解算出来的人体姿态的合理性，λdata、λreg、λbind和λpri分别为对应各个约束项的权重系数。
进一步地，在本发明的一个实施例中，其中，
Figure BDA0001660675670000065
Figure BDA0001660675670000066
Figure BDA0001660675670000067
Figure BDA0001660675670000068
其中，
Figure BDA0001660675670000069
和
Figure BDA00016606756700000610
分别表示经过非刚性运动驱动后的模型顶点坐标及其法向，u表示同一匹配点对中三维点云的位置坐标，P表示从重建模型和参数化人体体态模型上到三维点云观测的对应点集合，
Figure BDA0001660675670000071
和
Figure BDA0001660675670000072
分别表示经过人体体态参数驱动后的模型顶点坐标及其法向，τ1、τ2和τ3均为示性函数以决定对应点选择的模式，局部刚性运动约束项中，i表示模型上第i个顶点，
Figure BDA0001660675670000073
表示模型上第i个顶点周围的邻近顶点的集合，
Figure BDA0001660675670000074
和
Figure BDA0001660675670000075
分别代表已知非刚性运动对模型表面顶点xi和xj的驱动作用，
Figure BDA0001660675670000076
和
Figure BDA0001660675670000077
代表作用在xi和xj上的非刚性运动同时作用在xj上的位置变换效果，人体体态和非刚性运动一致性约束项中，
Figure BDA0001660675670000078
和
Figure BDA0001660675670000079
分别代表受非刚性运动驱动后的模型顶点坐标，人体姿态运动正则项中，
Figure BDA00016606756700000710
μj和δj分别表示高斯混合权重以及高斯模型的均值和方差。
具体而言，
Figure BDA00016606756700000711
和
Figure BDA00016606756700000712
分别表示经过非刚性运动驱动后的模型顶点坐标及其法向，u表示同一匹配点对中三维点云的位置坐标，P表示从重建模型和参数化人体体态模型上到三维点云观测的对应点集合。数据项Edata保证经过非刚性运动驱动后的重建模型和参数化人体体态模型与从深度图获得的三维点云尽可能的对齐；
Figure BDA00016606756700000713
和
Figure BDA00016606756700000714
分别表示经过人体体态参数驱动后的模型顶点坐标及其法向。τ1、τ2和τ3三个示性函数决定了对应点选择的模式，当对应点来自重建模型时τ1＝1，当对应点来自参数化人体模型时τ2＝1，当对应点来自重建模型且其受参数化模型驱动时τ3＝1。
其中，数据项Edata保证经过非刚性运动驱动后的重建模型和经过人体姿态驱动的人体体态模型与从深度图获得的三维点云尽可能的对齐；局部刚性运动约束项Ereg可以在使模型整体受局部刚性约束运动的同时保证较大幅度的合理的非刚性运动也能被很好的解算出来，从而使模型更精确的与三维点云对齐；人体体态模型和非刚性运动一致性约束项Ebind用于保证解算出来的人体体态模型和非刚性运动尽可能的一致，从而可以保证最终解算出来的非刚性运动即符合人体骨架动力学模型，又充分的与从深度图中获得的三维点云对齐；人体姿态运动正则项Eprior使用高斯混合模型来约束人体姿态的正确性，不正常的解算姿态会导致该项能量较大，直至姿态解算正确。
进一步地，(1)在局部刚性运动约束项Ereg中，i表示模型上第i个顶点，
Figure BDA00016606756700000715
表示模型上第i个顶点周围的邻近顶点的集合，
Figure BDA00016606756700000716
和
Figure BDA00016606756700000717
分别代表已知非刚性运动对模型表面顶点xi和xj的驱动作用，
Figure BDA00016606756700000718
和
Figure BDA00016606756700000719
代表作用在xi和xj上的非刚性运动同时作用在xj上的位置变换效果，即要保证模型上邻近顶点的非刚性驱动效果要尽可能的一致。ρ(|Wi-Wj|2)是一个鲁棒惩罚函数，Wi和Wj分别代表人体参数化人体体态模型对模型表面顶点xi和xj的驱动作用，当模型表面两个相邻顶点受参数化人体体态模型驱动效果相差较大时，该鲁棒惩罚函数值较小，当两个相邻顶点受参数化体态模型驱动效果相差较小时，该鲁棒惩罚函数值较大，通过该鲁棒惩罚函数，可以在使模型整体受局部刚性约束运动的同时保证较大幅度的合理的非刚性运动也能被很好的解算出来，从而使模型更精确的与三维点云对齐；
(2)在人体体态和非刚性运动一致性约束项Ebind中，
Figure BDA0001660675670000081
和
Figure BDA0001660675670000082
分别代表受非刚性运动驱动后的模型顶点坐标，其中，
Figure BDA0001660675670000083
该约束项用于保证解算出来的参数化人体体态模型和表面非刚性运动尽可能的一致，从而可以保证最终解算出来的非刚性运动既符合人体骨架动力学模型，又充分的与从深度图中获得的三维点云对齐。
(3)体姿态运动正则项Eprior使用高斯混合模型来约束人体体态的正确性，不正常的解算姿态会导致该项能量较大，直至姿态解算正确。其中，
Figure BDA0001660675670000084
μj和δj分别表示高斯混合权重以及高斯模型的均值和方差。
在步骤S104中，对能量函数进行求解，并根据求解结果将重建模型与三维点云进行对齐。
进一步地，在本发明的一个实施例中，根据非刚性运动和人体体态模型参数驱动模型顶点，其中，计算公式为：
Figure BDA0001660675670000085
Figure BDA0001660675670000086
其中，
Figure BDA0001660675670000087
为作用于顶点vi的变形矩阵，包括旋转和平移两部分；
Figure BDA0001660675670000088
为该变形矩阵的旋转部分；
Figure BDA0001660675670000089
为对顶点vi有驱动作用的骨骼的集合；αi,j为第j个骨骼对第i个模型顶点的驱动作用的权重，表示该骨骼对该顶点驱动作用的强弱；Tbj为第j个骨骼自身的运动变形矩阵，rot(Tbj)为该变形矩阵的旋转部分。
具体而言，共同求解重建模型上每一个顶点的非刚性运动位置变换参数和人体体态参数。最终求解获得的信息为每一个三维模型顶点的变换矩阵和人体体态参数，即每个骨骼的单独的变换矩阵。为了实现快速线性求解的要求，本发明实施例的方法对利用指数映射方法对变形方程做如下近似：
Figure BDA00016606756700000810
其中，
Figure BDA00016606756700000811
为截至上一帧的模型顶点vi的累积变换矩阵，为已知量；I为四维单位阵；
其中，
Figure BDA0001660675670000091
令
Figure BDA0001660675670000092
即上一帧变换后的模型顶点，则经过变换有：
Figure BDA0001660675670000093
对于每个顶点，要求解的未知参数即为六维变换参数x＝(v1,v2,v3,wx,wy,wz)T。骨骼运动的线性化方式与非刚性运动相同。
在步骤S105中，通过深度图更新和补全对齐后的模型，以进行实时人体动态三维重建。
可以理解的是，使用深度图来更新和补全对齐后的模型并且进一步优化参数化人体模板的人体体形参数。
具体而言，使用深度图像对对齐后的三维模型进行更新和补全，将新获得的深度信息融合到三维模型中，更新三维模型表面顶点位置或为三维模型增加新的顶点，使其更符合当前深度图像的表达。由于更新后的模型融合了新的信息，使用新的模型对参数化人体体形进行更加精确的求解。
综上，本发明实施例使用一个深度相机即可同时重建动态人体外观表面模型(比如人体服饰，衣帽，背包等)以及动态人体内部体态模型，为实时重建方法，并且仅需提供单个深度相机输入，系统具有设备简单，方便部署和可扩展等有点，所需的输入信息非常容易采集，并且可以实时的获得动态三维模型。该方法求解准确鲁棒，简单易行，运行速度为实时，拥有广阔的应用前景，可以在PC机或工作站等硬件系统上快速实现。
根据本发明实施例提出的联合优化人体体态与外观模型的三维重建方法，通过实时非刚性对齐的方法，逐帧地融合动态对象表面三维信息，为了实现鲁棒地跟踪，实现在无首帧关键帧三维模板条件下的鲁棒性实时人体对象的动态三维重建，从而有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。
其次参照附图描述根据本发明实施例提出的联合优化人体体态与外观模型的三维重建系统。
图2是本发明一个实施例的联合优化人体体态与外观模型的三维重建系统的结构示意图。
如图2所示，该联合优化人体体态与外观模型的三维重建系统10包括：深度相机100、匹配模块200、运动解算模块300、求解模块400和模型更新模块500。
其中，深度相机100用于对人体进行深度图拍摄，以得到单张深度图像。匹配模块200用于将单张深度图像变换为三维点云，并获取三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对。运动解算模块300用于根据匹配点对建立能量函数，并共同求解重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体体态模型参数。求解模块400用于对能量函数进行求解，并根据求解结果将重建模型与三维点云进行对齐。模型更新模块500用于通过深度图更新和补全对齐后的模型，以进行实时人体动态三维重建。本发明实施例的系统10可以有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。
进一步地，在本发明的一个实施例中，能量函数为：
Emot＝λdataEdata+λbindEbind+λregEreg+λpriorEprior，
其中，Emot为运动求解总能量项，Edata为数据项，里面包含了非刚性运动跟踪的数据项和参数化人体体态模型的数据项，Ebind为参数化人体体态和非刚性运动一致性约束项，Ereg为局部刚性运动约束项，作用于非刚性运动数据项，Epri为人体体态运动的正则项，用于约束解算出来的人体姿态的合理性，λdata、λreg、λbind和λpri分别为对应各个约束项的权重系数。
进一步地，在本发明的一个实施例中，其中，
Figure BDA0001660675670000101
Figure BDA0001660675670000102
Figure BDA0001660675670000103
Figure BDA0001660675670000104
其中，
Figure BDA0001660675670000105
和
Figure BDA0001660675670000106
分别表示经过非刚性运动驱动后的模型顶点坐标及其法向，u表示同一匹配点对中三维点云的位置坐标，P表示从重建模型和参数化人体体态模型上到三维点云观测的对应点集合，
Figure BDA0001660675670000107
和
Figure BDA0001660675670000108
分别表示经过人体体态参数驱动后的模型顶点坐标及其法向，τ1、τ2和τ3均为示性函数以决定对应点选择的模式，局部刚性运动约束项中，i表示模型上第i个顶点，
Figure BDA0001660675670000109
表示模型上第i个顶点周围的邻近顶点的集合，
Figure BDA00016606756700001010
和
Figure BDA00016606756700001011
分别代表已知非刚性运动对模型表面顶点xi和xj的驱动作用，
Figure BDA00016606756700001012
和
Figure BDA00016606756700001013
代表作用在xi和xj上的非刚性运动同时作用在xj上的位置变换效果，人体体态和非刚性运动一致性约束项中，
Figure BDA00016606756700001014
和
Figure BDA00016606756700001015
分别代表受非刚性运动驱动后的模型顶点坐标，人体姿态运动正则项中，
Figure BDA0001660675670000111
μj和δj分别表示高斯混合权重以及高斯模型的均值和方差。
进一步地，在本发明的一个实施例中，深度图投影公式为：
Figure BDA0001660675670000112
其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，
Figure BDA0001660675670000113
为深度相机内参矩阵。
进一步地，在本发明的一个实施例中，根据非刚性运动和人体体态模型参数驱动模型顶点，其中，计算公式为：
Figure BDA0001660675670000114
Figure BDA0001660675670000115
其中，
Figure BDA0001660675670000116
为作用于顶点vi的变形矩阵，包括旋转和平移两部分；
Figure BDA0001660675670000117
为该变形矩阵的旋转部分；
Figure BDA0001660675670000118
为对顶点vi有驱动作用的骨骼的集合；αi,j为第j个骨骼对第i个模型顶点的驱动作用的权重，表示该骨骼对该顶点驱动作用的强弱；Tbj为第j个骨骼自身的运动变形矩阵，rot(Tbj)为该变形矩阵的旋转部分。
需要说明的是，前述对联合优化人体体态与外观模型的三维重建方法实施例的解释说明也适用于该实施例的联合优化人体体态与外观模型的三维重建系统，此处不再赘述。
根据本发明实施例提出的联合优化人体体态与外观模型的三维重建系统，通过实时非刚性对齐的方法，逐帧地融合动态对象表面三维信息，为了实现鲁棒地跟踪，实现在无首帧关键帧三维模板条件下的鲁棒性实时人体对象的动态三维重建，从而有效提高重建的实时性、鲁棒性和准确性，扩展性强，简单易实现。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的系统或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种联合优化人体体态与外观模型的三维重建方法，其特征在于，包括以下步骤：
对人体进行深度图拍摄，以得到单张深度图像；
将所述单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；
根据所述匹配点对建立能量函数，并共同求解所述重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体体态模型参数，其中，所述能量函数为：Emot＝λdataEdata+λbindEbind+λregEreg+λpriorEprior，其中，Emot为运动求解总能量项，Edata为数据项，里面包含了非刚性运动跟踪的数据项和参数化人体体态模型的数据项，Ebind为参数化人体体态和非刚性运动一致性约束项，Ereg为局部刚性运动约束项，作用于非刚性运动数据项，Epri为人体体态运动的正则项，用于约束解算出来的人体姿态的合理性，λdata、λreg、λbind和λpri分别为对应各个约束项的权重系数；
对所述能量函数进行求解，并根据求解结果将所述重建模型与所述三维点云进行对齐；以及
通过深度图更新和补全对齐后的模型，以进行实时人体动态三维重建。
2.根据权利要求1所述的联合优化人体体态与外观模型的三维重建方法，其特征在于，其中，
Figure FDA0002458218680000011
Figure FDA0002458218680000012
Figure FDA0002458218680000013
Figure FDA0002458218680000014
其中，
Figure FDA0002458218680000015
和
Figure FDA0002458218680000016
分别表示经过非刚性运动驱动后的模型顶点坐标及其法向，u表示同一匹配点对中三维点云的位置坐标，P表示从重建模型和参数化人体体态模型上到三维点云观测的对应点集合，
Figure FDA0002458218680000017
和
Figure FDA0002458218680000018
分别表示经过人体体态参数驱动后的模型顶点坐标及其法向，τ1、τ2和τ3均为示性函数以决定对应点选择的模式，所述局部刚性运动约束项中，i表示模型上第i个顶点，
Figure FDA0002458218680000019
表示模型上第i个顶点周围的邻近顶点的集合，
Figure FDA00024582186800000110
和
Figure FDA00024582186800000111
分别代表已知非刚性运动对模型表面顶点xi和xj的驱动作用，
Figure FDA00024582186800000112
和
Figure FDA00024582186800000113
代表作用在xi和xj上的非刚性运动同时作用在xj上的位置变换效果，所述人体体态和非刚性运动一致性约束项中，
Figure FDA0002458218680000021
和
Figure FDA0002458218680000022
分别代表受非刚性运动驱动后的模型顶点坐标，所述人体姿态运动正则项中，
Figure FDA00024582186800000210
μj和δj分别表示高斯混合权重以及高斯模型的均值和方差。
3.根据权利要求1所述的联合优化人体体态与外观模型的三维重建方法，其特征在于，深度图投影公式为：
Figure FDA0002458218680000023
其中，u，v为像素坐标，d(u，v)为深度图像上像素(u，v)位置处的深度值，所述
Figure FDA0002458218680000024
为深度相机内参矩阵。
4.根据权利要求1-3任一项所述的联合优化人体体态与外观模型的三维重建方法，其特征在于，根据非刚性运动和人体体态模型参数驱动模型顶点，其中，计算公式为：
Figure FDA0002458218680000025
Figure FDA0002458218680000026
其中，
Figure FDA0002458218680000027
为作用于顶点vi的变形矩阵，包括旋转和平移两部分；
Figure FDA0002458218680000028
为该变形矩阵的旋转部分；
Figure FDA0002458218680000029
为对顶点vi有驱动作用的骨骼的集合；αi，j为第j个骨骼对第i个模型顶点的驱动作用的权重，表示该骨骼对该顶点驱动作用的强弱；Tbj为第j个骨骼自身的运动变形矩阵，rot(Tbj)为该变形矩阵的旋转部分。
5.一种联合优化人体体态与外观模型的三维重建系统，其特征在于，包括：
深度相机，用于对人体进行深度图拍摄，以得到单张深度图像；
匹配模块，用于将所述单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对；
运动解算模块，用于根据所述匹配点对建立能量函数，并共同求解所述重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体体态模型参数，其中，所述能量函数为：Emot＝λdataEdata+λbindEbind+λregEreg+λpriorEprior，其中，Emot为运动求解总能量项，Edata为数据项，里面包含了非刚性运动跟踪的数据项和参数化人体体态模型的数据项，Ebind为参数化人体体态和非刚性运动一致性约束项，Ereg为局部刚性运动约束项，作用于非刚性运动数据项，Epri为人体体态运动的正则项，用于约束解算出来的人体姿态的合理性，λdata、λreg、λbind和λpri分别为对应各个约束项的权重系数；
求解模块，用于对所述能量函数进行求解，并根据求解结果将所述重建模型与所述三维点云进行对齐；以及
模型更新模块，用于通过深度图更新和补全对齐后的模型，以进行实时人体动态三维重建。
6.根据权利要求5所述的联合优化人体体态与外观模型的三维重建系统，其特征在于，其中，
Figure FDA0002458218680000031
Figure FDA0002458218680000032
Figure FDA0002458218680000033
Figure FDA0002458218680000034
其中，
Figure FDA0002458218680000035
和
Figure FDA0002458218680000036
分别表示经过非刚性运动驱动后的模型顶点坐标及其法向，u表示同一匹配点对中三维点云的位置坐标，P表示从重建模型和参数化人体体态模型上到三维点云观测的对应点集合，
Figure FDA0002458218680000037
和
Figure FDA0002458218680000038
分别表示经过人体体态参数驱动后的模型顶点坐标及其法向，τ1、τ2和τ3均为示性函数以决定对应点选择的模式，所述局部刚性运动约束项中，i表示模型上第i个顶点，
Figure FDA0002458218680000039
表示模型上第i个顶点周围的邻近顶点的集合，
Figure FDA00024582186800000310
和
Figure FDA00024582186800000311
分别代表已知非刚性运动对模型表面顶点xi和xj的驱动作用，
Figure FDA00024582186800000312
和
Figure FDA00024582186800000313
代表作用在xi和xj上的非刚性运动同时作用在xj上的位置变换效果，所述人体体态和非刚性运动一致性约束项中，
Figure FDA00024582186800000314
和
Figure FDA00024582186800000315
分别代表受非刚性运动驱动后的模型顶点坐标，所述人体姿态运动正则项中，
Figure FDA00024582186800000320
μj和δj分别表示高斯混合权重以及高斯模型的均值和方差。
7.根据权利要求5所述的联合优化人体体态与外观模型的三维重建系统，其特征在于，深度图投影公式为：
Figure FDA00024582186800000316
其中，u，v为像素坐标，d(u，v)为深度图像上像素(u，v)位置处的深度值，所述
Figure FDA00024582186800000317
为深度相机内参矩阵。
8.根据权利要求5-7任一项所述的联合优化人体体态与外观模型的三维重建系统，其特征在于，根据非刚性运动和人体体态模型参数驱动模型顶点，其中，计算公式为：
Figure FDA00024582186800000318
Figure FDA00024582186800000319
其中，
Figure FDA0002458218680000041
为作用于顶点vi的变形矩阵，包括旋转和平移两部分；
Figure FDA0002458218680000042
为该变形矩阵的旋转部分；
Figure FDA0002458218680000043
为对顶点vi有驱动作用的骨骼的集合；αi，j为第j个骨骼对第i个模型顶点的驱动作用的权重，表示该骨骼对该顶点驱动作用的强弱；Tbj为第j个骨骼自身的运动变形矩阵，rot(Tbj)为该变形矩阵的旋转部分。
CN201810460079.4A 2018-05-15 2018-05-15 联合优化人体体态与外观模型的三维重建方法及系统 Active CN108665537B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810460079.4A CN108665537B (zh) 2018-05-15 2018-05-15 联合优化人体体态与外观模型的三维重建方法及系统
PCT/CN2019/086890 WO2019219013A1 (zh) 2018-05-15 2019-05-14 联合优化人体体态与外观模型的三维重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810460079.4A CN108665537B (zh) 2018-05-15 2018-05-15 联合优化人体体态与外观模型的三维重建方法及系统

Publications (2)

Publication Number Publication Date
CN108665537A CN108665537A (zh) 2018-10-16
CN108665537B true CN108665537B (zh) 2020-09-25

Family

ID=63779452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810460079.4A Active CN108665537B (zh) 2018-05-15 2018-05-15 联合优化人体体态与外观模型的三维重建方法及系统

Country Status (2)

Country Link
CN (1) CN108665537B (zh)
WO (1) WO2019219013A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665537B (zh) * 2018-05-15 2020-09-25 清华大学 联合优化人体体态与外观模型的三维重建方法及系统
CN109523635B (zh) * 2018-11-01 2023-07-21 深圳蒜泥科技投资管理合伙企业(有限合伙) 一种三维人体扫描非刚性重建和测量方法及装置
CN109376791B (zh) * 2018-11-05 2020-11-24 北京旷视科技有限公司 深度算法精度计算方法、装置、电子设备、可读存储介质
CN110175897A (zh) * 2019-06-03 2019-08-27 广东元一科技实业有限公司 一种3d合成试衣方法和系统
CN110619681B (zh) * 2019-07-05 2022-04-05 杭州同绘科技有限公司 一种基于欧拉场形变约束的人体几何重建方法
CN110415336B (zh) * 2019-07-12 2021-12-14 清华大学 高精度人体体态重建方法及系统
CN110599535A (zh) * 2019-08-05 2019-12-20 清华大学 基于哈希表的高分辨率人体实时动态重建方法及装置
CN111462302B (zh) * 2020-03-05 2022-06-03 清华大学 基于深度编码网络的多视点人体动态三维重建方法及系统
CN111612887B (zh) * 2020-04-30 2021-11-09 北京的卢深视科技有限公司 一种人体测量方法和装置
CN111627101B (zh) * 2020-05-22 2023-05-26 北京工业大学 一种基于图卷积的三维人体重构方法
CN111932670B (zh) * 2020-08-13 2021-09-28 北京未澜科技有限公司 基于单个rgbd相机的三维人体自画像重建方法及系统
CN112233223A (zh) * 2020-09-29 2021-01-15 深圳市易尚展示股份有限公司 基于三维点云的人体参数化模型自动变形方法和装置
CN112446919B (zh) * 2020-12-01 2024-05-28 平安科技（深圳）有限公司 物体位姿估计方法、装置、电子设备及计算机存储介质
CN112837406B (zh) * 2021-01-11 2023-03-14 聚好看科技股份有限公司 一种三维重建方法、装置及系统
CN113689539B (zh) * 2021-07-06 2024-04-19 清华大学 基于隐式光流场的动态场景实时三维重建方法
CN115082636B (zh) * 2022-07-05 2024-05-17 聚好看科技股份有限公司 基于混合高斯网络的单图像三维重建方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198523A (zh) * 2013-04-26 2013-07-10 清华大学 一种基于多深度图的非刚体三维重建方法及系统
CN105046743A (zh) * 2015-07-01 2015-11-11 浙江大学 一种基于全局变分技术的超高分辨率三维重建方法
CN106683181A (zh) * 2017-01-06 2017-05-17 厦门大学 一种三维人体稠密表面运动场重建方法
CN107845134A (zh) * 2017-11-10 2018-03-27 浙江大学 一种基于彩色深度相机的单个物体的三维重建方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102842148B (zh) * 2012-07-10 2014-09-10 清华大学 一种无标记运动捕捉及场景重建方法及装置
CN105989625A (zh) * 2015-02-04 2016-10-05 华为技术有限公司 数据处理的方法和装置
CN107833270B (zh) * 2017-09-28 2020-07-03 浙江大学 基于深度相机的实时物体三维重建方法
CN108665537B (zh) * 2018-05-15 2020-09-25 清华大学 联合优化人体体态与外观模型的三维重建方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198523A (zh) * 2013-04-26 2013-07-10 清华大学 一种基于多深度图的非刚体三维重建方法及系统
CN105046743A (zh) * 2015-07-01 2015-11-11 浙江大学 一种基于全局变分技术的超高分辨率三维重建方法
CN106683181A (zh) * 2017-01-06 2017-05-17 厦门大学 一种三维人体稠密表面运动场重建方法
CN107845134A (zh) * 2017-11-10 2018-03-27 浙江大学 一种基于彩色深度相机的单个物体的三维重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Robust Non-Rigid Motion Tracking and Surface Reconstruction Using L0 Regularization;Kaiwen Guo 等;《IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》;20170328;摘要，正文第4-5小节 *

Also Published As

Publication number Publication date
WO2019219013A1 (zh) 2019-11-21
CN108665537A (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
CN108665537B (zh) 联合优化人体体态与外观模型的三维重建方法及系统
CN108629831B (zh) 基于参数化人体模板和惯性测量的三维人体重建方法及系统
CN108711185B (zh) 联合刚性运动和非刚性形变的三维重建方法及装置
CN113099208B (zh) 基于神经辐射场的动态人体自由视点视频生成方法和装置
KR101307341B1 (ko) 동적 개체 모션 캡쳐 방법 및 그 장치
RU2713611C2 (ru) Способ моделирования трехмерного пространства
WO2020054442A1 (ja) 関節位置の取得方法及び装置、動作の取得方法及び装置
Corazza et al. A markerless motion capture system to study musculoskeletal biomechanics: visual hull and simulated annealing approach
US8712016B2 (en) Three-dimensional shape data processing apparatus and three-dimensional shape data processing method
US8135209B2 (en) Articulated object position and posture estimation device, method and program
US20170330375A1 (en) Data Processing Method and Apparatus
CA2813742A1 (en) Rapid 3d modeling
CN111862299A (zh) 人体三维模型构建方法、装置、机器人和存储介质
CN113421328B (zh) 一种三维人体虚拟化重建方法及装置
CN113077519B (zh) 一种基于人体骨架提取的多相机外参自动标定方法
CN111489392B (zh) 多人环境下单个目标人体运动姿态捕捉方法及系统
CN112401369A (zh) 基于人体重建的身体参数测量方法、系统、设备、芯片及介质
CN114863061A (zh) 一种远程监护医学图像处理的三维重建方法及系统
CN108898550B (zh) 基于空间三角面片拟合的图像拼接方法
US11922576B2 (en) System and method for mapping the skin
Wang et al. Shape reconstruction of human foot from multi-camera images based on PCA of human shape database
CN112837409B (zh) 一种利用镜子重建三维人体的方法
JP3901552B2 (ja) 全方位カメラ視点運動並びに物体形状復元方法、装置、全方位カメラ視点運動並びに物体形状復元プログラム、及び該プログラムを記録した記録媒体
Azevedo 3D object reconstruction using computer vision: reconstruction and characterization applications for external human anatomical structures
JP2014028149A (ja) ３次元データ処理装置、３次元データ処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant