CN104680582A - 一种面向对象定制的三维人体模型创建方法 - Google Patents

Abstract

本发明公开了一种面向对象定制的三维人体模型创建方法，包括：由多个同步摄像机获取人体对象同一时刻不同角度的图像，采用三维重建的方法从这些图像中重建出人体的三维形体点云；采用基于模型的位姿估计方法，把一种简单的三维人体模型匹配到三维形体点云上；根据三维人体模型和点云匹配的结果，检测出各主要人体部位和关节位置，并划分人体各部位；根据检测到的人体部位和关节位置，生成人体骨架，用于驱动人体模型；对关节位置的调整和修正；本发明所公开的面向对象定制的三维人体模型创建方法能够解决现有三维人体模型缺乏对特定人体对象的匹配度和适应性问题，能够创建出与人体对象形体尺寸完全吻合的三维人体模型。

Description

一种面向对象定制的三维人体模型创建方法

技术领域

本发明涉及电子信息学科学技术领域，特别涉及一种面向对象定制的三维人体模型创建方法。

背景技术

三维人体模型在计算机动画、游戏以及人体运动跟踪、动作捕捉等领域均有应用。

在计算机视觉领域，基于模型的三维人体运动跟踪是当前研究的一个热点。一般的，基于模型的三维人体运动跟踪有两种基本架构是：第一种是“自上向下”的架构，创建一个三维人体模型，在第一帧进行人体模型的初始化工作，包括初始化人体模型姿态和尺寸，使得人体模型与人体对象相匹配；在跟踪过程中，利用前面帧的跟踪结果以及运动的连贯性，获得人体在当前帧的一个或多个预测，建立基于预测的人体模型或其投影数据与反应人体运动的二维或三维特征数据的残差方程，对残差方程进行优化计算得到新的姿态估计值。第二种是“自底向上”的架构，即首先由人体图像数据获取图像特征，从图像特征中去建立三维人体姿态的分布模型。这种架构依赖于对人体部位的检测算法或学习到的由姿态到图像特征空间映射的鲁棒性。

在上述两种人体运动跟踪架构中，一般都需要针对人体对象创建三维人体模型。三维人体模型的契合性关系到人体跟踪的稳定性和精度。一般常用的人体模型有三种：第一种是基于简单几何模型的人体模型，在此类模型中，简单几何模型作为基元，对人体各个部位都由基元来简化建模；第二种是由现有的商业3D软件获取的人体模型，这种人体模型用的最多。在使用时候，一般需要调整各个尺寸参数，达到与人体对象契合的目的。然而这种调整一般耗时费力；第三种是由三维扫描设备获取的人体模型，即对人体对象进行三维扫描，获得其人体三维点云或表皮模型；由于扫描设备昂贵，以及耗时费力，这种方法并不常用。

发明内容

本发明的目的是针对上述已有技术的不足，提出一种面向对象定制的三维人体模型创建方法，该方法针对人体三维重建数据可获得情况下，直接由重建数据创建人体模型，获得的人体模型与人体对象契合度高，能够解决现有三维人体模型缺乏对特定人体对象的匹配度和适应性问题，方法效率高、可行性好。

本发明的技术方案是：

一种面向对象定制的三维人体模型创建方法，包括以下步骤：

S1：重建人体对象的三维形体点云；

S2：将基于简单几何模型的三维人体模型匹配到三维形体点云上；

S3:根据三维人体模型和三维形体点云匹配的结果，检测出人体部位和关节位置，并划分人体各部位包含的三维点和所对应关节；

S4：根据检测到的人体部位和关节位置，生成人体骨架模型，用于驱动三维人体模型；人体骨架模型主要由关节和骨骼模型组成，关节模型采用固定半径的三维球体模型，骨骼模型采用圆柱体模型，其半径固定，长度为可变参数，由连接的两个关节位置确定。

S5：采用交互式关节位置调整工具，对关节位置进行三维交互式调整和修正。

优选地，在步骤S1中，采用多个同步摄像机获取人体对象同一时刻不同角度的图像，由三维重建的方法从这些图像中重建出人体的三维形体点云。

优选地，在步骤S1中，采用三维扫描设备，对人体对象全身进行三维扫描，获得三维形体数据，从而重建人体对象的三维形体点云。

优选地，步骤S2的详细过程如下：采用基于人体模型的三维人体位姿估计方法，使得人体模型与三维形体点云各对应特征点之间的距离最小，从而使人体模型的各部分与三维形体点云相匹配。其中：基于人体模型的三维人体位姿估计方法，具体包括以下步骤：

S21：从人体对象的图像中提取出关于人体对象的特征数据，特征数据包括轮廓、形体外貌、人脸、手各部位的检测结果；

S22、采用一种人体模型并调整人体模型使得与人体对象尺寸相接近，并给定一个接近人体对象的初始姿态；

S23、建立由人体模型与人体图像特征数据相对比目标函数E(Y,X(p))，其中Y表示图像特征或观测量，X表示人体姿态的预测值；

S24：采用随机优化方法如粒子群优化算法，使得通过优化求解使得目标函数值最小，即求解min_p E(Y,X(p))，从而估计出人体对象的姿态或尺寸参数。

优选地，步骤S3包括以下步骤：

S31：根据三维人体模型和三维形体点云匹配的结果，找到人体点云的肢体尖端特征位置，进而根据人体模型的尺寸估计和定位人体各部位关节的初始位置；

S32：根据三维人体模型和三维形体点云匹配的结果、以及特征位置和关节初始位置，对所有重建的三维点寻找其对应的人体模型点，并根据对应的人体模型部位进行标记，寻找对应采用距离最短的原则；

S33：在步骤S32中，由于简单几何人体模型的初始位姿估计值过于粗糙，可能会有一些重建的三维点误标记到错误的人体部位，如本属于上臂的三维点由于上臂与上身躯干紧贴等原因被误标记为上身躯干的一部分。为了避免这种误标记带来的误差，采用以下方法：

i)把标记的结果作为约束，对简单几何人体模型的位姿重新进行估计。其中标记结果的约束是指在建立目标函数时对简单几何人体模型的抽样点寻找其点对应时，只能限制在标记为同部位的重建三维点集合中寻找；

ii)由新的位姿估计结果，重新进行上述步骤S31即特征位置检测，再由步骤S32对重建的三维点寻找对应的人体模型点，并进行标记；

iii)上述步骤循环往复，直到标记结果稳定，获得最终的形体各部位的三维点标记。

S34：找到各个相连两部位的邻接点集合，根据人体尺寸先验，计算得到邻接点集合中心位置，以此作为连接对应两部位的关节位置。

优选地，所述人体骨架主要由关节和骨骼模型组成。

与现有技术相比，本发明所具有的有益效果为：

本发明针对人体三维重建数据可获得的情况下，直接由重建数据创建人体模型，获得的人体模型与人体对象契合度高，能够解决现有三维人体模型缺乏对特定人体对象的匹配度和适应性问题，方法效率高、可行性好。

附图说明

图1为本发明的方法流程图；

图2为三维形体各部位和关节位置方法流程图；

图3为骨骼模型示例图。

具体实施方式

以下结合附图对本发明的具体实施例进行详细描述，但不构成对本发明的限制。

如图1至图3所示，本实施例示出了一种面向对象定制的三维人体模型创建方法具体实施例，具体步骤如下：

S1：获取人体对象三维形体数据。可以采用以下两种方式获得；

方法一：采用多个同步摄像机获取人体对象同一时刻不同角度的图像，由三维重建的方法从这些图像中重建出人体的三维形体点云。在这种方案下，要求多个摄像机固定安装在合适的方位，使得各摄像机都能够对人体对象完整成像，并且要求拍摄场景的背景简单，使得能够从各摄像机拍摄图像中比较精确的分割出人体对象轮廓；采用基于轮廓重建形体的三维重建方法，从多摄像机的人体轮廓图像中重建出人体对象的三维形体点云。

方法二：采用三维扫描设备，对人体对象全身进行三维扫描，获得三维形体点云数据，重建出人体对象的三维形体点云；

S2：人体模型与三维形体点云配准：将基于简单几何模型的三维人体模型匹配到三维形体点云上；可采用基于人体模型的三维人体位姿估计方法，使得人体模型与三维形体点云各对应特征点之间的距离最小，从而使人体模型的各部分与三维形体点云相匹配。具体的，基于模型的三维人体位姿估计方法包括以下步骤：

S21：从人体对象的图像中提取出关于人体对象的特征数据，特征数据可包括比如轮廓、形体外貌(颜色)、人脸、手等部位的检测结果；

S22、采用一种人体模型并调整人体模型使得与人体对象尺寸相接近，并给定一个接近人体对象的初始姿态；

S23、建立由人体模型与人体图像特征数据相对比目标函数E(Y,X(p))，其中Y表示图像特征或观测量，X表示人体姿态的预测值；

S24：采用随机优化方法如粒子群优化算法，使得通过优化求解使得目标函数值最小，即求解min_p E(Y,X(p))，从而估计出人体对象的姿态或尺寸参数。

S3：确定三维形体各部位和关节位置：根据三维人体模型和点云匹配的结果，在三维形体点云数据中检测出各主要人体部位和关节位置，并划分人体各部位包含的三维点和所对应关节。图2给出了确定三维形体各部位和关节位置方法流程。具体的，确定三维形体各部位和关节位置主要包括以下几个步骤：

S31：由步骤S2中的匹配结果找到人体点云的肢体尖端等特征位置，进而根据人体模型的尺寸估计人体各部位关节的初始位置。人体点云的特征位置包括肢体尖端位置如头顶位置、左右两脚尖位置、左右两手尖位置以及颈部与上身连接位置、上下肢体与躯干连接位置等。

S32：由步骤S2中的匹配结果和特征点及初始关节位置，对所有重建的三维点寻找其对应的人体模型点，并根据对应的人体模型部位进行标记。寻找重建的三维点与人体模型点的对应可以采用距离最短的原则。

S33：在步骤S32中，由于简单几何人体模型的初始位姿估计值过于粗糙，可能会有一些重建的三维点误标记到错误的人体部位，如本属于上臂的三维点由于上臂与上身躯干紧贴等原因被误标记为上身躯干的一部分。为了避免这种误标记带来的误差，采用以下方法：

i)把标记的结果作为约束，对简单几何人体模型的位姿重新进行估计。其中标记结果的约束是指在建立目标函数时对简单几何人体模型的抽样点寻找其点对应时，只能限制在标记为同部位的重建三维点集合中寻找；

ii)由新的位姿估计结果，重新进行上述步骤S31即特征位置检测，再由步骤S32对重建的三维点寻找对应的人体模型点，并进行标记；

iii)上述步骤循环往复，直到标记结果稳定，获得最终的形体各部位的三维点标记。

S34：找到各个相连两部位的邻接点集合，根据人体尺寸先验，计算得到的邻接点集合中心位置，以此作为连接对应两部位的关节位置；

S4：根据检测到的人体部位和关节位置，生成人体骨架模型，用于驱动人体模型；人体骨架模型主要由关节和骨骼模型组成，关节模型采用固定半径的三维球体模型，骨骼模型采用圆柱体模型，其半径固定，长度为可变参数，由连接的两个关节位置确定。图3是骨骼模型的示例。

S5：采用一种交互式关节位置调整方法，对关节位置进行三维交互式调整和修正:在三维虚拟空间内，可以通过鼠标输入设备，360度交互式地对三维虚拟关节进行拖拉移动，各人体骨架长度尺寸根据关节位置进行实时的自动调整，从而能对关节位置和骨架尺寸快速修正。这种交互式关节位置调整方法具有的特点是：每个关节点由三维球体作模型，称之为关节球体。关节球体对鼠标不同的交互作出响应：鼠标进入触发区域时，鼠标改变为抓取形状；鼠标左键点击触发区域并拖动，则将抓取三维关节球体；拖动时，根据当前视角和关节球体位置，在三维空间内的视角垂直方向的平面内随鼠标移动方向移动，使得鼠标抓取拖动可灵活改变关节球体的三维空间位置；鼠标移出关节球体触发区域，则恢复原来鼠标形状；对于人体躯干腰部关节(图3)，右键点击触发区域并拖动时，整个人体模型(包括骨骼和三维点云)都随之移动，方便对整个人体模型的位置操作。

尽管上面是对本发明具体实施方案的完整描述，但是可以采取各种修改、变体和替换方案。这些等同方案和替换方案被包括在本发明的范围内。因此，本发明的范围不应该被限于所描述的实施方案，而是应该由所附权利要求书限定。

Claims (7)

1.一种面向对象定制的三维人体模型创建方法，其特征在于，包括以下步骤：

S1：重建人体对象的三维形体点云；

S2：将基于简单几何模型的三维人体模型匹配到三维形体点云上；

S3：根据三维人体模型和三维形体点云匹配的结果，检测出人体部位和关节位置，并划分人体各部位包含的三维点和所对应关节；

S4：根据检测到的人体部位和关节位置，生成人体骨架模型，用于驱动三维人体模型；

S5：对关节位置进行三维交互式调整和修正。

2.根据权利要求1所述的面向对象定制的三维人体模型创建方法，其特征在于，在步骤S1中，采用多个同步摄像机获取人体对象同一时刻不同角度的图像，由三维重建的方法从这些图像中重建出人体的三维形体点云。

3.根据权利要求1所述的面向对象定制的三维人体模型创建方法，其特征在于，在步骤S1中，采用三维扫描设备，对人体对象全身进行三维扫描，获得三维形体数据，从而重建人体对象的三维形体点云。

4.根据权利要求1或2或3所述的面向对象定制的三维人体模型创建方法，其特征在于，步骤S2的详细过程如下：采用基于人体模型的三维人体位姿估计方法，使得人体模型与三维形体点云各对应特征点之间的距离最小，从而使人体模型的各部分与三维形体点云相匹配。

5.根据权利要求4所述的面向对象定制的三维人体模型创建方法，其特征在于，步骤S2中基于人体模型的三维人体位姿估计方法，具体包括以下步骤：

S21：从人体对象的图像中提取出关于人体对象的特征数据，特征数据包括轮廓、形体外貌、人脸、手各部位的检测结果；

S22、采用一种人体模型并调整人体模型使得与人体对象尺寸相接近，并给定一个接近人体对象的初始姿态；

S23、建立由人体模型与人体图像特征数据相对比目标函数E(Y,X(p))，其中Y表示图像特征或观测量，X表示人体姿态的预测值；

S24：采用随机优化方法，使得通过优化求解使得目标函数值最小，即求解min_p E(Y,X(p))，从而估计出人体对象的姿态或尺寸参数。

6.根据权利要求5所述的面向对象定制的三维人体模型创建方法，其特征在于，步骤S3包括以下步骤：

S31：根据三维人体模型和三维形体点云匹配的结果，找到人体点云的肢体尖端特征位置，进而根据人体模型的尺寸估计和定位人体各部位关节的初始位置；

S32：根据三维人体模型和三维形体点云匹配的结果、以及特征位置和关节初始位置，对所有重建的三维点寻找其对应的人体模型点，并根据对应的人体模型部位进行标记，寻找对应采用距离最短的原则；

S33：在步骤S32中，由于简单几何人体模型的初始位姿估计值过于粗糙，可能会有一些重建的三维点误标记到错误的人体部位，为了避免这种误标记带来的误差，采用以下方法：

i)把标记的结果作为约束，对简单几何人体模型的位姿重新进行估计；其中标记结果的约束是指在建立目标函数时对简单几何人体模型的抽样点寻找其点对应时，只能限制在标记为同部位的重建三维点集合中寻找；

ii)由新的位姿估计结果，重新进行上述步骤S31即特征位置检测，再由步骤S32对重建的三维点寻找对应的人体模型点，并进行标记；

iii)上述步骤循环往复，直到标记结果稳定，获得最终的形体各部位的三维点标记；

S34：找到各个相连两部位的邻接点集合，根据人体尺寸先验，计算得到邻接点集合中心位置，以此作为连接对应两部位的关节位置。

7.根据权利要求5所述的面向对象定制的三维人体模型创建方法，其特征在于，步骤S4中人体骨架模型主要由关节和骨骼模型组成，关节模型采用固定半径的三维球体模型，骨骼模型采用圆柱体模型，其半径固定，长度为可变参数，由连接的两个关节位置确定。