CN104700452B - 一种面向任意姿态的三维人体姿态模型匹配方法 - Google Patents

Abstract

本发明公开了一种面向任意姿态的三维人体姿态模型匹配方法，包括：人体对象以任意姿态站立，仅要求肢体不要紧贴在身体上，由三维重建方法重建出三维人体数据；设计一种可调整各肢体形状、大小等参数的普适三维人体虚拟模型；设计和采用一种基于模型的姿态估计方法，将虚拟人体模型准确的匹配到重建出的三维人体形态数据上，使得虚拟人体模型以相同的姿态和相近的形体尺寸呈现。本发明所公开的三维人体姿态模型匹配方法能够针对任意的初始人体姿态，以一个普适的虚拟模型准确恢复出人体的姿态和形体尺寸数据，其操作简便、具有适应性强和鲁棒性好等优点。

Description

一种面向任意姿态的三维人体姿态模型匹配方法

技术领域

本发明涉及电子信息学科学领域，特别涉及一种面向任意姿态的三维人体姿态模型匹配方法。

背景技术

人体的三维姿态估计是人体运动分析领域的研究热点。人体三维姿态数据在动画、游戏、体育、医疗等领域具有广泛的应用。

当前，获得人体三维姿态的方法主要有基于光学、机械或电磁的动作捕捉技术或基于Kinect等深度摄像机的姿态跟踪技术。前者需要购置昂贵的动作捕捉设备，代价高且应用时需要人体对象穿戴特定的触点设备，不够方便；后者也需要深度摄像机，但一般只能对有限距离的人体对象进行较粗糙的姿态跟踪。在计算机视觉领域，一种获得人体三维姿态的方法的是采用人体模型，使得人体模型与图像序列中人体成像相匹配，以估计出三维人体姿态；这种基于模型的人体姿态估计方法具有的重要意义是无需对人体对象进行接触式测量，仅仅依靠无接触的图像数据，具备代价小、较为便捷等特点。

基于模型的三维人体姿态估计一般需要解决的重要问题是，如何将人体模型与初始的人体姿态相匹配，使得后续姿态跟踪得以进行。姿态初始化一般需要解决两个问题：(1)初始姿态估计，即估计出人体对象的初始姿态，姿态参数一般包括人体各肢体关节角度、驱干位移、旋转角度等；(2)人体尺寸估计，即估计出人体各肢体的三维尺寸，以使得人体模型与人体对象匹配上。初始姿态估计和尺寸估计是后续姿态跟踪的基础。一种常用的姿态初始化方法是要求人体对象以特定姿势(如以“T”字型站立)作为初始的姿态，以省去姿态估计；这种方法虽然简单，但比较笨拙，且无法应用于对于人体对象初始图像数据丢失或要求人体对象以某种姿态呈现的场合。因此，需要一种可以对任意姿态的人体对象进行准确的三维人体模型匹配，以达到更灵活、鲁棒的姿态初始化效果。

发明内容

本发明的目的是针对上述已有技术的不足，提出一种实用性强、鲁棒性好的面向任意姿态的三维人体姿态模型匹配方法。

本发明的技术方案是：

一种面向任意姿态的三维人体姿态模型匹配方法，包括以下步骤：

S1.针对以任意姿态站立的人体对象，采取扫描或者三维重建的方法，获得人体对象的三维人体形体数据；

S2.按照正常人体的标准比例数据，设计一种尺寸、姿态可调的三维虚拟人体模型，所述三维虚拟人体模型通过改变尺寸和姿态参数能够适应于不同身材比例并且能以各种姿态呈现的人体形体；

S3.将三维虚拟人体模型准确的匹配到重建出的三维人体形体数据上，使得三维虚拟人体模型以相同的姿态和相近的形体尺寸呈现。

优选地，在步骤S1中，所述三维人体形体数据以点云、体块或/和多边形表皮的任意组合形式存在。

优选地，在步骤S1中，所述扫描的方法是指采取基于激光或光学照相等技术的三维扫描设备，在要求人体在指定的扫描空间内保持静止状态，通过光学测量的方法获取人体对象表面点云数据。

优选地，在步骤S1中，所述三维重建方法是指采取计算机视觉领域的立体成像或Shape-from-Silhouette技术，重建出人体对象点云或体块数据，通过对点云或体块数据，采取表皮化处理得到多边形表皮的三维形体形式。

优选地，在步骤S2中，所述三维虚拟人体模型为包括头、上身、左右上肢、左右下肢的基于一桶状模型；其中桶状模型由5个参数描述：(l，r_t，r_b，o_t，o_b)；其中l指模型高度，(r_t，r_b)指上下圆形面的半径长，(o_t，o_b)指轴线两端点离上下圆形面的距离。

优选地，在步骤S3中，基于模型的姿态和尺寸估计方法的具体步骤为：

S31、采用分等级优化的方法，先后对上身、左右下肢、左右上肢、头部进行匹配，具体过程如下：首先对躯干的位置和方位参数进行估计，包括三个位置和三个旋转参数；然后对头部、大腿和上臂关节参数进行估计；最后对小腿和下臂的关节参数进行估计；

S32、对整个人体姿态参数进行局部修正。

优选地，在步骤S31中，具体的步骤为，包括对人体躯干的位置(x₀，y₀，z₀)和方位估计、以及对人体某部分匹配时，采用迭代优化的方法，

其中躯干的位置(x₀，y₀，z₀)和方位估计采用如下方法：

a1、对重建的人体点云通过切片的方法检测得到躯干部位对应的点云集合；所谓切片方法是指以一定的采样间隔获取三维点云在垂直于躯干平面(或竖直平面)上的点集合；

b1、计算所找到的点云集合的重心位置

$\stackrel{\‾}{x}=\frac{\mathrm{\Σ}{x}_i}{N}$

$\stackrel{\‾}{y}=\frac{{\mathrm{\Σy}}_i}{N}$

$\stackrel{\‾}{z}=\frac{{\mathrm{\Σz}}_i}{N}$

c1、设为(x₀,y₀,z₀)的初始值，进行位置(x₀,y₀,z₀)和方位参数和躯干部位的尺寸估计,具体步骤为：首先保持(x₀,y₀,z₀)以初始值和尺寸参数不变，采用基于粒子群优化方法使得残差最小，得到然后保持和尺寸参数不变，继续进行残差优化估计得到(x′₁,y′₁,z′₁)；之后保持和(x′₁,y′₁,z′₁)不变，估计得到新的尺寸参数；如此往复，直到各参数数值稳定；

其中对人体某部分匹配时，采用迭代优化的方法，具体为：

a)固定模型尺寸参数，设前一级的匹配姿态结果作为初始姿态，随机采样一部分模型表皮点作为匹配点；假设随机获得的模型点集合为M_n＝{p_n,i|i＝1,2,…,m_n}，其中p_n,i为身体部分n的随机模型点，m_n为身体部分n的采样点个数；

b)对任意随机模型点，找到对应的最近距离的重建三维点，以所有点对应的距离之和作为残差；即求解如下方程：

${\hat{X}}_n=\underset{X_n}{\arg \min }\underset{\∀p_{n,i}\∈M_n}{\mathrm{\Σ}}{\left|\right|p_{n,i}-y_{n,i}^{*}\left|\right|}^2$

其中为找到的对应于p_n,i的最近三维重建点；

c)采用基于粒子群优化的全局搜索算法进行迭代优化，使得残差值趋近于最小的稳定值；为使得优化可收敛，引入以下权重约束：

${\mathrm{\λ}}_{n,i}=\left\{\begin{array}{cc}2& y_{n,i}^{*}\↔p_{n,i}\\ \mathrm{\λ}\left(k\right)& y_{n,i}^{*}\↔\left\{p_{n,j}\right|j=1,...,k\}\end{array}\right.$

上式中λ(k)为以k(k＞1)为变量的权重函数，k越大,权重值也越大，可简单设为线性函数，其中表示对应关系，上述问题变为：

${\hat{X}}_n=\underset{X_n}{\arg \min }\underset{\∀p_{n,i}\∈M_n}{\mathrm{\Σ}}{{\mathrm{\λ}}_{n,i}\left|\right|p_{n,i}-y_{n,i}^{*}\left|\right|}^2$

d)固定上一步得到姿态参数，以尺寸参数作为变量，迭代优化得到新的尺寸参数；

e)如此迭代直至各参数不再变化；

f)最后对整个人体姿态参数进行局部修正，最终得到准确的尺寸和姿态参数。其中局部姿态修正的方法是：由上述分级姿态估计方法得到整个人体姿态和尺寸参数后，保持上身躯干位置和方位参数和其他关节参数不变，对左大腿和小腿对应的6个旋转参数以其现有数值作初始值，以整体作为变量，按上述步骤a)-e)参数估计方法重新估计；同理对其他三个肢体即右下肢、左上肢以及右上肢的关节参数进行修正。

与现有技术相比，本发明所具有的有益效果为：

本发明的面向任意姿态的三维人体姿态模型匹配方法，克服了一般方法对人体对象初始姿态的苛刻要求，能够广泛适应于不同姿态、不同形体尺寸的人体对象的姿态和尺寸估计，具有适应性强和鲁棒性好的特点。

附图说明

图1为三维人体点云示例；

图2为桶状模型；

图3为基于桶状模型的三维人体模型；

图4为分级姿态恢复步骤示例；

图5为切片方法示意图；

图6(a)为人体模型手臂匹配前示例图；

图6(b)为人体模型手臂匹配后示例图；

图7为人体姿态模型匹配前后的对比示例图。

具体实施方式

以下结合附图对本发明的具体实施例进行详细描述，但不构成对本发明的限制。

如图1至图7所示，本实施例公开了一种面向任意姿态的三维人体姿态模型匹配方法，包括以下步骤：

1、针对以任意姿态站立的人体对象，采取扫描或三维重建的方法，获得人体对象的三维形体数据；三维形体数据可以是以点云、体块或/和多边形表皮中的一种或多种的任意组合形式存在。其中扫描的方法是指采取基于激光或光学照相等技术的三维扫描设备，在要求人体指定的扫描空间内保持静止状态，通过光学测量的方法获取人体对象表面点云数据；三维重建方法是指采取计算机视觉领域的立体成像等技术，重建出人体对象点云或体块等数据。对点云或体块数据，采取表皮化处理可得到多边形表皮的三维形体形式。图1为采用基于多摄像机重建方法得到的三维人体点云示例。

2、按照正常人体的标准比例数据，设计出一种尺寸、姿态可调的三维虚拟人体模型。人体模型通过改变尺寸和姿态参数能够适应于不同身材比例、以各种姿态呈现的人体形体。人体模型的各主要部分包括头、上身、左右上肢、左右下肢等均基于一桶状模型，如图2所示；其中桶状模型由5个参数描述：(l,r_t,r_b,o_t,o_b)，l指模型高度，(r_t,r_b)指上下圆形面的半径长，(o_t,o_b)指轴线两端点离上下圆形面的距离。图3为基于桶状模型的三维人体模型示例。基于此桶状模型的具体特征如下：

2.1包含头/颈、躯干、左右大腿、左右小腿、左右上臂、左右下臂等10个身体部分；

2.2包含10个关节共33个姿态参数；

3、设计和采用一种基于模型的姿态和尺寸估计方法，将虚拟人体模型准确的匹配到重建出的三维人体形态数据上，使得虚拟人体模型以相同的姿态和相近的形体尺寸呈现。此姿态和尺寸估计方法主要步骤为：

3.1采用分等级优化的方法，先后对上身、左右下肢、左右上肢、头部进行匹配，即首先对躯干的位置和方位参数进行估计，包括三个位置和三个旋转参数；然后对头部、大腿和上臂关节参数进行估计；最后对小腿和下臂的关节参数进行估计；如图4所示。

具体的，躯干的位置(x₀,y₀,z₀)和方位估计采用如下方法：

a、对重建的人体点云通过切片的方法检测得到躯干部位对应的点云集合。由于人体上身颈部、肩部以及臀部等部位的尺寸和结构特点，由上到下进行垂直切片，切片面得到的轮廓大小和尺寸是符合一定规律的。由此可以大致得到颈部之下和臀部之上的上身躯干部分对应的点云集合{p_i(x_i,y_i,z_i)|i＝1,…,N}。切片的方法如图5所给示意图。

b、计算所找到的点云集合的重心位置

$\stackrel{\‾}{x}=\frac{\mathrm{\Σ}{x}_i}{N}$

$\stackrel{\‾}{y}=\frac{{\mathrm{\Σy}}_i}{N}$

$\stackrel{\‾}{z}=\frac{{\mathrm{\Σz}}_i}{N}$

c、设为(x₀,y₀,z₀)的初始值。按下面步骤3.2所述类似方法进行位置(x₀,y₀,z₀)和方位参数和躯干部位的尺寸估计。具体的，首先保持(x₀,y₀,z₀)以初始值和尺寸参数不变，采用基于粒子群优化方法使得残差最小，得到然后保持和尺寸参数不变，继续进行残差优化估计得到(x′₁,y′₁,z′₁)；之后保持和(x′₁,y′₁,z′₁)不变，估计得到新的尺寸参数；如此往复，直到各参数数值稳定。

3.2对人体某部分匹配时，采用迭代优化的方法。图5为匹配的示意图。具体的：

a)固定模型尺寸参数，把前一级的匹配姿态结果作为初始姿态，随机采样一部分模型表皮点作为匹配点；假设随机获得的模型点集合为M_n＝{p_n,i|i＝1,2,…,m_n}，其中p_n,i为身体部分n的随机模型点，m_n为身体部分n的采样点个数；

b)对任意随机模型点，找到对应的最近距离的重建三维点，以所有点对应的距离之和作为残差；，即求解如下方程：

${\hat{X}}_n=\underset{X_n}{\arg \min }\underset{\∀p_{n,i}\∈M_n}{\mathrm{\Σ}}{\left|\right|p_{n,i}-y_{n,i}^{*}\left|\right|}^2$

其中为找到的对应于p_n,i的最近三维重建点。

c)采用基于粒子群优化的搜索算法进行迭代优化，使得残差值趋近于最小的稳定值；为使得优化可收敛，引入以下权重约束：

${\mathrm{\λ}}_{n,i}=\left\{\begin{array}{cc}2& y_{n,i}^{*}\↔p_{n,i}\\ \mathrm{\λ}\left(k\right)& y_{n,i}^{*}\↔\left\{p_{n,j}\right|j=1,...,k\}\end{array}\right.$

上式中λ(k)为以k(k＞1)为变量的权重函数，k越大,权重值也越大，可简单设为线性函数。其中表示对应关系。上述问题变为：

${\hat{X}}_n=\underset{X_n}{\arg \min }\underset{\∀p_{n,i}\∈M_n}{\mathrm{\Σ}}{{\mathrm{\λ}}_{n,i}\left|\right|p_{n,i}-y_{n,i}^{*}\left|\right|}^2$

d)固定上一步得到姿态参数，以尺寸参数作为变量，采取类似的优化方法，迭代优化得到新的尺寸参数；

e)如此迭代直至各参数不再变化，最终得到准确的尺寸和姿态参数。

3.3对整个人体姿态参数进行局部修正：由上述分级姿态估计方法得到整个人体姿态和尺寸参数后，保持上身躯干位置和方位参数和其他关节参数不变，对左大腿和小腿对应的6个旋转参数以其现有数值作初始值，以整体作为变量，按上述步骤3.2所示参数估计方法重新估计。类似的，对其他三个肢体(右下肢、左右上肢)的关节参数进行修正。

尽管上面是对本发明具体实施方案的完整描述，但是可以采取各种修改、变体和替换方案。这些等同方案和替换方案被包括在本发明的范围内。因此，本发明的范围不应该被限于所描述的实施方案，而是应该由所附权利要求书限定。

Claims (5)

1.一种面向任意姿态的三维人体姿态模型匹配方法，其特征在于，包括以下步骤：

S1.针对以任意姿态站立的人体对象，采取扫描或者三维重建的方法，获得人体对象的三维人体形体数据；

S2.按照正常人体的标准比例数据，设计一种尺寸、姿态可调的三维虚拟人体模型，所述三维虚拟人体模型通过改变尺寸和姿态参数能够适应于不同身材比例并且能以各种姿态呈现的人体形体；

S3.将三维虚拟人体模型准确的匹配到重建出的三维人体形体数据上，使得三维虚拟人体模型以相同的姿态和相近的形体尺寸呈现，具体方法如下：

采用分等级优化的方法，先后对上身、左右下肢、左右上肢、头部进行匹配，具体过程如下：首先对躯干的位置和方位参数进行估计，包括三个位置和三个旋转参数；然后对头部、大腿和上臂关节参数进行估计；最后对小腿和下臂的关节参数进行估计；

其中，对躯干的位置(x₀,y₀,z₀)和方位估计采用如下方法：

a1、对重建的人体点云通过切片的方法检测得到躯干部位对应的点云集合{p_i(x_i,y_i,z_i)|i＝1,…,N}；

b1、计算所找到的点云集合的重心位置

$\stackrel{\‾}{x}=\frac{{\mathrm{\Σx}}_i}{N}$

$\stackrel{\‾}{y}=\frac{{\mathrm{\Σy}}_i}{N}$

$\stackrel{\‾}{z}=\frac{{\mathrm{\Σz}}_i}{N}$

c1、设为(x₀,y₀,z₀)的初始值，进行位置(x₀,y₀,z₀)和方位参数和躯干部位的尺寸估计,具体步骤为：首先保持(x₀,y₀,z₀)以初始值和尺寸参数不变，采用基于粒子群优化方法使得残差最小，得到然后保持和尺寸参数不变，继续进行残差优化估计得到(x′₁,y′₁,z′₁)；之后保持和(x′₁,y′₁,z′₁)不变，估计得到新的尺寸参数；如此往复，直到各参数数值稳定；

其中对人体某部分匹配时，采用迭代优化的方法，具体为：

a)固定模型尺寸参数，设前一级的匹配姿态结果作为初始姿态，随机采样一部分模型表皮点作为匹配点；假设随机获得的模型点集合为M_n＝{p_n,i|i＝1,2,…,m_n}，其中p_n,i为身体部分n的随机模型点，m_n为身体部分n的采样点个数；

b)对任意随机模型点，找到对应的最近距离的重建三维点，以所有点对应的距离之和作为残差；即求解如下方程：

${\hat{X}}_n=\underset{X_n}{\arg \min }\underset{\∀p_{n,i}\∈M_n}{\Σ}\left|\right|p_{n,i}-y_{n,i}^{*}|{|}^2$

其中为找到的对应于p_n,i的最近三维重建点；

c)采用基于粒子群优化的全局搜索算法进行迭代优化，使得残差值趋近于最小的稳定值；为使得优化可收敛，引入以下权重约束：

${\mathrm{\λ}}_{n,i}=\left\{\begin{array}{cc}1& y_{n,i}^{*}\↔p_{n,i}\\ \mathrm{\λ}\left(k\right)& y_{n,i}^{*}\↔\left\{p_{n,j}\right|j=1,\mathrm{...},k\}\end{array}\right.$

上式中λ(k)为以k(k＞1)为变量的权重函数，k越大,权重值也越大，可简单设为线性函数，其中表示对应关系，上述问题变为：

${\hat{X}}_n=\underset{X_n}{\arg \min }\underset{\∀p_{n,i}\∈M_n}{\Σ}{\mathrm{\λ}}_{n,i}\left|\right|p_{n,i}-y_{n,i}^{*}|{|}^2$

d)固定上一步得到姿态参数，以尺寸参数作为变量，迭代优化得到新的尺寸参数；

e)如此迭代直至各参数不再变化；

f)最后对整个人体姿态参数进行局部修正，最终得到准确的尺寸和姿态参数。

2.根据权利要求1所述的面向任意姿态的三维人体姿态模型匹配方法，其特征在于，在步骤S1中，所述三维人体形体数据以点云、体块或/和多边形表皮的组合形式存在。

3.根据权利要求1所述的面向任意姿态的三维人体姿态模型匹配方法，其特征在于，在步骤S1中，所述扫描的方法是指采取基于激光或光学照相技术的三维扫描设备，在要求人体在指定的扫描空间内保持静止状态，通过光学测量的方法获取人体对象表面点云数据。

4.根据权利要求1所述的面向任意姿态的三维人体姿态模型匹配方法，其特征在于，在步骤S1中，所述三维重建方法是指采取计算机视觉领域的立体成像或Shape-from-Silhouette技术，重建出人体对象点云或体块数据，通过对点云或体块数据，采取表皮化处理得到多边形表皮的三维形体形式。

5.根据权利要求1至4中任意一项所述的面向任意姿态的三维人体姿态模型匹配方法，其特征在于，在步骤S2中，所述三维虚拟人体模型为包括头、上身、左右上肢、左右下肢的基于一桶状模型；其中桶状模型由5个参数描述：(l,r_t,r_b,o_t,o_b)；其中l指模型高度，(r_t,r_b)指上下圆形面的半径长，(o_t,o_b)指轴线两端点离上下圆形面的距离。