CN1725246A - 一种基于视频内容的人体姿态变形方法 - Google Patents

Abstract

本发明涉及计算机应用技术领域，特别是一种基于视频内容的人体姿态变形方法。用于在已知初始人体三维姿态信息的基础上，根据视频内容，恢复视频中对应的3D人体结构；该方法包括以下步骤：根据视频内容定制3D人体模型；将3D人体姿态进行投影，生成模型骨架；提取视频中人体轮廓信息；建立视频轮廓与模型轮廓的点集对应关系；将模型轮廓中的2D骨架移植到视频轮廓；恢复视频中人体的3D结构参数。本发明优点在于：对视频轮廓提取的质量要求不高，具有相当的鲁棒性；可用于各种类型的已知初始3D信息的运动对象的3D结构参数恢复，具有良好的通用性；仅需要简单高效的二维运算，可以达到实时的效果。

Description

一种基于视频内容的人体姿态变形方法

技术领域

本发明涉及计算机应用技术领域，特别是一种基于视频内容的人体姿态变形方法。

背景技术

从二维的视频中获取三维的人体姿态信息是计算机视觉、模式识别、虚拟现实、智能人机接口领域的热点和难点问题。在本文中，按照惯例，我们统一将二维简写为2D，三维简写为3D。

在已知初始人体姿态3D信息的前提下，如何根据视频内容对初始姿态进行变形，从而得到视频中对应的3D信息是其中一个非常重要的子问题，它不仅具有重要的研究意义，而且在游戏、关键帧3D动画、以及基于实例数据的3D信息获取等方面具有广阔的应用前景。例如，在基于视频的人体运动分析领域，我们只要有一个小样本的3D人体姿态库，就可以根据视频图像，恢复出对应的人体姿态信息。再如，在动画领域中，只要给定一个小样本的2D关键帧及其对应的3D姿态信息，就可以将所有2D动画帧的3D信息恢复出来，轻松的实现3D动画的效果。

因此，基于视频内容的人体姿态变形技术不仅有重大的理论意义，也具有广泛的应用领域以及重要的实用价值。但是，在国内外的现有的基于视频的运动分析以及重构软件中，都没有提供基于视频内容的人体姿态变形技术功能。在进行相关的专利检索时，也没有检索到任何相关专利的信息。

发明内容

本发明的目的是提供一种基于视频内容的人体姿态变形方法，实现在已知初始3D姿态的情况下，根据视频内容，对3D姿态进行变形，从而恢复视频中对应的人体3D姿态信息。

为了实现上述目的，本发明提供了一种基于视频内容的人体姿态变形方法，用于在已知初始人体三维姿态信息的基础上，根据视频中人体信息内容，将初始人体3D姿态根据视频内容进行变形，从而求取出视频中对应的3D人体结构信息；该方法包括以下步骤：

1)根据视频内容定制3D人体模型；

2)将3D人体姿态(表面几何模型描述)在2D平面上投影，生成2D模型轮廓，并用采样点集表示；

3)将3D人体姿态(骨架模型描述)在2D平面上投影，生成2D模型骨架；

4)提取视频中人体轮廓信息，并用采样点集表示；

5)建立视频轮廓与模型轮廓的点集对应关系；

6)将模型轮廓中的2D骨架移植到视频轮廓；

7)恢复视频中人体的3D结构参数。

上述技术方案中，步骤5)中的求取视频轮廓与模型轮廓的点集对应关系是这样实现的：

计算轮廓中每一个点的形状上下文，即建立该点与该轮廓中所有其它点的用距离和角度表示的度量；

以形状上下文(shape context)为度量特征点相似性的标准，两个轮廓中形状上下文最近似的两个特征点即为匹配的特征点，从而建立模型轮廓与视频轮廓的点集对应关系。

上述技术方案中，步骤6)中将模型轮廓中的2D骨架移植到视频轮廓是这样实现的：

确定2D骨架的各个关节点的支持集；

通过建立的两个轮廓之间的点集对应关系，确定2D关节点的各个支持集的仿射变换关系；

将模型轮廓的2D骨架的关节点位置进行与其支持集所确定的仿射变换同样的变换，变换结果即为视频轮廓的2D骨架关节点位置。

上述技术方案中，步骤7)中恢复视频中人体的3D结构参数是这样实现的：

只需要对已知的初始3D人体骨架进行变换即可。

所述的对已知的初始3D人体骨架进行变换是这样实现的：

保持原数据的深度Z方向的数据不变，

对X、Y方向的数据进行与前面确定的，与其投影的2D关节点一样的仿射变换。

本发明的优点在于：

1、本发明方法实现了对基于视频内容的人体姿态变形方法，不仅具有重要的理论意义，而且具有广泛的应用范围和重要的使用价值。

2、本发明方法可用于各种类型的运动对象，具有良好的通用性。

3、本发明仅需要简单高效的二维运算，可以达到实时的效果。

附图说明

图1为基于视频内容的人体姿态变形技术流程图。

具体实施方式

下面结合附图，对本发明所述方法进行进一步地说明。

如图1所示，为本实施例方法的流程图，流程图中虚线框内表示操作，实线框内表示相关操作得到的结果。

本发明的一种基于视频内容的人体姿态变形技术主要分成以下步骤：

步骤1.根据视频内容定制3D人体模型；

步骤2.将步骤10定制的3D人体姿态(表面几何模型描述)在2D平面上投影，生成2D模型轮廓，并用采样点集表示；

a1、通过上一步定制的3D人体模型，对3D姿态数据用表面几何模型描述；

b1、从给定视频中确定人体姿态显示的视角，并用该视角将用表面几何模型描述的3D姿态在2D平面上投影，生成2D模型轮廓；

c1、将生成的2D模型轮廓用轮廓边界的采样点表示(例如采样200个点)；

步骤3.将3D人体姿态(骨架模型描述)在2D平面上投影，生成2D模型骨架。采用上一步骤从视频中求取的视角信息，将用骨架模型描述的3D姿态在2D平面上投影，生成用2D关节点位置表示的2D模型骨架；

步骤4.提取视频中人体轮廓信息，并用采样点集表示。提取视频中人体轮廓的方法很多，我们采用简单的背景剪除的方法；同时，将视频轮廓用轮廓边界的采样点表示(例如采样200个点)，采样的点数应与模型轮廓的采样点数相同；

步骤5.建立视频轮廓与模型轮廓的点集对应关系。建立轮廓点集之间的对应关系是采用形状上下文(Shape Context)方法实现的；

利用形状上下文(Shape Context)方法建立点集合中特征点的对应关系的具体步骤为：

a2、对于每一个特征点，建立以该点位置为原点的，以该轮廓中所有其它特征点为终点的矢量的集合；

b2、将以上矢量集合按照角度空间和模空间分别划分为12和5份，然后统计分别落在以上划分空间内的矢量的数目，用此信息做成一个12*5的直方图。该直方图就称为形状上下文(Shape Context)；

c2、由b2步骤，可以建立采样点集中每一个特征点的形状上下文；

d2、将特征点的形状上下文用一个60维的向量表示，则可以用欧氏距离作为集合中特征点的形状上下文与给定特征点的形状上下文的距离度量：

例如，设(x₁，x₂，...，x₆₀)与(y₁，y₂，...，y₆₀)为分别为两个特征点的形状上下文，则两点间形状上下文的欧氏距离为：

$\sqrt{{(x_1-y_1)}^2+{(x_2-y_2)}^2+,...,+{(x_{60}-y_{60})}^2}.$

形状上下文之间距离最近的特征点即为与给定特征点最近似的特征点。按此方法，可以建立两个特征点集的点对应关系。

步骤6、将模型轮廓中的2D骨架移植到视频轮廓。将模型轮廓中的2D骨架移植到视频轮廓是这样实现的：

a3、确定2D骨架的各个关节点的支持集；所谓支持集，就是以关节点为圆心，以R(自定义)为半径的圆型区域内的特征点的集合，支持集为特征点集的子集；

b3、求取模型轮廓与视频轮廓之间各个对应2D关节点的支持集的二维仿射变换关系；

形式为x′＝a_xxx+a_xyy+b_x，y′＝a_yxx+a_yyy+b_y的坐标变换称为二维仿射变换(affine transformation)。变换的坐标x′和y′都是原始坐标x和y的线性函数。参数a_ij和b_k是由变换类型确定的常数。

在已知对应点集：

[(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，...，(x_n，y_n)]和[(x′₁，y′₁)，(x′₂，y′₂)，(x′₃，y′₃)，...，(x′_n，y′_n)]的情况下，用最小二乘法求解下列超定方程即可求取对应的仿射变换：

$\left\{\begin{array}{c}{x^{\′}}_1=a_{\mathrm{xx}}{x}_1+a_{\mathrm{xy}}{y}_1+b_x\\ {y^{\′}}_1=a_{\mathrm{yx}}{x}_1+a_{\mathrm{yy}}{y}_1+b_y\\ {x^{\′}}_2=a_{\mathrm{xx}}{x}_2+a_{\mathrm{xy}}{y}_2+b_x\\ {y^{\′}}_2=a_{\mathrm{yx}}{x}_2+a_{\mathrm{yy}}{y}_2+b_y\\ \·\·\·\\ {x^{\′}}_n=a_{\mathrm{xx}}{x}_n+a_{\mathrm{xy}}{y}_n+b_x\\ {y^{\′}}_n=a_{\mathrm{yx}}{x}_n+a_{\mathrm{yy}}{y}_n+b_y\end{array}\right.$

c3、将模型轮廓的2D骨架的关节点位置进行与其支持集所确定的仿射变换同样的变换，变换结果即为视频轮廓的2D骨架关节点位置。

步骤7、恢复视频中人体的3D结构参数。通过对已知的初始3D人体(模型)姿态进行变换即可：

a4、保持初始3D(模型)姿态数据的深度Z方向的数据不变；

b4、对初始3D(模型)姿态数据的X、Y方向的数据进行与前面确定的，与其投影后对应的2D关节点一样的仿射变换。

具体操作如下：设(x_o，y_o，z_o)为初始姿态的关节点位置，(x′_o，y′_o)为该关节点在2D平面的投影位置(平行投影)，其对应于模型骨架中的关节点位置；(x′_t，y′_t)为将(x′_o，y′_o)仿射变换以后的坐标，其对应于估计的视频骨架的关节点位置。

即：x′_t＝a_xxx′_o+a_xyy′_o+b_x，y′_t＝a_yxx′_o+a_yyy′_o+b_y

因为采用的是仿射投影模型(平行投影)，所以，(x_o，y_o，z_o)与(x′_o，y′_o)，(x_t，y_t，z_t)与(x′_t，y′_t)之间保持下列关系成立： $\left\{\begin{array}{c}{x}_o={{\mathrm{kx}}_o}^{\′}\\ y_o={{\mathrm{ky}}_o}^{\′}\end{array}\right.,$ $\left\{\begin{array}{c}{x}_t={{\mathrm{kx}}_t}^{\′}\\ y_t={{\mathrm{ky}}_t}^{\′}\end{array}\right.$ (k为已知缩放因子)。

则，与(x′_t，y′_t)对应的三维坐标(x_t，y_t，z_t)为

Claims (8)

1、一种基于视频内容的人体姿态变形方法，用于在已知初始人体三维姿态信息的基础上，根据视频中人体信息内容，将初始人体3D姿态根据视频内容进行变形，从而求取出视频中对应的3D人体结构信息；该方法包括以下步骤：

1)根据视频内容定制3D人体模型；

2)将3D人体姿态在2D平面上投影，生成2D模型轮廓，并用采样点集表示；

3)将3D人体姿态在2D平面上投影，生成2D模型骨架；

4)提取视频中人体轮廓信息，并用采样点集表示；

5)建立视频轮廓与模型轮廓的点集对应关系；

6)将模型轮廓中的2D骨架移植到视频轮廓；

7)恢复视频中人体的3D结构参数。

2、根据权利要求1所述的基于视频内容的人体姿态变形方法，其特征在于，步骤5)中的求取视频轮廓与模型轮廓的点集对应关系是这样实现的：

计算轮廓中每一个点的形状上下文，即建立该点与该轮廓中所有其它点的用距离和角度表示的度量；

以形状上下文为度量特征点相似性的标准，两个轮廓中形状上下文最近似的两个特征点即为匹配的特征点，从而建立模型轮廓与视频轮廓的点集对应关系。

3、根据权利要求1所述的基于视频内容的人体姿态变形方法，其特征在于，步骤6)中将模型轮廓中的2D骨架移植到视频轮廓是这样实现的：

确定2D骨架的各个关节点的支持集；

通过建立的两个轮廓之间的点集对应关系，确定2D关节点的各个支持集的仿射变换关系；

将模型轮廓的2D骨架的关节点位置进行与其支持集所确定的仿射变换同样的变换，变换结果即为视频轮廓的2D骨架关节点位置。

4、根据权利要求1所述的基于视频内容的人体姿态变形方法，其特征在于，步骤7)中恢复视频中人体的3D结构参数是这样实现的：

只需要对已知的初始3D人体骨架进行变换即可。

5、根据权利要求4所述的基于视频内容的人体姿态变形方法，其特征在于，所述的对已知的初始3D人体骨架进行变换是这样实现的：

保持原数据的深度Z方向的数据不变，

对X、Y方向的数据进行与前面确定的，与其投影的2D关节点一样的仿射变换。

6、根据权利要求2所述的基于视频内容的人体姿态变形方法，其特征在于，所述的利用形状上下文方法建立点集合中特征点的对应关系的具体步骤为：

a2、对于每一个特征点，建立以该点位置为原点的，以该轮廓中所有其它特征点为终点的矢量的集合；

b2、将以上矢量集合按照角度空间和模空间分别划分为12和5份，然后统计分别落在以上划分空间内的矢量的数目，用此信息做成一个12*5的直方图；

c2、由b2步骤，可以建立采样点集中每一个特征点的形状上下文；

d2、将特征点的形状上下文用一个60维的向量表示，则可以用欧氏距离作为集合中特征点的形状上下文与给定特征点的形状上下文的距离度量：

设(x₁，x₂，...，x₆₀)与(y₁，y₂，...，y₆₀)为分别为两个特征点的形状上下文，则两点间形状上下文的欧氏距离为： $\sqrt{{(x_1-y_1)}^2+{(x_2-y_2)}^2+,\·\·\·,+{(x_{60}-y_{60})}^2};$

形状上下文之间距离最近的特征点即为与给定特征点最近似的特征点，按此方法，可以建立两个特征点集的点对应关系。

7、根据权利要求1所述的基于视频内容的人体姿态变形方法，其特征在于，

步骤6)、将模型轮廓中的2D骨架移植到视频轮廓是这样实现的：

a3、确定2D骨架的各个关节点的支持集；所谓支持集，就是以关节点为圆心，以R为半径的圆型区域内的特征点的集合，支持集为特征点集的子集；

b3、求取模型轮廓与视频轮廓之间各个对应2D关节点的支持集的二维仿射变换关系；

形式为x′＝a_xxx+a_xyy+b_x，y′＝a_yxx+a_yyy+b_y的坐标变换称为二维仿射变换，变换的坐标x′和y′都是原始坐标x和y的线性函数，参数a_ij和b_k是由变换类型确定的常数，

在已知对应点集：

[(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，...，(x_n，y_n)]和[(x′₁，y′₁)，(x′₂，y′₂)，(x′₃，y′₃)，...，(x′_n，y′_n)]的情况下，用最小二乘法求解下列超定方程即可求取对应的仿射变换：

$\left\{\begin{array}{c}{x^{\′}}_1=a_{\mathrm{xx}}{x}_1+a_{\mathrm{xy}}{y}_1+b_x\\ {y^{\′}}_1=a_{\mathrm{yx}}{x}_1+a_{\mathrm{yy}}{y}_1+b_y\\ {x^{\′}}_2=a_{\mathrm{xx}}{x}_2+a_{\mathrm{xy}}{y}_2+b_x\\ {y^{\′}}_2=a_{\mathrm{yx}}{x}_2+a_{\mathrm{yy}}{y}_2+b_y\\ \·\·\·\\ {x^{\′}}_n=a_{\mathrm{xx}}{x}_n+a_{\mathrm{xy}}{y}_n+b_x\\ {y^{\′}}_n=a_{\mathrm{yx}}{x}_n+a_{\mathrm{yy}}{y}_n+b_y\end{array}\right.$

c3、将模型轮廓的2D骨架的关节点位置进行与其支持集所确定的仿射变换同样的变换，变换结果即为视频轮廓的2D骨架关节点位置。

8、根据权利要求1所述的基于视频内容的人体姿态变形方法，其特征在于，步骤7)、恢复视频中人体的3D结构参数，通过对已知的初始3D人体姿态进行变换即可：

具体操作如下：设(x_o，y_o，z_o)为初始姿态的关节点位置，(x′_o，y′_o)为该关节点在2D平面的投影位置，其对应于模型骨架中的关节点位置；(x′_t，y′_t)为将(x′_o，y′_o)仿射变换以后的坐标，其对应于估计的视频骨架的关节点位置，

即：x′t＝a_xxx′o+a_xyy′o+b_x，y′_t＝a_yxx′_o+a_yyy′_o+b_y

因为采用的是仿射投影模型(平行投影)，所以，(x_o，y_o，z_o)与(x′_o，y′_o)，(x_t，y_t，z_t)与(x′_t，y′_t)之间保持下列关系成立： $\left\{\begin{array}{c}{x}_o={{\mathrm{kx}}_o}^{\′}\\ y_o={{\mathrm{ky}}_o}^{\′}\end{array}\right.,$

$\left\{\begin{array}{c}{x}_t={{\mathrm{kx}}_t}^{\′}\\ y_t={{\mathrm{ky}}_t}^{\′}\end{array}\right.,$

k为已知缩放因子，

则，与(x′_t，y′_t)对应的三维坐标(x_t，y_t，z_t)为