CN103198492A - 一种人体运动捕获方法 - Google Patents

Abstract

本发明公开了一种人体运动捕获方法，通过分析双目视频中的人体的2D舞蹈动作来恢复3D运动，完成自动的摄像机标定工作，使用易于佩戴的简易标志作为人体关节点标记，采用区域扩张法识别人体各个标记，通过聚类方法剔除冗余标记，自动完成首帧人体模型的初始化，并在后续帧中对人体关节点跟踪。该系统包括：摄像机标定，确定摄像机的内外参数，用于计算双目视频中人体动作信息；人体图像初始化，用于在初始帧图像中确定人体各个关节部位的位置信息；关节点跟踪，通过目标跟踪方法在后续图像帧中，连续地获取关节部位信息。采用本发明的系统和方法，可以准确快速的捕获到人体的3D舞蹈动作。

Description

一种人体运动捕获方法

技术领域：本发明涉及一种人体运动捕获系统，尤其是舞蹈动作的获取,涉及到计算机视觉、图像处理、人体运动学等领域。

背景技术：目前，公知的运动捕获的方法主要包括基于机械、电磁、声学、光学和图像的设备的运动获取方法，这些方法有两个很大的缺点：需要很昂贵的运动捕获设备，并且附加在人体身上的传感器限制了演员的自由表演。

发明内容：为了克服有的人体运动捕获方法要求昂贵的设备，对环境要求比较严格和运动者不方便佩戴等不足，本发明提供一种新的人体运动捕获方法，该运动捕获方法对环境要求比较简单，而且能够准确快速的捕获到人体的3D动作。

为实现上述目的，本发明采用的技术方案是：一种人体运动捕获方法，其步骤如下：

1、摄像头的标定：将易于佩戴的简易标志固定在人体关节点，作为标记。两台摄像机同时拍摄，获取标定帧，主要计算了双目摄像机之间的相对旋转与平移关系，并对单目摄像机标定的结果进行了优化，获得精确的标定结果。

2、人体模型初始化:首先选择匹配误差最小的一组图像作为首帧图像,测量人体关节各部位在世界坐标系中的3D坐标,最终对首帧图像中人体棍状模型初始化。

3、人体关节点跟踪:测出的3D位置投影到双目摄像头所对应的图像上，结合预测出的关节点的位置信息和实际过程中提取的关节点的位置信息进行关节点的跟踪,从而获取各个关节点在视频中的运动轨迹。

本发明通过分析双目视频中的人体的2D舞蹈动作来恢复3D运动，完成自动的摄像机标定工作，使用易于佩戴的简易标志作为人体关节点标记，采用区域扩张法识别人体各个标记，通过聚类方法剔除冗余标记，自动完成首帧人体模型的初始化，并在后续帧中对人体关节点跟踪，通过目标跟踪方法在后续图像帧中，连续地获取关节部位信息。采用本发明的方法，可以准确快速的捕获到人体的3D舞蹈动作。本发明提供一种把易于佩戴的简易标志作为人体关节点的标记。一方面易于运动者的佩戴，不会限制到运动者的运动，能够随意的做出各种动作；另一方面易于佩戴的简易标志对外部的环境以及设备要求比较低，只须双目摄像头以及电脑即可完成，极大的降低了运动捕获的费用。而且本发明提供一种可以自动提取、匹配双目视频中的运动跟踪首帧图像，一方面省略了手动标定的步骤，实现了运动跟踪整体自动化、智能化；另一方面通过算法实现了在众多的首帧候选图像中找到一组最优的首帧图像。

附图说明

图1是本发明的整体工作原理图。

图2是本发明的整体程序流程原理图。

图3是目标人体上标记点提取程序流程原理图。

图4是标记点聚类程序流程原理图。

图5是双目视频中首帧标记点匹配程序流程原理图。

图6是标记点跟踪程序流程原理图。

具体实施方式

如图1所示：一种人体运动捕获方法，其主要步骤如下：

1、摄像头的标定：将红色布条固定在人体关节点，作为标记。两台摄像机同时拍摄，获取标定帧，主要计算了双目摄像机之间的相对旋转与平移关系，并对单目摄像机标定的结果进行了优化，获得精确的标定结果。

2、人体模型初始化:首先选择匹配误差最小的一组图像作为首帧图像,测量人体关节各部位在世界坐标系中的3D坐标,最终对首帧图像中人体棍状模型初始化。

3、人体关节点跟踪:测出的3D位置投影到双目摄像头所对应的图像上，结合预测出的关节点的位置信息和实际过程中提取的关节点的位置信息进行关节点的跟踪,从而获取各个关节点在视频中的运动轨迹。

如图2所示：本发明的具体流程是：

1、单目摄像机标定：在拍摄的视频中，手持标定板，根据视频中标定板的不同位姿选择至少三幅视频图像作为标定帧，计算摄像机的内外参数，存储标定结果，使用标定后的摄像机对已知目标进行双目测距并与其真实值进行对比，验证了标定结果的准确性。

2、双目摄像机的同步：针对不同的系统环境，使用DirectShow驱动摄像机，并同时打开两个摄像机进行拍摄，实现双目摄像机的同步工作。

3、双目摄像机标定：两台摄像机同时拍摄，获取标定帧，主要计算了双目摄像机之间的相对旋转与平移关系，并对单目摄像机标定的结果进行优化，获得精确的标定结果。

4、人体标记点提取：目标人体上标志点的提取是通过识别颜色将标记的中心位置信息提取的，采用区域生长的方法分割出运动人体上的标记，从而求得标记的中心位置。

5、标记点聚类：为了能够找到准确的标志点，运用加权和层次聚类相结合的方法对图像中找到的标记区域进行聚类处理。

6、标记点匹配：为了在双目视频中相同部位的标记进行匹配，分别在两幅图像中选取一个标记向量的起点，然后根据向量是不是相等或者是相似来识别其他的标志点。

7、人体各个关节点跟踪：通过双目视频中的首帧图像中得到的二维关节点信息和摄像头标定的结果计算出关节点的三维位置信息，利用3D kalman滤波器预测出关节点在下一帧的3D位置信息，将预测出的3D位置投影到双目摄像头所对应的图像上，结合预测出的关节点的位置信息和实际过程中提取的关节点的位置信息进行关节点的跟踪，从而获取各个关节点在视频中的运动轨迹。

8、计算关节点三维信息：通过跟踪得到的每个关节点的二维位置信息和摄像机标定结果，反投影出各个关节点的三维信息。最后，通过人体各个关节点之间的约束关系，对得到的人体棍状模型进行校正处理。

如图3所示，给出了目标人体上的标记点提取的原理图。目标人体上标志点的提取是通过识别颜色将标记的中心位置信息提取的，采用区域生长的方法分割出运动人体上的标记，从而求得标记的中心位置。

具体的操作步骤：

1、首帧图像的选取。

（1）选取视频中前N（根据情况选定）帧；

（2）自动提取出每一帧中的标记点位置信息；

（3）通过双目摄像头之间的位置信息对两组标记点进行匹配；

（4）选择匹配误差最小的一组图像作为首帧图像。

2、通过双目摄像机测量人体关节各部位在世界坐标系中的3D坐标。

3、首帧图像中人体棍状模型初始化：分析首帧中人体各个关节点，为15个关节点编号，构造了人体棍棒模型，将测量到的3D坐标输入模型，并计算了人体各个关节点的欧拉角。其具体步骤是：

步骤一：找到一个符合标记颜色信息的点，将这个点的坐标放入队列；

步骤二：将已经找到的标记点从队列中取出，同时改变该点的颜色（设置为背景的颜色），同时将该点相邻的八个方向中符合标记点颜色特征的点放入队列；

步骤三：重复过程（2），直到队列为空，则结束当前区域的查找过程，取当前区域的X方向和Y方向的平均值作为该区域的中心。

步骤四：重新回到（1）执行，直到找到图像中的全部符合标记点的区域为止，并且将相应的区域中的点的个数和区域的中心点存储起来。

如图4所示，给出了标记点聚类的原理图。由于光照等外界的影响，可能使得标记在不同的角度呈现出不同的颜色。这样就可能出现了同一个标记上会标出大于一个的标志点，显然，这样的标志点是错误的。为了能够找到唯一的、比较精确的标志点，运用加权思想和层次聚类相结合的方法对图像中找到的标记区域进行聚类处理。具体通过区域的中心点以及区域中像素点的个数来求得标记区域中心点的过程如下。

假设，区域1（X1,Y1）（其中，区域中像素的个数为counter1）,和区域2（X2,Y2）（其中，区域中像素的个数为counter2）需要聚类合并在一起，那么，我们通过下面的计算得到聚类的中心（X,Y）。

$X=X1\frac{\mathrm{counter}1}{\mathrm{counter}1+\mathrm{counter}2}+X2\frac{\mathrm{counter}2}{\mathrm{counter}1+\mathrm{counter}2};$

$Y=Y1\frac{\mathrm{counter}1}{\mathrm{counter}1+\mathrm{counter}2}+Y1\frac{\mathrm{counter}1}{\mathrm{counter}1+\mathrm{counter}2};$

counter=counter1+counter2；

通过上面的分析就可以得到图像中标志点的坐标。

如图5所示，给出了双目视频首帧标记点匹配图。利用向量是不是相等或者相似来匹配两幅图像中的标志点。由于要提取的标志点比较稀疏，容易识别，没有必要为每个标志点建立一个N-1维的距离向量来进行标志点的匹配。本系统提取的标志点匹配的方法相对于建立N-1维向量进行匹配的方法能够减少计算量，比较适合本系统中的标志点的匹配。分别在两幅图像中选取一个向量的起点，然后根据向量是不是相等或者是相似来识别其他的标志点，向量匹配的具体过程如下。

首先，分别在两个摄像头拍摄的第一帧图像中找到一个能够准确识别的同一个点，在本文中选择的是头部的标志点（m_1iHeader，m_1jHeader），（m_2iHeader，m_2jHeader），在两幅图像中的人体上的每个标志点（m_1i，m_1j），（m_2i，m_2j）。都对应着一个向量（m_1i-m_1iHeader，m_1j-m_1jHeader）和（m_2i-m_2iHeader，m_2j-m_2jHeader）。

两个向量之间的差d为：

$d=\sqrt{{((m_{2i}-m_{2\mathrm{iHeader}})-(m_{1i}-m_{1\mathrm{iHeader}}))}^2+{((m_{2j}-m_{2\mathrm{jHeader}})-(m_{1j}-m_{1\mathrm{jHeader}}))}^2}$

最后，找到一组差值最小的两个向量，那么这两个向量对应的标志点就是可以匹配在一起的标志点。

首帧图像的判定：在两个视频的前N帧中，同一时刻的两幅图像通过前面所介绍的方法提取出来标记区域中心，并且对标记区域进行了聚类，最后将同一时刻对应的两幅图像上的标记点进行了一一匹配。通过下面的方法找到匹配最好的两幅图像。

将两个视频中的前N帧分别存储在两个图像数组中，数组的容量均为N。

已知通过前面的步骤每一时刻都对应两幅图像上的两组已经匹配好的标记点，其中标记点分别用m_1i和m_2i（i=1，2……，15）来表示。对于相距比较近的且平行放置的两个摄像头，拍摄的图像上的标记点的相对位置应该是相似的，所以利用这个原理，只要求出两组图像中的标记点之间的关系是不是最相似的就可以得到两组最匹配的图像了。

分别从两组数据点里面取出相对应的两个数据点m_1i和m_2i，其中i可以是任意的一个值，然后再依次取出剩余的14个数据点m_1j和m_2j其中j≠i。（在这里我们取i=1。）

两个向量之差的平方和=((m_1j.x-m_1i.x)-(m_2j.x-m_2i.x))²+((m_1j.y-m_1i.y)-(m_2j.y-m_2i.y))²

所有向量之差的平方和=

（((m_1j.x-m_1i.x)-(m_2j.x-m_2i.x))²+((m_1j.y-m_1i.y)-(m_2j.y-m_2i.y))²）

通过上面的两个公式求出N个值，然后判断N个之中最小的那个向量之差平方和所对应的两幅图像，所求出的这两幅图像就是所要找的首帧图像。

关节点编号初始化：在视频的前N帧中，对运动者的姿势要求基本上是一致的，即运动者正对着双目摄像头，双手分别伸开在身体两侧，双腿分开，垂直摄像头光轴移动。这样就保证了运动者身体上的各个标记都没有被遮挡，并且标记之间的对应的位置关系保持不变。根据标志点位置关系对标志点进行初始化编号，例如纵坐标最小的那个关节点是头部关节点，将其编号为0，仅次于头部纵坐标的关节点是脖子处的关节点，将其标号为1。这样依次给人体关节点进行编号1-15，总共15个关节点都有了自己对应的编号。这一步完成以后，人体运动捕获的首帧标志点自动标定也完成了。

图6标记点跟踪：首先提取出首帧标记点，并且对标记点进行了编号初始化，接下来就是对各个标记点进行跟踪。跟踪就是求出运动人体标记点在连续的图像序列中的运动轨迹，这就需要将各个点在不同的图像中正确匹配上。本系统首先用卡尔曼滤波对标记点进行下一帧的预测，然后根据预测的结果，在预测标记点周围（设定一定的阈值）找到候选标记点。

如果搜索到得标记点个数都不小于1，则通过标记点之前的状态信息进行预测，同时利用双目摄像头拍摄的图像中的标志点的极线约束关系从候选标记点中选出当前帧的标记点的位置。

如果搜索到的候选标记点个数其中一个为0（该标记点可能被遮挡），则对该点进行补齐。通过标记点的前两个时刻的运动状态，在候选节点不为0的标记点的周围找到一个距离预测标记位置最近的候选标记点作为当前帧该标记的标记点。然后再通过极线和候选节点为0的标记点的前两个时刻的运动状态计算出一个位置作为当前帧的标记点的坐标值（极线和位置运动的交点）。

如果搜索到的候选标记点的个数全为0，则直接用预测点的位置作为当前帧的标记点的位置。

三维重建：在得到两组同一时刻不同摄像头拍摄的人体标记点的二维信息后，通过计算就可以精确的算出人体各个关节点在空间中的位置。

得到人体各个关节标记点在空间中的位置以后，通过各关节点之间的关系连线得到人体棍状模型。在前面视频图像的一系列处理中，以及摄像头标定的过程中可能会出现一定的误差，这样得到的人体动作有的时候可能会出现人体不具有的动作。本系统是通过关节点约束来解决这一问题的，在人体关节功能活动范围中对人体的各个关节的活动范围都做了统计。例如，颈部：先置于中立位，颈部活动度为：前屈35～45°，后伸35～45°，左右侧屈各45°左右旋转各60～80°。

本发明已经根据所示的实施例做了上述描述，则本领域的普通技术人员会很容易理解实施例的变化和本发明的精神和范围内的变化。因此，本领域的普通技术人员可以在不背离本发明的精神和范围下进行许多变型。

Claims (4)

1.一种人体运动捕获方法，其步骤如下：

（1）摄像头的标定：将易于佩戴的简易标志固定在人体关节点，作为标记，两台摄像机同时拍摄，获取标定帧，计算了双目摄像机之间的相对旋转与平移关系，并对单目摄像机标定的结果进行了优化，获得精确的标定结果；

（2）人体模型初始化:首先选择匹配误差最小的一组图像作为首帧图像,测量人体关节各部位在世界坐标系中的3D坐标,最终对首帧图像中人体棍状模型初始化；

（3）人体关节点跟踪:测出的3D位置投影到双目摄像头所对应的图像上，结合预测出的关节点的位置信息和实际过程中提取的关节点的位置信息进行关节点的跟踪,从而获取各个关节点在视频中的运动轨迹。

2.如权利要求1所述的一种人体运动捕获方法，其特征在于：所述的摄像头的标定具体包括以下步骤：

（1）单目摄像机标定：在拍摄的视频中，手持标定板，根据视频中标定板的不同位姿选择至少三幅视频图像作为标定帧，计算摄像机的内外参数，存储标定结果；

（2）双目摄像机的同步：使用DirectShow驱动摄像机，并同时打开两个摄像机进行拍摄，实现双目摄像机的同步工作；

（3）双目摄像机标定：两台摄像机同时拍摄，获取标定帧，主要计算了双目摄像机之间的相对旋转与平移关系，并对单目摄像机标定的结果进行优化，获得精确的标定结果。

3.如权利要求1所述的一种人体运动捕获方法，其特征在于：所述的人体模型初始化具体包括以下步骤：

（1）人体标记点提取：目标人体上标志点的提取是通过识别颜色将标记的中心位置信息提取的，采用区域生长的方法分割出运动人体上的标记，从而求得标记的中心位置；

（2）标记点聚类：为了能够找到准确的标志点，运用加权和层次聚类相结合的方法对图像中找到的标记区域进行聚类处理。

（3）标记点匹配：为了在双目视频中相同部位的标记进行匹配，分别在两幅图像中选取一个标记向量的起点，然后根据向量是不是相等或者是相似来识别其他的标志点。

4.如权利要求1所述的一种人体运动捕获方法，其特征在于：所述的易于佩戴的简易标志为红色布条。

Images