CN103218611B - 基于分布式协同学习的人体运动跟踪方法 - Google Patents

Abstract

本发明公开了一种基于分布式学习的人体运动跟踪方法，主要解决现有技术训练所需硬件成本高，训练时间长，对大数据集无力的问题。其实现步骤是：（1）将视频分割成帧图像并从图像中提取人体部位框图；（2）用描述子提取框图中的人体特征；(3)将提取的特征用随机特征映射法映射到由映射向量所组成的空间中；(3)用训练样本的映射向量和真实姿态构成人体运动跟踪的模型，将该人体运动跟踪模型分割成多个子模型；（4）用多个学习机协同求解这多个子模型的公共解，利用该公共解估计测试样本的真实运动姿态。本发明与传统的人体运动跟踪方法相比，在达到相同的精度的前提下，具有硬件成本低，训练时间短的优点，可用于运动捕获、人机交互及视频监控。

Description

基于分布式协同学习的人体运动跟踪方法

技术领域

本发明属于计算机视觉及视频图像处理技术领域，主要涉及视频人体运动跟踪和三维姿态恢复，可用于运动捕获、人机交互及视频监控。

背景技术

视频人体运动跟踪是近二十年内计算机视觉领域的重大热点之一，人物是核心的内容，反映着图像的核心语义特征。此类技术已在运动捕获，人机交互，视频监控等多领域获得了初步的应用，并具重大的应用前景。对视频人体运动跟踪的理解和解译属于视频图像处理范畴，还涉及模式识，别机器学习及信号处理，等众多学科。三维人体运动跟踪和姿势恢复一系列的研究是计算机视觉领域一个长期存在，重要而距离彻底解决尚很遥远的问题。对人类来说，观看一幅图像时几乎可以瞬间理解其中人物的姿态；然而对于计算机来说，这种理解需要克服重重困难，必需要一种有效的图像特征表征其中的人物运动状态以及图像纹理，轮廓等细节信息，作为计算机的识别接口。在运动跟踪过程中，需要将运动跟踪判定方法和图像特征表示结合使用达到对人体的运动跟踪和三维姿势恢复。现有的运动跟踪中使用的跟踪判定方法大致可分为产生式和判别式。图像特征表示方法大致可以分为基于全局特征点方法和基于局部字码表的特征表示方法，如梯度直方特征HOG、层级化特征HMAX、形状上下文、及尺度不变性特征点的方法等。

目前已经有很多成熟的建模方法被运用到人体运动跟踪和三维姿态重构中。但是大部分的建模方法均由单个学习机完成，这样使得内存需求和运算时间都非常巨大，特别在要处理的数据几何级增长的今天，这些方法显得力不从心，它们的实际应用被大大限制了。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于分布式协同学习的人体运动跟踪方法，以在保持精度的情况下，降低学习机的内存需求和训练所需的时间。

本发明的技术思路是：从视频图像序列中提取含有人体全身的图像部位，然后利用一些经典的描述子对图像提取特征，然后对得到的特征向量做随机映射得到映射向量。将此映射与相应训练图像的真实姿势分构成的人体运功跟踪模型分割为N个子模型，每个子模型用一个学习机处理。在迭代求解过程中，各个学习机并行处理，并互相影响最终共同决策出一个人体运功跟踪模型公共解，该公共解与分割前的模型的解具有相同的精度。学习到公共解之后就可对待测试的视频图像序列进行运动跟踪和三维姿势恢复。这样一来本来由一个学习机承担的硬件成本和训练时间就被这N个学习机分摊了，因此本发明能在保持精度不变的情况下，降低硬件需求和训练所需的时间。

本发明的技术方案通过如下步骤实现：视频图像处理具体包括：

（1）输入待处理的真实姿态已知的训练视频和测试视频，并将其转换为连续单幅序列图，根据图像内容确定需要识别的主要人体目标图像区域，并用矩形框体将其提取出，再将由训练视频得到的和由测试视频得到的图像区域的大小统一转换为近似于人体运动比例的64×192像素的初始图像，分别作为训练样本和测试样本，训练样本的真实姿态用姿态矩阵表示，其中N_train是训练样本的个数，E是真实姿态的维数；

（2）利用描述子提取训练样本和测试样本的特征，得到训练样本的特征矩阵 $X=[x_1^T,x_2^T,\·\·\·,x_p^T,\·\·\·,x_{N_{\mathrm{train}}}^T{]}^T$ 和测试样本的特征矩阵 $X_t=[x_1^T,x_2^T,\·\·\·,x_q^T,\·\·\·x_{N_{\mathrm{test}}}^T{]}^T,$ 其中x_p表示训练样本的特征向量，p=1,2,...,N_train，x_q表示测试样本的特征向量，q=1,2,...,N_test，N_test为测试样本的个数,T表示矩阵的转置操作；

（3）利用随机特征映射法将训练样本的特征矩阵X和测试样本的特征矩阵X_t投影到随机特征空间中，分别得到训练样本的映射矩阵 $\mathrm{\Φ}\left(X\right)=[\mathrm{\Φ}{\left(x_1\right)}^T,\mathrm{\Φ}{\left(x_2\right)}^T,\·\·\·,\mathrm{\Φ}{\left(x_p\right)}^T,\·\·\·,\mathrm{\Φ}{\left({x_N}_{\mathrm{train}}\right)}^T{]}^T$ 和测试样本的映射矩阵 $\mathrm{\Φ}\left(X_t\right)=[\mathrm{\Φ}{\left(x_1\right)}^T,\mathrm{\Φ}{\left(x_2\right)}^T,\·\·\·,\mathrm{\Φ}{\left(x_q\right)}^T,\·\·\·,\mathrm{\Φ}{\left({x_N}_{\mathrm{test}}\right)}^T{]}^T,$ 其中Φ(x_p)和Φ(x_q)分别表示训练样本的特征向量x_p和测试样本的特征向量x_q在随机特征空间中的投影；

（4）将训练样本的映射矩阵Φ(X)和与其对应的姿态矩阵Y构成人体运动跟踪模型： ${\mathrm{\θ}}^{\′}=\arg \mathrm{mi}{n}_{\mathrm{\θ}}\frac{1}{2}{\left|\right|Y-\mathrm{\Φ}\left(X\right)\mathrm{\θ}\left|\right|}_F^2,$ 其中 $\frac{1}{2}{\left|\right|Y-\mathrm{\Φ}\left(X\right)\mathrm{\θ}\left|\right|}_F^2$ 是该模型所要最小化的目标函数，θ是目标函数的变量，||·||_F表示矩阵的Frobenius范数；

（5）将人体运动跟踪模型分割成N个同解子模型 ${\mathrm{\θ}}^c=\arg \mathrm{mi}{n}_{{\mathrm{\θ}}^i}\frac{1}{2}{\left|\right|Y^i-\mathrm{\Φ}\left(X^i\right){\mathrm{\θ}}^i\left|\right|}_F^2,$ 其中 $\frac{1}{2}{\left|\right|Y^i-\mathrm{\Φ}\left(X^i\right){\mathrm{\θ}}^i\left|\right|}_F^2$ 是第i个子模型所要最小化的目标函数，θⁱ是第i个子模型的目标函数的变量，Φ(Xⁱ)表示训练样本的映射矩阵Φ(X)的子矩阵，即Φ(X)=[Φ(X¹)^T,Φ(X²)^T,…,Φ(Xⁱ)^T,…,Φ(X^N)^T]^T，矩阵Yⁱ表示姿态矩阵Y的子矩阵，即Y=[(Y¹)^T,(Y²)^T,…,(Yⁱ)^T,…,(Y^N)^T]^T，i=1,2,...,N表示第i个子模型；

（6）用N个学习机求解这N个子模型，即用一个学习机求解一个子模型，在求解过程中，N个学习机互相协同得到这N个子模型的公共解θ^c，并将此公共解θ^c作为人体运动跟踪模型 ${\mathrm{\θ}}^{\′}=\arg \mathrm{mi}{n}_{\mathrm{\θ}}\frac{1}{2}{\left|\right|Y-\mathrm{\Φ}\left(X\right)\mathrm{\θ}\left|\right|}_F^2$ 的解，即θ^′=θ^c；

（7）用测试样本的映射矩阵Φ(X_t)和人体运动跟踪模型的解θ′，计算测试样本所对应的真实三维运动姿态Y_t=Φ(X_t)θ′。

本发明与现有的技术相比具有以下优点：

1）在本发明由于在求解模型的过程中，每个学习机只需要处理一部分训练样本，降低了的内存需求。

2）本发明由于在中求解模型的过程中，通过多个学习机协同完成，因此能在精度保持不变的情况下，缩短训练所需要的时间。

附图说明

图1是本发明的实现流程图；

图2是本发明仿真中要使用的经步骤一处理后的的行走运动序列视频图；

图3是使用本发明与现有的工程优化方法对图2所示的运动序列视频图进行人体运动跟踪训练的误差变化曲线的对比图；

图4是使用本发明与使用现有的工程优化方法对图2所示的运动序列视频图进行人体运动跟踪训练所花费时间的对比图。

具体实施方式

参照图1，本发明的具体实现步骤如下：

步骤一，输入待处理的真实姿态已知的训练视频和测试视频，并将其转换为连续单幅序列图，根据图像内容确定需要识别的主要人体目标图像区域，并用矩形框体将其提取出，再将由训练视频得到的和由测试视频得到的图像区域的大小统一转换为近似于人体运动比例的64×192像素的初始图像，分别作为训练样本和测试样本，训练样本的真实姿态用姿态矩阵表示，其中N_train是训练样本的个数，E是真实姿态的维数。

步骤二，利用HoG描述子或HMAX描述子，提取训练样本和测试样本的特征，得到训练样本的特征矩阵和测试样本的特征矩阵其中x_p表示训练样本的特征向量，p=1,2,...,N_train，x_q表示测试样本的特征向量，q=1,2,...,N_test，N_test为测试样本的个数,T表示矩阵的转置操作。

本实施例采用但不局限于HoG描述子，其他可选的描述子还有HMAX。

步骤三，利用随机特征映射法将训练样本的特征矩阵X和测试样本的特征矩阵X_t投影到随机特征空间中，分别得到训练样本的映射矩阵Φ(X)和测试样本的映射矩阵Φ(X_t)。

3.1)随机生成L个向量和L个标量η_l，N_in为训练样本的特征向量x_p的维数，使η_l和中的每一个元素均服从[-1,1]上的均匀分布，在本实施例中设定L=800；

3.2)计算训练样本的特征向量x_p和测试样本的特征向量x_q在随机特征空间中的投影，分别得到训练样本的映射向量和测试样本的映射向量

其中表示基函数，u表示中间变量，该中间变量u在不同的样本中取值不同，即在训练样本的映射向量中，在测试样本的映射向量中，表示训练样本的映射向量和测试样本的映射向量的第l列。

本实施采用但不局限于其他可采用用的基函数有如下几种：

3.3）将训练样本的映射向量Φ(x_p)和测试样本的映射向量Φ(x_q)分别排列，得到训练样本的映射矩阵Φ(X)和测试样本的映射矩阵Φ(X_t)：

$\mathrm{\Φ}\left(X\right)=[\mathrm{\Φ}{\left(x_1\right)}^T,\mathrm{\Φ}{\left(x_2\right)}^T,\·\·\·,\mathrm{\Φ}{\left(x_p\right)}^T,\·\·\·,\mathrm{\Φ}{\left({x_N}_{\mathrm{train}}\right)}^T{]}^T$

$\mathrm{\Φ}\left(X_t\right)=[\mathrm{\Φ}{\left(x_1\right)}^T,\mathrm{\Φ}{\left(x_2\right)}^T,\·\·\·,\mathrm{\Φ}{\left(x_q\right)}^T,\·\·\·,\mathrm{\Φ}{\left({x_N}_{\mathrm{test}}\right)}^T{]}^T,$

步骤四，将训练样本的映射矩阵Φ(X)和与其对应的姿态矩阵Y构成人体运动跟踪模型： ${\mathrm{\θ}}^{\′}=\arg \mathrm{mi}{n}_{\mathrm{\θ}}\frac{1}{2}{\left|\right|Y-\mathrm{\Φ}\left(X\right)\mathrm{\θ}\left|\right|}_F^2,$ 其中 $\frac{1}{2}{\left|\right|Y-\mathrm{\Φ}\left(X\right)\mathrm{\θ}\left|\right|}_F^2$ 是该模型所要最小化的目标函数，θ是目标函数的变量，||·||_F表示矩阵的Frobenius范数。

步骤五，将人体运动跟踪模型分割成N个同解子模型 ${\mathrm{\θ}}^c=\arg \mathrm{mi}{n}_{{\mathrm{\θ}}^i}\frac{1}{2}{\left|\right|Y^i-\mathrm{\Φ}\left(X^i\right){\mathrm{\θ}}^i\left|\right|}_F^2,$ 其中 $\frac{1}{2}{\left|\right|Y^i-\mathrm{\Φ}\left(X^i\right){\mathrm{\θ}}^i\left|\right|}_F^2$ 是第i个子模型所要最小化的目标函数，θⁱ是第i个子模型的目标函数的变量，Φ(Xⁱ)表示训练样本的映射矩阵Φ(X)的子矩阵，其中：

Φ(X)=[Φ(X¹)^T,Φ(X²)^T,…,Φ(Xⁱ)^T,…,Φ(X^N)^T]^T，

Yⁱ表示姿态矩阵Y的子矩阵，Y=[(Y¹)^T,(Y²)^T,…,(Yⁱ)^T,…,(Y^N)^T]^T，i=1,2,...,N表示第i个子模型。

在本实施例中，根据训练样本中人物动作的不同，将模型分割成N=5个子模型，每一个子模型对应一类动作。模型的分割方式不限于上述方式，其他可使用的分割方式还有随机分，按人物体型分等。

步骤六，用N个学习机协同求解所述的N个子模型，得到人体运动跟踪模型的解θ′。

6.1）给定容许梯度误差ε_g>0、容许相对解误差ε_θ>0、影响参数γ>0和关系矩阵其中A是对称矩阵；

本实例中设定容许梯度误差设定ε_g=10^-6，容许相对解误差ε_θ=10^-8，影响参数γ=0.1，关系矩阵A则随机产生，关系矩阵A中的每一个元素服从[01]上的均匀分布；

6.2）第i个学习机随机给定第i个人体运动跟踪子模型 ${\mathrm{\θ}}^c=\arg \mathrm{mi}{n}_{{\mathrm{\θ}}^i}\frac{1}{2}{\left|\right|Y^i-\mathrm{\Φ}\left(X^i\right){\mathrm{\θ}}^i\left|\right|}_F^2$ 的一个初始解 ${\mathrm{\θ}}_1^i\∈R^{L\×E},$ 中的每一个元素为（0，1）之间的小数，其中θ^c表示子模型的公共解，E表示姿态矩阵Y的列数，L表示训练样本的映射矩阵Φ(X)的列数；

6.3）第i个学习机计算第i个子模型的目标函数在处的梯度 $g_1^i={(Y^i-\mathrm{\Φ}\left(X^i\right){\mathrm{\θ}}_1^i)}^T\mathrm{\Φ}\left(X^i\right);$

6.4）第i个学习机将初始解和梯度传递给其他学习机，并接收由其他学习机传递过来的初始解和梯度；

6.5）第i个学习机对步骤6.3）所述的梯度和步骤6.4）接收到的其他学习机的梯度求和再求模，得到模值 $g_1^s={\left|\right|\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{g}_1^i\left|\right|}_F^2,$ 并计算相对解误差 ${\mathrm{\θ}}_1^d=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|{\mathrm{\θ}}_1^i-\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\θ}}_1^j\left|\right|}_F^2,$ 其中j为求和符号∑·的中间变量；

6.6）将模值相对解误差分别与容许梯度误差ε_g、容许相对解误差ε_θ比较，若且则输出公共解 ${\mathrm{\θ}}^c=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\θ}}_1^i,$ 并将此公共解θ^c作为人体运动跟踪模型 ${\mathrm{\θ}}^{\′}=\arg \mathrm{mi}{n}_{\mathrm{\θ}}\frac{1}{2}{\left|\right|Y-\mathrm{\Φ}\left(X\right)\mathrm{\θ}\left|\right|}_F^2$ 的解，即θ′=θ^c；否则转步骤6.7）；

6.7）令迭代次数k=1，第i个学习机给定初始解的初始矫正矩阵其中1_E表示1×E的全一向量，I_L表示L×L的单位矩阵，表示矩阵的Kronecker张量积运算；

6.8）第i个学习机计算搜索方向：

$d_k^i=[d_k^i\left(1\right),d_k^i\left(2\right),\·\·\·,d_k^i\left(e\right),\·\·\·,d_k^i\left(E\right)],$

其中表示搜索方向的第e列，表示矫正矩阵 $H_k^i=[H_k^i\left(1\right),H_k^i\left(2\right),\·\·\·,H_k^i\left(e\right),\·\·\·,H_k^i\left(E\right)]$ 的第e个子矩阵，表示梯度的第e列，e=1,2,...,E；

6.9）第i个学习机计算相对步长 ${\mathrm{\λ}}_k^i=[{\mathrm{\λ}}_k^i\left(1\right),{\mathrm{\λ}}_k^i\left(2\right),\·\·\·,{\mathrm{\λ}}_k^i\left(e\right),\·\·\·,{\mathrm{\λ}}_k^i\left(E\right)],$ 其中 ${\mathrm{\λ}}_k^i\left(e\right)=\frac{{\left(Y^i\left(e\right)\right)}^T\mathrm{\Φ}\left(X^i\right)d_k^i\left(e\right)-{\left({\mathrm{\θ}}_k^i\left(e\right)\right)}^T\mathrm{\Φ}{\left(X^i\right)}^T\mathrm{\Φ}\left(X^i\right)d_k^i\left(e\right)}{{\left(d_k^i\left(e\right)\right)}^T\mathrm{\Φ}{\left(X^i\right)}^T\mathrm{\Φ}\left(X^i\right)d_k^i\left(e\right)}$ 是相对步长的第e个元素，向量Yⁱ(e)表示姿态矩阵Y的第e列，e=1,2,...,E；

6.10）第i个学习机将相对步长传递给其他学习机，并接收由其他学习机传递来的相对步长；

6.11）第i个学习机计算全局步长其中是全局步长λ_k的第e个元素，e=1,2,...,E；

6.12）第i个学习机根据第k次迭代的解计算第k+1次迭代的解：

${\mathrm{\θ}}_{k+1}^i=[{\mathrm{\θ}}_{k+1}^i\left(1\right),{\mathrm{\θ}}_{k+1}^i\left(2\right),\·\·\·,{\mathrm{\θ}}_{k+1}^i\left(e\right),\·\·\·,{\mathrm{\θ}}_{k+1}^i\left(E\right)],$

其中 ${\mathrm{\θ}}_{k+1}^i\left(e\right)={\mathrm{\θ}}_k^{\mathrm{ie}}\left(e\right)+{\mathrm{\λ}}_k\left(e\right)d_k^i\left(e\right)+\mathrm{\γ}\underset{j\≠i}{\mathrm{\Σ}}{\mathrm{\α}}_{\mathrm{ij}}({\mathrm{\θ}}_k^i\left(e\right)-{\mathrm{\θ}}_k^j\left(e\right))$ 是第k+1次迭代的解的第e列，向量是解的第e列，α_ij是关系矩阵A第i行第j列的元素，e=1,2,...,E；

6.13）第i个学习机计算第i个子模型的目标函数在处的梯度 $g_{k+1}^i={(Y^i-\mathrm{\Φ}\left(X^i\right){\mathrm{\θ}}_{k+1}^i)}^T\mathrm{\Φ}\left(X^i\right);$

6.14)第i个学习机将第k+1次迭代的解和梯度传递给其他学习机，并接收由其他学习机传递过来的第k+1次迭代的解和梯度；

6.15）第i个学习机对步骤6.13）所述的梯度和步骤6.14）接收到的其他学习机的梯度求和并求模，得到模值并计算相对解误差 ${\mathrm{\θ}}_{k+1}^d=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|{\mathrm{\θ}}_{k+1}^i-\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\θ}}_{k+1}^j\left|\right|}_F^2;$

6.16)将模值相对解误差分别与容许梯度误差ε_g、容许相对解误差ε_θ比较，若且则输出公共解并将此公共解θ^c作为人体运动跟踪模型 ${\mathrm{\θ}}^{\′}=\arg \mathrm{mi}{n}_{\mathrm{\θ}}\frac{1}{2}{\left|\right|Y-\mathrm{\Φ}\left(X\right)\mathrm{\θ}\left|\right|}_F^2$ 的解，即θ′=θ^c；否则转步骤6.17）

6.17）第i个学习机更新矫正矩阵:

$H_{k+1}^i=[H_{k+1}^i\left(1\right),H_{k+1}^i\left(2\right),\·\·\·,H_{k+1}^i\left(e\right),\·\·\·,H_{k+1}^i\left(E\right)],$

其中 $H_{k+1}^i\left(e\right)=H_k^i\left(e\right)+\frac{\mathrm{\Δ}{\mathrm{\θ}}_k^i\left(e\right){\left(\mathrm{\Δ}{\mathrm{\θ}}_k^i\left(e\right)\right)}^T}{{\left(\mathrm{\Δ}{\mathrm{\θ}}_k^i\left(e\right)\right)}^T\mathrm{\Δ}{g}_k^i\left(e\right)}-\frac{H_k^i\left(e\right)\mathrm{\Δ}{g}_k^i\left(e\right){\left(\mathrm{\Δ}{g}_k^{\mathrm{ie}}\right)}^T{H}_k^i\left(e\right)}{{\left(\mathrm{\Δ}{g}_k^i\left(e\right)\right)}^T{H}_k^i\left(e\right)\mathrm{\Δ}{g}_k^i\left(e\right)}$ 是矫正矩阵的第e个子矩阵，是解增量矩阵的第e列，是梯度增量矩阵的第e列， $\mathrm{\Δ}{\mathrm{\θ}}_k^i={\mathrm{\θ}}_{k+1}^i-{\mathrm{\θ}}_k^i,\mathrm{\Δ}{g}_k^i=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{g}_{k+1}^j-\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{g}_k^j,$ △表示某一量的增量，e=1,2,...,E；令迭代次数k=k+1，并转步骤6.8）。

从步骤六看出，本发明有如下优势：1）每个学习机只需要处理一部分数据，因此降低了硬件需求；2）N个子模型是协同求解的，因此训练一个子模型所需的时间即为整个训练过程所需的时间，与传统方法训练模型相比缩短了训练时间；3）这N个学习机求出的公共解θ^c与分割前模型的解θ′具有相同的精度。综上，本发明所提出的方法，可以在保持精度不变的情况下，减少硬件需求和训练时间。

本实例中采用但不限于以上协同方式，其他可以选用的协同方式有分布式协同BFGS法、分布式协同最速下降法等。

步骤七用测试样本的映射矩阵Φ(X_t)和人体运动跟踪模型的解θ′，计算测试样本所对应的真实三维运动姿态Y_t=Φ(X_t)θ′。

本发明的效果可通过以下仿真进一步说明：

（一）实验条件设置

本发明中运动图像，划分类别为“行走”、“慢跑”、“挥手”、“拳击”和“扔和接”，分别在公认的运动视频序列数据库的不同的子类别上进行了验证，采用matlab环境进行仿真编程。

以“行走”为例，其视频序列图像为一个女性角色在红色地毯上平行于摄像机视角方向进行环形步态行走，原始图像大小为640×480，经步骤一处理后每幅含人体图像大小为64×192，它包括正对摄像机和背对摄像机的帧图像段，如图2所示，其中图2（a）是序列第一截图，女性角色正向走过镜头，图2（b）是序列第二截图，女性角色背向远离镜头，图2（c）是序列第三截图，女性角色左侧身行走，图2(d)是序列第四截图，女性角色右侧身行走。

（二）仿真内容及结果

使用本发明和现有的工程优化方法对“行走”、“挥手”、“慢跑”、“扔与接”和“拳击”人体运动视频图像进行仿真实验，对比两个方法的训练误差曲线，测试误差，训练所花费时间及训练所占用内存。

使用本发明与使用现有的工程优化方法进行仿真实验的训练误差曲线对比如图3所示，其中实线表示本发明的训练误差曲线，虚线表示现有的工程优化的训练误差曲线，横坐标表示训练迭代数，纵坐标表示训练误差。

从如图3可见，随着迭代次数的增加，本发明的训练误差与现有的工程优化方法的训练误差都在不断的下降，并最终收敛在同一误差水平上。

使用本发明与使用现有的工程优化方法进行仿真实验的测试误差对比如表1所示，其中“行走”、“慢跑”、“挥手”、“拳击”和“扔和接”表示不同的动作，“平均”表示所有动作的平均误差

表1

单位：毫米（mm）	行走	慢跑	挥手	拳击	扔和接	平均
							本发明	46.7	60.5	17.3	33.9	46.3	40.9
工程优化	46.7	60.5	17.3	33.9	46.3	40.9

表1表明，对于所有不同动作，本发明的测试误差与现有的工程优化方法的测试误差完全相等。

图3和表1表明本发明和现有的工程优化方法具有相同的精度。

图4是使用本发明与现有的工程优化方法进行仿真实验所花费时间的对比图。

从图4可见，现有的工程优化方法平均每迭代一次需要72秒的运算时间，而本发明平均每迭代一次只需要18秒的运算时间，是现有的工程优化方法的1/4。

表2是使用本发明与现有的工程优化方法进行仿真实验时平均每个学习机所占用内存的对比表。

表2

单位：M	本发明	工程优化
			所占用的内存	120	486

表2表明，现有的工程优化方法平均每个学习机所占用的内存为486M，而本发明平均每个学习机只需要占用120M的内存，约为现有工程优化方法的1/4。图4和表2表明本发明需求的内存和训练时间远远少于现有的工程优化方法。

综上，本发明与现有的工程优化方法相比，在达到相同精度的前提下，本发明减少了学习机所需的内存和训练所需要的时间。

Claims (1)

1.一种基于分布式学习的人体运动跟踪方法，包括如下步骤：

(1)输入待处理的真实姿态已知的训练视频和测试视频，并将其转换为连续单幅序列图，根据图像内容确定需要识别的主要人体目标图像区域，并用矩形框体将其提取出，再将由训练视频得到的和由测试视频得到的图像区域的大小统一转换为近似于人体运动比例的64×192像素的初始图像，分别作为训练样本和测试样本，训练样本的真实姿态用姿态矩阵表示，其中N_train是训练样本的个数，E是真实姿态的维数；

(2)利用HoG描述子或Shift描述子，提取训练样本和测试样本的特征，得到训练样本的特征矩阵和测试样本的特征矩阵其中x_p表示训练样本的特征向量，p＝1,2,...,N_train，x_q表示测试样本的特征向量，q＝1,2,...,N_test，N_test为测试样本的个数，T表示矩阵的转置操作；

(3)利用随机特征映射法将训练样本的特征矩阵X和测试样本的特征矩阵X_t投影到随机特征空间中，分别得到训练样本的映射矩阵 $\mathrm{\Φ}\left(X\right)={\[\mathrm{\Φ}{\left(x_1\right)}^T,\mathrm{\Φ}{\left(x_2\right)}^T,...,\mathrm{\Φ}{\left(x_p\right)}^T,...,\mathrm{\Φ}{\left(x_{N_{train}}\right)}^T\]}^T$ 和测试样本的映射矩阵 $\mathrm{\Φ}\left(X_t\right)={\[\mathrm{\Φ}{\left(x_1\right)}^T,\mathrm{\Φ}{\left(x_2\right)}^T,...,\mathrm{\Φ}{\left(x_q\right)}^T,...,\mathrm{\Φ}{\left(x_{N_{test}}\right)}^T\]}^T,$ 其中Φ(x_p)和Φ(x_q)分别表示训练样本的特征向量x_p和测试样本的特征向量x_q在随机特征空间中的投影；

(4)将训练样本的映射矩阵Φ(X)和与其对应的姿态矩阵Y构成人体运动跟踪模型： ${\mathrm{\θ}}^{\′}={\mathrm{argmin}}_{\mathrm{\θ}}\frac{1}{2}\left|\right|Y-\mathrm{\Φ}\left(X\right)\mathrm{\θ}|{|}_F^2,$ 其中是该模型所要最小化的目标函数，θ是目标函数的变量，||·||_F表示矩阵的Frobenius范数；

(5)将人体运动跟踪模型θ′分割成N个同解子模型 ${\mathrm{\θ}}^c={\mathrm{argmin}}_{{\mathrm{\θ}}^i}\frac{1}{2}\left|\right|Y^i-\mathrm{\Φ}\left(X^i\right){\mathrm{\θ}}^i|{|}_F^2,$ 其中是第i个子模型所要最小化的目标函数，θⁱ是第i个子模型的目标函数的变量，Φ(Xⁱ)表示训练样本的映射矩阵Φ(X)的子矩阵，即Φ(X)＝[Φ(X¹)^T,Φ(X²)^T,…,Φ(Xⁱ)^T,…,Φ(X^N)^T]^T，矩阵Yⁱ表示姿态矩阵Y的子矩阵，即Y＝[(Y¹)^T,(Y²)^T,…,(Yⁱ)^T,…,(Y^N)^T]^T，i＝1,2,...,N表示第i个子模型；

(6)用N个学习机求解这N个子模型，即用一个学习机求解一个子模型，在求解过程中，N个学习机互相协同得到这N个子模型的公共解θ^c，并将此公共解θ^c作为人体运动跟踪模型的解，即θ′＝θ^c；

所述的用一个学习机求解一个子模型，在求解过程中，N个学习机互相协同得到这N个子模型的公共解θ^c，按如下步骤进行：

6.1)给定容许梯度误差ε_g>0、容许相对解误差ε_θ>0、影响参数γ>0和关系矩阵其中A是对称矩阵；

6.2)第i个学习机随机给定第i个人体运动跟踪子模型的一个初始解 中的每一个元素为(0，1)之间的小数，E表示姿态矩阵Y的列数，L表示训练样本的映射矩阵Φ(X)的列数；

6.3)第i个学习机计算第i个子模型的目标函数在处的梯度 $g_1^i={(Y^i-\mathrm{\Φ}(X^i\left){\mathrm{\θ}}_1^i\right)}^T\mathrm{\Φ}\left(X^i\right);$

6.4)第i个学习机将初始解和梯度传递给其他学习机，并接收由其他学习机传递过来的初始解和梯度；

6.5)第i个学习机对步骤6.3)所述的梯度和步骤6.4)接收到的其他学习机的梯度求和再求模，得到模值并计算相对解误其中j为求和符号∑·的中间变量；

6.6)将模值与容许梯度误差ε_g比较，相对解误差与容许相对解误差ε_θ比较，若且则停止流程，并输出公共解否则转步骤6.6)；

6.7)令迭代次数k＝1，第i个学习机给定初始解的初始矫正矩阵其中1_E表示1×E的全一向量，I_L表示L×L的单位矩阵，表示矩阵的Kronecker张量积运算；

6.8)第i个学习机计算搜索方向：

$d_k^i=\[d_k^i\left(1\right),d_k^i\left(2\right),...,d_k^i\left(e\right),...,d_k^i\left(E\right)\],$

其中表示搜索方向的第e列，表示矫正矩阵 $H_k^i=\[H_k^i\left(1\right),H_k^i\left(2\right),...,H_k^i\left(e\right),...,H_k^i\left(E\right)\]$ 的第e个子矩阵，表示梯度的第e列，e＝1,2,...,E；

6.9)第i个学习机计算相对步长 ${\mathrm{\λ}}_k^i=\[{\mathrm{\λ}}_k^i\left(1\right),{\mathrm{\λ}}_k^i\left(2\right),\mathrm{...},{\mathrm{\λ}}_k^i\left(e\right),\mathrm{....},{\mathrm{\λ}}_k^i\left(E\right)\],$ 其中 ${\mathrm{\λ}}_k^i\left(e\right)=\frac{{\left(Y^i\right(e\left)\right)}^T\mathrm{\Φ}\left(X^i\right)d_k^i\left(e\right)-{\left({\mathrm{\θ}}_k^i\right(e\left)\right)}^T\mathrm{\Φ}{\left(X^i\right)}^T\mathrm{\Φ}\left(X^i\right)d_k^i\left(e\right)}{{\left(d_k^i\right(e\left)\right)}^T\mathrm{\Φ}{\left(X^i\right)}^T\mathrm{\Φ}\left(X^i\right)d_k^i\left(e\right)}$ 是相对步长的第e个元素，向量Yⁱ(e)表示姿态矩阵Y的第e列，e＝1,2,...,E；

6.10)第i个学习机将相对步长传递给其他学习机，并接收由其他学习机传递来的相对步长；

6.11)第i个学习机计算全局步长其中是全局步长λ_k的第e个元素，e＝1,2,...,E；

6.12)第i个学习机根据第k次迭代的解计算第k+1次迭代的解：

${\mathrm{\θ}}_{k+1}^i=\[{\mathrm{\θ}}_{k+1}^i\left(1\right),{\mathrm{\θ}}_{k+1}^i\left(2\right),...,{\mathrm{\θ}}_{k+1}^i\left(e\right),...,{\mathrm{\θ}}_{k+1}^i\left(E\right)\],$

其中 ${\mathrm{\θ}}_{k+1}^i\left(e\right)={\mathrm{\θ}}_k^{ie}\left(e\right)+{\mathrm{\λ}}_k\left(e\right)d_k^i\left(e\right)+\mathrm{\γ}\underset{j\≠i}{\Σ}{\mathrm{\α}}_{ij}\left({\mathrm{\θ}}_k^i\right(e)-{\mathrm{\θ}}_k^j(e\left)\right)$ 是第k+1次迭代的解的第e列，向量是解的第e列，α_ij是关系矩阵A第i行第j列的元素，e＝1,2,...,E；

6.13)第i个学习机计算第i个子模型的目标函数在处的梯度 $g_{k+1}^i={(Y^i-\mathrm{\Φ}(X^i\left){\mathrm{\θ}}_{k+1}^i\right)}^T\mathrm{\Φ}\left(X^i\right);$

6.14)第i个学习机将第k+1次迭代的解和梯度传递给其他学习机，并接收由其他学习机传递过来的第k+1次迭代的解和梯度；

6.15)第i个学习机对步骤6.13)所述的梯度和步骤6.14)接收到的其他学习机的梯度求和并求模，得到模值并计算相对解误差 ${\mathrm{\θ}}_{k+1}^d=\underset{i=1}{\overset{N}{\Σ}}\left|\right|{\mathrm{\θ}}_{k+1}^i-\frac{1}{N}\underset{j=1}{\overset{N}{\Σ}}{\mathrm{\θ}}_{k+1}^j|{|}_F^2;$

6.16)将模值相对解误差分别与容许梯度误差ε_g、容许相对解误差ε_θ比较，若且则输出公共解否则令迭代次数k＝k+1，并转步骤6.7)；

6.17)第i个学习机更新矫正矩阵 $H_{k+1}^i=\[H_{k+1}^i\left(1\right),H_{k+1}^i\left(2\right),...,H_{k+1}^i\left(e\right),...,H_{k+1}^i\left(E\right)\]$ 其中 $H_{k+1}^i\left(e\right)=H_k^i\left(e\right)+\frac{{\mathrm{\Δ\θ}}_k^i\left(e\right){\left({\mathrm{\Δ\θ}}_k^i\right(e\left)\right)}^T}{{\left({\mathrm{\Δ\θ}}_k^i\right(e\left)\right)}^T{\mathrm{\Δg}}_k^i\left(e\right)}-\frac{H_k^i\left(e\right){\mathrm{\Δg}}_k^i\left(e\right){\left({\mathrm{\Δg}}_k^{ie}\right)}^T{H}_k^i\left(e\right)}{{\left({\mathrm{\Δg}}_k^i\right(e\left)\right)}^T{H}_k^i\left(e\right){\mathrm{\Δg}}_k^i\left(e\right)}$ 是矫正矩阵的第e个子矩阵，是解增量矩阵的第e列，是梯度增量矩阵的第e列， Δ表示某一量的增量，e＝1,2,...,E；

(7)用测试样本的映射矩阵Φ(X_t)和人体运动跟踪模型的解θ′，计算测试样本所对应的真实三维运动姿态Y_t＝Φ(X_t)θ′。