CN105678276A - 一种人体动作特征提取方法 - Google Patents

Abstract

本发明公开了一种人体动作特征提取方法，利用快速行人检测算法检测解码图像帧中的行人；剔除行人区域中的运动矢量数据获取相机运动参数估计数据；利用相机运动的对称性及矢量差分理论，基于前一步获得的数据估计相机运动参数；根据参数估计值，消除图像运动矢量数据中的相机运动矢量，还原实际人体运动矢量数据；基于修正后的矢量数据及解码图像提取人体动作局部时空特征。本方法通过重用视频码流中的编码数据进行快速相机运动消除，提升了人体动作局部时空特征描述的精确性，提高了人体动作识别率。

Description

一种人体动作特征提取方法

技术领域

本发明属于自动视频分析技术领域，涉及一种快速人体动作自动识别方法，具体涉及一种人体动作特征快速提取方法。

背景技术

随着互联网的不断发展、视频监控系统的不断推广，视频数据量急剧增长。面对海量涌现的视频数据，如何快速分析其中包含的人体动作行为成为一个亟待解决的问题。目前运动特征提取算法运行速度慢，达不到在线快速视频分析工程要求。

发明内容

为了解决上述技术问题，本发明提供了一种快速的人体动作特征快速提取方法。

本发明所采用的技术方案是：一种人体动作特征提取方法，其特征在于，包括以下步骤：

步骤1：解码视频码流获取视频原始图像及图像运动矢量数据；

步骤2：在视频原始图像中检测行人；

步骤3：剔除行人区域中的图像运动矢量数据，获得相机运动参数估计矢量数据；

步骤4：基于相机运动的对称性及矢量差分理论，对相机运动参数估计矢量数据进行相机运动参数估计；

步骤5：根据估计参数值，消除视频运动矢量数据中的相机运动矢量，还原实际目标运动矢量数据，获得修正后的矢量数据；

步骤6：基于修正后的矢量数据及解码图像提取人体动作局部时空特征。

作为优选，步骤1中是利用开源工具FFMPEG解码视频码流获取视频原始图像及图像运动矢量数据，FFMPEG解码器根据视频码流编码格式，自动调用相应的解码器对码流进行解码，得到原始图像帧F_m和图像运动矢量数据MV＝{MV(k₁),MV(k₂),…,MV(K)}，其中K为视频码流中宏块数。

作为优选，步骤2中是利用快速行人检测算法yolo在视频原始图像中检测行人，利用基于行人检测图片数据集事先离线训练好的yolo算法参数模型，检测原始图像帧F_m中的行人，获取行人在图像中的区域位置。

作为优选，步骤4的具体实现过程为，在视频解码得到压缩域P帧运动矢量数据后，基于图像中心原点构建图像坐标系XOY，X轴方向向右，Y轴方向向下；P帧中的每一个运动矢量能分解为平衡分量、伸缩分量和旋转分量的组合；相机运动参数方程表示为：

$f\left(z\right|A,T)=Az+T=\left(\begin{array}{cc}{a}_1& -a_2\\ a_2& a_1\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)+\left(\begin{array}{c}{t}_x\\ t_y\end{array}\right)---\left(1\right);$

其中，t_x和t_y分别表示X轴和Y轴上的平衡变化；a₁和a₂控制伸缩和旋转变化；由此，相机运动估计转换为对t_x、t_y、a₁和a₂四个参数的估计；

在图像坐标系XOY下，任意点z_i位置的运动矢量表示为：

MV(z_i)＝f(z_i|A,T)-z_i＝(A-I)z_i+T(2)；

相机平移运动参数求解公式如下：

$T_{I\_III}=\frac{1}{2}\[MV\left(z_I\right)+MV\left(z_{III}\right)\]---\left(3\right);$

$T_{II\_IV}=\frac{1}{2}\[MV\left(z_{II}\right)+MV\left(z_{IV}\right)\]---\left(4\right);$

其中z_I,z_II,z_III,z_IV分别为图像坐标系XOY第一、二、三、四象限中的像素点坐标；

应用公式3和公式4基于P帧运动矢量数据计算，得到参数T的初步估计值集合T_init＝{T_{I_III,1},T_{I_III,2},…,T_{I_III,M},T_{II_IV,1},T_{II_IV,2},…,T_{II_IV,N}}；然后计算所有T_i数据的均值，并计算所有数据与此均值的残差，再将残差的绝对平均值作为阈值剔除对应残差绝对值大于这个阈值的异常数据，剩余初始T_i参数数据的均值作为最终参数T的估计值T_esti＝(t_{x_esti},t_{y_esti})^T；

参数a₁和a₂求解公式如下：

$a_{1X}=\frac{{\mathrm{MV}}_x\left(z_2\right)-{\mathrm{MV}}_x\left(z_1\right)}{s_x}+1---\left(5\right);$

$a_{1Y}=\frac{{\mathrm{MV}}_y\left(z_4\right)-{\mathrm{MV}}_y\left(z_3\right)}{s_y}+1---\left(6\right);$

$a_{2X}=-\frac{{\mathrm{MV}}_x\left(z_4\right)-{\mathrm{MV}}_x\left(z_3\right)}{s_y}---\left(7\right);$

$a_{2Y}=\frac{{\mathrm{MV}}_y\left(z_2\right)-{\mathrm{MV}}_y\left(z_1\right)}{s_x}---\left(8\right);$

其中z₁＝(i₁,c_y)^T,z₂＝(i₂,c_y)^T,i₂＝i₁+s_x,z₃＝(c_x,j₁)^T,z₄＝(c_x,j₂)^T,j₂＝j₁+s_y；

应用公式5、公式6、公式7和公式8基于P帧运动矢量数据计算，得到参数a₁,a₂的初步估计值集合a_{1_init}＝{a_{1X_1},a_{1X_2},…,a_{1X_L},a_{1Y_1},a_{1Y_2},…,a_{1Y_K}}和a_{2_init}＝{a_{2X_1},a_{2X_2},…,a_{2X_R},a_{2Y_1},a_{2Y_2},…,a_{2Y_S}}，计算所有a_{1_i},a_{2_i}参数数据均值，然后再计算所有数据与此均值的残差，并将残差的绝对平均值作为阈值剔除对应残差绝对值大于这个阈值的异常数据，剩余初始a_{1_i},a_{2_i}参数数据的均值被作为最终参数a₁,a₂的估计值a_{1_esti},a_{2_esti}。

作为优选，步骤5中所述消除视频压缩域运动矢量数据的相机运动矢量，计算公式如下：

$\begin{array}{c}{\mathrm{MV}}^{\′}\left(z\right)=MV\left(z\right)-estiGM\left(z\right)\\ =MV\left(z\right)-(Az+T)\\ =MV\left(z\right)-\left(\left(\begin{array}{cc}{a}_{1\_esti}& -a_{2\_esti}\\ a_{2\_esti}& a_{1\_esti}\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)+\left(\begin{array}{c}{t}_{x\_esti}\\ t_{y\_esti}\end{array}\right)\right)\end{array}---\left(9\right).$

作为优选，步骤6的具体实现过程为，将视频立体块按16行×16列×5帧切分成小块，并按小块计算HOG、HOF和MBH值；对小块视频HOG、HOF和MBH值按2×2×3块进行拼接，得到人体动作特征描述向量。

相对于现有技术，本发明的有益效果为：明显提升了动作特征提取速度，可应用于在线快速动作分析。

附图说明

图1是本发明实施例的流程图。

图2是本发明实施例的相机伸缩、旋转运动矢量对称消减示例图。

图3是本发明实施例的人体动作HOG、HOF、MBH特征提取方法图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

参见图1，本发明实施例提供的一种人体动作特征快速提取方法，具体包括以下步骤：

步骤1：利用开源工具FFMPEG解码视频码流获取视频原始图像及图像运动矢量数据。FFMPEG解码器根据视频码流编码格式，自动调用相应的解码器对码流进行解码，得到原始图像帧F_m和图像运动矢量数据MV＝{MV(k₁),MV(k₂),…,MV(K)}，其中K为视频码流中宏块数。

步骤2：利用快速行人检测算法yolo在视频原始图像中检测行人。利用基于行人检测图片数据集事先离线训练好的yolo算法参数模型，检测原始图像帧F_m中的行人，获取行人在图像中的区域位置。

步骤3：剔除行人区域中的图像运动矢量数据，获得相机运动参数估计矢量数据MV_esti＝{MV(l₁),MV(l₂),…,MV(L)}。

步骤4：利用相机运动的对称性及矢量差分理论，基于视频压缩域运动矢量数据进行相机运动参数估计。在相机运动参数估计矢量数据中，基于图像中心原点构建图像坐标系XOY(参见图2)，X轴方向向右，Y轴方向向下。P帧中的每一个运动矢量可以分解为平衡分量、伸缩分量和旋转分量的组合。相机运动参数方程可以表示为：

$f\left(z\right|A,T)=Az+T=\left(\begin{array}{cc}{a}_1& -a_2\\ a_2& a_1\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)+\left(\begin{array}{c}{t}_x\\ t_y\end{array}\right)---\left(1\right);$

其中，t_x和t_y分别表示X轴和Y轴上的平衡变化。a₁和a₂控制伸缩和旋转变化。由此，相机运动估计转换为对t_x、t_y、a₁和a₂四个参数的估计。

在图2所示的图像坐标系XOY下，任意点z_i位置的运动矢量可表示为：

MV(z_i)＝f(z_i|A,T)-z_i＝(A-I)z_i+T(2)；

请见图2，因为伸缩分量和旋转分量基于原点对称，所以第一、三象限和二、四象限的运动矢量和旋转分量可以对称消减，消减后剩下平移分量。因此，相机平移运动参数求解公式如下：

$T_{I\_III}=\frac{1}{2}\[MV\left(z_I\right)+MV\left(z_{III}\right)\]---\left(3\right);$

$T_{II\_IV}=\frac{1}{2}\[MV\left(z_{II}\right)+MV\left(z_{IV}\right)\]---\left(4\right);$

其中z_I,z_II,z_III,z_IV分别为图像坐标系XOY第一、二、三、四象限中的像素点坐标；

应用公式3和公式4基于相机运动参数估计矢量数据MV_esti计算，得到参数T的初步估计值集合T_init＝{T_{I_III,1},T_{I_III,2},…,T_{I_III,M},T_{II_IV,1},T_{II_IV,2},…,T_{II_IV,N}}。然后计算所有T_i数据的均值，并计算所有数据与此均值的残差，再将残差的绝对平均值作为阈值剔除对应残差绝对值大于这个阈值的异常数据，剩余初始T_i参数数据的均值作为最终参数T的估计值T_esti＝(t_{x_esti},t_{y_esti})^T；

参数a₁和a₂求解公式如下：

$a_{1X}=\frac{{\mathrm{MV}}_x\left(z_2\right)-{\mathrm{MV}}_x\left(z_1\right)}{s_x}+1---\left(5\right);$

$a_{1Y}=\frac{{\mathrm{MV}}_y\left(z_4\right)-{\mathrm{MV}}_y\left(z_3\right)}{s_y}+1---\left(6\right);$

$a_{2X}=-\frac{{\mathrm{MV}}_x\left(z_4\right)-{\mathrm{MV}}_x\left(z_3\right)}{s_y}---\left(7\right);$

$a_{2Y}=\frac{{\mathrm{MV}}_y\left(z_2\right)-{\mathrm{MV}}_y\left(z_1\right)}{s_x}---\left(8\right);$

其中z₁＝(i₁,c_y)^T,z₂＝(i₂,c_y)^T,i₂＝i₁+s_x,z₃＝(c_x,j₁)^T,z₄＝(c_x,j₂)^T,j₂＝j₁+s_y；

应用公式5、公式6、公式7和公式8基于相机运动参数估计矢量MV_esti计算，得到参数a₁,a₂初步估计值集合a_{1_init}＝{a_{1X_1},a_{1X_2},…,a_{1X_L},a_{1Y_1},a_{1Y_2},…,a_{1Y_K}}和a_{2_init}＝{a_{2X_1},a_{2X_2},…,a_{2X_R},a_{2Y_1},a_{2Y_2},…,a_{2Y_S}}，计算所有a_{1_i},a_{2_i}参数数据均值，然后再计算所有数据与此均值的残差，并将残差的绝对平均值作为阈值剔除对应残差绝对值大于这个阈值的异常数据，剩余初始a_{1_i},a_{2_i}参数数据的均值被作为最终参数a₁,a₂的估计值a_{1_esti},a_{2_esti}。

步骤5：根据估计参数值，消除视频压缩域运动矢量数据中的相机运动矢量，还原实际目标运动矢量数据。计算公式如下：

$\begin{array}{c}{\mathrm{MV}}^{\′}\left(z\right)=MV\left(z\right)-estiGM\left(z\right)\\ =MV\left(z\right)-(Az+T)\\ =MV\left(z\right)-\left(\left(\begin{array}{cc}{a}_{1\_esti}& -a_{2\_esti}\\ a_{2\_esti}& a_{1\_esti}\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)+\left(\begin{array}{c}{t}_{x\_esti}\\ t_{y\_esti}\end{array}\right)\right)\end{array}---\left(9\right);$

步骤6：基于修正后的矢量数据MV′(z)及解码图像，提取HOG、HOF、MBH人体动作局部时空特征。对于视频每一帧(除去第1帧和最后14帧)，连同其后14帧数据一起形成视频立体块。请见图3，将视频立体块按16行×16列×5帧切分成小块，并按小块计算HOG、HOF和MBH值。对小块视频HOG、HOF和MBH值按2×2×3块进行拼接，得到人体动作特征描述向量。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种人体动作特征提取方法，其特征在于，包括以下步骤：

步骤1：解码视频码流获取视频原始图像及图像运动矢量数据；

步骤2：在视频原始图像中检测行人；

步骤3：剔除行人区域中的图像运动矢量数据，获得相机运动参数估计矢量数据；

步骤4：基于相机运动的对称性及矢量差分理论，对相机运动参数估计矢量数据进行相机运动参数估计；

步骤5：根据估计参数值，消除视频运动矢量数据中的相机运动矢量，还原实际目标运动矢量数据，获得修正后的矢量数据；

步骤6：基于修正后的矢量数据及解码图像提取人体动作局部时空特征。

2.根据权利要求1所述的人体动作特征提取方法，其特征在于：步骤1中是解码视频码流获取视频原始图像及图像运动矢量数据，得到原始图像帧F_m和图像运动矢量数据MV＝{MV(k₁),MV(k₂),…,MV(K)}，其中K为视频码流中宏块数。

3.根据权利要求1所述的人体动作特征提取方法，其特征在于：步骤2中是利用快速行人检测算法在视频原始图像中检测行人，获取行人在图像中的区域位置。

4.根据权利要求1所述的人体动作特征提取方法，其特征在于：步骤4的具体实现过程为，在视频解码得到压缩域P帧运动矢量数据后，基于图像中心原点构建图像坐标系XOY，X轴方向向右，Y轴方向向下；P帧中的每一个运动矢量能分解为平衡分量、伸缩分量和旋转分量的组合；相机运动参数方程表示为：

$f\left(z\right|A,T)=Az+T=\left(\begin{array}{cc}{a}_1& -a_2\\ a_2& a_1\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)+\left(\begin{array}{c}{t}_x\\ t_y\end{array}\right)---\left(1\right);$

其中，t_x和t_y分别表示X轴和Y轴上的平衡变化；a₁和a₂控制伸缩和旋转变化；由此，相机运动估计转换为对t_x、t_y、a₁和a₂四个参数的估计；

在图像坐标系XOY下，任意点z_i位置的运动矢量表示为：

MV(z_i)＝f(z_i|A,T)-z_i＝(A-I)z_i+T(2)；

相机平移运动参数求解公式如下：

$T_{I\_III}=\frac{1}{2}\[MV\left(z_I\right)+MV\left(z_{III}\right)\]---\left(3\right);$

$T_{II\_IV}=\frac{1}{2}\[MV\left(z_{II}\right)+MV\left(z_{IV}\right)\]---\left(4\right);$

其中z_I,z_II,z_III,z_IV分别为图像坐标系XOY第一、二、三、四象限中的像素点坐标；

应用公式3和公式4基于P帧运动矢量数据计算，得到参数T的初步估计值集合T_init＝{T_{I_III,1},T_{I_III,2},…,T_{I_III,M},T_{II_IV,1},T_{II_IV,2},…,T_{II_IV,N}}；然后计算所有T_i数据的均值，并计算所有数据与此均值的残差，再将残差的绝对平均值作为阈值剔除对应残差绝对值大于这个阈值的异常数据，剩余初始T_i参数数据的均值作为最终参数T的估计值T_esti＝(t_{x_esti},t_{y_esti})^T；

参数a₁和a₂求解公式如下：

$a_{1X}=\frac{{\mathrm{MV}}_x\left(z_2\right)-{\mathrm{MV}}_x\left(z_1\right)}{s_x}+1---\left(5\right);$

$a_{1Y}=\frac{{\mathrm{MV}}_y\left(z_4\right)-{\mathrm{MV}}_y\left(z_3\right)}{s_y}+1---\left(6\right);$

$a_{2X}=-\frac{{\mathrm{MV}}_x\left(z_4\right)-{\mathrm{MV}}_x\left(z_3\right)}{s_y}---\left(7\right);$

$a_{2Y}=\frac{{\mathrm{MV}}_y\left(z_2\right)-{\mathrm{MV}}_y\left(z_1\right)}{s_x}---\left(8\right);$

其中z₁＝(i₁,c_y)^T,z₂＝(i₂,c_y)^T,i₂＝i₁+s_x,z₃＝(c_x,j₁)^T,z₄＝(c_x,j₂)^T,j₂＝j₁+s_y；

应用公式5、公式6、公式7和公式8基于P帧运动矢量数据计算，得到参数a₁,a₂的初步估计值集合a_{1_init}＝{a_{1X_1},a_{1X_2},…,a_{1X_…},a_{1Y_1},a_{1Y_2},…,a_{1Y_K}}和a_{2_init}＝{a_{2X_1},a_{2X_2},…,a_{2X_R},a_{2Y_1},a_{2Y_2},…,a_{2Y_S}}，计算所有a_{1_i},a_{2_i}参数数据均值，然后再计算所有数据与此均值的残差，并将残差的绝对平均值作为阈值剔除对应残差绝对值大于这个阈值的异常数据，剩余初始a_{1_i},a_{2_i}参数数据的均值被作为最终参数a₁,a₂的估计值a_{1_esti},a_{2_esti}。

5.根据权利要求4所述的人体动作特征提取方法，其特征在于：步骤5中所述消除视频压缩域运动矢量数据的相机运动矢量，计算公式如下：

$\begin{array}{c}{\mathrm{MV}}^{\′}\left(z\right)=MV\left(z\right)-estiGM\left(z\right)\\ =MV\left(z\right)-(Az+T)\\ =MV\left(z\right)-(\left(\begin{array}{cc}{a}_{1\_esti}& -a_{2\_esti}\\ a_{2\_esti}& a_{1\_esti}\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)+\left(\begin{array}{c}{t}_{x\_esti}\\ t_{y\_esti}\end{array}\right))\end{array}---\left(9\right).$

6.根据权利要求4所述的人体动作特征提取方法，其特征在于：步骤6的具体实现过程为，将视频立体块按16行×16列×5帧切分成小块，并按小块计算HOG、HOF和MBH值；对小块视频HOG、HOF和MBH值按2×2×3块进行拼接，得到人体动作特征描述向量。