CN103824062A - 基于非负矩阵分解的分部位人体运动识别方法 - Google Patents

Abstract

本发明公开了一种基于非负矩阵分解的分部位人体运动识别方法，主要解决现有技术中特征提取复杂、表征能力弱、计算量大的问题。其实现步骤是：（1）从训练视频集X中选取一个样本视频I，检测人体各部位的运动兴趣点及相对应部位的运动特征；（2）将人体各部位运动特征进行非负矩阵分解；(3)将经过分解后的人体各部位运动特征进行级联，级联的结果作为最终特征；(4)按上述步骤分别对训练视频集X和测试视频集T中的所有视频进行特征提取，获得训练样本特征集X'和测试样本特征集T'，并进行学习训练，获得分类结果。本发明能准确识别人体运动，可用于视频监控、人体姿态估计和运动识别的视频处理。

Description

基于非负矩阵分解的分部位人体运动识别方法

技术领域

本发明属于视频图像处理技术领域，特别涉及人体运动识别方法，可用于视频监控，人体姿态估计。

背景技术

近年来，人体运动识别作为计算机视觉领域的重大热点备受人们关注，在视频监控系统，驾驶员辅助系统，人机交互系统都有广泛的应用和发展前景。但是，由于人体是非刚性的，其多变性和多样性、衣服纹理、光照条件以及自遮挡等因素都严重影响人体运动识别的效果，并且，视频图像的分辨率比较低，很难有明显的特征提取。所以，如何从复杂的人体运动中找到正确表达运动信息的本质特征以及从视频中准确的获得，是目前备受关注的关键问题。

当前的人体运动识别方法主要包括两部分框架：特征提取和分类器的学习，其识别结果的优劣主要取决于所提取的运动特征的描述能力。

目前，特征提取的方法有很多：例如梯度直方图算子方法HOG、尺度不变特征转化算子方法SIFT、加速鲁棒特征算子方法SURF等，上述特征提取方法适用于二维图像；在三维图像中的特征提取方法包括：梯度直方图扩展到三维空间算子方法HOG3D,时空块算子方法Cuboids，角点检测扩展到三维空间算子方法Harris3D等,但通过以上这些方法提取出来的特征矩阵维数均比较高，计算量大，在科学文献中也有很多利用分解矩阵来达到降维的目的，如主成分分析方法PCA、独立成分分析方法ICA，奇异值分析方法SVD、矢量量化方法VQ等，这些方法使得分解出来的矩阵值有正有负，对现实问题而言失去了实际意义，并且用于降维的特征矩阵是基于整体而言的，在表征局部信息方面存在一定的信息疏漏，从而降低了识别率。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于非负矩阵分解的分部位人体运动识别方法，提高人体运动识别率。

实现本发明目的的技术思路是：从人体结构化信息出发，利用非负矩阵分解对人体各部分的特征矩阵进行分解，得到原有特征矩阵的低秩逼近，降低人体运动特征的复杂度，保留人体运动的局部信息；并通过对分解后的人体各部分特征进行级联，从整体上表征人体运动的信息，提高人体运动识别率。其技术步骤包括如下：

(1)将KTH数据库中的运动视频按照99:1的比例选取训练视频集X和测试视频集T；

(2)根据Fischler和Elschlager提出的图结构模型将人体划分为5部分，分别为：头部，左上肢，右上肢，左下肢，右下肢；

(3)从训练视频集X中选取一个样本视频L，根据上述划分分别提取人体各部位的运动兴趣点及相对应的运动特征；

(4)将提取的人体各部位的运动特征通过下式进行非负矩阵分解；

E＝V-WH

其中，V为正实数空间中n×m维矩阵，用来表示人体各部位运动特征矩阵，H为正实数空间中s×m维矩阵，用来表示一个基础矩阵，W为正实数空间中n×s维矩阵，用来表示一个投影矩阵，即人体各部位运动特征矩阵V在基础矩阵H上的投影，E为实数空间中n×m维矩阵，用来表示一个误差矩阵，参数n，m，s均为正整数；

(5)计算上述非负矩阵分解式中的投影矩阵W和基础矩阵H，设定误差矩阵E的阈值矩阵E'，使得误差矩阵E小于或等于设定的阈值矩阵E'：

(5a)根据人体各部位运动特征矩阵V的维数大小n、m，利用公式s＜＜m*n/(m+n)选取正整数s，并随机生成大小为n×s维的投影矩阵W和大小为s×m维的基础矩阵H；

(5b)设定阈值矩阵E'＝1*10^-6；

(5c)分别计算人体各部位的误差矩阵E_q：E_q＝V_q-W_qH_q；

其中q=1,2,3,4,5，分别表示人体的头部，左上肢，右上肢，左下肢，右下肢这5个部位，V_q表示部位q的运动特征矩阵，W_q表示部位q的投影矩阵，H_q表示部位q的基础矩阵；

(5d)当人体各部位误差矩阵E_q大于阈值矩阵E'时,分别对投影矩阵W_q中的元素W_ik和基础矩阵H_q中的元素H_kj进行更新，得到投影矩阵W_q中更新后的元素W_ik ^*和基础矩阵H_q中更新后的元素H_kj ^*：

${W_{\mathrm{ik}}}^{*}=W_{\mathrm{ik}}\frac{\left(V_q{H_q}^T\right)}{{\left(W_q{H}_q{H_q}^T\right)}_{\mathrm{ik}}},$

${H_{\mathrm{kj}}}^{*}=H_{\mathrm{kj}}\frac{{\left(W_q^T{V}_q\right)}_{\mathrm{kj}}}{{\left(W_q^T{W}_q{H}_q\right)}_{\mathrm{kj}}},$

其中：

W_ik表示投影矩阵W_q第i行第k列元素，0＜i≤n，0＜k≤s，H_kj表示基础矩阵H_q

第k行第j列的元素，0＜k≤s，0＜j≤m，上标T表示矩阵的转置；

(5e)通过对投影矩阵W_q和基础矩阵H_q全部元素的更新得到更新后的投影矩阵W_q ^*和基础矩阵H_q ^*，并用更新后的投影矩阵W_q ^*和基础矩阵H_q ^*替换原有的投影矩阵W_q和基础矩阵H_q：

W_q＝W_q ^*，

H_q＝H_q ^*，

(5f)重复步骤（5c）～（5e），直至人体各部分误差矩阵E_q等于或小于阈值矩阵E'为止，得到最终的人体各部分投影矩阵W_q，作为最终的人体各部位运动特征。

(6)对人体各部位运动特征进行级联，得到最终的人体运动特征；

(7)重复上述步骤(2)～(6)分别对训练样本集X和测试样本集T中的所有视频提取特征并进行非负矩阵分解，获得训练样本特征集X'和测试样本特征集T'；

(8)利用支持向量机SVM算法对训练样本特征集X'进行训练学习得到分类器；再将测试样本特征集T'送入到分类器，得到各类运动的分类结果。

本发明与现有的技术相比具有以下优点：

本发明由于利用人体结构化信息，通过图结构模型将人体按部位进行划分，获得各个部分的特征向量，并采用了一种稀疏表示算法——非负矩阵分解来对运动特征进行处理，得到被分解矩阵的低秩逼近，不仅使原始数据矩阵维数大大降低，而且也对原始矩阵中的数据进行了压缩和概括；同时由于非负矩阵的非负性约束，避免了信息的疏漏；此外由于利用非负矩阵分解对各部位特征进行分解后再对各部位分解后的特征进行级联，既保留了人体运动的局部信息，又从整体上表征了人体的运动信息，从而提高了人体运动的识别率。

附图说明

图1是本发明的实现流程图；

图2是本发明仿真使用的KTH数据库的部分序列图像；

图3是使用本发明和现有人体运动识别方法对KTH数据库中室内handwaving动作提取特征的梯度示意图；

图4是使用本发明和现有人体识别方法分别对图2数据库进行仿真后获得的混淆矩阵对比图。

具体实施方式：

参照图1，本发明的具体实现步骤如下：

步骤一，获取整个人体运动识别的训练视频集X和测试视频集T。

将KTH数据库中的运动视频按照99:1的比例构建训练视频集X和测试视频集T；其中，KTH数据库的下载地址为http://www.nada.kth.se/cvap/actions/，图2给出了数据库中部分视频的序列图像。

步骤二，根据Fischler和Elschlager提出的图结构模型划分人体部位。

图结构模型是由美国学者Fischler和Elschlager于1973年在文章“TheRepresentation and Matching of Pictorial Structyres”中提出的，文中将图结构模型定义为一系列之间存在连结部位的集合，表示为无向图G＝(V,E)，其中顶点V＝{v₁,,v₂,...,v_n}对应n个部位，对于每对相连结的部位v_i和v_j有一个边(v_i,v_j)∈E相连，1≤i,j≤n且i≠j；这种图结构模型可用于人脸的划分。

本实例将图结构模型用于对人体的划分，用图结构模型的无向图G＝(V,E)中的顶点V＝{v₁,,v₂,...,v₅}对应人体的5个部位，分别为：头部，左上肢，右上肢，左下肢，右下肢，对于每对相连结的部位v_i和v_j有一个边(v_i,v_j)∈E相连，1≤i,j≤5且i≠j。

步骤三，从训练视频集X中选取一个样本视频L，根据上述划分分别提取人体各部位的运动兴趣点及相对应的运动特征；

(3a)检测运动兴趣点：

(3a1)在空间维度上，对原始样本视频L进行二维高斯滤波，得到滤波后的视频数据I：

I＝L*g，

其中,g为高斯平滑核，g的计算公式为：

$g=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-\frac{x^2+y^2}{2{\mathrm{\σ}}^2}},$

其中，x，y为像素坐标，σ为空间维度的尺度参数；

(3a2)在时间维度上，对视频I进行一维Gabor滤波，得到其在时间维度上的响应数据R：

$R=I*h_{\mathrm{ev}}^2*h_{\mathrm{od}}^2,$

其中，h_ev和h_od是一维Gabor滤波器的一对正交，其定义公式如下：

$h_{\mathrm{ev}}=-\cos \left(2\mathrm{\πtw}\right)\exp \left(\frac{{-t}^2}{{\mathrm{\τ}}^2}\right),$

$h_{\mathrm{od}}=-\sin \left(2\mathrm{\πtw}\right)\exp \left(\frac{{-t}^2}{{\mathrm{\τ}}^2}\right),$

其中，τ为时间维度的尺度参数，ω＝4/τ，t＝2τ；

(3a3)设定

为响应数据R的阈值，将R大于阈值

的点记为运动兴趣点；

(3b)提取人体各部分的运动特征：

(3b1)在人体各部分，以检测到的运动兴趣点为中心，提取长为19，宽为3×3的视频时空块C；

利用高斯平滑滤波对时空块C进行降噪处理，并计算时空块C的每一层图像的梯度G，

梯度是一个矢量值，由数值r和方向θ组成，设时空块C的每一层图像中的任意两个像素点为(x_i,y_j)、(x_a,y_b)，则时空块C的每一层图像的梯度数值r和方向θ为：

$r=\sqrt{{(y_b-y_j)}^2+{(x_a-x_i)}^2},$

$\mathrm{\θ}=\arctan \frac{y_b-y_j}{x_a-x_i},$

其中i,j表示第i行第j列的像素点，a,b表示第a行第b列的像素点，i≠a，j≠b，i,j,a,b均为正实数，x_i，x_a为对应像素点的横坐标值，y_j，y_b为对应像素点的纵坐标值；

(3b2)对每层梯度G按照数值r由大到小进行排序，得到每一层的最大梯度G_m，并记录最大梯度G_m的数值r_m和方向θ_m；

(3b3)将时空块C中所有的最大梯度G_m的数值r_m按照大小划分为5个区域，分别统计每个区域中最大梯度G_m的数值r_m的个数，将最大梯度G_m的方向θ_m按照圆周角的大小划分为12个区域，分别统计每个区域中θ_m的个数，并在极坐标中表示出所有最大梯度G_m的数值r_m和方向θ_m；

(3b4)分别计算每个区域内最大梯度G_m的数值r_m和方向θ_m分布个数的百分比d_r(j)和d_θ(i):

d_r(j)＝n_r(j)/n_r

d_θ(i)＝n_θ(i)/n_θ

其中，j表示数值r的第j个区域，j=1，……，5；n_r(j)为第j区域中数值r_m的个数，n_r为全部数值r_m的个数，i表示方向θ_m的第i区域，i=1，……，12；n_θ(i)为第i区域中方向θ_m的个数，n_θ为全部方向θ_m的个数；

(3b5)将上述计算得到的各个区域内最大梯度G_m的数值r_m和方向θ_m的百分比d_r(j)和d_θ(i)进行级联，级联的结果作为对应时空块的统计梯度特征g_i，用得到的统计梯度特征g_i作为其时空块对应部位的运动特征f_i，即f_i＝g_i；若某一部位包含多个时空块C，则该部位的运动特征f_i为多个时空块的梯度统计特征g_i的平均值：

其中N为该部位所包含时空块的个数；若某一部位不包含时空块C，则用零补齐。

步骤四，将提取的人体各部位的运动特征通过下式进行非负矩阵分解:

E＝V-WH，

其中，V为正实数空间中n×m维矩阵，用来表示人体各部位运动特征矩阵，H为正实数空间中s×m维矩阵，用来表示一个基础矩阵，W为正实数空间中n×s维矩阵，用来表示一个投影矩阵，即人体各部位运动特征矩阵V在基础矩阵H上的投影，E为实数空间中n×m维矩阵，用来表示一个误差矩阵，参数n，m，s均为正整数。

步骤五,计算上述非负矩阵分解式中的投影矩阵W和基础矩阵H，设定误差矩阵E的阈值矩阵E'，使得误差矩阵E小于或等于设定的阈值矩阵E'；

(5a)根据构成n×m维人体各部位运动特征矩阵V中n、m的值，利用公式s＜＜m*n/(m+n)选取正整数s，并随机生成大小为n×s维的投影矩阵W和大小为s×m维的基础矩阵H；

(5b)设定阈值矩阵E'＝1*10^-6；

(5c)分别计算人体各部位的误差矩阵E_q：E_q＝V_q-W_qH_q；

其中q=1,2,3,4,5，分别表示人体的头部，左上肢，右上肢，左下肢，右下肢这5个部位，V_q表示部位q的运动特征矩阵，W_q表示部位q的投影矩阵，H_q表示部位q的基础矩阵；

(5d)当人体各部位误差矩阵E_q大于阈值矩阵E'时,分别对投影矩阵W_q中的元素W_ik和基础矩阵H_q中的元素H_kj进行更新，得到投影矩阵W_q中更新后的元素W_ik ^*和基础矩阵H_q中更新后的元素H_kj ^*：

${W_{\mathrm{ik}}}^{*}=W_{\mathrm{ik}}\frac{\left(V_q{H_q}^T\right)}{{\left(W_q{H}_q{H_q}^T\right)}_{\mathrm{ik}}},$

${H_{\mathrm{kj}}}^{*}=H_{\mathrm{kj}}\frac{{\left(W_q^T{V}_q\right)}_{\mathrm{kj}}}{{\left(W_q^T{W}_q{H}_q\right)}_{\mathrm{kj}}},$

其中：

W_ik表示投影矩阵W_q第i行第k列元素，0＜i≤n，0＜k≤s，H_kj表示基础矩阵H_q第k行第j列的元素，0＜k≤s，0＜j≤m，上标T表示矩阵的转置；

(5e)通过对投影矩阵W_q和基础矩阵H_q全部元素的更新得到更新后的投影矩阵W_q ^*和基础矩阵H_q ^*，并用更新后的投影矩阵W_q ^*和基础矩阵H_q ^*替换原有的投影矩阵W_q和基础矩阵H_q：

W_q＝W_q ^*，

H_q＝H_q ^*，

(5f)重复步骤（5c）～（5e），直至人体各部分误差矩阵E_q等于或小于阈值矩阵E'为止，得到最终的人体各部分投影矩阵W_q，作为最终的人体各部位运动特征。

步骤六，对人体各部位运动特征进行级联，得到最终的人体运动特征。

步骤七，重复上述步骤(2)～(6)分别对训练样本集X和测试样本集T中的所有视频提取特征并进行非负矩阵分解，获得训练样本特征集X'和测试样本特征集T'。

步骤八，利用支持向量机SVM算法对训练样本特征集X'进行训练得到分类器，再将测试样本特征集T'输入已经训练好的分类器进行分类，得到各类运动的分类结果。

本发明的效果可通过以下仿真进一步说明：

1.实验条件

实验所需的样本集来源于KTH数据库，包括boxing，handclapping，handwaving，jogging，running，walking六类运动视频，每类人体运动分别由25个人在4个不同的场景中完成，即室外S1，不同变化的室外S2，不同衣服的室外S3和室内S4。当前数据库包含598个视频样本，每个样本的帧率为25fps，分辨率为160x120像素，长度平均为4秒钟。图2给出了数据库中的部分序列图像。

硬件平台为：Intel Core2Duo CPU E65502.33GHZ、2GB RAM。

软件平台为：MATLAB R2008a。

2.实验内容与结果分析

仿真一，使用本发明和未经非负矩阵分解的人体分部位运动识别方法对KTH数据库中室内handwaving动作提取特征的梯度，结果如图3所示，其中图3a为室内handwaving动作的第一帧视频截图，图3b为未经非负矩阵分解的人体分部位运动识别方法对图3a提取特征的梯度示意图，图3c为使用本发明方法对图3a提取特征的梯度示意图；

从图3可以看出，使用本发明的方法提取的特征，与未经非负矩阵分解的人体分部位运动识别方法提取的特征相比，既保留了运动特征又降低了特征维数，同时减少了学习时间；

仿真二，使用本发明方法和未经非负矩阵分解的人体分部位运动识别方法分别对图2数据库中的运动视频进行分类，并分别画出分类结果的混淆矩阵，其分类结果的混淆矩阵对比图如图4所示，其中图4a表示使用未经非负矩阵分解的人体分部位运动识别方法的混淆矩阵图，图4b表示使用本发明的混淆矩阵图。

从图4的混淆矩阵可以看出，使用本发明对提取的特征经过非负矩阵分解后，所有运动都能得到正确地识别，分类准确率为100%。

综上，本发明提出的人体运动识别方法有效可行，且提出的特征提取方法能准确的表征人体运动姿态，并且使原始数据矩阵维数大大降低，同时也对原始矩阵中的数据进行压缩和概括，减少了学习时间，降低了计算复杂度，有效地提高了人体运动识别的正确率。

Claims (2)

1.一种基于非负矩阵分解的分部位人体运动识别方法，包括如下步骤：

(1)将KTH数据库中的运动视频按照99:1的比例选取训练视频集X和测试视频集T；

(2)根据Fischler和Elschlager提出的图结构模型将人体划分为5部分，分别为：头部，左上肢，右上肢，左下肢，右下肢；

(3)从训练视频集X中选取一个样本视频L，根据上述划分分别提取人体各部位的运动兴趣点及相对应的运动特征；

(4)将提取的人体各部位的运动特征通过下式进行非负矩阵分解；

E＝V-WH

其中，V为正实数空间中n×m维矩阵，用来表示人体各部位运动特征矩阵，H为正实数空间中s×m维矩阵，用来表示一个基础矩阵，W为正实数空间中n×s维矩阵，用来表示一个投影矩阵，即人体各部位运动特征矩阵V在基础矩阵H上的投影，E为实数空间中n×m维矩阵，用来表示一个误差矩阵，参数n，m，s均为正整数；

(5)计算上述非负矩阵分解式中的投影矩阵W和基础矩阵H，设定误差矩阵E的阈值矩阵E'，使得误差矩阵E小于或等于设定的阈值矩阵E'：

(5a)根据人体各部位运动特征矩阵V的维数大小n、m，利用公式s＜＜m*n/(m+n)选取正整数s，并随机生成大小为n×s维的投影矩阵W和大小为s×m维的基础矩阵H；

(5b)设定阈值矩阵E'＝1*10^-6；

(5c)分别计算人体各部位的误差矩阵E_q：E_q＝V_q-W_qH_q；

其中q=1,2,3,4,5，分别表示人体的头部，左上肢，右上肢，左下肢，右下肢这5个部位，V_q表示部位q的运动特征矩阵，W_q表示部位q的投影矩阵，H_q表示部位q的基础矩阵；

(5d)当人体各部位误差矩阵E_q大于阈值矩阵E'时,分别对投影矩阵W_q中的元素W_ik和基础矩阵H_q中的元素H_kj进行更新，得到投影矩阵W_q中更新后的元素W_ik ^*和基础矩阵H_q中更新后的元素H_kj*：

${W_{\mathrm{ik}}}^{*}=W_{\mathrm{ik}}\frac{\left(V_q{H_q}^T\right)}{{\left(W_q{H}_q{H_q}^T\right)}_{\mathrm{ik}}},$

${H_{\mathrm{kj}}}^{*}=H_{\mathrm{kj}}\frac{{\left(W_q^T{V}_q\right)}_{\mathrm{kj}}}{{\left(W_q^T{W}_q{H}_q\right)}_{\mathrm{kj}}},$

其中：

W_ik表示投影矩阵W_q第i行第k列元素，0＜i≤n，0＜k≤s，H_kj表示基础矩阵H_q第k行第j列的元素，0＜k≤s，0＜j≤m，上标T表示矩阵的转置；

(5e)通过对投影矩阵W_q和基础矩阵H_q全部元素的更新得到更新后的投影矩阵W_q ^*和基础矩阵H_q ^*，并用更新后的投影矩阵W_q ^*和基础矩阵H_q ^*替换原有的投影矩阵W_q和基础矩阵H_q：

W_q＝W_q ^*，

H_q＝H_q ^*，

(5f)重复步骤（5c）～（5e），直至人体各部分误差矩阵E_q等于或小于阈值矩阵E'为止，得到最终的人体各部分投影矩阵W_q，作为最终的人体各部位运动特征。

(6)对人体各部位运动特征进行级联，得到最终的人体运动特征；

(7)重复上述步骤(2)～(6)分别对训练样本集X和测试样本集T中的所有视频提取特征并进行非负矩阵分解，获得训练样本特征集X'和测试样本特征集T'；

(8)利用支持向量机SVM算法对训练样本特征集X'进行训练学习得到分类器;再将测试样本特征集T'送入到分类器，得到各类运动的分类结果。

2.根据权利要求1所述的基于非负矩阵分解的分部位人体运动识别方法，其中所述步骤(3)中从训练视频集X中选取一个样本视频L，根据图结构模型提取人体各部位的运动兴趣点及相对应的运动特征，按如下步骤进行：

(2a)检测运动兴趣点：

(2a1)在空间维度上，对原始样本视频L进行二维高斯滤波，得到滤波后的视频数据I：

I＝L*g，

其中,g为高斯平滑核，g的计算公式为：

$g=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-\frac{x^2+y^2}{2{\mathrm{\σ}}^2}},$

其中，x，y为像素坐标，σ为空间维度的尺度参数；

(2a2)在时间维度上，对视频I进行一维Gabor滤波，得到其在时间维度上的响应数据R：

$R=I*h_{\mathrm{ev}}^2*h_{\mathrm{od}}^2,$

其中，h_ev和h_od是一维Gabor滤波器的一对正交，其定义公式如下：

$h_{\mathrm{ev}}=-\cos \left(2\mathrm{\πtw}\right)\exp \left(\frac{{-t}^2}{{\mathrm{\τ}}^2}\right),$

$h_{\mathrm{od}}=-\sin \left(2\mathrm{\πtw}\right)\exp \left(\frac{{-t}^2}{{\mathrm{\τ}}^2}\right),$

其中，τ为时间维度的尺度参数，ω＝4/τ，t＝2τ；

(2a3)设定为响应数据R的阈值，将R大于阈值

的点记为运动兴趣点；

(2b)提取人体各部分的运动特征：

(2b1)在人体各部分中，以检测到的运动兴趣点为中心，提取长为19，宽为3×3的视频时空块C；利用高斯平滑滤波对时空块C进行降噪处理，并计算时空块C的每一层梯度G，其中梯度G由数值r和方向θ组成；

(2b.2)对每层梯度G按照数值r由大到小进行排序，得到每一层的最大梯度G_m，并记录最大梯度G_m的数值r_m和方向θ_m；

(2b3)将时空块C中所有的最大梯度G_m的数值r_m按照大小划分为5个区域，分别统计每个区域中数值r_m的个数，将方向θ_m按照角度划分为12个区域，分别统计每个区域中θ_m的个数；在极坐标中表示出所有最大梯度G_m的数值r_m和方向θ_m；

(2b4)分别计算每个区域内数值r_m和方向θ_m分布个数的百分比d_r(j)和d_θ(i)；

d_r(j)＝n_r(j)/n_r，

d_θ(i)＝n_θ(i)/n_θ，

其中，j表示数值r的第j个区域，j=1，……，5；n_r(j)为第j区域中数值r_m的个数，n_r为全部数值r_m的个数，i表示方向θ_m的第i区域，i=1，……，12；n_θ(i)为第i区域中方向θ_m的个数，n_θ为全部方向θ_m的个数；

(2b5)将上述计算得到的各个区域内数值r_m和方向θ_m的百分比d_r(j)和d_θ(i)进行级联，级联的结果作为对应时空快的统计梯度特征g_i，则时空块对应部位的运动特征f_i＝g_i；若某一部位包含多个时空块C，则该部位的运动特征为多个时空块的梯度统计特征g_i的平均值：其中N为该部位所包含时空块的个数；若某一部位不包含时空块C，则用零补齐。

Images