CN106021926B - 一种人体动作序列的实时评价方法 - Google Patents

Abstract

本发明涉及一种人体动作序列的实时评价方法，采用基于差分的插值小波对动作序列进行边界延拓以减少边界效应，再进行小波系数的计算得到关键帧，以关键帧描述动作的特征，然后采用DTW距离度量函数计算两个动作序列的距离，最后对该距离进行归一化，得到两个动作的相似度评分。本发明的有益效果是：利用区间插值小波减少边界效应，得到更准确的关键帧，进而实现更加准确的动作评价。

Description

一种人体动作序列的实时评价方法

技术领域

本发明涉及一种人体动作相似度评价计算，具体的涉及一种人体动作序列的实时评价方法，属于人体动作评价领域。

背景技术

为了进行动作相似度评价，需要提取能够充分表征动作的运动、时间、空间及形状信息的特征。Bobick和Davis提出采用运动能量图(Motion Energy Image，MEI)和运动历史图(Motion History Image，MHI)作为时空模板，并采用马氏距离度量模板之间的相似性。MEI基于时间轴叠加二值图像，采用叠加后的整体形状和位置情况对人体动作进行描述，其缺点是没有将运动过程中的时间顺序考虑在内。而MHI则针对每个像素建立了运动历史函数，体现了运动的时序特征。Hossein等采用关节之间的相对位置作为动作特征，基于最长公共子序列距离(LCSS)进行动作序列的相似度计算。现有的动作特征提取方法一般包含了全局时空信息，但忽略了局部运动块及其时空结构信息，而这样的运动块在时空三维上的分布构成了完整的动作。

为此，如何提供一种精确的人体动作序列实时评价方法，是本发明研究的目的。

发明内容

为克服现有技术的不足，本发明提供一种人体动作序列的实时评价方法，是从动作的运动特性出发，对人体中存在的运动区域进行分割，得到语义上易于理解的局部运动块，并对这些运动块的时空三维位置及运动方向进行特征表示，采用基于差分的区间插值小波提取关键帧对动作特征进行描述，本发明从运动特性出发，利用区间插值小波减少边界效应，得到更准确的关键帧，进而实现更加准确的动作评价。

为解决现有技术的问题，本发明所采用的技术方案是：

一种人体动作序列的实时评价方法，采用基于差分的插值小波对动作序列进行边界延拓以减少边界效应，再进行小波系数的计算得到关键帧，以关键帧描述动作的特征，然后采用DTW距离度量函数计算两个动作序列的距离，最后对该距离进行归一化，得到两个动作的相似度评分，其特征在于，包括以下步骤：

步骤一，将关节动作的时间序列数据表示为三维位置的时间序列数据，即三维轨迹，设f(x₀),f(x₁),f(x₂),…,f(x_N)表示其中某个关节的位置坐标在给定区间内边界附近多个点的函数值，则逼近函数的小波表达式为

其中为分段函数，即

N为边界上分布点的个数，L为小波函数的支撑区间，即suppφ＝[-L,L]；

将区间小波内积运算展开，表示如下：

当x＝2^j+1,2^j+2,…,2^j+N时，

因此，式1可以写为

其中

可以得到以下表达式：

基于差分的区间插值小波可表示为

步骤二，构造自适应插值算子，求解插值小波系数；设φ(x)为插值尺度基函数，定义尺度函数序列为

φ_j,k(x)＝φ(2^jx-k)，k＝0,1,2,…,2^j

由此序列构成的L²(0,1)子空间序列为

根据φ(x)具有插值特性，φ_j,k(n2^-j)＝δ_n,k；由此可以给出插值算子I_j:C⁰(0,1)→V_j的定义为

对应尺度函数空间的小波函数空间定义为

W_j:＝span<ψ_jk,k＝0,1,2,…,2^j-1>

其中

ψ_jk＝φ_j+1,2k+1

令y_jk＝x_j+1,2k+1，小波函数ψ_jk具有以下特性：

ψ_jk(y_jn)＝δ_kn

故，

V_j构成一多分辨率分析；

对于任意函数f∈C⁰(0,1)，总可以找到一个足够大的j，使得f_j(x)∈V_j充分逼近f(x)，即

系数和α_jk分别定义为α_jk

α_jk＝f(y_jk)-I_jf(y_jk)

其中插值小波的插值算子的计算公式如下：

步骤三，采用DTW方法计算两个动作序列之间的距离，令输入动作序列为和其中P为参考动作序列，Q为对比动作序列，C₁和C₂分别为P和Q的帧数；参考动作序列P的第r帧为其中为第i个关节方向数据的四元数表示，将所有关节的方向数据级联得到p_r，即该帧的特征向量；令对比动作序列Q的第r'帧为可得两帧之间的距离

循环计算路径距离γ(p_i,q_j)，基于式(1)的帧间距离度量公式和DTW方法，直到动作序列P和Q完全匹配；每个最优匹配的前一个匹配只能为γ(p_i-1,q_j-1),、γ(p_i-1,q_j)和γ(p_i,q_j-1)其中一个，因此只需要选择其中最小的一个，加上当前距离即可得到路径的最小距离：

γ(p_i,q_j)＝dist'(p_i,q_j)+min{γ(p_i-1,q_j-1),γ(p_i-1,q_j),γ(p_i,q_j-1)}

重复步骤三，直到i＝C₁且j＝C₂，得到规整路径W＝w₁,w₂,…,w_k,…,w_K；创建长度C₁的数组MapFrame，记录P中所有帧在Q中的唯一映射关系；遍历路径W，若P中存在与Q中关系为一对多的帧，则选择其中距离最小的一对匹配帧，将其映射关系存入MapFrame；若不存在，则直接将该匹配帧的映射关系存入MapFrame；

步骤四，计算关键帧之间的平均距离，并将其进行归一化，得到P和Q的相似度评分。

进一步的，在所述的步骤二中，求解出的所述α_jk与动作序列中的帧直接对应，将α_jk与动作序列中对应的帧视为关键帧。

本发明的有益效果是：利用区间插值小波减少边界效应，得到更准确的关键帧，进而实现更加准确的动作评价。

附图说明

图1为本发明的流程图。

图2为不同小波层之间配点关系图。

图3为本发明的动作匹配示意图。

具体实施方式

为了使本领域技术人员能更加理解本发明技术方案，下面结合附图1-3对本发明做进一步分析。

如图1所示，一种人体动作序列的实时评价方法，采用基于差分的插值小波对动作序列进行边界延拓以减少边界效应，再进行小波系数的计算得到关键帧，以关键帧描述动作的特征，然后采用DTW距离度量函数计算两个动作序列的距离，最后对该距离进行归一化，得到两个动作的相似度评分。所述方法包括以下步骤：

步骤一，人体动作序列是人体姿态的时间序列数据，而人体姿态可以由骨架结构近似表示，因此人体动作序列可以采用人体骨架结构中每个关节的时间序列数据表示。关节动作的时间序列数据可以简单的表示为三维位置的时间序列数据，即三维轨迹。设f(x₀),f(x₁),f(x₂),…,f(x_N)表示其中某个关节的位置坐标在给定区间内边界附近多个点的函数值，则逼近函数的小波表达式为

其中为分段函数，即

N为边界上分布点的个数，L为小波函数的支撑区间，即suppφ＝[-L,L]。

将区间小波内积运算展开，表示如下：

常规的区间插值小波方法虽然能够保证函数的光滑性，但无法防止梯度的增大。运动数据可以看作空间中连续光滑的函数，因此，可以差分方法来代替导数以提高精度。

当x＝2^j+1,2^j+2,…,2^j+N时，

因此，式1可以写为

其中

可以得到以下表达式：

基于差分的区间插值小波可表示为

步骤二，构造自适应插值算子，求解插值小波系数。设φ(x)为插值尺度基函数，定义尺度函数序列为

φ_j,k(x)＝φ(2^jx-k)，k＝0,1,2,…,2^j

由此序列构成的L²(0,1)子空间序列为

由于φ(x)具有插值特性，所以φ_j,k(n2^-j)＝δ_n,k。由此可以给出插值算子I_j:C⁰(0,1)→V_j的定义为

对应尺度函数空间的小波函数空间定义为

W_j:＝span<ψ_jk,k＝0,1,2,…,2^j-1>

其中

ψ_jk＝φ_j+1,2k+1

令y_jk＝x_j+1,2k+1，容易看出，小波函数ψ_jk具有以下特性：

ψ_jk(y_jn)＝δ_kn

显然，

由此可见，V_j构成一多分辨率分析。

对于任意函数f∈C⁰(0,1)，总可以找到一个足够大的j，使得f_j(x)∈V_j充分逼近f(x)，即

系数和α_jk分别定义为α_jk

α_jk＝f(y_jk)-I_jf(y_jk)

该式表明小波系数度量了经插值得到的y_jk处的函数值和真实值之间的误差，不同小波层之间的配点关系如图2所示。其中插值小波的插值算子的计算公式如下：

由于插值小波具有插值特性，该步骤求解出的α_jk与动作序列中的帧直接对应，本发明将α_jk与动作序列中对应的帧视为关键帧。

步骤三，采用DTW方法计算两个动作序列之间的距离。令输入动作序列为和其中P为参考动作序列，Q为对比动作序列，C₁和C₂分别为P和Q的帧数。参考动作序列P的第r帧为其中为第i个关节方向数据的四元数表示，将所有关节的方向数据级联得到p_r，即该帧的特征向量。令对比动作序列Q的第r'帧为可得两帧之间的距离

循环计算路径距离γ(p_i,q_j)，基于式(1)的帧间距离度量公式和DTW方法，直到动作序列P和Q完全匹配。由于每个最优匹配的前一个匹配只能为γ(p_i-1,q_j-1),、γ(p_i-1,q_j)和γ(p_i,q_j-1)其中一个，因此只需要选择其中最小的一个，加上当前距离即可得到路径的最小距离：

γ(p_i,q_j)＝dist'(p_i,q_j)+min{γ(p_i-1,q_j-1),γ(p_i-1,q_j),γ(p_i,q_j-1)}

重复步骤三，直到i＝C₁且j＝C₂，得到规整路径W＝w₁,w₂,…,w_k,…,w_K。创建长度C₁的数组MapFrame，记录P中所有帧在Q中的唯一映射关系。遍历路径W，若P中存在与Q中关系为一对多的帧，则选择其中距离最小的一对匹配帧，将其映射关系存入MapFrame；若不存在，则直接将该匹配帧的映射关系存入MapFrame。该步骤得到的动作匹配示意图如图3所示。

步骤四，基于步骤3的DTW动作匹配，计算两个动作序列的关键帧距离平均值

对D(P,Q)其进行归一化，得到动作序列P和Q相似度评分

实施例：本发明采用Florence3D-Action动作数据集中的两个“Stand up”进行动作相似度评价。

(1)将该动作以多个关节序列的方式进行表示：和

(2)采用基于差分的区间插值小波，对P进行周期延拓，并采用上一节步骤2的方法，求解小波系数，得到关键帧。

(3)计算P和Q的DTW匹配，并根据P的关键帧以及DTW匹配的结果，得到Q的关键帧，如步骤三所示。

(4)计算关键帧之间的平均距离，并将其进行归一化，得到P和Q的相似度评分，如步骤四所示。

本发明首先基于前后帧中动作块的变化，基于差分的区间插值小波对动作片段进行延拓，保证区间内外信号在边界处能光滑过度，从而使信号在边界处的小波变换系数降低，降低边界效应带来的误差，提高计算精度。由于插值小波具有插值特性，其小波系数与关键帧直接对应，作为最终动作描述符。区间插值小波是由区间内边界附近的离散点通过Lagrange插值公式插值得到区间外离散点的值，再利用延拓映射回区间，降低边界效应。插值小波系数与插值的关键帧相对于，在动作变化密集的区域将会增加配点，即增加关键帧数量。最后，计算两个动作序列的关键帧之间的距离DTW并将其归一化，作为最终的动作评分。

以上对本申请所提供的技术方案进行了详细介绍，本文中应用了实施例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (2)

1.一种人体动作序列的实时评价方法，其特征在于：采用基于差分的插值小波对动作序列进行边界延拓以减少边界效应，再进行小波系数的计算得到关键帧，以关键帧描述动作的特征，然后采用DTW距离度量函数计算两个动作序列的距离，最后对该距离进行归一化，得到两个动作的相似度评分；包括以下步骤：

步骤一，将关节动作的时间序列数据表示为三维位置的时间序列数据，即三维轨迹，设f(x₀)，f(x₁)，f(x₂)，…，f(x_N)表示其中某个关节的位置坐标在给定区间内边界附近多个点的函数值，则逼近函数的小波表达式为

其中φ(x)为分段函数，即

N为边界上分布点的个数，L为小波函数的支撑区间，即suppφ＝[-L,L]；

将区间小波内积运算展开，表示如下：

当x＝2^j+1，2^j+2，…，2^j+N时，

因此，式1可以写为

其中

可以得到以下表达式：

基于差分的区间插值小波可表示为

步骤二，构造自适应插值算子，求解插值小波系数；设φ(x)为插值尺度基函数，定义尺度函数序列为

φ_j，k(x)＝φ(2^jx-k)，k＝0，1，2，…，2^j

由此序列构成的L²(0,1)子空间序列为

根据φ(x)具有插值特性，φ_j,k(n2^-j)＝δ_n,k；由此可以给出插值算子I_j:C⁰(0,1)→V_j的定义为

对应尺度函数空间的小波函数空间定义为

W_j:＝span<ψ_jk，k＝0，1，2，…，2^j-1>

其中

ψ_jk＝φ_j+1,2k+1

令y_jk＝x_j+1,2k+1，小波函数ψ_jk具有以下特性：

ψ_jk(y_jn)＝δ_kn

故，

V_j构成一多分辨率分析；

对于任意函数f∈C⁰(0,1)，总可以找到一个足够大的j，使得f_j(x)∈V_j充分逼近f(x)，即

系数β_j0k和α_jk分别定义为

α_jk＝f(y_jk)-I_jf(y_jk)

其中插值小波的插值算子的计算公式如下：

步骤三，采用DTW方法计算两个动作序列之间的距离，令输入动作序列为和其中P为参考动作序列，Q为对比动作序列，C₁和C₂分别为P和Q的帧数；参考动作序列P的第r 帧为其中为第i个关节方向数据的四元数表示，将所有关节的方向数据级联得到p_r，即该帧的特征向量；令对比动作序列Q的第r'帧为可得两帧之间的距离

循环计算路径距离γ(p_i,q_j)，基于式(1)的帧间距离度量公式和DTW方法，直到动作序列P和Q完全匹配；每个最优匹配的前一个匹配只能为γ(p_i-1,q_j-1),、γ(p_i-1,q_j)和γ(p_i,q_j-1)其中一个，因此只需要选择其中最小的一个，加上当前距离即可得到路径的最小距离：

γ(p_i,q_j)＝dist'(p_i,q_j)+min{γ(p_i-1,q_j-1),γ(p_i-1,q_j),γ(p_i,q_j-1)}

重复步骤三，直到i＝C₁且j＝C₂，得到规整路径W＝w₁，w₂，…，w_k，…，w_K；创建长度C₁的数组MapFrame，记录P中所有帧在Q中的唯一映射关系；遍历路径W，若P中存在与Q中关系为一对多的帧，则选择其中距离最小的一对匹配帧，将其映射关系存入MapFrame；若不存在，则直接将该匹配帧的映射关系存入MapFrame；

步骤四，计算关键帧之间的平均距离，并将其进行归一化，得到P和Q的相似度评分。

2.根据权利要求1所述的一种人体动作序列的实时评价方法，其特征在于：在所述的步骤二中，求解出的所述α_jk与动作序列中的帧直接对应，将α_jk与动作序列中对应的帧视为关键帧。