CN112686208B - 基于机器视觉的运动识别特征参数算法 - Google Patents

Abstract

本发明提供了一种基于机器视觉的运动识别特征参数算法，包括骨骼关节点捕捉步骤：通过人工智能学习方法捕捉人体骨骼的多个关节点，并通过关节点计算各个关节点的质心；计算步骤：计算各质心的距离、相对速度以及相对加速度特征参数；误差比较步骤：比较运动练习者和参考样本动作的矩阵特征参数间的误差；相似度计算步骤：计算比较运动练习者和参考样本动作的相似度；选择步骤：根据相似度计算结果选择运动过程中不匹配的关节点对应的身体部位。本发明相对以往方法基于单一参考点建立的参数，矩阵参数以多个质心为参考点。减弱了由单一参考点位置捕捉或计算失误带来的系统误差，并且携带更多用来识别和比照动作的相关信息。

Description

基于机器视觉的运动识别特征参数算法

技术领域

本发明涉及图像识别领域，具体地，涉及一种基于机器视觉的运动识别特征参数算法。

背景技术

迄今为止，已经建立了多种方法，可以通过摄像器材捕捉人体运动。根据其原理可以分为两大类别，Opticalflowtechniques和Featuretrackingtechniques.Opticalflowtechniques广泛应用于基于单一摄像镜头的运动分析。但是它的缺点是有多种干扰源，且准确性差。Featuretrackingtechniques，又可分为两大类。一类是基于像素质建立的特征值。而另一类则是基于特征图形，例如直线，曲线，拐角，方阵或轮廓线。

本发明通过人工智能学习方法捕捉人体骨骼的关节点。通过计算头部，躯干，大臂，小臂，大腿和小腿等多个部分质心间的实时的距离向量，相对位移速度向量以及相对位移加速度向量，建立特征矩阵参数。通过比照练习者和教练样本动作的特征参数，从而判断练习者运动的准确性，并对其打分。相对以往方法基于单一参考点建立的参数，矩阵参数以其它9个身体骨架的质心为参考点。减弱了由单一参考点位置捕捉或计算失误带来的系统误差，并且携带更多用来识别和比照动作的相关信息。与此同时，由于整个动作识别和比对，都采用矩阵运算，从而大大减少了计算机的计算量。运算结果不仅可以对整体运动的吻合度进行打分，而且对身体那个部分的动作需要纠正，做出建议。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于机器视觉的运动识别特征参数算法。

根据本发明提供的一种基于机器视觉的运动识别特征参数算法，包括如下步骤：

骨骼关节点捕捉步骤：通过人工智能学习方法捕捉人体骨骼的多个关节点，并通过关节点计算各个关节点的质心；

计算步骤：计算各质心的距离、相对速度以及相对加速度特征参数；

误差比较步骤：比较运动练习者和参考样本动作的矩阵特征参数间的误差；

相似度计算步骤：计算比较运动练习者和参考样本动作的相似度；

选择步骤：根据相似度计算结果选择运动过程中不匹配的关节点对应的身体部位。

优选地，所述多个关节点包括如下任多个部位：头部、躯干、大臂、小臂、大腿、小腿。

优选地，各个质心的瞬时位置标记为P(t)_i＝(x_i,y_i,z_i)，其中i表示第i个质心，t表示时刻t，x_i,y_i,z_i表示三维坐标系的坐标。

优选地，质心i、j之间的距离

以人体站立，双手向上伸展时，一侧小臂质心到另一侧小腿质心的距离为基数，将R(t)_ij标准化为函数值在0和1之间变化的时间函数，计为r(t)_ij，距离特征矩阵参数A(t)定义为：

优选地，质心i、j的相对速度

其中：Δt由影像的帧率f决定：Δt＝1/f，相对速度特征矩阵参数B(t)定义为：

优选地，任意两质心间的相对应的位移加速度a(t)_ij＝(v(t+Δt)_ij-v(t)_ij)/Δt,相对加速度矩阵特征参数C(t)定义为：

优选地，所述运动练习者和参考动作的矩阵特征参数分别为A(t),B(t),C(t),和A'(t),B’(t),C’(t)，比较误差矩阵分别为E_A(t),E_B(t)和E_C(t)，则有：

优选地，所述相似度计算步骤包括：

对矩阵E_a(t)、E_b(t)、E_c(t)的元素的绝对值按列求和得到矩阵E_Asum,E_Bsum,E_Csum，三个新得矩阵第i列的和值分别记为E_i ^a,E_i ^b,E_i ^c：

分别对矩阵E_Asum,E_Bsum,E_Csum，在一组动作对应的时间段内(t₁,t₂)积分，得到这个时间段内的三个误差矩阵E_Ast,E_Bst,E_Cst，三个矩阵第i项的积分值分别记为E_i ^A,E_i ^B,E_i ^C：

对E_Ast,E_Bst和E_Cst按行求和，取倒数，计算结果记为S_A,S_B,S_C：

S_A,S_B,S_C分别用来描述目标动作于样本动作，位置，速度，加速度间的相似度，用目标动作打分计算的输入值。

优选地，选择步骤包括：

求出矩阵E_Ast,E_Bst和E_Cst中元素最大值对应的相位，表明其相位对应的身体部位，在相关运动特征中存有最大误差。

优选地，当E_Ast的第k项矩阵元素有最大值，即

则第k项元素对应的身体部位，在目标运动和样本运动的位置比照中存在最大误差。

与现有技术相比，本发明具有如下的有益效果：

1、本发明通过运算不仅可以对整体运动的吻合度进行打分，而且可以对身体那个部分的动作需要纠正，做出建议。

2、本发明相对以往方法基于单一参考点建立的参数，矩阵参数以其它多个身体骨架的质心为参考点，减弱了由单一参考点位置捕捉或计算失误带来的系统误差，并且携带更多用来识别和比照动作的相关信息。

3、本发明的整个动作识别和比对，都采用矩阵运算，从而大大减少了计算机的计算量。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为基于机器视觉的运动识别特征参数算法的步骤流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1所示，根据本发明提供的基于机器视觉的运动识别特征参数算法，包括：

1)通过人工智能学习方法捕捉人体骨骼的关节点，并通过关节点计算，头部，躯干，大臂(2)，小臂(2)，大腿(2)和小腿·(2)10个部分的质心。

2)计算各质心的距离，相对速度和相对加速度特征参数。具体方法如下。

设10个质心的瞬时位置标记为P(t)_i(x_i,y_i,z_i),i＝1:10，则任意两个质心间的距离为R(t)_ij

R(t)_ij是一个随时间t变化函数。以人体站立，双手向上伸展时，一侧小臂质心到另一侧小腿质心的距离为基数，将R(t)_ij标准化为函数值在0和1之间变化的时间函数，将其计为r(t)_ij。

距离特征矩阵参数A(t)定义为

任意两质心间的相对位移速度可由以下公式计算：

其中Δt由影像的帧率f决定，Δt＝1/f

相对速度特征矩阵参数B(t)定义为，

任意两质心间的相对应的位移加速度可由以下公式计算,

a(t)_ij＝(v(t+Δt)_ij-v(t)_ij)/Δt,(i,j＝1:10)

相对加速度矩阵特征参数C(t)定义为,

3)比较运动练习者和参考样本动作的矩阵特征参数间的误差

运动练习者和参考动作的矩阵特征参数，分别为A(t),B(t),C(t),和A'(t),B’(t),C’(t)。

比较误差矩阵分别为E_A(t),E_B(t)和E_C(t)

4)计算比较运动练习者和参考样本动作的相似度

对矩阵E_a(t),E_b(t),E_c(t)的元素的绝对值按列求和得到矩阵E_Asum,E_Bsum,E_Csum。三个新得矩阵第i列的和值分别记为，E_i ^a,E_i ^b,E_i ^c。

然后在分别对矩阵E_Asum,E_Bsum,E_Csum，在一组动作对应的时间段内(t₁,t₂)积分，得到这个时间段内的三个误差矩阵E_Ast,E_Bst,E_Cst。三个矩阵第i项的积分值分别记为E_i ^A,E_i ^B,E_i ^C。

然后对E_Ast,E_Bst和E_Cst按行求和，取倒数。计算结果记为S_A,S_B,S_C。

S_A,S_B,S_C可以分别用来描述目标动作于样本动作，位置，速度，加速度间的相似度。可用目标动作打分计算的输入值。

5)找出运动过程中最不匹配的身体部位

求出矩阵E_Ast,E_Bst和E_Cst中元素最大值对应的相位，表明其相位对应的身体部位，在相关运动特征中存有最大误差。以下以E_Ast举例说明，当第k项矩阵元素有最大值，即

则第k项元素对应的身体部位，在目标运动和样本运动的位置比照中存在最大误差。

本发明相对以往方法基于单一参考点建立的参数，矩阵参数以其它多个身体骨架的质心为参考点，减弱了由单一参考点位置捕捉或计算失误带来的系统误差，并且携带更多用来识别和比照动作的相关信息。

在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种基于机器视觉的运动识别特征参数算法，其特征在于，包括如下步骤：

骨骼关节点捕捉步骤：通过人工智能学习方法捕捉人体骨骼的多个关节点，并通过关节点计算各个关节点的质心；

计算步骤：计算各质心的距离、相对速度以及相对加速度特征参数；

误差比较步骤：比较运动练习者和参考样本动作的矩阵特征参数间的误差；

相似度计算步骤：计算比较运动练习者和参考样本动作的相似度；

选择步骤：根据相似度计算结果选择运动过程中不匹配的关节点对应的身体部位；

所述运动练习者和参考动作的矩阵特征参数分别为A(t),B(t),C(t),和A'(t),B’(t),C’(t)，比较误差矩阵分别为E_A(t),E_B(t)和E_C(t)，则有：

所述相似度计算步骤包括：

对矩阵E_a(t)、E_b(t)、E_c(t)的元素的绝对值按列求和得到矩阵E_Asum,E_Bsum,E_Csum，三个新得矩阵第i列的和值分别记为E_i ^a,E_i ^b,E_i ^c：

分别对矩阵E_Asum,E_Bsum,E_Csum，在一组动作对应的时间段内(t₁,t₂)积分，得到这个时间段内的三个误差矩阵E_Ast,E_Bst,E_Cst，三个矩阵第i项的积分值分别记为E_i ^A,E_i ^B,E_i ^C：

对E_Ast,E_Bst和E_Cst按行求和，取倒数，计算结果记为S_A,S_B,S_C：

S_A,S_B,S_C分别用来描述目标动作于样本动作，位置，速度，加速度间的相似度，用目标动作打分计算的输入值。

2.根据权利要求1所述的基于机器视觉的运动识别特征参数算法，其特征在于，所述多个关节点包括如下任多个部位：头部、躯干、大臂、小臂、大腿、小腿。

3.根据权利要求1所述的基于机器视觉的运动识别特征参数算法，其特征在于，各个质心的瞬时位置标记为P(t)_i＝(x_i,y_i,z_i)，其中i表示第i个质心，t表示时刻t，x_i,y_i,z_i表示三维坐标系的坐标。

4.根据权利要求3所述的基于机器视觉的运动识别特征参数算法，其特征在于，质心i、j之间的距离

以人体站立，双手向上伸展时，一侧小臂质心到另一侧小腿质心的距离为基数，将R(t)_ij标准化为函数值在0和1之间变化的时间函数，计为r(t)_ij，距离特征矩阵参数A(t)定义为：

5.根据权利要求3所述的基于机器视觉的运动识别特征参数算法，其特征在于，质心i、j的相对速度

其中：Δt由影像的帧率f决定：Δt＝1/f，相对速度特征矩阵参数B(t)定义为：

6.根据权利要求5所述的基于机器视觉的运动识别特征参数算法，其特征在于，任意两质心间的相对应的位移加速度a(t)_ij＝(v(t+Δt)_ij-v(t)_ij)/Δt,相对加速度矩阵特征参数C(t)定义为：

7.根据权利要求1所述的基于机器视觉的运动识别特征参数算法，其特征在于，选择步骤包括：

求出矩阵E_Ast,E_Bst和E_Cst中元素最大值对应的相位，表明其相位对应的身体部位，在相关运动特征中存有最大误差。

8.根据权利要求7所述的基于机器视觉的运动识别特征参数算法，其特征在于，当E_Ast的第k项矩阵元素有最大值，即

则第k项元素对应的身体部位，在目标运动和样本运动的位置比照中存在最大误差。

Images