CN110458235B - 一种视频中运动姿势相似度比对方法 - Google Patents

Abstract

本发明属于计算机视觉领域，为视频中运动姿势相似度比对方法，包括步骤：数据提取，并生成含有多个人体节点的骨架关键节点图；数据预处理，生成节点时序状态图；去除节点时序状态图中无变化部分，只保留节点在不同时间下的变化状态，生成节点时序变化特征图；根据节点时序变化特征图，通过差异算法计算得到差异值，综合每个节点在不同时间段的差异值组成全部节点的差异矩阵；根据差异矩阵通过相似度算法，计算出两个动作在动作姿势、动作幅度、动作速度三个维度的相似度。通过本发明所提供的相似度比对技术可高效快速准确的比对出运动姿势包括动作姿势、动作速度、动作幅度三个维度的相似度，可以应用在体育运动、健身纠错等领域。

Description

一种视频中运动姿势相似度比对方法

技术领域

本发明属于计算机视觉领域，具体涉及一种视频中运动姿势相似度比对方法。

背景技术

对视频中的运动姿势分析是计算机视觉研究与应用领域中的基本课题。随着人工智能技术的发展，这一课题也吸引着人们越来越多的兴趣。一方面是因为视频中的运动姿势在体育运动分析、动作纠错矫正等领域有着广泛的应用前景。另一方面，针对不同视频中的运动姿势比对分析技术包含着大量挑战，例如：运动视频提取角度的变化、光线的影响等等。

于2018年11月2日公布的发明专利申请CN108734104A，公开了一种基于深度学习的图像识别运动动作纠错系统。其训练的人体关节识别模型是基于VGG神经网络生成的，利用简单的欧式距离计算相似性，从识别准确度和识别速度上来看对于纠错运动动作有很大的局限性，并且上述发明申请重点应用场景是结合音乐节奏的运动动作，通过音乐来控制运动的开始和结束，还无法扩展到不受音乐约束的场景中去。

于2019年3月8日授权公告的发明专利CN103914677B，公开了一种动作识别方法及装置。其对动作的识别主要通过获取初始动作所对应的图像中人体轮廓的中心点为第一向量，和终止动作所对应的图像中人体局部轮廓的中心点为第二向量；计算所述第一向量和第二向量的差值；将所述差值与数据库中预置的数据列表进行比较，并根据比较结果将所述差值与相应的动作相关联。最终根据差分处理结果确定动作所对应的图像相似度。该专利只能针对一个视频处理，无法扩展到同时比对两个视频；同时，只能实现对动作姿势的比对，无法实现动作速度以及动作幅度的比对。

于2018年7月10日授权公告的发明专利CN105046193B，公开了一种基于融合稀疏表示矩阵的人体动作识别方法。依靠人体身上佩戴的传感器来获取动作矩阵，在动作识别阶段通过计算待识别动作向量与融合稀疏表示矩阵中各列向量的线性加权差值，选择线性加权差值最小的列向量所对应的动作种类为最终的识别结果。该发明受限于传感器的佩戴，无法大规模应用于动作识别领域，同时在比对过程中没有考虑动作速度、幅度的差异，导致在运动姿势相似度比对中表现一般。

因此，如何突破传统动作姿态比对技术方案的局限性，快速准确地实现视频中运动姿势相似度比对是目前此应用领域需要解决的问题。

发明内容

为了解决现有技术所存在的问题，本发明提供一种视频中运动姿势相似度比对方法，结合时序、空间距离等约束场景实现了将不同视频中人体运动的姿势进行提取对比分析。

根据本发明的视频中运动姿势相似度比对方法，包括以下步骤：

S1、数据提取，将视频图像以一定频率截取，将截取的视频图像生成含有多个人体节点的骨架关键节点图；

S2、数据预处理，分别对骨架关键节点图中的每个节点在不同时间段的运动变化状态进行分析，生成节点时序状态图，对节点时序状态图进行阈值处理；

S3、数据处理，去除节点时序状态图中无变化部分，只保留节点在不同时间下的变化状态，生成节点时序变化特征图；

S4、生成差异矩阵，根据节点时序变化特征图，将不同图像中的相同节点的变化特征从多个维度进行加权计算，通过差异算法计算得到差异值，综合每个节点在不同时间段的差异值组成全部节点的差异矩阵；

S5、差异化度量，根据差异矩阵通过相似度算法，计算出两个动作在动作姿势、动作幅度、动作速度三个维度的相似度。

与现有技术相比，本发明取得了如下技术效果：

1、本发明可实现将两个视频图像进行比对，应用场景更宽泛。

2、在识别阶段，本发明通过简单的视频采集并采用识别算法就可以提取人体中25个关键节点；经试验测试，准确度完全符合做下一步相似度比对的条件。

3、在运动姿势比对阶段，本发明考虑了时间差、动作幅度、动作速度等多个维度，实现了更全面的相似度比对分析。

附图说明

图1是本发明的相似度比对流程图；

图2中，(a)是骨架节点坐标图，(b)是归一化节点坐标图；

图3是节点时序状态图，其中(a)是某节点的原始序列图，(b)是对该节点采取高斯平滑过滤后的序列图。

图4是节点时序变化特征图，其中(a)、(b)、(c)、(d)分别由不同的节点时序状态图通过波峰波谷剪切法所得的子序列。

具体实施方式

为使本发明的目的、技术方案更加清楚明白，以下结合附图及实施例对本发明进行详细说明，但本发明的实施方式不限于此。

实施例

视频中运动姿势对比在体育科学训练中有着重要的作用，本发明需要解决关键问题是如何针对两段视频中相似的运动姿势进行对比并得到其相似度。例如在健身过程中，我们可以利用摄像头将动作姿势拍摄保存，通过技术处理后将自身健身动作与专业健身动作进行对比分析，从而进行纠错完善。

本发明首先使用基于OpenPose的人体动作识别算法对视频中的运动姿势进行识别检测，将识别的动作生成骨架关键节点图；随后针对每个骨架关键节点在不同时间段的运动变化，用阈值处理的方法生成节点时序状态图；利用剪切的手法对节点时序状态图进行修改得到节点变化特征图；最后运用差异算法得到不同视频之间的差异矩阵，从而计算出不同视频中运动姿势的相似度。本发明涉及的一些基本概念如下：

(1)OpenPose：OpenPose人体姿势识别项目是美国卡耐基梅隆大学(CMU)基于卷积神经网络和监督学习并以caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿势估计。适用于单人和多人，具有极好的鲁棒性。是世界上首个基于深度学习的实时多人二维姿势估计应用，基于它的实例如雨后春笋般涌现。人体姿势估计技术在运动、动作采集、3D试衣、舆情监测等领域具有广阔的应用前景。针对本发明所应用于动作识别的场景，OpenPose可以高效精确的提供技术支持。

(2)归一化处理：数据的归一化处理是将数据按比例缩放，使之落入一个小的特定区间。由于信用指标体系的各个指标度量单位是不同的，为了能够将指标参与评价计算，需要对指标进行规范化处理，通过函数变换将其数值映射到某个数值区间。图像归一化是指对图像进行了一系列标准的处理变换，使之变换为一固定标准形式的过程，该标准图像称作归一化图像。

(3)阈值处理算法：图像阈值处理是实现图像分割的一种方法，由于阈值处理直观、实现简单且计算速度快，因此图像阈值处理在图像分割中处于核心地位。以ReLU函数和高斯滤波算法为核心，对节点时序状态图进行阈值处理可以突出节点的变化特征。其中，高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。

ReLU函数定义为：

x＝max(x,0)

本实施例的视频中运动姿势相似度比对方法，包括以下步骤：

S1、数据提取，将视频图像以每秒5到10帧的频率截取，将截取的视频图像输入基于OpenPose的人体动作识别平台，生成含有25个人体节点的骨架关键节点图，如图2的(a)所示；对骨架关键节点归一化和平移操作，得到标准统一化的骨架关键节点图，如图2的(b)所示。归一化系数len为：

其中，i、j为骨架关键节点图中相连的节点，x、y为骨架关键节点的横坐标与纵坐标。将骨架关键节点中的节点按照归一化系数进行等比例缩放，可得到标准统一化的骨架节点图。

S2、数据预处理，分别对骨架关键节点图中的每个节点在不同时间段的运动变化状态进行分析，生成节点时序状态图，并用ReLU函数和高斯滤波算法对节点时序状态图进行阈值处理，强调节点在不同时间段的运动变化状态，如图3的(a)、(b)所示，实线是表示待对比动作序列，虚线是已有标准动作序列。

其中，对高斯滤波的泛化参数定义为8，即使用：

cv2.bilateralFilter(array,8)

S3、数据处理，利用波峰波谷剪切的手法去除节点时序状态图中无变化部分，只保留节点在不同时间下的变化状态(相当于只提取时序状态中的峰值)，生成节点时序变化特征图，如图4，实线是表示待对比动作子序列，虚线是已有标准动作子序列。

S4、生成差异矩阵，根据节点时序变化特征图，将不同图像中的相同节点的变化特征从积分(S)、时间序列相似度量(DTW)、时间差(T)、平均值(A)、方差(V)、最大相似度等多个维度进行加权计算，通过差异算法计算得到差异值(例如相减得到差异值)，综合每个节点在不同时间段的差异值组成全部节点的差异矩阵M。

N代表由波峰波谷波剪切法所得N个子序列(如图3，图4综合所示)，将子序列所求得的DTW、S、T、A、V代入差异矩阵，即可通过卷积网络降维至(0-100)得分之间，其中0代表完全不相似，100代表完全相似。

其中，积分S、时间差T、平均值A、方差V等的定义分别如下：

S5、差异化度量，根据差异矩阵通过相似度算法，计算出两个动作的相似度。

本实施例中，将节点的差异矩阵中不同节点全时间段的差异值加权相加，得出两个动作的整体差异值DTW。其中，对DTW的定义为：

其中，a为待对比动作序列，b为已有标准动作序列，i、j分别为a、b序列的时间帧。

待对比动作序列a与已有标准动作序列b的最长公共子串的长度记为c。且设置了一个最大标准差的偏移容忍。也就是说，若a、b(a≠b)之间由抖动所产生的差值在这个最大标准差的偏移容忍内，则可认为属于抖动情况，也一并归入c中，并定义α为惩罚因子以抑制正常抖动对量化匹配相似度的影响：

将整体差异值运用相似度算法可得两个动作在动作姿势、动作幅度、动作速度三个维度的相似度，从而将本发明比对方法应用在体育运动、健身纠错等领域。其中，相似度acc计算方法如下：

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种视频中运动姿势相似度比对方法，其特征在于，包括以下步骤：

S1、数据提取，将视频图像以一定频率截取，将截取的视频图像生成含有多个人体节点的骨架关键节点图；

S2、数据预处理，分别对骨架关键节点图中的每个节点在不同时间段的运动变化状态进行分析，生成节点时序状态图，对节点时序状态图进行阈值处理；

S3、数据处理，去除节点时序状态图中无变化部分，只保留节点在不同时间下的变化状态，生成节点时序变化特征图；

S4、生成差异矩阵，根据节点时序变化特征图，将不同图像中的相同节点的时序变化特征从多个维度进行加权计算，通过差异算法计算得到差异值，综合每个节点在不同时间段的差异值组成全部节点的差异矩阵；

S5、差异化度量，根据差异矩阵通过相似度算法，计算出两个动作在动作姿势、动作幅度、动作速度三个维度的相似度；

步骤S4所述多个维度包括积分S、时间序列相似度量DTW、时间差T、平均值A、方差V和最大相似度。

2.根据权利要求1所述的视频中运动姿势相似度比对方法，其特征在于，步骤S1还对骨架关键节点归一化和平移操作，得到标准统一化的骨架关键节点图。

3.根据权利要求2所述的视频中运动姿势相似度比对方法，其特征在于，归一化的系数len为：

其中，i、j为骨架关键节点图中相连的节点，x、y为骨架关键节点的横坐标与纵坐标。

4.根据权利要求1所述的视频中运动姿势相似度比对方法，其特征在于，步骤S2用ReLU函数和高斯滤波算法对节点时序状态图进行阈值处理。

5.根据权利要求1所述的视频中运动姿势相似度比对方法，其特征在于，步骤S5进行差异化度量时，将节点的差异矩阵中不同节点全时间段的差异值加权相加，得出两个动作的整体差异值，将整体差异值运用相似度算法得到两个动作在动作姿势、动作幅度、动作速度三个维度的相似度。

6.根据权利要求5所述的视频中运动姿势相似度比对方法，其特征在于，整体差异值DTW的定义为：

其中，a为待对比动作序列，b为已有标准动作序列，i、j分别为a、b序列的时间帧。

7.根据权利要求6所述的视频中运动姿势相似度比对方法，其特征在于，设待对比动作序列a与已有标准动作序列b的最长公共子串的长度为c；设置一个最大标准差的偏移容忍，若待对比动作序列a与已有标准动作序列b之间由抖动所产生的差值在所述最大标准差的偏移容忍内，则认为属于抖动情况，也一并归入c中；定义α为惩罚因子以抑制正常抖动对量化匹配相似度的影响：

则相似度acc计算方法如下：

Images