CN110503077B - 一种基于视觉的实时人体动作分析方法 - Google Patents

Abstract

本发明公开了一种基于视觉的实时人体动作分析方法，将预训练模型移植到手机端，通过手机摄像头捕捉人体正面单摇双脚跳视频，并将视频的输入到预训练模型中实时地分析跳绳过程中身体是否保持直立、左大臂是否加紧身体、右大臂是否加紧身体、是否是手腕摇绳、双脚是否合拢、左右臂是否保持水平，将分析结果嵌入到视频中，并保存视频到本地，解决了运动训练过程中的实时动作分析和动作质量评估问题，为运动过程中的动作分析提供了参考依据。

Description

一种基于视觉的实时人体动作分析方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于视觉的实时人体动作分析方法。

背景技术

近年来随着计算机技术与人工智能的发展和应用，基于视觉的人体动作分析技术迅速兴起并得到了广泛的关注。当前基于视觉的人体动作分析仍是计算机视觉中一个极具挑战性的课题，涉及图像处理、模式识别、人工智能等多个学科，在智能监控、人机交互、康复运动、体育训练等领域有着广泛的应用前景。

动作分析中的一个核心就是人体姿态估计，人体姿态估计的准确性和快速性将直接影响动作分析系统后续工作的结果。目前在人体姿态估计方面主要包括自顶向下和自底向上两种，其中自顶向下的方式是将人体检测和关节点检测分离，在图像上首先运行一个人体检测器，找到所有的人体实例，对每个人体子图再使用关节点检测；自底向上的方法是先检测出测试图像中的关节点信息，然后分配给单个的人。前者在实施时受到检测个人时的准确率的影响，当人离得比较近的时候，检测人体的方法无效，如果检测人体失败将不能进行姿态估计，而且随着人数的增加，时间复杂度很高，不能做到实时效果；相反地，后者对于姿态估计来说更具有鲁棒性，且时间开销稳定。

在机器学习中的传统的分类问题主要是单标签分类，目前已有很多算法可以实现单标签分类，包括支持向量机、逻辑回归、神经网络等。多标签分类是在单标签分类的基础上发展而来，目前多标签分类已经应用在蛋白质分类、音乐分类、语义场景分类、图像分类、文本分类等多个场景中。

现有的基于视觉的人体行为识别算法存在复杂度高、鲁棒性差、计算负担过重等问题，不能做到实时。此外，人体在动作分析和运动质量评估方面的研究工作较少，专业的人体运动动作分析人员缺乏，无法进行合理的指导。所以发明一种鲁棒性高，时间开销稳定的人体动作分析方法，对于实时人体动作分析和动作质量评估具有重要的意义。

发明内容

针对上述情况，为克服现有技术之缺陷，本发明之目的在于提供一种基于视觉的实时人体动作分析方法，具有构思巧妙、人性化设计的特性，解决了运动训练过程中的实时动作分析和动作质量评估问题。

其解决的技术方案是，一种基于视觉的实时人体动作分析方法,包括如下步骤：

步骤1：通过手机获取大量人体运动的视频流数据，记录并保存目标对象的基本信息，包括姓名、性别、年龄、所做动作名称；

步骤2：对视频数据进行预处理，并对视频中每一帧的人体进行姿态估计，得到关节点坐标，其步骤如下：

步骤2-1:将不同手机拍摄的视频数据转换成统一的尺度；

步骤2-2：通过迁移学习利用Open-pose方法对获得视频中每帧人体的鼻子、脖子、右肩、右手肘、右手腕、右手面、左肩、左手肘、左手腕、左手面、右臀部、右膝盖、右脚掌、右脚踝、左臀部、左膝盖、左脚踝、左脚掌这18个关节点的坐标位置，坐标表示为C_i＝(cx_i,cy_i)，其中i从1到18，C_i＝(cx_i,cy_i)表示坐标，cx₁表示第一个关节点的x坐标，cy₁表示第一个关节点的y坐标，C₁是第一个关节点坐标的坐标集合；

步骤3：对所得的18个关节点坐标以左臀部、右臀部和脖子三点构成的三角形重心为原点定义一个坐标系，并将直角坐标系转换成极坐标系，获得转换后的坐标矩阵P；

步骤4：对视频进行分析，按时间段进行标记，记录并保存得到的标签；

步骤5：累计每帧得到的坐标矩阵P，得到每段视频的累计坐标矩阵D，利用滑动窗口对累计坐标矩阵进行窗口分割，即滑动窗口长度设置为每20帧得到的累计坐标，步长设置为有50％的数据重叠；

步骤6：利用累计坐标矩阵D，构建数据的特征集X和标签集Y，其中X＝R^d表示d维的输入空间，Y＝{0,1}^q，表示标签的标签空间，T＝(xⁱ,yⁱ)|1≤i≤m，m表示数据集的大小，xⁱ∈X，是一个d维的向量，yⁱ∈Y是Y的一个标签子集,X表示特征集，Y表示的是标签集,R是实数，d表示输入维度，q是标签个数,T表示的是特征集和标签集中一组标签对应的一组数据,xⁱ特征集中的一组数据，yⁱ标签集中的一组标签；

步骤7：利用深度神经网络构建多标签分类器h(·)，预测

作为x的正确标签集，h(·)为多标签分类器，h(x)就是将x输入到多标签分类器中得到一个输出值，其步骤为：

步骤7-1:利用BiGRU+GRU构建深度神经网络模型，即，一个双向的GRU层加上一个单项的GRU层；

步骤7-2：将数据分为训练集和测试集两个部分，利用测试集训练网络模型，并保存预训练模型；

步骤7-3：将测试数据输入到已有的预训练模型中，得到分类的结果。

由于以上技术方案的采用，本发明与现有技术相比具有如下优点；

1.本发明在跳绳训练结束后，用户能够立马在手机上看到自己的训练视频，然后知道自己的动作哪里出现了问题，本发明的目的就是取代人工，帮助体育教练、学生把精力放在那些他们应该关注的东西上，把学生从每日繁琐的训练中解放出来，从而专注于自己的不足之处，那么无疑将更能激发学生的潜力，提高体育考试的成绩。

2.本发明解决了运动训练过程中的实时动作分析和动作质量评估问题，为运动过程中的动作分析提供了参考依据，本发明的结果准确性高、适应性强、健壮性高、可扩展性好，完全能够满足实时人体动作分析场景下的需求。

附图说明

图1是单摇双脚跳动作分析结构图；

图2是跳绳过程中的18个点的人体姿态估计图；

图3人体关节点在直角坐标系中呈现图；

图4人体关节点在极坐标系中呈现图；

图5双向GRU结构图；

图6总体网络结构图。

具体实施方式

有关本发明的前述及其他技术内容、特点与功效，在以下配合参考附图1至图6对实施例的详细说明中，将可清楚的呈现。以下实施例中所提到的结构内容，均是以说明书附图为参考。

实施例一，一种基于视觉的实时人体动作分析方法,包括如下步骤：

步骤1：通过手机获取大量人体运动的视频流数据，记录并保存目标对象的基本信息，包括姓名、性别、年龄、所做动作名称；

步骤2：对视频数据进行预处理，并对视频中每一帧的人体进行姿态估计，得到关节点坐标，其步骤如下：

步骤2-1:将不同手机拍摄的视频数据转换成统一的尺度；

步骤2-2：通过迁移学习利用Open-pose方法对获得视频中每帧人体的鼻子、脖子、右肩、右手肘、右手腕、右手面、左肩、左手肘、左手腕、左手面、右臀部、右膝盖、右脚掌、右脚踝、左臀部、左膝盖、左脚踝、左脚掌这18个关节点的坐标位置，坐标表示为C_i＝(cx_i,cy_i)，其中i从1到18，C_i＝(cx_i,cy_i)表示坐标，cx₁表示第一个关节点的x坐标，cy₁表示第一个关节点的y坐标，C₁是第一个关节点坐标的坐标集合；

步骤3：对所得的18个关节点坐标以左臀部、右臀部和脖子三点构成的三角形重心为原点定义一个坐标系，并将直角坐标系转换成极坐标系，获得转换后的坐标矩阵P；

步骤4：对视频进行分析，按时间段进行标记，记录并保存得到的标签；

步骤5：累计每帧得到的坐标矩阵P，得到每段视频的累计坐标矩阵D，利用滑动窗口对累计坐标矩阵进行窗口分割，即滑动窗口长度设置为每20帧得到的累计坐标，步长设置为有50％的数据重叠；

步骤6：利用累计坐标矩阵D，构建数据的特征集X和标签集Y，其中X＝R^d表示d维的输入空间，Y＝{0,1}^q，表示标签的标签空间，T＝(xⁱ,yⁱ)|1≤i≤m，m表示数据集的大小，xⁱ∈X，是一个d维的向量，yⁱ∈Y是Y的一个标签子集,X表示特征集，Y表示的是标签集,R是实数，d表示输入维度，q是标签个数,T表示的是特征集和标签集中一组标签对应的一组数据,xⁱ特征集中的一组数据，yⁱ标签集中的一组标签；

步骤7：利用深度神经网络构建多标签分类器h(·)，预测

作为x的正确标签集，h(·)为多标签分类器，h(x)就是将x输入到多标签分类器中得到一个输出值，其步骤为：

步骤7-1:利用BiGRU+GRU构建深度神经网络模型，即，一个双向的GRU层加上一个单项的GRU层；

步骤7-2：将数据分为训练集和测试集两个部分，利用测试集训练网络模型，并保存预训练模型；

步骤7-3：将测试数据输入到已有的预训练模型中，得到分类的结果。

实施例二，在实施例一的基础上，在执行步骤2时，通过Labelme图像标注工具，获取左脚掌、右脚掌、左手面、右手面四个坐标的位置信息，，并通过迁移学习利用Open-pose获取所需的18个关节点坐标位置；在执行步骤3时，得到左臀部C₁₁＝(cx₁₁,cy₁₁)、右臀部C₁₅＝(cx₁₅,cy₁₅)和脖子C₂＝(cx₂,cy₂)的坐标,定义坐标原点，即，C₂、C₁₁、C₁₅三点的重心点C₀＝(cx₀,cy₀),其中

并以原点坐标为参照更新所有坐标点，将直角坐标系转换成极坐标的形式，极坐标pc_i＝(ρ_ii,θ_i)，其中i从1到18，

其中ρ_i＞0，，-π＜θ_i≤π。

实施例三，在实施例一的基础上，在执行步骤7时，GRU模型作为LSTM长短期记忆网络的一种变体，将忘记门和输入门合成了一个单一的更新门,BiGRU是一个双向GRU，双向GRU有两个GRU上下叠加在一起组成，输出由两个GRU的状态共同决定，其中一个递归网络从前往后计算隐向量

另一个递归神经网络从后往前计算隐向量

最后的输出

构建网络模型时，为了使网络中每层输入数据的分布相对稳定，加速模型学习速度，在BiGRU层之前加入批归一化层Batch Normalization；

为了实现多标签分类，最后一层激活函数设置为sigmoid激活函数,损失函数选择二元交叉熵binary_crossentropy损失函数。训练网络时将GRU隐藏层的维度设置为256，参数更新时采用Adamx优化算法，其中学习率设置为0.02，一阶矩估计的指数衰减率(beta1)设置为0.9，二阶矩估计的指数衰减率(beta2)设置为0.999。

本发明具体使用时，将预训练模型移植到手机端，通过手机摄像头捕捉人体正面单摇双脚跳视频，并将视频的输入到预训练模型中实时地分析跳绳过程中身体是否保持直立、左大臂是否夹紧身体、右大臂是否夹紧身体、是否是手腕摇绳、双脚是否合拢、左右臂是否保持水平，将分析结果嵌入到视频中，并保存视频到本地；

参看图1，正摇双脚跳动作分析主要包括六个部分：数据的采集、数据的处理、坐标点的提取、特征序列的构建、特征处理、模型的建立。

其中所述的数据的采集过程为通过手机采集人体正面正摇双脚跳过程中的视频流数据；

其中所述的数据处理包括对不同设备采集的视频流数据进行高和宽的统一设定，将视频高设定为530cm,宽设定为460cm；记录并保存目标对象的基本信息，包括姓名、性别、年龄、所做动作名称。

参看图2，人体姿态估计对视频数据进行预处理，通过对视频中每一帧的人体进行姿态估计得到关节点坐标，通过迁移学习利用Open-pose方法对获得视频中每帧人体的鼻子、脖子、右肩、右手肘、右手腕、右手面、左肩、左手肘、左手腕、左手面、右臀部、右膝盖、右脚掌、右脚踝、左臀部、左膝盖、左脚踝、左脚掌这18个关节点的坐标位置，坐标表示为C_i＝(cx_i,cy_i)，其中i从1到18。其中左脚掌、右脚掌、左手面、右手面四个坐标的位置信息，是通过Labelme图像标注工具，增加四个关节点位置信息，并通过迁移学习利用Open-pose获取最终所需的18个关节点坐标位置。

参看图3，图4,对所得的18个关节点坐标以左臀部、右臀部和脖子三点构成的三角形重心为原点定义一个坐标系，并将直角坐标系转换成极坐标系，得到转换后的坐标矩阵P。其中坐标原点是利用得到的左臀部C₁₁＝(cx₁₁,cy₁₁)、右臀部C₁₅＝(cx₁₅,cy₁₅)和脖子C₂＝(cx₂,cy₂)这三个坐标得到。

定义坐标原点，即，C₂、C₁₁、C₁₅三点的重心点C₀＝(cx₀,cy₀),其中

并以原点坐标为参照更新所有坐标点。

将直角坐标系转换成极坐标的形式，极坐标pc_i＝(ρ_i,θ_i)，其中i从1到18，

限定ρ＞0，-π＜θ≤π。

参看图1，其中特征序列为累计每帧得到的坐标矩阵P，得到每段视频的累计坐标矩阵D，利用滑动窗口对累计坐标矩阵进行窗口分割，即，滑动窗口长度设置为每20帧得到的累计坐标，步长设置为有50％的数据重叠；

参看图1，其中数据的标签是通过专业人员对视频进行分析，并按时间片段进行标记而得到，数据的标签设定为身体保持直立是否、左大臂加紧身体是否、右大臂加紧身体是否、手腕摇绳是否、双脚合拢是否、左右臂保持水平是否共6个标签，共有64中可能；

构建数据的特征集X和标签集Y，其中X＝R^d表示d维的输入空间，d的大小为36，Y＝{0,1}^q，表示可能标签的标签空间，q的大小为6，T＝(xⁱ,yⁱ)|1≤i≤m，m表示数据集的大小，数据集的大小为6300，xⁱ∈X，是一个36维的向量，yⁱ∈Y是Y的一个标签子集，共收集了40个人的正摇双脚跳视频，获得6300个样例数据。

参看图6，利用深度神经网络构建6标签分类器h(·)，预测

作为x的正确标签集，其步骤为：

步骤S1:利用BiGRU+GRU构建深度神经网络模型，即，一个双向的GRU层加上一个单项的GRU层；

步骤S2：将数据分为训练集和测试集两个部分，利用测试集训练网络模型，并保存预训练模型；

步骤S3：将测试数据输入到训练好的模型中，得到分类的结果。

其中GRU模型作为LSTM长短期记忆网络的一种变体，将忘记门和输入门合成了一个单一的更新门。

BiGRU是一个双向GRU，双向GRU有两个GRU上下叠加在一起组成，输出由两个GRU的状态共同决定其中一个递归网络从前往后计算隐向量

另一个递归神经网络从后往前计算隐向量

最后的输出

以上所述是结合具体实施方式对本发明所作的进一步详细说明，不能认定本发明具体实施仅局限于此；对于本发明所属及相关技术领域的技术人员来说，在基于本发明技术方案思路前提下，所作的拓展以及操作方法、数据的替换，都应当落在本发明保护范围之内。

Claims (4)

1.一种基于视觉的实时人体动作分析方法，其特征在于，包括如下步骤：

步骤1：通过手机获取大量人体运动的视频流数据，记录并保存目标对象的基本信息，包括姓名、性别、年龄、所做动作名称；

步骤2：对视频数据进行预处理，并对视频中每一帧的人体进行姿态估计，得到关节点坐标，其步骤如下：

步骤2-1：将不同手机拍摄的视频数据转换成统一的尺度；

步骤2-2：通过迁移学习利用Open-pose方法对获得视频中每帧人体的鼻子、脖子、右肩、右手肘、右手腕、右手面、左肩、左手肘、左手腕、左手面、右臀部、右膝盖、右脚掌、右脚踝、左臀部、左膝盖、左脚踝、左脚掌这18个关节点的坐标位置，坐标表示为C_i＝(cx_i,cy_i)，其中i从1到18，C_i＝(cx_i,cy_i)表示坐标，cx₁表示第一个关节点的x坐标，cy₁表示第一个关节点的y坐标C₁是第一个关键点坐标的坐标集合；

步骤3：对所得的18个关节点坐标以左臀部、右臀部和脖子三点构成的三角形重心为原点定义一个坐标系，并将直角坐标系转换成极坐标系，获得转换后的坐标矩阵P；

步骤4：对视频进行分析，按时间段进行标记，记录并保存得到的标签；

步骤5：累计每帧得到的坐标矩阵P，得到每段视频的累计坐标矩阵D，利用滑动窗口对累计坐标矩阵进行窗口分割，即滑动窗口长度设置为每20帧得到的累计坐标，步长设置为有50％的数据重叠；

步骤6：利用累计坐标矩阵D，构建数据的特征集X和标签集Y，其中X＝R^d表示d维的输入空间，Y＝{0,1}^q，表示标签的标签空间，T＝(xⁱ,yⁱ)|1≤i≤m，m表示数据集的大小，xⁱ∈X，是一个d维的向量，yⁱ∈Y是Y的一个标签子集，X表示特征集，Y表示的是标签集，R是实数，d表示输入维度，q是标签个数，T表示的是特征集和标签集中一组标签对应的一组数据，xⁱ特征集中的一组数据，yⁱ标签集中的一组标签；

步骤7：利用深度神经网络构建多标签分类器h(·)，预测

作为x的正确标签集，h(·)为多标签分类器，h(x)就是将x输入到多标签分类器中得到一个输出值，其步骤为：

步骤7-1：利用BiGRU+GRU构建深度神经网络模型，即，一个双向的GRU层加上一个单项的GRU层；

步骤7-2：将数据分为训练集和测试集两个部分，利用测试集训练网络模型，并保存预训练模型；

步骤7-3：将测试数据输入到已有的预训练模型中，得到分类的结果。

2.如权利要求1所述一种基于视觉的实时人体动作分析方法，其特征在于，在执行步骤2时，通过Labelme图像标注工具，获取左脚掌、右脚掌、左手面、右手面四个坐标的位置信息，并通过迁移学习利用Open-pose获取所需的18个关节点坐标位置。

3.如权利要求1所述一种基于视觉的实时人体动作分析方法，其特征在于，在执行步骤3时，得到左臀部C₁₁＝(cx₁₁,cy₁₁)、右臀部C₁₅＝(cx₁₅,cy₁₅)和脖子C₂＝(cx₂,cy₂)的坐标，定义坐标原点，即，C₂、C₁₁、C₁₅三点的重心点C₀＝(cx₀,cy₀)，其中

并以原点坐标为参照更新所有坐标点，将直角坐标系转换成极坐标的形式，极坐标pc_i＝(ρ_i,θ_i)，其中i从1到18，

其中ρ_i＞0，-π＜θ_i≤π。

4.如权利要求1所述一种基于视觉的实时人体动作分析方法，其特征在于，在执行步骤7时，GRU模型作为LSTM长短期记忆网络的一种变体，将忘记门和输入门合成了一个单一的更新门，BiGRU是一个双向GRU，双向GRU有两个GRU上下叠加在一起组成，输出由两个GRU的状态共同决定，其中一个递归网络从前往后计算隐向量

另一个递归神经网络从后往前计算隐向量

最后的输出

Images