CN115761901A - 一种骑马姿势检测评估方法 - Google Patents

Abstract

一种骑马姿势检测评估方法，包括：S1，两台摄像机分别获取画面，当检测到画面有人骑马时，截取片段视频；S2，通过OpenPose提取视频中每一帧的人体姿态数据，并根据两个不同机位所获得的坐标点信息，进行三维重建，进一步获得三维坐标轴下的人体关节点坐标信息；S3，综合考虑所获取数据的置信度以及标准动作的关键部位，选取合适的关节点组合，提取关节点坐标信息，并进一步计算相应夹角；S4，根据实际采集的关节点角度信息，将测试数据于标准数据做比较，并根据结果来分析标准程度。本发明使用的装置简易、操作方便，成本低，对骑马学习者的姿态进行识别和评估，矫正学习者的姿势，也可将其运用到相关运动的考核评分中。

Description

一种骑马姿势检测评估方法

技术领域：

本发明涉及信息采集分析技术领域，尤其涉及一种骑马姿势检测评估方法。

背景技术：

基于视觉信息对人体运动进行分析是计算机视觉技术在体育领域中的重要应用之一，涉及到计算机视觉、模式识别和智能体育等多个领域的理论和技术。目前，相关技术已经在某些体育运动项目中已经发展的非常成熟了，例如跑步、跳水、乒乓球、排球等，但在一项较为传统的体育运动骑马中，姿态识别算法与其结合的应用还较少，无法准确清晰地评价学习者的学习状态，进而无法对其弱点进行针对性的个性化的练习。该姿态识别系统可运用于骑马练习场，对骑马学习者的姿态进行识别和评估，矫正学习者的姿势，也可将其运用到相关运动的考核评分中，对于传统运动的文化传承有极大的现实意义以及广阔的应用空间。

发明内容：

针对现有技术的不足，本发明要提供一种骑马姿势检测评估方法，利用计算机视觉、三维重建技术、OpenPose姿势识别算法等来应用到骑马姿势的识别中，以起到对骑马学习者的骑姿进行检测和矫正的作用，进而推动传统文化的传承。

本发明提供如下技术方案：

一种骑马姿势检测评估方法，采用摄像机和处理分析及评估系统，摄像机将摄录的视频上传至处理分析及评估系统；该系统包括特征提取模块、姿态检测模块、三维重建模块、计算分析模块。

一种骑马姿势检测评估方法，包括以下步骤：

S1，两台摄像机分别获取画面，当检测到画面有人骑马时，截取片段视频；

S2，通过OpenPose提取视频中每一帧的人体姿态数据，并根据两个不同机位所获得的坐标点信息，进行三维重建，进一步获得三维坐标轴下的人体关节点坐标信息；

S3，综合考虑所获取数据的置信度以及标准动作的关键部位，选取合适的关节点组合，提取关节点坐标信息，并进一步计算相应夹角；

S4，根据实际采集的关节点角度信息，将测试数据于标准数据做比较，并根据结果来分析标准程度。

步骤S1中，两台摄像机的摆放位置需固定，置于同一水平高度位置且视野开阔处，两者视角方向呈垂直状态。摄像机实时获取画面，通过卷积神经网络(CNN)来识别画面中是否有目标图像，当两台摄像机均检测到画面有人骑马时，截取片段视频。截取的片段从骑手全部进入画面开始，当骑手即将出画面时结束。进行简单的预处理，则最终获得两个运动时间一致但角度不同的视频。

步骤S2中，通过OpenPose得出所获取视频中每一帧的每个关键点的二维坐标和置信度，各个部位与其对应的编号：0－鼻子，1－脖子，2－右肩，3－右肘，4－右手，5－左肩，6－左肘，7－左手，8－中跨，9－右胯，10－右膝盖，11－右脚踝，12－左胯，13－左膝盖，14－左脚踝，15－右眼，16－左眼，17－右耳，18－左耳，19－左大趾，20－左小趾，21－左脚跟，22－右大趾，23－右小趾，24－右脚跟。

之后，根据两幅同一时刻两摄像机拍摄的某一帧所获得的人体二位骨骼关节点坐标信息进行人体骨架的三维重建。对于每台相机，其在世界坐标系下坐标和图像坐标可由下式表示：

式中，Z_c为光心到像平面距离；f为镜头焦距；u，v为像素坐标系坐标；R，T为像平面在世界坐标系下旋转和平移矩阵；dx，dy为像素对应物理长度；X_w，Y_w，Z_w为物体在世界坐标系坐标；u₀，v₀为图像中心的像素坐标；K，M分别为相机内参矩阵和外参矩阵。

通过该步骤，得到人体骨骼关节点在世界坐标系的三维坐标，使得进一步处理时，即在计算肢体间的角度时，可以消除二维坐标带来的视觉上的误差，使数据更加精确。根据上述OpenPose所获得的关节点及对应参数，做辅助参数——关键的关节角度。

步骤S3中，由于每个关节角度由三个关节点构成，根据OpenPose给出的每个关节点的置信度数据，通过求相邻三个关节点数据的均值的方法得出关键关节角度的置信度数据。设i号关节角度的置信度是S_i。

根据标准骑马姿势的动作要领，将各个关节点对应的关节角度按照重要程度排序并赋值，最次重要的重要度为0，最重要的重要度为n，表示权重最重。在步骤S2中设计的了辅助参数编号0至11，故n＝11。设i号关节点的重要度为M_i。

综合关节点的置信度和相关肢体动作在实践中的重要程度分别加权，得出参数A_i为关节角度i的优先选择度。

将各个关节角度的优先选择度排序，并选择其中的m个关节角度作为有效数据。之后，进一步计算其夹角。

以编号0的关节角度为例，其组成关节点坐标分别为A1(x1，y1，z1)，A2(x2，y2，z2)，A3(x3，y3，z3)，根据两点间距离公式

求得点A1，A2间距离b，A1，A3间距离c，A2，A3间距离a，并通过余弦定理来求得夹角：

CosA＝(b＊b+c＊c-a＊a)/2＊b＊c (4)

最终获得关键关节点的夹角信息。

步骤S4中，由于对于骑马姿态的检测是一个动态的过程，而对于骑马姿势的标准，分别有静态和动态的要求。

对于相对静态的动作标准，以马小走的骑姿为例，肩颈和跨要求保持在同一条垂直线上，则取标准常量v₀＝[x₁，x₂，x₃]，取关节点1和8组成的向量v_i，k＝[y₁，y₂，y₃]作为对比的数据，其中i表示第i帧，k表示肢体部位编号。然后计算第i帧下的肢体k组成的向量v_i，k于标准向量v₀组成的余弦相似度，记为C_i，k，计算公式如下所示：

将每一帧的相应的余弦相似度计算出来之后取平均值为C_k，表示肢体k在这一段时间内的动作相似度：

获取以上数据之后，系统对用户的骑马静态姿势标准程度打分，w_k表示每一个肢体在整个姿态评分的占比权重，该结果在无限接近于1时表示最佳，在无限接近于0时表示最差：

对于骑马的动态动作进行分析，其可视作周期运动，以肩部的转动角度为例，获取0号关节点动作角度的变化趋势，选取两个峰值数据，其间包含三到四个周期，并选取该两帧之间的数据为测试数据，并以同样的方法获取标准数据。获取两组数据后，分别将其数据组成向量，接下来比较两组向量长度，若长度一致，则不做处理；若不一致，则在长度较短的一组向量中填补数据以使得两者的长度一致。

设帧数较少组别所获得的向量为X，长度为a，帧数较多组所获得的向量为Y，长度为b，则其长度差为(b-a)。则在向量X中，每1/(b-a+1)处添加一个数据，其值为相邻两个数据的均值，则共添加的数据个数为(b-a)。

控制测试集数据与标准集数据帧数一致后，假设变化后测试动作相对应的角度数据的向量A_j＝[a_0，j，a_1，j，...a_i，j]，标准动作相对应的角度数据的向量B_j＝[b_0，j，b_1，j，...b_i，j]，其中，i表示第i帧，j表示编号为j的关节角度，μ_i表示a_i和b_i的均值。然后计算其标准化欧氏距离，记为C_j，计算公式如下所示：

获取以上数据之后，系统对用户的骑马动态姿势标准程度打分，w_j表示每一个肢体在整个姿态评分的占比权重，该结果在无限接近于1时表示最佳，在无限接近于0时表示最差：

通过上述技术方案可得到一种骑马姿势检测评估方法及系统，通过现有的高性能的姿态识别算法来应用到骑马姿势的识别和对比中，在检测和判断用户在骑马时姿势的标准程度上提高精确度，为骑马的学习和训练提供一个更加标准化、数字化的，更加精准客观的评分体系，不仅能在教学过程中能对学员骑马的技术动作做出及时的判别和纠正，在对骑手进行考核、竞赛时可以进行客观量化的评估。

本发明的优点是：

通过两台固定摄像机获取场地实时动态，并分别根据画面中的平面坐标信息进行三维重建，获取关键结点的三维坐标信息，从而进一步对目标进行动作分析。

本方法装置简易、操作方便，成本需求低，通过图像信息进行了定量的计算，从而用于检测用户的骑马姿势标准程度。

该姿态识别系统主要适用于骑马练习场，对骑马学习者的姿态进行识别和评估，矫正学习者的姿势，也可将其运用到相关运动的考核评分中，对于传统运动的文化传承有极大的现实意义以及广阔的应用空间。

附图说明：

为了更清楚的说明本发明实施的技术方案，下面将对发明的主要过程所设计的步骤用流程图加以说明，以下附图仅示出了本发明的某些实例，因此不应被看作是对范围的限定，凡是在不脱离本发明的构思和原则的前提下，任何本领域的技术人员所做出的等同变化与修改，均属于本发明保护的范围。

图1是实施本发明方法的系统结构示意图。

图2是本发明检测方法流程图。

图3是本发明的应用场景示意图。

图4是本发明人体关键节点示意图。

图5是建立三维坐标后根据图3结构设置的辅助参数。

图6a-图6b是测试照片进行关节识别后的示意图，其中图6a是原图，图6b识别图。

具体实施方式：

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

请参阅图1、图2，一种骑马姿势检测评估方法及系统，包括：摄像机和处理分析及评估系统。摄像机将摄录的视频上传至处理分析及评估系统；该系统包括特征提取模块、姿态检测模块、三维重建模块、计算分析模块。当使用该系统时，将逐一应用到上述的模块。

在S1中，当启动设备时，两台摄像机分别获取画面，当检测到画面有人骑马时，截取片段视频。要注意的是，两台摄像机的摆放位置需固定且提前将数据导入后台中以便于后续的三维重建计算。而在实际运用的场地内，为方便计算和分析，将摄像机置于同一水平高度位置且视野开阔处，两者视角方向呈垂直状态。

在步骤S2中，在获取测试视频之后，后台通过OpenPose技术提取视频中每一帧的人体姿态数据，根据骑马姿态标准选取合适的关节点组合，并提取关节点信息。然后根据两个不同机位所获得的坐标点信息，并进行三维重建。

获得三维坐标轴下的人体关节点坐标信息后，并计算关键肢体动作的角度信息。

在步骤S3中，综合考虑所获取数据的置信度以及标准动作的关键部位，选取合适的关节点组合，提取关节点坐标信息，并进一步计算相应夹角；

在步骤S4中，系统根据预设的体态标准来提取关键的肢体信息，分别将静态和动态姿势数据于相应的标准数据进行对比，加权计算，最终得到两个对于用户骑姿的静态和动态姿势的两个评估分数，并输出。

请参阅图3，本发明所设想的场景布置如图所示。两架相垂直固定位置且相邻距离较近的摄像机实时获取视频数据，当骑手所在位置在摄像头视野重叠区域时，截取视频信息。所获得的数据送入后台以便于后续处理。

请参阅图4，本发明所利用的OpenPose开源项目，早期以Caffe为框架开发，可以实现人体动作、面部表情、手指运动等姿态估计，适用于单人和多人，稳定性比较好，是全球第一个基于深度学习的实时多人二维姿态估计应用。其输出结果poseKeypoints是一个n x25x 3的矩阵，其中n为图片中识别到人的个数。25x3是代表图3上0～24每个点在图像中x,y轴的位置以及置信分值。在实际应用中，为最大程度的减少误差，我们控制摄像所捕捉的画面中只有一个目标人物出现。

请参阅图5，完成步骤S3后，得到人体骨骼关节点在世界坐标系的三维坐标，使得进一步计算肢体间的角度时，可以消除二维坐标带来的视觉上的误差，使数据更加精确。根据上述OpenPose所获得的关节点及对应参数，做辅助参数——关键的关节角度。

根据实际情况，选取在骑马姿势中较为重要的关节点动作，根据所得的数据舍弃其中置信度较底的，根据其相关的肢体向量，计算得出关键肢体动作的角度信息。以编号0的关节角度为例，其组成关节点坐标分别为A1(x1，y1，z1)，A2(x2，y2，z2)，A3(x3，y3，z3)，根据两点间距离公式

求得点A1，A2间距离b，A1，A3间距离c，A2，A3间距离a，并通过余弦定理来求得夹角：

CosA＝(b＊b+c＊c-a＊a)/2＊b＊c (4)

最终获得关键关节点的夹角信息。

结合附图，本发明的使用方法如下：将设备的两台输入设备，即摄像机稳定置于合适位置，并清晰完整地捕捉截取用户骑马时的画面。之后处理分析及评估系统通过各个模块对数据进行提取、处理、计算、分析等操作，最终输出评分结果，并显示在人机交互界面，用户可根据其结果来对自己的骑姿进行调整。

以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化；凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

请参阅图6，左边为测试图片的原图，右边为测试后的关节点的可视化输出。由图可知，人物的身体部分位置被遮挡，故需要提取相关的有效数据作为参照。导入测试视频后，提取每一帧的每个关节点的坐标位置及置信度，然后进行三位重建，挑选出合适的运动轨迹作为对比，综合考量其实际价值和数据的置信程度。之后，根据所挑选的数据组进行相似度的评估，并运用相应公式进行最终的赋分。

Claims (6)

1.一种骑马姿势检测评估方法，其特征在于，包括以下步骤：

S1，两台摄像机分别获取画面，当检测到画面有人骑马时，截取片段视频；

S2，通过OpenPose提取视频中每一帧的人体姿态数据，并根据两个不同机位所获得的坐标点信息，进行三维重建，进一步获得三维坐标轴下的人体关节点坐标信息；

S3，综合考虑所获取数据的置信度以及标准动作的关键部位，选取合适的关节点组合，提取关节点坐标信息，并进一步计算相应夹角；

S4，根据实际采集的关节点角度信息，将测试数据于标准数据做比较，并根据结果来分析标准程度。

2.根据权利要求1所述一种骑马姿势检测评估方法，其特征在于：步骤S1中，两台摄像机的摆放位置需固定，置于同一水平高度位置且视野开阔处，两者视角方向呈垂直状态。当启动设备时，两台摄像机分别获取画面，通过卷积神经网络CNN来识别画面中是否有目标图像，当两台摄像机均检测到画面有人骑马时，截取片段视频。截取的片段从骑手全部进入画面开始，当骑手即将出画面时结束。进行简单的预处理，则最终获得两个运动时间一致但角度不同的视频。

3.根据权利要求1所述一种骑马姿势检测评估方法，其特征在于：步骤S2中，通过OpenPose得出所获取视频中每一帧的每个关键点的二维坐标和置信度，各个部位与其对应的编号：0－鼻子，1－脖子，2－右肩，3－右肘，4－右手，5－左肩，6－左肘，7－左手，8－中跨，9－右胯，10－右膝盖，11－右脚踝，12－左胯，13－左膝盖，14－左脚踝，15－右眼，16－左眼，17－右耳，18－左耳，19－左大趾，20－左小趾，21－左脚跟，22－右大趾，23－右小趾，24－右脚跟；

之后，根据两幅同一时刻两摄像机拍摄的某一帧所获得的人体二位骨骼关节点坐标信息进行人体骨架的三维重建。对于每台相机，其在世界坐标系下坐标和图像坐标可由下式表示：

式中，Z_c为光心到像平面距离；f为镜头焦距；u，v为像素坐标系坐标；R，T为像平面在世界坐标系下旋转和平移矩阵；dx，dy为像素对应物理长度；X_w，Y_w，Z_w为物体在世界坐标系坐标；u₀，v₀为图像中心的像素坐标；K，M分别为相机内参矩阵和外参矩阵；

通过该步骤，得到人体骨骼关节点在世界坐标系的三维坐标，使得进一步处理时，即在计算肢体间的角度时，可以消除二维坐标带来的视觉上的误差，使数据更加精确。根据上述OpenPose所获得的关节点及对应参数，做辅助参数——关键的关节角度。

4.根据权利要求1所述一种骑马姿势检测评估方法，其特征在于：步骤S3中，由于每个关节角度由三个关节点构成，根据OpenPose给出的每个关节点的置信度数据，通过求均值的方法得出关键关节角度的置信度数据。设i号关节角度的置信度是S_i；

根据标准骑马姿势的动作要领，将各个关节点对应的关节角度按照重要程度排序并赋值，最次重要的重要度为0，最重要的重要度为n，表示权重最重。在步骤S2中设计的了辅助参数编号0至11，故n＝11；设i号关节点的重要度为M_i；

综合关节点的置信度和相关肢体动作在实践中的重要程度分别加权，得出参数A_i为关节角度i的优先选择度：

将各个关节角度的优先选择度排序，并选择其中的m个关节角度作为有效数据，完成数据的筛选。之后，进一步计算其夹角。

5.根据权利要求1所述一种骑马姿势检测评估方法，其特征在于：步骤S4中，对于骑马姿势的动态动作的检测方法，由于其动态动作可视作周期运动。获取目标关节点动作角度的变化数据，选取两个峰值数据，其间包含三到四个周期，并选取该两帧之间的数据为测试数据，并以同样的方法获取标准数据；获取两组数据后，分别将其数据组成向量，接下来比较两组向量长度，若长度一致，则不做处理；若不一致，则在长度较短的一组向量中填补数据以使得两者的长度一致。设帧数较少组别所获得的向量为X，长度为a，帧数较多组所获得的向量为Y，长度为b，则其长度差为(b-a)；则在向量X中，每1/(b-a+1)处添加一个数据，其值为相邻两个数据的均值，则共添加的数据个数为(b-a)。完成长度统一后用标准化欧氏距离进行比对。

6.根据权利要求5所述一种骑马姿势检测评估方法，其特征在于：步骤S4中，由于对于骑马姿态的检测是一个动态的过程，而对于骑马姿势的标准，分别有静态和动态的要求；

对于相对静态的动作标准，肩颈和跨要求保持在同一条垂直线上，则取标准常量v₀＝[x₁，x₂，x₃]，取关节点1和8组成的向量v_i，k＝[y₁，y₂，y₃]作为对比的数据，其中i表示第i帧，k表示肢体部位编号；然后计算第i帧下的肢体k组成的向量v_i，k于标准向量v₀组成的余弦相似度，记为C_i，k，计算公式如下所示：

将每一帧的相应的余弦相似度计算出来之后取平均值为C_k，表示肢体k在这一段时间内的动作相似度：

获取以上数据之后，系统对用户的骑马静态姿势标准程度打分，w_k表示每一个肢体在整个姿态评分的占比权重，该结果在无限接近于1时表示最佳，在无限接近于0时表示最差：

对于骑马的动态动作进行分析，将其视作周期运动，以肩部的转动角度为例，获取0号关节点动作角度的变化趋势，选取两个峰值数据，其间包含三到四个周期，并选取该两帧之间的数据为测试数据，并以同样的方法获取标准数据；获取两组数据后，分别将其数据组成向量，接下来比较两组向量长度，若长度一致，则不做处理；若不一致，则在长度较短的一组向量中填补数据以使得两者的长度一致；

设帧数较少组别所获得的向量为X，长度为a，帧数较多组所获得的向量为Y，长度为b，则其长度差为(b-a)；则在向量X中，每1/(b-a+1)处添加一个数据，其值为相邻两个数据的均值，则共添加的数据个数为(b-a)；

控制测试集数据与标准集数据帧数一致后，假设变化后测试动作相对应的角度数据的向量Aj＝[a_0，j，a_1，j，...a_i，j]，标准动作相对应的角度数据的向量B_j＝[b_0，j，b_1，j，...b_i，j]，其中，i表示第i帧，j表示编号为j的关节角度，μ_i表示a_i和b_i的均值；然后计算其标准化欧氏距离，记为C_j，计算公式如下所示：

获取以上数据之后，系统对用户的骑马动态姿势标准程度打分，w_j表示每一个肢体在整个姿态评分的占比权重，该结果在无限接近于1时表示最佳，在无限接近于0时表示最差：

Images