CN114870385A - 一种基于优化的OpenPose模型的立定跳远测试方法 - Google Patents

一种基于优化的OpenPose模型的立定跳远测试方法 Download PDF

Info

Publication number
CN114870385A
CN114870385A CN202210510609.8A CN202210510609A CN114870385A CN 114870385 A CN114870385 A CN 114870385A CN 202210510609 A CN202210510609 A CN 202210510609A CN 114870385 A CN114870385 A CN 114870385A
Authority
CN
China
Prior art keywords
long jump
human body
point
posture
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210510609.8A
Other languages
English (en)
Inventor
高艾国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Original Assignee
Anhui University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology filed Critical Anhui University of Science and Technology
Priority to CN202210510609.8A priority Critical patent/CN114870385A/zh
Publication of CN114870385A publication Critical patent/CN114870385A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0669—Score-keepers or score display devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及一种基于优化的OpenPose模型的立定跳远测试方法，使用参数限定的摄像头获取图像，然后图像预处理。将所述预处理后的图像输入到预先训练好的模型中进行预测，如果人体姿态识别出现严重错误，则中断检测过程。立定跳远过程检测分成4个阶段，每个阶段的检测均需要达到一定阈值，才算完成一次立定跳远，未达标时不测量。达到落地阶段时，测量模块计算最后得到被测学生的最终有效立定跳远的成绩到被测学生的成绩。本发明限定了摄像头，所以保障了本发明效果。本发明运用局部评估的思想，在不降低识别准确度的情况下减少处理信息。减少了卷积层的数量，缩短了预测的时间。并且可以识别出多种不达标的姿态。

Description

一种基于优化的OpenPose模型的立定跳远测试方法
技术领域
本发明涉及图像处理技术的领域，具体涉及一种基于优化的OpenPose模型的立定跳远测试方法。
背景技术
立定跳远在男生体侧中作为一种衡量体质的重要参考标准和项目，已经被定为国家男子体侧项目。目前的立定跳远测试方式主要有三种，分别为测量板测量，基于超声波的立定跳远测试和基于机器视觉的立定跳远测试。前两种利用传感器计数，结构简单，容易受外界干扰，误判率较高，实用性并不是很强。分析深度图像计数装置中，主要利用Kincet获取深度图像，需要利用到专有设备，算法上比较复杂，价格高昂，同时对计算机性能要求高，很难达到实时性的要求。所以，实现高效简单的立定跳远测试是一个迫切需要思考的难题。
因此对于立定跳远测试，需要一种立定跳远自动化计数方法，来减轻负担，快捷高效，节省人力资源。目前已有的立定跳远测试方法需要具备良好测试体验，其测试效率、自动化程度、准确率也急需提高。
发明内容
发明目的：本发明的目的是为了解决现有技术中的缺点，对此本发明提供一种基于优化的OpenPose模型的立定跳远测试计数方法。本发明的方法不仅能实现实时立定跳远测试，而且检测速度快、自动化检测、适配各种环境，能有效识别立定跳远动作的是否标准，计数所得到数据更加准确。
根据本发明的目的提供了一种基于优化的OpenPose模型的立定跳远测试方法，包括以下步骤：
S1、摄像头以一定帧率持续拍摄测试者的测试图像，获取图像，将采集包含立定跳远人员运动姿态图像送入预处理模块中，并对所述运动姿态图像进行预处理；
S2、将所述预处理后的运动姿态图像输入到预先训练好的基于优化的 OpenPose模型中进行预测，如果人体预测出现严重错误，则中断检测过程；
S3、立定跳远过程检测分成4个阶段：开始阶段、躯体蓄力阶段、起跳阶段和落地阶段，人体姿态识别模块检测立定跳远过程中动作需要达到测试标准后才算完成一次立定跳远，若人体姿态识别模块检测到运动姿态未达标，则不测量；
S4、检测到当初次发现达到起跳阶段后某帧图像中人体脚踝点与预备姿势蓄力阶段处于同一高度时为落地阶段，同时测量模块计算最后得到被测学生的最终有效立定跳远的成绩。
优选的，步骤S2中的人体识别过程和防错过程包括：
S21：将所述预处理后的运动姿态图像输入到预先训练好的基于优化的 OpenPose模型中进行预测，输出一组图像像素坐标系下的人体骨骼点坐标、起始线端点和端点连线；
S22如果人体预测出现严重错误，则防错模块中断检测过程。
优选的，所述人体预测出现严重错误是预测过程中是否出现基于优化的OpenPose模型中无法识别人体的情况，则返回测试开始步骤。
优选的，所述的优化的OpenPose模型包括：VGG阶段以及4个stage阶段；所述VGG阶段由多个卷积层以及池化层依次串联而成；每个所述stage阶段包含两个分支：一条分支用于计算人体肢体和起始线横杆杆体概率置信图，一条分支用于计算人体关节点和起始线端点概率置信图；所述人体骨骼点坐标和起始线端点坐标通过提取最后一个所述stage阶段中人体关节点概率置信图上的峰值点得到。
优选的，所述人体骨骼点为立定跳远体侧人员姿态的特征点，包括Rhip点 (右胯点)、Lhip点(左胯点)、Rankle点(右脚踝点)、Lankle点(左脚踝点)；所述起始线端点为起始线特征点：包括Rendpoint(起始线右端点)、Lendpoint(起始线左端点)。
优选的，本发明将局部评估的思想应用于对立定跳远体侧人员计数中，提出了一种新的人体姿态模型。该策略使用了针对立定跳远体侧人员运动姿态设计的 4点人体姿态模型，取消了肩部、手部、胯部和眼睛部区域的评估。传统人体姿态评估是通用性的人体姿态评估，其评姿态范围包括行走、奔跑、挥手乃至各种运动相比，因此传统人体姿态模型对人体骨骼点的分布覆盖全身，而立定跳远体侧人员属于下肢运动，使用新的人体姿态模型放大了肢体对姿态的贡献度，排除了无关人体骨骼点对姿态的影响。此外还加入了起始线2点进一步解决了确定起始线位置与识别起始线位置和各个点距离的问题。
优选的，每个所述stage阶段的每个所述分支包括至少5个卷积层。
优选的，所述优化的OpenPose络模型的训练过程满足：
a)模型训练过程的数据集包括含有人体的图像和起始线的图像，每幅图像都具有人体骨骼点的4个点坐标和起始线横杆的2个点坐标；
b)模型训练过程初始化时基础学习率为5e-5，卷积层权重初始值为5e-4，卷积层修正值初始值为0.01；
c)模型训练时使用随机梯度下降来更新模型权重参数；
d)模型训练时使用损失函数监控训练过程。
优选的，本发明采用随机梯度下降来对权重参数进行优化，对所有样本进行计算，可以覆盖所有情况；由全数据集来确定方向，能够更好地代表样本总体，从而更准确地朝向极值所在的方向。通过在训练过程中对各个的损失函数进行监控，使得整体预测损失下降。当目标函数为凸函数时，随机梯度下降一定能够得到全局最优。与传统的人体姿态估计模型相比，该模型预测时间更短，而在训练中加入立定跳远体侧人员运动姿态的数据集，也大大的提高了预测精度。
优选的，步骤S3中的当初次发现某帧图像中人体脚踝节点与距离在阈值范围内时，进入开始阶段，并将该帧设置为起始帧，同时记录人体初始腿部长。
优选的，立定跳远过程4个检测阶段达标依据；开始阶段通过计算脚踝节点和起始线的距离，判断人体是否站在起始线前。躯体蓄力阶段通过计算脚踝节点是否超过起始线、人体腿长是否小于初始腿长的20％、落地阶段立定跳远的成绩是否大于50cm这四个条件分别来判别受测者的测试开始与否以及姿态是否达标。
优选的，起跳阶段开始时间为拍摄的某帧脚踝节点距离地面高度为5个像素点。
优选的，立定跳远的成绩为起始线到落地后的脚踝节点的距离。
本发明的有益效果如下：
1、运用自底向上的模型，先检测关键部位再组装还原一个人，检测的人数多少不影响检测的时间并且识别正确率高；
2、本发明将局部评估的思想应用于对立定跳远体侧人员人体姿态的评估中，提出了一种新的人体姿态模型。该策略使用了针对立定跳远体侧人员运动姿态设计的8点人体姿态模型，取消了腿、部胯部和眼睛部区域的评估，加入了下巴点和起始线横杆两侧端点。传统人体姿态评估是通用性的人体姿态评估，其评姿态范围包括行走、奔跑、挥手乃至各种运动相比，因此传统人体姿态模型对人体骨骼点的分布覆盖全身，而立定跳远体侧人员属于上肢运动，使用新的人体姿态模型放大了肢体对姿态的贡献度，排除了无关人体骨骼点对姿态的影响，也不用处理肢体的作用，使得在不降低识别准确度的情况下减少处理信息，还加入了起始线俩点进一步解决了确定起始线位置与识别起始线位置和各个点距离的问题；
3、本发明采用随机梯度下降来对权重参数进行优化，对所有样本进行计算，可以覆盖所有情况；由全数据集来确定方向，能够更好地代表样本总体，从而更准确地朝向极值所在的方向。通过在训练过程中对各个的损失函数进行监控，使得整体预测损失下降。当目标函数为凸函数时，随机梯度下降一定能够得到全局最优。与传统的人体姿态估计模型相比，该模型预测时间更短，而在训练中加入体侧人员运动姿态的数据集，也大大的提高了预测精度；
4、本发明通过以一种新的深度神经网络模型对单帧图像进行预测的方法，来得到在图像像素坐标系下的一组人体骨骼点坐标；同时，本发明提出的深度神经网络模型在整体流程中减少了卷积层的数量，缩短了预测的时间，与传统的人体姿态估计模型相比，该模型预测时间更短，效率更高；
5、相对于同类别立定跳远测试计数装置本装置更简单，且检测速度更快，检测效率更高，计数数据准确；
6、本方法可以识别出多种不达标的姿态如腿部弯曲不达标，起跳是否超线和是否失误的不达标等情况，较现有的立定跳远测试系统更加准确；
7、本发明通过对摄像头参数的限定、摆放距离的可调节和摆放位置的选择，最大限度的保障了本发明方法的应用效果与实用性，也更加有便于后面的处理。
附图说明
图1是本发明一个实施例的立定跳远测试计数方法流程图；
图2是本发明所述的一种立定跳远运动姿态估计方法的4点人体骨骼点坐标模型图；
图3是本发明所述的一种立定跳远运动姿态估计方法的2点起始线关键点点坐标模型图；
图4是本发明所检测的一个立定跳远开始阶段帧及关键检测点示意图
图5是本发明所检测的一个立定跳落地阶段帧示意图；
图6是本发明所述的一种立定跳远体侧人员运动姿态估计方法的优化的OpenPose模型图；
图7为本发明所述的一种立定跳远体侧人员运动姿态估计方法的优化的OpenPose模型详细网络设置图；
图8为本发明中所述的一种立定跳远体侧人员运动姿态估计方法的优化的OpenPose模型模型训练流程图；
图9为本发明中所述的一种立定跳远体侧人员运动姿态估计方法的摄像头预设流程图；
具体实施方式
下面结合具体实施例对本发明的技术方案作进一步详细说明。
如图1所示，基于优化的OpenPose模型的立定跳远测试方法，包括以下步骤：
S1、采集包含人体骨骼点的立定跳落运动姿态图像，并对所述运动姿态图像进行预处理；
S2、将所述运动姿态图像输入到预先训练好的基于优化的OpenPose模型中进行预测，输出一组图像像素坐标系下的人体骨骼点坐标、起始线端点和端点连线；如果人体姿态识别出现严重错误，则防错模块中断检测过程；其中，如图2 所示，人体骨骼点为羽毛球运动员运动姿态的特征点，包括Rhip点(右胯点)、 Lhip点(左胯点)、Rankle点(右脚踝点)、Lankle点(左脚踝点)。所述起始线端点为起始线特征点：包括Rendpoint(起始线右端点)、Lendpoint(起始线左端点)。如图2、3所示；
S3、如图4所示，立定跳远检测分成4个阶段：开始阶段、躯体蓄力阶段、起跳阶段和落地阶段，每个阶段的检测均需要达到一定阈值达到的立定跳远测试标准，才算完成一次立定跳远，若人体姿态识别模块识别到运动姿态未达标，则不测量；
S4、检测到当初次发现达到起跳阶段后某帧图像中人体脚踝点与预备姿势蓄力阶段处于同一高度时为落地阶段如图5所示，同时测量模块计算最后得到被测学生的最终有效立定跳远的成绩。
所述预设条件包括接口型号、像素、帧率、焦距、摆放高度以及摆放角度。本发明通过对摄像头参数的限定，最大限度的保障了本发明方法的应用效果，也更加有便于后面的处理。
有一种优选方案，具体所述接口型号为USB3.0；所述像素不小于800万；所述帧率不小于60帧；所述焦距为3.1mm；所述摆放高度满足区间[1.0m，1.4m]；所述摆放角度为摄像头光轴与起始线的夹角，满足区间[40°，50°]。
其中，所述初始化摄像头参数需满足下表：
接口 USB3.0
像素 800万以上
帧率 60帧以上
焦距 3.3mm
摆放高度 1.5m左右
摆放角度 与起始线成45°
图4-图5为采用本专利方法的立定跳远实例，图4为开始阶段，主要选择的人体关键位置为包括Rhip点(右胯点)、Lhip点(左胯点)、Rankle点(右脚踝点)、Lankle点(左脚踝点)。所述起始线端点为起始线特征点：包括Rendpoint (起始线右端点)、Lendpoint(起始线左端点)。
有一种优选方案，所述防错模块判别测试过程中是否出现人体姿态识别模块无法识别人体的情况，若出现无法识别人体，则返回测试开始步骤。有一种优选方案，立定跳远过程4个检测阶段达标依据；开始阶段通过计算脚踝节点和起始线的距离，判断人体是否站在起始线前。躯体蓄力阶段通过计算脚踝节点是否超过起始线、人体腿长是否小于初始腿长的20％和落地阶段立定跳远的成绩是否大于50cm这四个条件分别来判别受测者的测试开始与否以及姿态是否达标。
有一种优选方案，所述人体姿态识别模块测量腿长通过测量脚踝节点到胯部的节点距离来确定的。
有一种优选方案，所述躯体蓄力阶段人体姿态识别模块测量脚是否过线、落地阶段立定跳远的成绩通过测量脚踝节点到起始线的距离来确定的。
其中，所述优化的OpenPose模型如图6所示包括：VGG阶段以及4个stage 阶段；所述VGG阶段由多个卷积层以及池化层依次串联而成；每个所述stage 阶段包含两个分支：一条分支用于计算人体肢体和起始线概率置信图，一条分支用于计算人体关节点和起始线端点概率置信图；所述人体骨骼点坐标通过提取最后一个所述stage阶段中人体关节点概率置信图上的峰值点得到。
在训练过程中，该模型input有两部分，一部分是input层，即将输入图片经过剪切、旋转、掩膜等操作，从维度[height,width,channels]转换到 [bantch,height,weight,channels]；另一部分是mask层，在COCO数据集中提供了训练集中人体的ROI区域，训练时需要读入以方便后续每个stage与其做比较计算loss。
接下来是VGG阶段，主要是借助已经训练好的VGG参数对input层在128 个维度上进行卷积，以提取不同尺度空间下的图像特征。
最后由4个stage阶段组成，为了提高预测速度，每个stage阶段有两个分支，每个分支各5个卷积层；在stage阶段会得到4个人体关节点和起始线横杆的2个端点概率置信图和人体肢体、起始线横杆特征概率置信图，依次在这些概率置信图上寻找峰值点即为预测到人体骨骼点，峰值点坐标即为预测到的人体骨骼点和起始线横杆的2个端点坐标与人体肢体、起始线矢量。
如图7所示，本发明的一种详细网络设置，包括了3个池化层以及52个卷积层。
如图8所示，所述预测网络模型训练流程包括收集数据，制作训练数据集，设置权重参数初始值，进行训练以及输出权重参数等步骤。
其中，所述训练数据集包括COCO数据集中含有人的图像以及摄像头采集含有人和起始线的图像，图像资料来源于立定跳远运动视频，且所述训练数据集中的每张图像都包含4个在图像像素坐标系下符合人体姿态模型的真实坐标，摄像头采集的图像还包括起始线的2个端点在图像像素坐标系下符合起始线模型的真实坐标。
在训练过程中，设置批次参数量batch_size为10，最大迭代次数max_iter 为200000，基础学习率base_lr为5e-5。而权重初始值和权重修正值的初始值与学习率有关，根据基础学习率base_lr的量级，将权重值初始值weight_decay 设置为为5e-4，权重修正值lamdb设置为0.01。
其中，所述优化器optimizer使用的是随机梯度下降Gradient Decent，其优点在于：(1)一次迭代是对所有样本进行计算，可以覆盖所有情况；(2)由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。当目标函数为凸函数时，随机梯度下降一定能够得到全局最优。
损失函数loss如公式：
Figure RE-GDA0003694112540000081
其中，i为stage层数，stage_w1 i为stage i层中人体肢体和起始线横杆特征概率置信图进行掩膜处理后的特征图，stage_w2 i为stage i层中人体关节点起始线横杆的端点概率置信图进行掩膜处理后的特征图，batch_size为输入图像的个数，pafmap为预设图像的人体肢体和起始线横杆矢量灰度图、 heatmap为预设图像的人体关节和起始线横杆的端点灰度图，所述预设图像从所述模型训练过程的数据集中选取。
如图9所示,所述预处理预设步骤，初始化采集的摄像头位置，由于受场地环境的限制，需要更改摄像头中分辨率，因此开放了这个函数接口。并以预设位置选项，通过内值程序对所述摄像头的图像调整分辨率参数并进行对应图像的放缩操作，从而可以实现对于在不同测量距离上都有较好的预处理图像效果。其中，所述带有摄像头距离的图像包含运动员运动姿态的4个骨骼点和2个起始线端点。
在训练结束后，得到预测网络模型权重参数文件。
与现有技术相比，本发明的优势在于：
1、运用自底向上的模型，先检测关键部位再组装还原一个人，检测的人数多少不影响检测的时间并且识别正确率高；
2、本发明将局部评估的思想应用于对立定跳远体侧人员人体姿态的评估中，提出了一种新的人体姿态模型。该策略使用了针对立定跳远体侧人员运动姿态设计的4点人体姿态模型，取消了腿、部胯部和眼睛部区域的评估，加入了起始线两侧端点。传统人体姿态评估是通用性的人体姿态评估，其评姿态范围包括行走、奔跑、挥手乃至各种运动相比，因此传统人体姿态模型对人体骨骼点的分布覆盖全身，而立定跳远体侧人员属于上肢运动，使用新的人体姿态模型放大了肢体对姿态的贡献度，排除了无关人体骨骼点对姿态的影响，也不用处理肢体的作用，使得在不降低识别准确度的情况下减少处理信息，还加入了起始线俩点进一步解决了确定起始线位置与识别起始线位置和各个点距离的问题；
3、本发明采用随机梯度下降来对权重参数进行优化，对所有样本进行计算，可以覆盖所有情况；由全数据集来确定方向，能够更好地代表样本总体，从而更准确地朝向极值所在的方向。通过在训练过程中对各个的损失函数进行监控，使得整体预测损失下降。当目标函数为凸函数时，随机梯度下降一定能够得到全局最优。与传统的人体姿态估计模型相比，该模型预测时间更短，而在训练中加入体侧人员运动姿态的数据集，也大大的提高了预测精度；
4、本发明通过以一种新的深度神经网络模型对单帧图像进行预测的方法，来得到在图像像素坐标系下的一组人体骨骼点坐标；同时，本发明提出的深度神经网络模型在整体流程中减少了卷积层的数量，缩短了预测的时间，与传统的人体姿态估计模型相比，该模型预测时间更短，效率更高；
5、相对于同类别立定跳远测试计数装置本装置更简单，且检测速度更快，检测效率更高，计数数据准确；
6、本方法可以识别出多种不达标的姿态如腿部弯曲不达标，起跳是否超线和是否失误的不达标等情况，较现有的立定跳远测试系统更加准确；
7、本发明通过对摄像头参数的限定、摆放距离的可调节和摆放位置的选择，最大限度的保障了本发明方法的应用效果与实用性，也更加有便于后面的处理。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种基于优化的OpenPose模型的立定跳远测试方法，其特征在于：包括以下步骤：
S1、摄像头以一定帧率持续拍摄测试者的测试图像，获取图像，将采集包含立定跳远人员运动姿态图像送入预处理模块中，并对所述运动姿态图像进行预处理；
S2、将所述预处理后的运动姿态图像输入到预先训练好的基于优化的OpenPose模型中进行预测，如果人体预测出现严重错误，则中断检测过程；
S3、立定跳远过程检测分成4个阶段：开始阶段、躯体蓄力阶段、起跳阶段和落地阶段，人体姿态识别模块检测立定跳远过程中动作需要达到测试标准后才算完成一次立定跳远，若人体姿态识别模块检测到运动姿态未达标，则不测量；
S4、检测到当初次发现达到起跳阶段后某帧图像中人体脚踝点与预备姿势蓄力阶段处于同一高度时为落地阶段，同时测量模块计算最后得到被测学生的最终有效立定跳远的成绩。
2.根据权利要求1所述的一种基于优化的OpenPose模型的立定跳远测试方法，其特征在于：步骤S2中的人体识别过程和防错过程包括：
S21：将所述预处理后的运动姿态图像输入到预先训练好的基于优化的OpenPose模型中进行预测，输出一组图像像素坐标系下的人体骨骼点坐标、起始线端点和端点连线；
S22如果人体预测出现严重错误，则防错模块中断检测过程。
3.根据权利要求1所述的一种基于优化的OpenPose模型的立定跳远测试方法，其特征在于：所述的优化的OpenPose模型包括：VGG阶段以及4个stage阶段；所述VGG阶段由多个卷积层以及池化层依次串联而成；每个所述stage阶段包含两个分支：一条分支用于计算人体肢体和起始线横杆杆体概率置信图，一条分支用于计算人体关节点和起始线端点概率置信图；所述人体骨骼点坐标和起始线端点坐标通过提取最后一个所述stage阶段中人体关节点概率置信图上的峰值点得到。
4.根据权利要求3所述的一种基于优化的OpenPose模型的立定跳远测试方法，其特征在于：所述人体骨骼点为立定跳远体侧人员姿态的特征点，包括Rhipshot点(右胯点)、Lhipshot点(左胯点)、Rwrist点(右脚踝点)、Lwrist点(左脚踝点)；所述起始线端点为起始线特征点：包括Rendpoint(起始线右端点)、Lendpoint(起始线左端点)。
5.根据权利要求3所述的一种基于优化的OpenPose模型的立定跳远测试方法，其特征在于：本发明将局部评估的思想应用于对立定跳远体侧人员计数中，提出了一种新的人体姿态模型。该策略使用了针对立定跳远体侧人员运动姿态设计的4点人体姿态模型，取消了肩部、手部、胯部和眼睛部区域的评估。传统人体姿态评估是通用性的人体姿态评估，其评姿态范围包括行走、奔跑、挥手乃至各种运动相比，因此传统人体姿态模型对人体骨骼点的分布覆盖全身，而立定跳远体侧人员属于下肢运动，使用新的人体姿态模型放大了肢体对姿态的贡献度，排除了无关人体骨骼点对姿态的影响。此外还加入了起始线2点进一步解决了确定起始线位置与识别起始线位置和各个点距离的问题。
6.根据权利要求3所述的一种基于优化的OpenPose模型的立定跳远测试方法，其特征在于：所述优化的OpenPose络模型的训练过程满足：
a)模型训练过程的数据集包括含有人体的图像和起始线的图像，每幅图像都具有人体骨骼点的4个点坐标和起始线的2个点坐标；
b)模型训练过程初始化时基础学习率为5e-5，卷积层权重初始值为5e-4，卷积层修正值初始值为0.01；
c)模型训练时使用随机梯度下降来更新模型权重参数；
d)模型训练时使用损失函数监控训练过程。
7.根据权利要求1所述的一种基于优化的OpenPose模型的立定跳远测试方法，其特征在于：本发明采用随机梯度下降来对权重参数进行优化，对所有样本进行计算，可以覆盖所有情况；由全数据集来确定方向，能够更好地代表样本总体，从而更准确地朝向极值所在的方向。通过在训练过程中对各个的损失函数进行监控，使得整体预测损失下降。当目标函数为凸函数时，随机梯度下降一定能够得到全局最优。与传统的人体姿态估计模型相比，该模型预测时间更短，而在训练中加入立定跳远体侧人员运动姿态的数据集，也大大的提高了预测精度。
8.根据权利要求1所述的一种基于优化的OpenPose模型的立定跳远测试方法，其特征在于：立定跳远过程4个检测阶段达标依据；开始阶段通过计算脚踝节点和起始线的距离，判断人体是否站在起始线前。躯体蓄力阶段通过计算脚踝节点是否超过起始线、人体腿长是否小于初始腿长的20％、落地阶段立定跳远的成绩是否大于50cm这四个条件分别来判别受测者的测试开始与否以及姿态是否达标。
9.根据权利要求1所述的一种基于优化的OpenPose模型的立定跳远测试方法，其特征在于：起跳阶段开始时间为拍摄的某帧脚踝节点距离地面高度为5个像素点。
10.根据权利要求1所述的一种基于优化的OpenPose模型的立定跳远测试方法，其特征在于：立定跳远的成绩为起始线到落地后的脚踝节点的距离。
CN202210510609.8A 2022-05-11 2022-05-11 一种基于优化的OpenPose模型的立定跳远测试方法 Pending CN114870385A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210510609.8A CN114870385A (zh) 2022-05-11 2022-05-11 一种基于优化的OpenPose模型的立定跳远测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210510609.8A CN114870385A (zh) 2022-05-11 2022-05-11 一种基于优化的OpenPose模型的立定跳远测试方法

Publications (1)

Publication Number Publication Date
CN114870385A true CN114870385A (zh) 2022-08-09

Family

ID=82674848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210510609.8A Pending CN114870385A (zh) 2022-05-11 2022-05-11 一种基于优化的OpenPose模型的立定跳远测试方法

Country Status (1)

Country Link
CN (1) CN114870385A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019219989A (ja) * 2018-06-21 2019-12-26 日本電信電話株式会社 姿勢推定装置、姿勢推定方法、およびプログラム
CN111368791A (zh) * 2020-03-18 2020-07-03 南通大学 基于Quick-OpenPose模型的引体向上测试计数方法及系统
WO2021051579A1 (zh) * 2019-09-17 2021-03-25 平安科技（深圳）有限公司 形体姿态识别方法、系统、装置及存储介质
CN112966571A (zh) * 2021-02-09 2021-06-15 安徽一视科技有限公司 一种基于机器视觉的立定跳远腾空高度量测方法
CN113569693A (zh) * 2021-07-22 2021-10-29 南京华捷艾米软件科技有限公司 运动状态的识别方法、装置及设备
CN114307117A (zh) * 2021-12-28 2022-04-12 西安交通大学 基于视频的立定跳远成绩测量方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019219989A (ja) * 2018-06-21 2019-12-26 日本電信電話株式会社 姿勢推定装置、姿勢推定方法、およびプログラム
WO2021051579A1 (zh) * 2019-09-17 2021-03-25 平安科技（深圳）有限公司 形体姿态识别方法、系统、装置及存储介质
CN111368791A (zh) * 2020-03-18 2020-07-03 南通大学 基于Quick-OpenPose模型的引体向上测试计数方法及系统
CN112966571A (zh) * 2021-02-09 2021-06-15 安徽一视科技有限公司 一种基于机器视觉的立定跳远腾空高度量测方法
CN113569693A (zh) * 2021-07-22 2021-10-29 南京华捷艾米软件科技有限公司 运动状态的识别方法、装置及设备
CN114307117A (zh) * 2021-12-28 2022-04-12 西安交通大学 基于视频的立定跳远成绩测量方法和装置

Similar Documents

Publication Publication Date Title
CN111368791B (zh) 基于Quick-OpenPose模型的引体向上测试计数方法及系统
Chaudhari et al. Yog-guru: Real-time yoga pose correction system using deep learning methods
CN107392086B (zh) 人体姿态的评估装置、系统及存储装置
CN112069933A (zh) 基于体态识别和人体生物力学的骨骼肌肉受力估计方法
CN103996019B (zh) 用于检测和跟踪一个物体上多个部位的系统和方法
CN111680586B (zh) 一种羽毛球运动员运动姿态估计方法及系统
US11759126B2 (en) Scoring metric for physical activity performance and tracking
CN105740780A (zh) 人脸活体检测的方法和装置
CN111401260B (zh) 基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统
CN111012353A (zh) 一种基于人脸关键点识别的身高检测方法
CN114307117B (zh) 基于视频的立定跳远成绩测量方法和装置
CN111883229B (zh) 一种基于视觉ai的智能运动指导方法及系统
CN112568898A (zh) 一种基于视觉图像对人体运动动作自动进行伤病风险评估及动作矫正的方法、装置及设备
CN112016497A (zh) 基于人工智能的单视角太极拳动作分析及考核系统
CN113128336A (zh) 一种引体向上测试计数方法、装置、设备和介质
US20220222975A1 (en) Motion recognition method, non-transitory computer-readable recording medium and information processing apparatus
CN102201060B (zh) 一种基于形状语义的非参数轮廓跟踪评价方法
CN111611928B (zh) 一种基于单目视觉与关键点识别的身高及身体尺寸测量方法
CN111047553B (zh) 一种面向非接触式人体参数测量的特征点定位方法
CN116740618A (zh) 一种运动视频动作评估方法、系统、计算机设备及介质
CN114870385A (zh) 一种基于优化的OpenPose模型的立定跳远测试方法
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
CN115497170A (zh) 一种队列式跳伞训练动作识别与评分的方法
CN115568823A (zh) 一种人体平衡能力评估的方法、系统和装置
CN111724901A (zh) 一种基于视觉的结构体参数预测方法、系统、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination