CN110765946B - 一种跑姿评估方法、装置、设备和存储介质 - Google Patents

一种跑姿评估方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN110765946B
CN110765946B CN201911014229.XA CN201911014229A CN110765946B CN 110765946 B CN110765946 B CN 110765946B CN 201911014229 A CN201911014229 A CN 201911014229A CN 110765946 B CN110765946 B CN 110765946B
Authority
CN
China
Prior art keywords
running
joint
video
scene
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911014229.XA
Other languages
English (en)
Other versions
CN110765946A (zh
Inventor
乔伟
阚海鹏
徐培杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Calorie Information Technology Co ltd
Original Assignee
Beijing Calorie Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Calorie Information Technology Co ltd filed Critical Beijing Calorie Information Technology Co ltd
Priority to CN201911014229.XA priority Critical patent/CN110765946B/zh
Publication of CN110765946A publication Critical patent/CN110765946A/zh
Application granted granted Critical
Publication of CN110765946B publication Critical patent/CN110765946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

本发明实施例公开了一种跑姿评估方法、装置、设备和存储介质，其中该方法包括：获取用户的跑步视频，跑步视频中包括至少一个图像帧；根据跑步视频确定跑步场景；基于跑步场景，提取跑步视频中的关键图像帧；根据关键图像帧中的关节点数据对用户进行跑姿评估。本发明实施例提供的技术方案，考虑不同跑步场景引起的跑步视频中关键图像帧的不同，可以根据不同跑步场景下关键图像帧中的关节点数据对用户进行跑姿评估，通过对用户跑步视频中的跑步场景的区分，提高了跑步评估的准确性，进而有效帮助用户纠正错误的跑步姿态。

Description

一种跑姿评估方法、装置、设备和存储介质
技术领域
本发明实施例涉及动作捕捉及分析技术领域，尤其涉及一种跑姿评估方法、装置、设备和存储介质。
背景技术
随着科技的发展和人们生活质量的提高，人们越来越注重运动，为了提高运动效果，越来越多的运动评判方式被提出。而随着运动软件的兴起，跑步成为众多运动中越来越受欢迎的一项运动。
现有技术中，为了有针对性地对人们的跑步姿态进行指导，一般是通过带有传感器芯片的鞋垫或者跑鞋采集跑步信息，然后经过分析得出用户跑步时存在的问题。但是该方法采集到的数据有限，通常仅能分析得到与脚掌相关的信息，例如较长接触地面的部位等，身体躯干部分的姿态则无法监测，对跑步姿态的监测评估的准确性造成较大影响。为了解决上述问题，目前提出了一种采集运动时的关节检测数据，并与标准数据进行对比分析得到运动评估结果的方案，但是上述方式可能会由于环境的改变而影响评估结果，使得准确性也不能满足需求。
发明内容
本发明实施例提供一种跑姿评估方法、装置、设备和存储介质，以优化跑姿评估方案，提高评估准确性。
第一方面，本发明实施例提供了一种跑姿评估方法，包括：
获取用户的跑步视频，所述跑步视频中包括至少一个图像帧；
根据所述跑步视频确定跑步场景；
基于所述跑步场景，提取所述跑步视频中的关键图像帧；
根据所述关键图像帧中的关节点数据对用户进行跑姿评估。
第二方面，本发明实施例还提供了一种跑姿评估装置，包括：
视频获取模块，用于获取用户的跑步视频，所述跑步视频中包括至少一个图像帧；
场景确定模块，用于根据所述跑步视频确定跑步场景；
关键帧提取模块，用于基于所述跑步场景，提取所述跑步视频中的关键图像帧；
跑姿评估模块，用于根据所述关键图像帧中的关节点数据对用户进行跑姿评估。
进一步的，所述场景确定模块具体用于：
确定所述跑步视频中首帧图像和末帧图像中第一设定关节点的坐标；
根据所述首帧图像和所述末帧图像中所述第一设定关节点的坐标，确定所述第一设定关节点的水平距离差；
根据所述水平距离差确定所述跑步场景。
进一步的，所述关键帧提取模块具体用于：
若所述跑步场景为室内场景，则根据第二设定关节点的垂直坐标值序列或水平坐标值序列，确定所述关键图像帧；
若所述跑步场景为室外场景，则根据设定时间内的所述第二设定关节点坐标是否保持不变，确定所述关键图像帧。
进一步的，所述第二设定关节点为踝关节。
进一步的，所述跑姿评估模块具体用于：
确定所述关键图像帧中第三设定关节点的坐标；
根据所述第三设定关节点的坐标确定设定身体部位的当前角度；
将所述当前角度与标准角度进行比对，确定跑姿评估结果。
进一步的，所述装置还包括：
关节点确定模块，用于所述获取用户的跑步视频之后，基于预先构建的关键点检测模型确定所述跑步视频的每一个图像帧中关节点的当前坐标，其中所述关节点包括头关节、颈关节、肩关节、肘关节、腕关节、髋关节、膝关节和踝关节中的至少一个。
进一步的，所述装置还包括：
误差纠正模块，用于基于预先构建的关键点检测模型确定所述跑步视频的每一个图像帧中关节点的坐标之后，根据所述跑步视频的每一个图像帧中检测得到的关节点的当前坐标与预测坐标之间的欧式距离，对所述当前坐标进行误差纠正。
第三方面，本发明实施例还提供了一种设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的跑姿评估方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的跑姿评估方法。
本发明实施例通过获取用户的跑步视频，跑步视频中包括至少一个图像帧，根据跑步视频确定跑步场景，基于跑步场景，提取跑步视频中的关键图像帧，然后根据关键图像帧中的关节点数据对用户进行跑姿评估。本发明实施例提供的技术方案，考虑不同跑步场景引起的跑步视频中关键图像帧的不同，可以根据不同跑步场景下关键图像帧中的关节点数据对用户进行跑姿评估，通过对用户跑步视频中的跑步场景的区分，提高了跑步评估的准确性，进而有效帮助用户纠正错误的跑步姿态。
附图说明
图1为本发明实施例一中提供的一种跑姿评估方法的流程图；
图2为本发明实施例一中提供的一种踝关节坐标方差示意图；
图3为本发明实施例一中提供的一种两大腿之间当前夹角的示意图；
图4为本发明实施例一中提供的另一种两大腿之间当前夹角的示意图；
图5为本发明实施例二中提供的一种跑姿评估方法的流程图；
图6为本发明实施例三中提供的一种跑姿评估装置的结构示意图；
图7为本发明实施例四中提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一中提供的一种跑姿评估方法的流程图，本实施例可适用于对用户进行跑姿评估的情况，该方法可以由跑姿评估装置执行，该装置可以采用软件和/或硬件的方式实现，该装置可配置于电子设备中，例如手机、电脑或平板电脑等。如图1所示，该方法具体可以包括：
S110、获取用户的跑步视频，跑步视频中包括至少一个图像帧。
其中，跑步视频可以为对用户的跑步过程录制的视频，具体录制的方式本实施例中不作限定，例如可以通过具有摄像功能的电子设备进行录制，电子设定可以为手机或相机等。跑步视频中可以包括至少一个图像帧，本实施例对跑步视频中包括的图像帧的数量不作限定。
具体的，获取通过具有摄像功能的电子设备实时录制的用户的跑步视频，或者，获取用户之前存储的跑步视频。本实施例中对跑步视频的来源不作限定，可以根据实际需求对任意一段跑步视频的跑步姿态进行评估。
此外，在获取用户的跑步视频之后，还包括：基于预先构建的关键点检测模型确定跑步视频的每一个图像帧中关节点的当前坐标，其中关节点包括头关节、颈关节、肩关节、肘关节、腕关节、髋关节、膝关节和踝关节中的至少一个。其中关键点检测模型可以为基于深度学习的神经网络模型，本实施例中对具体采用的模型不作限定，例如关键点检测模型)可以为OpenPose模型、级联金字塔网络(Cascaded Pyramid Network，CPN)模型和AlphaPose模型等。具体的，基于关键点检测模型对跑步视频按照图像帧顺序，逐一对每一个图像帧中关节点在图像中的当前坐标进行识别，并进行存储以备后用。
S120、根据跑步视频确定跑步场景。
其中，跑步场景可以为用户进行跑步运动时所处的场景，由于在拍摄时摄像装置保持不动，在室外自由跑时，跑步用户是始终向前的，即从视频画面的一端始终向另一端靠近，而在室内跑步时，一般是在跑步机上，用户始终在一个固定位置附近做循环跑步运动。因此，本实施例中的跑步场景可以包括室内场景和室外场景两种。
具体的，根据跑步视频确定跑步场景，可以包括：确定跑步视频中首帧图像和末帧图像中第一设定关节点的坐标；根据首帧图像和末帧图像中第一设定关节点的坐标，确定第一设定关节点的水平距离差；根据水平距离差确定跑步场景。
其中第一设定关节点可以为骨盆关节点。获取到跑步视频之后，可以从跑步视频的首、尾两侧确定首次和最后一次检测到完整的用户的图像帧，即确定检测到全部人体关节点的首帧图像和末帧图像，并根据公式
Figure BDA0002245167950000061
首帧图像和末帧图像中骨盆关节点的水平距离差，其中
Figure BDA0002245167950000062
表示水平距离差，
Figure BDA0002245167950000063
表示首帧图像中骨盆关节点的水平坐标，
Figure BDA0002245167950000064
表示末帧图像中骨盆关节点的水平坐标。若上述水平距离差大于距离差阈值，则首帧图像和末帧图像中人体应位于图像水平方向两侧，确定跑步场景为室外场景，否则整个跑步过程人体位置较为稳定，水平方向跨度不会过大，确定跑步场景为室内场景。其中距离差阈值可以根据实际情况进行设定，例如距离差阈值可以设定为0.6倍的图像宽度，即距离差阈值＝0.6*图像宽度。
S130、基于跑步场景，提取跑步视频中的关键图像帧。
其中，关键图像帧为跑步视频中能够突出反映跑步姿态是否存在问题的图像帧。根据运动学原理，判断跑步姿态是否有问题主要看脚掌着地的一段时间内的跑步姿态，故需要从跑步视频中提取脚掌着地的一段时间内的图像帧作为关键图像帧。由于跑步场景分为室内场景和室外场景，在室内场景中，用户在跑步机履带的带动下在近似原地的场景中做周期性的模拟跑步动作，用户的脚掌着地期间会随着履带向后运行；而在室外场景中，用户需要借助蹬地的力量不断向前跑动，与跑步机的原地周期性运动差别较大，而且在脚掌着地期间保持位置不变。因此，基于不同场景的特性关键图像帧可能不同，需要针对性的确定不同的关键图像帧提取方法。
具体的，基于跑步场景，提取跑步视频中的关键图像帧，可以包括S131或S132(图中未示出)，其中：
S131、若跑步场景为室内场景，则根据第二设定关节点的垂直坐标值序列或水平坐标值序列，确定关键图像帧。
其中，第二设定关节点可以为踝关节。
若跑步场景为室内场景，本实施例中设定用户在跑步机上跑步，用户在脚掌着地(履带)时，踝关节在水平方向的坐标达到极大值，随后随履带向后退，故只需在踝关节的水平坐标值序列中选取极大值所在的图像帧即为关键图像帧。
或者，在落地后用户脚掌随履带向后移动，随后离地进行另一只脚掌的落地区间，在落地期间踝关节垂直方向的坐标基本保持不变，据此可通过分析落地后一段时间内踝关节点垂直方向坐标的变化提取关键图像帧。具体的，可以计算连续N个图像帧的同一踝关节的垂直坐标值序列的方差，具体通过公式
Figure BDA0002245167950000071
确定，其中D(y)表示踝关节坐标在y方向(即垂直方向)的方差，E(y)表示踝关节坐标在y方向的均值，通过公式
Figure BDA0002245167950000081
确定。
若方差小于预设的第一方差阈值，则确定连续N个图像帧对应的时间内，踝关节在垂直方向位置没有发生明显变化，即为脚掌着地时间段。其中第一方差阈值与图像尺寸正相关，具体可以根据实际情况进行设定。将该脚掌着地时间段内的N个图像帧去重合并即为一次完整的落地时间，而方差波谷极小值对应的时间点即为脚掌着地时间点，该脚掌着地时间点对应的图像帧为关键图像帧。
S132、若跑步场景为室外场景，则根据设定时间内的第二设定关节点坐标是否保持不变，确定关键图像帧。
若跑步场景为室外场景，在脚掌着地期间，主要的特征是支撑脚的踝关节点坐标应保持不变，据此可通过分析一段时间内踝关节点坐标的变化提取关键图像帧。具体的，计算设定时间内连续N帧的同一踝关节的坐标的方差。具体通过公式
Figure BDA0002245167950000082
和
Figure BDA0002245167950000083
分别计算踝关节坐标在x方向(即水平方向)的方差和踝关节坐标在y方向(即垂直方向)的方差，E(x)和E(y)分别表示踝关节坐标在x方向和y方向的均值，分别通过公式
Figure BDA0002245167950000084
和
Figure BDA0002245167950000085
确定。
若方差小于第二方差阈值，即确定该设定时间内踝关节坐标保持不变，即为脚掌着地时间段。由于第二方差阈值可以包括第二水平方差阈值和第二垂直方差阈值，第二方差阈值也与图像尺寸正相关，并且第二方差阈值可以根据实际情况进行设定。方差小于第二方差阈值表示踝关节坐标在x方向(即水平方向)的方差小于第二水平方差阈值并且踝关节坐标在y方向(即垂直方向)的方差小于第二垂直方差阈值。将该脚掌着地时间段内的N个图像帧去重合并即为一次完整的落地时间，而方差波谷极小值对应的时间点即为脚掌着地时间点，该脚掌着地时间点对应的图像帧为关键图像帧。本实施例中，踝关节坐标在x方向的方差与踝关节坐标在y方向的方差对应的波谷极小值的时间点之间的误差较小，因此忽略该误差，认为踝关节坐标在x方向的方差与踝关节坐标在y方向的方差对应的波谷极小值的时间点相同。
参见图2，图2为本发明实施例一中提供的一种踝关节坐标方差示意图，该踝关节坐标方差示意图为关节坐标在x方向的方差或踝关节坐标在y方向的方差，而图中A点为方差的多个波谷中极小值，因此A点对应的时间点为脚掌着地时间点。
S140、根据关键图像帧中的关节点数据对用户进行跑姿评估。
其中，关节点数据即为第三设定关节点的坐标，第三设定关节点可以根据需要进行设定。
本实施例中可以根据关键图像帧中的评估指标对用户进行跑姿评估，评估指标可以包括中立位前倾、摆臂、髋关节灵活度、落地膝盖过抻、落地点靠前、收腿慢、躯干过立、支撑腾空时间比、步频和垂直振幅等，其中的中立位前倾、摆臂、髋关节灵活度、落地膝盖过抻、落地点靠前、收腿慢和躯干过立均设定通过用户设定身体部位的当前角度进行评估。
具体的，根据关键图像帧中的关节点数据对用户进行跑姿评估，包括：确定关键图像帧中第三设定关节点的坐标；根据第三设定关节点的坐标确定设定身体部位的当前角度；将当前角度与标准角度进行比对，确定跑姿评估结果。跑姿评估结果可以为优秀、良好和一般，或者正常、低风险和高风险等。当前角度满足标准角度的要求，则确定跑姿评估结果为优秀或正常；否则根据当前角度与标准角度的差距确定跑姿评估结果，若差距大于差距阈值，则确定跑姿评估结果为一般或高风险，否则确定跑姿评估结果为良好或低风险。标准角度可以统计得到，而差距阈值可以根据实际需求进行设定。
其中设定身体部位的当前角度与第三设定关节点相对应，例如当设定身体部位的当前角度为头顶和脖子连线与躯干线的当前夹角时，则第三设定关节点为头关节、颈关节和髋关节。
示例性的，当评估指标为中立位前倾时，设定身体部位的当前角度为头顶和脖子连线与躯干线的夹角，标准角度为零度，当头顶和脖子连线与躯干线的夹角小于10度，则跑姿评估结果可以为正常，头顶和脖子连线与躯干线的夹角大于20度跑姿评估结果可以为高风险，头顶和脖子连线与躯干线的夹角大于或等于10度并且小于或等于20度，则跑姿评估结果可以为低风险。
又如，当评估指标为摆臂时，设定身体部位的当前角度为肩关节与肘关节的连线与垂直方向的最大夹角，跑步过程中，手臂摆动的幅度不应过大(前不露肘后不露手)，过小也不合理。当肩关节与肘关节的连线与垂直方向的最大夹角小于30度，则跑姿评估结果可以为过小，当肩关节与肘关节的连线与垂直方向的最大夹角大于60度，则跑姿评估结果可以为过大，当肩关节与肘关节的连线与垂直方向的最大夹角大于或等于30度且小于或等于60度时，则跑姿评估结果可以为正常。
又如，当评估指标为髋关节灵活度时，设定身体部位的当前角度为两大腿之间的最大夹角，标准角度为90度。当两大腿之间的最大夹角大于75度，则跑姿评估结果可以为优秀，当两大腿之间的最大夹角小于65度，则跑姿评估结果可以为一般，当两大腿之间的最大夹角大于或等于65度且小于或等于75度时，则跑姿评估结果可以为良好。参见图3和图4，图3为本发明实施例一中提供的一种两大腿之间当前夹角的示意图，图4为本发明实施例一中提供的另一种两大腿之间当前夹角的示意图，图3中两大腿之间的当前夹角为53度，跑姿评估结果为一般，图4中两大腿之间的当前夹角为84度，跑姿评估结果为优秀，接近标准角度。
本实施例的技术方案，通过获取用户的跑步视频，跑步视频中包括至少一个图像帧，根据跑步视频确定跑步场景，基于跑步场景，提取跑步视频中的关键图像帧，然后根据关键图像帧中的关节点数据对用户进行跑姿评估。本发明实施例提供的技术方案，考虑不同跑步场景引起的跑步视频中关键图像帧的不同，可以根据不同跑步场景下关键图像帧中的关节点数据对用户进行跑姿评估，通过对用户跑步视频中的跑步场景的区分，提高了跑步评估的准确性，进而有效帮助用户纠正错误的跑步姿态。
实施例二
图5为本发明实施例二中提供的一种跑姿评估方法的流程图。本实施例在上述实施例的基础上，进一步优化了上述跑姿评估方法。相应的，如图5所示，本实施例的方法具体包括：
S210、获取用户的跑步视频，跑步视频中包括至少一个图像帧。
S220、基于预先构建的关键点检测模型确定跑步视频的每一个图像帧中关节点的当前坐标。
其中关节点可以包括头关节、颈关节、肩关节、肘关节、腕关节、髋关节、膝关节和踝关节中的至少一个。
S230、根据跑步视频的每一个图像帧中检测得到的关节点的当前坐标与预测坐标之间的欧式距离，对当前坐标进行误差纠正。
在确定跑步视频的每一个图像帧中关节点的当前坐标时，由于是侧面检测，会偶尔存在某一图像帧左右关节(例如膝关节和踝关节等)互换的问题，导致同一关节点在时间序列上的突然剧烈抖动。通常的做法是抛掉这些异常帧，但是为了尽可能利用更多的数据，本实施例中通过对误检测点进行一定程度的纠正来提高准确性。
由于人体特征点的数量是固定，通常最可能出现的情况是同一部位的关节点左右互换，基于这一特性，本实施例中可以基于同一部位同一侧的关节此前的一些位置信息进行预测，确定预测坐标，若当前坐标与预测坐标之间的欧式距离是否大于设定距离阈值，对当前坐标进行误差纠正。其中当前坐标与预测坐标之间的欧式距离可以通过公式Ddist＝||Pdet-Ppred||确定，Ddist表示欧式距离，Pdet表示当前坐标，Ppred表示预测坐标。设定距离阈值与图像分辨率、图像中人体所占图片比例有关，可以根据实际情况进行设定。
本实施例中的具体预测的方式不作限定，例如可以通过线性预测或者卡尔曼预测确定预测坐标。以左踝关节为例，若通过模型实际检测到的左踝关节的当前坐标与预测坐标欧式距离大于设定距离阈值，确定左踝关节的坐标需要进行纠正。
对当前坐标进行误差纠正时，首先考虑左右关节互换的问题，将该关节点同一部位另一侧的关节的当前坐标作为备选值用上述方法进行判断，若满足设定距离阈值，则确定在检测过程中发生了左右关节互换，需要使用另一侧关节当前坐标进行纠正；若不满足设定距离阈值，则采用预测坐标替换当前坐标，实现误差纠正。
S240、根据跑步视频确定跑步场景。
具体的，根据跑步视频确定跑步场景，可以包括：确定跑步视频中首帧图像和末帧图像中第一设定关节点的坐标；根据首帧图像和末帧图像中第一设定关节点的坐标，确定第一设定关节点的水平距离差；根据水平距离差确定跑步场景。其中第一设定关节点可以为骨盆关节点。
S250、基于跑步场景，提取跑步视频中的关键图像帧。
具体的，基于跑步场景，提取跑步视频中的关键图像帧，可以包括：若跑步场景为室内场景，则根据第二设定关节点的垂直坐标值序列或水平坐标值序列，确定关键图像帧；若跑步场景为室外场景，则根据设定时间内的第二设定关节点坐标是否保持不变，确定关键图像帧。其中，第二设定关节点可以为踝关节。
S260、根据关键图像帧中的关节点数据对用户进行跑姿评估。
本实施例中可以根据关键图像帧中的评估指标对用户进行跑姿评估，评估指标可以包括中立位前倾、摆臂、髋关节灵活度、落地膝盖过抻、落地点靠前、收腿慢、躯干过立、支撑腾空时间比、步频和垂直振幅等，其中中立位前倾、摆臂、髋关节灵活度、落地膝盖过抻、落地点靠前、收腿慢和躯干过立的指标均设定到用户设定身体部位的当前角度。
具体的，根据关键图像帧中的关节点数据对用户进行跑姿评估，包括：确定关键图像帧中第三设定关节点的坐标；根据第三设定关节点的坐标确定设定身体部位的当前角度；将当前角度与标准角度进行比对，确定跑姿评估结果。
此外例如，当评估指标为落地膝盖过抻时，设定身体部位的当前角度为落地时支撑腿髋关节和膝关节连线与膝关节和踝关节连线的夹角，标准角度为180度，越接近标准角度风险越大。当落地时支撑腿髋关节和膝关节连线与膝关节和踝关节连线的夹角最大值大于170度时，则跑姿评估结果可以为高风险，当落地时支撑腿髋关节和膝关节连线，与膝关节和踝关节连线的夹角最大值大于160度且小于或等于170度时，则跑姿评估结果可以为低风险，当落地时支撑腿髋关节和膝关节连线与膝关节和踝关节连线的夹角最大值小于或等于160度时，则跑姿评估结果可以为正常。
又如，当评估指标为落地点靠前时，设定身体部位的当前角度为落地时支撑腿踝关节与骨盆点连线与跑步面的夹角，标准角度为90度，越接近90度越好。支撑脚落地开始起，当腿髋关节和膝关节连线与膝关节和踝关节连线的夹角最大值小于75度，则跑姿评估结果可以为高风险，当腿髋关节和膝关节连线与膝关节和踝关节连线的夹角最大值大于或等于75度小于80度，则跑姿评估结果可以为低风险，当腿髋关节和膝关节连线与膝关节和踝关节连线的夹角最大值大于或等于80度，则跑姿评估结果可以为正常。
又如，当评估指标为收腿慢时，设定身体部位的当前角度为落地后支撑腿脚底踩实时(小腿与跑步面垂直)两大腿间的夹角，标准角度越小越好。当支撑腿小腿与跑步屏幕垂直时，当两大腿间的夹角小于25度，则跑姿评估结果可以为优秀，当两大腿间的夹角大于或等于25度且小于40度，则跑姿评估结果可以为良好，当两大腿间的夹角大于或等于40度，则跑姿评估结果可以为一般。
又如，当评估指标为躯干过立时，设定身体部位的当前角度为躯干线与跑步面之间的夹角，躯干线应稍微前倾，避免与跑步面垂直。当躯干线与跑步面之间的夹角大于85度时，则跑姿评估结果可以为高风险，当躯干线与跑步面之间的夹角大于80度且小于或等于85度时，则跑姿评估结果可以为低风险，当躯干线与跑步面之间的夹角小于或等于80度时，则跑姿评估结果可以为正常。
再如，当评估指标为支撑腾空时间比时，跑步过程中脚掌落地时间与腾空时间的比值越小表示腾空时间越长，跑步经济性越高。当腾空时间小于第一设定腾空时间，则跑姿评估结果为优秀，当腾空时间大于或等于第一设定腾空时间且小于第二腾空时间，则跑姿评估结果为良好，当腾空时间大于或等于第二腾空时间，则跑姿评估结果为一般。第一腾空时间和第二腾空时间可以根据实际情况进行设定，且第一腾空时间小于第二腾空时间。
再如，当评估指标为步频时，跑步过程中，可根据视频长度内统计跑步的步数换算出用户每分钟跑步的步数。根据步频与标准步频之间的关系，得到的跑姿评估结果为优秀、良好或一般。标准步频可以根据实际情况进行设定。
本实施例的技术方案，通过获取用户的跑步视频，跑步视频中包括至少一个图像帧，基于预先构建的关键点检测模型确定跑步视频的每一个图像帧中关节点的当前坐标，根据跑步视频的每一个图像帧中检测得到的关节点的当前坐标与预测坐标之间的欧式距离，对当前坐标进行误差纠正，根据跑步视频确定跑步场景，基于跑步场景，提取跑步视频中的关键图像帧，然后根据关键图像帧中的关节点数据对用户进行跑姿评估。本发明实施例提供的技术方案，考虑不同跑步场景引起的跑步视频中关键图像帧的不同，可以根据不同跑步场景下关键图像帧中的关节点数据对用户进行跑姿评估，通过对用户跑步视频中的跑步场景的区分，提高了跑步评估的准确性，进而有效帮助用户纠正错误的跑步姿态；并且通过对关节点坐标的误差纠正，提高了确定的关节点坐标的准确性，进而进一步提高了跑步评估的准确性。
实施例三
图6为本发明实施例三中提供的一种跑姿评估装置的结构示意图，本实施例可适用于对用户进行跑姿评估的情况。本发明实施例所提供的跑姿评估装置可执行本发明任意实施例所提供的跑姿评估方法，具备执行方法相应的功能模块和有益效果。
该装置具体包括视频获取模块310、场景确定模块320、关键帧提取模块330和跑姿评估模块340，其中：
视频获取模块310，用于获取用户的跑步视频，跑步视频中包括至少一个图像帧；
场景确定模块320，用于根据跑步视频确定跑步场景；
关键帧提取模块330，用于基于跑步场景，提取跑步视频中的关键图像帧；
跑姿评估模块340，用于根据关键图像帧中的关节点数据对用户进行跑姿评估。
本发明实施例通过获取用户的跑步视频，跑步视频中包括至少一个图像帧，根据跑步视频确定跑步场景，基于跑步场景，提取跑步视频中的关键图像帧，然后根据关键图像帧中的关节点数据对用户进行跑姿评估。本发明实施例提供的技术方案，考虑不同跑步场景引起的跑步姿态不同，可以根据不同跑步场景下关键图像帧中的关节点数据对用户进行跑姿评估，通过对用户跑步视频中的跑步场景的区分，提高了跑步评估的准确性，进而有效帮助用户纠正错误的跑步姿态。
进一步的，场景确定模块320具体用于：
确定跑步视频中首帧图像和末帧图像中第一设定关节点的坐标；
根据首帧图像和末帧图像中第一设定关节点的坐标，确定第一设定关节点的水平距离差；
根据水平距离差确定跑步场景。
进一步的，关键帧提取模块330具体用于：
若跑步场景为室内场景，则根据第二设定关节点的垂直坐标值序列或水平坐标值序列，确定关键图像帧；
若跑步场景为室外场景，则根据设定时间内的第二设定关节点坐标是否保持不变，确定关键图像帧。
进一步的，第二设定关节点为踝关节。
进一步的，跑姿评估模块340具体用于：
确定关键图像帧中第三设定关节点的坐标；
根据第三设定关节点的坐标确定设定身体部位的当前角度；
将当前角度与标准角度进行比对，确定跑姿评估结果。
进一步的，该装置还包括：
关节点确定模块，用于获取用户的跑步视频之后，基于预先构建的关键点检测模型确定跑步视频的每一个图像帧中关节点的当前坐标，其中关节点包括头关节、颈关节、肩关节、肘关节、腕关节、髋关节、膝关节和踝关节中的至少一个。
进一步的，该装置还包括：
误差纠正模块，用于基于预先构建的关键点检测模型确定跑步视频的每一个图像帧中关节点的坐标之后，根据跑步视频的每一个图像帧中检测得到的关节点的当前坐标与预测坐标之间的欧式距离，对当前坐标进行误差纠正。
本发明实施例所提供的跑姿评估装置可执行本发明任意实施例所提供的跑姿评估方法，具备执行方法相应的功能模块和有益效果。
实施例四
图7为本发明实施例四中提供的一种设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性设备412的框图。图7显示的设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，设备412以通用设备的形式表现。设备412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储装置428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
设备412也可以与一个或多个外部设备414(例如键盘、指向终端、显示器424等)通信，还可与一个或者多个使得用户能与该设备412交互的终端通信，和/或与使得该设备412能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器420通过总线418与设备412的其它模块通信。应当明白，尽管图中未示出，可以结合设备412使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的跑姿评估方法，该方法包括：
获取用户的跑步视频，跑步视频中包括至少一个图像帧；
根据跑步视频确定跑步场景；
基于跑步场景，提取跑步视频中的关键图像帧；
根据关键图像帧中的关节点数据对用户进行跑姿评估。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的跑姿评估方法，该方法包括：
获取用户的跑步视频，跑步视频中包括至少一个图像帧；
根据跑步视频确定跑步场景；
基于跑步场景，提取跑步视频中的关键图像帧；
根据关键图像帧中的关节点数据对用户进行跑姿评估。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种跑姿评估方法，其特征在于，包括：
获取用户的跑步视频，所述跑步视频中包括至少一个图像帧；
根据所述跑步视频确定跑步场景；
基于所述跑步场景，提取所述跑步视频中的关键图像帧；
根据所述关键图像帧中的关节点数据对用户进行跑姿评估；
其中，所述基于所述跑步场景，提取所述跑步视频中的关键图像帧，包括：
若所述跑步场景为室内场景，则根据第二设定关节点的垂直坐标值序列或水平坐标值序列，确定所述关键图像帧；
若所述跑步场景为室外场景，则根据设定时间内的所述第二设定关节点坐标是否保持不变，确定所述关键图像帧。
2.根据权利要求1所述的方法，其特征在于，根据所述跑步视频确定跑步场景，包括：
确定所述跑步视频中首帧图像和末帧图像中第一设定关节点的坐标；
根据所述首帧图像和所述末帧图像中所述第一设定关节点的坐标，确定所述第一设定关节点的水平距离差；
根据所述水平距离差确定所述跑步场景。
3.根据权利要求1所述的方法，其特征在于，所述第二设定关节点为踝关节。
4.根据权利要求1所述的方法，其特征在于，根据所述关键图像帧中的关节点数据对用户进行跑姿评估，包括：
确定所述关键图像帧中第三设定关节点的坐标；
根据所述第三设定关节点的坐标确定设定身体部位的当前角度；
将所述当前角度与标准角度进行比对，确定跑姿评估结果。
5.根据权利要求1所述的方法，其特征在于，所述获取用户的跑步视频之后，还包括：
基于预先构建的关键点检测模型确定所述跑步视频的每一个图像帧中关节点的当前坐标，其中所述关节点包括头关节、颈关节、肩关节、肘关节、腕关节、髋关节、膝关节和踝关节中的至少一个。
6.根据权利要求5所述的方法，其特征在于，基于预先构建的关键点检测模型确定所述跑步视频的每一个图像帧中关节点的坐标之后，还包括：
根据所述跑步视频的每一个图像帧中检测得到的关节点的当前坐标与预测坐标之间的欧式距离，对所述当前坐标进行误差纠正。
7.一种跑姿评估装置，其特征在于，包括：
视频获取模块，用于获取用户的跑步视频，所述跑步视频中包括至少一个图像帧；
场景确定模块，用于根据所述跑步视频确定跑步场景；
关键帧提取模块，用于基于所述跑步场景，提取所述跑步视频中的关键图像帧；
跑姿评估模块，用于根据所述关键图像帧中的关节点数据对用户进行跑姿评估；
其中，所述关键帧提取模块具体用于：
若跑步场景为室内场景，则根据第二设定关节点的垂直坐标值序列或水平坐标值序列，确定关键图像帧；
若跑步场景为室外场景，则根据设定时间内的第二设定关节点坐标是否保持不变，确定关键图像帧。
8.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的跑姿评估方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的跑姿评估方法。
CN201911014229.XA 2019-10-23 2019-10-23 一种跑姿评估方法、装置、设备和存储介质 Active CN110765946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911014229.XA CN110765946B (zh) 2019-10-23 2019-10-23 一种跑姿评估方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911014229.XA CN110765946B (zh) 2019-10-23 2019-10-23 一种跑姿评估方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN110765946A CN110765946A (zh) 2020-02-07
CN110765946B true CN110765946B (zh) 2022-07-29

Family

ID=69333354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911014229.XA Active CN110765946B (zh) 2019-10-23 2019-10-23 一种跑姿评估方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN110765946B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627546A (zh) * 2020-11-26 2022-06-14 广州源动智慧体育科技有限公司 跑步姿态的识别方法、装置和计算机设备
CN115170603B (zh) * 2021-04-06 2024-01-23 广州视源电子科技股份有限公司 基于跑步机的步幅检测方法、装置、跑步机及存储介质
CN113397530B (zh) * 2021-06-16 2022-03-18 国家体育总局体育科学研究所 一种可进行膝关节功能评估的智能矫正系统和方法
CN114639168B (zh) * 2022-03-25 2023-06-13 中国人民解放军国防科技大学 一种用于跑步姿态识别的方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9993182B2 (en) * 2016-02-19 2018-06-12 Conduent Business Services, Llc Computer vision system for ambient long-term gait assessment
CN107749075B (zh) * 2017-10-26 2021-02-12 太平洋未来科技（深圳）有限公司 视频中虚拟对象光影效果的生成方法和装置
CN110321754B (zh) * 2018-03-28 2024-04-19 西安铭宇信息科技有限公司 一种基于计算机视觉的人体运动姿态纠正方法及系统
CN109166141A (zh) * 2018-08-10 2019-01-08 Oppo广东移动通信有限公司 危险提醒方法、装置、存储介质及移动终端
CN109871800B (zh) * 2019-02-13 2022-02-18 北京健康有益科技有限公司 一种人体姿态估计方法、装置和存储介质

Also Published As

Publication number Publication date
CN110765946A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN110765946B (zh) 一种跑姿评估方法、装置、设备和存储介质
CN108810620B (zh) 识别视频中的关键时间点的方法、装置、设备及存储介质
US11948401B2 (en) AI-based physical function assessment system
KR101457313B1 (ko) 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 방법, 장치 및 컴퓨터 프로그램 제품
US9183431B2 (en) Apparatus and method for providing activity recognition based application service
CN113850248B (zh) 运动姿态评估方法、装置、边缘计算服务器及存储介质
US20150142716A1 (en) Tracking player role using non-rigid formation priors
CN106250938A (zh) 目标跟踪方法、增强现实方法及其装置
CN111597975B (zh) 人员动作检测方法、装置及电子设备
CN112651291A (zh) 基于视频的姿势估计方法、装置、介质及电子设备
CN113569753A (zh) 视频中的动作比对方法、装置、存储介质与电子设备
KR20210067874A (ko) 경기 영상 내의 타겟 영상을 제공하기 위한 전자 장치 및 그의 동작 방법
JP2022136803A (ja) ３ｄ位置取得方法及び装置
CN111353347B (zh) 动作识别纠错方法、电子设备、存储介质
CN116580454A (zh) 一种基于目标检测和人体姿态估计的运动评估方法及装置
US8947494B2 (en) Pointer information processing device, computer-readable recording medium and conference system
CN114694256A (zh) 实时网球动作识别方法、装置、设备及介质
JP2019220073A (ja) 物体追跡装置、物体追跡システム、および物体追跡方法
CN113989334A (zh) 一种视频移动对象的跟踪方法、装置、设备及存储介质
CN115223198A (zh) 一种猪只行为识别方法、系统、计算机设备和存储介质
KR20210010408A (ko) 비전 센서 데이터 기반 골프 스윙 궤적 추적 및 분석 장치 및 방법
CN111739098A (zh) 测速方法及装置、电子设备及存储介质
CN111773651A (zh) 一种基于大数据的羽毛球训练监控评估系统及方法
CN110934565A (zh) 一种瞳孔直径的测量方法、装置及计算机可读存储介质
CN116433767B (zh) 目标对象检测方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant