CN114973401A - 基于动作检测与多模态学习的标准化引体向上评估方法 - Google Patents

Abstract

本发明公开了一种基于动作检测与多模态学习的标准化引体向上评估方法，主要解决现有方法对引体向上计数和标准性评估不准确的问题。其实现方案是：引入人脸识别进行身份识别，通过语音关键词控制视频采集；采用单周期波形序列分割法对完整引体向上动作视频进行单次动作检测，提取单次动作视频片段；根据考核标准设定动作判定参数；对视频片段进行人体骨骼点估计，生成单次动作评估向量，判断单次引体向上动作的标准性；基于实时判断结果进行视频、骨骼数据与音频的多模态学习；统计符合标准的引体向上动作个数，生成评估报告，以指导被测试人员查看标准示例进行动作调整。本发明检测准确性高，抗干扰能力强，可用于平时体育训练及体测。

Description

基于动作检测与多模态学习的标准化引体向上评估方法

技术领域

本发明是属于模式识别与机器学习领域，主要涉及一种标准化评估方法，可用于平时体育训练及体测。

背景技术

引体向上，是指依靠自身力量克服自身体重向上做功的垂吊练习，是男性的一个重要考核项目。引体向上主要测试上肢肌肉力量的发展水平，以及臂力和腰腹力量，是一项多关节复合动作练习，是衡量男性体质的重要参考标准和项目之一。《国家学生体质健康标准》中要求初高中和大学男生体测中必须有引体向上测试，并规定了具体的动作规范；《军事体育训练大纲》中也规定了引体向上是部队官兵必考的体育训练科目之一。同时，由于引体向上所需要的场地和器材不复杂且达到的锻炼效果较好，因而引体向上成为越来越多人的健身锻炼项目。国家对引体向上的考核标准进行了明确规定，标准的引体向上应该满足以下三大条件：1)下颌要高于杠面；2)身体不能借助振浪或者摆动；3)悬垂时双肘关节需伸直。但各学校或军队中在考核时对于引体向上的动作评判缺乏统一的准则，同时日常训练中的错误动作会造成肌肉骨骼组织不同程度地损伤，长久以此会影响体能的提高，甚至造成严重后果。

在引体向上锻炼或考核过程中，动作的计数以及标准性非常重要。在现有技术中，评判引体向上个数以及标准性通常有三种方式：人工考核的方法、基于辅助传感器的方法以及基于计算机视觉的方法。

人工考核的方法，是由专业的体育教师通过肉眼观察并根据自身经验进行计数和标准化评估。这种方法需要一对一地进行记录，耗费人力，并且具有极大的主观性，容易造成监督者疲劳使得可能出现判断标准不一致导致计数误差较大，容易出现错误造成成绩不公平的现象，同时由于被测试人员的数据均靠纸笔记录，存在缺失的风险，而且当出现判定争议的时候无法溯源。除此之外还可能出现替考等作弊现象。

基于辅助传感器的方法，一般通过在单杠周围安装红外线传感器、压力传感器和超声波传感器，或者是让被测试人员佩戴相应的传感器，对传感器的信息进行分析，进而完成对引体向上动作计数和判定。这种方法设备成本较低，评判标准统一，但设备搭载复杂，操作便捷性较差，佩戴传感器影响发挥或者造成安全事故。除此之外，这类方法还需要一个人在旁边指导监督仍然会耗费人力。

随着现代计算机技术和人工智能技术的发展，基于计算机视觉的方法得到极大的应用。这类方法首先通过无接触式的数据采集方式，采集引体向上过程的视频、图像等信息，然后设计智能算法对影像信息进行智能处理与分析，从而实现引体向上的计数与评估。其中，有技术人员提出结合深度图像的引体向上计数方法，根据深度信息和图像分割确定横杠和人脸下颚的位置，以此判断下颌是否高于杠面，通过肩关节与单杠最大高度的差值判断手臂是否伸直，但是这种方法缺乏对身体是否借助振浪或者摆动的判断，从而导致这样的标准化评估并不全面。此外，深度图像的采集依赖于专门的深度图像传感器Kinect，设备昂贵，对计算机性能要求高。

发明内容

本发明的目的在于针对现有技术的不足，提出一种基于动作检测与多模态学习的引体向上智能计数与标准化评估方法，以避免人力耗费、复杂传感器搭载，提升标准化评估的准确性。

为实现上述目的，本发明的技术方案包括如下：

(1)在测试开始前，通过人脸识别算法对被测试人员进行人脸识别，以认证其身份，系统记录被测试人员的身份信息，待被测试人员引体向上准备就绪后，根据设置好的语音关键词控制引体向上数据采集的开始与结束；

(2)根据引体向上动作过程中身体随动作变化上升或下降的规律，及眼睛关键点在上升和下降过程比较稳定的特性，采用单周期波形序列分割的方法对完整引体向上动作视频进行检测，得到多个单次引体向上动作的起止时间，提取多个单次引体向上动作的视频片段；

(3)根据引体向上的三大考核标准，设定单次引体向上视频片段动作的判定参数：

(3a)根据考核标准1中被测试人员下颌要高于杠面的规定，设定判定参数α表示下颌所处杠面的位置，α＝1表示下颌高于杠面，α＝0表示下颌低于杠面；

(3b)根据考核标准2中被测试人员身体不能借助振浪或者摆动的规定，设定判定参数β表示身体借助振浪或者摆动的状态，β＝1表示身体未借助振浪或者摆动，β＝0表示身体借助振浪或者摆动；

(3c)根据考核标准3中被测试人员悬垂状态时双肘关节需要伸直的规定，设定判定参数γ表示悬垂状态时双肘关节的状态，γ＝1表示悬垂状态时双肘关节伸直，γ＝0表示悬垂状态时双肘关节未伸直；

(4)对单次引体向上动作视频片段进行人体骨骼点估计，生成单次引体向上动作的评估向量[α,β,γ]：

(4a)从引体向上视频片段提取人脸关键点，用人脸关键点的嘴唇点近似下颌点的位置，实时判断引体向上过程中单杠中心的Y坐标y_b与被测试人员下颌点的Y坐标y_m的相对位置；若y_m≥y_b，则α＝1，否则α＝0；

(4b)对身体是否借助振浪或者摆动设定三个判定条件：

(4b1)设上半身倾斜角度阈值为Th₁，计算身体上半身倾斜角度的标准差σ₁，若σ₁≥Th₁，则上半身摆动过大，β＝0；

(4b2)设下半身倾斜角度阈值为Th₂，计算身体下半身倾斜角度的标准差σ₂，若σ₂≥Th₂，则下半身摆动过大，β＝0；

(4b3)设膝盖弯曲角度阈值为Th₃，计算膝盖弯曲角度的标准差σ₃，若σ₃≥Th₃，则存在蹬腿现象，β＝0；

若不存在上下半身摆动过大和蹬腿现象，则β＝1；

(4c)设定关节角度阈值Th_θ，将单次引体向上动作分为上升过程与下降过程，在下降过程中提取人体骨骼数据，实时计算被测试人员引体向上动作下降过程中t时刻手肘关节的角度大小

若

则γ＝1，否则γ＝0；

(4d)对于被测试人员引体向上过程中的下颌高于杠面、身体未借助振浪或者摆动且悬垂状态时双肘关节伸直的单次引体向上视频片段，即α＝β＝γ＝1，得到其评估向量[α,β,γ]＝[1,1,1]；对于被测试人员引体向上过程中的下颌低于杠面、身体借助振浪或者摆动且悬垂状态时双肘关节未伸直的单次引体向上视频片段，即α＝β＝γ＝0，得到其评估向量[α,β,γ]＝[0,0,0]；

(5)根据整个引体向上过程生成的每个单次引体向上动作评估向量[α,β,γ]，判断每个单次引体向上动作是否符合标准：

若单次引体向上视频片段的评估向量[α,β,γ]＝[1,1,1]，则表示该次引体向上动作符合标准；

若评估向量[α,β,γ]≠[1,1,1]，则表示该次引体向上动作不符合标准；

(6)根据逐次引体向上视频动作标准化判断结果控制音频输出，基于音频输出结果实现视频、骨骼数据与音频之间的多模态学习。例如：当检测到连续3次引体向上动作检测不符合标准时，控制音频输出请重新录制等语音关键词，然后继续视频和骨骼的多模态动作检测学习；

(7)统计符合动作标准的单次引体向上视频片段个数，得到被测试人员在引体向上整个训练过程中的标准动作个数，根据标准动作个数结果生成评估报告，给出被测试人员动作不标准的引体向上视频示例及动作不标准的原因，同时针对整个引体向上过程给出智能化的提升建议；

(8)保存所有被测试人员的引体向上标准计数结果、评估向量及视频，并上传至数据库。

本发明与现有技术相比具有如下优点：

1.能够适应多种场景：

本发明由于通过引入人脸识别技术，在测试开始前，通过人脸识别算法对被测试人员进行人脸识别，将其人脸特征与数据库中的人脸特征比对，仅在比对成功的情况下开启系统功能，并在引体向上过程中不断监测人脸比对是否为同一个人，能够更好地预防作弊现象的发生；同时由于通过引入语音关键词控制系统功能，可根据设置好的语音关键词控制采集的开始与结束；此外由于通过引入阈值对引体向上进行评估，可在不同场景中可设定不同的阈值实现对不同难度等级的评估；本发明既可用于平时训练锻炼，又可以用于体测与考核，实现无人监考。

2.能够精细地分析每个动作：

本发明提出的单周期波形序列分割方法对完整引体向上动作视频进行检测，可将完整引体向上动作视频分割为多个单次动作片段，能够精细地分析被测试人员的每一个动作细节。

3.标准动作计数：

本发明参考引体向上的三大考核标准，通过对单次引体向上动作检测，判断被测试人员下颌是否高于杠面，悬垂时双肘关节是否伸直，上下半身是否摆动及是否蹬腿，可全面地评估引体向上动作的标准性，得到标准计数结果。

4.多模态学习与交互：

本发明根据引体向上视频动作标准化判断结果控制音频输出，基于音频输出控制视频和骨骼数据的多模态动作检测，实现视频、骨骼数据与音频之间的多模态学习与交互。

5.评估报告人性化：

本发明在测试结束时生成评估报告，在评估报告中给出被测试人员动作不标准的引体向上视频示例及动作不标准的原因，同时针对整个引体向上过程给出智能化的提升建议，指导被测试人员查看标准示例进行动作调整，以此来保证被测试人员能够在训练时及时发现并更正自身动作上的错误。

6.数据可溯源：

本发明将被测试人员的引体向上标准计数结果、评估向量以及视频保存到计算机中，并能够上传至数据库，便于被测试人员掌握自己每一个阶段的训练情况，且在考核有争议时可查验。

7.非接触式测试：

本发明通过计算机视觉对引体向上动作进行检测，检测准确性高，抗干扰能力强，安全性高，拍摄视频设备成本低且安装简单。

附图说明

图1是本发明的实现流程框图；

图2是本发明引体向上评估中的自然拉伸状态示意图；

图3是本发明引体向上评估中的身体摆动倾斜示意图；

图4是本发明引体向上评估中的蹬腿状态示意图；

图5为本发明的测试场景示意图。

具体实施方式

在人工智能技术快速发展和人体健康备受瞩目的背景下,标准化引体向上计数方法在体育测试及考核中发挥着更加重要的角色，迫切需要一种高效、准确、智能的标准化引体向上计数方法。目前人工监督需要一对一地进行记录，耗费人力，并且具有极大的主观性。辅助传感器设备搭载复杂，操作便捷性较差，准确性一般。基于计算机视觉的方法往往没有考虑到对身体是否借助振浪或者摆动进行判断，并且没有对引体向上的动作进行分析或提出改进的建议。针对现状，本发明经过探索和实验，提出了一种基于动作检测和多模态学习的标准化引体向上评估方法，用于适用场景广泛的引体向上智能计数与标准化评估。

下面结合附图对本发明的实施例作详细描述。

参见图1，本实例的实现步骤如下：

步骤1，身份识别与视频采集。

在测试开始前，将摄像头固定在引体向上单杠正前方2至3米的位置，并将摄像头连接至计算机；

摄像头安装完成后，在计算机中打开摄像头，采用人脸识别算法对摄像头采集到的图像帧进行人脸识别，得到被测试人员的人脸特征，将该人脸特征与数据库中的人脸特征比对，在人脸特征匹配的情况下，系统记录被测试人员的身份信息，系统功能正式开启，系统语音提示被测试人员可以开始引体向上测试；

待被测试人员引体向上准备就绪后，根据设置好的语音关键词控制引体向上数据采集的开始与结束。

步骤2，提取单次引体向上动作视频片段。

在一次训练或考核中，被测试人员的引体向上测试视频通常包含多次引体向上，为了精准地评估每一个动作，在对引体向上动作的标准性进行评估之前，需要提取出每一个单次引体向上动作视频片段以便后续分析。

针对多个动作同时检测无法分析单个动作存在的问题，本发明根据引体向上动作过程中身体随动作变化上升或下降的规律，及眼睛关键点在上升和下降过程比较稳定的特性，采用单周期波形序列分割的方法对完整引体向上动作视频进行检测，得到多个单次引体向上动作的起止时间，提取多个单次引体向上动作的视频片段。具体实现如下：

(2.1)采用MediaPipe三维骨骼估计算法对引体向上视频进行处理，获取眼睛关键点在整个引体向上过程中的Y坐标的序列Y₀。

(2.2)对Y₀序列进行平滑去噪：

由于MediaPipe三维骨骼估计算法在提取骨骼关键点时有时候会出现骨骼错乱的问题，故眼睛关键点Y₀中含有少量的误差点，因而在对其进行分析前需要进行去噪；

本实例采用Savitzky-Golay滤波器对Y₀序列进行平滑去噪，得到去噪后的Y坐标序列Y₁；该Savitzky-Golay滤波器滤波方法可在滤除噪声的同时可以确保信号的形状、宽度不变，有利于减少后续评估算法的计数误差。

(2.3)寻找Y₁序列的波谷点与波峰点集合子序列Y_tc，并去除其误差点：

由于去噪后的序列Y₁波形类似余弦波的波形，故去噪后的序列Y₁存在明显的波谷点与波峰点，根据引体向上动作过程中眼睛关键点随动作变化上升或下降的规律，序列Y₁的波谷点对应引体向上最高点的帧，波峰点对应引体向上的结束帧，故需寻找Y₁序列的波谷点与波峰点集合子序列Y_tc；

设定序列两点之差的阈值为Th_δ，由于在对Y₁序列去噪后还存在有少量噪点，故增加限定条件减小误差，即求Y_tc中每个点与其前一个点的差值，去除差值的绝对值小于设定阈值Th_δ的误差点，获得去除误差点后的波谷点与波峰点集合子序列Y_tc'；

(2.4)根据Y_tc'子序列中每个点的大小关系，将Y_tc'分为波谷点子序列Y_t和波峰点子序列Y_c；设定整个引体向上过程中的每一个单次动作的帧间隔为1，将每一个单次动作结束帧的下一帧作为下一个单次动作的开始帧，即Y_c与Y_c+1分别对应每个单次动作的结束帧和下一个单次动作的开始帧；

(2.5)对波峰点子序列Y_c进行分割，根据分割结果裁剪引体向上动作视频，得到每一个单次引体向上动作视频片段。

本实例与现有引体向上评估方法相比，通过引入以单次引体向上动作为基本检测单元的方法，针对多个动作同时检测无法分析单个动作的问题，提取出单次引体向上的动作视频片段，对单次引体向上动作进行分析能够更好地分析被测试人员的每一个动作。

步骤3，设定单次引体向上视频片段动作的判定参数。

根据国家对引体向上的考核标准的规定，标准的引体向上应该满足以下三大条件：1)下颌要高于杠面；2)身体不能借助振浪或者摆动；3)悬垂时双肘关节需伸直；本实例根据此规定设定单次引体向上视频片段动作的判定参数：

(3.1)根据考核标准1中被测试人员下颌要高于杠面的规定，设定判定参数α表示下颌所处杠面的位置，α＝1表示下颌高于杠面，α＝0表示下颌低于杠面；

(3.2)根据考核标准2中被测试人员身体不能借助振浪或者摆动的规定，设定判定参数β表示身体借助振浪或者摆动的状态，β＝1表示身体未借助振浪或者摆动，β＝0表示身体借助振浪或者摆动；

(3.3)根据考核标准3中被测试人员悬垂状态时双肘关节需要伸直的规定，设定判定参数γ表示悬垂状态时双肘关节的状态，γ＝1表示悬垂状态时双肘关节伸直，γ＝0表示悬垂状态时双肘关节未伸直。

步骤4，对被测试人员的单次引体向上视频片段进行智能评估，生成三个判定参数的确定值。

(4.1)采用MediaPipe三维骨骼估计算法从单次引体向上视频片段提取人脸关键点，用人脸关键点的嘴唇点近似下颌点的位置，实时判断引体向上过程中单杠中心的Y坐标y_b与被测试人员下颌点的Y坐标y_m的相对位置；若y_m≥y_b，则α＝1，否则α＝0；

本实例通过利用嘴唇关键点替代下颌关键点进行判断，由于嘴唇在下颌关键点的上方，可得到嘴唇与下颌关键点Y坐标之差的经验值，故在实际测试中得到单杠的Y坐标后减去该经验值，此时若嘴唇点高于杠面，则可以近似地表示下颌高于杠面。

(4.2)对身体是否借助振浪或者摆动设定三个判定条件，确定判定参数值β：

(4.2.1)设上半身倾斜角度阈值为Th₁，计算身体上半身倾斜角度的标准差σ₁：

(4.2.1a)采用目标检测算法识别出视频中的单杠，并在视频中标注其位置，选取单杠中心点位置作为单杠的坐标，设单杠的Y坐标为y_b；

(4.2.1b)采用MediaPipe三维骨骼估计算法提取视频每一帧的人体肩膀、腰部和手拇指关键点，设t时刻肩膀的三维坐标为

腰部的三维坐标为

手拇指的三维坐标为

(4.2.1c)设开始标志f_s的初始值为0，根据开始标志f_s的值及手拇指关键点与单杠Y坐标的大小关系，判断引体向上的状态：

若

且f_s＝0，则表示引体向上的初始状态；

若

且f_s＝1，则表示引体向上的过程状态；

(4.2.1d)参见图2，在引体向上初始状态时刻，设此时肩膀的三维坐标为

腰部的三维坐标为

设上半身初始长度为L_us，此时上半身初始长度L_us等于肩膀和腰部Y坐标之差的绝对值，即

并将开始标志f_s设为1；

(4.2.1e)参见图3，在引体向上的过程状态中，设某d时刻肩膀的三维坐标为

腰部的三维坐标为

设上半身当前长度为

上半身当前长度

为肩膀和腰部Y坐标之差的绝对值，即

(4.2.1f)将上半身初始长度L_us、上半身当前长度

和这两者的末端相连组成一个直角三角形，将d时刻上半身偏离角度设为

根据直角三角形的特性及反余弦函数，计算被测试人员的上半身偏离角度

(4.2.1g)对引体向上的过程状态中的每一个时刻计算其上半身偏离角度

得到上半身偏离角度序列Y_u；

(4.2.1h)对上半身偏离角度序列Y_u求标准差，得到身体上半身倾斜角度的标准差σ₁；

(4.2.1i)将上半身倾斜角度的标准差σ₁与上半身倾斜角度阈值Th₁做比较：

若σ₁≥Th₁，则表示上半身摆动过大，β＝0；

若σ₁＜Th₁，则表示上半身摆动不大，β＝1。

(4.2.2)设下半身倾斜角度阈值Th₂，计算身体下半身倾斜角度的标准差σ₂：

(4.2.2a)采用目标检测算法识别出视频中的单杠，并在视频中标注其位置，选取单杠中心点位置作为单杠的坐标，设单杠的Y坐标为y_b；

(4.2.2b)采用MediaPipe三维骨骼估计算法提取视频每一帧的人体腰部、脚踝和手拇指关键点，设t时刻腰部的三维坐标为

脚踝的三维坐标为

手拇指的三维坐标为

(4.2.2c)设开始标志f_s的初始值为0，根据开始标志f_s的值及手拇指关键点与单杠Y坐标的大小关系，判断引体向上的状态：

若

且f_s＝0，则表示引体向上的初始状态；

若

且f_s＝1，则表示引体向上的过程状态；

(4.2.2d)在引体向上初始状态时刻，设此时腰部的三维坐标为

脚踝的三维坐标为

设下半身初始长度为L_ds，此时下半身初始长度L_ds等于腰部和脚踝Y坐标之差的绝对值，即

并将开始标志f_s设为1；

(4.2.2e)在引体向上的过程状态中，设某d时刻腰部的三维坐标为

脚踝的三维坐标为

设下半身当前长度为

下半身当前长度

为肩膀和腰部Y坐标之差的绝对值，即

(4.2.2f)将下半身初始长度L_ds、下半身当前长度

和这两者的末端相连组成一个直角三角形，将d时刻下半身偏离角度设为

根据直角三角形的特性及反余弦函数，计算被测试人员的下半身偏离角度

(4.2.2g)对引体向上的过程状态中的每一个时刻计算其下半身偏离角度

得到下半身偏离角度序列Y_l；

(4.2.2h)对下半身偏离角度序列Y_l求标准差，得到身体下半身倾斜角度的标准差σ₂；

(4.2.2i)将下半身倾斜角度的标准差σ₂与下半身倾斜角度阈值Th₂做比较：

若σ₂≥Th₂，则表示下半身摆动过大，β＝0；

若σ₂＜Th₂，则表示下半身摆动不大，β＝1。

(4.2.3)参见图4，设膝盖弯曲角度阈值Th₃，计算膝盖弯曲角度的标准差σ₃：

(4.2.3a)在引体向上过程中实时采用MediaPipe三维骨骼估计算法提取视频每一帧的腰部、膝盖和脚踝关键点，设t时刻腰部的三维坐标为

膝盖的三维坐标为

脚踝的三维坐标为

(4.2.3b)将腰部、膝盖和脚踝关键点相连组成三角形，计算该三角形的三条边，设t时刻腰部到膝盖的距离为

腰部到脚踝的距离为

膝盖到脚踝的距离为

计算公式如下：

(4.2.3c)将t时刻膝盖弯曲角度设为

根据腰部、膝盖和脚踝关键点相连组成三角形的边长距离及三角形的余弦定理，求取膝盖弯曲角度

的余弦值：

(4.2.3d)根据反余弦函数求出膝盖弯曲角度

(4.2.3e)对引体向上动作过程中的每一个时刻计算其膝盖弯曲角度

得到膝盖弯曲角度序列Y_k；

(4.2.3f)对膝盖弯曲角度序列Y_k求标准差，得到膝盖弯曲角度的标准差σ₃；

(4.2.3g)将膝盖角度的标准差σ₃与膝盖角度阈值Th₃做比较：

若σ₃≥Th₃，则表示存在蹬腿现象，β＝0；

若σ₃＜Th₃，则表示不存在蹬腿现象，β＝1。

(4.3)设定关节角度阈值Th_θ，根据在该次动作中下颌是否已经高于杠面将单次引体向上动作分为上升过程与下降过程，若下颌已高于杠面，表示引体向上处于下降过程；

(4.4)实时计算被测试人员引体向上动作下降过程中t时刻手肘关节的角度大小

确定判定参数值γ：

(4.4.1)用MediaPipe三维骨骼估计算法提取肩膀、肘部和手腕关键点，设t时刻肩膀的三维坐标为

肘部的三维坐标为

手腕关键点的三维坐标为

(4.4.2)将肩膀、肘部和手腕关键点相连组成三角形，计算该三角形的三条边，设t时刻肩膀到肘部的距离为

肩膀到手腕的距离为

肘部到手腕的距离为

计算公式如下：

(4.4.3)设手肘弯曲角度为

根据肩膀、肘部和手腕关键点相连组成三角形的边长距离及三角形的余弦定理，求取手肘弯曲角度

的余弦值：

(4.4.4)根据反余弦函数求出手肘弯曲角度

(4.4.5)将手肘弯曲角度

与关节角度阈值Th_θ做比较：

若

则表示下降过程双肘关节已伸直，γ＝1；

若

则表示下降过程双肘关节未伸直，γ＝0。

步骤5，生成评估向量[α,β,γ]，对单次引体向上动作视频片段的动作标准性进行评判。

(5.1)根据步骤4确定的判断参数值，生成不同的评估向量：

对于被测试人员引体向上过程中的下颌高于杠面、身体未借助振浪或者摆动且悬垂状态时双肘关节伸直的单次引体向上视频片段，即α＝β＝γ＝1，生成评估向量[α,β,γ]＝[1,1,1]；

对于被测试人员引体向上过程中的下颌高于杠面、身体未借助振浪或者摆动且悬垂状态时双肘关节未伸直的单次引体向上视频片段，即α＝β＝1，γ＝0，生成评估向量[α,β,γ]＝[1,1,0]；

对于被测试人员引体向上过程中的下颌高于杠面、身体借助振浪或者摆动且悬垂状态时双肘关节伸直的单次引体向上视频片段，即α＝γ＝1，β＝0，生成评估向量[α,β,γ]＝[1,0,1]；

对于被测试人员引体向上过程中的下颌高于杠面、身体借助振浪或者摆动且悬垂状态时双肘关节未伸直的单次引体向上视频片段，即α＝1，β＝γ＝0，生成评估向量[α,β,γ]＝[1,0,0]；

对于被测试人员引体向上过程中的下颌低于杠面、身体未借助振浪或者摆动且悬垂状态时双肘关节伸直的单次引体向上视频片段，即α＝0，β＝γ＝1，生成评估向量[α,β,γ]＝[0,1,1]；

对于被测试人员引体向上过程中的下颌低于杠面、身体未借助振浪或者摆动且悬垂状态时双肘关节未伸直的单次引体向上视频片段，即α＝γ＝0，β＝1，生成评估向量[α,β,γ]＝[0,1,0]；

对于被测试人员引体向上过程中的下颌低于杠面、身体借助振浪或者摆动且悬垂状态时双肘关节伸直的单次引体向上视频片段，即α＝β＝0，γ＝1，生成评估向量[α,β,γ]＝[0,0,1]；

对于被测试人员引体向上过程中的下颌低于杠面、身体借助振浪或者摆动且悬垂状态时双肘关节未伸直的单次引体向上视频片段，即α＝β＝γ＝0，生成评估向量[α,β,γ]＝[0,0,0]。

(5.2)依据评估向量对每个单次引体向上视频片段动作的标准性做出评判：

若单次引体向上视频片段生成的评估向量[α,β,γ]＝[1,1,1]，则表示该次引体向上动作符合标准，该单次引体向上视频片段记为符合动作标准；

若单次引体向上视频片段生成的评估向量[α,β,γ]≠[1,1,1]，则表示该次引体向上动作不符合标准，该单次引体向上视频片段记为不符合动作标准。

步骤6，视频、骨骼数据与音频之间的多模态学习。

根据引体向上视频动作标准化的实时判断结果控制音频的输出，当检测到连续3次引体向上动作检测不符合标准时，控制音频输出请重新录制等语音关键词；

重新录制时，当检测到被测试人员发出的开始录制等语音关键词，继续视频和骨骼的多模态动作检测，实现视频、骨骼数据与音频之间的多模态学习。

步骤7，统计标准个数并生成评估报告。

统计符合动作标准的单次引体向上视频片段个数，得到被测试人员在引体向上整个训练过程中的标准动作个数；

根据被测试人员的每一个单次引体向上的标准个数及评估向量生成评估报告，在评估报告中给出被测试人员动作不标准的引体向上视频示例及动作不标准的原因，同时针对整个引体向上过程给出智能化的提升建议，指导被测试人员查看标准示例进行动作调整，以此来保证被测试人员能够在训练时及时发现并更正自身动作上的错误。

步骤8，保存数据文件并上传至数据库。

在引体向上过程中，将被测试人员的引体向上标准计数结果、评估向量及视频路径全部存入列表中；

评估结束后将列表中的引体向上标准计数结果、评估向量及视频路径保存到Excel中，采用Pandas.DataFrame方法对Excel进行操作，将所有被测试人员的引体向上标准计数结果、评估向量及视频路径保存到Excel中，并采用MySql技术上传至数据库，便于被测试人员掌握自己每一个阶段的训练情况以及考核有争议时查验。

本发明的效果可通过以下测试实验进一步说明：

一.测试条件：

测试场景如图5所示，其含有引体向上单杠的场地；

测试设备为一台计算机与一个摄像头，将计算机与摄像头相连搭建在含有引体向上单杠场地的正前方，且搭建在正前方2至3米处最佳。

测试数据为在某大学校内采集51个被测试人员的引体向上视频，所有被测试人员的引体向上标准个数真值由医院临床医生标注。

仿真试验平台是11th Gen Intel(R)Core(TM)i7-1165G7 CPU 2.80GHz，内存为32GB，测试平台为Windows10操作系统，采用Python语言实现。

评价指标：定义为测试数据中医生标注的每个被测试人员完成引体向上标准个数真值与本发明所述方法处理得到的每个被测试人员完成引体向上标准个数误差总和的平均值。

二.测试内容与结果：

在上述测试条件下采用本发明方法对51个被测试人员的引体向上视频数据进行处理，得到所有被测试人员的引体向上标准个数与评估报告，求取每个被测试人员引体向上标准个数与医生标注的引体向上标准个数真值差值总和的平均值，得到标准化平均误差为0.75，该误差值小于1，说明测试结果与实际真值相差不大，标准化引体向上评估准确性高。

综上，本发明所述的基于动作检测和多模态学习的标准化引体向上评估方法测试准确，鲁棒性高。

Claims (6)

1.一种基于动作检测与多模态学习的标准化引体向上评估方法，其特征在于，包括如下：

(1)在测试开始前，通过人脸识别算法对被测试人员进行人脸识别，以认证其身份，系统记录被测试人员的身份信息，待被测试人员引体向上准备就绪后，根据设置好的语音关键词控制引体向上数据采集的开始与结束；

(2)根据引体向上动作过程中身体随动作变化上升或下降的规律，及眼睛关键点在上升和下降过程比较稳定的特性，采用单周期波形序列分割的方法对完整引体向上动作视频进行检测，得到多个单次引体向上动作的起止时间，提取多个单次引体向上动作的视频片段；

(3)根据引体向上的三大考核标准，设定单次引体向上视频片段动作的判定参数：

(3a)根据考核标准1中被测试人员下颌要高于杠面的规定，设定判定参数α表示下颌所处杠面的位置，α＝1表示下颌高于杠面，α＝0表示下颌低于杠面；

(3b)根据考核标准2中被测试人员身体不能借助振浪或者摆动的规定，设定判定参数β表示身体借助振浪或者摆动的状态，β＝1表示身体未借助振浪或者摆动，β＝0表示身体借助振浪或者摆动；

(3c)根据考核标准3中被测试人员悬垂状态时双肘关节需要伸直的规定，设定判定参数γ表示悬垂状态时双肘关节的状态，γ＝1表示悬垂状态时双肘关节伸直，γ＝0表示悬垂状态时双肘关节未伸直；

(4)对单次引体向上动作视频片段进行人体骨骼点估计，生成单次引体向上动作的评估向量[α,β,γ]：

(4a)从引体向上视频片段提取人脸关键点，用人脸关键点的嘴唇点近似下颌点的位置，实时判断引体向上过程中单杠中心的Y坐标y_b与被测试人员下颌点的Y坐标y_m的相对位置；若y_m≥y_b，则α＝1，否则α＝0；

(4b)对身体是否借助振浪或者摆动设定三个判定条件：

(4b1)设上半身倾斜角度阈值为Th₁，计算身体上半身倾斜角度的标准差σ₁，若σ₁≥Th₁，则上半身摆动过大，β＝0；

(4b2)设下半身倾斜角度阈值为Th₂，计算身体下半身倾斜角度的标准差σ₂，若σ₂≥Th₂，则下半身摆动过大，β＝0；

(4b3)设膝盖弯曲角度阈值为Th₃，计算膝盖弯曲角度的标准差σ₃，若σ₃≥Th₃，则存在蹬腿现象，β＝0；

若不存在上下半身摆动过大和蹬腿现象，则β＝1；

(4c)设定关节角度阈值Th_θ，将单次引体向上动作分为上升过程与下降过程，在下降过程中提取人体骨骼数据，实时计算被测试人员引体向上动作下降过程中t时刻手肘关节的角度大小

若

则γ＝1，否则γ＝0；

(4d)对于被测试人员引体向上过程中的下颌高于杠面、身体未借助振浪或者摆动且悬垂状态时双肘关节伸直的单次引体向上视频片段，即α＝β＝γ＝1，得到其评估向量[α,β,γ]＝[1,1,1]；对于被测试人员引体向上过程中的下颌低于杠面、身体借助振浪或者摆动且悬垂状态时双肘关节未伸直的单次引体向上视频片段，即α＝β＝γ＝0，得到其评估向量[α,β,γ]＝[0,0,0]；

(5)根据整个引体向上过程生成的每个单次引体向上动作评估向量[α,β,γ]，判断每个单次引体向上动作是否符合标准：

若单次引体向上视频片段的评估向量[α,β,γ]＝[1,1,1]，则表示该次引体向上动作符合标准；

若评估向量[α,β,γ]≠[1,1,1]，则表示该次引体向上动作不符合标准；

(6)根据逐次引体向上视频动作标准化判断结果控制音频输出，基于音频输出结果实现视频、骨骼数据与音频之间的多模态学习。例如：当检测到连续3次引体向上动作检测不符合标准时，控制音频输出请重新录制等语音关键词，然后继续视频和骨骼的多模态动作检测学习；

(7)统计符合动作标准的单次引体向上视频片段个数，得到被测试人员在引体向上整个训练过程中的标准动作个数，根据标准动作个数结果生成评估报告，给出被测试人员动作不标准的引体向上视频示例及动作不标准的原因，同时针对整个引体向上过程给出智能化的提升建议；

(8)保存所有被测试人员的引体向上标准计数结果、评估向量及视频，并上传至数据库。

2.根据权利要求1所述的方法，其特征在于，(2)中采用单周期波形序列分割的方法对完整引体向上动作视频进行检测，实现如下：

(2a)用MediaPipe三维骨骼估计算法获取眼睛关键点在引体向上过程中的Y坐标的序列Y₀；

(2b)用Savitzky-Golay滤波器将Y₀序列平滑去噪，得到去噪后的Y坐标序列Y₁；

(2c)寻找Y₁序列的波谷点与波峰点集合子序列Y_tc；

(2d)求Y_tc中每个点与其前一个点的差值，去除差值的绝对值小于设定阈值Th_δ的误差点，获得去除误差点后的波谷点与波峰点集合子序列Y_tc'；

(2e)将Y_tc'分为波谷点子序列Y_t和波峰点子序列Y_c，Y_c对应每个单次引体向上的结束帧，将每一个单次动作结束帧的下一帧作为下一个单次动作的开始帧，即Y_c与Y_c+1分别对应每个单次动作的结束帧和下一个单次动作的开始帧；

(2f)对波峰点子序列Y_c进行分割，根据分割结果裁剪引体向上动作视频，得到每一个单次引体向上动作视频片段。

3.根据权利要求1所述的方法，其特征在于，所述(4b1)中计算身体上半身倾斜角度的标准差σ₁，实现如下：

(4b1.1)采用目标检测算法识别出视频中的单杠，并在视频中标注其位置，选取单杠中心点位置作为单杠的坐标，设单杠的Y坐标为y_b；

(4b1.2)采用MediaPipe三维骨骼估计算法提取视频每一帧的人体肩膀、腰部和手拇指关键点，设t时刻肩膀的三维坐标为

腰部的三维坐标为

手拇指的三维坐标为

(4b1.3)设开始标志f_s的初始值为0，根据开始标志f_s的值及手拇指关键点与单杠Y坐标的大小关系，判断引体向上的状态：

若

且f_s＝0，则表示引体向上的初始状态；

若

且f_s＝1，则表示引体向上的过程状态；

(4b1.4)在引体向上初始状态时刻，设此时肩膀的三维坐标为

腰部的三维坐标为

设上半身初始长度为L_us，此时上半身初始长度L_us等于肩膀和腰部Y坐标之差的绝对值，即

并将开始标志f_s设为1；

(4b1.5)在引体向上的过程状态中，设某d时刻肩膀的三维坐标为

腰部的三维坐标为

设上半身当前长度为

上半身当前长度

为肩膀和腰部Y坐标之差的绝对值，即

(4b1.6)将上半身初始长度L_us、上半身当前长度

和这两者的末端相连组成一个直角三角形，将d时刻上半身偏离角度设为

根据直角三角形的特性及反余弦函数，计算被测试人员的上半身偏离角度

(4b1.7)对引体向上的过程状态中的每一个时刻计算其上半身偏离角度

得到上半身偏离角度序列Y_u；

(4b1.8)对上半身偏离角度序列Y_u求标准差，得到身体上半身倾斜角度的标准差σ₁。

4.根据权利要求1所述的方法，其特征在于，所述(4b2)中计算身体下半身倾斜角度的标准差σ₂，实现如下：

(4b2.1)采用目标检测算法识别出视频中的单杠，并在视频中标注其位置，选取单杠中心点位置作为单杠的坐标，设单杠的Y坐标为y_b；

(4b2.2)采用MediaPipe三维骨骼估计算法提取视频每一帧的人体腰部、脚踝和手拇指关键点，设t时刻腰部的三维坐标为

脚踝的三维坐标为

手拇指的三维坐标为

(4b2.3)设开始标志f_s的初始值为0，根据开始标志f_s的值及手拇指关键点与单杠Y坐标的大小关系，判断引体向上的状态：

若

且f_s＝0，则表示引体向上的初始状态；

若

且f_s＝1，则表示引体向上的过程状态；

(4b2.4)在引体向上初始状态时刻，设此时腰部的三维坐标为

脚踝的三维坐标为

设下半身初始长度为L_ds，此时下半身初始长度L_ds等于腰部和脚踝Y坐标之差的绝对值，即

并将开始标志f_s设为1；

(4b2.5)在引体向上的过程状态中，设某d时刻腰部的三维坐标为

脚踝的三维坐标为

设下半身当前长度为

下半身当前长度

为肩膀和腰部Y坐标之差的绝对值，即

(4b2.6)将下半身初始长度L_ds、下半身当前长度

和这两者的末端相连组成一个直角三角形，将d时刻下半身偏离角度设为

根据直角三角形的特性及反余弦函数，计算被测试人员的下半身偏离角度

(4b2.7)对引体向上的过程状态中的每一个时刻计算其下半身偏离角度

得到下半身偏离角度序列Y_l；

(4b2.8)对下半身偏离角度序列Y_l求标准差，得到身体下半身倾斜角度的标准差σ₂。

5.根据权利要求1所述的方法，其特征在于，所述(4b3)中计算膝盖弯曲角度的标准差σ₃，实现如下：

(4b3.1)在引体向上过程中实时采用MediaPipe三维骨骼估计算法提取视频每一帧的腰部、膝盖和脚踝关键点，设t时刻腰部的三维坐标为

膝盖的三维坐标为

脚踝的三维坐标为

(4b3.2)将腰部、膝盖和脚踝关键点相连组成三角形，计算该三角形的三条边，设t时刻腰部到膝盖的距离为

腰部到脚踝的距离为

膝盖到脚踝的距离为

计算公式如下：

(4b3.3)将t时刻膝盖弯曲角度设为

根据腰部、膝盖和脚踝关键点相连组成三角形的边长距离及三角形的余弦定理，求取膝盖弯曲角度

的余弦值：

(4b3.4)根据反余弦函数求出膝盖弯曲角度

(4b3.5)对引体向上动作过程中的每一个时刻计算其膝盖弯曲角度

得到膝盖弯曲角度序列Y_k。

(4b3.6)对膝盖弯曲角度序列Y_k求标准差，得到膝盖弯曲角度的标准差σ₃。

6.根据权利要求1所述的方法，其特征在于，所述(4c)中计算被测试人员引体向上动作下降过程中t时刻手肘关节的角度大小

实现如下：

(4c1)用MediaPipe三维骨骼估计算法提取肩膀、肘部和手腕关键点，设t时刻肩膀的三维坐标为

肘部的三维坐标为

手腕关键点的三维坐标为

(4c2)将肩膀、肘部和手腕关键点相连组成三角形，计算该三角形的三条边，设t时刻肩膀到肘部的距离为

肩膀到手腕的距离为

肘部到手腕的距离为

计算公式如下：

(4c3)设手肘弯曲角度为

根据肩膀、肘部和手腕关键点相连组成三角形的边长距离及三角形的余弦定理，求取手肘弯曲角度

的余弦值：

(4c4)根据反余弦函数求出手肘弯曲角度

Images