CN114092862A

CN114092862A - 一种基于最优帧选取的动作评估方法

Info

Publication number: CN114092862A
Application number: CN202111421508.5A
Authority: CN
Inventors: 郭雨薇; 王新月; 冉琳; 徐乾锋; 仲元红; 钟代笛
Original assignee: Chongqing University
Current assignee: Chongqing University
Priority date: 2021-11-26
Filing date: 2021-11-26
Publication date: 2022-02-25

Abstract

本发明涉及计算机视觉图像处理技术领域，具体涉及一种基于最优帧选取的动作评估方法，包括：获取测试者的待测视频；对待测视频的视频帧进行骨架分析和姿态分析，生成对应的人体关键点坐标图；基于人体关键点坐标图结合相应的动作评估标准选取对应的最优视频帧；基于最优视频帧从模板视频中选取对应的最优模板视频帧；计算最优视频帧和最优模板视频帧间的相似度，并基于相似度的计算结果生成对应的动作评估结果。本发明中的动作评估方法能够降低评估成本并提升评估效率，从而能够提升动作评估的效果。

Description

一种基于最优帧选取的动作评估方法

技术领域

本发明涉及计算机视觉图像处理技术领域，具体涉及一种基于最优帧选取的动作评估方法。

背景技术

随着互联网大数据信息技术的广泛应用，基于视觉图像的人体行为侦测和识别技术的应用场景也越来越多。通过对人体的表情、体态等动作特征进行分析，位于人们在公共场合或特定活动空间的行为侦测和预判等技术应用而言，能够提供丰富的识别特征信息，是人类活动大数据信息的一个重要组成部分。

例如，在运动竞技及健康筛查等领域就需要对人体的动作进行识别，以便对动作的标准情况进行评估。动作评估需要基于动作评估标准和动作评估决策依据进行。早期常用的评估方法是评估者用眼睛观察测试者的动作，并将测试者的动作与标准动作图样进行人为比较以给予分值；同时，评估者手持摄像机进行视频提取，然后用视频截图保存作为备查。上述现有方法不光浪费人力、物力，并且人为判断时也会由于主观性的原因造成评估结果不够客观和准确。

随着计算机技术的发展，现有技术中出现了基于视频进行动作评估的方法。例如，公开号为CN108205654B的中国专利就公开了《一种基于视频的动作检测方法及装置》，其方法包括：检测待检测视频的视频帧中的肢体关键点；根据肢体关键点获得对应的行为特征；基于行为特征及全局动作评估模型，进行动作完成度检测，获得全局检测结果，其中，全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度。

上述现有方案中的动作检测方法通过视频帧中的肢体关键点获得行为特征，进而基于行为特征及全局动作评估模型进行动作评估。动作评估，一般是将待测视频中的各个视频帧与模板视频中的对应视频帧进行对比并计算相似度，进而根据相似度来判断动作完成情况。但是，对于简单动作而言，通过一个或多个视频帧的对比便能够完成动作评估，例如评估肩部灵活性时，选取双拳在背部最小距离时对应的视频帧与模板视频帧进行对比便能够实现动作评估。然而，现有动作评估方法需要将待测视频中大量的视频帧与模板视频的对应视频帧进行对比，使得动作评估时做了很多“无用”的计算，造成了计算资源的浪费，增加了动作评估的成本，降低了评估效率。因此，如何设计一种能够降低评估成本并提升评估效率的动作评估方法是亟需解决的技术问题。

发明内容

针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种基于最优帧选取的动作评估方法，以能够降低动作评估的成本并提升动作评估的效率，从而能够提升动作评估的效果。

为了解决上述技术问题，本发明采用了如下的技术方案：

一种基于最优帧选取的动作评估方法，包括以下步骤：

S1：获取测试者的待测视频；

S2：对待测视频的视频帧进行骨架分析和姿态分析，生成对应的人体关键点坐标图；

S3：基于人体关键点坐标图结合相应的动作评估标准选取对应的最优视频帧；

S4：基于最优视频帧从模板视频中选取对应的最优模板视频帧；

S5：计算最优视频帧和最优模板视频帧间的相似度，并基于相似度的计算结果生成对应的动作评估结果。

优选的，步骤S2中，生成人体关键点坐标图后，对人体关键点坐标图中的关键点进行中值滤波处理。

优选的，步骤S3中，选取最优视频帧时，基于人体关键点坐标图计算各个关键点间的角度信息、距离信息和位置关系信息，然后基于角度信息、距离信息或位置关系信息结合动作评估标准选取对应的最优视频帧。

优选的，关键点间的角度信息为逆时针旋转角；

通过如下步骤计算逆时针旋转角：

S301：获取用于计算逆时针旋转角的关键点坐标A、B、C；

S302：基于关键点坐标A、B、C计算对应的关键点向量

和关键点向量

S303：将关键点向量

沿逆时针方向旋转，直至与关键点向量

重合；然后将关键点向量

旋转至关键点向量

的角度作为对应的逆时针旋转角。

优选的，步骤S4中，选取最优模板视频帧时，基于最优视频帧的人体关键点坐标图计算对应的关键点特征值，然后从模板视频中匹配预设特征值与关键点特征值相对应的视频帧作为最优视频帧的最优模板视频帧。

优选的，关键点特征值基于关键点间的逆时针旋转角计算；

关键点特征值的计算公式如下：

其中，

上述式中：I表示最优视频帧的关键点特征值；

表示最优视频帧中第n个逆时针旋转角的方差；R表示逆时针旋转角；u_r表示最优视频帧中所有逆时针旋转角的均值；N表示最优视频帧中逆时针旋转角的个数；λ表示设置的调节参数，初始取值为0.1。

优选的，步骤S5中，计算得到相似度后，基于相似度的计算结果对应的调整调节参数λ的值。

优选的，步骤S5中，通过计算最优视频帧和最优模板视频帧间逆时针旋转角的相似度来表示最优视频帧和最优模板视频帧间的相似度。

优选的，通过如下步骤计算最优视频帧和最优模板视频帧间逆时针旋转角的相似度：

S501：基于最优视频帧中各个逆时针旋转角的方差确定各个逆时针旋转角的权重值；

S502：基于最优视频帧中各个逆时针旋转角及其权重值以及最优模板视频帧中对应的逆时针旋转角，结合如下公式计算对应的相似度：

其中，

上述式中：S表示相似度；R_k表示最优模板视频帧中的第k个逆时针旋转角；R′_K表示最优视频帧中的第k个逆时针旋转角；w_k表示最优视频帧中第k个逆时针旋转角的权重值；n表示最优视频帧和最优模板视频帧中逆时针旋转角的个数；

表示最优视频帧中第k个逆时针旋转角的方差；e表示自然常数。

优选的，步骤S501中，逆时针旋转角的方差越大，对应的权重值也越大，且各个逆时针旋转角的权重值之和为1。

本发明中的动作评估方法与现有技术相比，具有如下有益效果：

1、本发明通过选取最优视频帧和匹配最优模板视频帧计算相似度的方式，避免了在动作评估时做“无用”计算的问题，能够避免计算资源的浪费，并且这种方式极大的降低了动作评估时的计算量，从而能够降低动作评估的成本并提升动作评估的效率。

2、本发明通过骨架分析和姿态分析的方式生成人体关键点坐标图，进而结合动作评估标准选取最优视频帧并匹配最优模板视频帧，使得最优视频帧和最优模板视频帧的选取均能够与对应的动作评估标准相关联，能够保证最优视频帧和最优模板视频帧的选择准确性，从而能够保证动作评估的准确性和效果。

附图说明

为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为动作评估方法的逻辑框图；

图2为人体上十个逆时针旋转角的示意图；

图3为右大臂和右小臂间的肢体角度示意图；

图4为右大臂和右小臂间的逆时针旋转角示意图。

具体实施方式

下面通过具体实施方式进一步详细的说明：

实施例：

首先说明动作评估标准和动作评估决策依据的含义。

动作评估标准：是指动作评估时需要评估的项目。

以深蹲为例，其动作评估标准包括：1)测试杆是否在头顶正上方；2)躯干与小腿否平行或与地面是否垂直；3)下蹲时大腿是否低于水平线；4)双膝是否保持与双脚方向一致。

动作评估决策依据：是指动作评估时的打分标准。

以深蹲为例，其动作评估决策依据包括：1)测试杆在头顶正上方，躯干与小腿平行或与地面垂直，下蹲时大腿低于水平线，保持双膝与双脚方向一致，得3分；2)不能完成要求动作或脚跟下垫上木板完成要求动作，得2分；3)脚跟下垫上模板依然不能完成要求动作，得1分；4)测试过程中身体任何部位出现疼痛，得0分。

基于上述说明，本实施例中公开了一种基于最优帧选取的动作评估方法。

如图1所示，基于最优帧选取的动作评估方法，包括以下步骤：

S1：获取测试者的待测视频；

S2：对待测视频的视频帧进行骨架分析和姿态分析，生成对应的人体关键点坐标图；本实施例中通过上海交通大学提出的AlphaPose模型对待测视频的待测视频帧进行骨架分析和姿态分析。

S3：基于人体关键点坐标图结合相应的动作评估标准选取对应的最优视频帧；最优视频帧可以是一帧，也可以是多帧。

在本发明中，通过选取最优视频帧和匹配最优模板视频帧计算相似度的方式，避免了在动作评估时做“无用”计算的问题，能够避免计算资源的浪费，并且这种方式极大的降低了动作评估时的计算量，从而能够降低动作评估的成本并提升动作评估的效率。同时，本发明通过骨架分析和姿态分析的方式生成人体关键点坐标图，进而结合动作评估标准选取最优视频帧并匹配最优模板视频帧，使得最优视频帧和最优模板视频帧的选取均能够与对应的动作评估标准相关联，能够保证最优视频帧和最优模板视频帧的选择准确性，从而能够保证动作评估的准确性和效果。

具体实施过程中，生成人体关键点坐标图后，对人体关键点坐标图中的关键点进行中值滤波处理。中值滤波用于去除骨架分析和姿态分析过程中产生的抖动，以能够保证人体关键点坐标图中的关键点的清晰度。

具体实施过程中，选取最优视频帧时，基于人体关键点坐标图计算各个关键点间的角度信息、距离信息和位置关系信息，然后基于角度信息、距离信息或位置关系信息结合动作评估标准选取对应的最优视频帧。

关键点间的角度信息为逆时针旋转角；结合图2所示，逆时针旋转角的类型包括左小臂与左大臂间角度、左大臂与左肩部间角度、左大臂与躯干间角度、躯干与左大腿间角度、左大腿与左小腿间角度、右大臂与右小臂间角度、右肩部与右大臂间角度、躯干与右大臂间角度、躯干与右大腿间角度、右大腿与右小腿间角度。

通过如下步骤计算逆时针旋转角：

S301：获取用于计算逆时针旋转角的关键点坐标A、B、C；

S302：基于关键点坐标A、B、C计算对应的关键点向量

和关键点向量

S303：将关键点向量

沿逆时针方向旋转，直至与关键点向量

重合；然后将关键点向量

旋转至关键点向量

的角度作为对应的逆时针旋转角。

关键点间的距离信息通过如下公式计算：

上述式中：d(A,B)表示关键点A(x₁,x₂,…,x_n)和B(y₁,y₂,…,y_n)间的距离信息。

关键点间的位置关系信息包括斜率、差值。

对视频帧进行骨架分析和姿态分析得到的是二维姿态，人体关键点坐标图中的关键点实际上是真实姿态在二维平面的投影，这导致简单的肢体角度难以准确的表示一个动作肢体特征。如图3所示，当右臂分别弯曲于胸前和弯曲在身体一侧时，右大臂和右小臂间的肢体角度相同。在数据上来看，右臂的动作肢体特征是一样的，因为右大臂和右小臂间的肢体角度大小相同，可实际上，两个动作有很大的差异。

为此，本发明在肢体角度的基础上增加了方向信息，即旋转方向，使得生成的逆时针旋转角同时具有角度信息和方向信息(如图4所示)，进而能够解决将真实姿态投影到二维平面时出现的部分姿态信息丢失的问题，能够准确的表示动作肢体特征，从而能够保证人体动作评估的准确性。同时，本发明设计的十个逆时针旋转角能够基本覆盖人体姿态的重要动作肢体特征，从而能够进一步保证人体动作评估的效果。

具体实施过程中，选取最优模板视频帧时，基于最优视频帧的人体关键点坐标图计算对应的关键点特征值，然后从模板视频中匹配预设特征值与关键点特征值相对应的视频帧作为最优视频帧的最优模板视频帧。

具体的，关键点特征值基于关键点间的逆时针旋转角计算；

关键点特征值的计算公式如下：

其中，

上述式中：I表示最优视频帧的关键点特征值；

计算得到相似度后，基于相似度的计算结果对应的调整调节参数λ的值。

在本发明中，通过计算关键点特征值和匹配预设特征值的方式，能够准确的匹配得到最优视频帧对应的最优模板视频帧，进而能够在降低动作评估成本并提升动作评估效率的前提下，进一步保证人体动作评估的准确性。同时，本发明能够通过调整调节参数的方式不断的优化最优模板视频帧的选择策略，从而能够更好的提升最优模板视频帧的选择准确性。

具体实施过程中，通过计算最优视频帧和最优模板视频帧间逆时针旋转角的相似度来表示最优视频帧和最优模板视频帧间的相似度。

通过如下步骤计算最优视频帧和最优模板视频帧间逆时针旋转角的相似度：

S501：基于最优视频帧中各个逆时针旋转角的方差确定各个逆时针旋转角的权重值；逆时针旋转角的方差越大，对应的权重值也越大，且各个逆时针旋转角的权重值之和为1。

其中，

在本发明中，通过方差确定权重值并结合逆时针旋转角间差值的方式，能够很好的计算得到逆时针旋转角的相似度，从而能够保证动作评估的效果。同时，由于逆时针旋转角能够准确的表示动作肢体特征，使得本发明通过逆时针旋转角间的相似度能够有效的表示最优视频帧和最优模板视频帧间的相似度，从而能够更好的辅助完成人体动作评估。

具体的，生成人体关键点坐标图时，首先将对应的视频帧输入经过预先训练的姿态估计模型中，输出对应的热度图；然后通过热度图计算关键点坐标，以得到对应的人体关键点坐标图；

其中，训练姿态估计模型时，获取用于训练的姿态数据集；然后将姿态数据集中训练图上预先标注的标签转换为对应的热度图标签，得到对应的标签热度图；最后基于标签热度图训练姿态估计模型；

生成标签热度图时，首先设定标签热度图的大小(W_h×H_h)，以生成一个大小为W_h×H_h的全零矩阵，然后通过如下公式计算预先标注的标签在标签热度图上的热度分布，以生成对应的标签热度图；

计算关键点的坐标时，获取大小为W_h×H_h的热度图，并将热度图降维成1*W_h*H_h；然后通过如下公式计算热度图中对应关键点的最大热度值索引；最后通过热度图中最大热度值对应的索引结合热度图尺寸计算对应关键点的坐标，具体的，通过索引除以对应的W_h，得到的商是大小为W_h×H_h的关键点的行数x，余数是大小为W_h×H_h的关键点的列数y，即得到关键点的坐标(x,y)；

上述式中：g表示热度值；x₀、y₀表示预先标注的标签真实坐标；x、y表示标签在标签热度图中的坐标；σ表示标准差，取值为2或3；e表示自然常数；i、j分别表示一维热度图的索引；x_i、x_j表示对应索引i和j的热度值；β表示校准系数。

需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。同时，实施例中公知的具体结构及特性等常识在此未作过多描述。最后，本发明要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。