CN113611387B - 一种基于人体位姿估计的运动质量评估方法及终端设备 - Google Patents

Abstract

本发明公开一种基于人体位姿估计的运动质量评估方法及终端设备，该方法包括：接收视频帧，采用快速目标检测方式进行人体检测；将检测到的人体部分从视频帧原图抠出，输入到轻量型人体位姿估计网络进行人体2D关节点检测；将每一帧关节点检测结果进行滤波；将经过滤波后的关节点进行运动质量评估；记录运动量，给出运动质量总体打分。本发明能在一般具有AI加速能力的嵌入式平台进行实时运动捕捉及评估，通过快速人体检测、滤波、动作质量评估、动作自动计数等提供一个实时基于人体位姿估计的运动捕捉算法来进行技术支撑，通过动作比对并且对动作质量打分来监测运动质量，通过设计三种人体运动状态实现动作自动计数，实现高效的实时用户体验。

Description

一种基于人体位姿估计的运动质量评估方法及终端设备

技术领域

本发明涉及运动质量评估领域，特别是涉及一种基于人体位姿估计的运动质量评估方法及终端设备。

背景技术

随着经济文化的快速发展，人们对于物质、精神生活的追求也是在不断的在增强，人们开始愈发的注重对于自己身体的体育锻炼，以增强体质来应对繁重的工作压力，抑或是保持健康的体魄来生活。目前的健身活动一般都是在专门的健身房进行，个人可以聘请专业的健身教练对自己的健身工作进行专业指导，当然这也需要承担一定的经济成本，而且更加重要的是需要付出更多的时间成本。随着人工智能技术的飞速发展，如今其实完全能够通过AI技术的支撑来创造出一个AI健身教练来作为个人的私人教练，最重要的是这个能随叫随到的健身教练会更加科学的进行个人的健康管理以及指导。

考虑到人工智能模型一般是在GPU服务器上部署，目前还不能实时对人体位姿估计进行运动捕捉及运动质量评估。

发明内容

为了弥补上述现有技术的对人体位姿估计的运动质量评估不实时的不足，本发明提出一种基于人体位姿估计的运动质量评估方法及终端设备。

本发明的技术问题通过以下的技术方案予以解决：

本发明提出一种基于人体位姿估计的运动质量评估方法，其特征在于，含如下步骤：S1：接收视频帧，采用快速目标检测的方式进行人体位姿检测；S2：将检测到的人体部分从视频帧原图中抠出，输入到轻量型人体位姿估计网络中进行人体2D关节点的检测；S3：将每一帧的关节点检测结果进行滤波；S4：将经过滤波后的关节点进行运动质量评估；S5：记录运动量，给出运动质量总体打分。

在一些实施例，所述S1步骤中，采用轻量级的人体检测器初始化人体位姿检测区域，采用锚点的物体位置框预测流程为：S11：将输入视频帧图片的尺度统一到固定尺寸；S12：将固定尺寸的图像分成S×S的栅格，每个栅格产生B个不同尺度的矩形框，产生S×S×B个锚点，每个栅格预测物体中心点落在本栅格中的物体类别和物体；S13：输出锚点的修正值，过滤得到物体检测结果，训练人体检测器。

在一些实施例，所述S2步骤中，使用快速人体检测器，或使用人体位姿检测的结果反馈来进行人体位置定位；两种方式可交替应用，以提升计算效率。

在一些实施例，初始化时使用快速人体检测器定位人体位置，运行稳定后按如下规则进行两种方式的切换：

当初始化与运行过程中人体位姿检测置信度低于一定阈值时，使用快速人体检测器提供人体在视频帧中的位置区域；当稳定运行过程中人体位姿检测置信度高于阈值时，使用视频历史帧确定人体位置，释放人体高速检测器计算资源，以减少人体位置检测过程时延。

在一些实施例，所述使用人体位姿检测的结果反馈来进行人体定位的计算公式为：W＝(1+λ)(max{p_i(x)}-min{p_i(x)})，H＝(1+η)(max{p_i(y)}-min{p_i(y)})，其中i＝1，2，...N，λ，η为设计参数，用来调整位姿检测结果以更接近快速人体检测器的检测尺度，p是人体位姿检测结果中的人体关节点的位置；得到人体位置的包围框，定位出包围框左上角的坐标点(x₀，y₀)，

在一些实施例，所述S2步骤中，采用基于沙漏网络结构的深度学习网络来进行人体位姿的检测，完成2D的人体位姿估计，得到人体关节点的2D位置。

在一些实施例，所述S3步骤中，滤波器依据估计信号的速度，为采样点适应新的低通滤波器的截断频率，以追踪动态信号，除去信号抖动：

其中T_e是信号采样时间间隔，f_c是低通滤波器的截断频率，参数(β，f_cmin，T_e)是该滤波器的参数值。

在一些实施例，所述S4步骤中，在人体位姿的检测基础上，采用关节点位置和关节向量之间的角度，在实时的视频流中进行两种动作相似度的对比；将实时在线的动作视频流作为主分支，按照下采样率γ对实时视频帧采样，选取需比对的动作视频帧，记录采集时间戳及对应标准动作视频帧；保留时间窗为τ内的视频帧{f_i|i＝1，2，...t，t+1，t+2，...t+n}；按照选取的时间戳选取标准动作视频帧S_t，在时间窗为τ内的视频帧选择最相似的一帧对比，相似度使用归一化关节点位置之后两类视屏帧的欧式距离来定义：

在进行视频帧对比前对人体的位姿检测结果进行归一化操作：

其中(x₀，y₀)为选择的归一化坐标原点；归一化之后得到每个关键点的归一化坐标，计算得到关键夹角：/>

将动作的满分设定为Ω，关节点位置误差与角度误差的分值比例为μ：ν，两类误差各占的分数为：

误差评分函数表达式为：/>

归一化关节点位置误差和角度误差经过评分函数的处理，得到关节点权重Δ_i与角度权重Θ_i，得到总体分值：/>

在一些实施例，所述S4步骤中，对于经过滤波之后的关节点进行运动质量评估包括：动作计数、动作矫正、动作建议。

在一些实施例，所述S5步骤中，设计三种人体运动状态，分别为0、1、2；从状态0转变到状态1，记录一次状态的转变；从状态1转变到状态2时完成一个周期；经过0→1→2的状态转换过程，记录一次运动次数，初始化状态机到状态0，如此累计；其中状态转变使用关节点的位置坐标在前后三帧之间的差分来表示。

本发明还提出一种基于人体位姿估计的运动质量评估的终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如以上任一所述方法的步骤。

本发明与现有技术对比的有益效果包括：本发明通过快速人体检测、滤波、动作质量评估来提供一个实时的基于人体位姿估计的运动捕捉算法来进行技术支撑，通过设动作比对并且对动作质量进行打分来监测运动质量；采用轻量级的人体检测器来初始化人体位姿检测区域，能更好地兼容嵌入式AI设备，能在更加一般的具有AI加速能力的嵌入式平台上进行实时的运动捕捉以及评估，实现高效的实时用户体验。

在一些实施例，本发明与现有技术对比的有益效果包括：使用快速人体检测器或人体位姿检测的结果反馈两种方式来进行人体定位，两种方式交替应用，能提升计算效率。

在一些实施例，本发明与现有技术对比的有益效果包括：通过设计三种人体运动状态实现动作自动计数。

附图说明

图1是本发明实施例的流程示意图；

图2是本发明实施例的基于特征提取主干网络的网络结构图；

图3是本发明实施例的人体关节点以及角度选取示意图；

图4是本发明实施例的评分函数图像；

图5是本发明实施例的基于状态机的自动计数功能示意图。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本实施例中的左、右、上、下、顶、底等方位用语，仅是互为相对概念，或是以产品的正常使用状态为参考的，而不应该认为是具有限制性的。

本发明实施例的一种能够在具有AI加速功能的嵌入式设备上运行的实时运动质量评估方法，其具体的步骤如下：S1：接收视频帧，采用快速目标检测的方式进行人体位姿检测；S2：将检测到的人体部分从视频帧原图中抠出，输入到轻量型人体位姿估计网络中进行人体2D关节点的检测；S3：将每一帧的关节点检测结果进行滤波；S4：将经过滤波后的关节点进行运动质量评估；S5：记录运动量，给出运动质量总体打分。总体流程图，参考图1所示。

快速人体检测。为了实现高效的实时用户体验，同时提取人体前景，增强算法程序在初始化时人体位姿检测的稳定性，考虑采用轻量级的人体检测器作为算法程序初始化人体位姿检测区域，能够更好地兼容嵌入式AI设备。采用十分轻量级的目标检测算法YOLOv4-tiny，它在1080Ti-GPU上能达到371fps的实时检测速度，同时还能保留较高的精度，同时考虑到目标应用场景并不是十分复杂，该算法能够满足实际的设计需求。YOLOv4-tiny采用优化压缩之后的CSPDarknet53作为特征提取的主干网络，使用CSPBlock模块进行主干网络中空间信息的融合，其网络结构，参考图2所示。YOLOv4-tiny采用锚点的物体位置框预测方式。算法预测的流程为：首先将输入图片的尺度统一到固定尺寸；将固定尺寸的图像分成S×S的栅格，同时锚点生成其会为每个栅格产生B个不同尺度的矩形框，最终产生S×S×B个锚点，每个栅格只负责预测物体中心点落在本栅格中的物体类别和物体；网络输出锚点的修正值再经过NMS算法过滤就得到了最终的物体检测结果，在这里只需要训练人体检测器即可。

人体目标框裁取。为了进一步优化程序代码，减少计算开销，提高实时性，本方法设计两种方式来进行人体位置检测：第一种是使用快速人体检测器进行人体的定位；第二种是使用人体位姿检测的结果反馈来进行人体定位。两种方式在程序设计中可以交替应用，就能大大提升程序的计算效率。在计算机程序初始化时使用快速人体检测器来定位人体位置，在程序运行稳定之后按照如下规则进行两种人体位置定位方式的切换：

当算法程序初始化与程序运行过程中人体位姿检测置信度低于一定阈值时，需使用快速人体检测器提供人体在视频帧中的位置区域；算法程序稳定运行过程中，人体位姿检测置信度高于阈值时，使用视频历史帧确定人体位置，此时释放人体高速检测器计算资源，提高效率，减少人体位置检测过程时延。位姿反馈定位方法|：W＝(1+λ)(max{p_i(x)}-min{p_i(x)})，H＝(1+η)(max{p_i(y)}-min{p_i(y)})，其中t＝1，2，...N，λ，η为设计参数，可以进行调节，用来调整位姿检测结果更加接近快速人体检测器的检测尺度，p是人体位姿检测结果中的人体关节点的位置。这样就得到了人体位置的包围框，同时定位出人体位置框左上角的坐标点(x₀，y₀)，

快速人体位姿检测。为了构建一个实时的智能人体运动质量系统，本方法中需要一个轻量级的、实时的人体位姿估计算法进行人体位姿的检测，然后才能完成整体的运动质量估计。本方法中采用一个基于沙漏网络结构的深度学习网络来进行人体位姿的检测，完成2D的人体位姿估计进而得到人体关节点的2D位置。

滤波器。采用轻量级的深度网络进行人体位姿检测是单帧视频图像的检测结果，考虑到算法本身存在的检测误差问题等，在本方法中采用视频帧的时序信息进行简单的修正算法的人体位姿检测结果，采用OneEurofilter。OneEurofilter是一种自适应的一阶低通滤波器，该滤波器能够依据估计出的信号的速度为采样点适应新的低通滤波器的截断频率，可以较好的追踪动态信号，同时延迟很低，能起到除去信号“抖动”的效果：

其中T_e是信号采样时间间隔，f_c即是低通滤波器的截断频率，其中的参数(β，f_cmin，T_e)是该滤波器的参数值，需要按照经验设置。通常来讲(β，f_cmin)相对小一点更加有利于消除关节点的位置抖动效果。

动作质量评估。为了能够监测运动质量，本方法设计了一种进行动作比对，并且对动作质量进行打分的方式。在人体位姿的检测基础上，本方法中采用关节点位置和关节向量之间的角度进行动作相似度的比较，示例参考图3所示。

在实时的视频流中进行两种动作的对比时，首先要解决的问题是动作的对齐问题，由于本方法中设计的运动质量监测，是针对一般的实时人体运动视频帧和一段标准动作视频帧。相机在实时获取视频帧与同时计算时，会存大量不确定性的丢帧现象，所以在本方法中设计了动作采样以及对齐的方法。首先考虑到离线的标准动作视频帧是经过预处理的，丢帧的数量相对较少，同时标准视频帧的动作正好是运动动作的一个或者几个周期(尽量的短且连续)。所以先将实时在线的动作视频流作为主分支，按照下采样率γ对实时的视频帧采样，选取需要进行比对的动作视频帧，并且记录采集时间戳以对应标准动作视频帧；同时需要保留普通视频帧一个时间窗为τ内的视频帧{f_i|i＝1，2，...t，t+1，t+2，...t+n}，t时刻的视频帧即采样选取的视频帧。按照选取的时间戳选取标准动作视频帧S_t，只需要在{f_i|i＝1，2，...t，t+1，t+2，...t+n}中选择出“最相似”的一帧对比即可；这里的相似度使用归一化关节点位置之后两类视屏帧的欧式距离来定义，即：

上式中的关节点位置坐标都是经过归一化操作之后的坐标。

为了消除人体形态与相机视距的影响，在进行视频帧对比之前需要对人体的位姿检测结果进行归一化操作：

其中(x₀，y₀)为选择的归一化坐标原点，可以根据需要选取即可。归一化之后就可以得到每个关键点的归一化坐标，按照图3的方式进而可以计算得到关键夹角：/>

至此所有的对比参数量已经准备完成，接下来就是进行动作质量的评估，设计中将动作的满分设定为Ω，关节点位置误差与角度误差的分值比例为μ：v，此时两类误差各占的分数为：

本方法中设计的误差评分函数表达式为：

评分函数图像，参考图4所示。归一化关节点位置误差和角度误差经过评分函数的处理，得到了关节点权重Δ_i与角度权重θ_i，进而得到了总体的分值：

评分函数中有(k，α，β))三个参数，这三个参数需要根据实际的数据来进行设定，关节误差和角度误差所使用的评分函数一致，但具体的参数数值并不相同。

动作自动计数。本方法也提出一种基于状态机的自动计数功能，参考图5所示。考虑到人体运动状态的周期性，设计了三种状态，分别为0、1、2；从状态0转变到状态1，需要记录一次状态的转变；从状态1转变到状态2时完成一个周期；只有经过0→1→2的状态转换过程的，记录一次运动次数，同时初始化状态机到状态0，如此累计。其中的状态转变使用关节点的位置坐标在前后三帧之间的差分来表示。

本发明实施例的一种基于人体位姿估计运动质量评估的终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如以上任一所述方法的步骤。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (5)

1.一种基于人体位姿估计的运动质量评估方法，其特征在于，含如下步骤：

S1：接收视频帧，采用快速目标检测的方式进行人体位姿检测；

S2：将检测到的人体部分从视频帧原图中抠出，输入到轻量型人体位姿估计网络中进行人体2D关节点的检测；其中，采用基于沙漏网络结构的深度学习网络来进行人体位姿的检测，完成2D的人体位姿估计，得到人体关节点的2D位置；

S3：将每一帧的关节点检测结果进行滤波；

S4：将经过滤波后的关节点进行运动质量评估；

S5：记录运动量，给出运动质量总体打分；

所述S1步骤中，采用轻量级的人体检测器初始化人体位姿检测区域，所述人体检测器采用目标检测算法YOLOv4-tiny，采用锚点的物体位置框预测流程为：

S11：将输入视频帧图片的尺度统一到固定尺寸；

S12：将固定尺寸的图像分成S×S的栅格，每个栅格产生B个不同尺度的矩形框，产生S×S×B个锚点，每个栅格预测物体中心点落在本栅格中的物体类别和物体；

S13：输出锚点的修正值，过滤得到物体检测结果，训练轻量级的人体检测器；

所述S1步骤中，使用所述人体检测器，或使用人体位姿检测的结果反馈来进行人体位置定位；两种方式交替应用，以提升计算效率；

初始化时使用所述人体检测器定位人体位置，运行稳定后按如下规则进行两种方式的切换：

当初始化与运行过程中人体位姿检测置信度ρ_confidence低于阈值threshold时，使用所述人体检测器提供人体在视频帧中的位置区域；

当稳定运行过程中人体位姿检测置信度ρ_confidence不低于阈值threshold时，使用视频历史帧确定人体位置，释放人体检测器计算资源，以减少人体位置检测过程时延；

所述使用人体位姿检测的结果反馈来进行人体定位的计算公式为：

W＝(1+λ)(max{p_i(x)}-min{p_i(x)})，H＝(1+η)(max{p_i(y)}-min{p_i(y)})，

其中i＝1，2，...N，λ，η为设计参数，用来调整位姿检测结果以更接近所述人体检测器的检测尺度，p是人体位姿检测结果中的人体关节点的位置；

得到人体位置的包围框，定位出包围框左上角的坐标点(x₀，y₀)，

所述S4步骤中，在人体位姿的检测基础上，采用关节点位置和关节向量之间的角度，在实时的视频流中进行两种动作相似度的对比；

将实时在线的动作视频流作为主分支，按照下采样率γ对实时视频帧采样，选取需比对的动作视频帧，记录采集时间戳及对应标准动作视频帧；保留时间窗为τ内的视频帧{f_i|i＝1，2，...t，t+1，t+2，...t+n}；按照选取的时间戳选取标准动作视频帧S_t，在时间窗为τ内的视频帧选择最相似的一帧对比，相似度使用归一化关节点位置之后两类视频帧的欧式距离来定义：

在进行视频帧对比前对人体的位姿检测结果进行归一化操作：

其中(x₀，y₀)为选择的归一化坐标原点；归一化之后得到每个关节点的归一化坐标，计算得到关键夹角：/>

将动作的满分设定为Ω，关节点位置误差与角度误差的分值比例为μ∶ν，两类误差各占的分数为：

误差评分函数表达式为：/>

归一化关节点位置误差和角度误差经过评分函数的处理，得到关节点权重Δ_i与角度权重θ_i，得到总体分值：/>

2.如权利要求1所述的基于人体位姿估计的运动质量评估方法，其特征在于：所述S3步骤中，滤波器依据估计信号的速度，为采样点适应新的低通滤波器的截断频率，以追踪动态信号，除去信号抖动：

其中T_e是信号采样时间间隔，f_c是低通滤波器的截断频率，参数(β，f_cmin，T_e)是该滤波器的参数值。

3.如权利要求1所述的基于人体位姿估计的运动质量评估方法，其特征在于：所述S4步骤中，对于经过滤波之后的关节点进行运动质量评估包括：动作计数、动作矫正、动作建议。

4.如权利要求1所述的基于人体位姿估计的运动质量评估方法，其特征在于：所述S5步骤中，设计三种人体运动状态，分别为0、1、2；从状态0转变到状态1，记录一次状态的转变；从状态1转变到状态2时完成一个周期；经过0→1→2的状态转换过程，记录一次运动次数，初始化状态机到状态0，如此累计；其中状态转变使用关节点的位置坐标在前后三帧之间的差分来表示。

5.一种基于人体位姿估计的运动质量评估的终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4任一所述方法的步骤。

Images