CN109934111A - 一种基于关键点的健身姿态估计方法及系统 - Google Patents

Abstract

本发明公开了一种基于关键点的健身姿态估计方法及系统，该健身姿态估计方法包括以下步骤：S1：采集健身视频：采集包含单个人体健身时的视频图像；S2：人体关键点定位：根据步骤S1采集的视频图像，定位人体中的多个关键点的坐标，获取2D关键点信息，并将2D关键点信息转换为3D关键点信息；S3：健身姿态估计：对步骤S1采集的视频图像进行特征提取，并将步骤S2获取的2D关键点信息和3D关键点信息转化为热图，再将提取的特征和热图进行融合，形成新的特征，并将新的特征输入到分类器，得到判断健身姿态是否标准的结果。本发明提出的基于关键点的健身姿态估计方法及系统，能够节省大量的人力和花费，实现事半功倍的效果。

Description

一种基于关键点的健身姿态估计方法及系统

技术领域

本发明涉及生物识别领域，尤其涉及一种基于关键点的健身姿态估计方法及系统。

背景技术

传统的健身姿态次数统计需要佩戴可穿戴设备或者基于跑步机等外部设备进行统计，健身姿态动作是否标准需要依靠专业的健身教练或者外部人员来进行指导。这种依靠外部设备或者人力的方法，需要耗费大量的专业设备或者额外的具有专业知识的人力资源进行判断。在现在健身人员日益增多，健身需求日益增大的环境下，专业的设备和健身教练的耗资、耗时都比较高。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为解决上述技术问题，本发明提出一种基于关键点的健身姿态估计方法及系统，能够节省大量的人力和花费，实现事半功倍的效果。

为了达到上述目的，本发明采用以下技术方案：

本发明公开了一种基于关键点的健身姿态估计方法，包括以下步骤：

S1：采集健身视频：采集包含单个人体健身时的视频图像；

S2：人体关键点定位：根据步骤S1采集的视频图像，定位人体中的多个关键点的坐标，获取2D关键点信息，并将2D关键点信息转换为3D关键点信息；

S3：健身姿态估计：对步骤S1采集的视频图像进行特征提取，并将步骤S2获取的2D关键点信息和3D关键点信息转化为热图，再将提取的特征和热图进行融合，形成新的特征，并将新的特征输入到分类器，得到判断健身姿态是否标准的结果。

优选地，步骤S2中获取2D关键点信息具体包括：将步骤S1采集的视频图像经过归一化处理后，将其中的每帧图像分别输入到沙漏神经网络模型，定位人体中的多个关键点的坐标以获取2D关键点信息；进一步地，多个关键点包括头顶、头部、脖子、左肩、右肩、左肘、右肘、左腕、右腕、胸腔、髋部、左髋、右髋、左膝、右膝、左踝和右踝。

优选地，步骤S2中将2D关键点信息转换为3D关键点信息具体包括：将2D关键点信息输入到全连接卷积神经网络模型，得到左右双视角的2D关键点的坐标；再通过全连接卷积神经网络模型将得到的左右双视角的2D关键点的坐标直接回归得到3D关键点信息。

优选地，步骤S3具体包括：采用卷积神经网络对步骤S1采集的视频图像进行特征提取，将步骤S2获取的2D关键点信息和3D关键点信息通过高斯模糊处理得到热图。

优选地，其中将步骤S2获取的2D关键点信息和3D关键点信息通过高斯模糊处理得到热图具体包括：将步骤S2获取的2D关键点信息和3D关键点信息进行单位统一，将单位统一后的2D关键点信息通过高斯模糊的方法，对2D关键点合成N个通道的热图特征，3D关键点在深度方向合成N个通道的灰度图，得到的热图包括N个通道的热图特征和N个通道的灰度图，其中N为步骤S2中定位人体的关键点的数量。

优选地，所述健身姿态估计方法还包括：S4：健身动作频率统计：根据步骤S2获取的2D关键点信息和3D关键点信息，获取视频图像中人体关键点位置的变化规律，通过关键点的轨迹变化来进行频率统计。

优选地，步骤S4具体包括：

S41：选择步骤S2获取的2D关键点信息和3D关键点信息中与健身动作相关的至少一个兴趣关键点的2D关键点信息和3D关键点信息；

S42：截取视频图像中包含完整的健身动作周期的多帧图像，对这些图像的所述兴趣关键点进行统计，统计出在同一运动方向上的最大距离的位置和最小距离的位置，取最大距离的位置和最小距离的位置的连线的中点作为参考点，在该参考点处作垂直于运动方向的垂线作为基准线；

S43：统计视频图像中运动人体的所述兴趣关键点在运动方向上跨越所述基准线的次数，以进行频率统计。

本发明还公开了一种基于关键点的健身姿态估计系统，包括：

采集健身视频模块，用于采集包含单个人体健身时的视频图像；

人体关键点定位模块，用于根据所述采集健身视频模块采集的视频图像，定位人体中的多个关键点的坐标，获取2D关键点信息，并将2D关键点信息转换为3D关键点信息；

健身姿态估计模块，用于对所述采集健身视频模块采集的视频图像进行特征提取，并将所述人体关键点定位模块获取的2D关键点信息和3D关键点信息转化为热图，再将提取的特征和热图进行融合，形成新的特征，并将新的特征输入到分类器，得到判断健身姿态是否标准的结果。

优选地，所述人体关键点定位模块包括2D关键点检测模块和2D转3D网络模块，其中所述2D关键点检测模块用于将步骤S1采集的视频图像经过归一化处理后，将其中的每帧图像分别输入到沙漏神经网络模型，定位人体中的多个关键点的坐标以获取2D关键点信息；所述2D转3D网络模块用于将2D关键点信息输入到全连接卷积神经网络模型，得到左右双视角的2D关键点的坐标；再通过全连接卷积神经网络模型将得到的左右双视角的2D关键点的坐标直接回归得到3D关键点信息。

优选地，所述健身姿态估计系统还包括：

健身动作频率统计模块，用于根据所述人体关键点定位模块获取的2D关键点信息和3D关键点信息，获取视频图像中人体关键点位置的变化规律，通过关键点的轨迹变化来进行频率统计。

与现有技术相比，本发明的有益效果在于：本发明公开的基于关键点的健身姿态估计方法及系统，通过采集人体健身时的视频图像，对健身视频图像获取准确的人体2D和3D关键点信息，并将该2D和3D关键点信息转化为热图，结合对视频图像提取的特征，融合后输入到分类器，实现对健身姿态的是否标准的判断，通过该方法和系统可以可以摆脱高昂设备和人体穿戴设备的约束，不需要每个人都拥有穿戴设备，只需提供健身视频即可，从而能够节省大量的人力和花费，实现事半功倍的效果。

在进一步的方案中，通过2D和3D关键点信息获取视频图像中人体关键点的变化规律，通过关键点的轨迹变化能够实现对健身动作的频率统计，使用户在摆脱穿戴设备的情况下仍然能够实现对健身动作的频率统计。

附图说明

图1是本发明优选实施例的健身姿态估计方法的流程示意图；

图2是本发明优选实施例的健身姿态估计步骤的具体示意图；

图3是本发明优选实施例的健身动作频率统计的示意图；

图4是本发明优选实施例的人体关键点定位模块的示意图；

图5是图4中的2D转3D网络模块的示意图。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。

如图1所示，本发明优选实施例公开了一种健身姿态估计方法，包括以下步骤：

S1：采集健身视频：采集包含单个人体健身时的视频图像；

进一步，采集的视频图像是指在室内场景(例如健身房)采集的包含完整的健身人体进行健身时的视频图像，可以是多个角度的视频图像。突出人体个体，方便目标准确定位。其中采集健身视频可以使用摄像机、手机等可以录制视频的设备。

S2：人体关键点定位：根据步骤S1采集的视频图像，定位人体中的多个关键点的坐标，获取2D关键点信息，并将2D关键点信息转换为3D关键点信息；

进一步，将步骤S1采集的视频图像经过归一化处理后，将其中的每帧图像分别输入到沙漏神经网络模型，定位人体中的多个关键点的坐标以获取2D关键点信息；其中，多个关键点包括头顶、头部、脖子、左肩、右肩、左肘、右肘、左腕、右腕、胸腔、髋部、左髋、右髋、左膝、右膝、左踝和右踝，共17个关键点。

其中，将2D关键点信息转换为3D关键点信息具体包括：

输入人体的单视角2D像素坐标点，通过全连接卷积神经网络回归得到左右双视角的2D像素坐标点，保证在3D关键点预测时的深度准确性；

根据得到的左右双视角的2D像素坐标点，通过全连接卷积神经网络直接回归人体空间3D关键点；

对连续的健身视频中的人体都进行这样的步骤，从而得到视频帧中的每个人体的空间3D人体关键点。

其中，2D关键点信息用于健身动作频率统计，2D和3D关键点信息将用于健身姿态评估。

在本实施例中，采用沙漏神经网络模型(也即轻量级的网络模块)来完成对健身视频中的人体的2D和3D关键点的正确提取，保证网络模型能够满足视频图像的实时检测。

S3：健身姿态估计：对步骤S1采集的视频图像进行特征提取，并将步骤S2获取的2D关键点信息和3D关键点信息转化为热图，再将提取的特征和热图进行融合，形成新的特征，并将新的特征输入到分类器，得到判断健身姿态是否标准的结果。

具体地，如图2所示，步骤S3具体包括：

S31：输入健身人体姿态视频图像序列和经过人体关键点定位的关键点数据，人体关键点数据包括人体的2D和3D关键点数据；

S32：将该网络模型分为两个支流，第一个支流使用较深的网络模型对视频图像进行特征提取；第二个支流为对获取的2D和3D关键点数据的关键点位置坐标，转化为3D的热图形式；然后将对原始图像提取的特征和热图特征进行融合，形成新的特征图，作为判断健身姿态是否标准的判断依据；

进一步，使用卷积神经网络对多帧视频图像进行特征提取，对由步骤S2获得的2D和3D关键点信息进行热图的合成，其中热图的合成具体包括将3D和2D坐标进行单位统一，因为2D关键点坐标的单位是像素点，3D关键点的坐标是毫米，两者需要通过单位换算进行统一，而后将统一过后的2D点通过高斯模糊的方法，对人体2D关键点合成17个通道的热图特征，3D关键点只需要把深度方向合成17个通道的灰度图；将这34个通道和对视频提取的特征图像融合，作为健身姿态的判别特征。

S33：将融合的新的特征图加入到分类器，对输入的健身姿态视频图像进行判断健身动作是否标准。

S4：健身动作频率统计：根据步骤S2获取的2D关键点信息和3D关键点信息，获取视频图像中人体关键点位置的变化规律，通过关键点的轨迹变化来进行频率统计，保证精度准确。

进一步地，步骤S4是基于步骤S2获取的关键点信息，通过统计不同健身动作的关键点的变化规律，统计得到该运动人体的次数频率，从而可以对不同的健身动作进行较为准确的人体动作频率的统计，可以使用多个健身动作而不需要根据不同的动作进行调整。具体包括：

S41：选择步骤S2获取的2D关键点信息和3D关键点信息中与健身动作相关的至少一个兴趣关键点的2D关键点信息和3D关键点信息，只分析和健身动作相关的兴趣关键点，例如跑步可以只关注脚踝处的关键点；

S42：截取视频图像中包含完整的健身动作周期的多帧图像作为网络模块的输入，对这些图像的所述兴趣关键点进行统计，如图3所示，统计出在同一运动方向上的最大距离的位置和最小距离的位置，取最大距离的位置和最小距离的位置的连线的中点作为参考点，在该参考点处作垂直于运动方向的垂线作为基准线；

S43：在视频图像中，运动人体的兴趣关键点在运动方向上每跨越一次基准线，则认为该人体动作重复了一次；通过该方法来统计视频图像中运动人体的所述兴趣关键点在运动方向上跨越所述基准线的次数以进行频率统计。

本发明的另一优选实施例还公开了一种种健身姿态估计系统，包括采集健身视频模块、人体关键点定位模块、健身姿态估计模块和健身动作次数统计模块，其中各个模块的功能如下。

采集健身视频模块用于采集包含单个人体健身时的视频图像；具体地，采集的视频图像是指在室内(例如健身房)采集的包含完整的健身人体进行健身时的视频图像，可以是多个角度的视频图像。其中使用室内采集的健身视频可以突出人体个体，方便目标准确定位。其中采集健身视频模块可以是摄像机、手机等可以录制视频的设备。

如图4所示，人体关键点定位模块包括2D关键点检测模块10和2D转3D网络模块20，其中人体关键点定位模块用于将采集健身视频模采集的健身视频图像中的每帧图像输入到2D关键点检测模块10的沙漏神经网络模型内，定位人体中的多个关键点的坐标以获取2D关键点信息，其中多个关键点包括头顶、头部、脖子、左肩、右肩、左肘、右肘、左腕、右腕、胸腔、髋部、左髋、右髋、左膝、右膝、左踝和右踝共17个关键点；然后将2D关键点信息输入到2D转3D网络模块20，其中2D转3D网络模块20的示意图如图5所示，输入人体的左视图2D人体关键点坐标，通过由1024个神经元31、修改线性单元31、随机挑选神经元33和BN加速层34构成的全连接神经网络30回归得到左右双视角的2D人体关键点坐标，保证在3D关键点预测时的深度准确性，然后，根据得到的左右双视角的2D人体关键点坐标，通过和前述步骤相同的全连接神经网络30直接回归得到人体空间3D关键点信息，从而获取人体的2D关键点信息和3D关键点信息。

健身姿态估计模块用于对采集健身视频模块采集的视频图像进行特征提取，并将人体关键点定位模块获取的2D关键点信息和3D关键点信息转化为热图，再将提取的特征和热图进行融合，形成新的特征，并将新的特征输入到分类器，得到判断健身姿态是否标准的结果。具体地，健身姿态估计模块由两个支流的神经网络组成，第一个支流经过较深的网络模型(例如卷积神经网络)对视频图像进行特征提取，第二个支流对2D关键点信息和3D关键点信息进行高斯模糊处理，转化为热图；然后将热图和提取的特征相融合，共同输入到分类器中进行对健身视频中的健身动作是否标准的分类预测，完成对健身人体姿态的评估。其中该健身姿态估计模块基于神经网络模型进行预测，实现基于人体关键点的健身姿态估计。

健身动作频率统计模块用于根据所述人体关键点定位模块获取的2D关键点信息和3D关键点信息，获取视频图像中人体关键点位置的变化规律，通过关键点的轨迹变化来进行次数统计。具体地，选取与健身动作相关的兴趣关键点，统计包含一个完整运动周期内，该兴趣关键点的移动范围，如图3中运动方向最大距离的线到运动方向最小距离的线之间，取两条线的中线为基准线，每当兴趣关键点由一个方向跨过基准线，则健身动作重复一次；通过这种初始化设定运动范围和设置基准线，利用运动知识统计运动次数，完成对健身动作的频率统计。其中该健身动作频率统计模块基于关键点的几何信息进行判断，实现基于人体关键点的频率统计方法。

通过上述优选实施例的健身姿态估计方法及系统，实现了基于关键点的健身姿态估计以及健身动作的频率统计。

本发明优选实施例的健身姿态估计方法及系统，采用自上而下的方法，通过首先训练的沙漏模型，对健身场景中的人体进行2D关键点检测，然后通过2D转3D映射网络，获取3D关键点信息；再通过分析2D关键点的运动周期，获取该视频图像中的健身动作的周期，完成对健身动作的计次；并可根据输入的原始健身视频图像和该图像获取的人体2D和3D关键点信息，通过一个深层卷积神经网络对原始图像提取特征，然后将提取的特征与2D和3D关键点通过高斯模糊处理的热图进行融合，形成新的特征，再接上一个分类器，对该视频的图像进行健身姿态是否标准的判断。

人体姿态检测是一种新兴的生物特征识别，受到越来越多人的关注和研究。文中提出的健身姿态估计和频率统计主要指在特定的健身房或室内场景中，通过对人体关键点的估计，完成健身动作的次数统计以及健身姿态是否标准的判断。基于关键点的人体健身次数的统计和健身姿态评估，可以摆脱高昂设备和人体穿戴设备的约束，不需要每个人都拥有穿戴设备，而是大家只需要提供健身视频即可。而且健身视频容易获取，比如健身房的监控视频。健身动作姿态的分析，可以有助于个人养成良好的健身习惯。基于图像的健身姿态分析，不需要昂贵的私人教练，只需要提供健身视频即可。

深度学习在人脸、指纹、掌纹等各个生物特征识别领域都表现不俗；包括人体姿态检测、行为识别问题上又能够取得不错的效果。本发明将深度学习与健身姿态分析相结合，并通过视频输入进行处理，为分析人体姿态和运动信息提供一种可行的方案。

健身姿态估计和频率统计方法主要包括两个方面，第一个就是对健身动作频率的统计，可以让健身者有效了解目前的进度和调整自己的节奏。第二个就是包含对健身动作标准与否的判断，标准的健身动作能够提高健身效率同时能够保护自己避免损伤。本发明提出的基于人体关键点的健身姿态估计方法，能够有效解决上述两个方面的问题。利用人体关键点定位，结合传统方法和深度学习的方法，能够实现自动检测健身运动的次数和健身姿态是否标准的判断。

如上所述，基于关键点的健身姿态估计方法，能够节省大量的人力和花费，能够实现事半功倍的效果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于关键点的健身姿态估计方法，其特征在于，包括以下步骤：

S1：采集健身视频：采集包含单个人体健身时的视频图像；

S2：人体关键点定位：根据步骤S1采集的视频图像，定位人体中的多个关键点的坐标，获取2D关键点信息，并将2D关键点信息转换为3D关键点信息；

S3：健身姿态估计：对步骤S1采集的视频图像进行特征提取，并将步骤S2获取的2D关键点信息和3D关键点信息转化为热图，再将提取的特征和热图进行融合，形成新的特征，并将新的特征输入到分类器，得到判断健身姿态是否标准的结果。

2.根据权利要求1所述的健身姿态估计方法，其特征在于，步骤S2中获取2D关键点信息具体包括：将步骤S1采集的视频图像经过归一化处理后，将其中的每帧图像分别输入到沙漏神经网络模型，定位人体中的多个关键点的坐标以获取2D关键点信息；进一步地，多个关键点包括头顶、头部、脖子、左肩、右肩、左肘、右肘、左腕、右腕、胸腔、髋部、左髋、右髋、左膝、右膝、左踝和右踝。

3.根据权利要求1所述的健身姿态估计方法，其特征在于，步骤S2中将2D关键点信息转换为3D关键点信息具体包括：将2D关键点信息输入到全连接卷积神经网络模型，得到左右双视角的2D关键点的坐标；再通过全连接卷积神经网络模型将得到的左右双视角的2D关键点的坐标直接回归得到3D关键点信息。

4.根据权利要求1所述的健身姿态估计方法，其特征在于，步骤S3具体包括：采用卷积神经网络对步骤S1采集的视频图像进行特征提取，将步骤S2获取的2D关键点信息和3D关键点信息通过高斯模糊处理得到热图。

5.根据权利要求4所述的健身姿态估计方法，其特征在于，其中将步骤S2获取的2D关键点信息和3D关键点信息通过高斯模糊处理得到热图具体包括：将步骤S2获取的2D关键点信息和3D关键点信息进行单位统一，将单位统一后的2D关键点信息通过高斯模糊的方法，对2D关键点合成N个通道的热图特征，3D关键点在深度方向合成N个通道的灰度图，得到的热图包括N个通道的热图特征和N个通道的灰度图，其中N为步骤S2中定位人体的关键点的数量。

6.根据权利要求1至5任一项所述的健身姿态估计方法，其特征在于，还包括：

S4：健身动作频率统计：根据步骤S2获取的2D关键点信息和3D关键点信息，获取视频图像中人体关键点位置的变化规律，通过关键点的轨迹变化来进行频率统计。

7.根据权利要求6所述的健身姿态估计方法，其特征在于，步骤S4具体包括：

S41：选择步骤S2获取的2D关键点信息和3D关键点信息中与健身动作相关的至少一个兴趣关键点的2D关键点信息和3D关键点信息；

S42：截取视频图像中包含完整的健身动作周期的多帧图像，对这些图像的所述兴趣关键点进行统计，统计出在同一运动方向上的最大距离的位置和最小距离的位置，取最大距离的位置和最小距离的位置的连线的中点作为参考点，在该参考点处作垂直于运动方向的垂线作为基准线；

S43：统计视频图像中运动人体的所述兴趣关键点在运动方向上跨越所述基准线的次数，以进行频率统计。

8.一种基于关键点的健身姿态估计系统，其特征在于，包括：

采集健身视频模块，用于采集包含单个人体健身时的视频图像；

人体关键点定位模块，用于根据所述采集健身视频模块采集的视频图像，定位人体中的多个关键点的坐标，获取2D关键点信息，并将2D关键点信息转换为3D关键点信息；

健身姿态估计模块，用于对所述采集健身视频模块采集的视频图像进行特征提取，并将所述人体关键点定位模块获取的2D关键点信息和3D关键点信息转化为热图，再将提取的特征和热图进行融合，形成新的特征，并将新的特征输入到分类器，得到判断健身姿态是否标准的结果。

9.根据权利要求8所述的健身姿态估计系统，其特征在于，所述人体关键点定位模块包括2D关键点检测模块和2D转3D网络模块，其中所述2D关键点检测模块用于将步骤S1采集的视频图像经过归一化处理后，将其中的每帧图像分别输入到沙漏神经网络模型，定位人体中的多个关键点的坐标以获取2D关键点信息；所述2D转3D网络模块用于将2D关键点信息输入到全连接卷积神经网络模型，得到左右双视角的2D关键点的坐标；再通过全连接卷积神经网络模型将得到的左右双视角的2D关键点的坐标直接回归得到3D关键点信息。

10.根据权利要求8或9所述的健身姿态估计系统，其特征在于，还包括：

健身动作频率统计模块，用于根据所述人体关键点定位模块获取的2D关键点信息和3D关键点信息，获取视频图像中人体关键点位置的变化规律，通过关键点的轨迹变化来进行频率统计。