CN114191804A - 一种基于深度学习的深蹲姿势标准与否的判别方法和装置 - Google Patents

Abstract

本发明公开了一种基于深度学习的深蹲姿势标准与否的判别方法和装置，该方法包括：从视频中抽取视频帧对应的区域图像；对区域图像中的目标区域进行人体识别；基于人体姿态估计模型，获取身体关键点；基于身体关键点，获取大小腿夹角；若双侧的大小腿夹角均在70°‑80°的预设角度区间内，且双侧的膝盖均不超出脚尖，同时双侧的手臂均为水平伸直状态，则判定深蹲姿势标准。通过对大小腿夹角的大小、膝盖与脚尖的关系、手臂的状态进行判断，均符合要求时判定为标准，应用在多人健身的健身房中，教练员不再需要对学员进行逐一判断，可直接针对不达标的学员进行矫正，有效提高监督指导行为的效率，个人居家使用时也可自行判断姿势是否标准。

Description

一种基于深度学习的深蹲姿势标准与否的判别方法和装置

技术领域

本发明涉及健身姿势检测技术领域，具体涉及一种基于深度学习的深蹲姿势标准与否的判别方法和装置。

背景技术

随着对身体健康重视程度的提高，越来越多的人通过健身来提高自己的身健康程度。由于时间、经济条件的限制，很多人选择居家健身，例如深蹲、平板支撑等不需要或需要很少器材的健身形式，但是由于居家健身缺乏教练的实时指导、评判，导致居家健身不能达到很好的健身效果，甚至容易出现由于姿势不规范而导致身体受伤的情况，例如肌肉劳损、拉伤，甚至是骨骼错位等。而在健身房中，传统的健身指导方式是在教练的监督和指导下进行矫正，一般是一对一监督指导(即便是一教练对多学员，在指导时也是一个个地对姿势进行检查和矫正)，从而判断其姿势是否标准到位，并对姿势不到位的进行矫正，存在效率低下的问题。亟需一种能够自行判断健身姿势是否标准的方法或装置，以提高健身房中监督指导行为的效率，也可以为居家健身者判断其健身姿势是否标准到位。

发明内容

为此，本发明提供一种基于深度学习的深蹲姿势标准与否的判别方法和装置，以解决现有深蹲训练时，教练判别姿势是否标准的效率低、个人无法自行判别姿势是否标准的技术问题。

为了实现上述目的，本发明提供如下技术方案：

本发明第一方面提供了一种基于深度学习的深蹲姿势标准与否的判别方法，包括：

从视频中抽取视频帧对应的区域图像；

对所述区域图像中的目标区域进行人体识别；若有人则进行下一步，若无人则对下一个区域图像的目标区域进行人体识别；

基于人体姿态估计模型，获取目标区域内人员的身体关键点；

基于所述身体关键点，获取大小腿夹角；

判断深蹲姿势是否标准，若双侧的大小腿夹角均在70°-80°的预设角度区间内，且双侧的膝盖均不超出脚尖，同时双侧的手臂均为水平伸直状态，则判定深蹲姿势标准。

进一步地，获取大小腿夹角的方法包括：

获取某侧臀关键点至同侧膝关键点的长度d1；

获取上述膝关键点至同侧踝关键点的长度d2；

获取上述臀关键点至上述踝关键点的长度d3；

基于d1、d2和d3构建三角模型，d1和d2的夹角为大小腿夹角，根据余弦定理和反余弦函数，计算该侧大小腿夹角。

进一步地，获取d1、d2和d3的方法包括：以某侧臀关键点为原点建立直角坐标系，将朝向身体前方的方向设为X轴正向，将朝下的方向设为Y轴正向，获得某侧臀关键点以及同侧膝关键点、踝关键点的坐标，基于所述坐标根据勾股定理计算得d1、d2和d3。

进一步地，判断膝盖不超出脚尖的方法包括：比较某侧膝关键点的x坐标与同侧脚趾关键点的x坐标，若该侧膝关键点的x坐标不大于同侧脚趾关键点的x坐标，则判定膝盖不超出脚尖。

进一步地，判断手臂为水平伸直状态的方法包括：比较某侧肩关键点以及同侧肘关键点、腕关键点、小指关键点的y坐标，若该侧肩关键点以及同侧肘关键点、腕关键点、小指关键点的y坐标均相等，则判定手臂为水平伸直状态。

本发明第二方面提供了一种基于深度学习的深蹲姿势标准与否的判别装置，包括：

图像抽取模块，用于从视频中抽取视频帧对应的区域图像；

人体识别模块，用于对所述区域图像中的目标区域进行人体识别；若有人则进行下一步，若无人则对下一个区域图像的目标区域进行人体识别；

人体姿态估计模块，用于获取目标区域内人员的身体关键点；

关键点处理模块，用于基于某一侧的臀关键点为原点建立直角坐标系，其中，将朝向身体前方的方向设为X轴正向，将朝下的方向设为Y轴正向，至少获取臀关键点、膝关键点、踝关键点、脚趾关键点、肩关键点、肘关键点、腕关键点以及小指关键点的坐标；

计算模块，用于基于同侧的臀关键点、膝关键点、踝关键点构建三角模型，根据勾股定理，基于同侧臀关键点、膝关键点、踝关键点的坐标，计算同侧臀关键点至同侧膝关键点的长度d1、同侧膝关键点至同侧踝关键点的长度d2、同侧臀关键点至同侧踝关键点的长度d3；d1和d2的夹角为大小腿夹角，然后根据余弦定理和反余弦函数，基于d1、d2和d3，计算该侧大小腿夹角；

判定模块，用于判断深蹲姿势是否标准，若双侧的大小腿夹角均在70°-80°的预设角度区间内，且双侧的膝盖均不超出脚尖，同时双侧的手臂均为水平伸直状态，则判定深蹲姿势标准；其中，膝盖不超出脚尖的判定标准为同侧膝关键点的x坐标不大于同侧脚趾关键点的x坐标，手臂为水平伸直状态的判定标准为同侧肩关键点、肘关键点、腕关键点、小指关键点的y坐标均相等。

本发明的第三方面提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明第一方面所述的基于深度学习的深蹲姿势标准与否的判别方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面所述的基于深度学习的深蹲姿势标准与否的判别方法。

本发明具有如下优点：

本发明提供的基于深度学习的深蹲姿势标准与否的判别方法和装置，基于人体姿态估计模型，获取目标区域内人员的身体关键点，并基于身体关键点判断大小腿夹角是否达标、膝盖是否不超出脚尖、手臂是否水平伸直，均符合要求时判定为标准，否则为不标准；当应用于多人健身的健身房中，教练员不再需要对学员进行逐一判断，可直接针对不达标的学员进行矫正，有效提高监督指导行为的效率；当应用于居家健身时，可为健身者判断其姿势是否标准到位。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容所能涵盖的范围内。

图1为本发明实施例1提供的一种基于深度学习的深蹲姿势标准与否的基础判别方法的流程图；

图2为本发明实施例2提供的基于深度学习的深蹲姿势标准与否的具体判别方法的流程图；

图3为本发明实施例2中基于人体姿态估计模型获取的身体关键点的示意图；

图4为本发明实施例2中在以左侧臀关键点为原点、以朝向身体前方的方向为X轴正向、以朝下的方向为Y轴正向而建立的直角坐标系下，对左侧大小腿夹角进行计算而采用的三角模型示意图；

图5为本发明实施例3提供的基于深度学习的深蹲姿势标准与否的判别装置的示意图；

图6为本发明实施例4的可实现基于深度学习的深蹲姿势标准与否的判别方法的计算机设备的示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

如图1所示，实施例1提供了一种基于深度学习的深蹲姿势标准与否的基础的判别方法，包括以下步骤。

S101，从视频中抽取视频帧对应的区域图像。

S102，对所述区域图像中的目标区域进行人体识别。

S103，基于人体姿态估计模型，获取目标区域内人员的身体关键点。

S104，基于所述身体关键点，获取大小腿夹角。

S105，判断深蹲姿势是否标准，若双侧的大小腿夹角均在70°-80°的预设角度区间内，且双侧的膝盖均不超出脚尖，同时双侧的手臂均为水平伸直状态，则判定深蹲姿势标准。

上述的方法可以应用于台式计算机、笔记本电脑、智能手机、平板电脑以及基于该方法而特制的设备等电子设备中，从而实现姿势标准与否的自动判别，为教练员或居家健身者提供帮助。

如图2所示，实施例2提供了一种基于深度学习的深蹲姿势标准与否的具体的判别方法，包括以下步骤。

S201，从视频中抽取视频帧对应的区域图像。电子设备从获取的监控视频中抽取视频帧对应的区域图像。其中，监控视频是采用监控设备对监控区域进行视频拍摄所得到的。

S202，对所述区域图像中的目标区域进行人体识别。抽取的区域图像在人体姿态估计模型中进行识别，若没有识别出目标区域内有人员，则换另一个抽取的区域图像进行识别；当识别到有人员在目标区域内时，进行下一步。

S203，基于人体姿态估计模型，获取目标区域内每个人员的身体关键点，也称为人体姿态点或骨骼关键点。如图3所示，该模型下的身体关键点有33个，分别为：0-鼻子，1-左眼内，2-左眼，3-左眼外，4-右眼内，5-右眼，6-右眼外，7-左耳，8-右耳，9-左嘴角，10-右嘴角，11-左肩，12-右肩，13-左肘，14-右肘，15-左腕，16-右腕，17-左小指，18-右小指，19-左食指，20-右食指，21-左拇指，22-右拇指，23-左臀，24-右臀，25-左膝，26-右膝，27-左脚踝，28-右脚踝，29-左脚跟，30-右脚跟，31-左脚趾，32-右脚趾。获得身体关键点后，以某一侧的臀关键点为原点、以朝向身体前方的方向为X轴正向、以朝下的方向为Y轴正向，建立直角坐标系，获得各身体关键点的坐标。人体姿态估计模型可以是BlazePose模型，电子设备将待检测图片输入至BlazePose模型，得到的输出结果为bpts＝{bpt1，bpt2，…，bptN}，其中bpts表示待检测图片中所有人像的人体姿态估计点；N表示待检测图片中人像的个数；bpt1，bpt2，…，bptN分别为每个人像对应的一组人体姿态点，即bpt1表示待检测图片中第一个人像的一组人体姿态点，bpt2表示待检测图片中第二个人像的一组姿态点，等等。

S204，基于所述身体关键点，获取大小腿夹角。根据勾股定理，基于某一侧的臀关键点以及同侧膝关键点、踝关键点的坐标，计算得出该侧臀关键点至同侧膝关键点的长度d1、同侧膝关键点至同侧踝关键点的长度d2、同侧臀关键点至上述踝关键点的长度d3；根据余弦定理和反余弦函数，基于d1、d2和d3，计算该侧大小腿夹角。以左边肢体关键点为例，获取第11点左肩、第13点左肘、第15点左腕、第17点左小手指、第23点左臀部、第25点左膝盖、第27点左脚踝、第31点左脚趾在图像中的坐标信息，分别记作bpt11(x11，y11)，bpt13(x13，y13)，bpt15(x15，y15)，bpt17(x17，y17)，bpt23(x23，y23)，bpt25(x25，y25)，bpt27(x27，y27)，bpt31(x31，y31)。

参照图4，臀部与膝盖之间的距离d1，膝盖与脚踝之间的距离d2，臀部与脚踝之间的距离d3，大小腿之间的夹角为

则：

则

则

S205，判定深蹲姿势是否标准。若双侧的大小腿夹角均在70°-80°的预设角度区间内，且双侧的膝盖均不超出脚尖，同时双侧的手臂均为水平伸直状态，则判定深蹲姿势标准；否则为不标准。其中，以左边肢体关键点为例，膝盖不超出脚尖的判定标准为：某侧膝关键点的x坐标不大于同侧脚趾关键点的x坐标；手臂为水平伸直状态的判定标准为：某侧肩关键点以及同侧肘关键点、腕关键点、小指关键点的y坐标均相等。即：

x25<x31，y11＝y13＝15＝y17，则判定该侧深蹲姿势标准。

S206，输出判定结果。判定深蹲姿势为标准姿势的相应人员在显示屏中被列为标准，否则列为不标准。其中，列为标准和不标准是两种不同的显示形态，例如列为标准的具有绿色相框，不标准的为红色相框；再例如列为标准的头像上方具有对号标识，不标准的头像上方具有叉号标识。需要指出的是，判定结果输出并非只能依赖显示屏，在单人使用的情况下，也可以采用扬声器输出结果。

在健身房中，对区域图像中存在多个健身人员同时进行判定，教练员不必对每个健身人员的姿势是否到位进行检查，直接对被该方法判定出的不标准的健身人员进行矫正即可，从而提高监督指导行为的效率。在居家健身时，健身人员可通过实施上述方法的手机、平板等电子设备的反馈，即可判定深蹲姿势是否达标，在家也可以达到很好的健身效果。

如图5所示，实施例3提供了一种基于深度学习的深蹲姿势标准与否的判别装置，主要由以下部分组成。

图像抽取模块501，用于从视频中抽取视频帧对应的区域图像。

人体识别模块502，用于对所述区域图像中的目标区域进行人体识别。

人体姿态估计模块503，用于获取目标区域内人员的身体关键点。

关键点处理模块504，用于基于某一侧的臀关键点为原点建立直角坐标系，其中，将朝向身体前方的方向设为X轴正向，将朝下的方向设为Y轴正向，至少获取臀关键点、膝关键点、踝关键点、脚趾关键点、肩关键点、肘关键点、腕关键点以及小指关键点的坐标。

计算模块505，用于基于同侧的臀关键点、膝关键点、踝关键点构建三角模型，根据勾股定理，基于同侧臀关键点、膝关键点、踝关键点的坐标，计算同侧臀关键点至同侧膝关键点的长度d1、同侧膝关键点至同侧踝关键点的长度d2、同侧臀关键点至同侧踝关键点的长度d3；然后根据余弦定理和反余弦函数，基于d1、d2和d3，计算该侧大小腿夹角。

判定模块506，用于判断双侧的大小腿夹角是否在70°-80°的预设角度区间内、双侧的膝盖是否超出脚尖、双侧的手臂是否为水平伸直状态，当双侧的大小腿夹角均在70°-80°的预设角度区间内、且双侧的膝盖均不超出脚尖、同时双侧的手臂均为水平伸直状态时，则判定深蹲姿势标准；其中，膝盖不超出脚尖的判定标准为同侧膝关键点的x坐标不大于同侧脚趾关键点的x坐标，手臂为水平伸直状态的判定标准为同侧肩关键点、肘关键点、腕关键点、小指关键点的y坐标均相等。

可选的，还包括结果输出模块507，用于输出深蹲姿势是否标准的判定结果。

基于深度学习的深蹲姿势标准与否的判别装置在判别深度姿势是否标准时，其采用的原理或方法与上述的基于深度学习的深蹲姿势标准与否的判别方法相同或相类似，在此不再赘述。上述基于深度学习的深蹲姿势标准与否的判别装置的各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能，例如可利用人体姿态估计模块实现人体识别模块的功能，则两者合二为一。

如图6所示，实施例4提供了一种计算机设备，包括存储器602、处理器601以及存储在所述存储器602中并可在所述处理器601上运行的计算机程序，所述处理器601执行所述计算机程序时实现上述的基于深度学习的深蹲姿势标准与否的判别方法。其中，该计算机设备的处理器601用于提供计算和控制能力。该计算机设备的存储器602包括计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器601执行时以实现上述实施例中所述的基于深度学习的深蹲姿势标准与否的判别方法的步骤，如图1中的步骤S101-S105或图2中的步骤S201-S206，在此不再赘述。或者，处理器执行计算机程序时实现上述实施例中所述的基于深度学习的深蹲姿势标准与否的判别装置的各模块的功能，在此不再赘述。

实施例5提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于深度学习的深蹲姿势标准与否的判别方法的步骤，如图1中的步骤S101-S105或图2中的步骤S201-S206，在此不再赘述。或者，处理器执行计算机程序时实现上述实施例中所述的基于深度学习的深蹲姿势标准与否的判别装置的各模块的功能，在此不再赘述。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (8)

1.一种基于深度学习的深蹲姿势标准与否的判别方法，其特征在于，包括：

从视频中抽取视频帧对应的区域图像；

对所述区域图像中的目标区域进行人体识别；若有人则进行下一步，若无人则对下一个区域图像的目标区域进行人体识别；

基于人体姿态估计模型，获取目标区域内人员的身体关键点；

基于所述身体关键点，获取大小腿夹角；

判断深蹲姿势是否标准，若双侧的大小腿夹角均在70°-80°的预设角度区间内，且双侧的膝盖均不超出脚尖，同时双侧的手臂均为水平伸直状态，则判定深蹲姿势标准。

2.根据权利要求1所述的基于深度学习的深蹲姿势标准与否的判别方法，其特征在于，获取大小腿夹角的方法包括：

获取某一侧的臀关键点至同侧膝关键点的长度d1；

获取上述膝关键点至同侧踝关键点的长度d2；

获取上述臀关键点至上述踝关键点的长度d3；

基于d1、d2和d3构建三角模型，d1和d2的夹角为大小腿夹角，根据余弦定理和反余弦函数，计算该侧大小腿夹角。

3.根据权利要求2所述的基于深度学习的深蹲姿势标准与否的判别方法，其特征在于，获取d1、d2和d3的方法包括：以某侧臀关键点为原点建立直角坐标系，将朝向身体前方的方向设为X轴正向，将朝下的方向设为Y轴正向，获得某侧臀关键点以及同侧膝关键点、踝关键点的坐标，基于所述坐标根据勾股定理计算得d1、d2和d3。

4.根据权利要求3所述的基于深度学习的深蹲姿势标准与否的判别方法，其特征在于，判断膝盖不超出脚尖的方法包括：比较某侧膝关键点的x坐标与同侧脚趾关键点的x坐标，若该侧膝关键点的x坐标不大于同侧脚趾关键点的x坐标，则判定膝盖不超出脚尖。

5.根据权利要求3所述的基于深度学习的深蹲姿势标准与否的判别方法，其特征在于，判断手臂为水平伸直状态的方法包括：比较某侧肩关键点以及同侧肘关键点、腕关键点、小指关键点的y坐标，若该侧肩关键点以及同侧肘关键点、腕关键点、小指关键点的y坐标均相等，则判定手臂为水平伸直状态。

6.一种基于深度学习的深蹲姿势标准与否的判别装置，其特征在于，包括：

图像抽取模块，用于从视频中抽取视频帧对应的区域图像；

人体识别模块，用于对所述区域图像中的目标区域进行人体识别；若有人则进行下一步，若无人则对下一个区域图像的目标区域进行人体识别；

人体姿态估计模块，用于获取目标区域内人员的身体关键点；

关键点处理模块，用于基于某一侧的臀关键点为原点建立直角坐标系，其中，将朝向身体前方的方向设为X轴正向，将朝下的方向设为Y轴正向，至少获取臀关键点、膝关键点、踝关键点、脚趾关键点、肩关键点、肘关键点、腕关键点以及小指关键点的坐标；

计算模块，用于基于同侧的臀关键点、膝关键点、踝关键点构建三角模型，根据勾股定理，基于同侧臀关键点、膝关键点、踝关键点的坐标，计算同侧臀关键点至同侧膝关键点的长度d1、同侧膝关键点至同侧踝关键点的长度d2、同侧臀关键点至同侧踝关键点的长度d3；d1和d2的夹角为大小腿夹角，然后根据余弦定理和反余弦函数，基于d1、d2和d3，计算该侧大小腿夹角；

判定模块，用于判断深蹲姿势是否标准，若双侧的大小腿夹角均在70°-80°的预设角度区间内，且双侧的膝盖均不超出脚尖，同时双侧的手臂均为水平伸直状态，则判定深蹲姿势标准；其中，膝盖不超出脚尖的判定标准为同侧膝关键点的x坐标不大于同侧脚趾关键点的x坐标，手臂为水平伸直状态的判定标准为同侧肩关键点、肘关键点、腕关键点、小指关键点的y坐标均相等。

7.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述基于深度学习的深蹲姿势标准与否的判别方法。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于深度学习的深蹲姿势标准与否的判别方法。

Images