CN112784699A - 一种运动教练姿势评估指导的实现方法和系统 - Google Patents

Abstract

本发明公开一种运动教练姿势评估指导的实现方法和系统。用于采集用户姿势图像，采用姿势模型提取所述用户姿势图像中的用户姿势关键点，将所述用户姿势关键点与预先存储的教练姿势关键点进行比较，确定所述教练姿势关键点和所述用户姿势关键点位置差与阈值，并确定用户姿势的标准度。本发明提供了一种可以随时随地接受专业运动教练姿势评估指导的实现方法，一方面可以节省人们去健身房等路程时间，随时都可以开始运动，方便快捷，并且降低了购买运动指导的费用，降低了运动时间和金钱成本。二是专业的运动指导，可以实现一对一的动作纠正，对其运动进行评分，避免了用户因为运动不标准，导致运动效果大幅降低，甚至运动损失。

Description

一种运动教练姿势评估指导的实现方法和系统

技术领域

本发明涉及AI领域，尤其涉及一种运动教练姿势评估指导的实现方法和系统。

背景技术

随着人们生活水平提高，大家对自身的生活质量的要求也越来越高，但是随着现代生活节奏的加快，许多人对自身健康管理和体形管理时间都较少，并且现在教练的课时费也越来越高，导致大家运动或者学习一门新运动的兴致越来越低，虽然线上提供一些免费的运动课程，用户可以观看视频，对照学习，但是无法得到教练一对一指导，动作不标准会导致运动效果大大降低，甚至会导致运动受伤。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种运动教练姿势评估指导的实现方法和系统。旨在解决现有线上运动教练指导难的问题。

本发明的技术方案如下：

一种运动教练姿势评估指导的实现方法，其中，所述方法包括以下步骤：

S100，采集用户视频，提取所述用户视频中的用户姿势图像；

S200，采用姿势模型提取所述用户姿势图像中的用户姿势关键点；

S300，将所述用户姿势关键点与预先存储的教练姿势关键点进行比较，确定所述教练姿势关键点和所述用户姿势关键点位置差与阈值，并确定用户姿势的标准度。

所述的运动教练姿势评估指导的实现方法，其中，所述步骤S200还包括：

所述姿势模型接收所述用户姿势图像，通过瓶颈块卷积形成第一图像，且进入特征提取模块，以形成特征图像，且对所述特征图像进行标记，形成所述用户姿势关键点；

所述特征提取模块不多于三个特征层。

所述的运动教练姿势评估指导的实现方法，其中，所述步骤S200包括：

S210，所述第一图像通过所述基本块卷积形成所述第一特征层的第二图像，同时下采样形成所述第二特征层的第八图像；

S220，所述第二图像通过所述基本块卷积形成所述第一特征层的第三图像；所述第八图像通过所述基本块卷积形成所述第二特征层的第九图像；S230，所述第三图像通过基本块卷积以及所述第九图像通过上采样基本块卷积后，融合形成所述第一特征层的第四图像；所述第三图像通过下采样基本块卷积以及所述第九图像通过基本块卷积后，融合形成所述第二特征层的第十图像；

S240，所述第四图像通过基本块卷积以及所述第十图像通过上采样基本块卷积后，融合形成所述第一特征层的第五图像；所述第四图像通过下采样基本块卷积以及所述第十图像通过基本块卷积后，融合形成所述第二特征层的第十一图像；所述第四图像通过下采样基本块卷积，以及所述第十图像通过下采样基本块卷积，融合形成所述第二特征层的第十四图像；

S250，所述第五图像通过所述基本块卷积形成所述第一特征层的第六图像；所述第十一图像通过所述基本块卷积形成所述第二特征层的第十二图像；所述第十四图像通过所述基本块卷积形成所述第三特征层的第十五图像；

S260，所述第六图像通过基本块卷积，所述第十二图像通过上采样基本块卷积，以及所述第十五图像通过上采样基本块卷积后，融合形成所述第一特征层的第七图像；所述第十二图像通过基本块卷积，以及所述第十五图像通过上采样基本块卷积后，融合形成第二特征层的第十三图像；所述第十五图像通过基本块卷积，所述第六图像通过下采样基本块卷积，以及所述第十二图像通过下采样基本块卷积后，融合形成第三特征层的第十六图像。

所述的运动教练姿势评估指导的实现方法，其中，所述瓶颈块采用混合深度卷积方式对所述用户姿势图像进行处理，并包括：将所述用户姿势图像的通道分组，每组对每个提取的特征依次经历第一深度可分离卷积块、ReLU激活函数、第二深度可分离卷积块、ReLU激活函数、第三深度可分离卷积块处理，且所述第一深度可分离卷积块处理前和第三深度可分离卷积块处理后设有第一残差值；

所述基本块采用混合深度卷积方式对所述图像进行处理，并包括：将所述用户姿势图像的通道分组，每组对每个提取的特征依次经历第四深度可分离卷积块，ReLU激活函数，第五深度可分离卷积块的处理，且在所述第四深度可分离卷积块处理前和所述第五深度可分离卷积块处理后设有第二残差值。

所述的运动教练姿势评估指导的实现方法，其中，所述教练姿势关键点采用先于所述步骤S100的以下步骤实现：S10，输入教练视频，通过所述姿势模型获取所述教练姿势关键点；

且所述步骤S300还包括：

S310，取所述教练视频的间隔预定数量的两帧图像，比较其教练姿势关键点的位置差，若所述位置差超过所述阈值，则确定其中一帧为所述教练姿势重要帧；

S320，比较所述用户姿势关键点与所述教练姿势重要帧的位置差，所述位置差属于所述阈值的则确定所述用户姿势的标准度符合要求。

一种运动教练姿势评估指导的实现系统，其中，所述系统包括：

采集用户姿势模块，采集用户视频，提取所述用户视频中的用户姿势图像；

关键点模块，采用姿势模型提取所述用户姿势图像中的用户姿势关键点；

评分模块，将所述用户姿势关键点与预先存储的教练姿势关键点进行比较，确定所述教练姿势关键点和所述用户姿势关键点位置差与阈值，并确定用户姿势的标准度。

所述的运动教练姿势评估指导的实现系统，其中，所述关键点模块包括：

所述姿势模型接收所述用户姿势图像，通过瓶颈块卷积形成第一图像，且进入特征提取模块，以形成特征图像，且对所述特征图像进行标记，形成所述用户姿势关键点；

所述特征提取模块不多于三个特征层。

所述的运动教练姿势评估指导的实现系统，其中，所述特征提取模块包括：

第一模块，所述第一图像通过所述基本块卷积形成所述第一特征层的第二图像，同时下采样形成所述第二特征层的第八图像；

第二模块，所述第二图像通过所述基本块卷积形成所述第一特征层第三图像；所述第八图像通过所述基本块卷积形成所述第二特征层的第九图像；

第三模块，所述第三图像通过基本块卷积以及所述第九图像通过上采样基本块卷积后，融合形成所述第一特征层的第四图像；所述第三图像通过下采样基本块卷积以及所述第九图像通过基本块卷积后，融合形成所述第二特征层的第十图像；

第四模块，所述第四图像通过基本块卷积以及所述第十图像通过上采样基本块卷积后，融合形成所述第一特征层的第五图像；所述第四图像通过下采样基本块卷积以及所述第十图像通过基本块卷积后，融合形成所述第二特征层的第十一图像；所述第四图像通过下采样基本块卷积，以及所述第十图像通过下采样基本块卷积，融合形成所述第二特征层的第十四图像；

第五模块，所述第五图像通过所述基本块卷积形成所述第一特征层的第六图像；所述第十一图像通过所述基本块卷积形成所述第二特征层的第十二图像；所述第十四图像通过所述基本块卷积形成所述第三特征层的第十五图像；

第六模块，所述第六图像通过基本块卷积，所述第十二图像通过上采样基本块卷积，以及所述第十五图像通过上采样基本块卷积后，融合形成所述第一特征层的第七图像；所述第十二图像通过基本块卷积，以及所述第十五图像通过上采样基本块卷积后，融合形成第二特征层的第十三图像；所述第十五图像通过基本块卷积，所述第六图像通过下采样基本块卷积，以及所述第十二图像通过下采样基本块卷积后，融合形成第三特征层的第十六图像。

所述的运动教练姿势评估指导的实现系统，其中，所述瓶颈块采用混合深度卷积方式对所述用户姿势图像进行处理，并包括：将所述用户姿势图像的通道分组，每组对每个提取的特征依次经历第一深度可分离卷积块、ReLU激活函数、第二深度可分离卷积块、ReLU激活函数、第三深度可分离卷积块处理，且所述第一深度可分离卷积块处理前和第三深度可分离卷积块处理后设有第一残差值；

所述基本块采用混合深度卷积方式对所述图像进行处理，并包括：将所述用户姿势图像的通道分组，每组对每个提取的特征依次经历第四深度可分离卷积块，ReLU激活函数，第五深度可分离卷积块的处理，且在所述第四深度可分离卷积块处理前和所述第五深度可分离卷积块处理后设有第二残差值。

所述的运动教练姿势评估指导的实现系统，其中，所述系统还包括采集教练姿势关键点模块，输入教练视频，通过所述姿势模型获取所述教练姿势关键点；

且所述评分模块还包括：

教练姿势重要帧块，取所述教练视频的间隔预定数量的两帧图像，比较其教练姿势关键点的位置差，若所述位置差超过所述阈值，则确定其中一帧为所述教练姿势重要帧；

比较块，比较所述用户姿势关键点与所述教练姿势重要帧的位置差，所述位置差属于所述阈值的则确定所述用户姿势的标准度符合要求。

有益效果：本发明提供一种运动教练姿势评估指导的实现方法。用于采集用户姿势图像，采用姿势模型提取所述用户姿势图像中的用户姿势关键点，将所述用户姿势关键点与预先存储的教练姿势关键点进行比较，确定所述教练姿势关键点和所述用户姿势关键点位置差与阈值，并确定用户姿势的标准度。本发明提供了一种可以随时随地接受专业运动教练姿势评估指导的实现方法，一方面可以节省人们去健身房等路程时间，随时都可以开始运动，方便快捷，并且降低了购买运动指导的费用，降低了运动时间和金钱成本。二是专业的运动指导，可以实现一对一的动作纠正，对其运动进行评分，避免了用户因为运动不标准，导致运动效果大幅降低，甚至运动损失。

附图说明

图1为本发明提供的运动教练姿势评估指导的实现方法流程图。

图2为本发明提供的姿势模型流程图。

图3为本发明提供的姿势模型的瓶颈块流程图。

图4为本发明提供的姿势模型的基本块流程图。

图5为本发明提供的姿势模型的混合信道卷积图。

图6为本发明提供的一实施例的教练姿势关键点获取流程图。

图7为本发明提供的一实施例的教练姿势关键点提取流程图。

图8为本发明提供的一实施例的阈值取值示意图。

图9为本发明提供的的运动教练姿势评估指导的实现系统流程图。

具体实施方式

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

本发明提供一种运动教练姿势评估指导的实现方法和系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明提供一种运动教练姿势评估指导的实现方法，所述方法包括以下步骤：S10，输入教练视频，可以预存、导入和/或录入所述教练姿势视频，下载视频和/或实时拍摄所述教练视频。例如通过从云端下载所述教练视频，也可以录制喜欢教练的视频，还可以实时拍摄所述教练视频。

如图1所示，S100，采集用户视频，提取所述用户视频中的用户姿势图像20。可以输入、导入和/或录入所述用户姿势视频，和/或实时拍摄传输所述用户视频。所述用户可以采取实时拍摄，如此可以及时知道自己的动作哪个不标准，可以同步改正。其中所述用户姿势图像20大小可以固定为256x256，因为非常大的图像需要占用较大的存储空间和较多的计算成本。而采用的图像分辨率较低时，人体空间像素信息会明显损失。所以既不会增加计算负担，也不会丢失大量信息，可以保持为256x256的图像。

S200，采用姿势模型提取所述用户姿势图像20中的用户姿势关键点，所述步骤S200还包括：

如图2所示，所述姿势模型接收所述用户姿势图像20，通过瓶颈块卷积形成第一图像1，且进入特征提取模块30，以形成特征图像，且对所述特征图像进行标记，形成所述用户姿势关键点；

所述特征提取模块30不多于三个特征层。

其中，所述步骤S200还包括S210、S220，S230，S240，S250和S260执行。

S210，所述第一图像1通过所述基本块卷积形成所述第一特征层的第二图像2，同时下采样形成所述第二特征层的第八图像8；

S220，所述第二图像2通过所述基本块卷积形成所述第一特征层的第三图像3；所述第八图像8通过所述基本块卷积形成所述第二特征层的第九图像9；

S230，所述第三图像3通过基本块卷积以及所述第九图像9通过上采样基本块卷积后，融合形成所述第一特征层的第四图像4；所述第三图像3通过下采样基本块卷积以及所述第九图像9通过基本块卷积后，融合形成所述第二特征层的第十图像10；

S240，所述第四图像4通过基本块卷积以及所述第十图像10通过上采样基本块卷积后，融合形成所述第一特征层的第五图像5；所述第四图像4通过下采样基本块卷积以及所述第十图像10通过基本块卷积后，融合形成所述第二特征层的第十一图像11；所述第四图像4通过下采样基本块卷积，以及所述第十图像10通过下采样基本块卷积，融合形成所述第二特征层的第十四图像14；

S250，所述第五图像5通过所述基本块卷积形成所述第一特征层的第六图像6；所述第十一图像11通过所述基本块卷积形成所述第二特征层的第十二图像12；所述第十四图像14通过所述基本块卷积形成所述第三特征层的第十五图像15；

S260，所述第六图像6通过基本块卷积，所述第十二图像12通过上采样基本块卷积，以及所述第十五图像15通过上采样基本块卷积后，融合形成所述第一特征层的第七图像7；所述第十二图像12通过基本块卷积，以及所述第十五图像15通过上采样基本块卷积后，融合形成第二特征层的第十三图像13；所述第十五图像15通过基本块卷积，所述第六图像6通过下采样基本块卷积，以及所述第十二图像12通过下采样基本块卷积后，融合形成第三特征层的第十六图像16。

其中，所述瓶颈块采用混合深度卷积方式对所述用户姿势图像20进行处理，包括了深度可分离卷积和混合信道卷积，并包括：如图3和图5所示，将所述用户姿势图像20的通道分组，每组对每个提取的特征依次经历第一深度可分离卷积块、ReLU激活函数、第二深度可分离卷积块、ReLU激活函数、第三深度可分离卷积块处理，且所述第一深度可分离卷积块处理前和第三深度可分离卷积块处理后设有第一残差值；

所述基本块采用混合深度卷积方式对所述图像进行处理，包括了深度可分离卷积和混合信道卷积，并包括：将所述用户姿势图像20的通道分组，每组对每个提取的特征依次经历第四深度可分离卷积块，ReLU激活函数，第五深度可分离卷积块的处理，且在所述第四深度可分离卷积块处理前和所述第五深度可分离卷积块处理后设有第二残差值。例如本发明ReLU激活函数可以采用ReLU6。

例如如图2所示，可以采用了HRNet的高分辨率特征提取网络，其中高分辨率表示该网络在整个提取过程中都保持特征分辨率，本发明高分辨率特征提取网络不使用单尺度特征提取管道，并且在整个过程中仍保持相同的特征分辨率。如图2所示，首先，所述用户姿势图像20通过瓶颈块卷积形成第一图像1，所述第一图像1通过基本块卷积进入特征提取模块30，本发明中所述特征提取模块30为三个特征层(第一特征层64x64、第二特征层32x32和1第三特征层16x16)，并且在所有连续的卷积层中三层保持相同的分辨率。所述姿势模型维护了三个特征分辨率图，每个连续卷积层中的每个特征图融合了来自所有三个特征图的信息，从而获得了更高分辨率特征的丰富融合。

尽管高分辨率特征提取主干会提取区分特征，但是此特征提取的计算成本很高。而且会影响设备平台具有有限的内存和功能，所以本发明中特征提取主干被修改为以相似的精度执行较少的计算，如图2-5所示，本发明采用混合深度卷积，其中修改了所述基本块和所述瓶颈块的体系结构，取而代之的是使用需要大量内存进行计算的2-D卷积，所述基本块和所述瓶颈的中都使用了深度可分离卷积。如此可以形成了一个更短和更胖的设计网络，较短且较胖的设计网络可减少深度(即卷积层数)并增加通道数，同时保持精度。因此，本发明中更短，更胖的模型设计能够使其紧凑且速度更快，并且有助于收敛网络训练速度。例如，如图5所示，我们通过增加卷积层的通道宽度来修剪卷积层获得的更短和更胖的模型。此外，如图5所示，我们显示了包括混合信道卷积的混合深度卷积。例如，混合深度卷积将输入通道的数量划分为g＝3组，并对不同组使用不同的内核以提取越来越多的区分特征。在这里，使用更广泛的卷积方法和混合卷积可大大减少层数以及所需的触发器数。例如，在原来采用128x64x64的要素图层，其中128是通道数，而64x64是要素图的高度和宽度。现在，对于下一个卷积层，当使用3x3内核生成256通道输出时，正常卷积的参数数量将带来沉重的计算负担，即256x128x3x3x64x64＝1,207,959,552触发器。而对于混合深度卷积，计算成本降低了9倍，而速度提高了2.5倍。本发明提供的紧凑模型是2.01G flop，原始模型是32G flop，可以使整个网络小16倍，实际上，它实际上是针对电视和手机的目标，可以在多种设备上运行并且易于用户使用。

本方法还包括S300，将所述用户姿势关键点30与预先存储的教练姿势关键点30进行比较，确定所述教练姿势关键点30和所述用户姿势关键点位置差与阈值，并确定用户姿势的标准度。其中在S10中，将所述输入教练视频，通过所述姿势模型获取所述教练姿势关键点30。获取方式与所述用户姿势关键点获取方式一致，在这里不再赘述。需注意的是，其中可以按照运动类别进行分类获取所述教练视频，再分类训练所述姿势模型，例如健身、塑形、瑜伽、减少脂肪的健身运动以及柔韧性运动的不同所述教练姿势视频，分开来获取所述教练姿势关键点30，如此可以确保所述教练姿势关键点30的精准性。为了确保所述教练姿势关键点30的精准性，在所述姿势模型获取的初步的所述教练姿势关键点30后，我们可以对视频中的所有运动帧进行逐帧自动检查。检测所述教练姿势关键点30的目的是根据每种不同的运动旨在使不同的身体部位受益或治愈不同的健康问题。例如，俯卧撑的目的是锻炼上半身，尤其是肱三头肌，而下蹲则专注于锻炼下背部和腹部肌肉。每个运动视频都可以将身体要点作为所述关键点。如图6所示，在本发明中可以使用了16个身体的所述关键点，它们是头部，颈部，右肩，右肘，右腕，左肩，左肘，左腕，右臀部，右膝盖，右脚踝，左臀部，左膝盖和左脚踝，所述姿势模型可以很好预测所述关键点。还可以手动调整所述教练姿势关键点30，如此可以更加精准的预测到所述关键点，保证运动指导的精准性和高效性。

S310，取所述教练视频的间隔预定数量的两帧图像，比较其教练姿势关键点30的位置差，若所述位置差超过所述阈值，则确定其中一帧为所述教练姿势重要帧。例如，如图7所示，将所述教练视频分为若干教练姿势帧组，每个所述教练姿势帧组内含有若干视频帧,若所述教练姿势帧组内中第一帧的教练姿势关键点30与最后一帧的教练姿势关键点30的位置差超过所述阈值，则认为所述教练姿势帧组为教练姿势提取框。

S320，比较所述用户姿势关键点与所述教练姿势重要帧的位置差，所述位置差属于所述阈值的则确定所述用户姿势的标准度符合要求。例如，可以将用户视频分为若干用户姿势帧组，每个所述用户姿势帧组内含有若干视频帧，按照所述教练姿势提取框出现时间查找对应时间出现的所述用户姿势帧组，且认为所述用户姿势帧组视为用户姿势提取框。若所述用户姿势提取框中所述用户姿势的关键点与所述教练姿势提取框中所述教练姿势的关键点位置差在所述阈值内，则认为标准动作，相反，非标准动作。如图8所示，其中所述阈值为100-200，所述阈值通常以50％的骨头对角链长度计算得出，阈值是根据用于人体姿势估计的性能指标来提取的，以确定身体关节点/位置的准确性。例如如图8所示，在头部边界框，绘制边界框的对角线长度，然后将对角线长度的半距离作为阈值。例如，我们将一个练习的整个所述教练视频提取出来，并提取所有视频帧。然后我们形成所述教练姿势帧组，每个所述教练姿势帧组包含10个在时间轴上靠在一起的帧，即按时间顺序排列。然后计算所述教练姿势帧组中第一帧和组中最后一帧的所述教练姿势关键点30之间位置差计算，如果两帧之间的关键点位置值大于阈值，则考虑第一帧的姿势和姿势最后一帧中的姿势不同，因此需要将其视为教练姿势提取框。此外，稍后还可以在获得所述教练姿势提取框后，进行人眼视觉检查，以消除嘈杂和重复的所述教练姿势提取框。在图6中，当运动开始时，提取第一帧，然后获得最后一个帧用于位置比较，是否在所述阈值内。通过所述教练姿势提取框出现时间去找用户姿势帧组，能加快查找速度。例如从实时视频中找到所述教练姿势提取框与随机用户姿势帧组架之间的对应关系。首先通过获取随机用户视频的所有视频帧，然后将获得的帧划分为时间轴上彼此接近的帧组(每个组包含10帧)来完成所述用户姿势帧组。在形成所述用户姿势帧组之后，然后将每个所述用户姿势帧组与所述教练姿势提取框进行比较，即，将每个组中所有10个视频帧与所述教练姿势提取框进行比较。现在，将与所述教练姿势提取框位置差最小的所述用户姿势帧组作为所述用户姿势提取框。若很多所述用户姿势帧组内的帧与所述教练姿势提取框关键点位置差一样，我们可以随机选定。此外，我们已经有了每个所述教练姿势提取框，因此，从所述教练姿势提取框中可以估算出特定姿势到达的时间瞬间，因此，估算出从哪个框所述用户姿势帧组需要与所述教练姿势提取框相匹配。因此，本发明不仅找到分析所需的所述教练姿势提取框，而且有助于找到用户姿势帧组与教练模型中的所述教练姿势提取框的即时对应关系。此外，为了更好的训练所述姿势模块，可以每个种类运动使用20个随机视频上述过程重复20次，已获得更为精准的结果。

本发明可以实时反馈发送给用户判断结果。该实时反馈包含基本统计信息，包括与所述教练视频相比，用户进行锻炼的速度较慢或相等，用户执行完整锻炼的准确度为多少，用户在锻炼过程中是否有任何特定的运动方式有困难。所述用户姿势提取框中所述用户姿势的关键点与所述教练姿势提取框中所述教练姿势关键点30位置差在所述阈值内，则将用户指定为“优秀”，否则评分将较低。采用实时反馈过程一直持续到用户继续执行练习，然后最后有完整的统计数据可供用户记录。这包括总的运动时间，用户获得“优秀”成绩的次数，最多的错误是什么以及总的卡路里消耗量。用户可以将所有统计信息保存在每日日志中。

本发明还可以为单一的运动建立获取所述教练姿势关键点30，即俯卧撑，举重，蹲下。例如打开举重模式，可以根据举重的运动特性，去细化所述教练姿势关键点30的获取，以仔细模拟不同身体部位的运动，位置和方向。

下面提供一实施例来说明本发明，如图所示，用户在界面选择运动类型，选择瑜伽运动，可以导入相关瑜伽的所述教练视频，所述教练视频通过所述姿势模型后，获取的十六点的所述教练关键点30，然后用户可以手动修改了所述教练关键点30位置。如图6所示，例如瑜伽中双臂向上站立的姿势，我们将其分类为“双臂向上站立的姿势”并标识所述教练关键点30。然后对应所述终端根据所述教练视频播放，实时练习瑜伽，此时所述终端获取所述用户姿势帧组，根据前面设定的所述教练姿势提取框中，来确定所述用户姿势提取框，并确定对比所述教练姿势提取框中最后一帧的所述教练关键点30与所述用户姿势提取框中最后一帧所述用户关键点的位置差超过所述阈值150，则界面提示用户调试姿势。所述用户调试姿势后，重新采集所述用户关键点，且与所述教练关键点30比较，最终小于所述阈值150，则评为优。每种锻炼类型的都用于实时分析用户锻炼，并通过对用户是否做过“优”，“好”或“差”向用户提供实时反馈，并实施视频捕获的实时用户的视频帧进行比较，然后与所述教练关键点30匹配，以验证用户是否执行了相同或不同的动作及其质量。如此我们可以需要定义合适的度量以相对于标准运动指导来测量用户的表现以对用户表现进行评分和分析指导，有利于用户运动动作的标准性提高。

本发明还提供另一实施例，为用户定义的定制锻炼提供了“飞行教练模型生成”。添加此功能是为了使其更加灵活，并允许用户扩展其运动库，而无需任何复杂系统设计知识，也无需支付任何费用。下面我们逐步说明了动态学习教练模型的方法。

与上一个实施例不同的，本实施例用户动态地获取所述教练姿势关键点30。首先，将收集用户自定义练习的数据以生成所述教练姿势关键点30，用户定义的自定义练习的大约20个随机视频使用RGB摄像机捕获。然后，将所有这些视频进入所述姿势模型进行训练，来确定所述教练关键点30。如今，许多应用程序都是免费的，但这些应用程序仅涵盖有限的练习。保健治疗需要进行许多特殊锻炼，包括自定义定义的理疗锻炼，而免费的APP并不涵盖此类特殊保健锻炼。动态教练模型可帮助用户自由开发自己的教练视频，以进行特殊的健康护理锻炼。确定后再执行S300步骤进行评分。

本发明还提供一种运动教练姿势评估指导的实现系统，其特征在于，所述系统包括：

采集用户姿势模块600，采集用户视频，提取所述用户视频中的用户姿势图像20；

关键点模块700，采用姿势模型提取所述用户姿势图像20中的用户姿势关键点；

评分模块800，将所述用户姿势关键点与预先存储的教练姿势关键点30进行比较，确定所述教练姿势关键点30和所述用户姿势关键点位置差与阈值，并确定用户姿势的标准度。

所述的运动教练姿势评估指导的实现系统，其特征在于，所述关键点模块700包括：

所述姿势模型接收所述用户姿势图像20，通过瓶颈块卷积形成第一图像1，且进入特征提取模块30，以形成特征图像，且对所述特征图像进行标记，形成所述用户姿势关键点；

所述特征提取模块30不多于三个特征层。

所述的运动教练姿势评估指导的实现系统，其特征在于，所述特征提取模块30包括：

第一模块，所述第一图像1通过所述基本块卷积形成所述第一特征层的第二图像2，同时下采样形成所述第二特征层的第八图像8；

第二模块，所述第二图像2通过所述基本块卷积形成所述第一特征层的第三图像3；所述第八图像8通过所述基本块卷积形成所述第二特征层的第九图像9；

第三模块，所述第三图像3通过基本块卷积以及所述第九图像9通过上采样基本块卷积后，融合形成所述第一特征层的第四图像4；所述第三图像3通过下采样基本块卷积以及所述第九图像9通过基本块卷积后，融合形成所述第二特征层的第十图像10；

第四模块，所述第四图像4通过基本块卷积以及所述第十图像10通过上采样基本块卷积后，融合形成所述第一特征层的第五图像5；所述第四图像4通过下采样基本块卷积以及所述第十图像10通过基本块卷积后，融合形成所述第二特征层的第十一图像11；所述第四图像4通过下采样基本块卷积，以及所述第十图像10通过下采样基本块卷积，融合形成所述第二特征层的第十四图像14；

第五模块，所述第五图像5通过所述基本块卷积形成所述第一特征层的第六图像6；所述第十一图像11通过所述基本块卷积形成所述第二特征层的第十二图像12；所述第十四图像14通过所述基本块卷积形成所述第三特征层的第十五图像15；

第六模块，所述第六图像6通过基本块卷积，所述第十二图像12通过上采样基本块卷积，以及所述第十五图像15通过上采样基本块卷积后，融合形成所述第一特征层的第七图像7；所述第十二图像12通过基本块卷积，以及所述第十五图像15通过上采样基本块卷积后，融合形成第二特征层的第十三图像13；所述第十五图像15通过基本块卷积，所述第六图像6通过下采样基本块卷积，以及所述第十二图像12通过下采样基本块卷积后，融合形成第三特征层的第十六图像16。

所述的运动教练姿势评估指导的实现系统，其特征在于，所述瓶颈块采用混合深度卷积方式对所述用户姿势图像20进行处理，并包括：将所述用户姿势图像20的通道分组，每组对每个提取的特征依次经历第一深度可分离卷积块、ReLU激活函数、第二深度可分离卷积块、ReLU激活函数、第三深度可分离卷积块处理，且所述第一深度可分离卷积块处理前和第三深度可分离卷积块处理后设有第一残差值；

所述基本块采用混合深度卷积方式对所述图像进行处理，并包括：将所述用户姿势图像20的通道分组，每组对每个提取的特征依次经历第四深度可分离卷积块，ReLU激活函数，第五深度可分离卷积块的处理，且在所述第四深度可分离卷积块处理前和所述第五深度可分离卷积块处理后设有第二残差值。

所述的运动教练姿势评估指导的实现系统，其特征在于，所述系统还包括采集教练姿势关键点模块700，输入教练视频，通过所述姿势模型获取所述教练姿势关键点30；

且所述评分模块800还包括：

教练姿势重要帧块，取所述教练视频的间隔预定数量的两帧图像，比较其教练姿势关键点30的位置差，若所述位置差超过所述阈值，则确定其中一帧为所述教练姿势重要帧；

比较块，比较所述用户姿势关键点与所述教练姿势重要帧的位置差，所述位置差属于所述阈值的则确定所述用户姿势的标准度符合要求。

本系统与上述方法对应，其技术效果和具体实施例不再赘述。

综上所述，本发明提供的一种运动教练姿势评估指导的实现方法和系统。本发明是可以随时随地接受专业运动指导的系统和方法，一方面可以节省人们去健身房等路程时间，随时都可以开始运动，方便快捷，并且降低了购买运动指导的费用，降低了运动时间和金钱成本。二是专业的运动指导，可以实现一对一的动作纠正，对其运动进行评分，避免了用户因为运动不标准，导致运动效果大幅降低，甚至运动损失。其中多种采集所述用户视频的方式，方便用户根据自身需要进行选择，采用所述姿势模型是计算量更小的姿势模型，有利于加快计算，降低计算成本实时跟新用户运动指导，不会出现延迟的情况。此外本发明有利于具体的对用户的运动进行指导，让用户及时改正动作，为了提高精准性，所述阈值采用人体姿势估算技术，能够运动指导准确性。本发明是实时运行，因此，它还可以向用户提供实时反馈以进行错误校正。此外，本发明还有一个附加功能，即它为用户提供了自己动手开发自己的定制运动教练的机会。本发明提供该特征以使其更加灵活和用户友好，而无需用户购买定制运动模型。本发明向所有不同的用户提供各种锻炼的家庭专业教练，例如希望减肥的家庭主妇可以将本发明用于有氧运动教练，老年人可以进行瑜伽，年轻人可以做健身运动，以保持身体的形状，以及，可以使肌肉更美丽的身体。本发明是在嵌入式平台上开发的，使得本发明可以在不同的设备上运行，即电视和手机，并且可以同时为许多用户服务。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种运动教练姿势评估指导的实现方法，其特征在于，所述方法包括以下步骤：

S100，采集用户视频，提取所述用户视频中的用户姿势图像；

S200，采用姿势模型提取所述用户姿势图像中的用户姿势关键点；

S300，将所述用户姿势关键点与预先存储的教练姿势关键点进行比较，确定所述教练姿势关键点和所述用户姿势关键点位置差与阈值，并确定用户姿势的标准度。

2.根据权利要求1所述的运动教练姿势评估指导的实现方法，其特征在于，所述步骤S200还包括：

所述姿势模型接收所述用户姿势图像，通过瓶颈块卷积形成第一图像，且进入特征提取模块，以形成特征图像，且对所述特征图像进行标记，形成所述用户姿势关键点；

所述特征提取模块不多于三个特征层。

3.根据权利要求2所述的运动教练姿势评估指导的实现方法，其特征在于，所述步骤S200包括：

S210，所述第一图像通过所述基本块卷积形成所述第一特征层的第二图像，同时下采样形成所述第二特征层的第八图像；

S220，所述第二图像通过所述基本块卷积形成所述第一特征层的第三图像；所述第八图像通过所述基本块卷积形成所述第二特征层的第九图像；S230，所述第三图像通过基本块卷积以及所述第九图像通过上采样基本块卷积后，融合形成所述第一特征层的第四图像；所述第三图像通过下采样基本块卷积以及所述第九图像通过基本块卷积后，融合形成所述第二特征层的第十图像；

S240，所述第四图像通过基本块卷积以及所述第十图像通过上采样基本块卷积后，融合形成所述第一特征层的第五图像；所述第四图像通过下采样基本块卷积以及所述第十图像通过基本块卷积后，融合形成所述第二特征层的第十一图像；所述第四图像通过下采样基本块卷积，以及所述第十图像通过下采样基本块卷积，融合形成所述第二特征层的第十四图像；

S250，所述第五图像通过所述基本块卷积形成所述第一特征层的第六图像；所述第十一图像通过所述基本块卷积形成所述第二特征层的第十二图像；所述第十四图像通过所述基本块卷积形成所述第三特征层的第十五图像；

S260，所述第六图像通过基本块卷积，所述第十二图像通过上采样基本块卷积，以及所述第十五图像通过上采样基本块卷积后，融合形成所述第一特征层的第七图像；所述第十二图像通过基本块卷积，以及所述第十五图像通过上采样基本块卷积后，融合形成第二特征层的第十三图像；所述第十五图像通过基本块卷积，所述第六图像通过下采样基本块卷积，以及所述第十二图像通过下采样基本块卷积后，融合形成第三特征层的第十六图像。

4.根据权利要求3所述的运动教练姿势评估指导的实现方法，其特征在于，所述瓶颈块采用混合深度卷积方式对所述用户姿势图像进行处理，并包括：将所述用户姿势图像的通道分组，每组对每个提取的特征依次经历第一深度可分离卷积块、ReLU激活函数、第二深度可分离卷积块、ReLU激活函数、第三深度可分离卷积块处理，且所述第一深度可分离卷积块处理前和第三深度可分离卷积块处理后设有第一残差值；

所述基本块采用混合深度卷积方式对所述图像进行处理，并包括：将所述用户姿势图像的通道分组，每组对每个提取的特征依次经历第四深度可分离卷积块，ReLU激活函数，第五深度可分离卷积块的处理，且在所述第四深度可分离卷积块处理前和所述第五深度可分离卷积块处理后设有第二残差值。

5.根据权利要求4所述的运动教练姿势评估指导的实现方法，其特征在于，所述教练姿势关键点采用先于所述步骤S100的以下步骤实现：S10，输入教练视频，通过所述姿势模型获取所述教练姿势关键点；

且所述步骤S300还包括：

S310，取所述教练视频的间隔预定数量的两帧图像，比较其教练姿势关键点的位置差，若所述位置差超过所述阈值，则确定其中一帧为所述教练姿势重要帧；

S320，比较所述用户姿势关键点与所述教练姿势重要帧的位置差，所述位置差属于所述阈值的则确定所述用户姿势的标准度符合要求。

6.一种运动教练姿势评估指导的实现系统，其特征在于，所述系统包括：

采集用户姿势模块，采集用户视频，提取所述用户视频中的用户姿势图像；

关键点模块，采用姿势模型提取所述用户姿势图像中的用户姿势关键点；

评分模块，将所述用户姿势关键点与预先存储的教练姿势关键点进行比较，确定所述教练姿势关键点和所述用户姿势关键点位置差与阈值，并确定用户姿势的标准度。

7.根据权利要求6所述的运动教练姿势评估指导的实现系统，其特征在于，所述关键点模块包括：

所述姿势模型接收所述用户姿势图像，通过瓶颈块卷积形成第一图像，且进入特征提取模块，以形成特征图像，且对所述特征图像进行标记，形成所述用户姿势关键点；

所述特征提取模块不多于三个特征层。

8.根据权利要求7所述的运动教练姿势评估指导的实现系统，其特征在于，所述特征提取模块包括：

第一模块，所述第一图像通过所述基本块卷积形成所述第一特征层的第二图像，同时下采样形成所述第二特征层的第八图像；

第二模块，所述第二图像通过所述基本块卷积形成所述第一特征层的第三图像；所述第八图像通过所述基本块卷积形成所述第二特征层的第九图像；

第三模块，所述第三图像通过基本块卷积以及所述第九图像通过上采样基本块卷积后，融合形成所述第一特征层的第四图像；所述第三图像通过下采样基本块卷积以及所述第九图像通过基本块卷积后，融合形成所述第二特征层的第十图像；

第四模块，所述第四图像通过基本块卷积以及所述第十图像通过上采样基本块卷积后，融合形成所述第一特征层的第五图像；所述第四图像通过下采样基本块卷积以及所述第十图像通过基本块卷积后，融合形成所述第二特征层的第十一图像；所述第四图像通过下采样基本块卷积，以及所述第十图像通过下采样基本块卷积，融合形成所述第二特征层的第十四图像；

第五模块，所述第五图像通过所述基本块卷积形成所述第一特征层的第六图像；所述第十一图像通过所述基本块卷积形成所述第二特征层的第十二图像；所述第十四图像通过所述基本块卷积形成所述第三特征层的第十五图像；

第六模块，所述第六图像通过基本块卷积，所述第十二图像通过上采样基本块卷积，以及所述第十五图像通过上采样基本块卷积后，融合形成所述第一特征层的第七图像；所述第十二图像通过基本块卷积，以及所述第十五图像通过上采样基本块卷积后，融合形成第二特征层的第十三图像；所述第十五图像通过基本块卷积，所述第六图像通过下采样基本块卷积，以及所述第十二图像通过下采样基本块卷积后，融合形成第三特征层的第十六图像。

9.根据权利要求8所述的运动教练姿势评估指导的实现系统，其特征在于，所述瓶颈块采用混合深度卷积方式对所述用户姿势图像进行处理，并包括：将所述用户姿势图像的通道分组，每组对每个提取的特征依次经历第一深度可分离卷积块、ReLU激活函数、第二深度可分离卷积块、ReLU激活函数、第三深度可分离卷积块处理，且所述第一深度可分离卷积块处理前和第三深度可分离卷积块处理后设有第一残差值；

所述基本块采用混合深度卷积方式对所述图像进行处理，并包括：将所述用户姿势图像的通道分组，每组对每个提取的特征依次经历第四深度可分离卷积块，ReLU激活函数，第五深度可分离卷积块的处理，且在所述第四深度可分离卷积块处理前和所述第五深度可分离卷积块处理后设有第二残差值。

10.根据权利要求9所述的运动教练姿势评估指导的实现系统，其特征在于，所述系统还包括采集教练姿势关键点模块，输入教练视频，通过所述姿势模型获取所述教练姿势关键点；

且所述评分模块还包括：

教练姿势重要帧块，取所述教练视频的间隔预定数量的两帧图像，比较其教练姿势关键点的位置差，若所述位置差超过所述阈值，则确定其中一帧为所述教练姿势重要帧；

比较块，比较所述用户姿势关键点与所述教练姿势重要帧的位置差，所述位置差属于所述阈值的则确定所述用户姿势的标准度符合要求。

Images