CN111126143A - 一种基于深度学习的运动评判指导方法及系统 - Google Patents

Abstract

本发明实施例公开了一种基于深度学习的运动评判指导方法及系统，包括：A、采集用户动作的图像信息；B、对所述图像信息进行预处理；C、检测预处理后的图像信息中的人体的关键点信息；D、根据所述人体的关键点信息获取用户动作信息；E、将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果；F、将所述比对分析结果提供给用户。由上，本发明有利于实现自动高效地对当前运动的评判指导。

Description

一种基于深度学习的运动评判指导方法及系统

技术领域

本发明涉及数据测量领域，特别是指一种基于深度学习的运动评判指导方法。

背景技术

人体关节数量众多，活动范围大，因而通过关节的配合，可是人体运动具有很强的灵活性和多变性，使得人体姿态形式众多。海量的衣物颜色种类加剧了识别人体关键点的难度。同时运动种类繁多，在不同运动专业领域评判标准大不相同。目前针对运动准确性的评判主要依据有经验的专业人士人工判断，这种方法对人的依赖性很高，效率却不高。

因此，目前亟需一种基于深度学习的运动评判指导方法，以有利于实现自动高效地对当前运动的评判指导，而不需要依赖于人工的判断。

发明内容

有鉴于此，本发明的主要目的在于提供了一种基于深度学习的运动评判指导方法，以克服现有技术中针对运动准确性的评判主要依据有经验的专业人士人工判断，这种方法对人的依赖性很高，效率却不高的缺陷。

本发明提供一种基于深度学习的运动评判指导方法，所述方法包括以下步骤：

A、采集用户动作的图像信息；

B、对所述图像信息进行预处理；

C、检测预处理后的图像信息中的人体的关键点信息；

D、根据所述人体的关键点信息获取用户动作信息；

E、将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果；

F、将所述比对分析结果提供给用户。

由上，本申请通过采集用户的动作信息，进一步地将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果，将比对分析结果提供给用户，有利于用户据此进行动作学习和校正以提高对动作的掌握程度。

优选地，所述步骤C，包括：

C1、对捕捉到的运动画面进行人体目标检测，以获取运动中的目标对象；

C2、对所述目标对象进行人体的关键点信息检测。

由上，本申请首先对捕捉到的运动画面进行人体目标检测，找到运动中的目标对象。进一步的对目标对象进行关键点信息检测，有利于更加精确地获得人体的关键点信息。

优选地，所述步骤E包括：

将标准分析时间点对应的用户动作信息与该标准分析时间点对应的标准动作信息进行比对分析，以获取比对分析结果。

由上，通过将标准分析时间点的分别对应的用户动作信息与标准动作信息进行比对分析，有利于更加精确地获取比对分析结果。

优选地，所述标准分析时间点的获取方式为：

M1、将标准动作信息中的动作分解为基础单元动作；

M2、在基础单元动作的起止点及其间选取指定数量的时间点作为标准分析时间点。

由上，通过上述方式获取标准分析时间点，有利于更加精确地据此进行比对以获取比对分析结果。

所述步骤M1还包括：对所述基础单元动作进行运动范围的标定，并设置运动范围阈值。

由上，有利于据此进行用户动作信息的比对分析。

优选地，步骤F所述比对分析结果，包括：比对分数、比对分析说明及指导建议。

由上，有利于用户根据所述上述分析结果进行动作进一步的学习，以提高对动作的掌握程度。

优选地，所述步骤C之前还包括检测模型的构建，所述检测模型包括人体目标检测子模型以及目标个体的关键点检测子模型；其中，所述关键点检测子模型的构建步骤包括：

获取指定数量的标准动作的图像信息；

根据所述图像信息提取其中人体的关键关节数据，并对所述关键关节数据进行预处理；并将预处理之后的关键节点数据作为训练集；

基于残差网络，以及同时将其与多层卷积和反卷积结合的形式，利用所述训练集进行模型的训练，以获取训练后的用于进行关键点信息检测的关键点检测子模型。

由上，有利于更加高效精确地获取人体的关键点信息。

基于上述评判指导方法，本申请还提供一种基于深度学习的运动评判指导系统，包括：

采集模块，用于采集用户动作的图像信息；

预处理模块，用于对所述图像信息进行预处理；

关键点信息检测模块，用于检测预处理后的图像信息中的人体的关键点信息；

动作信息获取模块，用于根据所述人体的关键点信息获取用户动作信息；

比对模块，用于将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果；

显示模块，用于将所述比对分析结果提供给用户。

由上，本申请的系统通过采集用户的动作信息，进一步地将用户动作信息与标注动作信息进行比对分析，以获取比对分析结果，将比对分析结果提供给用户，有利于用户据此进行动作学习和校正以提高对动作的掌握程度。

优选地，所述关键点信息检测模块，包括：

目标获取子模块，用于对捕捉到的运动画面进行人体目标检测，以获取运动中的目标对象；

个体关键点信息获取子模块，用于对所述目标对象进行人体的关键点信息检测。

由上，本申请通过首先对捕捉到的运动画面进行人体目标检测，找到运动中的目标对象。进一步对目标对象进行关键点信息检测，有利于更加精确地获得人体的关键点信息。

优选地，所述比对模块，包括：

基础动作获取子模块，用于将标准动作信息中的动作分解为基础单元动作；并对所述基础单元动作进行运动范围的标定，并设置运动范围阈值；

标准分析时间点获取子模块，用于在基础单元动作的起止点及其间选取指定数量的时间点作为标准分析时间点；

比对子模块，用于将标准分析时间点的分别对应的用户动作信息与标准动作信息进行比对分析，以获取比对分析结果。

综上所述，本申请通过采集用户动作的图像信息，并通过构建的检测模型进行人体目标检测以及进行目标个体的关键点信息检测，进一步的根据所述关键点信息获取用户动作信息且将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果，将比对分析结果提供给用户，有利于用户据此进行动作的学习，以提高对动作的掌握程度。克服了现有技术中针对运动准确性的评判主要依据有经验的专业人士人工判断，这种方法对人的依赖性很高，效率却不高的缺陷。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于深度学习的运动评判指导方法的流程示意图；

图2为本发明实施例提供的一种基于深度学习的运动评判指导系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的区间。

实施例一

如图1所示，为本发明该实施例中提供的一种基于深度学习的运动评判指导方法的流程示意图，所述方法包括以下步骤：

S101，采集用户动作的图像信息。

具体地，当用户跟随播放的标准视频进行运动时，通过摄像头自动采集用户运动的图像信息。其中，所述运动可以是太极或者其他的运动。

S102，对所述图像信息进行预处理。

对所述图像信息进行图像增强处理，变换图像的灰度，使其图像变清晰，对比度增强，边缘特征突出；

进一步地，将处理好的图像进行图像平滑处理，去除加性噪声、乘性噪声和量化噪声；以及进一步地将处理好的图像进行图像锐化处理，使图像中的边缘变的清晰。

S103，检测预处理后的图像信息中的人体的关键点信息。具体地，包括：

S103.1，预先构建检测模型。

本申请首先构建了用于进行检测模型。具体地，本申请应用了开源框架TensorFlow进行网络构建及模型训练。TensorFlow是谷歌开源的机器学习框架，是目前业界主流的框架工具，具备较为完善的功能。在用于深度学习研究时，可以使用它方便构建自己的模型并训练调优，生成适合工程环境使用的产品。传统的CNN是将卷积层堆叠在一起，而本申请使用的网络模型具有较深的结构，对于人体关键点的特征提取起到了重要作用。其中残差模块可以持续有效的提取特征信息。组合形式的卷积模块组用于逐渐提取人体关键点的信息，反卷积将信息还原到原始输入图片上。残差结构和联合训练的使用可以解决网络加深过程中梯度退化问题，从而成功的训练获得更深的神经网络，并且可以加快训练的速度，同时能够获得更好的表现能力。

本申请构建的模型基于目标检测+单人关键点检测的算法思路，借鉴top-down的分析方法，从何使得关键点检测上具有较高的精度。本申请的算法模型为使用类似yolo网络的结构，对捕捉到的运动画面进行人体目标检测，找到运动中的目标对象。随后将目标对象放入关键点检测环节，该部分分析算法采用了一种基于残差网络的结构形式，将人体关键点检测转化为特征热图的拟合，使用了多层卷积与反卷积结合的形式。

本申请的检测模型实质上是包括：目标检测子模型以及目标个体的关键点检测子模型；其中，所述关键点检测子模型的构建步骤包括：获取指定数量的标准动作的图像信息；根据所述图像信息提取其中人体的关键关节数据，并对所述关键关节数据进行预处理；并将预处理之后的关键节点数据作为训练集；基于残差网络，以及同时将其与多层卷积和反卷积结合的形式，利用所述训练集进行模型的训练，以获取训练后的用于进行关键点信息检测的关键点检测子模型。

S103.2，利用所述模型对捕捉到的运动画面进行人体目标检测，以获取运动中的目标对象；

S103.3，利用所述模型对所述目标对象进行个体的关键点信息检测。

S104，根据所述个体的关键点信息获取用户动作信息。

S105，将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果。包括：

S105.1，预先获取标准动作信息，并将标准动作信息中的动作分解为基础单元动作；并对所述基础单元动作进行运动范围的标定，并设置合理的运动范围阈值；

S105.2，预先在基础单元动作的起止点及其间选取指定数量的时间点作为标准分析时间点；

S105.3，在进行比对分析时，将标准分析时间点的分别对应的用户动作信息与标准动作信息进行比对分析，以获取比对分析结果。

具体地，例如根据我们已有的标准运动视频，分析制定标准运动规范。首先将复杂运动分解为简单运动的组合，随后根据每个简单动作的特点，将简单动作分解为单元基础动作，基础单元动作是最小的运动单元。随后，对单元基础动作进行标定，以此标定结果作为标准，设立合理的运动范围阈值。随后，在基础单元动作的起止点及其间选取若干合理分布的时间点的动作作为标准分析时间点，用于与用户运动中相应时间点姿态进行比对分析。由上，通过将标准分析时间点的分别对应的用户动作信息与标准动作信息进行比对分析，有利于更加精确地获取比对分析结果。其中，所述比对分析结果，包括：比对分数、比对分析说明及指导建议。其中，获取所述比对分数的算法为：

其中，G表示比对分数；t表示标准分析点；n表示标准分析点的个数；p表示人体编号；i表示关键点编号；d_p2为检测的关键点位置与标注位置的欧式距离；V_Pi为第p人的第i个关键点的状态；V_Pi＝1表示该关键点的可见性为1(即在图片上可见)；δ(·)为克罗内克函数，即只有被标为可见的人体骨骼关键点(v＝1)计入评价指标；S_p ²表示目标用户所占面积大小平方根；σi表示第i个关键点的归一化因子。其中，

表示标准分析点t₁时对应的比对分数；

表示标准分析点t_n时对应的比对分数。

S106，将所述比对分析结果提供给用户。

其中，所述比对分析结果包括量化运动结果的分数表示和指导建议。在提供给用户之后，可以用于指导用户进行运动(例如太极运动)。有利于用户据此进行动作的学习，以提高对动作的掌握程度。

实施例二

基于实施例一提供的基于深度学习的运动评判指导方法，本申请还提供一种基于深度学习的运动评判指导系统，包括：

采集模块201，用于采集用户动作的图像信息；具体用于当用户跟随播放的标准视频进行运动时，自动采集用户运动的图像信息。

预处理模块202，用于对所述图像信息进行预处理；具体用于：对所述图像信息进行图像增强处理，变换图像的灰度，使其图像变清晰，对比度增强，边缘特征突出；进一步地，将处理好的图像进行图像平滑处理，去除加性噪声、乘性噪声和量化噪声；以及进一步地将处理好的图像进行图像锐化处理，使图像中的边缘变的清晰。

关键点信息检测模块203，用于检测预处理后的图像信息中的人体的关键点信息；其中，所述所述关键点信息检测模块，包括：

目标获取子模块203.1，用于对捕捉到的运动画面进行人体目标检测，以获取运动中的目标对象；

个体关键点信息获取子模块203.2，用于对所述目标对象进行人体的关键点信息检测。

动作信息获取模块204，用于根据所述人体的关键点信息获取用户动作信息；

比对模块205，用于将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果；具体包括：

基础动作获取子模块205.1，用于将标准动作信息中的动作分解为基础单元动作；并对所述基础单元动作进行运动范围的标定，并设置运动范围阈值；

标准分析时间点获取子模块205.2，用于在基础单元动作的起止点及其间选取指定数量的时间点作为标准分析时间点；

比对子模块205.3，用于将标准分析时间点的分别对应的用户动作信息与标准动作信息进行比对分析，以获取比对分析结果。其中，所述比对分析结果，包括：比对分数、比对分析说明及指导建议。其中，获取所述比对分数的算法为：

其中，G表示比对分数；t表示标准分析点；n表示标准分析点的个数；p表示人体编号；i表示关键点编号；d_p2为检测的关键点位置与标注位置的欧式距离；V_Pi为第p人的第i个关键点的状态；V_Pi＝1表示该关键点的可见性为1(即在图片上可见)；δ(·)为克罗内克函数，即只有被标为可见的人体骨骼关键点(v＝1)计入评价指标；S_p ²表示目标用户所占面积大小平方根；σi表示第i个关键点的归一化因子。其中，

表示标准分析点t₁时对应的比对分数；

表示标准分析点t_n时对应的比对分数。

显示模块206，用于将所述比对分析结果提供给用户。其中，所述比对分析结果包括量化运动结果的分数表示和指导建议。在提供给用户之后，可以用于指导用户进行运动(例如太极运动)。有利于用户据此进行动作的学习，以提高对动作的掌握程度。

综上所述，本申请通过采集用户动作的图像信息，并通过构建的检测模型进行人体目标检测以及进行目标个体的关键点信息检测，进一步的根据所述关键点信息获取用户动作信息且将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果，将比对分析结果提供给用户，有利于用户据此进行动作的学习，以提高对动作的掌握程度。克服了现有技术中针对运动准确性的评判主要依据有经验的专业人士人工判断，这种方法对人的依赖性很高，效率却不高的缺陷。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的运动评判指导方法，其特征在于，包括：

A、采集用户动作的图像信息；

B、对所述图像信息进行预处理；

C、检测预处理后的图像信息中的人体的关键点信息；

D、根据所述人体的关键点信息获取用户动作信息；

E、将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果；

F、将所述比对分析结果提供给用户。

2.根据权利要求1所述的方法，其特征在于，所述步骤C，包括：

C1、对捕捉到的运动画面进行人体目标检测，以获取运动中的目标对象；

C2、对所述目标对象进行人体的关键点信息检测。

3.根据权利要求2所述的方法，其特征在于，所述步骤E包括：

将标准分析时间点对应的用户动作信息与该标准分析时间点对应的标准动作信息进行比对分析，以获取比对分析结果。

4.根据权利要求3所述的方法，其特征在于，所述标准分析时间点的获取方式为：

M1、将标准动作信息中的动作分解为基础单元动作；

M2、在基础单元动作的起止点及其间选取指定数量的时间点作为标准分析时间点。

5.根据权利要求4所述的方法，其特征在于，所述步骤M1还包括：对所述基础单元动作进行运动范围的标定，并设置运动范围阈值。

6.根据权利要求1所述的方法，其特征在于，步骤F所述比对分析结果，包括：比对分数、比对分析说明及指导建议。

7.根据权利要求1所述的方法，其特征在于，所述步骤C之前还包括检测模型的构建，所述检测模型包括人体目标检测子模型以及目标个体的关键点检测子模型；其中，所述关键点检测子模型的构建步骤包括：

获取指定数量的标准动作的图像信息；

根据所述图像信息提取其中人体的关键关节数据，并对所述关键关节数据进行预处理；并将预处理之后的关键节点数据作为训练集；

基于残差网络，以及同时将其与多层卷积和反卷积结合的形式，利用所述训练集进行模型的训练，以获取训练后的用于进行关键点信息检测的关键点检测子模型。

8.一种基于深度学习的运动评判指导系统，基于权利要求1-7任一项所述的方法，其特征在于，包括：

采集模块，用于采集用户动作的图像信息；

预处理模块，用于对所述图像信息进行预处理；

关键点信息检测模块，用于检测预处理后的图像信息中的人体的关键点信息；

动作信息获取模块，用于根据所述人体的关键点信息获取用户动作信息；

比对模块，用于将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果；

显示模块，用于将所述比对分析结果提供给用户。

9.根据权利要求8所述的系统，其特征在于，所述关键点信息检测模块，包括：

目标获取子模块，用于对捕捉到的运动画面进行人体目标检测，以获取运动中的目标对象；

个体关键点信息获取子模块，用于对所述目标对象进行人体的关键点信息检测。

10.根据权利要求8所述的系统，其特征在于，所述比对模块，包括：

基础动作获取子模块，用于将标准动作信息中的动作分解为基础单元动作；并对所述基础单元动作进行运动范围的标定，并设置运动范围阈值；

标准分析时间点获取子模块，用于在基础单元动作的起止点及其间选取指定数量的时间点作为标准分析时间点；

比对子模块，用于将标准分析时间点的分别对应的用户动作信息与标准动作信息进行比对分析，以获取比对分析结果。

Images