CN112101315B - 一种基于深度学习的运动评判指导方法和系统 - Google Patents
一种基于深度学习的运动评判指导方法和系统 Download PDFInfo
- Publication number
- CN112101315B CN112101315B CN202011281718.4A CN202011281718A CN112101315B CN 112101315 B CN112101315 B CN 112101315B CN 202011281718 A CN202011281718 A CN 202011281718A CN 112101315 B CN112101315 B CN 112101315B
- Authority
- CN
- China
- Prior art keywords
- information
- user
- action
- key point
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013135 deep learning Methods 0.000 title claims abstract description 40
- 230000009471 action Effects 0.000 claims abstract description 223
- 230000033001 locomotion Effects 0.000 claims abstract description 100
- 238000004458 analytical method Methods 0.000 claims abstract description 96
- 238000007781 pre-processing Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims description 55
- 238000012549 training Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 7
- 210000002478 hand joint Anatomy 0.000 description 6
- 238000010835 comparative analysis Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 239000000654 additive Substances 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003707 image sharpening Methods 0.000 description 3
- 238000003706 image smoothing Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 210000002310 elbow joint Anatomy 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 210000004394 hip joint Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明涉及一种基于深度学习的运动评判指导方法和系统，该方法包括：采集用户动作的图像信息；对所述图像信息进行预处理；检测预处理后的所述图像信息中的人体的关键点信息；根据所述人体的关键点信息获取用户动作信息；将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果；将所述比对分析结果提供给所述用户。本方案能够提高运动评判指导的效率。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于深度学习的运动评判指导方法和系统。
背景技术
随着人们对身体健康的需求越来越强烈，越来越多的人参与到运动健身中，而且合理的运动方式、标准的运动动作才更有利于人体健康。运动过程中，人体姿态形式众多，涉及的人体关节数量众多，活动范围大，同时运动种类繁多，在不同运动专业领域评判标准大不相同。目前针对运动动作准确性的评判主要依据有经验的专业人士进行人工判断，这种方法对人的依赖性很高，效率却不高。
鉴于此，针对以上不足，需要提供涉及一种基于深度学习的运动评判指导方法和系统来解决上述不足。
发明内容
本发明要解决的技术问题在于如何提高对运动评判指导的效率，针对现有技术中的缺陷，提供了一种基于深度学习的运动评判指导方法和系统。
为了解决上述技术问题，本发明提供了一种基于深度学习的运动评判指导方法，该方法包括：
A、采集用户动作的图像信息；
B、对所述图像信息进行预处理；
C、检测预处理后的所述图像信息中的人体的关键点信息；
D、根据所述人体的关键点信息获取用户动作信息；
E、将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果；
F、将所述比对分析结果提供给所述用户。
可选地，所述步骤C，包括：
C1、对捕捉到的运动画面进行人体目标检测，以获取运动中的目标对象；
C2、对所述目标对象进行人体的关键点信息检测。
可选地，所述步骤E包括：
将标准分析时间点对应的用户动作信息与该标准分析时间点对应的标准动作信息进行比对分析，以获取比对分析结果。
可选地，所述标准分析时间点的获取方式为：
M1、将标准动作信息中的动作分解为基础单元动作；
M2、在基础单元动作的起止点及其间选取指定数量的时间点作为标准分析时间点。
可选地，所述步骤C之前还包括检测模型的构建，所述检测模型包括人体目标检测子模型以及目标个体的关键点检测子模型；其中，所述关键点检测子模型的构建步骤包括：
获取指定数量的标准动作的图像信息；
根据所述图像信息提取其中人体的关键关节数据，并对所述关键关节数据进行预处理；并将预处理之后的关键节点数据作为训练集；
基于残差网络，以及同时将其与多层卷积和反卷积结合的形式，利用所述训练集进行模型的训练，以获取训练后的用于进行关键点信息检测的关键点检测子模型。
可选地，所述步骤B，包括：
对所述图像信息进行动作分解处理，得到所述用户的每一个所述动作信息，其中，所述图像信息包括有至少一个所述用户根据预设动作指令完成的至少一个动作信息，所述动作信息中包括至少一个所述关键点信息。
可选地，所述步骤E，包括：
所述比对分析结果中包括对比分数和指导建议，其中，所述指导建议用于表征对所述用户所完成的动作的指导建议；
所述对比分数通过如下公式确定：
其中，G用于表征所述用户p的所述图像信息的对比分数，i用于表征每n个动作信
息中的关键点信息个数，d p2用于表征所述用户p在任一动作信息中的每一个关键点和相对
应的所述标准动作信息中的关键点之间的欧氏距离，
用于表征所述用户p在第n个动作
信息中所占的面积，σ i用于表征第i个关键点的归一化因子，δ（v pi=1）用于表征所述用户p的
第i个关键点在该动作信息上可见，n用于表征所述用户p的图像信息中所包括的动作信息
的数量，t n用于表征第n个标准分析点。
可选地，所述步骤E，包括：
所述比对分析结果中包括对比分数和指导建议，其中，所述指导建议用于表征对所述用户所完成的动作的指导建议；
判断所述对比分数是否大于预设阈值分数；
如果所述对比分数大于所述预设阈值分数，则确定所述对比分数所对应的所述用户所完成的动作标准；
如果所述对比分数不大于所述预设阈值分数，则根据与所述对比分数所对应的所述用户的关键点信息，确定针对所述用户的指导建议。
本发明还提供了一种基于深度学习的运动评判指导系统，包括：
采集模块，用于采集用户动作的图像信息；
预处理模块，用于对由所述采集模块采集到的所述图像信息进行预处理；
关键点信息检测模块，用于检测由所述预处理模块预处理后的图像信息中的人体的关键点信息；
动作信息获取模块，用于根据由所述关键点信息检测模块所检测到的所述人体的关键点信息获取用户动作信息；
对比模块，用于将由所述动作信息获取模块所获取的用户动作信息与标准动作信息进行比对分析，以获取比对分析结果；
显示模块，用于将由所述对比模块所获取的所述比对分析结果提供给用户。
可选地，所述关键点信息检测模块，包括：
目标获取子模块，用于对捕捉到的运动画面进行人体目标检测，以获取运动中的目标对象；
个体关键点信息获取子模块，用于对所述目标对象进行人体的关键点信息检测。
本发明实施例所提供的一种基于深度学习的运动评判指导方法和系统，通过采集用户动作的图像信息，通过预处理检测获取到该图像信息中人体的关键点信息，进而确定该用户的动作信息，然后获取与每一个动作信息相对应的标准动作信息，进一步对比图像信息中每一个动作信息和以之相对应的每一个标准动作信息，确定比对分析结果，并反馈给用户，从而可以根据比对分析结果对该用户进行指导。由此可见，通过对用户的动作信息与标准动作信息中各关键点信息的对比，可以得出每用户完成动作时的比对分析结果，根据该比对分析结果可以获得针对每一个用户的指导建议，从而实现对用户运动动作的指导，使得用户可以依照该指导建议对自身的动作做出对应的调整，有利于提高用户的使用体验。同时不再依赖专业人士的人工判断，通过对比关键点信息能够对用户的运动动作进行客观合理的评价，用户可以实时获得准确的指导建议，从而提高了运动评判指导的效率。
附图说明
图1是本发明实施例所提供的一种基于深度学习的运动评判指导方法；
图2是本发明实施例所提供的一种基于深度学习的运动评判指导系统所在设备的示意图；
图3是本发明实施例所提供的一种基于深度学习的运动评判指导系统的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供的一种基于深度学习的运动评判指导方法，该方法包括如下步骤：
步骤101：采集用户动作的图像信息；
步骤102：对图像信息进行预处理；
步骤103：检测预处理后的图像信息中的人体的关键点信息；
步骤104：根据人体的关键点信息获取用户动作信息；
步骤105：将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果；
步骤106：将比对分析结果提供给所述用户。
在本发明实施例中，该方法通过采集用户动作的图像信息，通过预处理检测获取到该图像信息中人体的关键点信息，进而确定该用户的动作信息，然后获取与每一个动作信息相对应的标准动作信息，进一步对比图像信息中每一个动作信息和以之相对应的每一个标准动作信息，确定比对分析结果，并反馈给用户，从而可以根据比对分析结果对该用户进行指导。由此可见，通过对用户的动作信息与标准动作信息中各关键点信息的对比，可以得出每用户完成动作时的比对分析结果，根据该比对分析结果可以获得针对每一个用户的指导建议，从而实现对用户运动动作的指导，使得用户可以依照该指导建议对自身的动作做出对应的调整，有利于提高用户的使用体验。同时不再依赖专业人士的人工判断，通过对比关键点信息能够对用户的运动动作进行客观合理的评价，用户可以实时获得准确的指导建议，从而提高了运动评判指导的效率。
在本发明实施例中，通过采集用户的动作信息，进一步地将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果，将比对分析结果提供给用户，有利于用户据此进行动作学习和校正以提高对动作的掌握程度。
在本发明实施例中，对图像信息进行预处理，包括对该图像信息进行图像增强处理，变换图像的灰度，使其图像变清晰，对比度增强，边缘特征突出；进一步地，将处理好的图像进行图像平滑处理，去除加性噪声、乘性噪声和量化噪声；以及进一步地将处理好的图像进行图像锐化处理，使图像中的边缘变的清晰，从而提高运动评判指导方法的准确性和效率。
在本发明实施例中，可以通过摄像头实时采集至少一个用户根据标准视频中的预设动作指令进行运动的图像信息，并在用户完成运动动作后及时给予评分和指导建议，其中所采集的图像信息中包括至少一个用户的运动图像信息，该图像信息中包括至少一个动作图像信息，标准动作可以是专业人士事先录制好的标准运动动作，如一套太极拳、一套健美操、一套健身动作等。
可选地，在图1所示基于深度学习的运动评判指导方法中，在步骤103中检测预处理后的所述图像信息中的人体的关键点信息，包括：
C1、对捕捉到的运动画面进行人体目标检测，以获取运动中的目标对象；
C2、对目标对象进行人体的关键点信息检测。
在本发明实施例中，首先对捕捉到的运动画面进行人体目标检测，在多个用户中找到运动中的目标对象，进一步的对目标对象进行关键点信息检测，有利于更加精确地获得人体的关键点信息。
在本发明实施例中，通过确定运动中的目标对象在图像信息中的位置，可以确定该用户在该图像信息中的区域为目标区域，并计算该目标区域的面积，可以进一步确定运动中的目标用户，如果该用户的目标区域位于预设区域范围内，则会进一步保证该运动评判指导方法的准确性。
在本发明实施例中，对目标区域内该用户的每一个动作图像信息进行动作分解处理，确定用户身体各部位的信息与位置关系，根据预先创建的身体各部位于关键点之间的对应关系，确定该用户的关键点信息，并获取该用户在目标区域中的每一个关键点信息。
在本发明实施例中，每一个动作图像信息中都包括各个关键点信息，身体各部位与关键点之间的对应关系包括：头对应关键点1，左、右肩关节分别对应关键点2、3，左、右手肘关节分别对应关键点4、5，左、右手关节分别对应关键点6、7，左、右髋关节分别对应关键点8、9等，关键点信息包括各关键点在动作图像中的位置，与相邻关键点之间的关系等，如此通过各关节之间的位置与关系，有利于客观准确地对用户的运动动作进行评判指导。
可选地，在图1所示基于深度学习的运动评判指导方法中，步骤105中将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果，包括：
将标准分析时间点对应的用户动作信息与该标准分析时间点对应的标准动作信息进行比对分析，以获取比对分析结果。
在本发明实施例中，通过将标准分析时间点的分别对应的用户动作信息与标准动作信息进行比对分析，有利于更加精确地获取比对分析结果。
可选地，在图1所述所示基于深度学习的运动评判指导方法中，标准分析时间点的获取方式为：
M1、将标准动作信息中的动作分解为基础单元动作；
M2、在基础单元动作的起止点及其间选取指定数量的时间点作为标准分析时间点。
在本发明实施例中，将标准动作信息中的动作分解为基础单元动作，对基础单元动作进行运动范围的标定，并设置运动范围阈值，在基础单元动作的起止点及其间选取指定数量的时间点作为标准分析时间点。如此，通过这种方式获取标准分析时间点，有利于更加精确地据此进行比对以获取比对分析结果。
在本发明实施例中，通过确定每一个标准动作信息的基础单元动作中包括的身体各部位的信息与标准位置之间的关系，进而根据预先创建的用户身体各部位与关键点之间的对应关系，确定每一个标准动作信息中的标准关键点信息。基于该标准关键点信息，为运动评判指导方法提供了基础和训练数据，有利于高效精确地获取用户动作图像信息中的关键点信息。
可选地，在图1所示基于深度学习的运动评判指导方法中，在步骤103之前还包括检测模型的构建，检测模型包括人体目标检测子模型以及目标个体的关键点检测子模型；其中，关键点检测子模型的构建步骤包括：
获取指定数量的标准动作的图像信息；
根据图像信息提取其中人体的关键关节数据，并对关键关节数据进行预处理；并将预处理之后的关键节点数据作为训练集；
基于残差网络，以及同时将其与多层卷积和反卷积结合的形式，利用训练集进行模型的训练，以获取训练后的用于进行关键点信息检测的关键点检测子模型。
在本发明实施例中，检测模型包括人体目标检测子模型以及目标个体的关键点检测子模型，其中，通过获取指定数量的标准动作的图像信息，并提取图像信息中人体的关键关节数据，并将进行预处理后的关键节点数据作为训练集，基于残差网络，以及同时将其与多层卷积和反卷积结合的形式，利用训练集进行模型的训练，以获取训练后的用于进行关键点信息检测的关键点检测子模型。如此可以更加高效精确地获取人体的关键点信息。
可选地，在图1所示基于深度学习的运动评判指导方法中，步骤102对图像信息进行预处理，包括：
对所述图像信息进行动作分解处理，得到所述用户的每一个所述动作信息，其中，所述图像信息包括有至少一个所述用户根据预设动作指令完成的至少一个动作信息，所述动作信息中包括至少一个所述关键点信息。
可选地，在图1所示基于深度学习的运动评判指导方法中，步骤105将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果，包括：
比对分析结果中包括对比分数和指导建议，其中，指导建议用于表征对用户所完成的动作的指导建议；
对比分数通过如下公式确定：
其中，G用于表征用户p的图像信息的对比分数，i用于表征每n个动作信息中的关
键点信息个数，d p2用于表征用户p在任一动作信息中的每一个关键点和相对应的标准动作
信息中的关键点之间的欧氏距离，
用于表征用户p在第n个动作信息中所占的面积，σ i用
于表征第i个关键点的归一化因子，δ（v pi=1）用于表征用户p的第i个关键点在该动作信息上
可见，n用于表征用户p的图像信息中所包括的动作信息的数量，t n用于表征第n个标准分析
点。
在本发明实施例中，将获取到的针对用户的每一个动作信息中的关键点信息和相对应的每一个标准动作信息中的标准关键点信息进行对比，通过上述公式首先获得该用户所作的每一个动作图像的对比分数，进而据此获得该用户完成整套动作指令的总分数G p，从而实现对图像信息的运算，获得客观可视化的评价对比分数，保证了运动评判的准确性。而且根据该总分数G p可以对用户对该整套动作的掌握程度、熟练程度和标准程度等进行综合评价，再结合每一个动作的对比分数G pn给出针对该用户的具体的指导建议，实现针对每一个用户的具体详细的指导建议，因此提高了用户的使用体验，进一步提高了对运动评判指导效率。
在本发明实施例中，例如，接前例所述，第一个动作信息中标准关键点信息：关键点2、关键点4和关键点6之间的连线与关键点2和关键点8之间的连线的夹角为90°，通过用户p在该动作信息中的每一个关键点和相对应的标准动作信息中的关键点之间的欧氏距离，可以确定关键点2、关键点4、关键点6、关键点8之间构成的夹角为89°。
在本发明实施例中，
即为标准分析时间点1对应的
用户的第一个动作信息的对比分数。
在本发明实施例中，将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果的过程中，如果在该动作信息中存在背手动作，在对比分析过程中可以通过深度学习模型对手关节的位置进行预测，若预测成功，则该手关节在该动作信息上可见，δ（v pi=1）；否则该手关节为不可见，δ（v pi=0），即该手关节的关键点信息不参与对比分析过程。
可选地，在图1所示基于深度学习的运动评判指导方法中，步骤105将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果，包括：
比对分析结果中包括对比分数和指导建议，其中，指导建议用于表征对用户所完成的动作的指导建议；
判断对比分数是否大于预设阈值分数；
如果对比分数大于预设阈值分数，则确定对比分数所对应的用户所完成的动作标准；
如果对比分数不大于预设阈值分数，则根据与对比分数所对应的用户的关键点信息，确定针对用户的指导建议。
在本发明实施例中，当对比分数大于预设阈值分数时，确定获得该对比分数的用户所完成的动作为标准，当对比分数不大于预设阈值分数时，确定获得该对比分数的用户所完成的动作为不标准，并根据该用户的关键点信息，确定针对该用户的详细的指导建议。如此以使用户依照该指导建议进行动作的学习和校正，有助于用户快速掌握该动作，从而提高用户的使用体验。
如图2、图3所示，本发明实施例提供了一种基于深度学习的运动评判指导系统。系统实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图2所示，为本发明实施例提供的一种基于深度学习的运动评判指导系统所在设备的一种硬件结构图，除了图2所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中系统所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图3所示，作为一个逻辑意义上的系统，是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。本实施例提供的一种基于深度学习的运动评判指导系统，包括：
采集模块301，用于采集用户动作的图像信息；
预处理模块302，用于对由采集模块301采集到的图像信息进行预处理；
关键点信息检测模块303，用于检测由预处理模块302预处理后的图像信息中的人体的关键点信息；
动作信息获取模块304，用于根据由关键点信息检测模块303所检测到的人体的关键点信息获取用户动作信息；
对比模块305，用于将由动作信息获取模块304所获取的用户动作信息与标准动作信息进行比对分析，以获取比对分析结果；
显示模块306，用于将由对比模块305所获取的比对分析结果提供给用户。
可选地，在图3所示一种基于深度学习的运动评判指导系统的基础上，关键点信息检测模块303，包括：
目标获取子模块，用于对捕捉到的运动画面进行人体目标检测，以获取运动中的目标对象；
个体关键点信息获取子模块，用于对目标对象进行人体的关键点信息检测。
可选地，在图3所示一种基于深度学习的运动评判指导系统的基础上，对比模块305包括：
动作分解子模块，用于将标准动作信息中的动作分解为基础单元动作；
标准分析时间点子模块，用于在基础单元动作的起止点及其间选取指定数量的时间点作为标准分析时间点。
可选地，在图3所示一种基于深度学习的运动评判指导系统的基础上，该系统进一步包括：模型构建模块；
模型构建模块，用于获取指定数量的标准动作的图像信息；根据图像信息提取其中人体的关键关节数据，并对关键关节数据进行预处理；并将预处理之后的关键节点数据作为训练集；基于残差网络，以及同时将其与多层卷积和反卷积结合的形式，利用训练集进行模型的训练，以获取训练后的用于进行关键点信息检测的关键点检测子模型。
可选地，在图3所示一种基于深度学习的运动评判指导系统的基础上，
预处理模块302，还用于对图像信息进行动作分解处理，得到用户的每一个动作信息，其中，图像信息包括有至少一个用户根据预设动作指令完成的至少一个动作信息，动作信息中包括至少一个关键点信息。
可选地，在图3所示一种基于深度学习的运动评判指导系统的基础上，对比模块包括：
运算子模块，用于通过如下公式确定对比分数：
其中，G用于表征所述用户p的所述图像信息的对比分数，i用于表征每n个动作信
息中的关键点信息个数，d p2用于表征所述用户p在任一动作信息中的每一个关键点和相对
应的所述标准动作信息中的关键点之间的欧氏距离，
用于表征所述用户p在第n个动作
信息中所占的面积，σ i用于表征第i个关键点的归一化因子，δ（v pi=1）用于表征所述用户p的
第i个关键点在该动作信息上可见，n用于表征所述用户p的图像信息中所包括的动作信息
的数量，t n用于表征第n个标准分析点。
可选地，在图3所示一种基于深度学习的运动评判指导系统的基础上，
对比模块305，还用于判断比对分析结果中的对比分数是否大于预设阈值分数；如果对比分数大于预设阈值分数，则确定对比分数所对应的用户所完成的动作标准；如果对比分数不大于预设阈值分数，则根据与对比分数所对应的用户的关键点信息，确定针对用户的指导建议。
实施例一
为了更加清楚地说明本发明的技术方案及优点，本发明该实施例中提供的一种基于深度学习的运动评判指导方法，所述方法包括以下步骤：
S101，采集用户动作的图像信息。
具体地，当用户跟随播放的标准视频进行运动时，通过摄像头自动采集用户运动的图像信息。其中，所述运动可以是太极或者其他的运动。
S102，对所述图像信息进行预处理。
对所述图像信息进行图像增强处理，变换图像的灰度，使其图像变清晰，对比度增强，边缘特征突出；
进一步地，将处理好的图像进行图像平滑处理，去除加性噪声、乘性噪声和量化噪声；以及进一步地将处理好的图像进行图像锐化处理，使图像中的边缘变的清晰。
S103，检测预处理后的图像信息中的人体的关键点信息。具体地，包括：
S103.1，预先构建检测模型。
本申请首先构建了用于进行检测模型。具体地，本申请应用了开源框架TensorFlow进行网络构建及模型训练。TensorFlow 是谷歌开源的机器学习框架，是目前业界主流的框架工具，具备较为完善的功能。在用于深度学习研究时，可以使用它方便构建自己的模型并训练调优，生成适合工程环境使用的产品。传统的CNN是将卷积层堆叠在一起，而本申请使用的网络模型具有较深的结构，对于人体关键点的特征提取起到了重要作用。其中残差模块可以持续有效的提取特征信息。组合形式的卷积模块组用于逐渐提取人体关键点的信息，反卷积将信息还原到原始输入图片上。残差结构和联合训练的使用可以解决网络加深过程中梯度退化问题，从而成功的训练获得更深的神经网络，并且可以加快训练的速度，同时能够获得更好的表现能力。
本申请构建的模型基于目标检测+单人关键点检测的算法思路，借鉴top-down的分析方法，从何使得关键点检测上具有较高的精度。本申请的算法模型为使用类似yolo网络的结构，对捕捉到的运动画面进行人体目标检测，找到运动中的目标对象。随后将目标对象放入关键点检测环节，该部分分析算法采用了一种基于残差网络的结构形式，将人体关键点检测转化为特征热图的拟合，使用了多层卷积与反卷积结合的形式。
本申请的检测模型实质上是包括：目标检测子模型以及目标个体的关键点检测子模型；其中，所述关键点检测子模型的构建步骤包括：获取指定数量的标准动作的图像信息；根据所述图像信息提取其中人体的关键关节数据，并对所述关键关节数据进行预处理；并将预处理之后的关键节点数据作为训练集； 基于残差网络，以及同时将其与多层卷积和反卷积结合的形式，利用所述训练集进行模型的训练，以获取训练后的用于进行关键点信息检测的关键点检测子模型。
S103.2，利用所述模型对捕捉到的运动画面进行人体目标检测，以获取运动中的目标对象；
S103.3，利用所述模型对所述目标对象进行个体的关键点信息检测。
S104，根据所述个体的关键点信息获取用户动作信息。
S105，将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果。包括：
S105.1，预先获取标准动作信息，并将标准动作信息中的动作分解为基础单元动作；并对所述基础单元动作进行运动范围的标定，并设置合理的运动范围阈值；
S105.2，预先在基础单元动作的起止点及其间选取指定数量的时间点作为标准分析时间点；
S105.3，在进行比对分析时，将标准分析时间点的分别对应的用户动作信息与标准动作信息进行比对分析，以获取比对分析结果。
具体地，例如根据我们已有的标准运动视频，分析制定标准运动规范。首先将复杂运动分解为简单运动的组合，随后根据每个简单动作的特点，将简单动作分解为单元基础动作，基础单元动作是最小的运动单元。随后，对单元基础动作进行标定，以此标定结果作为标准，设立合理的运动范围阈值。随后，在基础单元动作的起止点及其间选取若干合理分布的时间点的动作作为标准分析时间点，用于与用户运动中相应时间点姿态进行比对分析。由上，通过将标准分析时间点的分别对应的用户动作信息与标准动作信息进行比对分析，有利于更加精确地获取比对分析结果。其中，所述比对分析结果，包括：比对分数、比对分析说明及指导建议。其中，获取所述比对分数的算法为：
其中，G表示比对分数；tn表示标准分析点；n表示标准分析点的个数；p表示人体编号；i表示关键点编号；dp2为检测的关键点位置与标注位置的欧式距离；vpi为第p人的第i个关键点的状态；vpi=1表示该关键点的可见性为1（即在图片上可见）；δ(⋅)为克罗内克函数，即只有被标为可见的人体骨骼关键点计入评价指标；s p 2 表示目标用户所占面积大小平方根；σ i 表示第i个关键点的归一化因子。
S106，将所述比对分析结果提供给用户。
其中，所述比对分析结果包括量化运动结果的分数表示和指导建议。在提供给用户之后，可以用于指导用户进行运动（例如太极运动）。有利于用户据此进行动作的学习，以提高对动作的掌握程度。
实施例二
基于实施例一提供的基于深度学习的运动评判指导方法，本申请还提供一种基于深度学习的运动评判指导系统，包括：
采集模块，用于采集用户动作的图像信息；具体用于当用户跟随播放的标准视频进行运动时，自动采集用户运动的图像信息。
预处理模块，用于对所述图像信息进行预处理；具体用于：对所述图像信息进行图像增强处理，变换图像的灰度，使其图像变清晰，对比度增强，边缘特征突出；进一步地，将处理好的图像进行图像平滑处理，去除加性噪声、乘性噪声和量化噪声；以及进一步地将处理好的图像进行图像锐化处理，使图像中的边缘变的清晰。
关键点信息检测模块，用于检测预处理后的图像信息中的人体的关键点信息；其中，所述所述关键点信息检测模块，包括：
目标获取子模块，用于对捕捉到的运动画面进行人体目标检测，以获取运动中的目标对象；
个体关键点信息获取子模块，用于对所述目标对象进行人体的关键点信息检测。
动作信息获取模块，用于根据所述人体的关键点信息获取用户动作信息。
对比模块，用于将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果；具体包括：
基础动作获取子模块，用于将标准动作信息中的动作分解为基础单元动作；并对所述基础单元动作进行运动范围的标定，并设置运动范围阈值；
标准分析时间点获取子模块，用于在基础单元动作的起止点及其间选取指定数量的时间点作为标准分析时间点；
比对子模块，用于将标准分析时间点的分别对应的用户动作信息与标准动作信息进行比对分析，以获取比对分析结果。其中，所述比对分析结果，包括：比对分数、比对分析说明及指导建议。其中，获取所述比对分数的算法为：
其中，G表示比对分数；tn表示标准分析点；n表示标准分析点的个数；p表示人体编号；i表示关键点编号；dp2为检测的关键点位置与标注位置的欧式距离；vpi为第p人的第i个关键点的状态；vpi=1表示该关键点的可见性为1（即在图片上可见）；δ(⋅)为克罗内克函数，即只有被标为可见的人体骨骼关键点计入评价指标；s p 2 表示目标用户所占面积大小平方根；σ i 表示第i个关键点的归一化因子。
显示模块，用于将所述比对分析结果提供给用户。其中，所述比对分析结果包括量化运动结果的分数表示和指导建议。在提供给用户之后，可以用于指导用户进行运动（例如太极运动）。有利于用户据此进行动作的学习，以提高对动作的掌握程度。
综上所述，本申请通过采集用户动作的图像信息，并通过构建的检测模型进行人体目标检测以及进行目标个体的关键点信息检测，进一步的根据所述关键点信息获取用户动作信息且将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果，将比对分析结果提供给用户，有利于用户据此进行动作的学习，以提高对动作的掌握程度。克服了现有技术中针对运动准确性的评判主要依据有经验的专业人士人工判断，这种方法对人的依赖性很高，效率却不高的缺陷。
可以理解的是，本发明实施例示意的结构并不构成对一种基于深度学习的运动评判指导系统的具体限定。在本发明的另一些实施例中，一种基于深度学习的运动评判指导系统可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。
上述系统内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本发明实施例还提供了一种基于深度学习的运动评判指导系统，包括：至少一个存储区和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行本发明任一实施例中的一种基于深度学习的运动评判指导方法。
本发明实施例还提供了一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行本发明任一实施例中的一种基于深度学习的运动评判指导方法。
具体地，可以提供配有存储介质的系统或者系统，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机（或CPU或MPU）读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘（如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW）、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展模块上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种基于深度学习的运动评判指导方法，其特征在于，包括：
A、采集用户动作的图像信息；
B、对所述图像信息进行预处理；
C、检测预处理后的所述图像信息中的人体的关键点信息；
D、根据所述人体的关键点信息获取用户动作信息；
E、将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果；
F、将所述比对分析结果提供给所述用户；
其中，所述步骤B，包括：
对所述图像信息进行动作分解处理，得到所述用户的每一个动作信息，其中，所述图像信息包括有至少一个所述用户根据预设动作指令完成的至少一个动作信息，所述动作信息中包括至少一个所述关键点信息；
所述步骤E，包括：
所述比对分析结果中包括对比分数和指导建议，其中，所述指导建议用于表征对所述用户所完成的动作的指导建议；
所述对比分数通过如下公式确定：
其中，G用于表征所述用户p的所述图像信息的对比分数，i用于表征第n个动作信息中的关键点信息个数，d p2用于表征所述用户p在任一动作信息中的每一个关键点和相对应的所述标准动作信息中的关键点之间的欧氏距离，
用于表征所述用户p在第n个动作信息中所占的面积，σ i用于表征第i个关键点的归一化因子，δ（v pi=1）用于表征所述用户p的第i个关键点在该动作信息上可见，n用于表征所述用户p的图像信息中所包括的动作信息的数量，t n用于表征第n个标准分析点；其中，若关键点在该动作信息上不可见，则该关键点信息不参与所述步骤E中的比对分析过程。
2.根据权利要求1所述的方法，其特征在于，所述步骤C，包括：
C1、对捕捉到的运动画面进行人体目标检测，以获取运动中的目标对象；
C2、对所述目标对象进行人体的关键点信息检测。
3.根据权利要求2所述的方法，其特征在于，所述步骤E包括：
将标准分析时间点对应的用户动作信息与该标准分析时间点对应的标准动作信息进行比对分析，以获取比对分析结果。
4.根据权利要求3所述的方法，其特征在于，所述标准分析时间点的获取方式为：
M1、将标准动作信息中的动作分解为基础单元动作；
M2、在基础单元动作的起止点及起止点之间选取指定数量的时间点作为标准分析时间点。
5.根据权利要求1所述的方法，其特征在于，所述步骤C之前还包括检测模型的构建，所述检测模型包括人体目标检测子模型以及目标个体的关键点检测子模型；其中，所述关键点检测子模型的构建步骤包括：
获取指定数量的标准动作的图像信息；
根据所述图像信息提取其中人体的关键关节数据，并对所述关键关节数据进行预处理；并将预处理之后的关键节点数据作为训练集；
基于残差网络，以及同时将该残差网络与多层卷积和反卷积结合的形式，利用所述训练集进行模型的训练，以获取训练后的用于进行关键点信息检测的关键点检测子模型。
6.根据权利要求1至5中任一所述的方法，其特征在于，所述步骤E，包括：
所述比对分析结果中包括对比分数和指导建议，其中，所述指导建议用于表征对所述用户所完成的动作的指导建议；
判断所述对比分数是否大于预设阈值分数；
如果所述对比分数大于所述预设阈值分数，则确定所述对比分数所对应的所述用户所完成的动作标准；
如果所述对比分数不大于所述预设阈值分数，则根据与所述对比分数所对应的所述用户的关键点信息，确定针对所述用户的指导建议。
7.一种基于深度学习的运动评判指导系统，其特征在于，包括：
采集模块，用于采集用户动作的图像信息；
预处理模块，用于对由所述采集模块采集到的所述图像信息进行预处理；
关键点信息检测模块，用于检测由所述预处理模块预处理后的图像信息中的人体的关键点信息；
动作信息获取模块，用于根据由所述关键点信息检测模块所检测到的所述人体的关键点信息获取用户动作信息；
对比 模块，用于将由所述动作信息获取模块所获取的用户动作信息与标准动作信息进行比对分析，以获取比对分析结果；
显示模块，用于将由所述对比模块所获取的所述比对分析结果提供给用户；
其中，所述预处理模块，还用于对图像信息进行动作分解处理，得到用户的每一个动作信息，其中，图像信息包括有至少一个用户根据预设动作指令完成的至少一个动作信息，动作信息中包括至少一个关键点信息；
所述对比模块包括：
运算子模块，用于通过如下公式确定对比分数：
其中，G用于表征所述用户p的所述图像信息的对比分数，i用于表征第n个动作信息中的关键点信息个数，d p2用于表征所述用户p在任一动作信息中的每一个关键点和相对应的所述标准动作信息中的关键点之间的欧氏距离，
用于表征所述用户p在第n个动作信息中所占的面积，σ i用于表征第i个关键点的归一化因子，δ（v pi=1）用于表征所述用户p的第i个关键点在该动作信息上可见，n用于表征所述用户p的图像信息中所包括的动作信息的数量，t n用于表征第n个标准分析点；其中，若关键点在该动作信息上不可见，则该关键点信息不参与所述比对模块的比对分析过程。
8.根据权利要求7所述的系统，其特征在于，所述关键点信息检测模块，包括：
目标获取子模块，用于对捕捉到的运动画面进行人体目标检测，以获取运动中的目标对象；
个体关键点信息获取子模块，用于对所述目标对象进行人体的关键点信息检测。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911143087.7A CN111126143A (zh) | 2019-11-20 | 2019-11-20 | 一种基于深度学习的运动评判指导方法及系统 |
| CN2019111430877 | 2019-11-20 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112101315A CN112101315A (zh) | 2020-12-18 |
| CN112101315B true CN112101315B (zh) | 2021-02-19 |
Family
ID=70495866
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911143087.7A Pending CN111126143A (zh) | 2019-11-20 | 2019-11-20 | 一种基于深度学习的运动评判指导方法及系统 |
| CN202011281718.4A Active CN112101315B (zh) | 2019-11-20 | 2020-11-17 | 一种基于深度学习的运动评判指导方法和系统 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911143087.7A Pending CN111126143A (zh) | 2019-11-20 | 2019-11-20 | 一种基于深度学习的运动评判指导方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN111126143A (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112733605A (zh) * | 2020-12-11 | 2021-04-30 | 上海明略人工智能(集团)有限公司 | 基于机器视觉的泳姿训练方法及系统 |
| CN112926440A (zh) * | 2021-02-22 | 2021-06-08 | 北京市商汤科技开发有限公司 | 动作比对方法、装置、电子设备及存储介质 |
| CN113420625A (zh) * | 2021-06-15 | 2021-09-21 | 北京信安通靶场装备科技有限公司 | 一种运动物体图像分析方法及电子设备 |
| CN114974538B (zh) * | 2022-07-11 | 2023-12-22 | 广东安护通信息科技有限公司 | 一种基于大数据的病房护理预警管理系统 |
| CN115083020B (zh) * | 2022-07-22 | 2022-11-01 | 海易科技(北京)有限公司 | 信息生成方法、装置、电子设备和计算机可读介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8175326B2 (en) * | 2008-02-29 | 2012-05-08 | Fred Siegel | Automated scoring system for athletics |
| CN105512621B (zh) * | 2015-11-30 | 2019-04-09 | 华南理工大学 | 一种基于Kinect的羽毛球动作指导系统 |
| CN105930767B (zh) * | 2016-04-06 | 2019-05-17 | 南京华捷艾米软件科技有限公司 | 一种基于人体骨架的动作识别方法 |
| CN109472228A (zh) * | 2018-10-29 | 2019-03-15 | 上海交通大学 | 一种基于深度学习的哈欠检测方法 |
| CN109635644A (zh) * | 2018-11-01 | 2019-04-16 | 北京健康有益科技有限公司 | 一种用户动作的评价方法、装置和可读介质 |
| CN110309722B (zh) * | 2019-06-03 | 2023-04-18 | 辽宁师范大学 | 基于动作热点图的体育运动视频动作识别方法 |
-
2019
- 2019-11-20 CN CN201911143087.7A patent/CN111126143A/zh active Pending
-
2020
- 2020-11-17 CN CN202011281718.4A patent/CN112101315B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111126143A (zh) | 2020-05-08 |
| CN112101315A (zh) | 2020-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112101315B (zh) | 一种基于深度学习的运动评判指导方法和系统 | |
| CN108256433B (zh) | 一种运动姿态评估方法及系统 | |
| CN112184705B (zh) | 一种基于计算机视觉技术的人体穴位识别、定位及应用系统 | |
| CN110738101B (zh) | 行为识别方法、装置及计算机可读存储介质 | |
| CN108764120B (zh) | 一种人体规范动作评价方法 | |
| CN110674785A (zh) | 一种基于人体关键点跟踪的多人姿态分析方法 | |
| US8824802B2 (en) | Method and system for gesture recognition | |
| Chaudhari et al. | Yog-guru: Real-time yoga pose correction system using deep learning methods | |
| CN108647663B (zh) | 基于深度学习和多层次图结构模型的人体姿态估计方法 | |
| CN111160134A (zh) | 一种以人为主体的视频景别分析方法和装置 | |
| CN110688929B (zh) | 一种人体骨架关节点定位方法及装置 | |
| CN109308437B (zh) | 动作识别纠错方法、电子设备、存储介质 | |
| CN111931869B (zh) | 一种人机自然交互的用户注意力检测方法及系统 | |
| WO2017161734A1 (zh) | 通过电视和体感配件矫正人体动作及系统 | |
| JP2009157767A (ja) | 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体 | |
| CN115331777A (zh) | 动作评估方法、装置、电子设备及计算机可读存储介质 | |
| CN115331314A (zh) | 一种基于app筛查功能的运动效果评估方法和系统 | |
| CN110516638A (zh) | 一种基于轨迹和随机森林的手语识别方法 | |
| CN110070036B (zh) | 辅助运动动作训练的方法、装置及电子设备 | |
| CN111325198B (zh) | 视频对象特征提取方法和装置、视频对象匹配方法和装置 | |
| CN116704603A (zh) | 一种基于肢体关键点分析的动作评估纠正方法及系统 | |
| CN115116087A (zh) | 一种动作考核方法、系统、存储介质和电子设备 | |
| CN113627255A (zh) | 一种小鼠行为量化分析方法、装置、设备及可读存储介质 | |
| CN114639138A (zh) | 基于生成对抗网络的新生儿疼痛表情识别方法 | |
| Wang et al. | A 3D guitar fingering assessing system based on CNN-hand pose estimation and SVR-assessment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |