CN117275092A - 一种智能滑雪动作评估方法、系统、设备及介质 - Google Patents
一种智能滑雪动作评估方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN117275092A CN117275092A CN202311301207.8A CN202311301207A CN117275092A CN 117275092 A CN117275092 A CN 117275092A CN 202311301207 A CN202311301207 A CN 202311301207A CN 117275092 A CN117275092 A CN 117275092A
- Authority
- CN
- China
- Prior art keywords
- skiing
- skier
- image
- action
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009471 action Effects 0.000 title claims abstract description 147
- 238000011156 evaluation Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012544 monitoring process Methods 0.000 claims abstract description 27
- 238000010586 diagram Methods 0.000 claims description 17
- 238000013145 classification model Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims 1
- 230000006872 improvement Effects 0.000 abstract description 5
- 230000002349 favourable effect Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000001674 Agaricus brunnescens Nutrition 0.000 description 1
- 241001166076 Diapheromera femorata Species 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001373 regressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Image Analysis (AREA)
Abstract
一种智能滑雪动作评估方法、系统、设备及介质，涉及智能滑雪领域。在该方法中，包括以下步骤：获取由滑雪者上传的滑雪者图像；根据滑雪者图像在雪道监控视频中截取包含有滑雪者的滑雪视频；根据滑雪者图像在滑雪视频中对滑雪者进行追踪框选，提取滑雪者的滑雪动作图像；在滑雪动作图像中确定出至少一个关键动作图像；对关键动作图像进行评价，根据评价结果生成滑雪评估报告。通过采用本申请提供的技术方案，通过对滑雪者在进行滑雪运动时的全程监控，给出合理的滑雪评估报告，有利于全面的对于滑雪者的动作细节和改进空间进行评估。
Description
技术领域
本申请涉及智能滑雪领域，尤其是涉及一种智能滑雪动作评估方法、系统、设备及介质。
背景技术
滑雪运动是一项冬季户外活动，吸引了一大批人开始进行滑雪运动，滑雪运动目前有愈发流行的趋势。
在进行滑雪运动时，正确的滑雪动作是保障滑雪安全的基础，当新人刚刚开始进行滑雪运动时，通常需要进行滑雪动作的学习。目前，传统滑雪教学依靠教练的直接指导，但这种指导往往仅限于有限的观察时间和经验，教练也无法时刻对滑雪者在雪场的滑雪动作进行指导矫正，也难以就滑雪者在滑雪运动全程的滑雪动作提出改进建议。
发明内容
为了解决目前传统的滑雪教学无法全面评估滑雪者的动作细节和改进空间的问题，本申请提供一种智能滑雪动作评估方法、系统、设备及介质。
第一方面，本申请提供了一种智能滑雪动作评估方法，所述方法包括以下步骤：
获取由滑雪者上传的滑雪者图像；
根据所述滑雪者图像在雪道监控视频中截取包含有滑雪者的滑雪视频；
根据所述滑雪者图像在所述滑雪视频中对滑雪者进行追踪框选，提取滑雪者的滑雪动作图像；
在所述滑雪动作图像中确定出至少一个关键动作图像；
对所述关键动作图像进行评价，根据评价结果生成滑雪评估报告。
通过采用上述技术方案，在滑雪者进行滑雪的过程中实时在雪道监控视频中对滑雪者进行追踪，从而确定滑雪者的滑雪动作图像，并对滑雪动作图像进行分析评价，最终对滑雪者的滑雪动作做出评估。通过对滑雪者在进行滑雪运动时的全程监控，给出合理的滑雪评估报告，有利于全面的对于滑雪者的动作细节和改进空间进行评估。
可选的，在根据所述滑雪者图像在雪道监控视频中截取包含有滑雪者的滑雪视频中，具体包括：
根据所述滑雪者图像提取滑雪者特征；
对所述雪道监控视频中包含的全部人体对象进行识别，并分别提取识别出的各所述人体对象的人体特征；
分别计算所述滑雪者特征与各所述人体特征之间的特征相似度；
截取包含有相似人体对象的所述雪道监控视频的视频片段作为所述滑雪视频，所述相似人体对象的所述人体特征与所述滑雪者特征之间的所述特征相似度大于设定阈值。
通过采用上述技术方案，完成了对特定人员的滑雪视频的获取，避免了雪道监控视频中的其他滑雪者的滑雪影像对滑雪者的动作评估产生影响，保证滑雪评估报告的准确性。
可选的，在根据所述滑雪者图像在所述滑雪视频中对滑雪者进行追踪框选，提取滑雪者的滑雪动作图像中，具体包括：
将所述滑雪者特征与所述滑雪视频输入预置的追踪模型，在所述滑雪视频中对滑雪者进行定位；
根据定位结果在滑雪者周围实时生成定位框；
截取所述滑雪视频的每一视频帧中被所述定位框框选的图像作为所述滑雪动作图像。
通过采用上述技术方案，只截取包含特定滑雪者的滑雪动作图像，避免背景等其他因素对滑雪动作的评估造成影响，进一步保证滑雪评估报告的准确性。
可选的，所述追踪模型为Siamese-RPN目标追踪模型。
通过采用上述技术方案，Siamese-RPN（Siamese Region Proposal Network）是一种用于目标跟踪的模型，结合了孪生网络和区域建议网络的方法，通过Siamese-RPN目标追踪模型对特定滑雪者进行追踪，保证目标追踪的速度与准确性。
可选的，在所述滑雪动作图像中确定出至少一个关键动作图像，具体包括：
将滑雪动作图像输入预置的人体关键点提取模型，识别所述滑雪动作图像中滑雪者的人体关键点；
根据识别出的所述人体关键点构建骨架时空图；
通过预置的动作分类模型对所述骨架时空图进行分析，识别出关键动作；
根据识别出的所述关键动作确定所述关键动作图像。
可选的，在对所述关键动作图像进行评价，根据评价结果生成滑雪评估报告中，具体包括：
所述滑雪评估报告包括滑雪动作评估信息，将所述关键动作图像与预置的标准关键动作图像进行比对；
根据比对结果输出所述滑雪动作评估信息。
可选的，所述滑雪评估报告还包括滑雪装备评估信息，获取滑雪者的历史滑雪数据；
根据所述历史滑雪数据对滑雪者的滑雪经验进行评价，确定滑雪者的滑雪等级；
根据所述滑雪等级确定滑雪者在所述滑雪等级的匹配滑雪装备信息；
根据所述滑雪者图像识别滑雪者的当前滑雪装备信息；
比对所述匹配滑雪装备信息与所述当前滑雪装备信息，根据比对结果确定所述滑雪装备评估信息。
通过采用上述技术方案，根据滑雪者的滑雪经验对滑雪者当前穿戴的滑雪装备进行评价，为滑雪者提供合理的装备穿戴建议，从而进一步保证滑雪者在进行滑雪运动时的安全。
在本申请的第二方面提供了一种智能滑雪动作评估系统，所述系统包括以下模块：
滑雪者图像获取模块，用于获取由滑雪者上传的滑雪者图像；
滑雪视频获取模块，用于根据所述滑雪者图像在雪道监控视频中截取包含有滑雪者的滑雪视频；
滑雪动作图像获取模块，用于根据所述滑雪者图像在所述滑雪视频中对滑雪者进行追踪框选，提取滑雪者的滑雪动作图像；
关键动作图像获取模块，用于在所述滑雪动作图像中确定出至少一个关键动作图像；
关键动作图像评价模块，用于对所述关键动作图像进行评价，根据评价结果生成滑雪评估报告。
在本申请的第三方面提供了一种电子设备；
所述电子设备包括处理器、存储器、用户接口及网络接口，所述存储器用于存储指令，所述用户接口和网络接口用于给其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行一种智能滑雪动作评估方法。
在本申请的第四方面提供了一种计算机可读存储介质；
所述计算机可读存储介质存储有指令，当所述指令被执行时，执行一种智能滑雪动作评估方法。
综上所述，本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
1、在滑雪者进行滑雪的过程中实时在雪道监控视频中对滑雪者进行追踪，从而确定滑雪者的滑雪动作图像，并对滑雪动作图像进行分析评价，最终对滑雪者的滑雪动作做出评估。通过对滑雪者在进行滑雪运动时的全程监控，给出合理的滑雪评估报告，有利于全面的对于滑雪者的动作细节和改进空间进行评估。
2、根据滑雪者的滑雪经验对滑雪者当前穿戴的滑雪装备进行评价，为滑雪者提供合理的装备穿戴建议，从而进一步保证滑雪者在进行滑雪运动时的安全。
附图说明
图1是本申请实施例提供的一种智能滑雪动作评估方法的实施场景示意图。
图2是本申请实施例提供的一种智能滑雪动作评估方法的流程示意图。
图3是本申请实施例公开的一种智能滑雪动作评估系统的结构示意图。
图4是本申请实施例的公开的一种电子设备的结构示意图。
附图标记说明：301、滑雪者图像获取模块；302、滑雪视频获取模块；303、滑雪动作图像获取模块；304、关键动作图像获取模块；305、关键动作图像评价模块；400、电子设备；401、处理器；402、通信总线；403、用户接口；404、网络接口；405、存储器。
具体实施方式
为了使本领域的技术人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。
在本申请实施例的描述中，“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中，术语“多个”的含义是指两个或两个以上。例如，多个系统是指两个或两个以上的系统，多个屏幕终端是指两个或两个以上的屏幕终端。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
参照图1，本申请提供的一种智能滑雪动作评估方法运用于滑雪运动场景中，在雪道上布置有多个雪场监控设备，通过对各个雪场监控设备的拍摄角度的设置，可以获取到雪道上进行滑雪运动的全部滑雪者的运动视频，即为雪道监控视频。
当滑雪者开始进行滑雪运动时，可以在随身携带的智能终端上输入运动开始指令，智能终端将响应于运动开始指令接入雪场设置的滑雪监控系统的后端服务器，从后端服务器中获取相关数据，雪道监控设备获取到的雪道监控视频同样将被传输至后端服务器进行处理。
在本申请一种可行的实施例中，在智能终端上为滑雪者提供用于进行前端交互的前端应用，前端应用可以以智能滑雪APP的形式向滑雪者提供相关服务，这些服务包括后续实施例中提及的滑雪动作评估服务与滑雪装备评估服务，同时，还可以向滑雪者提供GPS滑雪定位服务、滑雪社区服务、救援服务等等与滑雪运动相关的智能服务。
参照图2，本申请提供了一种智能滑雪动作评估方法，该方法具体包括以下步骤：
S1：获取由滑雪者上传的滑雪者图像；
具体的，当滑雪者开始进行滑雪运动前，通过智能终端拍摄滑雪者图像，将拍摄的滑雪者图像上传至后端服务器，后端服务器将对上传的滑雪者图像进行获取。
可选的，滑雪者还可以通过雪场设置的滑雪者图像拍摄装置对滑雪者图像进行拍摄。
滑雪者图像具体包括滑雪者正面图像与滑雪者背面图像，在滑雪者自行拍摄滑雪者图像时，需对滑雪者图像的有效性进行检验，保证滑雪者图像包含有滑雪者的全身图像，从而为后续步骤提供有效的数据支持。
S2：根据滑雪者图像在雪道监控视频中截取包含有滑雪者的滑雪视频；
具体的，雪道监控视频有多个，各个雪道监控视频均记录了该雪道上全部滑雪者的滑雪视频，因此需要在全部雪道监控视频中选取出包含有当前上传滑雪者图像的滑雪者的滑雪视频。
根据获取到的滑雪者图像提取滑雪者特征，滑雪者特征将对特定人员进行描述与表征，每个特定的滑雪者存在有与其唯一对应的滑雪者特征；对雪道监控视频中包含的全部人体对象进行识别，同时提取各个人体对象的人体特征，对于人体对象的识别可以通过ROI感兴趣区域算法实现。在本申请一种可行的实施例中，滑雪者特征为滑雪者图像对应的图像特征，人体特征为人体对象对应的图像特征。
分别计算滑雪者特征与各个人体特征之间的特征相似度，从而确定滑雪者与雪道监控视频中存在的大量人体对象之间的相似性，特征相似度通过余弦向量相似度确定。
截取包含有相似人体对象的雪道监控视频的视频片段作为滑雪视频，相似人体对象的人体特征与滑雪者特征之间的特征相似度大于设定阈值，在本申请一种可行的实施例中，设定阈值取为90%。
S3：根据滑雪者图像在滑雪视频中对滑雪者进行追踪框选，提取滑雪者的滑雪动作图像；
具体的，在滑雪视频中包含有滑雪者图像对应的滑雪者，同时还包含有其他滑雪者，因此需要对滑雪者图像对应的滑雪者进行追踪，截取其对应的滑雪动作图像，滑雪动作图像中仅包含有滑雪者图像对应的滑雪者。
将由滑雪者图像提取出的滑雪者特征与获取到的滑雪视频输入预置的追踪模型，在滑雪视频中对滑雪者图像对应的滑雪者进行追踪定位。在本申请一种优选的实施例中，追踪模型使用Siamese-RPN目标追踪模型。
Siamese-RPN（Siamese Region Proposal Network）目标追踪模型是一种用于目标跟踪的模型，其结合了孪生网络和区域建议网络的方法，能够在追踪对象附近生成候选框，从而在输入的视频列中对追踪目标进行追踪，目标追踪模型的具体目标追踪过程如下：
Step1：选择初始帧中的目标物体作为模板，提取目标物体的特征表示。这可以通过使用预训练的卷积神经网络（例如，基于ImageNet的模型）来提取特征，或者通过自定义的网络结构进行提取。
Step2：将滑雪者图像作为搜索图像，并获取滑雪者图像对应的滑雪者特征。
Step3：使用相似度计算方法（例如，余弦相似度或欧氏距离），比较模板特征和搜索特征之间的相似度。通常，可以使用孪生网络的两个分支来提取模板和搜索图像的特征表示，并计算它们之间的相似度得分。
Step4：基于相似度得分，使用区域建议网络（RPN）生成候选框或候选区域。RPN根据相似度得分和位置信息，提供一系列可能包含目标的候选框。
Step5：在生成的候选框上，进行目标分类和位置回归。目标分类器用于判断候选框中是否包含目标物体，位置回归器用于精确定位目标的位置。这些分类和回归模块通常基于深度学习的网络结构，如卷积神经网络（CNN）。
Step6：根据分类和回归的结果，确定目标的位置和边界框。将所得位置信息作为新的模板输入到孪生网络中，继续进行模板图像和搜索图像的处理和相似度计算。这样可以实现目标的连续跟踪和更新，使得目标在视频序列中稳定地被跟踪。
在经过目标追踪模型的处理后，滑雪视频中添加有多个定位框，每个定位框框选的对象即为滑雪者图像对应的滑雪者。将滑雪视频拆分成视频帧，分别截取每一视频帧中定位框框选的区域，从而获取到滑雪动作图像。
S4：在滑雪动作图像中确定出至少一个关键动作图像；
具体的，将截取出的多张滑雪动作图像输入预置的人体关键点提取模型，提取出滑雪动作图像中滑雪者的人体关键点，在本申请预置优选的实施例中，通过OpenPose进行人体关键点的识别。
OpenPose是由美国卡耐基梅隆大学基于卷积神经网络和监督学习算法开发的一个用于检测2D图片中人体关键点(面部，四肢等)的开源实时系统，它使用了自下而上的人体关键点信息识别，即寻找出人体的各个部位，再通过部分亲和域连接各部分。
根据识别出的人体关键点构建滑雪者的骨架时空图，具体来说，骨架时空图对滑雪者的滑雪动作进行抽象处理，将滑雪者简化为躯干-四肢的抽象身体结构，专注于对滑雪者的滑雪动作的描述。
通过预置的动作分类模型对骨架时空图进行分析，从而识别出关键动作。具体来说，动作分类模型为一个多分类器，对于输入的骨架时空图，动作分类模型将自动对骨架时空图进行识别，将骨架时空图划分至预置的动作类别中。在本申请一种可行的实施例中，动作类别具体包括平地滑行、平行直滑降、犁式直滑降、犁式制动、半犁式转弯、犁式转弯(深弧)、平行转弯(中弯)、变向横滑降、点仗小弯滑行、大弯刻滑、蘑菇雪道滑行以及无意义动作共12个类型，动作分类模型可以采用STGCN模型。
通过动作分类模型的动作分类，将滑雪动作图像划分为多个动作类别，根据预置的关键动作选取标准在滑雪动作图像中选取出关键动作图像。需要说明的是，关键动作选取标准可以由滑雪者进行自行设置，例如，当前滑雪者希望对点仗小弯滑行与大弯刻滑两个动作进行学习与矫正，那么即可将关键动作选取标准设置为点仗小弯滑行与大弯刻滑。
S5：对关键动作图像进行评价，根据评价结果生成滑雪评估报告。
具体的，获取关键动作图像对应的标准关键动作图像，将关键动作图像与标准关键动作图像进行比对，根据比对结果得出当前滑雪者的滑雪动作评估信息。
在进行比对时，可以采用图像相似度的比对方法，但优选的，可以获取关键动作图像对应的骨架时空图与标准关键动作图像对应的骨架时空图，就骨架时空图进行比对，从而进一步提升动作评估的准确性。
此外，滑雪评估报告中还包含有滑雪装备评估信息，滑雪装备评估信息是对滑雪者的当前穿戴装备的合适与否与正确与否的描述信息。
获取滑雪者的历史滑雪数据，历史滑雪数据具体包括滑雪时长、滑雪动作标准值以及滑雪里程，根据历史滑雪数据评估滑雪者的滑雪等级，再获取滑雪者当前滑雪等级对应的匹配滑雪装备信息。可以理解的是，匹配滑雪装备信息是基于滑雪者的滑雪经验得出的最适合滑雪者的滑雪装备，匹配滑雪装备信息与滑雪等级的具体匹配方法可以通过专家经验得出，也可以基于大数据手段分析得出。
根据在前述步骤中获取的滑雪者图像识别滑雪者的当前装备信息，将当前滑雪装备信息与匹配滑雪装备信息进行比对，根据比对结果的得出滑雪装备评估信息，从而为滑雪者的滑雪装备选取提供参考意见。
参照图3，本申请还提供了一种智能滑雪动作评估系统，该系统具体包括以下模块：
滑雪者图像获取模块301，用于获取由滑雪者上传的滑雪者图像；
滑雪视频获取模块302，用于根据滑雪者图像在雪道监控视频中截取包含有滑雪者的滑雪视频；
滑雪动作图像获取模块303，用于根据滑雪者图像在滑雪视频中对滑雪者进行追踪框选，提取滑雪者的滑雪动作图像；
关键动作图像获取模块304，用于在滑雪动作图像中确定出至少一个关键动作图像；
关键动作图像评价模块305，用于对关键动作图像进行评价，根据评价结果生成滑雪评估报告。
需要说明的是：上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置和方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请还公开一种电子设备400。参照图4，图4是本申请实施例的公开的一种电子设备400的结构示意图。该电子设备400可以包括：至少一个处理器401，至少一个网络接口404，用户接口403，存储器405，至少一个通信总线402。
其中，通信总线402用于实现这些组件之间的连接通信。
其中，用户接口403可以包括显示屏（Display）、摄像头（Camera），可选用户接口403还可以包括标准的有线接口、无线接口。
其中，网络接口404可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。
其中，处理器401可以包括一个或者多个处理核心。处理器401利用各种接口和线路连接整个服务器内的各个部分，通过运行或执行存储在存储器405内的指令、程序、代码集或指令集，以及调用存储在存储器405内的数据，执行服务器的各种功能和处理数据。可选的，处理器401可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable LogicArray，PLA）中的至少一种硬件形式来实现。处理器401可集成中央处理器（CentralProcessing Unit，CPU）、图像处理器（Graphics Processing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器401中，单独通过一块芯片进行实现。
其中，存储器405可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。可选的，该存储器405包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器405可用于存储指令、程序、代码、代码集或指令集。存储器405可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及的数据等。存储器405可选的还可以是至少一个位于远离前述处理器401的存储装置。参照图4，作为一种计算机存储介质的存储器405中可以包括操作系统、网络通信模块、用户接口模块以及一种智能滑雪动作评估方法的应用程序。
在图4所示的电子设备400中，用户接口403主要用于为用户提供输入的接口，获取用户输入的数据；而处理器401可以用于调用存储器405中存储一种智能滑雪动作评估方法的应用程序，当由一个或多个处理器401执行时，使得电子设备400执行如上述实施例中一个或多个所述的方法。需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必需的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几种实施方式中，应该理解到，所披露的装置，可通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其他的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器405中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器405中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例方法的全部或部分步骤。而前述的存储器405包括：U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践真理的公开后，将容易想到本公开的其他实施方案。
本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。
Claims (10)
1.一种智能滑雪动作评估方法，其特征在于，所述方法包括以下步骤：
获取由滑雪者上传的滑雪者图像；
根据所述滑雪者图像在雪道监控视频中截取包含有滑雪者的滑雪视频；
根据所述滑雪者图像在所述滑雪视频中对滑雪者进行追踪框选，提取滑雪者的滑雪动作图像；
在所述滑雪动作图像中确定出至少一个关键动作图像；
对所述关键动作图像进行评价，根据评价结果生成滑雪评估报告。
2.根据权利要求1所述的智能滑雪动作评估方法，其特征在于，在根据所述滑雪者图像在雪道监控视频中截取包含有滑雪者的滑雪视频中，具体包括：
根据所述滑雪者图像提取滑雪者特征；
对所述雪道监控视频中包含的全部人体对象进行识别，并分别提取识别出的各所述人体对象的人体特征；
分别计算所述滑雪者特征与各所述人体特征之间的特征相似度；
截取包含有相似人体对象的所述雪道监控视频的视频片段作为所述滑雪视频，所述相似人体对象的所述人体特征与所述滑雪者特征之间的所述特征相似度大于设定阈值。
3.根据权利要求1所述的智能滑雪动作评估方法，其特征在于，在根据所述滑雪者图像在所述滑雪视频中对滑雪者进行追踪框选，提取滑雪者的滑雪动作图像中，具体包括：
将所述滑雪者特征与所述滑雪视频输入预置的追踪模型，在所述滑雪视频中对滑雪者进行定位；
根据定位结果在滑雪者周围实时生成定位框；
截取所述滑雪视频的每一视频帧中被所述定位框框选的图像作为所述滑雪动作图像。
4.根据权利要求3所述的智能滑雪动作评估方法，其特征在于：
所述追踪模型为Siamese-RPN目标追踪模型。
5.根据权利要求1所述的智能滑雪动作评估方法，其特征在于，在所述滑雪动作图像中确定出至少一个关键动作图像，具体包括：
将滑雪动作图像输入预置的人体关键点提取模型，识别所述滑雪动作图像中滑雪者的人体关键点；
根据识别出的所述人体关键点构建骨架时空图；
通过预置的动作分类模型对所述骨架时空图进行分析，识别出关键动作；
根据识别出的所述关键动作确定所述关键动作图像。
6.根据权利要求1所述的智能滑雪动作评估方法，其特征在于，在对所述关键动作图像进行评价，根据评价结果生成滑雪评估报告中，具体包括：
所述滑雪评估报告包括滑雪动作评估信息，将所述关键动作图像与预置的标准关键动作图像进行比对；
根据比对结果输出所述滑雪动作评估信息。
7.根据权利要求6所述的智能滑雪动作评估方法，其特征在于：
所述滑雪评估报告还包括滑雪装备评估信息，获取滑雪者的历史滑雪数据；
根据所述历史滑雪数据对滑雪者的滑雪经验进行评价，确定滑雪者的滑雪等级；
根据所述滑雪等级确定滑雪者在所述滑雪等级的匹配滑雪装备信息；
根据所述滑雪者图像识别滑雪者的当前滑雪装备信息；
比对所述匹配滑雪装备信息与所述当前滑雪装备信息，根据比对结果确定所述滑雪装备评估信息。
8.一种智能滑雪动作评估系统，其特征在于，所述系统包括：
滑雪者图像获取模块(301)，用于获取由滑雪者上传的滑雪者图像；
滑雪视频获取模块(302)，用于根据所述滑雪者图像在雪道监控视频中截取包含有滑雪者的滑雪视频；
滑雪动作图像获取模块(303)，用于根据所述滑雪者图像在所述滑雪视频中对滑雪者进行追踪框选，提取滑雪者的滑雪动作图像；
关键动作图像获取模块(304)，用于在所述滑雪动作图像中确定出至少一个关键动作图像；
关键动作图像评价模块(305)，用于对所述关键动作图像进行评价，根据评价结果生成滑雪评估报告。
9.一种电子设备，其特征在于，包括处理器(401)、存储器(405)、用户接口(403)及网络接口(404)，所述存储器(405)用于存储指令，所述用户接口(403)和网络接口(404)用于给其他设备通信，所述处理器(401)用于执行所述存储器(405)中存储的指令，以使所述电子设备(400)执行如权利要求1-7任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令被执行时，执行如权利要求1-7任意一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311301207.8A CN117275092A (zh) | 2023-10-09 | 2023-10-09 | 一种智能滑雪动作评估方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311301207.8A CN117275092A (zh) | 2023-10-09 | 2023-10-09 | 一种智能滑雪动作评估方法、系统、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117275092A true CN117275092A (zh) | 2023-12-22 |
Family
ID=89200669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311301207.8A Pending CN117275092A (zh) | 2023-10-09 | 2023-10-09 | 一种智能滑雪动作评估方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117275092A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190311649A1 (en) * | 2018-04-05 | 2019-10-10 | Snofolio Corp. | Learning Management System for Task-Based Objectives |
| CN112819852A (zh) * | 2019-11-15 | 2021-05-18 | 微软技术许可有限责任公司 | 对基于姿态的运动进行评估 |
| CN114611600A (zh) * | 2022-03-09 | 2022-06-10 | 安徽大学 | 一种基于自监督技术的滑雪运动员三维姿态估计方法 |
| CN115346273A (zh) * | 2022-08-18 | 2022-11-15 | 安徽大学 | 雪上运动信息监测方法及相关装置 |
-
2023
- 2023-10-09 CN CN202311301207.8A patent/CN117275092A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190311649A1 (en) * | 2018-04-05 | 2019-10-10 | Snofolio Corp. | Learning Management System for Task-Based Objectives |
| CN112819852A (zh) * | 2019-11-15 | 2021-05-18 | 微软技术许可有限责任公司 | 对基于姿态的运动进行评估 |
| WO2021096669A1 (en) * | 2019-11-15 | 2021-05-20 | Microsoft Technology Licensing, Llc | Assessing a pose-based sport |
| CN114611600A (zh) * | 2022-03-09 | 2022-06-10 | 安徽大学 | 一种基于自监督技术的滑雪运动员三维姿态估计方法 |
| CN115346273A (zh) * | 2022-08-18 | 2022-11-15 | 安徽大学 | 雪上运动信息监测方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11941915B2 (en) | Golf game video analytic system | |
| US20200193671A1 (en) | Techniques for rendering three-dimensional animated graphics from video | |
| CN105160318B (zh) | 基于面部表情的测谎方法及系统 | |
| CN110945522B (zh) | 一种学习状态的判断方法、装置及智能机器人 | |
| US9846845B2 (en) | Hierarchical model for human activity recognition | |
| CN110276309B (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
| JP6148480B2 (ja) | 画像処理装置、画像処理方法 | |
| CN108205684B (zh) | 图像消歧方法、装置、存储介质和电子设备 | |
| Chen et al. | LSTM with bio inspired algorithm for action recognition in sports videos | |
| Zhu | Computer Vision‐Driven Evaluation System for Assisted Decision‐Making in Sports Training | |
| US20110150283A1 (en) | Apparatus and method for providing advertising content | |
| US11551407B1 (en) | System and method to convert two-dimensional video into three-dimensional extended reality content | |
| JP2022542566A (ja) | オブジェクト追跡方法及び装置、記憶媒体並びにコンピュータプログラム | |
| CN113505662A (zh) | 一种健身指导方法、装置及存储介质 | |
| Yang et al. | Research on face recognition sports intelligence training platform based on artificial intelligence | |
| CN111950507B (zh) | 数据处理和模型训练方法、装置、设备及介质 | |
| CN111680608B (zh) | 一种基于视频分析的智慧体育辅助训练系统及训练方法 | |
| CN115475373B (zh) | 运动数据的展示方法、装置、存储介质及电子装置 | |
| CN112257628A (zh) | 一种户外比赛运动员的身份识别方法、装置及设备 | |
| CN117275092A (zh) | 一种智能滑雪动作评估方法、系统、设备及介质 | |
| CN111491179A (zh) | 一种游戏视频剪辑方法和装置 | |
| CN111027510A (zh) | 行为检测方法及装置、存储介质 | |
| CN113420667B (zh) | 人脸活体检测方法、装置、设备及介质 | |
| CN115439925A (zh) | 动作评分方法、终端及计算机可读存储介质 | |
| US20210287051A1 (en) | Methods and systems for recognizing object using machine learning model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |