CN115331777A - 动作评估方法、装置、电子设备及计算机可读存储介质 - Google Patents
动作评估方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115331777A CN115331777A CN202210955485.4A CN202210955485A CN115331777A CN 115331777 A CN115331777 A CN 115331777A CN 202210955485 A CN202210955485 A CN 202210955485A CN 115331777 A CN115331777 A CN 115331777A
- Authority
- CN
- China
- Prior art keywords
- action
- evaluated
- video
- standard
- key frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009471 action Effects 0.000 title claims abstract description 448
- 238000011156 evaluation Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000033001 locomotion Effects 0.000 claims description 96
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 17
- 230000001629 suppression Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 18
- 238000005070 sampling Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 210000001624 hip Anatomy 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000005266 casting Methods 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000037081 physical activity Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Computing Systems (AREA)
- Physical Education & Sports Medicine (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明实施例提出一种动作评估方法、装置、电子设备及计算机可读存储介质，属于数据处理领域，方法包括：对待评估动作视频进行分析检测，得到关键点视频，针对每个待评估动作，基于待评估动作的起始时刻，从关键点视频中抽取出该待评估动作的关键帧，得到该待评估动作的关键帧集合，针对每个待评估动作，获取待评估动作对应的标准关键帧集合，根据待评估动作的关键帧集合和标准关键帧集合，分析得到待评估动作的评分，从而根据所有待评估动作的评分，得到待评估动作视频的评分，实现对待评估动作视频的客观评分和数字化评价，便于快速且客观地对待评估动作视频进行评价。
Description
技术领域
本发明涉及数据处理领域，具体而言，涉及一种动作评估方法、装置、电子设备及计算机可读存储介质。
背景技术
运动是一种涉及体力和技巧的一套规则，又有习惯所约束的行为活动，通常具有竞争性。体育运动是在人类发展过程中逐步开展起来的有意识地对自己身体素质的培养的各种活动，包括走、跑、跳、投和舞蹈等多种形式的身体活动。体育运动具有强身健体、娱乐，另外还有教育、政治、经济等功能。
传统的运动训练依赖于教练或裁判对选手运动动作的主观判断，缺乏客观的数字化评判标准。而现有的动作定位方法只能在一段长视频中确定出具体运动动作的发生时间和结束时间，以及该运动考试动作的类别，不能精确的识别出该考生或运动员的动作是否标准，不能有效地给出评判。故而，提供一种能够客观且准确地评价运动动作的方法很有必要。
发明内容
有鉴于此，本发明的目的在于提供一种动作评估方法、装置、电子设备及计算机可读存储介质，其能够在待评估动作视频中确定出每个待评估动作的动作关键点和起始时刻，并将对待评估动作视频中的每个待评估动作进行提客观且准确的评价。
为了实现上述目的，本发明实施例采用的技术方案如下。
第一方面，本发明实施例提供一种动作评估方法，所述方法包括：
对待评估动作视频进行分析检测，得到关键点视频，所述关键点视频中包括每个待评估动作的动作关键点和起始时刻；
针对每个所述待评估动作，基于所述待评估动作的起始时刻，从所述关键点视频中抽取出该待评估动作的关键帧，得到该待评估动作的关键帧集合；
针对每个所述待评估动作，获取所述待评估动作对应的标准关键帧集合，根据所述待评估动作的关键帧集合和标准关键帧集合，分析得到所述待评估动作的评分；
根据所有所述待评估动作的评分，得到所述待评估动作视频的评分。
进一步地，所述对待评估动作视频进行分析检测，得到关键点视频的步骤，包括：
利用预设的动作定位模型，检测出待评估动作视频中的每个待评估动作的时间区间，以区分出所述待评估动作视频的所有待评估动作；
利用预设的关键点检测模型，识别出所述待评估动作视频中的动作关键点，结合每个所述待评估动作的时间区间和所述动作关键点，得到关键点视频；
其中，所述动作关键点表征所述待评估动作视频中的动作发出者的特征部位。
进一步地，所述动作定位模型包括边界匹配网络和非极大值抑制算法；
所述利用预设的动作定位模型，检测出待评估动作视频中的每个待评估动作的时间区间，以区分出所述待评估动作视频的所有待评估动作的步骤，包括：
利用所述边界匹配网络，对所述待评估动作视频中的每个待评估动作进行时间区间定位，得到关于所有待评估动作的起始时序边界的置信度图和起始概率序列，所述起始概率序列包括开始节点概率序列和结束节点概率序列；
结合所述置信度图和所述起始概率序列，确定出关于待评估动作的多个候选时序提名；
利用所述非极大值抑制算法，对所述多个候选时序提名进行置信度抑制，确定所述待评估动作视频中所有所述待评估动作的起始时序边界，并根据所述起始时序边界，区分出所述待评估动作视频的所有待评估动作。
进一步地，所述边界匹配网络包括基础层、时序评估层和提名评估层；
所述利用所述边界匹配网络，对所述待评估动作视频中的每个待评估动作进行时间区间定位，得到关于所有待评估动作的起始时序边界的置信度图和起始概率序列的步骤，包括：
通过所述基础层对所述待评估动作视频的特征进行处理，得到时序特征序列；
通过所述时序评估层对所述时序特征序列进行处理，得到开始节点概率序列和结束节点概率序列；
利用所述提名评估层，根据所述时序特征序列得到所述待评估动作视频的边界匹配特征图，并对所述边界匹配特征图进行卷积计算，得到关于所有所述待评估动作的起始时序边界的置信度图。
进一步地，所述获取所述待评估动作对应的标准关键帧集合的步骤，包括：
以相同的时间间隔，从标准关键点视频中提取出所述待评估动作对应的标准动作的多张标准关键帧，得到所述待评估动作对应的标准关键帧集合，所述标准关键帧集合中的多张标准关键帧与所述关键帧集合中的多张关键帧一一对应；
所述方法还包括获得标准关键点视频的步骤，该步骤包括：
利用预设的动作定位模型，检测出标准动作视频中的每个标准动作的时间区间，以区分出所述标准动作视频的所有标准动作；
利用预设的关键点检测模型，识别出所述标准动作视频中的动作关键点，结合每个所述标准动作的时间区间和所述动作关键点，得到标准关键点视频。
进一步地，所述标准关键帧集合中的多张标准关键帧和所述关键帧集合中的多张待评估关键帧一一对应；
所述根据所述待评估动作的关键帧集合和标准关键帧集合，分析得到所述待评估动作的评分的步骤，包括：
针对所述待评估动作的每张所述待评估关键帧，计算所述待评估关键帧中动作关键点的第一动作角度，以及计算所述标准关键帧对应的标准关键帧中动作关键点的第二动作角度，并将所述第一动作角度和所述第二动作角度的差值作为所述待评估动作的一个角度差；
根据所述待评估动作的所有所述角度差，得到所述待评估动作的评分。
进一步地，所述根据所述待评估动作的所有所述角度差，得到所述待评估动作的评分的步骤，包括：
对所述待评估动作的所有所述角度差取平均值，得到平均角度差；
根据所述平均角度差所落入的阈值范围，对所述待评估动作进行评分。
第二方面，本发明实施例提供一种动作评估装置，包括动作检测模块、抽取模块和评分模块；
所述动作检测模块，用于对待评估动作视频进行分析检测，得到关键点视频，所述关键点视频中包括每个待评估动作的动作关键点和起始时刻；
所述抽取模块，用于针对每个所述待评估动作，基于所述待评估动作的起始时刻，从所述关键点视频中抽取出该待评估动作的关键帧，得到该待评估动作的关键帧集合；
所述评分模块，用于针对每个所述待评估动作，获取所述待评估动作对应的标准关键帧集合，根据所述待评估动作的关键帧集合和标准关键帧集合，分析得到所述待评估动作的评分；
所述评分模块，还用于根据所有所述待评估动作的评分，得到所述待评估动作视频的评分。
第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现如第一方面所述的动作评估方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的动作评估方法。
本发明实施例提供的运动动作评估方法、装置、电子设备及计算机可读存储介质，对待评估动作视频进行分析检测，得到包括每个待评估动作的动作关键点和起始时刻进的关键点视频，从关键点视频中抽取出每个待评估动作的关键帧得到每个待评估动作的关键帧集合，并获取每个待评估动作对应的标准关键帧集合，从而根据每个待评估动作的关键帧集合和标准关键帧集合，分析得到每个待评估动作的评分，进而得到待评估动作视频的评分，实现对待评估动作视频的客观评分和数字化评价，便于快速且客观地对待评估动作视频进行评价。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的动作评估系统的结构示意图。
图2示出了本发明实施例提供的动作评估方法的流程示意图之一。
图3示出了图2中步骤S10的部分子步骤的流程示意图。
图4示出了图3中步骤S101的部分子步骤的流程示意图。
图5示出了本发明实施例提供的动作评估方法的流程示意图之二。
图6示出了图5中步骤S11的部分子步骤的流程示意图。
图7示出了图2中步骤S14的部分子步骤的流程示意图。
图8示出了图2中步骤S16的部分子步骤的流程示意图。
图9示出了本发明实施例提供的动作评估装置的方框示意图。
图10示出了本发明实施例提供的电子设备的方框示意图。
附图标记：100-动作评估系统；110-摄像头；120-电子设备；130-动作评估装置；140-动作检测模块；150-抽取模块；160-评分模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
运动是一种涉及体力和技巧的一套规则，又有习惯所约束的行为活动，通常具有竞争性。体育运动是在人类发展过程中逐步开展起来的有意识地对自己身体素质的培养的各种活动，包括走、跑、跳、投和舞蹈等多种形式的身体活动。例如，拳击、击剑和摔跤等。
以拳击为例，拳击是一个勇敢者的项目，攻守要全面，速度、力量、抗打击能力、反应和体能要全面发展，手、脚、腰和肩上的动作需要协调一致。随着我国拳击运动水平的不断发展，拳击运动的群众基础日益强大，拳击运动爱好者逐年增加，拳击训练与评级需求日益提升。
对于每一个运动，教练或裁判对运动员的运动训练进行评价，以衡量运动员的训练质量。传统的运动训练依赖于教练或裁判对选手运动动作的主观判断，缺乏客观的数字化评判标准。
现有技术中，动作检测技术有动作定位技术和关键点识别技术。动作定位技术主要是通过深度学习方法，将给定视频中人的不同行为进行区分，区分出不同行为类别和每个行为类别在视频中的时间段。关键点识别技术是通过深度学习方法，将给定视频中人的关键点(包括头顶、左耳、右耳、左眼、右眼、鼻子、左嘴角、右嘴角、脖子、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左髋部、右髋部、左膝、右膝、左脚踝和右脚踝等部位)识别出来。动作定位技术和关键点识别技术均不能准确地识别出每个动作是否标准，不能有效地给出评判。
故而，提供一种能够客观且准确地评价运动动作的方法很有必要。
基于上述问题，本发明提供一种动作评估方法，其能够检测出给定动作视频中每个待评估动作的动作关键点和起始时刻，并对给定视频中的每个待评估动作进行提客观且准确的评价。以下，将进行详细介绍。
本发明提供的动作评估方法，可以应用于如图1所示的动作评估系统100中，该动作评估系统100包括摄像头110和电子设备120，摄像头110和电子设备120通信连接。
摄像头110，用于采集每个动作发出者(即待测者)的待评估动作视频，并将待评估动作视频传输至电子设备120。
电子设备120，用于接收并缓存待评估动作视频，并采用本发明提供的动作评估方法对待评估动作视频进评分。
其中，摄像头110可是含有深度传感器的摄像头110。电子设备120可以是包括开发板的NVIDIA Jeston Nano，电子设备120可以通过边缘计算算力，以支持本发明提供的动作评估方法。
在一个实施例中，参照图2，提供一种动作评估方法，包括以下步骤。
S10，对待评估动作视频进行分析检测，得到关键点视频。
其中，关键点视频中包括每个待评估动作的动作关键点和起始时刻。以及，动作关键点指的是待评估动作视频中的动作发出者的特征部位。
待评估动作视频可以是生命体(例如，人和动物)做运动的视频，也可以是非生命体(例如，机器人)做运动的视频。运动包括但不限于是：各类竞技运动和舞蹈。
S12，针对每个待评估动作，基于待评估动作的起始时刻，从关键点视频中抽取出该待评估动作的关键帧，得到该待评估动作的关键帧集合。
应当理解的是，待评估动作视频中有多少个待评估动作，最后得到的关键帧集合就有多少个。
S14，针对每个待评估动作，获取待评估动作对应的标准关键帧集合，根据待评估动作的关键帧集合和标准关键帧集合，分析得到待评估动作的评分。
其中，电子设备120的标准动作关键点库中存储有各种运动项目的标准关键点视频，标准关键帧集合是从标准关键点视频中抽取的，标准关键点视频中可以包括每个待评估动作对应的标准动作，还包括每个标准动作的起始时刻。
需要说明的是，对于步骤S14和步骤S12而言，可以先获取待评估动作对应的标准关键帧集合，再基于待评估动作的起始时刻，从关键点视频中抽取出该待评估动作的关键帧，得到该待评估动作的关键帧集合。也可以同时获取待评估动作对应的标准关键帧集合和关键帧集合，即二者同时进行。
S16，根据所有待评估动作的评分，得到待评估动作视频的评分。
详细来讲，电子设备120中可以存储有多个待评估动作视频，依次对于每一个待评估动作视频进行评分。评分时，先对待评估动作视频进行检测分析，检测出待评估动作视频中的动作关键点和每个待评估动作的起始时刻，以得到关键点视频。基于每个待评估动作的起始时刻，可以在关键点视频中确定每个待评估动作的视频片段，从而对于每一个待评估动作，在该待评估动作的对应的视频片段进行关键帧抽取，即可得到关键帧即可。
例如，待评估动作A的时间区间是第5秒-第7秒，则对关键帧视频中第5秒-第7秒的视频片段进行关键帧抽取，即可得到待评估动作A的关键帧集合。
其中，抽取方式可以灵活设置，本实施例不作具体限定。抽取方式可以是每间隔一定时间进行抽取，例如，一秒钟内抽取2张关键帧。抽取方式也可以是每个待评估动作抽取固定张数的关键帧，例如，每个待评估动作的视频片段中抽取三张关键帧。
预先设置的标准关键点视频包括每个待评估动作所对应的标准动作，以及每个标准动作的起始时刻和动作关键点。在获取每个待评估动作的关键帧视频之后，可以相同的抽取方式从标准关键点视频中获取每个待评估动作对应的标准动作的标准关键帧，得到每个待评估动作对应的标准关键帧集合。从而根据待评估动作的关键帧集合和标准关键帧集合，分析出待评估动作的评分，进而得到待评估动作视频的评分。
其中，评分可以包括合格和不合格，也可以是具体的分数，对于评分为不合格的待评估动作可以放入错误集合中。
上述提供的动作评估方法与传统的运动训练的评判方法相比，实现对待评估动作视频中的每个待评估动作的准确区分，并结合标准关键点视频实现对待评估动作视频的客观评分，且实现了数字化评价，便于快速且客观地对待评估动作视频进行评价。
在一种实施方式中，为了提高评分的客观性，每个待评估动作可以获取多个对应的多个标准关键帧集合(每个标准关键帧集合所对应的动作执行者不同，即可以理解为不同的标准关键帧集合的老师不同)，并根据待评估动作的关键帧集合和一个标准关键帧集合，得到待评估动作的一个评分，从而得到待评估动作的多个评分，进而取平均分作为该待评估动作的最后评分。
其中，多个标准关键帧集合对应的标准动作视频的动作发出者各不相同。例如，有3个标准动作视频，从每个标准动作视频的标准关键帧视频中获取待评估动作的标准关键帧集合，则待评估动作就有3个标准关键帧集合，每个标准关键帧集合对应一个评分，最终将3个评分取平均分作为待评估动作的最后得分。
针对步骤S10，可以通过多种方式实现，例如，采用深度学习算法对待评估动作视频进行处理，得到关键点视频，也可以采用预设规则对待评估动作视频进行处理得到关键点视频。
在一种可能的实施方式中，参照图3，上述步骤S10可以包括以下子步骤。
S101，利用预设的动作定位模型，检测出待评估动作视频中的每个待评估动作的时间区间，以区分出待评估动作视频的所有待评估动作。
S102，利用预设的关键点检测模型，识别出待评估动作视频中的动作关键点，结合每个待评估动作的时间区间和动作关键点，得到关键点视频。
其中，动作关键点表征待评估动作视频中的动作发出者的特征部位。
详细来讲，动作定位模型将待评估动作视频划分为多个时间区间，每个时间区间对应一个待评估动作，来实现对待评估动作视频中不同待评估动作的区分。利用关键点检测模型识别出待评估动作视频的不同时刻的动作关键点，从而结合每个待评估动作的时间区间和动作关键点，即可得到关键点视频。
关键点检测模型的设置可以灵活选择，例如，可以是PP-TinyPose算法，也可以是人体姿态估计算法，也可以是其他任一种关键点检测算法。在一种实施方式中，为了更准确地获得动作关键点，将关键点检测模型设置为3D人体姿态估计模型。
动作定位模型的设置也可以灵活选择，例如，可以是人工进行定位，也可以是基于滑动窗的算法、基于候选时序区间的算法、自底向上的时序动作定位算法、对时序结构信息建模的算法或逐帧预测的算法。
在一种实施方式中，为了更准确地进行动作定位，并降低计算复杂度，动作定位模型包括边界匹配网络和非极大值抑制算法，此时，参照图4，上述步骤S101可以通过以下步骤实现。
S1011，利用边界匹配网络，对待评估动作视频中的每个待评估动作进行时间区间定位，得到关于所有待评估动作的起始时序边界的置信度图和起始概率序列。
其中，起始概率序列包括每个待评估动作的开始时刻的概率和结束时刻的概率，起始概率序列包括开始节点概率序列和结束节点概率序列。
S1012，结合置信度图和起始概率序列，确定出关于待评估动作的多个候选时序提名。
置信度图可以包括分类置信度和回归置信度，分类置信度和回归置信度相乘再开根号得到置信度参数，将待评估动作的每个候选时序提名的开始节点概率、结束节点概率和置信度参数相乘，即可得到每个候选时序提名的每个候选时序提名的置信度值。
S1013，利用非极大值抑制算法，对多个候选时序提名进行置信度抑制，确定待评估动作视频中所有待评估动作的起始时序边界，并根据起始时序边界，区分出待评估动作视频的所有待评估动作。
其中，非极大值抑制算法可以用其他算法代替，例如，可以是非极大值抑制算法的衍生算法，也可以是交并比算法，本实例中不作具体限定。为了去除冗余结果，在一种可能的实施方式中，非极大值抑制算法可以替换成改进的非极大值抑制(Soft-Non-MaximumSuppression，Soft-NMS)算法，即利用非极大值抑制算法的目的在于：消除冗余。
在一种实施方式中，边界匹配网络包括基础层、时序评估层和提名评估层，上述步骤S1011的处理过程包括：通过基础层对待评估动作视频的特征进行处理，得到时序特征序列；通过时序评估层对时序特征序列进行处理，得到开始节点概率序列和结束节点概率序列；利用提名评估层，根据时序特征序列得到待评估动作视频的边界匹配特征图，并对边界匹配特征图进行卷积计算，得到关于所有待评估动作的起始时序边界的置信度图。
其中，置信度图即BM置信度图，待评估动作视频的特征指的是待评估动作视频的时序特征。实际应用时，先提取待评估动作视频的时序特征，并将时序特征输入边界匹配网络(Boundary-Matching Network，BMN)。
在边界匹配网络中，每个目标(每个待评估动作)表示描述为时序提名，即被表示为一个开始边界点和结束边界点所构成的边界匹配对。
详细来讲，在本实施例中，对于本发明提供的边界匹配网络，基础层(Base Model)包括两个一维度卷积层，基础层将固定大小的滑动窗口在待评估动作的时序特征图上滑动，输出时序特征序列。
时序评估层(Temporal Evaluation Module)包括两个一维卷积层，时序评估层采用使用概率预测的方式，对基础层输出的时序特征序列进行处理，输出时序特征序列的每个时序位置是动作开始和动作结束的概率，即开始节点概率序列和结束节点概率序列。
提名评估层(Proposal Evaluation Module)包括基础层、一个三维卷积层和三个二维卷积层，基础层根据时序特征序列，使用权重矩阵生成所有可能的时序提名(待评估动作)的特征，得到待评估动作视频的边界匹配特征图(BM特征图)，并使用3D卷积层和2D卷积层对BM特征图进行计算，得到关于所有待评估动作的起始时序边界的置信度图(BM置信度图)，BM置信度图包括所有时序提名的置信度。
BM置信度图可以记作MC∈RD×T，T为输入的时序特征序列的长度，D为最大的时序提名长度，提名评估层得到BM置信度图的原理可以表示为：
其中，SF∈RC×T表示时序特征序列，MF表示BM特征图，C是时序特征序列的通道数，N是每个时序提名的特征采样点数。
提名评估层中的基础层得到BM特征图的过程为：对于D×T大小的边界匹配图上的任意一个时序提名
对时序提名
的边界进行扩充，得到时序提名
的扩展时序区间[ts-0.25d,te+0.25d]；对该扩展时序区间进行均与采样点N个点，构造采样点的采样矩阵wi,j∈RN×T，并生成采样点对应的权重矩阵；将采样矩阵从wi,j∈RN×T扩展到W∈RC×N×D×T，并进行时序特征序列SF和采样矩阵W∈RC×N×D×T在时序维度上的点乘，即可以得到BM特征图MF∈RC×N×D×T。
其中，ts为起始边界点，te为结束边界点，d＝ts-te。
权重矩阵wi,j∈RN×T的计算公式可以为：
t表示第t个采样点，n表示采样点的数量。
通过上述实施方式可知，通过矩阵点乘的方式，可以高效地同时给所有时序提名生成准确的特征表示。此外，与从一维概率序列中采样得到的概率序列相比，直接从特征序列中采样得到的提名特征表示具有更丰富的语义信息。
在上述步骤S10-S16的内容中已知，针对步骤S14中获取的标准关键帧集合是从标准关键点视频中抽取。在此基础上，为了提高评分的准确度，可以采用与上述获取待评估动作视频的关键点视频相同的方式，即采用S101-S102，以及S1011-S1012的方式，获取标准关键点视频。
详细来讲，与上述步骤S101-S102相同的原理，参照图5，本发明提供的动作评估方法可以通过以下步骤获得标准关键点视频。
S11，利用预设的动作定位模型，检测出标准动作视频中的每个标准动作的时间区间，以区分出标准动作视频的所有标准动作。
应当理解的是，每个标准动作的时间区间也可以人为进行界定。
S13，利用预设的关键点检测模型，识别出标准动作视频中的动作关键点，结合每个标准动作的时间区间和动作关键点，得到标准关键点视频。
与上述步骤S1011-S1013相同的原理，参照图6，对于步骤S11可以包括以下子步骤。
S111，利用边界匹配网络，对标准动作视频中的每个标准动作进行时间区间定位，得到关于所有标准动作的起始时序边界的置信度图和起始概率序列。
S112，结合置信度图和起始概率序列，确定出关于标准动作的多个候选时序提名。
S113，利用非极大值抑制算法，对多个候选时序提名进行置信度抑制，确定标准动作视频中所有标准动作的起始时序边界，并根据起始时序边界，区分出标准动作视频的所有标准动作。
上述步骤S111的处理过程包括：通过基础层对标准动作视频的特征进行处理，得到时序特征序列；通过时序评估层对时序特征序列进行处理，得到开始节点概率序列和结束节点概率序列；利用提名评估层，根据时序特征序列得到标准动作视频的边界匹配特征图，并对边界匹配特征图进行卷积计算，得到关于所有标准动作的起始时序边界的置信度图。
边界匹配网络对标准动作视频处理的详细过程可参见上文中边界匹配网络对待评估动作视频处理的过程，本实施例不作进一步展开。
待评估动作视频是被测试者的运动视频，标准动作视频是标准人员的运动视频，由于各种因素影响，对于同一个动作，被测试者和标准人员的耗时可能不同，故而关键帧和标准关键帧的抽取对待评估动作的评分有着重要影响。
为了消除不同耗时的影响，尽可能使待评估动作的关键帧集合中的关键帧与标准关键帧集合中的标准关键帧对应，即尽可能使具有对应关系的关键帧和标准关键帧都是同一个小动作的图片，对于同一个待评估动作，则采用相同的抽取方式抽取关键帧和标准关键帧。
通过步骤S10获取关键点视频后，步骤S12可采用以下方式实现：针对每个基于待评估动作，基于该待评估动作的起始时刻，确定关键点视频中该待评估动作的视频片段，以相同的时间间隔，从视频片段中抽取Y张关键帧，得到该待评估动作的关键帧集合。
其中，Y为预先设置的需求份数值。
同时，通过上述步骤S11-S13及其子步骤获得标准关键点视频，可以通过以下方式实现步骤S14中的“获取所述待评估动作对应的标准关键帧集合”：以相同的时间间隔，从标准关键点视频中提取出待评估动作对应的标准动作的多张标准关键帧，得到待评估动作对应的标准关键帧集合。
同理，由于标准关键点视频中包括每个标准动作的起始时刻，故而可以确定每个标准动作在标准关键点视频中的视频片段，在该片段以相同时间间隔，抽取多张标准关键帧，即可得到标准关键帧集合。
其中，对于同一个待评估动作，标准关键帧集合中的多张标准关键帧与关键帧集合中的多张关键帧一一对应。例如，若Y为3，则标准关键帧集合中的第一张标准关键帧与关键帧集合中的第一张关键帧对应，第二张标准关键帧与第二张关键帧对应，第三张标准关键帧与第三张关键帧对应。
进一步地，为了提高待评估动作的评分的准确度，在一种实施方式中，参照图7，上述步骤S14可以包括以下子步骤。
S141，针对待评估动作的每张待评估关键帧，计算待评估关键帧中动作关键点的第一动作角度，以及计算标准关键帧对应的标准关键帧中动作关键点的第二动作角度，并将第一动作角度和第二动作角度的差值作为待评估动作的一个角度差。
S142，根据待评估动作的所有角度差，得到待评估动作的评分。
将关键帧中的所有动作关键点进行连线后会产生至少一个角度，第一动作角度可以是其中的一个角度，第一动作角度也可以是其中所有角度的集合。
以动作关键点为左手掌、右手掌、左脚掌和右脚掌，将这些关键点连续后产生多个角度。可以将关键帧中的左手掌、右手掌和左脚掌连线后形成的角度作为第一动作角度，将标准关键帧中的左手掌、右手掌和左脚掌连线后形成的角度作为第二动作角度。此时，角度差为第一动作角度和第二动作角度之差，该角度差决定待评估动作的评分。
也可以将关键帧中的左手掌、右手掌和左脚掌连线后形成的角度A，以及左手掌、右手掌和右脚掌联系后的角度B作为第一动作角度，可以将标准关键帧中的左手掌、右手掌和左脚掌连线后形成的角度a，以及左手掌、右手掌和右脚掌联系后的角度b作为第二动作角度。此时，角度A和角度a之差，以及角度B和角度b之差为角度差，平均角度差决定待评估动作的评分。
若第一动作角度和第二动作角度均为多个，则在一种实施方式中，参照图8，步骤S16可以包括以下步骤。
S161，对待评估动作的所有角度差取平均值，得到平均角度差。
S162，根据平均角度差所落入的阈值范围，对待评估动作进行评分。
例如，平均角度差小于15度为合格，平均角度差等于或大于15度为不合格。
应当理解的是，上述步骤S141-S142和S161-S162仅仅是一种可能的实施方式，而非唯一限定，实际应用中，可根据实际情况和实际需求做相应的配置或调整。
当待评估动作的平均角度差远大于一定的设置阈值时，表明比对效果远低于预期，可能是由于待评估动作的标准关键帧集合中的标准关键帧与关键帧集合中的多张关键帧之间的对应错误而导致的比对效果较差。例如，由于动作执行者的速度更快，使得第一张关键帧可能与第二张标准关键帧或者第三张标准关键帧的相似度更高。
故而，为了在待评估动作的执行者的动作速度与标准动作的执行者在速度不一致时，依旧能够提供准确的动作评估，本发明实施例提供的动作评估方法还可以包括以下步骤：当待评估动作的平均角度差大于设置阈值时，以错帧的方式，计算标准关键帧集合中的标准关键帧和关键帧间的角度差，并根据最优的角度差组合计算出待评估动作的平均角度差。
其中，设置阈值可以是经验值，也可以是通过大量计算后得到的用于判断效果好坏的值。本实施方式，不作具体限定。
示例性地，待评估动作的关键帧集合为
标准关键帧集合为
其中，N表示关键帧的持续时长。关键帧f1 N和标准关键帧
对应，若按对应关系计算出的平均角度差超过设置阈值，则可以错帧的方式，计算f1 N和
间的角度差，若该角度差依旧超过设置阈值，则计算f1 N和
的角度差。若f1 N和
的角度小于或等于设置阈值，则以该
为比对起点，计算f1 N,
与
之间的角度差作为最优的角度差组合，计算出待评估动作的平均角度差。
若f1 N和
的角度差依旧大于设置阈值，则继续错帧，计算f1 N和
的角度差，直至比对至f1 N和
若错帧比对完之后，比对效果依旧较差，且是因为待评估动作的执行者速度更快，则缩短待评估动作的关键点视频的抽取时长，重新进行划分，获取新的关键帧集合，使其能对应标准关键帧视频中的标准关键帧。例如，原本第1-5秒抽取的关键帧集合中的五张关键帧(抽取时间分别为第1秒，第2秒，第3秒，第4秒和第5秒)，则重新抽取之后的抽取时间可以为第1.2秒，第2.2秒，第3.2秒，第4.2秒和第5.2秒。
若是因为待评估动作的执行者速度更慢，则延长待评估动作的关键点视频的抽取时长，重新进行划分，获取新的关键帧集合，使其能对应标准关键帧视频中的标准关键帧。例如，原本第1-5秒抽取的关键帧集合中的五张关键帧(抽取时间分别为第1秒，第2秒，第3秒，第4秒和第5秒)，则重新抽取之后的抽取时间可以为第0.9秒，第1.9秒，第2.9秒，第3.9秒和第4.9秒。
应当理解的是，在不知执行者速度更快或更慢时，则上述两种方式均可以实施，以找寻出最匹配的关键帧集合。
需要说明的是，上述示例仅仅是举例，实际应用时，可按实际情况进行适应性调整。
本发明提供的动作评估方法，使用动作定位模型对待评估动作视频中的不同待评估动作的完成时间区分，从区分后的关键点视频和标准动作的标准关键点视频中抽取关键帧和标准关键点，来进行对比评估，以根据对比结果对待评估动作进行评分，进而根据待评估动作的评分对待评估动作视频进行评分，实现动作评分数字化，便于快速、客观且准确地对动作进行评分。
在一个实施例中，参照图9，提供一种动作评估装置130，包括动作检测模块140、抽取模块150和评分模块160。
动作检测模块140，用于对待评估动作视频进行分析检测，得到关键点视频。
其中，关键点视频中包括每个待评估动作的动作关键点和起始时刻。
抽取模块150，用于针对每个待评估动作，基于待评估动作的起始时刻，从关键点视频中抽取出该待评估动作的关键帧，得到该待评估动作的关键帧集合。
评分模块160，用于针对每个待评估动作，获取待评估动作对应的标准关键帧集合，根据待评估动作的关键帧集合和标准关键帧集合，分析得到待评估动作的评分。
评分模块160，还用于根据所有待评估动作的评分，得到待评估动作视频的评分。
上述动作评估装置130中，通过动作检测模块140、抽取模块150和评分模块160，实现对待评估动作视频中的每个待评估动作的准确区分，并结合标准关键点视频实现对待评估动作视频的客观评分，且实现了数字化评价，便于快速且客观地对待评估动作视频进行评价。
关于动作评估装置130的具体限定可以参见上文中对于动作评估方法的限定，在此不再赘述。上述动作评估装置130中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备120中的处理器中，也可以以软件形式存储于电子设备120的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种电子设备120，其内部结构图可以如图10所示。该电子设备120包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备120的处理器用于提供计算和控制能力。该电子设备120的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备120的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该计算机程序被处理器执行时以实现动作评估方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的电子设备120的限定，具体的电子设备120可以包括比图10中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本发明提供的动作评估装置130可以实现为一种计算机程序的形式，计算机程序可在如图10所示的电子设备120上运行。电子设备120的存储器中可存储组成该动作评估装置130的各个程序模块，比如，图9所示的动作检测模块140、抽取模块150和评分模块160。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的应用于动作评估方法中的步骤。
例如，图10所示的电子设备120可以通过如图9所示的动作评估装置130中的动作检测模块140执行步骤S10。电子设备120可以通过抽取模块150执行步骤S102。电子设备120可以通过评分模块160执行步骤S14和S16。
在一个实施例中，提供了一种电子设备120，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：对待评估动作视频进行分析检测，得到关键点视频，关键点视频中包括每个待评估动作的动作关键点和起始时刻；针对每个待评估动作，基于待评估动作的起始时刻，从关键点视频中抽取出该待评估动作的关键帧，得到该待评估动作的关键帧集合；针对每个待评估动作，获取待评估动作对应的标准关键帧集合，根据待评估动作的关键帧集合和标准关键帧集合，分析得到待评估动作的评分；根据所有待评估动作的评分，得到待评估动作视频的评分。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：对待评估动作视频进行分析检测，得到关键点视频，关键点视频中包括每个待评估动作的动作关键点和起始时刻；针对每个待评估动作，基于待评估动作的起始时刻，从关键点视频中抽取出该待评估动作的关键帧，得到该待评估动作的关键帧集合；针对每个待评估动作，获取待评估动作对应的标准关键帧集合，根据待评估动作的关键帧集合和标准关键帧集合，分析得到待评估动作的评分；根据所有待评估动作的评分，得到待评估动作视频的评分。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种动作评估方法，其特征在于，所述方法包括：
对待评估动作视频进行分析检测，得到关键点视频，所述关键点视频中包括每个待评估动作的动作关键点和起始时刻；
针对每个所述待评估动作，基于所述待评估动作的起始时刻，从所述关键点视频中抽取出该待评估动作的关键帧，得到该待评估动作的关键帧集合；
针对每个所述待评估动作，获取所述待评估动作对应的标准关键帧集合，根据所述待评估动作的关键帧集合和标准关键帧集合，分析得到所述待评估动作的评分；
根据所有所述待评估动作的评分，得到所述待评估动作视频的评分。
2.根据权利要求1所述的动作评估方法，其特征在于，所述对待评估动作视频进行分析检测，得到关键点视频的步骤，包括：
利用预设的动作定位模型，检测出待评估动作视频中的每个待评估动作的时间区间，以区分出所述待评估动作视频的所有待评估动作；
利用预设的关键点检测模型，识别出所述待评估动作视频中的动作关键点，结合每个所述待评估动作的时间区间和所述动作关键点，得到关键点视频；
其中，所述动作关键点表征所述待评估动作视频中的动作发出者的特征部位。
3.根据权利要求2所述的动作评估方法，其特征在于，所述动作定位模型包括边界匹配网络和非极大值抑制算法；
所述利用预设的动作定位模型，检测出待评估动作视频中的每个待评估动作的时间区间，以区分出所述待评估动作视频的所有待评估动作的步骤，包括：
利用所述边界匹配网络，对所述待评估动作视频中的每个待评估动作进行时间区间定位，得到关于所有待评估动作的起始时序边界的置信度图和起始概率序列，所述起始概率序列包括开始节点概率序列和结束节点概率序列；
结合所述置信度图和所述起始概率序列，确定出关于待评估动作的多个候选时序提名；
利用所述非极大值抑制算法，对所述多个候选提名进行置信度抑制，确定所述待评估动作视频中所有所述待评估动作的起始时序边界，并根据所述起始时序边界，区分出所述待评估动作视频的所有待评估动作。
4.根据权利要求3所述的动作评估方法，其特征在于，所述边界匹配网络包括基础层、时序评估层和提名评估层；
所述利用所述边界匹配网络，对所述待评估动作视频中的每个待评估动作进行时间区间定位，得到关于所有待评估动作的起始时序边界的置信度图和起始概率序列的步骤，包括：
通过所述基础层对所述待评估动作视频的特征进行处理，得到时序特征序列；
通过所述时序评估层对所述时序特征序列进行处理，得到开始节点概率序列和结束节点概率序列；
利用所述提名评估层，根据所述时序特征序列得到所述待评估动作视频的边界匹配特征图，并对所述边界匹配特征图进行卷积计算，得到关于所有所述待评估动作的起始时序边界的置信度图。
5.根据权利要求4所述的动作评估方法，其特征在于，所述获取所述待评估动作对应的标准关键帧集合的步骤，包括：
以相同的时间间隔，从标准关键点视频中提取出所述待评估动作对应的标准动作的多张标准关键帧，得到所述待评估动作对应的标准关键帧集合，所述标准关键帧集合中的多张标准关键帧与所述关键帧集合中的多张关键帧一一对应；
所述方法还包括获得标准关键点视频的步骤，该步骤包括：
利用预设的动作定位模型，检测出标准动作视频中的每个标准动作的时间区间，以区分出所述标准动作视频的所有标准动作；
利用预设的关键点检测模型，识别出所述标准动作视频中的动作关键点，结合每个所述标准动作的时间区间和所述动作关键点，得到标准关键点视频。
6.根据权利要求1至5中任一项所述的动作评估方法，其特征在于，所述标准关键帧集合中的多张标准关键帧和所述关键帧集合中的多张待评估关键帧一一对应；
所述根据所述待评估动作的关键帧集合和标准关键帧集合，分析得到所述待评估动作的评分的步骤，包括：
针对所述待评估动作的每张所述待评估关键帧，计算所述待评估关键帧中动作关键点的第一动作角度，以及计算所述标准关键帧对应的标准关键帧中动作关键点的第二动作角度，并将所述第一动作角度和所述第二动作角度的差值作为所述待评估动作的一个角度差；
根据所述待评估动作的所有所述角度差，得到所述待评估动作的评分。
7.根据权利要求6所述的动作评估方法，其特征在于，所述根据所述待评估动作的所有所述角度差，得到所述待评估动作的评分的步骤，包括：
对所述待评估动作的所有所述角度差取平均值，得到平均角度差；
根据所述平均角度差所落入的阈值范围，对所述待评估动作进行评分。
8.一种动作评估装置，其特征在于，包括动作检测模块、抽取模块和评分模块；
所述动作检测模块，用于对待评估动作视频进行分析检测，得到关键点视频，所述关键点视频中包括每个待评估动作的动作关键点和起始时刻；
所述抽取模块，用于针对每个所述待评估动作，基于所述待评估动作的起始时刻，从所述关键点视频中抽取出该待评估动作的关键帧，得到该待评估动作的关键帧集合；
所述评分模块，用于针对每个所述待评估动作，获取所述待评估动作对应的标准关键帧集合，根据所述待评估动作的关键帧集合和标准关键帧集合，分析得到所述待评估动作的评分；
所述评分模块，还用于根据所有所述待评估动作的评分，得到所述待评估动作视频的评分。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现如权利要求1至7中任一项所述的动作评估方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的动作评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210955485.4A CN115331777A (zh) | 2022-08-10 | 2022-08-10 | 动作评估方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210955485.4A CN115331777A (zh) | 2022-08-10 | 2022-08-10 | 动作评估方法、装置、电子设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115331777A true CN115331777A (zh) | 2022-11-11 |
Family
ID=83922734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210955485.4A Pending CN115331777A (zh) | 2022-08-10 | 2022-08-10 | 动作评估方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115331777A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116091963A (zh) * | 2022-12-22 | 2023-05-09 | 广州奥咨达医疗器械技术股份有限公司 | 临床试验机构质量评估方法、装置、电子设备及存储介质 |
| CN117078976A (zh) * | 2023-10-16 | 2023-11-17 | 华南师范大学 | 动作评分方法、装置、计算机设备以及存储介质 |
-
2022
- 2022-08-10 CN CN202210955485.4A patent/CN115331777A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116091963A (zh) * | 2022-12-22 | 2023-05-09 | 广州奥咨达医疗器械技术股份有限公司 | 临床试验机构质量评估方法、装置、电子设备及存储介质 |
| CN116091963B (zh) * | 2022-12-22 | 2024-05-17 | 广州奥咨达医疗器械技术股份有限公司 | 临床试验机构质量评估方法、装置、电子设备及存储介质 |
| CN117078976A (zh) * | 2023-10-16 | 2023-11-17 | 华南师范大学 | 动作评分方法、装置、计算机设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108256433B (zh) | 一种运动姿态评估方法及系统 | |
| JP6733738B2 (ja) | 運動認識装置、運動認識プログラムおよび運動認識方法 | |
| WO2021051579A1 (zh) | 形体姿态识别方法、系统、装置及存储介质 | |
| CN115331777A (zh) | 动作评估方法、装置、电子设备及计算机可读存储介质 | |
| US11763603B2 (en) | Physical activity quantification and monitoring | |
| CN110674785A (zh) | 一种基于人体关键点跟踪的多人姿态分析方法 | |
| Chaudhari et al. | Yog-guru: Real-time yoga pose correction system using deep learning methods | |
| CN113822254B (zh) | 一种模型训练方法及相关装置 | |
| US11836944B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| Lin et al. | Segmenting human motion for automated rehabilitation exercise analysis | |
| CN117576781A (zh) | 基于行为识别的训练强度监测系统及方法 | |
| CN116844084A (zh) | 一种融合区块链的体育运动动作分析与纠正方法及系统 | |
| Emad et al. | ikarate: Karate kata guidance system | |
| CN117542121B (zh) | 基于计算机视觉的智能化训练考核系统及方法 | |
| CN112733796B (zh) | 一种体育运动质量的评估方法、装置、设备，存储介质 | |
| CN114092863A (zh) | 一种用于多视角视频图像的人体动作评估方法 | |
| Morel et al. | Automatic evaluation of sports motion: A generic computation of spatial and temporal errors | |
| JP2019212034A5 (zh) | ||
| KR102683444B1 (ko) | Cgam을 이용한 스포츠 동영상 내 활동 인식 장치 및 그 방법 | |
| CN116959097A (zh) | 动作识别方法、装置、设备及存储介质 | |
| CN116597507A (zh) | 一种人体动作规范性评估方法及系统 | |
| US11922822B2 (en) | Method of scoring a move of a user and system thereof | |
| CN115527265A (zh) | 一种基于体育训练的动作捕捉方法及系统 | |
| CN106446837B (zh) | 一种基于运动历史图像的挥手检测方法 | |
| CN113392744A (zh) | 舞蹈动作美感确认方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |