CN112597933A - 动作评分方法、装置及可读存储介质 - Google Patents

动作评分方法、装置及可读存储介质 Download PDF

Info

Publication number
CN112597933A
CN112597933A CN202011589442.6A CN202011589442A CN112597933A CN 112597933 A CN112597933 A CN 112597933A CN 202011589442 A CN202011589442 A CN 202011589442A CN 112597933 A CN112597933 A CN 112597933A
Authority
CN
China
Prior art keywords
action
user
scoring
sequence
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011589442.6A
Other languages
English (en)
Other versions
CN112597933B (zh
Inventor
张晓飞
徐廷辉
金炜
盖之慧
秦菊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Interactive Entertainment Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Interactive Entertainment Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Interactive Entertainment Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202011589442.6A priority Critical patent/CN112597933B/zh
Publication of CN112597933A publication Critical patent/CN112597933A/zh
Application granted granted Critical
Publication of CN112597933B publication Critical patent/CN112597933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Abstract

本发明提供了一种动作评分方法、装置及可读存储介质，解决目前的线上健身教学方式无法使用户及时的了解自身的健身动作是否标准的问题。其方法包括：基于参照动作数据，生成用户动作序列，所述参照动作数据中包括：按照预设规则形成的参照动作序列；将所述用户动作序列与所述参照动作数据中的参照动作序列进行语义匹配，获取语义匹配结果；基于所述语义匹配结果，输出动作评分结果。通过将生成的用户动作序列与参照动作序列进行语义匹配，根据匹配结果进行动作打分，使得用户通过对动作的评分，能够及时的了解健身动作是否标准，以此实现了对用户健身动作的指导，提高了用户健身动作的准确性，进而提升了用户健身积极性。

Description

动作评分方法、装置及可读存储介质
技术领域
本发明涉及人工智能领域，特别涉及一种动作评分方法、装置及可读存储介质。
背景技术
随着全民健身的推进，互联网健身等线上健身教学也应运而生，但是，在实现本申请过程中，发明人发现现有技术中至少存在如下问题：
目前的健身APP中所提供的健身教学方式并不能进行用户健身的实时智能指导，导致用户不能及时的了解自身的健身动作是否标准。
发明内容
本发明实施例提供一种动作评分方法、装置及可读存储介质，以解决目前的线上健身教学方式无法使用户及时的了解自身的健身动作是否标准的问题。
第一方面，本发明的实施例提供了一种动作评分方法，包括：
基于参照动作数据，生成用户动作序列，所述参照动作数据中包括：按照预设规则形成的参照动作序列；
将所述用户动作序列与所述参照动作数据中的参照动作序列进行语义匹配，获取语义匹配结果；
基于所述语义匹配结果，输出动作评分结果。
可选地，所述基于参照动作数据，生成用户动作序列，包括：
基于参照动作数据中的构成参照动作序列的参照关键点，提取用户图像帧中的关键点信息；
根据所述关键点信息，生成用户动作序列。
可选地，所述根据所述关键点信息，生成用户动作序列，包括：
根据所述关键点信息，确定用户图像帧中的用户姿态信息，所述用户姿态信息包括至少一个部位，所述部位包括至少一个关键点；
根据所述用户姿态信息，确定用户动作序列，所述用户动作序列包括多个用户姿态的排列关系。
可选地，所述将所述用户动作序列与所述参照动作数据中的参照动作序列进行语义匹配，获取语义匹配结果，包括：
确定所述用户动作序列对应的动作语义；
遍历参照动作数据中的参照动作序列，确定所述参照动作序列中是否存在与所述动作语义匹配的关系路径，获取语义匹配结果；
其中，所述关系路径为同一动作中的至少两个姿态间的排列关系。
可选地，所述基于所述语义匹配结果，输出动作评分结果，包括：
若所述语义匹配结果为参照动作序列中存在与所述动作语义匹配的关系路径，则对所述动作语义对应的用户动作进行评分，并输出动作评分结果。
可选地，所述对所述动作语义对应的用户动作进行评分，并输出动作评分结果，包括：
根据所述动作语义，确定用于进行评分的目标姿态信息；
根据所述目标姿态信息，对所述动作语义对应的用户动作进行评分，并输出动作评分结果。
可选地，所述参照动作数据的获取方式，包括：
在基于Python及MobileNet神经网络模型的环境下，根据实时输入的来源于参照动作的视频数据，生成参照关键点信息；
根据运动姿态特征，由所述参照关键点信息确定部位语义候选集，所述部位语义候选集包括：参照关键点组成的部位和部位状态，所述部位状态由参照关键点之间的角度确定；
根据所述部位语义候选集，生成参照动作数据；
其中，所述参照动作数据的实体包括：部位、姿态和动作，所述实体间的语义关系包括：多个部位构成姿态以及多个姿态构成动作。
可选地，在所述基于所述语义匹配结果，输出动作评分结果之后，还包括：
根据每个动作的动作评分结果，确定用户连续动作的得分。
依据本发明的另一方面，提供了一种动作评分装置，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的动作评分方法的步骤。
依据本发明的再一个方面，提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的动作评分方法的步骤。
本发明实施例中，通过将生成的用户动作序列与参照动作序列进行语义匹配，根据匹配结果进行动作打分，使得用户通过对动作的评分，能够及时的了解健身动作是否标准，以此实现了对用户健身动作的指导，提高了用户健身动作的准确性，进而提升了用户健身积极性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1表示本申请实施例提供的动作评分方法的流程示意图；
图2表示本申请实施例的部位与关键点的对应关系示意图；
图3表示本申请实施例提供的动作评分装置的结构示意图；
图4表示本申请实施例提供的动作评分装置的实施结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。另外，本文中术语“系统”和“网络”在本文中常可互换使用。
如图1所示，本发明的实施例提供了一种动作评分方法，包括：
步骤101，基于参照动作数据，生成用户动作序列；
需要说明的是，该参照动作数据指的是预先依据教练的运动动作，生成的用于进行用户动作参考的数据，该参照动作数据中包括：按照预设规则形成的参照动作序列，进一步需要说明的是，该预设规则指的是将组成动作的姿态，按照动作中姿态的时间先后顺序排列，也就是说，该参照动作序列包括一个动作的所有姿态，以及姿态间的时间先后排列关系。
步骤102，将所述用户动作序列与所述参照动作数据中的参照动作序列进行语义匹配，获取语义匹配结果；
需要说明的是，因该参照动作序列包含一个动作的所有姿态，以及姿态间的时间先后排列关系，用户在进行运动的时候，可能并不是严格的按照参照动作序列中规定的姿态顺序进行的，因此，此步骤便是将用户动作序列与参照动作序列进行匹配，以确定参照动作序列中是否存在用户动作序列。
步骤103，基于所述语义匹配结果，输出动作评分结果；
需要说明的是，本申请通过将生成的用户动作序列与参照动作序列进行语义匹配，根据匹配结果进行动作打分，使得用户通过对动作的评分，能够及时的了解健身动作是否标准，以此实现了对用户健身动作的指导，提高了用户健身动作的准确性，进而提升了用户健身积极性。
为了能保证本申请的顺利实施，首先应进行参照动作数据的获取，具体地，该参照动作数据的获取方式为：
步骤S11、在基于Python及MobileNet神经网络模型的环境下，根据实时输入的来源于参照动作的视频数据，生成参照关键点信息；
需要说明的是，本步骤中的参照动作指的是教练动作(也可以称为标准动作)。
具体地，本步骤是在基于Python及MobileNet神经网络模型的环境下，实时输入来源于教练动作的视频数据，生成参照关键点信息(该参照关键点信息包括多个参照关键点)，由参照关键点信息可以对应得到人体骨架，也就是说，人体骨架由各个参照关键点及参照关键点之间的连接构成，需要说明的是，本步骤中提到的参照关键点可根据使用需求自行定义，通常包括人体关节点和一些重要部位，比如眼睛、耳朵、鼻子、脖子、肩膀、手肘、手腕、臀部、膝盖、脚踝等。如图2所示，本申请中的人体骨架一共有18个参照关键点，参照关键点的序号对应到部位分别为：0-鼻子、1-脖子、2-右肩、3-右肘、4-右腕、5-左肩、6-左肘、7-左腕、8-右臀、9-右膝、10-右踝、11-左臀、12-左膝、13-左踝、14-右眼、15-左眼、16-右耳、17-左耳，可以根据实际情况定义其他参照关键点。
步骤S12、根据运动姿态特征，由所述参照关键点信息确定部位语义候选集；
需要说明的是，所述部位语义候选集包括：参照关键点组成的部位和部位状态，所述部位状态由参照关键点之间的角度确定。
需要说明的是，为了得到参照关键点之间的角度，需要先获取每个参照关键点的空间位置信息，该空间位置信息指的是参照关键点在图像坐标系中的坐标，进一步地，本申请在具体实现时，主要是对采集到的图像或视频，利用深度摄像头或深度学习模型，获取各个参照关键点在图像坐标系中的坐标。在得到参照关键点之间的空间位置信息后，便可以根据该空间位置信息，确定每三个参照关键点之间所构成的角度；具体地，在得到参照关键点后，以每三个参照关键点为一组，生成对应的角度。需要说明的是，本申请中的角度构成规则为：三个参照关键点构成角度(通常情况下，使用相邻的三个参照关键点)，前缀A(或无前缀)，三个参照关键点编号用横杠(即“-”)连接；例如，A4-1-5(4-1-5)，表示右手腕、脖子、左肩这3个参照关键点形成的角度，取值范围[0°，180°]，默认值为0，如果其中一个点未检测到，取默认值。
本申请中使用角度对部位进行量化，比如A8-9-10代表右膝，A8-9-10的角度值代表右膝弯曲的角度。
需要说明的是，三个参照关键点连线间形成的角度为抽象角度，并不需要指定规则(如：构成角的参照关键点需要为相邻的参照关键点)。
进一步需要说明的是，本步骤是根据运动姿态特征，结合运动特点和人体骨架信息坐标点，选取合理参照关键点，比如深蹲动作，选取下肢关节点集合[8-右臀，9-右膝，10-右踝，11-左臀，12-左膝，13-左踝]，并生成部位序列[右膝(A8-9-10)，左膝(A11-12-13)]，这里需要说明的是，本申请中所说的部位序列长度不定，范围为(1，n]，其中，n为参照关键点的总个数。
例如，一个深蹲姿态可以描述为[右膝弯曲90度(A8-9-10＝90)，左膝弯曲90度(A11-12-13＝90)]；将这些部位组成部位语义候选集，从部位语义候选集中便能获得相应的关键部位状态，具体地，关键部位状态由参照关键点组成的角度决定，例如，膝盖部位的三个参照关键点成90°→定位到膝盖部位→屈膝，从而进行对姿态的判断。
步骤S13、根据所述部位语义候选集，生成参照动作数据；
需要说明的是，本申请采用自顶向下(即动作→姿态→参照关键点)的方式生成参照动作数据(也可以称为知识图谱)，以动作进行分类，统计动作的组成姿态等关系，依据这些关系设计模型，形成参照动作数据。参照动作数据中的实体包括：部位、姿态和动作，参照动作数据中实体间的语义关系包括：多个部位构成姿态以及多个姿态构成动作。构建完成的参照动作数据的参照关键点、姿态及动作的关系类型设计合理，知识准确且全面，可用于动作的识别。
例如：深蹲，该动作由站立和下蹲两个姿态组成；姿态由左膝和右膝两个部位组成；左膝和右膝部位的角度值为180度时代表站立姿态，左膝和右膝部位的角度值为90度时代表下蹲姿态。
需要说明的是，上述参照动作数据的获取是健身运营人员和专业健身教练共同对健身动作的指标进行定义，结合健身标准动作视频和视频标注工具，得到健身动作的标准指标值。
进一步地，本申请的步骤101的具体实现方式为：
步骤1011，基于参照动作数据中的构成参照动作序列的参照关键点，提取用户图像帧中的关键点信息；
需要说明的是，本步骤中的用户图像帧是指用户健身视频中采集的图像数据，其包含多帧图像，此步骤便是依据参照户图像帧中确定构成用户动作序列的关键点，获取每帧图像中的关键点信息。
需要说明的是，本步骤中的关键点信息的获取方式与步骤S11中的获取方式相同，只不过本步骤是以用户健身的视频为依据，详细的实现过程在此不再赘述。
步骤1012，根据所述关键点信息，生成用户动作序列；
具体地，此步骤的详细实现过程为：根据所述关键点信息，确定用户图像帧中的用户姿态信息，其中，所述用户姿态信息包括至少一个部位，所述部位包括至少一个关键点；根据所述用户姿态信息，确定用户动作序列，所述用户动作序列包括多个用户姿态的排列关系，该排列关系用以表明多个用户姿态的时间先后顺序。
综上可知，步骤101是根据用户图像帧中具有时间先后顺序的至少两帧图像获取用户动作序列的过程。
进一步地，本申请中步骤102的实现方式为：
步骤1021，确定所述用户动作序列对应的动作语义；
步骤1022，遍历参照动作数据中的参照动作序列，确定所述参照动作序列中是否存在与所述动作语义匹配的关系路径，获取语义匹配结果；
其中，所述关系路径为同一动作中的至少两个姿态间的排列关系。
具体地，该语义匹配结果为参照动作序列中存在与所述动作语义匹配的关系路径，或者语义匹配结果为参照动作序列中不存在与所述动作语义匹配的关系路径。
需要说明的是，上述方式，根据识别的用户动作序列和其表达的语义之间的对应关系(例如，站立→蹲下→站立对应完整的深蹲动作)得到用户动作序列对应的语义，在用户开启摄像头进行运动健身时，对于用户的关键点信息进行实时采集，根据姿态A与姿态B之间的关系，例如，姿态A到姿态B，则其之间的关系可表示为EA→EB，则遍历参照动作序列，若在参照动作序列中找到与动作语义匹配的关系路径，比如A→B→C，则将动作语义对应为用户动作，若所有路径均不满足，则返回“无动作”。
进一步需要说明的是，只有参照动作序列中存在与所述动作语义匹配的关系路径时，才进行用户动作的评分，也就是说，步骤103的实现方式为：若所述语义匹配结果为参照动作序列中存在与所述动作语义匹配的关系路径，则对所述动作语义对应的用户动作进行评分，并输出动作评分结果。
进一步地，进行动作评分的主要实现过程为：根据所述动作语义，确定用于进行评分的目标姿态信息；根据所述目标姿态信息，对所述动作语义对应的用户动作进行评分，并输出动作评分结果。
需要说明的是，该目标姿态信息包括的是用于进行评分的至少一个关键姿态，也就是说，对于每个动作，均人为指定用于进行评分的关键姿态，即对应评分关键帧(该评分关键帧可以为一个或多个)，利用参照动作数据中的打分函数实现对该次动作的评分，打分函数是衡量参照动作数据中三元组可编程性的重要指标，用于捕捉参照动作数据中的各种关系，通过参照动作数据推理得到的动作正确度可以由如下的打分函数公式得出：
打分函数公式：
Figure BDA0002868443880000081
其中，Cr(E1,E2)为动作得分；E1为用于评分的关键姿态；E2为关键姿态对应的参照姿态；E1→E2为关键姿态与参照姿态(即参照动作数据中提前录入的用于进行姿态比对的姿态)之间的关系；z表示E1→E2的关系集合(例如，深蹲可以表示为4个关系：[左腿角度，右腿角度，左臀角度，右臀角度])；δ表示用户姿态和标准姿态之间的其中一个关系；
Figure BDA0002868443880000082
为δ的关系权重，该关系权重由专家经验设定(比如，深蹲主要考察腿部动作，腿部权重可以设置大一点)，Σ为求和函数。
特别需要说明的是，本申请中需要满足，每个关系的关系权重相加之和除以关系权重的个数等于一，例如，深蹲的4个关系的关系权重分别可以设置为[1.5，1.5，0.5，0.5]。
需要说明的是，在进行动作评分时，每个关键姿态均能得到一个动作得分，若选定的目标姿态信息中有多个关键姿态，则可以将最终得分最高的一个作为该动作的得分。
还需要说明的是，本申请中对于连续的动作可以得到一组连续的分值，然后进行排序，取得分最大值为该动作的最终得分。
进一步还需要说明的是，本申请中，还根据一系列动作加权完成对整个健身课程的完成度评价，具体实现方式为：在步骤103之后，还包括：
根据每个动作的评分，确定用户连续动作的得分。
例如，给定一个用户i以及他动作的集合{t1，t2，...,tN}，用户i的动作评分可以表示为e(t1),e(t2)，...,e(tN)，具体地，用户i的连续动作(即健身课程，其由一系列的健身动作构成)的最终得分为：
根据公式：
Figure BDA0002868443880000091
确定用户连续动作的得分；
其中，e(i)为用户i的连续动作的得分；N为用户动作的总个数；M(tk)＝e(tk)或者M(tk)＝e(tk)×Ak，e(tk)为第k个动作得分，Ak为第k个动作的权重值，Σ为求和函数。
需要说明的是，本申请实施例的最终效果为实时显示规定动作的具体评分关键点信息，并在完整动作后稳定输出该次动作的最终评分。
本申请通过基于MobileNet的神经网络，实现了在实时的视频流中，对于运动中的人体进行了较为精确、稳定的关键点特征提取；同时，本申请通过参照动作数据中的评分函数，提供了相关规则的支持，保证了评分的准确性。
综上所述，本申请提供一种基于语义理解和参照动作数据的实时健身动作评分方法，通过基于预先获取的参照动作数据，根据视频中的用户图像帧中具有时间先后顺序的至少两帧图像确定用户动作序列，并确定用户动作序列中对应的语义，通过参照动作数据中同一动作中的至少两个姿态间的排列关系识别对应的动作，对运动动作进行实时评价和实时参数计算；本申请能够达到至少以下有益效果：
本申请旨在结合自适应的神经网络模型以及低成本的移动端，实现更为精确的教练动作指导，从而协助实现全民健身；
本申请通过神经网络辅助动作指导，提升健身的效率，统一健身指导标准；与教练标准动作进行实时比较，提高指导意见的准确性，提升可信度；动作视频实时存储，存留形态数据，形成数据资产。
还需要说明的是，本申请明旨在提高健身训练指导的智能化及无人化，可衍伸应用于各类需要对动作进行精确要求的工作环境，如运动员赛前训练、医生手术动作指导等领域。
如图3所示，本申请实施例还提供了一种动作评分装置，包括：
生成模块301，用于基于参照动作数据，生成用户动作序列，所述参照动作数据中包括：按照预设规则形成的参照动作序列；
获取模块302，用于将所述用户动作序列与所述参照动作数据中的参照动作序列进行语义匹配，获取语义匹配结果；
输出模块303，用于基于所述语义匹配结果，输出动作评分结果。
可选地，所述生成模块301，包括：
提取单元，用于基于参照动作数据中的构成参照动作序列的参照关键点，提取用户图像帧中的关键点信息；
生成单元，用于根据所述关键点信息，生成用户动作序列。
可选地，所述生成单元，用于：
根据所述关键点信息，确定用户图像帧中的用户姿态信息，所述用户姿态信息包括至少一个部位，所述部位包括至少一个关键点；
根据所述用户姿态信息，确定用户动作序列，所述用户动作序列包括多个用户姿态的排列关系。
可选地，所述获取模块302，包括：
第一确定单元，用于确定所述用户动作序列对应的动作语义；
获取单元，用于遍历参照动作数据中的参照动作序列，确定所述参照动作序列中是否存在与所述动作语义匹配的关系路径，获取语义匹配结果；
其中，所述关系路径为同一动作中的至少两个姿态间的排列关系。
进一步地，所述输出模块303，用于：
若所述语义匹配结果为参照动作序列中存在与所述动作语义匹配的关系路径，则对所述动作语义对应的用户动作进行评分，并输出动作评分结果。
可选地，所述输出模块303，包括：
第二确定单元，用于根据所述动作语义，确定用于进行评分的目标姿态信息；
输出单元，用于根据所述目标姿态信息，对所述动作语义对应的用户动作进行评分，并输出动作评分结果。
可选地，本申请实施例的所述参照动作数据的获取方式，包括：
在基于Python及MobileNet神经网络模型的环境下，根据实时输入的来源于参照动作的视频数据，生成参照关键点信息；
根据运动姿态特征，由所述参照关键点信息确定部位语义候选集，所述部位语义候选集包括：参照关键点组成的部位和部位状态，所述部位状态由参照关键点之间的角度确定；
根据所述部位语义候选集，生成参照动作数据；
其中，所述参照动作数据的实体包括：部位、姿态和动作，所述实体间的语义关系包括：多个部位构成姿态以及多个姿态构成动作。
可选地，本申请实施例的动作评分装置，在所述输出模块303基于所述语义匹配结果，输出动作评分结果之后，还包括：
确定模块，用于根据每个动作的动作评分结果，确定用户连续动作的得分。
需要说明的是，上述方法实施例中所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
本申请实施例的动作评分装置，通过将生成的用户动作序列与参照动作序列进行语义匹配，根据匹配结果进行动作打分，使得用户通过对动作的评分，能够及时的了解健身动作是否标准，以此实现了对用户健身动作的指导，提高了用户健身动作的准确性，进而提升了用户健身积极性。
如图4所示，本申请实施例还提供了一种动作评分装置，包括：处理器401、存储器402及存储在所述存储器402上并可在所述处理器401上运行的计算机程序，所述处理器401执行所述计算机程序时实现上述的动作评分方法的步骤。具体的，所述处理器401用于实现：基于参照动作数据，生成用户动作序列，所述参照动作数据中包括：按照预设规则形成的参照动作序列；将所述用户动作序列与所述参照动作数据中的参照动作序列进行语义匹配，获取语义匹配结果；基于所述语义匹配结果，输出动作评分结果。
可选地，所述处理器401执行基于参照动作数据，生成用户动作序列的程序时，用于实现：
基于参照动作数据中的构成参照动作序列的参照关键点，提取用户图像帧中的关键点信息；
根据所述关键点信息，生成用户动作序列。
可选地，所述处理器401执行根据所述关键点信息，生成用户动作序列的程序时，用于实现：
根据所述关键点信息，确定用户图像帧中的用户姿态信息，所述用户姿态信息包括至少一个部位，所述部位包括至少一个关键点；
根据所述用户姿态信息，确定用户动作序列，所述用户动作序列包括多个用户姿态的排列关系。
可选地，所述处理器401执行将所述用户动作序列与所述参照动作数据中的参照动作序列进行语义匹配，获取语义匹配结果的程序时，用于实现：
确定所述用户动作序列对应的动作语义；
遍历参照动作数据中的参照动作序列，确定所述参照动作序列中是否存在与所述动作语义匹配的关系路径，获取语义匹配结果；
其中，所述关系路径为同一动作中的至少两个姿态间的排列关系。
可选地，所述处理器401执行基于所述语义匹配结果，输出动作评分结果的程序时，用于实现：
若所述语义匹配结果为参照动作序列中存在与所述动作语义匹配的关系路径，则对所述动作语义对应的用户动作进行评分，并输出动作评分结果。
可选地，所述处理器401执行获取参照动作数据的程序时，用于实现：
在基于Python及MobileNet神经网络模型的环境下，根据实时输入的来源于参照动作的视频数据，生成参照关键点信息；
根据运动姿态特征，由所述参照关键点信息确定部位语义候选集，所述部位语义候选集包括：参照关键点组成的部位和部位状态，所述部位状态由参照关键点之间的角度确定；
根据所述部位语义候选集，生成参照动作数据；
其中，所述参照动作数据的实体包括：部位、姿态和动作，所述实体间的语义关系包括：多个部位构成姿态以及多个姿态构成动作。
可选地，在所述处理器401执行基于所述语义匹配结果，输出动作评分结果的程序之后，所述处理器还用于实现：
根据每个动作的动作评分结果，确定用户连续动作的得分。
需要说明的是，在图4中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器401代表的一个或多个处理器401和存储器402代表的存储器402的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口403提供接口。处理器401负责管理总线架构和通常的处理，存储器402可以存储处理器在执行操作时所使用的数据。
本领域技术人员可以理解，实现上述实施例的全部或者部分步骤可以通过硬件来完成，也可以通过计算机程序来指示相关的硬件来完成，所述计算机程序包括执行上述方法的部分或者全部步骤的指令；且该计算机程序可以存储于一可读存储介质中，存储介质可以是任何形式的存储介质。
另外，本发明具体实施例还提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述动作评分方法中的步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述的原理前提下还可以作出若干改进和润饰，这些改进和润饰也在本发明的保护范围内。

Claims (10)

1.一种动作评分方法，其特征在于，包括：
基于参照动作数据，生成用户动作序列，所述参照动作数据中包括：按照预设规则形成的参照动作序列；
将所述用户动作序列与所述参照动作数据中的参照动作序列进行语义匹配，获取语义匹配结果；
基于所述语义匹配结果，输出动作评分结果。
2.根据权利要求1所述的动作评分方法，其特征在于，所述基于参照动作数据，生成用户动作序列，包括：
基于参照动作数据中的构成参照动作序列的参照关键点，提取用户图像帧中的关键点信息；
根据所述关键点信息，生成用户动作序列。
3.根据权利要求2所述的动作评分方法，其特征在于，所述根据所述关键点信息，生成用户动作序列，包括：
根据所述关键点信息，确定用户图像帧中的用户姿态信息，所述用户姿态信息包括至少一个部位，所述部位包括至少一个关键点；
根据所述用户姿态信息，确定用户动作序列，所述用户动作序列包括多个用户姿态的排列关系。
4.根据权利要求1所述的动作评分方法，其特征在于，所述将所述用户动作序列与所述参照动作数据中的参照动作序列进行语义匹配，获取语义匹配结果，包括：
确定所述用户动作序列对应的动作语义；
遍历参照动作数据中的参照动作序列，确定所述参照动作序列中是否存在与所述动作语义匹配的关系路径，获取语义匹配结果；
其中，所述关系路径为同一动作中的至少两个姿态间的排列关系。
5.根据权利要求4所述的动作评分方法，其特征在于，所述基于所述语义匹配结果，输出动作评分结果，包括：
若所述语义匹配结果为参照动作序列中存在与所述动作语义匹配的关系路径，则对所述动作语义对应的用户动作进行评分，并输出动作评分结果。
6.根据权利要求5所述的动作评分方法，其特征在于，所述对所述动作语义对应的用户动作进行评分，并输出动作评分结果，包括：
根据所述动作语义，确定用于进行评分的目标姿态信息；
根据所述目标姿态信息，对所述动作语义对应的用户动作进行评分，并输出动作评分结果。
7.根据权利要求1所述的动作评分方法，其特征在于，所述参照动作数据的获取方式，包括：
在基于Python及MobileNet神经网络模型的环境下，根据实时输入的来源于参照动作的视频数据，生成参照关键点信息；
根据运动姿态特征，由所述参照关键点信息确定部位语义候选集，所述部位语义候选集包括：参照关键点组成的部位和部位状态，所述部位状态由参照关键点之间的角度确定；
根据所述部位语义候选集，生成参照动作数据；
其中，所述参照动作数据的实体包括：部位、姿态和动作，所述实体间的语义关系包括：多个部位构成姿态以及多个姿态构成动作。
8.根据权利要求1所述的动作评分方法，其特征在于，在所述基于所述语义匹配结果，输出动作评分结果之后，还包括：
根据每个动作的动作评分结果，确定用户连续动作的得分。
9.一种动作评分装置，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的动作评分方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的动作评分方法的步骤。
CN202011589442.6A 2020-12-29 2020-12-29 动作评分方法、装置及可读存储介质 Active CN112597933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011589442.6A CN112597933B (zh) 2020-12-29 2020-12-29 动作评分方法、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011589442.6A CN112597933B (zh) 2020-12-29 2020-12-29 动作评分方法、装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN112597933A true CN112597933A (zh) 2021-04-02
CN112597933B CN112597933B (zh) 2023-10-20

Family

ID=75203316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011589442.6A Active CN112597933B (zh) 2020-12-29 2020-12-29 动作评分方法、装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN112597933B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115101169A (zh) * 2022-07-29 2022-09-23 北京欧应科技有限公司 用于实现训练动作的方法、设备和介质
CN115131879A (zh) * 2022-08-31 2022-09-30 飞狐信息技术（天津）有限公司 一种动作评价方法及装置
CN115171000A (zh) * 2022-05-31 2022-10-11 此刻启动(北京)智能科技有限公司 一种在线健身授课方法、装置、电子设备及存储介质
CN115531832A (zh) * 2022-09-29 2022-12-30 厦门艾地运动科技有限公司 一种健身指导信息的生成方法、终端设备及存储介质
TWI789974B (zh) * 2021-11-04 2023-01-11 財團法人資訊工業策進會 線上直播運動姿勢指導輔助系統與方法
CN117078976A (zh) * 2023-10-16 2023-11-17 华南师范大学 动作评分方法、装置、计算机设备以及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106021926A (zh) * 2016-05-20 2016-10-12 北京九艺同兴科技有限公司 一种人体动作序列的实时评价方法
CN107730529A (zh) * 2017-10-10 2018-02-23 上海魔迅信息科技有限公司 一种视频动作评分方法及系统
CN108197589A (zh) * 2018-01-19 2018-06-22 北京智能管家科技有限公司 动态人体姿态的语义理解方法、装置、设备和存储介质
CN108805068A (zh) * 2018-06-01 2018-11-13 李泽善 一种基于学生运动的运动辅助系统、方法、装置及介质
US20190354765A1 (en) * 2014-02-28 2019-11-21 Second Spectrum, Inc. Methods, systems, and user interface navigation of video content based spatiotemporal pattern recognition
CN110796077A (zh) * 2019-10-29 2020-02-14 湖北民族大学 姿态动作实时检测校正方法
CN111401330A (zh) * 2020-04-26 2020-07-10 四川自由健信息科技有限公司 教学系统及采用该教学系统的智能镜
CN111563487A (zh) * 2020-07-14 2020-08-21 平安国际智慧城市科技股份有限公司 基于姿态识别模型的舞蹈评分方法及相关设备
CN111931804A (zh) * 2020-06-18 2020-11-13 南京信息工程大学 一种基于rgbd摄像机的人体动作自动评分方法
CN114333046A (zh) * 2021-11-16 2022-04-12 清华大学 舞蹈动作评分方法、装置、设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190354765A1 (en) * 2014-02-28 2019-11-21 Second Spectrum, Inc. Methods, systems, and user interface navigation of video content based spatiotemporal pattern recognition
CN106021926A (zh) * 2016-05-20 2016-10-12 北京九艺同兴科技有限公司 一种人体动作序列的实时评价方法
CN107730529A (zh) * 2017-10-10 2018-02-23 上海魔迅信息科技有限公司 一种视频动作评分方法及系统
CN108197589A (zh) * 2018-01-19 2018-06-22 北京智能管家科技有限公司 动态人体姿态的语义理解方法、装置、设备和存储介质
CN108805068A (zh) * 2018-06-01 2018-11-13 李泽善 一种基于学生运动的运动辅助系统、方法、装置及介质
CN110796077A (zh) * 2019-10-29 2020-02-14 湖北民族大学 姿态动作实时检测校正方法
CN111401330A (zh) * 2020-04-26 2020-07-10 四川自由健信息科技有限公司 教学系统及采用该教学系统的智能镜
CN111931804A (zh) * 2020-06-18 2020-11-13 南京信息工程大学 一种基于rgbd摄像机的人体动作自动评分方法
CN111563487A (zh) * 2020-07-14 2020-08-21 平安国际智慧城市科技股份有限公司 基于姿态识别模型的舞蹈评分方法及相关设备
CN114333046A (zh) * 2021-11-16 2022-04-12 清华大学 舞蹈动作评分方法、装置、设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANG WANG等: "Learning Maximum Margin Temporal Warping for Action Recognition", 《2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》, pages 2688 *
张泽伟: "改进ST-GCN的动作识别方法及其在上肢运动评分中的应用研究", 《CNKI优秀硕士学位论文全文库 基础科学辑》, no. 03, pages 006 - 494 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI789974B (zh) * 2021-11-04 2023-01-11 財團法人資訊工業策進會 線上直播運動姿勢指導輔助系統與方法
CN115171000A (zh) * 2022-05-31 2022-10-11 此刻启动(北京)智能科技有限公司 一种在线健身授课方法、装置、电子设备及存储介质
CN115101169A (zh) * 2022-07-29 2022-09-23 北京欧应科技有限公司 用于实现训练动作的方法、设备和介质
CN115131879A (zh) * 2022-08-31 2022-09-30 飞狐信息技术（天津）有限公司 一种动作评价方法及装置
CN115531832A (zh) * 2022-09-29 2022-12-30 厦门艾地运动科技有限公司 一种健身指导信息的生成方法、终端设备及存储介质
CN117078976A (zh) * 2023-10-16 2023-11-17 华南师范大学 动作评分方法、装置、计算机设备以及存储介质
CN117078976B (zh) * 2023-10-16 2024-01-30 华南师范大学 动作评分方法、装置、计算机设备以及存储介质

Also Published As

Publication number Publication date
CN112597933B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN112597933A (zh) 动作评分方法、装置及可读存储介质
JP7061694B2 (ja) 画像処理方法および装置、画像機器、ならびに記憶媒体
WO2020207281A1 (zh) 姿态识别模型的训练方法、图像识别方法及装置
US11816847B2 (en) Method and apparatus for prompting motion, electronic device and storage medium
CN108764120B (zh) 一种人体规范动作评价方法
JP7015152B2 (ja) キーポイントデータに関する加工装置、方法及びプログラム
Lee et al. Constraint-based hand animation
CN105512621A (zh) 一种基于Kinect的羽毛球动作指导系统
Ibañez et al. Approximate string matching: A lightweight approach to recognize gestures with Kinect
CN113221745B (zh) 举手识别方法、装置、电子设备及存储介质
CN107783654A (zh) 一种虚拟装配操作中身体弯曲类动作检测方法
CN113705540A (zh) 一种无器械训练动作识别与计数方法及系统
Li et al. Glove-based virtual hand grasping for virtual mechanical assembly
Jin et al. SOM-based hand gesture recognition for virtual interactions
JP2008512750A (ja) 規則に基づいた逐次アプローチを利用した人間の姿勢を予測するためのシステムおよび方法
WO2021000327A1 (zh) 手部模型生成方法、装置、终端设备及手部动作捕捉方法
Liu et al. Trampoline motion decomposition method based on deep learning image recognition
CN115346640B (zh) 一种功能性康复训练闭环反馈的智能监测方法及系统
CN116749168A (zh) 一种基于体势手势示教的康复轨迹获取方法
Tian et al. Design and implementation of dance teaching system based on Unity3D
CN114417618A (zh) 虚拟现实辅助的装配复杂度评价系统
Hachaj et al. Averaging of motion capture recordings for movements’ templates generation
Bachynskyi et al. Biomechanical simulation in the analysis of aimed movements
Plantard et al. Ergonomics measurements using Kinect with a pose correction framework
Yang et al. Automatic muscle generation for character skin deformation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant