CN116386136A - 基于人体骨骼关键点的动作评分方法、设备及介质 - Google Patents

基于人体骨骼关键点的动作评分方法、设备及介质 Download PDF

Info

Publication number
CN116386136A
CN116386136A CN202310234816.XA CN202310234816A CN116386136A CN 116386136 A CN116386136 A CN 116386136A CN 202310234816 A CN202310234816 A CN 202310234816A CN 116386136 A CN116386136 A CN 116386136A
Authority
CN
China
Prior art keywords
action
feature
template
features
actual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310234816.XA
Other languages
English (en)
Inventor
曹碧莲
陈豪
洪刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Yiti Technology Co ltd
Original Assignee
Zhejiang Yiti Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Yiti Technology Co ltd filed Critical Zhejiang Yiti Technology Co ltd
Priority to CN202310234816.XA priority Critical patent/CN116386136A/zh
Publication of CN116386136A publication Critical patent/CN116386136A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术领域，具体为一种基于人体骨骼关键点的动作评分方法、系统、设备及介质。包括：获取模板动作视频数据和测试动作视频数据，分别对模板动作视频数据和测试动作视频数据进行特征提取，生成模板动作特征和测试动作特征，将模板动作特征和测试动作特征进行特征匹配，得到最小特征距离阈值、最大特征距离阈值以及特征权重，获取实际动作视频流，并对实际动作视频流中的人体骨骼关键点信息进行特征提取，生成实际动作特征，将模板动作特征和实际动作特征进行特征匹配，得到特征相似度，将特征相似度通过计算转换成值，得到用户动作评分值。有效解决存在动作识别精确度低，评分不准确问题，在提高识别精确度的同时，评分准确。

Description

基于人体骨骼关键点的动作评分方法、设备及介质
技术领域
本发明涉及计算机视觉技术领域，具体为一种基于人体骨骼关键点的动作评分方法、系统、设备及介质。
背景技术
动作评分通过分析人体姿态、动作角度、动作幅度等，依据模板动作评估人体实际动作的完成情况，从而对人体动作进行评分。随着全民健身国家战略的深入推进，公共体育服务体系建设速度加快，全民健身意识极大增强。各个学校对学生的体能训练越来越重视，各项体育运动被纳入中考体能体育考试项目，包括立定跳远、坐位体前屈和仰卧起坐等。日常锻炼中，运动爱好者也希望通过一些简单快捷的方法来规范自己的动作，以更快地提高自身的运动技术水平。
目前动作评分方法主要包括以下方向：a)基于传感器的可穿戴设备，通过可穿戴的传感器设备获取动作信息，对提取到动作信息提取动作特征，与事先提取好的模板动作特征匹配，用得到相似度来计算动作分数；b)基于姿态识别技术，通过深度学习的方法提取动作特征，与模板特征进行匹配，得到用户实际动作与模板动作的相似度来计算动作分数；其中，基于姿态识别技术的动作评分方法，凭借以下优势受到了研究者们的青睐：首先，姿态识别采用深度学习方法，训练神经网络，提取到了更高维的抽象特征，能够更加准确的表征动作信息。其次，姿态识别依赖于人体关节点位置信息，对人体变化更有鲁棒性。
基于传感器可穿戴设备，具有以下问题：a)需要穿戴测量传感器，不够方便快捷、干扰被测试者做动作；b）不同方式选取的用于比较的数据，对评价结果影响较大；c）传感器获取的动作数据，未必能准确描述被测试者的动作信息。
基于姿态识别技术的动作评分方法，虽然取得了不错的效果，但是利用姿态识别模型识别出的人体关节点位置信息进行单纯的相似度计算，来对动作进行评分，虽有一定的评分效果，但实际应用时会有很多问题。首先，关节点数量不足，无法准确表征人体的动作信息，极大的影响评分效果。其次，单纯的使用关节点位置信息，特征信息不够充分，同样会影响评分效果。另外，模板动作视频与实际动作视频起止时间无法一一对应，也会导致评分不准确。最后，逐帧匹配模板动作与用户实际动作，没有解决实际应用场景中两者速度不匹配的问题，因此难以在实际应用场景中推广。
综上所述，目前的动作评分方法存在动作识别精确度低，评分不准确问题。因此有必要对基于人体骨骼关键点的动作评分方法进行进一步的改进，以解决上述问题。
发明内容
本申请的目的：在于解决和克服现有技术和应用的不足，提供一种基于人体骨骼关键点的动作评分方法、系统、设备及介质，有效解决存在动作识别精确度低，评分不准确问题，在提高识别精确度的同时，评分准确，适合推广使用。
本申请的目的是通过如下技术方案来完成的，一种基于人体骨骼关键点的动作评分方法，包括以下步骤：
S1:获取模板动作视频数据和测试动作视频数据；
S2:分别对步骤S1中模板动作视频数据和测试动作视频数据中的人体进行骨骼关键点提取；
S3:分别对步骤S2中模板动作视频数据和测试视频数据中的人体骨骼关键点信息进行特征提取，生成模板动作特征和测试动作特征；
S4:将步骤S3中生成的模板动作特征和测试动作特征进行特征匹配，得到最小特征距离阈值、最大特征距离阈值以及特征权重；其中，得到的两个特征距离的阈值以及特征权重，分别作为打分过程的通用阈值和特征权重；
S5:获取实际动作视频流，并对实际动作视频流中的人体进行骨骼关键点提取；
S6:对步骤S5中实际动作视频流中的人体骨骼关键点信息进行特征提取，生成实际动作特征；并将得到的实际动作特征和步骤S3中的模板特征进行特征匹配，得到模板特征和实际动作特征之间的特征距离；其中，进行特征匹配之前，利用视频时间戳，对齐模板动作视频与实际动作视频，并设置时间浮动时间，特征匹配过程中利用步骤S4中的特征权重，对特征进行加权；
S7:将步骤S6中的特征距离通过特征相似度公式得到特征相似度，特征相似度通过分数计算公式转换成值，得到用户动作评分值。
优选地，所述步骤S2具体包括：
S21：采集不同场景下不同状态人物的视频数据；
S22：对采集到视频数据进行骨骼关键点标注；
S23：对标注完成的数据做预处理，包括图像灰度化和图像去噪等；
S24：将预处理好的数据输入到姿态提取网络进行训练；
S25：计算误差，更新权重，优化模型，直至误差满足要求终止训练；
S25：得到姿态提取模型，并保存。
优选地，所述步骤S3中具体为：
通过人体运动过程中骨骼之间的相互关系以及骨骼关键点位置的变化情况，设计动作特征列表；骨骼关键点位置信息采用不同骨骼关键点之间的欧式距离信息；特征提取器根据设计好的动作特征列表构建动作特征库，分别提取模板动作特征和测试动作特征，其中，模板动作特征存储模板视频所有帧的动作特征，作为打分过程的通用模板。
优选地，所述步骤S3中两个不同骨骼关键点之间的欧式距离公式为：
Figure SMS_1
其中，X，Y的含义为：n维空间的两个点；n的含义为：空间维度；
Figure SMS_2
的含义为：点X的第i个坐标；/>
Figure SMS_3
的含义为：点Y的第i个坐标。
优选地，所述步骤S4具体包括：
S41：实时输入测试动作的骨骼关键点信息；
S42：基于步骤S41的骨骼关键点信息，实时提取测试动作特征；
S43：将步骤S42提取的测试动作特征与提前提取完成的模板动作特征进行特征匹配，计算两者之间的特征距离；
S44：分析步骤S43特征匹配过程中，模板动作特征和测试动作特征之间距离的变化情况，调节最小特征距离阈值和最大特征距离阈值以及特征权重；
S45：输出最小特征距离阈值和最大特征距离阈值，以及特征权重。
优选地，所诉步骤S6具体包括：
S61：实时输入用户实际动作的骨骼关键点信息；
S62：基于步骤S61的骨骼关键点信息，实时提取用户实际动作特征；
S63：利用视频时间戳，对齐模板动作视频与用户实际动作视频，并设置时间浮动时间；
S64：将步骤S62提取的用户实际动作特征与提前提取完成的模板动作特征进行特征匹配，得到模板动作特征和用户实际动作特征之间的特征距离。特征匹配过程中利用提前调节好的特征权重，对特征进行加权。
优选地，所述步骤S7中特征相似度公式如下所示：
Figure SMS_4
其中，emb_dist表示特征距离，difference表示用户实际动作与模板动作的差异，max_thres为最大特征距离阈值，min_thres为最小特征距离阈值，通过difference与max_thres和min_thres差的比值，得到0到1之间的浮点数similarity。
优选地，所述步骤S7具体步骤为：
S71：输入模板动作特征和实际动作特征之间的特征距离；
S72：判断特征距离是否小于最小特征距离阈值，若是，则直接输出满分，若否，则进入下一步骤；
S73：判断特征距离是否大于最大特征距离阈值，若是，则直接输出最低分，若否，则进入下一步骤；
S74：当特征距离大于或等于最小特征距离阈值且小于或等于最大特征距离阈值时，利用最小特征距离阈值和最大特征距离阈值以及用户实际动作与模板动作的差异得到特征相似度，特征相似度通过分数计算公式得到实际动作分数。
本发明还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明提供的基于人体骨骼关键点的动作评分方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可以被计算机处理器执行，以实现上述任意一项所述的基于人体骨骼关键点的动作评分方法。
本申请与现有技术相比，至少具有以下明显优点和效果：
1、在本发明中，利用视频时间戳，对齐模板动作视频与用户实际动作视频,解决了模板视频与实际动作视频起止时间无法一一对应的问题。
2、在本发明中，动作匹配过程中设置时间浮动时间（tolerance），为匹配到的视频时间戳增加前后可变的范围，有效解决了模板动作与用户实际动作速度不匹配的问题。
3、在本发明中，用户可以根据打分系统对自身动作的打分情况，分析并发现自身存在的问题，针对性训练，以提升运动技术水平。
附图说明
图1是本申请的整体流程图。
图2是本申请中姿态提取流程示意图。
图3是本申请中本申请中特征匹配的流程示意图。
图4是本申请中动作评分的流程示意图。
图5是本申请中实际应用的示意图。
图6是本申请中的一种电子设备结构示意图。
本申请中的附图标记：
处理器101、存储装置102、输入装置103、输出装置104、总线105。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作（或步骤）描述成顺序的处理，但是其中的许多操作（或步骤）可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
下面通过以下各个实施例及其可选方案对本申请中提供的基于人体骨骼关键点的动作评分方法、系统、设备及介质进行详细阐述。
图1是本发明实施例中提供的一种基于人体骨骼关键点的动作评分方法的流程图。本发明实施例可适用于对视频行为识别的情况。该方法可由基于关键点的动作识别及计数设备来执行，该设备可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图1所示，本申请实施例中提供的基于人体骨骼关键点的动作评分方法，可包括以下步骤：
S1: 获取模板动作视频数据和测试动作视频数据；
在本申请实施例中，通过摄像头获取不同场景下不同状态人物的模板动作视频数据和测试动作视频数据。
S2：分别对步骤S1中模板动作视频数据和测试动作视频数据中的人体进行骨骼关键点提取；具体包括：如图2所示为本申请中姿态提取流程示意图，
S21：采集不同场景下不同状态人物的视频数据；
S22：对采集到视频数据进行骨骼关键点标注；
S23：对标注完成的数据做预处理，包括图像灰度化和图像去噪等；
S24：将预处理好的数据输入到姿态提取网络进行训练；
S25：计算误差，更新权重，优化模型，直至误差满足要求终止训练；
S25：得到姿态提取模型，并保存。
在本申请实施例中，针对关键点数量不足，导致动作信息表征不准确的问题，本申请实施例中采用的姿态识别算法共训练 了33个人体骨骼关键点信息，能够较为准确地表征人体的动作信息。同时，针对人体关节点位置信息单一的问题，本发明利用人体骨骼关键点位置信息的同时，还增加了人体骨骼之间位置、方向、角度等信息，能够更加充分、准确地表征人体的动作信息。采用BlazePose算法用于人体姿态提取，一个轻量的卷积神经网络，共计可预测33个人体关键点。
S3:分别对步骤S2中模板动作视频数据和测试视频数据中的人体骨骼关键点信息进行特征提取，生成模板动作特征和测试动作特征，其中模板动作特征存储模板视频所有帧的动作特征，作为打分过程的通用模板；
本阶段利用第一阶段提取到的人体骨骼关键点信息，设计并构建动作特征库。通过人体运动过程中骨骼之间的相互关系以及骨骼关键点位置的变化情况，设计动作特征列表；骨骼关键点位置信息采用不同骨骼关键点之间的欧式距离信息；特征提取器根据设计好的动作特征列表构建动作特征库，分别提取模板动作特征和测试动作特征。特征提取器具体为用于计算不同骨骼关键点之间的欧式距离的功能模块。两个不同骨骼关键点之间的欧式距离公式为：
Figure SMS_5
S4:将步骤S3中生成的模板动作特征和测试动作特征进行特征匹配，得到最小特征距离阈值、最大特征距离阈值以及特征权重；其中，得到的两个特征距离的阈值以及特征权重，分别作为打分过程的通用阈值和特征权重；如图3所示为本申请中特征匹配的流程示意图，具体步骤如下：
S41：实时输入测试动作的骨骼关键点信息；
S42：基于步骤S41的骨骼关键点信息，实时提取测试动作特征；
S43：将步骤S42提取的测试动作特征与提前提取完成的模板动作特征进行特征匹配，计算两者之间的特征距离，其中，两者之间的特征距离包括最大特征距离和平均特征距离；计算方法：同一对骨骼关键点，在模板中的欧式距离特征与测试动作实际姿态的欧式距离特征的差值；其中最大特征距离，即最大的距离差值；平均特征距离，即所有距离差值的平均值。
S44：分析步骤S43特征匹配过程中，模板动作特征和实际动作特征之间距离的变化情况，调节最小特征距离阈值和最大特征距离阈值以及特征权重；
S45：输出最小特征距离阈值和最大特征距离阈值，以及特征权重。
在本实施例中，通过分析模板动作和用户实际动作之间特征距离的变化情况，得到特征距离的两个阈值，最小特征距离阈值（min_thres）最和最大特征距离阈值（max_thres）。特征权重与具体动作相关，通过观察不同特征对于规范具体动作时发挥作用的重要程度，调节特征权重。最后，输出最小特征距离阈值和最大特征距离阈值以及特征权重。特别地，最小特征距离阈值和最大特征距离阈值作为通用的特征距离阈值，特征权重作为通用特征权重，在打分系统运行前设置，而不需要在每次打分系统运行时，重新调节设置阈值和特征权重。
S5:获取实际动作视频流，并对实际动作视频流中的人体进行骨骼关键点提取。其中，本实施例骨骼关键点提取步骤如上述步骤S2所述，在此不做赘述。
S6:对步骤S5中实际动作视频流中的人体骨骼关键点信息进行特征提取，生成实际动作特征,并将得到的实际动作特征和步骤S3中的模板特征进行特征匹配，得到模板特征和实际动作特征之间的特征距离；其中，进行特征匹配之前，利用视频时间戳，对齐模板动作视频与实际动作视频，并设置时间浮动时间，特征匹配过程中利用步骤S4中的特征权重，对特征进行加权。步骤S6具体包括：
S61：实时输入用户实际动作的骨骼关键点信息；
S62：基于步骤S61的骨骼关键点信息，实时提取用户实际动作特征；
S63：利用视频时间戳，对齐模板动作视频与用户实际动作视频，并设置时间浮动时间；
S64：将步骤S62提取的用户实际动作特征与提前提取完成的模板动作特征进行特征匹配，得到模板动作特征和用户实际动作特征之间的特征距离。特征匹配过程中利用提前调节好的特征权重，对特征进行加权。
S7:将步骤S6中的特征距离通过特征相似度公式得到特征相似度，特征相似度通过分数计算公式转换成值，得到用户动作评分值。如图4所示为本申请中动作评分的流程示意图，具体步骤如下：
S71：输入模板动作特征和实际动作特征之间的特征距离；
S72：判断特征距离是否小于最小特征距离阈值，若是，则直接输出满分，若否，则进入下一步骤；
S73：判断特征距离是否大于最大特征距离阈值，若是，则直接输出最低分，若否，则进入下一步骤；
S74：当特征距离大于或等于最小特征距离阈值且小于或等于最大特征距离阈值时，利用最小特征距离阈值和最大特征距离阈值以及用户实际动作与模板动作的差异得到特征相似度，特征相似度通过分数计算公式得到实际动作分数。
在本实施例中，动作打分模块是本发明的最后一个阶段，也是动作打分系统的核心部分。本发明提出的动作打分系统利用特征匹配模块得到的最小特征距离阈值和最大特征距离阈值，将模板动作和用户实际动作之间的特征距离划分成三个区间。当用户实际动作与模板动作之间的特征距离小于最小特征距离阈值时，认为用户的实际动作和模板动作十分相似，此时给用户实际动作打满分；当用户实际动作与模板动作之间的特征距离大于最大距离特征阈值时，认为用户实际动作与模板动作差别太大，相似度极低，此时给用户实际动作打最低分；当用户实际动作与模板动作之间的特征距离在最小特征距离阈值和最大特征距离阈值两者之间时，通过用户实际动作和模板动作的特征距离计算得到特征相似度，再由特征相似度转换成用户实际动作的得分。特征相似度计算公式，如下所示：
Figure SMS_6
其中，emb_dist表示特征距离，公式中difference表示用户实际动作与模板动作的差异，由最大特征距离阈值（max_thres）减去特征匹配阶段输出的特征距离的平均值得到，也可以是最大特征距离阈值（max_thres）减去特征匹配阶段输出的特征距离的最大值得到，或者是最大特征距离阈值（max_thres）减去特征匹配阶段输出的特征距离的平均值与最大值的加权和得到；最小特征距离阈值和最大特征距离阈值由特征匹配模块得到，相当于先验。通过difference与max_thres和min_thres差的比值，得到0到1之间的浮点数similarity，similarity表示用户实际动作和模板动作的相似度。将由特征相似度公式计算出的similarity乘以满分(full_mark)，即得到当前时刻用户实际动作的score (分数)。分数计算公式，如下所示。
Figure SMS_7
特别地，由于min_thres和max_thres的取值不同，会在一定程度上影响打分系统的打分效果。因此，本发明提出的动作打分系统，可以通过合理地设置min_thres和max_thres的值，实现打分等级的划分。例如，当min_thres的值设置的越小的时候，用户越难得到满分，即打分系统对用户实际动作的完成准确度要求越高。同理，当max_thres越大的时候，用户越不容易得到最低分，打分系统打分越不严格。
在本发明中，首先采用姿态识别算法提取人体骨骼关键点；随后利用人体骨骼关键点信息提取动作特征，通过特征匹配得到模板动作特征和测试动作特征之间距离的min_thres(最小特征距离阈值)和max_thres(最大特征距离阈值)以及特征权重；最后依据得到的两个特征距离阈值min_thres和max_thres，以及模板动作与用户实际动作的特征距离对用户的实时动作进行打分。有效解决存在动作识别精确度低，评分不准确问题，在提高识别精确度的同时，评分准确，适合推广使用。
实际应用：
本申请实施例提出智能广播体操评分系统，以对本发明内容作进一步说明。如图5所示为本申请中实际应用的示意图。硬件由带有摄像头的智能手机作为支持，动作打分系统作为一个应用软件安装于手机中。
首先，制定广播体操打分系统的动作特征列表。其中，包括骨骼关键点之间的位置信息、运动过程中肢体的运动方向信息、骨骼之间的角度信息等。其中，
1.位置信息包括：
a)左肩膀到左手肘的欧式距离；
b)右膝盖到右脚踝的欧式距离；
c)左手腕到左肩膀的欧式距离等。
2.方向信息包括
a)人体的移动方向；
b)手臂的伸展方向；
c)腿的运动的方向等。
3.角度信息包括：
a)双臂与身体躯干的夹角；
b)以左手肘为顶点时，左手腕和左肩膀的夹角；
c)以右手肘为顶点时，右手腕和右肩膀的夹角等。
根据制定的广播体操动作特征列表，提取标准广播体操视频的动作特征，将其作为配置文件，存放于系统的指定位置。之后与实时提取到的用户动作特征匹配，通过计算用户动作特征与标准广播体操动作特征的相似度，计算用户动作的得分。广播体操打分系统的打分采取百分制，当用户动作与模板动作差异十分大，甚至毫不相关时，给用户动作打0分；当用户动作与模板动作十分相似，差异几乎可以忽略时，给用户动作打100分。
当用户使用广播体操打分系统为广播体操打分时，广播体操打分系统播放模板广播体操视频，同时通过摄像头实时获取用户动作。然后，广播体操打分系统实时提取用户动作特征，并将提取到的用户动作特征与模板广播体操动作特征匹配。最后，广播体操打分系统依据用户动作特征与模板视频动作特征的相似度，给用户动作打相应的分数。
广播体操打分系统可用于学校检查学生对广播体操的掌握情况，用户也可以根据广播体操打分系统给出的分数反馈，分析发现自身的动作问题，反复训练，以提高自身广播体操水平。该系统如图5所示，这里为了方便展示放大了手机画面，实际应用时用户只需将手机置于固定位置，广播体操打分系统会根据用户的站位给出提示，使用户置于距离手机的合理范围内。为了更好的体验感，用户也可以通过手机投屏放大手机的画面。
本发明还提供了一种电子设备，如图6所示为本申请中的一种电子设备的结构示意图，包括一个或多个处理器101和存储装置102；该电子设备中的处理器101可以是一个或多个，图6中以一个处理器101为例；存储装置102用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器101执行，使得所述一个或多个处理器101实现如本发明实施例中任一项所述的基于人体骨骼关键点的动作评分方法。
该电子设备还可以包括：输入装置103和输出装置104。该电子设备中的处理器101、存储装置102、输入装置103和输出装置104可以通过总线105或其他方式连接，图6中以通过总线105连接为例。
该电子设备中的存储装置102作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例中所提供的基于关节点行为识别的方法对应的程序指令/模块。处理器101通过运行存储在存储装置102中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中基于关节点行为识别的方法。
存储装置102可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储装置102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置102可进一步包括相对于处理器101远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置103可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置104可包括显示屏等显示设备。
并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器101执行时，程序进行如下操作：
S1:获取模板动作视频数据和测试动作视频数据；
S2:分别对步骤S1中模板动作视频数据和测试动作视频数据中的人体进行骨骼关键点提取；
S3:分别对步骤S2中模板动作视频数据和测试视频数据中的人体骨骼关键点信息进行特征提取，生成模板动作特征和测试动作特征；
S4:将步骤S3中生成的模板动作特征和测试动作特征进行特征匹配，得到最小特征距离阈值、最大特征距离阈值以及特征权重；其中，得到的两个特征距离的阈值以及特征权重，分别作为打分过程的通用阈值和特征权重；S5:获取实际动作视频流，并对实际动作视频流中的人体进行骨骼关键点提取；
S6:对步骤S5中实际动作视频流中的人体骨骼关键点信息进行特征提取，生成实际动作特征；并将得到的实际动作特征和步骤S3中的模板特征进行特征匹配，得到模板特征和实际动作特征之间的特征距离；其中，进行特征匹配之前，利用视频时间戳，对齐模板动作视频与实际动作视频，并设置时间浮动时间，特征匹配过程中利用步骤S4中的特征权重，对特征进行加权；S7:将步骤S6中的特征距离通过特征相似度公式得到特征相似度，特征相似度通过分数计算公式转换成值，得到用户动作评分值。
当然，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器101执行时，程序还可以进行本发明任意实施例中所提供的基于关节点行为识别的方法中的相关操作。
需要进一步说明的是，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可以被计算机处理器执行，实现上述实施例基于人体骨骼关键点的动作评分方法。所述计算机程序可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
由于本领域技术人员能够很容易想到，利用申请的构思和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种基于人体骨骼关键点的动作评分方法，其特征在于，包括以下步骤：
S1:获取模板动作视频数据和测试动作视频数据；
S2:分别对步骤S1中模板动作视频数据和测试动作视频数据中的人体进行骨骼关键点提取；
S3:分别对步骤S2中模板动作视频数据和测试视频数据中的人体骨骼关键点信息进行特征提取，生成模板动作特征和测试动作特征；
S4:将步骤S3中生成的模板动作特征和测试动作特征进行特征匹配，得到最小特征距离阈值、最大特征距离阈值以及特征权重；其中，得到的两个特征距离的阈值以及特征权重，分别作为打分过程的通用阈值和特征权重；
S5:获取实际动作视频流，并对实际动作视频流中的人体进行骨骼关键点提取；
S6:对步骤S5中实际动作视频流中的人体骨骼关键点信息进行特征提取，生成实际动作特征；并将得到的实际动作特征和步骤S3中的模板特征进行特征匹配，得到模板特征和实际动作特征之间的特征距离；其中，进行特征匹配之前，利用视频时间戳，对齐模板动作视频与实际动作视频，并设置时间浮动时间，特征匹配过程中利用步骤S4中的特征权重，对特征进行加权；
S7:将步骤S6中的特征距离通过特征相似度公式得到特征相似度，特征相似度通过分数计算公式转换成值，得到用户动作评分值。
2.根据权利要求1所诉的一种基于人体骨骼关键点的动作评分方法，其特征在于：所诉步骤S2具体包括：
S21：采集不同场景下不同状态人物的视频数据；
S22：对采集到视频数据进行骨骼关键点标注；
S23：对标注完成的数据做预处理，包括图像灰度化和图像去噪等；
S24：将预处理好的数据输入到姿态提取网络进行训练；
S25：计算误差，更新权重，优化模型，直至误差满足要求终止训练；
S25：得到姿态提取模型，并保存。
3.根据权利要求1所述的一种基于人体骨骼关键点的动作评分方法，其特征在于：所述步骤S3中具体为：
通过人体运动过程中骨骼之间的相互关系以及骨骼关键点位置的变化情况，设计动作特征列表；骨骼关键点位置信息采用不同骨骼关键点之间的欧式距离信息；特征提取器根据设计好的动作特征列表构建动作特征库，分别提取模板动作特征和测试动作特征，其中，模板动作特征存储模板视频所有帧的动作特征，作为打分过程的通用模板。
4.根据权利要求1所述的一种基于人体骨骼关键点的动作评分方法，其特征在于：所述步骤S4具体包括：
S41：实时输入测试动作的骨骼关键点信息；
S42：基于步骤S41的骨骼关键点信息，实时提取测试动作特征；
S43：将步骤S42提取的测试动作特征与提前提取完成的模板动作特征进行特征匹配，计算两者之间的特征距离；
S44：分析步骤S43特征匹配过程中，模板动作特征和测试动作特征之间距离的变化情况，调节最小特征距离阈值和最大特征距离阈值以及特征权重；
S45：输出最小特征距离阈值和最大特征距离阈值，以及特征权重。
5.根据权利要求1所诉的一种基于人体骨骼关键点的动作评分方法，其特征在于：所诉步骤S6具体包括：
S61：实时输入用户实际动作的骨骼关键点信息；
S62：基于步骤S61的骨骼关键点信息，实时提取用户实际动作特征；
S63：利用视频时间戳，对齐模板动作视频与用户实际动作视频，并设置时间浮动时间；
S64：将步骤S62提取的用户实际动作特征与提前提取完成的模板动作特征进行特征匹配，得到模板动作特征和用户实际动作特征之间的特征距离，特征匹配过程中利用提前调节好的特征权重，对特征进行加权。
6.根据权利要求1所述的一种基于人体骨骼关键点的动作评分方法，其特征在于：所述步骤S7中特征相似度公式如下所示：
Figure QLYQS_1
其中，emb_dist表示特征距离，difference表示用户实际动作与模板动作的差异，max_thres为最大特征距离阈值，min_thres为最小特征距离阈值，通过difference与max_thres和min_thres差的比值，得到0到1之间的浮点数similarity。
7.根据权利要求1所述的一种基于人体骨骼关键点的动作评分方法，其特征在于：所述步骤S7具体步骤为：
S71：输入模板动作特征和实际动作特征之间的特征距离；
S72：判断特征距离是否小于最小特征距离阈值，若是，则直接输出满分，若否，则进入下一步骤；
S73：判断特征距离是否大于最大特征距离阈值，若是，则直接输出最低分，若否，则进入下一步骤；
S74：当特征距离大于或等于最小特征距离阈值且小于或等于最大特征距离阈值时，利用最小特征距离阈值和最大特征距离阈值以及用户实际动作与模板动作的差异得到特征相似度，特征相似度通过分数计算公式得到实际动作分数。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1至8中任一所述的基于人体骨骼关键点的动作评分方法。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序可以被计算机处理器执行实现如权利要求1至8中的任意一项所述方法的计算机可读指令。
CN202310234816.XA 2023-03-13 2023-03-13 基于人体骨骼关键点的动作评分方法、设备及介质 Pending CN116386136A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310234816.XA CN116386136A (zh) 2023-03-13 2023-03-13 基于人体骨骼关键点的动作评分方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310234816.XA CN116386136A (zh) 2023-03-13 2023-03-13 基于人体骨骼关键点的动作评分方法、设备及介质

Publications (1)

Publication Number Publication Date
CN116386136A true CN116386136A (zh) 2023-07-04

Family

ID=86960652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310234816.XA Pending CN116386136A (zh) 2023-03-13 2023-03-13 基于人体骨骼关键点的动作评分方法、设备及介质

Country Status (1)

Country Link
CN (1) CN116386136A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078976A (zh) * 2023-10-16 2023-11-17 华南师范大学 动作评分方法、装置、计算机设备以及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078976A (zh) * 2023-10-16 2023-11-17 华南师范大学 动作评分方法、装置、计算机设备以及存储介质

Similar Documents

Publication Publication Date Title
CN108764120B (zh) 一种人体规范动作评价方法
CN110428486B (zh) 虚拟互动的健身方法、电子设备及存储介质
CN111931585A (zh) 一种课堂专注度的检测方法及装置
CN107423398A (zh) 交互方法、装置、存储介质和计算机设备
CN110298220B (zh) 动作视频直播方法、系统、电子设备、存储介质
CN110298279A (zh) 一种肢体康复训练辅助方法及系统、介质、设备
CN113409651B (zh) 直播健身方法、系统、电子设备、存储介质
CN112381035A (zh) 一种基于骨骼关键点运动轨迹的动作相似度评价方法
CN111833439B (zh) 基于人工智能的弹药投掷分析及移动仿真训练方法
CN113705540A (zh) 一种无器械训练动作识别与计数方法及系统
CN111597975A (zh) 人员动作检测方法方法、装置及电子设备
Choi et al. Motion recognition technology based remote Taekwondo Poomsae evaluation system
CN116386136A (zh) 基于人体骨骼关键点的动作评分方法、设备及介质
CN113743237A (zh) 跟随动作的准确度判定方法、装置、电子设备及存储介质
Pala et al. Yoga pose recognition with real time correction using deep learning
Rozaliev et al. Methods and applications for controlling the correctness of physical exercises performance
CN111353345B (zh) 提供训练反馈的方法、装置、系统、电子设备、存储介质
CN111353347B (zh) 动作识别纠错方法、电子设备、存储介质
Pai et al. Home Fitness and Rehabilitation Support System Implemented by Combining Deep Images and Machine Learning Using Unity Game Engine.
CN112257642B (zh) 人体连续动作相似性评价方法及评价装置
CN115530814A (zh) 一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法
CN112712450A (zh) 基于云课堂的实时交互方法、装置、设备及存储介质
CN117666788B (zh) 一种基于穿戴式交互设备的动作识别方法及系统
Qu Cloud IoT-Oriented Neural Network-Based Taekwondo Teaching Scheme
Shen et al. [Retracted] Research on Human Motion Analysis in Moving Scene Based on Timing Detection and Video Description Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination