CN116978108A - 一种肢体动作评价方法、装置、电子设备及存储介质 - Google Patents

一种肢体动作评价方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116978108A
CN116978108A CN202211157867.9A CN202211157867A CN116978108A CN 116978108 A CN116978108 A CN 116978108A CN 202211157867 A CN202211157867 A CN 202211157867A CN 116978108 A CN116978108 A CN 116978108A
Authority
CN
China
Prior art keywords
limb
frame
evaluated
space
monitoring image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211157867.9A
Other languages
English (en)
Inventor
王凡伟
苏江
王雪松
梁礼强
张梦
沈体辰
刘国虎
李霁航
吴小飞
叶俊贤
谢接长
吴展乔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DMAI Guangzhou Co Ltd
Original Assignee
DMAI Guangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DMAI Guangzhou Co Ltd filed Critical DMAI Guangzhou Co Ltd
Priority to CN202211157867.9A priority Critical patent/CN116978108A/zh
Publication of CN116978108A publication Critical patent/CN116978108A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种肢体动作评价方法、装置、电子设备及存储介质，该方法包括：获取待评价对象在不同视角下的监控录像；针对监控录像中的任一帧监控图像，对该帧监控图像进行空间信息检测，得到待评价对象在该帧监控图像中的肢体运动空间信息；根据监控录像中各帧监控图像对应的肢体运动空间信息，确定各肢体关键部位对应的空间夹角序列；根据各肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列之间的匹配程度，确定待评价对象的肢体动作评价结果。通过对比各肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列，确定当前肢体动作与标准肢体动作之间的差异，在确保了肢体动作评价结果准确性的同时，提高了肢体动作评价效率。

Description

一种肢体动作评价方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种肢体动作评价方法、装置、电子设备及存储介质。
背景技术
目前，青少年的教育方式已不仅仅局限于传统教育方式，素质教育也越来越被人们所重视，其中就包括了舞蹈教学。无论是舞蹈考级还是舞蹈教学，都需要对舞者的肢体动作是否标准进行评价。
在现有技术中，通常是由舞蹈老师或舞蹈考级评价老师，人工判断舞者的当前肢体动作是否标准。
但是，舞蹈种类逐渐增多，传统主观的评价方式的公平性会引起公众质疑。在舞蹈评价规模较大的情况下，需要多名专业的舞蹈考级评价老师参与评价工作，不仅需要耗费大量的人力资源，还无法保证评价效率。
发明内容
本申请提供一种肢体动作评价方法、装置、电子设备及存储介质，以解决现有技术无法保证肢体动作评价效率等缺陷。
本申请第一个方面提供一种肢体动作评价方法，包括：
获取待评价对象在不同视角下的监控录像；
针对所述监控录像中的任一帧监控图像，对该帧监控图像进行空间信息检测，得到所述待评价对象在该帧监控图像中的肢体运动空间信息；
根据所述监控录像中各帧监控图像对应的肢体运动空间信息，确定所述待评价对象各肢体关键部位对应的空间夹角序列；
根据各所述肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列之间的匹配程度，确定所述待评价对象的肢体动作评价结果。
可选的，所述针对所述监控录像中的任一帧监控图像，对该帧监控图像进行空间信息检测，得到所述待评价对象在该帧监控图像中的肢体运动空间信息，包括：
针对任一视角下的监控录像中的任一帧监控图像，将该帧监控图像输入到预设的检测模型，得到待评价对象在该帧监控图像中的肢体运动二维信息；
根据各视角下的该帧监控图像所对应的肢体运动二维信息，确定所述待评价对象在该帧监控图像中的肢体运动空间信息。
可选的，所述根据各视角下的该帧监控图像所对应的肢体运动二维信息，确定所述待评价对象在该帧监控图像中的肢体运动空间信息，包括：
根据各视角下的该帧监控图像所对应的肢体运动二维信息和相机参数，确定所述待评价对象在各视角下的肢体运动空间投影表达式；
根据所述待评价对象在各视角下的肢体运动空间投影表达式，构建所述待评价对象的肢体运动空间投影矩阵；
根据所述待评价对象的肢体运动空间投影矩阵，确定所述待评价对象在该帧监控图像中的肢体运动空间信息。
可选的，所述根据所述监控录像中各帧监控图像对应的肢体运动空间信息，确定所述待评价对象各肢体关键部位对应的空间夹角序列，包括：
根据所述监控录像中各帧监控图像对应的肢体运动空间信息，确定所述待评价对象各肢体关键部位在各帧监控图像中的空间夹角值；
按照各帧监控图像在所述监控录像中的先后顺序，对所述待评价对象各肢体关键部位在各帧监控图像中的空间夹角值进行排列汇总，得到所述待评价对象各肢体关键部位对应的空间夹角序列。
可选的，所述根据各所述肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列之间的匹配程度，确定所述待评价对象的肢体动作评价结果，包括：
根据各所述肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列之间的匹配程度，确定所述待评价对象各所述肢体关键部位的标准度；
根据各所述肢体关键部位的标准度和对应的评价权重，确定所述待评价对象的肢体动作评分；
其中，所述肢体动作评价结果包括所述肢体动作评分。
可选的，还包括：
当所述待评价对象任一所述肢体关键部位的匹配程度低于预设匹配程度阈值时，确定该肢体关键部位的标准度等于0。
可选的，还包括：
针对任一所述肢体关键部位，当该肢体关键部位的空间夹角序列和预设的标准空间夹角序列中任一序号对应的空间夹角值和标准空间夹角值之间的差异度达到预设差异度阈值时，在所述空间夹角序列和预设的标准空间夹角序列中滤除该序号对应的空间夹角值和标准空间夹角值。
本申请第二个方面提供一种肢体动作评价装置，包括：
获取模块，用于获取待评价对象在不同视角下的监控录像；
检测模块，用于针对所述监控录像中的任一帧监控图像，对该帧监控图像进行空间信息检测，得到所述待评价对象在该帧监控图像中的肢体运动空间信息；
确定模块，用于根据所述监控录像中各帧监控图像对应的肢体运动空间信息，确定所述待评价对象各肢体关键部位对应的空间夹角序列；
评价模块，用于根据各所述肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列之间的匹配程度，确定所述待评价对象的肢体动作评价结果。
可选的，所述检测模块，具体用于：
针对任一视角下的监控录像中的任一帧监控图像，将该帧监控图像输入到预设的检测模型，得到待评价对象在该帧监控图像中的肢体运动二维信息；
根据各视角下的该帧监控图像所对应的肢体运动二维信息，确定所述待评价对象在该帧监控图像中的肢体运动空间信息。
可选的，所述检测模块，具体用于：
根据各视角下的该帧监控图像所对应的肢体运动二维信息和相机参数，确定所述待评价对象在各视角下的肢体运动空间投影表达式；
根据所述待评价对象在各视角下的肢体运动空间投影表达式，构建所述待评价对象的肢体运动空间投影矩阵；
根据所述待评价对象的肢体运动空间投影矩阵，确定所述待评价对象在该帧监控图像中的肢体运动空间信息。
可选的，所述确定模块，具体用于：
根据所述监控录像中各帧监控图像对应的肢体运动空间信息，确定所述待评价对象各肢体关键部位在各帧监控图像中的空间夹角值；
按照各帧监控图像在所述监控录像中的先后顺序，对所述待评价对象各肢体关键部位在各帧监控图像中的空间夹角值进行排列汇总，得到所述待评价对象各肢体关键部位对应的空间夹角序列。
可选的，所述评价模块，具体用于：
根据各所述肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列之间的匹配程度，确定所述待评价对象各所述肢体关键部位的标准度；
根据各所述肢体关键部位的标准度和对应的评价权重，确定所述待评价对象的肢体动作评分；
其中，所述肢体动作评价结果包括所述肢体动作评分。
可选的，所述评价模块，还用于：
当所述待评价对象任一所述肢体关键部位的匹配程度低于预设匹配程度阈值时，确定该肢体关键部位的标准度等于0。
可选的，所述评价模块，还用于：
针对任一所述肢体关键部位，当该肢体关键部位的空间夹角序列和预设的标准空间夹角序列中任一序号对应的空间夹角值和标准空间夹角值之间的差异度达到预设差异度阈值时，在所述空间夹角序列和预设的标准空间夹角序列中滤除该序号对应的空间夹角值和标准空间夹角值。
本申请第三个方面提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一个方面以及第一个方面各种可能的设计所述的方法。
本申请第四个方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一个方面以及第一个方面各种可能的设计所述的方法。
本申请技术方案，具有如下优点：
本申请提供一种肢体动作评价方法、装置、电子设备及存储介质，该方法包括：获取待评价对象在不同视角下的监控录像；针对监控录像中的任一帧监控图像，对该帧监控图像进行空间信息检测，得到待评价对象在该帧监控图像中的肢体运动空间信息；根据监控录像中各帧监控图像对应的肢体运动空间信息，确定待评价对象各肢体关键部位对应的空间夹角序列；根据各肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列之间的匹配程度，确定待评价对象的肢体动作评价结果。上述方案提供的方法，通过对比各肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列，确定了待评价对象的当前肢体动作与标准肢体动作之间的差异，在确保了肢体动作评价结果准确性的同时，提高了肢体动作评价效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例基于的肢体动作评价系统的结构示意图；
图2为本申请实施例提供的肢体动作评价方法的流程示意图；
图3为本申请实施例提供的肢体动作评价装置的结构示意图；
图4为本申请实施例提供的电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。
在现有技术中，通常是由舞蹈老师或舞蹈考级评价老师，人工判断舞者的当前肢体动作是否标准。但是，舞蹈种类逐渐增多，传统主观的评价方式的公平性会引起公众质疑。在舞蹈评价规模较大的情况下，需要多名专业的舞蹈考级评价老师参与评价工作，不仅需要耗费大量的人力资源，还无法保证评价效率。
针对上述问题，本申请实施例提供的肢体动作评价方法、装置、电子设备及存储介质，该方法包括：获取待评价对象在不同视角下的监控录像；针对监控录像中的任一帧监控图像，对该帧监控图像进行空间信息检测，得到待评价对象在该帧监控图像中的肢体运动空间信息；根据监控录像中各帧监控图像对应的肢体运动空间信息，确定待评价对象各肢体关键部位对应的空间夹角序列；根据各肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列之间的匹配程度，确定待评价对象的肢体动作评价结果。上述方案提供的方法，通过对比各肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列，确定了待评价对象的当前肢体动作与标准肢体动作之间的差异，在确保了肢体动作评价结果准确性的同时，提高了肢体动作评价效率。
下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明实施例进行描述。
首先，对本申请所基于的肢体动作评价系统的结构进行说明：
本申请实施例提供的肢体动作评价方法、装置、电子设备及存储介质，适用于对舞者等待评价对象的肢体动作标准程度进行评价。如图1所示，为本申请实施例基于的肢体动作评价系统的结构示意图，主要包括数据采集装置及肢体动作评价装置，其中，数据采集装置可以是安装在舞蹈室中的摄像头。具体地，数据采集装置可以采集待评价对象的监控录像，并将采集到的监控录像发送到肢体动作评价装置，该装置根据得到的监控录像，确定待评价对象的肢体动作评价结果。
本申请实施例提供了一种肢体动作评价方法，用于对舞者等待评价对象的肢体动作标准程度进行评价。本申请实施例的执行主体为电子设备，比如服务器、台式电脑、笔记本电脑、平板电脑及其他可用于对监控录像进行处理和分析的电子设备。
如图2所示，为本申请实施例提供的肢体动作评价方法的流程示意图，该方法包括：
步骤201，获取待评价对象在不同视角下的监控录像。
步骤202，针对监控录像中的任一帧监控图像，对该帧监控图像进行空间信息检测，得到待评价对象在该帧监控图像中的肢体运动空间信息。
具体地，在得到待评价对象在不同视角下的监控录像后，先对得到的所有监控录像进行分帧处理，然后对每一帧监控图像进行空间信息检测，以得到待评价对象在各个监控图像中的肢体运动空间信息。其中，肢体运动空间信息表征该待评价对象的人体空间姿态信息。
步骤203，根据监控录像中各帧监控图像对应的肢体运动空间信息，确定待评价对象各肢体关键部位对应的空间夹角序列。
需要说明的是，肢体关键部位包括头、左右肩、左右肘、左右手腕、左右胯、左右膝、左右脚踝和腰椎等肢体关键点。
具体地，可以根据各帧监控图像对应的肢体运动空间信息，确定待测对象在各帧监控图像采集时各肢体关键部位的空间夹角值，然后按照各帧监控图像顺序，对空间夹角值进行排列，得到待评价对象各肢体关键部位对应的空间夹角序列。
步骤204，根据各肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列之间的匹配程度，确定待评价对象的肢体动作评价结果。
其中，预设的标准空间夹角序列为预设的标准肢体动作中各肢体关键部位对应的空间夹角序列。
具体地，可以通过计算各肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列之间的距离，确定二者之间的匹配程度，进而根据匹配程度的高低，确定待评价对象的肢体动作评价结果。
在上述实施例的基础上，作为一种可实施的方式，在一实施例中，针对监控录像中的任一帧监控图像，对该帧监控图像进行空间信息检测，得到待评价对象在该帧监控图像中的肢体运动空间信息，包括：
步骤2021，针对任一视角下的监控录像中的任一帧监控图像，将该帧监控图像输入到预设的检测模型，得到待评价对象在该帧监控图像中的肢体运动二维信息；
步骤2022，根据各视角下的该帧监控图像所对应的肢体运动二维信息，确定待评价对象在该帧监控图像中的肢体运动空间信息。
需要说明的是，预设的检测模型可以是基于视觉图像和深度神经网络进行的人体2D姿态估计的机器学习模型。
具体地，可以将摄像机捕捉的图片(监控图像)直接输入至深度神经网络中，由神经网络直接输出对应的2D姿态各个肢体关键点在监控图像中的二维坐标位置，即待评价对象在该帧监控图像中的肢体运动二维信息。然后融合各个视角下的肢体运动二维信息，确定待评价对象在该帧监控图像中的肢体运动空间信息，即确定各肢体关键点的空间坐标位置。
具体地，在一实施例中，可以根据各视角下的该帧监控图像所对应的肢体运动二维信息和相机参数，确定待评价对象在各视角下的肢体运动空间投影表达式；根据待评价对象在各视角下的肢体运动空间投影表达式，构建待评价对象的肢体运动空间投影矩阵；根据待评价对象的肢体运动空间投影矩阵，确定待评价对象在该帧监控图像中的肢体运动空间信息。
具体地，可以根据如下公式，确定待评价对象在i视角下的肢体运动空间投影表达式：
其中，(ui，vi)表示某肢体关键点在i视角下的二维坐标，(X，Y，Z)表示该肢体关键点对应的空间坐标(三维坐标)，P3×4表示由相机参数组成的3×4矩阵。
令将上式转换为：
消元移项得：/>
进一步地，对待评价对象n个视角下的肢体运动空间投影表达式进行合并，得到待评价对象的肢体运动空间投影矩阵：
A2n×4x＝0
进一步地，在得到多组A2n×4、x解后，将A2n×4最小值所对应的x，确定为该肢体关键点的空间坐标。然后汇总所有肢体关键点的空间坐标，得到待评价对象在该帧监控图像中的肢体运动空间信息。
其中，人体的肢体关键点总量28个，但其中大多数为冗余的数据。因此可以根据人体结构和运动的特征，将肢体关键点分为四个不同的组，分别为：
面部关键点：头内部的关键点。这部分关键点密度大，活动范围小。
躯干关键点：肩部和臀部。这部分可以反映身体的运动状态。
一级关节：肘部和膝部。肘部和膝部骨骼点包含大量的有关手势和动作的信息，能明显的显示身体的旋转和弯曲。
二级关节：手腕和脚踝。能很明显的显示身体的运动姿态。
在上述实施例的基础上，作为一种可实施的方式，在一实施例中，根据监控录像中各帧监控图像对应的肢体运动空间信息，确定待评价对象各肢体关键部位对应的空间夹角序列，包括：
步骤2031，根据监控录像中各帧监控图像对应的肢体运动空间信息，确定待评价对象各肢体关键部位在各帧监控图像中的空间夹角值；
步骤2032，按照各帧监控图像在监控录像中的先后顺序，对待评价对象各肢体关键部位在各帧监控图像中的空间夹角值进行排列汇总，得到待评价对象各肢体关键部位对应的空间夹角序列。
示例性的，针对某一帧监控图像，当肢体关键部位为左肘部时，可以根据肢体关键点左肩、左肘和左手腕的空间坐标，确定左肘部在该帧的空间夹角值，按照各帧监控图像在监控录像中的先后顺序，排列汇总左肘部在各帧的空间夹角值，得到待评价对象左肘部对应的空间夹角序列。
在上述实施例的基础上，作为一种可实施的方式，在一实施例中，根据各肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列之间的匹配程度，确定待评价对象的肢体动作评价结果，包括：
步骤2041，根据各肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列之间的匹配程度，确定待评价对象各肢体关键部位的标准度；
步骤2042，根据各肢体关键部位的标准度和对应的评价权重，确定待评价对象的肢体动作评分。
其中，肢体动作评价结果包括肢体动作评分。
具体地，可以按照预设的量化规则，将各肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列之间的匹配程度，量化为待评价对象各肢体关键部位的标准度，进而根据预设的各肢体关键部位姿态在评分中占的评分权重，确定待评价对象的肢体动作评分。
具体地，在一实施例中，当待评价对象任一肢体关键部位的匹配程度低于预设匹配程度阈值时，确定该肢体关键部位的标准度等于0。
其中，匹配程度与空间夹角序列和预设的标准空间夹角序列二者之间的距离呈反比，如匹配程度＝1/距离。
具体地，当待评价对象任一肢体关键部位的匹配程度低于预设匹配程度阈值时，即待评价对象任一肢体关键部位的空间夹角序列和预设的标准空间夹角序列二者之间的距离过大时，表示待评价对象的肢体动作与标准肢体动作不匹配，因此可以确定该肢体关键部位的标准度等于0。
相应地，当待评价对象任一肢体关键部位的匹配程度不低于预设匹配程度阈值时，可以根据如下公式，计算该肢体关键部位的标准度：
其中，score表示标准度分数，distance表示该肢体关键部位的匹配程度，threshold表示预设匹配程度阈值。
具体地，在一实施例中，针对任一肢体关键部位，当该肢体关键部位的空间夹角序列和预设的标准空间夹角序列中任一序号对应的空间夹角值和标准空间夹角值之间的差异度达到预设差异度阈值时，在空间夹角序列和预设的标准空间夹角序列中滤除该序号对应的空间夹角值和标准空间夹角值。
示例性的，当肢体关键部位的空间夹角序列中的第5个空间夹角值与预设的标准空间夹角序列重的第5个标准空间夹角值之间的差异度达到预设差异度阈值时，可以确定该序号对应的肢体动作超出了人体肢体动作的正常范围，这可能是因为某肢体关键点发生遮挡，造成了肢体关键点识别异常，因此可以剔除这两个数据，以避免异常数据对最终的肢体动作评价结果造成影响。
本申请实施例提供的肢体动作评价方法，通过获取待评价对象在不同视角下的监控录像；针对监控录像中的任一帧监控图像，对该帧监控图像进行空间信息检测，得到待评价对象在该帧监控图像中的肢体运动空间信息；根据监控录像中各帧监控图像对应的肢体运动空间信息，确定待评价对象各肢体关键部位对应的空间夹角序列；根据各肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列之间的匹配程度，确定待评价对象的肢体动作评价结果。上述方案提供的方法，通过对比各肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列，确定了待评价对象的当前肢体动作与标准肢体动作之间的差异，在确保了肢体动作评价结果准确性的同时，提高了肢体动作评价效率。并且，解决了原来由于不同评分老师主观维度和个体认知上带来的主观评分差异问题，增强了舞蹈测评标准的可推广性与公平性。另外，所有评分有记录、可回溯、可解释，降低了舞蹈测评的成本的同时提升了舞蹈测评的效率。
本申请实施例提供了一种肢体动作评价装置，用于执行上述实施例提供的肢体动作评价方法。
如图3所示，为本申请实施例提供的肢体动作评价装置的结构示意图。该肢体动作评价装置30包括：获取模块301、检测模块302、确定模块303和评价模块304。
其中，获取模块，用于获取待评价对象在不同视角下的监控录像；检测模块，用于针对监控录像中的任一帧监控图像，对该帧监控图像进行空间信息检测，得到待评价对象在该帧监控图像中的肢体运动空间信息；确定模块，用于根据监控录像中各帧监控图像对应的肢体运动空间信息，确定待评价对象各肢体关键部位对应的空间夹角序列；评价模块，用于根据各肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列之间的匹配程度，确定待评价对象的肢体动作评价结果。
具体地，在一实施例中，检测模块，具体用于：
针对任一视角下的监控录像中的任一帧监控图像，将该帧监控图像输入到预设的检测模型，得到待评价对象在该帧监控图像中的肢体运动二维信息；
根据各视角下的该帧监控图像所对应的肢体运动二维信息，确定待评价对象在该帧监控图像中的肢体运动空间信息。
具体地，在一实施例中，检测模块，具体用于：
根据各视角下的该帧监控图像所对应的肢体运动二维信息和相机参数，确定待评价对象在各视角下的肢体运动空间投影表达式；
根据待评价对象在各视角下的肢体运动空间投影表达式，构建待评价对象的肢体运动空间投影矩阵；
根据待评价对象的肢体运动空间投影矩阵，确定待评价对象在该帧监控图像中的肢体运动空间信息。
具体地，在一实施例中，确定模块，具体用于：
根据监控录像中各帧监控图像对应的肢体运动空间信息，确定待评价对象各肢体关键部位在各帧监控图像中的空间夹角值；
按照各帧监控图像在监控录像中的先后顺序，对待评价对象各肢体关键部位在各帧监控图像中的空间夹角值进行排列汇总，得到待评价对象各肢体关键部位对应的空间夹角序列。
具体地，在一实施例中，评价模块，具体用于：
根据各肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列之间的匹配程度，确定待评价对象各肢体关键部位的标准度；
根据各肢体关键部位的标准度和对应的评价权重，确定待评价对象的肢体动作评分；
其中，肢体动作评价结果包括肢体动作评分。
具体地，在一实施例中，评价模块，还用于：
当待评价对象任一肢体关键部位的匹配程度低于预设匹配程度阈值时，确定该肢体关键部位的标准度等于0。
具体地，在一实施例中，评价模块，还用于：
针对任一肢体关键部位，当该肢体关键部位的空间夹角序列和预设的标准空间夹角序列中任一序号对应的空间夹角值和标准空间夹角值之间的差异度达到预设差异度阈值时，在空间夹角序列和预设的标准空间夹角序列中滤除该序号对应的空间夹角值和标准空间夹角值。
关于本实施例中的肢体动作评价装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请实施例提供的肢体动作评价装置，用于执行上述实施例提供的肢体动作评价方法，其实现方式与原理相同，不再赘述。
本申请实施例提供了一种电子设备，用于执行上述实施例提供的肢体动作评价方法。
如图4所示，为本申请实施例提供的电子设备的结构示意图。该电子设备40包括：至少一个处理器41和存储器42。
所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上实施例提供的肢体动作评价方法。
本申请实施例提供的一种电子设备，用于执行上述实施例提供的肢体动作评价方法，其实现方式与原理相同，不再赘述。
本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上任一实施例提供的肢体动作评价方法。
本申请实施例的包含计算机可执行指令的存储介质，可用于存储前述实施例中提供的肢体动作评价方法的计算机执行指令，其实现方式与原理相同，不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种肢体动作评价方法，其特征在于，包括：
获取待评价对象在不同视角下的监控录像；
针对所述监控录像中的任一帧监控图像，对该帧监控图像进行空间信息检测，得到所述待评价对象在该帧监控图像中的肢体运动空间信息；
根据所述监控录像中各帧监控图像对应的肢体运动空间信息，确定所述待评价对象各肢体关键部位对应的空间夹角序列；
根据各所述肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列之间的匹配程度，确定所述待评价对象的肢体动作评价结果。
2.根据权利要求1所述的方法，其特征在于，所述针对所述监控录像中的任一帧监控图像，对该帧监控图像进行空间信息检测，得到所述待评价对象在该帧监控图像中的肢体运动空间信息，包括：
针对任一视角下的监控录像中的任一帧监控图像，将该帧监控图像输入到预设的检测模型，得到待评价对象在该帧监控图像中的肢体运动二维信息；
根据各视角下的该帧监控图像所对应的肢体运动二维信息，确定所述待评价对象在该帧监控图像中的肢体运动空间信息。
3.根据权利要求2所述的方法，其特征在于，所述根据各视角下的该帧监控图像所对应的肢体运动二维信息，确定所述待评价对象在该帧监控图像中的肢体运动空间信息，包括：
根据各视角下的该帧监控图像所对应的肢体运动二维信息和相机参数，确定所述待评价对象在各视角下的肢体运动空间投影表达式；
根据所述待评价对象在各视角下的肢体运动空间投影表达式，构建所述待评价对象的肢体运动空间投影矩阵；
根据所述待评价对象的肢体运动空间投影矩阵，确定所述待评价对象在该帧监控图像中的肢体运动空间信息。
4.根据权利要求1所述的方法，其特征在于，所述根据所述监控录像中各帧监控图像对应的肢体运动空间信息，确定所述待评价对象各肢体关键部位对应的空间夹角序列，包括：
根据所述监控录像中各帧监控图像对应的肢体运动空间信息，确定所述待评价对象各肢体关键部位在各帧监控图像中的空间夹角值；
按照各帧监控图像在所述监控录像中的先后顺序，对所述待评价对象各肢体关键部位在各帧监控图像中的空间夹角值进行排列汇总，得到所述待评价对象各肢体关键部位对应的空间夹角序列。
5.根据权利要求1所述的方法，其特征在于，所述根据各所述肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列之间的匹配程度，确定所述待评价对象的肢体动作评价结果，包括：
根据各所述肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列之间的匹配程度，确定所述待评价对象各所述肢体关键部位的标准度；
根据各所述肢体关键部位的标准度和对应的评价权重，确定所述待评价对象的肢体动作评分；
其中，所述肢体动作评价结果包括所述肢体动作评分。
6.根据权利要求5所述的方法，其特征在于，还包括：
当所述待评价对象任一所述肢体关键部位的匹配程度低于预设匹配程度阈值时，确定该肢体关键部位的标准度等于0。
7.根据权利要求6所述的方法，其特征在于，还包括：
针对任一所述肢体关键部位，当该肢体关键部位的空间夹角序列和预设的标准空间夹角序列中任一序号对应的空间夹角值和标准空间夹角值之间的差异度达到预设差异度阈值时，在所述空间夹角序列和预设的标准空间夹角序列中滤除该序号对应的空间夹角值和标准空间夹角值。
8.一种肢体动作评价装置，其特征在于，包括：
获取模块，用于获取待评价对象在不同视角下的监控录像；
检测模块，用于针对所述监控录像中的任一帧监控图像，对该帧监控图像进行空间信息检测，得到所述待评价对象在该帧监控图像中的肢体运动空间信息；
确定模块，用于根据所述监控录像中各帧监控图像对应的肢体运动空间信息，确定所述待评价对象各肢体关键部位对应的空间夹角序列；
评价模块，用于根据各所述肢体关键部位对应的空间夹角序列和预设的标准空间夹角序列之间的匹配程度，确定所述待评价对象的肢体动作评价结果。
9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至7任一项所述的方法。
CN202211157867.9A 2022-09-22 2022-09-22 一种肢体动作评价方法、装置、电子设备及存储介质 Pending CN116978108A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211157867.9A CN116978108A (zh) 2022-09-22 2022-09-22 一种肢体动作评价方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211157867.9A CN116978108A (zh) 2022-09-22 2022-09-22 一种肢体动作评价方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116978108A true CN116978108A (zh) 2023-10-31

Family

ID=88475443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211157867.9A Pending CN116978108A (zh) 2022-09-22 2022-09-22 一种肢体动作评价方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116978108A (zh)

Similar Documents

Publication Publication Date Title
Li et al. A novel vision-based real-time method for evaluating postural risk factors associated with musculoskeletal disorders
CN111126272A (zh) 姿态获取方法、关键点坐标定位模型的训练方法和装置
US11763603B2 (en) Physical activity quantification and monitoring
Chaudhari et al. Yog-guru: Real-time yoga pose correction system using deep learning methods
US11759126B2 (en) Scoring metric for physical activity performance and tracking
WO2021068781A1 (zh) 一种疲劳状态识别方法、装置和设备
CN113111767A (zh) 一种基于深度学习3d姿态评估的跌倒检测方法
CN112308932A (zh) 一种注视检测方法、装置、设备及存储介质
WO2022228252A1 (zh) 人体行为检测方法、装置、电子设备以及存储介质
Fieraru et al. Learning complex 3D human self-contact
CN112749684A (zh) 心肺复苏术训练和评估的方法及装置、设备、存储介质
CN114333046A (zh) 舞蹈动作评分方法、装置、设备和存储介质
CN114550027A (zh) 基于视觉的运动视频精细分析方法和装置
CN108875586A (zh) 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法
CN114782497B (zh) 运动功能分析方法和电子设备
CN111128369A (zh) 一种用于评估患者的帕金森病情的方法和装置
CN114049683A (zh) 基于三维人体骨架模型的愈后康复辅助检测系统、方法、介质
Tanjaya et al. Pilates Pose Classification Using MediaPipe and Convolutional Neural Networks with Transfer Learning
CN113051973A (zh) 用于姿势矫正的方法及装置、电子设备
CN116978108A (zh) 一种肢体动作评价方法、装置、电子设备及存储介质
CN115019396A (zh) 一种学习状态监测方法、装置、设备及介质
CN115222882A (zh) 基于人体运动视频的模型构建方法、装置及存储介质
CN114022956A (zh) 一种多维度智能研判健身动作运动效果的方法
CN114332990A (zh) 一种情绪识别方法、装置、设备及介质
CN112434639A (zh) 动作匹配方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination