CN116978110A - 一种舞姿动作评价方法、装置、电子设备及存储介质 - Google Patents
一种舞姿动作评价方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116978110A CN116978110A CN202211158444.9A CN202211158444A CN116978110A CN 116978110 A CN116978110 A CN 116978110A CN 202211158444 A CN202211158444 A CN 202211158444A CN 116978110 A CN116978110 A CN 116978110A
- Authority
- CN
- China
- Prior art keywords
- dancer
- evaluated
- frame
- monitoring image
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 103
- 230000009471 action Effects 0.000 title claims abstract description 49
- 238000012544 monitoring process Methods 0.000 claims abstract description 169
- 238000013507 mapping Methods 0.000 claims abstract description 56
- 230000000007 visual effect Effects 0.000 claims abstract description 13
- 230000008451 emotion Effects 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 15
- 230000014509 gene expression Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 8
- 210000003414 extremity Anatomy 0.000 description 132
- 238000010586 diagram Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种舞姿动作评价方法、装置、电子设备及存储介质，该方法包括：获取待评价舞者在不同视角下的监控录像；针对监控录像中的任一帧监控图像，对该帧监控图像进行肢体关键点位置检测，得到待评价舞者各肢体关键点在该帧监控图像中的空间坐标；将待评价舞者各肢体关键点在该帧监控图像中的空间坐标，映射到预设的拉班二十面体，得到待评价舞者在该帧监控图像下的拉班二十面体映射结果；根据待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定待评价舞者的舞姿动作评价结果。通过基于待评价舞者各肢体关键点在拉班二十面体中的映射结果，对待评价舞者的舞姿动作进行评价，实现了对舞者的舞姿动作的客观评价。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种舞姿动作评价方法、装置、电子设备及存储介质。
背景技术
目前，青少年的教育方式已不仅仅局限于传统教育方式，素质教育也越来越被人们所重视，其中就包括了舞蹈教学。无论是舞蹈考级还是舞蹈教学，都需要对舞者的舞姿动作是否标准进行评价。
在现有技术中，通常是由舞蹈老师或舞蹈考级评价老师，人工判断舞者的当前舞姿动作是否标准。
但是，现有技术得到的评价结果受评价老师的主观影响，传统主观的评价方式的公平性会引起公众质疑，因此亟需一种能够实现对舞姿动作进行客观评价的方法。
发明内容
本申请提供一种舞姿动作评价方法、装置、电子设备及存储介质，以解决现有技术无法对舞者的舞姿动作进行客观评价等缺陷。
本申请第一个方面提供一种舞姿动作评价方法，包括：
获取待评价舞者在不同视角下的监控录像；
针对所述监控录像中的任一帧监控图像，对该帧监控图像进行肢体关键点位置检测，得到所述待评价舞者各肢体关键点在该帧监控图像中的空间坐标；
将所述待评价舞者各肢体关键点在该帧监控图像中的空间坐标，映射到预设的拉班二十面体，得到所述待评价舞者在该帧监控图像下的拉班二十面体映射结果；
根据所述待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定所述待评价舞者的舞姿动作评价结果。
可选的，所述针对所述监控录像中的任一帧监控图像，对该帧监控图像进行肢体关键点位置检测，得到所述待评价舞者各肢体关键点在该帧监控图像中的空间坐标，包括：
针对任一视角下的监控录像中的任一帧监控图像，将该监控图像输入到预设的检测模型，得到待评价舞者在该帧监控图像中的肢体关键点二维信息；
根据各视角下的该帧监控图像所对应的肢体关键点二维信息，确定所述待评价舞者各肢体关键点在该帧监控图像中的空间坐标。
可选的，所述根据各视角下的该帧监控图像所对应的肢体关键点二维信息，确定所述待评价舞者各肢体关键点在该帧监控图像中的空间坐标，包括：
根据各视角下的该帧监控图像所对应的肢体关键点二维信息和相机参数，确定所述待评价舞者在各视角下每个肢体关键点的空间投影表达式；
根据所述待评价舞者在各视角下每个肢体关键点的空间投影表达式，构建各所述肢体关键点的空间投影矩阵；
根据各所述肢体关键点的空间投影矩阵，确定所述待评价舞者各肢体关键点在该帧监控图像中的空间坐标。
可选的，所述根据所述待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定所述待评价舞者的舞姿动作评价结果，包括：
根据所述待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定所述待评价舞者各肢体关键点在拉班空间上的帧间移动距离；
根据所述待评价舞者各肢体关键点在拉班空间上的帧间移动距离，确定所述待评价舞者各肢体关键点的空间活跃度；
根据所述待评价舞者各肢体关键点的空间活跃度，确定所述待评价舞者的舞姿动作评价结果。
可选的，所述根据所述待评价舞者各肢体关键点在拉班空间上的帧间移动距离，确定所述待评价舞者各肢体关键点的空间活跃度，包括：
根据所述待评价舞者各肢体关键点在拉班空间上的帧间移动距离和所述监控录像的帧间时间长度，确定所述待评价舞者各肢体关键点的空间活跃度。
可选的，所述根据所述待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定所述待评价舞者的舞姿动作评价结果，包括：
根据所述待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定所述待评价舞者在各时域上的舞姿信息；
根据所述待评价舞者在各时域上的舞姿信息表征的舞蹈情感，确定所述待评价舞者的舞姿动作评价结果。
可选的，所述根据所述待评价舞者在各时域上的舞姿信息表征的舞蹈情感，确定所述待评价舞者的舞姿动作评价结果，包括：
将所述待评价舞者在各时域上的舞姿信息，转换为各所述时域上的基频信号；
根据各所述时域上的基频信号变化情况，确定所述待评价舞者在各时域上的舞蹈情感；
根据所述待评价舞者在各时域上的舞蹈情感与预设标准舞蹈情感之间的匹配程度，确定所述待评价舞者的舞姿动作评价结果。
本申请第二个方面提供一种舞姿动作评价装置，包括：
获取模块，用于获取待评价舞者在不同视角下的监控录像；
检测模块，用于针对所述监控录像中的任一帧监控图像，对该帧监控图像进行肢体关键点位置检测，得到所述待评价舞者各肢体关键点在该帧监控图像中的空间坐标；
映射模块，用于将所述待评价舞者各肢体关键点在该帧监控图像中的空间坐标，映射到预设的拉班二十面体，得到所述待评价舞者在该帧监控图像下的拉班二十面体映射结果；
评价模块，用于根据所述待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定所述待评价舞者的舞姿动作评价结果。
可选的，所述检测模块，具体用于：
针对任一视角下的监控录像中的任一帧监控图像，将该监控图像输入到预设的检测模型，得到待评价舞者在该帧监控图像中的肢体关键点二维信息；
根据各视角下的该帧监控图像所对应的肢体关键点二维信息，确定所述待评价舞者各肢体关键点在该帧监控图像中的空间坐标。
可选的，所述检测模块，具体用于：
根据各视角下的该帧监控图像所对应的肢体关键点二维信息和相机参数，确定所述待评价舞者在各视角下每个肢体关键点的空间投影表达式；
根据所述待评价舞者在各视角下每个肢体关键点的空间投影表达式，构建各所述肢体关键点的空间投影矩阵；
根据各所述肢体关键点的空间投影矩阵，确定所述待评价舞者各肢体关键点在该帧监控图像中的空间坐标。
可选的，所述评价模块，具体用于：
根据所述待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定所述待评价舞者各肢体关键点在拉班空间上的帧间移动距离；
根据所述待评价舞者各肢体关键点在拉班空间上的帧间移动距离，确定所述待评价舞者各肢体关键点的空间活跃度；
根据所述待评价舞者各肢体关键点的空间活跃度，确定所述待评价舞者的舞姿动作评价结果。
可选的，所述评价模块，具体用于：
根据所述待评价舞者各肢体关键点在拉班空间上的帧间移动距离和所述监控录像的帧间时间长度，确定所述待评价舞者各肢体关键点的空间活跃度。
可选的，所述评价模块，具体用于：
根据所述待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定所述待评价舞者在各时域上的舞姿信息；
根据所述待评价舞者在各时域上的舞姿信息表征的舞蹈情感，确定所述待评价舞者的舞姿动作评价结果。
可选的，所述评价模块，具体用于：
将所述待评价舞者在各时域上的舞姿信息，转换为各所述时域上的基频信号；
根据各所述时域上的基频信号变化情况，确定所述待评价舞者在各时域上的舞蹈情感；
根据所述待评价舞者在各时域上的舞蹈情感与预设标准舞蹈情感之间的匹配程度，确定所述待评价舞者的舞姿动作评价结果。
本申请第三个方面提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一个方面以及第一个方面各种可能的设计所述的方法。
本申请第四个方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一个方面以及第一个方面各种可能的设计所述的方法。
本申请技术方案，具有如下优点：
本申请提供一种舞姿动作评价方法、装置、电子设备及存储介质，该方法包括：获取待评价舞者在不同视角下的监控录像；针对监控录像中的任一帧监控图像，对该帧监控图像进行肢体关键点位置检测，得到待评价舞者各肢体关键点在该帧监控图像中的空间坐标；将待评价舞者各肢体关键点在该帧监控图像中的空间坐标，映射到预设的拉班二十面体，得到待评价舞者在该帧监控图像下的拉班二十面体映射结果；根据待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定待评价舞者的舞姿动作评价结果。上述方案提供的方法，通过基于待评价舞者各肢体关键点在拉班二十面体中的映射结果，对待评价舞者的舞姿动作进行评价，实现了对舞者的舞姿动作的客观评价，从而使得到的舞姿动作评价结果具备较高的客观性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例基于的舞姿动作评价系统的结构示意图；
图2为本申请实施例提供的舞姿动作评价方法的流程示意图；
图3为本申请实施例提供的预设的拉班二十面体的空间拆分结构示意图；
图4为本申请实施例提供的舞姿动作评价装置的结构示意图；
图5为本申请实施例提供的电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。
在现有技术中，通常是由舞蹈老师或舞蹈考级评价老师，人工判断舞者的当前肢体动作是否标准。但是，现有技术得到的评价结果受评价老师的主观影响，传统主观的评价方式的公平性会引起公众质疑，因此亟需一种能够实现对舞姿动作进行客观评价的方法。
针对上述问题，本申请实施例提供的舞姿动作评价方法、装置、电子设备及存储介质，通过获取待评价舞者在不同视角下的监控录像；针对监控录像中的任一帧监控图像，对该帧监控图像进行肢体关键点位置检测，得到待评价舞者各肢体关键点在该帧监控图像中的空间坐标；将待评价舞者各肢体关键点在该帧监控图像中的空间坐标，映射到预设的拉班二十面体，得到待评价舞者在该帧监控图像下的拉班二十面体映射结果；根据待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定待评价舞者的舞姿动作评价结果。上述方案提供的方法，通过基于待评价舞者各肢体关键点在拉班二十面体中的映射结果，对待评价舞者的舞姿动作进行评价，实现了对舞者的舞姿动作的客观评价，从而使得到的舞姿动作评价结果具备较高的客观性。
下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明实施例进行描述。
首先，对本申请所基于的舞姿动作评价系统的结构进行说明：
本申请实施例提供的舞姿动作评价方法、装置、电子设备及存储介质，适用于在舞蹈比赛或舞蹈评级等场景下对舞者的舞姿动作进行评价。如图1所示，为本申请实施例基于的舞姿动作评价系统的结构示意图，主要包括数据采集装置及舞姿动作评价装置，其中，数据采集装置可以是安装在舞蹈室中的摄像头。具体地，数据采集装置可以采集待评价舞者的监控录像，并将采集到的监控录像发送到舞姿动作评价装置，该装置根据得到的监控录像，确定待评价舞者的舞姿动作评价结果。
本申请实施例提供了一种舞姿动作评价方法，用于在舞蹈比赛或舞蹈评级等场景下对舞者的舞姿动作进行评价。本申请实施例的执行主体为电子设备，比如服务器、台式电脑、笔记本电脑、平板电脑及其他可用于对监控录像进行处理和分析的电子设备。
如图2所示，为本申请实施例提供的舞姿动作评价方法的流程示意图，该方法包括：
步骤201，获取待评价舞者在不同视角下的监控录像。
步骤202，针对监控录像中的任一帧监控图像，对该帧监控图像进行肢体关键点位置检测，得到待评价舞者各肢体关键点在该帧监控图像中的空间坐标。
具体地，在得到待评价舞者在不同视角下的监控录像后，先对得到的所有监控录像进行分帧处理，然后对每一帧监控图像进行肢体关键点位置检测，以得到待评价舞者肢体关键点在每帧监控图像下的空间坐标。
其中，肢体关键点可以包括头、左右肩、左右肘、左右手腕、左右胯、左右膝、左右脚踝和腰椎等。
步骤203，将待评价舞者各肢体关键点在该帧监控图像中的空间坐标，映射到预设的拉班二十面体，得到待评价舞者在该帧监控图像下的拉班二十面体映射结果。
具体地，可以将肢体关键点中的核心肢体关键点的空间坐标映射到预设的拉班二十面体的原点；根据各肢体关键点的空间坐标表征的各肢体关键点与核心肢体关键点之间的空间位置关系，以及拉班二十面体每个面与原点之间的空间位置关系，确定各肢体关键点对应的面，得到的待评价舞者在该帧监控图像下的拉班二十面体映射结果即为各肢体关键点对应的面标识信息。其中，核心肢体关键点具体可以为左右胯肢体关键点之间的中点。
示例性的，如图3所示，为本申请实施例提供的预设的拉班二十面体的空间拆分结构示意图，即将拉班二十面体空间的拆分成左中右三部分，每部分包括九个面。针对任一肢体关键点，根据该肢体关键点空间坐标中的x坐标，确定其属于左中右哪一部分，假设属于左部分，然后再根据其y坐标，确定其属于该部分中第几列的面，如第3列，最后根据其z坐标，确定其属于该部分中第几行的面，如第1行，则确定该肢体关键点对应的面标识信息为(0,0,2)。
其中，在任一帧监控图像下，各肢体关键点的面标识信息组成待评价舞者在该帧监控图像下的拉班舞谱。
步骤204，根据待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定待评价舞者的舞姿动作评价结果。
具体地，可以根据待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定其每个肢体关键点的移动情况，并结合每个肢体关键点的移动情况，确定该待评价舞者在每个节拍的舞姿动作，进而确定该待评价舞者的舞姿动作评价结果。
在上述实施例的基础上，为了确保每个肢体关键点空间坐标的准确性，作为一种可实施的方式，在一实施例中，针对监控录像中的任一帧监控图像，对该帧监控图像进行肢体关键点位置检测，得到待评价舞者各肢体关键点在该帧监控图像中的空间坐标，包括：
步骤2021，针对任一视角下的监控录像中的任一帧监控图像，将该监控图像输入到预设的检测模型，得到待评价舞者在该帧监控图像中的肢体关键点二维信息；
步骤2022，根据各视角下的该帧监控图像所对应的肢体关键点二维信息，确定待评价舞者各肢体关键点在该帧监控图像中的空间坐标。
需要说明的是，预设的检测模型可以是基于视觉图像和深度神经网络进行的人体2D姿态估计的机器学习模型。
具体地，可以将摄像机捕捉的图片(监控图像)直接输入至深度神经网络中，由神经网络直接输出对应的2D姿态各个肢体关键点在监控图像中的二维坐标位置，即待评价舞者在该监控图像中的肢体运动二维信息。然后融合各个视角下的肢体运动二维信息，确定待评价舞者各肢体关键点在该帧监控图像中的空间坐标。
具体地，在一实施例中，可以根据各视角下的该帧监控图像所对应的肢体关键点二维信息和相机参数，确定待评价舞者在各视角下每个肢体关键点的空间投影表达式；根据待评价舞者在各视角下每个肢体关键点的空间投影表达式，构建各肢体关键点的空间投影矩阵；根据各肢体关键点的空间投影矩阵，确定待评价舞者各肢体关键点在该帧监控图像中的空间坐标。
具体地，可以根据如下公式，确定待评价舞者在i视角下的肢体关键点的空间投影表达式：
其中，(ui,vi)表示某肢体关键点在i视角下的二维坐标，(X,Y,Z)表示该肢体关键点对应的空间坐标(三维坐标)，P3×4表示由相机参数组成的3×4矩阵。
令将上式转换为：
消元移项得：/>
进一步地，对待评价舞者的这一肢体关键点在n个视角下的空间投影表达式进行合并，得到该肢体关键点的空间投影矩阵：
A2n×4x＝0
进一步地，在得到多组A2n×4、x解后，将A2n×4最小值所对应的x，确定为该肢体关键点的空间坐标。
在上述实施例的基础上，作为一种可实施的方式，在一实施例中，根据待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定待评价舞者的舞姿动作评价结果，包括：
步骤2041，根据待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定待评价舞者各肢体关键点在拉班空间上的帧间移动距离；
步骤2042，根据待评价舞者各肢体关键点在拉班空间上的帧间移动距离，确定待评价舞者各肢体关键点的空间活跃度；
步骤2043，根据待评价舞者各肢体关键点的空间活跃度，确定待评价舞者的舞姿动作评价结果。
其中，肢体关键点在拉班空间上的帧间移动距离具体可以指该肢体关键点在相邻两帧监控图像上的欧式距离。
具体地，在一实施例中，可以根据待评价舞者各肢体关键点在拉班空间上的帧间移动距离和监控录像的帧间时间长度，确定待评价舞者各肢体关键点的空间活跃度。
具体地，可以按照在拉班空间得出的拉班舞谱，根据待评价舞者的肢体关键点在拉班空间的变化情况，计算出该肢体关键点的拉班空间移动距离，即帧间移动移动。拉班空间的变化由前后(帧)时间点的拉班空间坐标之间的欧式距离得出。由该变化的欧式距离除以该变化的时间长度得出该变化对应的空间活跃度，进而根据各个肢体关键点空间活跃度的高低，确定该待评价舞者的舞姿动作评价结果。
具体地，在一实施例中，在一些舞蹈考试中，为了考验舞者的舞蹈创作能力，常常是舞者自选背景音乐，然后自排舞蹈，针对这一评价场景，可以根据待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定待评价舞者在各时域上的舞姿信息；根据待评价舞者在各时域上的舞姿信息表征的舞蹈情感，确定待评价舞者的舞姿动作评价结果。
具体地，可以根据背景音乐的节拍，将整段背景音乐的时长划分为多个时域，然后根据待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定待评价舞者在各时域上的舞姿信息，进而确定各时域上的舞姿信息表征的舞蹈情感，最后根据舞蹈情感与背景音乐的匹配程度，确定该待评价舞者的舞姿动作评价结果。
具体地，在一实施例中，可以将待评价舞者在各时域上的舞姿信息，转换为各时域上的基频信号；根据各时域上的基频信号变化情况，确定待评价舞者在各时域上的舞蹈情感；根据待评价舞者在各时域上的舞蹈情感与预设标准舞蹈情感之间的匹配程度，确定待评价舞者的舞姿动作评价结果。
其中，舞姿信息具体指各肢体关键点在时域内的拉班舞谱信息，舞蹈情感具体可以以波状图的形式体现。
具体地，可以基于小波分析法，将不同频率小波核的信号作用于待评价舞者在各时域上的舞姿信息，以将其转换为各时域上的基频信号，进而根据各时域上的基频信号变化情况，确定待评价舞者在各时域上的舞蹈情感。同时根据当前背景音乐的音乐频率，确定相对应的预设标准舞蹈情感。最后根据待评价舞者在各时域上的舞蹈情感与预设标准舞蹈情感之间的匹配程度，计算待评价舞者在舞蹈情感表达方面的分数，从而得到待评价舞者的舞姿动作评价结果。
本申请实施例提供的舞姿动作评价方法，通过获取待评价舞者在不同视角下的监控录像；针对监控录像中的任一帧监控图像，对该帧监控图像进行肢体关键点位置检测，得到待评价舞者各肢体关键点在该帧监控图像中的空间坐标；将待评价舞者各肢体关键点在该帧监控图像中的空间坐标，映射到预设的拉班二十面体，得到待评价舞者在该帧监控图像下的拉班二十面体映射结果；根据待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定待评价舞者的舞姿动作评价结果。上述方案提供的方法，通过基于待评价舞者各肢体关键点在拉班二十面体中的映射结果，对待评价舞者的舞姿动作进行评价，实现了对舞者的舞姿动作的客观评价，从而使得到的舞姿动作评价结果具备较高的客观性。并且，能够对待评价舞者的空间灵活度和舞蹈情感进行评价，进一步提高了舞姿动作评价结果的全面性。
本申请实施例提供了一种舞姿动作评价装置，用于执行上述实施例提供的舞姿动作评价方法。
如图4所示，为本申请实施例提供的舞姿动作评价装置的结构示意图。该舞姿动作评价装置40包括：获取模块401、检测模块402、映射模块403和评价模块404。
其中，获取模块，用于获取待评价舞者在不同视角下的监控录像；检测模块，用于针对监控录像中的任一帧监控图像，对该帧监控图像进行肢体关键点位置检测，得到待评价舞者各肢体关键点在该帧监控图像中的空间坐标；映射模块，用于将待评价舞者各肢体关键点在该帧监控图像中的空间坐标，映射到预设的拉班二十面体，得到待评价舞者在该帧监控图像下的拉班二十面体映射结果；评价模块，用于根据待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定待评价舞者的舞姿动作评价结果。
具体地，在一实施例中，检测模块，具体用于：
针对任一视角下的监控录像中的任一帧监控图像，将该监控图像输入到预设的检测模型，得到待评价舞者在该帧监控图像中的肢体关键点二维信息；
根据各视角下的该帧监控图像所对应的肢体关键点二维信息，确定待评价舞者各肢体关键点在该帧监控图像中的空间坐标。
具体地，在一实施例中，检测模块，具体用于：
根据各视角下的该帧监控图像所对应的肢体关键点二维信息和相机参数，确定待评价舞者在各视角下每个肢体关键点的空间投影表达式；
根据待评价舞者在各视角下每个肢体关键点的空间投影表达式，构建各肢体关键点的空间投影矩阵；
根据各肢体关键点的空间投影矩阵，确定待评价舞者各肢体关键点在该帧监控图像中的空间坐标。
具体地，在一实施例中，评价模块，具体用于：
根据待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定待评价舞者各肢体关键点在拉班空间上的帧间移动距离；
根据待评价舞者各肢体关键点在拉班空间上的帧间移动距离，确定待评价舞者各肢体关键点的空间活跃度；
根据待评价舞者各肢体关键点的空间活跃度，确定待评价舞者的舞姿动作评价结果。
具体地，在一实施例中，评价模块，具体用于：
根据待评价舞者各肢体关键点在拉班空间上的帧间移动距离和监控录像的帧间时间长度，确定待评价舞者各肢体关键点的空间活跃度。
具体地，在一实施例中，评价模块，具体用于：
根据待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定待评价舞者在各时域上的舞姿信息；
根据待评价舞者在各时域上的舞姿信息表征的舞蹈情感，确定待评价舞者的舞姿动作评价结果。
具体地，在一实施例中，评价模块，具体用于：
将待评价舞者在各时域上的舞姿信息，转换为各时域上的基频信号；
根据各时域上的基频信号变化情况，确定待评价舞者在各时域上的舞蹈情感；
根据待评价舞者在各时域上的舞蹈情感与预设标准舞蹈情感之间的匹配程度，确定待评价舞者的舞姿动作评价结果。
关于本实施例中的舞姿动作评价装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请实施例提供的舞姿动作评价装置，用于执行上述实施例提供的舞姿动作评价方法，其实现方式与原理相同，不再赘述。
本申请实施例提供了一种电子设备，用于执行上述实施例提供的舞姿动作评价方法。
如图5所示，为本申请实施例提供的电子设备的结构示意图。该电子设备50包括：至少一个处理器51和存储器52。
存储器存储计算机执行指令；至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如上实施例提供的舞姿动作评价方法。
本申请实施例提供的一种电子设备，用于执行上述实施例提供的舞姿动作评价方法，其实现方式与原理相同，不再赘述。
本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上任一实施例提供的舞姿动作评价方法。
本申请实施例的包含计算机可执行指令的存储介质，可用于存储前述实施例中提供的舞姿动作评价方法的计算机执行指令，其实现方式与原理相同，不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种舞姿动作评价方法，其特征在于，包括：
获取待评价舞者在不同视角下的监控录像；
针对所述监控录像中的任一帧监控图像，对该帧监控图像进行肢体关键点位置检测，得到所述待评价舞者各肢体关键点在该帧监控图像中的空间坐标；
将所述待评价舞者各肢体关键点在该帧监控图像中的空间坐标，映射到预设的拉班二十面体，得到所述待评价舞者在该帧监控图像下的拉班二十面体映射结果；
根据所述待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定所述待评价舞者的舞姿动作评价结果。
2.根据权利要求1所述的方法，其特征在于，所述针对所述监控录像中的任一帧监控图像，对该帧监控图像进行肢体关键点位置检测，得到所述待评价舞者各肢体关键点在该帧监控图像中的空间坐标，包括：
针对任一视角下的监控录像中的任一帧监控图像，将该监控图像输入到预设的检测模型，得到待评价舞者在该帧监控图像中的肢体关键点二维信息；
根据各视角下的该帧监控图像所对应的肢体关键点二维信息，确定所述待评价舞者各肢体关键点在该帧监控图像中的空间坐标。
3.根据权利要求2所述的方法，其特征在于，所述根据各视角下的该帧监控图像所对应的肢体关键点二维信息，确定所述待评价舞者各肢体关键点在该帧监控图像中的空间坐标，包括：
根据各视角下的该帧监控图像所对应的肢体关键点二维信息和相机参数，确定所述待评价舞者在各视角下每个肢体关键点的空间投影表达式；
根据所述待评价舞者在各视角下每个肢体关键点的空间投影表达式，构建各所述肢体关键点的空间投影矩阵；
根据各所述肢体关键点的空间投影矩阵，确定所述待评价舞者各肢体关键点在该帧监控图像中的空间坐标。
4.根据权利要求1所述的方法，其特征在于，所述根据所述待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定所述待评价舞者的舞姿动作评价结果，包括：
根据所述待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定所述待评价舞者各肢体关键点在拉班空间上的帧间移动距离；
根据所述待评价舞者各肢体关键点在拉班空间上的帧间移动距离，确定所述待评价舞者各肢体关键点的空间活跃度；
根据所述待评价舞者各肢体关键点的空间活跃度，确定所述待评价舞者的舞姿动作评价结果。
5.根据权利要求4所述的方法，其特征在于，所述根据所述待评价舞者各肢体关键点在拉班空间上的帧间移动距离，确定所述待评价舞者各肢体关键点的空间活跃度，包括：
根据所述待评价舞者各肢体关键点在拉班空间上的帧间移动距离和所述监控录像的帧间时间长度，确定所述待评价舞者各肢体关键点的空间活跃度。
6.根据权利要求1所述的方法，其特征在于，所述根据所述待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定所述待评价舞者的舞姿动作评价结果，包括：
根据所述待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定所述待评价舞者在各时域上的舞姿信息；
根据所述待评价舞者在各时域上的舞姿信息表征的舞蹈情感，确定所述待评价舞者的舞姿动作评价结果。
7.根据权利要求6所述的方法，其特征在于，所述根据所述待评价舞者在各时域上的舞姿信息表征的舞蹈情感，确定所述待评价舞者的舞姿动作评价结果，包括：
将所述待评价舞者在各时域上的舞姿信息，转换为各所述时域上的基频信号；
根据各所述时域上的基频信号变化情况，确定所述待评价舞者在各时域上的舞蹈情感；
根据所述待评价舞者在各时域上的舞蹈情感与预设标准舞蹈情感之间的匹配程度，确定所述待评价舞者的舞姿动作评价结果。
8.一种舞姿动作评价装置，其特征在于，包括：
获取模块，用于获取待评价舞者在不同视角下的监控录像；
检测模块，用于针对所述监控录像中的任一帧监控图像，对该帧监控图像进行肢体关键点位置检测，得到所述待评价舞者各肢体关键点在该帧监控图像中的空间坐标；
映射模块，用于将所述待评价舞者各肢体关键点在该帧监控图像中的空间坐标，映射到预设的拉班二十面体，得到所述待评价舞者在该帧监控图像下的拉班二十面体映射结果；
评价模块，用于根据所述待评价舞者在各帧监控图像下的拉班二十面体映射结果，确定所述待评价舞者的舞姿动作评价结果。
9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211158444.9A CN116978110A (zh) | 2022-09-22 | 2022-09-22 | 一种舞姿动作评价方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211158444.9A CN116978110A (zh) | 2022-09-22 | 2022-09-22 | 一种舞姿动作评价方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116978110A true CN116978110A (zh) | 2023-10-31 |
Family
ID=88471952
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211158444.9A Pending CN116978110A (zh) | 2022-09-22 | 2022-09-22 | 一种舞姿动作评价方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116978110A (zh) |
-
2022
- 2022-09-22 CN CN202211158444.9A patent/CN116978110A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021129064A9 (zh) | 姿态获取方法、关键点坐标定位模型的训练方法和装置 | |
| US11763603B2 (en) | Physical activity quantification and monitoring | |
| JP7160932B2 (ja) | 動作の識別および動作情報を用いた規範的な分析の生成 | |
| CN110544301A (zh) | 一种三维人体动作重建系统、方法和动作训练系统 | |
| CN113822254B (zh) | 一种模型训练方法及相关装置 | |
| Meng et al. | A video information driven football recommendation system | |
| CN109684969A (zh) | 凝视位置估计方法、计算机设备及存储介质 | |
| CN104035557A (zh) | 一种基于关节活跃度的Kinect动作识别方法 | |
| CN110751100A (zh) | 一种体育场馆辅助训练方法与系统 | |
| Tran et al. | Phase segmentation methods for an automatic surgical workflow analysis | |
| Weitz et al. | InfiniteForm: A synthetic, minimal bias dataset for fitness applications | |
| Guo et al. | PhyCoVIS: A visual analytic tool of physical coordination for cheer and dance training | |
| Agrawal et al. | IoT based augmented reality system of human heart: An Android application | |
| CN116978110A (zh) | 一种舞姿动作评价方法、装置、电子设备及存储介质 | |
| Avgerinakis et al. | Activities of daily living recognition using optimal trajectories from motion boundaries | |
| Munn et al. | FixTag: An algorithm for identifying and tagging fixations to simplify the analysis of data collected by portable eye trackers | |
| Fayez et al. | Vals: A leading visual and inertial dataset of squats | |
| CN113392744A (zh) | 舞蹈动作美感确认方法、装置、电子设备及存储介质 | |
| CN111265825A (zh) | 一种运动训练设备及其控制方法 | |
| CN116978109A (zh) | 一种舞蹈创意测评方法、装置、电子设备及存储介质 | |
| CN116978108A (zh) | 一种肢体动作评价方法、装置、电子设备及存储介质 | |
| CN113283402B (zh) | 一种差分式二维注视点检测方法及装置 | |
| Ravi et al. | ODIN: An OmniDirectional INdoor dataset capturing Activities of Daily Living from multiple synchronized modalities | |
| CN116959089A (zh) | 一种肢体运动轨迹检测方法、装置、电子设备及存储介质 | |
| WO2023152973A1 (ja) | 画像処理装置、画像処理方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |