CN113158914B - 一种舞蹈动作姿态、节奏和表情的智能评估方法 - Google Patents

一种舞蹈动作姿态、节奏和表情的智能评估方法 Download PDF

Info

Publication number
CN113158914B
CN113158914B CN202110449558.8A CN202110449558A CN113158914B CN 113158914 B CN113158914 B CN 113158914B CN 202110449558 A CN202110449558 A CN 202110449558A CN 113158914 B CN113158914 B CN 113158914B
Authority
CN
China
Prior art keywords
student
teacher
point data
frame
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110449558.8A
Other languages
English (en)
Other versions
CN113158914A (zh
Inventor
王静
胡勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110449558.8A priority Critical patent/CN113158914B/zh
Publication of CN113158914A publication Critical patent/CN113158914A/zh
Application granted granted Critical
Publication of CN113158914B publication Critical patent/CN113158914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种舞蹈动作姿态、节奏和表情的智能评估方法，包括以下步骤：S1：提取学生初始关节点数据、学生初始面部关键点数据、老师初始关节点数据和老师初始面部关键点数据；S2：进行预处理和归一化处理，得到学生最终关节点数据、学生最终面部关键点数据、老师最终关节点数据和老师最终面部关键点数据；S3：计算每帧图像的面部表情相似度；S4：提取老师舞蹈视频和学生舞蹈视频中的关键帧；S5：进行学生舞蹈视频的动作姿态准确度判断、动作节奏准确度判断和表情评估。本方法结合人工智能深度学习技术，将人体姿态分析技术和面部识别技术应用到实际工程领域。

Description

一种舞蹈动作姿态、节奏和表情的智能评估方法
技术领域
本发明属于机器学习和深度学习技术领域，具体涉及一种舞蹈动作姿态、节奏和表情的智能评估方法。
背景技术
近年来，动作姿态和面部视频自动分析是计算机视觉领域一个很活跃的分支，相关领域的研究越来越深入。识别场景从静态图像到动态视频，识别实体从单一个体到复杂场景多目标识别，识别要求从分辨率有严格要求到像素稀疏、目标重叠，姿态估计与面部识别逐渐地接近人们的实际生活，将给人们生活到来巨大的便利。
发明内容
本发明的目的是为了解决人体舞蹈动作姿态和动作节奏及面部表情的准确性与相似度的评价分析问题，提出了一种舞蹈动作姿态、节奏与表情的评估方法。
本发明的技术方案是：一种舞蹈动作姿态、节奏和表情的智能评估方法，包括以下步骤：
S1：采集老师舞蹈视频和学生舞蹈视频，并提取学生初始关节点数据、学生初始面部关键点数据、老师初始关节点数据和老师初始面部关键点数据；
S2：对学生初始关节点数据依次进行预处理和归一化处理，对学生初始面部关键点数据、老师初始关节点数据和老师初始面部关键点数据进行归一化处理，得到学生最终关节点数据、学生最终面部关键点数据、老师最终关节点数据和老师最终面部关键点数据；
S3：根据学生最终关节点数据和老师最终关节点数据，计算每帧图像的动作姿态相似度，根据学生最终面部关键点数据和老师最终面部关键点数据，计算每帧图像的面部表情相似度；
S4：分别提取老师舞蹈视频中的关键帧和学生舞蹈视频中的关键帧；
S5：根据老师舞蹈视频的关键帧、学生舞蹈视频中的关键帧、关键帧图像的动作姿态相似度和关键帧图像的面部表情相似度，进行学生舞蹈视频的动作姿态准确度判断、动作节奏准确度判断和表情评估。
进一步地，步骤S1中，提取学生初始关节点数据、学生初始面部关键点数据、老师初始关节点数据和老师初始面部关键点数据的方法相同，具体为：利用Alphapose姿态估计算法对舞蹈视频进行跳帧提取，得到初始关节点数据和初始面部关键点数据。
进一步地，步骤S2中，对学生初始关节点数据进行预处理的方法具体为：根据舞蹈视频中老师身高h1、老师体重w1、学生身高h2和学生体重w2，将学生初始关节点数据分别进行纵向拉伸和横向拉伸，其计算公式为：
X1＝X*(w1/w2)
Y1＝Y*(h1/h2)
其中，X表示学生初始关节点数据的x坐标，Y学生初始关节点数据的y坐标，X1表示X在横坐标方向拉伸后的关节点数据，Y1表示Y在纵坐标方向拉伸后的关节点数据；
对预处理后的学生初始关节点数据、学生初始面部关键点数据、老师初始关节点数据和老师初始面部关键点数据进行归一化处理时的计算公式为：
X2＝(X–XMin)*(XMax–XMin)
Y2＝(Y–YMin)*(YMax–YMin)
其中，X表示初始数据的x坐标，Y表示初始数据的y坐标，X2表示最终数据的x坐标，Y2表示最终数据的y坐标，XMax表示初始数据在x坐标的最大值，XMin表示初始数据在x坐标的最小值，YMax表示初始数据在y坐标的最大值，YMin表示初始数据在y坐标的最小值。
进一步地，步骤S3中，每帧图像的动作姿态相似度sim的计算公式为：
sim＝discret_frechet(keypoints1,keypoints2)
其中，keypoints1表示老师最终关节点数据，keypoints2表示学生最终关节点数据，discret_frechet(·)表示弗雷歇距离运算。
进一步地，步骤S3中，计算面部表情相似度包括以下子步骤：
S31：基于老师舞蹈视频，提取每帧图像中老师最终面部关键点数据的鼻尖节点、脸部主轮廓起始节点、脸部主轮廓末尾节点和下颚节点，基于学生舞蹈视频，提取每帧图像中学生最终关节点数据的颈部节点、双肩节点、头部节点和臀部节点，并对每帧图像进行归一化处理；
S32：对归一化处理后的每帧图像进行面部匹配；
S33：利用欧式距离法计算面部匹配后的面部表情相似度。
进一步地，步骤S31中，进行归一化处理的具体方法为：将鼻尖节点作为中心节点，计算鼻尖节点和脸部主轮廓起始节点的距离Dt1、鼻尖节点和脸部主轮廓末尾节点Dt2与鼻尖节点和下颚节点的距离Dt3，其计算公式为：
Figure BDA0003038145650000031
其中，Xt表示老师面部中心节点的横坐标，Yt表示老师面部中心节点的纵坐标，Xti表示老师面部其余节点的横坐标，Yti表示老师面部其余节点的纵坐标；
将颈部节点作为中心节点，计算颈部节点和双肩节点的距离Ds1、颈部节点和头部节点的距离Ds2与颈部节点和臀部节点的距离Ds3，其计算公式为：
Figure BDA0003038145650000032
其中，Xs表示学生面部中心节点的横坐标，Ys表示学生面部中心节点的纵坐标，Xsi表示学生面部其余节点的横坐标，Ysi表示学生面部其余节点的纵坐标；
根据两帧对应图像中的对应距离计算对应比例Ri，其计算公式为：
Ri＝Dsi/Dti,i＝1,2,3
根据对应比例Ri计算放缩均值R，并作为放缩比例，完成归一化处理，其计算公式为：
Figure BDA0003038145650000041
进一步地，步骤S32包括以下子步骤：
S321：将老师舞蹈视频中每帧图像的中心节点横纵坐标减去学生舞蹈视频中对应帧图像的中心节点横纵坐标，得到两帧图像中心节点之间的水平距离dis_x和垂直距离dis_y；
S322：对老师舞蹈视频中的面部尺寸进行resize，并调节老师最终关节点数据的坐标，其调节公式为：
V_Xi＝(R-1)*(Xi-tch_x)
V_Yi＝(R-1)*(Yi-tch_y)
其中，V_Xi表示第i个关节点的横坐标加上的调节值，V_Yi表示第i个关节点的纵坐标加上的调节值，Xi表示第i个关节点的原始横坐标，Yi表示第i个关节点的原始纵坐标，tch_x表示中心节点的横坐标，tch_y表示中心节点的纵坐标，R表示放缩均值；
S323：将老师舞蹈视频中的中心节点作为粘合节点，将老师舞蹈视频中的所有关节点的横纵坐标分别对应减去水平距离dis_x和垂直距离dis_y，并将经过resize后的老师面部平移映射至学生面部上，完成面部表情匹配。
进一步地，步骤S4中，提取老师舞蹈视频和学生舞蹈视频关键帧的方法相同，具体为：循环读取舞蹈视频的每一帧图像，确定当前帧图像和相邻下一帧图像的动作姿态相似度，当两帧图像的动作姿态相似度小于等于设定相似性阈值，则继续比较下一帧图像，直到两帧图像的动作姿态相似度大于设定相似性阈值，并将其设为关键帧。
进一步地，步骤S5中，进行动作姿态准确度判断的具体方法为：将老师舞蹈视频中的关键帧和学生舞蹈视频中的关键帧进行比较，若两个关键帧间的动作姿态相似度在设定相似度阈值之内，且|x1-x|≤t，则该学生的动作姿态合格，否则该学生的动作姿态不合格，并继续比较下一关键帧，直到所有关键帧比较完毕，其中，x1和x分别表示同一动作在老师舞蹈视频关键帧和学生舞蹈视频关键帧中出现的时间，t表示老师动作和学生动作允许的最大时间延迟。
进一步的，步骤S5中，进行动作节奏准确度判断的具体方法为：统计所有学生舞蹈视频中关键帧动作节奏不合格的次数CT，并统计学生舞蹈视频中所有关键帧和老师舞蹈视频中所有关键帧的时间偏差和ST，根据次数CT和时间偏差和ST计算动作节奏分数R，完成动作节奏准确度评估；
判断学生舞蹈视频中关键帧动作节奏不合格的方法为：若|x1-x|≥t，则认为该学生的动作节奏不合格，其中，x1和x分别表示同一动作在老师舞蹈视频关键帧和学生舞蹈视频关键帧中出现的时间，t表示老师动作和学生动作允许的最大时间延迟；
时间偏差和ST的计算公式为：
Figure BDA0003038145650000051
其中，T表示学生关键帧集合，xi表示某一动作在老师舞蹈视频关键帧出现的时间；
节奏分数R的计算公式为：
R＝100-αCT-βST
其中，α和β均表示权重系数；
步骤S5中，进行表情准确度判断的具体方法为：将老师舞蹈视频中的关键帧和学生舞蹈视频中的关键帧进行比较，若两个关键帧间的面部表情相似度在设定相似度阈值之内，且|x1-x|≤t1，则该学生的面部表情合格，否则该学生的面部表情不合格，并继续比较下一关键帧，直到所有关键帧比较完毕，其中，x1和x分别表示同一面部表情在老师舞蹈视频关键帧和学生舞蹈视频关键帧中出现的时间，t1表示老师面部表情和学生面部表情允许的最大时间延迟。
本发明的有益效果是：本方法结合人工智能深度学习技术，将人体姿态分析和面部识别技术应用到工程实际中，分析评价视频中的人体动作姿态的相似性问题、动作节奏的准确性问题和情感表达的相似度问题，在舞蹈等各类运动教学评价领域有着巨大的需求，把动作和节奏以及情感的评价和分析系统应用于舞蹈类运动信息化平台，能够快速自动精准评判学生在进行舞蹈等动作学习时，动作姿态和节奏及情感表达的准确性，提升用户练习的效率和使用体验。
附图说明
图1为舞蹈动作姿态和动作节奏的评估方法的流程图；
图2为关节点识别的实施例示意图；
图3为脸部节点识别的实施例示意图；
图4为关键帧识别的示意图；
图5为实施例中学生节奏准确的一种示意图；
图6为实施例中学生节奏准确的另一种示意图；
图7为实施例中学生节奏不准确的一种示意图；
图8为实施例中学生节奏准确的另一种示意图。
具体实施方式
下面结合附图对本发明的实施例作进一步的说明。
在描述本发明的具体实施例之前，为使本发明的方案更加清楚完整，首先对本发明中出现的缩略语和关键术语定义进行说明：
resize：再调整尺寸。
如图1所示，本发明提供了一种舞蹈动作姿态、节奏和表情的智能评估方法，包括以下步骤：
S1：采集老师舞蹈视频和学生舞蹈视频，并提取学生初始关节点数据、学生初始面部关键点数据、老师初始关节点数据和老师初始面部关键点数据；
S2：对学生初始关节点数据依次进行预处理和归一化处理，对学生初始面部关键点数据、老师初始关节点数据和老师初始面部关键点数据进行归一化处理，得到学生最终关节点数据、学生最终面部关键点数据、老师最终关节点数据和老师最终面部关键点数据；
S3：根据学生最终关节点数据和老师最终关节点数据，计算每帧图像的动作姿态相似度，根据学生最终面部关键点数据和老师最终面部关键点数据，计算每帧图像的面部表情相似度；
S4：分别提取老师舞蹈视频中的关键帧和学生舞蹈视频中的关键帧；
S5：根据老师舞蹈视频的关键帧、学生舞蹈视频中的关键帧、关键帧图像的动作姿态相似度和关键帧图像的面部表情相似度，进行学生舞蹈视频的动作姿态准确度判断、动作节奏准确度判断和表情评估。
在本发明实施例中，步骤S1中，提取学生初始关节点数据、学生初始面部关键点数据、老师初始关节点数据和老师初始面部关键点数据的方法相同，具体为：利用Alphapose姿态估计算法对舞蹈视频进行跳帧提取，得到初始关节点数据和初始面部关键点数据。
如图2所示，可以根据输入的参数s进行跳帧处理，每s帧提取一帧进行处理，提高处理的速度，输入一个视频后，输出n帧视频的关节点数据，一个人体包含多个关节点数据。
在本发明实施例中，步骤S2中，对学生初始关节点数据进行预处理的方法具体为：根据舞蹈视频中老师身高h1、老师体重w1、学生身高h2和学生体重w2，将学生初始关节点数据分别进行纵向拉伸和横向拉伸，其计算公式为：
X1＝X*(w1/w2)
Y1＝Y*(h1/h2)
其中，X表示学生初始关节点数据的x坐标，Y学生初始关节点数据的y坐标，X1表示X在横坐标方向拉伸后的关节点数据，Y1表示Y在纵坐标方向拉伸后的关节点数据；
由于老师和学生的身高体重等的差异，可能导致会导致在相似度判断上出现误差，所以需要对老师和学生的身高和体重做预处理。首先获取用户输入的学生的身高体重和老师的身高体重，然后将学生的身高体重和老师的身高体重做对比，然后根据比例对人的姿态进行相应的调整。
对预处理后的学生初始关节点数据、学生初始面部关键点数据、老师初始关节点数据和老师初始面部关键点数据进行归一化处理时的计算公式为：
X2＝(X–XMin)*(XMax–XMin)
Y2＝(Y–YMin)*(YMax–YMin)
其中，X表示初始数据的x坐标，Y表示初始数据的y坐标，X2表示最终数据的x坐标，Y2表示最终数据的y坐标，XMax表示初始数据在x坐标的最大值，XMin表示初始数据在x坐标的最小值，YMax表示初始数据在y坐标的最大值，YMin表示初始数据在y坐标的最小值。
通过遍历预处理后的老师和学生的关节点数据，将Max和Min记录下来，并通过Max-Min作为技术进行数据的规划化处理。
在本发明实施例中，步骤S3中，每帧图像的动作姿态相似度sim的计算公式为：
sim＝discret_frechet(keypoints1,keypoints2)
其中，keypoints1表示老师最终关节点数据，keypoints2表示学生最终关节点数据，discret_frechet(·)表示弗雷歇距离运算。
判断动作姿态相似性的方法具体为：计算两帧图像之间关键点数据的Fréchet距离，并将Fréchet距离和设定阈值比较，若Fréchet距离大于或者等于设定阈值，则两帧的动作相似，若Fréchet距离小于设定阈值，则两帧的动作不相似。
在本发明实施例中，步骤S3中，计算面部表情相似度包括以下子步骤：
S31：基于老师舞蹈视频，提取每帧图像中老师最终面部关键点数据的鼻尖节点、脸部主轮廓起始节点、脸部主轮廓末尾节点和下颚节点，基于学生舞蹈视频，提取每帧图像中学生最终关节点数据的颈部节点、双肩节点、头部节点和臀部节点，并对每帧图像进行归一化处理；
S32：对归一化处理后的每帧图像进行面部匹配；
S33：利用欧式距离法计算面部匹配后的面部表情相似度。
由于视频中人物存在面部特征差异，可能会导致检测出的面部大小不统一，影响面部的对比和计算结果的准确度，因此需要对提取出的人体面部关节点信息进行调整，进行面部大小的归一化变换。
在本发明实施例中，步骤S31中，进行归一化处理的具体方法为：将鼻尖节点作为中心节点，计算鼻尖节点和脸部主轮廓起始节点的距离Dt1、鼻尖节点和脸部主轮廓末尾节点Dt2与鼻尖节点和下颚节点的距离Dt3，其计算公式为：
Figure BDA0003038145650000101
其中，Xt表示老师面部中心节点的横坐标，Yt表示老师面部中心节点的纵坐标，Xti表示老师面部其余节点的横坐标，Yti表示老师面部其余节点的纵坐标；
将颈部节点作为中心节点，计算颈部节点和双肩节点的距离Ds1、颈部节点和头部节点的距离Ds2与颈部节点和臀部节点的距离Ds3，其计算公式为：
Figure BDA0003038145650000102
其中，Xs表示学生面部中心节点的横坐标，Ys表示学生面部中心节点的纵坐标，Xsi表示学生面部其余节点的横坐标，Ysi表示学生面部其余节点的纵坐标；
根据两帧对应图像中的对应距离计算对应比例Ri，其计算公式为：
Ri＝Dsi/Dti，i＝1，2,3
根据对应比例Ri计算放缩均值R，并作为放缩比例，完成归一化处理，其计算公式为：
Figure BDA0003038145650000103
在本发明实施例中，步骤S32包括以下子步骤：
S321：将老师舞蹈视频中每帧图像的中心节点横纵坐标减去学生舞蹈视频中对应帧图像的中心节点横纵坐标，得到两帧图像中心节点之间的水平距离dis_x和垂直距离dis_y；
S322：对老师舞蹈视频中的面部尺寸进行resize，并调节老师最终关节点数据的坐标，其调节公式为：
V_Xi＝(R-1)*(Xi-tch_x)
V_Yi＝(R-1)*(Yi-tch_y)
其中，V_Xi表示第i个关节点的横坐标加上的调节值，V_Yi表示第i个关节点的纵坐标加上的调节值，Xi表示第i个关节点的原始横坐标，Yi表示第i个关节点的原始纵坐标，tch_x表示中心节点的横坐标，tch_y表示中心节点的纵坐标，R表示放缩均值；
S323：将老师舞蹈视频中的中心节点作为粘合节点，将老师舞蹈视频中的所有关节点的横纵坐标分别对应减去水平距离dis_x和垂直距离dis_y，并将经过resize后的老师面部平移映射至学生面部上，完成面部表情匹配。
在本发明实施例中，如图4所示，步骤S4中，提取老师舞蹈视频和学生舞蹈视频关键帧的方法相同，具体为：循环读取舞蹈视频的每一帧图像，判断当前帧图像和相邻下一帧图像的动作姿态相似度，若两帧图像的动作姿态相似度小于等于设定相似性阈值，则继续比较下一帧图像，直到两帧图像的动作姿态相似度大于设定相似性阈值，并将其设为关键帧。
提取关键帧的目的是为了去除重复的动作，将相似的帧给去除掉，减少计算量，从而提高效率，例如：一个动作保持了t秒钟，则这t秒内所有帧的动作都是相似的，则将这t秒视频的第1帧作为关键帧。
例如，设定的阈值相似度为t，首先将第1帧设为关键帧，第1帧和第2帧的相似度为d2，小于设定的阈值相似度t，则第2帧不是关键帧；第1帧再和第3帧进行比较，第1帧和第3帧的相似度为d3，小于设定的阈值相似度t，则第3帧不是关键帧；第1帧再和第4帧进行比较，第1帧和第4帧的相似度为d4，大于设定的阈值相似度t，则第4帧是关键帧；然后第4帧再和第5、6、7、8……帧进行比较。若第4帧和第5、6、7、8帧的相似度小于t，而第4帧和第9帧的相似度大于t，则将第9帧设为关键帧。第9帧之后的比较方法类似，直到所有关键帧提取完毕。所以我们认为第1、2、3帧是相似的，是同一个动作；第4、5、6、7、8帧是相似的，是同一个动作，所以取有代表性的第1帧和第4帧为关键帧，第1帧代表了，第1、2、3帧；第4帧代表了，第4、5、6、7、8帧。对于每一个教师和学生的视频，都将视频转换为关键帧序列。
在本发明实施例中，步骤S5中，进行动作节奏准确度判断的具体方法为：统计所有学生舞蹈视频中关键帧动作节奏不合格的次数CT，并统计学生舞蹈视频中所有关键帧和老师舞蹈视频中所有关键帧的时间偏差和AT，根据次数CT和时间偏差和ST计算动作节奏分数R，完成动作节奏准确度评估；
判断学生舞蹈视频中关键帧动作节奏不合格的方法为：若|x1-x|≥t，则认为该学生的动作节奏不合格，其中，x1和x分别表示同一动作在老师舞蹈视频关键帧和学生舞蹈视频关键帧中出现的时间，t表示老师动作和学生动作允许的最大时间延迟；
时间偏差和ST的计算公式为：
Figure BDA0003038145650000121
其中，T表示学生关键帧集合，xi表示某一动作在老师舞蹈视频关键帧出现的时间；
节奏分数R的计算公式为：
R＝100-αCT-βST
其中，α和β均表示权重系数；
所述步骤S5中，进行表情准确度判断的具体方法为：将老师舞蹈视频中的关键帧和学生舞蹈视频中的关键帧进行比较，若两个关键帧间的面部表情相似度在设定相似度阈值之内，且|x1-x|≤t1，则该学生的面部表情合格，否则该学生的面部表情不合格，并继续比较下一关键帧，直到所有关键帧比较完毕，其中，x1和x分别表示同一面部表情在老师舞蹈视频关键帧和学生舞蹈视频关键帧中出现的时间，t1表示老师面部表情和学生面部表情允许的最大时间延迟。
将学生视频的每一关键帧和老师视频的关键帧做对比，如果当前帧中的动作出现在老师视频相应时间点的前后t秒之内，则认为当前学生的节奏和老师的一致，当前帧中的动作是正确的，如果当前帧中的动作出现在老师视频相应时间点的前t秒之外，或者当前帧中的动作出现在老师视频相应时间点的后t秒之外，则认为学生的节奏不符合要求，则认为当前帧中的动作是错误的。
最后，将整段视频对比过程中系统自动记录的动作存在时间延迟或时间提前的次数和时差幅度进行汇总，时间延迟或时间提前的次数越多，时差幅度的绝对值越大，则学生动作的节奏准确性就越低。据此，本方法就对运动动作的节奏的进行有效评价。
如图5所示，学生视频的第x秒的帧的动作出现在了老师视频的第x-0.5t秒，则认为该动作正确。
如图6所示，学生视频的第x秒的帧的动作出现在了老师视频的第x+0.5t秒，则认为该动作正确。
如图7所示，学生视频的第5秒的帧的动作出现在了老师视频的第x-(t+0.1)秒，则认为该动作错误。
如图8所示，学生视频的第x秒的帧的动作出现在了老师视频的第x+t+0.1秒，则认为该动作错误。
在本发明实施例中，步骤S5中，进行动作准确度判断的具体方法为：循环读取老师舞蹈视频和学生舞蹈视频中每一帧关键帧，得到t秒内相似性最接近的两帧关键帧，并进行关键帧比较，判断动作准确度；
进行关键帧比较的方法为：若两帧关键帧的相似度在设定相似度阈值之内，则该动作合格，若两帧关键帧的相似度在设定的阈值之外，则该动作不合格，并继续比较下一关键帧，直到所有关键帧比较完毕。
对于视频关键帧的对比，首先循环读取每一帧关键帧，然后判断学生的动作视频的关键帧和老师的动作视频的关键帧的相似性，然后在t秒内，找到最相似的关键帧，如果两帧的相似度在设定的阈值之内，则认为这个动作是合格的，如果两帧的相似度在设定的阈值之外，则认为这个动作是不合格的，继续比较下一关键帧，直到所有关键帧比较完毕。如果要比较的关键帧在t秒之外，但是这一关键帧所代表的那几帧在t秒之内，则这个关键帧也要进行比较。
假设学生视频提取到了m个关键帧，有n个关键帧和老师的关键帧相匹配，则学生的动作姿态准确度为(n/m)*100分。
本发明的工作原理及过程为：本发明首先通过人体姿态估计算法提取人体的各个关节点，然后将提取到的关节点进行归一化，然后判断老师和学生的各个关节点的相似性进行智能分析与评价，接着分别对躯干、手部、手指、腿部、头部和面部进行判断。本方法不仅对动作的相似性进行分析评价，也对动作的节奏准确性和面部表情的相似度进行评估，实现舞蹈动作准确性、节奏准确性、以及表情相似度的自动评判与打分。
本发明的有益效果为：本方法结合人工智能深度学习技术，将人体姿态分析和面部识别技术应用到工程实际中，分析评价视频中的人体动作姿态的相似性问题、动作节奏的准确性问题和情感表达的相似度问题，在舞蹈等各类运动教学评价领域有着巨大的需求，把动作和节奏以及情感的评价和分析系统应用于舞蹈类运动信息化平台，能够快速自动精准评判学生在进行舞蹈等动作学习时，动作姿态和节奏及情感表达的准确性，提升用户练习的效率和使用体验。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种舞蹈动作姿态、节奏和表情的智能评估方法，其特征在于，包括以下步骤：
S1：采集老师舞蹈视频和学生舞蹈视频，并提取学生初始关节点数据、学生初始面部关键点数据、老师初始关节点数据和老师初始面部关键点数据；
S2：对学生初始关节点数据依次进行预处理和归一化处理，对学生初始面部关键点数据、老师初始关节点数据和老师初始面部关键点数据进行归一化处理，得到学生最终关节点数据、学生最终面部关键点数据、老师最终关节点数据和老师最终面部关键点数据；
S3：根据学生最终关节点数据和老师最终关节点数据，计算每帧图像的动作姿态相似度，根据学生最终面部关键点数据和老师最终面部关键点数据，计算每帧图像的面部表情相似度；
S4：根据每帧图像的动作姿态相似度，分别提取老师舞蹈视频中的关键帧和学生舞蹈视频中的关键帧；
S5：根据老师舞蹈视频中的关键帧、学生舞蹈视频中的关键帧、关键帧图像的动作姿态相似度和关键帧图像的面部表情相似度，进行学生舞蹈视频的动作姿态准确度判断、动作节奏准确度判断和表情评估；
所述步骤S3中，计算面部表情相似度包括以下子步骤：
S31：基于老师舞蹈视频，提取每帧图像中老师最终面部关键点数据的鼻尖节点、脸部主轮廓起始节点、脸部主轮廓末尾节点和下颚节点，基于学生舞蹈视频，提取每帧图像中学生最终关节点数据的颈部节点、双肩节点、头部节点和臀部节点，并对每帧图像进行归一化处理；
S32：对归一化处理后的每帧图像进行面部匹配；
S33：利用欧式距离法计算面部匹配后的面部表情相似度；
所述步骤S31中，进行归一化处理的具体方法为：将鼻尖节点作为中心节点，计算鼻尖节点和脸部主轮廓起始节点的距离Dt1、鼻尖节点和脸部主轮廓末尾节点Dt2与鼻尖节点和下颚节点的距离Dt3，其计算公式为：
Figure FDA0003403219050000021
其中，Xt表示老师面部中心节点的横坐标，Yt表示老师面部中心节点的纵坐标，Xti表示老师面部其余节点的横坐标，Yti表示老师面部其余节点的纵坐标；
将颈部节点作为中心节点，计算颈部节点和双肩节点的距离Ds1、颈部节点和头部节点的距离Ds2与颈部节点和臀部节点的距离Ds3，其计算公式为：
Figure FDA0003403219050000022
其中，Xs表示学生面部中心节点的横坐标，Ys表示学生面部中心节点的纵坐标，Xsi表示学生面部其余节点的横坐标，Ysi表示学生面部其余节点的纵坐标；
根据两帧对应图像中的对应距离计算对应比例Ri，其计算公式为：
Ri＝Dsi/Dti，i＝1，2，3
根据对应比例Ri计算放缩均值R，并作为放缩比例，完成归一化处理，其计算公式为：
Figure FDA0003403219050000023
所述步骤S32包括以下子步骤：
S321：将老师舞蹈视频中每帧图像的中心节点横纵坐标减去学生舞蹈视频中对应帧图像的中心节点横纵坐标，得到两帧图像中心节点之间的水平距离dis_x和垂直距离dis_y；
S322：对老师舞蹈视频中的面部尺寸进行resize，并调节老师最终关节点数据的坐标，其调节公式为：
V_Xi＝(R-1)*(Xi-tch_x)
V_Yi＝(R-1)*(Yi-tch_y)
其中，V_Xi表示第i个关节点的横坐标加上的调节值，V_Yi表示第i个关节点的纵坐标加上的调节值，Xi表示第i个关节点的原始横坐标，Yi表示第i个关节点的原始纵坐标，tch_x表示中心节点的横坐标，tch_y表示中心节点的纵坐标，R表示放缩均值；
S323：将老师舞蹈视频中的中心节点作为粘合节点，将老师舞蹈视频中的所有关节点的横纵坐标分别对应减去水平距离dis_x和垂直距离dis_y，并将经过resize后的老师面部平移映射至学生面部上，完成面部表情匹配；
所述步骤S5中，进行动作节奏准确度判断的具体方法为：统计所有学生舞蹈视频中关键帧动作节奏不合格的次数CT，并统计学生舞蹈视频中所有关键帧和老师舞蹈视频中所有关键帧的时间偏差和ST，根据次数CT和时间偏差和ST计算动作节奏分数R，完成动作节奏准确度评估；
判断学生舞蹈视频中关键帧动作节奏不合格的方法为：若|x1-x|≥t，则认为该学生的动作节奏不合格，其中，x1和x分别表示同一动作在老师舞蹈视频关键帧和学生舞蹈视频关键帧中出现的时间，t表示老师动作和学生动作允许的最大时间延迟；
时间偏差和ST的计算公式为：
Figure FDA0003403219050000031
其中，T表示学生关键帧集合，xi表示某一动作在老师舞蹈视频关键帧出现的时间；
节奏分数R的计算公式为：
R＝100-αCT-βST
其中，α和β均表示权重系数；
所述步骤S5中，进行表情准确度判断的具体方法为：将老师舞蹈视频中的关键帧和学生舞蹈视频中的关键帧进行比较，若两个关键帧间的面部表情相似度在设定相似度阈值之内，且|x1-x|≤t1，则该学生的面部表情合格，否则该学生的面部表情不合格，并继续比较下一关键帧，直到所有关键帧比较完毕，其中，x1和x分别表示同一面部表情在老师舞蹈视频关键帧和学生舞蹈视频关键帧中出现的时间，t1表示老师面部表情和学生面部表情允许的最大时间延迟。
2.根据权利要求1所述的舞蹈动作姿态、节奏和表情的智能评估方法，其特征在于，所述步骤S1中，提取学生初始关节点数据、学生初始面部关键点数据、老师初始关节点数据和老师初始面部关键点数据的方法相同，具体为：利用Alphapose姿态估计算法对舞蹈视频进行跳帧提取，得到初始关节点数据和初始面部关键点数据。
3.根据权利要求1所述的舞蹈动作姿态、节奏和表情的智能评估方法，其特征在于，所述步骤S2中，对学生初始关节点数据进行预处理的方法具体为：根据舞蹈视频中老师身高h1、老师体重w1、学生身高h2和学生体重w2，将学生初始关节点数据分别进行纵向拉伸和横向拉伸，其计算公式为：
X1＝X*(w1/w2)
Y1＝Y*(h1/h2)
其中，X表示学生初始关节点数据的x坐标，Y学生初始关节点数据的y坐标，X1表示X在横坐标方向拉伸后的关节点数据，Y1表示Y在纵坐标方向拉伸后的关节点数据；
对预处理后的学生初始关节点数据、学生初始面部关键点数据、老师初始关节点数据和老师初始面部关键点数据进行归一化处理时的计算公式为：
X2＝(X-XMin)*(XMax-XMin)
Y2＝(Y-YMin)*(YMax-YMin)
其中，X表示初始数据的x坐标，Y表示初始数据的y坐标，X2表示最终数据的x坐标，Y2表示最终数据的y坐标，XMax表示初始数据在x坐标的最大值，XMin表示初始数据在x坐标的最小值，YMax表示初始数据在y坐标的最大值，YMin表示初始数据在y坐标的最小值。
4.根据权利要求1所述的舞蹈动作姿态、节奏和表情的智能评估方法，其特征在于，所述步骤S3中，每帧图像的动作姿态相似度sim的计算公式为：
sim＝discret_frechet(keypoints1，keypoints2)
其中，keypoints1表示老师最终关节点数据，keypoints2表示学生最终关节点数据，discret_frechet(·)表示弗雷歇距离运算。
5.根据权利要求1所述的舞蹈动作姿态、节奏和表情的智能评估方法，其特征在于，所述步骤S4中，提取老师舞蹈视频和学生舞蹈视频关键帧的方法相同，具体为：循环读取舞蹈视频的每一帧图像，确定当前帧图像和相邻下一帧图像的动作姿态相似度，当两帧图像的动作姿态相似度大于等于设定相似性阈值，则继续比较下一帧图像，直到两帧图像的动作姿态相似度小于设定相似性阈值，并将其设为关键帧。
6.根据权利要求1所述的舞蹈动作姿态、节奏和表情的智能评估方法，其特征在于，所述步骤S5中，进行动作姿态准确度判断的具体方法为：将老师舞蹈视频中的关键帧和学生舞蹈视频中的关键帧进行比较，若两个关键帧间的动作姿态相似度在设定相似度阈值之内，且|x1-x|≤t，则该学生的动作姿态合格，否则该学生的动作姿态不合格，并继续比较下一关键帧，直到所有关键帧比较完毕，其中，x1和x分别表示同一动作在老师舞蹈视频关键帧和学生舞蹈视频关键帧中出现的时间，t表示老师动作和学生动作允许的最大时间延迟。
CN202110449558.8A 2021-04-25 2021-04-25 一种舞蹈动作姿态、节奏和表情的智能评估方法 Active CN113158914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110449558.8A CN113158914B (zh) 2021-04-25 2021-04-25 一种舞蹈动作姿态、节奏和表情的智能评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110449558.8A CN113158914B (zh) 2021-04-25 2021-04-25 一种舞蹈动作姿态、节奏和表情的智能评估方法

Publications (2)

Publication Number Publication Date
CN113158914A CN113158914A (zh) 2021-07-23
CN113158914B true CN113158914B (zh) 2022-01-18

Family

ID=76870384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110449558.8A Active CN113158914B (zh) 2021-04-25 2021-04-25 一种舞蹈动作姿态、节奏和表情的智能评估方法

Country Status (1)

Country Link
CN (1) CN113158914B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115527264B (zh) * 2022-01-24 2023-05-05 温州医科大学 一种啦啦操训练效果的智能评价方法及系统
CN115035221A (zh) * 2022-06-17 2022-09-09 广州虎牙科技有限公司 一种舞蹈动画合成方法、装置、设备及存储介质
CN114898342B (zh) * 2022-07-15 2022-11-25 深圳市城市交通规划设计研究中心股份有限公司 行驶中非机动车驾驶员接打电话的检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472462A (zh) * 2018-05-11 2019-11-19 北京三星通信技术研究有限公司 姿态估计方法、基于姿态估计的处理方法及电子设备
CN110688921A (zh) * 2019-09-17 2020-01-14 东南大学 一种基于人体动作识别技术的驾驶员抽烟行为检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100345153C (zh) * 2005-04-30 2007-10-24 清华大学 基于人脸几何尺寸归一化的人脸图像识别方法
US8200648B2 (en) * 2006-08-07 2012-06-12 Yeda Research & Development Co. Ltd. At The Weizmann Institute Of Science Data similarity and importance using local and global evidence scores
JP5247356B2 (ja) * 2008-10-29 2013-07-24 キヤノン株式会社 情報処理装置およびその制御方法
CN104899561A (zh) * 2015-05-27 2015-09-09 华南理工大学 一种并行化的人体行为识别方法
CN107292289A (zh) * 2017-07-17 2017-10-24 东北大学 基于视频时间序列的人脸表情识别方法
CN109508656A (zh) * 2018-10-29 2019-03-22 重庆中科云丛科技有限公司 一种舞蹈评级自动判别方法、系统及计算机可读存储介质
CN110781843B (zh) * 2019-10-29 2022-11-04 首都师范大学 课堂行为检测方法及电子设备
CN111597911B (zh) * 2020-04-22 2023-08-29 成都运达科技股份有限公司 一种基于图像特征快速提取关键帧的方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472462A (zh) * 2018-05-11 2019-11-19 北京三星通信技术研究有限公司 姿态估计方法、基于姿态估计的处理方法及电子设备
CN110688921A (zh) * 2019-09-17 2020-01-14 东南大学 一种基于人体动作识别技术的驾驶员抽烟行为检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于动作捕捉技术的舞蹈姿态分析与教学方法研究;王露晨;《中国优秀博硕士学位论文全文数据库(硕士)哲学与人文科学辑》;20170515;全文 *

Also Published As

Publication number Publication date
CN113158914A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN113158914B (zh) 一种舞蹈动作姿态、节奏和表情的智能评估方法
CN106055091B (zh) 一种基于深度信息和校正方式的手部姿态估计方法
WO2022111236A1 (zh) 一种结合注意力机制的面部表情识别方法及系统
CN109472198B (zh) 一种姿态鲁棒的视频笑脸识别方法
Rudovic et al. Personalized estimation of engagement from videos using active learning with deep reinforcement learning
Premaratne et al. Centroid tracking based dynamic hand gesture recognition using discrete Hidden Markov Models
US20220083770A1 (en) Hand trajectory recognition method for following robot based on hand velocity and trajectory distribution
Kalbande et al. Lip reading using neural networks
CN113608663B (zh) 一种基于深度学习和k-曲率法的指尖跟踪方法
KR20200061118A (ko) 영상 내 다중 객체 추적 방법 및 시스템
CN109325408A (zh) 一种手势判断方法及存储介质
CN105912126A (zh) 一种手势运动映射到界面的增益自适应调整方法
CN112200074A (zh) 一种姿态对比的方法和终端
CN111105443A (zh) 一种基于特征关联的视频群体人物运动轨迹跟踪方法
CN112906520A (zh) 一种基于姿态编码的动作识别方法及装置
CN111860451A (zh) 一种基于人脸表情识别的游戏交互方法
Amaliya et al. Study on hand keypoint framework for sign language recognition
CN116386118B (zh) 一种基于人像识别的粤剧匹配化妆系统及其方法
CN116343335A (zh) 一种基于动作识别的运动姿态矫正方法
Rokade et al. Hand gesture recognition using object based key frame selection
Miners et al. Dynamic facial expression recognition using fuzzy hidden Markov models
Dong et al. An improved deep neural network method for an athlete's human motion posture recognition
CN114120371A (zh) 图示识别及动作矫正系统及方法
CN113255666A (zh) 一种基于计算机视觉的个性化答疑系统与方法
Leow et al. 3-D–2-D spatiotemporal registration for sports motion analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant