CN109508656A - 一种舞蹈评级自动判别方法、系统及计算机可读存储介质 - Google Patents

一种舞蹈评级自动判别方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN109508656A
CN109508656A CN201811269810.1A CN201811269810A CN109508656A CN 109508656 A CN109508656 A CN 109508656A CN 201811269810 A CN201811269810 A CN 201811269810A CN 109508656 A CN109508656 A CN 109508656A
Authority
CN
China
Prior art keywords
examinee
dancing
picture
face
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811269810.1A
Other languages
English (en)
Inventor
周曦
吴媛
吴大为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Zhongke Yuncong Technology Co Ltd
Original Assignee
Chongqing Zhongke Yuncong Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Zhongke Yuncong Technology Co Ltd filed Critical Chongqing Zhongke Yuncong Technology Co Ltd
Priority to CN201811269810.1A priority Critical patent/CN109508656A/zh
Publication of CN109508656A publication Critical patent/CN109508656A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种舞蹈评级自动判别方法，该方法包括以下步骤：分别提取教学视频和考试视频中的每一帧图片；对教学视频和所述考试视频中每一帧图片进行人体关键点检测得到教师的人体关键点和考生的人体关键点；将第t帧考生舞蹈图片与位于[t‑t’,t+t’]帧内的教学舞蹈图片进行比较，得到考生舞蹈的节奏合拍分数和姿态标准分数；对考试视频的每一帧图片进行人脸关键点检测；利用表情分析算法得到每一帧图片中考生的局部表情分数；根据所有帧图片中的考生的局部表情分数得到最终的表情分数。本发明能够让用户在进行舞蹈评级时，将舞蹈视频和标准视频进行对比，识别每一帧画面中舞者的骨骼关键点位置、面部表情，得到评判舞者的表情分、姿势分、节奏分值。

Description

一种舞蹈评级自动判别方法、系统及计算机可读存储介质
技术领域
本发明涉及人脸识别技术领域，特别是涉及一种舞蹈评级自动判别方法、系统及计算机可读存储介质。
背景技术
舞蹈是人类社会的产物，通过各个历史时期的舞蹈状况，可以直接或间接地窥见各个历史时期的社会经济、政治、伦理、哲学以至宗教和风俗等各个方面。
审美亦是舞蹈的一个重要功能。舞蹈的审美作用体现在舞蹈的节奏、表情和构图给人以美感和在舞蹈过程中所获得的身心愉悦。它不仅感染着观者的感情，也鼓舞着舞者本人的情绪，在舞者与舞者之间的情绪互相影响下，从强烈的节奏感中获得更大的精神满足。原始人之所以不能自制地陶醉于狂热的跳舞之中就是这个原因。
在如今社会，舞蹈类型众多，因而也形成了多种多样的舞蹈能力级别划分以及舞蹈考试，例如全国性的知名舞蹈考试“中国舞等级考试”就分为13级并覆盖了18岁以下不同年龄段的舞者。目前的舞蹈评级过程中，仍然以专业教师来人眼判别舞者的考试表现，然而，由于专业教师的审美差异化、情绪波动以及疲劳感等因素，都可能造成舞蹈评级的误判。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种舞蹈评级自动判别方法、系统及计算机可读存储介质，以解决现有技术中存在节奏判读的局限性。
为实现上述目的及其他相关目的，本发明提供一种舞蹈评级自动判别方法，该自动判别方法包括以下步骤：
分别提取教学视频和考试视频中的图片，得到考生舞蹈图片和教学舞蹈图片；
将所述考生舞蹈图片与所述教学舞蹈图片进行比较，得到考生的最终的节奏合拍分数和姿态标准分数；
对考生图片进行人脸关键点检测；
计算考生的局部表情分数。
可选地，所述的将所述考生舞蹈图片与所述教学舞蹈图片进行比较，得到考生的节奏合拍分数和姿态标准分数具体包括：
将第t帧考生舞蹈图片与位于[t-t’,t+t’]帧内的教学舞蹈图片进行比较，得到第t帧考生舞蹈的节奏合拍分数和姿态标准分数；
根据所有帧考生舞蹈的节奏合拍分数和姿态标准分数，得到最终的节奏合拍分数和姿态标准分数。
可选地，所述的计算考生的局部表情分数，具体为：
利用表情分析算法得到每一帧图片中考生的局部表情分数；
根据所有帧图片中的考生的局部表情分数得到最终的局部表情分数。
可选地，该自动判别方法还包括：
将考生舞蹈图片与教学舞蹈图片中的人体进行对齐，具体包括：
对所述教学视频和所述考试视频中每一帧图片进行人体关键点检测，得到教师的人体关键点和考生的人体关键点；
根据所述教师的人体关键点和考生的人体关键点建立考生人体坐标系和教师人体坐标系；
对所述考生人体坐标系或教师人体坐标系进行仿射变换；
对经过所述仿射变换的所述考生人体坐标系或教师人体坐标系进行缩放。
可选地，该自动判别方法还包括人脸识别步骤，所述人脸识别步骤具体包括：
检测所述考试视频中出现的所有人脸，并提取出待检人脸照片；
计算所述待检人脸照片的人脸质量分、人脸的图像坐标以及人脸尺寸；
将所述人脸质量分与人脸质量分阈值进行比较，若该人脸质量分在所述人脸质量分阈值范围内，则该人脸质量分所对应的待检人脸照片为合格照片；
计算合格的待检人脸照片与考生人脸库中的每张人脸库图片的相似度；
将最高的相似度与相似度阈值进行比较，若最高的相似度在所述相似度阈值范围内，则最高的相似度对应的人脸图片所对应的人员为考生。
为实现上述目的及其他相关目的，本发明还提供一种舞蹈评级自动判别系统，该自动判别系统包括：
提取模块，分别用于提取教学视频和考试视频中的图片，得到考生舞蹈图片和教学舞蹈图片；
动作分析模块，用于将所述考生舞蹈图片与所述教学舞蹈图片进行比较，得到考生的节奏合拍分数和姿态标准分数；
人脸关键点检测模块，用于对考生图片进行人脸关键点检测；
表情分析模块，用于计算考生的局部表情分数。
优选地，所述动作分析模块包括：
第一动作分析单元，用于将第t帧考生舞蹈图片与位于[t-t’,t+t’]帧内的教学舞蹈图片进行比较，得到第t帧考生舞蹈的节奏合拍分数和姿态标准分数；
第二动作分析单元，用于根据所有帧考生舞蹈的节奏合拍分数和姿态标准分数，得到最终的节奏合拍分数和姿态标准分数。
优选地，该自动判别系统还包括人体对齐模块，用于将考生舞蹈图片与教学舞蹈图片中的人体进行对齐；所述人体对齐模块具体包括：
人体关键点检测模块，用于对所述教学视频和所述考试视频中每一帧图片进行人体关键点检测，得到教师的人体关键点和考生的人体关键点；
坐标系建立模块，用于根据所述教师的人体关键点和考生的人体关键点建立考生人体坐标系和教师人体坐标系；
变换模块，用于对所述考生人体坐标系或教师人体坐标系进行仿射变换；
缩放模块，用于对经过所述仿射变换的所述考生人体坐标系或教师人体坐标系进行缩放。
优选地，该自动判别模块还包括人脸识别模块，所述人脸识别模块包括：
人脸提取模块，用于检测所述考试视频中出现的所有人脸，并提取出待检人脸照片；
人脸检测模块，用于计算所述待检人脸照片的人脸质量分、人脸的图像坐标以及人脸尺寸；
第一比较模块，用于将所述人脸质量分与人脸质量分阈值进行比较，若该人脸质量分在所述人脸质量分阈值范围内，则该人脸质量分所对应的待检人脸照片为合格照片；
相似度计算模块，用于计算合格的待检人脸照片与考生人脸库中的每张人脸库图片的相似度；
第二比较模块，用于将最高的相似度与相似度阈值进行比较，若最高的相似度在所述相似度阈值范围内，则最高的相似度对应的人脸图片所对应的人员为考生。
为实现上述目的及其他相关目的，本发明还提供一种计算机可读存储介质，存储计算机程序，所述计算机程序被处理器运行时执行所述的舞蹈评级自动判别方法。
如上所述，本发明的一种舞蹈评级自动判别方法、系统，具有以下有益效果：
本发明所述的一种舞蹈评级自动判别方法、系统及计算机可读存储介质，能够让用户在进行舞蹈评级时，通过拍摄舞蹈的实时视频或者导入舞蹈视频，然后将舞蹈视频和标准视频进行对比，识别每一帧画面中舞者的骨骼关键点位置、面部表情，进而自动分析出肢体动作的姿势正确性、动作同步性以及面部表情的相似性，最终得到评判舞者的表情分、姿势分、节奏分值。
本发明突破了舞蹈评级中的动作判断局限性、表情判断局限性、节奏判断局限性，利用机器学习算法让系统能更智能更精确的做出评判。另一方面，本发明也通过机器学习算法和增加用于对比的标准动作帧，避免了靠单纯研究骨骼关节点的几何关系的方法带来的巨大误差。
附图说明
图1为本发明所述的一种舞蹈评级自动判别方法的流程图；
图2为本发明的节奏合拍分数和姿态标准分数计算流程图；
图3为本发明的人体进行对齐的流程图；
图4为人体坐标系示意图；
图5为本发明的人脸识别步骤的流程图；
图6为本发明所述的一种舞蹈评级自动判别系统的原理框图；
图7为动作分析模块的框图；
图8为人体对齐模块的框图；
图9为人脸识别模块的框图；
图10为表情分模块的框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，本发明提供一种舞蹈评级自动判别方法，该自动判别方法包括以下步骤：
S1分别提取教学视频和考试视频中的图片，得到考生舞蹈图片和教学舞蹈图片。
于本实施例中，所述教学视频可以通过手动上传，或者设置外部教学视频网址链接。考生舞蹈图片和教学舞蹈图片是指的每一帧图片。
S2将所述考生舞蹈图片与所述教学舞蹈图片进行比较，得到考生的最终的节奏合拍分数和姿态标准分数。
于一实施例中，如图2所示，步骤S2包括：
S21将第t帧考生舞蹈图片与位于[t-t’,t+t’]帧内的教学舞蹈图片进行比较，得到第t帧考生舞蹈的节奏合拍分数和姿态标准分数；
于本实施例中，节奏合拍分数、姿态标准分数的算法包括但不限于神经网络和欧式距离。
S22根据所有帧考生舞蹈的节奏合拍分数和姿态标准分数，得到最终的节奏合拍分数和姿态标准分数。
最终的节奏合拍分数和姿态标准分数的计算方法包括但不限于平均值、中值。
S3对考生图片进行人脸关键点检测。
具体地，将每张包含考生人脸的图片进行眼、口、鼻进行检测，可以实现人脸的定位。
S4计算考生的局部表情分数。
具体地，利用表情分析算法得到每一帧图片中考生的局部表情分数；
根据所有帧图片中的考生的局部表情分数得到最终的表情分数。最终表情分数的算法包括但不限于平均值和中值算法。
于一实施例中，在对考生的最终的节奏合拍分数和姿态标准分数进行计算之前，还包括：
如图3所示，将考生舞蹈图片与教学舞蹈图片中的人体进行对齐，具体包括：
S31对所述教学视频和所述考试视频中每一帧图片进行人体关键点检测，得到教师的人体关键点和考生的人体关键点；
于本实施例中，人体关键点包括肩关节、髋关节、膝盖、手腕和头部等关键点的检测。人体关键点检测算法包括但不限于Pictorial Structure和Top-Down算法。
S32根据所述教师的人体关键点和考生的人体关键点建立考生人体坐标系和教师人体坐标系；坐标系如图4所示。
建立考生人体坐标系和教师人体坐标系是以颈部(肩关节中心)和脊椎尾部(髂关节中心)这两动作幅度较小的身体部位为基准建立的人体坐标系。
S33对所述考生人体坐标系或教师人体坐标系进行仿射变换；
S34对经过所述仿射变换的所述考生人体坐标系或教师人体坐标系进行缩放。
通过人体对齐，可差补偿考生图片与教学图片间的分辨率差异，有利于统一计算。解决了因为人体四肢在不断运动中不能靠图像坐标系来对比两幅人体图片的问题。
于另一实施例中，在提取出考生舞蹈图片和教学舞蹈图片后，要对图片先进行去噪、人脸关键特征提取、人脸仿射变换、边缘增强等图片预处理，然后进行人脸识别。人脸识别是通过一定的人脸检测算法进行人脸检测，以判断照片中是否含有人脸，并计算出人脸质量分，以及判断是否有遮挡或拍摄角度大过等异常。如图5所示，所述人脸识别步骤具体包括：
S41检测所述考试视频中出现的所有人脸，并提取出待检人脸照片；
S42计算所述待检人脸照片的人脸质量分、人脸的图像坐标以及人脸尺寸；
S43将所述人脸质量分与人脸质量分阈值进行比较，若该人脸质量分在所述人脸质量分阈值范围内，则该人脸质量分所对应的待检人脸照片为合格照片。只有人脸质量良好的人脸图片才能参与计算，实现了过滤无效图片、节省计算量的目的。
人脸质量分在[0，1]的取值空间内，取值越大代表人脸质量越好，一般阈值在0.8以上算优。阈值包括但不限于提前设定的阈值和结合历史质量分计算出的动态阈值。
S44计算合格的待检人脸照片与考生人脸库中的每张人脸库图片的相似度；
相似度是通过图片比对算法计算获得，图片比对算法包括但不限于聚类算法、欧氏距离。
S45将最高的相似度与相似度阈值进行比较，若最高的相似度在所述相似度阈值范围内，则最高的相似度对应的人脸图片所对应的人员为考生。
相似度一般在[0，1]的取值空间内，取值越大代表检索结果越可信，一般阈值在0.8以上算优。阈值包括但不限于提前设定的固定阈值和结合历史数据计算出的动态阈值。
本发明能够让用户在进行舞蹈评级时，通过拍摄舞蹈的实时视频或者导入舞蹈视频，然后将舞蹈视频和标准视频进行对比，识别每一帧画面中舞者的骨骼关键点位置、面部表情，进而自动分析出肢体动作的姿势正确性、动作同步性以及面部表情的相似性，最终得到评判舞者的表情分、姿势分、节奏分值。
本发明还提供一种舞蹈评级自动判别系统，该自动判别系统包括提取模块1、动作分析模块3、人脸关键点检测模块2和表情分析模块6；其中，
所述提取模块，分别用于提取教学视频和考试视频中的图片，得到考生舞蹈图片和教学舞蹈图片。
于本实施例中，所述教学视频可以通过手动上传，或者设置外部教学视频网址链接。考生舞蹈图片和教学舞蹈图片是指的每一帧图片。
所述动作分析模块，用于将所述考生舞蹈图片与所述教学舞蹈图片进行比较，得到考生的节奏合拍分数和姿态标准分数。
所述动作分析模块，包括第一动作分析单元31和第二动作分析单元32；
所述第一动作分析单元，用于将第t帧考生舞蹈图片与位于[t-t’,t+t’]帧内的教学舞蹈图片进行比较，得到第t帧考生舞蹈的节奏合拍分数和姿态标准分数；
于本实施例中，节奏合拍分数、姿态标准分数的算法包括但不限于神经网络和欧式距离。
所述第二动作分析单元，用于根据所有帧考生舞蹈的节奏合拍分数和姿态标准分数，得到最终的节奏合拍分数和姿态标准分数。
最终的节奏合拍分数和姿态标准分数的计算方法包括但不限于平均值、中值。
所述人脸关键点检测模块，用于对考生图片进行人脸关键点检测；
具体地，将每张包含考生人脸的图片进行眼、口、鼻进行检测，可以实现人脸的定位。
所述表情分析模块，用于计算考生的局部表情分数。所述表情分析模块包括第一表情分析单元和第二表情分析单元。
所述第一表情分析单元61，用于利用表情分析算法得到每一帧图片中考生的局部表情分数；
所述第二表情分析单元62，用于根据所有帧图片中的考生的局部表情分数得到最终的局部表情分数。
最终表情分数的算法包括但不限于平均值和中值算法。
于一实施例中，自动判别系统还包括人体对齐模块，用于将考生舞蹈图片与教学舞蹈图片中的人体进行对齐；所述人体对齐模块具体包括人体关键点检测模块41、坐标系建立模块42、变换模块43和缩放模块44；
所述人体关键点检测模块，用于对所述教学视频和所述考试视频中每一帧图片进行人体关键点检测，得到教师的人体关键点和考生的人体关键点；
于本实施例中，人体关键点包括肩关节、髋关节、膝盖、手腕和头部等关键点的检测。人体关键点检测算法包括但不限于Pictorial Structure和Top-Down算法。
所述坐标系建立模块，用于根据所述教师的人体关键点和考生的人体关键点建立考生人体坐标系和教师人体坐标系；
建立考生人体坐标系和教师人体坐标系是以颈部(肩关节中心)和脊椎尾部(髂关节中心)这两动作幅度较小的身体部位为基准建立的人体坐标系。
所述变换模块，用于对所述考生人体坐标系或教师人体坐标系进行仿射变换；
所述缩放模块，用于对经过所述仿射变换的所述考生人体坐标系或教师人体坐标系进行缩放。
通过人体对齐，可差补偿考生图片与教学图片间的分辨率差异，有利于统一计算。解决了因为人体四肢在不断运动中不能靠图像坐标系来对比两幅人体图片的问题。
于另一实施例中，在提取出考生舞蹈图片和教学舞蹈图片后，要对图片先进行去噪、人脸关键特征提取、人脸仿射变换、边缘增强等图片预处理，然后进行人脸识别。人脸识别是通过一定的人脸检测算法进行人脸检测，以判断照片中是否含有人脸，并计算出人脸质量分，以及判断是否有遮挡或拍摄角度大过等异常。因此，该自动判别模块还包括人脸识别模块，所述人脸识别模块包括人脸提取模块51、人脸检测模块52、第一比较模块53、相似度计算模块54和第二比较模块55。
所述人脸提取模块，用于检测所述考试视频中出现的所有人脸，并提取出待检人脸照片；
所述人脸检测模块，用于计算所述待检人脸照片的人脸质量分、人脸的图像坐标以及人脸尺寸；
所述第一比较模块，用于将所述人脸质量分与人脸质量分阈值进行比较，若该人脸质量分在所述人脸质量分阈值范围内，则该人脸质量分所对应的待检人脸照片为合格照片。只有人脸质量良好的人脸图片才能参与计算，实现了过滤无效图片、节省计算量的目的。
人脸质量分在[0，1]的取值空间内，取值越大代表人脸质量越好，一般阈值在0.8以上算优。阈值包括但不限于提前设定的阈值和结合历史质量分计算出的动态阈值。
相似度计算模块，用于计算合格的待检人脸照片与考生人脸库中的每张人脸库图片的相似度；
相似度是通过图片比对算法计算获得，图片比对算法包括但不限于聚类算法、欧氏距离。
所述第二比较模块，用于将最高的相似度与相似度阈值进行比较，若最高的相似度在所述相似度阈值范围内，则最高的相似度对应的人脸图片所对应的人员为考生。
相似度一般在[0，1]的取值空间内，取值越大代表检索结果越可信，一般阈值在0.8以上算优。阈值包括但不限于提前设定的固定阈值和结合历史数据计算出的动态阈值。
于一实施例中，该自动判别系统还包括人体跟踪模块，用于根据人体运动轨迹来跟踪整个舞蹈视频中的特定考生，以解决考试过程中考生的脸不是一直在视野内的情况。
于一实施例中，该自动判别系统还包括视频管理模块9，用于管理、预览和下载视频。用户可以提前设置视频流的地址，或者在考试后上传视频文件。每个视频都需要设置对应的考场编号、考生编号。
于一实施例中，该自动判别系统还包括考试管理模块7，用于管理考试计划，维护考试名称、考点名称、考场编号、考试时间、监控老师信息，还能根据考试计划定时启动自动判别系统。
于一实施例中，该自动判别系统还包括考生管理模块8，用于管理考生的姓名、考号、考生图片库信息。
本发明通过机器学习的方法以及人脸识别、人体对齐、人体识别、表情识另等技术，来对舞蹈考试视频和教学视频中的动作、表情进行分析，最终评价出考生的节奏合拍分数、姿态标准分数以及表情分。
本发明突破了传统的人眼评价方法，使得对舞蹈评级的判别更准确、更可靠，同时还节省了监考老师奔波于考场现场、注意力高度集中的精力，可以实现远程判别、自动判别。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种舞蹈评级自动判别方法，其特征在于，该自动判别方法包括以下步骤：
分别提取教学视频和考试视频中的图片，得到考生舞蹈图片和教学舞蹈图片；
将所述考生舞蹈图片与所述教学舞蹈图片进行比较，得到考生的最终的节奏合拍分数和姿态标准分数；
对考生图片进行人脸关键点检测；
计算考生的局部表情分数。
2.根据权利要求1所述的一种舞蹈评级自动判别方法，其特征在于，所述的将所述考生舞蹈图片与所述教学舞蹈图片进行比较，得到考生的节奏合拍分数和姿态标准分数具体包括：
将第t帧考生舞蹈图片与位于[t-t’,t+t’]帧内的教学舞蹈图片进行比较，得到第t帧考生舞蹈的节奏合拍分数和姿态标准分数；
根据所有帧考生舞蹈的节奏合拍分数和姿态标准分数，得到最终的节奏合拍分数和姿态标准分数。
3.根据权利要求1所述的一种舞蹈评级自动判别方法，其特征在于，所述的计算考生的局部表情分数，具体为：
利用表情分析算法得到每一帧图片中考生的局部表情分数；
根据所有帧图片中的考生的局部表情分数得到最终的局部表情分数。
4.根据权利要求1所述的一种舞蹈评级自动判别方法，其特征在于，该自动判别方法还包括：
将考生舞蹈图片与教学舞蹈图片中的人体进行对齐，具体包括：
对所述教学视频和所述考试视频中每一帧图片进行人体关键点检测，得到教师的人体关键点和考生的人体关键点；
根据所述教师的人体关键点和考生的人体关键点建立考生人体坐标系和教师人体坐标系；
对所述考生人体坐标系或教师人体坐标系进行仿射变换；
对经过所述仿射变换的所述考生人体坐标系或教师人体坐标系进行缩放。
5.根据权利要求1所述的一种舞蹈评级自动判别方法，其特征在于，该自动判别方法还包括人脸识别步骤，所述人脸识别步骤具体包括：
检测所述考试视频中出现的所有人脸，并提取出待检人脸照片；
计算所述待检人脸照片的人脸质量分；
将所述人脸质量分与人脸质量分阈值进行比较，若该人脸质量分在所述人脸质量分阈值范围内，则该人脸质量分所对应的待检人脸照片为合格照片；
计算合格的待检人脸照片与考生人脸库中的每张人脸库图片的相似度；
将最高的相似度与相似度阈值进行比较，若最高的相似度在所述相似度阈值范围内，则最高的相似度对应的人脸图片所对应的人员为考生。
6.一种舞蹈评级自动判别系统，其特征在于，该自动判别系统包括：
提取模块，分别用于提取教学视频和考试视频中的图片，得到考生舞蹈图片和教学舞蹈图片；
动作分析模块，用于将所述考生舞蹈图片与所述教学舞蹈图片进行比较，得到考生的节奏合拍分数和姿态标准分数；
人脸关键点检测模块，用于对考生图片进行人脸关键点检测；
表情分析模块，用于计算考生的局部表情分数。
7.根据权利要求6所述的一种舞蹈评级自动判别系统，其特征在于，所述动作分析模块包括：
第一动作分析单元，用于将第t帧考生舞蹈图片与位于[t-t’,t+t’]帧内的教学舞蹈图片进行比较，得到第t帧考生舞蹈的节奏合拍分数和姿态标准分数；
第二动作分析单元，用于根据所有帧考生舞蹈的节奏合拍分数和姿态标准分数，得到最终的节奏合拍分数和姿态标准分数。
8.根据权利要求6所述的一种舞蹈评级自动判别系统，其特征在于，该自动判别系统还包括人体对齐模块，用于将考生舞蹈图片与教学舞蹈图片中的人体进行对齐；所述人体对齐模块具体包括：
人体关键点检测模块，用于对所述教学视频和所述考试视频中每一帧图片进行人体关键点检测，得到教师的人体关键点和考生的人体关键点；
坐标系建立模块，用于根据所述教师的人体关键点和考生的人体关键点建立考生人体坐标系和教师人体坐标系；
变换模块，用于对所述考生人体坐标系或教师人体坐标系进行仿射变换；
缩放模块，用于对经过所述仿射变换的所述考生人体坐标系或教师人体坐标系进行缩放。
9.根据权利要求6所述的一种舞蹈评级自动判别系统，其特征在于，该自动判别模块还包括人脸识别模块，所述人脸识别模块包括：
人脸提取模块，用于检测所述考试视频中出现的所有人脸，并提取出待检人脸照片；
人脸检测模块，用于计算所述待检人脸照片的人脸质量分；
第一比较模块，用于将所述人脸质量分与人脸质量分阈值进行比较，若该人脸质量分在所述人脸质量分阈值范围内，则该人脸质量分所对应的待检人脸照片为合格照片；
相似度计算模块，用于计算合格的待检人脸照片与考生人脸库中的每张人脸库图片的相似度；
第二比较模块，用于将最高的相似度与相似度阈值进行比较，若最高的相似度在所述相似度阈值范围内，则最高的相似度对应的人脸图片所对应的人员为考生。
10.一种计算机可读存储介质，存储计算机程序，其特征在于，所述计算机程序被处理器运行时执行如权利要求1～5任意一项所述的舞蹈评级自动判别方法。
CN201811269810.1A 2018-10-29 2018-10-29 一种舞蹈评级自动判别方法、系统及计算机可读存储介质 Pending CN109508656A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811269810.1A CN109508656A (zh) 2018-10-29 2018-10-29 一种舞蹈评级自动判别方法、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811269810.1A CN109508656A (zh) 2018-10-29 2018-10-29 一种舞蹈评级自动判别方法、系统及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109508656A true CN109508656A (zh) 2019-03-22

Family

ID=65747108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811269810.1A Pending CN109508656A (zh) 2018-10-29 2018-10-29 一种舞蹈评级自动判别方法、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109508656A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032992A (zh) * 2019-04-25 2019-07-19 沈阳航空航天大学 一种基于姿态的考试作弊检测方法
CN110188688A (zh) * 2019-05-30 2019-08-30 网易（杭州）网络有限公司 姿势评估方法及装置
CN110377787A (zh) * 2019-06-21 2019-10-25 北京奇艺世纪科技有限公司 一种视频分类方法、装置及计算机可读存储介质
CN110414434A (zh) * 2019-07-29 2019-11-05 努比亚技术有限公司 舞蹈练习方法、移动终端及计算机可读存储介质
CN110782482A (zh) * 2019-10-21 2020-02-11 深圳市网心科技有限公司 运动评估方法、装置、计算机设备及存储介质
CN112381035A (zh) * 2020-11-25 2021-02-19 山东云缦智能科技有限公司 一种基于骨骼关键点运动轨迹的动作相似度评价方法
CN112381118A (zh) * 2020-10-23 2021-02-19 百色学院 一种大学舞蹈考试测评方法及装置
CN113052138A (zh) * 2021-04-25 2021-06-29 广海艺术科创(深圳)有限公司 一种舞蹈与运动动作的智能对比矫正的方法
CN113095248A (zh) * 2021-04-19 2021-07-09 中国石油大学(华东) 一种用于羽毛球运动的技术动作纠正方法
CN113158914A (zh) * 2021-04-25 2021-07-23 胡勇 一种舞蹈动作姿态、节奏和表情的智能评估方法
CN113392744A (zh) * 2021-06-04 2021-09-14 北京格灵深瞳信息技术股份有限公司 舞蹈动作美感确认方法、装置、电子设备及存储介质
CN114007105A (zh) * 2021-10-20 2022-02-01 浙江绿城育华教育科技有限公司 在线课程互动方法、装置、设备和存储介质
WO2022028136A1 (zh) * 2020-08-06 2022-02-10 上海哔哩哔哩科技有限公司 舞蹈视频的动作提取方法、装置、计算机设备及存储介质
CN114241595A (zh) * 2021-11-03 2022-03-25 橙狮体育(北京)有限公司 数据处理方法、装置、电子设备及计算机存储介质
US20220358310A1 (en) * 2021-05-06 2022-11-10 Kuo-Yi Lin Professional dance evaluation method for implementing human pose estimation based on deep transfer learning
CN115937989A (zh) * 2023-01-19 2023-04-07 苏州市优凡文化科技有限公司 基于缩放处理的在线教育智能解析系统及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150099252A1 (en) * 2013-10-03 2015-04-09 Autodesk, Inc. Enhancing movement training with an augmented reality mirror
CN104573617A (zh) * 2013-10-28 2015-04-29 季春宏 一种摄像控制方法
CN104598867A (zh) * 2013-10-30 2015-05-06 中国艺术科技研究所 一种人体动作自动评估方法及舞蹈评分系统
CN104699769A (zh) * 2015-02-28 2015-06-10 北京京东尚科信息技术有限公司 基于表情识别的交互方法和执行该方法的设备
CN106205633A (zh) * 2016-07-06 2016-12-07 李彦芝 一种模仿、表演练习打分系统
CN106228143A (zh) * 2016-08-02 2016-12-14 王国兴 一种教学视频与摄像头视频运动对比评分的方法
CN106355549A (zh) * 2016-09-30 2017-01-25 北京小米移动软件有限公司 拍照方法及设备
CN107240049A (zh) * 2017-05-10 2017-10-10 中国科学技术大学先进技术研究院 一种沉浸式环境中远程动作教学质量的自动评价方法和系统
CN107754224A (zh) * 2017-10-27 2018-03-06 姜俊 一种动作评分装置和方法
CN108198601A (zh) * 2017-12-27 2018-06-22 广东欧珀移动通信有限公司 运动评分方法、装置、设备及存储介质
CN108399376A (zh) * 2018-02-07 2018-08-14 华中师范大学 学生课堂学习兴趣智能分析方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150099252A1 (en) * 2013-10-03 2015-04-09 Autodesk, Inc. Enhancing movement training with an augmented reality mirror
CN104573617A (zh) * 2013-10-28 2015-04-29 季春宏 一种摄像控制方法
CN104598867A (zh) * 2013-10-30 2015-05-06 中国艺术科技研究所 一种人体动作自动评估方法及舞蹈评分系统
CN104699769A (zh) * 2015-02-28 2015-06-10 北京京东尚科信息技术有限公司 基于表情识别的交互方法和执行该方法的设备
CN106205633A (zh) * 2016-07-06 2016-12-07 李彦芝 一种模仿、表演练习打分系统
CN106228143A (zh) * 2016-08-02 2016-12-14 王国兴 一种教学视频与摄像头视频运动对比评分的方法
CN106355549A (zh) * 2016-09-30 2017-01-25 北京小米移动软件有限公司 拍照方法及设备
CN107240049A (zh) * 2017-05-10 2017-10-10 中国科学技术大学先进技术研究院 一种沉浸式环境中远程动作教学质量的自动评价方法和系统
CN107754224A (zh) * 2017-10-27 2018-03-06 姜俊 一种动作评分装置和方法
CN108198601A (zh) * 2017-12-27 2018-06-22 广东欧珀移动通信有限公司 运动评分方法、装置、设备及存储介质
CN108399376A (zh) * 2018-02-07 2018-08-14 华中师范大学 学生课堂学习兴趣智能分析方法及系统

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032992A (zh) * 2019-04-25 2019-07-19 沈阳航空航天大学 一种基于姿态的考试作弊检测方法
CN110032992B (zh) * 2019-04-25 2023-05-23 沈阳图为科技有限公司 一种基于姿态的考试作弊检测方法
CN110188688A (zh) * 2019-05-30 2019-08-30 网易（杭州）网络有限公司 姿势评估方法及装置
CN110188688B (zh) * 2019-05-30 2021-12-14 网易（杭州）网络有限公司 姿势评估方法及装置
CN110377787A (zh) * 2019-06-21 2019-10-25 北京奇艺世纪科技有限公司 一种视频分类方法、装置及计算机可读存储介质
CN110377787B (zh) * 2019-06-21 2022-03-25 北京奇艺世纪科技有限公司 一种视频分类方法、装置及计算机可读存储介质
CN110414434A (zh) * 2019-07-29 2019-11-05 努比亚技术有限公司 舞蹈练习方法、移动终端及计算机可读存储介质
CN110782482A (zh) * 2019-10-21 2020-02-11 深圳市网心科技有限公司 运动评估方法、装置、计算机设备及存储介质
CN114093021A (zh) * 2020-08-06 2022-02-25 上海哔哩哔哩科技有限公司 舞蹈视频的动作提取方法、装置、计算机设备及存储介质
WO2022028136A1 (zh) * 2020-08-06 2022-02-10 上海哔哩哔哩科技有限公司 舞蹈视频的动作提取方法、装置、计算机设备及存储介质
CN112381118A (zh) * 2020-10-23 2021-02-19 百色学院 一种大学舞蹈考试测评方法及装置
CN112381118B (zh) * 2020-10-23 2024-05-17 百色学院 一种大学舞蹈考试测评方法及装置
CN112381035A (zh) * 2020-11-25 2021-02-19 山东云缦智能科技有限公司 一种基于骨骼关键点运动轨迹的动作相似度评价方法
CN113095248A (zh) * 2021-04-19 2021-07-09 中国石油大学(华东) 一种用于羽毛球运动的技术动作纠正方法
CN113158914A (zh) * 2021-04-25 2021-07-23 胡勇 一种舞蹈动作姿态、节奏和表情的智能评估方法
CN113052138A (zh) * 2021-04-25 2021-06-29 广海艺术科创(深圳)有限公司 一种舞蹈与运动动作的智能对比矫正的方法
CN113052138B (zh) * 2021-04-25 2024-03-15 广海艺术科创(深圳)有限公司 一种舞蹈与运动动作的智能对比矫正的方法
US20220358310A1 (en) * 2021-05-06 2022-11-10 Kuo-Yi Lin Professional dance evaluation method for implementing human pose estimation based on deep transfer learning
US11823496B2 (en) * 2021-05-06 2023-11-21 Kuo-Yi Lin Professional dance evaluation method for implementing human pose estimation based on deep transfer learning
CN113392744A (zh) * 2021-06-04 2021-09-14 北京格灵深瞳信息技术股份有限公司 舞蹈动作美感确认方法、装置、电子设备及存储介质
CN114007105A (zh) * 2021-10-20 2022-02-01 浙江绿城育华教育科技有限公司 在线课程互动方法、装置、设备和存储介质
CN114241595A (zh) * 2021-11-03 2022-03-25 橙狮体育(北京)有限公司 数据处理方法、装置、电子设备及计算机存储介质
CN115937989B (zh) * 2023-01-19 2023-09-22 山东领峰教育科技集团有限公司 基于缩放处理的在线教育智能解析系统及方法
CN115937989A (zh) * 2023-01-19 2023-04-07 苏州市优凡文化科技有限公司 基于缩放处理的在线教育智能解析系统及方法

Similar Documents

Publication Publication Date Title
CN109508656A (zh) 一种舞蹈评级自动判别方法、系统及计算机可读存储介质
CN110313923B (zh) 基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统
CN112036299B (zh) 标准考场环境下的考试作弊行为检测方法及系统
CN110349667B (zh) 结合调查问卷及多模态范式行为数据分析的孤独症评估系统
Lucey et al. Automatically detecting pain in video through facial action units
CN103984941B (zh) 人脸识别考勤方法及其装置
CN108805009A (zh) 基于多模态信息融合的课堂学习状态监测方法及系统
CN109948447B (zh) 基于视频图像识别的人物网络关系发现及演化呈现方法
CN110119672A (zh) 一种嵌入式疲劳状态检测系统及方法
CN109271875B (zh) 一种基于眉部和眼部关键点信息的疲劳检测方法
CN106909220A (zh) 一种适用于触控的视线交互方法
CN110298231A (zh) 一种用于篮球比赛视频进球判定的方法及系统
US20110150283A1 (en) Apparatus and method for providing advertising content
CN110363129B (zh) 基于微笑范式和音视频行为分析的孤独症早期筛查系统
CN110353622A (zh) 一种视力检测方法及视力检测器
CN110135282A (zh) 一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法
CN103617421A (zh) 基于综合视频特征分析的疲劳检测方法及系统
Liu et al. Early screening of autism in toddlers via response-to-instructions protocol
CN112732071A (zh) 一种免校准眼动追踪系统及应用
CN106073793B (zh) 基于微惯性传感器的姿态跟踪与识别方法
Seckiner et al. Forensic gait analysis—Morphometric assessment from surveillance footage
CN109063686A (zh) 一种汽车驾驶员疲劳检测方法及系统
CN114550027A (zh) 基于视觉的运动视频精细分析方法和装置
CN114970701A (zh) 一种基于多模态融合的课堂互动分析方法及系统
CN107480635A (zh) 一种基于双模态分类模型融合的扫视信号识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 401122 5 stories, Block 106, West Jinkai Avenue, Yubei District, Chongqing

Applicant after: CHONGQING ZHONGKE YUNCONG TECHNOLOGY Co.,Ltd.

Address before: 401122 5 stories, Block 106, West Jinkai Avenue, Yubei District, Chongqing

Applicant before: CHONGQING ZHONGKE YUNCONG TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20190322

RJ01 Rejection of invention patent application after publication