CN111797778A - 一种用于breaking街舞主播连麦斗舞的自动评分方法 - Google Patents

一种用于breaking街舞主播连麦斗舞的自动评分方法 Download PDF

Info

Publication number
CN111797778A
CN111797778A CN202010650861.XA CN202010650861A CN111797778A CN 111797778 A CN111797778 A CN 111797778A CN 202010650861 A CN202010650861 A CN 202010650861A CN 111797778 A CN111797778 A CN 111797778A
Authority
CN
China
Prior art keywords
dance
frame
action
model
anchor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010650861.XA
Other languages
English (en)
Other versions
CN111797778B (zh
Inventor
赖永明
刘丽君
高彩燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longyan University
Original Assignee
Longyan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longyan University filed Critical Longyan University
Priority to CN202010650861.XA priority Critical patent/CN111797778B/zh
Publication of CN111797778A publication Critical patent/CN111797778A/zh
Application granted granted Critical
Publication of CN111797778B publication Critical patent/CN111797778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种用于breaking街舞主播连麦斗舞的自动评分方法，该方法基于动作复杂度，动作完成度，combo流畅度等加权计算的实时评分方法，可用于breaking街舞主播在线连麦斗舞的实时自动评分，加强连麦互动效果，为后续奖惩环节提供有效依据。本发明具有以下技术优势：在充分参考多种breaking街舞标准动作的基础上，基于深度学习的视频图像理解技术实现，可更客观准确的体现主播的舞蹈实力，同时本发明可在手机端实时计算给出斗舞双方的实时分数，互动效果强，对实力更强的街舞主播在一定程度上给予了官方支持，更容易获得粉丝关注认可。

Description

一种用于breaking街舞主播连麦斗舞的自动评分方法
技术领域
本发明涉及自动评分领域，尤其涉及一种用于breaking街舞主播连麦斗舞的自动评分方法。
背景技术
在现有技术中，无相关用于breaking街舞主播连麦斗舞的自动评分方法。
发明内容
本发明的目的在于提供一种用于breaking街舞主播连麦斗舞的自动评分方法。
为实现上述目的，本发明采用以下技术方案：
一种用于breaking街舞主播连麦斗舞的自动评分方法，其包括以下步骤：
步骤一，定义动作难度系数分：
基于现有的breaking街舞体系，对不同动作定义各自的难度系数分；
步骤二，基于标准动作训练特征模型及分类模型：
1、数据标注：
收集单人标准街舞动作视频，抽帧，得到本帧数据，并逐帧查看，对每帧做一个所属的动作分类标注；
2、模型训练，该模型训练基于LSTM的模型结构对输入的序列帧进行特征提取，LSTM的模型结构可选择性地继承和遗忘前序信息，有效的存储长时间的帧间时序信息，使得最终的特征包含多帧信息，其中ht即为第t帧对应的特征向量，具体过程如下：
1).训练分类模型
在输出ht后经过常规的3x3Conv卷积及22分类的全连接层，训练多分类模型，训练完毕后，可获得一个有效分类模型Mc，及一套模型参数权重；
2).获取各动作加权特征
在模型Mc训练收敛后，再将标注数据按动作分类，依次通过模型推理得到第i个动作总共有Ni个片段，每个片段含有Mi帧，每帧通过模型Mc获得的分类得分为
Figure BDA0002574905080000011
则计算第i个动作的加权特征Fi为：
Figure BDA0002574905080000021
步骤三，计算动作完成度：
在实时斗舞中，输入每帧至模型Mc中，获得分类C及单帧特征ht，持续记录ht直至分类类别不再是C，依据公式(1)计算该动作的加权特征向量，记为
Figure BDA0002574905080000022
与步骤二得到的C类动作的标准加权特征
Figure BDA0002574905080000023
计算余弦相似度PF，此处相似度即为动作完成度；
步骤四，计算combo流畅度：
在实时斗舞中，当动作从Ci切换至Cj时，计算combo流畅得分如下：
Scombo＝Wt*[(Pci*Vci+Pcj*Vcj)/2]；
其中，Vci、Vcj为动作的难度系数分，Pci、Pcj为动作完成度系数，Wt为combo流畅系数；
步骤五，计算加权总分：
当斗舞结束后，统计主播总得分，计算规则如下：
Figure BDA0002574905080000024
其中Vi为第i个动作的难度系数分，Pi为第i个动作的动作完成度系数。
进一步的，所述数据标注步骤中，对抽帧的各帧内人物进行人体骨骼18个关键点检测，当检测关键点平均置信度低于0.5时，则放弃该帧，否则基于关键点求外接矩形，并将该外接矩形放大1.2倍，截取该矩形内的图像作为本帧数据。
进一步的，步骤四中，Wt的起始值为1，后续计算方法为，当前后两个动作均被正确分类识别且完成度系数在0.8以上，则流畅系数为前一个Wt-1的两倍，当完成度系数在0.5-0.8之间，则流畅系数为前一个Wt-1的1.2倍，否则流畅系数为0，且下一动作开始重新置为1，具体如下：
Figure BDA0002574905080000025
本发明提供了一种基于动作复杂度，动作完成度，combo流畅度等加权计算的实时评分方法，可用于breaking街舞主播在线连麦斗舞的实时自动评分，加强连麦互动效果，为后续奖惩环节提供有效依据。
本发明具有以下技术优势：在充分参考多种breaking街舞标准动作的基础上，基于深度学习的视频图像理解技术实现，可更客观准确的体现主播的舞蹈实力，同时本发明可在手机端实时计算给出斗舞双方的实时分数，互动效果强，对实力更强的街舞主播在一定程度上给予了官方支持，更容易获得粉丝关注认可。
具体实施方式
本发明一种用于breaking街舞主播连麦斗舞的自动评分方法，其包括以下步骤：
步骤一，定义动作难度系数分：
基于现有的breaking街舞体系，对不同动作定义各自的难度系数分；具体可以如下表：
Figure BDA0002574905080000031
步骤二，基于标准动作训练特征模型及分类模型：
1、数据标注：
收集单人标准街舞动作视频，抽帧，对抽帧的各帧内人物进行人体骨骼18个关键点检测，当检测关键点平均置信度低于0.5时，则放弃该帧，否则基于关键点求外接矩形，并将该外接矩形放大1.2倍，截取该矩形内的图像作为本帧数据，对每帧做一个所属的动作分类标注，如1-60帧为动作1，70-100帧为动作2；
2、模型训练，该模型训练基于LSTM的模型结构对输入的序列帧进行特征提取，由于街舞每个动作的时间较长，帧数较多，LSTM的模型结构可选择性地继承和遗忘前序信息，有效的存储长时间的帧间时序信息，使得最终的特征包含多帧信息，其中ht即为第t帧对应的特征向量，具体过程如下：
1).训练分类模型
在输出ht后经过常规的3x3Conv卷积及22分类的全连接层，训练多分类模型，训练完毕后，可获得一个有效分类模型Mc，及一套模型参数权重；
2).获取各动作加权特征
在模型Mc训练收敛后，再将标注数据按动作分类，依次通过模型推理得到第i个动作总共有Ni个片段，每个片段含有Mi帧，每帧通过模型Mc获得的分类得分为
Figure BDA0002574905080000041
则计算第i个动作的加权特征Fi为：
Figure BDA0002574905080000042
步骤三，计算动作完成度：
在实时斗舞中，输入每帧至模型Mc中，获得分类C及单帧特征ht，持续记录ht直至分类类别不再是C，依据公式(1)计算该动作的加权特征向量，记为
Figure BDA0002574905080000043
与步骤二得到的C类动作的标准加权特征
Figure BDA0002574905080000044
计算余弦相似度PF，此处相似度即为动作完成度；
步骤四，计算combo流畅度：
在实时斗舞中，当动作从Ci切换至Cj时，计算combo流畅得分如下：
Scombo＝Wt*[(Pci*Vci+Pcj*Vcj)/2]；
Figure BDA0002574905080000051
其中，Vci、Vcj为动作的难度系数分，Pci、Pcj为动作完成度系数，起始值为1，后续计算方法为，当前后两个动作均被正确分类识别且完成度系数在0.8以上，则流畅系数为前一个Wt-1的两倍，当完成度系数在0.5-0.8之间，则流畅系数为前一个Wt-1的1.2倍，否则流畅系数为0，且下一动作开始重新置为1；
步骤五，计算加权总分：
当斗舞结束后，统计主播总得分，计算规则如下：
Figure BDA0002574905080000052
其中Vi为第i个动作的难度系数分，Pi为第i个动作的动作完成度系数。
本发明提供了一种基于动作复杂度，动作完成度，combo流畅度等加权计算的实时评分方法，可用于breaking街舞主播在线连麦斗舞的实时自动评分，加强连麦互动效果，为后续奖惩环节提供有效依据。
本发明具有以下技术优势：在充分参考多种breaking街舞标准动作的基础上，基于深度学习的视频图像理解技术实现，可更客观准确的体现主播的舞蹈实力，同时本发明可在手机端实时计算给出斗舞双方的实时分数，互动效果强，对实力更强的街舞主播在一定程度上给予了官方支持，更容易获得粉丝关注认可。

Claims (3)

1.一种用于breaking街舞主播连麦斗舞的自动评分方法，其特征在于：其包括以下步骤：
步骤一，定义动作难度系数分：
基于现有的breaking街舞体系，对不同动作定义各自的难度系数分；
步骤二，基于标准动作训练特征模型及分类模型：
1、数据标注：
收集单人标准街舞动作视频，抽帧，得到本帧数据，并逐帧查看，对每帧做一个所属的动作分类标注；
2、模型训练，该模型训练基于LSTM的模型结构对输入的序列帧进行特征提取，LSTM的模型结构可选择性地继承和遗忘前序信息，有效的存储长时间的帧间时序信息，使得最终的特征包含多帧信息，其中ht即为第t帧对应的特征向量，具体过程如下：
1).训练分类模型
在输出ht后经过常规的3x3Conv卷积及22分类的全连接层，训练多分类模型，训练完毕后，可获得一个有效分类模型Mc，及一套模型参数权重；
2).获取各动作加权特征
在模型Mc训练收敛后，再将标注数据按动作分类，依次通过模型推理得到第i个动作总共有Ni个片段，每个片段含有Mi帧，每帧通过模型Mc获得的分类得分为
Figure FDA0002574905070000011
则计算第i个动作的加权特征Fi为：
Figure FDA0002574905070000012
步骤三，计算动作完成度：
在实时斗舞中，输入每帧至模型Mc中，获得分类C及单帧特征ht，持续记录ht直至分类类别不再是C，依据公式(1)计算该动作的加权特征向量，记为
Figure FDA0002574905070000013
与步骤二得到的C类动作的标准加权特征
Figure FDA0002574905070000014
计算余弦相似度PF，此处相似度即为动作完成度；
步骤四，计算combo流畅度：
在实时斗舞中，当动作从Ci切换至Cj时，计算combo流畅得分如下：
Scombo＝Wt*[(Pci*Vci+Pcj*Vcj)/2]；
其中，Vci、Vcj为动作的难度系数分，Pci、Pcj为动作完成度系数，Wt为combo流畅系数；
步骤五，计算加权总分：
当斗舞结束后，统计主播总得分，计算规则如下：
Figure FDA0002574905070000021
其中Vi为第i个动作的难度系数分，Pi为第i个动作的动作完成度系数。
2.根据权利要求1所述的一种用于breaking街舞主播连麦斗舞的自动评分方法，其特征在于：所述数据标注步骤中，对抽帧的各帧内人物进行人体骨骼18个关键点检测，当检测关键点平均置信度低于0.5时，则放弃该帧，否则基于关键点求外接矩形，并将该外接矩形放大1.2倍，截取该矩形内的图像作为本帧数据。
3.根据权利要求1所述的一种用于breaking街舞主播连麦斗舞的自动评分方法，其特征在于：步骤四中，Wt的起始值为1，后续计算方法为，当前后两个动作均被正确分类识别且完成度系数在0.8以上，则流畅系数为前一个Wt-1的两倍，当完成度系数在0.5-0.8之间，则流畅系数为前一个Wt-1的1.2倍，否则流畅系数为0，且下一动作开始重新置为1，具体如下：
Figure FDA0002574905070000022
CN202010650861.XA 2020-07-08 2020-07-08 一种用于breaking街舞主播连麦斗舞的自动评分方法 Active CN111797778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010650861.XA CN111797778B (zh) 2020-07-08 2020-07-08 一种用于breaking街舞主播连麦斗舞的自动评分方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010650861.XA CN111797778B (zh) 2020-07-08 2020-07-08 一种用于breaking街舞主播连麦斗舞的自动评分方法

Publications (2)

Publication Number Publication Date
CN111797778A true CN111797778A (zh) 2020-10-20
CN111797778B CN111797778B (zh) 2023-06-02

Family

ID=72810449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010650861.XA Active CN111797778B (zh) 2020-07-08 2020-07-08 一种用于breaking街舞主播连麦斗舞的自动评分方法

Country Status (1)

Country Link
CN (1) CN111797778B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446594A (zh) * 2018-02-11 2018-08-24 四川省北青数据技术有限公司 基于动作识别的应急反应能力测评方法
CN109829442A (zh) * 2019-02-22 2019-05-31 焦点科技股份有限公司 一种基于摄像头的人体动作评分的方法及系统
CN110097568A (zh) * 2019-05-13 2019-08-06 中国石油大学(华东) 一种基于时空双分支网络的视频对象检测与分割方法
US20200082165A1 (en) * 2016-12-16 2020-03-12 Peking University Shenzhen Graduate School Collaborative deep network model method for pedestrian detection
CN111161715A (zh) * 2019-12-25 2020-05-15 福州大学 一种基于序列分类的特定声音事件检索与定位的方法
CN111310676A (zh) * 2020-02-21 2020-06-19 重庆邮电大学 基于CNN-LSTM和attention的视频动作识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200082165A1 (en) * 2016-12-16 2020-03-12 Peking University Shenzhen Graduate School Collaborative deep network model method for pedestrian detection
CN108446594A (zh) * 2018-02-11 2018-08-24 四川省北青数据技术有限公司 基于动作识别的应急反应能力测评方法
CN109829442A (zh) * 2019-02-22 2019-05-31 焦点科技股份有限公司 一种基于摄像头的人体动作评分的方法及系统
CN110097568A (zh) * 2019-05-13 2019-08-06 中国石油大学(华东) 一种基于时空双分支网络的视频对象检测与分割方法
CN111161715A (zh) * 2019-12-25 2020-05-15 福州大学 一种基于序列分类的特定声音事件检索与定位的方法
CN111310676A (zh) * 2020-02-21 2020-06-19 重庆邮电大学 基于CNN-LSTM和attention的视频动作识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
于景华: "基于动作评价算法的体感舞蹈交互系统", 《计算机与现代化》 *
宋波;: "增强上肢力量对提高街舞的重要性研究――breaking舞种", 科学大众(科学教育) *
毕雪超: "基于空间骨架时序图的舞蹈特定动作识别方法", 《信息技术》 *
毕雪超: "基于计算机视觉的舞蹈视频动作识别技术研究", 《电子设计工程》 *

Also Published As

Publication number Publication date
CN111797778B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN111709358B (zh) 基于课堂视频的师生行为分析系统
Krause et al. A hierarchical approach for generating descriptive image paragraphs
CN103377647B (zh) 一种基于音视频信息的自动音乐记谱方法及系统
CN110152273B (zh) 一种基于智能目标识别的跳绳计数方法
CN110991238B (zh) 一种基于语音情感分析和微表情识别的演讲辅助系统
CN112183238B (zh) 一种远程教育注意力检测方法及系统
CN105183849B (zh) 一种斯诺克比赛视频事件检测与语义标注方法
CN101470897B (zh) 基于音视频融合策略的敏感影片检测方法
CN108269133A (zh) 一种结合人体识别和语音识别的智能广告推送方法及终端
CN112183334B (zh) 一种基于多模态特征融合的视频深度关系分析方法
CN106504772A (zh) 基于重要性权重支持向量机分类器的语音情感识别方法
CN111368142A (zh) 一种基于生成对抗网络的视频密集事件描述方法
CN108900896A (zh) 视频剪辑方法及装置
CN111144359B (zh) 一种展品评价装置和方法及展品推送方法
CN112801000B (zh) 一种基于多特征融合的居家老人摔倒检测方法及系统
CN107808658A (zh) 基于家居环境下实时的婴儿音频系列行为检测方法
CN106372653A (zh) 一种基于堆栈式自动编码器的广告识别方法
CN104200238A (zh) 台标识别方法和台标识别装置
CN116312552B (zh) 一种视频说话人日志方法及系统
CN103020094B (zh) 视频播放次数统计方法
CN111797778A (zh) 一种用于breaking街舞主播连麦斗舞的自动评分方法
CN117333949A (zh) 一种基于视频动态分析识别肢体动作的方法
CN105797375A (zh) 一种跟随用户脸部表情改变角色模型表情的方法和终端
CN117078094A (zh) 一种基于人工智能的教师综合能力评估方法
CN116189851A (zh) 一种基于自然语言处理的运动员心理咨询服务系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant