CN113842633A - 键位识别方法和装置、脚谱编辑方法和装置、跳舞机 - Google Patents

键位识别方法和装置、脚谱编辑方法和装置、跳舞机 Download PDF

Info

Publication number
CN113842633A
CN113842633A CN202111265551.7A CN202111265551A CN113842633A CN 113842633 A CN113842633 A CN 113842633A CN 202111265551 A CN202111265551 A CN 202111265551A CN 113842633 A CN113842633 A CN 113842633A
Authority
CN
China
Prior art keywords
key
key position
user
beat
foot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111265551.7A
Other languages
English (en)
Inventor
徐焕芬
周跃兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aimyunion Technology Ltd
Original Assignee
Aimyunion Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aimyunion Technology Ltd filed Critical Aimyunion Technology Ltd
Priority to CN202111265551.7A priority Critical patent/CN113842633A/zh
Publication of CN113842633A publication Critical patent/CN113842633A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/814—Musical performances, e.g. by evaluating the player's ability to follow a notation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/64—Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8047—Music games

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种键位识别方法和装置、脚谱编辑方法和装置、计算机设备以及计算机可读存储介质，键位识别方法包括：读取脚步动作捕获设备在节拍点位置检测的键位压力值，并根据所述键位压力值确定用户在脚步动作捕获设备上踩踏的预测键位；获取用户在脚步动作捕获设备上踩踏键位的实时视频图像，并从实时视频图像中提取节拍点位置对应的人体骨骼运动数据；根据人体骨骼运动数据计算用户的各个肢体相对于预设的人体骨骼基础模板之间的角度参数，确定用户在脚步动作捕获设备上踩踏键位所在的预测区域；若预测键位与预测区域重合，则判定预测键位被踩踏，生成对应的键位符；该技术方案，可以降低无效键位信号，提升脚谱编辑效果，提升用户应用体验。

Description

键位识别方法和装置、脚谱编辑方法和装置、跳舞机
技术领域
本申请涉及娱乐设备技术领域，尤其是一种键位识别方法和装置、脚谱编辑方法和装置、跳舞机、计算机设备以及计算机可读存储介质。
背景技术
随着跳舞机的普及，极大的丰富了人们的生活娱乐方式，越来越来多的玩家开始接触游戏舞蹈，即便没有舞蹈基础也可以随着音乐的节奏一起律动。
跳舞机诞生催生了许多脚谱编辑功能的诞生，需要配置脚步动作捕获设备来捕获脚步动作，如脚步动作捕获设备、跳舞毯等等；早期跳舞机依赖于人为对歌曲的舞蹈的熟练程度，根据舞蹈师跳舞动作来记录脚位方向，根据难度系数等级脚步动作捕获设备可分为五键、七键、九键等，五键加手势等等；由于每一首歌曲完成一个完整的脚谱需要大量的时间和精力，包括脚位确定，节拍点确定，难度调整等。这就需要脚步动作捕获设备上生成脚谱方案，方便用户自行创造脚谱。
然而，目前依赖脚步动作捕获设备上识别容易存在误操作，出现大量无效的键位信号，严重影像了脚谱编辑效果。
发明内容
针对于上述技术缺陷之一，本申请提供一种键位识别方法和装置、脚谱编辑方法和装置、计算机设备以及计算机可读存储介质，从而降低脚步动作捕获设备的无效键位信号，提升脚谱编辑效果。
第一方面：
本申请提供一种键位识别方法，包括：
读取脚步动作捕获设备在节拍点位置检测的键位压力值，并根据所述键位压力值确定用户在所述脚步动作捕获设备上踩踏的预测键位；
获取用户在所述脚步动作捕获设备上踩踏键位的实时视频图像，并从所述实时视频图像中提取所述节拍点位置对应的人体骨骼运动数据；
根据所述人体骨骼运动数据计算所述用户的各个肢体相对于预设的人体骨骼基础模板之间的角度参数；
根据所述角度参数确定所述用户在所述脚步动作捕获设备上踩踏键位所在的预测区域；
若所述预测键位与所述预测区域重合，则判定所述预测键位被踩踏，生成对应的键位符。
在一个实施例中，读取脚步动作捕获设备在节拍点位置检测的键位压力值，并根据所述键位压力值确定用户在所述脚步动作捕获设备上踩踏的预测键位，包括：
在节拍点位置读取脚步动作捕获设备的各个键位上的压力传感器输出的检测数据；
根据所述检测数据计算相应的实测压力值；
判断各个键位对应的实测压力值是否达到设定压力阈值；
若达到，则将相应键位确定为用户在所述脚步动作捕获设备上踩踏的预测键位。
在一个实施例中，获取用户在所述脚步动作捕获设备上踩踏键位的实时视频图像，并从所述实时视频图像中提取所述节拍点位置对应的人体骨骼运动数据，包括：
利用摄像头拍摄用户在所述脚步动作捕获设备上踩踏键位的实时视频图像；
利用预先训练的人体骨骼三维运动数据模型对所述实时视频图像进行预测，获得每一帧图片上的人体骨骼运动数据的三维坐标值；
提取在所述节拍点位置前后设定范围内的若干帧图片的人体骨骼运动数据的三维坐标值。
在一个实施例中，根据所述人体骨骼运动数据计算所述用户的各个肢体相对于预设的人体骨骼基础模板之间的角度参数，包括：
利用所述若干帧图片的人体骨骼运动数据的三维坐标值计算所述用户的指定骨骼点与预设的人体骨骼基础模板对应的骨骼点之间的夹角；
所述根据所述角度参数确定所述用户在所述脚步动作捕获设备上踩踏键位所在的预测区域，包括：
根据所述夹角计算余弦值；
根据余弦值取值范围与脚步动作捕获设备面板的各个区域之间的对应关系，对所述余弦值进行比对；
根据所述比对结果确定用户在所述脚步动作捕获设备上踩踏键位所在的预测区域。
在一个实施例中，所述的键位识别方法，还包括：
拍摄用户在垂直站立成T字形状态下的基础图像；其中，所述T字形是指双手打开且双脚并立的状态；
从所述基础图像中提取骨骼点，根据所述骨骼点构建该用户的人体骨骼基础模板。
第二方面：
本申请提供一种键位识别装置，包括：
键位预测模块，用于读取脚步动作捕获设备在节拍点位置检测的键位压力值，并根据所述键位压力值确定用户在所述脚步动作捕获设备上踩踏的预测键位；
骨骼识别模块，用于获取用户在所述脚步动作捕获设备上踩踏键位的实时视频图像，并从所述实时视频图像中提取所述节拍点位置对应的人体骨骼运动数据；
角度计算模块，用于根据所述人体骨骼运动数据计算所述用户的各个肢体相对于预设的人体骨骼基础模板之间的角度参数；
区域预测模块，用于根据所述角度参数确定所述用户在所述脚步动作捕获设备上踩踏键位所在的预测区域；
键位判定模块，用于若所述预测键位与所述预测区域重合，则判定所述预测键位被踩踏，生成对应的键位符。
第三方面：
本申请提供一种脚谱编辑方法，包括：
获取音乐文件的节拍点位置，向用户播放所述音乐文件及展示节拍点辅助线；
获取用户在各个节拍点位置踩踏脚步动作捕获设备的键位符；其中，所述键位符通过上述的键位识别方法得到；
根据所述各个所述键位符生成脚谱。
在一个实施例中，所述的脚谱编辑方法，还包括：
获取音乐文件每帧信号的初始化特征参数；
根据所述初始化特征参数并行利用多种节拍特征算法计算所述音乐文件的每一帧音乐信号的节拍特征；
选择最优的节拍特征作为节拍点位置，并生成所述节拍点辅助线。
在一个实施例中，所述并行利用多种节拍特征算法计算所述音乐文件的每一帧音乐信号的节拍特征，包括：
获取每一帧音乐信号的初始特征值，并将所述初始特征值经过自相关计算获得自相关曲线；
根据所述自相关曲线与维特比路径的乘积计算用于马尔可夫链的节拍点判定的节拍周期；
利用每个时间段对马尔可夫的节拍周期的高斯模型对进行估算得到每个时间段的自相关信息；
根据所述自相关信息获得对应时间段的节奏点，并通过反向回路方式确定各个节拍特征；
所述选择最优的节拍特征作为节拍点位置，包括：
采用贝叶斯估计和信息熵从各个节拍点位置中选择出特征信息最优的节拍点位置。
在一个实施例中，所述的脚谱编辑方法，还包括：
计算脚谱文件的键位符与节拍点位置之间的偏差值，并根据所述偏差值对脚谱文件的键位符的位置进行修正，使得所述键位符与所述节拍点位置对齐。
在一个实施例中，所述计算脚谱文件的键位符与节拍点位置之间的偏差值，并根据所述偏差值对脚谱文件的键位符的位置进行修正，包括：
根据节拍点位置将音乐文件划分成多段，并根据节拍点辅助线对应到脚谱文件上的每个键位符；
设定窗口长度和帧移，采用滑动窗口的方式计算节拍点辅助线与各个分段脚谱的键位符之间的局部偏差值；
根据所述局部偏差值和所述窗口长度逐段修正每个键位符的位置；
计算所述脚谱文件与节拍点辅助线之间偏离之间的全局离差均值，并根据所述全局离差均值对所述脚谱文件进行修正。
在一个实施例中，所述的脚谱编辑方法，还包括：
在二次编辑阶段，记录每一帧实时视频图像的人体骨骼运动数据形成各个肢体的运动轨迹；
根据用户选择的慢放、快播或重播功能向用户播放每一帧实时视频图像的运动轨迹；
根据所述播放的运动轨迹对所述脚谱文件的键位进行人工二次编辑修正。
在一个实施例中，所述记录每一帧实时视频图像的人体骨骼运动数据形成各个肢体的运动轨迹，包括：
根据每一帧实时视频图像的人体骨骼数据确定各个肢体的关键点；
计算每一帧关键点的坐标，并将每一帧关键点的坐标连成线得到相应的肢体；
以设定的窗口长度记录每一帧实时视频图像的各个肢体的运动轨迹；
所述根据所述播放的运动轨迹对所述脚谱文件的键位进行人工二次编辑修正，包括：
当需要对所述脚谱文件的键位进行二次编辑修正时，暂停播放所述运动轨迹，在脚步动作捕获设备上踩踏键位或者在编辑界面上重新编辑所述脚谱文件的键位。
第四方面：
本申请提供一种脚谱编辑装置，包括：
节拍点获取模块，用于获取音乐文件的节拍点位置，向用户播放所述音乐文件及展示节拍点辅助线；
键位符判定模块，用于获取用户在各个节拍点位置踩踏脚步动作捕获设备的键位符；其中，所述键位符通过上述的键位识别方法得到；
脚谱生成模块，用于根据所述各个所述键位符生成脚谱。
第五方面：
本申请提供一种跳舞机，包括：主机，以及与所述主机连接的显示设备、摄像头和脚步动作捕获设备；其中，所述主机还连接服务器；
所述主机被配置为用于执行任意实施例的键位识别方法或脚谱编辑方法的步骤；所述摄像头用于拍摄图像数据；所述脚步动作捕获设备用于输出键位被踩踏的压力值；所述显示设备用于显示画面信息。
第六方面：
本申请提供一种计算机设备，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行上述的键位识别方法或者脚谱编辑方法。
第七方面：
本申请提供一种计算机可读存储介质，所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行上述的键位识别方法或者脚谱编辑方法。
上述键位识别方法和装置、脚谱编辑方法和装置、计算机设备以及计算机可读存储介质，读取脚步动作捕获设备检测的键位压力值获取用户踩踏的预测键位，根据用户的实时视频图像提取人体骨骼运动数据；通过计算用户的各个肢体相对于预设的人体骨骼基础模板之间的角度参数检测踩踏键位所在的预测区域；在预测键位与预测区域重合时判定有效，生成对应的键位符；该技术方案，通过采集人体骨骼三维运动数据以实时反映人体姿态运动轨迹，结合脚步动作捕获设备的压力值与人体姿态运动轨迹联合判定键位符，可以降低脚谱编辑过程中产生的无效键位信号，提升脚谱编辑效果，提升用户应用体验。
进一步的，通过计算音乐文件的节拍点并生成对应的节拍点辅助线，便于用户参考进行脚谱标记，提升了脚谱编辑效果。
更进一步的，利用音乐文件的节拍辅助线计算键位符号的偏差，采用分段修正和全局修正联合的方式对脚谱进行修正，保证脚谱对准节拍点的准确度，确保用户所生成的脚谱都在节拍点位置上。
更进一步的，在形成脚谱文件后，还可以对自动编辑的脚谱进行人工的二次编辑修正，通过根据每一帧实时图像的人体骨骼运动数据记录每个肢体的运动轨迹，用户可通过慢放运动轨迹等方式结合实时视频图像查看对运动轨迹以进行二次判定，对于不满意或不准确的脚谱上的键位，可以调整至合理键位上，提升了脚谱编辑效果。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是一个示例的跳舞机的结构框图；
图2是脚步动作捕获设备的五键面板示意图；
图3是脚步动作捕获设备的九键面板示意图；
图4是一个实施例的键位识别方法流程图；
图5是获取预测键位流程图；
图6是人体骨骼示意图；
图7是人体骨骼基础模板示意图；
图8是一个实施例的键位识别装置的结构示意图；
图9是一个实施例的脚谱编辑方法流程图
图10是获取节拍点位置的方法流程图；
图11是一个示例的脚谱自动修正流程图；
图12是一个示例的编辑脚谱总流程图；
图13是一个实施例的键位识别装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作。
本申请的键位识别方案，可以应用于跳舞机上，如图1所示，图1是一个示例的跳舞机的结构框图；主机连接显示设备、摄像头和脚步动作捕获设备，并通过网络连接到服务器；一般情况下，脚步动作捕获设备可以是跳舞毯、跳舞踏板以及脚踏板等；包括了5键、7键和9键等类型；每个键位上面标注有指示方向的箭头，跳舞时箭头会亮灯，指示用户踩踏的键位；如图2所示，图2是脚步动作捕获设备的五键面板示意图，五键(上，下，左，右，中间)，如图3所示，图3是脚步动作捕获设备的九键面板示意图，九键(上，下，左，右，左上，左下，右上，右下，中间)；摄像头用于拍摄用户跳舞的视频图像；主机可以导入音乐数据，并通过音响系统进行播放，用户可以根据播放音乐的过程来进行编舞，编舞过程中，主机可以通过检测脚步动作捕获设备的踩踏信号来记录踩踏的键位并最终生成脚谱，存储在本地或者服务器上，显示设备可以显示主机输出的画面信息，比如显示键位的箭头图标、音乐的节拍线、动画等等。
下面阐述键位识别方法的实施例，参考图4所示，图4是一个实施例的键位识别方法流程图，主要包括如下步骤：
步骤S110：读取脚步动作捕获设备在节拍点位置检测的键位压力值，并根据所述键位压力值确定用户在所述脚步动作捕获设备上踩踏的预测键位。
此步骤中，在脚谱编辑过程中，在音乐文件的节拍点位置检测脚步动作捕获设备输出的压力值，用户踩踏键位时，脚步动作捕获设备的每个键位下设置有大量的压力传感器，每次踩踏都会输出一个压力值(不同设备的灵敏度存在差异，输出的压力范围也会有所差异)，根据设定阈值来判定该压力值，可以确定用户踩踏哪个键位，即预测键位。
在一个实施例中，步骤S110的获取预测键位的方法，参考图5所示，图5是获取预测键位流程图，可以包括如下步骤：
s11，在节拍点位置读取脚步动作捕获设备的各个键位上的压力传感器输出的检测数据。
s12，根据所述检测数据计算相应的实测压力值。
s13，判断各个键位对应的实测压力值是否达到设定压力阈值；若是，执行s14。
s14，将相应键位确定为用户在所述脚步动作捕获设备上踩踏的预测键位。
在上述技术方案中，由于脚步动作捕获设备在踩踏到松开的期间，会一直输出当前压力值，因此，预测键位存在误踩踏的情况，依赖于脚步动作捕获设备的输出无法实现准确的键位识别，从而无法进行脚谱编辑。
步骤S120：获取用户在所述脚步动作捕获设备上踩踏键位的实时视频图像，并从所述实时视频图像中提取所述节拍点位置对应的人体骨骼运动数据。
此步骤中，根据摄像头对人体行为进行拍摄，由训练好的人体骨骼三维运动数据模型进行预测，从而获得每一帧图片的人体骨骼运动数据三维坐标值。
在一个实施例中，步骤S120具体可以包括如下：
s21，利用摄像头拍摄用户在所述脚步动作捕获设备上踩踏键位的实时视频图像。
s22，利用预先训练的人体骨骼三维运动数据模型对所述实时视频图像进行预测，获得每一帧图片上的人体骨骼运动数据的三维坐标值。
s23，提取在所述节拍点位置前后设定范围内的若干帧图片的人体骨骼运动数据的三维坐标值。
具体的，可以以脚步动作捕获设备平面的正视角度建立三维坐标系，以15个点构造成3D人体骨骼图，根据3D人体骨骼图可以清楚知道人体四肢的运动轨迹，如图6所示，图6是人体骨骼示意图；15个骨骼点可以包括：
右肩(-60.0，-300.0，-69.0)，右手肘(-185.0，-165.0，-80.0)右手腕(-173.0，-74.0，-212.0)，左肩(43.0，-294.0，-53.0)，左手肘(107.0，-134.0，-45.0)，左手腕(105.0，-58.0，-173.0)，右腿根(-47.0，73.0，7.0)，右膝盖(-161.0，343.0，-47.0)，右脚踝(-226.0，647.0，25.0)，左腿根(50.0，72.0，15.0)，左膝盖(164.0，345.0，-18.0)，左脚踝(195.0，638.0，93.0)，头部(-1.0，-409.0，-11.0)，颈部(-3.0，-383.0，-72.0)，腹部(0.0，0.0，0.0)。
步骤S130：根据所述人体骨骼运动数据计算所述用户的各个肢体相对于预设的人体骨骼基础模板之间的角度参数。
此步骤中，利用实测的人体骨骼运动数据来计算用户的各个肢体相对于人体骨骼基础模板的角度参数；然后计算每个肢体相对于人体骨骼基础模板的角度参数。
在一个实施例中，可以计算各个肢体相对于人体骨骼基础模板之间的夹角；据此，可以利用若干帧图片的人体骨骼运动数据的三维坐标值计算用户的指定骨骼点与预设的人体骨骼基础模板对应的骨骼点之间的夹角。
对于人体骨骼基础模板，其是指参考模版，是人体在垂直状态下站立成T字形(即双手打开且双脚并立)时的姿态作为人体骨骼基础模板，作为一个实施例，如图7所示，图7是人体骨骼基础模板示意图；其可以通过拍摄用户在垂直站立成T字形状态下的基础图像；从基础图像中提取骨骼点，再根据骨骼点构建该用户的人体骨骼基础模板。
步骤S140：根据所述角度参数确定所述用户在所述脚步动作捕获设备上踩踏键位所在的预测区域。
此步骤中，可以根据夹角参数计算夹角余弦值，作为判断脚步动作捕获设备上踩踏键位的依据；判断用户在脚步动作捕获设备上踩踏键位所在的预测区域。
在一个实施例中，判断预测区域的方法，可以包括如下：
(Ⅰ)根据所述夹角计算余弦值。
(Ⅱ)根据余弦值取值范围与脚步动作捕获设备面板的各个区域之间的对应关系，对所述余弦值进行比对。
(Ⅲ)根据所述比对结果确定用户在所述脚步动作捕获设备上踩踏键位所在的预测区域。
具体的，人体骨骼的每一根骨骼都有一个方向向量，通过方向向量可以计算出夹角；例如，实测右手臂的向量为a，则其计算式可以为：
Figure BDA0003326835140000111
即右手肘骨骼点的坐标-右肩骨骼点的坐标；对应的，人体骨骼基础模板的右手臂的向量为b，则其计算式可以为：
Figure BDA0003326835140000121
即人体骨骼基础模板的右手肘骨骼点的坐标-右肩骨骼点的坐标；通过夹角计算余弦值的公式可以为：
Figure BDA0003326835140000122
通过计算得到余弦值，可以用来判断出不同取值时对应用户的踩踏的键位；具体实施过程中，可以预先计算各个键位对应的余弦值取值范围，结合坐标y值来计算人体骨骼落在的键位；若y值大于阈值50，则该y值根据不同3D人体骨骼算法所获得的阈值会有所偏差，则可以认为键位位于脚步动作捕获设备上方，若y值小于-50，则可以认为键位位于脚步动作捕获设备下方；可根据y值确定的方位和余弦值判断其落入的范围，从而可以确定其踩踏的是哪个键位区域，即预测区域。
例如：根据人体骨骼运动数据中的三维信息(x，y，z)值，根据余弦值和对应坐标的y值大小，若超过上方阈值(即y>50)，则认为键位位于脚步动作捕获设备上方，若低于下方阈值(即y<-50)，则认为键位位于脚步动作捕获设备下方，若在中间阈值(-50<y<50)内，则认为键位位于脚步动作捕获设备的正中心位置；由此可以得到键位所在的预测区域。
步骤S150：若所述预测键位与所述预测区域重合，则判定所述预测键位被踩踏，生成对应的键位符。
此步骤中，判断通过脚步动作捕获设备所检测的预测键位与通过实时视频图像计算的预测区域是否重合，如果重合说明检测的键位是真实踩踏的键位，可以生成对应的键位符；如果不重合，说明是脚步动作捕获设备误检测，丢弃该键位符。
例如，以5键的脚步动作捕获设备为例，假设经过人体骨骼运动数据判定右脚所在键位的预测区域为上方，而左脚所在的键位预测区域为中间，此时通过脚步动作捕获设备的压力值检测得到预测键位在中间键位和右上方键位，同时左上方键位也检测到压力值产生了预测键位，但由于该键位与预测区域不重合，因此，可判定用户踩踏的键位为右上键位和中间键位，而左上方键位的为错误值，将其丢弃。
上述实施例的技术方案，通过每一帧的运动轨迹及每一帧中双腿的运动方向，利用余弦值计算其与基础模板的相似程度判断用户肢体的运动方位，再通过压力传感器的各个键位输出的压力数据获取每个键位的压力值进行判断，大于阈值且与人体骨骼中双腿方向一致的，即为当前踩中的键位方向。该技术方案，通过采集人体骨骼三维运动数据以实时反映人体姿态运动轨迹，结合脚步动作捕获设备的压力值与人体姿态运动轨迹联合判定键位符，可以降低脚谱编辑过程中产生的无效键位信号，提升脚谱编辑效果，提升用户应用体验。
下面阐述键位识别装置的实施例。
参考图8所示，图8是一个实施例的键位识别装置的结构示意图，包括：
键位预测模块110，用于读取脚步动作捕获设备在节拍点位置检测的键位压力值，并根据所述键位压力值确定用户在所述脚步动作捕获设备上踩踏的预测键位；
骨骼识别模块120，用于获取用户在所述脚步动作捕获设备上踩踏键位的实时视频图像，并从所述实时视频图像中提取所述节拍点位置对应的人体骨骼运动数据；
角度计算模块130，用于根据所述人体骨骼运动数据计算所述用户的各个肢体相对于预设的人体骨骼基础模板之间的角度参数；
区域预测模块140，用于根据所述角度参数确定所述用户在所述脚步动作捕获设备上踩踏键位所在的预测区域；
键位判定模块150，用于若所述预测键位与所述预测区域重合，则判定所述预测键位被踩踏，生成对应的键位符。
本实施例的键位识别装置可执行本公开的实施例所提供的一种键位识别方法，其实现原理相类似，本公开各实施例中的键位识别装置中的各模块所执行的动作是与本公开各实施例中的键位识别方法中的步骤相对应的，对于键位识别装置的各模块的详细功能描述具体可以参见前文中所示的对应的键位识别方法中的描述，此处不再赘述。
下面阐述脚谱编辑方法的实施例。
参考图9所示，图9是一个实施例的脚谱编辑方法流程图，包括：
步骤S210：获取音乐文件的节拍点位置，向用户播放所述音乐文件及展示节拍点辅助线。
此步骤中，先获取音乐文件的节拍点位置并生成节拍点辅助线，然后播放该音乐文件，作为脚谱编辑的舞蹈音乐，对于节拍点辅助先，可以提供给用户辅助功能，以准确地在节拍点位置处放置键位符。
由于不同类型的歌曲，其节拍特征明显程度不尽相同，有明显音高，但无突变音Pitched non-percussive(PNP)，如，piano无音高有突变音Non-pitched Percussive(NPP)，如drums和cymbals有音高和突变音Pitched Percussive(PP)，如bowed strings和wind instruments混合类型Complex Mixtures(Mix)，如rock和pop song，为了更好地判定音乐文件的节奏信息，本申请实施例采用多种特征信息计算节拍特征，以选择最佳的节拍特征代表该音乐文件的节拍点位置。
据此，在一个实施例中，如图10所示，图10是获取节拍点位置的方法流程图，可以包括如下：
(1)获取音乐文件每帧信号的初始化特征参数。
(2)根据所述初始化特征参数并行利用多种节拍特征算法计算所述音乐文件的每一帧音乐信号的节拍特征。
具体的，可以采用5种节拍特征计算方法进行同步并行化计算，分别计算增益(infogain)，节拍(beatemphas)，梅尔倒频谱(melflux)，有效电平值(rms)，复数域(complex domain)。其中，节拍特征采用子带分离技术把特征信息增强，促使当节拍特征不明显的信号得以加强；梅尔倒频谱信息流中由于梅尔频谱特性与人耳的听觉特性较为相似，因此可以很好模拟人耳听觉节拍的特性，对节拍较为明显的乐曲，识别效率较高；对于有效电平值，由于音乐文件中出现明显突变冲击时会有较强的瞬时电平，因此，通过有效电平值可以发现音乐文件的节拍点位置；复数域主要是考虑相位信息，当有节拍点出现时相位会有瞬时变化，通过复数域可以检测得到。
在一个实施例中，对于节拍特征计算过程，可以包括如下：
(Ⅰ)获取每一帧音乐信号的初始特征值，并将所述初始特征值经过自相关计算获得自相关曲线。
(Ⅱ)根据所述自相关曲线与维特比路径的乘积计算用于马尔可夫链的节拍点判定的节拍周期。
(Ⅲ)利用每个时间段对马尔可夫的节拍周期的高斯模型对进行估算得到每个时间段的自相关信息。
(Ⅳ)根据所述自相关信息获得对应时间段的节奏点，并通过反向回路方式确定各个节拍特征。
(3)选择最优的节拍特征作为节拍点位置，并生成所述节拍点辅助线。
具体的，采用贝叶斯估计和信息熵联合判定最为准确的节拍特征，根据5个检测方法之间的偏差信息，判定哪个节拍特征较为准确，采用信息熵计算获得偏差信息的离散程度，将离散程度较小的节拍特征选择为节拍点位置；然后在各个节拍点位置处生成节拍点辅助线，以提供给用户作为脚谱编辑的参考。
步骤S220：获取用户在各个节拍点位置踩踏脚步动作捕获设备的键位符；其中，所述键位符通过上述任一实施例的键位识别方法得到。
用户根据音乐文件的节奏，参考每个节拍点辅助线出现时进行踩踏键位，通过上述实施例提供的方案来判断出真实踩踏的键位后，生成键位符。
步骤S230：根据所述各个所述键位符生成脚谱。
具体的，脚谱是由音乐文件及每个节拍点位置处的键位符等构成，通过键位符可以生成脚谱文件，完成脚谱编辑过程。
上述实施例的脚谱编辑方法，基于结合脚步动作捕获设备的压力值与人体姿态运动轨迹联合判定键位符，可以降低脚谱编辑过程中产生的无效键位信号；在脚谱编辑之前，通过计算音乐文件的节拍点并生成对应的节拍点辅助线，便于用户参考进行脚谱标记，提升了脚谱编辑效果。
由于不同玩家用户的跳舞水平差异较大，不同玩家对音乐的敏感程度不同，导致每个用户踩踏脚步动作捕获设备的动作时间与节拍点位置并非完全一致，在脚谱编辑的过程中经常会出现踩快或踩慢的情况，即使有节拍线的辅助也会存在偏差。因此，为了使脚谱上的键位能准确落在音乐的节拍点位置上，本申请实施例还提供自动化节拍修正技术方案，通过采用偏离程度修正法进行修正。
据此，在一个实施例中，本申请的脚谱编辑方法，还可以计算脚谱文件的键位符与节拍点位置之间的偏差值，并根据所述偏差值对脚谱文件的键位符的位置进行修正，使得所述键位符与所述节拍点位置对齐。
优选的，对脚谱文件的键位符的位置进行修正方法，可以包括如下：
a、根据节拍点位置将音乐文件划分成多段，并根据节拍点辅助线对应到脚谱文件上的每个键位符。
b、设定窗口长度和帧移，采用滑动窗口的方式计算节拍点辅助线与各个分段脚谱的键位符之间的局部偏差值。
c、根据所述局部偏差值和所述窗口长度逐段修正每个键位符的位置。
d、计算所述脚谱文件与节拍点辅助线之间偏离之间的全局离差均值，并根据所述全局离差均值对所述脚谱文件进行修正。
具体的，参考图11所示，图11是一个示例的脚谱自动修正流程图；首先将音乐文件以节拍点位置划分成多段，并根据同样的节拍点辅助线对应用户所生成的脚谱文件；在每个脚谱的键位符对应节拍点，采用滑动窗口的方式，划分窗长度为0.5s，帧移为0.25s计算窗口范围内节拍点辅助线与脚谱键位符之间的偏差程度d，公式为：
d＝x1-x2
式中，x1为节拍点辅助线位置，x2为脚谱键位符位置；然后根据窗口长度，逐段修正脚谱每个键位符的位置x’，公式为：
x'＝x+d
式中，x为每个脚谱键位符位置；修正时对每一段进行上移或下移的操作，最后计算全局离差均值进行二次修正得到所需的脚谱文件。
上述实施例的技术方案，利用音乐文件的节拍辅助线计算键位符号的偏差，采用分段修正和全局修正联合的方式对脚谱进行修正，保证脚谱对准节拍点的准确度，确保用户所生成的脚谱都在节拍点位置上。
参考图12所示，图12是一个示例的编辑脚谱总流程图，导入音乐文件，对音乐文件进行编辑处理，然后通过STFT(Short-Time Fourier Transform，短时傅立叶变换)分析，得到音乐频谱，通过对音乐频谱计算得到节拍点位置，并生成节拍点辅助线；通过播放音乐文件和展示节拍点辅助线，用户进行脚谱编辑。
在编辑过程中，由于每位玩家的踩踏力度和方位不一致，因此通过脚步动作捕获设备的压力值和摄像头采集实时图像进行分析，通过人体骨骼运动数据的分析，压力值的判断，人体肢体运动轨迹，多重联合判定得到准确的键位符，通过计算人体运动轨迹，进行归一化和正则化，标定三维坐标系后，计算相对距离，如采用欧氏距离获得，计算相对角度，如采用三角余弦计算，最后结合脚踏板上的压力阈值，可联合判定用户最终的键位符；可以提高踩踏键位判断的准确性，彻底解决了产生多个误判键位的问题。同时，根据音乐的节拍点，采用固定窗长，滑动修正每个脚部键位符号所对应的时间点，采用音乐节拍线修正脚谱，可以确保用户所生成的脚谱都在节拍点位置上。
在一个实施例中，为了保证用户获得准确和满意的脚谱，本申请实施例还提供了多重脚谱修正方法，为用户提供了二次编辑修正的技术方案。
据此，本申请的脚谱编辑方法，还可以包括：
(1)在二次编辑阶段，记录每一帧实时视频图像的人体骨骼运动数据形成各个肢体的运动轨迹。
具体的，根据每一帧实时视频图像的人体骨骼数据确定各个肢体的关键点；计算每一帧关键点的坐标，并将每一帧关键点的坐标连成线得到相应的肢体；以设定的窗口长度记录每一帧实时视频图像的各个肢体的运动轨迹。
(2)根据用户选择的慢放、快播或重播功能向用户播放每一帧实时视频图像的运动轨迹。
具体的，用户可以选择慢放，通过观察脚谱慢动作判断动作与脚谱键位是否一致；用户可以选择快放或重播，用户可以重新演绎一次编辑好的脚谱文件，以确定脚谱键位的准确性。
(3)根据所述播放的运动轨迹对所述脚谱文件的键位进行人工二次编辑修正。
具体的，当需要对所述脚谱文件的键位进行二次编辑修正时，暂停播放所述运动轨迹，在脚步动作捕获设备上踩踏键位或者在编辑界面上重新编辑所述脚谱文件的键位。
示例性的，在二次编辑模式下，通过系统自动记录每一帧的各个肢体(左手，右手，左臂，右臂，左脚，右脚，左腿，右腿等)，每个肢体记录一定的时间窗长，例如，以0.5s为时间窗口，记录0.5秒的长度的运动轨迹趋势，以人体正前方为正方向，计算轨迹的方向，判断肢体的运动方向，以此确定脚谱键位方向，若所判断的方向与第一次编辑所判断的方向一致，则说明该方向判定准确，否则，自动修正，并告知用户当前时间节点下，第一次编辑与第二次编辑存在偏差，提醒用户注意。根据所述的运动轨迹，以正前方为正方向。
用户在第二次编辑时，通过显示设备的大屏幕上同步播放每一帧的人体骨骼数据及对应帧视频的，用户根据播放的速度选择慢放，快播，重播(速度不变)的功能。若用户选择慢放，相当于同步观察舞步慢动作的同时，审查对应动作与脚谱键位是否一致，充当舞蹈分解动作的作用；若用户选择快放或重播(速度不变)，则用户可跟着自己第一次编辑所舞动的视频，重新演绎一次，以确定脚谱键位的准确性；若用户在二次编辑阶段需要修改，也可以直接对修改处选择暂停按钮，直接，重新踩踏脚踏板或自行在屏幕上选择对应的脚谱键位。
下面阐述脚谱编辑装置的实施例。
参考图13所示，图13是一个实施例的键位识别装置的结构示意图，包括：
节拍点获取模块210，用于获取音乐文件的节拍点位置，向用户播放所述音乐文件及展示节拍点辅助线；
键位符判定模块220，用于获取用户在各个节拍点位置踩踏脚步动作捕获设备的键位符；其中，所述键位符通过上述的键位识别方法得到；
脚谱生成模块230，用于根据所述各个所述键位符生成脚谱。
本实施例的脚谱编辑装置可执行本公开的实施例所提供的一种脚谱编辑方法，其实现原理相类似，本公开各实施例中的脚谱编辑装置中的各模块所执行的动作是与本公开各实施例中的键位识别方法中的步骤相对应的，对于脚谱编辑装置的各模块的详细功能描述具体可以参见前文中所示的对应的脚谱编辑方法中的描述，此处不再赘述。
下面阐述跳舞机的实施例。
本申请提供的跳舞机，包括：主机，以及与所述主机连接的显示设备、摄像头和脚步动作捕获设备；其中，所述主机还连接服务器。
在使用中，所述主机被配置为用于执行任意实施例的键位识别方法或脚谱编辑方法的步骤；所述摄像头用于拍摄图像数据；所述脚步动作捕获设备用于输出键位被踩踏的压力值；所述显示设备用于显示画面信息。
下面阐述本申请的计算机设备的实施例，该计算机设备，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据上述任意实施例的键位识别方法。
下面阐述本申请的计算机可读存储介质的实施例，，所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行上述任意实施例的的键位识别方法。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (12)

1.一种键位识别方法，其特征在于，包括：
读取脚步动作捕获设备在节拍点位置检测的键位压力值，并根据所述键位压力值确定用户在所述脚步动作捕获设备上踩踏的预测键位；
获取用户在所述脚步动作捕获设备上踩踏键位的实时视频图像，并从所述实时视频图像中提取所述节拍点位置对应的人体骨骼运动数据；
根据所述人体骨骼运动数据计算所述用户的各个肢体相对于预设的人体骨骼基础模板之间的角度参数；
根据所述角度参数确定所述用户在所述脚步动作捕获设备上踩踏键位所在的预测区域；
若所述预测键位与所述预测区域重合，则判定所述预测键位被踩踏，生成对应的键位符。
2.根据权利要求1所述的键位识别方法，其特征在于，读取脚步动作捕获设备在节拍点位置检测的键位压力值，并根据所述键位压力值确定用户在所述脚步动作捕获设备上踩踏的预测键位，包括：
在节拍点位置读取脚步动作捕获设备的各个键位上的压力传感器输出的检测数据；
根据所述检测数据计算相应的实测压力值；
判断各个键位对应的实测压力值是否达到设定压力阈值；
若达到，则将相应键位确定为用户在所述脚步动作捕获设备上踩踏的预测键位。
3.根据权利要求1所述的键位识别方法，其特征在于，获取用户在所述脚步动作捕获设备上踩踏键位的实时视频图像，并从所述实时视频图像中提取所述节拍点位置对应的人体骨骼运动数据，包括：
利用摄像头拍摄用户在所述脚步动作捕获设备上踩踏键位的实时视频图像；
利用预先训练的人体骨骼三维运动数据模型对所述实时视频图像进行预测，获得每一帧图片上的人体骨骼运动数据的三维坐标值；
提取在所述节拍点位置前后设定范围内的若干帧图片的人体骨骼运动数据的三维坐标值。
4.根据权利要求3所述的键位识别方法，其特征在于，根据所述人体骨骼运动数据计算所述用户的各个肢体相对于预设的人体骨骼基础模板之间的角度参数，包括：
利用所述若干帧图片的人体骨骼运动数据的三维坐标值计算所述用户的指定骨骼点与预设的人体骨骼基础模板对应的骨骼点之间的夹角；
所述根据所述角度参数确定所述用户在所述脚步动作捕获设备上踩踏键位所在的预测区域，包括：
根据所述夹角计算余弦值；
根据余弦值取值范围与脚步动作捕获设备面板的各个区域之间的对应关系，对所述余弦值进行比对；
根据所述比对结果确定用户在所述脚步动作捕获设备上踩踏键位所在的预测区域。
5.根据权利要求4所述的键位识别方法，其特征在于，还包括：
拍摄用户在垂直站立成T字形状态下的基础图像；其中，所述T字形是指双手打开且双脚并立的状态；
从所述基础图像中提取骨骼点，根据所述骨骼点构建该用户的人体骨骼基础模板。
6.一种脚谱编辑方法，其特征在于，包括：
获取音乐文件的节拍点位置，向用户播放所述音乐文件及展示节拍点辅助线；
获取用户在各个节拍点位置踩踏脚步动作捕获设备的键位符；其中，所述键位符通过权利要求1至5任一项所述的键位识别方法得到；
根据所述各个所述键位符生成脚谱。
7.根据权利要求6所述的脚谱编辑方法，其特征在于，还包括：
获取音乐文件每帧信号的初始化特征参数；
根据所述初始化特征参数并行利用多种节拍特征算法计算所述音乐文件的每一帧音乐信号的节拍特征；
选择最优的节拍特征作为节拍点位置，并生成所述节拍点辅助线。
8.根据权利要求6所述的脚谱编辑方法，其特征在于，所述并行利用多种节拍特征算法计算所述音乐文件的每一帧音乐信号的节拍特征，包括：
获取每一帧音乐信号的初始特征值，并将所述初始特征值经过自相关计算获得自相关曲线；
根据所述自相关曲线与维特比路径的乘积计算用于马尔可夫链的节拍点判定的节拍周期；
利用每个时间段对马尔可夫的节拍周期的高斯模型对进行估算得到每个时间段的自相关信息；
根据所述自相关信息获得对应时间段的节奏点，并通过反向回路方式确定各个节拍特征；
所述选择最优的节拍特征作为节拍点位置，包括：
采用贝叶斯估计和信息熵从各个节拍点位置中选择出特征信息最优的节拍点位置。
9.根据权利要求6所述的脚谱编辑方法，其特征在于，还包括：
计算脚谱文件的键位符与节拍点位置之间的偏差值，并根据所述偏差值对脚谱文件的键位符的位置进行修正，使得所述键位符与所述节拍点位置对齐。
10.根据权利要求8所述的脚谱编辑方法，其特征在于，所述计算脚谱文件的键位符与节拍点位置之间的偏差值，并根据所述偏差值对脚谱文件的键位符的位置进行修正，包括：
根据节拍点位置将音乐文件划分成多段，并根据节拍点辅助线对应到脚谱文件上的每个键位符；
设定窗口长度和帧移，采用滑动窗口的方式计算节拍点辅助线与各个分段脚谱的键位符之间的局部偏差值；
根据所述局部偏差值和所述窗口长度逐段修正每个键位符的位置；
计算所述脚谱文件与节拍点辅助线之间偏离之间的全局离差均值，并根据所述全局离差均值对所述脚谱文件进行修正。
11.根据权利要求6所述的脚谱编辑方法，其特征在于，还包括：
在二次编辑阶段，记录每一帧实时视频图像的人体骨骼运动数据形成各个肢体的运动轨迹；
根据用户选择的慢放、快播或重播功能向用户播放每一帧实时视频图像的运动轨迹；
根据所述播放的运动轨迹对所述脚谱文件的键位进行人工二次编辑修正。
12.根据权利要求11所述的脚谱编辑方法，其特征在于，所述记录每一帧实时视频图像的人体骨骼运动数据形成各个肢体的运动轨迹，包括：
根据每一帧实时视频图像的人体骨骼数据确定各个肢体的关键点；
计算每一帧关键点的坐标，并将每一帧关键点的坐标连成线得到相应的肢体；
以设定的窗口长度记录每一帧实时视频图像的各个肢体的运动轨迹；
所述根据所述播放的运动轨迹对所述脚谱文件的键位进行人工二次编辑修正，包括：
当需要对所述脚谱文件的键位进行二次编辑修正时，暂停播放所述运动轨迹，在脚步动作捕获设备上踩踏键位或者在编辑界面上重新编辑所述脚谱文件的键位。
CN202111265551.7A 2021-10-28 2021-10-28 键位识别方法和装置、脚谱编辑方法和装置、跳舞机 Pending CN113842633A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111265551.7A CN113842633A (zh) 2021-10-28 2021-10-28 键位识别方法和装置、脚谱编辑方法和装置、跳舞机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111265551.7A CN113842633A (zh) 2021-10-28 2021-10-28 键位识别方法和装置、脚谱编辑方法和装置、跳舞机

Publications (1)

Publication Number Publication Date
CN113842633A true CN113842633A (zh) 2021-12-28

Family

ID=78983234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111265551.7A Pending CN113842633A (zh) 2021-10-28 2021-10-28 键位识别方法和装置、脚谱编辑方法和装置、跳舞机

Country Status (1)

Country Link
CN (1) CN113842633A (zh)

Similar Documents

Publication Publication Date Title
US10803762B2 (en) Body-motion assessment device, dance assessment device, karaoke device, and game device
US10376785B2 (en) Audio, video, simulation, and user interface paradigms
US7858869B2 (en) Sound analysis apparatus and program
US9981193B2 (en) Movement based recognition and evaluation
US20150262503A1 (en) Motion coordination operation device and method, program, and motion coordination reproduction system
CN103971674A (zh) 一种评分准确、用户体验好的演唱实时评分方法
US11557269B2 (en) Information processing method
WO2009007512A1 (en) A gesture-controlled music synthesis system
CN106097829B (zh) 一种声乐练习辅助器
Murphy et al. Conducting audio files via computer vision
CN107008002A (zh) 非暂态计算机可读存储介质、评估方法和评估装置
JP3637802B2 (ja) 楽音制御装置
KR100916706B1 (ko) 가상 캐릭터의 동작 애니메이션 재생 방법 및 시스템
CN113842633A (zh) 键位识别方法和装置、脚谱编辑方法和装置、跳舞机
Grontman et al. Analysis of sword fencing training evaluation possibilities using Motion Capture techniques
CN111353345B (zh) 提供训练反馈的方法、装置、系统、电子设备、存储介质
CN116386424A (zh) 一种用于音乐教学的方法、设备和计算机可读存储介质
Ofli et al. Multi-modal analysis of dance performances for music-driven choreography synthesis
CN113856203A (zh) 舞蹈编辑方法、装置以及跳舞机
CN111353347A (zh) 动作识别纠错方法、电子设备、存储介质
JP2009247529A (ja) 運動評価装置およびプログラム
KR100896130B1 (ko) 가상 캐릭터의 동작 애니메이션 재생 방법 및 시스템
EP0367191B1 (en) Automatic music transcription method and system
Shirai et al. 3d skeleton motion generation of double bass from musical score
Brock Automated Classification of Trampoline Motions Based on Inertial Sensor Input

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination