CN113856203A - 舞蹈编辑方法、装置以及跳舞机 - Google Patents

Abstract

本申请涉及一种舞蹈编辑方法、装置、跳舞机、计算机设备以及计算机可读存储介质；所述方法包括：获取编舞音乐并识别所述编舞音乐的各个节拍点，向用户播放所述编舞音乐以辅助进行编舞；在用户编舞时，在各个节拍点位置采集脚踏板产生的键位方向信号，并通过动捕摄像头获取在相应节拍点位置的人体运动数据；根据所述键位方向信号和所述人体运动数据对各个所述节拍点对应的踩踏键位进行联合判定得到有效踩踏键位；根据所述编舞音乐及各个节拍点对应的有效踩踏键位生成编舞脚谱；该技术方案，实现了在跳舞机上进行准确的编舞功能，降低了编舞难度和复杂性，降低了普通玩家编舞入门的门槛，提升用户应用体验。

Description

舞蹈编辑方法、装置以及跳舞机

技术领域

本申请涉及娱乐设备技术领域，尤其是一种舞蹈编辑方法、装置、跳舞机、计算机设备以及计算机可读存储介质。

背景技术

随着跳舞机的普及，极大的丰富了人们的生活娱乐方式，越来越来多的玩家开始接触游戏舞蹈，即便没有舞蹈基础也可以随着音乐的节奏一起律动。

但市面上多数的跳舞机产品一般只提供歌库内歌曲的编舞脚谱，即使可加入本地歌曲，其生成的编舞脚谱也难以达到艺术水准，其音乐与舞蹈之间的准确性相对较低，越来越多的舞蹈游戏玩家热衷于更好的舞蹈表达，跳舞机上的舞蹈已经难以适应多元化和艺术性的要求。

现有的跳舞机上的编舞方式采用专业编舞师，需要较高的个人艺术感和专业能力，对音乐感知才能进行对应编舞，编舞难度高和操作复杂，对于普通玩家而言，编舞门槛高，严重制约了跳舞机的应用功能。

发明内容

针对于上述技术缺陷之一，本申请提供一种舞蹈编辑方法、装置、跳舞机、计算机设备以及计算机可读存储介质，从而降低了跳舞机的编舞门槛，提升跳舞机的应用功能。

第一方面：

本申请提供一种舞蹈编辑方法，包括：

获取编舞音乐并识别所述编舞音乐的各个节拍点，向用户播放所述编舞音乐以辅助进行编舞；

在用户编舞时，在各个节拍点位置采集脚踏板产生的键位方向信号，并通过动捕摄像头获取在相应节拍点位置的人体运动数据；

根据所述键位方向信号和所述人体运动数据对各个所述节拍点对应的踩踏键位进行联合判定得到有效踩踏键位；

根据所述编舞音乐及各个节拍点对应的有效踩踏键位生成编舞脚谱。

在一个实施例中，根据所述键位方向信号和所述人体运动数据对各个所述节拍点对应的踩踏键位进行联合判定得到有效踩踏键位，包括：

当采集到的键位方向信号达到有效踩踏的压力阈值时，则输出所述键位方向信号对应的键位为有效踩踏键位；

当采集到的键位方向信号未达到有效踩踏的压力阈值，则根据所述人体运动数据计算各个肢体之间的相对距离和相对角度；

若所述相对距离和相对角度均达到判定阈值，则输出所述键位方向信号对应的键位为有效踩踏键位。

在一个实施例中，在根据各个节拍点对应的有效踩踏键位生成编舞脚谱之后，还包括：

将所述编舞脚谱划分为若干个分段脚谱；

分别计算每个分段脚谱与节拍线之间偏离的局部离差均值；其中，所述节拍线为节拍点辅助线；

分别根据每个分段脚谱对应的局部离差均值对所述分段脚谱进行初次修正；

计算所述编舞脚谱与节拍线之间偏离的全局离差均值；

根据所述全局离差均值对初次修正后的编舞脚谱进行二次修正。

在一个实施例中，根据所述编舞音乐及各个节拍点对应的有效踩踏键位生成编舞脚谱，包括：

获取所述编舞音乐的各个节拍点对应节拍线；其中，所述节拍线为节拍点辅助线；

将所述各个节拍点对应的有效踩踏键位与所述节拍线进行对齐，结合所述编舞音乐生成编舞脚谱。

在一个实施例中，所述的舞蹈编辑方法，还包括：

根据所述人体运动数据获取各个所述节拍点对应的手部位置信息；

根据所述手部位置信息生成各个所述节拍点对应的手势动作；

根据所述手势动作及编舞脚谱生成编舞舞蹈。

在一个实施例中，所述的舞蹈编辑方法，还包括：

采用3D渲染技术并根据所述人体运动数据生成所述编舞舞蹈对应的虚拟舞蹈视频；

将所述虚拟舞蹈视频保存在服务器中，用于在该编舞舞蹈被点播时进行动画人物的同步演示。

在一个实施例中，所述的舞蹈编辑方法，在用户编舞时，还包括：

通过视频画面在每一个节拍点进行闪动；

提示用户准备进行踩踏键位或手势动作；

在用户踩中键位后，通过视频画面向用户显示踩中的键位或者同步演示3D手势动作。

在一个实施例中，所述编舞舞蹈包括：脚踏板单键脚谱舞蹈，脚踏板单键脚谱和手势动作舞蹈，脚踏板多键脚谱舞蹈，或者脚踏板多键脚谱和手势动作舞蹈。

在一个实施例中，获取编舞音乐并识别所述编舞音乐的各个节拍点，包括：

通过信号源获取至少一首音乐；

选取每首音乐的至少一个曲段进行拼接得到编舞音乐；

对所述编舞音乐进行STFT频谱分析获得编舞音乐对应时间的节拍点，生成与节拍点对齐的节拍线。

在一个实施例中，在各个节拍点位置采集脚踏板产生的键位方向信号，包括：

以各个节拍点为时间戳，并根据设定的时间范围确定信号捕捉窗口，并在所述捕捉窗口内持续检测脚踏板被踩踏时输出的变化信号。

在一个实施例中，所述的舞蹈编辑方法，还包括：

获取用户对所述编舞音乐进行的节奏修改；

根据修改后的编舞音乐对所述编舞脚谱执行二次编辑操作，根据所述二次编辑操作对对所述编舞脚谱进行精细化脚谱修正。

在一个实施例中，所述的舞蹈编辑方法，还包括：

获取编舞舞蹈的编舞脚谱；

计算所述编舞脚谱与舞曲库中的预存脚谱之间的相似度，并对所述相似度对所述编舞舞蹈进行评价得到评分值；

根据所述评分值向其他用户推荐所述编舞舞蹈。

在一个实施例中，所述的舞蹈编辑方法，还包括：

获取已推荐的编舞舞蹈的评价数据；

采用层次分析法确定各个评价指标的权重；

根据所述评价数据及权重计算编舞舞蹈的热度值；

根据所述热度值对待推荐的编舞舞蹈进行排序。

在一个实施例中，所述的舞蹈编辑方法，还包括：

根据所述编舞音乐的节拍线和歌曲风格从舞曲库中预存脚谱进行匹配，获取对应节拍的脚谱片段；根据所述脚谱片段对应的人物运动数据，仿真3D动画人物的虚拟肢体舞蹈。

在一个实施例中，在根据各个节拍点对应的有效踩踏键位生成编舞脚谱之后，还包括：

向服务器的皮肤库请求节拍点图标列表和踩踏效果特效列表；

在脚谱编辑工具栏展示所述节拍点图标列表和踩踏效果特效列表；

获取用户在所述节拍点图标列表和踩踏效果特效列表上选择的目标节拍点图标样式和目标踩踏效果特效样式；

将所述目标节拍点图标样式替换编辑区的节拍点图标样式，并控制所述节拍线以所述目标踩踏效果特效样式进行演示。

第二方面：

本申请提供一种舞蹈编辑装置，包括：

音乐处理模块，用于获取编舞音乐并识别所述编舞音乐的各个节拍点，向用户播放所述编舞音乐以辅助进行编舞；

信息采集模块，用于在用户编舞时，在各个节拍点位置采集脚踏板产生的键位方向信号，并通过动捕摄像头获取在相应节拍点位置的人体运动数据；

联合判定模块，用于根据所述键位方向信号和所述人体运动数据对各个所述节拍点对应的踩踏键位进行联合判定得到有效踩踏键位；

脚谱生成模块，用于根据所述编舞音乐及各个节拍点对应的有效踩踏键位生成编舞脚谱。

第三方面：

本申请提供一种跳舞机，包括：主机，以及与所述主机连接的显示设备、动捕摄像头和脚踏板；其中，所述主机还连接服务器；

所述主机被配置为用于执行上述的舞蹈编辑方法的步骤；

所述动捕摄像头用于拍摄编舞的图像数据并输出人体运动数据；

所述脚踏板用于输出键区被踩踏的键位方向信号；

所述显示设备用于显示画面信息。

第四方面：

本申请提供一种计算机设备，其包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行上述的舞蹈编辑方法。

第五方面：

本申请提供一种计算机可读存储介质，所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行上述的舞蹈编辑方法。

上述舞蹈编辑方法和装置、跳舞机、计算机设备以及计算机可读存储介质，通过获取编舞音乐并识别所述编舞音乐的各个节拍点，在用户编舞时，在各个节拍点位置采集脚踏板产生的键位方向信号并通过动捕摄像头获取人体运动数据，通过键位方向信号和人体运动数据对踩踏键位进行联合判定得到各个所述节拍点对应的有效踩踏键位；再根据编舞音乐及各个节拍点对应的有效踩踏键位生成编舞脚谱；该技术方案，实现了在跳舞机上进行准确的编舞功能，降低了编舞难度和复杂性，降低了普通玩家编舞入门的门槛，提升用户应用体验。

进一步的，通过扩大键位方向信号的采集捕捉窗口，可以以编舞音乐节拍点前后两秒时间作为超宽捕捉窗口，从而可以确保用户踩踏键区能够被检测到，保证了编舞准确性。

进一步的，利用3D渲染出虚拟舞蹈视频，用户点播该编舞舞蹈时，动画人物可以同步舞动，可为用户提供跳舞游戏提供视频画面参考，提升用户跳舞游戏体验。

进一步的，通过计算脚谱与节拍线之间的偏离程度，再对对每一段进行上移或下移的操作修正，采用分段修正和全局修正联合，自动为用户的脚谱进行细微修正，从而可以得到与节拍线完全一致的编舞脚谱，保证节拍点与脚谱位置的准确性。

进一步的，在编舞脚谱初步生成后，用户还可以对编舞脚谱进行暂停、重播、慢放和快放等多次编辑，根据所述二次编辑操作对对所述编舞脚谱进行精细化脚谱修正，以得到合适的个性化编舞脚谱。

进一步的，设计了评分和排序功能，可以提升玩家的创作热情，特别是针对高级玩家可根据自身的能力，创作极具挑战性的竞速类脚谱和极具艺术性的花式类脚谱等。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是一个示例的舞蹈编辑技术方案的结构框架图；

图2是一个实施例的舞蹈编辑方法流程图；

图3是音乐处理流程示意图；

图4是用户登录流程示意图；

图5是自定义皮肤流程图；

图6是自定义皮肤界面示意图；

图7是二次编辑操作流程示意图；

图8是编舞模式分类流程示意图；

图9是对编舞脚谱进行排序流程示意图；

图10是一个实施例的舞蹈编辑装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作。

本申请的舞蹈编辑方案，可以应用于跳舞机上，如图1所示，图1是一个示例的跳舞机的系统结构图；主机连接显示设备、动捕摄像头和脚踏板；并通过网络连接到服务器；一般情况下，脚踏板是一种脚步动作捕获设备，也可以称跳舞毯、跳舞踏板以及踏板等；该设备上部设置有5个键区(左上键、左下键、右上键、右下键和中间键)，每个键区上面标注有指示方向的箭头，跳舞时箭头会亮灯，指示用户踩踏的键区，动捕摄像头一般是采用AI摄像头，可以拍摄到用户跳舞的图像数据，并能够进行分析输出人体运动数据，当然，如果动捕摄像头输出的是图像数据，则可以由主机进行处理输出人体运动数据；主机可以导入音乐数据，并通过音响系统进行播放，用户可以根据播放音乐的过程来进行编舞，编舞过程中，主机可以通过检测脚踏板的键位方向信号来记录脚谱，从而最终生成编舞脚谱，存储在本地或者服务器，还可以通过服务器分享给其他用户，或者后续点播使用；显示设备可以显示主机输出的画面信息，比如显示音乐的节拍线，显示视频动画等等。

下面以跳舞机为例，结合阐述舞蹈编辑方法的实施例，参考图2所示，图2是一个实施例的舞蹈编辑方法流程图，主要包括如下步骤：

步骤S10：获取编舞音乐并识别所述编舞音乐的各个节拍点，向用户播放所述编舞音乐以辅助进行编舞。

此步骤中，可以通过信号源获取至少一首音乐，然后选取每首音乐的至少一个曲段进行拼接得到编舞音乐；再对编舞音乐进行STFT(Short-Time Fourier Transform，短时傅立叶变换)频谱分析获得编舞音乐对应时间的节拍点，生成与节拍点对齐的节拍线，节拍线为节拍点辅助线。

示例性的，参考图3，图3是音乐处理流程示意图，可以将音乐文件传送到服务器进行处理，也可以在跳舞机本地进行处理，用户可根据个人喜好传输喜欢的音乐，通过蓝牙，本地传输(CD，蓝光，DVD，U盘)，网盘，wifi(MIRACAST/AIRPLAY/DLNA)，同轴，光纤，FM等多种输入源传输导入到跳舞机。

音乐导入后，用户可对音乐文件进行音乐编辑，通过多次播放音乐文件，选取音乐成分较为丰富的曲段进行编舞，也可多段选取拼接出编舞音乐，从而可以增加游戏的娱乐性和挑战性；对音乐文件进行编辑后可以在服务器或者本地中进行STFT频谱分析，获得歌曲对应时间的节拍点，在脚谱编辑器上生成与编舞音乐对齐的节拍线供用户进行编舞辅助参考。

在向用户播放编舞音乐时，还可以设置编舞音乐以慢放方式(二分之一、三分之一、四分之一、八分之速度慢放)进行播放，由此，便于用户有足够的、充足的时间来准确和完成踩踏动作。

另外，为了保证用户在任何时候，任何地方都能点播自己创作的编舞脚谱，本实施例可以为用户提供个性化的个人注册服务，参考图4，图4是用户登录流程示意图；在使用之前可以通过人脸识别、指纹识别、手机号和动态码、小程序二维码、帐号密码等方式供用户登录到个人账户，然后可以进行编舞和跳舞游戏。

步骤S20：在用户编舞时，在各个节拍点位置采集脚踏板产生的键位方向信号，并通过动捕摄像头获取在相应节拍点位置的人体运动数据。

此步骤中，以编舞音乐中的节拍点为时间戳，基于该时间戳采集脚踏板的键位方向信号结合动捕摄像头输出的人体运动数据对踩踏键区进行综合判定，从而保证编舞脚谱的准确度，其中，人体运动数据主要包括手臂、肩部、头部、身体、腿部关节、脚部等关键部位数据。

具体的，在编舞音乐辅助下，用户可以根据节拍线来进行编舞，如图1中，用户根据节拍点在脚踏板上踩踏键区，脚踏板输出键位方向信号，以记录用户所踩踏的键区；同时，动捕摄像头可以实时地拍摄用户编舞的图像数据，并依据图像数据输出人体运动数据；通过人体运动数据可以得到人体肢体运动轨迹，从而可以实时得到用户的肢体动作。

在一个实施例中，考虑到用户在脚踏板踩踏时，难以做到与节拍点的完全一致，为了降低难度，在各个节拍点位置采集脚踏板产生的键位方向信号时，可以以各个节拍点为时间戳，并根据设定的时间范围确定信号捕捉窗口，并在所述捕捉窗口内持续检测脚踏板被踩踏时输出的变化信号。

上述实施例的技术方案，通过扩大键位方向信号的采集捕捉窗口，可以以编舞音乐节拍点前后两秒时间作为超宽捕捉窗口，从而可以确保用户踩踏键区能够被检测到，保证了编舞准确性。

步骤S30：根据所述键位方向信号和所述人体运动数据对各个所述节拍点对应的踩踏键位进行联合判定得到有效踩踏键位。

在一个实施例中，对于联合判定得到有效踩踏键位的技术方案，可以包括如下：

(1)当采集到的键位方向信号达到有效踩踏的压力阈值且根据所述人体骨骼运动数据计算各个肢体的相对距离和相对角度达到阈值，及方向一致，则输出所述键位方向信号对应的键位为有效踩踏键位。

(2)当采集到的键位方向信号未达到有效踩踏的压力阈值，但达到最低设置阈值，则根据所述人体运动数据计算各个肢体之间的相对距离和相对角度；若所述相对距离和相对角度均达到判定阈值，则输出所述键位方向信号对应的键位为有效踩踏键位，此时用户可选择暂停，慢放或快放的方式生成键位，否则该键位方向信号为误判信号，舍弃。

由于不同用户踩踏脚踏板的力度和方位不一致，因此踩踏后容易出现错误的键位方向信号或者无法输出正确键位方向信号；通过动捕摄像头获取用户的三维人体运动数据，然后计算人体运动轨迹，通过归一化和正则化标定三维坐标系，采用欧氏距离计算相对距离，采用三角余弦计算相对角度，最后结合脚踏板输出的键位方向信号，联合判定用户的有效踩踏键位。

上述技术方案，通过采集脚踏板的键位方向信号并结合动捕摄像头的人体运动数据综合判定踩踏键区，确保了编舞脚谱的准确度。

步骤S40：根据所述编舞音乐及各个节拍点对应的有效踩踏键位生成编舞脚谱。

此步骤中，可以获取所述编舞音乐的各个节拍点对应节拍线；然后将所述各个节拍点对应的有效踩踏键位与所述节拍线进行对齐，结合所述编舞音乐生成编舞脚谱。

上述实施例的技术方案，通过获取编舞音乐并识别所述编舞音乐的各个节拍点，在用户编舞时，在各个节拍点位置采集脚踏板产生的键位方向信号并通过动捕摄像头获取人体运动数据，通过键位方向信号和人体运动数据对踩踏键位进行联合判定得到各个所述节拍点对应的有效踩踏键位；再根据编舞音乐及各个节拍点对应的有效踩踏键位生成编舞脚谱；该技术方案，可在跳舞机上进行准确的编舞，降低了编舞难度和复杂性，降低了普通玩家编舞入门的门槛，提升用户应用体验。具体实施中，跳舞机可以根据用户年龄、性别推荐适合的编舞音乐，用户编辑完成的编舞脚谱，自动保存到用户账号中，下次用户登录任意一台设备即可调出编辑的编舞脚谱进行舞蹈游戏。

为了更加清晰本申请的技术方案，下面结合更多实施例来阐述。

在一个实施例中，为了增加游戏难度，提升玩家的创作热情，本申请的技术方案还可以增加对手势动作的编舞。

据此，本申请的舞蹈编辑方法还可以根据所述人体运动数据获取各个所述节拍点对应的手部位置信息；根据所述手部位置信息生成各个所述节拍点对应的手势动作；根据所述手势动作及编舞脚谱生成编舞舞蹈。

进一步的，采用3D渲染技术并根据所述人体运动数据生成所述编舞舞蹈对应的虚拟舞蹈视频；将所述虚拟舞蹈视频保存在服务器中，用于在该编舞舞蹈被点播时进行动画人物的同步演示。

上述实施例的技术方案，通过编舞脚谱和手势动作来生成编舞舞蹈，并且利用3D渲染出虚拟舞蹈视频，可以将编舞舞蹈保存到个人账户中，下一次用户点播该编舞舞蹈时，动画人物可以同步舞动，可为用户提供跳舞游戏提供视频画面参考，提升用户跳舞游戏体验。

在一个实施例中，为了提升用户踩踏脚踏板的准确性，在步骤S20的用户编舞时，用户可事先选择快放或慢放歌曲进行编舞，期间可选择暂停，然后通过视频画面在每一个节拍点进行闪动；提示用户准备进行踩踏键位或手势动作；在用户踩中键位后，通过视频画面向用户显示踩中的键位或者同步演示3D手势动作。

示例性的，根据节拍线提示在视频画面出现0.5秒闪动提示用户准备踩踏键位或动作手势，在显示设备上显示用户踩中的键位，通过该技术方案，便于用户及时知道当前键区是否被正确踩中。

在一个实施例中，为了增加个性化的特色，在编辑器里可以加入节拍点的自定义设计，玩家用户除了可以个性化编辑节拍点放置，并对节拍点的视觉效果进行编辑，据此，在根据各个节拍点对应的有效踩踏键位生成编舞脚谱之后，还包括：

向服务器的皮肤库请求节拍点图标列表和踩踏效果特效列表；在脚谱编辑工具栏展示所述节拍点图标列表和踩踏效果特效列表；获取用户在所述节拍点图标列表和踩踏效果特效列表上选择的目标节拍点图标样式和目标踩踏效果特效样式；将所述目标节拍点图标样式替换编辑区的节拍点图标样式，并控制所述节拍线以所述目标踩踏效果特效样式进行演示。

示例性的，参考图5所示，图5是自定义皮肤流程图；服务器设有皮肤库，对应在编辑器里面有一个个性化节拍点图标库和踩踏效果特效库，在编辑脚谱时，玩家用户可以从列表选取目标节拍点图标样式(即图中的“箭头”样式)和目标踩踏效果特效样式(即图中的“特效”样式)使用到各个节拍点上；参考图6所示，图6是自定义皮肤界面示意图，从皮肤库下载节拍点图标列表和踩踏效果特效列表展示在工具栏，用户可以从右侧的列表上选择目标节拍点图标样式(即图中的“箭头”样式)和目标踩踏效果特效样式(即图中的“特效”样式)，然后应用到左侧编辑区的节拍线位置的脚谱上。

在一个实施例中，由于用户的舞蹈水平差异较大，不同玩家对音乐的敏感程度不同，导致每个用户在编舞时踩踏的时间和动作时间与节拍点位置并非完全一致，据此，本申请还提供自动化节拍修正技术。

据此，在步骤S40的生成编舞脚谱之后，还可以包括：

(a)将所述编舞脚谱划分为若干个分段脚谱；具体的，可以依据编舞音乐的节奏信息来进行划分。

(b)分别计算每个分段脚谱与节拍线之间偏离的局部离差均值；分别根据每个分段脚谱对应的局部离差均值对所述分段脚谱进行初次修正。

(c)计算所述编舞脚谱与节拍线之间偏离的全局离差均值；根据所述全局离差均值对初次修正后的编舞脚谱进行二次修正。

上述实施例的技术方案，通过计算脚谱与节拍线之间的偏离程度，再对对每一段进行上移或下移的操作修正，采用分段修正和全局修正联合，自动为用户的脚谱进行细微修正，从而可以得到与节拍线完全一致的编舞脚谱，保证节拍点与脚谱位置的准确性。

在一个实施例中，在编舞脚谱初步生成后，用户还可以对编舞脚谱进行多次编辑，以得到合适的个性化编舞脚谱。

据此，本申请的舞蹈编辑方法还可以获取用户对所述编舞音乐进行的节奏修改；根据修改后的编舞音乐对所述编舞脚谱执行二次编辑操作，二次编辑时可使用重播，暂停，快放，慢放功能，根据所述二次编辑操作对对所述编舞脚谱进行精细化脚谱修正。

具体的，参考图7所示，图7是二次编辑操作流程示意图；用户可通过鼠标和键盘、遥控器或者触屏的操作方式，重复修正个性化编辑的编舞脚谱。例如，可以通过重播操作来修改脚谱，也可以选择暂停，慢速(二分一、四分一、八分一慢速播放，不修改节奏)，快速播放(1倍、2倍、8倍、16倍、32倍，不修改节奏)，变速(直接变速不变调，修改歌曲节奏)等操作方式，在二次编辑操作时，可以将编舞音乐在显示设备上进行放大显示，方便用户进行精细化的编舞脚谱修正，首次编辑的时候也有暂停，慢速，快速播放，变速等操作，为用户提供多种编辑方式。

另外，用户按照困难程度(如1颗星、2颗星、3颗星、4颗星、5颗星等)设置来修改生成的编舞脚谱，适当踩踏的键位，并可以将每一种类型难度的编舞脚谱，保存上传服务器保存在个人账户中，还可以根据不同难度ID进行保存，同一首编舞脚谱可以支持保存多种不同难度的编舞脚谱。

上述实施例的技术方案，提供了重播、修改编辑功能，通过重播过程，用户可以在任意时间节拍点的编舞脚谱，同时还可以重新做动作，修改踩踏键位或者重新做手势动作，形成新的编舞舞蹈。

在一个实施例中，针对于不同类型用户需求，本申请技术方案可以提供用户可选择自动生成脚谱或个性化设计脚谱的技术方案，据此，作为实施例，参考图8所示，图8是编舞模式分类流程示意图，编舞模式可以设置三种模式供用户进行选择，分别是自动编舞模式、竞速脚谱模式以及个性化编舞模式。

(一)自动编舞模式：

该模式下，由跳舞机根据歌曲风格、节奏等信息自动生成对应BPM(每分钟节拍数的单位)的编舞脚谱，该模式适应于不擅长编辑脚谱的用户，可提供快捷的编舞脚谱生成，并提供对编舞脚谱的二次编辑功能。

作为实施例，该模式下的舞蹈编辑方法，可以根据所述编舞音乐的节拍线和歌曲风格从舞曲库中预存脚谱进行匹配，获取对应节拍的脚谱片段；根据所述脚谱片段对应的人物运动数据，仿真3D动画人物的虚拟肢体舞蹈。

(二)竞速脚谱模式：

该模式下，通过踩踏的键位与节拍点、节奏细节、歌词等相关，要求踩踏的键位必须在节拍点和小拍细节上。

(三)个性化编舞模式：

该模式下，用户可以编辑各类花式类脚谱，便于各种玩家用户自由创作编舞脚谱，可以根据编舞音乐的歌曲风格所对应的舞蹈进行脚谱编辑，编辑完成后自动为编舞脚谱进行节拍点修正，保证编舞脚谱上踩踏的键位与节拍点完全一致。

如上实施例所述，通过个性化编舞模式可以为不同玩家用户提供自由创作空间，因此，为了满足不同难度舞蹈的编舞需求，本申请根据困难程度提供了如下几种编舞舞蹈类型：

A，脚踏板单键脚谱舞蹈；具体的，脚踏板单键脚谱是指每个节拍点只根据发生时间和动捕摄像头判断一个最佳键位信息。

B，脚踏板单键脚谱和手势动作舞蹈；具体的，该编舞舞蹈中脚踏板单键脚谱是每个节拍点只踩踏一个键位，并且包含手势动作。

C，脚踏板多键脚谱舞蹈；具体的，踏板多键脚谱是指每个节拍点根据时间窗上满足压力阈值且动捕摄像头所获得的人体骨骼运动方向与键位方向一致的多个键位信息。

D，脚踏板多键脚谱和手势动作舞蹈；具体的，该编舞舞蹈中脚踏板多键脚谱是每个节拍点踩踏多个键位，并且包含手势动作。

示例性的，可以将脚踏板单键脚谱舞蹈(A)、脚踏板单键脚谱和手势动作舞蹈(B)、脚踏板多键脚谱舞蹈(C)以及脚踏板多键脚谱和手势动作舞蹈(D)的难度系数分为1颗星、2颗星、3颗星和4颗星；在A类型中，一个节拍点只允许一个放置一个脚谱方向的键位，每个节拍点一个踩踏脚踏板上的一个箭头，识别规则为结合键位方向信号和人体运动数据，综合识别哪个键位为用户当前踩踏的键位；在B类型中，同时识别一个脚谱方向的键位和用户双手的手势方向；在C类型中，一个节拍点范围内可同时放置多个脚谱方向的箭头，同时根据键位方向信号和人体运动数据来综合判定踩踏的多个键位；在D类型中，在识别脚踏板上的多个箭头的同时，根据键位方向信号和人体运动数据识别用户双手的手部动作；通过上述技术方案设置，可以逐步增加游戏难度，以实现编舞的多元化，适应不同层次玩家用户的需求，提升用户体验。

在一个实施例中，为了不断提升用户的编舞质量，本申请还提供了评分排名的技术方案，通过采用相似度计算评分和采用多维特征联合评定策略。

据此，参考图9所示，图9是对编舞脚谱进行排序流程示意图，本申请的舞蹈编辑方法，还可以获取编舞舞蹈的编舞脚谱；计算自动编舞即编舞脚谱与舞曲库中的预存脚谱之间的相似度，并对所述相似度对所述编舞舞蹈进行评价得到评分值；根据所述评分值向其他用户推荐所述编舞舞蹈。进一步的，在推荐编舞舞蹈后，还可以获取已推荐的编舞舞蹈的评价数据；采用层次分析法确定各个评价指标的权重；根据所述评价数据及权重计算编舞舞蹈的热度值；根据所述热度值对待推荐的编舞舞蹈进行排序。

基于上述实施例，示例性的，可以设定编舞脚谱的音乐(song id)，脚谱(feetid)，3D人物动画(action id)，三维人物运动数据(3d move id)，然后将上述编舞脚谱上传到服务器进行评分和排名，计算积分算入个人账户；根据用户的个人音乐风格，可为用户定期推荐对应风格且排名靠前的音乐，供用户点播使用。

具体的，服务器采用余弦相似度计算该编舞脚谱与舞曲库的脚谱进行比对，相似度越低，则创造力越高，为用户的创新程度评分，再根据用户上传的编舞脚谱，根据其风格类型，定期计算新编舞脚谱的热度值，采用层次分析法确定每个指标(如点赞量、点播量、评论质量、转发分享量、顶踩数量、远程PK值、流畅度、连贯度等)的权重，从而计算获得对应风格的排序，计算公式如下：

式中，H为连贯度，A为点赞量、B为点播量、C为评论质量、D为转发分享量、E为顶踩数量、F为远程PK值、G为流畅度，

为系数。

Ⅰ，在激励机制上的指标，点赞、评论、转发、点播量越高，则其排名计算的比重越高。

Ⅱ，顶的数量与踩的数量反映了该编舞脚谱在其他玩家用户心中的喜爱程度，顶的数量越高，其排名计算比重越高，但踩的数量越高，其排名惩罚的比重越高，降低该编舞脚谱的排名，甚者会被清理，只存放个人账户中。

Ⅲ，远程PK的功能，满足玩家用户通过网络平台与各地玩家用户进行联网PK，PK会进行排名，排名考前且参与人数较多的，则其排名得分也会越高。

Ⅳ，流畅度和连贯度打分，主要是玩家用户可根据自身的游戏体验，评判该编舞脚谱的连贯性和流畅性，若流畅度较低且除此参数外的其他参数排名较高的编舞脚谱，则可以由专业的编舞师和高级竞速玩家联合修正进行推荐。

上述实施例的技术方案，可以提升玩家的创作热情，特别是针对高级玩家可根据自身的能力，创作极具挑战性的竞速类脚谱和极具艺术性的花式类脚谱等。

下面阐述舞蹈编辑装置的实施例。

参考图10所示，图10是一个实施例的舞蹈编辑装置的结构示意图，包括：

音乐处理模块10，用于获取编舞音乐并识别所述编舞音乐的各个节拍点，向用户播放所述编舞音乐以辅助进行编舞；

信息采集模块20，用于在用户编舞时，在各个节拍点位置采集脚踏板产生的键位方向信号，并通过动捕摄像头获取在相应节拍点位置的人体运动数据；

联合判定模块30，用于根据所述键位方向信号和所述人体运动数据对各个所述节拍点对应的踩踏键位进行联合判定得到有效踩踏键位；

脚谱生成模块40，用于根据所述编舞音乐及各个节拍点对应的有效踩踏键位生成编舞脚谱。

本实施例的舞蹈编辑装置可执行本公开的实施例所提供的一种舞蹈编辑方法，其实现原理相类似，本公开各实施例中的舞蹈编辑装置中的各模块所执行的动作是与本公开各实施例中的舞蹈编辑方法中的步骤相对应的，对于舞蹈编辑装置的各模块的详细功能描述具体可以参见前文中所示的对应的舞蹈编辑方法中的描述，此处不再赘述。

下面阐述跳舞机的实施例。

本申请提供的跳舞机，包括：主机，以及与所述主机连接的显示设备、动捕摄像头和脚踏板；其中，所述主机还连接服务器。

在使用中，所述主机被配置为用于执行任意实施例的舞蹈编辑方法的步骤；所述动捕摄像头用于拍摄编舞的图像数据并输出人体运动数据；所述脚踏板用于输出键区被踩踏的键位方向信号；所述显示设备用于显示画面信息。

下面阐述本申请的计算机设备的实施例，该计算机设备，其包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据上述任意实施例的舞蹈编辑方法。

下面阐述本申请的计算机可读存储介质的实施例，所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行上述任意实施例的的舞蹈编辑方法。

上述舞蹈编辑装置、跳舞机、计算机设备、计算机可读存储介质；可在跳舞机上进行准确的编舞，降低了编舞难度和复杂性，降低了普通玩家编舞入门的门槛，提升用户应用体验。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (17)

1.一种舞蹈编辑方法，其特征在于，包括：

获取编舞音乐并识别所述编舞音乐的各个节拍点，向用户播放所述编舞音乐以辅助进行编舞；

在用户编舞时，在各个节拍点位置采集脚踏板产生的键位方向信号，并通过动捕摄像头获取在相应节拍点位置的人体运动数据；

根据所述键位方向信号和所述人体运动数据对各个所述节拍点对应的踩踏键位进行联合判定得到有效踩踏键位；

根据所述编舞音乐及各个节拍点对应的有效踩踏键位生成编舞脚谱。

2.根据权利要求1所述的舞蹈编辑方法，其特征在于，根据所述键位方向信号和所述人体运动数据对各个所述节拍点对应的踩踏键位进行联合判定得到有效踩踏键位，包括：

当采集到的键位方向信号达到有效踩踏的压力阈值时，则输出所述键位方向信号对应的键位为有效踩踏键位；

当采集到的键位方向信号未达到有效踩踏的压力阈值，则根据所述人体运动数据计算各个肢体之间的相对距离和相对角度；

若所述相对距离和相对角度均达到判定阈值，则输出所述键位方向信号对应的键位为有效踩踏键位。

3.根据权利要求1所述的舞蹈编辑方法，其特征在于，在根据各个节拍点对应的有效踩踏键位生成编舞脚谱之后，还包括：

将所述编舞脚谱划分为若干个分段脚谱；

分别计算每个分段脚谱与节拍线之间偏离的局部离差均值；其中，所述节拍线为节拍点辅助线；

分别根据每个分段脚谱对应的局部离差均值对所述分段脚谱进行初次修正；

计算所述编舞脚谱与节拍线之间偏离的全局离差均值；

根据所述全局离差均值对初次修正后的编舞脚谱进行二次修正。

4.根据权利要求1所述的舞蹈编辑方法，其特征在于，根据所述编舞音乐及各个节拍点对应的有效踩踏键位生成编舞脚谱，包括：

获取所述编舞音乐的各个节拍点对应节拍线；其中，所述节拍线为节拍点辅助线；

将所述各个节拍点对应的有效踩踏键位与所述节拍线进行对齐，结合所述编舞音乐生成编舞脚谱。

5.根据权利要求1所述的舞蹈编辑方法，其特征在于，还包括：

根据所述人体运动数据获取各个所述节拍点对应的手部位置信息；

根据所述手部位置信息生成各个所述节拍点对应的手势动作；

根据所述手势动作及编舞脚谱生成编舞舞蹈。

6.根据权利要求5所述的舞蹈编辑方法，其特征在于，还包括：

采用3D渲染技术并根据所述人体运动数据生成所述编舞舞蹈对应的虚拟舞蹈视频；

将所述虚拟舞蹈视频保存在服务器中，用于在该编舞舞蹈被点播时进行动画人物的同步演示。

7.根据权利要求5所述的舞蹈编辑方法，其特征在于，在用户编舞时，还包括：

通过视频画面在每一个节拍点进行闪动；

提示用户准备进行踩踏键位或手势动作；

在用户踩中键位后，通过视频画面向用户显示踩中的键位或者同步演示3D手势动作。

8.根据权利要求5所述的舞蹈编辑方法，其特征在于，所述编舞舞蹈包括：脚踏板单键脚谱舞蹈，脚踏板单键脚谱和手势动作舞蹈，脚踏板多键脚谱舞蹈，或者脚踏板多键脚谱和手势动作舞蹈；

其中，所述脚踏板单键脚谱是指每个节拍点只踩踏一个键位，所述脚踏板多键脚谱是指每个节拍点踩踏多个键位。

9.根据权利要求4所述的舞蹈编辑方法，其特征在于，获取编舞音乐并识别所述编舞音乐的各个节拍点，包括：

通过信号源获取至少一首音乐；

选取每首音乐的至少一个曲段进行拼接得到编舞音乐；

对所述编舞音乐进行STFT频谱分析获得编舞音乐对应时间的节拍点，生成与节拍点对齐的节拍线。

10.根据权利要求1所述的舞蹈编辑方法，其特征在于，在各个节拍点位置采集脚踏板产生的键位方向信号，包括：

以各个节拍点为时间戳，并根据设定的时间范围确定信号捕捉窗口，并在所述捕捉窗口内持续检测脚踏板被踩踏时输出的变化信号。

11.根据权利要求1所述的舞蹈编辑方法，其特征在于，还包括：

获取用户对所述编舞音乐进行的节奏修改；

根据修改后的编舞音乐对所述编舞脚谱执行二次编辑操作，根据所述二次编辑操作对对所述编舞脚谱进行精细化脚谱修正。

12.根据权利要求5所述的舞蹈编辑方法，其特征在于，还包括：

获取编舞舞蹈的编舞脚谱；

计算所述编舞脚谱与舞曲库中的预存脚谱之间的相似度，并对所述相似度对所述编舞舞蹈进行评价得到评分值；

根据所述评分值向其他用户推荐所述编舞舞蹈。

13.根据权利要求12所述的舞蹈编辑方法，其特征在于，还包括：

获取已推荐的编舞舞蹈的评价数据；

采用层次分析法确定各个评价指标的权重；

根据所述评价数据及权重计算编舞舞蹈的热度值；

根据所述热度值对待推荐的编舞舞蹈进行排序。

14.根据权利要求12所述的舞蹈编辑方法，其特征在于，还包括：

根据所述编舞音乐的节拍线和歌曲风格从舞曲库中预存脚谱进行匹配，获取对应节拍的脚谱片段；根据所述脚谱片段对应的人物运动数据，仿真3D动画人物的虚拟肢体舞蹈。

15.根据权利要求1所述的舞蹈编辑方法，其特征在于，在根据各个节拍点对应的有效踩踏键位生成编舞脚谱之后，还包括：

向服务器的皮肤库请求节拍点图标列表和踩踏效果特效列表；

在脚谱编辑工具栏展示所述节拍点图标列表和踩踏效果特效列表；

获取用户在所述节拍点图标列表和踩踏效果特效列表上选择的目标节拍点图标样式和目标踩踏效果特效样式；

将所述目标节拍点图标样式替换编辑区的节拍点图标样式，并控制所述节拍线以所述目标踩踏效果特效样式进行演示。

16.一种舞蹈编辑装置，其特征在于，包括：

音乐处理模块，用于获取编舞音乐并识别所述编舞音乐的各个节拍点，向用户播放所述编舞音乐以辅助进行编舞；

信息采集模块，用于在用户编舞时，在各个节拍点位置采集脚踏板产生的键位方向信号，并通过动捕摄像头获取在相应节拍点位置的人体运动数据；

联合判定模块，用于根据所述键位方向信号和所述人体运动数据对各个所述节拍点对应的踩踏键位进行联合判定得到有效踩踏键位；

脚谱生成模块，用于根据所述编舞音乐及各个节拍点对应的有效踩踏键位生成编舞脚谱。

17.一种跳舞机，其特征在于，包括：主机，以及与所述主机连接的显示设备、动捕摄像头和脚踏板；其中，所述主机还连接服务器；

所述主机被配置为用于执行权利要求1-15任一项所述的舞蹈编辑方法的步骤；

所述动捕摄像头用于拍摄编舞的图像数据并输出人体运动数据；

所述脚踏板用于输出键区被踩踏的键位方向信号；

所述显示设备用于显示画面信息。

Images