CN111276113B - 基于音频生成按键时间数据的方法和装置 - Google Patents

Abstract

本申请公开了一种基于音频生成按键时间数据的方法和装置，属于音频技术领域。该方法包括：基于目标音频的音频帧人声重音检测模型，确定目标音频中的人声音频对应的每个重音时间点；基于目标音频的音频帧和长音检测模型，确定目标音频数据中每个长音音频对应的长音时间段，其中，长音音频是持续时长大于预设阈值的音频；基于目标音频的音频帧和音频突变检测模型，确定目标音频的伴奏音频中存在音频突变的突变时间点；基于重音时间点、突变时间点和拍子时间点，生成目标音频对应的短按键时间数据和滑动按键时间数据中的至少一种，基于长音时间段和拍子时间点生成目标音频对应的长按键时间数据。采用本申请，可以提高生成按键时间数据的灵活性。

Description

基于音频生成按键时间数据的方法和装置

技术领域

本申请涉及音频技术领域，特别涉及一种基于音频生成按键时间数据的方法和装置。

背景技术

终端如手机上可以安装各种娱乐类游戏以丰富业余生活，例如，终端上可以安装节奏游戏，节奏游戏也即是一种跟着音频的播放进行的游戏。具体的，这种游戏中每一关都配有一首音频，音频播放的过程中，游戏界面的预设位置出会出现多种按键，这些按键是虚拟按键，可以包括短按键、长按键等。例如，当短按键出现在游戏界面的预设位置时，用户点击一下该短按键即可得分；又例如，当长按键出现在游戏界面的预设位置时，用户点击该长按键直至该长按键消失即可得分。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

相关技术中，游戏中的按键大多是技术人员根据音频的节奏，人工生成对应的按键时间数据的，相关技术中基于音频数据人工生成按键时间数据的方法的灵活性较差。

发明内容

本申请实施例提供了一种基于音频生成按键时间数据的方法和装置，能够解决相关技术中的问题。所述技术方案如下：

根据本申请实施例中，提供一种基于音频生成按键时间数据的方法，所述方法包括：

基于目标音频的音频帧和预先训练的人声重音检测模型，确定所述目标音频中的人声音频对应的每个重音时间点；

基于所述目标音频的音频帧和预先训练的长音检测模型，确定所述目标音频数据中每个长音音频对应的长音时间段，其中，所述长音音频是持续时长大于预设阈值的音频；

基于所述目标音频的音频帧和预先训练的音频突变检测模型，确定所述目标音频的伴奏音频中存在音频突变的突变时间点；

基于所述重音时间点、所述突变时间点和所述目标音频中的拍子时间点，生成所述目标音频对应的短按键时间数据和滑动按键时间数据中的至少一种；

基于所述长音时间段和所述拍子时间点，生成所述目标音频对应的长按键时间数据。

可选的，所述方法还包括：

确定所述目标音频中的拍子时间点；

所述基于所述重音时间点、所述突变时间点和所述目标音频中的拍子时间点，生成所述目标音频对应的短按键时间数据和滑动按键时间数据中的至少一种，包括：

将每个重音时间点和每个突变时间点调整至最邻近的拍子时间点上；

基于调整后的重音时间点和调整后的突变时间点，生成所述目标音频对应的短按键时间数据和滑动按键时间数据中的至少一种；

所述基于所述长音时间段和所述拍子时间点，生成所述目标音频对应的长按键时间数据，包括：

将每个长音时间段的起始时间点调整至最邻近的拍子时间点上；

基于调整后的长音时间段，生成所述目标音频对应的长按键时间数据。

可选的，所述确定所述目标音频中的拍子时间点，包括：

基于预先训练的强拍检测模型，确定所述目标音频中的强拍时间点序列；

基于所述强拍时间点序列，确定所述目标音频中的强拍时间间隔；

基于预先设置的节拍和所述强拍时间间隔，确定所述目标音频中的拍子时长；

基于所述拍子时长，确定所述目标音频中的拍子时间点。

可选的，所述基于目标音频的音频帧和预先训练的人声重音检测模型，确定所述目标音频中的人声音频对应的每个重音时间点，包括：

基于所述目标音频中每个音频帧的频谱特征和预先训练的人声重音检测模型中，确定人声重音标识；

基于每个人声重音标识对应的音频帧，确定重音时间点。

可选的，所述基于所述目标音频的音频帧和预先训练的长音检测模型，确定所述目标音频数据中每个长音音频对应的长音时间段，包括：

基于所述目标音频中每个音频帧的频谱特征和预先训练的长音检测模型中，确定长音标识，其中，所述长音标识包括长音开始标识、长音持续标识和长音结束标识；

基于每个长音标识对应的音频帧，确定长音时间段。

可选的，所述基于所述目标音频的音频帧和预先训练的音频突变检测模型，确定所述目标音频的伴奏音频中存在音频突变的突变时间点，包括：

基于所述目标音频中每个音频帧的频谱特征，以及预先训练的音频突变检测模型，确定突变概率；

基于大于预设阈值的突变概率对应的音频帧，以及所述目标音频的伴奏音频对应的时间段，确定所述伴奏音频中存在音频突变的突变时间点。

根据本申请实施例，提供了一种基于音频生成按键时间数据的装置，所述装置包括：

重音确定模块，用于基于目标音频的音频帧和预先训练的人声重音检测模型，确定所述目标音频中的人声音频对应的每个重音时间点；

长音确定模型，用于基于所述目标音频的音频帧和预先训练的长音检测模型，确定所述目标音频数据中每个长音音频对应的长音时间段，其中，所述长音音频是持续时长大于预设阈值的音频；

突变确定模块，用于基于所述目标音频的音频帧和预先训练的音频突变检测模型，确定所述目标音频的伴奏音频中存在音频突变的突变时间点；

第一生成模块，用于基于所述重音时间点、所述突变时间点和所述目标音频中的拍子时间点，生成所述目标音频对应的短按键时间数据和滑动按键时间数据中的至少一种；

第二生成模块，用于基于所述长音时间段和所述拍子时间点，生成所述目标音频对应的长按键时间数据。

可选的，所述装置还包括：

拍子确定模块，用于确定所述目标音频中的拍子时间点；

所述第一生成模块，具体用于：将每个重音时间点和每个突变时间点调整至最邻近的拍子时间点上；基于调整后的重音时间点和调整后的突变时间点，生成所述目标音频对应的短按键时间数据和滑动按键时间数据中的至少一种；

所述第二生成模块，具体用于：将每个长音时间段的起始时间点调整至最邻近的拍子时间点上；基于调整后的长音时间段，生成所述目标音频对应的长按键时间数据。

可选的，所述拍子确定模块，用于：

基于预先训练的强拍检测模型，确定所述目标音频中的强拍时间点序列；

基于所述强拍时间点序列，确定所述目标音频中的强拍时间间隔；

基于预先设置的节拍和所述强拍时间间隔，确定所述目标音频中的拍子时长；

基于所述拍子时长，确定所述目标音频中的拍子时间点。

可选的，所述重音确定模块，用于：

基于所述目标音频中每个音频帧的频谱特征和预先训练的人声重音检测模型中，确定人声重音标识；

基于每个人声重音标识对应的音频帧，确定重音时间点。

可选的，所述长音确定模型，用于：

基于所述目标音频中每个音频帧的频谱特征和预先训练的长音检测模型中，确定长音标识，其中，所述长音标识包括长音开始标识、长音持续标识和长音结束标识；

基于每个长音标识对应的音频帧，确定长音时间段。

可选的，所述突变确定模块，用于：

基于所述目标音频中每个音频帧的频谱特征，以及预先训练的音频突变检测模型，确定突变概率；

基于大于预设阈值的突变概率对应的音频帧，以及所述目标音频的伴奏音频对应的时间段，确定所述伴奏音频中存在音频突变的突变时间点。

根据本申请实施例，提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上述所述的基于音频生成按键时间数据的方法所执行的操作。

根据本申请实施例，提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上述所述的基于音频生成按键时间数据的方法所执行的操作。

本申请实施例提供的技术方案带来的有益效果是：

在本申请实施例中，电子设备在基于音频生成按键时间数据时，可以基于目标音频的音频帧和预先训练的人声重音检测模型，确定所述目标音频中的人声音频对应的每个重音时间点；基于所述目标音频的音频帧和预先训练的长音检测模型，确定所述目标音频数据中每个长音音频对应的长音时间段，其中，所述长音音频是持续时长大于预设阈值的音频；基于所述目标音频的音频帧和预先训练的音频突变检测模型，确定所述目标音频的伴奏音频中存在音频突变的突变时间点；之后，基于所述重音时间点、所述突变时间点和拍子时间点，生成所述目标音频对应的短按键时间数据和滑动按键时间数据中的至少一种，基于长音时间段和拍子时间点生成目标音频对应的长按键时间数据。游戏中的按键对应的按键时间数据不仅可以通过技术人员手动设置而生成，还可以使用上述方法生成，进而可以提高生成按键时间数据的灵活性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的基于音频生成按键时间数据的方法流程图；

图2是本申请实施例提供的基于音频生成按键时间数据的方法流程图；

图3是本申请实施例提供的基于音频生成按键时间数据的装置结构示意图；

图4是本申请实施例提供的基于音频生成按键时间数据的装置结构示意图；

图5是本申请实施例提供的基于音频生成按键时间数据的装置结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请实施例提供一种基于音频生成按键时间数据的方法，该方法可以由电子设备来执行，其中，电子设备可以是服务器，也可以是终端。其中，服务器可以是游戏应用程序的后台服务器(可以简称为服务器)；终端可以是智能手机、电脑、平板电脑等。

如图1所示，该方法的处理流程可以包括如下步骤：

其中，本实施例中涉及到的时间点，可以以每一首音频的开始作为零时刻开始计时。

在步骤101中，电子设备基于目标音频的音频帧和预先训练的人声重音检测模型，确定目标音频中的人声音频对应的每个重音时间点。

其中，目标音频也即是待处理的音频数据，例如，可以是音乐。

重音时间点可以是目标音频中的人声音频中，重而且清楚的发音对应的时间点，例如，对于中文音乐，重音时间点可以是人声中每一个字的起始时间点，又例如，对于外文音乐，重音时间点可以是人声中重读音节对应的时间点。

在实施中，电子设备获取待处理的音频(也即是目标音频)之后，可以使用通过机器学习训练的人声重音检测模型，确定人声音频对应的每个重音时间点。具体的可以是，首先，电子设备可以基于目标音频中每个音频帧的频谱特征和预先训练的人声重音检测模型，确定人声重音标识。然后，电子设备再基于每个人声重音标识对应的音频帧，确定重音时间点。

其中，音频帧的频谱特征也即是在时间、频率和振幅组成的三维数据中，该音频帧对应的时间点下的频谱数据。

在实施中，人声重音标识是用于表示人声重音的标记，其中，人声重音也是一种突变音频，所以人声重音检测模型可以在突变音频中确定人声重音。例如，在训练人声重音检测模型的过程中，技术人员可以使用1表示人声重音标识，使用2表示音频突变标识，使用0表示除人声重音标识和音频突变标识以外的标识，那么该人声重音检测模型在检测的过程中，对于每一个音频帧的频谱特征，可以得到0或者1或者2。当然，人声重音检测模型也可以只检测人声重音和非人声重音，例如，在训练人声重音检测模型的过程中，技术人员可以使用1表示人声重音标识，使用0表示非人声重音标识，那么在使用该人声重音检测模型检测人声重音的过程中，对于每一个音频帧的频谱特征，可以得到0或者1。其中，人声重音检测模型在检测的过程中具体能够输出的标识不做限制，能够检测出人声重音即可。

这样，电子设备可以一次向人声重音检测模型输入多个音频帧，人声重音检测模型对每个音频帧的频谱特征进行检测，得到每一个音频帧的标识，这些标识包括人声重音标识和非人声重音标识，人声重音检测模型输出多个音频帧的标识。电子设备再将上述标识中的人声重音标识对应的音频帧对应的时间点，确定为重音时间点。例如，人声重音标识对应的音频帧为第i个音频帧，其中，i大于或者等于1，音频帧的步长d为预设数值，例如可以是10毫秒，那么，第i个音频帧对应的时间点t为d×i。

其中，人声重音检测模型的训练过程可以是，技术人员可以选取一定数量的音乐，这些音乐中可以包括中文音乐和外文音乐，然后将每一首音乐中的人声音频的重音时间点标记出来。技术人员可以将对人声音频的重音时间点进行标记过的音乐，作为训练样本，进行训练，得到人声重音检测模型。

在步骤102中，电子设备基于目标音频的音频帧和预先训练的长音检测模型，确定目标音频数据中每个长音音频对应的长音时间段。

其中，长音音频是持续时长大于预设阈值的音频，例如，音乐中的人声，某一段歌词中最后一个字持续的时间通常比较长，是一种长音音频，又例如，音乐中的某一段伴奏中，某一个乐器最后的击打声持续的时间通常比较长，也是一种长音音频。

在实施中，电子设备获取目标音频之后，可以使用通过机器学习训练的长音检测模型，确定目标音频数据中每个长音音频对应的长音时间段。具体的可以是，电子设备基于目标音频中每个音频帧的频谱特征和预先训练的长音检测模型中，确定长音标识，其中，长音标识包括长音开始标识、长音持续标识和长音结束标识。然后，电子设备基于每个长音标识对应的音频帧，确定长音时间段。

其中，长音标识也即是用于表示长音音频的标记，由于长音音频包括长音开始时间点、长音持续时间点和长音结束时间点，其中，长音持续时间点也即是处于长音开始时间点和长音结束时间点的时间点，进而，长音标识可以包括长音开始标识、长音持续标识和长音结束标识。例如，技术人员在训练长音检测模型时，可使用0标识非长音标识，使用1表示长音开始标识，使用2表示长音持续标识，使用3表示长音结束标识。

这样，电子设备可以每次向长音检测模型输入多个音频帧的频谱特征，长音检测模型可以对每一个音频帧的频谱特征进行检测，得到每一个音频帧的标识，这些标识可以是长音标识或者非长音标识，例如，上述标识可以是0或者1或者2或者3，然后长音检测模型输出多个音频帧的标识。之后，电子设备再从上述标识中确定长音标识，并基于每个长音标识对应的音频帧，确定长音时间段。例如，电子设备将所有的音频帧(或者多个音频帧)输入到长音检测模型之后，便可以得到由0、1、2和3组成的数据，例如，00001222312231222223000001222312222223……，电子设备再从上述标识中，确定长音标识，基于长音标识对应的音频帧，确定长音时间段。

需要指出的是，使用长音检测模型检测长音音频的过程中，电子设备可以每次向长音检测模型输入多个音频帧(如输入128个音频帧)，长音检测模型对这多个音频帧的频谱特征进行逐个检测，得到每一个音频帧的标识，然后输出这多个音频帧的标识(如输出128个音频帧的标识)。其中，长音检测模型在检测当前音频帧的频谱特征时，会考虑当前音频帧的频谱特征与临近音频帧的频谱特征之间的关系，然后再得到当前音频帧的标识。

其中，长音检测模型的训练过程可以是，技术人员可以选取一定数量的音乐，这些音乐中可以包括中文音乐和外文音乐，然后将每一首音乐中的长音开始时间点使用长音开始标识标记出来，长音持续时间段使用长音持续时间标识标记出来，长音结束时间点使用长音结束标识标记出来，然后将它们作为训练样本进行训练，得到长音检测模型。

在步骤103中，电子设备基于目标音频的音频帧和预先训练的音频突变检测模型，确定目标音频的伴奏音频中存在音频突变的突变时间点。

其中，音频突变是音频数据中的音高转折点，例如，由一种乐器向另一种乐器的转变，或者，同一种乐器中，由一个音高到另一个音高的转变。

在实施中，电子设备获取目标音频之后，可以使用通过机器学习训练的音频突变检测模型，确定目标音频的伴奏音频中存在音频突变的突变时间点。具体的，首先，电子设备可以基于目标音频中每个音频帧的频谱特征，以及预先训练的音频突变检测模型，确定每一个音频帧的突变概率。然后，电子设备再基于大于预设阈值的突变概率对应的音频帧，以及目标音频的伴奏音频对应的时间段，确定伴奏音频中存在音频突变的突变时间点。

其中，突变概率也即是，该音频帧对应的时间点为突变时间点的概率值，在0至1之间取值。

这样，音频突变检测模型可以对目标音频中每一个音频帧的频谱特征进行检测，得到每个音频帧的突变概率。之后电子设备可以基于突变概率的大小，筛选出突变概率大于预设阈值的音频帧，不妨记为大突变概率音频帧，如果这些大突变概率音频帧对应的时间点处于伴奏音频所在的时间段，则这些大突变概率音频帧对应的时间点，即为伴奏音频中存在音频突变的突变时间点。而如果这些大突变概率音频帧对应的时间点处于人声音频所在的时间段，则舍弃。

需要指出的是，使用音频突变检测模型检测音频突变的过程中，电子设备每次向音频突变检测模型输入多个音频帧(如128个音频帧)，音频突变检测模型对这多个音频帧的频谱特征进行逐个检测，得到每一个音频帧的突变概率，然后输出这多个音频帧的突变概率(如输出128个音频帧的突变概率)。其中，音频突变检测模型在检测当前音频帧的频谱特征时，会考虑当前音频帧的频谱特征与临近音频帧的频谱特征之间的关系，然后再得到当前音频帧的突变概率。

在步骤104中，电子设备基于重音时间点、突变时间点和目标音频中的拍子时间点，生成目标音频对应的短按键时间数据和滑动按键时间数据中的至少一种。

其中，按键时间数据是按键在目标音频中的时间位置。例如，目标音频对应的游戏中可以包括短按键和滑动按键。

短按键时间数据与短按键相对应是点击短按键的时间点。滑动按键时间数据与滑动按键相对应，可以包括滑动按键的开始时间点和滑动方向，其中滑动方向可以包括向上、向下、向左、向右、左上以及左下等，每个滑动按键数据中的滑动方向可以随机确定，也可以由技术人员灵活设定。

在实施中，为了校正上述通过机器学习训练的模型确定重音时间点和突变时间点，相应的，可以通过音乐的节拍来校正，具体的可以是，电子设备在生成短按键时间数据和滑动按键时间数据中的至少一种之前(例如，可以在步骤103和步骤104之间，也可以在步骤101或者步骤103之前)，该方法还包括电子设备确定目标音频中的拍子时间点。

之后，电子设备可以将每个重音时间点和每个突变时间点调整到最邻近的拍子时间点上，基于调整后的重音时间点和调整后的突变时间点，生成短按键时间数据和滑动按键时间数据中的至少一种。

其中，生成短按键时间数据和滑动按键时间数据中的至少一种，也即是，可以生成短按键时间数据，也可以生成滑动按键时间数据，还可以生成短按键时间数据和滑动时间数据。也可以全部是短按键时间数据，也可以全部是滑动按键时间数据，还可以是短按键时间数据和滑动时间数据的混合。

其中，可以以生成短按键时间数据和滑动时间数据的混合进行示例，生成短按键时间数据和滑动按键时间数据可以提高游戏的难度，增强游戏的趣味性。

在实施中，电子设备可以根据预先设置的短按键与滑动按键的分布规则，生成短按键时间数据和滑动按键时间数据。其中，分布规则是短按键和滑动按键的出现情况，例如，可以是每两个短按键对应一个滑动按键，或者，短按键和滑动按键交替出现，或者，短按键和滑动按键随机出现等。

在步骤105中，电子设备基于长音时间段和拍子时间点，生成目标音频对应的长按键时间数据。

其中，如上述所述，按键时间数据是按键在目标音频中的时间位置。例如，目标音频对应的游戏中还可以包括长按键，长按键时间数据与长按键相对应，可以包括开始点击长按键的时间点、长按长按键的时长和结束点击长按键的时间点。

在实施中，为了校正上述通过机器学习训练的模型确定的长音时间段，相应的，可以通过音乐的节拍来校正，具体的可以是，电子设备在生成长按键时间数据之前(例如，可以在步骤103和步骤104之间，也可以在步骤101或者步骤102或者步骤103之前)，该方法还包括电子设备确定目标音频中的拍子时间点。

之后，电子设备将每个长音时间段的起始时间点调整至最邻近的拍子时间点上，基于调整后的长音时间段，生成所述目标音频对应的长按键时间数据。

在实施中，一首音乐中，具有特性的一些时间点通常是重音时间点、长音时间段和突变时间点，所以，电子设备得到目标音频的重音时间点、长音时间段和突变时间点之后，便可以在这些重音时间点、长音时间段和突变时间点上设置按键时间数据(该按键时间数据包括短按键时间数据、滑动按键时间数据和长按键时间数据)。例如，电子设备可以基于重音时间点和突变时间点，生成目标音频对应的短按键时间数据，基于长音时间段，生成目标音频对应的长按键时间数据。

需要指出的是，上述步骤101、步骤102和步骤103可以同时进行，也可以是依次进行，本实施例对此不做限制。

基于上述所述，游戏中的按键对应的按键时间数据不仅可以通过技术人员手动设置而生成，还可以使用上述方法生成，可见，可以提高生成按键时间数据的灵活性。

另外，上述生成的按键时间数据都是根据音乐中具有特性的时间点或者时间段，进而，使用户能够跟随者音乐的节奏对游戏界面中的按键进行相应的操作，进而提高了游戏的娱乐性。

而且，上述生成按键时间数据的方法中，在人声音频中按键时间数据跟着人声音频而设置，在伴奏音频中按键时间数据根据伴奏音频而设置，进而，可以降低游戏界面中按键操作的混乱性，提高游戏中按键操作的规律性，使用户在玩游戏的过程中，跟着音乐的节奏感更强。

可选的，为了校正上述通过机器学习训练的模型确定重音时间点、长音时间段和突变时间点，相应的，可以通过音乐的节拍来校正，具体的可以是，电子设备在生成按键时间数据之前(例如，可以在步骤103和步骤104之间，也可以在步骤101或者步骤102或者步骤103之前)，该方法还包括电子设备确定目标音频中的拍子时间点。之后，电子设备将每个重音时间点、每个突变时间点和每个长音时间段的起始时间点调整到最邻近的拍子时间点上，基于调整后的重音时间点、突变时间点和长音时间段，生成目标音频对应的按键时间数据。

如上述所述，在生成短按键时间数据、滑动按键时间数据和长按键时间数据中均用到了目标音频中的拍子时间点，其中，拍子时间点可以根据目标音频的节拍来确定。

其中，节拍是衡量音乐节奏的单位，是强拍和弱拍的组合规律，有一定强弱分别的一系列拍子在每隔一定时间重复出现，比较常见的节拍有1/4拍、2/4拍、3/4拍和4/4拍等，1/4拍的含义是，以四分音符为一拍，每小节有1拍，其他节拍的含义可以以此类推，一首音乐的节拍是作曲时就固定的，不会发生改变。拍子时间点也即是，节拍中每一个拍子对应的时间点，音乐中拍子可以包括整拍、半拍等，拍子时间点可以只包括整拍时间点，也可以既包括整拍时间点和半拍时间点。

例如，如果拍子时间点只包括整拍时间点，那么，电子设备可以将每个重音时间点、每个突变时间点和每个长音时间段的起始时间点调整到最邻近的整拍时间点上，基于调整后的重音时间点、突变时间点和长音时间段，生成目标音频对应的按键时间数据。这种方式可以针对节奏比较快的音乐，也即是，对于整拍时长比较短的音乐，拍子时间点可以只包括整拍时间点。

又例如，如果拍子时间点包括整拍时间点和半拍时间点，那么，电子设备可以将每个重音时间点、每个突变时间点和每个长音时间段的起始时间点调整到最邻近的整拍时间点或者半拍时间点上，基于调整后的重音时间点、突变时间点和长音时间段，生成目标音频对应的按键时间数据。

这样，电子设备使用拍子时间点对确定的重音时间点、长音时间段和突变时间点进行校正，可以提高按键时间数据的节奏与目标音频的节奏之间的一致性，进而提高游戏的娱乐性，提高游戏应用程序的留存率。

其中，电子设备确定目标音频中拍子时间点的过程可以按照如图2所示的流程执行：

在步骤201中，电子设备基于预先训练的强拍检测模型，确定目标音频中的强拍时间点序列。

其中，强拍时间点序列也即是由强拍时间点组成的时间序列，强拍也即是能量大于预设阈值的拍子，那么强拍时间点也即是能量大于预设阈值的拍子对应的时间点。

在实施中，电子设备可以将目标音频中每个音频帧输入到强拍检测模型，得到强拍标识和非强拍标识，然后，电子设备基于强拍标识，确定对应的强拍音频帧，之后，将强拍音频帧对应的时间点确定为强拍时间点，进而，可以由多个强拍时间点，确定目标音频中的强拍时间点序列。例如，目标音频中的强拍时间点序列可以是{t₁、t₂、t₃、……、t_i、……、t_n}，其中，i是1至n中任意一个数，n大于或者等于1，t_i表示第i个强拍对应的强拍时间点。

在步骤202中，电子设备基于强拍时间点序列，确定目标音频中的强拍时间间隔。

在实施中，通常情况下，一首音乐的节奏定下来之后，其强拍时间间隔，也即是相邻两个强拍之间的时间间隔就固定下来了，那么，上述的强拍时间点序列呈线性变化，相应的，可以通过最小二乘法拟合出强拍时间点序列中强拍时间点的线性关系，可以表达为：t(n)＝k×n+b，式中，k即表示强拍时间间隔，b可以表示音乐中第一个强拍对应的时间点。

在步骤203中，电子设备基于预先设置的节拍和强拍时间间隔，确定目标音频中的拍子时长。

在实施中，如上述所述，电子设备获取目标音频之后可以分析出目标音频的节拍，例如，4/4拍，以四分音符为一拍，每小节有四拍，4/4拍中每一小节中拍子的特点是强拍，弱拍，次强拍，弱拍，通常情况下，每一小节中有一个强拍，那么小节时长可以等于强拍时间间隔，小节时长也即是每小节的时长。电子设备可以根据音乐的节拍和小节时长，确定拍子时长，例如，节拍是4/4拍，小节时长是T，那么，拍子时长t为T/4。

在步骤204中，电子设备基于拍子时长，确定目标音频中的拍子时间点。

在实施中，电子设备确定拍子时长t_L之后，便可以确定拍子时间点，例如，音乐的开始时间点为零时刻，则任意拍子i的时间点t_i为t₀+(i-1)×t_L，i为大于或者等于1的整数，t₀大于或者等于零，是第一个拍子对应的时间点，第一个拍子对应的时间点有可能大于零，是因为一首音乐刚开始可能没有音乐声音，那么第一个拍子对应的时间点就不是零，而是大于零。

其中，电子设备确定的拍子时间点可以是整拍时间点，确定整拍时间点也便可以确定半拍时间点。这样，电子设备便可以将每个重音时间点调整到与之最相邻的整拍时间点或者半拍时间点上，将每个突变时间点调整到与之最相邻的整拍时间点或者半拍时间点，将长音时间段的开始时间点调整到与之最相邻的整拍时间点或者半拍时间点上，得到调整后的重音时间点、突变时间点和长音时间段，然后，基于调整后的重音时间点、突变时间点和长音时间段，生成按键时间数据。

其中，如果一个时间点既是重音时间点或者突变时间点，又是长音时间点的开始时间点，那么，该时间点可以既生成一个与短按键相对应的短按键时间数据，又可以生成一个与滑动按键相对应的滑动按键时间数据，还可以生成一个与长按键相对应的长按键时间数据。如果一个时间点既是重音时间点，又是突变时间点，那么该时间点可以生成一个与短按键相对应的短按键时间数据，也可以同时生成两个短按键时间数据。本实施例对此不做限制。

以服务器(也可以是终端)基于目标音频生成按键时间数据的方法，以下将要介绍该方法的主要应用场景：

本实施例的应用场景可以有多种，例如，一种应用场景可以是，游戏应用程序开发的技术人员在根据音频设计游戏时，可以该方法生成按键时间数据。

相关技术中，一旦游戏完成开发，其中游戏中的音频也就定下了，后期用户不可以更改，也不可以根据自己的喜好选择，导致游戏的娱乐性和灵活性都较差，为解决这一问题，本实施例的另一种应用场景还可以是，用户在玩游戏的时候，可以将自己喜欢的音乐上传至服务器，服务器将接收到的音频数据作为目标音频，使用上述方法生成按键时间数据，例如：

服务器可以获取终端发送的携带有目标音频的生成请求，服务器使用上述方法生成按键时间数据，并将按键时间数据发送给终端。

在实施中，用户可以在终端安装游戏应用程序，然后可以在终端的显示界面上点击游戏应用程序的图标，终端则会接收到点击指令，显示游戏应用程序的登录界面，用户可以是使用自己的账户与密码登录游戏应用程序，也可以通过第三方应用程序登录游戏应用程序。之后，终端会显示游戏应用程序的主界面，主界面中可以显示游戏关卡，例如，第一关，主界面上还具有上传音乐的选项，用户可以通过该选项向服务器发送携带有目标音频的生成请求，其中，该生成请求中还携带有用户所使用终端的账户标识。服务器接收到终端发送的目标音频之后，可以使用上述方法，生成目标音频的按键时间数据，之后，再将按键时间数据发送给用户所使用的终端。终端接收到服务器发送的按键时间数据之后，可以基于每一种按键所显示的时长和按键时间数据，随着音乐的播放过程，在游戏应用程序的主界面显示按键，以供用户操作。

可见，本实施例生成按键时间数据的方法不仅可以提高游戏的灵活性和娱乐性，还可以提升用户体验。

在本申请实施例中，电子设备在基于音频生成按键时间数据时，可以基于目标音频的音频帧和预先训练的人声重音检测模型，确定所述目标音频中的人声音频对应的每个重音时间点；基于所述目标音频的音频帧和预先训练的长音检测模型，确定所述目标音频数据中每个长音音频对应的长音时间段，其中，所述长音音频是持续时长大于预设阈值的音频；基于所述目标音频的音频帧和预先训练的音频突变检测模型，确定所述目标音频的伴奏音频中存在音频突变的突变时间点；之后，基于所述重音时间点、所述突变时间点和拍子时间点，生成所述目标音频对应的短按键时间数据和滑动按键时间数据中的至少一种，基于长音时间段和拍子时间点生成目标音频对应的长按键时间数据。游戏中的按键对应的按键时间数据不仅可以通过技术人员手动设置而生成，还可以使用上述方法生成，进而可以提高生成按键时间数据的灵活性。

本实施例还提供了一种基于音频生成按键时间数据的装置，如图3所示，该装置包括：

重音确定模块310，用于基于目标音频的音频帧和预先训练的人声重音检测模型，确定所述目标音频中的人声音频对应的每个重音时间点；

长音确定模型320，用于基于所述目标音频的音频帧和预先训练的长音检测模型，确定所述目标音频数据中每个长音音频对应的长音时间段，其中，所述长音音频是持续时长大于预设阈值的音频；

突变确定模块330，用于基于所述目标音频的音频帧和预先训练的音频突变检测模型，确定所述目标音频的伴奏音频中存在音频突变的突变时间点；

第一生成模块340，用于基于所述重音时间点、所述突变时间点和所述目标音频中的拍子时间点，生成所述目标音频对应的短按键时间数据和滑动按键时间数据中的至少一种；

第二生成模块350，用于基于所述长音时间段和所述拍子时间点，生成所述目标音频对应的长按键时间数据。

可选的，如图4所示，该装置还包括：

拍子确定模块330’，用于确定所述目标音频中的拍子时间点；

所述第一生成模块340，具体用于：

将每个重音时间点和每个突变时间点调整至最邻近的拍子时间点上；基于调整后的重音时间点和调整后的突变时间点，生成所述目标音频对应的短按键时间数据和滑动按键时间数据中的至少一种；

所述第二生成模块350，具体用于：将每个长音时间段的起始时间点调整至最邻近的拍子时间点上；基于调整后的长音时间段，生成所述目标音频对应的长按键时间数据。

可选的，拍子确定模块330’，用于：

基于预先训练的强拍检测模型，确定所述目标音频中的强拍时间点序列；

基于所述强拍时间点序列，确定所述目标音频中的强拍时间间隔；

基于预先设置的节拍和所述强拍时间间隔，确定所述目标音频中的拍子时长；

基于所述拍子时长，确定所述目标音频中的拍子时间点。

可选的，重音确定模块310，用于：

基于所述目标音频中每个音频帧的频谱特征和预先训练的人声重音检测模型中，确定人声重音标识；

基于每个人声重音标识对应的音频帧，确定重音时间点。

可选的，长音确定模型320，用于：

基于所述目标音频中每个音频帧的频谱特征和预先训练的长音检测模型中，确定长音标识，其中，所述长音标识包括长音开始标识、长音持续标识和长音结束标识；

基于每个长音标识对应的音频帧，确定长音时间段。

可选的，突变确定模块330，用于：

基于所述目标音频中每个音频帧的频谱特征，以及预先训练的音频突变检测模型，确定突变概率；

基于大于预设阈值的突变概率对应的音频帧，以及所述目标音频的伴奏音频对应的时间段，确定所述伴奏音频中存在音频突变的突变时间点。

在本申请实施例中，上述装置在基于音频生成按键时间数据时，可以基于目标音频的音频帧和预先训练的人声重音检测模型，确定所述目标音频中的人声音频对应的每个重音时间点；基于所述目标音频的音频帧和预先训练的长音检测模型，确定所述目标音频数据中每个长音音频对应的长音时间段，其中，所述长音音频是持续时长大于预设阈值的音频；基于所述目标音频的音频帧和预先训练的音频突变检测模型，确定所述目标音频的伴奏音频中存在音频突变的突变时间点；之后，基于所述重音时间点、所述突变时间点和拍子时间点，生成所述目标音频对应的短按键时间数据和滑动按键时间数据中的至少一种，基于长音时间段和拍子时间点生成目标音频对应的长按键时间数据。游戏中的按键对应的按键时间数据不仅可以通过技术人员手动设置而生成，还可以使用上述方法生成，进而可以提高生成按键时间数据的灵活性。

需要说明的是：上述实施例提供的基于音频生成按键时间数据的装置在基于音频生成按键时间数据时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于音频生成按键时间数据的方法与基于音频生成按键时间数据的装置实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

在本申请实施例中，电子设备在基于音频生成按键时间数据时，可以基于目标音频的音频帧和预先训练的人声重音检测模型，确定所述目标音频中的人声音频对应的每个重音时间点；基于所述目标音频的音频帧和预先训练的长音检测模型，确定所述目标音频数据中每个长音音频对应的长音时间段，其中，所述长音音频是持续时长大于预设阈值的音频；基于所述目标音频的音频帧和预先训练的音频突变检测模型，确定所述目标音频的伴奏音频中存在音频突变的突变时间点；之后，基于所述重音时间点、所述突变时间点和拍子时间点，生成所述目标音频对应的短按键时间数据和滑动按键时间数据中的至少一种，基于长音时间段和拍子时间点生成目标音频对应的长按键时间数据。游戏中的按键对应的按键时间数据不仅可以通过技术人员手动设置而生成，还可以使用上述方法生成，进而可以提高生成按键时间数据的灵活性。

本实施例还提供了一种基于音频生成按键时间数据的系统，该系统包括服务器和终端，其中：所述终端向服务器发送携带有目标音频的生成请求；所述服务器接收所述终端发送的生成请求，基于目标音频的音频帧和预先训练的人声重音检测模型，确定所述目标音频中的人声音频对应的每个重音时间点，基于所述目标音频的音频帧和预先训练的长音检测模型，确定所述目标音频数据中每个长音音频对应的长音时间段，其中，所述长音音频是持续时长大于预设阈值的音频，基于所述目标音频的音频帧和预先训练的音频突变检测模型，确定所述目标音频的伴奏音频中存在音频突变的突变时间点，基于所述重音时间点、所述突变时间点和拍子时间点，生成所述目标音频对应的短按键时间数据和滑动按键数据中的至少一种，基于长音时间段和拍子时间点，生成所述目标音频对应的长按键时间数据，将所述目标音频对应的包括短按键时间数据、滑动按键时间数据和长按键时间数据的按键时间数据发送给终端；所述终端接收所述服务器发送的所述目标音频对应的按键时间数据，并基于所述按键时间数据和所述目标音频，生成包括短按键、滑动按键和长按键的按键。

图5是本发明实施例提供的一种计算机设备的结构示意图，该计算机设备可以是上述所述的电子设备，该电子设备可以是服务器，该计算机设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central Processing Units，CPU)501和一个或一个以上的存储器502，其中，所述存储器502中存储有至少一条指令，所述至少一条指令由所述处理器501加载并执行以实现上述方法步骤。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (6)

1.一种基于音频生成按键时间数据的方法，其特征在于，所述方法包括：

基于目标音频的音频帧和预先训练的人声重音检测模型，确定所述目标音频中的人声音频对应的每个重音时间点；

基于所述目标音频的音频帧和预先训练的长音检测模型，确定所述目标音频中每个长音音频对应的长音时间段，其中，所述长音音频是持续时长大于预设阈值的音频；

基于所述目标音频的音频帧和预先训练的音频突变检测模型，确定所述目标音频的伴奏音频中存在音频突变的突变时间点；

基于预先训练的强拍检测模型，确定所述目标音频中的强拍时间点序列；

基于所述强拍时间点序列，确定所述目标音频中的强拍时间间隔；

基于预先设置的节拍和所述强拍时间间隔，确定所述目标音频中的拍子时长；

基于所述拍子时长，确定所述目标音频中的拍子时间点；

将每个重音时间点和每个突变时间点调整至最邻近的拍子时间点上；

基于调整后的重音时间点和调整后的突变时间点，生成所述目标音频对应的短按键时间数据和滑动按键时间数据中的至少一种；

将每个长音时间段的起始时间点调整至最邻近的拍子时间点上；

基于调整后的长音时间段，生成所述目标音频对应的长按键时间数据。

2.根据权利要求1所述的方法，其特征在于，所述基于目标音频的音频帧和预先训练的人声重音检测模型，确定所述目标音频中的人声音频对应的每个重音时间点，包括：

基于所述目标音频中每个音频帧的频谱特征和预先训练的人声重音检测模型中，确定人声重音标识；

基于每个人声重音标识对应的音频帧，确定重音时间点。

3.根据权利要求1所述的方法，其特征在于，所述基于所述目标音频的音频帧和预先训练的长音检测模型，确定所述目标音频中每个长音音频对应的长音时间段，包括：

基于所述目标音频中每个音频帧的频谱特征和预先训练的长音检测模型中，确定长音标识，其中，所述长音标识包括长音开始标识、长音持续标识和长音结束标识；

基于每个长音标识对应的音频帧，确定长音时间段。

4.根据权利要求1所述的方法，其特征在于，所述基于所述目标音频的音频帧和预先训练的音频突变检测模型，确定所述目标音频的伴奏音频中存在音频突变的突变时间点，包括：

基于所述目标音频中每个音频帧的频谱特征，以及预先训练的音频突变检测模型，确定突变概率；

基于大于预设阈值的突变概率对应的音频帧，以及所述目标音频的伴奏音频对应的时间段，确定所述伴奏音频中存在音频突变的突变时间点。

5.一种基于音频生成按键时间数据的装置，其特征在于，所述装置包括：

重音确定模块，用于基于目标音频的音频帧和预先训练的人声重音检测模型，确定所述目标音频中的人声音频对应的每个重音时间点；

长音确定模型，用于基于所述目标音频的音频帧和预先训练的长音检测模型，确定所述目标音频中每个长音音频对应的长音时间段，其中，所述长音音频是持续时长大于预设阈值的音频；

突变确定模块，用于基于所述目标音频的音频帧和预先训练的音频突变检测模型，确定所述目标音频的伴奏音频中存在音频突变的突变时间点；

拍子确定模块，用于基于预先训练的强拍检测模型，确定所述目标音频中的强拍时间点序列；基于所述强拍时间点序列，确定所述目标音频中的强拍时间间隔；基于预先设置的节拍和所述强拍时间间隔，确定所述目标音频中的拍子时长；基于所述拍子时长，确定所述目标音频中的拍子时间点；

第一生成模块，用于将每个重音时间点和每个突变时间点调整至最邻近的拍子时间点上；基于调整后的重音时间点和调整后的突变时间点，生成所述目标音频对应的短按键时间数据和滑动按键时间数据中的至少一种；

第二生成模块，用于将每个长音时间段的起始时间点调整至最邻近的拍子时间点上；基于调整后的长音时间段，生成所述目标音频对应的长按键时间数据。

6.根据权利要求5所述的装置，其特征在于，所述重音确定模块，具体用于：

基于所述目标音频中每个音频帧的频谱特征和预先训练的人声重音检测模型中，确定人声重音标识；

基于每个人声重音标识对应的音频帧，确定重音时间点。