CN116189636B - 基于电子乐器的伴奏生成方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及人工智能领域，公开了一种基于电子乐器的伴奏生成方法、装置、设备及存储介质，用于提高伴奏生成的效率和质量。方法包括：对伴奏片段音频进行音频分析，得到至少两个第二电子乐器以及音频节拍信息，并根据至少两个第二电子乐器对伴奏片段音频进行音频转码处理，得到音频数据；对音频数据进行特征提取，得到音频特征；将音频特征和音频节拍信息输入目标伴奏模型集进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据；对每个第二电子乐器对应的第一伴奏数据进行音频比例调整，得到多个第二伴奏数据，并对多个第二伴奏数据进行伴奏融合，输出目标伴奏数据。

Description

基于电子乐器的伴奏生成方法、装置、设备及存储介质

技术领域

本发明涉及人工智能领域，尤其涉及一种基于电子乐器的伴奏生成方法、装置、设备及存储介质。

背景技术

随着人工智能技术的发展，自动生成伴奏技术已经引起了人们的广泛关注。自动伴奏技术的出现，使得用户能够利用基于现有的音乐来创作他们想要的音乐。乐器演奏者和歌手之间的合作，会让他们创造出独特而充满创造力的音乐，将简单的音乐变成完整的伴奏。

现有方案是通过人工智能算法简单的合成一段音频，但是现有方案的合成效果不佳，不能很好的融合进用户的输入特征，即现有方案的生成效率和伴奏音频质量低。

发明内容

本发明提供了一种基于电子乐器的伴奏生成方法、装置、设备及存储介质，用于提高伴奏生成的效率和质量。

本发明第一方面提供了一种基于电子乐器的伴奏生成方法，所述基于电子乐器的伴奏生成方法包括：

获取多个不同的第一电子乐器对应的音色数据，并根据所述音色数据构建每个第一电子乐器对应的第一伴奏模型，以及对每个第一电子乐器对应的第一伴奏模型进行模型集成，生成目标伴奏模型集；

基于预设的乐器操作界面获取目标用户的页面操作数据，并根据所述页面操作数据生成所述目标用户输入的伴奏片段音频；

对所述伴奏片段音频进行音频分析，得到所述伴奏片段音频中包含的至少两个第二电子乐器以及音频节拍信息，并根据所述至少两个第二电子乐器对所述伴奏片段音频进行音频转码处理，得到每个第二电子乐器对应的音频数据；

对每个第二电子乐器对应的音频数据进行特征提取，得到每个第二电子乐器对应的音频特征；

将每个第二电子乐器对应的音频特征和所述音频节拍信息输入所述目标伴奏模型集，并通过所述目标伴奏模型集中与每个第二电子乐器对应的第二伴奏模型进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据；

对每个第二电子乐器对应的第一伴奏数据进行音频比例调整，得到多个第二伴奏数据，并对所述多个第二伴奏数据进行伴奏融合，输出目标伴奏数据。

结合第一方面，在本发明第一方面的第一实施方式中，所述获取多个不同的第一电子乐器对应的音色数据，并根据所述音色数据构建每个第一电子乐器对应的第一伴奏模型，以及对每个第一电子乐器对应的第一伴奏模型进行模型集成，生成目标伴奏模型集，包括：

获取多个不同的第一电子乐器对应的音色数据，以及获取预置的训练模型，其中，所述训练模型包括：双层长短时记忆网络、第一门限循环网络以及第二门限循环网络；

分别将每个第一电子乐器对应的音色数据输入所述训练模型进行模型构建，得到每个第一电子乐器对应的第一伴奏模型；

对每个第一电子乐器对应的第一伴奏模型进行模型集成，生成目标伴奏模型集。

结合第一方面，在本发明第一方面的第二实施方式中，所述基于预设的乐器操作界面获取目标用户的页面操作数据，并根据所述页面操作数据生成所述目标用户输入的伴奏片段音频，包括：

基于预设的乐器操作界面，获取目标用户的页面操作数据；

根据所述页面操作数据匹配对应的乐器按钮组件，并通过所述乐器操作界面中的乐器按钮组件，响应所述页面操作数据；

根据所述页面操作数据生成音频合成参数，并根据所述音频合成参数生成所述目标用户输入的伴奏片段音频。

结合第一方面，在本发明第一方面的第三实施方式中，所述对所述伴奏片段音频进行音频分析，得到所述伴奏片段音频中包含的至少两个第二电子乐器以及音频节拍信息，并根据所述至少两个第二电子乐器对所述伴奏片段音频进行音频转码处理，得到每个第二电子乐器对应的音频数据，包括：

对所述伴奏片段音频进行电子乐器种类分析，得到所述伴奏片段音频中包含的至少两个第二电子乐器；

对所述伴奏片段音频进行音频节拍分析，得到初始节拍信息，并通过所述页面操作数据对所述初始节拍信息进行节拍校验，生成音频节拍信息；

根据所述至少两个第二电子乐器，对所述伴奏片段音频进行音频分类提取，得到每个第二电子乐器对应的原始音频；

对每个第二电子乐器对应的原始音频进行音频数字转码，得到每个第二电子乐器对应的音频数据。

结合第一方面，在本发明第一方面的第四实施方式中，所述对每个第二电子乐器对应的音频数据进行特征提取，得到每个第二电子乐器对应的音频特征，包括：

将每个第二电子乐器对应的音频数据加载至预设内存中，并通过预置的音频处理库提取所述音频数据的声谱图，得到每个第二电子乐器对应的声谱图；

基于预设的主成分分析算法，对每个第二电子乐器对应的声谱图进行音频特征提取，得到每个第二电子乐器对应的音频特征。

结合第一方面，在本发明第一方面的第五实施方式中，所述将每个第二电子乐器对应的音频特征和所述音频节拍信息输入所述目标伴奏模型集，并通过所述目标伴奏模型集中与每个第二电子乐器对应的第二伴奏模型进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据，包括：

根据所述至少两个第二电子乐器，从所述目标伴奏模型集中匹配与每个第二电子乐器对应的第二伴奏模型；

将每个第二电子乐器对应的音频特征和所述音频节拍信息输入对应的第二伴奏模型进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据。

结合第一方面，在本发明第一方面的第六实施方式中，所述将每个第二电子乐器对应的音频特征和所述音频节拍信息输入对应的第二伴奏模型进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据，包括：

将每个第二电子乐器对应的音频特征和所述音频节拍信息输入对应的第二伴奏模型；

通过所述第二伴奏模型中的双层长短时记忆网络，对所述音频节拍信息进行节拍特征提取，得到目标节拍特征；

通过所述第二伴奏模型中的第一门限循环网络，对每个第二电子乐器对应的音频特征进行音频特征编码，得到每个第二电子乐器对应的目标编码特征；

对所述目标节拍特征和每个第二电子乐器对应的目标编码特征进行特征融合，得到每个第二电子乐器对应的目标融合特征；

将每个第二电子乐器对应的目标融合特征输入所述第二伴奏模型中的第二门限循环网络进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据。

本发明第二方面提供了一种基于电子乐器的伴奏生成装置，所述基于电子乐器的伴奏生成装置包括：

获取模块，用于获取多个不同的第一电子乐器对应的音色数据，并根据所述音色数据构建每个第一电子乐器对应的第一伴奏模型，以及对每个第一电子乐器对应的第一伴奏模型进行模型集成，生成目标伴奏模型集；

处理模块，用于基于预设的乐器操作界面获取目标用户的页面操作数据，并根据所述页面操作数据生成所述目标用户输入的伴奏片段音频；

分析模块，用于对所述伴奏片段音频进行音频分析，得到所述伴奏片段音频中包含的至少两个第二电子乐器以及音频节拍信息，并根据所述至少两个第二电子乐器对所述伴奏片段音频进行音频转码处理，得到每个第二电子乐器对应的音频数据；

提取模块，用于对每个第二电子乐器对应的音频数据进行特征提取，得到每个第二电子乐器对应的音频特征；

生成模块，用于将每个第二电子乐器对应的音频特征和所述音频节拍信息输入所述目标伴奏模型集，并通过所述目标伴奏模型集中与每个第二电子乐器对应的第二伴奏模型进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据；

输出模块，用于对每个第二电子乐器对应的第一伴奏数据进行音频比例调整，得到多个第二伴奏数据，并对所述多个第二伴奏数据进行伴奏融合，输出目标伴奏数据。

本发明第三方面提供了一种基于电子乐器的伴奏生成设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于电子乐器的伴奏生成设备执行上述的基于电子乐器的伴奏生成方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于电子乐器的伴奏生成方法。

本发明提供的技术方案中，对伴奏片段音频进行音频分析，得到至少两个第二电子乐器以及音频节拍信息，并根据至少两个第二电子乐器对伴奏片段音频进行音频转码处理，得到音频数据；对音频数据进行特征提取，得到音频特征；将音频特征和音频节拍信息输入目标伴奏模型集进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据；对每个第二电子乐器对应的第一伴奏数据进行音频比例调整，得到多个第二伴奏数据，并对多个第二伴奏数据进行伴奏融合，输出目标伴奏数据，本发明根据输入的音乐片段，能够自动快速生成伴奏，根据输入的音乐片段，自动生成高质量的伴奏，提高音乐制作的效率。

附图说明

图1为本发明实施例中基于电子乐器的伴奏生成方法的一个实施例示意图；

图2为本发明实施例中生成目标伴奏模型集的流程图；

图3为本发明实施例中音频分析和音频转码处理的流程图；

图4为本发明实施例中伴奏生成的流程图；

图5为本发明实施例中基于电子乐器的伴奏生成装置的一个实施例示意图；

图6为本发明实施例中基于电子乐器的伴奏生成设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种基于电子乐器的伴奏生成方法、装置、设备及存储介质，用于提高伴奏生成的效率和质量。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于电子乐器的伴奏生成方法的一个实施例包括：

S101、获取多个不同的第一电子乐器对应的音色数据，并根据音色数据构建每个第一电子乐器对应的第一伴奏模型，以及对每个第一电子乐器对应的第一伴奏模型进行模型集成，生成目标伴奏模型集；

可以理解的是，本发明的执行主体可以为基于电子乐器的伴奏生成装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

具体的，服务器获取多个不同的第一电子乐器对应的音色数据，其中，服务器从已有的样本库中下载音频文件，根据获取到的音色数据，通过信号处理方法构建每个第一电子乐器对应的第一伴奏模型，需要说明的是，该模型可以采用深度学习模型对每个第一电子乐器对应的第一伴奏模型进行模型集成，生成目标伴奏模型集，其可以通过对每个第一伴奏模型进行加权平均，最后，在服务器上部署生成的目标伴奏模型集，得到目标伴奏模型集合，以实现对输入音频的自动伴奏生成。其中，多个不同的电子乐器包括但不限于：电子吉他、电子钢琴、电子鼓等。

S102、基于预设的乐器操作界面获取目标用户的页面操作数据，并根据页面操作数据生成目标用户输入的伴奏片段音频；

需要说明的是，该乐器操作界面包含音符选择、节奏设置、音色选择等功能，进而在用户通过乐器操作界面进行操作时，服务器收集用户的页面操作数据，其中，页面操作数据包括用户选择的音符、节奏、音量、音色等信息，这些数据将用于后续生成伴奏音频，在收集到用户操作数据之后，服务器对这些数据进行处理和分析，服务器会根据用户输入的数据，通过音频生成算法来生成伴奏片段音频。

S103、对伴奏片段音频进行音频分析，得到伴奏片段音频中包含的至少两个第二电子乐器以及音频节拍信息，并根据至少两个第二电子乐器对伴奏片段音频进行音频转码处理，得到每个第二电子乐器对应的音频数据；

需要说明的是，服务器首先对伴奏片段音频进行音频分析，获得音频节拍、音量和音高等音频特征信息，此外，服务器还通过机器学习模型来识别出伴奏片段音频中包含的第二电子乐器种类，在分析伴奏片段音频后，服务器通过深度学习算法识别其中至少两种不同的第二电子乐器，服务器对伴奏片段音频进行音频转码处理。服务器会根据每种乐器的声音特征，对其进行不同的音频处理和转码，以获取每种乐器对应的音频数据，最终得到每个第二电子乐器对应的音频数据。

S104、对每个第二电子乐器对应的音频数据进行特征提取，得到每个第二电子乐器对应的音频特征；

具体的，服务器首先选择特征提取算法。在本发明实施例中，特征提取算法包括但不限于MFCC、STFT、CQT等，例如，在本发明实施例中，服务器通过特征提取算法对每个第二电子乐器对应的音频数据进行特征提取，其中，将原始音频数据转换为一组数字特征，例如音调、节奏、音量等等，具体而言，比如可以使用MFCC算法提取每个第二电子乐器对应音频的13个Mel频率倒谱系数作为其特征表示，或者使用STFT算法提取每个乐器对应音频的时频图作为特征表示，最终，得到每个第二电子乐器对应的音频特征。

S105、将每个第二电子乐器对应的音频特征和音频节拍信息输入目标伴奏模型集，并通过目标伴奏模型集中与每个第二电子乐器对应的第二伴奏模型进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据；

具体的，服务器创建目标伴奏模型集，需要说明的是，该模型集由多个不同的神经网络或其他机器学习模型组成，每个模型都可以根据特定的输入参数来生成相应的伴奏音频。进而，服务器将每个第二电子乐器对应的音频特征和音频节拍信息输入到目标伴奏模型集中进行处理，服务器通过伴奏模型的训练结果，生成每个第二电子乐器的第一伴奏数据，在输入音频特征和节拍信息之后，服务器根据第二电子乐器种类来选择相应的第二伴奏模型，需要说明的是，由于每种乐器的声音特征和演奏方式都不同，所以针对每种乐器则需要训练不同的模型。当选择相应的第二伴奏模型之后，服务器就可以通过该模型来进行伴奏生成，生成每个第二电子乐器对应的第一伴奏数据，在完成生成第一伴奏数据之后，服务器将结果输出为伴奏音频文件，最终，得到每个第二电子乐器对应的第一伴奏数据。

S106、对每个第二电子乐器对应的第一伴奏数据进行音频比例调整，得到多个第二伴奏数据，并对多个第二伴奏数据进行伴奏融合，输出目标伴奏数据。

具体的，使用音频编辑软件或编程语言读取第一伴奏数据和每个第二电子乐器对应的第二伴奏数据。对于每个第二电子乐器对应的第一伴奏数据，使用音频处理算法计算其音量比例，并将其应用到第二伴奏数据上，以得到多个经过音量调整的第二伴奏数据。在得到多个经过音量调整的第二伴奏数据后，使用音频混合算法对多个第二伴奏数据进行伴奏融合，最终，输出目标伴奏数据。

本发明实施例中，对伴奏片段音频进行音频分析，得到至少两个第二电子乐器以及音频节拍信息，并根据至少两个第二电子乐器对伴奏片段音频进行音频转码处理，得到音频数据；对音频数据进行特征提取，得到音频特征；将音频特征和音频节拍信息输入目标伴奏模型集进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据；对每个第二电子乐器对应的第一伴奏数据进行音频比例调整，得到多个第二伴奏数据，并对多个第二伴奏数据进行伴奏融合，输出目标伴奏数据，本发明根据输入的音乐片段，能够自动快速生成伴奏，根据输入的音乐片段，自动生成高质量的伴奏，提高音乐制作的效率。

在一具体实施例中，如图2所示，执行步骤S101的过程可以具体包括如下步骤：

S201、获取多个不同的第一电子乐器对应的音色数据，以及获取预置的训练模型，其中，训练模型包括：双层长短时记忆网络、第一门限循环网络以及第二门限循环网络；

S202、分别将每个第一电子乐器对应的音色数据输入训练模型进行模型构建，得到每个第一电子乐器对应的第一伴奏模型；

S203、对每个第一电子乐器对应的第一伴奏模型进行模型集成，生成目标伴奏模型集。

具体的，服务器获取多个不同的第一电子乐器对应的音色数据，可以从音频样本库或其他来源获得。此外，还需要获取预置的训练模型，包括双层长短时记忆网络、第一门限循环网络以及第二门限循环网络。对于每个第一电子乐器对应的音色数据，将其输入到预置的训练模型中进行训练。在训练过程中，可以根据需要调整各种参数，例如批次大小、学习率和训练轮数等。在完成每个第一电子乐器对应的模型训练后，将所有模型集成起来生成目标伴奏模型集。常用的模型集成方法包括但不限于投票法、平均法和Bagging等。最后，在生成目标伴奏模型集后，可以通过该目标伴奏模型机生成音乐伴奏。

在一具体实施例中，执行步骤S102的过程可以具体包括如下步骤：

（1）基于预设的乐器操作界面，获取目标用户的页面操作数据；

（2）根据页面操作数据匹配对应的乐器按钮组件，并通过乐器操作界面中的乐器按钮组件，响应页面操作数据；

（3）根据页面操作数据生成音频合成参数，并根据音频合成参数生成目标用户输入的伴奏片段音频。

具体的，服务器预先设计和实现乐器操作界面，该界面需要包括可交互的乐器按钮组件，以及其他页面元素，例如音频波形图、音量控制滑块等，同时，在乐器操作界面中添加事件监听器，以便捕获用户页面操作数据。这些数据可以是用户单击、拖拽或其他交互行为产生的事件，根据所捕获的页面操作数据，匹配对应的乐器按钮组件，并在用户点击之后响应页面操作数据。例如，当用户单击吉他按钮时，系统应该播放吉他声音，并显示吉他波形图，基于页面操作数据生成音频合成参数，例如选择的乐器类型、音调、节拍等，具体的，可以通过数字信号处理算法或深度学习模型生成音频合成参数，进一步的，通过生成的音频合成参数，结合预设好的音色库或者自定义的音色库，生成目标用户输入的伴奏片段音频。可以使用数字信号处理算法、深度学习模型或音频合成软件来实现音频合成，最终生成目标用户输入的伴奏片段音频。

在一具体实施例中，如图3所示，执行步骤S103的过程可以具体包括如下步骤：

S301、对伴奏片段音频进行电子乐器种类分析，得到伴奏片段音频中包含的至少两个第二电子乐器；

S302、对伴奏片段音频进行音频节拍分析，得到初始节拍信息，并通过页面操作数据对初始节拍信息进行节拍校验，生成音频节拍信息；

S303、根据至少两个第二电子乐器，对伴奏片段音频进行音频分类提取，得到每个第二电子乐器对应的原始音频；

S304、对每个第二电子乐器对应的原始音频进行音频数字转码，得到每个第二电子乐器对应的音频数据。

具体的，服务器对伴奏片段音频进行电子乐器种类分析，需要说明的是，在分析过程中，服务器需要识别出伴奏片段中包含的电子乐器类型，对伴奏片段音频进行音频节拍分析，在本发明实施例中，服务器通过音频节拍分析算法进行音频街拍分析，得到初始节拍信息，进而，服务器通过页面操作数据对初始节拍信息进行节拍校验。进一步的，服务器根据至少两个第二电子乐器类型，对伴奏片段音频进行音频分类提取，得到每个第二电子乐器对应的原始音频，并对每个第二电子乐器对应的原始音频进行音频数字转码，得到每个第二电子乐器对应的音频数据。进一步地，服务器对伴奏片段音频进行电子乐器种类分析，可以采用机器学习模型或特征提取算法来实现。该步骤的目的是识别出至少两个第二电子乐器，以便后续的音频分类提取和数字转码。服务器对伴奏片段音频进行音频节拍分析，可以使用节拍检测算法来获取初始的节拍信息，例如使用自相关函数或差分算法。然后，通过页面操作数据对初始节拍信息进行节拍校验，以确保正确性，并生成最终的音频节拍信息。服务器根据至少两个第二电子乐器，对伴奏片段音频进行音频分类提取。该步骤可以使用基于特征工程和机器学习的方法，例如使用卷积神经网络（CNN）或循环神经网络（RNN）等模型来进行分类提取。每个第二电子乐器对应的原始音频也可以被提取出来。服务器对每个第二电子乐器对应的原始音频进行音频数字转码。该步骤可以使用数字信号处理技术和编码算法来实现。例如，可以使用快速傅里叶变换（FFT）将原始音频转换为频域表示，然后使用一些声音编解码器将其编码成数字数据，如MP3、WAV等格式。

在一具体实施例中，执行步骤S104的过程可以具体包括如下步骤：

（1）将每个第二电子乐器对应的音频数据加载至预设内存中，并通过预置的音频处理库提取音频数据的声谱图，得到每个第二电子乐器对应的声谱图；

（2）基于预设的主成分分析算法，对每个第二电子乐器对应的声谱图进行音频特征提取，得到每个第二电子乐器对应的音频特征。

具体的，将每个第二电子乐器对应的音频数据加载至预设内存中，其中，服务器通过读取存储在磁盘上的音频文件，进一步的，服务器通过预设的音频处理库（例如FFmpeg、librosa等）对每个第二电子乐器对应的音频数据进行声谱图提取。需要说明的是，声谱图是一个表示音频频率和强度随时间变化的图形，进一步的，服务器基于预设的主成分分析算法对每个第二电子乐器对应的声谱图进行特征提取。主成分分析是一种无监督学习方法，用于降低数据维数并发现数据潜在结构。在此过程中，服务器将声谱图转换为更高层次的特征向量，并在特征空间中进行分类和聚类操作，最终，对每个第二电子乐器对应的声谱图进行音频特征提取，得到每个第二电子乐器对应的音频特征。

在一具体实施例中，执行步骤S105的过程可以具体包括如下步骤：

（1）根据至少两个第二电子乐器，从目标伴奏模型集中匹配与每个第二电子乐器对应的第二伴奏模型；

（2）将每个第二电子乐器对应的音频特征和音频节拍信息输入对应的第二伴奏模型进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据。

具体的，将根据至少两个第二电子乐器类型，从目标伴奏模型集中匹配与每个第二电子乐器对应的第二伴奏模型。将每个第二电子乐器对应的音频特征和音频节拍信息输入对应的第二伴奏模型进行伴奏生成。需要说明的是，服务器将音频特征向量和节拍信息转换为预设格式，并将其输入到第二伴奏模型中进行处理，最终得到每个第二电子乐器对应的第一伴奏数据。

在一具体实施例中，如图4所示，执行步骤将每个第二电子乐器对应的音频特征和音频节拍信息输入对应的第二伴奏模型进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据的过程可以具体包括如下步骤：

S401、将每个第二电子乐器对应的音频特征和音频节拍信息输入对应的第二伴奏模型；

S402、通过第二伴奏模型中的双层长短时记忆网络，对音频节拍信息进行节拍特征提取，得到目标节拍特征；

S403、通过第二伴奏模型中的第一门限循环网络，对每个第二电子乐器对应的音频特征进行音频特征编码，得到每个第二电子乐器对应的目标编码特征；

S404、对目标节拍特征和每个第二电子乐器对应的目标编码特征进行特征融合，得到每个第二电子乐器对应的目标融合特征；

S405、将每个第二电子乐器对应的目标融合特征输入第二伴奏模型中的第二门限循环网络进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据。

具体的，服务器将每个第二电子乐器对应的音频特征和音频节拍信息输入对应的第二伴奏模型，将每个第二电子乐器的音频特征和音频节拍信息输入对应的第二伴奏模型。音频特征是指对音频信号进行提取后得到的一组数值，可以表示音频信号的各种属性，比如频率、振幅、时长等。而音频节拍信息则是指音频信号中的节拍信息，可以用来标记出音频信号中的节奏节拍点，有助于后续的节奏特征提取和编码，通过第二伴奏模型中的双层长短时记忆网络，对音频节拍信息进行节拍特征提取，得到目标节拍特征，通过第二伴奏模型中的双层长短时记忆网络(LSTM)，对输入的音频节拍信息进行特征提取。LSTM是一种适合处理序列数据的神经网络，它可以有效地对输入序列进行建模，并保留长期的信息。通过这一步骤的处理，得到目标节拍特征，它可以用来描述音频信号中的节奏和拍子，为后续的处理提供基础，通过第二伴奏模型中的第一门限循环网络，对每个第二电子乐器对应的音频特征进行音频特征编码，得到每个第二电子乐器对应的目标编码特征，通过第二伴奏模型中的第一门限循环网络(GRU)，对每个第二电子乐器对应的音频特征进行编码。GRU是一种比LSTM更加轻量化的循环神经网络，在处理较小规模的数据集时表现更加出色，最终，服务器对目标节拍特征和每个第二电子乐器对应的目标编码特征进行特征融合，得到每个第二电子乐器对应的目标融合特征，将每个第二电子乐器对应的目标融合特征输入第二伴奏模型中的第二门限循环网络进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据。

上面对本发明实施例中基于电子乐器的伴奏生成方法进行了描述，下面对本发明实施例中基于电子乐器的伴奏生成装置进行描述，请参阅图5，本发明实施例中基于电子乐器的伴奏生成装置一个实施例包括：

获取模块501，用于获取多个不同的第一电子乐器对应的音色数据，并根据所述音色数据构建每个第一电子乐器对应的第一伴奏模型，以及对每个第一电子乐器对应的第一伴奏模型进行模型集成，生成目标伴奏模型集；

处理模块502，用于基于预设的乐器操作界面获取目标用户的页面操作数据，并根据所述页面操作数据生成所述目标用户输入的伴奏片段音频；

分析模块503，用于对所述伴奏片段音频进行音频分析，得到所述伴奏片段音频中包含的至少两个第二电子乐器以及音频节拍信息，并根据所述至少两个第二电子乐器对所述伴奏片段音频进行音频转码处理，得到每个第二电子乐器对应的音频数据；

提取模块504，用于对每个第二电子乐器对应的音频数据进行特征提取，得到每个第二电子乐器对应的音频特征；

生成模块505，用于将每个第二电子乐器对应的音频特征和所述音频节拍信息输入所述目标伴奏模型集，并通过所述目标伴奏模型集中与每个第二电子乐器对应的第二伴奏模型进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据；

输出模块506，用于对每个第二电子乐器对应的第一伴奏数据进行音频比例调整，得到多个第二伴奏数据，并对所述多个第二伴奏数据进行伴奏融合，输出目标伴奏数据。

通过上述各个组成部分的协同合作，对伴奏片段音频进行音频分析，得到至少两个第二电子乐器以及音频节拍信息，并根据至少两个第二电子乐器对伴奏片段音频进行音频转码处理，得到音频数据；对音频数据进行特征提取，得到音频特征；将音频特征和音频节拍信息输入目标伴奏模型集进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据；对每个第二电子乐器对应的第一伴奏数据进行音频比例调整，得到多个第二伴奏数据，并对多个第二伴奏数据进行伴奏融合，输出目标伴奏数据，本发明根据输入的音乐片段，能够自动快速生成伴奏，根据输入的音乐片段，自动生成高质量的伴奏，提高音乐制作的效率。

上面图5从模块化功能实体的角度对本发明实施例中的基于电子乐器的伴奏生成装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于电子乐器的伴奏生成设备进行详细描述。

图6是本发明实施例提供的一种基于电子乐器的伴奏生成设备的结构示意图，该基于电子乐器的伴奏生成设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）610（例如，一个或一个以上处理器）和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630（例如一个或一个以上海量存储设备）。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对基于电子乐器的伴奏生成设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在基于电子乐器的伴奏生成设备600上执行存储介质630中的一系列指令操作。

基于电子乐器的伴奏生成设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的基于电子乐器的伴奏生成设备结构并不构成对基于电子乐器的伴奏生成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种基于电子乐器的伴奏生成设备，所述基于电子乐器的伴奏生成设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于电子乐器的伴奏生成方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于电子乐器的伴奏生成方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random acceS memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于电子乐器的伴奏生成方法，其特征在于，所述基于电子乐器的伴奏生成方法包括：

获取多个不同的第一电子乐器对应的音色数据，并根据所述音色数据构建每个第一电子乐器对应的第一伴奏模型，以及对每个第一电子乐器对应的第一伴奏模型进行模型集成，生成目标伴奏模型集；

基于预设的乐器操作界面获取目标用户的页面操作数据，并根据所述页面操作数据生成所述目标用户输入的伴奏片段音频；

对所述伴奏片段音频进行音频分析，得到所述伴奏片段音频中包含的至少两个第二电子乐器以及音频节拍信息，并根据所述至少两个第二电子乐器对所述伴奏片段音频进行音频转码处理，得到每个第二电子乐器对应的音频数据；

对每个第二电子乐器对应的音频数据进行特征提取，得到每个第二电子乐器对应的音频特征；

将每个第二电子乐器对应的音频特征和所述音频节拍信息输入所述目标伴奏模型集，并通过所述目标伴奏模型集中与每个第二电子乐器对应的第二伴奏模型进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据；其中，根据所述至少两个第二电子乐器，从所述目标伴奏模型集中匹配与每个第二电子乐器对应的第二伴奏模型；将每个第二电子乐器对应的音频特征和所述音频节拍信息输入对应的第二伴奏模型进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据；其中，将每个第二电子乐器对应的音频特征和所述音频节拍信息输入对应的第二伴奏模型；通过所述第二伴奏模型中的双层长短时记忆网络，对所述音频节拍信息进行节拍特征提取，得到目标节拍特征；通过所述第二伴奏模型中的第一门限循环网络，对每个第二电子乐器对应的音频特征进行音频特征编码，得到每个第二电子乐器对应的目标编码特征；对所述目标节拍特征和每个第二电子乐器对应的目标编码特征进行特征融合，得到每个第二电子乐器对应的目标融合特征；将每个第二电子乐器对应的目标融合特征输入所述第二伴奏模型中的第二门限循环网络进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据；

对每个第二电子乐器对应的第一伴奏数据进行音频比例调整，得到多个第二伴奏数据，并对所述多个第二伴奏数据进行伴奏融合，输出目标伴奏数据。

2.根据权利要求1所述的基于电子乐器的伴奏生成方法，其特征在于，所述获取多个不同的第一电子乐器对应的音色数据，并根据所述音色数据构建每个第一电子乐器对应的第一伴奏模型，以及对每个第一电子乐器对应的第一伴奏模型进行模型集成，生成目标伴奏模型集，包括：

获取多个不同的第一电子乐器对应的音色数据，以及获取预置的训练模型，其中，所述训练模型包括：双层长短时记忆网络、第一门限循环网络以及第二门限循环网络；

分别将每个第一电子乐器对应的音色数据输入所述训练模型进行模型构建，得到每个第一电子乐器对应的第一伴奏模型；

对每个第一电子乐器对应的第一伴奏模型进行模型集成，生成目标伴奏模型集。

3.根据权利要求1所述的基于电子乐器的伴奏生成方法，其特征在于，所述基于预设的乐器操作界面获取目标用户的页面操作数据，并根据所述页面操作数据生成所述目标用户输入的伴奏片段音频，包括：

基于预设的乐器操作界面，获取目标用户的页面操作数据；

根据所述页面操作数据匹配对应的乐器按钮组件，并通过所述乐器操作界面中的乐器按钮组件，响应所述页面操作数据；

根据所述页面操作数据生成音频合成参数，并根据所述音频合成参数生成所述目标用户输入的伴奏片段音频。

4.根据权利要求1所述的基于电子乐器的伴奏生成方法，其特征在于，所述对所述伴奏片段音频进行音频分析，得到所述伴奏片段音频中包含的至少两个第二电子乐器以及音频节拍信息，并根据所述至少两个第二电子乐器对所述伴奏片段音频进行音频转码处理，得到每个第二电子乐器对应的音频数据，包括：

对所述伴奏片段音频进行电子乐器种类分析，得到所述伴奏片段音频中包含的至少两个第二电子乐器；

对所述伴奏片段音频进行音频节拍分析，得到初始节拍信息，并通过所述页面操作数据对所述初始节拍信息进行节拍校验，生成音频节拍信息；

根据所述至少两个第二电子乐器，对所述伴奏片段音频进行音频分类提取，得到每个第二电子乐器对应的原始音频；

对每个第二电子乐器对应的原始音频进行音频数字转码，得到每个第二电子乐器对应的音频数据。

5.根据权利要求1所述的基于电子乐器的伴奏生成方法，其特征在于，所述对每个第二电子乐器对应的音频数据进行特征提取，得到每个第二电子乐器对应的音频特征，包括：

将每个第二电子乐器对应的音频数据加载至预设内存中，并通过预置的音频处理库提取所述音频数据的声谱图，得到每个第二电子乐器对应的声谱图；

基于预设的主成分分析算法，对每个第二电子乐器对应的声谱图进行音频特征提取，得到每个第二电子乐器对应的音频特征。

6.一种基于电子乐器的伴奏生成装置，其特征在于，所述基于电子乐器的伴奏生成装置包括：

获取模块，用于获取多个不同的第一电子乐器对应的音色数据，并根据所述音色数据构建每个第一电子乐器对应的第一伴奏模型，以及对每个第一电子乐器对应的第一伴奏模型进行模型集成，生成目标伴奏模型集；

处理模块，用于基于预设的乐器操作界面获取目标用户的页面操作数据，并根据所述页面操作数据生成所述目标用户输入的伴奏片段音频；

分析模块，用于对所述伴奏片段音频进行音频分析，得到所述伴奏片段音频中包含的至少两个第二电子乐器以及音频节拍信息，并根据所述至少两个第二电子乐器对所述伴奏片段音频进行音频转码处理，得到每个第二电子乐器对应的音频数据；

提取模块，用于对每个第二电子乐器对应的音频数据进行特征提取，得到每个第二电子乐器对应的音频特征；

生成模块，用于将每个第二电子乐器对应的音频特征和所述音频节拍信息输入所述目标伴奏模型集，并通过所述目标伴奏模型集中与每个第二电子乐器对应的第二伴奏模型进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据；其中，根据所述至少两个第二电子乐器，从所述目标伴奏模型集中匹配与每个第二电子乐器对应的第二伴奏模型；将每个第二电子乐器对应的音频特征和所述音频节拍信息输入对应的第二伴奏模型进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据；其中，将每个第二电子乐器对应的音频特征和所述音频节拍信息输入对应的第二伴奏模型；通过所述第二伴奏模型中的双层长短时记忆网络，对所述音频节拍信息进行节拍特征提取，得到目标节拍特征；通过所述第二伴奏模型中的第一门限循环网络，对每个第二电子乐器对应的音频特征进行音频特征编码，得到每个第二电子乐器对应的目标编码特征；对所述目标节拍特征和每个第二电子乐器对应的目标编码特征进行特征融合，得到每个第二电子乐器对应的目标融合特征；将每个第二电子乐器对应的目标融合特征输入所述第二伴奏模型中的第二门限循环网络进行伴奏生成，得到每个第二电子乐器对应的第一伴奏数据；

输出模块，用于对每个第二电子乐器对应的第一伴奏数据进行音频比例调整，得到多个第二伴奏数据，并对所述多个第二伴奏数据进行伴奏融合，输出目标伴奏数据。

7.一种基于电子乐器的伴奏生成设备，其特征在于，所述基于电子乐器的伴奏生成设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于电子乐器的伴奏生成设备执行如权利要求1-5中任一项所述的基于电子乐器的伴奏生成方法。

8.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-5中任一项所述的基于电子乐器的伴奏生成方法。

Images