CN114399985A - 一种基于Spleeter源分离引擎的乐器智能拼接游戏系统 - Google Patents

Abstract

本发明公开了一种基于Spleeter源分离引擎的乐器智能拼接游戏方法及系统，包括歌声与伴奏分离模块，乐器选择模块，乐谱提取模块，乐器音频生成模块和音频合成模块；歌声与伴奏分离模块分别连接乐器选择模块、乐谱提取模块和音频合成模块，乐器选择模块分别连接乐谱提取模块和乐器音频生成模块，乐器音频生成模块分别连接乐谱提取模块和音频合成模块。本申请基于Spleeter源分离引擎，将音乐中使用的乐器进行识别并展示，用户可以选择将其中的一部分乐器进行替代，由平台生成新的音乐，让用户体验新的乐器组合下的乐曲，设置为新的彩铃，同时增加爱音乐的游戏趣味，提升用户粘性。

Description

一种基于Spleeter源分离引擎的乐器智能拼接游戏系统

技术领域

本发明涉及乐器拼接游戏领域，具体为一种基于Spleeter源分离引擎的乐器智能拼接游戏系统。

背景技术

音乐是人类最杰出的创作之一。聆听音乐、鉴赏音乐，是现代人极为普遍的生活调味剂。音乐在人们的生活中是不可缺少的，音乐对儿童的成长更有着不可估量的重要作用。

拼贴音乐，顾名思义就是通过几种不同的乐曲拼接而成。在音乐作品中引用材料的时空跨度、使用的频度和材料间的对比等方面达到前所未有的程度。 例如给予一定的作曲模式，拼贴进格里哥利圣咏、巴赫的赋格和当代爵士等时空跨度极大的音乐材料，通过解构和重组对传统音乐进行新的解释，建立新的意义。

拼贴音乐的起源可以追溯到奥地利作曲家比贝尔（Heinrich Ignaz FranzBiber）的纲领性奏鸣曲《巴塔利亚》（Battalia）（1673）和莫扎特的《唐·乔瓦尼》（1789）的作品。

一些评论家将马勒交响曲中的某些段落描述为拼贴，但最早完全发展起来拼接音乐的是查尔斯·艾夫斯（Charles Ives）的一些作品中，他的作品《黑暗中的中央公园》创作于1906年，通过将几个不同的旋律和语录叠加在一起，创造出一种在城市中漫步的感觉。因此，拼贴在音乐中的使用实际上早于毕加索（Picasso）和布拉克（Braque）等艺术家在绘画中的使用，他们通常被认为是1912年左右创作了第一幅拼贴画。

今天，拼贴音乐可以被认为是一种流苏的后现代主义和一种数字艺术形式的体现。乔治·罗奇伯格（George Rochberg）是一位著名的艺术家，他在作品中运用了拼贴技术，包括了《反死亡与节奏》（Contra Mortem et Tempus）和《第三交响曲》。

20世纪的经济和社会型态对音乐有重大的影响力，世界在工业化时代有了逐渐进步的录音和回放设备，从录音带到CD到DVD，有了广播和电视，以及整个资本主义脉络的内嵌，造就了音乐发展的多样性。

拼接音乐片段需要充分利用已知的诸如标志和符号系统，实践的标准，内在和可认知的结构，材料和形式等文化研究手段来创造新的认识，技能和结构。在通过拼接音乐片段塑造声音氛围时，参与者需要将对身份的隐喻表达和存在感，以及灵活，富有想象力的和有意义的叙述与对特定媒介样式的艺术探索进行有机结合。

经检索涉及乐器拼接方法的公开中国专利文献有：

1、基于层标准化的递归跳跃连接深度学习音乐自动生成方法，申请(专利)号：CN202110931804.3 申请日： 2021.08.13，公开了一种基于层标准化的递归跳跃连接深度学习音乐自动生成方法，由收集乐器数字接口数据、对训练集进行预处理、构建音乐自动生成网络、训练音乐自动生成网络、自动生成音乐文件步骤组成。以Transformer-XL神经网络的结构作为基础，引入层标准化递归神经网络和多专家层，优化了整体神经网络性能，缓解了递归消失或爆炸的情况，增强神经网络的学习能力，使生成的音乐的质量更高，更贴近训练集的类型。本发明可应用于音乐自动生成技术领域。

2、一种APP哼唱作曲系统及其方法，申请(专利)号： CN201510478630.4 申请日：2015.08.06，涉及一种APP哼唱作曲系统及其方法，系统包括APP客户端登录模块，APP客户端选择模块，音频数据收发模块，音频数据获取模块，音频数据协调模块，音频数据存储模块，音频数据合成模块和音频数据修整模块。利用歌曲结构划分歌曲成5个部分，并根据5个部分碎片化歌曲并重组来完成伴奏，并总结流行音乐的规律，创作出万能和弦块，随意拼接，用户通过拼接和弦块并自主哼唱合成作曲歌曲碎片化并重组成新歌曲的娱乐性；本发明通过选择歌曲风格、基调，简明易懂，将专业语言通俗形象化，用户可以直接选择而不用深究其意义。本发明帮助普通大众做出属于自己的曲子，无需懂乐器，懂编曲，将歌唱一遍就能输出属于自己的歌。

3、一种多用途拼接化数字音乐类玩具，申请(专利)号： CN201811346067.5 申请日： 2018.11.13，涉及一种多用途拼接化数字音乐类玩具，包括电子音色集成开关装置、管形乐器部件、吹嘴形乐器部件、尾部形乐器部件和其他乐器部件，所述电子音色集成开关装置设置于管形乐器部件内，所述管形乐器部件内安装有与所述电子音色集成开关装置连接的传感器组件；多个所述管形乐器部件与不同的吹嘴形乐器部件、尾部形乐器部件和其他乐器部件配合组装成按孔式管乐器、按键式管乐器、小气囊气鸣式管乐器、大气囊气鸣式管乐器、多管排列式管乐器、摇奏式体鸣乐器或敲击式体鸣乐器，并通过传感器组件和电子音色集成开关装置产生对应音色。与现有技术相比，具有乐器覆盖面广、多功能、可拼接、易于操作等优点。

目前，有很多软件能实现音乐的剪切和拼接，广泛运行于各种电脑及手持设备上。上述文献主要的模式都是用不同的方式进行音乐片段的剪辑和多片段的拼接。实现的仅仅是“音乐串烧”的功能效果。用户对音乐文件进行自定义编辑/改造的空间较小，存在交互体验不佳且趣味性较低的问题。

随着计算机技术和互联网的不断发展和全面普及，人们已经建立了听歌的习惯，但热门歌曲和新的优秀音乐创作速度仍难以满足观众的需求，越来越多用户希望对音乐进行快速的DIY。

发明内容

针对以上问题，本发明的目的在于提供一种基于Spleeter源分离引擎的乐器智能拼接游戏系统。本发明基于Spleeter源分离引擎，将音乐中使用的乐器进行识别并展示，用户可以选择将其中的一部分乐器进行替代，由平台生成新的音乐，让用户体验新的乐器组合下的乐曲，设置为新的彩铃，同时增加爱音乐的游戏趣味，提升用户粘性。

为实现上述目的，本发明提供如下技术方案：

一种基于Spleeter源分离引擎的乐器智能拼接游戏系统，包括歌声与伴奏分离模块，乐器选择模块，乐谱提取模块，乐器音频生成模块和音频合成模块；歌声与伴奏分离模块分别连接乐器选择模块、乐谱提取模块和音频合成模块，乐器选择模块分别连接乐谱提取模块和乐器音频生成模块，乐器音频生成模块分别连接乐谱提取模块和音频合成模块。

需要进一步说明的是，所述歌声与伴奏分离模块能基于已知音乐库对Spleeter引擎进行训练，根据音乐的类型训练聚合对应的AI参数集，类型包括摇滚、流行、爵士、电子、古典、金属和民谣；在输入原始音频文件后，使用类型对应的AI参数集对音乐中的歌声与乐器进行分离。

需要进一步说明的是，所述乐器选择模块用于接收歌声与伴奏分离模块分离出来的乐器列表并进行储存。

需要进一步说明的是，所述乐谱提取模块用于接收歌声与伴奏分离模块按照乐器分离出来的乐器音频文件，并生成乐谱文件。

需要进一步说明的是，所述乐器音频生成模块用于选择要替换的原乐器和目标乐器，并基于乐谱文件生成目标乐器音频文件。

需要进一步说明的是，所述音频合成模块用于将目标乐器音频文件与其他原始未被替换的音频文件进行融合生成新的音乐。

需要进一步说明的是，所述基于Spleeter源分离引擎的乐器智能拼接游戏系统的使用方法包括以下步骤：

①获取原始音乐音频文件；

②对原始音频文件中的歌声与伴奏进行分离；

③根据上述分离结果生成歌声音频文件、不同乐器对应的乐器音频文件和乐器列表；

④根据乐器音频文件生成对应的乐谱文件；

⑤选择一个或者多个要替换的原始乐器和对应的目标乐器进行替换，并基于乐谱文件生成目标乐器音频文件；

⑥将目标乐器音频文件与其他原始未被替换的音频文件进行融合生成新的音乐。

Spleeter是法国音乐流媒体公司Deezer开源了一个基于TensorFlow开发的音轨分离软件，只需通过常见的乐器音频和乐器特征，在引擎中进行参数训练，输入一段命令就可以将音乐的人声和各种乐器声分离，支持mp3、wav、ogg等常见音频格式。

与现有技术相比，本发明的有益效果是：

（1）本发明的系统基于Spleeter源分离引擎，将音乐中使用的乐器进行识别并展示，用户可以选择将其中的一部分乐器进行替代，由平台生成新的音乐，让用户体验新的乐器组合下的乐曲，设置为新的彩铃，同时增加爱音乐的游戏趣味，提升用户粘性；

（2）本发明的系统可选择替换其中的一种或多种乐器文件，形成个性化的新音乐，为音乐尤其是乐器学习者提供数字化的快速替代提供智能化方案，为乐器演奏增添趣味性；

（3）本发明操作简捷，同时能将热门歌曲形成新的优秀音乐创作，符合大众对音乐进行快速DIY的需求。

附图说明

图1为本申请实施例提供一种漏洞检测系统的系统架构示意图；

图2为本申请实施例提供边缘节点进行局部共性模型训练的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-2，本发明提供一种基于Spleeter源分离引擎的乐器智能拼接游戏系统，包括歌声与伴奏分离模块，乐器选择模块，乐谱提取模块，乐器音频生成模块和音频合成模块；歌声与伴奏分离模块分别连接乐器选择模块、乐谱提取模块和音频合成模块，乐器选择模块分别连接乐谱提取模块和乐器音频生成模块，乐器音频生成模块分别连接乐谱提取模块和音频合成模块。

所述歌声与伴奏分离模块能基于已知音乐库对Spleeter引擎进行训练，根据音乐的类型训练聚合对应的AI参数集，类型包括摇滚、流行、爵士、电子、古典、金属和民谣；在输入原始音频文件后，使用类型对应的AI参数集对音乐中的歌声与乐器进行分离。

所述乐器选择模块用于接收歌声与伴奏分离模块分离出来的乐器列表并进行储存。

所述乐谱提取模块用于接收歌声与伴奏分离模块按照乐器分离出来的乐器音频文件，并生成乐谱文件。

所述乐器音频生成模块用于选择要替换的原乐器和目标乐器，并基于乐谱文件生成目标乐器音频文件。

所述音频合成模块用于将目标乐器音频文件与其他原始未被替换的音频文件进行融合生成新的音乐。

所述基于Spleeter源分离引擎的乐器智能拼接游戏系统的使用方法包括以下步骤：

①获取原始音乐音频文件；

②对原始音频文件中的歌声与伴奏进行分离；

③根据上述分离结果生成歌声音频文件、不同乐器对应的乐器音频文件和乐器列表；

④根据乐器音频文件生成对应的乐谱文件；

⑤选择一个或者多个要替换的原始乐器和对应的目标乐器进行替换，并基于乐谱文件生成目标乐器音频文件；

⑥将目标乐器音频文件与其他原始未被替换的音频文件进行融合生成新的音乐。

应用实施例：

在音乐平台中提供一种基于Spleeter源分离引擎的乐器智能拼接游戏系统，首先在训练阶段，基于已知音乐库对Spleeter引擎进行训练，根据音乐的类型训练聚合对应的AI参数集，主要的类型包括摇滚、流行、爵士、民谣等。使用类型对应的AI参数集对音乐中的歌声与乐器进行分离。例如，选择已知乐器的流行音乐，如选择摇滚音乐，则常用的乐器以吉它、贝司、鼓为主，使用这类音乐对Spleeter引擎进行训练，可以得到参数集{A1，A2，…An}摇滚。类似地，还能得到关于流行、爵士、民谣等其他音乐类型的参数集。

乐器拼接游戏开始后，需要获取一个原始音频文件，作为乐器拼接游戏系统的输入，原始音频文件可以是一首MP3、MP4格式或者其他得到支持格式的歌曲，例如“外婆的澎湖湾.mp3”，这个歌曲属于“民谣歌曲”，可以使用民谣参数集在Spleeter引擎，通过歌声与伴奏分离模块对音乐中的歌声与乐器进行分离，按照乐器分别生成对应的音频文件，以及音乐中使用的乐器列表，例如，可以对“外婆的澎湖湾.mp3”文件分离出歌声和吉他伴奏音频文件，乐器列表中有：吉他。在乐器选择模块，用户选择要替换的原乐器和目标乐器，例如，可以选择将“外婆的澎湖湾.mp3”中的吉他换成一个或者多个其他不同的乐器，并基于原乐器的音频文件生成新乐器对应的乐谱文件，按照原乐器乐谱文件生成新乐器的音频文件，接着将新的音频文件与其他原始未被替换的音频文件进行融合生成新的音乐。

用户也可以选择替换其中的一种或多种乐器文件，形成个性化的新音乐，为音乐尤其是乐器学习者提供数字化的快速替代提供智能化方案，为乐器演奏增添趣味性。

Claims (7)

1.一种基于Spleeter源分离引擎的乐器智能拼接游戏系统，其特征在于：包括歌声与伴奏分离模块、乐器选择模块、乐谱提取模块、乐器音频生成模块和音频合成模块；歌声与伴奏分离模块分别连接乐器选择模块、乐谱提取模块和音频合成模块，乐器选择模块分别连接乐谱提取模块和乐器音频生成模块，乐器音频生成模块分别连接乐谱提取模块和音频合成模块。

2.根据权利要求1所述的基于Spleeter源分离引擎的乐器智能拼接游戏系统，其特征在于：所述歌声与伴奏分离模块能基于已知音乐库对Spleeter引擎进行训练，根据音乐的类型训练聚合对应的AI参数集，类型包括摇滚、流行、爵士、电子、古典、金属和民谣；在输入原始音频文件后，使用类型对应的AI参数集对音乐中的歌声与乐器进行分离。

3.根据权利要求1所述的基于Spleeter源分离引擎的乐器智能拼接游戏系统，其特征在于：所述乐器选择模块用于接收歌声与伴奏分离模块分离出来的乐器列表并进行储存。

4.根据权利要求1所述的基于Spleeter源分离引擎的乐器智能拼接游戏系统，其特征在于：所述乐谱提取模块用于接收歌声与伴奏分离模块按照乐器分离出来的乐器音频文件，并生成乐谱文件。

5.根据权利要求1所述的基于Spleeter源分离引擎的乐器智能拼接游戏系统，其特征在于：所述乐器音频生成模块用于选择要替换的原乐器和目标乐器，并基于乐谱文件生成目标乐器音频文件。

6.根据权利要求1所述的基于Spleeter源分离引擎的乐器智能拼接游戏系统，其特征在于：所述音频合成模块用于将目标乐器音频文件与其他原始未被替换的音频文件进行融合生成新的音乐。

7.根据权利要求1所述的基于Spleeter源分离引擎的乐器智能拼接游戏系统，其特征在于：所述系统的使用方法包括以下步骤：

①获取原始音乐音频文件；

②对原始音频文件中的歌声与伴奏进行分离；

③根据上述分离结果生成歌声音频文件、不同乐器对应的乐器音频文件和乐器列表；

④根据乐器音频文件生成对应的乐谱文件；

⑤选择一个或者多个要替换的原始乐器和对应的目标乐器进行替换，并基于乐谱文件生成目标乐器音频文件；

⑥将目标乐器音频文件与其他原始未被替换的音频文件进行融合生成新的音乐。

Images