CN110534078A - 一种基于音频特征的细粒度音乐节奏提取系统及方法 - Google Patents

Abstract

本发明实施例公开了一种基于音频特征的细粒度音乐节奏提取系统及方法，所述系统包括：去噪模块、音频分离模块、特征提取模块、特征合并模块和输出模块，所述去噪模块消除歌曲中的噪声，所述音频分离模块提取歌曲中的伴奏轨道和节奏乐器轨道，所述特征提取模块提取伴奏轨道或节奏乐器轨道中的节拍和音头，所述特征合并模块将提取出的节拍和音头进行混合算法处理，得到节奏特征突出的音频数据，所述输出模块将节奏特征突出的音频数据输出为python数据接口，外部设备从python数据接口获取歌曲节奏特征。本发明解决了现有音乐提取系统不能准确提取拟合音乐节奏的问题。

Description

一种基于音频特征的细粒度音乐节奏提取系统及方法

技术领域

本发明实施例涉及音乐处理技术领域，具体涉及一种基于音频特征的细粒度音乐节奏提取系统及方法。

背景技术

音乐节奏提取广泛应用于各种音乐系统中，小到市场常见的玩具，大到目前流行的音乐喷泉都用到音乐的节奏提取技术。播放音乐时，把音乐的节奏提取出来，去控制外围机械设备，使整个音乐系统的动作和播放的音乐节奏相呼应，即行为和声音同步，给人们视觉和听觉的享受。

近年来，随着计算机技术、通信技术以及多媒体技术的交互发展日趋成熟，计算机作为一种强大的计算分析工具不断渗透到社会的各个领域和生活的各个层面。人们也越来越期望能借助计算机来模拟、分析和表达人类的各种主观智能活动，比如人的思维、情感等等，来更好理解和复现作为社会主体的人的内心世界。随着计算机技术在多媒体领域充分的研究与应用，多媒体业务也因而取得了飞速的发展，并成为21世纪发展最快、规模最大的产业之一。而音乐作为多媒体音频数据中最重要的一种表达方式，它通过计算机把音乐各种基本要素进行巧妙组合，从而展现出一个丰富的情感世界，是一种表现人类情感的优雅艺术。悦耳的音乐不仅可以是人心情舒畅，还可以提高人的工作效率，甚至改善人们对生活的信念。因此，作为一种最贴近于人类思维的音乐领域，受到越来越多的计算机研究者们的关注。目前，在美国、西欧和日本的不少科研院所和大学相继成立了专门研究计算机音乐的机构。基于节奏在音乐表达中的重要地位和在多媒体应用的广泛性，节奏提取成为计算机音乐分析中一个重要的热点，在计算机多媒体及其他领域有着广阔的应用空间。

传统的音乐节奏提取过程只是简单提取音乐的Beats、Bpm等信息，局限性较大，不能清晰、明确地反映出音乐的节奏特征，旁白、人声、噪音干扰多，可应用场景较少。

发明内容

为此，本发明实施例提供一种基于音频特征的细粒度音乐节奏提取系统及方法，以解决现有音乐提取系统不能准确提取拟合音乐节奏的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

根据本发明实施例的第一方面，公开了一种基于音频特征的细粒度音乐节奏提取系统，所述系统包括：去噪模块、音频分离模块、特征提取模块、特征合并模块和输出模块，所述去噪模块消除歌曲中的噪声，所述音频分离模块提取歌曲中的伴奏轨道和节奏乐器轨道，所述特征提取模块提取伴奏轨道或节奏乐器轨道中的节拍和音头，所述特征合并模块将提取出的节拍和音头进行混合算法处理，得到节奏特征突出的音频数据，所述输出模块将节奏特征突出的音频数据输出为python数据接口，外部设备从python数据接口获取歌曲节奏特征。

进一步地，所述去噪模块对歌曲中的人声、自然声音进行检测，识别噪声的频率，对噪声进行提取并剪除噪声。

进一步地，所述音频分离模块利用多尺度神经网络对歌曲进行轨道分离，利用多尺度神经网络中的STL1模型消除人声并提取伴奏，利用多尺度神经网络中的STL2模型对乐器轨道进行分离，得到伴奏轨道和节奏乐器轨道。

进一步地，所述音频分离模块针对节奏感强的音乐，利用节奏乐器轨道进行特征提取，针对节奏感弱的音乐，利用伴奏轨道进行特征提取。

进一步地，所述特征提取模块利用librosa音频处理库中的节拍轨道获取单元和音头获取单元从伴奏轨道和节奏乐器轨道获取节拍和音头的数据，对音头数据进行调参。

进一步地，所述音头数据调参的过程为：对原始音头数据进行可选预处理，得到声音信号，对声音信号进行缩减处理得到检测函数，对检测函数进行峰值检测，实现音头定位。

进一步地，所述特征合并模块利用OB混合算法对节拍数据和音头数据进行合并，节拍数据和音头数据相互重复以及在时间轴上相接近的部分剔除音头数据，保留节拍数据，节拍数据和音头数据不重复的部分相互补充均进行保留，节拍数据和音头数据合并后，将原节拍数据标记为heavy，原音头数据标记为light。

进一步地，所述输出模块将合并后的节拍数据和音头数据融合为python数据接口，外部设备从python数据接口调取歌曲节奏数据。

根据本发明实施例的第二方面，公开了一种基于音频特征的细粒度音乐节奏提取方法，所述方法为：

利用去噪模块对原始音乐数据进行去噪处理，去除音乐中的人声旁白、雷雨声、风声、海浪声、鸟叫声，获取音乐伴奏；

通过音频分离模块利用多尺度神经网络对歌曲进行轨道分离，得到伴奏轨道和节奏乐器轨道；

特征提取模块利用librosa音频处理库中的节拍轨道获取单元和音头获取单元从伴奏轨道和节奏乐器轨道获取节拍和音头的数据；

特征合并模块利用OB混合算法对节拍数据和音头数据进行合并，节拍数据和音头数据相互重复以及在时间轴上相接近的部分剔除音头数据，保留节拍数据，节拍数据和音头数据不重复的部分相互补充均进行保留；

输出模块将合并后的节拍数据和音头数据融合为python数据接口，通过python数据接口获取音乐的节奏数据。

本发明实施例具有如下优点：

本发明实施例公开了一种基于音频特征的细粒度音乐节奏提取系统及方法，通过去噪模块消除音乐中的噪声，利用音频分离模块分离出伴奏轨道和节奏乐器轨道，通过特征提取模块从伴奏轨道和节奏乐器轨道中提取节拍和音头，特征合并模块将节拍和音头进行合并处理，剔除与节拍数据重复的音头数据，对节拍数据进行保留，通过输出模块将将合并后的节拍数据和音头数据融合为python数据接口，准确获取音乐的节奏，降低音乐节奏获取成本，便于根据音乐节奏进行视觉元素的调整。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明实施例1提供的一种于音频特征的细粒度音乐节奏提取系统的流程图；

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本实施例公开了一种基于音频特征的细粒度音乐节奏提取系统，所述系统包括：去噪模块、音频分离模块、特征提取模块、特征合并模块和输出模块，所述去噪模块消除歌曲中的噪声，所述音频分离模块提取歌曲中的伴奏轨道和节奏乐器轨道，所述特征提取模块提取伴奏轨道或节奏乐器轨道中的节拍和音头，所述特征合并模块将提取出的节拍和音头进行混合算法处理，得到节奏特征突出的音频数据，所述输出模块将节奏特征突出的音频数据输出为python数据接口，外部设备从python数据接口获取歌曲节奏特征。

去噪模块对歌曲中的人声、自然声音进行检测，识别噪声的频率，对噪声进行提取并剪除噪声，噪声包括：人声旁白、雷雨声、风声、海浪声、鸟叫声，噪声一般出现在音乐的前奏或桥接的位置，噪声与音乐本身同样具有较强的音频信号，特别是前奏部分，噪声会提前触发节奏检测，导致检测结果与音乐的真实节奏不相符，通过去噪模块识别噪声的频率，将噪声滤除。

音频分离模块利用多尺度神经网络对歌曲进行轨道分离，利用多尺度神经网络中的STL1模型消除人声并提取伴奏，利用多尺度神经网络中的STL2模型对乐器轨道进行分离，得到伴奏轨道和节奏乐器轨道，多尺度神经网络内设置有多个识别模型，通过不同的识别模型对音乐进行不同的处理操作，音频分离模块针对节奏感强的音乐，利用节奏乐器轨道进行特征提取，针对节奏感弱的音乐，例如钢琴曲，利用伴奏轨道进行特征提取，轨道分离过程中，优先分离节奏乐器轨道，音乐的节奏感较弱时，节奏乐器轨道不易提取，则提取伴奏轨道。

特征提取模块利用librosa音频处理库中的节拍轨道获取单元和音头获取单元从伴奏轨道和节奏乐器轨道获取节拍和音头的数据，对音头数据进行调参是其达到最佳状态，音头数据调参的过程为：对原始音头数据进行可选预处理，得到声音信号，对声音信号进行缩减处理得到检测函数，对检测函数进行峰值检测，实现音头定位。

特征合并模块利用OB混合算法对节拍数据和音头数据进行合并，节拍数据和音头数据相互重复以及在时间轴上相接近的部分剔除音头数据，保留节拍数据，节拍数据和音头数据不重复的部分相互补充均进行保留，节拍数据和音头数据合并后，将原节拍数据标记为heavy，原音头数据标记为light，更加贴合音乐节奏，输出模块将合并后的节拍数据和音头数据融合为python数据接口，外部设备从python数据接口调取歌曲节奏数据，将歌曲节奏数据应用于舞台美术、灯光控制、音频信号处理、唱歌类app、舞蹈类app、短视频类app、视频剪辑软件、音乐游戏、机器人舞蹈，使音乐节奏与视觉效果相匹配，更加准确地抓住音乐节奏。

实施例2

本实施例公开了一种基于音频特征的细粒度音乐节奏提取方法，所述方法为：

利用去噪模块对原始音乐数据进行去噪处理，去除音乐中的人声旁白、雷雨声、风声、海浪声、鸟叫声，获取音乐伴奏；

通过音频分离模块利用多尺度神经网络对歌曲进行轨道分离，得到伴奏轨道和节奏乐器轨道；

特征提取模块利用librosa音频处理库中的节拍轨道获取单元和音头获取单元从伴奏轨道和节奏乐器轨道获取节拍和音头的数据；

特征合并模块利用OB混合算法对节拍数据和音头数据进行合并，节拍数据和音头数据相互重复以及在时间轴上相接近的部分剔除音头数据，保留节拍数据，节拍数据和音头数据不重复的部分相互补充均进行保留；

输出模块将合并后的节拍数据和音头数据融合为python数据接口，通过python数据接口获取音乐的节奏数据。

实现准确获取音乐的节奏，降低音乐节奏获取成本，便于根据音乐节奏进行视觉元素的调整。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (9)

1.一种基于音频特征的细粒度音乐节奏提取系统，其特征在于，所述系统包括：去噪模块、音频分离模块、特征提取模块、特征合并模块和输出模块，所述去噪模块消除歌曲中的噪声，所述音频分离模块提取歌曲中的伴奏轨道和节奏乐器轨道，所述特征提取模块提取伴奏轨道或节奏乐器轨道中的节拍和音头，所述特征合并模块将提取出的节拍和音头进行混合算法处理，得到节奏特征突出的音频数据，所述输出模块将节奏特征突出的音频数据输出为python数据接口，外部设备从python数据接口获取歌曲节奏特征。

2.如权利要求1所述的一种基于音频特征的细粒度音乐节奏提取系统，其特征在于，所述去噪模块对歌曲中的人声、自然声音进行检测，识别噪声的频率，对噪声进行提取并剪除噪声。

3.如权利要求1所述的一种基于音频特征的细粒度音乐节奏提取系统，其特征在于，所述音频分离模块利用多尺度神经网络对歌曲进行轨道分离，利用多尺度神经网络中的STL1模型消除人声并提取伴奏，利用多尺度神经网络中的STL2模型对乐器轨道进行分离，得到伴奏轨道和节奏乐器轨道。

4.如权利要求3所述的一种基于音频特征的细粒度音乐节奏提取系统，其特征在于，所述音频分离模块针对节奏感强的音乐，利用节奏乐器轨道进行特征提取，针对节奏感弱的音乐，利用伴奏轨道进行特征提取。

5.如权利要求1所述的一种基于音频特征的细粒度音乐节奏提取系统，其特征在于，所述特征提取模块利用librosa音频处理库中的节拍轨道获取单元和音头获取单元从伴奏轨道和节奏乐器轨道获取节拍和音头的数据，对音头数据进行调参。

6.如权利要求5所述的一种基于音频特征的细粒度音乐节奏提取系统，其特征在于，所述音头数据调参的过程为：对原始音头数据进行可选预处理，得到声音信号，对声音信号进行缩减处理得到检测函数，对检测函数进行峰值检测，实现音头定位。

7.如权利要求1所述的一种基于音频特征的细粒度音乐节奏提取系统，其特征在于，所述特征合并模块利用OB混合算法对节拍数据和音头数据进行合并，节拍数据和音头数据相互重复以及在时间轴上相接近的部分剔除音头数据，保留节拍数据，节拍数据和音头数据不重复的部分相互补充均进行保留，节拍数据和音头数据合并后，将原节拍数据标记为heavy，原音头数据标记为light。

8.如权利要求1所述的一种基于音频特征的细粒度音乐节奏提取系统，其特征在于，所述输出模块将合并后的节拍数据和音头数据融合为python数据接口，外部设备从python数据接口调取歌曲节奏数据。

9.一种基于音频特征的细粒度音乐节奏提取方法，其特征在于，所述方法为：

利用去噪模块对原始音乐数据进行去噪处理，去除音乐中的人声旁白、雷雨声、风声、海浪声、鸟叫声，获取音乐伴奏；

通过音频分离模块利用多尺度神经网络对歌曲进行轨道分离，得到伴奏轨道和节奏乐器轨道；

特征提取模块利用librosa音频处理库中的节拍轨道获取单元和音头获取单元从伴奏轨道和节奏乐器轨道获取节拍和音头的数据；

特征合并模块利用OB混合算法对节拍数据和音头数据进行合并，节拍数据和音头数据相互重复以及在时间轴上相接近的部分剔除音头数据，保留节拍数据，节拍数据和音头数据不重复的部分相互补充均进行保留；

输出模块将合并后的节拍数据和音头数据融合为python数据接口，通过python数据接口获取音乐的节奏数据。