CN115083373A - 一种乐器音乐信号和和弦识别方法 - Google Patents

一种乐器音乐信号和和弦识别方法 Download PDF

Info

Publication number
CN115083373A
CN115083373A CN202210594579.3A CN202210594579A CN115083373A CN 115083373 A CN115083373 A CN 115083373A CN 202210594579 A CN202210594579 A CN 202210594579A CN 115083373 A CN115083373 A CN 115083373A
Authority
CN
China
Prior art keywords
note
chord
data set
characteristic
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210594579.3A
Other languages
English (en)
Inventor
何海峰
王金权
张腾蔚
盛勇
吴昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Rantion Technology Co Ltd
Original Assignee
Guangzhou Rantion Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Rantion Technology Co Ltd filed Critical Guangzhou Rantion Technology Co Ltd
Priority to CN202210594579.3A priority Critical patent/CN115083373A/zh
Publication of CN115083373A publication Critical patent/CN115083373A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/38—Chord
    • G10H1/383—Chord detection and/or recognition, e.g. for correction, or automatic bass generation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本发明公开了一种乐器音乐信号和和弦识别方法，包括以下步骤：信号转换、构建音符特征序列、比对和弦特征以及和弦修正。通过音频特征模块将音频特征转化为无人声特征，然后使用傅里叶变换对无人声特征进行切分得到音符信息，再通过音符特征模型提取各个音符在不同的和弦功能识别维度上的和弦特征，并通过音符特征模型不断对和弦特征进行识别，从而实现乐谱和弦的自动识别，并且训练数据集、测试数据集和验证数据集会不断对和弦特征进行训练和优化，进而提高了和弦识别的准确度。

Description

一种乐器音乐信号和和弦识别方法
技术领域
本发明属于音视频技术领域，具体涉及一种乐器音乐信号和和弦识别方法。
背景技术
自动和弦识别(ACR)是音乐信息检索领域的重要研究话题，和弦是音乐形成的基础，它可以直接影响一首音乐的审美，决定音乐的情感和色彩，丰富音乐的内容。常见的和弦类型包括三和弦：大三和弦(maj)、小三和弦(min)、减三和弦(dim)、增三和弦(aug)，七和弦:大七和弦(maj7)、属七和弦(7)、小七和弦(m7)、小大七和弦(mM7)、减七和弦(dim7)、增七和弦(aug7)、半减七和弦(half-dim7)，以及附加和弦(add)、扩展和弦(extend)、挂留和弦(suspend)；
和弦进行是流行音乐、古典乐、摇滚音乐和布鲁斯、爵士等音乐的基础，在这些音乐体裁中，旋律和节奏是建立在和弦进行上的，在歌曲创作过程中，歌曲通常由和弦进行，然后再考虑旋律、bass、配器等其他元素。因此，和弦识别对于音乐学习和作曲无疑是非常重要的，例如，在爵士乐即兴演奏中，爵士贝斯手可以根据和弦谱即兴演奏低音，其他独奏乐器演奏者也根据和弦谱即兴创作自己的独奏部分，在相关技术中，一些网站提供了一些手动注释的乐谱供下载，然而，这些乐谱中的和弦需要依靠人工识别并注释，和弦识别的准确度较低。
发明内容
本发明的目的在于提供一种乐器音乐信号和和弦识别方法，以解决上述背景技术中提出现有技术中乐谱中的和弦需要依靠人工识别并注释以及弦识别的准确度较低的问题。
为实现上述目的，本发明采用了如下技术方案：一种乐器音乐信号和和弦识别方法，包括以下步骤：
S1、通过收音设备将乐器的音频模拟信号转化为数字信号，传输到音频特征模块中，通过音频特征模块将数字信号中的音频特征进行提取得到无人声特征，然后对无人声特征的时域信号进行傅里叶变换转换到频域，然后再利用梅尔频率刻度的滤波器组对应频域信号进行切分，使每个频率段对应一个数值；
S2、然后将频域信号切分后的数值进行特征提取，得到音符信息，将音符信息构建各个音符的二维矩阵表示，再将二维矩阵表示序列输入至特征提取模型中，获取特征提取模型针对二维矩阵表示序列输出的音符特征序列，音符特征序列中含有各个音符对应的音符特征；
S3、再将音符特征序列输入到和弦功能识别模型中，并建立音符特征模型，得到从不同的和弦功能识别维度对音符特征序列中的各个音符特征进行识别处理所得到的和弦特征；
S4、最后基于原始音频的真实和弦类型，计算音符特征模型的预测损失，再基于音符特征模型的预测损失对音符特征模型的参数进行调整。
优选的，所述S1中Mel频率fmel与声音信号频率f的对应关系为：
Fmel＝2959log10(1+f/700)。
优选的，所述S2中特征提取模型从音频模拟信号中转化音频数据，与音符特征进行比对识别，所述音符特征中包含至少一组音符片段与特征信息的对应关系。
优选的，所述音频数据通过特征提取模型训练后得到乐谱信息，将乐谱信息中的音符与音符特征进行比对识别，然后将比对结果正确的音符特征进行保存，比对结果错误的音符特征筛去。
优选的，所述S3中所述和弦功能识别维度包括和弦调式维度、和弦调性维度以及和弦转位维度，所述和弦调式维度、和弦调性维度以及和弦转位维度共同作用于原始音频模拟信号的和弦功能表示。
优选的，所述S3中音符特征模型中包含有来自S2中正确的音符特征，所述音符特征模型中建立有音符数据库，对正确的音符特征进行保存，并且音符特征模型会对音符数据库中的音符特征不断进行训练优化。
优选的，所述S4中音频特征模型将音符数据库中正确的音符特征分为第一音符数据段、第二音符数据段和第三音符数据段，所述第一音符数据段构成训练数据集，所述第二音符数据段构成测试数据集，所述第三音符数据段构成验证数据集，并将所述训练数据集、测试数据集和验证数据集对音符特征进行预测。
优选的，所述训练数据集会对音符特征进行训练，并经过测试数据集进行测试，在通过验证数据集再次进行验证后将验证结果进行归纳，得到和弦识别结果。
本发明的技术效果和优点：本发明提出的一种乐器音乐信号和和弦识别方法，与现有技术相比，具有以下优点：
通过音频特征模块将音频特征转化为无人声特征，然后使用傅里叶变换对无人声特征进行切分得到音符信息，再通过音符特征模型提取各个音符在不同的和弦功能识别维度上的和弦特征，并通过音符特征模型不断对和弦特征进行识别，从而实现乐谱和弦的自动识别，并且训练数据集、测试数据集和验证数据集会不断对和弦特征进行训练和优化，进而提高了和弦识别的准确度。
附图说明
图1为本发明Mel频率和标准频率的关系图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了如图1所示的一种乐器音乐信号和和弦识别方法，包括以下步骤：
S1、信号转换：通过收音设备将乐器的音频模拟信号转化为数字信号，传输到音频特征模块中，通过音频特征模块将数字信号中的音频特征进行提取得到无人声特征，然后对无人声特征的时域信号进行傅里叶变换转换到频域，然后再利用梅尔频率刻度的滤波器组对应频域信号进行切分，使每个频率段对应一个数值，Mel频率fmel与声音信号频率f的对应关系为：
Fmel＝2959log10(1+f/700)；
当在梅尔刻度上面上是均匀分度的话，对于的赫兹之间的距离将会越来越大，倒谱的含义是：对时域信号做傅里叶变换，然后取log，然后再进行反傅里叶变换，可以分为复倒谱、实倒谱和功率倒谱；
S2、构建音符特征序列：然后将频域信号切分后的数值进行特征提取，得到音符信息，将音符信息构建各个音符的二维矩阵表示，再将二维矩阵表示序列输入至特征提取模型中，获取特征提取模型针对二维矩阵表示序列输出的音符特征序列，音符特征序列中含有各个音符对应的音符特征，特征提取模型从音频模拟信号中转化音频数据，与音符特征进行比对识别，音符特征中包含至少一组音符片段与特征信息的对应关系，音频数据通过特征提取模型训练后得到乐谱信息，将乐谱信息中的音符与音符特征进行比对识别，然后将比对结果正确的音符特征进行保存，比对结果错误的音符特征筛去，若针对各个音符提取得到各个音符的音符音高和音符持续时长，则可以将音符音高作为二维矩阵中的纵向元素，以及将音符持续时长作为二维矩阵中的横向元素，或者将音符音高作为二维矩阵中的横向元素，以及将音符持续时长作为二维矩阵中的纵向元素，以构建各个音符的二维矩阵表示，针对将音符音高作为二维矩阵中的纵向元素，以及将音符持续时长作为二维矩阵中的横向元素所构建得到的二维矩阵表示，其可以理解为是以音符音高为纵向坐标，且以时间为横向坐标构建的坐标系，因此各个音符的二维矩阵表示能够携带音符对应的音符信息，进而基于对各个音符的二维矩阵表示的识别处理得到音乐数据在和弦功能上的相关信息，特征提取模型包括Bi-LSTM网络和全连接网络，Bi-LSTM网络用于对输入其中的二维矩阵表示序列进行音符特征提取，其中，二维矩阵表示序列是由待识别音乐和弦的音乐数据中含有的各个音符的二维矩阵表示所构成的序列，各个音符的二维矩阵表示是基于各个音符对应的音符信息构建得到的；
S3、比对和弦特征：再将音符特征序列输入到和弦功能识别模型中，并建立音符特征模型，得到从不同的和弦功能识别维度对音符特征序列中的各个音符特征进行识别处理所得到的和弦特征，和弦功能识别维度包括和弦调式维度、和弦调性维度以及和弦转位维度，和弦调式维度、和弦调性维度以及和弦转位维度共同作用于原始音频模拟信号的和弦功能表示，音符特征模型中包含有来自S2中正确的音符特征，音符特征模型中建立有音符数据库，对正确的音符特征进行保存，并且音符特征模型会对音符数据库中的音符特征不断进行训练优化；
S4、和弦修正：最后基于原始音频的真实和弦类型，计算音符特征模型的预测损失，再基于音符特征模型的预测损失对音符特征模型的参数进行调整，音频特征模型将音符数据库中正确的音符特征分为第一音符数据段、第二音符数据段和第三音符数据段，第一音符数据段构成训练数据集，第二音符数据段构成测试数据集，第三音符数据段构成验证数据集，并将训练数据集、测试数据集和验证数据集对音符特征进行预测，训练数据集会对音符特征进行训练，并经过测试数据集进行测试，在通过验证数据集再次进行验证后将验证结果进行归纳，得到和弦识别结果，通过训练数据集、测试数据集和验证数据集对音符特征进行预测，提高了和弦识别的准确度。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种乐器音乐信号和和弦识别方法，包括以下步骤：其特征在于：
S1、信号转换：通过收音设备将乐器的音频模拟信号转化为数字信号，传输到音频特征模块中，通过音频特征模块将数字信号中的音频特征进行提取得到无人声特征，然后对无人声特征的时域信号进行傅里叶变换转换到频域，然后再利用梅尔频率刻度的滤波器组对应频域信号进行切分，使每个频率段对应一个数值；
S2、构建音符特征序列：然后将频域信号切分后的数值进行特征提取，得到音符信息，将音符信息构建各个音符的二维矩阵表示，再将二维矩阵表示序列输入至特征提取模型中，获取特征提取模型针对二维矩阵表示序列输出的音符特征序列，音符特征序列中含有各个音符对应的音符特征；
S3、比对和弦特征：再将音符特征序列输入到和弦功能识别模型中，并建立音符特征模型，得到从不同的和弦功能识别维度对音符特征序列中的各个音符特征进行识别处理所得到的和弦特征；
S4、和弦修正：最后基于原始音频的真实和弦类型，计算音符特征模型的预测损失，再基于音符特征模型的预测损失对音符特征模型的参数进行调整。
2.根据权利要求1所述的一种乐器音乐信号和和弦识别方法，其特征在于：所述S1中Mel频率fmel与声音信号频率f的对应关系为：
Fmel＝2959log10(1+f/700)。
3.根据权利要求1所述的一种乐器音乐信号和和弦识别方法，其特征在于：所述S2中特征提取模型从音频模拟信号中转化音频数据，与音符特征进行比对识别，所述音符特征中包含至少一组音符片段与特征信息的对应关系。
4.根据权利要求3所述的一种乐器音乐信号和和弦识别方法，其特征在于：所述音频数据通过特征提取模型训练后得到乐谱信息，将乐谱信息中的音符与音符特征进行比对识别，然后将比对结果正确的音符特征进行保存，比对结果错误的音符特征筛去。
5.根据权利要求1所述的一种乐器音乐信号和和弦识别方法，其特征在于：所述S3中所述和弦功能识别维度包括和弦调式维度、和弦调性维度以及和弦转位维度，所述和弦调式维度、和弦调性维度以及和弦转位维度共同作用于原始音频模拟信号的和弦功能表示。
6.根据权利要求1所述的一种乐器音乐信号和和弦识别方法，其特征在于：所述S3中音符特征模型中包含有来自S2中正确的音符特征，所述音符特征模型中建立有音符数据库，对正确的音符特征进行保存，并且音符特征模型会对音符数据库中的音符特征不断进行训练优化。
7.根据权利要求6所述的一种乐器音乐信号和和弦识别方法，其特征在于：所述S4中音频特征模型将音符数据库中正确的音符特征分为第一音符数据段、第二音符数据段和第三音符数据段，所述第一音符数据段构成训练数据集，所述第二音符数据段构成测试数据集，所述第三音符数据段构成验证数据集，并将所述训练数据集、测试数据集和验证数据集对音符特征进行预测。
8.根据权利要求1所述的一种乐器音乐信号和和弦识别方法，其特征在于：所述训练数据集会对音符特征进行训练，并经过测试数据集进行测试，在通过验证数据集再次进行验证后将验证结果进行归纳，得到和弦识别结果。
CN202210594579.3A 2022-05-27 2022-05-27 一种乐器音乐信号和和弦识别方法 Pending CN115083373A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210594579.3A CN115083373A (zh) 2022-05-27 2022-05-27 一种乐器音乐信号和和弦识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210594579.3A CN115083373A (zh) 2022-05-27 2022-05-27 一种乐器音乐信号和和弦识别方法

Publications (1)

Publication Number Publication Date
CN115083373A true CN115083373A (zh) 2022-09-20

Family

ID=83248893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210594579.3A Pending CN115083373A (zh) 2022-05-27 2022-05-27 一种乐器音乐信号和和弦识别方法

Country Status (1)

Country Link
CN (1) CN115083373A (zh)

Similar Documents

Publication Publication Date Title
Typke Music retrieval based on melodic similarity
Wu et al. Polyphonic music transcription with semantic segmentation
Lehner et al. Online, loudness-invariant vocal detection in mixed music signals
KR20080054393A (ko) 음악 분석
CN108549675B (zh) 一种基于大数据及神经网络的钢琴教学方法
Bittner et al. Pitch contours as a mid-level representation for music informatics
Heydarian Automatic recognition of Persian musical modes in audio musical signals
Mounika et al. Music genre classification using deep learning
CN112634841B (zh) 一种基于声音识别的吉他谱自动生成方法
Nagavi et al. Overview of automatic Indian music information recognition, classification and retrieval systems
Alfaro-Paredes et al. Query by humming for song identification using voice isolation
Sarkar et al. Raga identification from Hindustani classical music signal using compositional properties
CN110134823B (zh) 基于归一化音符显马尔可夫模型的midi音乐流派分类方法
Kitahara et al. Musical instrument recognizer" instrogram" and its application to music retrieval based on instrumentation similarity
Gao et al. Vocal melody extraction via dnn-based pitch estimation and salience-based pitch refinement
Gulati A tonic identification approach for Indian art music
WO2019053544A1 (en) IDENTIFICATION OF AUDIOS COMPONENTS IN AN AUDIO MIX
CN111681674B (zh) 一种基于朴素贝叶斯模型的乐器种类识别方法和系统
CN115083373A (zh) 一种乐器音乐信号和和弦识别方法
CN115331648A (zh) 音频数据处理方法、装置、设备、存储介质及产品
Dharini et al. CD-HMM Modeling for raga identification
Vatolkin et al. Comparison of Audio Features for Recognition of Western and Ethnic Instruments in Polyphonic Mixtures.
CN116034421A (zh) 乐曲构造解析装置及乐曲构造解析方法
Ciamarone et al. Automatic Dastgah recognition using Markov models
You et al. Music tonality detection based on Krumhansl-Schmuckler profile

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination