CN102723079B - 基于稀疏表示的音乐和弦自动识别方法 - Google Patents
基于稀疏表示的音乐和弦自动识别方法 Download PDFInfo
- Publication number
- CN102723079B CN102723079B CN201210185639.2A CN201210185639A CN102723079B CN 102723079 B CN102723079 B CN 102723079B CN 201210185639 A CN201210185639 A CN 201210185639A CN 102723079 B CN102723079 B CN 102723079B
- Authority
- CN
- China
- Prior art keywords
- chord
- music
- sample
- eigenmatrix
- identification method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Auxiliary Devices For Music (AREA)
Abstract
本发明属于计算机听觉技术领域,涉及一种基于稀疏表示的音乐和弦自动识别方法,包括:自实际音乐音频中截取同一和弦的不同样本,建立K个和弦的模板数据库;对每个和弦的每个样本提取MFCC和PCP两种特征,得到每个和弦的每个样本的特征矢量,构成每个和弦的特征矩阵;实现和弦的自动分类;进行最小化二范数,由二范数最小值对应的i确定y所对应的和弦。本发明能够准确、快速地将不同的和弦检测出来,所分析的乐曲不局限于某种固定的音乐风格。
Description
技术领域
本发明属于计算机听觉技术领域,涉及一种音乐和弦识别方法。
背景技术
随着互联网上音乐信息的存储和发布越来越普遍,音乐信息的存储量呈现出急剧增长态势,在这种情况下,单纯的基于文本的检索己经不能满足应用的需求。于是,基于内容的音乐信息检索(MusicInformation Retrieval,MIR)成为近几年来国内外学者研究的热点之一。现有的大多数对音乐信息的检索是通过Mel频率倒谱系数(Mel-Frequency Cepstral Coefficients,MFCC)等底层特征进行分析的。虽然Mel频率倒谱系数反应了人耳的听觉特性,然而该特征与音乐的语义内容并没有直接关系,因此在很多应用方面,这些底层特征所表现出来的信息量往往难以直接应用,而一些中层特征则包含了大量的音乐信息,能够更好地表现音乐的属性,对音乐内容的分析更加具有实用价值,其中,和弦就是典型的中层特征。不仅如此,和弦还可以为音乐的高层特征应用服务。例如,如果能够将任意一段音乐音频正确地转化为和弦序列的系统可以实现音乐结构的分割,能够识别出一段特定的旋律。另外,由于谐波进程与音乐潜在的情感有着密切的联系,因此在风格、情感相似的歌曲中很容易发现相同的和弦。由此可见,在音乐检索领域,音乐的情感分析领域,和弦都会起到至关重要的作用。
音乐和弦识别的算法主要集中在两个方面:特征提取和识别模型。现在用于和弦识别的特征虽然众多,但是大都是音高类别分布参数(Pitch Class Profiles,PCP)的变体,该特征不仅能表示音乐的结构,还能够表示音乐的谐波信息。用于和弦识别的分类器主要有基于模板的分类器和基于隐马尔科夫模型(Hidden Markov Model,HMM)的分类器。但是这两种分类器的识别效果都不佳,识别率集中在70%到80%之间。若是将和弦识别运用到实际中,这个结果显然有待提高。
专利CN101123085提出通过拍子检测、小节检测、基音检测等单元来确定和弦名,该方法的每一个检测单元的错误可能会直接影响到后面的检测单元,这样三个检测单元的层层错误的传递和累积会影响最后的识别结果。
近年来,基于最小一范数的稀疏表示分类器(Sparse Representation-based Classification,SRC)已经成功应用于模式识别与分类的很多领域,尤其在人脸识别中,表现出很强的稳定性和鲁棒性。该方法为基于内容的音乐语义符号的识别提供了全新的理论和技术支撑。SRC在音乐乐器分类、音乐流派分类、钢琴演奏转录等领域同样取得了良好的识别效果,而且该分类器不会产生累加错误,也不需要HMM中模型训练的过程,但目前尚未有基于最小一范数稀疏表示分类器用于音乐和弦自动识别的报道。
发明内容
本发明的目的是克服现有技术的上述不足,提供一种能够准确、快速地将不同的和弦检测出来的音乐和弦的自动识别方法,它主要是结合音乐理论知识分析音频数据并快速准确的识别出每种和弦,所分析的乐曲没有局限于某种固定的音乐风格。
本发明的音乐和弦自动识别方法,包括下列步骤:
1)自实际音乐音频中截取同一和弦的不同样本,建立K个和弦的模板数据库;
2)对每个和弦的每个样本提取MFCC和PCP两种特征,得到每个和弦的每个样本的特征矢量,构成每个和弦的特征矩阵Ai,Ai为第i个和弦的特征矩阵,i=1,2,...,K;
3)实现和弦的自动分类,方法如下:将特征矩阵按和弦类别分块,得到分块后的特征矩阵A=[A1,A2,...,Ai,...,AK],设y为待识别和弦样本的特征矢量,x代表待识别和弦样本关于特征矩阵A的系数向量,求出满足等式y=Ax,并使x的一范数||x||1最小的解 与Ai对应,i=1,2,...,K;分别保留K个和弦对应的系数构建K个矢量i=1,2,...,K,矢量的维数与相同;
4)求取二范数i=1,2,...,K,由二范数最小值对应的i确定y所对应的和弦。
在特征选取方面,本发明选择了在其它识别系统中被成功采用的具有12维特征向量的PCP特征,并与传统的音乐特征向量MFCC相结合。相对于传统的仅依靠PCP这一种特征识别和弦相比,MFCC可以反映和弦旋律的低频段,具有较好的平滑性和感知性,正好可以弥补PCP没有考虑听者因素这一缺陷。然后将特征向量输入基于最小一范数稀疏表示分类器建模的和弦识别系统。最后我们将本实验结果同MIREX08、09中收录的多种和弦识别方法进行比较。从表1中可以看出该方法优于现有的任何一种方法,说明了SRC具有良好的分类效果。
附图说明
图1.本发明和弦识别流程图。
图2.提取和弦特征的流程图。
图3.大E和弦的PCP图。
图4(a)被测试的某大E和弦的36维特征图;(b)图:计算所得的最小一范数解;(c)图:测试和弦关于24类和弦的冗余图。
具体实施方式
下面结合附图和实施例对本发明做进一步说明。图1为本发明的总流程图。具体步骤如下:
1.建立音乐数据库
自实际音乐音频中截取同一和弦的不同样本,建立K个和弦的模板数据库。其中每个和弦的不同样本应尽可能涵盖不同音色的乐器及不同的演奏风格等。该数据库来自于由Harte和Sandler标注的Beatles乐队的13首专辑(180首歌,采样率44100赫兹,16比特,单通道)。从这180首歌曲中截取所需的大三和弦和小三和弦共24类,每一类60个样本,几乎涵盖了该乐队的所有演奏风格。
1..建立音乐数据库
所述的有监督和弦模板数据库是自音乐音频中截取K个和弦的多个样本。其中每个和弦的不同样本应尽可能涵盖不同音色的乐器及不同的演奏风格等。
2.提取音乐特征
首先将所有的音乐数据格式转化成WAV格式,单通道。
对每个和弦的每个样本提取MFCC和PCP两种特征,,得到每个和弦的每个样本的特征矢量,构成每个和弦的特征矩阵Ai,Ai为第i个和弦的特征矩阵,i=1,2,...,K,其流程图如图2所示。
a.计算MFCC特征具体的计算步骤如下:
①将时域离散和弦音乐信号进行预加重,分帧和加窗处理。预加重滤波器是一阶的,系统函数为H(z)=1-uz-1;取帧长为N,帧移为所加窗的窗函数类型为汉明窗(hamming)。
②经过快速傅里叶变换(Fast Fourier Transform,FFT)转化为频域信号,得到其频谱X(k)。计算其能量谱S(k)=|X(k)|2,k∈1,2,...,N。
③用M个Mel频率带通滤波器Hm(k)进行滤波;滤波器输出值为Pm(k),m=1,2,...,M。
Pm(k)=Hm(k)S(k),k=1,2,...,N
④将每个滤波器的输出值Pm(k)取自然对数,得到Mm(k),m=1,2,...,M。
Mm(k)=ln(Pm(k)),k=1,2,...,N
⑤对④所得的结果作离散余弦变换(Discrete Cosine Transformation,DCT),对于每一帧信号,得到M个MFCC系数。
⑥Mel滤波器的通道个数设置为M个,每个和弦样本得到的MFCC系数矩阵的大小为M*L,L为帧数。对每一帧第m(1≤m≤M)个滤波器的输出值MFCCm取平均值,公式如下:
其中MFCCm(l)代表第l帧第m个滤波器的输出值。这样得到的每个和弦的MFCC统计平均值的大小为M*1。
b.计算PCP统计平均值特征的步骤如下:
①对时域离散和弦音乐信号x(m)分帧,加窗,进行常Q(品质因数)变换(ConstantQ Transform,CQT)将时域变换到频域。取帧长为N,帧移为所加窗的类型为汉明窗(hamming)。
它表示第n帧十二平均律中第k个半音的频谱,故通常M值为12。其中x(m)为输入的时域离散和弦音乐信号;表示第k个半音对应的窗长;fs表示采样频率;fk表示第k个半音的频率;表示窗长为Nk的hamming窗。
②频谱映射。将频谱映射为音级域的p(k),它由12维向量组成,每维向量代表一个半音音级的强度。从频率到音级的映射按照音乐理论中的十二平均律以对数方式计算,中的k被映射为PCP中的p,映射公式如下:
f0=130.8Hz为参考频率,fs为采样率。mod12为对12的求余运算。
③通过累加所有与某一特定音级相对应的频率点的频率幅度平方值,得到每一帧信号的各个PCP分量的值。具体公式如下:
④经过上面的计算得到一个12*L的矩阵音色图(chromagram),其中L代表帧数。计算每一个音级(行)的均值,公式如下:
经过上面的计算,得到一个12*1的矢量,这就是所求的每个和弦样本的PCP统计平均值。
以大E和弦为例,其PCP图如图3所示。
最后将M维的MFCC统计平均值和12维的PCP统计平均值连接,得到一个M+12维的和弦特征值。
3.基于稀疏表示的和弦识别
①K个和弦的特征矩阵构成总的和弦模板特征矩阵A=[A1,A2,...,Ak]∈Rm×n,其中Ai为第i个和弦的特征矩阵,m为特征个数,n为样本个数;
②y∈Rm为待识别和弦样本的特征矢量,满足y=Ax,其中x代表待识别和弦y关于特征矩阵A的系数向量,用于译码y所属和弦的类别。求使x的一范数||x||1最小的解其中与Ai对应,i=1,2,...,K;
③分别保留K个和弦对应的系数构建K个矢量i=1,2,...,K,矢量的维数与相同;
④计算冗余值,即二范数i=1,2,...,K;
⑤由最小冗余值对应的i确定y所对应的和弦。
以大E和弦为例,其最小一范数解和冗余值如图4(c)所示。
为验证本发明的有效性,将本发明所提出的SRC方法与MIREX08、09收录的多种方法进行比较,并取实验结果列于下表中。
表1和弦识别结果统计
注:MIREX是Music Information Retrieval Evaluation exchange的缩写,中文意思是音乐信号检索估计交流。
从上表中SRC与多种方法的比较结果,可以看出SRC比MIREX中最好的方法(DE)高11.3%。
Claims (1)
1.一种基于稀疏表示的音乐和弦自动识别方法,包括下列步骤:
1)自实际音乐音频中截取同一和弦的不同样本,建立K个和弦的模板数据库;
2)对每个和弦的每个样本提取MFCC和PCP两种特征,得到每个和弦的每个样本的由MFCC和PCP两种特征构成的特征矢量,构成每个和弦的特征矩阵Ai,Ai为第i个和弦的特征矩阵,i=1,2,...,K;
3)实现和弦的自动分类,方法如下:将特征矩阵按和弦类别分块,得到分块后的特征矩阵A=[A1,A2,...,Ai,...,AK],设y为待识别和弦样本的特征矢量,x代表待识别和弦样本关于特征矩阵A的系数向量,求出满足等式y=Ax,并使x的一范数||x||1最小的解与Ai对应,i=1,2,...,K;分别保留K个和弦对应的系数构建K个矢量i=1,2,...,K,矢量的维数与相同;
4)求取二范数由二范数最小值对应的i确定y所对应的和弦。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210185639.2A CN102723079B (zh) | 2012-06-07 | 2012-06-07 | 基于稀疏表示的音乐和弦自动识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210185639.2A CN102723079B (zh) | 2012-06-07 | 2012-06-07 | 基于稀疏表示的音乐和弦自动识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102723079A CN102723079A (zh) | 2012-10-10 |
CN102723079B true CN102723079B (zh) | 2014-07-16 |
Family
ID=46948820
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210185639.2A Expired - Fee Related CN102723079B (zh) | 2012-06-07 | 2012-06-07 | 基于稀疏表示的音乐和弦自动识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102723079B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103714806B (zh) * | 2014-01-07 | 2017-01-04 | 天津大学 | 一种结合svm和增强型pcp特征的和弦识别方法 |
CN105681891A (zh) * | 2016-01-28 | 2016-06-15 | 杭州秀娱科技有限公司 | 移动端为用户视频嵌套场景的方法 |
CN107464556A (zh) * | 2016-06-02 | 2017-12-12 | 国家计算机网络与信息安全管理中心 | 一种基于稀疏编码的音频场景识别方法 |
CN106529585A (zh) * | 2016-10-25 | 2017-03-22 | 天津大学 | 一种基于大间隔投影空间学习的钢琴乐谱难度识别方法 |
CN106847248B (zh) * | 2017-01-05 | 2021-01-01 | 天津大学 | 基于鲁棒性音阶轮廓特征和向量机的和弦识别方法 |
CN110164473B (zh) * | 2019-05-21 | 2021-03-26 | 江苏师范大学 | 一种基于深度学习的和弦排列检测方法 |
CN111863030A (zh) * | 2020-07-30 | 2020-10-30 | 广州酷狗计算机科技有限公司 | 音频检测方法及装置 |
CN112652281A (zh) * | 2020-11-25 | 2021-04-13 | 平安科技(深圳)有限公司 | 音乐和弦识别方法及装置、电子设备、存储介质 |
CN112634841B (zh) * | 2020-12-02 | 2022-11-29 | 爱荔枝科技(北京)有限公司 | 一种基于声音识别的吉他谱自动生成方法 |
CN113284501B (zh) * | 2021-05-18 | 2024-03-08 | 平安科技(深圳)有限公司 | 歌手识别方法、装置、设备及存储介质 |
-
2012
- 2012-06-07 CN CN201210185639.2A patent/CN102723079B/zh not_active Expired - Fee Related
Non-Patent Citations (4)
Title |
---|
AUTOMATIC CHORD RECOGNITION FOR MUSIC CLASSIFICATION AND RETRIEVAL;Heng-Tze Cheng,et al.;《Multimedia and Expo, 2008 IEEE International Conference on》;20080623;1505-1508 * |
Heng-Tze Cheng,et al..AUTOMATIC CHORD RECOGNITION FOR MUSIC CLASSIFICATION AND RETRIEVAL.《Multimedia and Expo, 2008 IEEE International Conference on》.2008, |
王峰,张雪英,李炳男.基于CRFs和MPCP特征的和弦识别研究.《计算机工程与应用》.2011,第47卷(第18期), * |
董丽梦,李锵,关欣.基于稀疏表示分类器的和弦识别研究.《计算机工程与应用》.2012,第48卷(第29期), * |
Also Published As
Publication number | Publication date |
---|---|
CN102723079A (zh) | 2012-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102723079B (zh) | 基于稀疏表示的音乐和弦自动识别方法 | |
Klapuri et al. | Signal processing methods for music transcription | |
CN105719661B (zh) | 一种弦乐器演奏音质自动判别方法 | |
Zlatintsi et al. | Multiscale fractal analysis of musical instrument signals with application to recognition | |
CN104992712B (zh) | 能识别音乐自动成谱的方法 | |
Stein et al. | Automatic detection of audio effects in guitar and bass recordings | |
CN104616663A (zh) | 一种结合hpss的mfcc-多反复模型的音乐分离方法 | |
CN106997765B (zh) | 人声音色的定量表征方法 | |
Lagrange et al. | Normalized cuts for predominant melodic source separation | |
US9305570B2 (en) | Systems, methods, apparatus, and computer-readable media for pitch trajectory analysis | |
KR100721973B1 (ko) | 분류알고리즘을 이용한 음악장르 분류 방법 | |
CN105283916B (zh) | 电子水印嵌入装置、电子水印嵌入方法及计算机可读记录介质 | |
Yang | Computational modelling and analysis of vibrato and portamento in expressive music performance | |
Lerch | Audio content analysis | |
Zwan et al. | System for automatic singing voice recognition | |
Lukasik | Long term cepstral coefficients for violin identification | |
CN114678039A (zh) | 一种基于深度学习的歌唱评价方法 | |
CN111681674B (zh) | 一种基于朴素贝叶斯模型的乐器种类识别方法和系统 | |
Shirali-Shahreza et al. | Fast and scalable system for automatic artist identification | |
Kos et al. | Online speech/music segmentation based on the variance mean of filter bank energy | |
Zlatintsi et al. | Musical instruments signal analysis and recognition using fractal features | |
Aurchana et al. | Musical instruments sound classification using GMM | |
Shelke et al. | An Effective Feature Calculation For Analysis & Classification of Indian Musical Instruments Using Timbre Measurement | |
Loni et al. | Singing voice identification using harmonic spectral envelope | |
Shen et al. | Solfeggio Teaching Method Based on MIDI Technology in the Background of Digital Music Teaching |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140716 Termination date: 20210607 |
|
CF01 | Termination of patent right due to non-payment of annual fee |