CN105719661B - 一种弦乐器演奏音质自动判别方法 - Google Patents
一种弦乐器演奏音质自动判别方法 Download PDFInfo
- Publication number
- CN105719661B CN105719661B CN201610066930.6A CN201610066930A CN105719661B CN 105719661 B CN105719661 B CN 105719661B CN 201610066930 A CN201610066930 A CN 201610066930A CN 105719661 B CN105719661 B CN 105719661B
- Authority
- CN
- China
- Prior art keywords
- musical instrument
- time
- audio
- playing
- sound quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000007637 random forest analysis Methods 0.000 claims abstract description 15
- 230000003068 static effect Effects 0.000 claims abstract description 8
- 238000003066 decision tree Methods 0.000 claims description 21
- 238000001228 spectrum Methods 0.000 claims description 20
- 230000005236 sound signal Effects 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000013145 classification model Methods 0.000 claims description 7
- 238000012850 discrimination method Methods 0.000 claims description 6
- 230000006641 stabilisation Effects 0.000 claims description 6
- 238000011105 stabilization Methods 0.000 claims description 6
- 238000009432 framing Methods 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 5
- 230000003595 spectral effect Effects 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000012880 independent component analysis Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 239000013307 optical fiber Substances 0.000 claims description 2
- 230000002087 whitening effect Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000004927 fusion Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 208000023514 Barrett esophagus Diseases 0.000 description 1
- 241000405217 Viola <butterfly> Species 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
一种弦乐器演奏音质自动判别方法，首先，对乐器类型及其演奏模式进行自动识别；其次，针对乐器的类型和演奏模式，提取器乐演奏的动态和静态特征；最后，将提取的特征作为输入，以随机森林模型为分类器，进行训练和分类，并对结果进行连续化处理，本发明通过引入新的特征，形成了融合时域与频域、静态与动态结合的器乐音质表达形式；针对不同表达形式的特点，采用对应的音质识别算法来进行识别，并对识别结果进行综合得到最终识别结果，实现弦乐器演奏音质的自动化评价。该方法综合考虑了弦乐器演奏过程中的特征、时间序列模型和音频时域与频域的特征，设计了一套完整的弦乐器演奏音质学习‑识别技术。
Description
技术领域
本发明属于音乐学和信息科学的交叉技术领域，特别涉及一种弦乐器演奏音质自动判别方法。
背景技术
随着物质生活水平的迅速提高，人们对精神生活的需求日益增大。其中，音乐艺术在人们精神生活所占比重也越来越大，而器乐演奏则是音乐艺术表现形式中最重要的部分。演奏者，无论是初学几个月的初学者，还是具备多年演奏经验的演奏家，都会面临的问题是演奏音质的评判。因为演奏音质的好坏，是用于评判演奏者水平高低的最重要依据之一。
影响演奏音质的因素主要由弦乐器本身及其配件的质量(材料和结构差异)和演奏者对声音的把控能力所决定。目前，弦乐器演奏音质完全依赖于人工评判，即由专家聆听现场演奏或录音，给出评判意见。这种方法会因评审人的审美疲劳、参考标准的波动、主观审美倾向以及现场音响环境的不同等，造成评判的不准确。此外，高昂的人力成本也是人工评判的一个缺点。
“音质评判”这一行为目前主要被应用于音响技术领域。它是用来衡量音响器材质量的重要手段。其评判方法主要侧重于考察音响设备输出对录音现场的复现能力。其评判参数主要有频率响应曲线是否平直、频率的畸变和相移、输出波形与器乐或人声的音频特征的接近程度等信息学科中的特征。在器乐演奏方面，由于弦乐器演奏的音质涉及的因素多而复杂，为了使计算机自动评判结果达到较高的可靠性，需要全面提取能反映器乐音质的多种时频特征，更多地考虑演奏中产生的变量特征，并采用有效的机器学习方法进行音质的识别。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种弦乐器演奏音质自动判别方法，基于弦乐器演奏特征、音频信号特征提取以及时间序列特征等要素来实现弦乐演奏过程中音质好坏的自动判定
为了实现上述目的，本发明采用的技术方案是：
一种弦乐器演奏音质自动判别方法，包括如下步骤：
首先，对乐器类型及其演奏模式进行自动识别；
其次，针对乐器的类型和演奏模式，提取器乐演奏的动态和静态特征；
最后，将提取的特征作为输入，以随机森林模型为分类器，进行训练和分类，并对结果进行连续化处理。
所述乐器类型自动识别的方法如下：
1)提取用以描述乐器类型的3种音频特征
a)每一帧的频谱重心G
其中，m为窗宽，fn为声音的n次谐波频率，即音频信号经离散傅立叶变换(DFT)后第n个点处代表的频率，An为fn所对应的振幅，通过滑动窗的滑动得到一系列频谱重心，计算其最大值GM、最小值Gmin、均值Ge和标准差Gs；
b)上升时间Tr
Tr＝Tstb-T0
Tstb为一段音频中时域幅值稳定的时刻，T0为演奏发声的起始时间，即音频的开始时刻；
c)倒谱系数
分别对上升时间和稳定时间对应的音频，以窗宽m的滑动窗和Δm的重叠率进行分帧，并使用Levinson-Durbin算法，计算每帧音频的11维LPC系数，并将该系数转换为倒谱系数，其中Δm选择为0.25或0.5；
2)乐器类型分类
将以上3种音频特征串联起来形成16维的特征向量，对特征向量进行识别，输出结果为乐器类型，即分为击弦类乐器和拉弦类乐器。
所述倒谱系数提取过程中，使用Levinson-Durbin算法，计算每帧音频的11维LPC系数，并将该系数转换为倒谱系数(LPCC)的过程是：
式中CLPCC为线性预测倒谱系数，CLPC为线性预测系数，z为预测系数的序号，k为求和运算中每次迭代所取的点数序号。
所述乐器类型分类过程中，采用贝叶斯分类器对特征向量进行识别。
所述演奏模式自动识别的方法如下：在频谱重心、上升时间和倒谱系数的基础上，加入信噪比SNR；将该组合而得的18维特征作为高斯分类器的输入，进行训练，输出结果为柔和模式、高噪声模式和普通模式。
所述信噪比SNR的获取方法为：使用快速独立成分分析(FastICA)算法提取噪声，对音频信号进行归一化和白化，以下两公式作为核心迭代公式进行迭代：
W*＝E{Xg(WTX)}-E{g′(WTX)}W
W＝W*/||W*||
其中，X为原始音频信号，W的初始值为n维随机矩阵，n表示需要分离的独立随机变量个数，E{·}为均值运算，g(·)为非线性函数，取g(y)＝tanh(y)、或y3，将分离所得的信号功率与输入信号功率作商，得到信噪比SNR。
所述器乐演奏的动态和静态特征包括音准调节时间TA、噪音指数Q、MFCC系数、明亮度Bk、线性度以及不和谐度DF，通过如下方式提取：
1)音准调节时间TA
音准调节时间TA只用于拉弦类乐器，TA＝Tst-T0，式中T0表示音频的开始时刻，Tst表示基频稳定的开始时刻，计算过程如下：获取音频时间序列后，将其分为长度为mf的帧，采用离散傅立叶变换计算每一帧的基频，并得到整段序列的基频-时间坐标对；从第一个采样点到基频稳定的时间差值即音准调节时间；
2)噪音指数Q
式中a为常数阈值；
3)MFCC系数
对音频信号进行预加重、分帧、加汉明窗的预处理后，进行快速傅里叶变换；使用Mel滤波器组进行处理；计算每个滤波器组输出的对数能量；经离散余弦变换(DCT)得到MFCC系数；
4)明亮度Bk
令fn为音频信号经离散傅立叶变换(DFT)后第n个点处代表的频率，k为信号基频所对应的DFT点数序号，则式中Bk即基频为fk的音的明亮度，其中，An表示信号经DFT后第n点处的幅值，N表示DFT的总点数；
5)线性度
a)将音频信息划分为多个小段，对每段音频信号x(nt)进行线性预测(LPC)估计
其中p为LPC的阶数，al为每一阶对应的系数，l为当前的阶数，nt为时间的采样序号；
b)对估计所得的信号进行短时傅立叶变换(STFT)，得频谱包络为
其中ω为STFT的窗函数，q为预测信号的时间点数序号，nL为预测点数序号；
c)计算功率谱的互累计分布函数FC(ω)
d)将FC(ω)映射到log-log域，所得曲线上的点为
并求该曲线的线性相关度即求向量和{ωi}的相关性L
6)不和谐度DF
将分帧的音频信息作傅里叶变换，提取每个谐波的频率fn和其所对应的幅值An，求每两个谐波之间的不和谐度并求和
其中，
b1和b2为常数系数，s1和s2为常数系数。
所述以随机森林模型是由多个决策树分类模型h(X)组成的分类模型，最终由所有决策树综合决定输入向量X的最终类标签。具体地，给定乐器演奏的训练样本集，构建随机森林模型H(X)＝{h1(X),h2(X),h3(X),…,hN(X)},其中包含N个决策树，hi(X)表示第i个决策树；之后进行样本分类，类标签cp由所有决策树的分类结果使用投票方式决定，对于某个样本x的类标签cp计算公式如下：
其中，I(.)是指示函数，是树hi对类c的分类结果，是树hi的叶子节点数。
所述对结果进行连续化处理的方法如下：
首先，计算出每个样本x属于第i个类别ci的概率：
假设共有C个类别，每个类别ci按照等级从高到低编号为1,2,3,…,C，在随机森林分类结果中，将每个样本x属于每个类别ci的概率记为P(x∈ci)∈{p1,p2,p3,…,pC},将类别编号按照概率做加权平均并且映射到百分制，作为样本最终得分：
与现有技术相比，本发明通过引入新的特征，形成了融合时域与频域、静态与动态结合的器乐音质表达形式；针对不同表达形式的特点，采用对应的音质识别算法来进行识别，并对识别结果进行综合得到最终识别结果，实现弦乐器演奏音质的自动化评价。该方法综合考虑了弦乐器演奏过程中的特征、时间序列模型和音频时域与频域的特征，设计了一套完整的弦乐器演奏音质学习-识别技术。
具体实施方式
下面结合实施例详细说明本发明的实施方式。
步骤1：乐器类型自动识别
每种弦乐器及其演奏的音质都具有特殊性，因此所用到的评判方法和参数都有所区别。为了实现音质评判的自动化，首先需对乐器类型进行自动识别。具体识别方案包括如下环节：
1)提取用以描述乐器类型的3种音频特征
a)每一帧的频谱重心G
其中，m为窗宽，通常可以选择m＝20ms，fn为声音的n次谐波频率，An为第n次谐波处的振幅。通过滑动窗的滑动，可以得到一系列频谱重心，计算其最大值GM、最小值Gm、均值Ge和标准差Gs。
b)提取上升时间Tr
Tr＝Tm-T0
Tm为一段音频中时域幅值稳定的时刻，T0为演奏发声的起始时间。对于不同的乐器类型，Tr通常不一样。
c)倒谱系数
分别对上升时间和稳定时间对应的音频，以长度为m的滑动窗和Δm的重叠率进行分帧，并使用Levinson-Durbin算法，计算每帧音频的11维LPC(全称)系数，并将该系数转换为倒谱系数。Δm通常可以选择为0.25或0.5。
2)乐器类型分类
将以上3类特征串联起来形成16维的特征向量。本发明采用贝叶斯分类器对特征向量进行识别，输出结果为器乐类型，即分为击弦类乐器(包括钢琴、吉他)和拉弦类乐器(小提琴、中提琴、大提琴、低音提琴)。
步骤2：乐器演奏模式识别：
本发明中的演奏模式泛指音色模式，即，由于所演奏乐曲的风格变化，弦乐器演奏过程中的音色也会随之变化。每种音色模式之间的差异很大，需要使用不同的音质判别方法。因此，在实时判别过程中，对音色模式也需要进行实时的检测。演奏模式的识别方案如下：首先，提取演奏模式特征，包括在频谱矩心、上升时间和倒谱系数的基础上，加入信噪比SNR。将该组合而得的18维特征作为高斯分类器的输入，进行训练。输出结果分为柔和模式、高噪声模式和普通模式。
其中，噪声的提取使用快速独立成分分析(FastICA)算法。对音频信号进行归一化和白化后，将以下两公式作为核心迭代公式进行迭代：
W*＝E{Xg(WTX)}-E{g′(WTX)}W
W＝W*/||W*||
其中，X为原始音频信号，W的初始值为n维随机矩阵，n表示需要分离的独立随机变量个数，E{·}为均值运算，g(·)为非线性函数，通常取g(y)＝tanh(y),或y3。将分离所得的信号功率与输入信号功率作商，得到信噪比SNR。再将SNR与频谱矩心、上升时间和倒谱系数组合成18维特征即可。
步骤3，器乐的动态特征与静态特征提取：
弦乐器演奏特征指能直观反应演奏者水平的特征量，特征的描述及其提取方法如下：
1.音准调节时间TA(只用于拉弦类器乐)
拉弦类器乐演奏每个音时，都需要一定的音准调节时间以达到该音的标准基频。其调节时间长短往往体现演奏者的演奏经验，时间越短即水平越高。
TA＝Tst-T0
式中T0表示该音的开始时刻，Tst表示基频稳定的开始时刻。计算过程如下：获取音频时间序列后，将其分为长度为mf的帧，帧之间可以重叠，也可以不重叠；采用离散傅立叶变换计算每一帧的基频，并得到整段序列的基频-时间坐标对；从第一个采样点到基频稳定的时间差值即音准调节时间。
2.噪音指数Q
弦乐器演奏过程中，演奏者对器乐的控制，如弓与弦之间压力的变化、摩擦方向的改变、弓毛与弦之间的接触面积变化等都有可能产生噪音。这些噪音中很大部分是由于演奏对演奏处理不善造成的。计算方法如下。
由于高噪声模式和柔和模式是由演奏者通过控制噪音比例特意营造的演奏效果，因此需要进行归一化处理，使三种演奏模式下的噪音指数具有可比性：
式中a为根据经验得出的常数阈值。
3.MFCC系数
MFCC系数是根据人类听觉机理和大量听觉实验所得的，可用来描述声音的12维特征。计算方法如下：
1)音频信号进行预加重、分帧、加汉明窗的预处理后，进行快速傅里叶变换；
2)使用Mel滤波器组进行处理
3)计算每个滤波器组输出的对数能量
4)经离散余弦变换(DCT)得到MFCC系数
4.明亮度
频谱的明亮度表征了频谱在大于某截止频率后的能量占频谱总能量的百分比。该特征体现了器乐演奏音色的高频段素质。
令fn为音频信号经离散傅立叶变换(DFT)后第n个点处代表的频率，k为信号基频所对应的DFT点数序号。则式中Bk即基频为fk的音的明亮度。其中，An表示信号经DFT后第n点处的幅值，N表示DFT的总点数。
5.线性度
线性度是基于音频能量谱、可用于衡量音质好坏的一维特征。这一参数适用于对具有丰富频谱特性的乐器(如小提琴等拉弦类乐器)进行音质判别。计算方法：
a)将音频信息划分为多个小段，对每段音频信号x(n）进行线性预测(LPC)估计
其中p为LPC的阶数，al为每一阶对应的系数
b)对估计所得的信号进行短时傅立叶变换(STFT)，可得频谱包络为
其中ω为STFT的窗函数。
c)计算功率谱的互累计分布函数FC(ω)
d)将Fc(ω)映射到log-log域，所得曲线上的点为
并求该曲线的线性相关度即求向量和{ωi}的相关性L
6.不和谐度DF
不和谐度用来描述一段音频其音色的和谐程度，其数值越大，音质越差；反之则越好。计算方法：将分帧的音频信息作傅里叶变换，提取每个谐波的频率fn和其所对应的幅值An。求每两个谐波之间的不和谐度并求和。
其中，
b1和b2为根据经验得出的常数系数，(式中s1和s2为根据经验得出的常系数)
步骤4：器乐演奏音质自动识别
本发明采用随机森林模型作为音质识别的分类器。随机森林分类是由多个决策树分类模型h(X)组成的分类模型，最终由所有决策树综合决定输入向量X的最终类标签。主要过程分为决策树构造阶段和样本分类阶段。给定器乐演奏的训练样本集，可以构建随机森林模型H(X)＝{h1(X),h2(X),h3(X),…,hN(X)},其中包含N个决策树，hi(X)表示第i个决策树。
随机森林决策树构造阶段具体步骤如下：
1、原始训练集中共K个样本，使用Boostrap抽样从原始训练集中抽取K个样本作为构建第i棵树的训练集Si；
2、在Si的所有维度特征mall中随机选取mtry维特征作为Si的特征。在随机森林构建过程中，mtry是一个常数，本实验选取mtry＝int(log2mall+1)；
3、使用CART方法构造决策树，决策树的深度选为d；
4、本实验中，重复上述步骤，得到一个分类模型序列H(X)＝{h1(X),h2(X),h3(X),…,hn(X)},重复次数为选取的决策树个数n。
在样本分类阶段，类标签cp由所有决策树的分类结果使用投票方式决定。对于某个样本x的类标签cp计算公式如下：
其中，N是森林中决策树个数，I(.)是指示函数，是树ho对类c的分类结果，是树的叶子节点数。
步骤5：音质评分结果的连续化处理
为了输出连续的音质评分结果，本发明对上述环节输出的离散结果进行如下处理。首先，计算出每个样本x属于类c的概率：
本发明中，样本总类别C为5个取值，每个类别c按照等级从高到低编号为1,2,3,4,5。在随机森林分类结果中，我们将每个样本x属于每个类别c的概率记为P(x∈c)∈{p1,2,p3,p4,p5},将类别编号按照概率做加权平均并且映射到百分制，作为样本最终得分:
Claims (8)
1.一种弦乐器演奏音质自动判别方法，包括如下步骤：
首先，对乐器类型及其演奏模式进行自动识别；
其次，针对乐器的类型和演奏模式，提取乐器演奏的动态和静态特征；
最后，将提取的特征作为输入，以随机森林模型为分类器，进行训练和分类，并对结果进行连续化处理；
所述乐器类型自动识别的方法如下：
1)提取用以描述乐器类型的3种音频特征
a)每一帧的频谱重心G
其中，m为窗宽，fn为声音的n次谐波频率，即音频信号经离散傅立叶变换(DFT)后第n个点处代表的频率，An为fn所对应的振幅，通过滑动窗的滑动得到一系列频谱重心，计算其最大值GM、最小值Gmin、均值Ge和标准差Gs；
b)上升时间Tr
Tr＝Tstb-T0
Tstb为一段音频中时域幅值稳定的时刻，T0为演奏发声的起始时间，即音频的开始时刻；
c)倒谱系数
分别对上升时间和稳定时间对应的音频，以窗宽m的滑动窗和Δm的重叠率进行分帧，并使用Levinson-Durbin算法，计算每帧音频的11维LPC系数，并将该系数转换为倒谱系数，其中Δm选择为0.25或0.5；
2)乐器类型分类
将以上3种音频特征串联起来形成16维的特征向量，对特征向量进行识别，输出结果为乐器类型，即分为击弦类乐器和拉弦类乐器；
其特征在于，所述演奏模式自动识别的方法如下：在频谱重心、上升时间和倒谱系数的基础上，加入信噪比SNR；将组合而得的18维特征作为高斯分类器的输入，进行训练，输出结果为柔和模式、高噪声模式和普通模式。
2.根据权利要求1所述弦乐器演奏音质自动判别方法，其特征在于，所述倒谱系数提取过程中，使用Levinson-Durbin算法，计算每帧音频的11维LPC系数，并将该系数转换为倒谱系数的过程是：
式中CLPCC为线性预测倒谱系数，CLPC为线性预测系数，z为预测系数的序号，k为求和运算中每次迭代所取的点数序号。
3.根据权利要求1所述弦乐器演奏音质自动判别方法，其特征在于，所述乐器类型分类过程中，采用贝叶斯分类器对特征向量进行识别。
4.根据权利要求1所述弦乐器演奏音质自动判别方法，其特征在于，所述信噪比SNR的获取方法为：使用快速独立成分分析算法提取噪声，对音频信号进行归一化和白化，以下两公式作为核心迭代公式进行迭代：
W*＝E{Xg(WTX)}-E{g′(WTX)}W
W＝W*/||W*||
其中，X为原始音频信号，W的初始值为n维随机矩阵，n表示需要分离的独立随机变量个数，E{·}为均值运算，g(·)为非线性函数，取g(y)＝tanh(y)、或y3，将分离所得的信号功率与输入信号功率作商，得到信噪比SNR。
5.根据权利要求1所述弦乐器演奏音质自动判别方法，其特征在于，所述乐器演奏的动态和静态特征包括音准调节时间TA、噪音指数Q、MFCC系数、明亮度Bk、线性度以及不和谐度DF，通过如下方式提取：
1)音准调节时间TA
音准调节时间TA只用于拉弦类乐器，TA＝Tst-T0，式中T0表示音频的开始时刻，Tst表示基频稳定的开始时刻，计算过程如下：获取音频时间序列后，将其分为长度为mf的帧，采用离散傅立叶变换计算每一帧的基频，并得到整段序列的基频-时间坐标对；从第一个采样点到基频稳定的时间差值即音准调节时间；
2)噪音指数Q
式中a为常数阈值；
3)MFCC系数
对音频信号进行预加重、分帧、加汉明窗的预处理后，进行快速傅里叶变换；使用Mel滤波器组进行处理；计算每个滤波器组输出的对数能量；经离散余弦变换(DCT)得到MFCC系数；
4)明亮度Bk
令fn为音频信号经离散傅立叶变换(DFT)后第n个点处代表的频率，k为信号基频所对应的DFT点数序号，则式中Bk即基频为fk的音的明亮度，其中，An表示信号经DFT后第n点处的幅值，N表示DFT的总点数；
5)线性度
a)将音频信息划分为多个小段，对每段音频信号x(nt)进行线性预测(LPC)估计
其中p为LPC的阶数，al为每一阶对应的系数，l为当前的阶数，nt为时间的采样序号；
b)对估计所得的信号进行短时傅立叶变换(STFT)，得频谱包络为
其中ω为STFT的窗函数，q为预测信号的时间点数序号，nL为预测点数序号；
c)计算功率谱的互累计分布函数Fc(ω)
d)将Fc(ω)映射到log-log域，所得曲线上的点为
并求该曲线的线性相关度即求向量和{ωi}的相关性L
6)不和谐度DF
将分帧的音频信息作傅里叶变换，提取每个谐波的频率fn和其所对应的幅值An，求每两个谐波之间的不和谐度并求和
其中，
b1和b2为常数系数，s1和s2为常数系数。
6.根据权利要求1所述弦乐器演奏音质自动判别方法，其特征在于，所述以随机森林模型是由多个决策树分类模型h(X)组成的分类模型，最终由所有决策树综合决定输入向量X的最终类标签。
7.根据权利要求6所述弦乐器演奏音质自动判别方法，其特征在于，给定乐器演奏的训练样本集，构建随机森林模型
H(X)＝{h1(X)，h2(X)，h3(X)，...，hN(X)}，其中包含N个决策树，hi(X)表示第i个决策树；之后进行样本分类，类标签cp由所有决策树的分类结果使用投票方式决定，对于某个样本x的类标签cp计算公式如下：
其中，I(.)是指示函数，是树hi对类c的分类结果，是树hi的叶子节点数。
8.根据权利要求7所述弦乐器演奏音质自动判别方法，其特征在于，所述对结果进行连续化处理的方法如下：
首先，计算出每个样本x属于第i个类别ci的概率：
假设共有C个类别，每个类别ci按照等级从高到低编号为1，2，3，...，C，在随机森林分类结果中，将每个样本x属于每个类别ci的概率记为P(x∈ci∈{p1，p2，p3，...，pC}，将类别编号按照概率做加权平均并且映射到百分制，作为样本最终得分：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610066930.6A CN105719661B (zh) | 2016-01-29 | 2016-01-29 | 一种弦乐器演奏音质自动判别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610066930.6A CN105719661B (zh) | 2016-01-29 | 2016-01-29 | 一种弦乐器演奏音质自动判别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105719661A CN105719661A (zh) | 2016-06-29 |
| CN105719661B true CN105719661B (zh) | 2019-06-11 |
Family
ID=56155181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610066930.6A Active CN105719661B (zh) | 2016-01-29 | 2016-01-29 | 一种弦乐器演奏音质自动判别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105719661B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169525B (zh) * | 2017-06-01 | 2020-05-19 | 腾云天宇科技（北京）有限公司 | 一种确定移动终端应用场景的方法、装置和移动终端 |
| CN107910019B (zh) * | 2017-11-30 | 2021-04-20 | 中国科学院微电子研究所 | 一种人体声音信号处理及分析方法 |
| CN108062522B (zh) * | 2017-12-12 | 2020-03-06 | 广州德科投资咨询有限公司 | 一种机器人的演奏模式生成方法及机器人 |
| CN108615536B (zh) * | 2018-04-09 | 2020-12-22 | 华南理工大学 | 基于麦克风阵列的时频联合特征乐器音质评价系统及方法 |
| CN108735192B (zh) * | 2018-04-09 | 2021-09-21 | 华南理工大学 | 一种结合曲风的钢琴演奏音质评价系统及方法 |
| CN110415721B (zh) * | 2018-04-28 | 2022-02-01 | 华为技术有限公司 | 一种计算截止频率的方法及装置 |
| CN108766451B (zh) * | 2018-05-31 | 2020-10-13 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种音频文件处理方法、装置和存储介质 |
| CN109858525A (zh) * | 2019-01-07 | 2019-06-07 | 平安科技（深圳）有限公司 | 群体信息分类方法、装置、计算机设备和存储介质 |
| CN109785850A (zh) * | 2019-01-18 | 2019-05-21 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种噪声检测方法、装置和存储介质 |
| CN111210841B (zh) * | 2020-01-13 | 2022-07-29 | 杭州矩阵之声科技有限公司 | 一种乐器音位识别模型建立方法及乐器音位识别方法 |
| CN111367942B (zh) * | 2020-03-30 | 2023-07-21 | 中国工商银行股份有限公司 | 通讯录检索方法及装置 |
| CN111681674B (zh) * | 2020-06-01 | 2024-03-08 | 中国人民大学 | 一种基于朴素贝叶斯模型的乐器种类识别方法和系统 |
| CN112102846B (zh) * | 2020-09-04 | 2021-08-17 | 腾讯科技（深圳）有限公司 | 音频处理方法、装置、电子设备以及存储介质 |
| CN115290133A (zh) * | 2022-06-30 | 2022-11-04 | 苏州经贸职业技术学院 | 一种轻轨站台连接处轨道结构监测方法和系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1479916A (zh) * | 2000-12-05 | 2004-03-03 | �����ּ�����˾ | 使用演奏乐器的声音信息的音乐分析方法 |
| CN1512430A (zh) * | 2002-12-24 | 2004-07-14 | 卡西欧计算机株式会社 | 演奏评价装置和演奏评价程序 |
| CN1645475A (zh) * | 2005-01-18 | 2005-07-27 | 中国电子科技集团公司第三十研究所 | 客观音质评价归一化主客观统计相关模型的建立方法 |
| DE102012003126A1 (de) * | 2012-02-16 | 2013-08-22 | Horst -W. Spechtmayer | Verfahren zur Beurteilung der Klangqualität von Musikinstrumenten |
| CN103310771A (zh) * | 2012-03-07 | 2013-09-18 | 卡西欧计算机株式会社 | 熟练度判定装置及方法 |
| CN103366723A (zh) * | 2012-03-26 | 2013-10-23 | 雅马哈株式会社 | 电子打击乐器组和演奏评价装置 |
| CN103514866A (zh) * | 2012-06-28 | 2014-01-15 | 曾平蔚 | 一种乐器演奏评分的方法及装置 |
| CN104036788A (zh) * | 2014-05-29 | 2014-09-10 | 百度在线网络技术（北京）有限公司 | 音频文件的音质识别方法及装置 |
| CN105070298A (zh) * | 2015-07-20 | 2015-11-18 | 科大讯飞股份有限公司 | 复调乐器的评分方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009251045A (ja) * | 2008-04-01 | 2009-10-29 | Kawai Musical Instr Mfg Co Ltd | 電子楽器および音質制御方法 |
| US8134064B2 (en) * | 2010-01-13 | 2012-03-13 | Sanns Jr Frank | Method of improving sound quality of a musical instrument |
-
2016
- 2016-01-29 CN CN201610066930.6A patent/CN105719661B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1479916A (zh) * | 2000-12-05 | 2004-03-03 | �����ּ�����˾ | 使用演奏乐器的声音信息的音乐分析方法 |
| CN1512430A (zh) * | 2002-12-24 | 2004-07-14 | 卡西欧计算机株式会社 | 演奏评价装置和演奏评价程序 |
| CN1645475A (zh) * | 2005-01-18 | 2005-07-27 | 中国电子科技集团公司第三十研究所 | 客观音质评价归一化主客观统计相关模型的建立方法 |
| DE102012003126A1 (de) * | 2012-02-16 | 2013-08-22 | Horst -W. Spechtmayer | Verfahren zur Beurteilung der Klangqualität von Musikinstrumenten |
| CN103310771A (zh) * | 2012-03-07 | 2013-09-18 | 卡西欧计算机株式会社 | 熟练度判定装置及方法 |
| CN103366723A (zh) * | 2012-03-26 | 2013-10-23 | 雅马哈株式会社 | 电子打击乐器组和演奏评价装置 |
| CN103514866A (zh) * | 2012-06-28 | 2014-01-15 | 曾平蔚 | 一种乐器演奏评分的方法及装置 |
| CN104036788A (zh) * | 2014-05-29 | 2014-09-10 | 百度在线网络技术（北京）有限公司 | 音频文件的音质识别方法及装置 |
| CN105070298A (zh) * | 2015-07-20 | 2015-11-18 | 科大讯飞股份有限公司 | 复调乐器的评分方法和装置 |
Non-Patent Citations (10)
| Title |
|---|
| "A class of physical modeling recurrent networks for analysis/synthesis of plucked string instruments";Alvin W. Y;《IEEE Transactions on Neural Networks》;20020930;第13卷(第5期);全文 |
| "Comparison of two classification methods for Musical Instrument identification";Yuta Takahashi;《2014 IEEE 3rd Global Conference on Consumer Electronics 》;20141010;第67-68页 |
| "Feature-based extraction of plucking and expression styles of the electric bass guitar";Hanna Lukashevich;《2010 IEEE International Conference on Acoustics, Speech and Signal Processing》;20100319;全文 |
| "Measurement and evaluation of violin tone quality";Rie Hirai;《SICE Annual Conference 2011》;20110918;全文 |
| "Musical instrument identification using SVM & MLP with formal concept analysis";Swati D.;《2015 International Conference on Green Computing and Internet of Things 》;20151010;全文 |
| "Musical instrument recognition using cepstral coefficients and temporal features";A. Eronen;《2000 IEEE International Conference on Acoustics, Speech, and Signal Processing. Proceedings》;20000609;全文 |
| "Musical instrument timbres classification with spectral features";G. Agostini ET AL;《2001 IEEE Fourth Workshop on Multimedia Signal Processing 》;20011005;第6-9页 |
| "Violin sound quality detection";J. A. Charles;《IET Irish Signals and Systems Conference》;20080619;全文 |
| "一种改进的LPCC参数提取方法研究";王彪;《电子设计工程》;20120331;第20卷(第6期);全文 |
| "基于声学特征的乐器识别综述";邓见光;《东莞理工学院学报》;20120630;第19卷(第3期);全文 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105719661A (zh) | 2016-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105719661B (zh) | 一种弦乐器演奏音质自动判别方法 | |
| US20100332222A1 (en) | Intelligent classification method of vocal signal | |
| CN110111773A (zh) | 基于卷积神经网络的音乐信号多乐器识别方法 | |
| Lehner et al. | Online, loudness-invariant vocal detection in mixed music signals | |
| Zlatintsi et al. | Multiscale fractal analysis of musical instrument signals with application to recognition | |
| Toghiani-Rizi et al. | Musical instrument recognition using their distinctive characteristics in artificial neural networks | |
| WO2013187986A1 (en) | Systems, methods, apparatus, and computer-readable media for pitch trajectory analysis | |
| Wu et al. | Learned features for the assessment of percussive music performances | |
| Mousavi et al. | Persian classical music instrument recognition (PCMIR) using a novel Persian music database | |
| Jürgens et al. | Recognizing guitar effects and their parameter settings | |
| CN111681674B (zh) | 一种基于朴素贝叶斯模型的乐器种类识别方法和系统 | |
| CN115662465A (zh) | 一种适用于民族弦乐乐器的声音识别算法及装置 | |
| KR101092228B1 (ko) | 음원 분류를 위한 악기 인식 시스템 및 방법 | |
| Kumari et al. | CLASSIFICATION OF NORTH INDIAN MUSICAL INSTRUMENTS USING SPECTRAL FEATURES. | |
| Joshi et al. | Identification of Indian musical instruments by feature analysis with different classifiers | |
| Talavera et al. | Transcription of guitar chords from acoustic audio | |
| Ivanov et al. | Automatic Identification of Guitar Types from Prerecorded Audio | |
| Sahoo et al. | Detection of speech-based physical load using transfer learning approach | |
| Yokoyama et al. | Identification of violin timbre by neural network using acoustic features | |
| Rodin et al. | The Comparison of Different Feature Extraction Methods in Musical Instrument Classification | |
| Zlatintsi et al. | Musical instruments signal analysis and recognition using fractal features | |
| KR102035448B1 (ko) | 음성 악기 | |
| Chaudhary et al. | Musical instrument recognition using audio features with integrated entropy method | |
| Yang et al. | On the design of Solfeggio audio machine assessment system | |
| Kunekar et al. | Audio feature extraction: Foreground and Background audio separation using KNN algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |