CN106485983A

CN106485983A - 乐器演奏分析和评测方法

Info

Publication number: CN106485983A
Application number: CN201610910121.9A
Authority: CN
Inventors: 向华; 王琮
Original assignee: Yangtze University
Current assignee: Yangtze University
Priority date: 2016-10-19
Filing date: 2016-10-19
Publication date: 2017-03-08
Anticipated expiration: 2036-10-19
Also published as: CN106485983B

Abstract

本发明提供一种乐器演奏分析方法，包括音频采集；对采集到的采样样本进行加Hanning窗；使用FFTW变换库得到频域谱图；在处理频域谱图过程中忽略高度较小的频率进行降噪，对具有波峰特征的位置进行处理，得到并记录该点的频率；处理所有波峰特征，得到相应频率列表；根据按键的标准频率对照表，得出演奏谱表。评测的方法为，获取标准音频格式；根据标准音频格式得到标准谱表；将演奏谱表与标准谱表进行比较，实现对用户的演奏进行评测。通过采用以上方法，能够实时指导反馈，更加有效地指导用户进行自学。即使没有老师指导的环境中也能够完成自学。

Description

乐器演奏分析和评测方法

技术领域

本发明涉及演奏技巧学习领域，特别是一种乐器演奏分析和评测方法，适用于敲击类的演奏乐器，例如键盘乐器中的钢琴、电子琴，打击乐器中的架子鼓、云锣。

背景技术

当前学习乐器，例如钢琴的学习过程中，评价一位学生的钢琴演奏是否存在问题，一般采取由专业老师在一旁聆听指导的方法，而此种方法需要老师进行一对一辅导，效率较低，耗费大量人力、时间资源，人工成本较高。

应用市场上存在一些针对电子钢琴的教学应用，而此类应用的使用范围只能针对电子钢琴，应用范围狭窄，而且只能对钢琴按键键位进行指导，不具备完整的分析评价技术，无法处理钢琴在用户的演奏过程中出现的各种问题。

例如中国专利文献CN103531189A，一种用于智能电钢琴的演奏评价器，即公开了一种用于智能电钢琴的演奏评价器，通过程序构建在智能电钢琴的主控制器中，演奏评价器接收智能电钢琴主控制器中乐曲文件解析器输出的MIDI事件作为参考事件，以及接收智能电钢琴主控制器中 MIDI 音序器输出的 MIDI事件作为输入事件，通过将输入事件与参考事件进行比较，从而对用户的演奏进行评估。这需要乐器具有相应的电子化输入装置。

中国专利文献CN101777341A，公开了一种在乐器上进行音乐演奏练习的音乐演奏练习装置及方法，也需要专门的电子化输入器件，这不能用于普通非电子化乐器的演奏练习中。

网络上存在一些对已经弹奏完成的录制音频处理分析的方法，但是此方法不能够做到实时处理，无法对学习者进行实时指导，效果较差。

现有的演奏技法难以进行量化，使用户很难对演奏技巧及时进行纠正。

发明内容

本发明所要解决的技术问题是提供一种乐器演奏分析方法，能够实时获取用户在非电子化乐器上的演奏谱表。

本发明所要解决的另一技术问题是提供一种乐器演奏的评测方法，能够评价用户演奏的按键准确度，优选的方案中，还能够评测用户的节奏准确度和演奏按键力度。

导电滑环，能够在抽油机的减速器与曲柄之间的狭窄位置安装，并能够可靠的传导动力电源和控制电信号。

为解决上述技术问题，本发明所采用的技术方案是：一种乐器演奏分析方法，包括以下步骤：

一、音频采集；

二、对采集到的采样样本进行加Hanning窗；

三、使用FFTW变换库对加窗后的样本进行实数到实数的FFT变换，得到double数组M，M数组的长度为L；由L、采样率fs可以计算出f(Hz)的频率在数组M中对应的位置，并得到频域谱图；

四、在处理频域谱图过程中忽略高度较小的频率进行降噪，对具有波峰特征的位置进行处理，得到并记录该点的频率；

五、处理所有波峰特征，得到相应频率列表；

六、根据按键的标准频率对照表，得出演奏谱表。

优选的，步骤四中，忽略因音频频率较为接近而无法识别的按键，以特殊标志代替。

优选的，步骤四中，对跨八度和弦的基波、谐波同化处理；

若两个或多个波峰特征高度相差低于设定阀值，则判定为同时出现；

若两个或多个波峰特征高度相差高于设定阀值，则同化为较高波峰特征的频率。

优选的，对于非跨八度和弦，对和弦产生的各个合格波峰特征均进行记录。

一种采用上述的乐器演奏分析方法进行评测的方法，包括以下步骤：

一、获取标准音频格式；

二、根据标准音频格式得到标准谱表；

三、采集用户演奏音频，得到演奏谱表；

四、将演奏谱表与标准谱表进行比较，实现对用户的演奏进行评测。

优选的，步骤一中，将不是wav格式的音频文件转化为wav格式。

优选的，步骤二中，从文件中获取比特率Rb，单位：bps；

由比特率Rb可以计算出采样率fs；

根据采样率按照与演奏谱表的同等时间读取该音频文件的字节流得到采样样本；

对采集到的采样样本进行加Hanning窗；

使用FFTW变换库对加窗后的样本进行实数到实数的FFT变换，得到double数组M，M数组的长度为L；则由L、fs可以计算出f(Hz)的频率在数组M中对应的位置，并得到频域谱图；

在处理频域谱图过程中忽略高度较小的频率进行降噪，对具有波峰特征的位置进行处理，得到并记录该点的频率；

处理所有波峰特征，得到相应频率列表；

根据按键的标准频率对照表，得出标准谱表。

优选的，在演奏谱表进行FFT变换的过程中，转换时间控制在小于200ms。

优选的，获取标准谱表和演奏谱表中每个按键的初始时间点，比较标准谱表与演奏谱表中各个按键的初始时间点的差异，得到演奏节奏的评测。

优选的，获取标准谱表和演奏谱表中每个按键的音量大小，以沿音轨布置的水平柱状图表示，比较标准谱表与演奏谱表中各个按键的音量大小，得到演奏按键力度的评测。

随着Android、iPhone等智能手机的推广、普及和完善，APP应用的发展迎来了前所未有的机遇，而在此背景下，智能手机提供的音频获取通道为本发明提供了资源获取的基础支持，除此之外还用到以下技术：

1、频域与时域的相互转换：使用了由MIT的M.Frigo 和 S.Johnson 开发的开源FFTW变换库；

2.JAVA、Swift编程技术：使用了由Google公司、苹果公司提供编程技术。

本发明提供的一种乐器演奏分析和评测方法，通过采用以上的方案，具有以下的有益效果：

1、本发明是软件层技术，适用于各种编程语言，可以实现例如Android、iPhone和windows等多平台适配。

2、本发明通过计算机软件实现了节约人力、时间的目的，使得用户可以随时随地，即使在没有老师指导的环境中也能够完成自学。

3、本发明通过实时得出的演奏谱表，通过实时指导反馈，能够更加有效地指导用户进行自学。

4、本发明采用自动化处理方式，可以更加高效的适应多种敲击类乐器，例如钢琴、架子鼓，更多的曲目，拥有更加广泛的适用性。

5.本发明是基于频率分析的技术，对于任何一台标准的钢琴，无论钢琴新旧好坏，只要钢琴本身发出的声音是标准的，就不会对程序处理产生影响。

附图说明

下面结合附图和实施例对本发明作进一步说明：

图1为本发明中频域及降噪处理示意图。

图2为钢琴按键与频率对照表。

图3为本发明中评测方法的流程示意图。

图4为本发明中标准谱表与用户实时的演奏谱表进行比较的示意图。

图5为本发明中标准谱表的节奏与用户实时的演奏谱表的节奏进行比较的示意图。

图6为本发明中标准谱表的音量与用户实时的演奏谱表的音量进行比较的示意图。

具体实施方式

实施例1：

如图1、3中，一种乐器演奏分析方法，包括以下步骤：

一、音频采集；本例中采用操作系统为Android或iPhone的智能设备，例如手机、平板等设备作为硬件，以录音的方式进行采集。硬件设备对声音的采样率，不同硬件是不同的，但每个设备自身都有其固定的值：fs（采样率），单位 Hz（赫兹）。硬件设备在采样过程中的拥有一个最短采样时间：t单位：s（秒），即硬件设备每t秒采样一次，由此可以计算出一次采样得到的样本数。

二、对采集到的采样样本进行加Hanning窗；优选的，本例中，h(n)=0.5－0.5×cos（2πn／(N -1)）(0≤n＜N－1)或 h(n)=0 (其他)其中n为单个样本，N为窗口大小。

三、使用FFTW变换库对加窗后的样本进行实数到实数的FFT变换，得到double数组M，M数组的长度为L；由L、fs可以计算出f(Hz)的频率在数组M中对应的位置，并得到频域谱图，如图1中所示。

四、在处理频域谱图过程中忽略高度较小的频率进行降噪，对具有波峰特征的位置进行处理，得到并记录该点的频率；如图1中所示，低于1/2高度线以下的波峰均被忽略。

如图2中所示，需要将频率精确度提高才能使处理结果较为精确，因此也就需要将样本数提高。但是由于手机等智能设备的硬件要求，当提高样本数时所需要的采集时间也会相应增加，在此过程中按键次数较多，无法体现实时性，因此在评测过程中需要进行模糊化处理，以适应设备的处理能力。

优选的，步骤四中，忽略因音频频率较为接近而无法识别的按键，以特殊标志代替。具体的，由于采样时样本数量较少的原因，无法识别的按键主要出现在钢琴的低八度，即最左侧8个按键。由图2得知这些按键的频率相差不大，很难被准确的识别，而且因智能设备放置位置等原因，或者在频率较低的时候响度不够，难以采集等原因导致在样本在经过傅立叶变换之后容易使得波峰较为密集，此时将这些按键忽略并定性为一个特别标志α，在进行比较的标准谱表中也做同样处理，由此能够大大减少计算量，有利于实现实时的获取用户的演奏谱表。

需要说明的是，低八度的按键在实际演奏中使用频率很低，因此在比较时发现标志α位置不匹配则可以获知在低八度按键出错，可方便地根据该乐曲的乐谱找出错误点。

优选的，对跨八度和弦的基波、谐波同化处理；

具体为：在测试过程中的和弦，谐波出现时会导致按键出现的倍频波峰较高。例如图2中可以观察到B音3号键是15号键频率的一倍，而且B音的多个按键频率翻倍出现，因此当15号键B音61.735Hz声音发生时，可能会在27号键位123.471Hz处检测到较高的波峰，而此处实际为15号键的一次泛音，即谐波，此处无法直接区分是27号键和15号键一起发声，还是只发声了15号键，虽然在钢琴学习过程中，相差一个八度的两个音同时发声的频率很低。但是，此时两个波峰特征的高度不会相同，例如当一个特征高度比为1：2，则同化处理为较高波峰特征的按键；若两个波峰高度相差低于阀值1/4时则认为同时出现两个按键。如本例中若15号键61.735Hz处波峰会明显比27号键123.471Hz处波峰高一倍以上，则认为只发生了15号按键，在处理以下的标准谱表时按照同种方式处理。由于谐波的波峰一定会比基波的波峰低很多，因此处理结果在比较之后不会受到影响。能够获得准确的和弦谱表。

优选的，对于非跨八度和弦，对和弦产生的各个合格波峰特征均进行记录。具体为：因为在经过上述两个步骤判断处理之后，非跨八度和弦频率不会再出现倍数关系，如A音1号键27.500Hz的三次谐波82.500Hz与E音20号键82.407Hz虽然很接近，但在经过上述步骤1处理时已经将A音处理为标志α，在上述步骤2处理时会考虑20号键E音是否记录。因此在此步骤中对和弦产生的各个合格波峰均进行记录，认为该时间点这些按键同时出现。本发明是以较短的时间段来表示时间点以实现即时评测。

五、处理所有波峰特征，得到相应频率列表；

六、根据按键的标准频率对照表，得出演奏谱表。以钢琴为例，按键的标准频率对照表如图2中所示，由图中，标出了88个钢琴按键相对应的声音频率。

实施例2：

在实施例1的基础上，如图1、3、4中，一种采用上述的乐器演奏分析方法进行评测的方法，包括以下步骤：

一、获取标准音频格式；优选的，将不是wav格式的音频文件转化为wav格式。

二、根据标准音频格式得到标准谱表；

优选的如图3中，从文件中获取比特率Rb，单位：bps；

由比特率Rb可以计算出采样率fs；

对采集到的采样样本进行加Hanning窗；

处理所有波峰特征，得到相应频率列表；

根据按键的标准频率对照表，得出标准谱表。

三、如实施例1中的步骤，采集用户演奏音频，得到演奏谱表；优选的，在演奏谱表进行FFT变换的过程中，转换时间控制在小于200ms。由此步骤，既能满足软件运算处理，又能较好的体现评测的实时性。

四、将演奏谱表与标准谱表进行比较，实现对用户的演奏进行评测。具体比对过程为：由于标准谱表是按照处理用户样本时相同的处理方式得到的谱表，因此标准谱表中的时间键位对应关系中时间间隔应该与用户采样时间处理间隔相同。因此在比对过程中需要比对对应时间对应按键是否符合用以判断按键的准确性以及时间点误差。如图4中所示，经过比较，可以得出在t1片段k4缺失，少按判错；在t2片段k2多出，多按判错。

优选的如图5中，获取标准谱表和演奏谱表中每个按键的初始时间点，这些时间点沿着音轨时间轴布置，比较标准谱表与演奏谱表中各个按键的初始时间点的差异，得到演奏节奏的评测。按键的初始时间点以方块表示，优选的，在每个按键方块附近标注按键键号，并在错误的位置设置连线，以了解大致在时间点上与标准谱表相差多少。由此步骤，能够评测演奏节奏的误差，进一步提高用户的演奏技巧。

优选的如图6中，获取标准谱表和演奏谱表中每个按键的音量大小，以沿音轨布置的水平柱状图表示，比较标准谱表与演奏谱表中各个按键的音量大小，得到演奏按键力度的评测。由此步骤，提高用户演奏的感染力。本例中，所述的音量大小为相对值，该评测不以实时的方式进行比较，以最大音量和最小音量为基准，例如以最大音量为100，对应最长的水平柱，各个水平柱之间的间距以最长的水平柱为准，最小音量则对应最短的水平柱，其他音量大小则相对量化后位于最大音量和最小音量之间，通过比较水平柱的长度差异，得出相应按键的按键力度存在的差异。对于差异较大的水平柱，则显示一条连接线，以提醒用户问题所在。更进一步提高用户的演奏技巧。

本发明的具体使用步骤如下：

1、在用户首次使用本软件或者更换钢琴时，提示用户进行钢琴发声频率校准，用以检测钢琴是否出现问题，并将校准结果是否符合要求告知用户，以避免误导使用者。在校准过程中，提示用户按下几个键，检测这几个按键的声音频率是否符合这些按键的指定频率以达到校验的目的。

2.用户选定要弹奏的曲目，客户端加载该曲目对应的标准按键谱表。

3.本发明的客户端按照图3的流程生成实时的用户演奏谱表。

4.将用户实时的演奏谱表与标准谱表的每个片断逐个进行比对，将不同之处进行反馈并汇总。

5. 根据汇总的比对结果，向用户反馈弹奏过程中出现的问题。

上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本申请中的实施例及实施例中的特征在不冲突的情况下，可以相互任意组合。本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。

Claims

1.一种乐器演奏分析方法，其特征是包括以下步骤：

一、音频采集；

二、对采集到的采样样本进行加Hanning窗；

五、处理所有波峰特征，得到相应频率列表；

六、根据按键的标准频率对照表，得出演奏谱表。

2.根据权利要求1所述的一种乐器演奏分析方法，其特征是：步骤四中，忽略因音频频率较为接近而无法识别的按键，以特殊标志代替。

3.根据权利要求1所述的一种乐器演奏分析方法，其特征是：步骤四中，对跨八度和弦的基波、谐波同化处理；

4.根据权利要求1所述的一种乐器演奏分析方法，其特征是：对于非跨八度和弦，对和弦产生的各个合格波峰特征均进行记录。

5.一种采用权利要求1~4任一项所述的乐器演奏分析方法进行评测的方法，其特征是包括以下步骤：

一、获取标准音频格式；

二、根据标准音频格式得到标准谱表；

三、采集用户演奏音频，得到演奏谱表；

6.根据权利要求5所述的评测的方法，其特征是：步骤一中，将不是wav格式的音频文件转化为wav格式。

7.根据权利要求6所述的评测的方法，其特征是：步骤二中，从文件中获取比特率Rb，单位：bps；

由比特率Rb可以计算出采样率fs；

对采集到的采样样本进行加Hanning窗；

处理所有波峰特征，得到相应频率列表；

根据按键的标准频率对照表，得出标准谱表。

8.根据权利要求5所述的评测的方法，其特征是：在演奏谱表进行FFT变换的过程中，转换时间控制在小于200ms。

9.根据权利要求5所述的评测的方法，其特征是：获取标准谱表和演奏谱表中每个按键的初始时间点，比较标准谱表与演奏谱表中各个按键的初始时间点的差异，得到演奏节奏的评测。

10.根据权利要求5所述的评测的方法，其特征是：获取标准谱表和演奏谱表中每个按键的音量大小，以沿音轨布置的水平柱状图表示，比较标准谱表与演奏谱表中各个按键的音量大小，得到演奏按键力度的评测。