CN108731791A - 一种采集钢琴按键动作的方法及装置 - Google Patents

Abstract

本发明是一种采集钢琴动作的方法及装置，该方法在演奏钢琴时，对什么时候、用什么力度按下什么琴键进行采集，包括利用传感器采集按下的琴键以及按下该琴键的时刻，同时采集音频信号；对采集到的音频信号进行频谱分析，根据什么时候什么琴键被按下的信息在频谱信息中获得所述的琴键按下的功率；记录按下的琴键、按下所述的琴键的时段以及所述的琴键按下的功率(力度)。该装置实现上述方法。本发明用统一的音频分析替换由传感器检测琴键按下的功率，从而避免要求传感器具备检测琴键按下的力度的能力。因为一个键盘需要数十个传感器，数量较多，所以减少对传感器的要求有较大的收益。

Description

一种采集钢琴按键动作的方法及装置

技术领域

本发明涉及信号采集及分析领域，特别涉及一种采集钢琴动作的方法以及能够实现该方法的装置。

背景技术

很多家庭或单位和教学机构拥有钢琴，用于教学或娱乐等，人们有时希望记录演奏的过程，用于演奏评估或把演奏转化为谱子等。记录演奏过程采取的一种可能的方式是把按键的信息记录下来，所谓按键的信息是指在演奏，过程中按了什么键，每个键按下的时段，每个键按下的力量等三个信号，其中按什么键、什么时候按下这个键是用于评估弹奏的按键正确性和节奏正确性，而每个按键按下的力度是用于评估弹奏的情感表达，目前，按键正确性、节奏正确性和情感表达正确性是弹奏评估中的三个重要的组织部分。

如何采集按键，整体来看，公开的资材料大体分为两类：一类是在按键附近安装传感器，当按键有动作时，传感器感知到后便产生信号，信号被送到处理器，完成捕获。另一类是依靠声音分析，但是目前声音分析的效果有限，主要是由于多个键被同时按下时，不同按键的声音（的频率）混合在一起，依靠算法区分不同按键有难度，在识别同时只有1到3个按键按下的场景下基本可以实现，随着同时按下的按键数量的增多，声音混合的情况更加复杂，检测准确度下降，难以满足精确识别各个按键的目的。

如中国实用新型专利公开号CN203338616U就公开了一种采用在按键附近安装传感器的方法采集按键信息进行智能钢琴教学的装置，该装置为长方形，与钢琴 键盘等长，钢琴键盘由白键和黑键共 88 个键组成 ；该装置上面装有 88 个距离传感器 ，位置正好在 88 个键上面；将教学装置放于钢琴键盘上方根部，基于钢琴键盘的特点，使用光电距离传感器以获得好的检测效果，光电距离传感器朝向钢琴键盘，光束照射在键上 ；该装置由外壳 、线路板、距离传感器 、信号采集芯片 、通讯接口组成；当弹钢琴键盘时，钢琴键会有上下移动，距离传感器会感知有位移的键，并把位移信息传递给信号采集芯片； 信号采集芯片汇集 88 个键上方的距离传感器传来的信号，并把这些信号传递给平板电脑。实践上该实用新型公开的方案主要是针对按下了什么按健，什么时候按下的两个信息进行采集，而没有涉及到对按下按健的力度进行检测，并且该方案提到用角度传感器、加速度传器和行程开关来实现对按键按下时的力度进行采集，而这几类传感器的成本都非常昂贵，大大增加设备成本，且属于比较精密的器件，容易损坏。

发明内容

本发明针对目前采集钢琴按键动作的装置的不足，提供一种结合传感器采集和音频分析的采集钢琴按键动作的方法及装置。

本发明的技术方案是：一种采集钢琴动作的方法，该方法在演奏钢琴时，对什么时候、用什么力度按下什么琴键进行采集，包括以下步骤：

步骤A、利用传感器采集按下的琴键以及按下该琴键的时段，同时采集音频信号；

步骤B、对采集到的音频信号进行频谱分析，根据什么时候什么琴键被按下的信息在频谱信息中获得所述的琴键按下的功率；

步骤C、记录按下的琴键、按下所述的琴键的时刻以及所述的琴键按下的功率。

本发明用统一的音频分析替换由传感器检测琴键按下的功率，从而避免要求传感器具备检测琴键按下的力度的能力。因为一个键盘需要数十个传感器，数量较多，所有减少对传感器的要求有较大的收益。

进一步的，上述的采集钢琴动作的方法中：在步骤B中，进行频谱分析前，获得每个键的标准频谱信息，所述频谱信息是琴键音频信号标准定义，或者预先对每个琴键进行音频采集，采集的音频信息作为各键的标准音频信息。

进一步的，上述的采集钢琴动作的方法中：所述的步骤B中，先以基频成分分析按下的低频琴键的功率，分析完低频的琴键以后，扣除低频琴键的频率信息，在余下的频率信息中分析基频较低的琴键的功率，如此循环操作，直到本次按下的所有频率有重叠的琴键都被分析完成。

进一步的，上述的采集钢琴动作的方法中：所述的步骤A中，还利用传感器检测按下的琴键被松开的时刻；所述的步骤B中，进行频谱分析时，在琴键被告松开后，该琴键对应的频率是否延续，若延续则记录中加入延音踏板被踩下，否则在记录中加入延音踏板未被踩下。

本发明还提供一种采集钢琴动作的装置，包括在演奏时检测琴键是否被按下的琴键位置传感器，还包括采集音频信号的音频传感器，对音频传感器接收到的音频信号进行功率谱分析的频谱分析仪；时钟装置、由于所述的琴键位置传感器触发的记录装置，所述的记录装置记录琴键位置传感器对应的琴键、由琴键位置感器触发时时钟装置的当前时刻以及频谱分析仪检测到的当前按下的琴键的频率的功率。

本发明一个频谱分析仪实现对按下琴键的力度检测，设备简单，便于管理。

进一步的，上述的采集钢琴动作的装置中：所述的琴键位置传感器包括一个支架、一个第一电极、一个第二电极、第一柔性导电触丝、第二柔性导电触丝，所述的第一电极和第二电极电隔离地设置在所述的支架上，所述的第一柔性导电触丝和第二柔性导电触丝的一端分别与所述的第一电极和第二电极连接，所述的第一柔性导电触丝和第二柔性导电触丝的另一端形成自由端，所述的第一柔性导电触丝和第二柔性导电触丝的自由端由于自身的弹力靠在未被告按下的琴键上并相互接触，在琴键按下时，相互分离。

进一步的，上述的采集钢琴动作的装置中：在音频传感器的输出端与频谱分析仪的输入之间还设置有滤波器，所述的滤波器为中心频率是琴键频率的带通滤波器。

下面结合附图和具体实施例对本发明进行详细地说明。

附图说明

图1为本发明实施例1流程图。

图2为本发明实施例1琴键位置传感器结构示意图（琴键未按下时）。

图3为本发明实施例1琴键位置传感器结构示意图（琴键已按下时）。

具体实施方式

本实施例是一种在演奏钢琴时对钢琴师演奏技术进行客观评价时的一种方法，主要用于检测客观反映演奏钢琴时什么时刻用什么力度按下什么琴键，也就是用于客观评价的弹奏的按下琴键正确性和节奏正确性，弹奏的情感表达这三个重要指标。如图1所示，本实施例的方法在钢琴演奏时，包括以下步骤：

步骤S1、利用钢琴琴键位置传感器采集按下的琴键以及按下该琴键的时刻，同时采集音频率信号；实践上每个琴键设置一个这样的琴键位置传感器，它可以采集该琴键是否被按下。利用音频传感器采集按下琴键时的音频信号。

步骤B、对采集到的音频信号进行频谱分析，获得所述的琴键按下的功率；采用频谱分析仪对采集到的音频信号进行功率谱分析，可以得到每一个琴键按下所产生声音的频率的功率谱，记下这颗琴键按下时所对应的频率的功率。

步骤C、记录按下的琴键、按下所述的琴键的时刻以及琴键按下的功率。这三个参数就可以反映演奏钢琴时按下琴键正确性和节奏正确性，弹奏的情感表达这三个重要指标。

本实施例中采用的一种采集钢琴动作的装置，包括在演奏时检测琴键是否被按下的琴键位置传感器，还包括采集音频信号的音频传感器，对音频传感器接收到的音频信号进行功率谱分析的频谱分析仪；时钟装置、由于所述的琴键位置传感器触发的记录装置，所述的记录装置记录琴键位置传感器对应的琴键、由琴键位置感器触发时时钟装置的当前时刻以及频谱分析仪检测到的当前按下的琴键的频率的功率。

本实施例中，为了对按下的琴键力度进行较准确地分析，可以在采集到音频信号以后先对音频信号进行滤波，采用带通滤波器进行滤波，带通滤波器的中心频率为检测到的正在按下的琴键的频率。

假设有琴键1和琴键2这两个琴键被先后按下，那么琴键1按下的时段会先被琴键1相对应的传感器1检测到，同时音频采集模块会采集到琴键1所发出的音频信号，事实上，每个琴键按下时所发出的音频信号频率是不同的，且对于调好了的钢琴来说，每个琴键对应的频率也是稳定的，因此，也可以通过对接收音频信号的频率检测获得所按下的琴键名称，音频信号被同时传送到频率分析模块，也就是频谱分析仪，它可以直观地反应到的音频信号的功率谱，也就是在频谱分析仪上显示这个被按下的琴键所发出的音频信号的频率，在频谱分析仪中进行频率成分和频率强度（功率，相当于力度）的计算，弹奏的情感表达的量检测模块会在按键1被按下的时段内去检测频率分析模块中该键对应的频率的强度，作为按键1的强度信息。同理按键2也被以相同的方法处理。

本实施例中，为了对按下的琴键功率（力度）进行较准确地分析，先通过每个按键所对应的传感器采集什么键被下以及按下的时段信息，每个键的频谱信息是预先可知的，可以采用琴键音频信号标准定义（比如A4号琴键对应的频率定义为440赫兹），也可以预先对每个琴键进行音频采集作为各键的标准音频信息。

假设有琴键1和琴键2这两个琴键被先后按下，那么琴键1按下以及按下的时段会先被琴键1相对应的传感器1检测到，同时音频采集模块会采集到琴键1所发出的音频信号，音频信号被同时传送到频率分析模块，也就是频谱分析仪，频谱分析仪根据上述已经获得的琴键1被下以及按下的时段信息，到琴键1按下时对应的频率位置上获得功率数据，即该键对应的频率的强度，作为按键1的强度信息。同理按键2也被以相同的方法处理。

对于有多个按键被同时按下的情况，弹奏的情感表达检测仍然可以针对不同的按键分别获取各按键按下时段内各按键对应的频率的强度信息，此方法仍然有效。

如果个别琴键频率成分有部分重叠，比如有8度关系的琴键被同时按下，基频低的按键的高次谐波和基频高的按键的频率有重叠，造成干扰，利用基频低的按键的频率成分包含基频高的频率成分的特性，可以先以基频成分检测低频的按键，检测完成后，扣除低频按键的频率信息，在余下的频率信息中检测基频低的按键的弹奏的情感表达，如此循环操作，直到所有频率有重叠的按键都被检测完成。

另外，利用本方法还可以实现对延音踏板的检测，在本实施例中，检测各按键是否存在按键已经松开但该按键对应的频率仍然延续的现象，如果检测到有延续，以此判断延音踏板被踩下，否则没被踩下。

有些高音的键按下又松开后，由于按键本身没有停音机械装置，会自然延音，这些键应排除在检测之外，不把这些键作为检测依据，所述排除的方法可以设置一个按键号，大于此按键号的琴键就排除。在对每一个琴键，设置两付传感器，两付传感器对该按键被按下的深度/行程有不同的灵敏度，当按键被按下时，两付传感器会在按下的不同深度位置触发检测信号，形成对按键检测的深度差，另外，两付传感器的检测信号随着按键的按下是先后产生的，从而形成两次检测信号触发的时间差。

传感器固定安装好后，上述深度差就固定了，而时间差是由用户按键时的速度/力量决定的，按键按得越快，时间差不就越短，反之时间差越长。利用该时间差以及深度差两个信号，把深度差除以时间差，可以推断出键按下的速度，速度可以代表力量信号。

琴键位置传感器具体的实现方式可以有多种：如图2和图3所示为本实施例中采用的传感器结构示意图。

这样的琴键位置传感器包括一个支架1、一个第一电极2、一个第二电极3、第一柔性导电触丝4、第二柔性导电触丝5，第一电极2和第二电极3电隔离地设置在支架1上，第一柔性导电触丝4和第二柔性导电触丝5的一端分别与第一电极2和第二电极3连接，第一柔性导电触丝4和第二柔性导电触丝5的另一端形成自由端，第一柔性导电触丝4和第二柔性导电触丝5的自由端由于自身的弹力靠在未被告按下的琴键6上并相互接触， 如图2所示，在琴键6按下时，相互分离，如图3所示。

事实上，琴键位置传感器由两条有弹性的触脚组成（可以做成丝状），该材料上有导电金属，两条触角与按键平行，一上一下安装于按键上方的骨架上，当按键没有被按下时，两条触角的金属部分被按键挤压在一起，两个触角的导电金属导通，表示按键未按下，该信号被传递到处理器，处理器记录按键号及信号触发的时刻；当按键按下时，两个触角因弹性而分离，电路断开产生断开信号，表示按键按下，该信号同样被传递到处理器，记录按键号及信号触发的时刻。使用有弹性的材料的作用是减少对按键运动的阻碍作用。

琴键位置传感器的模式可以多种多样，可以是光电的，电磁的，容性的。每个按键也可以设置超过２组的传感器，可以获取更多的深度差和时间差信息，增加可靠性

对每一个琴键，设置一付琴键位置传感器，该琴键位置传感器对琴键被按下深度变化有不同的灵敏度，周期性的检测该琴键位置传感器的检测信号，在按键被按下的过程中，会多次采集到信号，由于不同次的采集在时间上是先后发生，对应到按键下降的位置会不同，不同深度位置所检测出信号的强度是不同的。可以用强度信息表示按压深度，利用采集的时间差以及强度差（等同于深度差），可以推断出希望检测出的速度/力量信号。

Claims (7)

1.一种采集钢琴动作的方法，该方法在演奏钢琴时，对什么时候、用什么力度按下什么琴键进行采集，其特征在于：包括以下步骤：

步骤A、利用传感器采集按下的琴键以及按下该琴键的时段，同时采集音频信号；

步骤B、对采集到的音频信号进行频谱分析，根据什么时候什么琴键被按下的信息在频谱信息中获得所述的琴键按下的功率；

步骤C、记录按下的琴键、按下所述的琴键的时段以及所述的琴键按下的功率。

2.根据权利要求1所述的采集钢琴动作的方法，其特征在于：在步骤B中，进行频谱分析前，获得每个键的标准频谱信息，所述频谱信息是琴键音频信号标准定义，或者预先对每个琴键进行音频采集，采集的音频信息作为各键的标准音频信息。

3.根据权利要求1所述的采集钢琴动作的方法，其特征在于：所述的步骤B中，先以基频成分分析按下的低频琴键的功率，分析完低频的琴键以后，扣除低频琴键的频率信息，在余下的频率信息中分析基频较低的琴键的功率，如此循环操作，直到本次按下的所有频率有重叠的琴键都被分析完成。

4.根据权利要求1或2或3所述的采集钢琴动作的方法，其特征在于：所述的步骤A中，还利用传感器检测按下的琴键被松开的时刻；所述的步骤B中，进行频谱分析时，在琴键被告松开后，该琴键对应的频率是否延续，若延续则记录中加入延音踏板被踩下，否则在记录中加入延音踏板未被踩下。

5.一种采集钢琴动作的装置，包括在演奏时检测琴键是否被按下的琴键位置传感器，其特征在于：还包括采集音频信号的音频传感器，对音频传感器接收到的音频信号进行功率谱分析的频谱分析仪；时钟装置、由于所述的琴键位置传感器触发的记录装置，所述的记录装置记录琴键位置传感器对应的琴键、由琴键位置感器触发时时钟装置的当前时段以及频谱分析仪检测到的当前按下的琴键的频率的功率。

6.根据权利要求5所述的采集钢琴动作的装置，其特征在于：所述的琴键位置传感器包括一个支架（1）、一个第一电极（2）、一个第二电极（3）、第一柔性导电触丝（4）、第二柔性导电触丝（5），所述的第一电极（2）和第二电极（3）电隔离地设置在所述的支架（1）上，所述的第一柔性导电触丝（4）和第二柔性导电触丝（5）的一端分别与所述的第一电极（2）和第二电极（3）连接，所述的第一柔性导电触丝（4）和第二柔性导电触丝（5）的另一端形成自由端，所述的第一柔性导电触丝（4）和第二柔性导电触丝（5）的自由端由于自身的弹力靠在未被告按下的琴键（6）上并相互接触，在琴键（6）按下时，相互分离。

7.根据权利要求5或6所述的采集钢琴动作的装置，其特征在于：在音频传感器的输出端与频谱分析仪的输入之间还设置有滤波器，所述的滤波器为中心频率是琴键频率的带通滤波器。