CN110379253A - 小提琴综合辅助学习的方法、装置、软件与系统 - Google Patents

Abstract

本发明属于小提琴辅助学习技术领域。本发明设计的方法是根据学习者演奏的声音和手指/手臂的动作，判断其演奏过程中音准、节奏等问题的原因，给出改进意见。本发明设计的装置包括声音数据采集装置，实时采集演奏声音；手臂姿势采集装置，实时采集手臂动作；指法数据采集装置，实时采集当指尖揉按位置、时长；综合辅助学习装置，是本系统的核心装置，实现数据存储、音准节奏识别、指法匹配识别、手臂姿态识别、系统控制以及系统服务管理。本发明设计的软件为移动APP软件，显示采集的各类数据，并将各类判断结果展现给学习者。本发明设计的系统如图1所示，由上述装置和软件组合而成。

Description

小提琴综合辅助学习的方法、装置、软件与系统

技术领域

本发明属于小提琴辅助学习技术领域，特别涉及小提琴辅助学习的方法、装置与系统。

背景技术

小提琴是现代管弦乐队弦乐组中最主要的乐器，是具有高难度演奏技巧的独奏乐器。小提琴学习者面对的难点，一是音准控制，需要左手反转180度按压琴弦，且需要揉弦、把位灵活切换；二是节拍控制，需要依靠右手准确控制拉弓的节奏和弓弦接触；三是音色控制，需要左手指法和右手臂姿势完美配合。这就需要学生从基础技法开始不间断的大量重复训练，直至形成肌肉记忆，才算真正习得小提琴演奏技法。在学习过程中，需要音乐老师实时辅导监督学生的练习，从而产生高昂的学习费用。

学习者在自己独立练习小提琴的过程中，经常会不了解自己的演奏情况，有时出现错误也不能及时发现。只能等到老师辅导监督时，才能纠正错误，不能在第一时间发现问题，容易形成不良习惯以致后续难以改正，这样不利于提高练习的精确度，导致练习效率较低。如果能提供一种小提琴辅助学习装置，实时发现学习者在练习中音准、音色、节奏等方面的问题点，并给出改进的建议，将能大大提高小提琴学习者的学习效率和速度。

利用声音识别技术、触摸感知技术和人体动作识别技术，实时获取学习者演奏小提琴过程中的曲目音符、左手指尖按压位置、右手臂的拉弓姿势，进而判断学习者音准、音色和节奏错误，并给出对应乐谱演奏的改进意见，将有望摆脱传统的演奏学习过程，降低小提琴演奏学习的门槛。

发明内容：

本发明设计的方法是预先分析指定曲目，得出曲目的音符和顺序、曲目的节奏等信息，根据音符与手指按压位置关系得出手指按压序列，根据曲目节奏确定手指按压的时间，根据曲目节奏确定手臂拉弓姿势；采用技术手段实时识别小提琴学习者演奏曲目的音符、指尖按压位置、手臂的拉弓姿势；比较预先分析数据与实时采集识别数据，判断学习者的音准、节奏等方面的问题点，实时给出音准、节奏错误提示和音符顺序错误提示，事后给出指法、手臂姿势错误所在曲谱位置及详细情况。本发明最核心的一点是，将乐谱的音符、节奏等因素与学习者的演奏声音、动作对比，有针对性的发现学习者的演奏问题，提高学习效率。本方法又详细划分为曲谱分析方法、音准节奏识别方法、指法匹配识别方法和手臂姿态识别方法，各方法的详细描述如下：

本发明设计的曲谱分析方法，首先将谱曲的每个音符换算成指定的音频，其次根据曲谱的节拍，确定每个音符的演奏时长；再次根据谱曲的音符和音符演奏时长，确定对应每个音符的手指触摸琴把的位置和时长；最后根据谱曲的音符、音节及节拍，分析手臂在整个曲谱演奏过程中整体的运动方向、速度。基于上述过程方法，为曲谱的音符、节拍与演奏声音、手指按压位置、手臂拉弦动作建立了映射关系，实现了对指定谱曲的分析。

本发明设计的音准节奏识别方法，通过实时采集小提琴学习者演奏的声音获取每个音符的频率数据，根据频率数据判断其对应那个音符，按照音符顺序与曲谱预先分析出的音符数据比对，检查演奏的音符是否匹配，若匹配则判定演奏的音准和顺序正确。同时计算声音数据中每个音符之间的时间间隔，与曲谱预先分析出的音符时长数据比对，检查演奏的音符的时长是否匹配，若匹配则判定演奏的节奏正确。上述判定中，音准的判定是基础，若演奏的音准不正确，则就不进行节奏的判断。

本发明设计的指法匹配识别方法，通过实时采集小提琴学习者演奏时的手指按压位置和时长数据，根据手指按压位置判断其对应哪个音符，按照音符顺序与曲谱预先分析出的音符数据比对，检查演奏的音符是否匹配，若匹配则判定手指按压位置和顺序正确。同时根据手指按压的时长，与曲谱预先分析出的音符时长数据比对，检查手指按压的时长与音符需演奏音符时长是否匹配，若匹配则判定手指按压的节奏正确。上述判定中，按压位置的判定是基础，若手指位置不正确，则就不进行时长的判断。若音准节奏识别方法中判定指定音符存在音准问题，则根据手指按压位置与音符音频的关系，给出手指按压位置调整的要求。

本发明设计的手臂姿态识别方法，通过实时采集小提琴学习者演奏时上臂和前臂的位置、角度和速度数据，演算出手臂的运动轨迹，与曲谱预先分析出的手臂整体的运动方向和速度匹配，若匹配则判定手臂的拉动节奏正确。若音准节奏识别方法中判定指定节奏存在问题，则根据手臂拉动与节奏的关系，给出手臂拉动的改进意见。

本发明设计的装置包括：声音数据采集装置、指法数据采集装置、手臂姿势采集装置和综合辅助学习装置，各装置的详细描述如下：

本发明设计的声音数据采集装置，如图2所示，包括声音数据采集单元和通信单元。其中，声音数据采集单元，放置于小提琴较近位置，负责实时采集演奏的声音数据，转换为声音的频率数据；通信单元负责将采集到的声音数据实时发送给综合辅助学习装置。声音数据采集装基于高精度的录音设备实现，录制演奏声音。

本发明设计的指法数据采集装置，如图3所示，包括手指位置采集单元和通信单元。其中，手指位置采集单元位于小提琴琴把处，负责实时采集手指触按的位置和时长；通信单元负责将采集到的手指位置信息实时发送给综合辅助学习装置。手指位置采集单元基于触摸膜实现，将触摸膜安装在琴把处，实时感知学习者的手指位置。

本发明设计的手臂姿势采集装置，如图4所示，包括手臂姿势采集单元和通信单元。其中，手臂姿势采集单元位于学习者的手臂上，负责实时采集手臂的位置、角度和速度，并转换为手臂的姿势、运动位置、时长数据；通信单元负责将采集到的手臂信息实时发送给综合辅助学习装置。手臂姿势采集单元基于六轴传感器实现，将两个传感器分别佩戴到图中两个黑点的位置，实时获取前臂和上臂的速度和方向，通过坐标系转换，获取手臂的运动轨迹。

本发明设计的综合辅助学习装置，如图5所示由嵌入式处理单元、数据存储单元、控制面板、通信单元、扬声器单元、音准节奏识别软件、指法匹配识别软件、手臂姿态识别软件和系统服务管理软件八个部分组成。其中，数据存储单元负责存储采集的数据、装置配置数据、预先录入的琴谱数据、识别处理结果数据；通信单元负责建立通信路由，与其他装置实现数据交互；扬声器单元按需播放实例曲谱等；控制面板负责提供人机交互界面，包括装置开关、通信单元配置、声音采集单元配置、数据存储单元配置以及装置运行状态显示，特别针对音准和节奏正确情况给出实时提示信号；嵌入式处理单元为软件提供运行环境，并通过总线与其他单元交互；音准节奏识别软件根据预先录入的琴谱数据，分析从声音数据采集装置获取的声音频率，实时识别声音的音准、节奏准确情况，并将结果存入数据存储单元；指法匹配识别软件根据预先录入的琴谱数据，分析从指法数据采集装置获取的手指数据，识别手指按压位置、时长与演奏音符的匹配关系，并将结果存入数据存储单元；手臂姿态识别软件根据预先录入的琴谱数据，分析从手臂姿势采集装置获取的手臂数据，识别手臂姿势、运动位置、时长数据与演奏节奏的匹配关系，并将结果存入数据存储单元；系统管理服务软件负责提供数据管理、网络管理、数据查询、软件管理等功能接口。

本发明设计的移动APP软件，如图6所示由曲谱管理显示单元、音准提示单元、节奏提示单元、指法提示单元和手臂动作提示单元，运行在手机上，为学习者提供友好的人机交互界面。其中，曲谱管理显示单元负责与综合辅助学习装置交互，管理预先分析好的谱曲，并以五线谱的方式显示给用户；音准提示单元获取音准节奏识别软件的结果，在五线谱的底图上以不同的颜色音符，分别代表音准音符和音不准音符；节奏提示单元获取音准节奏识别软件的结果，在五线谱的底图上以不同颜色标识各个音符演奏的时长，并以不同的底色显示节奏过快、符合、过慢三种情况；指法提示单元获取指法匹配识别软件的结果，以琴把为底图显示当前音符正确的手指位置，并同时以不同颜色显示学习者的手指实际位置，对位置不匹配的音符在五线谱上标出，学习者事后可查看所有手指失误的音符；手臂动作提示单元获取手臂姿态识别软件的结果，在五线谱上以不同颜色标注手臂姿势的匹配情况，对不匹配的地方，学习者可查看详细情况。移动APP软件提供友好的人机交互界面，让学习者可以更直观、全局的了解曲谱演奏的情况，特别是基于曲谱的可视化显示，方便进行针对性的练习。

本发明设计的系统为小提琴综合辅助学习系统，如图1所示，由声音数据采集装置、手臂姿势采集装置、指法数据采集装置、综合辅助学习装置和移动APP软件组成。其中声音数据采集装置实时采集当前小提琴学习者的演奏声音；手臂姿势采集装置实时采集当前小提琴学习者的手臂位置、拉弦动作；指法数据采集装置实时采集当前小提琴学习者的指尖揉按位置、时长；综合辅助学习装置是本系统的核心装置，实现数据存储、音准节奏识别、指法匹配识别、手臂姿态识别、系统控制以及系统服务管理；移动APP软件显示采集的各类数据，并将各类判断结果展现给学习者。

附图说明：

图1综合辅助学习系统组成示意图

图2声音数据采集装置组成示意图

图3指法数据采集装置组成示意图

图4手臂姿势采集装置组成示意图

图5综合辅助学习装置组成示意图

图6移动APP软件组成示意图

具体实施方式：

实施例一

将声音数据采集装置和综合辅助学习装置组合，实现小提琴的校音功能。小提琴学习者将声音数据采集装置放置在琴箱旁，将综合辅助学习装置设置为校音模式。小提琴学习者按照拉弦顺序提示要求，依次拉动琴弦。声音数据采集装置实时采集演奏声音，综合辅助学习装置实时判断音准，给出音高或音低提示。学习者根据提示，调节琴轴或微调。

实施例二

将声音数据采集装置和综合辅助学习装置组合，实现小提琴学习者的音准和节奏辅助训练功能。

小提琴学习者将声音数据采集装置放置在小提琴附近，将综合辅助学习装置设置为音准和节奏训练模式，并选取所练习的曲目。

小提琴学习者播放练习曲目，进行听谱练习。小提琴学习者根据曲谱，进行演奏练习。声音数据采集装置实时采集演奏的声音，综合辅助学习装置根据采集的声音，实时判断学习者演奏的音准和节奏情况。若音准出现问题，综合辅助学习装置的音准错误提示灯默认显示绿色，音高显示红色，音低显示蓝色。若节奏出现问题，综合辅助学习装置的节奏错误提示灯默认显示绿色，节奏快显示红色，节奏慢显示蓝色。学习者根据提示信息，调整好动作，重新从当前音节开始演奏。

在此实例中，可以选配移动APP软件。将移动APP软件与综合辅助学习装置连接。移动APP软件将显示当前练习的曲目，显示形式为五线谱，音符默认颜色为黑色。移动APP软件在五线谱上实时显示学习者演奏的进度，并实时更新曲谱对应位置的底色。若音准出现问题，则曲谱上对应音符的颜色改变，音高显示红色，音低显示蓝色。若节奏出现问题，则曲谱上对应音节的整体颜色改变，节奏快显示红色，节奏慢显示蓝色。学习者可以根据自己需要，通过修改谱曲上的进度，选择重新开始演奏的位置。通过移动APP软件，学习者可以查看当前曲谱的历史练习信息，针对问题进行专项练习。比如，选择曲谱的某一段进行专项练习。

本实例中，可选择单独练习音准或节奏。

实施例三

将声音数据采集装置、综合辅助学习装置和指法数据采集装置组合，实现小提琴学习者的指法辅助训练功能。

小提琴学习者将声音数据采集装置放置在小提琴附近；将综合辅助学习装置设置为指法训练模式，并选取所练习的曲目；将指法数据采集装置安装在琴把处，置于琴弦下方，紧贴在把面上。

小提琴学习者根据曲谱，进行演奏练习。声音数据采集装置实时采集演奏的声音，指法数据采集装置实时采集手指的按压位置和时长，综合辅助学习装置根据采集的声音和指法数据，实时判断学习者演奏内容与指法的匹配情况。若音准出现问题，综合辅助学习装置的手指位置错误提示灯默认显示绿色，音高显示红色，音低显示蓝色。若节奏出现问题，综合辅助学习装置的按压时长错误提示灯默认显示绿色，节奏快显示红色，节奏慢显示蓝色。学习者根据提示信息，调整手指动作，重新从当前音节开始演奏。

在此实例中，可以选配移动APP软件。将移动APP软件与综合辅助学习装置连接。移动APP软件加载当前曲目的所有练习数据，统计每个音符的音准问题，指出音符对应手指按压位置常见问题，比如某个音符手指位置总是靠前一些，帮助学习者有针对性的改正手指按压位置错误；统计所有音符的时长问题，给出某个手指按压时长的问题，比如那个手指按压时长不够，帮助学习者有针对性的改正手指按压时间的错误。

实施例四

将声音数据采集装置、综合辅助学习装置、手臂姿势采集装置和移动APP软件组合，实现小提琴学习者的手臂姿势辅助训练功能。

小提琴学习者将声音数据采集装置放置在小提琴附近；将综合辅助学习装置设置为手臂训练模式，并选取所练习的曲目；将手臂姿势采集装置分别绑在学习者的手腕后部和臂肘后部，如图4黑点位置；将移动APP软件与综合辅助学习装置连接。

小提琴学习者根据曲谱，进行演奏练习。声音数据采集装置实时采集演奏的声音，手臂姿势采集装置实时采集手臂的运动方向、速度和姿态数据，综合辅助学习装置根据采集的声音和手臂数据，实时判断学习者演奏内容与手臂动作的匹配情况。若声音出现串音问题，综合辅助学习装置的手臂位置错误提示灯默认显示绿色，根据串音的情况判断弓弦的高低，弦高显示红色，弦低显示蓝色。若节奏出现问题，综合辅助学习装置的手臂速度错误提示灯默认显示绿色，节奏快显示红色，节奏慢显示蓝色。学习者根据提示信息，调整手臂动作，重新从当前音节开始演奏。移动APP软件加载当前曲目的所有练习数据，统计每个音符的串音问题，指出音符对应手臂姿态常见问题，比如某个音符手臂总是高一些，帮助学习者有针对性的改正手臂姿态错误；根据曲谱的换弓位置，统计手臂方向变化时机的匹配问题，比如手臂拉动方向改变过早，帮助学习者有针对性的改正手臂的姿势错误。

实施例五

将声音数据采集装置、综合辅助学习装置、指法数据采集装置、手臂姿势采集装置和移动APP软件组合，实现小提琴学习者的综合辅助训练功能。

小提琴学习者将声音数据采集装置放置在小提琴附近；将综合辅助学习装置设置为综合训练模式，并选取所练习的曲目；将指法数据采集装置安装在琴把处，置于琴弦下方，紧贴在把面上；将手臂姿势采集装置分别绑在学习者的手腕后部和臂肘后部；将移动APP软件与综合辅助学习装置连接。

小提琴学习者根据曲谱，进行演奏练习。声音数据采集装置实时采集演奏的声音，臂姿势采集装置实时采集手臂的运动方向、速度和姿态数据，手臂姿势采集装置实时采集手臂的运动方向、速度和姿态数据，综合辅助学习装置实时接收各类数据，分别对音准节奏、指法、手臂姿态进行处理识别。

学习者演奏结束后，通过移动APP软件加载本次曲目演奏的识别结果数据。基于每个手指的按压位置、时长和手臂的方向、速度，基于曲谱的顺序，依次检测手指与手臂的匹配情况，统计分析手指与手臂的配合度，给出整个曲目的综合优化意见。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (8)

1.本发明的曲谱分析方法的设计，其特征在于：

1)根据谱曲的音符和音符演奏时长，确定对应每个音符的手指触摸琴把的位置和时长；

2)根据谱曲的音符、音节及节拍，分析手臂在整个曲谱演奏过程中整体的运动方向、速度；

3)为曲谱的音符、节拍与演奏声音、手指按压位置、手臂拉弦动作建立了映射关系，实现了对指定谱曲的分析。

2.本发明的音准节奏识别方法的设计，其特征在于：

1)按照音符顺序与曲谱预先分析出的音符数据比对，检查演奏的音符是否匹配，若匹配则判定演奏的音准和顺序正确；

2)计算声音数据中每个音符之间的时间间隔，与曲谱预先分析出的音符时长数据比对，检查演奏的音符的时长是否匹配。

3.本发明的指法匹配识别方法的设计，其特征在于：

1)通过实时采集小提琴学习者演奏时的手指按压位置和时长数据，根据手指按压位置判断其对应哪个音符，按照音符顺序与曲谱预先分析出的音符数据比对，检查演奏的音符是否匹配，若匹配则判定手指按压位置和顺序正确；

2)根据手指按压的时长，与曲谱预先分析出的音符时长数据比对，检查手指按压的时长与音符需演奏音符时长是否匹配，若匹配则判定手指按压的节奏正确；

3)若音准节奏识别方法中判定指定音符存在音准问题，则根据手指按压位置与音符音频的关系，给出手指按压位置调整的要求。

4.本发明的手臂姿态识别方法的设计，其特征在于：

1)通过实时采集小提琴学习者演奏时上臂和前臂的位置、角度和速度数据，演算出手臂的运动轨迹，与曲谱预先分析出的手臂整体的运动方向和速度匹配，若匹配则判定手臂的拉动节奏正确；

2)若音准节奏识别方法中判定指定节奏存在问题，则根据手臂拉动与节奏的关系，给出手臂拉动的改进意见。

5.本发明的指法数据采集装置的设计，其特征在于：

1)手指位置采集单元位于小提琴琴把处，负责实时采集手指触按的位置和时长；

2)手指位置采集单元基于触摸膜实现，将触摸膜安装在琴把处，实时感知学习者的手指位置。

6.本发明的手臂姿势采集装置的设计，其特征在于：

1)手臂姿势采集单元位于学习者的手臂上，负责实时采集手臂的位置、角度和速度，并转换为手臂的姿势、运动位置、时长数据；

2)手臂姿势采集单元基于六轴传感器实现，将两个传感器分别佩戴到图中两个黑点的位置，实时获取前臂和上臂的速度和方向，通过坐标系转换，获取手臂的运动轨迹。

7.本发明的综合辅助学习装置的设计，其特征在于：

1)由嵌入式处理单元、数据存储单元、控制面板、通信单元、扬声器单元、音准节奏识别软件、指法匹配识别软件、手臂姿态识别软件和系统服务管理软件八个部分组成；

2)控制面板特别针对音准和节奏正确情况给出实时提示信号。

8.本发明的移动APP软件的设计，其特征在于：

1)曲谱管理显示单元负责与综合辅助学习装置交互，管理预先分析好的谱曲，并以五线谱的方式显示给用户；

2)音准提示单元获取音准节奏识别软件的结果，在五线谱的底图上以不同的颜色音符，分别代表音准音符和音不准音符；

3)节奏提示单元获取音准节奏识别软件的结果，在五线谱的底图上以不同颜色标识各个音符演奏的时长，并以不同的底色显示节奏过快、符合、过慢三种情况；

4)指法提示单元获取指法匹配识别软件的结果，以琴把为底图显示当前音符正确的手指位置，并同时以不同颜色显示学习者的手指实际位置，对位置不匹配的音符在五线谱上标出，学习者事后可查看所有手指失误的音符；

5)手臂动作提示单元获取手臂姿态识别软件的结果，在五线谱上以不同颜色标注手臂姿势的匹配情况，对不匹配的地方，学习者可查看详细情况。