CN111554257A - 一种传统中国民族乐器的音符比对系统及其使用方法 - Google Patents

Abstract

本发明公开了一种传统中国民族乐器的音符比对系统及其使用方法，能够准确、实时地将中国传统民族乐器演奏发出的声音转写为通用的MIDI音频数字信号，通过音符比对系统，让弹琴者实时得到自己的演奏音符与师傅演奏音符的差别，客观准确地评价自己的演奏；提高了弹琴者辨别弹奏的力度、音高、音符时值的能力，通过智能终端来显示五线谱、古琴谱、简谱、瀑布流等格式的谱子，辅以音符比对系统，提高了用户获取谱面信息和自己演奏评价的效率；教琴者可以更加直观地得到弹琴者的练琴各项数据，让教琴者更加准确地评价弹琴者演奏，给出指导意见，实现智能教学。

Description

一种传统中国民族乐器的音符比对系统及其使用方法

技术领域

本发明涉及一种传统中国民族乐器的音符比对系统及其使用方法。

背景技术

传统中国民族乐器种类繁多，包括古筝、古琴、笛子等，音色好，更是一种是历史和文化的传承，是电乐器和电子乐器不可替代的。然而，当前传统中国民族乐器的教学都是现场教学，目前有传统中国民族乐器教学经验和能力的教琴者并不多,不易普及，限制了传统中国民族乐器的传承和发展。

随着电子科学和信息技术的发展，出现了“智能吉他”、“智能钢琴”等智能乐器，越来越多的人在教授或练习乐器时使用智能乐器。但是智能乐器往往依赖于电子乐器内置的元器件，这往往意味着拥有乐器的学琴者需要额外花费高额代价购买一件新的电子乐器，同时学会电子乐器往往达不到学琴者心中学习传统乐器的初衷。此外，针对传统中国民族乐器的智能乐器较少，而且智能乐器的硬件系统是基于接触传感的原理，容易损坏乐器的木制结构，所以不适合传统中国民族乐器。

发明内容

发明目的：本发明的目的是提供一种传统中国民族乐器的音符比对系统，在弹奏传统中国民族乐器过程中，利用自动转录技术识别乐器发出的声音中的音符，并辨别弹奏的力度、音高、音符时值等，给出指导意见，实现智能教学。

技术方案：本发明所述的一种传统中国民族乐器的音符比对系统，包括显示屏、音频接收模块、音频转录控制模块、智能终端；其中智能终端通过信号线或通讯模块分别和音频转录控制模块和显示屏连接；显示屏上以音符为单位实时显示用户演奏所对应的乐谱；音频转录控制模块通过信号线或通讯模块连接音频接收模块；音频转录控制模块包括音频信号转录模块和MIDI数据处理模块，音频接收模块采集传统中国民族乐器的演奏音频信号，并将所述音频信号实时传输到音频转录模块，音频转录模块以音符为单位将演奏音频信号实时转录为演奏MIDI音频数字信号，MIDI数据处理模块演奏MIDI音频数字信号与预制好的师傅MIDI音频数字信号实时比对，对演奏效果进行实时评判和评估。

进一步的，师傅MIDI音频数字信号来源包括：本机用户以往录制的演奏数据、联网传输而来的其他用户数据以及大师钢琴演奏MIDI音频数字信号。

进一步的，包括练习模式和演奏模式，其中练习模式时，实时、同步播放师傅MIDI音频数字信号中的音符，将接收到的演奏MIDI音频数字信号与之对比，如果演奏音符与师傅MIDI音频数字信号中的音符差异小于错误阈值后，显示演奏正确的信息，并继续播放所述第一MIDI音频数字信号中的下一个音符；若大于所述错误阈值，显示并提示演奏错误的信息，停止播放所述师傅MIDI音频数字信号中的下一个音符；演奏模式时，连续播放师傅MIDI音频数字信号中的音符，演奏结束后，将演奏MIDI音频数字信号与师傅MIDI音频数字信号比对，评估差异，并为用户此次演奏打分。

进一步的，包括练习模式和演奏模式，其中练习模式时，实时、同步播放师傅MIDI音频数字信号中的音符，将接收到的演奏MIDI音频数字信号与之对比，如果演奏音符与师傅MIDI音频数字信号中的音符差异小于错误阈值后，显示演奏正确的信息，并继续播放所述第一MIDI音频数字信号中的下一个音符；若大于所述错误阈值，显示并提示演奏错误的信息，停止播放所述师傅MIDI音频数字信号中的下一个音符；演奏模式时，连续播放师傅MIDI音频数字信号中的音符，演奏结束后，将演奏MIDI音频数字信号与师傅MIDI音频数字信号比对，评估差异，并为用户此次演奏打分。

进一步的，错误阈值包括但不限于：音高不正确、力度差异过大、音符时值过长、音符时值过短。

进一步的，用户可以自己定义演奏时长、演奏音符数目、演奏起始时间、演奏结束时间。

进一步的，演奏音频的传输方法包括网络传输、数字信号有线传输以及蓝牙传输。

进一步的，智能终端包括智能平板、智能手机、智能电视以及智能投影仪。

发明目的：本发明的目的是提供一种传统中国民族乐器的音符比对系统的使用方法，在弹奏传统中国民族乐器过程中，利用自动转录技术识别乐器发出的声音中的音符，并辨别弹奏的力度、音高、音符时值等，给出指导意见，实现智能教学。

技术方案：本发明所述的一种传统中国民族乐器的音符比对系统的使用方法，包括以下步骤：

步骤1，通过音频接收模块采集传统中国民族乐器的演奏音频信号，并将所述音频信号实时传输到音频转录模块；

步骤2，通过音频转录模块，以音符为单位，将演奏音频信号实时转录为演奏MIDI音频数字信号，演奏MIDI音频数字信号中数据包括：音高、音符时值、音符事件起始时间、音符事件结束时间、音符力度以及演奏中的第几个音符；

步骤3，将所述演奏MIDI音频数字信号与预制好的师傅MIDI音频数字信号实时比对，对演奏效果进行实时评判和评估。

有益效果：本发明与现有技术相比：

1.能够准确、实时地将中国传统民族乐器演奏发出的声音转写为通用的MIDI音频数字信号，方便计算机传输与处理；

2.通过音符比对系统，让弹琴者实时得到自己的演奏音符与师傅演奏音符的差别，客观准确地评价自己的演奏；提高了弹琴者辨别弹奏的力度、音高、音符时值的能力；

3.通过智能终端来显示五线谱、古琴谱、简谱、瀑布流等格式的谱子，辅以音符比对系统，提高了用户获取谱面信息和自己演奏评价的效率；

4.教琴者可以更加直观地得到弹琴者的练琴各项数据，让教琴者更加准确地评价弹琴者演奏，给出指导意见，实现智能教学。

附图说明

图1是传统中国民族乐器的音符比对系统的使用方法的流程图；

图2是传统中国民族乐器的音符比对系统的原理图。

具体实施方式

如图1所示，一种传统中国民族乐器的音符比对系统的使用方法，包括如下步骤

步骤1，通过音频接收模块采集古琴或古筝等传统中国民族乐器的演奏音频信号，并将所述音频信号实时传输到音频转录模块；

步骤2，通过音频转录模块，以音符为单位，将演奏音频信号实时转录为演奏MIDI音频数字信号，演奏MIDI音频数字信号中数据包括：音高、音符时值、音符事件起始时间、音符事件结束时间、音符力度以及演奏中的第几个音符；

步骤3，将所述演奏MIDI音频数字信号与预制好的师傅MIDI音频数字信号实时比对，对演奏效果进行实时评判和评估。

如图2所示，上述步骤是基于运用一种传统中国民族乐器的音符比对系统完成的操作，一种传统中国民族乐器的音符比对系统，包括显示屏、音频接收模块、音频转录控制模块、智能终端；其中智能终端通过信号线或通讯模块分别和音频转录控制模块和显示屏连接；显示屏上以音符为单位实时显示用户演奏所对应的乐谱；音频转录控制模块通过信号线或通讯模块连接音频接收模块；音频转录控制模块包括音频信号转录模块和MIDI数据处理模块，音频接收模块采集传统中国民族乐器的演奏音频信号，并将所述音频信号实时传输到音频转录模块，音频转录模块以音符为单位将演奏音频信号实时转录为演奏MIDI音频数字信号，MIDI数据处理模块演奏MIDI音频数字信号与预制好的师傅MIDI音频数字信号实时比对，对演奏效果进行实时评判和评估。

其中，MIDI数据处理模块基于复音音乐自动转录的技术，运用了循环神经网络、卷积神经网络的深度学习方法。

其中，师傅MIDI音频数字信号来源包括：本机用户以往录制的演奏数据、联网传输而来的其他用户数据以及大师钢琴演奏MIDI音频数字信号。

比对系统包括练习模式和演奏模式，其中练习模式时，实时、同步播放师傅MIDI音频数字信号中的音符，将接收到的演奏MIDI音频数字信号与之对比，如果演奏音符与师傅MIDI音频数字信号中的音符差异小于错误阈值后，显示演奏正确的信息，并继续播放所述第一MIDI音频数字信号中的下一个音符；若大于所述错误阈值，显示并提示演奏错误的信息，停止播放所述师傅MIDI音频数字信号中的下一个音符；演奏模式时，连续播放师傅MIDI音频数字信号中的音符，演奏结束后，将演奏MIDI音频数字信号与师傅MIDI音频数字信号比对，评估差异，并为用户此次演奏打分。

比对系统还包括练习模式和演奏模式，其中练习模式时，实时、同步播放师傅MIDI音频数字信号中的音符，将接收到的演奏MIDI音频数字信号与之对比，如果演奏音符与师傅MIDI音频数字信号中的音符差异小于错误阈值后，显示演奏正确的信息，并继续播放所述第一MIDI音频数字信号中的下一个音符；若大于所述错误阈值，显示并提示演奏错误的信息，停止播放所述师傅MIDI音频数字信号中的下一个音符；演奏模式时，连续播放师傅MIDI音频数字信号中的音符，演奏结束后，将演奏MIDI音频数字信号与师傅MIDI音频数字信号比对，评估差异，并为用户此次演奏打分。

其中，错误阈值包括但不限于：音高不正确、力度差异过大、音符时值过长、音符时值过短。

用户可以自己定义演奏时长、演奏音符数目、演奏起始时间、演奏结束时间。

对比系统演奏音频的传输方法包括网络传输、数字信号有线传输以及蓝牙传输，多种方式传输。

智能终端包括智能平板、智能手机、智能电视以及智能投影仪，多种方式展示。

本申请指的传统中国民族乐器包括古琴和古筝。以古琴为例，，本次演奏的乐音已经通过上述步骤被实时转录为计算机可以处理的MIDI信号，该MIDI信号被传输到智能终端中进行实时比对与评估。

智能终端中已经预先存储有师傅MIDI信号，是该段演奏的范本。智能终端将演奏MIDI信号与师傅MIDI信号进行实时比对，若有节奏、音准、力度等差异，即记录下来该差异。若差异大于错误阈值，则定义该差异为一个演奏错误，将错误实时显示在屏幕上，在演奏时实时提醒用户这里弹错了，需要停下来纠正。

实时比对的过程将实时以跟随乐谱的形式显示在屏幕上，即弹到哪里，乐谱光标移动到哪里；同样的乐谱可以以钢琴瀑布的形式呈现，即弹到哪里，钢琴瀑布落到哪里。

该段演奏结束后汇总该段演奏的错误并生成该段演奏的评估报告，显示在屏幕上，用于评估该段演奏的正确率、熟练程度等指标，让弹琴者更准确地认识到自己的本次演奏水平。

Claims (9)

1.一种传统中国民族乐器的音符比对系统，其特征在于包括显示屏、音频接收模块、音频转录控制模块、智能终端；其中智能终端通过信号线或通讯模块分别和音频转录控制模块和显示屏连接；显示屏上以音符为单位实时显示用户演奏所对应的乐谱；音频转录控制模块通过信号线或通讯模块连接音频接收模块；音频转录控制模块包括音频信号转录模块和MIDI数据处理模块，音频接收模块采集传统中国民族乐器的演奏音频信号，并将所述音频信号实时传输到音频转录模块，音频转录模块以音符为单位将演奏音频信号实时转录为演奏MIDI音频数字信号，MIDI数据处理模块演奏MIDI音频数字信号与预制好的师傅MIDI音频数字信号实时比对，对演奏效果进行实时评判和评估。

2.根据权利要求1所述的一种传统中国民族乐器的音符比对系统，其特征在于师傅MIDI音频数字信号来源包括：本机用户以往录制的演奏数据、联网传输而来的其他用户数据以及大师钢琴演奏MIDI音频数字信号。

3.根据权利要求1所述的一种传统中国民族乐器的音符比对系统，其特征在于包括练习模式和演奏模式，其中练习模式时，实时、同步播放师傅MIDI音频数字信号中的音符，将接收到的演奏MIDI音频数字信号与之对比，如果演奏音符与师傅MIDI音频数字信号中的音符差异小于错误阈值后，显示演奏正确的信息，并继续播放所述第一MIDI音频数字信号中的下一个音符；若大于所述错误阈值，显示并提示演奏错误的信息，停止播放所述师傅MIDI音频数字信号中的下一个音符；演奏模式时，连续播放师傅MIDI音频数字信号中的音符，演奏结束后，将演奏MIDI音频数字信号与师傅MIDI音频数字信号比对，评估差异，并为用户此次演奏打分。

4.根据权利要求3所述的一种传统中国民族乐器的音符比对系统，其特征在于MIDI音频数字信号可以实时在智能终端或屏幕上进行可视化显示，显示方式包括五线谱、古琴谱、简谱以及瀑布流。

5.根据权利要求3所述的一种传统中国民族乐器的音符比对系统，其特征在于错误阈值包括但不限于：音高不正确、力度差异过大、音符时值过长、音符时值过短。

6.根据权利要求3所述的一种传统中国民族乐器的音符比对系统，其特征在于用户可以自己定义演奏时长、演奏音符数目、演奏起始时间、演奏结束时间。

7.根据权利要求1所述的一种传统中国民族乐器的音符比对系统，其特征在于演奏音频的传输方法包括网络传输、数字信号有线传输以及蓝牙传输。

8.根据权利要求1所述的一种传统中国民族乐器的音符比对系统，其特征在于智能终端包括智能平板、智能手机、智能电视以及智能投影仪。

9.根据权利要求1-8任意一项所述的一种传统中国民族乐器的音符比对系统的使用方法，其特征在于包括以下步骤：

步骤1，通过音频接收模块采集传统中国民族乐器的演奏音频信号，并将所述音频信号实时传输到音频转录模块；

步骤2，通过音频转录模块，以音符为单位，将演奏音频信号实时转录为演奏MIDI音频数字信号，演奏MIDI音频数字信号中数据包括：音高、音符时值、音符事件起始时间、音符事件结束时间、音符力度以及演奏中的第几个音符；

步骤3，将所述演奏MIDI音频数字信号与预制好的师傅MIDI音频数字信号实时比对，对演奏效果进行实时评判和评估。

Images