CN106485984A - 一种钢琴的智能教学方法和装置 - Google Patents
一种钢琴的智能教学方法和装置 Download PDFInfo
- Publication number
- CN106485984A CN106485984A CN201510535952.8A CN201510535952A CN106485984A CN 106485984 A CN106485984 A CN 106485984A CN 201510535952 A CN201510535952 A CN 201510535952A CN 106485984 A CN106485984 A CN 106485984A
- Authority
- CN
- China
- Prior art keywords
- note
- chinese operas
- music score
- numeric
- playing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
- G09B15/02—Boards or like means for providing an indication of notes
- G09B15/023—Electrically operated
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
- G09B15/02—Boards or like means for providing an indication of notes
- G09B15/04—Boards or like means for providing an indication of notes with sound emitters
Abstract
本发明公开了一种钢琴的智能教学方法和装置，以解决现有的钢琴智能教学功能单一，局限性大的问题。该方法为，用户通过钢琴进行演奏时，获取用户演奏时的演奏曲谱和所述钢琴输出的乐曲文件；对用户演奏时的演奏曲谱进行谱线和音符处理，将演奏曲谱的格式转换为预设的数字音乐格式，将转换成预设的数字音乐格式的演奏曲谱作为标准匹配样本；将钢琴输出的乐曲文件转换为预设的数字音乐格式后与标准匹配样本进行比对处理得到演奏分析结果，并将该演奏分析结果进行输出，这样通过对用户演奏的乐曲文件进行智能演奏评估，全面准确地实现了高度拟人化的钢琴教学功能。
Description
技术领域
本发明涉及钢琴应用系统领域，尤其涉及一种钢琴的智能教学方法和装置。
背景技术
传统钢琴教学过程中，一般是老师对学生进行一对一教学，一对一指导，老师需要时刻关注学生的指法，效率较低，同时学生在完成钢琴教学时也需要付出相应的财力，因此传统钢琴教学过程中很难实现方便快捷且成本较低的授课指导。
目前已有的申请号为200810038874.0(名称为基于计算机语音识别技术的乐器弹奏跟练方法)的发明专利中，基于计算机语音技术，把曲谱显示在计算机屏幕上，乐曲划分为乐句、单行、小节等片段，学生向计算机发送语音指令，计算机识别指令来进行跟练。此专利需要学生主动来发送指令，而且也不能对学生的演奏水平来来进行评估，还不能真正实现全方位的教学。
而申请号为CN201310454365.7(名称为一种用于智能电钢琴的演奏评价器)的发明专利中，公开了一种用于智能电钢琴的演奏评价器，通过程序构建在智能电钢琴的主控制器中，演奏评价器接收智能电钢琴主控制器中乐曲文件解析器输出的MIDI事件作为参考事件，以及接收智能电钢琴主控制器中MIDI音序器输出的MIDI事件作为输入事件，通过将输入事件与参考事件进行比对，从而对用户的演奏进行评估。但是该专利中进行教学的钢琴限制为指定的电钢琴，局限了学生演奏乐器的选择。
由此可知，目前的钢琴智能教学功能较为单一，且局限性较大，也没有形成一个综合的真正智能的教学系统。
发明内容
本发明的目的是提供一种钢琴的智能教学方法和装置，以解决现有的钢琴智能教学功能单一，局限性大的问题。
本发明的目的是通过以下技术方案实现的：
一种钢琴的智能教学方法，包括：
用户通过钢琴进行演奏时，获取用户演奏时的演奏曲谱和所述钢琴输出的乐曲文件；
对用户演奏时的演奏曲谱进行谱线和音符处理，将所述演奏曲谱的格式转换为预设的数字音乐格式，将转换成预设的数字音乐格式的演奏曲谱作为标准匹配样本；
将所述钢琴输出的乐曲文件转换为预设的数字音乐格式后与所述标准匹配样本进行比对处理得到演奏分析结果，并将所述演奏分析结果进行输出。
这样通过对用户演奏的乐曲文件进行智能演奏评估，全面准确地实现了高度拟人化的钢琴教学功能。
可选的，进一步包括：
用户通过钢琴进行演奏时，获取用户演奏时的身体姿态，对用户演奏时的身体姿态进行识别和分析得到身体姿态分析结果，并将所述身体姿态分析结果进行输出。
可选的，用户通过钢琴进行演奏时，获取用户演奏时的身体姿态，对用户演奏时的身体姿态进行识别和分析得到身体姿态分析结果，具体包括：
用户通过钢琴进行演奏时，获取用户演奏时的手型和坐姿；
针对用户演奏时的手型进行手背、手指和各关节的定点识别得到手型的定点轮廓图，将手型的定点轮廓图与预存的正确手型样本库和错误手型样本库进行比对，得到手型正确概率和手型错误概率，基于所述手型错误概率与对应的错误手型样本得到手型分析结果；
针对用户演奏时的坐姿进行大臂、小臂、后背、大腿和小腿的线条识别，基于大臂、小臂、后背、大腿和小腿的线条，检测大臂与小臂的方向和夹角、大腿与小腿的方向和夹角以及后背的方向和夹角中的一种或任意种组合是否符合预设条件，若是，得到坐姿的分析结果为正确；否则，根据不符合预设条件的坐姿类型，确定坐姿的坐姿错误类型，得到坐姿的分析结果；
将得到的手型分析结果和坐姿的分析结果作为身体姿态分析结果。
这样，能够实时监测用户演奏时的手型坐姿，具有高度拟人化的教学体验。
可选的，对用户演奏时的演奏曲谱进行谱线和音符处理之前，进一步包括：
对用户演奏时的演奏曲谱进行平滑去噪和二值化处理。
可选的，对用户演奏时的演奏曲谱进行谱线和音符处理，将所述演奏曲谱的格式转换为预设的数字音乐格式，将转换成预设的数字音乐格式的演奏曲谱作为标准匹配样本，具体包括：
若用户演奏时的演奏曲谱类型为五线谱时，对用户演奏时的演奏曲谱通过判断每一个音符与五线谱的相对位置得到每一个音符的音名和音程，并将每一个音符的音名和音程转换为对应的音高频率；
对用户演奏时的演奏曲谱进行谱线识别并去除谱线后，对去掉谱线的演奏曲谱进行音符切分，针对切分的每一个音符通过与各音符模板匹配，得到每一个音符的音符类别，基于每一个音符的音符类别确定每一个音符的时长；
将每一个音符的音高频率和时长进行对应后，将每一个音符串联生成音高频率和时长相对应的数字音乐格式的演奏曲谱，将转换成音高频率和时长相对应的数字音乐格式的演奏曲谱作为标准匹配样本。
可选的，对用户演奏时的演奏曲谱进行谱线识别并去除谱线后，对去掉谱线的演奏曲谱进行音符切分，针对切分的每一个音符通过与各音符模板匹配，得到每一个音符的音符类别，基于每一个音符的音符类别确定每一个音符的时长，具体包括：
对用户演奏时的演奏曲谱进行谱线识别并去除谱线后，对去掉谱线的演奏曲谱进行音符切分，针对切分的每一个音符确定自身的像素矩阵X(i)，分别计算X(i)与各音符模板中每一个音符模板的像素矩阵Y(j)的相关系数，将相关系数最大的音符模板的音符类别作为所述一个音符的音符类别，所述音符类别包括全音符、二分音符、四分音符、八分音符和十六分音符；
若确定切分的一个音符的音符类别为全音符或二分音符时，根据所述一个音符的音符类别确定所述一个音符的时长；否则，对切分的一个音符进行符梁提取，得到所述一个音符的浮梁提取结果，根据所述一个音符的浮梁提取结果和预存的浮梁与音符类别的对应关系，确定所述一个音符的音符类别，根据所述一个音符的音符类别确定所述一个音符的时长。
可选的，对用户演奏时的演奏曲谱进行谱线和音符处理，将所述演奏曲谱的格式转换为预设的数字音乐格式，将转换成预设的数字音乐格式的演奏曲谱作为标准匹配样本，具体包括：
若用户演奏时的演奏曲谱类型为简谱时，对用户演奏时的演奏曲谱进行数字文本识别后，对识别的演奏曲谱进行变换直线检测，检测每一个数字音符的延时线和减时线，确定每一个数字音符对应的音长；
对识别的演奏曲谱进行数字音符切分，针对切分的每一个数字音符通过与各数字音符模板匹配，得到每一个数字音符的数字类别，将每一个数字音符的数字类别转换为相应的音名，并针对切分的每一个数字音符上方或下方的点进行检测，确定每一个数字音符的所在的音程，将每一个数字音符的音名和音程转换为对应的音高频率；
将每一个数字音符的音高频率和时长进行对应后，将每一个数字音符串联生成音高频率和时长相对应的数字音乐格式的演奏曲谱，将转换成音高频率和时长相对应的数字音乐格式的演奏曲谱作为标准匹配样本。
可选的，对识别的的演奏曲谱进行数字音符切分，针对切分的每一个数字音符通过与各数字音符模板匹配，得到每一个数字音符的数字类别，将每一个数字音符的数字类别转换为相应的音名，具体包括：
对识别的的演奏曲谱进行数字音符切分，针对切分的每一个数字音符确定自身的像素矩阵X(i)，分别计算X(i)与各数字音符模板中每一个数字音符模板的像素矩阵Y(j)的相关系数，将相关系数最大的数字音符模板的数字类别作为所述一个数字音符的数字类别，所述数字音符的数字类别包括1、2、3、4、5、6、7；
基于数字音符的数字类别与音名的对应关系，将每一个数字音符的数字类别转换为相应的音名。
可选的，将所述钢琴输出的乐曲文件转换为预设的数字音乐格式后与所述标准匹配样本进行比对处理得到演奏分析结果，具体包括：
对所述钢琴输出的乐曲文件进行语音去噪后，对获得的乐曲文件进行音高频率识别和对应的时长切分，将所述乐曲文件的格式转换为音高频率和时长相对应的数字音乐格式；
将转换成音高频率和时长相对应的数字音乐格式的乐曲文件与所述标准匹配样本进行比对处理，得到钢琴输出的乐曲文件的节奏错误参数和音准错误参数，基于所述节奏错误参数和音准错误参数，利用预设的演奏分析规则得到演奏分析结果。
一种钢琴的智能教学装置，包括：
获取模块，用于在用户通过钢琴进行演奏时，获取用户演奏时的演奏曲谱和所述钢琴输出的乐曲文件；
处理模块，用于对用户演奏时的演奏曲谱进行谱线和音符处理，将所述演奏曲谱的格式转换为预设的数字音乐格式，将转换成预设的数字音乐格式的演奏曲谱作为标准匹配样本；
分析模块，用于将所述钢琴输出的乐曲文件转换为预设的数字音乐格式后与所述标准匹配样本进行比对处理得到演奏分析结果，并将所述演奏分析结果进行输出。
这样通过对用户演奏的乐曲文件进行智能演奏评估，全面准确地实现了高度拟人化的钢琴教学功能。
可选的，所述获取模块进一步用于：
在用户通过钢琴进行演奏时，获取用户演奏时的身体姿态，对用户演奏时的身体姿态进行识别和分析得到身体姿态分析结果，并将所述身体姿态分析结果进行输出。
可选的，用户通过钢琴进行演奏时，获取用户演奏时的身体姿态，对用户演奏时的身体姿态进行识别和分析得到身体姿态分析结果时，所述获取模块具体用于：
在用户通过钢琴进行演奏时，获取用户演奏时的手型和坐姿；
针对用户演奏时的手型进行手背、手指和各关节的定点识别得到手型的定点轮廓图，将手型的定点轮廓图与预存的正确手型样本库和错误手型样本库进行比对，得到手型正确概率和手型错误概率，基于所述手型错误概率与对应的错误手型样本得到手型分析结果；
针对用户演奏时的坐姿进行大臂、小臂、后背、大腿和小腿的线条识别，基于大臂、小臂、后背、大腿和小腿的线条，检测大臂与小臂的方向和夹角、大腿与小腿的方向和夹角以及后背的方向和夹角中的一种或任意种组合是否符合预设条件，若是，得到坐姿的分析结果为正确；否则，根据不符合预设条件的坐姿类型，确定坐姿的坐姿错误类型，得到坐姿的分析结果；
将得到的手型分析结果和坐姿的分析结果作为身体姿态分析结果。
这样，能够实时监测用户演奏时的手型坐姿，具有高度拟人化的教学体验。
可选的，对用户演奏时的演奏曲谱进行谱线和音符处理之前，所述处理模块进一步用于：
对用户演奏时的演奏曲谱进行平滑去噪和二值化处理。
可选的，对用户演奏时的演奏曲谱进行谱线和音符处理，将所述演奏曲谱的格式转换为预设的数字音乐格式，将转换成预设的数字音乐格式的演奏曲谱作为标准匹配样本时，所述处理模块具体用于：
若用户演奏时的演奏曲谱类型为五线谱时，对用户演奏时的演奏曲谱通过判断每一个音符与五线谱的相对位置得到每一个音符的音名和音程，并将每一个音符的音名和音程转换为对应的音高频率；
对用户演奏时的演奏曲谱进行谱线识别并去除谱线后，对去掉谱线的演奏曲谱进行音符切分，针对切分的每一个音符通过与各音符模板匹配，得到每一个音符的音符类别，基于每一个音符的音符类别确定每一个音符的时长；
将每一个音符的音高频率和时长进行对应后，将每一个音符串联生成音高频率和时长相对应的数字音乐格式的演奏曲谱，将转换成音高频率和时长相对应的数字音乐格式的演奏曲谱作为标准匹配样本。
可选的，对用户演奏时的演奏曲谱进行谱线识别并去除谱线后，对去掉谱线的演奏曲谱进行音符切分，针对切分的每一个音符通过与各音符模板匹配，得到每一个音符的音符类别，基于每一个音符的音符类别确定每一个音符的时长时，所述处理模块具体用于：
对用户演奏时的演奏曲谱进行谱线识别并去除谱线后，对去掉谱线的演奏曲谱进行音符切分，针对切分的每一个音符确定自身的像素矩阵X(i)，分别计算X(i)与各音符模板中每一个音符模板的像素矩阵Y(j)的相关系数，将相关系数最大的音符模板的音符类别作为所述一个音符的音符类别，所述音符类别包括全音符、二分音符、四分音符、八分音符和十六分音符；
若确定切分的一个音符的音符类别为全音符或二分音符时，根据所述一个音符的音符类别确定所述一个音符的时长；否则，对切分的一个音符进行符梁提取，得到所述一个音符的浮梁提取结果，根据所述一个音符的浮梁提取结果和预存的浮梁与音符类别的对应关系，确定所述一个音符的音符类别，根据所述一个音符的音符类别确定所述一个音符的时长。
可选的，对用户演奏时的演奏曲谱进行谱线和音符处理，将所述演奏曲谱的格式转换为预设的数字音乐格式，将转换成预设的数字音乐格式的演奏曲谱作为标准匹配样本时，所述处理模块具体用于：
若用户演奏时的演奏曲谱类型为简谱时，对用户演奏时的演奏曲谱进行数字文本识别后，对识别的演奏曲谱进行变换直线检测，检测每一个数字音符的延时线和减时线，确定每一个数字音符对应的音长；
对识别的演奏曲谱进行数字音符切分，针对切分的每一个数字音符通过与各数字音符模板匹配，得到每一个数字音符的数字类别，将每一个数字音符的数字类别转换为相应的音名，并针对切分的每一个数字音符上方或下方的点进行检测，确定每一个数字音符的所在的音程，将每一个数字音符的音名和音程转换为对应的音高频率；
将每一个数字音符的音高频率和时长进行对应后，将每一个数字音符串联生成音高频率和时长相对应的数字音乐格式的演奏曲谱，将转换成音高频率和时长相对应的数字音乐格式的演奏曲谱作为标准匹配样本。
可选的，对识别的的演奏曲谱进行数字音符切分，针对切分的每一个数字音符通过与各数字音符模板匹配，得到每一个数字音符的数字类别，将每一个数字音符的数字类别转换为相应的音名时，所述处理模块具体用于：
对识别的的演奏曲谱进行数字音符切分，针对切分的每一个数字音符确定自身的像素矩阵X(i)，分别计算X(i)与各数字音符模板中每一个数字音符模板的像素矩阵Y(j)的相关系数，将相关系数最大的数字音符模板的数字类别作为所述一个数字音符的数字类别，所述数字音符的数字类别包括10、2、3、4、5、6、7；
基于数字音符的数字类别与音名的对应关系，将每一个数字音符的数字类别转换为相应的音名。
可选的，将所述钢琴输出的乐曲文件转换为预设的数字音乐格式后与所述标准匹配样本进行比对处理得到演奏分析结果时，所述分析模块具体用于：
对所述钢琴输出的乐曲文件进行语音去噪后，对获得的乐曲文件进行音高频率识别和对应的时长切分，将所述乐曲文件的格式转换为音高频率和时长相对应的数字音乐格式；
将转换成音高频率和时长相对应的数字音乐格式的乐曲文件与所述标准匹配样本进行比对处理，得到钢琴输出的乐曲文件的节奏错误参数和音准错误参数，基于所述节奏错误参数和音准错误参数，利用预设的演奏分析规则得到演奏分析结果。
附图说明
图1为本发明实施例中钢琴的智能教学方法流程示意图；
图2为本发明实施例中对用户演奏时的手型进行定点识别得到的手型的定点轮廓图；
图3为本发明实施例中对用户演奏时的坐姿进行定点识别得到的坐姿的关节点示意图；
图4为本发明实施例中对用户演奏时的五线谱进行预处理后的曲谱示意图；
图5为对图4中的曲谱去除掉五线谱后的曲谱示意图；
图6为对图5中的曲谱进行音符切分的示意图；
图7对图4的演奏曲谱进行符梁提取后的示意图；
图8为本发明实施例中钢琴的智能教学装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中提供一种钢琴的智能教学方案，能够针对用户演奏的乐曲文件进行评价，实时模拟钢琴老师的功能，此外本方案充分利用了智能终端(包括手机、电脑等)平台的语音和图像硬件，整合了图像、语音、上网数据等多模式的识别，并对识别到信息做综合分析，给出全面的评价；此外，根据对用户的分析和记录，能够为用户提供个性化的曲目推荐，帮助用户制定科学的练习计划和指导。
参阅图1所示，本发明实施例中提供一种钢琴的智能教学方法，具体流程如下所示：
步骤100：用户通过钢琴进行演奏时，获取用户演奏时的演奏曲谱和钢琴输出的乐曲文件。
例如，调用系统前置摄像头对用户演奏时的演奏曲谱进行拍照采集，获取用户演奏时的演奏曲谱，调用系统声音采集装置(例如话筒)获取钢琴输出的乐曲文件。
进一步的，用户通过钢琴进行演奏时，获取用户演奏时的身体姿态，对用户演奏时的身体姿态进行识别和分析得到身体姿态分析结果，并将该身体姿态分析结果进行输出。
具体的，用户通过钢琴进行演奏时，获取用户演奏时的身体姿态，对用户演奏时的身体姿态进行识别和分析时，包括用户演奏时的手型和坐姿的识别和分析。
其中，在对用户演奏时的手型进行识别和分析时，对用户演奏时的手型进行手背、手指和各关节的定点识别得到手型的定点轮廓图，将手型的定点轮廓图与预存的正确手型样本库和错误手型样本库进行比对，得到手型正确概率和手型错误概率，基于手型错误概率与对应的错误手型样本得到手型分析结果。
具体的，对手型进行识别和分析的过程大致分为三个阶段，即通过系统前置摄像头采集用户演奏时的手型图像，对采集到的手型图像经过图像预处理、图像特征提取部分和图像识别分析这三个阶段的处理得到用户演奏时的手型分析结果。
一，图像预处理阶段，将采集到的手型图像进行标准化处理，具体的，将其大小标准化为规定大小，将其格式标准化为bmp格式灰度图，然后采用局部平均法对标准化后的图像进行平滑去噪，再对平滑去噪后的图像采用拉普拉斯算子进行锐化，接着对锐化后的图像采用最大方差法进行二值化，最后用八方向邻域搜索法对二值化图像做轮廓提取，对用户演奏时的手型进行手背、手指和各关节的定点识别得到手型的定点轮廓图，具体如图2所示。
二，图像特征提取阶段，应用几何矩和Canny边缘检测结合的特征，提取定点轮廓图的几何矩特征，形成几何矩特征向量，在灰度图基础上直接检测定点轮廓图的边缘，利用直方图表示定点轮廓图的边界方向特征，并得到定点轮廓图的边界方向特征向量。最后，通过设定边界方向特征向量和几何矩特征向量的权重得到一组融合特征向量。
三，图像识别分析阶段，将手型的融合特征向量，通过与预存的正、负手型样本库进行图像间的距离计算，将距离小于预设值的定义为匹配成功，得到手型正确与否的概率，若手型错误，根据匹配成功的负手型样本得到手型的错误类型。
其中，在对用户演奏时的坐姿进行识别分析时，对用户演奏时的坐姿进行大臂、小臂、后背、大腿和小腿的线条识别，基于大臂、小臂、后背、大腿和小腿的线条，检测大臂与小臂的方向和夹角、大腿与小腿的方向和夹角以及后背的方向和夹角中的一种或任意种组合是否符合预设条件，若是，得到坐姿的分析结果为正确；否则，根据不符合预设条件的坐姿类型，确定坐姿的坐姿错误类型，得到坐姿的分析结果。
由于人体姿势可定义为某一时刻身体关节点之间的相对位置。如果得到关节点的位置信息，那么关节点之间的相对位置就确定，但由于不同人的体型存在差异，原始坐标数据过于粗糙，所以采用关节角度描述身体坐姿特征，具体过程如下：
一，人体区域分割，对用户演奏时的坐姿进行拍照采集，判断坐姿图像上的每个像素是否属于某一个用户，具体的，可利用背景差的方法过滤背景像素。
二，人体部位识别，利用区域的形状特征从人体区域中识别出不同部位，例如头部、躯干、四肢等肢体。
三，关节定位，对用户演奏时的坐姿，从人体部位中定位8个关节点(头部1个、颈部1个、脊椎2个、手臂2个、腿部2个)，具体如图3所示。
四，计算关节点之间的连线的方向和夹角，夹角需要满足指定条件(如图3中，要求∠BCD>120°，80°<∠BEF<120°，80°<∠DGH<120°)，若不满足条件则为错误坐姿，根据错误的坐姿类型提出改进意见。
最后，将得到的手型分析结果和坐姿的分析结果作为身体姿态分析结果。
步骤101：对用户演奏时的演奏曲谱进行谱线和音符处理，将该演奏曲谱的格式转换为预设的数字音乐格式，将转换成预设的数字音乐格式的演奏曲谱作为标准匹配样本。
进一步的，对用户演奏时的演奏曲谱进行谱线和音符处理之前，需要对用户演奏时的演奏曲谱进行平滑去噪和二值化处理得到预处理后的演奏曲谱。
例如，对用户演奏时的演奏曲谱(五线谱)进行拍照，通过将扫描的图像进行平滑去噪、二值化处理得到预处理后的演奏曲谱，如图4所示。
对用户演奏时的演奏曲谱进行谱线和音符处理，将该演奏曲谱的格式转换为预设的数字音乐格式，将转换成预设的数字音乐格式的演奏曲谱作为标准匹配样本，具体过程为：
步骤一，若用户演奏时的演奏曲谱类型为五线谱时，对用户演奏时的演奏曲谱通过判断每一个音符与五线谱的相对位置得到每一个音符的音名和音程，并将每一个音符的音名和音程转换为对应的音高频率。
步骤二，对用户演奏时的演奏曲谱进行谱线识别并去除谱线后，对去掉谱线的演奏曲谱进行音符切分，针对切分的每一个音符通过与各音符模板匹配，得到每一个音符的音符类别，基于每一个音符的音符类别确定每一个音符的时长；
步骤三，将每一个音符的音高频率和时长进行对应后，将每一个音符串联生成音高频率和时长相对应的数字音乐格式的演奏曲谱，将转换成音高频率和时长相对应的数字音乐格式的演奏曲谱作为标准匹配样本。
具体的，上述步骤二中，对用户演奏时的演奏曲谱进行谱线识别并去除谱线后，对去掉谱线的演奏曲谱进行音符切分，针对切分的每一个音符通过与各音符模板匹配，得到每一个音符的音符类别，基于每一个音符的音符类别确定每一个音符的时长，具体过程为：
对用户演奏时的演奏曲谱进行谱线识别并去除谱线后，对去掉谱线的演奏曲谱进行音符切分，针对切分的每一个音符确定自身的像素矩阵X(i)，分别计算X(i)与各音符模板中每一个音符模板的像素矩阵Y(j)的相关系数，将相关系数最大的音符模板的音符类别作为该一个音符的音符类别，该音符类别包括全音符、二分音符、四分音符、八分音符和十六分音符；
若确定切分的一个音符的音符类别为全音符或二分音符时，根据该一个音符的音符类别确定该一个音符的时长；否则，对切分的一个音符进行符梁提取，得到该一个音符的浮梁提取结果，根据该一个音符的浮梁提取结果和预存的浮梁与音符类别的对应关系，确定该一个音符的音符类别，根据该一个音符的音符类别确定该一个音符的时长。
例如，通过对图4中的演奏曲谱通过判断每一个音符与五线谱的相对位置得到每一个音符的音名和音程，通过查询现有的音阶频率表，将每一个音符的音名和音程转换为对应的音高频率。对图4中的演奏曲谱去除谱线后如图5所示，对去掉谱线的演奏曲谱进行音符切分，音符切分后如图6所示，针对切分的每一个音符确定自身的像素矩阵，用二维FFT算法对其进行处理得到每一个音符的变换，然后用二维FFT算法对每个音符模板进行处理，并取共轭得到每个音符模板的变换矩阵，将每个音符的变换矩阵依次与每个模板的变换矩阵相乘，对结果进行IFFT变换，并做归一化处理，得到相关系数矩阵，基于相关系数矩阵得到每个音符与每个音符模板的相关系数，将相关系数最大的音符模板的音符类别作为该音符的音符类别，音符类别包括全音符、二分音符、四分音符、八分音符和十六分音符，进一步的，若一个音符的音符类别不是全音符或二分音符时，对图4的演奏曲谱进行hough变换直线检测进行符梁提取，具体如图7所示，基于该一个音符的浮梁提取结果和预存的浮梁与音符类别的对应关系，确定该一个音符的音符类别，根据该一个音符的音符类别确定该一个音符的时长，将每一个音符的音高频率和时长进行对应后，将每一个音符串联生成预设的数字音乐格式的演奏曲谱，具体格式如表1所示。
表1(标准匹配样本)
| 频率 | 326.63 | 392.00 | 493.88 | 392.00 | 440.00 | 392.00 |
| 时长 | 8 | 8 | 8 | 8 | 4 | 4 |
进一步的，本发明实施例中的演奏曲谱类型也可以为简谱，具体识别过程为：
步骤一，若用户演奏时的演奏曲谱类型为简谱时，对用户演奏时的演奏曲谱进行数字文本识别后，对识别的演奏曲谱进行变换直线检测，检测每一个数字音符的延时线和减时线，确定每一个数字音符对应的音长。
步骤二，对识别的演奏曲谱进行数字音符切分，针对切分的每一个数字音符通过与各数字音符模板匹配，得到每一个数字音符的数字类别，将每一个数字音符的数字类别转换为相应的音名，并针对切分的每一个数字音符上方或下方的点进行检测，确定每一个数字音符的所在的音程，将每一个数字音符的音名和音程转换为对应的音高频率。
步骤三，将每一个数字音符的音高频率和时长进行对应后，将每一个数字音符串联生成音高频率和时长相对应的数字音乐格式的演奏曲谱，将转换成音高频率和时长相对应的数字音乐格式的演奏曲谱作为标准匹配样本。
具体的，上述步骤二中，对识别的的演奏曲谱进行数字音符切分，针对切分的每一个数字音符通过与各数字音符模板匹配，得到每一个数字音符的数字类别，将每一个数字音符的数字类别转换为相应的音名，具体过程为：
对识别的的演奏曲谱进行数字音符切分，针对切分的每一个数字音符确定自身的像素矩阵X(i)，分别计算X(i)与各数字音符模板中每一个数字音符模板的像素矩阵Y(j)的相关系数，将相关系数最大的数字音符模板的数字类别作为所述一个数字音符的数字类别，所述数字音符的数字类别包括1、2、3、4、5、6、7；
基于数字音符的数字类别与音名的对应关系，将每一个数字音符的数字类别转换为相应的音名。
其中，数字音符中的数字类别1、2、3、4、5、6、7，分别对应C、D、E、F、G、A、B的音名，音名和音程通过音阶频率表映射，得到音高频率。
此外，根据用户的演奏习惯，进行演奏时可以根据实际情形来选择演奏曲谱的类型，五线谱和简谱之间，通过数字音乐格式作为连接，五线谱可转换为数字音乐格式，进而转换为简谱；简谱可转换为数字音乐格式，进而转换为五线谱。五线谱和简谱之间的自动进行转换，以方便没有经过基础训练的成年人快速练习。五线谱和数字音乐格式的频率时长对是一一对应关系，简谱和数字音乐格式的频率时长对也是一一对应关系，五线谱和简谱之间可以通过数字音乐格式的频率时长对作为桥梁，互相转换。
步骤102：对钢琴输出的乐曲文件进行音符处理，将该乐曲文件转换为预设的数字音乐格式后与上述标准匹配样本进行比对处理得到演奏分析结果，并将演奏分析结果进行输出。
具体的，将钢琴输出的乐曲文件转换为预设的数字音乐格式后与上述标准匹配样本进行比对处理得到演奏分析结果，具体过称为：对钢琴输出的乐曲文件进行语音去噪后，对获得的乐曲文件进行音高频率识别和对应的时长切分，将该乐曲文件的格式转换为音高频率和时长相对应的数字音乐格式；将转换成音高频率和时长相对应的数字音乐格式的乐曲文件与上述标准匹配样本进行比对处理，得到钢琴输出的乐曲文件的节奏错误参数和音准错误参数，基于该节奏错误参数和音准错误参数，利用预设的演奏分析规则得到演奏分析结果。
根据五线谱或者简谱得到的数字音乐格式，将频率和时长作为标准匹配样本。根据练习者的弹奏，进行语音去噪、频率识别、时长切分，与标准匹配样本中演奏曲谱的音高频率与时长，进行比对，判断节奏、音准是否标准，并提出相应的改进意见，根据节奏音准可给出综合评价分，得到演奏分析结果。当练习者的演奏达到预定的水平后，方可进入下一乐句练习。举例如下：上述表1为演奏曲谱的标准匹配样本，表2为钢琴第一次输出的乐曲文件，即演奏者样本1，表3为钢琴第二次输出的乐曲文件，即演奏者样本2
表2(演奏者样本1)
| 频率 | 326.63 | 392.00 | 493.88 | 440.00 | 440.00 | 392.00 |
| 时长 | 8 | 8 | 8 | 8 | 4 | 4 |
表3(演奏者样本2)
| 频率 | 326.63 | 392.00 | 493.88 | 392.00 | 440.00 | 392.00 |
| 时长 | 8 | 8 | 8 | 8 | 8 | 4 |
将表2、表3分别与表1进行比对，得出第一次演奏的乐曲文件存在音准错误，第二次演奏的乐曲文件存在节奏错误。
这样就能够智能识别需加强练习的乐句，演奏者整体弹奏下来后，练习者仍有部分乐句掌握的不太好。基于每个乐句多次打分情况，向练习者推荐需要加强练习的乐句，并提出需要注意的事项，如节奏不稳、轻重控制不好、有错音等，以便演奏者精益求精。
例如，针对上述表1中的演奏曲谱的标准匹配样本，通过每次演奏比对，得到的音准错误统计情形和节奏错误统计情形如表4所示，利用预设的演奏分析规则得到演奏分析结果时，采用如下演奏分析规则：
S1＝(1/A1)*(1/8)+(1/A2)*(1/2)+(1/A3)*(3/8)
S2＝(1/B1)*(1/8)+(1/B2)*(1/2)+(1/B3)*(3/8)
S＝S1+S2
表4
| 乐句 | 乐句1 | 乐句2 | 乐句3 |
| 音准错误总个数A1 | 8 | 6 | 3 |
| 音准错误近3遍个数A2 | 2 | 1 | 0 |
| 音准错误每遍平均个数A3 | 2 | 1.5 | 0.6 |
| 音准分数S1 | 0.453 | 0.771 | 1 |
| 节奏错误总个数B1 | 5 | 10 | 3 |
| 节奏错误近3遍个数B2 | 1 | 3 | 0 |
| 节奏错误每遍平均个数B3 | 1.25 | 2.5 | 0.6 |
| 节奏分数S2 | 0.825 | 0.329 | 1 |
| 综合评分 | 1.278 | 1.1 | 2 |
通过得到的表4中的演奏分析结果可知，以上可知，乐句1的音准较差，乐句2的节奏较差，乐句3练习较好，需要加强乐句1和乐句2的练习。
进一步的，基于演奏者的多次演奏分析结果和演奏者的爱好习惯，本发明实施例中还能向演奏者提供基于演奏提高的练习曲推荐和基于喜好的乐曲推荐。
基于演奏提高的练习曲推荐，即，根据演奏者的练习记录进行分析，挖掘演奏者的技能弱点，如节奏控制不好、和弦弹奏不稳定、换指不灵活等问题。同时建立练习曲库，每首曲子打上相应的侧重点标签如“节奏练习”、“和弦练习”、“换指练习”等。根据演奏者自身的演奏缺点，从练习曲库中选择适合练习者练习的曲目，从而帮助练习者突破自身的技能弱点，进行专项有针对性的提高。
基于喜好的乐曲推荐，即，从演奏者平时使用手机或者平板的上网行为中挖掘出练习者的内容偏好。
1)要建立用户音乐爱好标签库，建立的标签体系，需要分多个维度(如按心情、按曲目、按音乐家、按歌手、按影视剧等等)、多个级别的标签体系。
2)建立标签对应的url库，即建立标签与主流网站的标签的映射，根据映射关系，抓取主流网站的url。
3)建立标签对应的关键词库，即通过映射得到的网站url中抽取关键词，加入标签对应的关键词库，同时结合人工筛选添加删除，完善关键词库。
4)建立标签对应的曲谱库，自动抓取每个标签下对应的音乐的谱子，也可根据音乐的旋律进行语音识别，得到数字格式的音乐，再自动转换为五线谱。
5)进行练习者标签判断：根据手机或平板的上网记录，分析url和关键词，与库中的url和关键词进行匹配，为用户打上内容偏好标签。匹配的流程如下：一，首先分析网站域名,如music.baidu.com；二，在不同域名下寻找相应的网址分析规则，例如百度的url http://music.baidu.com/song/1990280？fm＝altg1，则规则为“song/”后面“？”前面的字符串为音乐的唯一标识ID，提取该ID；三，ID与库中规则进行匹配，在每个标签下music.baidu.com的规则下有相应的音乐ID集，用当前ID与库中的ID进行匹配，得到该ID对应的标签。例如用户近期上网url中有百度MP3下的贝多芬分类下的10个url，则可为此用户打标签“贝多芬”；四，根据练习者的爱好标签，推荐标签下对应的曲目。例如，用户的标签是“贝多芬”，而贝多芬标签下有来自百度MP3\Sound Cloud等众多音乐网站的链接url音乐集，则可据此为用户推荐库中的曲目。
基于上述实施例，参阅图8所示，本发明实施例中还提供一种钢琴的智能教学装置，包括：获取模块80、处理模块81和分析模块82，其中：
获取模块80，用于在用户通过钢琴进行演奏时，获取用户演奏时的演奏曲谱和所述钢琴输出的乐曲文件；
处理模块81，用于对用户演奏时的演奏曲谱进行谱线和音符处理，将所述演奏曲谱的格式转换为预设的数字音乐格式，将转换成预设的数字音乐格式的演奏曲谱作为标准匹配样本；
分析模块82，用于将所述钢琴输出的乐曲文件转换为预设的数字音乐格式后与所述标准匹配样本进行比对处理得到演奏分析结果，并将所述演奏分析结果进行输出。
可选的，所述获取模块80进一步用于：
在用户通过钢琴进行演奏时，获取用户演奏时的身体姿态，对用户演奏时的身体姿态进行识别和分析得到身体姿态分析结果，并将所述身体姿态分析结果进行输出。
可选的，用户通过钢琴进行演奏时，获取用户演奏时的身体姿态，对用户演奏时的身体姿态进行识别和分析得到身体姿态分析结果时，所述获取模块80具体用于：
在用户通过钢琴进行演奏时，获取用户演奏时的手型和坐姿；
针对用户演奏时的手型进行手背、手指和各关节的定点识别得到手型的定点轮廓图，将手型的定点轮廓图与预存的正确手型样本库和错误手型样本库进行比对，得到手型正确概率和手型错误概率，基于所述手型错误概率与对应的错误手型样本得到手型分析结果；
针对用户演奏时的坐姿进行大臂、小臂、后背、大腿和小腿的线条识别，基于大臂、小臂、后背、大腿和小腿的线条，检测大臂与小臂的方向和夹角、大腿与小腿的方向和夹角以及后背的方向和夹角中的一种或任意种组合是否符合预设条件，若是，得到坐姿的分析结果为正确；否则，根据不符合预设条件的坐姿类型，确定坐姿的坐姿错误类型，得到坐姿的分析结果；
将得到的手型分析结果和坐姿的分析结果作为身体姿态分析结果。
可选的，对用户演奏时的演奏曲谱进行谱线和音符处理之前，所述处理模块81进一步用于：
对用户演奏时的演奏曲谱进行平滑去噪和二值化处理。
可选的，对用户演奏时的演奏曲谱进行谱线和音符处理，将所述演奏曲谱的格式转换为预设的数字音乐格式，将转换成预设的数字音乐格式的演奏曲谱作为标准匹配样本时，所述处理模块81具体用于：
若用户演奏时的演奏曲谱类型为五线谱时，对用户演奏时的演奏曲谱通过判断每一个音符与五线谱的相对位置得到每一个音符的音名和音程，并将每一个音符的音名和音程转换为对应的音高频率；
对用户演奏时的演奏曲谱进行谱线识别并去除谱线后，对去掉谱线的演奏曲谱进行音符切分，针对切分的每一个音符通过与各音符模板匹配，得到每一个音符的音符类别，基于每一个音符的音符类别确定每一个音符的时长；
将每一个音符的音高频率和时长进行对应后，将每一个音符串联生成音高频率和时长相对应的数字音乐格式的演奏曲谱，将转换成音高频率和时长相对应的数字音乐格式的演奏曲谱作为标准匹配样本。
可选的，对用户演奏时的演奏曲谱进行谱线识别并去除谱线后，对去掉谱线的演奏曲谱进行音符切分，针对切分的每一个音符通过与各音符模板匹配，得到每一个音符的音符类别，基于每一个音符的音符类别确定每一个音符的时长时，所述处理模块81具体用于：
对用户演奏时的演奏曲谱进行谱线识别并去除谱线后，对去掉谱线的演奏曲谱进行音符切分，针对切分的每一个音符确定自身的像素矩阵X(i)，分别计算X(i)与各音符模板中每一个音符模板的像素矩阵Y(j)的相关系数，将相关系数最大的音符模板的音符类别作为所述一个音符的音符类别，所述音符类别包括全音符、二分音符、四分音符、八分音符和十六分音符；
若确定切分的一个音符的音符类别为全音符或二分音符时，根据所述一个音符的音符类别确定所述一个音符的时长；否则，对切分的一个音符进行符梁提取，得到所述一个音符的浮梁提取结果，根据所述一个音符的浮梁提取结果和预存的浮梁与音符类别的对应关系，确定所述一个音符的音符类别，根据所述一个音符的音符类别确定所述一个音符的时长。
可选的，对用户演奏时的演奏曲谱进行谱线和音符处理，将所述演奏曲谱的格式转换为预设的数字音乐格式，将转换成预设的数字音乐格式的演奏曲谱作为标准匹配样本时，所述处理模块81具体用于：
若用户演奏时的演奏曲谱类型为简谱时，对用户演奏时的演奏曲谱进行数字文本识别后，对识别的演奏曲谱进行变换直线检测，检测每一个数字音符的延时线和减时线，确定每一个数字音符对应的音长；
对识别的演奏曲谱进行数字音符切分，针对切分的每一个数字音符通过与各数字音符模板匹配，得到每一个数字音符的数字类别，将每一个数字音符的数字类别转换为相应的音名，并针对切分的每一个数字音符上方或下方的点进行检测，确定每一个数字音符的所在的音程，将每一个数字音符的音名和音程转换为对应的音高频率；
将每一个数字音符的音高频率和时长进行对应后，将每一个数字音符串联生成音高频率和时长相对应的数字音乐格式的演奏曲谱，将转换成音高频率和时长相对应的数字音乐格式的演奏曲谱作为标准匹配样本。
可选的，对识别的的演奏曲谱进行数字音符切分，针对切分的每一个数字音符通过与各数字音符模板匹配，得到每一个数字音符的数字类别，将每一个数字音符的数字类别转换为相应的音名时，所述处理模块81具体用于：
对识别的的演奏曲谱进行数字音符切分，针对切分的每一个数字音符确定自身的像素矩阵X(i)，分别计算X(i)与各数字音符模板中每一个数字音符模板的像素矩阵Y(j)的相关系数，将相关系数最大的数字音符模板的数字类别作为所述一个数字音符的数字类别，所述数字音符的数字类别包括10、2、3、4、5、6、7；
基于数字音符的数字类别与音名的对应关系，将每一个数字音符的数字类别转换为相应的音名。
可选的，将所述钢琴输出的乐曲文件转换为预设的数字音乐格式后与所述标准匹配样本进行比对处理得到演奏分析结果时，所述分析模块82具体用于：
对所述钢琴输出的乐曲文件进行语音去噪后，对获得的乐曲文件进行音高频率识别和对应的时长切分，将所述乐曲文件的格式转换为音高频率和时长相对应的数字音乐格式；
将转换成音高频率和时长相对应的数字音乐格式的乐曲文件与所述标准匹配样本进行比对处理，得到钢琴输出的乐曲文件的节奏错误参数和音准错误参数，基于所述节奏错误参数和音准错误参数，利用预设的演奏分析规则得到演奏分析结果。
综上所述，本发明实施例中用户通过钢琴进行演奏时，获取用户演奏时的演奏曲谱和所述钢琴输出的乐曲文件；对用户演奏时的演奏曲谱进行谱线和音符处理，将演奏曲谱的格式转换为预设的数字音乐格式，将转换成预设的数字音乐格式的演奏曲谱作为标准匹配样本；将钢琴输出的乐曲文件转换为预设的数字音乐格式后与标准匹配样本进行比对处理得到演奏分析结果，并将该演奏分析结果进行输出，这样通过对用户演奏的乐曲文件进行智能演奏评估，全面准确地实现了高度拟人化的钢琴教学功能。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (18)
1.一种钢琴的智能教学方法，其特征在于，包括：
用户通过钢琴进行演奏时，获取用户演奏时的演奏曲谱和所述钢琴输出的乐曲文件；
对用户演奏时的演奏曲谱进行谱线和音符处理，将所述演奏曲谱的格式转换为预设的数字音乐格式，将转换成预设的数字音乐格式的演奏曲谱作为标准匹配样本；
将所述钢琴输出的乐曲文件转换为预设的数字音乐格式后与所述标准匹配样本进行比对处理得到演奏分析结果，并将所述演奏分析结果进行输出。
2.如权利要求1所述的方法，其特征在于，进一步包括：
用户通过钢琴进行演奏时，获取用户演奏时的身体姿态，对用户演奏时的身体姿态进行识别和分析得到身体姿态分析结果，并将所述身体姿态分析结果进行输出。
3.如权利要求2所述的方法，其特征在于，用户通过钢琴进行演奏时，获取用户演奏时的身体姿态，对用户演奏时的身体姿态进行识别和分析得到身体姿态分析结果，具体包括：
用户通过钢琴进行演奏时，获取用户演奏时的手型和坐姿；
针对用户演奏时的手型进行手背、手指和各关节的定点识别得到手型的定点轮廓图，将手型的定点轮廓图与预存的正确手型样本库和错误手型样本库进行比对，得到手型正确概率和手型错误概率，基于所述手型错误概率与对应的错误手型样本得到手型分析结果；
针对用户演奏时的坐姿进行大臂、小臂、后背、大腿和小腿的线条识别，基于大臂、小臂、后背、大腿和小腿的线条，检测大臂与小臂的方向和夹角、大腿与小腿的方向和夹角以及后背的方向和夹角中的一种或任意种组合是否符合预设条件，若是，得到坐姿的分析结果为正确；否则，根据不符合预设条件的坐姿类型，确定坐姿的坐姿错误类型，得到坐姿的分析结果；
将得到的手型分析结果和坐姿的分析结果作为身体姿态分析结果。
4.如权利要求1所述的方法，其特征在于，对用户演奏时的演奏曲谱进行谱线和音符处理之前，进一步包括：
对用户演奏时的演奏曲谱进行平滑去噪和二值化处理。
5.如权利要求1所述的方法，其特征在于，对用户演奏时的演奏曲谱进行谱线和音符处理，将所述演奏曲谱的格式转换为预设的数字音乐格式，将转换成预设的数字音乐格式的演奏曲谱作为标准匹配样本，具体包括：
若用户演奏时的演奏曲谱类型为五线谱时，对用户演奏时的演奏曲谱通过判断每一个音符与五线谱的相对位置得到每一个音符的音名和音程，并将每一个音符的音名和音程转换为对应的音高频率；
对用户演奏时的演奏曲谱进行谱线识别并去除谱线后，对去掉谱线的演奏曲谱进行音符切分，针对切分的每一个音符通过与各音符模板匹配，得到每一个音符的音符类别，基于每一个音符的音符类别确定每一个音符的时长；
将每一个音符的音高频率和时长进行对应后，将每一个音符串联生成音高频率和时长相对应的数字音乐格式的演奏曲谱，将转换成音高频率和时长相对应的数字音乐格式的演奏曲谱作为标准匹配样本。
6.如权利要求5所述的方法，其特征在于，对用户演奏时的演奏曲谱进行谱线识别并去除谱线后，对去掉谱线的演奏曲谱进行音符切分，针对切分的每一个音符通过与各音符模板匹配，得到每一个音符的音符类别，基于每一个音符的音符类别确定每一个音符的时长，具体包括：
对用户演奏时的演奏曲谱进行谱线识别并去除谱线后，对去掉谱线的演奏曲谱进行音符切分，针对切分的每一个音符确定自身的像素矩阵X(i)，分别计算X(i)与各音符模板中每一个音符模板的像素矩阵Y(j)的相关系数，将相关系数最大的音符模板的音符类别作为所述一个音符的音符类别，所述音符类别包括全音符、二分音符、四分音符、八分音符和十六分音符；
若确定切分的一个音符的音符类别为全音符或二分音符时，根据所述一个音符的音符类别确定所述一个音符的时长；否则，对切分的一个音符进行符梁提取，得到所述一个音符的浮梁提取结果，根据所述一个音符的浮梁提取结果和预存的浮梁与音符类别的对应关系，确定所述一个音符的音符类别，根据所述一个音符的音符类别确定所述一个音符的时长。
7.如权利要求1所述的方法，其特征在于，对用户演奏时的演奏曲谱进行谱线和音符处理，将所述演奏曲谱的格式转换为预设的数字音乐格式，将转换成预设的数字音乐格式的演奏曲谱作为标准匹配样本，具体包括：
若用户演奏时的演奏曲谱类型为简谱时，对用户演奏时的演奏曲谱进行数字文本识别后，对识别的演奏曲谱进行变换直线检测，检测每一个数字音符的延时线和减时线，确定每一个数字音符对应的音长；
对识别的演奏曲谱进行数字音符切分，针对切分的每一个数字音符通过与各数字音符模板匹配，得到每一个数字音符的数字类别，将每一个数字音符的数字类别转换为相应的音名，并针对切分的每一个数字音符上方或下方的点进行检测，确定每一个数字音符的所在的音程，将每一个数字音符的音名和音程转换为对应的音高频率；
将每一个数字音符的音高频率和时长进行对应后，将每一个数字音符串联生成音高频率和时长相对应的数字音乐格式的演奏曲谱，将转换成音高频率和时长相对应的数字音乐格式的演奏曲谱作为标准匹配样本。
8.如权利要求7所述的方法，其特征在于，对识别的的演奏曲谱进行数字音符切分，针对切分的每一个数字音符通过与各数字音符模板匹配，得到每一个数字音符的数字类别，将每一个数字音符的数字类别转换为相应的音名，具体包括：
对识别的的演奏曲谱进行数字音符切分，针对切分的每一个数字音符确定自身的像素矩阵X(i)，分别计算X(i)与各数字音符模板中每一个数字音符模板的像素矩阵Y(j)的相关系数，将相关系数最大的数字音符模板的数字类别作为所述一个数字音符的数字类别，所述数字音符的数字类别包括1、2、3、4、5、6、7；
基于数字音符的数字类别与音名的对应关系，将每一个数字音符的数字类别转换为相应的音名。
9.如权利要求1-8任一项所述的方法，其特征在于，将所述钢琴输出的乐曲文件转换为预设的数字音乐格式后与所述标准匹配样本进行比对处理得到演奏分析结果，具体包括：
对所述钢琴输出的乐曲文件进行语音去噪后，对获得的乐曲文件进行音高频率识别和对应的时长切分，将所述乐曲文件的格式转换为音高频率和时长相对应的数字音乐格式；
将转换成音高频率和时长相对应的数字音乐格式的乐曲文件与所述标准匹配样本进行比对处理，得到钢琴输出的乐曲文件的节奏错误参数和音准错误参数，基于所述节奏错误参数和音准错误参数，利用预设的演奏分析规则得到演奏分析结果。
10.一种钢琴的智能教学装置，其特征在于，包括：
获取模块，用于在用户通过钢琴进行演奏时，获取用户演奏时的演奏曲谱和所述钢琴输出的乐曲文件；
处理模块，用于对用户演奏时的演奏曲谱进行谱线和音符处理，将所述演奏曲谱的格式转换为预设的数字音乐格式，将转换成预设的数字音乐格式的演奏曲谱作为标准匹配样本；
分析模块，用于将所述钢琴输出的乐曲文件转换为预设的数字音乐格式后与所述标准匹配样本进行比对处理得到演奏分析结果，并将所述演奏分析结果进行输出。
11.如权利要求10所述的装置，其特征在于，所述获取模块进一步用于：
在用户通过钢琴进行演奏时，获取用户演奏时的身体姿态，对用户演奏时的身体姿态进行识别和分析得到身体姿态分析结果，并将所述身体姿态分析结果进行输出。
12.如权利要求11所述的装置，其特征在于，用户通过钢琴进行演奏时，获取用户演奏时的身体姿态，对用户演奏时的身体姿态进行识别和分析得到身体姿态分析结果时，所述获取模块具体用于：
在用户通过钢琴进行演奏时，获取用户演奏时的手型和坐姿；
针对用户演奏时的手型进行手背、手指和各关节的定点识别得到手型的定点轮廓图，将手型的定点轮廓图与预存的正确手型样本库和错误手型样本库进行比对，得到手型正确概率和手型错误概率，基于所述手型错误概率与对应的错误手型样本得到手型分析结果；
针对用户演奏时的坐姿进行大臂、小臂、后背、大腿和小腿的线条识别，基于大臂、小臂、后背、大腿和小腿的线条，检测大臂与小臂的方向和夹角、大腿与小腿的方向和夹角以及后背的方向和夹角中的一种或任意种组合是否符合预设条件，若是，得到坐姿的分析结果为正确；否则，根据不符合预设条件的坐姿类型，确定坐姿的坐姿错误类型，得到坐姿的分析结果；
将得到的手型分析结果和坐姿的分析结果作为身体姿态分析结果。
13.如权利要求10所述的装置，其特征在于，对用户演奏时的演奏曲谱进行谱线和音符处理之前，所述处理模块进一步用于：
对用户演奏时的演奏曲谱进行平滑去噪和二值化处理。
14.如权利要求10所述的装置，其特征在于，对用户演奏时的演奏曲谱进行谱线和音符处理，将所述演奏曲谱的格式转换为预设的数字音乐格式，将转换成预设的数字音乐格式的演奏曲谱作为标准匹配样本时，所述处理模块具体用于：
若用户演奏时的演奏曲谱类型为五线谱时，对用户演奏时的演奏曲谱通过判断每一个音符与五线谱的相对位置得到每一个音符的音名和音程，并将每一个音符的音名和音程转换为对应的音高频率；
对用户演奏时的演奏曲谱进行谱线识别并去除谱线后，对去掉谱线的演奏曲谱进行音符切分，针对切分的每一个音符通过与各音符模板匹配，得到每一个音符的音符类别，基于每一个音符的音符类别确定每一个音符的时长；
将每一个音符的音高频率和时长进行对应后，将每一个音符串联生成音高频率和时长相对应的数字音乐格式的演奏曲谱，将转换成音高频率和时长相对应的数字音乐格式的演奏曲谱作为标准匹配样本。
15.如权利要求14所述的装置，其特征在于，对用户演奏时的演奏曲谱进行谱线识别并去除谱线后，对去掉谱线的演奏曲谱进行音符切分，针对切分的每一个音符通过与各音符模板匹配，得到每一个音符的音符类别，基于每一个音符的音符类别确定每一个音符的时长时，所述处理模块具体用于：
对用户演奏时的演奏曲谱进行谱线识别并去除谱线后，对去掉谱线的演奏曲谱进行音符切分，针对切分的每一个音符确定自身的像素矩阵X(i)，分别计算X(i)与各音符模板中每一个音符模板的像素矩阵Y(j)的相关系数，将相关系数最大的音符模板的音符类别作为所述一个音符的音符类别，所述音符类别包括全音符、二分音符、四分音符、八分音符和十六分音符；
若确定切分的一个音符的音符类别为全音符或二分音符时，根据所述一个音符的音符类别确定所述一个音符的时长；否则，对切分的一个音符进行符梁提取，得到所述一个音符的浮梁提取结果，根据所述一个音符的浮梁提取结果和预存的浮梁与音符类别的对应关系，确定所述一个音符的音符类别，根据所述一个音符的音符类别确定所述一个音符的时长。
16.如权利要求10所述的装置，其特征在于，对用户演奏时的演奏曲谱进行谱线和音符处理，将所述演奏曲谱的格式转换为预设的数字音乐格式，将转换成预设的数字音乐格式的演奏曲谱作为标准匹配样本时，所述处理模块具体用于：
若用户演奏时的演奏曲谱类型为简谱时，对用户演奏时的演奏曲谱进行数字文本识别后，对识别的演奏曲谱进行变换直线检测，检测每一个数字音符的延时线和减时线，确定每一个数字音符对应的音长；
对识别的演奏曲谱进行数字音符切分，针对切分的每一个数字音符通过与各数字音符模板匹配，得到每一个数字音符的数字类别，将每一个数字音符的数字类别转换为相应的音名，并针对切分的每一个数字音符上方或下方的点进行检测，确定每一个数字音符的所在的音程，将每一个数字音符的音名和音程转换为对应的音高频率；
将每一个数字音符的音高频率和时长进行对应后，将每一个数字音符串联生成音高频率和时长相对应的数字音乐格式的演奏曲谱，将转换成音高频率和时长相对应的数字音乐格式的演奏曲谱作为标准匹配样本。
17.如权利要求16所述的装置，其特征在于，对识别的的演奏曲谱进行数字音符切分，针对切分的每一个数字音符通过与各数字音符模板匹配，得到每一个数字音符的数字类别，将每一个数字音符的数字类别转换为相应的音名时，所述处理模块具体用于：
对识别的的演奏曲谱进行数字音符切分，针对切分的每一个数字音符确定自身的像素矩阵X(i)，分别计算X(i)与各数字音符模板中每一个数字音符模板的像素矩阵Y(j)的相关系数，将相关系数最大的数字音符模板的数字类别作为所述一个数字音符的数字类别，所述数字音符的数字类别包括10、2、3、4、5、6、7；
基于数字音符的数字类别与音名的对应关系，将每一个数字音符的数字类别转换为相应的音名。
18.如权利要求10-17任一项所述的装置，其特征在于，将所述钢琴输出的乐曲文件转换为预设的数字音乐格式后与所述标准匹配样本进行比对处理得到演奏分析结果时，所述分析模块具体用于：
对所述钢琴输出的乐曲文件进行语音去噪后，对获得的乐曲文件进行音高频率识别和对应的时长切分，将所述乐曲文件的格式转换为音高频率和时长相对应的数字音乐格式；
将转换成音高频率和时长相对应的数字音乐格式的乐曲文件与所述标准匹配样本进行比对处理，得到钢琴输出的乐曲文件的节奏错误参数和音准错误参数，基于所述节奏错误参数和音准错误参数，利用预设的演奏分析规则得到演奏分析结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510535952.8A CN106485984B (zh) | 2015-08-27 | 2015-08-27 | 一种钢琴的智能教学方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510535952.8A CN106485984B (zh) | 2015-08-27 | 2015-08-27 | 一种钢琴的智能教学方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106485984A true CN106485984A (zh) | 2017-03-08 |
| CN106485984B CN106485984B (zh) | 2020-06-12 |
Family
ID=58234604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510535952.8A Active CN106485984B (zh) | 2015-08-27 | 2015-08-27 | 一种钢琴的智能教学方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106485984B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106910381A (zh) * | 2017-04-11 | 2017-06-30 | 华东交通大学 | 一种钢琴智能教学系统 |
| CN106991852A (zh) * | 2017-05-18 | 2017-07-28 | 北京音悦荚科技有限责任公司 | 一种在线教学方法及装置 |
| CN108281127A (zh) * | 2017-12-29 | 2018-07-13 | 王楠珊 | 一种音乐练习辅助系统、方法、装置及存储装置 |
| CN108922315A (zh) * | 2018-08-21 | 2018-11-30 | 福州大学厦门工艺美术学院 | 一种吉他辅助练习装置 |
| CN109446952A (zh) * | 2018-10-16 | 2019-03-08 | 赵笑婷 | 一种钢琴监督方法、装置、计算机设备及存储介质 |
| CN109472222A (zh) * | 2018-10-25 | 2019-03-15 | 深圳市象形字科技股份有限公司 | 一种基于计算机视觉技术的辅助二胡练习者姿态检测方法 |
| CN109523567A (zh) * | 2018-10-25 | 2019-03-26 | 深圳市象形字科技股份有限公司 | 一种基于计算机视觉技术的辅助二胡练习者指法检测方法 |
| CN109711294A (zh) * | 2018-12-14 | 2019-05-03 | 深圳市象形字科技股份有限公司 | 一种基于计算机视觉的辅助小提琴练习者弓法检测方法 |
| WO2019228230A1 (en) * | 2018-05-28 | 2019-12-05 | Sunland Information Technology Co., Ltd. | Systems, methods, smart musical instruments, computer readable media for music score matching |
| CN110765282A (zh) * | 2019-09-30 | 2020-02-07 | 维沃移动通信有限公司 | 一种曲目推荐方法和装置 |
| CN110930815A (zh) * | 2019-12-18 | 2020-03-27 | 四川大学锦城学院 | 一种智能器乐辅助学习器及其使用方法 |
| CN112201217A (zh) * | 2020-09-22 | 2021-01-08 | 上海汉图科技有限公司 | 一种乐器演奏的评判方法、装置和设备 |
| CN112258932A (zh) * | 2020-11-04 | 2021-01-22 | 深圳市平均律科技有限公司 | 一种乐器演奏辅助练习装置、方法及系统 |
| CN113674565A (zh) * | 2021-08-25 | 2021-11-19 | 桂林智神信息技术股份有限公司 | 一种用于钢琴教学的教学系统及方法 |
| CN115393875A (zh) * | 2022-08-30 | 2022-11-25 | 杭州电子科技大学 | 基于MobileNetV3的五线谱识别与简谱转换的方法及系统 |
| CN113674565B (zh) * | 2021-08-25 | 2024-04-26 | 桂林智神信息技术股份有限公司 | 一种用于钢琴教学的教学系统及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102402290A (zh) * | 2011-12-07 | 2012-04-04 | 北京盈胜泰科技术有限公司 | 一种肢体姿势识别方法及系统 |
| CN203025989U (zh) * | 2012-11-15 | 2013-06-26 | 安徽寰智信息科技股份有限公司 | 一种基于动作识别的乐器模拟训练与评测系统 |
| CN103794106A (zh) * | 2014-03-11 | 2014-05-14 | 哈尔滨工业大学 | 乐器演奏辅助教学系统 |
| CN104036227A (zh) * | 2013-03-05 | 2014-09-10 | 联想移动通信科技有限公司 | 一种生成电子乐谱的方法和移动终端 |
| CN104078035A (zh) * | 2013-07-02 | 2014-10-01 | 深圳市腾讯计算机系统有限公司 | 一种演奏乐曲的方法及装置 |
| CN104078032A (zh) * | 2014-06-13 | 2014-10-01 | 叶滨 | 电钢琴的音符提示方法、系统、移动终端和电钢琴 |
| CN204318098U (zh) * | 2014-12-01 | 2015-05-13 | 刘冬 | 矫正坐姿钢琴凳 |
| CN204351419U (zh) * | 2015-01-15 | 2015-05-27 | 吕婷婷 | 钢琴练习坐姿矫正装置 |
-
2015
- 2015-08-27 CN CN201510535952.8A patent/CN106485984B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102402290A (zh) * | 2011-12-07 | 2012-04-04 | 北京盈胜泰科技术有限公司 | 一种肢体姿势识别方法及系统 |
| CN203025989U (zh) * | 2012-11-15 | 2013-06-26 | 安徽寰智信息科技股份有限公司 | 一种基于动作识别的乐器模拟训练与评测系统 |
| CN104036227A (zh) * | 2013-03-05 | 2014-09-10 | 联想移动通信科技有限公司 | 一种生成电子乐谱的方法和移动终端 |
| CN104078035A (zh) * | 2013-07-02 | 2014-10-01 | 深圳市腾讯计算机系统有限公司 | 一种演奏乐曲的方法及装置 |
| CN103794106A (zh) * | 2014-03-11 | 2014-05-14 | 哈尔滨工业大学 | 乐器演奏辅助教学系统 |
| CN104078032A (zh) * | 2014-06-13 | 2014-10-01 | 叶滨 | 电钢琴的音符提示方法、系统、移动终端和电钢琴 |
| CN204318098U (zh) * | 2014-12-01 | 2015-05-13 | 刘冬 | 矫正坐姿钢琴凳 |
| CN204351419U (zh) * | 2015-01-15 | 2015-05-27 | 吕婷婷 | 钢琴练习坐姿矫正装置 |
Non-Patent Citations (2)
| Title |
|---|
| 万芳: "《青少年娱乐活动知识问答》", 31 March 2013, 吉林摄影出版社 * |
| 张杨: "《当代运动与艺术潮流 钢琴卷》", 31 July 2015, 吉林出版集团有限责任公司 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106910381A (zh) * | 2017-04-11 | 2017-06-30 | 华东交通大学 | 一种钢琴智能教学系统 |
| CN106991852A (zh) * | 2017-05-18 | 2017-07-28 | 北京音悦荚科技有限责任公司 | 一种在线教学方法及装置 |
| CN106991852B (zh) * | 2017-05-18 | 2020-11-24 | 北京音悦荚科技有限责任公司 | 一种在线教学方法及装置 |
| CN108281127A (zh) * | 2017-12-29 | 2018-07-13 | 王楠珊 | 一种音乐练习辅助系统、方法、装置及存储装置 |
| WO2019228230A1 (en) * | 2018-05-28 | 2019-12-05 | Sunland Information Technology Co., Ltd. | Systems, methods, smart musical instruments, computer readable media for music score matching |
| US11580942B2 (en) | 2018-05-28 | 2023-02-14 | Sunland Information Technology Co., Ltd. | Systems, methods, smart musical instruments, computer readable media for music score matching |
| CN108922315A (zh) * | 2018-08-21 | 2018-11-30 | 福州大学厦门工艺美术学院 | 一种吉他辅助练习装置 |
| CN109446952A (zh) * | 2018-10-16 | 2019-03-08 | 赵笑婷 | 一种钢琴监督方法、装置、计算机设备及存储介质 |
| CN109523567A (zh) * | 2018-10-25 | 2019-03-26 | 深圳市象形字科技股份有限公司 | 一种基于计算机视觉技术的辅助二胡练习者指法检测方法 |
| CN109472222A (zh) * | 2018-10-25 | 2019-03-15 | 深圳市象形字科技股份有限公司 | 一种基于计算机视觉技术的辅助二胡练习者姿态检测方法 |
| CN109711294A (zh) * | 2018-12-14 | 2019-05-03 | 深圳市象形字科技股份有限公司 | 一种基于计算机视觉的辅助小提琴练习者弓法检测方法 |
| CN110765282A (zh) * | 2019-09-30 | 2020-02-07 | 维沃移动通信有限公司 | 一种曲目推荐方法和装置 |
| CN110930815A (zh) * | 2019-12-18 | 2020-03-27 | 四川大学锦城学院 | 一种智能器乐辅助学习器及其使用方法 |
| CN112201217A (zh) * | 2020-09-22 | 2021-01-08 | 上海汉图科技有限公司 | 一种乐器演奏的评判方法、装置和设备 |
| CN112258932A (zh) * | 2020-11-04 | 2021-01-22 | 深圳市平均律科技有限公司 | 一种乐器演奏辅助练习装置、方法及系统 |
| CN113674565A (zh) * | 2021-08-25 | 2021-11-19 | 桂林智神信息技术股份有限公司 | 一种用于钢琴教学的教学系统及方法 |
| CN113674565B (zh) * | 2021-08-25 | 2024-04-26 | 桂林智神信息技术股份有限公司 | 一种用于钢琴教学的教学系统及方法 |
| CN115393875A (zh) * | 2022-08-30 | 2022-11-25 | 杭州电子科技大学 | 基于MobileNetV3的五线谱识别与简谱转换的方法及系统 |
| CN115393875B (zh) * | 2022-08-30 | 2023-05-26 | 杭州电子科技大学 | 基于MobileNetV3的五线谱识别与简谱转换的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106485984B (zh) | 2020-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106485984A (zh) | 一种钢琴的智能教学方法和装置 | |
| CN109783657A (zh) | 基于受限文本空间的多步自注意力跨媒体检索方法及系统 | |
| US10803762B2 (en) | Body-motion assessment device, dance assessment device, karaoke device, and game device | |
| Fan et al. | Example-based automatic music-driven conventional dance motion synthesis | |
| CN110489755A (zh) | 文本生成方法和装置 | |
| CN104268603B (zh) | 用于文字性客观题的智能阅卷方法及系统 | |
| CN107330444A (zh) | 一种基于生成对抗网络的图像自动文本标注方法 | |
| CN102663423B (zh) | 一种简谱图像的自动识别和演奏的方法 | |
| CN110147451B (zh) | 一种基于知识图谱的对话命令理解方法 | |
| CN109815776A (zh) | 动作提示方法和装置、存储介质及电子装置 | |
| CN107423398A (zh) | 交互方法、装置、存储介质和计算机设备 | |
| CN106897559A (zh) | 一种面向多数据源的症状体征类实体识别方法及装置 | |
| CN104111733B (zh) | 一种手势识别系统及方法 | |
| CN111126280B (zh) | 基于融合手势识别的失语症患者辅助康复训练系统及方法 | |
| CN109545218A (zh) | 一种语音识别方法及系统 | |
| CA3189604A1 (en) | Dance segment recognition method, dance segment recognition apparatus, and storage medium | |
| CN105956053A (zh) | 一种基于网络信息的搜索方法及装置 | |
| CN106340215A (zh) | 基于ar增强现实和自适应识别的乐器辅助学习体验系统 | |
| CN109326162A (zh) | 一种口语练习自动评测方法及装置 | |
| CN106354856A (zh) | 基于人工智能的深度神经网络强化搜索方法和装置 | |
| CN107767850A (zh) | 一种演唱评分方法及系统 | |
| CN111552830A (zh) | 一种用户自选乐谱练习方法和系统 | |
| CN116386424A (zh) | 一种用于音乐教学的方法、设备和计算机可读存储介质 | |
| CN114170868A (zh) | 智能钢琴训练的方法和系统 | |
| Oliva et al. | Filipino sign language recognition for beginners using kinect |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |