CN109215441A - 一种钢琴教学方法、装置及计算机存储介质 - Google Patents

Abstract

本发明公开了一种钢琴教学方法、装置及计算机存储介质，其方法步骤为，显示数字化演奏乐谱，并根据数字化演奏乐谱确定用户需要演奏音符；获取用户摁压琴键的图像，分析图像得到用户摁压的琴键以及所述琴键代表实际演奏音符；判断用户演奏的正确性，形成演奏判断结果；反馈演奏判断结果；应用此方法的钢琴教学装置包括显示单元、演奏单元、拍摄单元、客户端单元、服务器单元；以及存储钢琴教学方法的计算机存储介质；此钢琴教学方法取消了传统钢琴教学方法中的教师端，通过对用户演奏过程中的音符正确性和指法正确性进行判断进而最大程度的替代了老师的参与，并且本发明提供的钢琴教学装置，装置简单，易于推广，大大降低了钢琴教学的成本。

Description

一种钢琴教学方法、装置及计算机存储介质

技术领域

本发明涉及智能教学领域，主要涉及一种钢琴教学方法、装置及计算机存储介质。

背景技术

钢琴教学方法，是对用户的错误演奏习惯进行纠正，其目的是提高用户的钢琴演奏水平。

在智能教学领域中，随着各个学科的教学方法不断改进，钢琴教学方法也在不断进步。现阶段，钢琴教学方法依托于老师的指导，其大致过程为：用户将演奏过程视频发送至钢琴老师的教学端，钢琴老师对用户的演奏过程视频进行判断，并对用户进行指导。

钢琴老师每次只能对一个用户的演奏过程视频进行评分判断，并且，钢琴教学过程中，钢琴老师不仅要对用户钢琴演奏的音符进行判断，即用户演奏的音符是否正确，也需要对用户钢琴演奏的指法进行判断，即用户演奏的手指是否为正确音符对应的手指，钢琴老师需要对用户的演奏过程视频反复播放，从而给出用户演奏的指导性意见和建议，因此，此钢琴教学方法中用户学习钢琴的成本极高。

发明内容

本发明的发明人发现，现阶段钢琴教学方法过度依赖钢琴老师的指导，钢琴教学的成本依旧很高，不利于钢琴教学的推广和普及。

本发明的主要目的是解决现有技术中，钢琴教学方法过度依赖钢琴老师的指导，钢琴教学的成本高的问题。

为了解决以上技术问题，第一方面，本发明提供了一种钢琴教学方法，所述方法包括：

显示数字化演奏乐谱，并根据所述数字化演奏乐谱确定用户需要演奏音符；

获取用户摁压琴键时的图像，分析所述图像得到用户摁压的琴键以及所述琴键代表的实际演奏音符；

判断用户演奏的正确性，形成演奏判断结果；

反馈所述演奏判断结果。

在本发明的一个实施例中，分析所述图像包括以下步骤：确定所述图像中琴键位置；根据所述图像建立手指模型；确定手指模型位置；判断所述琴键位置与所述手指模型位置的位置关系确定用户摁压的琴键。

在本发明的一个实施例中，判断所述琴键位置与所述手指模型位置的位置关系确定用户摁压的琴键包括：判断所述琴键位置与所述手指模型位置的重合程度；若所述琴键位置与所述手指模型位置的重合程度高，则判定用户摁压所述琴键位置对应的琴键；所述重合程度为面积重合程度和/或坐标重合程度。

在本发明的一个实施例中，判断用户演奏的正确性，形成演奏判断结果包括：判断实际演奏音符与所述用户需要演奏音符是否相同；若所述实际演奏音符与所述用户需要演奏音符相同，则判定用户演奏的音符正确；若所述实际演奏音符与所述用户需要演奏音符不相同，则判定用户演奏的音符错误。

在本发明的一个实施例中，在判定用户演奏的音符正确后，还包括：根据所述手指模型获取用户摁压琴键时的指法信息；若所述手指的指法信息与所述数字化演奏乐谱对应的正确指法信息一致，则判定用户演奏的指法正确；若所述手指的指法信息与所述正确指法信息不一致，则判定用户演奏的指法错误。

在本发明的一个实施例中，所述演奏判断结果包括：音符正确信号、音符错误、指法正确、和指法错误。

在本发明的一个实施例中，所述手指模型包括：手指关节模型和/或手指轮廓模型。

在本发明的一个实施例中，确定所述图像中琴键位置包括：确定白色琴键位置以及黑色琴键位置

一种钢琴教学装置，其包括：显示单元、演奏单元、拍摄单元、客户端单元、服务器单元，其中

所述显示单元，用于显示数字化演奏乐谱以及演奏判断结果；

所述演奏单元，用于获取用户摁压琴键的数字信号；

所述拍摄单元，用于接收所述数字信号并根据数字信号获取用户摁压琴键时的图像；

所述客户端单元，用于接收、保存并向所述服务器单元发送所述演奏单元发送的数字信号、所述拍摄单元发送的所述用户摁压琴键时的图像，以及调取所述数字化演奏乐谱并发送至所述显示单元；

所述服务器单元，用于判断用户演奏的正确性以形成演奏判断结果，并将所述演奏判断结果反馈至所述客户端单元。

第三方面，本发明提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行上述第一方面及其任意一种实施例所述的方法。

本发明提供的钢琴教学方法的有益效果为：第一，本发明提供的钢琴教学方法减少了对人的依赖，钢琴教学效果不再受制于钢琴老师；第二，本发明提供的钢琴教学方法可对用户演奏的音符以及用户演奏过程中的指法进行判断，并将演奏判断结果反馈至用户；第三，应用本钢琴教学方法的装置，装置简单，易于推广，降低钢琴教学的成本。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不应构成本发明的限制，在附图中：

图1为本发明钢琴教学方法的示意流程图；

图2为本发明钢琴教学装置连接图；以及

图3为本发明提供的钢琴教学方法中判断演奏信号的正确性形成演奏判断结果的逻辑框图；以及

图4为本发明提供的钢琴教学方法分析用户摁压琴键时的图像示意流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本发明所描述的实施例可以与其它实施例相结合。

基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本发明说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

为了能够更好地理解本发明的实施例，下面将对应用本发明实施例的方法进行介绍。

请参见图1，本发明提供的一种钢琴教学方法，其特征在于，所述方法的步骤为：

S101、显示数字化演奏乐谱，并根据所述数字化演奏乐谱确定用户需要演奏音符；

具体地，数字化演奏乐谱包含了演奏乐谱的音符信息，音符对应的正确指法信息，演奏乐谱的难易等级，以及演奏乐谱的简介信息，如乐谱名称、乐谱时长、乐谱作曲人、乐谱作曲时间等。当用户可以根据学习进度选择准备将要学习的乐谱。用户通过查看数字化演奏乐谱中当前需要演奏的音符，并在演奏设备上进行演奏。可以理解的是，数字化演奏乐谱保存至互联网服务器和/或离线本地服务器，本发明对此不做限定，其可以采用本领域技术人员常规的技术手段进行保存。

S102、获取用户摁压琴键时的图像，分析用户摁压琴键时的图像得到用户摁压的琴键以及所述琴键代表的实际演奏音符；

在本发明的一个实施例中，获取用户摁压琴键的图像具体过程为：当用户进行演奏时，用户手指摁压琴键，演奏单元获取用户手指摁压琴键的动作并将将摁压琴键的动作转换为数字信号，需要说明的是，数字信号用于将摁压琴键的动作用于控制拍摄单元截取摁压琴键的动作发生时的图像，本发明对数字信号的类型不做限定，其可以采用本领域技术人员常规的技术手段；在用户演奏设备的整个过程中，即用户演奏乐谱的第一个音符至最后一个音符的过程中，拍摄单元对用户演奏设备的整个过程进行录制；当拍摄单元接收到用户手指摁压琴键的动作产生的数字信号时，拍摄单元截取此时用户摁压琴键的图像。

在本发明的一个实施例中，请参见图4，分析用户摁压琴键的图像的具体过程如下：

S401确定分析用户摁压琴键时的图像中琴键位置；

S402根据用户摁压琴键的图像建立手指模型；

S403确定手指模型位置；

S404判断所述琴键位置与所述手指模型位置的位置关系确定用户摁压的琴键。

通过对用户摁压琴键的图像琴键位置和手指模型位置的位置关系进行判断，从而确定用户演奏的琴键，进而判断用户演奏的琴键对应的音符，此分析方法，逻辑简单，分析过程耗时短，便于利用图像分析确定用户演奏的音符。

在本发明的一个实施例中，判断琴键位置与手指模型位置的位置关系确定用户摁压的琴键包括：判断琴键位置与手指模型位置的位置关系重合程度；若琴键位置与手指模型位置重合程度高，则判定用户摁压的琴键为位置与手指模型位置关系重合程度高的琴键位置对应的琴键。可以理解的是，通过建立手指模型，即使用户摁压琴键的图像的像素低，依旧可以清晰的判断用户的十个手指与琴键的位置关系，提高了演奏判断结果的精度。

在本发明的一个实施例中，建立手指模型为建立手指关节模型和/或建立手指轮廓模型。可以理解的是，手指关节模型包括指尖、第一关节、第二关节、掌关节，即一个手指关节模型以上四种定位点，因此，手指关节模型建立过程快，便于缩短判断过程的时间。手指轮廓模型包括若干手指边缘定位点，可以理解的是，手指边缘定位点越多手指轮廓模型的精度越高，便于提高演奏判断结果的准确性。

可以理解的是，在分析用户摁压琴键的图像的过程中，首先需要在用户摁压琴键的图像中将每一个琴键进行识别，确定每一个琴键的位置，为判断手指是否摁压正确琴键提供参考系，因此对任一琴键位置的识别错误将直接导致演奏判断结果错误；通过视觉识别技术提取用户摁压琴键的图像中的手指图像，并根据手指图像建立手指模型，根据手指图像中的手指轮廓和/或手指关节，建立任一手指的手指模型，手指模型防止用户摁压琴键的图像像素低导致手指无法识别，提高了演奏判断结果的结果精度；确定手指模型位置并与琴键位置进行判断。

S103、判断用户演奏的正确性，形成演奏判断结果；

请参见图3，在本发明的一个实施例中，判断实际演奏音符与用户需要演奏音符是否相同；若实际演奏音符与用户需要演奏音符相同，则判定用户演奏的音符正确301；若所述实际演奏音符与所述用户需要演奏音符不相同，则判定用户演奏的音符错误302。可以理解的是，用户根据数字化演奏乐谱显示的音符并摁压琴键，因此数字化演奏乐谱上的任一一个音符对应确定的琴键的摁压方式。用户需要摁压的琴键，即演奏正确音符对应的琴键。通过对用户摁压琴键的图像琴键位置和手指模型位置的位置关系进行判断确定用户实际演奏音符，进而对实际演奏音符与用户需要演奏音符进行判断，判定用户演奏音符是否准确，此判断方法，判断逻辑简单，判断过程耗时短，便于即时提醒用户演奏音符的正确性。

请参见图3，在本发明的一个实施例中，在判定音符正确301后，进一步的，对用户手指的指法信息进行判断。可以理解的是，演奏某一音符可以利用任一一根指头或几根指头的组合完成；为了保证演奏过程中连贯性，演奏某一音符需要指定的一根指头或几根指头的组合完成。因此，判断手指的指法信息是通过判断手指的指法信息与正确指法信息是否一致实现的；若手指的指法信息与正确指法信息一致，判定为指法正确303；若手指的指法信息与正确指法信息不一致，判定为指法错误304。因此，先判断音符是否正确，再判断指法是否正确，优化判断过程，降低了判断过程的运算量，可以快速形成演奏判断结果。

需要说明的是，在钢琴演奏过程中，即使用户演奏数字化乐谱上显示的需要演奏的音符，不代表用户演奏过程中的指法正确。本发明中正确指法信息指的是，需要演奏的音符是由正确手指摁压，例如，演奏某一乐谱需要摁压“中央C键”的正确指法为左手食指，若用户摁压“中央C键”为左手食指，代表手指的指法信息与正确指法信息一致，若用户摁压“中央C键”为左手小指、左手无名指、左手中指、左手拇指、右手拇指、右手食指、右手中指、右手无名指、或右手小指上述九根手指任一一根，代报手指的指法信息与正确指法信息不一致。可以理解的是，在分析用户摁压琴键时的图像过程中，建立用户的手指模型，对用户的手指模型按照特定顺序排序，即可完成对用户的手指模型中某一根手指模型对应用户的实际某一根手指的识别过程。需要说明的是，本发明对用户的手指模型按照特定顺序排序中的特定顺序不做限定，其可以是用户摁压琴键时的图像中钢琴琴键最左端为基准点向右依次为：左手小指、左手无名指、左手中指、左手食指、左手拇指、右手拇指、右手食指、右手中指、右手无名指、右手小指的特定顺序；也可以是用户摁压琴键时的图像中钢琴琴键最右端为基准点向左依次为：右手小指、右手无名指、右手中指、右手食指、右手拇指、左手拇指、左手食指、左手小指、左手中指、左手无名指、左手小指。

在本发明的一个实施例中，确定琴键位置包括确定白色琴键位置和确定黑色琴键位置。可以理解的是，钢琴的88个琴键共包含52个白色琴键和36个黑色琴键，白色琴键位置和黑色琴键位置与琴键的尺寸有关，即白色琴键的长度大于黑色琴键的长度，白色琴键的宽度大于黑色琴键的宽度。通过对琴键位置进行区分，即将白色琴键位置和黑色琴键位置进行区分，可以提高演奏判断结果的准确性，尤其是对手指的指法信息的演奏判断结果更加准确。

请参见图3，在本发明的一个实施例中，演奏判断结果包括：音符正确301、音符错误302、指法正确303、指法错误304。可以理解的是，演奏判断结果可以清晰的指出用户的演奏过程中出现的问题，即音符问题、指法问题，演奏判断结果为：音符错误302，音符正确301并指法正确303，音符正确301并指法错误304；因此，以上三种组合得到的演奏判断结果可使钢琴教学方法的判断过程更加迅速准确。

演奏判断结果S104、反馈所述演奏判断结果。

在本发明的一个实施例中，为直观的反馈演奏判断结果，演奏判断结果显示在数字化演奏曲谱中。可以理解的是，不同的演奏判断结果可以通过不同符号标记在数字化演奏曲谱中。本发明对演奏判断结果标记在数字化演奏曲谱中的符号种类不做限制，其可以采用本领域技术人员常规的技术手段，例如，颜色，文字，图形，标点。

作为本发明实施例的第二方面，请参见图2，本发明提供了一种钢琴教学装置200，其包括：显示单元201、演奏单元202、拍摄单元203、客户端单元204、服务器单元205。

显示单元201，用于显示数字化演奏乐谱以及演奏判断结果；

演奏单元202，用于获取用户摁压琴键的信号；

拍摄单元203，用于接收所述数字信号并根据数字信号获取用户摁压琴键时的图像；

客户端单元204，用于接收、保存并向所述服务器单元发送所述演奏单元发送的数字信号、所述拍摄单元发送的所述用户摁压琴键时的图像，以及调取所述数字化演奏乐谱并发送至所述显示单元；

服务器单元205，用于判断用户演奏的正确性以形成演奏判断结果，并将所述演奏判断结果反馈至所述客户端单元。。

所述钢琴教学装置200用于执行如上述任意实施例所述方法。

在本发明的一些实施例中，显示单元201用以显示数字化演奏乐谱。可以理解的是，显示单元201可以采用本领域技术人员常规的技术手段，本发明对显示单元的形式不做限制，其可以是手机显示屏、电视显示屏、平板电脑显示屏、电脑显示屏、以及具有显示功能钢琴的显示屏。

需要说明的是，本发明使用的演奏单元202为以下任一一种钢琴设备：1、电子钢琴；2、MIDI键盘；3、具有演奏监控设备的传统钢琴；4、其他可在手指演奏时输出数字信号的设备。

可以理解的是，拍摄单元203可以采用本领域技术人员常规的技术手段，本发明对此不做限制，其可以是具有视频录制功能的照相机，录影录像机，具有视频录制功能的手机、平板电脑、电脑，以及具有视频录制功能钢琴的摄像头。拍摄单元203接收演奏单元202产生的数字信号的数据通讯方式可以采用本领域技术人员常用的技术手段，本发明对此不做限制，其数据通讯方式可以采用以下一种或几种方法实现，如蓝牙数据通讯、Wi-Fi数据通信、光纤数据通信。

客户端单元204可以采用本领域常规的技术手段，以实现数据传输、保存的技术效果，本发明对客户端单元204的实现方式不做特殊限制，其可以是，以手机APP形式体现的移动终端客户端、也可以是以计算机软件形式体现的PC终端客户端。可以理解的是，服务器单元205用于判断用户演奏的正确性并形成演奏判断结果。服务器单元205存储数字化演奏乐谱，并接收拍摄单元截取用户摁压琴键的图像。客户端单元204可以调取服务器单元205存储的数字化演奏乐谱，并在显示单元201上进行显示；同时，客户端单元204接收服务器单元205反馈的演奏判断结果，并在显示单元201上进行显示。本发明对服务器单元205与客户端单元204的数据传输通讯可以采用本领域技术人员常规的技术手段，本发明对其数据传输通讯方式不做限定，其可以采用WIFI、蓝牙、光纤、3G、4G、5G以上任一一种或多种组合的数据通讯方式。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。

作为本发明实施例的第三方面，本发明还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种接口测试方法的部分或全部步骤。

本发明是参照根据本发明所述实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (10)

1.一种钢琴教学方法，其特征在于，所述方法包括：

显示数字化演奏乐谱，并根据所述数字化演奏乐谱确定用户需要演奏音符；

获取用户摁压琴键时的图像，分析所述图像得到用户摁压的琴键以及所述琴键代表的实际演奏音符；

判断用户演奏的正确性，形成演奏判断结果；

反馈所述演奏判断结果。

2.根据权利要求1所述的钢琴教学方法，其特征在于，分析所述图像包括以下步骤：

确定所述图像中琴键位置；

根据所述图像建立手指模型；

确定手指模型位置；

判断所述琴键位置与所述手指模型位置的位置关系确定用户摁压的琴键。

3.根据权利要求2所述的钢琴教学方法，其特征在于，判断所述琴键位置与所述手指模型位置的位置关系确定用户摁压的琴键包括：

判断所述琴键位置与所述手指模型位置的重合程度；

若所述琴键位置与所述手指模型位置的重合程度高，则判定用户摁压的琴键为所述琴键位置对应的琴键；所述位置关系重合程度为面积重合程度和/或坐标重合程度。

4.根据权利要求1所述的钢琴教学方法，其特征在于，判断用户演奏的正确性，形成演奏判断结果包括：

判断实际演奏音符与所述用户需要演奏音符是否相同；

若所述实际演奏音符与所述用户需要演奏音符相同，则判定用户演奏的音符正确；

若所述实际演奏音符与所述用户需要演奏音符不相同，则判定用户演奏的音符错误。

5.根据权利要求4所述的钢琴教学方法，其特征在于，在判定用户演奏的音符正确后，还包括：

根据所述手指模型获取用户摁压琴键时的指法信息；

若所述手指的指法信息与所述数字化演奏乐谱对应的正确指法信息一致，则判定用户演奏的指法正确；

若所述手指的指法信息与所述正确指法信息不一致，则判定用户演奏的指法错误。

6.根据权利要求4所述的钢琴教学方法，其特征在于，所述演奏判断结果包括：音符正确、音符错误、指法正确、和指法错误。

7.根据权利要求2所述的钢琴教学方法，其特征在于，所述手指模型包括：手指关节模型和/或手指轮廓模型。

8.根据权利要求2所述的钢琴教学方法，其特征在于，确定所述图像中琴键位置包括：确定白色琴键位置以及黑色琴键位置。

9.一种钢琴教学装置，其特征在于，其包括：显示单元、演奏单元、拍摄单元、客户端单元、服务器单元，其中

所述显示单元，用于显示数字化演奏乐谱以及演奏判断结果；

所述演奏单元，用于获取用户摁压琴键的数字信号；

所述拍摄单元，用于接收所述数字信号并根据数字信号获取用户摁压琴键时的图像；

所述客户端单元，用于接收、保存并向所述服务器单元发送所述演奏单元发送的数字信号、所述拍摄单元发送的所述用户摁压琴键时的图像，以及调取所述数字化演奏乐谱并发送至所述显示单元；

所述服务器单元，用于判断用户演奏的正确性以形成演奏判断结果，并将所述演奏判断结果反馈至所述客户端单元。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-8所述方法的步骤。