CN113674565A - 一种用于钢琴教学的教学系统及方法 - Google Patents

Abstract

本发明提供一种用于钢琴教学的教学系统，包括：信息采集模块，用于采集和发送用户弹奏曲谱时的钢琴弹奏信息；信息处理模块，用于接收钢琴弹奏信息，计算钢琴弹奏信息与曲谱对应的标准参数间的差值，并且将差值与指定阈值进行比对以获得比对结果，其中对比结果用于识别曲谱中与钢琴弹奏信息对应的音符是否弹奏正确；显示模块，用于显示曲谱的信息和用户弹奏曲谱时当前音符的位置标记，并且基于比对结果以显示指示用户弹奏曲谱时当前音符是否弹奏正确的标识；控制模块，用于控制信息采集模块、信息处理模块以及显示模块之间的相互配合，并基于信息采集模块在预定时段内没有感测到信息来确定用户弹奏结束。

Description

一种用于钢琴教学的教学系统及方法

技术领域

本发明涉及钢琴教学方法，尤其涉及一种用于钢琴教学的教学系统及方法。

背景技术

钢琴演奏是一项逻辑思维与形象思维、脑力与体力、技巧性与艺术性相结合的综合性活动。钢琴教学与其他学科的教学既有共性又有专业的特殊性，其过程相对讲也更为复杂，它涉及了诸多的理论与实践问题。

练习钢琴时，自己是很难判断练习的准确性，而乐器学习是一个肌肉运动，如果在长时间没有专业人士的指导下进行练习，一旦错误熟练了，就很难纠正回来。演奏一首钢琴曲，首先需要一个好的弹奏基础，呈现出正确的音符来，其次，才能把这首乐曲演奏得有血有肉、有内容有意境，让人们听了能受到感动和震撼。因此，通常需要报兴趣班进行学习并请老师进行单独陪练，形成扎实的基本功，而传统的线下教学需要教师上门或者学生到琴行，成本高效率低。

现有技术中已有不少针对学生的在线钢琴教学系统，在线钢琴教学产品主要依托手机、ipad让学琴儿童与陪练老师同步选曲、在线沟通、提供指导。有的平台操作复杂，家长要将镜头在键盘、谱子、孩子间来回切换；有的平台存在延迟、音质表现不佳等问题，学生即使抢拍子老师也难发现。同时，在线钢琴教学主要是解决错音和节奏的问题，无法根据学员手指的长短，手的大小做针对性调整，以及纠正错误指法。另外，在线钢琴教学老师很难通过音视频传输把握触键、音色、强弱、风格等问题，无法服务高水平学员。业内人士表示，能教钢琴主课的老师一般不愿意或没时间在线上教学和指导，因此在线钢琴教学平台难以聚集优秀师资，大部分是兼职老师，其中有不少是在校或毕业不久的大学生。

因此，亟需一种更加便捷、准确和专业的钢琴教学系统和方法。

发明内容

本发明的目的在于克服上述现有技术的缺陷，提供一种用于钢琴教学的教学系统。

本发明的目的是通过以下技术方案实现的：

一种用于钢琴教学的教学系统，所述系统包括：

信息采集模块，用于采集和发送用户弹奏曲谱时的钢琴弹奏信息；

信息处理模块，用于接收所述钢琴弹奏信息，计算所述钢琴弹奏信息与所述曲谱对应的标准参数间的差值，并且将所述差值与指定阈值进行比对以获得比对结果，其中所述对比结果用于识别所述曲谱中与所述钢琴弹奏信息对应的音符是否弹奏正确；

显示模块，用于显示所述曲谱的信息和当前弹奏的音符的位置标记，并且基于所述比对结果显示指示当前弹奏的的音符是否弹奏正确的标识；

控制模块，用于控制所述信息采集模块、所述信息处理模块以及所述显示模块之间的相互配合，并确定用户弹奏是否结束。

该系统不用实时显示弹奏图像，只在回访录像时调给用户看，大大减轻了对运算力的要求，另外，系统各个模块相互配合，能准确采集和处理用户弹奏钢琴信息，并使得用户在缺乏专业老师指导的情况下，能够独自练习并在练习过程中发现音符是否弹奏正确的信息，迅速获得系统专业指导，利于及时纠正错误，提高学习效率。

可选的，所述信息采集模块包括声音采集单元、图像流采集单元和力度感应单元，所述钢琴弹奏信息包括声音流信息、手部图像流信息和触键力度信息，所述声音采集单元、图像流采集单元和力度感应单元分别用于采集钢琴弹奏信息中的声音流信息、手部图像流信息和触键力度信息。信息采集模块采集通过采集弹奏钢琴时的声音、图像和力度，并发送给信息处理模块进行处理，对弹奏钢琴信息进行全方位分析，使用户能够清楚得发现错误的具体位置以及错误的详细情况，进行针对性的改正。

可选的，教学系统还包括存储模块，用于存储所述钢琴弹奏信息、比对结果和所述曲谱对应的标准参数的；

所述显示模块还用于在由所述控制模块确定用户弹奏结束后，显示错误的钢琴弹奏信息和/或显示标准的手部图像流信息和标准声音流信息。用户在弹奏结束后，可通过显示模块直观的看到弹奏的错误情况，以及根据标准的视频和声音进行强化纠正练习。

可选的，所述信息处理模块用于将所述差值与指定阈值进行比对，如果所述差值小于所述指定阈值，则将所述比对结果设置为合格，否则将所述比对结果设置为不合格；其中，所述比对结果合格指示所述曲谱中与所述钢琴弹奏信息对应的音符弹奏正确，所述比对结果不合格指示所述曲谱中与所述钢琴弹奏信息对应的音符弹奏错误。指定阈值可以是用户设置或系统默认，不同用户存在部分差异，当用户弹奏的钢琴信息通过处理其差值在指定阈值内，均视为弹奏合格，体现了系统的灵活性。

可选的，所述位置标记是指由信息处理模块基于所述钢琴弹奏信息确定的所述曲谱中与所述钢琴弹奏信息对应的音符的位置标记。根据弹奏信息确定音符的位置标记，用户可直观查看弹奏到哪一音符，避免漏弹或重复弹奏。

可选的，所述声音流信息包括采集时间、音符、音高、节拍和音强，所述手部图像流信息包括采集时间、手部与琴键的相对位置图像和指尖与琴键的相对位置图像。采集的弹奏钢琴信息包括记录的采集时间，通过时间与音符等信息想对应，能够根据时间准确分析出对应音符及其他信息是否弹奏正确。

可选的，所述力度感应单元包括安装于琴键下方的按键传感器，用于采集弹奏钢琴时的触键力度信息。

可选的，所述声音采集单元和图像流采集单元包括声音采集装置和视频采集装置，所述声音采集装置包括一个或多个麦克风，所述视频采集装置包括安装在琴键上方的一个或多个摄像头。

本发明另一方面提供了一种采用上述用于钢琴教学的教学系统的教学方法，该方法包括：

S1、由信息采集模块采集和发送用户弹奏曲谱时的钢琴弹奏信息，由显示模块显示所述曲谱的信息和用户弹奏所述曲谱时当前音符的位置标记；

S2、由信息处理模块接收所述钢琴弹奏信息，计算所述钢琴弹奏信息与所述曲谱对应的标准参数间的差值，并且将所述差值与指定阈值比对以获得比对结果；其中所述对比结果用于识别所述曲谱中与所述钢琴弹奏信息对应的音符是否弹奏正确；只显示曲谱信息和当前弹奏音符的位置及该处音符是否出错，而不会显示详细的错误信息，使用户最主要的关注焦点是曲谱信息，减少详细的错误信息显示对弹奏过程的干扰，保持学习的连续性。

S3、由显示模块基于所述比对结果显示指示用户弹奏所述曲谱时当前音符是否弹奏正确的标识；由显示模块随着用户弹奏所述曲谱继续显示下一音符的位置标记，并且根据与下一音符对应的对比结果显示指示下一音符是否弹奏正确的标识，直到由控制模块确定用户弹奏结束。用户可以自行选择是否立即中断弹奏去查看回放视频及错误信息，或是查看标准视频进行纠正和强化练习，对用户十分友好。

可选的，位置标记是指由信息处理模块基于所述钢琴弹奏信息确定的所述曲谱中与所述钢琴弹奏信息对应的音符的位置标记。

可选的，所述S2还包括：

当所述差值小于所述指定阈值，则将所述比对结果设置为合格，以指示所述曲谱中与所述钢琴弹奏信息对应的音符弹奏正确；

否则，将所述比对结果设置为不合格，以指示所述曲谱中与所述钢琴弹奏信息对应的音符弹奏错误。

本发明另一方面提供了一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现上述教学方法。

本发明另一方面提供了一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述教学方法的步骤。

与现有技术相比，本发明的优点在于：

1.本发明提供的用于钢琴教学的教学系统及方法使得用户在缺乏专业老师指导的情况下，也能够迅速获得练习中有关音符及指法方面的指导，有利于用户及时发现并纠正错误，提高练习效率的同时还降低了学习成本。

2.本发明在用户弹奏过程中，系统不用实时显示弹奏图像，只在回访录像时调给用户看，大大减轻了对运算力的要求；同时，只显示曲谱信息和当前弹奏音符的位置及该处音符是否出错，而不会显示详细的错误信息，使用户最主要的关注焦点是曲谱信息，减少详细的错误信息显示对弹奏过程的干扰，保持学习的连续性；另外，用户可以自行选择是否立即中断弹奏去查看回放视频及错误信息，或是查看标准视频进行纠正和强化练习，对用户十分友好。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1为根据本发明的一个实施例的用于钢琴教学的教学系统的框图；

图2为根据本发明的一个实施例的用于钢琴教学的教学系统模块连接示意图；

图3为根据本发明一个实施例的采用用于钢琴教学的教学系统的教学方法流程图；

图4为根据本发明一个实施例的用于钢琴教学的教学系统显示模块所显示的开始弹奏时的界面示意图；

图5为根据本发明一个实施例的用于钢琴教学的教学系统显示模块所显示的弹奏结束的界面示意图；

图6为根据本发明一个实施例的用于钢琴教学的教学系统显示模块所显示的弹奏结束后播放手部视频时的界面示意图；

图7为根据本发明一个实施例的用于钢琴教学的教学系统显示模块所显示的弹奏错误时的错误详情界面示意图；

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在用户弹奏钢琴时，可以通过多个设备来采集用户的钢琴弹奏信息。各个设备是单独采集信息的，例如，麦克风采集音频数据，压力传感器采集按键压力信号，摄像头采集视频数据等。各个设备必须同步其采集的数据/信息以用于进一步的分析，如果由各个设备采集得到的数据/信息不同步，则可能导致分析结果是错误的。

同时，用户在弹奏时，最主要的关注焦点应该放在曲谱信息上，如果实时显示弹奏过程中的声音流信息、视频信息及错误详情，则会增加对用户的干扰。进一步而言，由于计算单元和显示单元通常不在同一个芯片上，导致实时显示弹奏过程中的错误视频信息涉及到不同芯片之间的视频流传输，而传输视频流(例如，H.264标准的视频流)、编解码、画检测框这些步骤都会消耗算力，因此实时显示错误视频信息需要大算力芯片才能满足要求。发明人发现，若采用视频回放功能，则对实时性的要求以及对算力的要求均可降低，也可节约成本。

基于上述研究，在一个方面，本发明提供了一种用于钢琴教学的教学系统，如图1和图2所示，该系统包括信息采集模块、信息处理模块、控制模块、存储模块以及显示模块，下文将参照图1和图2对该系统进行描述。

信息采集模块包括多个采集单元，即声音采集单元、图像流采集单元和力度感应单元。每个采集单元采集信息的起始时间一致，例如在感测到用户开始弹奏时启动信息采集，并向信息处理模块发送所采集的信息(后文也称钢琴弹奏信息)；其中，钢琴弹奏信息包括声音流信息、手部图像流信息和触键力度信息，声音采集单元、图像流采集单元和力度感应单元分别用于采集用户在弹奏曲谱时的声音流信息、手部图像流信息和触键力度信息。其中，声音采集单元包括声音采集装置，声音采集装置包括安装在钢琴周围的多个麦克风。图像流采集单元包括视频采集装置，视频采集装置包括安装在琴键上方的一个或多个摄像头，以3路摄像头为例，一路位于琴键左侧，用于采集左半部分的手势数据，具体为钢琴左半部分(左起第26白键中央E以左)的图像采集；另一路位于右侧，采集钢琴右半部分(左起第27白键中央F以右)的图像采集；第三路位于顶部采集整个钢琴的全景数据，第三路主要起到辅助作用。力度感应单元包括安装于琴键下方的按键传感器，用于采集用户弹奏钢琴时的触键力度大小。

信息采集模块从采集信息的起始时间开始，以预定时间间隔向信息处理模块发送所采集的钢琴弹奏信息，其中，声音流信息包括采集时间、音符、音高、节拍和音强；手部图像流信息包括采集时间、手部与琴键的相对位置图像和指尖与琴键的相对位置图像；触键力度信息包括采集时间和触键力度大小。同一时间采集的钢琴弹奏信息以多维数据呈现，表示方式为[t1,array1，array2，array3]，其中，t1表示采集时间，array1包括触键力度大小数据，array2中包括有音符、音高、节拍和音强数据，array3包括手部与琴键的相对位置图像和指尖与琴键的相对位置图像数据。

信息处理模块包括信息运算单元，用于接收所述信息采集模块采集并发送的钢琴弹奏信息，计算所采集的钢琴弹奏信息与标准参数间的差值，将差值与指定阈值进行比对获得比对结果，以及将钢琴弹奏信息和比对结果发送给存储模块，将比对结果发送给显示模块。

具体而言，信息处理模块在接收到采集的钢琴弹奏信息(例如，以[t1,array1，array2，array3]表示的钢琴弹奏信息)后，从存储模块查找当前弹奏曲谱的标准参数文件，该标准参数文件将当前弹奏曲谱的标准弹奏时长进行划分得到多个时间点，记录曲谱中每个音符对应的时间点并且记录每个时间点对应的标准参数(包括标准声音流信息、标准手部图像流信息和标准触键力度信息)。应理解，上述发送采集的钢琴弹奏信息的预定时间间隔可以等于相邻时间点之间的间隔或者是相邻时间点之间的间隔的整数倍，并且不超过相邻音符所对应的时间点之间的间隔最小值，以确保根据钢琴弹奏信息的采集时间可以查找到与该采集时间对应的时间点的标准参数，以及确保采集到每个音符对应的时间点的标准参数。信息处理模块通过信息运算单元计算采集的声音流信息与采集时间(例如，t1)对应的标准声音流信息间的声音差值，将声音差值与指定阈值进行比对，当声音差值大于指定阈值时，将比对结果设置为声音不合格，当声音差值小于指定阈值时，将比对结果设置为声音合格；计算采集的触键力度信息与采集时间对应的标准触键力度信息的力度差值，将力度差值与指定阈值进行比对，当力度差值大于指定阈值时，将比对结果设置为力度不合格，当力度差值小于指定阈值时，将比对结果设置为力度合格；以及，计算采集的手部图像流信息与采集时间对应的标准手部图像流信息的手部差值，将手部差值与指定阈值进行比对，当手部差值大于指定阈值时，比对结果为手部不合格，当手部差值小于指定阈值时，比对结果为手部合格。比对结果(包括声音比对结果、力度比对结果和手部比对结果)可以表示为[t1,result1，result2，result3]发送给存储模块和显示模块。

手部图像流信息中包括手部与琴键的相对位置图像和指尖与琴键的相对位置图像。信息运算单元接收到手部图像流信息后，提取手部与琴键的相对位置图像和指尖与琴键的相对位置图像，并对图像中的钢琴键盘划分位置坐标，再将键盘的每个琴键个体分割出来，得出每个琴键的位置坐标；通过钢琴键盘的位置坐标得到手部与琴键的相对位置坐标，将整个琴键以左上角坐标(x1,y1)、右下角坐标(x2,y2)的表示方式，在图像中，如果手部区域与键盘区域有重叠，那么就认为该手在琴键上，同时，需要考虑琴键区域中的手有可能是不完整的，如手指放在琴键上，而手掌在琴键外部，为了保证放在琴键上的手的检测完整性，需将琴键框的上边缘向图像上方扩充，形成有效区域，这样可以保证在该区域内，所有放在琴键上的手都是完整的。此时，琴键坐标有效区域框可以表示为(x1,y1-200)，(x2,y2)。手部与琴键的相对位置坐标，即将手部坐标和琴键坐标统一到图像坐标系(图像坐标系是以整张图的左上角为坐标系原点)中表示，截取手部有效区域(即以矩形框将手部全部截取)，获得手部与琴键的相对位置坐标，即手部左上角(x3,y3)、右下角(x4,y4)；同时，将整个琴键进行划分，即每个琴键左上角坐标(x5,y5)、右下角坐标(x6,y6)的表示方式，指尖放在该琴键上，截取指尖有效区域(即以矩形框将指尖全部截取)，根据每个琴键的位置坐标获得指尖与对应琴键的相对位置坐标，即指尖左上角(x7,y7)、右下角(x8,y8)。信息运算单元计算手部与琴键的相对位置坐标、指尖与琴键的相对位置坐标分别与对应的标准相对位置坐标之间的坐标差值，将坐标差值与指定阈值进行比对，以判断弹奏对应音符的指法是否正确。

存储模块用于存储钢琴弹奏信息、比对结果和多个曲谱的标准参数文件。曲谱的标准参数文件可以以musicXML的格式存储，musicXML格式的信息被解析出来存储到存储模块中，其中包括与每个音符对应的时间点，以及与每个时间点对应的标准触键力度信息、标准手部图像流信息和标准声音流信息；存储钢琴弹奏信息时按照采集时间进行存储，同一采集时间存储有声音流信息、手部图像流信息和触键力度信息，形成多维数组，表示方式为[t1,array1，array2，array3]，其中，array1，array2，array3分别表示触键力度信息、声音流信息和手部图像流信息。另外，通过信息处理模块获得的各个比对结果与钢琴弹奏信息一一对应存储，如力度比对结果存储方式为[t1,result1]，t1表示采集时间，result1为力度比对结果，综合全部的声音比对结果、力度比对结果和手部比对结果，存储为[t1,result1，result2，result3]。

显示模块用于显示曲谱的信息(包括曲谱名称、作者和音符)和当前弹奏的音符的位置标记(即，标记当前弹奏到哪个音符)，并且基于所述比对结果，显示指示当前弹奏的音符是否弹奏正确的标识。位置标记可采用位置框、颜色标记、闪烁标记、箭头标记中的一种或者多种标记方式。其中，由显示模块显示当前弹奏的音符的位置标记，该位置标记是指由信息处理模块基于所述钢琴弹奏信息确定的所述曲谱中与所述钢琴弹奏信息对应的音符的位置标记。在一个实施例中，用户开始弹奏时，显示模块自动标记第一个音符的位置，在显示完第一个音符是否演弹奏正确的标识之后，只要用户没有结束弹奏，就继续标记下一音符的位置。标记下一音符可以通过信息采集模块或信息处理模块发送的信号进行标记。可以在信息处理模块接收到相应的钢琴弹奏信息时，确定用户当前弹奏到哪一音符，如在按压琴键时，通过力度感应单元将采集的触键力度信息发送到信息处理模块，信息处理模块接收到力度感应单元发送的触键力度信息确定该钢琴按键当前弹奏的音符，即信息处理模块每接收到一次按压信息就发送一个信号给显示模块，显示模块根据信号继续依次标记下一音符。显示模型显示用户弹奏钢琴时对应的音符位置标记，即表示用户当前弹奏到哪个音符。显示模块还用于判断与当前音符对应的比对结果(即，与该音符对应的时间点的比对结果)是否均合格，如是则(例如，在当前音符的附近)显示正确标识以表示当前音符弹奏正确，否则显示错误标识。显示模块还用于在弹奏结束后，显示存储模块中存储的比对结果不合格的声音流信息、触键力度信息、手部图像流信息(即错误的声音流信息、错误的触键力度信息、错误的手部图像流信息)，并且用于显示标准的手部视频和/或标准的声音流信息。

具体而言，显示模块包括用户交互单元、处理器和显示设备。显示设备例如可以是智能手机、IPAD、液晶显示屏、电子水墨屏等具有显示功能的电子设备。处理器用于接收比对结果，并通过显示设备显示当前音符弹奏的正确标识或错误标识。显示设备还可以向用户显示输入按键(例如，开始弹奏按钮、查看错误信息按钮等)，当用户看到错误标识时，可以终止弹奏并按压显示设备上的按键，进而通过用户交互单元请求查看当前音符对应的错误声音流信息、错误触键力度信息或错误手部图像流信息，或者查看对应的标准手部视频/标准声音流信息进行练习和纠正；或用户继续弹奏直到控制模块检测到弹奏完毕后，用户再查看错误声音流信息、错误触键力度信息或错误手部图像流信息，或者查看对应的标准手部视频/标准声音流信息进行练习和纠正。

控制模块，用于控制信息采集模块、信息处理模块以及显示模块之间的相互配合，可以根据信息采集模块在预定时段没有感测到信息或信息处理模块在预定时段没有进行比对，进而确定弹奏结束。

上述实施例中，信息采集模块将采集的钢琴弹奏信息以预定时间间隔传送给信息处理模块。在另一个实施例中，信息采集模块可以从起始时间起持续地采集声音流信息、手部图像流信息(或称手部视频信息)和连续的触键力度信息，并实时地传送到信息处理模块，由信息处理模块按预定时间间隔提取声音流信息、手部图像流信息和触键力度信息，并与标准参数文件中的标准参数进行比对。信息采集模块可以将接收的声音流信息、手部视频信息和连续的触键力度信息传送到存储模块进行存储；并且显示模块可以在弹奏过程中，或者在弹奏结束后播放视频回放，视频回放页面会显示带有错误水印的视频，其中，回放视频时会根据曲谱名称和时间信息，通过处理器自动检索和读取错误的触键力度信息、错误的手部图像流信息和/或错误的声音流信息，并将相应错误的触键力度信息、错误的手部图像流信息和/或错误的声音流信息显示在显示设备上。在另一个实施例中，曲谱的标准参数文件记录曲谱中每个音符对应的时间点和该时间点对应的标准参数，信息采集模块可以根据每个音符对应的时间点采集钢琴弹奏信息并传送给信息处理模块，以由信息处理模块将采集的钢琴弹奏信息与标准参数文件中的标准参数进行比对；或者，信息采集模块可以从起始时间起持续地采集声音流信息、手部视频信息和连续的触键力度信息，并实时地传送到信息处理模块，由信息处理模块根据每个音符对应的时间点进行声音流信息、手部图像流信息和初见力度信息提取，并与标准参数文件中的标准参数进行比对。

在上述实施例中，信息采集模块包括三个单元。在其他实施例中，信息采集模块可以仅包含其中一个或两个单元，或者也可以包括其他采集单元，例如测距传感器单元，以辅助信息处理模块确定手部/手指与琴键的距离。另外，在用摄像头组成图像流采集单元的情况下，也可以用摄像头代替声音采集单元进行声音流信息的采集。

在另一个实施例中，视频采集装置还可只采用一个摄像头，且摄像头采用超广角镜头，并将架设位置设置在中间的较高位置采集整个钢琴的全景数据。因此，还需要选择较高性能的cpu作为图1所示的信息处理模块，进行修正处理超广角镜头本身产生的边缘畸变，以避免影响算法精度。

在另一个实施例中，视频采集装置采用左右两个摄像头分别覆盖最左侧键到中央C右侧键之间和最右侧键到中央C左侧键之间，两个摄像头均可以采用广角镜头。由于单侧摄像头只需要采集琴键半部分的图像，镜头部署位置要比单个镜头低很多，图像细节更加清晰，手部自身遮挡问题的影响也明显减小的很多，大大提升了错误识别的精度。同时，广角镜头的畸变要远小于超广角镜头，选择合适角度的广角镜头，通过正畸算法矫正图像，就能使得图像基本无失真感，对用户和算法都十分友好。

在另一个实施例中，显示模块包括用户交互单元和显示设备，通过信息处理模块与显示设备相互配合，显示当前音符弹奏的正确标识或错误标识，或弹奏完成后查看回放视频，信息处理模块自动检索和读取该音符处弹奏的错误的触键力度信息、错误的手部图像流信息和/或错误的声音流信息，并将相应错误的触键力度信息、错误的手部图像流信息和/或错误的声音流信息显示在显示设备上。

在另一方面，本发明还提供了一种实施上述教学系统的教学方法，如图3所示，该方法包括：

S1、由信息采集模块采集和发送用户弹奏曲谱时的钢琴弹奏信息，由显示模块显示所述曲谱的信息和用户弹奏所述曲谱时当前音符的位置标记。位置标记是指由信息处理模块基于所述钢琴弹奏信息确定的所述曲谱中与所述钢琴弹奏信息对应的音符的位置标记。

在一个实施例中，如图4所示，显示模块从存储模块读取预先存储的曲谱并标记当前弹奏曲谱首位音符位置，该标记同时也是显示用户弹奏当前音符时是否正确的正确标记或错误标记，当用户点击显示设备的开始弹奏按钮时，通过显示模块的用户交互单元将开始信号传递给控制模块，控制模块根据显示模块的开始信号检测到用户开始弹奏，启动信息采集模块，并且记录当前时间为弹奏起始时间。信息采集模块从采集信息的起始时间开始，以预定时间间隔向信息处理模块发送所采集的钢琴弹奏信息。如上文所述，预定时间间隔可以等于曲谱的标准参数文件中相邻时间点之间的间隔或者是相邻时间点之间的间隔的整数倍，并且不超过相邻音符所对应的时间点之间的间隔最小值，以确保根据钢琴弹奏信息的采集时间可以查找到与该采集时间对应的时间点的标准参数，以及确保采集到每个音符对应的时间点的标准参数。检测到用户点击显示设备的开始弹奏按钮时，显示模块还可以为用户显示曲谱信息和显示当前弹奏的音符的位置标记，该位置标记是指由信息处理模块基于所述钢琴弹奏信息确定的所述曲谱中与所述钢琴弹奏信息对应的音符的位置标记。用户开始弹奏时，显示模块自动标记第一个音符的位置，在显示完第一个音符是否演弹奏正确的标识之后，只要用户没有结束弹奏，就继续标记下一音符的位置。标记下一音符可以通过信息采集模块或信息处理模块发送的信号进行标记。可以在信息处理模块接收到相应的钢琴弹奏信息时，确定用户当前弹奏到哪一音符，如在按压琴键时，通过力度感应单元将采集的触键力度信息发送到信息处理模块，信息处理模块接收到力度感应单元发送的触键力度信息确定该钢琴按键当前弹奏的音符，即信息处理模块每接收到一次按压信息就发送一个信号给显示模块，显示模块根据信号继续依次标记下一音符。

在另一个实施例中，如图4所示，显示模块从存储模块读取预先存储的曲谱并标记当前弹奏曲谱首位音符位置，该标记同时也是显示用户弹奏当前音符时是否正确的正确标记或错误标记，同步各个采集单元的时间为统一的系统时间。控制模块检测到各个采集单元采集到数据，记录当前时间为弹奏起始时间。信息采集模块中的力度感应单元、声音采集单元和图像流采集单元均以该起始时间为首帧基准时间采集和记录数据，采集时可以对采集到的声音流信息进行去除静音段或去噪、降噪等预处理，以避免外部干扰，影响比对结果。记录时，力度感应单元的按键传感器会同时记录一个时间，存储格式为[t1,array1]，t1为触键时间，array1为触键力度信息；同时，声音采集单元在一段时间内采集的信息记录为声音流信息，该时间段内的任一时刻，如t1时刻的信息存储格式为[t1,array2]，t1为当前帧的音频时间，array2为当前帧的声音信息，视频采集单元在一段连续的时间内采集的信息记录为手部视频信息，该时间段内的任一时刻，如t1时刻的信息存储格式为[t1,array3]，t1为当前帧的手部图像的时间，array3为当前帧的手部图像信息。信息采集模块以预定的时间间隔将采集到的钢琴弹奏信息发送给信息处理模块，所发送的钢琴弹奏信息可以表示为[t1，array1，array2，array3]。

S2、由信息处理模块接收所述钢琴弹奏信息，计算所述钢琴弹奏信息与所述曲谱对应的标准参数间的差值，并且将所述差值与指定阈值比对获得比对结果；其中所述对比结果用于识别所述曲谱中与所述钢琴弹奏信息对应的音符是否弹奏正确。

其中，存储模块中预先存储有大量标准的钢琴弹奏曲目，各个曲目的曲谱均对应有标准参数文件，该标准参数文件将当前弹奏曲谱的标准弹奏时长进行划分得到多个时间点，记录曲谱中每个音符对应的时间点并且记录每个时间点对应的标准参数(包括标准声音流信息、标准手部图像流信息和标准触键力度信息)。当差值小于指定阈值，则将比对结果设置为合格；否则，将比对结果设置为不合格。

在一个实施例中，信息处理模块通过信息运算单元计算采集的声音流信息与采集时间(例如，t1时刻)对应的标准声音流信息间的声音差值，将声音差值与指定阈值进行比对，获得的各个比对结果与钢琴弹奏信息一一对应存储，如力度比对结果存储方式为[t1,result1]，t1表示采集时间，result1为力度比对结果，综合全部的声音比对结果、力度比对结果和手部比对结果，存储为[t1,result1，result2，result3]。当声音差值大于指定阈值时，将比对结果设置为声音不合格，当声音差值小于指定阈值时，将比对结果设置为声音合格；计算采集的触键力度信息与采集时间对应的标准触键力度信息的力度差值，将力度差值与指定阈值进行比对，当力度差值大于指定阈值时，将比对结果设置为力度不合格，当力度差值小于指定阈值时，将比对结果设置为力度合格；以及，计算采集的手部图像流信息与采集时间对应的标准手部图像流信息的手部差值，将手部差值与指定阈值进行比对，当手部差值大于指定阈值时，比对结果为手部不合格，当手部差值小于指定阈值时，比对结果为手部合格。根据触键时间，手部视频帧的时间和声音帧的时间，就可以对应完整的一个音符的音视频信息和分析结果，综合全部音符对应得到完整曲谱的音视频信息和分析结果。

在一个实施例中，可设置对应的差值阈值，差值阈值可以由用户设定或系统默认。

在一个实施例中，还可以为存储模块中各个曲目的曲谱对应的标准声音流信息、标准触键力度信息和标准手部视频信息均设置一个对应的误差区间，当用户弹奏的声音流信息、触键力度信息或手部视频信息落入对应的误差区间内时，可以认为该用户弹奏的声音流信息、触键力度信息或手部视频信息与标准声音流信息、标准触键力度信息或标准手部视频信息基本一致。

S3、由显示模块基于所述比对结果显示指示用户弹奏所述曲谱时当前音符是否弹奏正确的标识；由显示模块随着用户弹奏所述曲谱继续显示下一音符的位置标记，并且根据与下一音符对应的对比结果显示指示下一音符是否弹奏正确的标识，直到由控制模块确定用户弹奏结束。

显示模块根据接收到的比对结果，判断与当前音符对应的比对结果是否均合格。在一些实施例中，如图5所示，当比对结果为不合格，显示当前音符弹奏错误的错误标识。如果当前音符不是曲谱上的最后一个音符并且控制模块确定弹奏未结束，则显示模块标记下一音符，并且根据后续到达的比对结果显示指示下一音符是否弹奏正确的标识，直到控制模块根据信息采集模块在预定时段没有感测到信息或信息处理模块在预定时段没有进行比对时，确定弹奏结束。在确定弹奏结束后，显示错误的声音流信息、错误的触键力度信息、错误的手部视频信息、标准的手部视频和/或标准的声音流信息。

在另一个实施例中，如图5-图7所示，用户在弹奏完成后，可查看对应音符的错误详情，如当前音符的漏弹和指法错误，根据错误音符，可精准匹配对应弹奏的标准的手部视频信息，用户根据标准的手部视频信息进行弹奏练习。

需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。

在本发明的一个实施例中，可以通过计算机程序产品来实现本发明的方法。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

在本发明的一个实施例中，通过存储介质的形式来实现本发明的方法，计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。

本文中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此，短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个本文中各处的出现并非必须指代相同的实施例。此外，特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此，结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合，只要该组合不是不符合逻辑的或不能工作。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (13)

1.一种用于钢琴教学的教学系统，其特征在于，包括：

信息采集模块，用于采集和发送用户弹奏曲谱时的钢琴弹奏信息；

信息处理模块，用于接收所述钢琴弹奏信息，计算所述钢琴弹奏信息与所述曲谱对应的标准参数间的差值，并且将所述差值与指定阈值进行比对以获得比对结果，其中所述对比结果用于识别所述曲谱中与所述钢琴弹奏信息对应的音符是否弹奏正确；

显示模块，用于显示所述曲谱的信息和当前弹奏的音符的位置标记，并且基于所述比对结果，显示指示当前弹奏的音符是否弹奏正确的标识；

控制模块，用于控制所述信息采集模块、所述信息处理模块以及所述显示模块之间的相互配合，并确定用户是否弹奏结束。

2.根据权利要求1所述的用于钢琴教学的教学系统，其特征在于，所述信息采集模块包括声音采集单元、图像流采集单元和力度感应单元，所述钢琴弹奏信息包括声音流信息、手部图像流信息和触键力度信息，所述声音采集单元、图像流采集单元和力度感应单元分别用于采集钢琴弹奏信息中的声音流信息、手部图像流信息和触键力度信息。

3.根据权利要求1所述的用于钢琴教学的教学系统，其特征在于，还包括存储模块，用于存储所述钢琴弹奏信息、所述比对结果和所述曲谱对应的标准参数；

所述显示模块还用于在由所述控制模块确定用户弹奏结束后，显示错误的钢琴弹奏信息、标准的手部视频信息和/或标准的声音流信息。

4.根据权利要求1所述的用于钢琴教学的教学系统，其特征在于，所述信息处理模块用于将所述差值与指定阈值进行比对，如果所述差值小于所述指定阈值，则将所述比对结果设置为合格，否则将所述比对结果设置为不合格；其中，所述比对结果合格指示所述曲谱中与所述钢琴弹奏信息对应的音符弹奏正确，所述比对结果不合格指示所述曲谱中与所述钢琴弹奏信息对应的音符弹奏错误。

5.根据权利要求1所述的用于钢琴教学的教学系统，其特征在于，所述位置标记是指由信息处理模块基于所述钢琴弹奏信息确定的所述曲谱中与所述钢琴弹奏信息对应的音符的位置标记。

6.根据权利要求2所述的用于钢琴教学的教学系统，其特征在于，所述声音流信息包括采集时间、音符、音高、节拍和音强，所述手部图像信息包括采集时间、手部与琴键的相对位置图像和指尖与琴键的相对位置图像。

7.根据权利要求2所述的用于钢琴教学的教学系统，其特征在于，所述力度感应单元包括安装于琴键下方的按键传感器，用于采集弹奏钢琴时的触键力度信息。

8.根据权利要求2所述的用于钢琴教学的教学系统，其特征在于，所述声音采集单元和图像流采集单元分别包括声音采集装置和视频采集装置，所述声音采集装置包括一个或多个麦克风，所述视频采集装置包括安装在琴键上方的一个或多个摄像头。

9.一种采用如权利要求1-8任一项所述的用于钢琴教学的教学系统的教学方法，其特征在于，包括：

S1、由信息采集模块采集和发送用户弹奏曲谱时的钢琴弹奏信息，由显示模块显示所述曲谱的信息和用户弹奏所述曲谱时当前音符的位置标记；

S2、由信息处理模块接收所述钢琴弹奏信息，计算所述钢琴弹奏信息与所述曲谱对应的标准参数间的差值，并且将所述差值与指定阈值比对以获得比对结果；其中所述对比结果用于识别所述曲谱中与所述钢琴弹奏信息对应的音符是否弹奏正确；

S3、由显示模块基于所述比对结果显示指示用户弹奏所述曲谱时当前音符是否弹奏正确的标识；由显示模块随着用户弹奏所述曲谱继续显示下一音符的位置标记，并且根据与下一音符对应的对比结果显示指示下一音符是否弹奏正确的标识，直到由控制模块确定用户弹奏结束。

10.根据权利要求9所述的用于钢琴教学的教学方法，其特征在于，所述位置标记是指由信息处理模块基于所述钢琴弹奏信息确定的所述曲谱中与所述钢琴弹奏信息对应的音符的位置标记。

11.根据权利要求9所述的用于钢琴教学的教学方法，其特征在于，所述S2包括：

当所述差值小于所述指定阈值，则将所述比对结果设置为合格，以指示所述曲谱中与所述钢琴弹奏信息对应的音符弹奏正确；

否则，将所述比对结果设置为不合格，以指示所述曲谱中与所述钢琴弹奏信息对应的音符弹奏错误。

12.一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求9-11中任一项所述的方法。

13.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求9-11中任一项所述的方法的步骤。

Images