CN109559593B - 一种基于混合现实的钢琴训练系统及方法 - Google Patents

Abstract

本发明公开了一种基于混合现实的钢琴训练系统及方法。所述钢琴训练系统包括混合现实头盔、琴键模块、感应模块和处理模块；其中，所述琴键模块，具有多个可供用户进行按压操作的真实按键；多个所述感应模块，分别设置在多个所述真实按键上；所述处理模块，信号连接所述混合现实头盔和多个所述感应模块；所述混合现实头盔，供用户随身佩戴。采用本发明提供的所述钢球训练系统进行钢琴训练可以增加钢琴训练过程的乐趣、防止钢琴训练过程中训练者的颈椎受长时间压迫、同时避免了钢琴训练过程发出噪音。

Description

一种基于混合现实的钢琴训练系统及方法

技术领域

本发明涉及混合现实技术领域，具体涉及一种基于混合现实的钢琴训练系统及方法。

背景技术

钢琴被誉为“乐器之王”，随着社会的进步和时代的发展，人们开始注重精神上的追求和个人的修养，各个年龄阶层的人中都涌现出大量的钢琴学习者，大批的培训机构也应运而生。

但是，钢琴教学工作者的音乐素养和教学水平各异，对钢琴爱好者寻找一个合适的钢琴老师造成了困扰。同时，跟随老师学习钢琴的花费往往不菲，钢琴学习者需要承受较大的经济压力。而钢琴的学习主要在于学习者平时的练习，也可能会觉得练习过程枯燥无味。在练习时也常常因为噪音而影响到他人，导致练习受到限制。

目前有部分技术利用增强现实在空间中添加虚拟的音符来协助练习，但是这些方法需要使用者注视琴键，长时间练习对颈椎造成过大压力，同时也没有解决噪音的问题。

发明内容

本发明要解决的技术问题在于，针对现有技术存在的上述问题，提供一种基于混合现实的钢琴训练系统，其可以增加钢琴训练过程的乐趣、防止钢琴训练过程中训练者的颈椎受长时间压迫、同时避免了钢琴训练过程发出噪音。本发明提供了一种基于混合现实的钢琴训练方法。

为解决上述技术问题，本发明提供一种基于混合现实的钢琴训练系统，包括混合现实头盔、琴键模块、感应模块和处理模块；其中，

所述琴键模块，具有多个可供用户进行按压操作的真实按键；

多个所述感应模块，分别设置在多个所述真实按键上，用于在感应到所述真实按键被按压时发出对应的触发信号；

所述处理模块，信号连接所述混合现实头盔和多个所述感应模块，用于在接收到所述感应模块发出的触发信号时生成对应的音频信号，并将所述音频信号传输至所述混合现实头盔；还用于加载并根据标准钢琴文件生成对应的虚拟训练场景，并将所述虚拟训练场景传输至所述混合现实头盔；

所述混合现实头盔，供用户随身佩戴，用于播放所述音频信号和所述虚拟训练场景。

在本发明提供的基于混合现实的钢琴训练系统中，所述虚拟训练场景包括一条虚拟的弹奏提示线，所述弹奏提示线的上方有从上往下落的提示符。

在本发明提供的基于混合现实的钢琴训练系统中，所述提示符具有形状不同的两个形态，所述两个形态分别为第一形态和第二形态，当所述提示符远离所述弹奏提示线时所述提示符呈第一形态，当所述提示符接近所述弹奏提示线时所述提示符呈第二形态。

在本发明提供的基于混合现实的钢琴训练系统中，所述提示符呈第二形态时，其在上下方向上的尺寸与所述提示符的持续时间成正比。

在本发明提供的基于混合现实的钢琴训练系统中，所述真实按键的数量和所述感应模块的数量均为N，所述弹奏提示线包括有效提示区段，所述有效提示区段被多个分隔线等分成N个提示符掉落区段，N个所述真实按键与N个所述提示符掉落区段一一对应。

在本发明提供的基于混合现实的钢琴训练系统中，所述处理模块还用于对比所述音频信号与所述标准钢琴文件，并在判断所述音频信号与所述标准钢琴文件不相符时生成错误提示信号；所述混合现实头盔用于接收所述错误提示信号并播放相应的图像或声音。

为解决上述技术问题，本发明还提供了一种基于混合现实的钢琴训练方法，使用如上所述的钢琴训练系统，所述钢琴训练方法包括如下步骤：

在所述处理模块上加载所述标准钢琴文件，所述处理模块根据所述标准钢琴文件生成对应的所述虚拟训练场景；

开启并佩戴所述混合现实头盔，此时训练者可通过所述混合现实头盔看到所述虚拟训练场景；

训练者根据所述虚拟训练场景在所述琴键模块上进行弹奏训练，当所述琴键模块上的真实按键被训练者按压时，对应的所述感应模块产生并发出对应的触发信号至所述处理模块；

所述处理模块接收到所述感应模块发出的触发信号时生成对应的音频信号，并将所述音频信号传输至所述混合现实头盔；

所述混合现实头盔播放所述音频信号，以使训练者能够在训练过程中按压所述真实按键时听到对应的声音。

本发明提供的基于混合现实的钢琴训练方法中，所述钢琴训练方法包括如下步骤：

所述处理模块对比所述音频信号与所述标准钢琴文件，并在判断所述音频信号与所述标准钢琴文件不相符时生成错误提示信号；

所述混合现实头盔接收所述错误提示信号并播放相应的图像或声音。

本发明提供的基于混合现实的钢琴训练方法中，所述虚拟训练场景包括一条虚拟的弹奏提示线，所述弹奏提示线的上方有从上往下落的提示符；所述提示符具有形状不同的两个形态，所述两个形态分别为第一形态和第二形态，当所述提示符远离所述弹奏提示线时所述提示符呈第一形态，当所述提示符接近所述弹奏提示线时所述提示符呈第二形态；所述提示符呈第二形态时，其在上下方向上的尺寸与所述提示符的持续时间成正比；所述真实按键的数量和所述感应模块的数量均为N，所述弹奏提示线包括有效提示区段，所述有效提示区段被多个分隔线等分成N个提示符掉落区段，N个所述真实按键与N个所述提示符掉落区段一一对应；

所述的“训练者根据所述虚拟训练场景在所述琴键模块上进行弹奏训练”的过程是：当所述提示符下落到底部恰好与所述弹奏提示线接触时，训练者按压与所述提示符所在的所述提示符掉落区段相对于的所述真实按键，并在所述提示符的顶部恰好与所述弹奏提示线分离后松开所述真实按键。

本发明提供的基于混合现实的钢琴训练方法中，所述混合现实头盔显示的所述弹奏提示线分布在正对人眼的前方偏下位置，且随所述混合现实头盔上下移动而移动。

与现有技术相比，实施本发明，具有如下有益效果：本发明提供的基于混合现实的钢琴训练系统及方法可以增加钢琴训练过程的乐趣、防止钢琴训练过程中训练者的颈椎受长时间压迫、同时避免了钢琴训练过程发出噪音。

附图说明

图1为本发明实施例一提供的基于混合现实的钢琴训练系统的方框原理图；

图2为本发明实施例一提供的基于混合现实的钢琴训练系统中的虚拟训练场景的示意图；

图3为本发明实施例一提供的基于混合现实的钢琴训练系统中混合现实头盔的立体示意图。

具体实施方式中的附图标号说明：

混合现实头盔	100	琴键模块	200
				处理模块	300	感应模块	400
弹奏提示线	101	提示符	102
				提示符掉落区段	1011

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例提供了一种基于混合现实的钢琴训练系统。所述钢琴训练系统包括混合现实头盔100、琴键模块200、感应模块400和处理模块300。其中，所述琴键模块200，具有多个可供用户进行按压操作的真实按键；多个所述感应模块400，分别设置在多个所述真实按键上，用于在感应到所述真实按键被按压时发出对应的触发信号；所述处理模块300，信号连接所述混合现实头盔100和多个所述感应模块400，用于在接收到所述感应模块400发出的触发信号时生成对应的音频信号，并将所述音频信号传输至所述混合现实头盔100；还用于加载并根据标准钢琴文件生成对应的虚拟训练场景，并将所述虚拟训练场景传输至所述混合现实头盔100；所述混合现实头盔100，供用户随身佩戴，用于播放所述音频信号和所述虚拟训练场景。

所述琴键模块200可以是与真实钢琴相仿的结构，所述琴键模块200上具有的所述真实按键的数量与真实钢琴上的琴键的数量相同，而且，多个所述真实按键的尺寸及排列均保持与真实钢琴一致，从而保证训练者在训练过程中能够感受到更加真实的弹奏钢琴的感觉。当然，在其他的实施例中，为了使所述钢琴训练系统更加的简易方便携带，我们还可将所述琴键模块200设计成仅仅具有与真实钢琴的键盘相仿的结构，也就是说，所述琴键模块200仅包括键盘主体和设置在所述键盘主体上的真实按键。这样既能够保证训练者的真实感受，有能够使得所述钢琴训练系统更加的简易便于携带。

所述感应模块400的数量与所述真实按键的数量是相同的，每一个所述真实按键的下侧均设有一个所述感应模块400。所述感应模块400与所述处理模块300之间的信号连接可以通过有线或无线的方式实现。当我们选择采用有线的方式实现所述感应模块400与所述处理模块300之间的信号连接时，可以将所述感应模块400设计为包括压力传感器，所述处理模块300可以是计算机、笔记本电脑、智能手机或是平板电脑，多个所述感应模块400通过数据线与所述处理模块300连接。当我们选择采用无线的方式实现所述感应模块400与所述处理模块300之间的信号连接时，可以在所述琴键模块200上设置一个与多个所述感应模块400连接的蓝牙芯片，使得所述感应模块400与所述处理模块300之间通过蓝牙配对进行信号传输。

所述处理模块300与所述混合现实头盔100之间通过蓝牙配对实现信号连接。当然，在其他实施例中，可以通过数据线将所述处理模块300与所述混合现实头盔100进行有线连接，以实现两者之间的信号传输。当所述真实按键被按压时，对应与所述真实按键的所述感应模块400会生成相应的触发信号，所述处理模块300接收到所述触发信号时会生成相应的音频信号。这里需要详细说明的是，所述处理模块300接收到不同的所述感应模块400发出的所述触发信号时产生的所述音频信号也是不同的，所述处理模块300所能产生的所述音频信号的种类等于所述真实按键的数量，而且多个所述音频信号与真实钢琴的多个琴键的声音为一一映射的关系。也就就是说，当训练者按下了所述琴键模块200的从左往右数的第一个所述真实按键时，所述混合现实头盔100接受到对应所述音频信号后播放的对应的声音是与真实钢琴的从左往右数的第一个琴键发出的声音相同的。需要提出的是，所述混合现实头盔100是通过自带的耳机来播放所述音频信号的，如此，避免了钢琴训练过程发出噪音，而对附近居民造成影响。

当所述处理模块300上加载了所述标准钢琴文件时，所述处理模块300生成对应的所述虚拟训练场景。所述虚拟训练场景包括一条虚拟的弹奏提示线101，所述弹奏提示线101的上方有从上往下落的提示符102。所述弹奏提示线101包括有效提示区段，所述有效提示区段被多个分隔线等分成多个提示符掉落区段1011，所述提示符掉落区段1011的数目与所述真实按键的数目一致，多个所述提示符掉落区段1011与多个所述真实按键为一一映射的关系。所述提示符102具有形状不同的两个形态，所述两个形态分别为第一形态和第二形态，当所述提示符102远离所述弹奏提示线101时所述提示符102呈第一形态，当所述提示符102接近所述弹奏提示线101时所述提示符102呈第二形态。具体的，所述提示符102的初始位置与所述弹奏提示线101之间有一定距离L，我们可以设置当所述提示符102与所述弹奏提示线101之间的距离为L的二分之一或三分之一或四分之一时从第一形态变化成第二形态，这样可以提示训练者做好准备。本实施例中，所述第一形态为五线谱音符状，所述第二形态为长方形状。所述提示符102呈第二形态时，其在上下方向上的尺寸与所述提示符102的持续时间成正比。

下面具体介绍使用所述钢琴训练系统进行钢琴训练的具体过程：包括如下步骤：

1)在所述处理模块300上加载所述标准钢琴文件，所述处理模块300根据所述标准钢琴文件生成对应的所述虚拟训练场景；

2)开启并佩戴所述混合现实头盔100，此时训练者可通过所述混合现实头盔100看到所述虚拟训练场景；

3)训练者根据所述虚拟训练场景在所述琴键模块200上进行弹奏训练，当所述琴键模块200上的真实按键被训练者按压时，对应的所述感应模块400产生并发出对应的触发信号至所述处理模块300；所述的“训练者根据所述虚拟训练场景在所述琴键模块200上进行弹奏训练”的过程是：当所述提示符102下落到底部恰好与所述弹奏提示线101接触时，训练者按压与所述提示符102所在的所述提示符掉落区段1011相对于的所述真实按键，并在所述提示符102的顶部恰好与所述弹奏提示线101分离后松开所述真实按键。

4)所述处理模块300接收到所述感应模块400发出的触发信号时生成对应的音频信号，并将所述音频信号传输至所述混合现实头盔100；

5)所述混合现实头盔100播放所述音频信号，以使训练者能够在训练过程中按压所述真实按键时听到对应的声音，切实的感受到自己的弹奏效果。

综上所述，训练者采用本实施例提供的钢琴训练系统进行钢琴训练中，训练者根据所述虚拟训练场景中的提示符102的下落顺序及提示符102处于第二形态时的长度在所述琴键模块200上进行模拟弹奏，整个过程犹如进行一次音乐节奏类游戏，使得训练者能够在乐趣中学习。而且所述琴键模块200可以为训练者提供真实的触感，使得训练者在训练过程中能够体会到更加真切的弹奏感。更重要的是，训练者在按压所述真实按键时，所述琴键模块200本身是不会发出声音的，而是通过所述混合现实头盔100的耳机播放对应的声音，避免了钢琴训练过程发出噪音，而对附近居民造成影响。

进一步优化的，所述处理模块300还用于对比所述音频信号与所述标准钢琴文件，并在判断所述音频信号与所述标准钢琴文件不相符时生成错误提示信号；所述混合现实头盔100用于接收所述错误提示信号并播放相应的图像或声音。本实施例中，所述混合显示头盔在接收到所述错误提示信号后在所述虚拟训练场景内生成一个红色的圆形，这样，可以及时的提醒训练者当前操作出现错误。

进一步优化的，所述混合现实头盔100显示的所述弹奏提示线101分布在正对人眼的前方偏下位置，且随所述混合现实头盔100上下移动而移动。当训练者将所述混合显示头盔佩戴于头部时，由于所述弹奏提示线101会随所述混合现实头盔100上下移动而移动，那么，在训练的过程中，训练者的头部不必要长时间保持一个姿势，可以适当的低头或抬头以活动颈部，既不会打断训练，又能够缓解颈部疲劳。

实施例二

本实施例提供一种基于混合现实的钢琴训练方法。所述钢球训练方法使用如实施例一提供的钢琴训练系统来完成，所述钢琴训练方法包括如下步骤：

1)在所述处理模块300上加载所述标准钢琴文件，所述处理模块300根据所述标准钢琴文件生成对应的所述虚拟训练场景；

2)开启并佩戴所述混合现实头盔100，此时训练者可通过所述混合现实头盔100看到所述虚拟训练场景；

3)训练者根据所述虚拟训练场景在所述琴键模块200上进行弹奏训练，当所述琴键模块200上的真实按键被训练者按压时，对应的所述感应模块400产生并发出对应的触发信号至所述处理模块300；

4)所述处理模块300接收到所述感应模块400发出的触发信号时生成对应的音频信号，并将所述音频信号传输至所述混合现实头盔100；

5)所述混合现实头盔100播放所述音频信号，以使训练者能够在训练过程中按压所述真实按键时听到对应的声音。

进一步的，所述钢琴训练方法还包括如下步骤：

6)所述处理模块300对比所述音频信号与所述标准钢琴文件，并在判断所述音频信号与所述标准钢琴文件不相符时生成错误提示信号；

7)所述混合现实头盔100接收所述错误提示信号并播放相应的图像或声音。

具体可以参照实施例一中关于“具体介绍使用所述钢琴训练系统进行钢琴训练的具体过程”的部分，这了不再赘述。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护范围之内。

Claims (6)

1.一种基于混合现实的钢琴训练系统，其特征在于，包括混合现实头盔、琴键模块、感应模块和处理模块；其中，

所述琴键模块，具有多个可供用户进行按压操作的真实按键；

多个所述感应模块，分别设置在多个所述真实按键上，用于在感应到所述真实按键被按压时发出对应的触发信号；

所述处理模块，信号连接所述混合现实头盔和多个所述感应模块，用于在接收到所述感应模块发出的触发信号时生成对应的音频信号，并将所述音频信号传输至所述混合现实头盔；还用于加载并根据标准钢琴文件生成对应的虚拟训练场景，并将所述虚拟训练场景传输至所述混合现实头盔；

所述混合现实头盔，供用户随身佩戴，用于播放所述音频信号和所述虚拟训练场景；

所述虚拟训练场景包括一条虚拟的弹奏提示线，所述弹奏提示线的上方有从上往下落的提示符；

所述提示符具有形状不同的两个形态，所述两个形态分别为第一形态和第二形态，当所述提示符远离所述弹奏提示线时所述提示符呈第一形态，当所述提示符接近所述弹奏提示线时所述提示符呈第二形态；

所述提示符呈第二形态时，其在上下方向上的尺寸与所述提示符的持续时间成正比；

所述混合现实头盔显示的所述弹奏提示线分布在正对人眼的前方偏下位置，且随所述混合现实头盔上下移动而移动。

2.根据权利要求1所述的基于混合现实的钢琴训练系统，其特征在于，所述真实按键的数量和所述感应模块的数量均为N，所述弹奏提示线包括有效提示区段，所述有效提示区段被多个分隔线等分成N个提示符掉落区段，N个所述真实按键与N个所述提示符掉落区段一一对应。

3.根据权利要求1所述的基于混合现实的钢琴训练系统，其特征在于，所述处理模块还用于对比所述音频信号与所述标准钢琴文件，并在判断所述音频信号与所述标准钢琴文件不相符时生成错误提示信号；所述混合现实头盔用于接收所述错误提示信号并播放相应的图像或声音。

4.一种基于混合现实的钢琴训练方法，其特征在于，使用如权利要求1所述的钢琴训练系统，所述钢琴训练方法包括如下步骤：

在所述处理模块上加载所述标准钢琴文件，所述处理模块根据所述标准钢琴文件生成对应的所述虚拟训练场景；

开启并佩戴所述混合现实头盔，此时训练者可通过所述混合现实头盔看到所述虚拟训练场景；

训练者根据所述虚拟训练场景在所述琴键模块上进行弹奏训练，当所述琴键模块上的真实按键被训练者按压时，对应的所述感应模块产生并发出对应的触发信号至所述处理模块；

所述处理模块接收到所述感应模块发出的触发信号时生成对应的音频信号，并将所述音频信号传输至所述混合现实头盔；

所述混合现实头盔播放所述音频信号，以使训练者能够在训练过程中按压所述真实按键时听到对应的声音。

5.根据权利要求4所述的基于混合现实的钢琴训练方法，其特征在于，所述钢琴训练方法包括如下步骤：

所述处理模块对比所述音频信号与所述标准钢琴文件，并在判断所述音频信号与所述标准钢琴文件不相符时生成错误提示信号；

所述混合现实头盔接收所述错误提示信号并播放相应的图像或声音。

6.根据权利要求4所述的基于混合现实的钢琴训练方法，其特征在于，所述虚拟训练场景包括一条虚拟的弹奏提示线，所述弹奏提示线的上方有从上往下落的提示符；所述提示符具有形状不同的两个形态，所述两个形态分别为第一形态和第二形态，当所述提示符远离所述弹奏提示线时所述提示符呈第一形态，当所述提示符接近所述弹奏提示线时所述提示符呈第二形态；所述提示符呈第二形态时，其在上下方向上的尺寸与所述提示符的持续时间成正比；所述真实按键的数量和所述感应模块的数量均为N，所述弹奏提示线包括有效提示区段，所述有效提示区段被多个分隔线等分成N个提示符掉落区段，N个所述真实按键与N个所述提示符掉落区段一一对应；

所述的“训练者根据所述虚拟训练场景在所述琴键模块上进行弹奏训练”的过程是：当所述提示符下落到底部恰好与所述弹奏提示线接触时，训练者按压与所述提示符所在的所述提示符掉落区段相对于的所述真实按键，并在所述提示符的顶部恰好与所述弹奏提示线分离后松开所述真实按键。

Images