CN108205946A - 一种基于增强现实的钢琴教学方法、设备及钢琴 - Google Patents

一种基于增强现实的钢琴教学方法、设备及钢琴 Download PDF

Info

Publication number
CN108205946A
CN108205946A CN201611169359.7A CN201611169359A CN108205946A CN 108205946 A CN108205946 A CN 108205946A CN 201611169359 A CN201611169359 A CN 201611169359A CN 108205946 A CN108205946 A CN 108205946A
Authority
CN
China
Prior art keywords
piano
key
note
playing
virtual visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611169359.7A
Other languages
English (en)
Other versions
CN108205946B (zh
Inventor
姚树沛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuwo Technology Co Ltd
Original Assignee
Beijing Kuwo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuwo Technology Co Ltd filed Critical Beijing Kuwo Technology Co Ltd
Priority to CN201611169359.7A priority Critical patent/CN108205946B/zh
Publication of CN108205946A publication Critical patent/CN108205946A/zh
Application granted granted Critical
Publication of CN108205946B publication Critical patent/CN108205946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G09B15/02—Boards or like means for providing an indication of notes
    • G09B15/023—Electrically operated

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于增强现实的钢琴教学方法、设备及钢琴。该方法包括：定位钢琴的琴键位置；加载标准钢琴文件，并根据所述钢琴标准文件，在所述钢琴琴键位置上方生成相应的虚拟可视的钢琴音符；通过分析所述钢琴的琴键位置的变化，获取所述演奏者的弹奏情况，并基于所述虚拟可视的钢琴音符对所述演奏者的弹奏情况进行评分。该系统包括定位模块、转化模块和处理模块。该钢琴为包括该钢琴教学设备的钢琴。本发明通过使钢琴演奏者看到虚拟可视的钢琴音符来增加钢琴演奏过程中的趣味性，并基于虚拟可视的钢琴音符对钢琴的演奏情况进行评分，增进演奏者对自身演奏水平的了解，一定程度上实现了辅助教学。

Description

一种基于增强现实的钢琴教学方法、设备及钢琴
技术领域
本发明涉及视频图像处理技术领域，尤其涉及一种钢琴演奏的纠错方法及系统。
背景技术
音乐是人类灵魂的一部分，钢琴被誉为“乐器之王”，随着社会的进步和时代的发展，人们开始注重精神上的追求和个人的修养，各个年龄阶层的人中都涌现出大量的钢琴学习者，大批的培训机构也应运而生。
但是，钢琴教学工作者的音乐素养和教学水平各异，对钢琴爱好者寻找一个合适的钢琴老师造成了困扰。同时，跟随老师学习钢琴的花费往往不菲，钢琴学习者需要承受较大的经济压力。而钢琴的学习主要在于学习者平时的练习，在单独的练习过程中可能无法较好的判断自己的弹奏水平，也可能会觉得练习过程枯燥无味。
发明内容
本发明的目的在于，为解决现有技术中的上述问题，提供了一种基于增强现实的钢琴教学方法、设备及钢琴，通过使钢琴演奏者看到虚拟可视的钢琴音符来增加钢琴演奏过程中的趣味性，并基于虚拟可视的钢琴音符对钢琴的演奏情况进行评分，增进演奏者对自身演奏水平的了解，一定程度上实现了辅助教学。
为了实现上述目的，一方面，本发明提供了一种基于增强现实的钢琴教学方法。该方法包括以下步骤：定位钢琴的琴键位置；加载标准钢琴文件，并根据钢琴标准文件，在钢琴琴键位置上方生成相应的虚拟可视的钢琴音符；通过分析钢琴的琴键位置的变化，获取演奏者的弹奏情况，并基于虚拟可视的钢琴音符对演奏者的弹奏情况进行评分。
优选地，定位钢琴的琴键位置步骤具体包括：在钢琴琴键上铺设一层超薄的激光接收器，定位仪根据检测到的激光接收器的坐标对钢琴的琴键位置进行定位。
优选地，基于虚拟可视的钢琴音符对演奏者的弹奏情况进行评分步骤具体包括：当虚拟可视的钢琴音符尚未掉落至对应的钢琴的琴键上时，用户弹奏该钢琴琴键则分数增加，当虚拟可视的钢琴音符掉落至对应的钢琴的琴键上后用户仍未能弹奏该钢琴琴键则分数不变。
优选地，基于虚拟可视的钢琴音符，对演奏者的弹奏情况进行评分步骤还包括：在弹奏的过程中显示分数的变化和/或在弹奏结束后显示最终的分数。
优选地，在加载标准钢琴文件步骤之前还包括：获取标准钢琴文件。
另一方面，本发明提供了一种基于增强现实的钢琴教学设备。该设备包括定位模块、转化模块和处理模块。定位模块用于定位钢琴的琴键位置；转化模块用于加载标准钢琴文件，并根据钢琴标准文件，在钢琴琴键位置上方生成相应的虚拟可视的钢琴音符；处理模块用于通过分析钢琴的琴键位置的变化，获取演奏者的弹奏情况，并基于虚拟可视的钢琴音符对演奏者的弹奏情况进行评分。
优选地，定位模块包括定位仪和一层超薄的激光接收器，激光接收器铺设于钢琴的琴键上。
优选地，处理模块具体用于：通过分析钢琴的琴键位置的变化，获取演奏者的弹奏情况，当虚拟可视的钢琴音符尚未掉落至对应的钢琴的琴键上时，用户弹奏该钢琴琴键则分数增加，当虚拟可视的钢琴音符掉落至对应的钢琴的琴键上后用户仍未能弹奏该钢琴琴键则分数不变；在弹奏的过程中显示分数的变化和/或在弹奏结束后显示最终的分数。
优选地，还包括通信模块，通信模块用于从服务器获取标准钢琴文件。
又一方面，本发明还提供了一种钢琴。该钢琴包括上述基于增强现实的钢琴教学设备。
本发明提供的一种基于增强现实的钢琴教学方法、设备及钢琴，通过使钢琴演奏者看到虚拟可视的钢琴音符来增加钢琴演奏过程中的趣味性，并基于虚拟可视的钢琴音符对钢琴的演奏情况进行评分，增进演奏者对自身演奏水平的了解，一定程度上实现了辅助教学。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
图1为本发明实施例提供的一种基于增强现实的钢琴教学方法的流程示意图；
图2为本发明实施例提供的一种基于增强现实的钢琴教学设备的结构示意图；
图3为本发明实施例提供的另一种基于增强现实的钢琴教学设备的结构示意图；
图4为本发明实施例提供的又一种基于增强现实的钢琴教学设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。
图1为本发明实施例提供的一种基于增强现实的钢琴教学方法的流程示意图。如图所示，该方法包括步骤S101-S103：
S101，定位钢琴的琴键位置。
定位的基本原理为利用定位光塔，对定位空间发射横竖两个方向扫射的激光，在被定位物体上放置多个激光感应接收器，通过计算两束光纤到达定位物体的角度差，计算出待定位节点的坐标。
具体地，在钢琴琴键上铺设一层超薄的激光接收器，定位仪中的定位光塔对定位空间发射横竖两个方向扫射的激光，通过计算两束光纤到达激光接收器的角度差，计算出激光接收器节点的坐标，根据检测计算出的激光接收器的坐标对钢琴的琴键位置进行定位。
S102，加载标准钢琴文件，并根据钢琴标准文件，在钢琴琴键位置上方生成相应的虚拟可视的钢琴音符。
具体地，在加载标准钢琴文件之前，还可以包括获取标准钢琴文件。根据钢琴标准文件，利用现有的虚拟现实(Virtual Reality，简称VR)技术，将钢琴标准文件转化成虚拟可视的三维立体钢琴音符，并投射在相应的钢琴琴键位置的上方。
S103，通过分析钢琴的琴键位置的变化，获取演奏者的弹奏情况，并基于虚拟可视的钢琴音符对演奏者的弹奏情况进行评分。
当所述虚拟可视的钢琴音符尚未掉落至对应的钢琴的琴键上时，用户弹奏该钢琴琴键则分数增加，当所述虚拟可视的钢琴音符掉落至对应的钢琴的琴键上后用户仍未能弹奏该钢琴琴键则分数不变。在弹奏的过程中显示分数的变化和/或在弹奏结束后显示最终的分数。
本发明实施例提供的一种基于增强现实的钢琴教学方法，通过使钢琴演奏者看到虚拟可视的钢琴音符来增加钢琴演奏过程中的趣味性，并基于虚拟可视的钢琴音符对钢琴的演奏情况进行评分，增进演奏者对自身演奏水平的了解，一定程度上实现了辅助教学。
图2为本发明实施例提供的一种基于增强现实的钢琴教学设备的结构示意图。如图2所示，该设备200包括：定位模块201、转化模块202和处理模块203。
定位模块201用于定位钢琴的琴键位置。
定位模块包括定位仪和一层超薄的激光接收器，激光接收器铺设于钢琴的琴键上。定位仪中的定位光塔对定位空间发射横竖两个方向扫射的激光，通过计算两束光纤到达激光接收器的角度差，计算出激光接收器节点的坐标，根据检测计算出的激光接收器的坐标对钢琴的琴键位置进行定位。
转化模块202用于加载标准钢琴文件，并根据钢琴标准文件，在钢琴琴键位置上方生成相应的虚拟可视的钢琴音符。
具体地，转化模块202根据钢琴标准文件，利用现有的VR(Virtual Reality)技术，将钢琴标准文件转化成虚拟可视的三维立体钢琴音符，并投射在相应的钢琴琴键位置的上方。
处理模块203用于通过分析钢琴的琴键位置的变化，获取演奏者的弹奏情况，并基于虚拟可视的钢琴音符对演奏者的弹奏情况进行评分。
具体地，处理模块203通过分析钢琴的琴键位置的变化，获取演奏者的弹奏情况，包括所按琴键的位置和时间点，并基于虚拟可视的钢琴音符对演奏者的弹奏情况进行评分。当所述虚拟可视的钢琴音符尚未掉落至对应的钢琴的琴键上时，用户弹奏该钢琴琴键则分数增加，当所述虚拟可视的钢琴音符掉落至对应的钢琴的琴键上后用户仍未能弹奏该钢琴琴键则分数不变。在弹奏的过程中显示分数的变化和/或在弹奏结束后显示最终的分数。
图3为本发明实施例提供的另一种基于增强现实的钢琴教学设备的结构示意图。如图3所示，该系统200除了定位模块201、转化模块202和处理模块203以外，还可以包括通信模块204。通信模块204用于在加载标准钢琴文件以前获取标准钢琴文件。
图4为本发明实施例提供的又一种基于增强现实的钢琴教学设备的结构示意图。如图3所示，该系统200除了定位模块201、转化模块202、处理模块203和通信模块204以外，还可以包括存储模块205。存储模块205用于接收并存储通信模块204获得的标准钢琴文件。
本发明实施例提供的一种基于增强现实的钢琴教学设备，通过使钢琴演奏者看到虚拟可视的钢琴音符来增加钢琴演奏过程中的趣味性，并基于虚拟可视的钢琴音符对钢琴的演奏情况进行评分，增进演奏者对自身演奏水平的了解，一定程度上实现了辅助教学。
另一方面，本发明还提供了一种钢琴。该钢琴包括上述的基于增强现实的钢琴教学设备。
本发明实施例提供的一种钢琴，通过使钢琴演奏者看到虚拟可视的钢琴音符来增加钢琴演奏过程中的趣味性，并基于虚拟可视的钢琴音符对钢琴的演奏情况进行评分，增进演奏者对自身演奏水平的了解，一定程度上实现了辅助教学。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于增强现实的钢琴教学方法，其特征在于，包括以下步骤：
定位钢琴的琴键位置；
加载标准钢琴文件，并根据所述钢琴标准文件，在所述钢琴琴键位置上方生成相应的虚拟可视的钢琴音符；
通过分析所述钢琴的琴键位置的变化，获取所述演奏者的弹奏情况，并基于所述虚拟可视的钢琴音符对所述演奏者的弹奏情况进行评分。
2.根据权利要求1所述的方法，其特征在于，所述定位钢琴的琴键位置步骤具体包括：
在钢琴琴键上铺设一层超薄的激光接收器，定位仪根据检测到的激光接收器的坐标对钢琴的琴键位置进行定位。
3.根据权利要求1或2所述的方法，其特征在于，所述基于所述虚拟可视的钢琴音符对演奏者的弹奏情况进行评分步骤具体包括：
当所述虚拟可视的钢琴音符尚未掉落至对应的钢琴的琴键上时，用户弹奏该钢琴琴键则分数增加，当所述虚拟可视的钢琴音符掉落至对应的钢琴的琴键上后用户仍未能弹奏该钢琴琴键则分数不变。
4.根据权利要求3所述的方法，其特征在于，所述基于所述虚拟可视的钢琴音符，对演奏者的弹奏情况进行评分步骤还包括：在弹奏的过程中显示分数的变化和/或在弹奏结束后显示最终的分数。
5.根据权利要求1或4所述的方法，其特征在于，在所述加载标准钢琴文件步骤之前还包括：获取所述标准钢琴文件。
6.一种基于增强现实的钢琴教学设备，其特征在于，包括以下步骤：
定位模块，用于定位钢琴的琴键位置；
转化模块，用于加载标准钢琴文件，并根据所述钢琴标准文件，在所述钢琴琴键位置上方生成相应的虚拟可视的钢琴音符；
处理模块，用于通过分析所述钢琴的琴键位置的变化，获取所述演奏者的弹奏情况，并基于所述虚拟可视的钢琴音符对所述演奏者的弹奏情况进行评分。
7.根据权利要求6所述的设备，其特征在于，所述定位模块包括定位仪和一层超薄的激光接收器，所述激光接收器铺设于所述钢琴的琴键上。
8.根据权利要求7所述的设备，其特征在于，所述处理模块具体用于：通过分析所述钢琴的琴键位置的变化，获取所述演奏者的弹奏情况，当所述虚拟可视的钢琴音符尚未掉落至对应的钢琴的琴键上时，用户弹奏该钢琴琴键则分数增加，当所述虚拟可视的钢琴音符掉落至对应的钢琴的琴键上后用户仍未能弹奏该钢琴琴键则分数不变；在弹奏的过程中显示分数的变化和/或在弹奏结束后显示最终的分数。
9.根据权利要求6所述的设备，其特征在于，还包括通信模块，所述通信模块用于从服务器获取所述标准钢琴文件。
10.一种钢琴，其特征在于，包括如权利要求6-9中任一权利要求所述的基于增强现实的钢琴教学设备。
CN201611169359.7A 2016-12-16 2016-12-16 一种基于增强现实的钢琴教学方法、设备及钢琴 Active CN108205946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611169359.7A CN108205946B (zh) 2016-12-16 2016-12-16 一种基于增强现实的钢琴教学方法、设备及钢琴

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611169359.7A CN108205946B (zh) 2016-12-16 2016-12-16 一种基于增强现实的钢琴教学方法、设备及钢琴

Publications (2)

Publication Number Publication Date
CN108205946A true CN108205946A (zh) 2018-06-26
CN108205946B CN108205946B (zh) 2022-07-15

Family

ID=62601633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611169359.7A Active CN108205946B (zh) 2016-12-16 2016-12-16 一种基于增强现实的钢琴教学方法、设备及钢琴

Country Status (1)

Country Link
CN (1) CN108205946B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493686A (zh) * 2018-12-29 2019-03-19 深圳市掌网科技股份有限公司 一种基于混合现实的钢琴训练系统及方法
CN109697918A (zh) * 2018-12-29 2019-04-30 深圳市掌网科技股份有限公司 一种基于增强现实的打击乐器体验系统
CN110689866A (zh) * 2019-09-18 2020-01-14 江西昕光年智能科技有限公司 基于增强现实的小提琴辅助教学方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719366A (zh) * 2009-12-16 2010-06-02 德恩资讯股份有限公司 一种音乐符号与音谱记号的编辑及显示方法及伴唱机系统
CN201984457U (zh) * 2011-04-26 2011-09-21 友碁科技股份有限公司 光学式键盘输入设备
CN201994051U (zh) * 2010-08-31 2011-09-28 朱海涛 一种键盘乐器辅助装置
CN102591464A (zh) * 2012-01-13 2012-07-18 吴岳忠 一种激光虚拟键盘
CN103235641A (zh) * 2013-03-17 2013-08-07 浙江大学 一种6维度感官交互的虚拟键盘乐器系统及其实现方法
CN104217625A (zh) * 2014-07-31 2014-12-17 合肥工业大学 一种基于增强现实技术的钢琴辅助学习系统
CN204596404U (zh) * 2015-04-30 2015-08-26 周友仁 一种钢琴弹奏采集器
CN205541905U (zh) * 2016-04-14 2016-08-31 安徽克洛斯威智能乐器科技有限公司 一种具有提示键位和评分功能的智能钢琴系统
CN205594300U (zh) * 2016-05-13 2016-09-21 余思宇 虚拟钢琴投影装置
CN106205280A (zh) * 2016-09-07 2016-12-07 广州丰谱信息技术有限公司 一种交互式动态彩色形意释谱方法与乐器弹奏教练装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719366A (zh) * 2009-12-16 2010-06-02 德恩资讯股份有限公司 一种音乐符号与音谱记号的编辑及显示方法及伴唱机系统
CN201994051U (zh) * 2010-08-31 2011-09-28 朱海涛 一种键盘乐器辅助装置
CN201984457U (zh) * 2011-04-26 2011-09-21 友碁科技股份有限公司 光学式键盘输入设备
CN102591464A (zh) * 2012-01-13 2012-07-18 吴岳忠 一种激光虚拟键盘
CN103235641A (zh) * 2013-03-17 2013-08-07 浙江大学 一种6维度感官交互的虚拟键盘乐器系统及其实现方法
CN104217625A (zh) * 2014-07-31 2014-12-17 合肥工业大学 一种基于增强现实技术的钢琴辅助学习系统
CN204596404U (zh) * 2015-04-30 2015-08-26 周友仁 一种钢琴弹奏采集器
CN205541905U (zh) * 2016-04-14 2016-08-31 安徽克洛斯威智能乐器科技有限公司 一种具有提示键位和评分功能的智能钢琴系统
CN205594300U (zh) * 2016-05-13 2016-09-21 余思宇 虚拟钢琴投影装置
CN106205280A (zh) * 2016-09-07 2016-12-07 广州丰谱信息技术有限公司 一种交互式动态彩色形意释谱方法与乐器弹奏教练装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
数字出版干货: "《VR定位浅谈 原理效果各不同》", 《搜狐网》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493686A (zh) * 2018-12-29 2019-03-19 深圳市掌网科技股份有限公司 一种基于混合现实的钢琴训练系统及方法
CN109697918A (zh) * 2018-12-29 2019-04-30 深圳市掌网科技股份有限公司 一种基于增强现实的打击乐器体验系统
CN110689866A (zh) * 2019-09-18 2020-01-14 江西昕光年智能科技有限公司 基于增强现实的小提琴辅助教学方法及系统

Also Published As

Publication number Publication date
CN108205946B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
US11151887B2 (en) System and method for dynamically editing online interactive elements architecture
US10803762B2 (en) Body-motion assessment device, dance assessment device, karaoke device, and game device
JP6317337B2 (ja) Ｅラーニングシステム用の対話型学習パス
KR20140005172A (ko) 몰입형 및 대화형 컴퓨터-구현 시스템
US9536439B1 (en) Conveying questions with content
WO2012028069A1 (zh) 亲子互动教育系统及方法
US20210104169A1 (en) System and method for ai based skill learning
CN108205946A (zh) 一种基于增强现实的钢琴教学方法、设备及钢琴
CN108074440A (zh) 一种钢琴演奏的纠错方法及系统
Cowan et al. Using activity theory to problematize the role of the teacher during mobile learning
Garay-Cortes et al. Location-based augmented reality game to engage students in discovering institutional landmarks
KR20190125597A (ko) 홍채인식형 hmd를 이용한 강의 시스템
CN110718101A (zh) 一种基于虚拟现实技术和人工智能技术的教育系统及方法
Souchet et al. Eyestrain impacts on learning job interview with a serious game in virtual reality: a randomized double-blinded study
Gartner et al. Impact of restricted display size on spatial knowledge acquisition in the context of pedestrian navigation
CN108074554A (zh) 一种钢琴演奏的评价方法及系统
Li et al. Exploring the Use of the SoundVizVR Plugin with Game Developers in the Development of Sound-Accessible Virtual Reality Games
Lim et al. Smartphone-based Music Conducting.
KR20100063317A (ko) 온라인 바둑 서비스 제공 시스템 및 제공방법
CN108074441A (zh) 一种钢琴演奏的纠错方法及系统
CN108446277B (zh) 模拟学习的方法及装置
Syahputra et al. Implementation of augmented reality in pretend play therapy for children with autism spectrum disorder
KR101770817B1 (ko) 온라인 학습자를 위한 주의집중 판단 시스템 및 그 방법
Azuma et al. A Guitar Training System for Beginners Using a Mixed Reality Device and a MIDI Guitar
KR102626842B1 (ko) 전자칠판 사용자 인증방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant