CN104217625B - 一种基于增强现实技术的钢琴辅助学习系统 - Google Patents
一种基于增强现实技术的钢琴辅助学习系统 Download PDFInfo
- Publication number
- CN104217625B CN104217625B CN201410374695.XA CN201410374695A CN104217625B CN 104217625 B CN104217625 B CN 104217625B CN 201410374695 A CN201410374695 A CN 201410374695A CN 104217625 B CN104217625 B CN 104217625B
- Authority
- CN
- China
- Prior art keywords
- key
- projection
- video
- piano
- ipad
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000006243 chemical reaction Methods 0.000 claims abstract description 5
- 230000033764 rhythmic process Effects 0.000 claims description 11
- 238000012800 visualization Methods 0.000 claims description 11
- 206010044565 Tremor Diseases 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 10
- 241000668842 Lepidosaphes gloverii Species 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 5
- 238000004040 coloring Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000000916 dilatatory effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 229910000831 Steel Inorganic materials 0.000 claims 2
- 239000010959 steel Substances 0.000 claims 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 210000003811 finger Anatomy 0.000 description 10
- 238000001228 spectrum Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000002845 discoloration Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000288673 Chiroptera Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241000220317 Rosa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000003827 upregulation Effects 0.000 description 1
Landscapes
- Electrophonic Musical Instruments (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本发明公开了一种基于增强现实技术的钢琴辅助学习系统，包括设置在钢琴键盘上方的IPAD便携终端和一个可移动的视频分屏投影盒，视频分屏投影盒由视频分屏控制器、四个微型投影机构成。盒体顶部设置有lighting接口，视频分屏控制器通过USB与lighting的转换线连接IPAD便携终端，盒体内部四个微型投影机分别接入视频分屏控制器的VGA输出口，且穿出盒体并投影至钢琴键盘。本发明将增强现实中的定位投影技术应用于钢琴演奏中，从而指导钢琴学习过程。
Description
技术领域
本发明涉及钢琴学习辅助教具领域，具体是一种基于增强现实技术的钢琴辅助学习系统。
背景技术
随着经济的不断发展，个人对精神层面的追究逐渐提高，越来越多的人们希望自己或者孩子能够学习各种乐器从而提高综合素质，则导致了乐器教育市场越来越成熟，其中钢琴是绝大多数人的选择对象。在钢琴教学中，节奏和指法是非常重要的内容。节奏是指在乐谱标注的节拍时间规定下准确的按下琴键从而发出相应的音符，在钢琴教学中，一般采用“哆、二、三、四”“哆、大、来、大”这样的人为发声或默念在练习时训练节奏感，或者使用节拍器发出定时声响提醒；显然人为的方式过于随意，而节拍器的方式则需要人听觉系统与手部动作的完美协调，这两点对于钢琴初学者尤其是儿童是非常困难的。指法是指如何使用十个手指在乐谱的引导下按下相应的琴键。如果说节奏是一种已经固化的规则，有相应的乐谱符号代表，那么指法则是一种专门的钢琴技巧，在一些简单的规则之下，不同的乐曲会有不同的指法要求，属于老师教学的重点，有些乐谱上在手指切换的关键点会有一些提示，但是这种方式需要人抬头看琴谱的时候手下仍然准确移动，对于初学者来说也是相当有难度的。
针对钢琴教学中的这些问题，人们开始引入数字化技术来改进纸质版的乐谱，尤其是在现在便携智能终端非常盛行的时期，有两类软件集中表达了该种思路。其一是音乐游戏类，将乐谱转化为相应的手指操作游戏，典型的如《节奏大师》；玩家根据所播放的歌曲节奏以及动画提示，在几个固定的模拟键盘区域进行点击或者滑动等手指操作，软件根据玩家操作与标准操作的吻合度给出分数；这类软件主要是为了追求娱乐性，可以培养一定的节奏感，但与真实的钢琴教学差距甚远。其二是无纸化的琴谱类软件，典型的如《PianoNotes》，可以将安装过软件的智能终端放置在钢琴琴架上代替原来的纸质乐谱；这类软件支持下载乐谱并将乐谱显示在画面中，同时在画面下方会出现一排虚拟的钢琴琴键，软件解析乐谱并按照弹奏顺序依次将需要弹奏的琴键变色以提醒训练者按下相应琴键，这种方式仅仅是将乐谱简单的可视化，但仍然需要训练者在抬头看的同时协调双手的操作，并没有改变“抬头看”琴谱的实质。
增强现实（Augmented Reality，简称AR）是通过计算机系统提供的信息增加用户对现实世界感知的技术，将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而增强现实对象的信息反馈；而投影技术则是将提示信息叠加到真实对象之上的常用方式。根据上述钢琴学习中的问题，以及现有辅助练习的软件缺陷，设想自制一个系统将乐谱可视化符号直接投影到钢琴琴键上，从而使得训练者可以轻易的在琴键上“看”到动态节奏提示与指法符号，保持学习者的手眼一致性。现代投影技术已经相当成熟，各种微型投影仪琳琅满目，因而可以选择适合的广角投影仪来确保投影到尽量大的区域，以减少投影仪的使用数量。为了便于携带和安装，兼顾实用性和通用性，该系统在硬件构成、软件功能上都需要一定的设计技巧。
发明内容 本发明的目的是提供一种基于增强现实技术的钢琴辅助学习系统，以解决现有钢琴学习辅助教具存在的问题。
为了达到上述目的，本发明所采用的技术方案为：
一种基于增强现实技术的钢琴辅助学习系统，其特征在于：包括分别设置在钢琴键盘上方的IPAD便携终端和一个可移动的IPAD视频分屏投影盒，视频分屏投影盒由设置在盒体内的视频分屏控制器、四个微型投影机构成，盒体顶部设置有lighting接口，视频分屏控制器通过USB与lighting的转换线连接IPAD便携终端，盒体内四个微型投影机分别接入视频分屏控制器的VGA输出口，且四个微型投影机的投影镜头分别穿出盒体并投影至钢琴键盘。
所述的一种基于增强现实技术的钢琴辅助学习系统，其特征在于：每个盒体内还分别设置有电源，电源分别供电至视频分屏控制器及微型投影机。盒体外左右两侧有可调夹式固定装置，可固定在钢琴的琴谱架上。
所述的一种基于增强现实技术的钢琴辅助学习系统，其特征在于：所述视频分屏控制器由DSP、USB接口模块、VGA视频模块构建，其中DSP作为视频切分与编码传输单元，USB接口模块接入DSP中多DMA通道输入端作为输入模块，VGA视频模块接入DSP中多DMA通道输出端作为输出模块；盒体中DSP通过USB接口模块与lighting接口连接，四个微型投影机分别接入VGA视频模块的VGA输出口；IPAD便携终端向每个IPAD视频分屏投影盒中DSP分别输出视频信号，DSP芯片将视频信号拆分成四个分辨率均分的视频信号并分别输出到VGA视频模块，通过VGA视频模块传输至四个微型投影机，由四个微型投影机将视频投影至钢琴键盘上，完成同步投影过程。
所述的一种基于增强现实技术的钢琴辅助学习系统，其特征在于：所述IPAD便携终端中通过软件设置有乐谱可视化模块、定位调整模块，其中：
乐谱可视化模块将乐曲转化为指导演奏的符号与颜色信息，由符号与颜色信息所构成的画面在IPAD便携终端形成视频信号，视频信号通过IPAD便携终端传输至每个IPAD视频分屏投影盒上的lighting接口，通过lighting接口传输到每个视频分屏控制器中，在视频分屏控制器中被切割为若干分辨率均分的视频信号后送入微型投影机，最后通过每个IPAD视频分屏投影盒中微型投影机将画面信息投影到琴键上；
定位调整模块使用用户可调的中心标定方式，由于钢琴琴键有统一的尺寸标准，以钢琴正中的哆键作为标定对象，随意平放投影盒在乐谱架上并在画面中心绘制一方块投影，用户移动IPAD视频分屏投影盒使得该方块对齐钢琴正中的哆键，再拖拉调整使得方块完全覆盖琴键，即可完成投影定位与标定。
所述的一种基于增强现实技术的钢琴辅助学习系统，其特征在于：所述定位调整模块的标定参数包括：琴键顶部比例系数topScale，琴键底部比例系数bottomScale，琴键长度偏移系数longOffset，琴键长度比例系数longScale，定位调整模块根据标定参数对每个投影机的输出作反梯形校正。
所述的一种基于增强现实技术的钢琴辅助学习系统，其特征在于：所述乐谱可视化模块结合了音乐类软件的节奏感训练和乐谱类软件的按键提示，设置了符号模式与手形模式，其中：
符号模模式为投影到琴键上的字母+数字的表达方式，并以逐渐靠近边界线的方式动态显示，以提示弹击琴键的顺序和节奏，并用逐步醒目的色彩区分距离边界的远近，以警示下一个需要弹奏的琴键。
手形模式为投影到琴键上的手形表达模式，以手部图像方式模拟人手在键盘上的动作，同时按指法要求对要使用的手指进行加亮效果，学习者易于跟随琴键上的手进行模仿学习。
本发明中，真实琴键与生成图像的标定方法如下：
标准钢琴为52个白键，经过测试，计划投影最佳覆盖面为42个白键，设IPAD输出图像为length*width，需要据此设计拆分方式以及标定块位置，主要依据为两种现有常用画面比例模式，以及投影进行梯形纠正所需的投影边缘变形参数，在本发明中，认为四个微型投影具有相似的变形参数。
如软件绘制画面为16:9模式，则将其上部拆分为4个4:3画面，则单个微型投影机分辨率要求（length/4, length/4*3），琴键初始绘制宽度为keyWidth= length/42；以A1=（length/2，0）A2=（length/2+ keyWidth,, 0）A3=（length/2+ keyWidth, length/4*3）A4=（length/2， length/4*3）为四角坐标绘制一矩形方块作为标定块。
如软件绘制画面为4:3模式，则将其上下左右拆分为4个4:3画面，则单个微型投影机分辨率要求（length/2, width /2），琴键初始绘制宽度为keyWidth= length/21；以A1=（0，width /2）A2=（keyWidth, width /2）A3=（keyWidth, width）A4=（0，width）为四角坐标绘制一矩形方块作为标定块。
人工参与标定过程，由于不同钢琴琴谱架的位置与倾斜角度稍有差异，需要重新确定绘制合适梯形方块的变形系数topScale（琴键顶部比例系数），bottomScale（琴键底部比例系数），longOffset（琴键长度偏移），longScale（琴键长度比例系数）。假设经过人为移动位置与调整方块四个角到新的位置B1 B2 B3 B4，则：
topScale=(A2-A1)X/(B2-B1)X
bottomScale=(A3-A4)X/(B3-B4)X
longOffset=((B2+B1)Y/2-A1Y)
longScale=(A4-A1)Y/(B4-B1)Y
由于中心“哆”位置在投影边缘，因此该比例关系可以用来对每个投影的绘制结果进行反梯形修正，从而准确的投影到琴键上。
IPAD所配备软件的乐谱可视化模块结合了音乐类软件的节奏感训练和乐谱类软件的按键提示，并设置了两种模式。第一种模式为符号模式，在琴键边缘投影一条蓝色直线，将即将演奏的乐符使用字母+数字方式投影到相应琴键上，并以逐渐靠近边界线的方式动态显示，快要到达蓝色警戒线的时候变为红色，以警示下一个需要弹奏的琴键，节拍时间可以通过在警戒线处滞留相应时间然后消失，从而可以控制弹击琴键的顺序和节拍长短。其中字母“L”表示左手，“R”表示右手，数字“1-5”依次表示大拇指到小拇指。第二种模式为手形显示模式，以手部图像方式动态模拟人手在键盘上的动作，同时按指法要求对要使用的手指进行加亮效果，学习者易于跟随琴键上的手进行模仿学习。
这个可视化过程在实现上需要将乐谱转化为节拍和手法，这是现有很多乐谱学习软件已经可以做到的。绘制时需要将符号或者手指输出图像对应到琴键编号与矩形区域。，设中心“哆”键为0键，右边依次为1键、2键。。。左边依次为-1键、-2键。。。则：
M键绘制矩形区域的左上角=（A1 X +keyWidth*M，A1 Y）
M键绘制矩形区域的右下角=（A3 X +keyWidth*M，A3 Y）
模式一需要计算每个乐符出现的时间以及移动的速度，设半拍速度为V毫秒（ms），则所有乐符都可表示为nV（1拍n=2，2拍n=4，3拍n=6，依次类推），设乐符出现位置为startY，截止线条位置为endY，则下一个乐符出现时间间隔以nV计算，所有乐符的移动速度保持一致为（endY-startY）/2V。
模式二需要将相应手指变色，并保持变色到节拍完成，如需变换手位，则整体移动至下一乐符琴键，固定提前一阈值时间Ω进行动画移动。由于手部形状很简单，投影的画面仅是个示意，因此对于观察识别没有任何阻碍，
与已有技术相比，本发明有益效果体现在：
1、使用定位投影方式将可视化结果直接投影到钢琴琴键上，区别于之前局限于各种显示终端的乐谱展示，不需要弹奏者同时兼顾手部操作与抬头看乐谱，对于初学者有极大的辅助作用，在注意手部弹奏的同时可以直接看到琴键上的符号或手形指引，尤其对于儿童，这种偏向于娱乐的形式更加有趣，足以吸引他们持续练习。
2、结合了音乐游戏与钢琴学习APP的优点，丰富了乐谱可视化的表现方式，利用计算机图形学使用符号动态地呈现节拍时间、手法位置、顺序关系，易于理解，标识显著，使得钢琴初学者可以在无教师指导下自学新琴谱，节省了教育开支。
3、使用了动态手形移动提示模式，区别于现有钢琴学习软件中静止的手形，并投影到琴键上，学习者可以采用单纯的模仿方式进行学习，不需要对符号的认知，更加适合于儿童。
4、采用了方便安装的硬件设计包装，使用微型投影机，充分利用了钢琴已有的乐谱架，并使用自动标定软件结合人为调节进行定位，使得该系统具有很强的实用性，且不会过于昂贵。
5、在不影响本系统投影结果的人为认知下，采用DSP芯片作为视频分割的处理装置，与现有几十万的硬件融合器比较，小巧实用、价格低廉且实现较易。
附图说明
图1为本发明系统整体安装示意图。
图2为本发明IPAD视频分屏投影盒结构框图。
图3为本发明在钢琴键盘上进行投影的示意图，其中：
图3a为符号模式下投影示意图，图3b为手形模式下投影示意图。
具体实施方式
一种基于增强现实技术的钢琴辅助学习系统，包括分别设置在钢琴键盘上方的IPAD便携终端1和可移动的IPAD视频分屏投影盒2。
定制IPAD视频分屏投影盒2。由设置在盒体2内的视频分屏控制器21、四个微型投影机22构成，盒体2顶部设置有lighting接口23，盒体2内视频分屏控制器21通过USB到lighting转换线与lighting接口23连接，IPAD便携终端1与盒体上lighting接口23连接，盒体内四个微型投影机22分别接入视频分屏控制器21的VGA输出口，且四个微型投影机22的投影镜头分别穿出盒体并投影至钢琴键盘。选用分辨率为512*384的微型投影机。
每个盒体内还分别设置有电源，电源分别供电至视频分屏控制器21及微型投影机22。
定制视频分屏控制器21。由DSP、USB接口模块、VGA视频模块构成，选择带有DMA通道的单输入多输出DSP芯片开发。其中DSP作为视频切分与编码传输单元，USB接口模块接入DSP中多DMA通道输入端作为输入模块，VGA视频模块接入DSP中多DMA通道输出端作为输出模块，DSP通过USB接口模块与lighting接口连接， VGA视频模块的VGA输出口分别连接四个微型投影机。
整个视频分屏投影盒的工作原理为：IPAD便携终端向视频分屏投影盒中的DSP分别输出视频信号，DSP芯片将视频信号拆分成四个分辨率均分的视频信号并分别输出到VGA视频模块，通过VGA视频模块传输至四个微型投影机，由四个微型投影机向视频投影至钢琴键盘上，完成同步投影过程。
使用MAC的XCODE开发环境编程实现IPAD便携终端1中的软件，图形部分绘制可以使用cocos2d二维图形开发包，分辨率为1024*768，属于4:3显示模式。软件包括乐谱可视化模块、定位调整模块，其中：
乐谱可视化模块将乐曲按照钢琴演奏的规则转化为软件预设的可以指导演奏的符号与颜色信息，使用cocos2d开发包中的图形绘制函数在画面预定琴键位置绘制带有色彩符号，产生IPAD便携终端的1024*768的视频信号，调用定位调整模块的标定计算进行图像纠正，之后该视频信号通过视频分屏投影盒上的lighting接口传输到视频分屏控制器中，在视频分屏控制器中被切割为上下左右4个分辨率为512*384的视频信号后分别送入微型投影机，最后通过这些微型投影机将画面信息投影到琴键上；
定位调整模块使用用户可调的中心标定方式，由于钢琴琴键有统一的尺寸标准，所以以钢琴正中的哆键作为标定对象，在A1=（0，384）A2=（48.76, 384）A3=（48.76, 768）A4=（0，768）绘制并投影一方块，用户移动IPAD视频分屏投影盒使得该方块对齐钢琴正中的哆键，再拖拉调整使得方块完全覆盖琴键，即可计算得到标定参数，包括：
琴键顶部比例系数topScale=(A2-A1)X/(B2-B1)X
琴键底部比例系数bottomScale=(A3-A4)X/(B3-B4)X
琴键长度偏移系数longOffset=((B2+B1)Y/2-A1Y)
琴键长度比例系数longScale=(A4-A1)Y/(B4-B1)Y
使用该参数对绘制完成结果的上下左右1/4画面分别进行反梯形纠正。
乐谱可视化模块结合了音乐类软件的节奏感训练和乐谱类软件的按键提示，设置了符号模式与手形模式，其中：
符号模模式为投影到琴键上的字母+数字的表达方式，并以逐渐靠近边界线的方式动态显示，以提示弹击琴键的顺序和节奏，并用逐步醒目的色彩区分距离边界的远近，以警示下一个需要弹奏的琴键。计算每个乐符出现的时间以及移动的速度，设半拍速度为500毫秒（ms），则所有乐符都可表示为500n（1拍n=2，2拍n=4，3拍n=6，依次类推），如乐符出现位置为纵坐标0，截止线条位置为纵坐标350，则下一个乐符出现时间间隔以500n计算，所有乐符的移动速度保持一致为1秒钟纵坐标上升350。
手形模式为投影到琴键上的手形表达模式，以手部图像方式模拟人手在键盘上的动作，同时按指法要求将相应手指变色，并保持变色到节拍完成，如需变换手位，则整体移动至下一乐符琴键，固定提前一阈值时间Ω进行动画移动。
用户使用过程
1、如图1所示，用户将视频分屏投影盒2放在钢琴上的琴谱架上，尽量居中放置，将四个微型投影机22对着钢琴键盘面，一般琴谱架略微向上倾斜，因此投影盒可靠置在钢琴盖上从而保持四个摄像头的连线与钢琴键盘平行，连接电源打开投影机。
2、将已经预装过本发明相应终端软件的的智能终端设备如IPAD1插在视频分屏投影盒lighting接口23上。启动软件的定位调整模块，将投影一红色方块在键盘表面，调整投影盒位置使得该方块与中央“哆”键对齐，在软件界面上调整方块拐角使其可以完全覆盖“哆”键，即可完成标定。通过视频分屏投影盒两侧的夹具装置固定在琴谱架上。
3、退出定位调整模块，进入乐谱可视化模块，选择想要弹奏的乐曲。该模块集成乐谱自动转化手法节奏的软件工具，从而可以向分屏投影盒持续输出包含符号或手形的1024*768的全副画面。
4、视频分屏投影盒2的DSP芯片可实时将全副画面拆分成4副512*384的图像，输出到4个微型投影机22，按照乐谱在相应位置出现绿色方块或者灰色手指。符号模式下：琴键边缘投影一蓝色警戒线，绿色方块在程序驱动下逐渐靠近，当用户在正确时刻按下琴键则闪烁；手形模式下：采用灰色提示在程序驱动下逐渐向蓝色过渡，正确按下时变色提示。
5、乐曲练习时候，软件设置程序记录用户按键和时间间隔，与标准的乐符节奏进行比对，为用户的演奏打分，并在乐谱相应位置显示错误说明。
Claims (1)
1.一种基于增强现实技术的钢琴辅助学习系统，其特征在于：包括分别设置在钢琴键盘上方的IPAD便携终端和一个可移动的IPAD视频分屏投影盒，视频分屏投影盒由设置在盒体内的视频分屏控制器、四个微型投影机构成，盒体顶部设置有lighting接口，视频分屏控制器通过USB与lighting的转换线连接IPAD便携终端，每个盒体内四个微型投影机分别接入视频分屏控制器的VGA输出口，且四个微型投影机的投影镜头分别穿出盒体并投影至钢琴键盘；
每个盒体内还分别设置有电源，电源分别供电至视频分屏控制器及微型投影机；盒体外左右两侧有可调夹式固定装置，可固定在钢琴的琴谱架上；
所述视频分屏控制器由DSP、USB接口模块、VGA视频模块构建；其中DSP作为视频切分与编码传输单元，USB接口模块接入DSP中多DMA通道输入端作为输入模块，VGA视频模块接入DSP中多DMA通道输出端作为输出模块；盒体中DSP通过USB接口模块与lighting接口连接，四个微型投影机分别接入VGA视频模块的VGA输出口；IPAD便携终端向IPAD视频分屏投影盒中DSP分别输出视频信号，DSP芯片将视频信号拆分成四个分辨率均分的视频信号并分别输出到VGA视频模块，通过VGA视频模块传输至四个微型投影机，由四个微型投影机将视频投影至钢琴键盘上，完成同步投影过程；
所述IPAD便携终端中通过软件设置有乐谱可视化模块、定位调整模块，其中： 乐谱可视化模块将乐曲转化为指导演奏的符号与颜色信息，由符号与颜色信息所构成的画面在IPAD便携终端形成视频信号，视频信号通过IPAD便携终端传输至每个IPAD视频分屏投影盒上的lighting接口，通过lighting接口传输到每个视频分屏控制器中，在视频分屏控制器中被切割为若干分辨率均分的视频信号后送入微型投影机，最后通过每个IPAD视频分屏投影盒中微型投影机将画面信息投影到琴键上； 定位调整模块使用用户可调的中心标定方式，由于钢琴琴键有统一的尺寸标准，以钢琴正中的哆键作为标定对象，随意平放投影盒在乐谱架上并在画面中心绘制一方块投影，用户移动IPAD视频分屏投影盒使得该方块对齐钢琴正中的哆键，再拖拉调整使得方块完全覆盖琴键，即可完成投影定位与标定；
所述定位调整模块的标定参数包括：琴键顶部比例系数topScale，琴键底部比例系数bottomScale，琴键长度偏移系数longOffset，琴键长度比例系数longScale，定位调整模块根据标定参数对每个投影机的输出作反梯形校正；
所述乐谱可视化模块结合了音乐类软件的节奏感训练和乐谱类软件的按键提示，设置了符号模式与手形模式，其中：符号模式为投影到琴键上的字母+数字的表达方式，并以逐渐靠近边界线的方式动态显示，以提示弹击琴键的顺序和节奏，并用逐步醒目的色彩区分距离边界的远近，以警示下一个需要弹奏的琴键； 手形模式为投影到琴键上的手形表达模式，以手部图像方式模拟人手在键盘上的动作，同时按指法要求对要使用的手指进行加亮效果，学习者易于跟随琴键上的手进行模仿学习。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410374695.XA CN104217625B (zh) | 2014-07-31 | 2014-07-31 | 一种基于增强现实技术的钢琴辅助学习系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410374695.XA CN104217625B (zh) | 2014-07-31 | 2014-07-31 | 一种基于增强现实技术的钢琴辅助学习系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104217625A CN104217625A (zh) | 2014-12-17 |
| CN104217625B true CN104217625B (zh) | 2017-10-03 |
Family
ID=52099055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410374695.XA Expired - Fee Related CN104217625B (zh) | 2014-07-31 | 2014-07-31 | 一种基于增强现实技术的钢琴辅助学习系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104217625B (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9685096B2 (en) | 2015-01-05 | 2017-06-20 | Fonglui Christopher Ng | Guidance system for learning to play piano |
| CN105957424A (zh) * | 2016-07-15 | 2016-09-21 | 邵松 | 一种投影式钢琴指引系统及控制方法 |
| CN107545806A (zh) * | 2016-08-12 | 2018-01-05 | 小叶子（北京）科技有限公司 | 一种智能音乐教学系统 |
| CN106373456B (zh) * | 2016-11-09 | 2019-03-05 | 快创科技（大连）有限公司 | 基于ar增强现实和演奏评价的小提琴辅助学习体验系统 |
| CN106527718B (zh) * | 2016-11-09 | 2019-03-12 | 快创科技（大连）有限公司 | 基于ar增强现实的乐器辅助演奏和协奏体验系统 |
| CN106373440B (zh) * | 2016-11-09 | 2019-03-26 | 快创科技（大连）有限公司 | 基于ar增强现实和即时交流的小提琴辅助学习体验系统 |
| CN106355974B (zh) * | 2016-11-09 | 2019-03-12 | 快创科技（大连）有限公司 | 基于ar增强现实的小提琴辅助学习体验系统 |
| CN108205946B (zh) * | 2016-12-16 | 2022-07-15 | 北京酷我科技有限公司 | 一种基于增强现实的钢琴教学方法、设备及钢琴 |
| JP2018146718A (ja) * | 2017-03-03 | 2018-09-20 | ヤマハ株式会社 | 教習装置、教習プログラムおよび教習方法 |
| WO2018195293A1 (en) * | 2017-04-19 | 2018-10-25 | Vidoni, Inc. | Augmented reality learning system and method using motion captured virtual hands |
| CN107123414A (zh) * | 2017-06-30 | 2017-09-01 | 杨以桡 | 钢琴键盘俯视镜及钢琴键盘镜像引导弹奏法 |
| CN107464474A (zh) * | 2017-09-05 | 2017-12-12 | 上海智凌信息技术有限公司 | 一种钢琴弹奏指法的检测方法及装置 |
| CN109191995A (zh) * | 2018-10-29 | 2019-01-11 | 程建玲 | 一种钢琴练习系统 |
| CN109493686B (zh) * | 2018-12-29 | 2021-03-30 | 深圳市掌网科技股份有限公司 | 一种基于混合现实的钢琴训练系统及方法 |
| CN109559593B (zh) * | 2018-12-29 | 2021-06-04 | 深圳市掌网科技股份有限公司 | 一种基于混合现实的钢琴训练系统及方法 |
| CN109697918B (zh) * | 2018-12-29 | 2021-04-27 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的打击乐器体验系统 |
| TWI712938B (zh) * | 2019-02-18 | 2020-12-11 | 台灣松下電器股份有限公司 | 產品安裝輔助教學方法及可攜式電子裝置 |
| CN110517557A (zh) * | 2019-07-19 | 2019-11-29 | 森兰信息科技（上海）有限公司 | 钢琴弹奏学习方法、系统及装置 |
| CN110689866A (zh) * | 2019-09-18 | 2020-01-14 | 江西昕光年智能科技有限公司 | 基于增强现实的小提琴辅助教学方法及系统 |
| CN111176544B (zh) * | 2019-12-30 | 2023-07-18 | 河海大学常州校区 | 一种基于图像处理的多功能琴谱显示设备及图像处理方法 |
| CN113506492B (zh) * | 2021-06-28 | 2022-11-08 | 蕉乐教育科技(上海)有限公司 | 一种投影装置及其全宽幅钢琴键盘画面的投影方法 |
| CN113488004B (zh) * | 2021-07-20 | 2023-06-23 | 南阳理工学院 | 一种辅助钢琴作曲设备 |
| CN114882762A (zh) * | 2022-06-15 | 2022-08-09 | 曾歆 | 一种民族乐器智能辅学系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5557055A (en) * | 1994-05-17 | 1996-09-17 | Breitweiser Music Technology Inc. | Musical keyboard having an electronically controlled display and a method of keyboard display |
| CN2735473Y (zh) * | 2004-02-06 | 2005-10-19 | 李志扬 | 乐器演奏提示器 |
| CN101388149A (zh) * | 2007-09-12 | 2009-03-18 | 财团法人工业技术研究院 | 键盘乐器学习装置及学习方法 |
| CN202615651U (zh) * | 2012-05-10 | 2012-12-19 | 中国计量学院 | 一种基于键盘投影的新型钢琴 |
| CN102831796A (zh) * | 2012-07-10 | 2012-12-19 | 浙江大学 | 激光标识键盘乐器示教系统和示教方法 |
| CN102842251A (zh) * | 2012-07-10 | 2012-12-26 | 浙江大学 | 激光标识乐器示教系统和示教方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6982375B2 (en) * | 2003-06-06 | 2006-01-03 | Mcgregor Rob | Musical teaching device and method |
| CN101852977A (zh) * | 2010-05-11 | 2010-10-06 | 烟台艾森信息技术股份有限公司 | 可移动智能信息系统 |
| CN102514492B (zh) * | 2011-11-22 | 2014-05-07 | 苏州科雷芯电子科技有限公司 | 基于机器视觉技术的汽车仪表盘 |
| CN103108147B (zh) * | 2013-02-05 | 2016-01-06 | 深圳市中科睿成智能科技有限公司 | 一种用于文字和图像投影显示的系统和方法 |
| CN103365620A (zh) * | 2013-06-03 | 2013-10-23 | 陈飞生 | 一种可分屏显示的智能移动终端 |
| CN103268155A (zh) * | 2013-06-06 | 2013-08-28 | 厦门市兴致电子工业有限公司 | 一种具有投影功能的键盘 |
-
2014
- 2014-07-31 CN CN201410374695.XA patent/CN104217625B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5557055A (en) * | 1994-05-17 | 1996-09-17 | Breitweiser Music Technology Inc. | Musical keyboard having an electronically controlled display and a method of keyboard display |
| CN2735473Y (zh) * | 2004-02-06 | 2005-10-19 | 李志扬 | 乐器演奏提示器 |
| CN101388149A (zh) * | 2007-09-12 | 2009-03-18 | 财团法人工业技术研究院 | 键盘乐器学习装置及学习方法 |
| CN202615651U (zh) * | 2012-05-10 | 2012-12-19 | 中国计量学院 | 一种基于键盘投影的新型钢琴 |
| CN102831796A (zh) * | 2012-07-10 | 2012-12-19 | 浙江大学 | 激光标识键盘乐器示教系统和示教方法 |
| CN102842251A (zh) * | 2012-07-10 | 2012-12-26 | 浙江大学 | 激光标识乐器示教系统和示教方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104217625A (zh) | 2014-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104217625B (zh) | 一种基于增强现实技术的钢琴辅助学习系统 | |
| CN108399821A (zh) | 一种电子智能辅助书写训练及分析评价系统 | |
| US20030167902A1 (en) | Machine and method for teaching music and piano | |
| CN106981282A (zh) | 一种钢琴演奏琴键提示方法及系统 | |
| US20140190334A1 (en) | Instructional music reading and instrument playing system and method | |
| US9652994B1 (en) | Piano learning guidance system | |
| CN102945637A (zh) | 一种基于增强现实的嵌入式教学模型及其方法 | |
| Hackl et al. | HoloKeys-an augmented reality application for learning the piano. | |
| Zeng et al. | FunPianoAR: A novel AR application for piano learning considering paired play based on multi-marker tracking | |
| CN103413475A (zh) | 小提琴指法练习装置 | |
| EP3469572A1 (en) | Computer-assisted method and computer system for teaching piano | |
| JP2009165564A (ja) | ゲーム進行制御方法、ゲーム進行制御プログラムを記憶した情報記憶媒体、及びゲーム装置 | |
| CN105513457A (zh) | 基于毛笔和硬笔的分步摹临法书写技艺训练方法 | |
| Takegawa et al. | A piano learning support system considering rhythm | |
| Margoudi et al. | Game-based learning of musical instruments: A review and recommendations | |
| Majumdar et al. | Framework for teaching Bharatanatyam through digital medium | |
| JP6413133B1 (ja) | 音価とリズムの教材 | |
| Roberto et al. | Arblocks: A concept for a dynamic blocks platform for educational activities | |
| WO2015092421A1 (en) | Method for facilitating the learning of a musical instrument using a display apparatus for real time feedback | |
| CN105206136A (zh) | 一种基于手型教学的新型吉他学习方法 | |
| Correa et al. | AR musical app for children's musical education | |
| Yi | Research on dance motion simulation based on virtual reality technology | |
| JP2011221472A (ja) | 画像表示装置付きギター | |
| RU2722415C1 (ru) | Настольная игра | |
| KR20200082710A (ko) | 휴대기기에서 증강현실을 이용한 퍼즐놀이 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171003 |